039 20
1月 08『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在
実はぼくはまだ電脳コイルは第一話しか見ていないのですが、どうやら拡張現実感(AR: Augmented Reality), 仮想現実感(VR: Virtual Reality), 複合現実感(MR: Mixed Reality) といったキーワードによって語られる技術がインフラとして普及した世界が舞台になっているようです。
かく言うぼくも実はAR研究者の端くれの端くれでして、このあたりの話題についてはアンテナを張っています。
ARという技術は『現実世界にディジタル情報を重畳させることにより、作業支援・ユーザインタフェース・エンタテイメント応用などにおける情報提示に役立てよう』というコンセプトに基づいて20年ほど前から研究が進められています。
ざっくりと言いますと『現実世界にディジタル情報を重ね合わせて色々できるようにしようぜー』ってことです。スカウターもARです。攻殻機動隊もARです。最近はニコニコ動画でもARを応用した動画が見られるようになってきましたね。いったい誰の影響でしょうか。
さて、今回はこのAR研究において、衝撃的な動画を見つけましたので、これを紹介します。
何よりもビデオを見ていただくのが一番早いでしょう。
上は、2007年11月中旬に奈良で行われたISMAR 2007（複合現実感国際会議）で Best Paper Award を受賞した研究発表のデモです。
是非とも1:00あたりから始まる「龍安寺の石庭で戦うダースベーダー」の映像を見ていただきたい。おそるべきは、これがリアルタイムで、しかもノートPCで動いているという点。
作者のホームーページはこちら（Georg Klein Home Page）です。
簡単な解説を加えます。
この技術をざっくりと言いますと、『カメラの入力から特徴点を取得・追跡をすることで３D空間のマップ作りを行い、それに基づいて３Dディジタル情報を書き込み提示する』という技術です。特徴点追跡とマッピングのスレッドを分離することで、数千個の特徴点を実時間で扱うことが可能になっています。
詳細についてはすごく技術的な話になってしまいます。作者のホームページで論文が公開されていますし、『自然特徴点/特徴点追跡/三次元復元』あたりのワードで検索をかけるといくつか関連論文が見つかりますので、各自そちらでお願いします。
ぼくはこの研究を、2008年1月18日に行われたPRMU（パターン認識とメディア理解）研究報告会での会議報告で知りました。今回の研究会のテーマはまさに「拡張現実感/仮想現実感技術（AR/VR）について」でした。会場にはそれはもう日本のAR会における著名人がたくさんいらっしゃったのですが、報告内で講演者がこの動画を背にしながら「こんなもんやられたら、ぐうの音も出ませんね」と言い会場の苦笑を誘ったのが印象的でした。
そう、本当にぐうの音も出ません。当日は工学ナビの橋本様と合流でき（この度はありがとうございました）、帰り際にこの研究について話すことができました。「さすがにここまでくるのはもう数年先のことだと思ってました」「しかもソースコードまで配布されるともうやってられませんねー」「マーカー系AR研究者全員涙目じゃんｗ」「それなんて俺ｗｗｻｰｾﾝｗｗｗ」
こんにちは、涙目です。 作者様のソースコード公開に期待しながら、頑張って英語論文を読みましょう。(ソースコード公開について、動きがあったようです詳細はこちら)
マーカーを用いていないこの研究の課題は、『どの位置にどの情報を重ね合わせるかの判断が（自動では）できていない』という点にあるかと思われます。動画では手動のマウス操作で行っていますね。この課題については、ぼく程度でもいくつか解決法が思い浮かびますので、時間の問題でしょう（あるいはそのあたりはアプリケーション依存なので、技術の汎用性のためあえて実装していないのかも）。
2028年には一部でAR/VRのインフラ化が起きているだろう、というのがぼくの至極個人的な読みです。電脳化については生体実験の難しさや倫理的な課題もあるので、ぼくらが死ぬまでには難しいかもしれませんが、電脳コイルくらいの時代には到達できる可能性が十分にあります！
うわ！テンション上がってきた！
ちょっと電脳コイル借りに行ってくる！
追記（2008/01/23 11:59）
↓こちらへコメントへの返信を掲載しました。
【『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在】へのリアクション | 王様の箱庭
↓こちらへソースコード公開の件についての訂正を掲載しました。
【攻殻?電脳コイル?どころではない? (ry 】について訂正 | 王様の箱庭
追記（2008/10/14）
↓ソースコードが公開されました！
「電脳コイル」に向けたAR研究例・PTAMのソースコードが公開されていますのでお知らせ | 王様の箱庭
1月 20th, 2008 at 17:15
平面を作ったあとに、カメラが動いても平面が動かない。しかもその処理はラップトップの処理レベルで可能。
ってメチャクチャすごいですね。
こう言う技術ってアメリカの軍事or宇宙開発系の分野でそろそろできてるくらいのレベルなのかなぁと思っていたら、もうここまできていたとは・・・
僕は経済専攻なのですが、masayashiさんのような方が、こういった技術をどんどん開発していってくれることを願ってます！（他人任せとはこれ如何に）
1月 20th, 2008 at 17:27
>Shoさま
コメントありがとうございます！
経済専攻の方など、異分野の方々がこういった技術に興味を持っていただけるのは本当に嬉しいです！
『アメリカの軍事or宇宙開発系の分野』というのはすごくいい着眼点です。
ARやVRといった技術は、アメリカの軍事産業として既に実用化されいます。
HMD（ヘルメット・マウント・ディスプレイ）を用いてのARでの作戦情報提示や、軍事訓練におけるVRシュミレーションなどがそうですね。
軍事利用の倫理的評価は別として、軍事的に採用されている技術が数年後に民間に落ちてくるのは技術進歩のパターンでもあるので、その点でも期待できます。
ぼくにはこれを開発していくような力はありませんが（苦笑）、せめてこういった技術の認知度が高まっていってくれる一助になりたい思いです。
1月 20th, 2008 at 19:26
はじめまして。
『電脳コイル』は2025年という設定があるので、2028年というのはだいたい合っていますね。
御存命のうちにはなんとかなるのではないでしょうか。
あと、幾つかのところで電脳メガネになっているところ、お直し頂ければ。
1月 20th, 2008 at 19:33
>BigHopeClasicさま
コメントありがとうございます！
ちょｗｗ『電脳メガネ』ってアニメだと思い込んでたｗｗｗ
にわかオタっぷりが露呈！
今更タイトルなんて直せねぇぇぇえええ！恥ずかしぃぃいい！
ご指摘に感謝します！
あれって2025年なんですかー。知らなかったです。単純にあと20年くらいかなー、と思って。
電脳ペット楽しみですよね。
「でんおう」って打って変換したら「電脳」って変換されたー！
1月 20th, 2008 at 20:06
This is one of the web’s most…
These are the web’s most talked about URLs on Sun 20th Jan 2008. The current winner (more…)
1月 20th, 2008 at 20:56
初めまして。
ニコニコでARの研究が盛んですが、ついさっきこの動画が投稿されていました。
おそらくニコニコのARにも何か動きが出るかとw
そう考えると楽しみです。
自分のMBPでも試したことがありますがやはりマーカーが無いのはかなり大きな点かと・・・
あとはHMDがどれだけ進化できるか ですね。
某光学メーカー（○lympusだったかな）が透明なHMD開発に成功しているらしいです。
コイルの世界もあながち嘘ではなくなるのかもしれませんね。
1月 20th, 2008 at 20:57
はじめまして。非常に参考にある記事をありがとうございました。
これって、環境が静的でないといけないんですよね。素人考えだと、本とか CD とか椅子とか良く動かすオブジェクトごとに AR したい場合はまだマーカーベース AR の方が現実的な気がするんですが、動的な環境にも適用しようと思えば適用できそうな問なんでしょうか？
1月 20th, 2008 at 22:35
昔々、MRシステム研と一緒にMRをやっていました
電脳コイル流行ってるし、
最近のMRはどうなってるんだろう？と
久しぶりにISMAR2007に参加しました。
ARToolkitのもたらした影響力はでかいなぁと
しみじみ感じていたものの、マーカばかりで
ちょっと寂しかったんですが、
このOxfordの発表は凄かったですね
久しぶりにCVの論文読んだり勉強しようかなぁと思う今日この頃です
閉塞感というか手詰まり感を感じるMR/AR分野ですが、
マーカもマーカレスも、もっともっといろんな方向に発展するといいですね
電脳コイルのような世界が来るのを楽しみにしています
1月 20th, 2008 at 23:01
ヤバすぎる。。。
小型化してネットワーク作ればもう速攻で電脳メガネになりますねｗｗ
セカンドライフ（笑）
生きてるうちにここまでできるようになるとは思って無かったです。うれしいね
1月 20th, 2008 at 23:11
>通りすがり様, TangoAuk 様, toshikaz 様, ゲスト 様, 他の皆様
コメントありがとうございます！
とても嬉しいです！本人は予想以上の反響でビビッてます。
こういった技術動向はもっと大々的に紹介されるべきだと常々感じており、今回このエントリーを書かせて頂いたのですが、その需要は私の想像を大きく越えていたようですｗ
個人的な事情ですが、コメントへのお返事は明日あたりにエントリーとしてまとめて書こうと思います。
重ねてこれをご覧になっている皆様、ありがとうございます。
1月 20th, 2008 at 23:46
本日のBookmark（2008/01/20）…
本日Bookmarkしたページを紹介しまーす！ 『攻殻機動隊』『電脳メガネ』ど… (more…)
1月 21st, 2008 at 0:35
これって vicuna ですよね。
1月 21st, 2008 at 1:01
タイトルに「どころではない」という表現がありますが、チョット気になります。
既に電脳コイルをご覧になっていると思いますので説明するまでもないかも知れませんが、今回発表されている成果は電脳コイルの世界を造り上げる基礎段階という感じかと。
現時点で既にココまでのモノができてしまっているコト自体は間違いなく衝撃的な事実ではありますが、電脳コイル世界での AR/MR はもう数段階進んでいると思います。
何が言いたいかと云いますと、作品世界を前倒しで実現できそうで嬉しいな、と(笑)
1月 21st, 2008 at 2:06
すごいことになってますね（笑）
VFXの仕事をしてるので、最初ぱっと見たときは「普通の3Dトラッキングじゃん…」と思ってしまいましたが、
1台のラップトップでリアルタイム！ってのに気が付いてドギモ抜かれました。（笑）
レンズの樽型歪みまで織り込み済みだし（T-T）
現状VFX業界では、BoujouやPFtrackなど100万円オーバーから300ドル台のSynthEyesまで、
いろんな3Dトラッキングソフト（自動ポイントトラッキング＆3Dカメラソルバー）がありますが、
どれもカメラソルビング(Camera-Solving, カメラ座標の割り出し)にはそれなりの時間がかかります。
それを・・・レンズディストーション入りでリアルタイムなんてショッキングですね。
さらに処理速度が上がって、リアルタイムにオプティカルフローのデータも出せるようになれば、
画面全体のZバッファが作れるので、手前の柱や机などの遮蔽物の奥にオブジェクトが隠れるような事も可能になるでしょうし。
早くソースコード公開してくれるといいですねー＾＾
1月 21st, 2008 at 7:22
[...] 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 | 王?… (tags: technology) [...]
1月 21st, 2008 at 11:58
これは記事以外へのコメントなので、こちらで・・・
>通りすがり2様
はい、原型としては vicuna をベースにしています。
もうどこを弄っていないのかもよくわかりませんが・・・
1月 21st, 2008 at 15:39
これはかなりものすごいですね。
わたくしは分野が違いますが…..
マーカーとか（メタ情報）使ってる研究室はどんな頭悪かったんだって話ですよね。
うーーーんやっぱりこういう風に視覚に訴える研究の方がインパクト（素人受け）ありますね。
1月 21st, 2008 at 20:59
拡張現実感技術（Augumented Reality）の現在…
実はぼくはまだ電脳コイルは第一話しか見ていないのですが、どうやら拡張現実感(AR: Augumented Reality), 仮想現実感(VR: Virtual Rea (more…)
1月 21st, 2008 at 21:10
Realviz社のMatchMoverなどでも同じようなことができましたが、Pen2 で数時間かけてやってました。 このときでもすごいともったのですが、今はリアルタイムですかー。びっくりです。
1月 21st, 2008 at 22:30
> いったい誰の影響でしょうか。
ちょ，ちょっと！ｗ
はてブでの反響が物凄いですね．我々研究者にとってはこれこそが「不都合な真実」なんですがｗ あと５年くらいは隠しておいて良かったんじゃないのｗ
1月 21st, 2008 at 23:44
“Before 電脳コイル”と…
なんか、久しぶりにはてブを見たらすごいことになっていたので、スルー力のない自分はエントリーを書いてしまった。。。
◆はてなブックマーク – 『 (more…)
1月 21st, 2008 at 23:44
[...] 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 [...]
1月 22nd, 2008 at 0:02
ネットの噂では、もうリアルタイムでこんなことができるそうです…
うおお、こ、これはすごい！ 面白い！ ▼『攻殻機動隊』『電脳メガネ』どころでは (more…)
1月 22nd, 2008 at 12:58
電脳コイルを垣間見た…
結局コイルを１話までしか見てない自分が言うのもアレですが、動画にインパクトがあっ… (more…)
1月 22nd, 2008 at 16:19
>tak 様
ホームページ拝見しました。NIIの方ですか！恐れ入ります！
いえいえ、マーカーを使うことにもまだ現段階ではアドバンテージがありますよ。
とでも言わないとぼくの卒業研究が ＞＜
確かに、見せ方の上手さも秀逸ですよね。
そういった『見せ方』の部分も含めて『研究力』と言えると、私は考えています。
– - – - -
>hide0414 様
Realviz社のMatchMover、初めて知りました。
上の方で jun 様もおっしゃっていたように、VFX系ではこういった技術がすでに実用段階で運用されているのですね。
恥ずかしながら、今まであまりそっち方面への応用を考えたことがありませんでした。
良い機会をいただき、ありがとうございます。
– - – - -
>なおき さん
すいません、なんかよくわかんないうちに、こんなことになってしまいましたｗ
不都合な真実ｗｗ誰がうまいことｗｗｗｗｗ
確かに、5年くらいあとでも十分驚かせることができそうなデモですね。
こういった先端技術の動向ネタは、どんどん発信されていってほしいものです。
1月 22nd, 2008 at 17:01
Parallel Tracking and Mapping …
これPowerBook使ってリアルタイム処理されてるって
スゴすぎる…
王様の箱庭
『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在
(more…)
1月 22nd, 2008 at 20:07
初めまして。コイル好きの者です。
凄いですね。コイル好きの人たちに早速知らせました。放映と時を同じくして、こういう技術が出来ていたとは、驚きです。
1月 22nd, 2008 at 21:51
拡張現実を使った世界…
ARToolKitを使って作られた初音ミクコンサート映像 (more…)
1月 23rd, 2008 at 10:04
【Technology】あの、これ凄くないっすか？AR系…
まずは、下の映像を見てください。 これは、昨年11月に奈良のISMAR【Inte… (more…)
1月 23rd, 2008 at 12:33
>成田ひつじ 様
コメントおよび宣伝ありがとうございますｗ
実はこういった研究はかなり前から行われており、放映以前にも（精度の面で実用化には課題が残されていたようですが）実際に動くものが開発されていました。
おそらく、そのあたりから着想を得ての『電脳コイル』なのだと思います。
そういう意味では、1980年代末には世界観が確立されていた攻殻機動隊の先見性は、おそろしいものがありますね。
1月 23rd, 2008 at 14:51
『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現…
p-diary さんの記事にて興味深いリンクが張られてましたので紹介です。 —- 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 (more…)
1月 23rd, 2008 at 18:54
AR Toolkit + 初音ミクの衝撃…
ニコニコ動画で見たこれにすっかりやられてしまった。
【ニコニコ動画】ARToolKitで初音ミク(その5)：影をつけてみるテストよりキャプチャ
?… (more…)
1月 24th, 2008 at 20:10
イリーガルがいっぱーい！…
スラッシュドットジャパンに興味深い記事があったで。電脳コイルは近いらしい。http://slashdot.jp/articles/08/01/24/035233.sht (more…)
1月 24th, 2008 at 21:08
「電脳コイル」はもう実現してる？！…
2007年11月に行われたISMAR 2007（複合現実感国際会議）で発表されたひとつの研究がmasayashiさんのブログで紹介されています。 (more…)
1月 26th, 2008 at 1:48
映像→三次元空間→そこに書き込み をリアルタイムで…
すごすぎ。
どこぞの学会で似たような研究何個か見たけど、お話にならねえ。
staticなステレオカメラで頑張ってる奴も居るのに単眼のビデオでコレとか･･･
(more…)
1月 29th, 2008 at 12:27
[...] 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 | 王?… (tags: visualization) [...]
1月 30th, 2008 at 22:29
拡張現実にふつふつと興味が…
昨年頃から拡張現実系の情報がちらほら目にしていたけど、最近出た初音ミクの拡張現実には完全に心をバキュンされてしまった。
【ニコニコ動画】ARToolKitでリモコンミク (more…)
2月 7th, 2008 at 17:06
Servo Connector…
or the proven MULTIPLEX servo connector (MPX). Some pilots use (more…)
2月 11th, 2008 at 1:21
[science][blog]拡張現実感の紹介エントリに学ぶ…
もうなんか今更感が漂ってるのだが、見習いたいなぁと思ったエントリがあった。まぁ、これを書いてしまったら「こいつ例の記事マネしたな」とわかってしまうようなエントリは書け (more…)
2月 23rd, 2008 at 7:25
マジ電脳コイル…
マジ電脳コイル
２ちゃんねるのアイマススレで紹介されてたんだけど、こいつはすごい！
『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在
ときどき大量の緑の (more…)
3月 4th, 2008 at 14:02
[...] もしもあなたが、新しいテクノロジーの可能性に興味を持っているなら、【拡張現実感】(AR: Augmented Reality)という技術について調べてみて欲しい。『攻殻機動隊』とか『電脳コイル』といったSFの中で登場する技術が、研究室レベルで面白い成果を出始めている。 カメラで撮影した現実の映像の上に仮想の世界をリアルタイムで重ねて表示するデモンストレーション。ノートPC程度のコンピュータ性能で実現している。デモ映像は、Youtubeのコチラで観ることができる。もう少し詳しい解説は、王様の箱庭『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在」が参考になる。 [...]
3月 11th, 2008 at 18:58
SLN3DEXPO Vol.4 3次元にCGを合成する…
SLN3DEXPO第四回。最終回ということで、未来への展望、みたいなニュアンス… (more…)
3月 13th, 2008 at 16:06
MR…
ISMAR 2007（複合現実感国際会議）と言うものがあることがすごい。
『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在
(more…)
5月 22nd, 2008 at 8:10
セミナー「AR時代の技術｣ 様々な五感拡張テクノロジーの驚異…
■セミナー概要 昨日、５月２０日、国際大学グローバル コミュニケーションセンターの主催するセミナー、「AR時代の技術｣（シリーズ「オーグメンテッド・リアリティ（AR）時代の世…
9月 27th, 2008 at 2:34
[...] 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 王様… [...]
10月 21st, 2008 at 21:15
[...] Google Analyticsのログを見たら， 10/17のアクセスがやたらと多いので何事かと思い，調べてみたところ， 「電脳タイプの次世代魔人形」 電脳フィギュアARis(アリス）発売 – アキバBlog という記事から誘導されてきたのが原因っぽい．あああああ，なんてところに目を付けられてしまったんだ。。。 orz と地味に凹んでたら，某勉強会でお世話になった方の記事も紹介してあって何とも言えない安心感が（苦笑） 道連れ。。。じゃなかった，仲間がいた！！みたいな． ・「攻殻機動隊」「電脳コイル」の世界を実現！ – ARToolKitを使った拡張現実感プログラミング ・『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 | 王?… [...]
1月 8th, 2009 at 9:20
[...] プログラムのソースは公開しないことになったと聞いていたけど、たまたま見たここによると、秋には公開されていたようだ。 [...]
5月 13th, 2009 at 1:42
[雑記][映像]もうARToolKitの話どころじゃなかった…
さっきの日記から立て続けですが。 詳しいサイトを見つけたのでメモ。 ・石庭を背景にダースベイダーが銃撃戦を繰り広げる＋動く鹿に吹き出しをつけてたり これでも去年の1月なのか…
7月 22nd, 2009 at 10:49
[...] 去年くらいからいろいろ目にする機会が増えてきたAR(拡張現実)。 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在 [...]