2015年6月22日月曜日

HoloLensまとめ

Microsoftが開発したARヘッドマウントディスプレイ(HMD)「HoloLens」についてまとめました。


ARヘッドマウントディスプレイの特徴

ヘッドマウントディスプレイとは、頭にかぶり、眼前のディスプレイにCGによる表示映像をするデバイスですが、これはOculus RiftやsonyのProject MorpheusのようなVR用と異なり、現実世界も透けて見えます。

また、Oculus RiftとMorpheusはディスプレイ機能がメインで、PCやゲーム機につなげて処理する必要がありますが、HoloLensは,それ自体にWindows 10を搭載しており、PCに接続する必要はありません。

業界筋ではプロセッサして「Atom」SoC(System-on-a-Chip)の搭載が有力視されています。


距離センサーで空間にCGを貼り付ける

現実視界にCGをオーバーラップ表示できるシースルータイプのHMDとしては,すでにセイコーエプソンがAndroidベースのMOVERIOシリーズを出しています。

ただ、MOVERIOとHoloLensは周辺環境の認識という点において大きく異なります。HoloLensには,「Kinect」と同じ投射型深度センサーが使用されています。これは赤外光を面照射して,その反射光が返ってくるまでの時間をCMOSベースの距離イメージセンサからToF(Time of Flight)方式で測定するものです。照射範囲は120度。

ToFとは,照射された赤外光が反射されて照射側に戻ってくるまでの時間差から、シーンの深度分布を計測する技術です。これはMicrosoftが2009年に買収したイスラエルの3DV Systemsが持つ技術をベースとしています。Xbox One用KinectのToF測距精度は130億分の1秒だといわれ、HoloLensでもこれに準じた精度で深度値を取得しているものと思われます。

このため、「現実視界にCGが完全に張り付いている」という感覚を得られるのです。
mine craftのデモ


網膜投影型は焦点調整が不要だが、デメリットもある

Oculus RiftやMorpheusでは,直視型の液晶ディスプレイを眼前において見せているので、眼球を動かしても映像が見切れたり消失することはありません。一方で、HoloLensのような網膜投射型デバイスの場合、網膜に映像を直接投射する関係で、眼球が常に正面を向いていることが前提になっています。なので、眼球を動かすと途端に映像が消失したり,外周が消えてしまったりするとのことです。

そもそも、網膜投影型とはどのようなものなのでしょうか。
通常、物体を立体視する際、光は水晶体で収束し、網膜上で結像します。物体までの距離が変化すれば、水晶体の厚みを変え、光を屈折させます。それに対し、網膜投影型では、光を瞳孔の中心で収束させるため、水晶体の屈折率の影響はうけません。
つまり、現実の視界で遠くのものを見ても、近くのものを見ても、ディスプレイのCGがぼやけないのです。近視、乱視、老眼なども関係ありません。

また、ディスプレイには表示部が存在しないため、解像度・輝度・コントラスト・表示色とも従来のディスプレイを凌駕する性能が実現できます。



ジェスチャー操作、音声入力が可能

HoloLensのデモでは、空中をタップする、つまむ、引き延ばす、などのジェスチャーでCGを実際のモノのように操作できる様子が公開されています。
指の認識はHMDの前面に付いているセンサーで行っているようです。現状、可能な操作は限られており、あまり複雑な指の動きまでは対応していません。
また、音声の入力も可能で、かなりの精度で認識してくれるそうです。(英語)家の中で使うのであれば、音声入力はかなり便利になりそうですね。



画角が今後の課題

また、体験した方によると、映像画角はかなり狭いといいます。30°×17.5°というデータもあります。
少し頭の向きを変えるとCGが途切れてしまうため、仮想世界への没入感は少なくなってしまいます。
平面の2D映像を見たり、サインを表示する分にはいいのですが、3Dのゲームなどをやろうとすると、物足りない感があると思います。
おそらく、網膜投影の仕組み的に、この画角の問題はすぐに解決されるものではないと思われます。
弊社のHADOのような没入感のあるゲームではある程度の画角が必須なので、初期のHoloLensに対応させるのは難しいかもしれませんね。
今後に期待です。


その他のデモ動画