MENU

池井 寧 研究室

池井 寧 教授

池井 寧 教授

バーチャルリアリティ/超臨場感(ultra reality)/五感情報学/スポーツ・旅行追体験/認知工学

バーチャルリアリティは、人類に無限の空間を提供する技術です。現在、VR空間のリアリティはかなり高くなって来ていますが、この空間に人間が完全に没入するためには、自分の身体の表現が重要となってきます。私の研究室では、バーチャル身体感覚という、「超」臨場感を構築しています。これができれば、別の人の体になりきった追体験で、様々な体験学習や身体技能の直伝が実現するはずです。こんな夢を追求したい人を待ってます。

バーチャルリアリティと超臨場感

バーチャルリアリティ(VR)は、人類に無限の空間を提供する技術です。 2016年ころから、安価で高品質なHead Mounted Display (HMD) が一般のユーザにも提供されるようになり、それによって提示される空間のリアリティはかなり高くなりました。HMDだけでなく複数の大画面ディスプレイに3次元映像を投影したVR空間は、製造業を中心とした産業界でもよく使われるようになっています。しかし、このVR空間に体験者が完全に没入するためには、視覚だけでなく五感への情報提示が必要です。五感は、視覚、聴覚、嗅覚、味覚、触覚のことですが、この分類は古いため、あまり正確ではないのですが多感覚(multisensory)ということを表しています。そうした様々な感覚を統合して人間は臨場感を感じています。このVR空間の臨場感は、体験者の身体の行動・動きに対応したものになっている必要がありますが、このためには体験者の身体の状態に対応して身体感覚の情報を作り出さねばなりません。そうすることによって、体験者の体がそのVR空間にあると感じられるようになります。

  私の研究室では、バーチャルな身体感覚を伴った「超」臨場感の技術を構築しています。これは、バーチャルな周囲空間を再現するだけでなく、その中にいる自分自身の身体の感覚も合成しようとするものです。身体の感覚というのは、1つは触覚が近いものですが、たとえば歩いたり走ったりしている時の手足の運動する感覚、顔や手にあたる風の感覚、体操のような姿勢の変化の感覚、ボールを蹴ったりラケットを振ったりするときの力や皮膚の感覚、乗り物に乗った際の加速度や回転の感覚など、全身が関係する様々な感覚です。これらの身体感覚を現実と同じようにVRで作り出すのはかなり難しい課題で、様々な方面から研究が行われています。またこのような身体感覚は、実際にはVR空間の種類によって意味が異なってきます。私の研究室では、特に他人の体験を追体験するための臨場感技術を研究しています。これは、別の人の体になって追体験することを目指すもので、これができれば高度な身体技能の直伝や様々な体験学習が実現するはずです。VRで空間の再現をするだけでなく、他人の身体の感覚を再現するのが特徴で、これを我々は超臨場感の1つと位置付けています。この研究の途中経過として、Siggraph Asia 2018に技術展示を行い、下にあるように最優秀賞をいただいています。

 もう1つのテーマが、テレエクスペリエンスです。これは、上記の超臨場感の研究の一部ですが、遠隔の現在の現実空間を体験することを目的とした研究です。このためには、遠隔地のライブの映像を再現するとともに、遠隔地での移動や操作ができることが必要です。これらは、非常に難易度が高い要求で、1980年代から研究が続けられているますが、まだ完全なものは実現できていません。我々は、遠隔の視覚情報を取得する新しい仕組みとして、TwinCam Goというシステムを開発しました。(下の方に解説があります。)これは、全天球のカメラを2台利用し、その映像をHead Mouned Displayに提示するもので、遠隔通信では避けられない通信遅延の影響を補償し、頭部回転に伴うカメラの回転時の運動ボケを除去する仕組みをもっています。このカメラをSegwayに搭載し、運転者とほぼ同じ視点で自由に見回すことができるシステムがTwinCam Goです。この場合は、カメラの並進回転運動がSegwayの車体の運動として発生するため、それに対する身体フィードバックを観察者に与えています。このポイントは、HMDに表示される映像は、自己の身体から切り離された眼球がSegwayとともに空間運動することで発生する五感の矛盾による酔いを解消する点です。人間の感覚は、自己の身体(感覚器官を含む)から来るすべての情報を脳が統合して、自己自身と外界とそれらの関係を解決したうえで、意識に上っているものです。この際、脳が統合する段階で、自己の本当の身体とは全く関係ない運動を実質の眼球であるカメラが行うと統合ができなくなり、映像酔いとなって知覚されます。この不都合な事象を抑え、脳の統合の補償を行う点が研究のポイントです。

*FiveStar VR は,投稿81件中の第一位となりました.FiveStar(五感シアター)は,多感覚の刺激を提示することにより,別の空間における他者の体験を追体験可能とするVRディスプレイです.この技術展示では,トロント・ナイアガラの旅行を追体験していただけるコンテンツを公開しました.
*池井研の五感シアターは,人間の五感への統合感覚を提示する 新しいVRのインフラストラクチャです.

五感シアターと体験者 @日本バーチャルリアリティ学会大会

五感シアターでトロント・ナイアガラ旅行の追体験をしているユーザ.視聴覚,前庭感覚,気流感覚,嗅覚,上肢・下肢運動感覚,足底・上半身振動感覚が提示されいる.

五感シアター(FiveStar VR)は,Siggraph Asia 2018 のVirtual & Augmented Reality Techの最優秀賞を受賞しました.その際の投稿ビデオは以下です.

*FiveStar VR は,81件の応募の中から,最優秀技術賞を受賞しました.(Siggraph Asiaの紹介ページ


*これは,Siggraph Asia 2018に投稿された紹介ビデオです.

 

電気刺激によるLeg-Jack (歩行感覚合成)は,Siggraph Asia 2018, Emerging Technologies に採択されました.

*これは,Leg-Jackの紹介ビデオです.

Telepresenceの研究は, こちらに 紹介があります.

*TwinCam Go は,最先端表現技術利用推進協会の羽倉賞奨励賞を受賞しました.


Theta360.guide における TwinCam Go の紹介記事(英語)です.
*TwinCam introduction by theta360.guide 2018

全天周リアルタイム立体視システム TwinCam は,Siggraph 2017 Emerging Technologies に採択されました.

*これは,Siggraph 2017に投稿された紹介ビデオです.

 

全天周リアルタイム立体視システム TwinCam をSegway に搭載したTwinCam Go は,DCAJのInnovative Technologies 2018 を受賞しました.

*TwinCam Go @ Innovative Technologies 2018
YouTubeの紹介映像です.

TwinCam Go は,ビジュアルメディアエキスポ2018 にURCF (超臨場感コミュニケーション産学官フォーラム)の代表の1つとして招待展示されました.

*TwinCam Go 紹介用ポストカード

池井研の研究展示

*池井研紹介用ポストカード

池井研の五感シアタ―がNHKおはよう日本で生中継されました

NHK放送
*池井研五感シアタ―のNHK総合での紹介の様子

NHKおはよう日本で放映された池井研のミラノ旅行追体験

NHK放送milan

*池井研五感シアタ―のミラノ旅行追体験の様子

San FranciscoやStanford大学での旅行追体験のロケハンの様子

Cisco

*Golden Gate BridgeとStanford 大学での旅行追体験のロケハンの様子

池井教授の研究をもっと知りたい方へ

池井研の就職内定先の例(順不同)

  • ソニーイメージングプロダクツ,ソニーインタラクティブエンタテイメント,キャノン,野村総研,ソニ―ネットワークコミュニケーションズ,トヨタ自動車,日産,本田技研工業,スズキ自動車,コロプラ,日立製作所,NEC,NTT東日本,日立ソリューションズ,丹青社,富士ゼロックス,オリンパス,ソフトバンク,東京電力,NHK,NTTデータ,パナソニック,ヤフー,古川電工,高砂熱学,グローリー,SCSK,大日本印刷,東日本旅客鉄道,日本IBM,デンソー,ダイキン,

教員一覧へ戻る