【HCI論文】RealityCheck (2019) - 自分の部屋をVRに持ってくる -
今回の論文
"RealityCheck: Blending Virtual Environments with Situated Physical Reality"(CHI 2019)
どんなもの？
実世界の3D再構成によって実世界をVR空間に持ってくる
それによって以下を実現
・衝突のリスクを軽減する
・実世界の人とのコミュニケーションを可能にする
・飲食など実世界でのインタラクションを可能にする
先行研究との違い
・RemixedReality, RoomAlive は実世界の部屋をインタラクティブにする
・A Dose of Reality はキーボードなど近くのオブジェクトのみをVR空間に持っていく
RealityCheckは
・実世界の部屋をVR空間に持っていく
・VR空間に持っていくオブジェクトは近くのオブジェクトに限らない
実装
RealとVirtualの融合
・部屋に取り付けた8つのKinect v2 カメラ、およびViveの前面に取り付けたRealSenseカメラで深度データおよび色データを取得
・RoomAlive Toolkitでキャリブレーションおよび3D再構成を行う
・VRゲームのレンダリング結果、zバッファ、ビュー、射影行列を取得し、VRとRealを重ね合わせる
融合方法
・部屋全体、部屋の重要な物体のみ、近い物体のみ、の3つの融合方法を提案
・テクスチャ、ジオメトリ、インタラクション方法も複数提案
検証方法
本研究とViveのchaperoneシステムを没入感、安全性、実物体操作、コミュニケーションの4つの観点から比較した
議論
・ゲームのdepthデータやRGBデータをRGB-Dカメラで取得された情報と捉えれば、SLAMや物体検出を利用できそう
・実物体に合わせて仮想物体の配置を考える
先行研究
RoomAlive (2014)
・SARによって実世界の部屋をインタラクティブにする
・・・
RemixedReality (2018)
・部屋の3D再構成によって実世界の部屋をインタラクティブにする
chindafalldesu.hatenablog.com
A Dose of Reality (2015)
・キーボードなど近くのオブジェクトのみをVR空間に持っていく
・・・
