chinda_fall_desu’s diary

竹内豊の日記

ヒューマンコンピューターインターフェースをもっと知りたいなー

【HCI論文】Remixed Reality (2018) - 実物体の椅子を消したり、変形させたり -

今回の論文

"Remixed Reality: Manipulating Space and Time in Augmented Reality"(CHI 2018)

www.youtube.com

どんなもの?

部屋を3D再構成し、表示することで、部屋をVR空間のように扱えるようにする

先行研究との違い

・シースルーによるMR、ARとは異なり、実物体の操作が行える
・SARが色 / テクスチャ / 大きさの変更が可能なのに対し、RemixedRealityは加えて物体の削除など変化の大きな操作も可能

実装

ハードウェア
・8台のKinect v2を使って深度と色のデータを取得する
・3D再構成はRoomAlive Toolkitを用いて行う

アプリケーション
VRの特性(物体の移動や削除、時間の操作、視点の移動)を利用したアプリケーションを作れる
・インテリアデザイン
・会議を部屋ごと録画
など

検証方法

なし

議論

・3D再構成の質は深度カメラに依存し、描画速度とトレードオフ
・8台の深度カメラを用いた構成を簡略化できないか
・触覚フィードバックの問題
・再構成されたシーンを認識させることでAftermathのような表現が可能になるのでは(ソファに仮想のボールを落とすとバウンドするみたいな)

先行研究

Urp (1999)
・SARを用いて物体のプロパティを変更
・影を変化させられる
vimeo.com

SceneCtrl (2017)
・RemixedRealityと同様に実物体の操作が可能だが、操作されたオブジェクトは静的
www.youtube.com