【HCI論文】Remixed Reality (2018) - 実物体の椅子を消したり、変形させたり -
今回の論文
"Remixed Reality: Manipulating Space and Time in Augmented Reality"(CHI 2018)
どんなもの？
部屋を3D再構成し、表示することで、部屋をVR空間のように扱えるようにする
先行研究との違い
・シースルーによるMR、ARとは異なり、実物体の操作が行える
・SARが色 / テクスチャ / 大きさの変更が可能なのに対し、RemixedRealityは加えて物体の削除など変化の大きな操作も可能
実装
ハードウェア
・8台のKinect v2を使って深度と色のデータを取得する
・3D再構成はRoomAlive Toolkitを用いて行う
アプリケーション
VRの特性（物体の移動や削除、時間の操作、視点の移動）を利用したアプリケーションを作れる
・インテリアデザイン
・会議を部屋ごと録画
など
検証方法
なし
議論
・3D再構成の質は深度カメラに依存し、描画速度とトレードオフ
・8台の深度カメラを用いた構成を簡略化できないか
・触覚フィードバックの問題
・再構成されたシーンを認識させることでAftermathのような表現が可能になるのでは（ソファに仮想のボールを落とすとバウンドするみたいな）
先行研究
Urp (1999)
・SARを用いて物体のプロパティを変更
・影を変化させられる
vimeo.com
SceneCtrl (2017)
・RemixedRealityと同様に実物体の操作が可能だが、操作されたオブジェクトは静的
www.youtube.com
【HCI論文】The go-go interaction technique (1996) - VR＋伸縮する腕 -
今回の論文
"The go-go interaction technique: non-linear mapping for direct manipulation in VR"(UIST 1996)
COMP 4010 Lecture7 3D User Interfaces for Virtual Reality
どんなもの？
VR上で腕を伸縮させることで遠くのオブジェクトを操作する
先行研究との違い
・ジェスチャ入力やポインタ入力は、近いオブジェクトと遠いオブジェクトで操作方法が異なる上、操作が実世界での動きと異なるため直感的でない
・Worlds In Miniature は、直接操作に対応していない上、正確な操作も困難
それに対し Go-Go interaction は
・近いオブジェクトと遠いオブジェクトで操作を切り替える必要がない
・実世界の腕の動きを利用するため直感的
実装
ハードウェア
・Polhemus Fastrakセンサを利用し、手の位置を取得する
腕の伸縮方法
・上記の画像のように、腕の伸びがD未満の時、腕の伸縮は線形で、実世界の腕の伸びと仮想の腕の伸びは一致する
・D以上になると、伸縮は非線形になり、仮想の腕の伸びは実世界の腕の伸びより大きくなる
先行研究
Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
・直接操作は対応していない
・小さいオブジェクトを正確に動かすことは困難
chindafalldesu.hatenablog.com
発展させた研究
Body cyberization by spatial augmented reality for reaching unreachable world (2017)
・Go-Go interactionとSAR(プロジェクション)を組み合わせた
chindafalldesu.hatenablog.com
Ivan Poupyrev氏の面白い研究
【HCI論文】Voodoo dolls (1999) - コピーの人形でオブジェクトを操作 -
今回の論文
"Voodoo dolls: seamless interaction at multiple scales in virtual environments"(I3D 1999)
どんなもの？
遠くのオブジェクトのコピー（人形）を取得し、それを自由なスケールで操作する
先行研究との違い
・Worlds In Miniature では小さいオブジェクトの操作が困難
・Go-Go interaction では、選択できるオブジェクト、オブジェクトを置ける場所に制約がある
Voodoo dollsは
・オブジェクトを複数のスケールで操作できる
・可視オブジェクトと遮蔽オブジェクトの両方を操作できる
実装
ハードウェア
Fakespace PinchGlovesを利用し、手の位置・ピンチ操作を検出する
操作方法
・image plane technique (1997) を利用して、オブジェクトの人形を取得する
・参照オブジェクトを選択し、サイズを決定する
検証方法
4人のユーザにこの技術を用いて家具を動かすタスクをこなしてもらい、それを観察した
先行研究
Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
・小さいオブジェクトを正確に動かすことは困難
chindafalldesu.hatenablog.com
Go-Go interaction (1996)
・腕を伸ばして遠くのオブジェクトを操作
・腕の伸縮の制約がある
chindafalldesu.hatenablog.com
Image Plane Interaction Techniques for 3D Immersive Environments (1997)
・ジェスチャーによって遠くのオブジェクトを指定し、操作する
・・・
www.youtube.com
【HCI論文】Spacetime (2018) - VRでの3つの独自のインタラクション方法 -
今回の論文
"Spacetime: Enabling Fluid Individual and Collaborative Editing in Virtual Reality"(UIST 2018)
実装
3つのインタラクション方法
1. Container
ナビゲーション、選択、操作の豊富な機能をカプセル化した
2. Parallel Objects
オブジェクトを複数の状態で並列に存在させられるようにすることで、複数のユーザが同時に操作できるようにする
3. Avatar Objects
ユーザをオブジェクトとして扱い、直接操作できるようにした
検証方法
専門家とのアンケートおよびインタビューによって、提案手法の有用性および有効性を調査した
議論
・パラレルオブジェクトが1つにマージする機能を導入できそう
・ユーザ数を増やして機能を評価する
・MRへの拡張が考えられる
先行研究
Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
chindafalldesu.hatenablog.com
Voodoo dolls (1999)
・人形を使って遠くのオブジェクトを操作
chindafalldesu.hatenablog.com
【HCI論文】Extending the Body for Interaction with Reality (2017) - AR＋伸縮する腕 -
今回の論文
"Extending the Body for Interaction with Reality"(CHI 2017)
どんなもの？
AR上で、自分の身体の一部であることの認識を保たせたまま、自分の腕を伸縮させることでIoTデバイスを直接操作する
先行研究との違い
・遠隔操作に自分の手の伸縮を利用
・精度やタスク完了時間によるパフォーマンスではなく、ユーザの体験に焦点を当てる
実装
ハードウェア
・HMDとしてOculus Rift DK2を利用し、前面にカメラを取り付け、ARを実現する
・OptiTrackを利用してユーザとオブジェクトの追跡を行う
システム設計
・ある閾値まで仮想の腕は実際の腕と同じ長さだが、閾値を超えると仮想の腕は伸びる
・肩から手までの長さを基準に伸ばす
・ユーザが緑の袖を着用することで実際の腕が表示されないようにする
・深度データを利用し、衝突/オクルージョン/影 を再現する
検証方法
ユーザ実験を行い、アンケートを基に、仮想の腕 / 仮想の腕と実際の腕 / 手 / 手型のポインタ の四つ表示方法を比較した
議論
・実際の手と仮想の手が共存するとユーザは混乱する
・他の手法と比べて評価する実験をまだ行っていない
GUIによりスクリーンを介した実物体の操作が可能になり、TUIにより実物体への直接操作が可能になった
Body Extentionにより仮想身体による実物体への直接操作が可能になる
操作するIoTデバイス
・高さを変えられるテーブル
・傾斜を変えられるテーブル
・開閉できるカーテン
先行研究
Holodesk (2012)
・仮想の手ではなく、実際の手を使って仮想物体とインタラクト
chindafalldesu.hatenablog.com
FingARtips (2004)
・手の形をしたポインタを使って遠隔操作
・・・
関連研究
Body cyberization by spatial augmented reality for reaching unreachable world (2017)
・ARではなく、SAR（プロジェクション）を利用
chindafalldesu.hatenablog.com
【HCI論文】Megereality (2020) - AR＋IoT操作＋アフォーダンス -
今回の論文
""Megereality": Leveraging Physical Affordances for Multi-Device Gestural Interaction in Augmented Reality"(CHI EA 2020)
www.youtube.com
https://www.youtube.com/watch?v=MSvP1Cto5UY
先行研究との違い
Megerealityは既存のARによるIoT操作にアフォーダンスを加えている
実装
ハードウェア
・Oculus Rift VR と Zed Mini でAR表示を行う
・スマートライトにPhilips Hue light bulb を利用
・ディスプレイとタブレット間の同期にOpen Sound Control (OSC) を利用
プロトタイプ
- 付箋をタブレットからAR空間へ
- 3DモデルをディスプレイからAR空間へ
- スマートライトの操作
1では、アフォーダンスとしてpull操作を利用
2では、アフォーダンスとしてpull操作、メタファーとして陰影および色の変化を利用
3では、メタファーとして"Slurp"同様にスポイトを利用し、アフォーダンスとしてピンチ操作および色の吸い込みアニメーションを利用
検証方法
なし
関連研究
Reality editor(2013)
・AR+IoT操作
・アフォーダンスを利用していない
chindafalldesu.hatenablog.com
【HCI論文】KineticAR (2020) - AR＋ロボット操作 -
今回の論文
"Kinetic AR: A Framework for Robotic Motion Systems in Spatial Computing"(CHI EA 2020)
どんなもの？
異なる動き方をするロボットを包括的にARで操作するフレームワークを作成
先行研究との違い
既存のロボットとARを組み合わせた研究は
・それぞれの研究で違う課題に取り組んでいる
・視覚化によるフィードバックを目的としている
・インターフェースが1つのロボットシステムに限定されている
実装
・ARプラットフォームとしてRealityEditorを利用した
・パス設計/モーション設計/視覚化などが実装されたフレームワークを作成
・フレームワークを利用して、AVG/ロボットアーム/義肢 を操作するプロトタイプを作成
議論
今後、下記の2つの評価実験を行う
・既存のコントローラと比較する定量的な評価
・ユーザの違いによる、作られるインターフェースの違いの評価
関連研究
Aftermath(2015)
・静的なオブジェクトを利用
vimeo.com
exTouch(2013)
・6DoFのロボットを利用
chindafalldesu.hatenablog.com
