【HCI論文】DistanciAR (2021) - 部屋のARデザインを遠隔で -
今回の論文
"DistanciAR: Authoring Site-Specific Augmented Reality Experiences for Remote Environments"(CHI 2021)
どんなもの？
遠隔で部屋のARデザインを作成するシステムを作成
以下の3つのステップで行う
1. スキャナーで自分の部屋をキャプチャし、ARデザイナーへ送る
2. 遠隔でARデザインを行う
3. 自分の部屋でAR体験をする
先行研究との違い
・Adobe Aero や CAPturAR は部屋に基づくAR体験を作成できるが、遠隔での作成は行えない
・DART や Unity は遠隔でARデザインを作成できるが、部屋に基づくAR体験は提供できない
実装
システム
・iPadのLiDARで部屋のスキャンを行う
・カメラポーズとRGBデータでテクスチャマッピングを行う
機能
以下の3つのモードを利用できる
1. PORTAL Mode ... 遠隔の部屋をiPadを介して表示し、仮想物体の操作を行う
2. DOLLHOUSE Mode ... 部屋のミニチュアを表示し、部屋の俯瞰および視点の移動を可能にする
3. PEEK Mode ... 3D再構成の代わりにビデオフレームを表示し、顧客の見え方に近づける
評価
実験1
PORTAL Mode を評価し、課題を特定する
結果
・デザイナーが自由に移動できた方が良い
・その部屋にいる感覚でARデザインができた方がいい
実験2
DOLLHOUSE Mode および PEEK Mode の追加で実験1で得られた課題を解決できたか
結果
・参加者は今回のバージョンを明確に好んだ
・モードの変更でデザインにかかる時間が増える恐れがある
今後の展望
・共同でのARデザインが可能か
・インテリアデザイン以外のARアプリケーションが作成可能か
関連研究
Remixed Reality (2018)
・部屋のキャプチャを行う
・部屋の物体を仮想物体のように扱える
chindafalldesu.hatenablog.com
Holoportation (2016)
・部屋のキャプチャを行う
・遠隔コミュニケーションに利用
chindafalldesu.hatenablog.com
Virtual Reality on a WIM (1995)
・ミニチュア（Dollhouse）を利用
・VRでのインテリアデザインに利用
chindafalldesu.hatenablog.com
【HCI論文】Smarter objects (2013) - GUIでプログラミング, TUIで操作 -
今回の論文
"Smarter objects: using AR technology to program physical objects and their interactions"(CHI EA 2013)
どんなもの？
システムのプログラミングはGUIで行い、日常的な利用はTUIで行うことで、柔軟な設計ができる視覚的負荷の小さいインターフェースが作成できることを示す
実装
ソフトウェア
拡張GUIは、Qualcomm Vuforia framework を使って作成された
タッチディスプレイは、Open Sound Control protocol を使ってサーバーと接続されている
操作方法
1. GUI（タッチディスプレイ）で曲を選択し、TUI（ノブ）と結びつける
2. TUIだけでラジオを操作する
検証方法
なし
議論
なし
【HCI論文】Projective Windows (2018) - 見た目の大きさが実際の大きさに変わる -
今回の論文
"Projective Windows: Bringing Windows in Space to the Fingertip"(CHI 2018)
どんなもの？
Projective Windows (PW) は
・外部コントローラを使わずハンドジェスチャだけを使い、
・ウィンドウの見た目の大きさと実際の大きさを適宜変化させることで、
・3D空間での2Dウィンドウの移動および拡大縮小を可能にする
先行研究との違い
PWはウィンドウの選択にImage plane interaction(1997)を利用し、ウィンドウの配置にObject associations(1995)を利用した
実装
ハードウェア
・ヘッドトラッキングにOculusVRを利用
・ハンドトラッキングおよび実世界のビデオフィードバックにLeapMotionを利用
操作方法
1. 選択
・ピンチ操作でウィンドウは自分の手元に移動する
・見た目の大きさが保たれたまま、実際の大きさが変化する
2. 拡大縮小
・手を手前もしくは奥に動かす
・実際の大きさが保たれたまま、見た目の大きさが変化する
3. 移動
・ピンチを離すと、ウィンドウは垂直な面に移動する
・見た目の大きさが保たれたまま、実際の大きさが変化する
検証方法
・同じコントローラを用いて PW と ray-casting を比較する実験を行った
・その後、同じ参加者でハンドジェスチャを用いたPWが実現可能かの調査を行った
議論
・PWは大幅な拡大縮小に向いている
・PWは不意のタスクや雑な操作に向いてそう
先行研究
Image plane interaction techniques in 3D immersive environments (1997)
www.youtube.com
【HCI論文】Gluey (2015) - HWDを介したデータ移動 -
今回の論文
"Gluey: Developing a Head-Worn Display Interface to Unify the Interaction Experience in Distributed Display Environments"(MobileHCI 2015)
どんなもの？
HWDを介すことで複数デバイス間のシームレスなデータ移動および入力対象の変更を可能にする
先行研究との違い
・Augmented surfacesは保持するデータの視覚的フィードバックおよびモビリティが不足
・Deep shotはスマホを常に手に持っていないといけない
・Still lookingで利用している視線入力は使いやすさとパフォーマンスの間にトレードオフがある
Glueyは
・HWDの利用で視覚的フィードバックを提供し、モビリティも十分である
・両手が空いているため外部の入力装置を利用できる
・頭部方向による入力を利用
実装
ハードウェア
・HWDとして Epson Moverio BT-100 を使う
・HWDにwebカメラ Logitech C270 HD を取り付ける
・HWDとpcはTCP接続されている
3つの概念
・Glueview ... マーカベースのARToolkitPlusを使って視界のデバイスを認識
・Glueboard ... 常に表示されているクリップボード
・Gluon ... キーボード、マウス、ジェスチャなど様々な入力をサポート
検証方法
ユーザにGlueyプロトタイプを利用してもらい、7ポイントのリッカート尺度で評価してもらった
議論
・既存のデータ移動方法からの移行を容易にする方法を考える必要がある
・視覚的過負荷の可能性の考慮する必要がある
・Dropboxのような分散アプリケーション化やOSのモジュール化が考えられる
先行研究
Augmented surfaces (1999)
・SARを利用した複数デバイス間のデータ移動
chindafalldesu.hatenablog.com
Deep shot (2011)
・スマートフォンを利用した複数デバイス間のデータ移動
www.youtube.com
Still looking (2013)
・視線入力によるデータ操作
www.youtube.com
【HCI論文】RealityCheck (2019) - 自分の部屋をVRに持ってくる -
今回の論文
"RealityCheck: Blending Virtual Environments with Situated Physical Reality"(CHI 2019)
どんなもの？
実世界の3D再構成によって実世界をVR空間に持ってくる
それによって以下を実現
・衝突のリスクを軽減する
・実世界の人とのコミュニケーションを可能にする
・飲食など実世界でのインタラクションを可能にする
先行研究との違い
・RemixedReality, RoomAlive は実世界の部屋をインタラクティブにする
・A Dose of Reality はキーボードなど近くのオブジェクトのみをVR空間に持っていく
RealityCheckは
・実世界の部屋をVR空間に持っていく
・VR空間に持っていくオブジェクトは近くのオブジェクトに限らない
実装
RealとVirtualの融合
・部屋に取り付けた8つのKinect v2 カメラ、およびViveの前面に取り付けたRealSenseカメラで深度データおよび色データを取得
・RoomAlive Toolkitでキャリブレーションおよび3D再構成を行う
・VRゲームのレンダリング結果、zバッファ、ビュー、射影行列を取得し、VRとRealを重ね合わせる
融合方法
・部屋全体、部屋の重要な物体のみ、近い物体のみ、の3つの融合方法を提案
・テクスチャ、ジオメトリ、インタラクション方法も複数提案
検証方法
本研究とViveのchaperoneシステムを没入感、安全性、実物体操作、コミュニケーションの4つの観点から比較した
議論
・ゲームのdepthデータやRGBデータをRGB-Dカメラで取得された情報と捉えれば、SLAMや物体検出を利用できそう
・実物体に合わせて仮想物体の配置を考える
先行研究
RoomAlive (2014)
・SARによって実世界の部屋をインタラクティブにする
・・・
RemixedReality (2018)
・部屋の3D再構成によって実世界の部屋をインタラクティブにする
chindafalldesu.hatenablog.com
A Dose of Reality (2015)
・キーボードなど近くのオブジェクトのみをVR空間に持っていく
・・・
【HCI論文】SnapToReality (2016) - 実物体に合わせて仮想物体をスナップ -
今回の論文
"SnapToReality: Aligning Augmented Reality to the Real World"(CHI 2016)
どんなもの？
物理的制約（エッジや平面）に基づいて、仮想物体を実物体上に移動させられるシステムを開発
先行研究との違い
・Snap-dragging(1986)など仮想物体の物理的制約を利用する研究は長く行われてきた
・2Dから物理的制約を抽出し、利用する研究も行われている
SnapToRealityは
・実物体の物理的制約を利用する
・3Dから物理的制約を抽出し、利用する
実装
ハードウェア
・HMDとして Lumus DK-32 を利用
・OptiTrack でHMDをトラッキング
・SparkFun 9DoF Razor でHMDの向きの推定を補助
・Microsoft Kinect 2.0 でDepth/RGBを取得
スナップ方法
・KinectのDepthとRGBを利用して、線形エッジと平面を抽出
・これを独自のアルゴリズムにかけ、仮想物体を実物体にスナップ（移動）する
検証方法
下記の3つの予備評価を行った
・物理的制約の抽出アルゴリズムの評価
・SnapToReality を用いた仮想物体の移動/操作の評価
・アンケートによる評価
議論
・実物体が動くとき仮想物体はどう動くべきか
・本研究では幾何的な制約（線形エッジと平面）を利用してスナップしたが、意味的な制約（レシピといえばキッチンみたいな）も利用できるのではないか
先行研究
Snap-dragging (1986)
・仮想物体の物理的制約を利用
・実物体は扱っていない
www.youtube.com
解説動画
【HCI論文】Wall-based Space Manipulation Technique (2018) - 壁を移動させ、物体を近くに -
今回の論文
"Wall-based Space Manipulation Technique for Efficient Placement of Distant Objects in Augmented Reality"(UIST 2018)
どんなもの？
AR空間を圧縮することで仮想物体の選択・移動を効率的に行う技法、WSM (wall-based space manipulation) を提案
先行研究との違い
・Worlds In Miniature は、正確な操作が困難
・go-go technique は、遠くのオブジェクトの奥行きを認識することが困難
・Ray casting は、効率的な選択が可能だが、操作は効率的でない
WSMは
・効率的に遠くのオブジェクトの選択および移動することが可能
・遠くのオブジェクトの奥行きを考慮した移動ができる
実装
ハードウェア
・WSMはHOMER手法（ポインタ）と共に利用した
・HMDとしてHoloLensを利用
・MRツールとして Mixed Reality Toolkit (MRTK) を利用
操作方法
・壁に仮想の平面を重ね、それのドラッグ移動によって空間を縮小する
・その移動に応じて、全ての仮想物体は移動および縮小される
検証方法
タスクを用いたユーザ調査によって以下を検証した
・WSMがHOMER手法を改善しているか
・WSMが腕の動きを減らし、疲れを軽減させているか
議論
・WSMは移動のみサポート（回転や拡大縮小はできない）
・複数なメッシュは扱えない
・複数の壁を利用した操作に関する評価は行っていない
先行研究
Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
・小さいオブジェクトを正確に動かすことは困難
chindafalldesu.hatenablog.com
The go-go interaction technique (1996)
・腕を仮想的に伸縮させて遠くのオブジェクトを操作
・遠くのオブジェクトの認識が困難
chindafalldesu.hatenablog.com
Extending the Body for Interaction with Reality (2017)
・ARで go-go interaction を利用
chindafalldesu.hatenablog.com
