chinda_fall_desu’s diary

竹内豊の日記

ヒューマンコンピューターインターフェースをもっと知りたいなー

【HCI論文】The go-go interaction technique (1996) - VR+伸縮する腕 -

今回の論文

"The go-go interaction technique: non-linear mapping for direct manipulation in VR"(UIST 1996)

https://image.slidesharecdn.com/lecture7-3dui-novideo-160913075125/95/comp-4010-lecture7-3d-user-interfaces-for-virtual-reality-22-638.jpg?cb=1473753168
COMP 4010 Lecture7 3D User Interfaces for Virtual Reality

どんなもの?

VR上で腕を伸縮させることで遠くのオブジェクトを操作する

先行研究との違い

・ジェスチャ入力やポインタ入力は、近いオブジェクトと遠いオブジェクトで操作方法が異なる上、操作が実世界での動きと異なるため直感的でない
・Worlds In Miniature は、直接操作に対応していない上、正確な操作も困難

それに対し Go-Go interaction
・近いオブジェクトと遠いオブジェクトで操作を切り替える必要がない
・実世界の腕の動きを利用するため直感的

実装

ハードウェア
・Polhemus Fastrakセンサを利用し、手の位置を取得する

腕の伸縮方法
・上部の画像のように、腕の伸びがD未満の時、腕の伸縮は線形で、実世界の腕の伸びと仮想の腕の伸びは一致する
・D以上になると、伸縮は非線形になり、仮想の腕の伸びは実世界の腕の伸びより大きくなる

検証方法

VR上で医療環境、美術館を作成し、そこでGo-Go interactionのユーザビリティ調査を行った

議論

・Go-Go interactionは既存のインタラクション方法を代替する技術ではなく、補完するものである
・今後、インタラクション方法を比較し、状況に応じてどのインタラクション方法を利用すべきか調査する


先行研究

Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
・直接操作は対応していない
・小さいオブジェクトを正確に動かすことは困難
chindafalldesu.hatenablog.com

発展させた研究

Body cyberization by spatial augmented reality for reaching unreachable world (2017)
・Go-Go interactionとSAR(プロジェクション)を組み合わせた
chindafalldesu.hatenablog.com

Go-Go interactionの由来

アニメ"Inspector Gadget"の"Go-Go Gadget"が由来みたい
youtu.be

映画化もされてる!
www.youtube.com

Ivan Poupyrev氏の面白い研究

chindafalldesu.hatenablog.com

【HCI論文】Voodoo dolls (1999) - コピーの人形でオブジェクトを操作 -

今回の論文

"Voodoo dolls: seamless interaction at multiple scales in virtual environments"(I3D 1999)

https://msp.c.yimg.jp/images/v2/FUTi93tXq405grZVGgDqG811UMy1LUI9156Z5kRd3Q64CHFs1ugtI8sdIIqt4frGiM4583fy621KteYs-CSD8m665acnIhpV8x2E--FPtQMYh4u_1hKkVT3_J71KCDPwSs4Zd2MQ85koNputPp4maGhOPlvbjxAe-g_GQ_t4p8zsa2BubRRuZFTAByVzVZA4FFI0H60s9xKE4wh50HOVS8tPNbmWvJQ7sHXMt70TEoZIoc_UuKxS25ftlcA3vfwapEHiy4yVh8cYlzfvkYU5o1K8DbTO1oJPlTwmCnr-st_xJdJ8H-8mQUI-FuB0iRBf/2-Figure1-1.png

どんなもの?

遠くのオブジェクトのコピー(人形)を取得し、それを自由なスケールで操作する

先行研究との違い

・Worlds In Miniature では小さいオブジェクトの操作が困難
・Go-Go interaction では、選択できるオブジェクト、オブジェクトを置ける場所に制約がある

Voodoo dolls
・オブジェクトを複数のスケールで操作できる
・可視オブジェクトと遮蔽オブジェクトの両方を操作できる

実装

ハードウェア
Fakespace PinchGlovesを利用し、手の位置・ピンチ操作を検出する

操作方法
・image plane technique (1997) を利用して、オブジェクトの人形を取得する
・参照オブジェクトを選択し、サイズを決定する

検証方法

4人のユーザにこの技術を用いて家具を動かすタスクをこなしてもらい、それを観察した

議論

・ユーザ自身の人形を作り、オブジェクトの自分の位置に、自分をオブジェクトの位置に移動させる機能を作る予定
・左右の手の役割を変えるアイデアは他のインタラクション手法にも利用できそう

先行研究

Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
・小さいオブジェクトを正確に動かすことは困難
chindafalldesu.hatenablog.com

Go-Go interaction (1996)
・腕を伸ばして遠くのオブジェクトを操作
・腕の伸縮の制約がある
・・・

Image Plane Interaction Techniques for 3D Immersive Environments (1997)
ジェスチャーによって遠くのオブジェクトを指定し、操作する
・・・
www.youtube.com

【HCI論文】Spacetime (2018) - VRでの3つの独自のインタラクション方法 -

今回の論文

"Spacetime: Enabling Fluid Individual and Collaborative Editing in Virtual Reality"(UIST 2018)

www.youtube.com

どんなもの?

3つの独自のインタラクション方法を提案し、それによってVRにおける個人での作業が強力にサポートされ、共同での作業が行いやすくなることを示した

先行研究との違い

既存のVRにおけるインタラクション方法をカプセル化しつつ、独自のインタラクション方法を加えることで、流れるような共同作業を可能にした

実装

3つのインタラクション方法
1. Container
ナビゲーション、選択、操作の豊富な機能をカプセル化した

2. Parallel Objects
オブジェクトを複数の状態で並列に存在させられるようにすることで、複数のユーザが同時に操作できるようにする

3. Avatar Objects
ユーザをオブジェクトとして扱い、直接操作できるようにした

検証方法

専門家とのアンケートおよびインタビューによって、提案手法の有用性および有効性を調査した

議論

・パラレルオブジェクトが1つにマージする機能を導入できそう
・ユーザ数を増やして機能を評価する
・MRへの拡張が考えられる

先行研究

Virtual reality on a WIM (1995)
・ミニチュアを使って遠くのオブジェクトを操作
chindafalldesu.hatenablog.com

Voodoo dolls (1999)
・人形を使って遠くのオブジェクトを操作
chindafalldesu.hatenablog.com

【HCI論文】Extending the Body for Interaction with Reality (2017) - AR+伸縮する腕 -

今回の論文

"Extending the Body for Interaction with Reality"(CHI 2017)

www.youtube.com

どんなもの?

AR上で、自分の身体の一部であることの認識を保たせたまま、自分の腕を伸縮させることでIoTデバイスを直接操作する

先行研究との違い

・遠隔操作に自分の手の伸縮を利用
・精度やタスク完了時間によるパフォーマンスではなく、ユーザの体験に焦点を当てる

実装

ハードウェア
HMDとしてOculus Rift DK2を利用し、前面にカメラを取り付け、ARを実現する
・OptiTrackを利用してユーザとオブジェクトの追跡を行う

システム設計
・ある閾値まで仮想の腕は実際の腕と同じ長さだが、閾値を超えると仮想の腕は伸びる
・肩から手までの長さを基準に伸ばす
・ユーザが緑の袖を着用することで実際の腕が表示されないようにする
・深度データを利用し、衝突/オクルージョン/影 を再現する

検証方法

ユーザ実験を行い、アンケートを基に、仮想の腕 / 仮想の腕と実際の腕 / 手 / 手型のポインタ の四つ表示方法を比較した

議論

・実際の手と仮想の手が共存するとユーザは混乱する
・他の手法と比べて評価する実験をまだ行っていない

GUIによりスクリーンを介した実物体の操作が可能になり、TUIにより実物体への直接操作が可能になった
Body Extentionにより仮想身体による実物体への直接操作が可能になる


操作するIoTデバイス

・高さを変えられるテーブル
・傾斜を変えられるテーブル
・開閉できるカーテン

先行研究

Holodesk (2012)
・仮想の手ではなく、実際の手を使って仮想物体とインタラク
chindafalldesu.hatenablog.com

FingARtips (2004)
・手の形をしたポインタを使って遠隔操作
・・・

関連研究

Body cyberization by spatial augmented reality for reaching unreachable world (2017)
・ARではなく、SAR(プロジェクション)を利用
chindafalldesu.hatenablog.com

【HCI論文】Megereality (2020) - AR+IoT操作+アフォーダンス -

今回の論文

""Megereality": Leveraging Physical Affordances for Multi-Device Gestural Interaction in Augmented Reality"(CHI EA 2020)

www.youtube.com
https://www.youtube.com/watch?v=MSvP1Cto5UY

どんなもの?

ARを介した複数デバイスの操作を、アフォーダンスとメタファーを用いることで補助する

先行研究との違い

Megerealityは既存のARによるIoT操作にアフォーダンスを加えている

実装

ハードウェア
Oculus Rift VR と Zed Mini でAR表示を行う
・スマートライトにPhilips Hue light bulb を利用
・ディスプレイとタブレット間の同期にOpen Sound Control (OSC) を利用

プロトタイプ

  1. 付箋をタブレットからAR空間へ
  2. 3DモデルをディスプレイからAR空間へ
  3. スマートライトの操作

1では、アフォーダンスとしてpull操作を利用
2では、アフォーダンスとしてpull操作、メタファーとして陰影および色の変化を利用
3では、メタファーとして"Slurp"同様にスポイトを利用し、アフォーダンスとしてピンチ操作および色の吸い込みアニメーションを利用

検証方法

なし

議論

今後、下記を実施する
・IoTデバイスとのインタラクション方法の拡張
スマートホームでの一連のユースケースの開発
・ユーザ調査による定量的な評価

関連研究

Reality editor(2013)
・AR+IoT操作
アフォーダンスを利用していない
chindafalldesu.hatenablog.com

Slurp(2008)
・スポイトのアフォーダンスを利用
vimeo.com

【HCI論文】KineticAR (2020) - AR+ロボット操作 -

今回の論文

"Kinetic AR: A Framework for Robotic Motion Systems in Spatial Computing"(CHI EA 2020)

www.youtube.com

どんなもの?

異なる動き方をするロボットを包括的にARで操作するフレームワークを作成

先行研究との違い

既存のロボットとARを組み合わせた研究は
・それぞれの研究で違う課題に取り組んでいる
・視覚化によるフィードバックを目的としている
・インターフェースが1つのロボットシステムに限定されている

実装

・ARプラットフォームとしてRealityEditorを利用した
・パス設計/モーション設計/視覚化などが実装されたフレームワークを作成
フレームワークを利用して、AVG/ロボットアーム/義肢 を操作するプロトタイプを作成

検証方法

・ロボット専門家にインタビューを実施し、最初の方向性を検証した
・実装したフレームワークに対する定量的な評価は行っていない

議論

今後、下記の2つの評価実験を行う
・既存のコントローラと比較する定量的な評価
・ユーザの違いによる、作られるインターフェースの違いの評価

関連研究

Aftermath(2015)
・静的なオブジェクトを利用
vimeo.com

exTouch(2013)
・6DoFのロボットを利用
chindafalldesu.hatenablog.com

【HCI論文】AAR (2020) - HMD+可動式プロジェクター -

今回の論文

"AAR: Augmenting a Wearable Augmented Reality Display with an Actuated Head-Mounted Projector"(UIST 2020)

www.youtube.com

どんなもの?

HMDと可動式プロジェクターを組み合わせ、共同作業やコミュニケーション等を可能にする
・AARの利用で下記のような機能を作成できる

  1. プロジェクターによるGUIの投影
  2. HMDのオブジェクトのプロジェクターによる投影(傍観者が見れるように)
  3. プライベートな情報(HMDで表示)とパブリックな情報(プロジェクターで投影)の分離
先行研究との違い

HMD+SAR だが、FoveARのようにプロジェクターを固定させないため、ユーザが移動できる

実装

・Celluon PicoBitというプロジェクターをHoloLensに載せる
・Kumanと DFRobotの二つのサーボでプロジェクターを動かす

検証方法

なし

議論

・プロジェクターのスキャンから表示までに時間がかかるため、ラグが生じうる
サーボモータの精度の改善が必要
・装置の重さが1kgを超えるため、軽量化が必要

関連研究

FoveAR(2015)
HMD+SAR
・SARの利用で表示範囲を拡大
・プロジェクターが固定されているため、ユーザが移動できない
www.youtube.com

Gluey(2015)
HMD+周辺機器
HMDをデータ移動の媒介として利用
・・・