【HCI論文】SemanticAdapt (2021) - 物体の「意味」によって自動配置 -
今回の論文
背景
Mixed Reality（MR）インタフェースを用いれば、仮想要素を空間内の好きな場所に配置できる
大きな課題
ユーザは、環境が変わる度に仮想要素を手動で再配置しなければならない
本研究
SemanticAdapt は、仮想要素と実オブジェクトの意味的つながりを利用！
単一の最適化問題として解く！
最適化
意味的一致、有用性、適合性、レイアウトの外観、空間時間的一致、オクルージョン回避の6要素からなる目的関数を使って、仮想要素の配置を決める
評価実験
評価実験を実施し、再配置が行われた仮想要素の数と仮想要素の位置を再調整するために行ったインタラクションの回数を測定し、SUSアンケート、追加のアンケートを行った
再配置
SemanticAdaptは平均4.97個（SD=0.54）、UserCentric（意味を使わない配置）は平均7.63個（SD=0.73）
mixed ANOVAを実施した結果，適合メソッドの要因で，主効果が認められた（F1,10 =7.28, p <0.05）
インタラクション回数
SemanticAdaptは平均6.58回（SD=1.07），UserCentricは平均9.88回（SD=1.44）
mixed ANOVAを実施した結果，適合メソッドの要因で，主効果が認められた（F1,10 =11.83, p <0.01）
SUS
ウィルコクソンの符号順位検定を実施した結果，Willingnessでは有意差が見られた（ Z= -2.00, p < 0.05 ）
他の項目に関しては，有意差が見られなかった
議論
1. 意味をアプリケーションのどのレベルからとってくる？
pdfから｛文書、資料｝と取るか、pdfの中身から｛MR、テクノロジー｝と取るか
2. SemanticAdaptではいくつかの入力変数を手動で入力しているが、自動で取れた方がいい
詳しい説明はこちら
著者の発表動画
www.youtube.com
脚注
#1. OptiSpace: Automated Placement of Interactive 3D Projection Mapping Content (2018)
www.youtube.com
【HCI論文】GesturAR (2021) - 自分で決めたジェスチャで物体が動き出す！ -
今回の論文
"GesturAR: An Authoring System for Creating Freehand Interactive Augmented Reality Applications"(UIST 2021)
背景
ハンドジェスチャはAR体験には不可欠な入力手法である
先行研究
事前に決められたハンドジェスチャに焦点を当てた研究はいくつもある（例えば，研究ではPortal-ble#1やHoloDesk#2，製品ではHololens2#3）
課題
エンドユーザがカスタマイズされたハンドインタラクションを用いて，ARアプリケーションを開発するのが難しい…
自分が好きなようにハンドインタラクションを設定できるようになると嬉しい…
本研究
GesturARでは，自分が好きなようにハンドインタラクションを設定でき，それを即座に体験できる！
ビジュアルプログラミング（コードを書かずにプログラミング！）を使って，設定を行うのでエンドユーザが利用できる！
利用手順
- 作成モード：実オブジェクトのスキャンを行って#4，実物体と同じ形状の仮想物体を作成する
- オーサリングモード：ジェスチャと，それに伴う物体の動きを決める
- プレイモード：仮想物体にジェスチャを行うとそれに基づいて動き出す！
ジェスチャ識別
one-shot learningによって，手の位置と姿勢に基づく，ジェスチャ識別を行う
アプリケーションシナリオ
オブジェクト操作，ロボットやエージェントとのインタラクションの設計，部屋規模のARゲーム開発など
評価実験
ユーザ調査を行い，GeturARの性能とユーザビリティを調査しました．
ジェスチャ認識の精度
自身のジェスチャと他人のジェスチャのFスコアに対し，1元配置分散分析を行った．
静的ジェスチャにおいて，有意差は見られなかった（F(1,22)=0.056, p=.82>.05）．
動的ジェスチャにおいても，有意差は見られなかった（F(1,22)=2.79, p=.11>.05）．
→これから，誰がジェスチャを作成するかによらず，ジェスチャを識別できることが分かる．（有意差がないから差が無いって言っていいんだっけ？）
インタラクション作成の評価
全体のテスト成功率は94.44% (SD=0.08)だった．リッカート尺度によるアンケート評価も行った．
ゲーム作成の評価
リッカート尺度によるアンケート評価およびSUSによる評価を行った．
SUSの点数の平均は86(SD=11.18)で高かった．
詳しい説明はこちら
著者の発表動画
www.youtube.com
脚注
#1. Portal-ble: Intuitive Free-hand Manipulation in Unbounded Smartphone-based Augmented Reality (2019)
www.youtube.com
#2. HoloDesk: Direct 3D Interactions with a Situated See-Through Display (2011)
www.youtube.com
chindafalldesu.hatenablog.com
#4. 3Dスキャン
HoloLens2では3Dスキャンを行えないため（おそらく，色付きの3dモデルでなければ可能），～で取得する3dメッシュは，事前に取得したメッシュを使う
空間マッピング - Mixed Reality | Microsoft Docs
【HCI論文】Poros (2021) - VRでの遠隔物体操作 + ポータル＋ミニチュア -
今回の論文
"Poros: Configurable Proxies for Distant Interactions in VR"(UIST 2017)
背景
・VRでは離れた物体を操作する方法が必要である
・その解決方法の一つとして、テレポーテーションがある
・だが、テレポーテーションは移動によって方向感覚を失うという問題がある
大きな課題
移動せずに離れた物体を操作する方法はないだろうか
先行研究
大きく3つの解決方法がある
1. ユーザの操作範囲を広げる方法（Go-go interaction, レイキャスト）
2. ポータルを利用する方法
3. ミニチュアを利用する方法（Worlds in miniature）
小さな課題
それぞれ下記の問題がある
1. インタラクションの精度を下げる
2. VR空間を歪め、ポータルとシーンの境界が曖昧になる
3. 好きなようにミニチュアを作成・配置できない
本研究
・ポータルとミニチュアを組み合わせ、上記の課題を解決する
手順：
1. 操作したい離れた物体をマークする
2. 手元のマーカとリンクしているプロキシで物体を操作する
（プロキシを変形（拡大縮小・移動など）させれば、変形した物体を操作できる）
評価実験
Porosを他の手法と比較する実証実験は行わず、専門家の意見を収集することで評価した
結果
以下のことが確かめられた
・コンセプトは把握しやすい
・既存の移動手法とは明確に異なる
・広い範囲のアプリケーションに利用できそう
今後の課題
・自分のアバターをミニチュアにして移動させる機能の追加
・球体マーカ以外を使った空間やオブジェクトの指定
関連研究
The go-go interaction (1996)
・ユーザの操作範囲を広げる方法の一つ
・腕を伸縮させて離れた物体を操作する
chindafalldesu.hatenablog.com
Virtual reality on a WIM (1995)
・ミニチュアを利用して離れた物体を操作する
chindafalldesu.hatenablog.com
【HCI論文】SweepCanvas (2017) - ARスケッチ＋部屋のRGB-D -
今回の論文
"SweepCanvas: Sketch-based 3D Prototyping on an RGB-D Image"(UIST 2017)
先行研究
SecondSkin(2015)、SmartCanvas(2016)、Insitu(2011)のような従来の"modeling in context"のシステムでは、完全な3Dモデル、事前に定義された3D平面のセット、または計算された点群のいずれかが入力として必要
小さな課題
"modeling in context"における、3D情報を得るためのユーザの事前の操作をいかにして減らせるか
本研究
・RGB-D画像を利用し、事前の操作を大幅に省略する
・平面抽出アルゴリズムと、2Dストロークのペアから3Dストロークを自動的に推論するための最適化アルゴリズムによって、RGB-D上のスケッチを可能にする
評価実験
簡単なモデルの作成、複雑なモデルの作成、自由なモデル作成の三つのタスクとアンケートによって評価を行った
今後の課題
・単一の画像や映像上で本研究と同様のシステムを作る
・VRやARなどの他のアプリケーションへの適用
関連研究
SnapToReality(2016)
・3Dモデリングではなく、3Dスナップ（配置）の文脈でRGB-Dを利用
chindafalldesu.hatenablog.com
【HCI論文】Smart Ubiquitous Projection (2016) - デジタルコンテンツの投影に適した平面の検出 -
今回の論文
"Smart Ubiquitous Projection: Discovering Surfaces for the Projection of Adaptive Content"(CHI EA 2016)
背景
部屋にデジタルコンテンツを配置して、没入型のインタラクティブな環境を作るUbiquitous projectionの研究が盛んに行われている
大きな課題
コンテンツの投影でいかにして没入感のある部屋を作れるか
先行研究
IllumiRoom(2013), RoomAlive(2014) などでは、部屋のすべての平面や物体を投影対象と捉えた
小さな課題
プレゼンテーションやドキュメントなどの情報ベースのメディアを再生する必要のある、オフィスや会議の場では、これは適切ではない
本研究
ユーザーに対して適切な特性と位置を持つ平面のみを検出し、その平面をディスプレイとして利用できるようにする
実装
ランダムフォレスト、RANSAC平面検出、長方形フィッティングの順で行う
評価実験
なし
今後の課題
・システムの完全自動化
・ユーザインタラクションのサポート
・実際の会議でこのシステムを利用し、評価を行う
関連研究
IllumiRoom(2013), RoomAlive(2014)
・"projection everywhere"の一例である
・プロジェクションで部屋に没入感をもたらす
www.youtube.com
【HCI論文】Investigating Document Layout and Placement Strategies for Collaborative Sensemaking in Augmented Reality (2021) - ARコンテンツ配置における家具の影響 -
今回の論文
"Investigating Document Layout and Placement Strategies for Collaborative Sensemaking in Augmented Reality"(CHI EA 2021)
背景
将来のワークスペースにはAR技術が広く使われることが考えられる．
特にブレインストーミングやセンスメーキングではARの恩恵を大きく受けると考えられる．
大きな課題
ブレインストーミングやセンスメーキングをARでどう実現するか
先行研究
2DデバイスやVRにおいてはブレインストーミングやセンスメーキングなどの共同作業についての研究はされてきた
小さな課題
ARでの共同作業において、物理環境が仮想コンテンツの配置やレイアウトにどう影響を与えるかの調査が足りていない
本研究
ARでの共同作業において、物理環境が仮想コンテンツの配置やレイアウトにどう影響を与えるかを調査する．
評価実験
家具が多く配置された部屋と少し配置された部屋で、センスメーキングのタスクとして画像をソート・分類し配置するタスクを参加者に行ってもらった
結果
参加者は部屋の水平面を利用する傾向が見られた
3つのレイアウトパターンに大別できた
今後の課題
・より重要で汎用性の高いレイアウトパターンを見つける必要がある
・プロセスの中の創造に関わる部分の考慮
・人数を増やして調査
【HCI論文】STREAM (2021) - HMD + eyes freeなタブレット操作 -
今回の論文
背景
MRデバイスの進歩によって、視覚的データ分析の可能性が広がっている
大きな課題
MRでの作業においてジェスチャ入力は必須である
しかし，ジェスチャ入力はユーザを疲れさせる上に、正確な入力ができない
先行研究
タッチ入力はより正確で、疲れにくく、慣れ親しんだ2D入力が可能である
そこでこれまで、スマホやスマートウォッチ、タブレットなどをHMDと組み合わせて使う、ハイブリッドインターフェースの研究が行われてきた
小さな課題
しかし、ハイブリッドインターフェースは出力が複数あり（例えばHMD表示とスマホ表示）、それを交互に見る必要がある
関連研究
When David Meets Goliath (2018)
・スマートウォッチと巨大ディスプレイのハイブリッドインターフェース
・eyes free なインタラクションが可能
chindafalldesu.hatenablog.com
