ARと現実世界の物体を結びつける(コンピューターインターフェースの論文を読む No.53)
読んだ論文を自分なりに整理してみます。
今回の論文
"RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching"(2020)
疑問点
・実世界の情報をどうやって取得するのだろう?
・カメラを使って取得するのかな?
・でもどうやって写真の紐のように一部分だけ取得するのかな?
・物体検出によって紐を認識させているのかな?
・それができればグラフ化等のアプリケーションの作成は簡単だろう
どんなもの?
実世界とARの仮想世界をつなげる
実世界の変化によって動的にAR上のスケッチが変化する
先行研究との違い
・AR上でオブジェクト描画
・インタラクティブな2dオブジェクト
・インタラクティブなARオブジェクト
上記の研究はすでにされている。
しかし、実世界の物体を用いてインタラクティブにARのオブジェクトを描画する研究は行われていない。
検証方法
・利用しやすさを測るために実用性の調査を行い、教育で利用しうるか調べるために教育者のフィードバックを得た。
議論
・同一色の追跡等に問題があるためカラートラッキングより確実な物体追跡方法が必要。
・ユーザ入力およびグラフ化等の表示が2d上ではなく3d空間上で行えれば、より直感的な操作が可能。
・実世界から長さや角度以外のパラメータを取得できないか。
関連
答え合わせ
・実世界の情報をどうやって取得するのだろう?
・カメラを使って取得するのかな? →〇 OpenCVを使う
・でもどうやって写真の紐のように一部分だけ取得するのかな?
・物体検出によって紐を認識させているのかな? →✖ 紐ではなく物体を検知し、その物体の位置によってAR上で紐を描画