chinda_fall_desu’s diary

竹内豊の日記

ヒューマンコンピューターインターフェースをもっと知りたいなー

ARと現実世界の物体を結びつける(コンピューターインターフェースの論文を読む No.53)

読んだ論文を自分なりに整理してみます。

今回の論文

"RealitySketch: Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching"(2020)

www.youtube.com

疑問点
・実世界の情報をどうやって取得するのだろう?
・カメラを使って取得するのかな? 
・でもどうやって写真の紐のように一部分だけ取得するのかな?
・物体検出によって紐を認識させているのかな?
・それができればグラフ化等のアプリケーションの作成は簡単だろう

どんなもの?

実世界とARの仮想世界をつなげる
実世界の変化によって動的にAR上のスケッチが変化する

先行研究との違い

・AR上でオブジェクト描画
インタラクティブな2dオブジェクト
インタラクティブなARオブジェクト
上記の研究はすでにされている。
しかし、実世界の物体を用いてインタラクティブにARのオブジェクトを描画する研究は行われていない。

実装

OpenCVのカラートラッキングによって実世界の物体を追跡する。
それを使って、グラフ化を行ったり、ARオブジェクトの大きさを変化させることが可能。

検証方法

・利用しやすさを測るために実用性の調査を行い、教育で利用しうるか調べるために教育者のフィードバックを得た。

議論

・同一色の追跡等に問題があるためカラートラッキングより確実な物体追跡方法が必要。
・ユーザ入力およびグラフ化等の表示が2d上ではなく3d空間上で行えれば、より直感的な操作が可能。
・実世界から長さや角度以外のパラメータを取得できないか。

関連

答え合わせ
・実世界の情報をどうやって取得するのだろう?
・カメラを使って取得するのかな? →〇 OpenCVを使う
・でもどうやって写真の紐のように一部分だけ取得するのかな? 
・物体検出によって紐を認識させているのかな? →✖ 紐ではなく物体を検知し、その物体の位置によってAR上で紐を描画

解説動画

www.youtube.com