質問: ### やりたいこと ・机の上にマグカップ、時計、携帯電話が置いてある場合にHololens2からみて、時計にのみバウンディングボックスをつける ・バウンディングボックスはリアルタイムに投影させ、かつ時計の大きさによってサイズが変わる ・さらには机の上に置いた時計を腕に装着してもバウンディングボックスが追従していく ### 問題点 ・Hololensの機能である空間認識(Spatial Awareness)を用いて、"机"や"床"を認識させることはできましたが 机の上に置いてある"なにか"(例えば時計)といった細かいモノの認識は難しいと考えいます。 ・実験的にHeadからRayを飛ばして、空間認識レイヤーとの衝突判定を用いてオブジェクトを形を推論しようとしていますが、 空間認識のメッシュが荒く(高メッシュにしても同様)物体をすり抜けたり、ズレたりしてしまいます。 細かい認識が可能となれば、その対象にバウンディングボックスをつけることができると想定していますので、 改善策や打開策など、ご存じでしょうか。また、参考となるサンプルソース等がありましたらご教示頂けると助かります。 Device: Hololens2 開発環境: Unity
回答: 空間メッシュ情報から物体認識させようとしているのでしょうか? 現状細かい物体認識であれば RGB カメラの画像情報から物体認識させるほうが現実的な精度を出せそうな気がします......。 たとえばこちらの記事にサンプルコードが載っています: Labeling Toy Aircraft in 3D space using an ONNX model and Windows ML on a HoloLens