(57)【要約】【課題】映像コンテンツから移動ベクトルを推定し、移動ベクトルに基づく処理情報を力覚呈示装置等へ提供可能な映像処理装置、映像処理方法、及び映像処理プログラムを実現する。【解決手段】本開示に係る映像処理装置１００は、映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するシーン識別部１０と、映像コンテンツから移動ベクトルを推定する複数の移動情報推定部２０，３０，４０とを含み、シーンクラス情報により特定されるシーンクラスに応じて複数の移動情報推定部２０，３０，４０の中から選択された一の移動情報推定部により移動ベクトルを推定することを特徴とする。【選択図】図１
2020112944.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツの移動ベクトルを生成する映像処理装置であって、
前記映像コンテンツから、当該映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するシーン識別部と、
前記映像コンテンツから移動ベクトルを推定する複数の移動情報推定部と
を含み、
前記シーンクラス情報により特定されるシーンクラスに応じて前記複数の移動情報推定部の中から選択された一の移動情報推定部により前記移動ベクトルを推定することを特徴とする映像処理装置。
【請求項２】
前記シーンクラスは、前記映像コンテンツの撮影視点を特定する情報、前記映像コンテンツに含まれる特定対象物の有無若しくは数を特定する情報、及び前記映像コンテンツのジャンルを特定する情報の少なくとも１つに応じて定まるものである、請求項１に記載の映像処理装置。
【請求項３】
前記シーン識別部は、前記映像コンテンツと前記シーンクラス情報との関連づけを予め学習させたシーン識別用学習済みモデルを用いて、前記シーンクラス情報を推定する、請求項１又は２に記載の映像処理装置。
【請求項４】
前記シーンクラスは、一人称視点映像を表すクラスと、俯瞰映像で人物を含む映像を表すクラスと、俯瞰映像で人物を含まない映像を表すクラスとを少なくとも含む、請求項１から３のいずれか一項に記載の映像処理装置。
【請求項５】
前記シーンクラス情報により特定されるシーンクラスが俯瞰映像で人物を含む映像を表す場合には、選択された前記一の移動情報推定部は、前記映像コンテンツの入力に対して当該映像コンテンツに含まれる人物の各骨格座標を推定し、当該人物の各骨格座標の推定値の時系列データを用いて各骨格座標の移動ベクトルを算出し、当該各骨格座標の移動ベクトルの代表値を当該映像コンテンツの移動ベクトルとして出力する、請求項４に記載の映像処理装置。
【請求項６】
前記シーンクラス情報により特定されるシーンクラスが俯瞰映像で人物を含まない映像を表す場合には、選択された前記一の移動情報推定部は、入力された前記映像コンテンツのオプティカルフローを計算し、当該オプティカルフローの代表値を当該映像コンテンツの移動ベクトルとして出力する、請求項４に記載の映像処理装置。
【請求項７】
前記シーンクラス情報により特定されるシーンクラスが一人称視点映像を表す場合には、選択された前記一の移動情報推定部は、入力された前記映像コンテンツにおける、撮影者の進行方向への動きが表出される第１領域のオプティカルフローを計算する大域的オプティカルフロー計算部と、撮影者の進行方向以外の方向への動きが表出される第２領域のオプティカルフローを計算する局所的オプティカルフロー計算部と、前記第１領域のオプティカルフローの代表値と前記第２領域のオプティカルフローの代表値とを重み付け加算して当該映像コンテンツの移動ベクトルとして出力する移動ベクトル統合部とを備える、請求項４に記載の映像処理装置。
【請求項８】
前記移動ベクトルから力覚呈示装置を駆動するための力覚制御情報を生成する力覚情報生成部を備える、請求項１から７のいずれか一項に記載の映像処理装置。
【請求項９】
映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するステップと、
推定された前記シーンクラス情報に基づいて複数の移動情報推定部の中から一の移動情報推定部を選択するステップと、
前記一の移動情報推定部により、前記映像コンテンツから移動ベクトルを推定するステップと
を含むことを特徴とする映像処理方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか一項に記載の映像処理装置として機能させるための映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、映像コンテンツから移動ベクトルを推定し、力覚呈示装置等へ処理情報を提供可能な映像処理装置、映像処理方法、及び映像処理プログラムに関する。
【背景技術】
【０００２】
近年、映像コンテンツと力覚呈示装置による力覚とを同期させて呈示することで、ユーザによりリアルな仮想体験をさせる技術の開発が進められている。例えば、特許文献１には、ユーザが把持する擬似力覚呈示デバイスと映像コンテンツとの相対距離に応じて、擬似力覚呈示デバイスに所定方向・大きさの牽引力を提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−  ６３９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、所定の内部モデルに基づいて力覚情報とそれに対応した映像コンテンツとを生成する。しかし、ユーザにリアルな仮想体験をさせるアプリケーションを実現するためには、特許文献１のようにゲームの進行状況から映像コンテンツおよび力覚情報を生成したいというニーズの他にも、先に映像コンテンツが存在し、これに合うような力覚情報を生成したいというニーズも考えられる。しかしながら、特許文献１に記載の手法では、映像コンテンツから力覚情報を生成することはできなかった。
【０００５】
従って、かかる点に鑑みてなされた本開示の目的は、映像コンテンツから移動ベクトルを推定し、移動ベクトルに基づく処理情報を力覚呈示装置等へ提供可能な映像処理装置、映像処理方法、及び映像処理プログラムを実現することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本開示に係る映像処理装置は、
映像コンテンツの移動ベクトルを生成する映像処理装置であって、
前記映像コンテンツから、当該映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するシーン識別部と、
前記映像コンテンツから移動ベクトルを推定する複数の移動情報推定部と
を含み、
前記シーンクラス情報により特定されるシーンクラスに応じて前記複数の移動情報推定部の中から選択された一の移動情報推定部により前記移動ベクトルを推定することを特徴とする。
【０００７】
また、上記課題を解決するため、本開示に係る映像処理方法は、
映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するステップと、
推定された前記シーンクラス情報に基づいて複数の移動情報推定部の中から一の移動情報推定部を選択するステップと、
前記一の移動情報推定部により、前記映像コンテンツから移動ベクトルを推定するステップと
を含むことを特徴とする。
【０００８】
また、上記課題を解決するため、本開示に係る映像処理プログラムは、コンピュータを上述の映像処理装置として機能させるプログラムであることを特徴とする。
【発明の効果】
【０００９】
本開示によれば、映像コンテンツから移動ベクトルを推定し、移動ベクトルに基づく処理情報を力覚呈示装置等へ提供可能な映像処理装置、映像処理方法、及び映像処理プログラムを実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２】図１のシーン識別部の構成を示すブロック図である。
【図３】図１の第１移動情報推定部の構成を示すブロック図である。
【図４】第１シーンクラスに属する映像コンテンツの例である。
【図５】図１の第２移動情報推定部の構成を示すブロック図である。
【図６】第２シーンクラスに属する映像コンテンツの例である。
【図７】図１の第３移動情報推定部の構成を示すブロック図である。
【図８】第３シーンクラスに属する映像コンテンツの例である。
【図９】図１の力覚情報生成部の構成を示すブロック図である。
【図１０】本開示の第１実施形態に係る映像処理方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の第１実施形態に係る映像処理装置１００について、図面を参照して説明する。
【００１２】
図１に示すように、本実施形態に係る映像処理装置１００は、入力される映像コンテンツのシーンを特定するための情報であるシーンクラス情報を推定するシーン識別部１０と、映像コンテンツから映像中の対象物の移動ベクトルを推定する第１移動情報推定部２０、第２移動情報推定部３０、及び第３移動情報推定部４０と、推定された移動ベクトルから力覚呈示装置を駆動するための力覚制御情報を生成する力覚情報生成部５０と、上述の各機能部を制御する制御部７０とを備えている。なお、図１において破線矢印は、制御部７０と他の機能部との制御情報のやり取りを表している。
【００１３】
本実施形態に係るシーン識別部１０は、図２に示すように、映像コンテンツの入力に対してシーンクラス情報を出力するシーン識別用学習済みモデル１２を備えている。シーン識別用学習済みモデル１２は、映像コンテンツが入力されると、当該映像コンテンツのシーンクラスの推定結果を出力するようなモデルであり、予め機械学習により学習させておく。
【００１４】
シーンクラス情報とは、映像コンテンツのシーンのクラス（カテゴリ）を一意に特定可能な情報であり、例えば、シーンクラスの名称、シーンクラスのＩＤ等である。
【００１５】
シーンクラスは、映像コンテンツの撮影視点、映像コンテンツ中の特定の対象物の有無、映像コンテンツのジャンル等の少なくとも何れかに応じて定まるカテゴリである。映像コンテンツ中の特定の対象物の有無や映像の撮影視点によって、映像コンテンツから動きを抽出する際に着目する領域や動きを検出する手法を異ならせた方が精度よく動きを抽出できることから、着目領域や動きの検出手法と関連性のある映像コンテンツの属性に基づいて、複数のシーンクラスを予め設定しておくものとする。着目領域や動きの検出手法と関連性のある映像コンテンツの属性の一例は、映像コンテンツの撮影視点、映像中の特定の対象物の有無（若しくは特定の対象物の数）、映像コンテンツのジャンル等である。
【００１６】
映像コンテンツの撮影視点を特定する情報には、例えばユーザが頭部にカメラを装着しながら自転車、歩行、スキー、スノーボード、ハンググライダー等を楽しむ場合やドライブレコーダ等により撮影される「一人称視点映像」や、動く対象物を周囲の景色と共に撮影した「俯瞰映像」等が考えられる。一人称映像であれば、映像全体の動き（つまり、カメラの動き）が撮影者の体感する動きと相関しているので、映像全体から動き情報を取り出して力覚情報としてフィードバックすることが好ましい。一方で、俯瞰映像の場合は映像コンテンツ中の対象物の動きをフィードバックするほうが、視聴者の直感に合う。つまり、映像コンテンツの撮影視点の情報は、映像コンテンツから動きを抽出する際に着目する領域と関連のある属性であるといえる。
【００１７】
特定の対象物の有無若しくは数を特定する情報には、例えば特定の対象物として人物を採用し、映像中に人物が存在する「人物有り」、映像中に人物が存在しない「人物無し」、映像中の人物の人数を表す「１人」、「複数人」等が考えられる。
【００１８】
映像中の人物の動きを推定する際には、人物の骨格を推定し、その骨格座標から移動ベクトルを計算する手法が一般的である。一方で、映像中に人物のように骨格を推定できる対象物が存在しない場合は、物体追跡等の別の手法で移動ベクトルを計算する必要がある。つまり、映像中の人物の有無は、映像コンテンツから動きを検出する手法と関連のある映像コンテンツの属性であるといえる。
【００１９】
また、映像中に人物が複数いる場合は、複数人物の各々の移動ベクトルを平均する、あるいは、複数人物の中のいずれか１人に着目する等の処理が必要であるとすれば、人物の人数（「１人」または「複数人」）は、映像コンテンツから動きを検出する手法と関連のある映像コンテンツの属性と言えるので、「人物なし」「１人」「複数人」に分類することも考えられる。
【００２０】
なお、ここでいう「人物有り」に分類される映像コンテンツは、映像中に含まれる人物の骨格座標を推定することによって人物（骨格座標）の移動ベクトルを計算し、その代表値を映像コンテンツの移動ベクトルとして出力することが可能な映像である。従って、「人物有り」に分類される映像コンテンツは、原則として少なくとも一部の時間区間において人物が動いているものが対象となる。
【００２１】
なお、上述の例では「人物」と表記したが、人物に限定されるものではなく、骨格座標を推定可能な対象物であれば人物以外の対象物であってもよい。例えば、動くロボットや人物以外の動物、ゲームコンテンツ中に登場する人物以外のキャラクター等の、動きを骨格座標の時系列データで表現可能な人物以外の対象物も骨格座標を推定可能な「特定の対象物」に該当し得る。
【００２２】
映像コンテンツのジャンルを特定する情報には、例えば、「サッカー」、「野球」、「卓球」、「フェンシング」などのスポーツの種目を表す情報や、「自転車」、「自動車」、「電車」、「飛行機」など一人称映像において人物が乗っている乗り物の種類を表す情報等が挙げられる。ジャンルによって、映像に含まれる対象物や動きに特徴があるので、それぞれの特徴に応じた手法で動き情報を抽出することも可能である。つまり、ジャンルの情報も、映像コンテンツから動きを検出する手法や着目すべき領域と関連のある映像コンテンツの属性の一例といえる。
【００２３】
以上のような映像コンテンツから動きを抽出する際に着目すべき領域や用いる動き検出手法と関連のある属性に応じた複数のシーンクラスを予め定義しておく。そして、映像コンテンツと正解のシーンクラスとの組からなるデータの集合である学習データを用意し、入力された映像コンテンツに対してシーンクラスを推定するシーン識別用学習済みモデル１２を学習させておく。
【００２４】
シーン識別用学習済みモデル１２は、入力データをいずれかのクラスに分類する分類器であり、周知の分類器の学習法等を用いて作成しておくことができる。例えば参考文献１に記載されているようなＳＶＭ（Support Vector Machine）の他、ニューラルネットワーク等によって実現可能である。
（参考文献１）D. Oneata, J. Verbeek, and C. Schmid、“Action and Event Recognition with Fisher Vectors on a Compact Feature Set”、Proc. ICCV (2013)
【００２５】
ニューラルネットワークを用いる場合は、例えば、以下の方法で作成することができる。予め適当な初期値を与えたニューラルネットワークに、学習データ中の映像コンテンツに対応する特徴量ベクトルを入力し、ニューラルネットワークの出力であるシーンクラス情報の推定結果を得る。この推定結果が正解のシーンクラス情報に近づくようにニューラルネットワークのパラメータを周知の誤差伝播学習法等により繰り返し更新していく。所定の条件を満たすまでパラメータの更新を繰り返し、最終的なパラメータの値を設定したニューラルネットワークをシーン識別用学習済みモデル１２として得る。つまり、シーン識別用学習済みモデル１２は、映像コンテンツとシーンクラスとの関係性を学習させたモデルであり、映像コンテンツを入力として、当該映像コンテンツに対応するシーンクラス情報に変換して出力するモデルである。
【００２６】
映像処理装置１００は、入力される映像コンテンツのシーンクラスに対応した移動情報推定部２０，３０，４０を備えている。本実施形態では、シーン識別部１０においてシーンクラスが以下に説明する第１シーンクラスから第３シーンクラスの３つに分類されるとして、各シーンクラスに対応する３つの移動情報推定部２０，３０，４０を備えた例を用いて具体的な説明を行う。しかしこの態様に限定されるものではなく、シーンクラスの数は２つ以上の任意の数であってよい。
【００２７】
本実施形態では、シーン識別部１０は、映像コンテンツをシーン識別用学習済みモデル１２に入力することにより、モデルの出力であるシーンクラス情報の推定結果を得て出力する。ここで出力されるシーンクラス情報は、第１シーンクラス：俯瞰映像で人物有り、第２シーンクラス：俯瞰映像で人物無し、第３シーンクラス：一人称映像、という３つのシーンクラスのいずれかを特定する情報である。
【００２８】
映像処理装置１００は、シーン識別部１０により識別可能なシーンクラスに対応した３つの移動情報推定部２０，３０，４０を備えている。より具体的には、上述の第１シーンクラスに分類される映像コンテンツを入力として移動情報を推定する第１移動情報推定部２０と、第２シーンクラスに分類される映像コンテンツを入力として移動情報を推定する第２移動情報推定部３０と、第３シーンクラスに分類される映像コンテンツを入力として移動情報を推定する第３移動情報推定部４０を備える。そして、シーン識別部１０の識別結果に応じて、いずれかの移動情報推定部に映像コンテンツが入力されて、当該映像コンテンツから移動ベクトルの推定が行われる。
【００２９】
映像コンテンツの各移動情報推定部２０，３０，４０への振り分けは、例えば制御部７０が、シーン識別部１０が出力するシーンクラス判定結果に基づいて、当該シーンクラスに対応する移動情報推定部に映像コンテンツを処理させるように構成することができる。しかし、この態様には限定されず、各移動情報推定部２０，３０，４０がシーン識別部１０からシーンクラス情報を取得し、当該シーンクラスに対応する移動情報推定部２０，３０，４０のいずれかが映像コンテンツを処理するように構成してもよい。
【００３０】
ここで、本実施形態においてシーンクラスとして上述の第１シーンクラスから第３シーンクラスを設けている理由を説明する。
【００３１】
映像コンテンツが俯瞰映像である場合、映像を撮影するカメラの動きよりも俯瞰映像中の対象物の動きに応じた力覚を呈示する方がユーザにリアリティを与える上でより適していると考えられる。例えば、映像コンテンツが、海上を走っている水上ボートの映像を含むものである場合には水上ボートの動きに応じた力覚を呈示するのが好ましいし、道路上を自動車が走っている映像を含む場合には自動車の動きに応じた力覚を呈示するのが好ましい。他方、映像コンテンツが一人称映像である場合には、映像を撮影するカメラの動きがユーザの視点の動きそのものであるため、カメラの動きに応じた力覚を呈示する方がユーザにリアリティを与える上でより適していると考えられる。従って、俯瞰映像の場合には映像中の特定領域、すなわち動く対象物及びその近傍の移動ベクトルを抽出するのが好ましいが、一人称映像の場合には映像全体からカメラの動きに対応する移動ベクトルを抽出するのが好ましい。このように、俯瞰映像と一人称映像では、ユーザにリアリティを与えるための移動ベクトルを抽出するに際して映像中で着目する領域が異なるため、移動ベクトルを推定するためのモデルを異ならせた方がより着目すべき領域に合致した領域の移動ベクトルを推定することができる。
【００３２】
同様に、同じ俯瞰映像であっても、映像中に人物等の骨格座標により動きを表現可能な特定の対象物が存在する場合には、映像中の人物の骨格座標を推定する周知の技術を用いることで、人物の動きを精度よく検出することができ、ユーザにリアリティを与える上で適した移動ベクトルを推定することができる。他方、映像中に上記特定の対象物が存在しない場合には、骨格座標を推定する技術は利用できないので、別の手法で移動情報を推定する必要がある。すなわち、映像中に動きを骨格座標により表現可能な特定の対象物が存在する場合と存在しない場合とでは対象物の移動ベクトルを推定するための手法が異なるため、それぞれに個別の移動情報推定部を用いた方が、移動ベクトルの推定精度が向上する。
【００３３】
なお、人物を含まない映像から移動ベクトルを抽出する際には、映像中の骨格推定ができない動く対象物（以下、「他の対象物」ともいう）を用いて移動ベクトルを推定する。他の対象物はオブジェクト検出技術等により検出すればよい。映像中の他の対象物には、上述の特定の対象物以外の対象物であって、動きの大きいものや注目度が高そうなものを選択することが望ましい。映像を視聴するユーザがそれらの対象物に注目する可能性が高いため、ユーザに力覚を呈示する際の基になる移動ベクトルとして、ユーザが注目し易い対象物の移動ベクトルを用いるのが適していると考えられるからである。
【００３４】
映像コンテンツを分類するためのシーンクラスは、上記の３種類に限定されるものではなく、ユーザに力覚を呈示するための情報（移動ベクトル）の抽出方法、すなわち映像中のどの領域の動きに着目するかに応じて複数のシーンクラスに分類し、それぞれのシーンクラスに対応した複数の移動情報推定部が設けられていればよい。
【００３５】
シーンクラスの数を多くすると、よりシーンに適合した精度の良い移動ベクトルの推定が可能になる一方で、移動情報推定部の数が多くなり、複雑になってしまう。上述の３種類のシーンクラスは、特に移動情報推定部の処理を異ならせる必要がある代表的なカテゴリを挙げたもので、あらゆる映像コンテンツに対して少ない数の移動情報推定部で一定の精度で移動ベクトルを推定可能とする効果があるといえる。
【００３６】
次に、第１シーンクラスに分類された映像コンテンツから対象物の移動ベクトルを推定するための第１移動情報推定部２０の動作について詳細に説明する。
【００３７】
第１移動情報推定部２０は、シーン識別部１０が出力するシーンクラス情報に基づくシーンクラスが第１シーンクラス（俯瞰映像で人物有り）に分類される場合に、入力された映像コンテンツに含まれる人物の骨格座標の時系列データを推定し、人物の移動ベクトルを計算する。本実施形態に係る第１移動情報推定部２０は、図３に示すように、第１シーンクラスの映像コンテンツの入力に対して映像コンテンツに含まれる人物の骨格座標の時系列データを出力する第１移動情報推定用学習済みモデル２２と、人物の骨格座標の時系列データから当該人物の移動ベクトルを計算する移動ベクトル計算部２４とを備えている。第１移動情報推定用学習済みモデル２２は、映像コンテンツを入力とし、当該映像コンテンツに含まれる人物の骨格座標を出力するようなモデルであり、ニューラルネットワーク等で実現することができる。あらかじめ学習用の第１シーンクラスの映像コンテンツと、当該映像コンテンツに含まれる学習用の人物の骨格座標（正解データ）とのペアの集合である学習データを用意しておき、適当な初期値を設定したニューラルネットワークに学習用データ中の映像コンテンツを入力し、ニューラルネットワークの出力である骨格座標の推定値が学習用データ中の正解に近づくように、ニューラルネットワークのパラメータを繰り返し更新することによりモデルを学習させておく。第１移動情報推定用学習済みモデル２２は、例えば参考文献２にも記載されているように、映像コンテンツ中の人物の骨格（ポーズ）を推定する「人物ポーズ推定器」を用いればよい。
（参考文献２）Z. Cao, T. Simon, S.E. Wei and Y. Sheikh、“Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”、Proc. CVPR (2017)
【００３８】
なお、骨格座標は、各人物毎に１点のみの座標であってもよいし、各人物毎に複数の座標を有していてもよい。例えば、参考文献２では各人物について１０か所以上の骨格座標を求めることができるが、これらの骨格座標を全て出力してもよいし、これらの骨格座標の代表値（例えば平均値等）を出力するように構成してもよい。また、ユーザに呈示したい力覚に合わせて、人物の所定の部位（例えば手や足など）に対応する骨格座標の集合やそれらの代表値を出力するようにしてもよい。
【００３９】
第１移動情報推定部２０の移動ベクトル計算部２４は、第１移動情報推定用学習済みモデル２２が出力する骨格座標の時系列データを用いて、各骨格座標の移動ベクトルを計算する。また、移動ベクトル計算部２４は、求めた各骨格座標の移動ベクトルの代表値（例えば平均値や最大値等）を当該映像コンテンツの移動ベクトルとして出力する。
【００４０】
なお、骨格座標から移動ベクトルを計算するに際しては、各人物毎に骨格座標の時系列データから画像フレーム間の移動ベクトルを計算する。また、各人物毎に複数の骨格座標が得られている場合には、各骨格座標について画像フレーム間の対応点同士の移動ベクトルを計算し、それらの代表値を当該人物の移動ベクトルとする。
【００４１】
第１シーンクラスの映像コンテンツの中に複数の人物が存在する場合には、各人物について求めた移動ベクトルの内いずれかを選択して第１移動情報推定部２０の出力とする。移動ベクトルの選択方法としては、例えば（１）移動ベクトルが最大のものを選択する、（２）入力デバイス（例えば、マウス等）によって映像コンテンツ上で選択された人物の移動ベクトルを選択する、（３）力覚呈示装置等を選択したい人物の動きに合わせて動かすことにより、力覚呈示装置から入力される力覚呈示装置の移動に対応する移動ベクトルと一致の度合いが高い移動ベクトルを有する人物の移動ベクトルを選択する、等の手法が挙げられる。また、ユーザの注目度が高そうな人物を選択するように構成してもよい。
【００４２】
図４に示す例では、シーンクラス情報における映像コンテンツのジャンルを特定する情報として「サッカー」が出力されている場合に、ボールに関与しており注目度が高そうな人物の中から移動ベクトルが最大の人物を自動的に選択し、当該人物の骨格座標（骨格２６を太線で表示）を推定した結果を示している。こうして得た当該人物の骨格座標の時系列データから求めた移動ベクトルを当該映像コンテンツの移動ベクトルとして出力してもよい。
【００４３】
次に、第２シーンクラスに分類された映像コンテンツから対象物の移動ベクトルを推定するための第２移動情報推定部３０の動作について詳細に説明する。
【００４４】
第２移動情報推定部３０は、シーン識別部１０が出力するシーンクラス情報に基づくシーンクラスが第２シーンクラス（俯瞰映像で人物無し）に分類される場合に、入力された映像コンテンツから移動ベクトルを生成して出力する。
【００４５】
第２移動情報推定部３０は、図５に示すように、映像コンテンツのオプティカルフローを計算するオプティカルフロー計算部３２と、計算されたオプティカルフローから移動ベクトルを計算する移動ベクトル計算部３４とを備えている。映像コンテンツから移動ベクトルを生成するに際しては、オプティカルフロー計算部３２は、当該映像コンテンツのオプティカルフローを計算する。このオプティカルフローの計算は、例えば参考文献３に示すような一般化勾配法によるオプティカルフローの検出によって行うことができるが、この態様に限定されず、Ｌｕｃａｓ−Ｋａｎａｄｅ法など様々な手法を用いることができる。次に、移動ベクトル計算部３４は、映像の全領域又は一部の領域に亘って算出されたオプティカルフローの代表値を二次元移動ベクトルとして出力する。なお、この二次元移動ベクトルの算出に際しては、例えばオプティカルフローの平均値等を用いることができる。
（参考文献３）三池、長、三浦、杉村、“一般化勾配法によるオプティカルフローの検出：不均一照明下での物体運動の計測”、情報処理学会論文誌：コンピュータビジョンとイメージメディア（CVIM）(2008)
【００４６】
上述のオプティカルフローの計算に際しては、物体追跡技術を用いて映像内の移動する対象物を追跡し、当該対象物及びその近傍の領域の映像からオプティカルフローを計算し、このオプティカルフローの代表値を映像コンテンツの移動ベクトルとして出力するように構成してもよい。
【００４７】
図６は、物体追跡技術を用いて映像中の移動する対象物である水上ボートを追跡し、水上ボート及びその近傍の領域３６の映像からオプティカルフローを計算している例である。映像全体からオプティカルフローを計算すると、波の進行方向がオプティカルフローに影響を与えるため、ユーザに水上ボートの動きに対応する力覚を呈示しにくいが、このように移動する対象物及びその近傍のオプティカルフローを計算することによってユーザが注目する対象物の移動ベクトルを出力することができるので、ユーザにリアリティを与える上でより適していると考えられる。
【００４８】
なお、映像コンテンツ中に移動する対象物が複数ある場合の選択方法には、例えば（１）移動ベクトルが最大のものを選択する、（２）入力デバイス（例えば、マウス等）によって映像コンテンツ上で選択された対象物の移動ベクトルを選択する、（３）力覚呈示装置等を選択したい対象物の動きに合わせて動かすことにより、力覚呈示装置から入力される力覚呈示装置の移動に対応する移動ベクトルと一致の度合いが高い移動ベクトルを有する対象物の移動ベクトルを選択する、等の手法が挙げられる。また、ユーザの注目度が高そうな対象物を選択するように構成してもよい。
【００４９】
次に、第３シーンクラスに分類された映像コンテンツから対象物の移動ベクトルを推定するための第３移動情報推定部４０の動作について詳細に説明する。
【００５０】
第３移動情報推定部４０は、シーン識別部１０が出力するシーンクラス情報に基づくシーンクラスが第３シーンクラス（一人称映像）に分類される場合に、入力された映像コンテンツから移動ベクトルを生成する。
【００５１】
図７は、第３移動情報推定部４０の概略構成を示すブロック図である。第３移動情報推定部４０は、入力された第３シーンクラスの映像コンテンツにおける所定の第１領域４７（図８参照）のオプティカルフローを計算する大域的オプティカルフロー計算部４１と、所定の第２領域４８（図８参照）のオプティカルフローを計算する局所的オプティカルフロー計算部４３と、大域的オプティカルフロー計算部４１が出力する大域移動ベクトルと局所的オプティカルフロー計算部４３が出力する局所移動ベクトルとの重み付け和を、当該第３シーンクラスの映像コンテンツの二次元移動ベクトルとして出力する移動ベクトル統合部４５とを備えている。
【００５２】
大域的オプティカルフロー計算部４１がオプティカルフローを計算する第１領域４７は、図８に示すように第２領域４８よりも面積が大きな領域であり、第３シーンクラス（一人称映像）の映像中における周囲の景色など主に撮影者の進行方向への動きが反映されるような領域である。例えば、図８に示す撮影者の頭部に取り付けたカメラで撮影した映像の場合には、映像の略上半分の領域を第１領域４７と定めることができる。なお、第１領域４７のオプティカルフローの計算は、第２移動情報推定部３０のオプティカルフロー計算部３２と同様に、例えば参考文献３に示すような一般化勾配法によるオプティカルフローの検出によって行うことができる。なお、第１領域４７は、映像の略上半分の領域等、あらかじめ定めた所定領域としてもよいし、ユーザが映像を見ながら外部の入力デバイス等により指定してもよい。以下、大域的オプティカルフロー計算部４１により計算されるオプティカルフローを「大域的オプティカルフロー」と呼ぶ。
【００５３】
局所的オプティカルフロー計算部４３がオプティカルフローを計算する第２領域４８は、図８に示すように、上述の大域的オプティカルフロー計算部４１で計算対象となる第１領域４７よりも面積が小さな領域であり、第３シーンクラス（一人称映像）の映像中で主に撮影者の進行方向以外の方向への動きが反映されるような領域である。例えば、図８に示す撮影者の頭部に取り付けたカメラで撮影した映像の場合には、映像中に含まれる物体であって、各フレーム間で動きが少なくどのフレームにも映り込んでいる物体の周辺の領域である。
【００５４】
第２領域４８は、映像の略下半分の領域等、あらかじめ定めた所定領域としてもよいし、ユーザが外部の入力デバイス等により映像を見ながら指定してもよい。また、第３移動情報推定部４０が第２領域４８を自動で定めるように構成してもよい。例えば、第３移動情報推定部４０が映像中からオブジェクトを検出するオブジェクト検出器を備え、当該オブジェクト検出器で検出されたオブジェクトの中から各フレーム間で移動が少ないオブジェクトを特定し、その特定されたオブジェクトの周辺領域を少なくとも含む領域を第２領域４８として用いる構成としてもよい。なお、オプティカルフローの計算は、例えば参考文献３に示すような一般化勾配法によるオプティカルフローの検出によって行うことができる。以下、局所的オプティカルフロー計算部４３により計算されるオプティカルフローを「局所的オプティカルフロー」と呼ぶ。
【００５５】
移動ベクトル統合部４５は、第１領域４７全体での大域的オプティカルフローの代表値を算出して得た大域移動ベクトルと、第２領域４８全体での局所的オプティカルフローの代表値を算出して得た局所移動ベクトルとの重み付け和を、第３シーンクラス（一人称映像）の映像コンテンツの二次元移動ベクトルとして生成し、出力する。
【００５６】
移動ベクトル統合部４５における大域移動ベクトルと局所移動ベクトルとの重み付けは、あらかじめ任意に定めることができる。映像を撮影した撮影者自身が体感するはずの感覚をより強くユーザに呈示する力覚に反映させたい場合には、局所移動ベクトルの重みを大域移動ベクトルの重みよりも大きくすればよい。他方、撮影者が体感するはずの進行方向への移動に伴う感覚をより強くユーザに呈示する力覚に反映させたい場合には、大域移動ベクトルの重みを局所移動ベクトルの重みよりも大きくすればよい。
【００５７】
上述のように、第３シーンクラスの映像コンテンツの移動ベクトルを算出するに際して、大域移動ベクトルと局所移動ベクトルとに分けて算出し、これらを統合する構成としているのは以下の理由による。第３シーンクラスの映像コンテンツは、一人称映像であり、例えば撮影者が自転車に乗って移動する際に撮影者の頭部等に取り付けられたカメラで撮影された映像である。その場合、撮影者の進行方向の動きは、周囲の景色の変化すなわち大域的な動きとして映像に表れる一方、撮影者の進行方向以外の方向への動き（例えば撮影者が体感している振動等）は、自転車のハンドルの周辺領域等の局所的な動きとして映像に表れる。撮影者が自動車に乗って移動する際にドライブレコーダで撮影された映像もまた第３シーンクラスの映像コンテンツであり、この場合自動車のフロントピラーやボンネットの周辺領域等に局所的な動きが表れる。第３シーンクラスの映像コンテンツの移動ベクトルを算出するに際しては、このように大域的な動きと局所的な動きとを総合考慮してユーザに力覚を呈示するための力覚制御情報を生成することによって、映像コンテンツの動きに連動したよりリアリティのある力覚を提供することができる。
【００５８】
総合考慮という点では、映像全体からオプティカルフローを計算した場合も映像中の局所的な動きと大域的な動きの両方を総合考慮した結果であると解釈できるが、この場合は大域的／局所的な動きをもつ領域の面積比に応じて、移動ベクトルが過剰に平滑化される可能性がある。あらかじめ動きを算出する領域を定義し、その重みを調整することで、よりリアリティのある力覚を提供できる。
【００５９】
力覚情報生成部５０は、映像コンテンツのシーンクラスに応じて第１移動情報推定部２０、第２移動情報推定部３０、又は第３移動情報推定部４０のいずれかで生成された二次元移動ベクトルを入力として、力覚呈示装置がユーザに呈示する力の方向や大きさを制御するための情報である力覚制御情報を生成して出力する。
【００６０】
なお、本実施形態では、力覚呈示装置として、例えば特許文献１に示されているような所定方向・大きさの牽引力を呈示するデバイスを想定しているが、この態様には限定されず、ユーザに力覚を呈示可能な他の形態のデバイスであってもよい。例えば、特許文献１は擬似的な牽引力を知覚させるデバイスであるが、本手法は擬似的な力覚に限られるものではなく、実際に所定方向に牽引するような力覚を呈示するデバイスであっても適用可能である。
【００６１】
力覚情報生成部５０は、図９に示すように、入力された映像平面上の二次元移動ベクトルを、力覚呈示装置の平面座標系における移動ベクトルに変換するための座標変換用学習済みモデル５２と、座標変換用学習済みモデル５２が出力する力覚呈示装置の平面座標系における移動ベクトルから、力覚呈示装置の牽引方向及び牽引力の大きさ、すなわち力覚制御情報を求めて出力する力覚制御情報生成部５４とを備えている。
【００６２】
座標変換用学習済みモデル５２は、映像平面上の移動ベクトルを入力とし、力覚呈示装置の平面座標系における移動ベクトルを出力するように機械学習させたモデルである。上記の機械学習は、例えば学習用の映像平面上の移動ベクトルと学習用の力覚呈示装置の平面座標系における移動ベクトルのペアの集合である学習データを準備し、適当に初期値を設定したニューラルネットワークに学習用の映像平面上の移動ベクトルを入力することで力覚呈示装置の平面座標系における移動ベクトルの推定結果を取得し、これを学習用の力覚呈示装置の平面座標系における移動ベクトル（正解の移動ベクトル）と比較した結果に応じて、推定結果が正解の移動ベクトルに近づくようにニューラルネットワークの各パラメータを繰り返し更新することによって学習を行わせることができる。
【００６３】
つまり、座標変換用学習済みモデル５２は、映像平面上の移動ベクトルと力覚呈示装置の平面座標系における移動ベクトルとの関係性を学習させたモデルであり、映像平面上の移動ベクトルを入力として、当該映像平面上の移動ベクトルに対応する力覚呈示装置の平面座標系における移動ベクトルに変換して出力するモデルである。
【００６４】
学習用の力覚呈示装置の平面座標系における移動ベクトルの生成は、例えば教示者が映像コンテンツにおける対象物の動きを見ながら、ユーザに呈示したい力覚を入力デバイスを用いて教示し、教示者により入力された入力デバイスの移動ベクトルを検出することによって生成することができる。このときの入力デバイスは、力覚呈示装置と同じ姿勢でユーザが把持して用いるものであって、移動方向や移動量を計測できるセンサを備えたものである。これにより、呈示したい力覚の方向・大きさに入力デバイスを動かすことで、移動ベクトルの正解情報を直感的に作り出すことができるようにするためである。
【００６５】
なお、本実施形態では、座標変換用学習済みモデル５２を用いて映像平面上の二次元移動ベクトルから力覚呈示装置の平面座標系における移動ベクトルを生成するように構成したが、この態様には限定されない。映像平面上の二次元移動ベクトルから幾何学的な座標変換によって力覚呈示装置の平面座標系における移動ベクトルを生成するように構成してもよい。
【００６６】
力覚制御情報生成部５４は、座標変換用学習済みモデル５２が出力した力覚呈示装置の平面座標系における移動ベクトルから、力覚呈示装置の牽引方向及び牽引力の大きさ、すなわち力覚制御情報を求めて出力する。この力覚呈示装置の平面座標系における移動ベクトルから力覚呈示装置の力覚制御情報の算出は、例えば、移動速度のベクトルである移動ベクトルを１階時間微分して移動加速度のベクトルを算出し、当該移動加速度のベクトルに基づいて力覚呈示装置の牽引方向及び牽引力を求めることにより行うことができる。
【００６７】
図１において、シーン識別部１０、各移動情報推定部２０，３０，４０、力覚情報生成部５０、及び制御部７０における各処理は、例えば、所定のプログラムを映像処理装置１００が備えるＣＰＵ(Central Processing Unit)やＤＳＰ(Digital Signal Processor)で実行させることによって、ソフトウエア処理として実現することができる。しかし、この態様には限定されず、各機能部における処理は、例えばＡＳＩＣ(Application Specific Integrated Circuit)、ＰＬＤ(Programmable Logic Device)、又はＦＰＧＡ(Field Programmable Gate Array)等によってハードウエア処理として実現するように構成してもよい。
【００６８】
上記所定のプログラムは、映像処理装置１００内又は外部の図示しない記憶部に格納される。記憶部は、読取り可能な記憶媒体を含み、当該記憶媒体には、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気及び光学記憶装置(例えば、ＣＤ(Compact Disk)、レーザーディスク（登録商標）、ＤＶＤ（登録商標）(Digital Versatile Disc)、フロッピー（登録商標）ディスク及びブルーレイディスク（登録商標))、ＥＰＲＯＭ、ＥＥＰＲＯＭ若しくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭ若しくは情報を格納可能な他の有形の記憶媒体又はこれらいずれかの組合せが含まれる。
【００６９】
次に、本実施形態に係る映像処理方法の手順について図１０を用いて説明する。
【００７０】
まず、映像処理装置１００のシーン識別部１０は、入力された映像コンテンツからシーン識別用学習済みモデル１２により当該映像コンテンツのシーンクラス情報を推定し出力する（ステップＳ１０１）。
【００７１】
映像処理装置１００の制御部７０は、シーン識別部１０からシーンクラス情報により特定されるシーンクラスに基づいて第１移動情報推定部２０，第２移動情報推定部３０，及び第３移動情報推定部４０の中からシーンクラスに対応する一の移動情報推定部を選択する（ステップＳ１０３）。制御部７０は、映像コンテンツのシーンクラスが第１シーンクラス（俯瞰映像で人物有り）である場合には、第１移動情報推定部２０を選択し、映像コンテンツのシーンクラスが第２シーンクラス（俯瞰映像で人物無し）である場合には、第２移動情報推定部３０を選択し、映像コンテンツのシーンクラスが第３シーンクラス（一人称映像）である場合には、第３移動情報推定部４０を選択する。
【００７２】
制御部７０は、ステップＳ１０３で選択された一の移動情報推定部に映像コンテンツを処理させて、映像中の対象物の移動ベクトルを推定する（ステップＳ１０５）。
【００７３】
ステップＳ１０５で推定され出力された移動ベクトルは、力覚情報生成部５０に入力される。力覚情報生成部５０は、映像平面上の二次元移動ベクトルと力覚呈示装置の平面座標系における移動ベクトルとの関係性を学習させた座標変換用学習済みモデル５２に、映像平面上の二次元移動ベクトルを入力することで、力覚呈示装置の平面座標系における移動ベクトルを生成する。力覚制御情報生成部５４は、生成された力覚呈示装置の平面座標系における移動ベクトルを力覚呈示装置に供給する力覚制御情報に変換して出力する（ステップＳ１０７）。
【００７４】
以上述べたように、本実施形態に係る映像処理装置１００は、映像コンテンツの移動ベクトルを生成する映像処理装置１００であって、映像コンテンツから、映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するシーン識別部１０と、映像コンテンツから移動ベクトルを推定する複数の移動情報推定部２０，３０，４０とを含み、シーンクラス情報により特定されるシーンクラスに応じて複数の移動情報推定部２０，３０，４０の中から選択された一の移動情報推定部により移動ベクトルを推定するように構成した。このような構成の採用によって、映像コンテンツのシーンクラスに応じて移動ベクトルを推定するための移動情報推定部２０，３０，４０を切り替えて用いることができるため、映像コンテンツの特徴に応じて適切な移動ベクトルの計算手法を選択したり、映像コンテンツの特徴に応じて移動ベクトルの計算の際に着目すべき領域を異ならせたりすることが可能となる。これにより、コンテンツの特徴に応じて、適切な移動ベクトルを算出し、力覚呈示装置等へ映像処理情報を提供することができる。
【００７５】
また、本実施形態では、シーンクラスは、映像コンテンツの撮影視点を特定する情報、映像コンテンツに含まれる特定対象物の有無若しくは数を特定する情報、及び映像コンテンツのジャンルを特定する情報の少なくとも１つに応じて定まるクラスとし、これらのシーンクラス毎に異なる手法で移動ベクトルを推定する移動情報推定部２０，３０，４０を含むように構成した。これにより、映像コンテンツの特徴に応じて、映像コンテンツの移動ベクトルを推定するためのより適した移動情報推定部２０，３０，４０（移動情報推定手法）を選択することができる。
【００７６】
また、本実施形態では、シーン識別部１０は、映像コンテンツとシーンクラス情報との関連づけを予め学習させたシーン識別用学習済みモデル１２を用いて、シーンクラス情報を推定するように構成した。このような構成の採用によって、映像コンテンツからシーンクラス情報を推定する精度を向上させることができるので、複数の移動情報推定部２０，３０，４０から映像コンテンツの移動ベクトルを推定するためのより適切な計算手法を選択して移動ベクトルを推定することができる。
【００７７】
また、本実施形態では、シーンクラスは、一人称視点映像を表すクラスと、俯瞰映像で人物を含む映像を表すクラスと、俯瞰映像で人物を含まない映像を表すクラスとを少なくとも含むように構成した。このような構成の採用によって、映像コンテンツの特徴に応じて、映像コンテンツの移動ベクトルを推定するためのより適した移動情報推定部２０，３０，４０（移動情報推定手法）を選択することができる。
【００７８】
また、本実施形態では、シーンクラス情報により特定されるシーンクラスが俯瞰映像で人物を含む映像を表す場合には、選択された一の移動情報推定部は、前記映像コンテンツの入力に対して当該映像コンテンツに含まれる人物の各骨格座標を推定し、当該人物の各骨格座標の推定値の時系列データを用いて各骨格座標の移動ベクトルを算出し、当該各骨格座標の移動ベクトルの代表値を当該映像コンテンツの移動ベクトルとして出力するように構成した。このような構成の採用によって、映像コンテンツが人物を含む場合に人物の移動ベクトルを推定するのに適した人物ポーズ推定器等の技術を用いて人物の移動ベクトルを推定することができるので、映像コンテンツ中の移動ベクトルの推定精度を更に向上させることができる。
【００７９】
また、本実施形態では、シーンクラス情報により特定されるシーンクラスが俯瞰映像で人物を含まない映像を表す場合には、選択された一の移動情報推定部は、入力された映像コンテンツのオプティカルフローを計算し、当該オプティカルフローの代表値を当該映像コンテンツの移動ベクトルとして出力するように構成した。このような構成の採用によって、映像コンテンツが俯瞰映像、且つ特定対象物である人物が存在しない場合に、映像コンテンツ中のオプティカルフローを計算することで移動ベクトルの推定精度を更に向上させることができる。
【００８０】
また、本実施形態では、シーンクラス情報により特定されるシーンクラスが一人称視点映像を表す場合には、選択された一の移動情報推定部は、入力された映像コンテンツにおける、撮影者の進行方向への動きが表出される第１領域４７のオプティカルフローを計算する大域的オプティカルフロー計算部４１と、撮影象者の進行方向以外の方向への動きが表出される第２領域４８のオプティカルフローを計算する局所的オプティカルフロー計算部４３と、第１領域４７のオプティカルフローの代表値と第２領域４８のオプティカルフローの代表値とを重み付け加算して当該映像コンテンツの移動ベクトルとして出力する移動ベクトル統合部４５とを備えるように構成した。このような構成の採用によって、一人称映像に特有の大域的な動きと局所的な動きとを総合考慮して映像コンテンツの移動ベクトルを推定することができるので、映像コンテンツの動きに連動したよりリアリティのある力覚を提供することができる。また、映像を撮影した撮影者自身が体感するはずの感覚と進行方向への移動に伴う感覚のいずれをより強く力覚に反映させるかといったユーザの好みを力覚呈示装置に反映し易くすることができる。
【００８１】
また、本実施形態では、移動ベクトルから力覚呈示装置を駆動するための力覚制御情報を生成する力覚情報生成部５０を備えるように構成した。このような構成の採用によって、映像コンテンツから推定した対象物の移動ベクトルから力覚制御情報を生成し、力覚呈示装置に提供可能となる。
【００８２】
また、本実施形態に係る映像処理方法は、映像コンテンツのシーンクラスを特定する情報であるシーンクラス情報を推定するステップと、推定されたシーンクラス情報に基づいて複数の移動情報推定部２０，３０，４０の中から一の移動情報推定部を選択するステップと、一の移動情報推定部により、映像コンテンツから移動ベクトルを推定するステップとを含むように構成した。このような構成の採用によって、映像コンテンツのシーンクラスに応じて移動ベクトルを推定するための移動情報推定部２０，３０，４０を切り替えて用いることができるため、映像コンテンツの特徴に応じて適切な移動ベクトルの計算手法を選択したり、映像コンテンツの特徴に応じて移動ベクトルの計算の際に着目すべき領域を異ならせたりすることが可能となる。これにより、コンテンツの特徴に応じて、適切な移動ベクトルを算出し、力覚呈示装置等へ映像処理情報を提供することができる。
【００８３】
また、本実施形態に係る映像処理プログラムは、コンピュータを、上述のいずれかの映像処理装置１００として機能させるための映像処理プログラムであるように構成した。このような構成の採用によって、映像コンテンツのシーンクラスに応じて移動ベクトルを推定するための移動情報推定部２０，３０，４０を切り替えて用いることができるため、映像コンテンツの特徴に応じて適切な移動ベクトルの計算手法を選択したり、映像コンテンツの特徴に応じて移動ベクトルの計算の際に着目すべき領域を異ならせたりすることが可能となる。これにより、コンテンツの特徴に応じて、適切な移動ベクトルを算出し、力覚呈示装置等へ映像処理情報を提供することができる。
【００８４】
次に、本開示の第２実施形態に係る映像処理装置２００について説明する。なお、第２実施形態に係る映像処理装置２００は、第１実施形態と比較して、映像コンテンツから二次元移動ベクトルに代えて三次元移動ベクトルを推定し、その推定結果を用いて力覚呈示装置の力覚制御情報を生成する点で異なっている。ここでは第１実施形態との差異点を中心に説明する。
【００８５】
本実施形態に係る映像処理装置２００は、ブロック図で表すと第１実施形態と同様に図１に示す構成を有しているが、映像コンテンツから三次元移動ベクトルを推定する点において第１実施形態と異なる。すなわち、本実施形態において第１移動情報推定部２０、第２移動情報推定部３０及び第３移動情報推定部４０は、例えば参考文献４に示す三次元形状復元手法を用いて、映像コンテンツから二次元移動ベクトルに加えて奥行き方向の並進ベクトルを更に推定して三次元移動ベクトルを推定することができる。なお、映像コンテンツから並進３自由度に加えて回転３自由度の動きを推定して出力するように構成してもよい。
（参考文献４）N. Snavely, S.M. Seitz, and R. Szeliski、“Photo Tourism: Exploring image collections in 3D”、ACM Transactions on Graphics (2006)
【００８６】
力覚情報生成部５０は、移動情報推定部２０，３０，４０のいずれかで生成された三次元移動ベクトルを入力として、力覚呈示装置がユーザに呈示する力の方向や大きさを制御するための情報である力覚制御情報を生成して出力する。本実施形態では、並進３自由度、又は並進３自由度及び回転３自由度の力覚を提供可能な力覚呈示装置を用いることで、よりリアリティのある力覚をユーザに体験させることが可能になる。
【００８７】
本開示を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００８８】
例えば、第１及び第２実施形態では、映像処理装置１００，２００が、シーン識別部１０、第１移動情報推定部２０、第２移動情報推定部３０、第３移動情報推定部４０、力覚情報生成部５０、及び制御部７０の全てを有するように構成したが、この態様には限定されない。例えば、シーン識別部１０、第１移動情報推定部２０、第２移動情報推定部３０、第３移動情報推定部４０、及び制御部７０がＰＣ（Personal Computer）、スマートフォン又はタブレットＰＣ上でプログラムを実行させることにより実現され、力覚情報生成部５０は力覚呈示装置内に設けられるように構成してもよい。また、シーン識別部１０、第１移動情報推定部２０、第２移動情報推定部３０、第３移動情報推定部４０、及び制御部７０がサーバ上でプログラムを実行させることにより実現され、力覚情報生成部５０がＰＣ、スマートフォン、タブレットＰＣ又は力覚呈示装置内に設けられるように構成してもよい。また、映像処理装置１００は、サーバ、ＰＣ、スマートフォン、タブレットＰＣ又は力覚呈示装置等のいずれに設けられていてもよい。
【００８９】
また、第１及び第２実施形態では、映像処理装置１００，２００は、第２シーンクラス及び第３シーンクラスに分類される映像コンテンツに対して、オプティカルフローを計算して当該映像コンテンツの移動ベクトルを推定するように構成したが、この態様には限定されない。映像処理装置１００，２００は、オプティカルフローの計算以外の手法で移動ベクトルを生成するように構成してもよい。
【００９０】
また、第１及び第２実施形態では、大域的オプティカルフローを計算する第１領域４７は、局所的オプティカルフローを計算する第２領域４８よりも面積が大きな領域であり、映像の略上半分の領域を第１領域４７に定めるように構成したが、この態様には限定されない。第１領域４７と第２領域４８との面積の大小関係や上下の位置関係は、映像コンテンツを撮影するカメラの位置や、カメラが装着される乗り物の種類等によって変更可能である。
【符号の説明】
【００９１】
１０      シーン識別部
１２      シーン識別用学習済みモデル
２０      第１移動情報推定部
２２      第１移動情報推定用学習済みモデル
２４      移動ベクトル計算部
２６      骨格
３０      第２移動情報推定部
３２      オプティカルフロー計算部
３４      移動ベクトル計算部
３６      領域
４０      第３移動情報推定部
４１      大域的オプティカルフロー計算部
４３      局所オプティカルフロー計算部
４５      移動ベクトル統合部
４７      第１領域
４８      第２領域
５０      力覚情報生成部
５２      座標変換用学習済みモデル
５４      力覚制御情報生成部
７０      制御部
１００，２００    映像処理装置
【図１】
2020112944.tif 000003
【図２】
2020112944.tif 000004
【図３】
2020112944.tif 000005
【図４】
2020112944.tif 000006
【図５】
2020112944.tif 000007
【図６】
2020112944.tif 000008
【図７】
2020112944.tif 000009
【図８】
2020112944.tif 000010
【図９】
2020112944.tif 000011
【図１０】
2020112944.tif 000012