(57)【要約】本技術は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理装置である。複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有する。制御部は、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。
2015141214.tif 000002
【特許請求の範囲】
【請求項１】
特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、
複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有し、
前記制御部は、
撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、
特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、前記特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を前記表示部に表示する第２の機能と、
前記第１の機能で取得したラベル情報の座標を、前記第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、
視点の異なる画像信号それぞれに対し、前記第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである
多視点画像に対するラベル情報の処理装置。
【請求項２】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項３】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに一定の距離離れている請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項４】
前記特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項５】
特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、
複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有し、
前記制御部は、
撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、
特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、前記特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を前記表示部に表示する第２の機能と、
前記第１の機能で取得したラベル情報の座標を、前記第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、
視点の異なる画像信号それぞれに対し、前記第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである
多視点画像に対するラベル情報の処理装置。
【請求項６】
特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理方法であって、
複数の画像信号のうち、注目部分が映し出される特定の画像信号を設定して特定の画像信号に基づく画像を表示部に表示するとともに、前記表示部に表示された画像の注目部分に対してラベル情報を付与するステップと、
撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の座標を取得するステップと、
特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号による画像を表示部に表示するステップと、
異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出した後、視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号による画像を表示するステップとを有する
多視点画像に対するラベル情報の処理方法。
【請求項７】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている請求項６に記載の多視点画像に対するラベル情報の処理方法。
【請求項８】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに一定の距離離れている請求項６に記載の多視点画像に対するラベル情報の処理方法。
【請求項９】
前記特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される請求項６に記載の多視点画像に対するラベル情報の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影対象を複数の視点から撮影することにより得られる多視点画像において、注目部分にラベル情報を付与するラベル情報の処理装置に関する。
【背景技術】
【０００２】
特許文献１は、単一のカメラのみを用いて、多視点画像を容易に取得できる立体映像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１２７２８号公報
【発明の概要】
【０００４】
本技術は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理装置である。
【０００５】
処理装置は、複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有する。制御部は、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。
【０００６】
本技術によれば、複数の視点から１つの撮影対象を撮影して得られる画像信号に対してラベル情報を付与する場合、付与するラベル情報に関する３次元空間上の位置を容易に確認することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。
【図２】図２は、本実施の形態におけるラベル情報処理装置の全体動作を説明するためのフローチャートである。
【図３】図３は、表示部に表示される画像の一例を示す説明図である。
【図４】図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。
【図５】図５は、制御部におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。
【図６】図６は、制御部において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。
【図７】図７は、制御部において、可視情報マップを生成する動作を説明するためのフローチャートである。
【図８】図８は、制御部が生成する可視情報マップの一例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下、本技術の実施の形態による多視点画像に対するラベル情報の処理方法及びラベル情報の処理装置について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本技術を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。
【００１０】
図１に示すように、ラベル情報処理装置１０は、制御部１１と、入力部１２と、表示部１３と、モデルデータを保持するためのモデルデータの保持部１４、キャリブレーションデータを保持するためのキャリブレーションデータの保持部１５と、多視点画像信号を保持するための多視点画像信号の保持部１６を備える。
【００１１】
制御部１１は、ソフトウェア、またはファームウェアで記載されたコンピュータプログラムにしたがって、ラベル情報処理装置１０全体を制御する。この制御部１１は、入力部１２から入力される制御信号に基づき所定の動作を実行する。また、制御部１１は、モデルデータの保持部１４、及びキャリブレーションデータの保持部１５から、必要に応じて情報を読み出し処理する。さらに、制御部１１は、多視点画像信号の保持部１６から読みだした多視点画像を表示部１３に表示させる。
【００１２】
また、制御部１１は、次の（１）から（４）のコントロール機能を有する。
（１）ラベル情報の３次元空間上の座標を取得する第１の機能
（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する第２の機能
（３）ラベル情報の３次元空間上の座標に基づいて、（２）において選択された画像信号の平面上の座標を算出する第３の機能
（４）選択された画像信号上におけるラベル情報の座標位置にラベル情報を重畳させた画像信号を生成して表示部１３に出力する第４の機能
次に、制御部１１が実現するそれぞれの機能について説明する。
【００１３】
上記（１）の機能は、入力部１２からラベル情報を付与する場所を示す制御信号が入力された場合、その場所について、ラベル情報の３次元空間上の座標を算出して取得する。ここで、ラベル情報とは、多視点画像信号の保持部１６に格納される複数の画像信号の注目部分に対して付与される付加的な情報である。つまり、使用者は、入力部１２を介して画像信号に対してラベル情報を付与することにより、注目部分と、ラベル情報を表示部１３上で同時に視認することができる。これにより、使用者に対して注目部分に対する理解を促すことができる。
【００１４】
注目部分とは、画像信号に写し出される特定の被写体の部分を示すものであり、例えば人物の手、足等となる。注目部分が人物の手である場合、ラベル情報は、この人物の手を紹介する文字等の情報となる。視聴者はラベル情報を読むことにより、画像信号に映し出される人物の手の特性等を理解することができる。
【００１５】
また、ラベル情報における３次元空間上の座標は、多視点画像信号の保持部１６に蓄積された画像信号から所定の被写体を３次元空間に投射させた際に利用する座標軸の座標となる。つまり、ラベル情報の３次元空間上の座標を指定することにより、多視点画像信号の保持部１６が有する画像信号上の位置が特定される。なお、ラベル情報の３次元空間上の座標を算出する動作については後述する。
【００１６】
上記（２）の機能について、制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号のうち、表示部１３において表示した際、使用者がラベル情報を付与する注目部分を視認できる画像信号を選択する。この画像信号の選択動作については後述する。
【００１７】
上記（３）の機能について、制御部１１は、上記（１）の機能において、既に算出したラベル情報の３次元空間上の座標を、表示部１３に出力する画像信号の平面上に投射した際に得られる座標を算出する。制御部１１は、算出した座標を表示部１３に出力する。このように構成することにより、制御部１１が多視点画像信号の保持部１６から視点の異なる画像信号を選択した場合であっても、ラベル情報の３次元空間上における座標から選択に係る画像信号上の座標を計算することができるため、選択した画像信号上にラベル情報を重畳して表示することができる。
【００１８】
上記（４）の機能について、制御部１１は、上記（３）の機能において算出されたラベル情報の座標に基づいて、上記（２）の機能において選択された画像信号に対してラベル情報を重畳させ、新たな画像信号を生成する。制御部１１は、生成した新たな画像信号を表示部１３に出力する。
【００１９】
次に、入力部１２は、使用者からラベル情報処理装置１０に対する操作指示を受けつけるデバイスである。入力部１２は、例えばマウスなどのポインティングデバイスによって構成される。なお、タッチパネルのようなデバイスやキーボードを用いてもよい。つまり、使用者から操作指示を受け付けるデバイスであればどのようなものを利用しても構わない。
【００２０】
入力部１２は、使用者から操作指示を受け付けた場合、当該操作指示に基づく制御信号を生成して制御部１１に出力する。
【００２１】
表示部１３は、制御部１１から出力される画像信号を表示するデバイスである。このとき、表示部１３は、制御部１１から画像信号を取得し、取得した画像信号を表示する。
【００２２】
モデルデータの保持部１４は、多視点画像信号の保持部１６に蓄積される複数の画像信号に共通して映し出される被写体の３次元空間上における位置を示すモデルデータを蓄積する。ここで、モデルデータは、少なくとも被写体の表面に任意に設定される離散点で、３次元空間上における位置座標の集合体で構成される。制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを参照することにより、ラベル情報の３次元空間上における座標及び画像信号の平面に投影した際の座標を算出することができる。
【００２３】
なお、モデルデータの保持部１４に蓄積されるモデルデータは、上記のような点の集合体に点の連結情報を付加したポリゴンデータとしてもよい。また、モデルデータの保持部１４に蓄積されるモデルデータは、多視点画像信号の保持部１６に蓄積される複数の画像信号からストラクチャー  フロム  モーション（Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ）アルゴリズムによって推定される３次元点群であっても構わない。また、キャリブレーション済みのカメラで撮影された画像対のステレオマッチングによって算出された奥行き画像を元に３次元点群を生成してもよい。また、一般に市販されている３Ｄモデリングソフトを用いて、撮影した被写体の形状を近似したポリゴンデータを生成してもよい。
【００２４】
キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号それぞれを撮影した際に利用されたカメラパラメータを蓄積する。このカメラパラメータには、少なくとも３次元カメラ位置座標、カメラ姿勢（回転行列／平行移動ベクトル）、焦点距離及び画素中心の情報が含まれる。さらにキャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に含まれる視点位置情報を蓄積する。
【００２５】
なお、カメラパラメータとして、多視点画像信号の保持部１６に蓄積される複数の画像信号からＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎアルゴリズムによって推定されるカメラパラメータを用いてもよい。なお、撮影時のカメラ内部パラメータ（焦点距離・画素中心）とターンテーブル・ロボットアームの制御パラメータからカメラ位置・カメラ姿勢を算出し、算出結果をカメラパラメータとして用いてもよい。
【００２６】
ここで、モデルデータの保持部１４及びキャリブレーションデータの保持部１５には、３次元空間上における座標に関する情報が含まれる。つまり、モデルデータの保持部１４は、３次元空間上における座標に関する情報として、被写体の表面に任意に設定される離散点の位置座標を蓄積する。また、キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号の撮影に利用したカメラの位置情報をカメラパラメータとして蓄積する。このように、３次元空間上で表現される情報が複数存在するため、両者の座標系を一致させておくのが好ましい。
【００２７】
多視点画像信号の保持部１６は、少なくとも複数の画像信号、この画像信号のファイルパス名及び撮影時の視点位置情報を蓄積する。
【００２８】
ここで、多視点画像信号の保持部１６に蓄積される複数の画像信号は次のように撮影されたものである。被写体をターンテーブル上に置き、カメラをロボットアームに設置する。撮影位置はターンテーブルの回転中心点を原点とする半径Ｒの半球体表面上を緯度・経度で離散的に分割した位置となるようとなるようロボットアームとターンテーブルを制御する。またカメラ姿勢は、ロボットアームを制御してカメラ光軸が半球体の原点を通る姿勢にする。
【００２９】
なお、上記における視点位置情報は少なくとも、緯度、経度を含む。また、撮影はカメラ位置を三次元空間内のある平面上の位置で撮影してもよい。この場合、視点位置情報は少なくとも基点からの２次元座標を含む。
【００３０】
次に、ラベル情報処理装置１０の動作について図面を参照しながら説明する。
【００３１】
図２は、本実施の形態におけるラベル情報処理装置１０の全体動作を説明するためのフローチャートである。
【００３２】
以下、説明の便宜上、表示部１３には、多視点画像信号の保持部１６に蓄積される画像信号のうち、所定の画像信号が表示されている状態から動作を開始するものとする。
【００３３】
まず、使用者は、入力部１２を操作することにより、所望のラベル情報を付与したい注目部分が明確に表示されるように、表示部１３に表示される画像信号を変更する。ここで、多視点画像信号の保持部１６は、１つの被写体を様々な視点から撮影して得られる複数の画像信号を蓄積している。そのため、使用者が行う画像信号の変更は、１つの被写体を撮影している視点を変更する動作となる。
【００３４】
図３は、表示部１３に表示される画像の一例を示す説明図である。図３において、画像信号を変更した結果、図３に示すような画像３０が表示される。この画像３０は、注目部分３１が明確に映し出された画像となる。座標３２は、注目部分３１の位置を示すものである。
【００３５】
図２のステップＳ１０１において、表示部１３に注目部分３１が明確に表示された画像３０が表示された場合、使用者は入力部１２を介してラベル情報を付与する位置を指示する。このとき、使用者は、表示部１３に表示される画像３０の注目部分３１を示す座標データを入力部１２から指定する。この場合、入力部１２は、使用者による指示を受け付けた場合、その指示に対応する制御信号を制御部１１に出力する。入力部１２を介して注目部分３１を指定する場合、表示部１３に表示された画像の左上にその指定した位置における座標３２を表示するようにしてもよい。
【００３６】
次に、制御部１１は、入力部１２から出力される制御信号を取得する。制御部１１は、取得した制御信号、及び表示部１３に現在表示される画像信号に対するカメラパラメータに基づいて、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の絶対座標を取得する。すなわち、ステップＳ１０１において、ラベル情報を付与した注目部分である、使用者が指定した位置の３次元空間上における座標を算出する。なお。制御部１１は、カメラパラメータをキャリブレーションデータの保持部１５から必要に応じて適宜取得する（ステップＳ１０２）。
【００３７】
次に、制御部１１は、使用者が指定した位置に関する３次元空間上の座標、及びモデルデータの保持部１４に蓄積されるモデルデータに基づいて、表示部１３に現在表示されている画像信号とは異なる画像信号を抽出する。新たに抽出される画像信号は、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される少なくとも１以上の画像信号である。この画像信号は、多視点画像信号の保持部１６から抽出し、表示部１３に表示する（ステップＳ１０３）。
【００３８】
次に、制御部１１は、モデルデータの保持部１４及びキャリブレーションデータの保持部１５に蓄積される情報を利用することにより、ステップＳ１０２で算出した３次元上の座標を、ステップＳ１０３で選択された画像信号のそれぞれの平面に投影変化する。すなわち、制御部１１は、ステップＳ１０１、Ｓ１０２において取得したラベル情報の絶対座標を基に、ステップＳ１０３で選択された異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出する（ステップＳ１０４）。
【００３９】
最後に、制御部１１は、ステップＳ１０４で算出した視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号を表示部１３に出力する。表示部１３は、制御部１１から出力される複数枚の画像信号を表示する（ステップＳ１０５）。
【００４０】
図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。図４に示すように、当初、表示部１３に表示される画像信号による画像３０に加えて、注目部分３１が表示される他の画像信号による複数枚の画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ、３０Ｅ、３０Ｆ、３０Ｇ、３０Ｈが表示される。
【００４１】
これにより使用者に対して様々な視点から見た際のラベル情報の位置を表示することができる。このため、使用者は画像を確認しただけで、ラベル情報を付与する空間的な位置が適切か否かを判断することができる。
【００４２】
次に、制御部１１が有する上記（１）及び（２）の機能について、それぞれ具体的に説明する。
【００４３】
（１）ラベル情報の３次元空間上の座標を算出する機能
図５は、制御部１１におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。
【００４４】
図５において、まず制御部１１は、現在表示部１３に表示される画像信号の視点位置情報（緯度・経度）を取得する（ステップＳ５０１）。
【００４５】
そして、制御部１１は、ステップＳ１０１において表示部１３に注目部分３１が明確に視認できる画像信号を表示させた状態で、注目部分３１を指定する制御信号が入力された場合、制御信号が示す２次元平面上の位置座標を取得する（ステップＳ５０２）。ここで、上記の２次元平面は、表示部１３に表示される画像信号の平面上に形成されるものとなる。
【００４６】
次に、制御部１１は、ステップＳ５０１で取得した視点位置情報に対応するキャリブレーションデータをキャリブレーションデータの保持部１５から取得する。さらに制御部１１はモデルデータの保持部１４からモデルデータを取得する（ステップＳ５０３）。
【００４７】
そして、制御部１１はステップＳ５０３で取得した情報に基づいて、モデルデータに規定される被写体の３次元空間上の座標それぞれを、表示部１３に現在表示している画像信号の２次元平面上の座標それぞれに射影変換する（ステップＳ５０４）。
【００４８】
制御部１１は、数式（１）及び数式（２）により射影変換する。
【００４９】
【数１】
2015141214.tif 000003
【００５０】
ここで、ｗｖは視点ｖにおける定数（０ではない定数）を示す。また、（ＸＩｍｎ、ＹＩｍｎ）は、現在表示部１３に表示されている画像信号における２次元平面上の座標を示す。さらに、（ＸＭｎ、ＹＭｎ、ＺＭｎ）は、モデルデータにおいて３次元空間上で表現され被写体の離散点それぞれの座標を示す。
【００５１】
さらに、Ｐｖは次式で表現される変換行列となる。
【００５２】
【数２】
2015141214.tif 000004
【００５３】
ここで、ｆｖは、現在表示部１３に表示される画像信号を撮影した際の焦点距離を示す。また、Ｕｖｏ及びＶｖｏは、表示部１３に現在表示されている画像信号の画素中心を示す値である。さらに、Ｒｖは現在表示されている画像信号における回転行列を示す。最後に、ｔｖは、現在表示されている画像信号における並行移動ベクトルを示す。制御部１１は、上記の情報それぞれについてキャリブレーションデータから取得する。
【００５４】
次に制御部１１は、ステップＳ５０４で生成される被写体の座標であって、現在表示部１３に表示している画像信号の２次元平面上で表現される座標から、所定の条件を満たす複数の座標を抽出する（ステップＳ５０５）。
【００５５】
具体的には、制御部１１は、ステップＳ５０２で取得した座標と、現在表示部１３に表示している画像信号の２次元平面上で表現される座標それぞれとの距離を算出し、算出して得られる距離が所定の距離以下となる座標を抽出する。そして、制御部１１は、ステップＳ５０５で取得した座標に対応する３次元空間上における座標を抽出する。制御部１１は抽出した座標と表示部１３に現在表示される画像信号を撮影した際のカメラ位置との距離を算出する（ステップＳ５０６）。
【００５６】
最後に、制御部１１は、算出した距離が最も近い座標を、ラベル情報を付与する３次元空間上の座標として取得する（ステップＳ５０７）。
【００５７】
なお、３Ｄモデルデータの保持部は、３次元点群の場合である。ポリゴンデータの場合は、点群の連結で構成される面との交点を用いても良い。
【００５８】
上記の様に構成することにより、使用者が画像信号を視認しながら指定した２次元平面上の座標から、指定位置に対する３次元空間上の座標を算出することができる。
【００５９】
（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する機能
図６は、制御部１１において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。
【００６０】
制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号それぞれに対し、この画像信号に基づく画像を表示部１３に表示した際に注目部分３１が視認できるか否かを示す可視情報マップを生成する（ステップＳ６０１）。
【００６１】
そして、制御部１１はステップＳ６０１で生成した可視情報マップに記載された情報のうち、注目部分３１が視認できると判断された特定の視点の画像信号を選択する（ステップＳ６０２）。
【００６２】
図７は、制御部１１において、可視情報マップを生成する動作を説明するためのフローチャートである。
【００６３】
まず、図７に示すように、制御部１１は、図５のステップＳ５０７で取得したラベル情報の３次元空間上における座標を、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０１）。
【００６４】
次に制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを利用して、被写体の３次元空間上の座標それぞれを、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０２）。
【００６５】
次に制御部１１は、ステップＳ７０１において射影変換して得られるラベル情報の２次元平面上における座標と、ステップＳ７０２において射影変換して得られる被写体の２次元平面上における座標それぞれとの距離を算出する。そして制御部１１は、算出した距離が一定値以下となる被写体の２次元平面上の所定の座標を抽出する（ステップＳ７０３）。
【００６６】
次に制御部１１は、ステップＳ７０３で抽出した座標を、再度３次元空間上の座標に再変換する（ステップＳ７０４）。
【００６７】
次に制御部１１は、ステップＳ７０４において再変換して得られる被写体の３次元空間上における座標、及びラベル情報の３次元空間上の座標それぞれに対して、処理対象である画像信号を撮影した際のカメラの撮影位置との距離を算出する（ステップＳ７０５）。
【００６８】
そして制御部１１は、処理対象の画像信号において注目部分３１が視認できるか否かを判断する。すなわち、ステップＳ７０５で算出した距離のうち、ラベル情報の座標に基づいて算出された距離が最も近い場合、処理対象の画像信号において注目部分３１が視認できると判断する（ステップＳ７０６）。
【００６９】
これらの処理が終了した場合、制御部１１は、処理対象である画像信号を変更させ、ステップＳ７０１からステップＳ７０６までを繰り返して処理する（ステップＳ７０７）。この処理をすべての画像信号に対して実施し、全視点において完了した時点で処理を終了する。
【００７０】
図８は、制御部が生成する可視情報マップの一例を示す説明図である。図８は、横軸は緯度を示し、縦軸は経度を示している。図８に示すように、網かけで表示される領域に属する画像信号は、選択に係る注目部分が視認できないと判断されたものとなる。一方、何も塗りつぶされていない領域については、選択に係る注目部分が視認できると判断されたものとなる。
【００７１】
制御部１１は、生成した可視情報マップに基づいて、表示部１３に現在表示されている画像信号とは異なる複数枚の画像信号を選択する。この場合、制御部１１は、撮影時におけるカメラの位置の情報、及び可視情報マップに基づいて、可視情報マップ上において注目部分が視認できる画像信号であって、当該カメラ位置が等間隔に離れている画像信号を複数枚選択する。要するに、選択した複数枚の画像信号それぞれにおける撮影時のカメラ位置は、互いに所定以上の距離が離れることになる。また、制御部１１は、複数枚の画像信号を選択する場合。選択した画像信号それぞれにおける撮影時の撮影位置は、互いに一定の距離離れるように選択しても構わない。
【００７２】
なお、制御部１１は、可視情報マップにおいて、注目部分を視認できる領域と視認できない領域に隣接する画像信号を表示部１３で表示する際、少なくとも注目部分を含む領域を拡大して表示する構成にしても構わない。この条件に該当する画像信号は、注目部分が視認できるが、見づらい可能性が高い。そこで、拡大して表示することにより、より使用者に対する視認性を向上させることができる。
【００７３】
以上のように本技術の実施の形態によるラベル情報の処理装置は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部１３と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部１１とを有する。
【００７４】
制御部１１は、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部１３に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。
【００７５】
さらに、本技術の実施の形態によるラベル情報の処理方法は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理方法である。
【００７６】
複数の画像信号のうち、注目部分が映し出される特定の画像信号を設定して特定の画像信号に基づく画像を表示部に表示するとともに、表示部に表示された画像の注目部分に対してラベル情報を付与するステップと、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の座標を取得するステップと、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号による画像を表示部に表示するステップと、異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出した後、視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号による画像を表示するステップとを有する。
【００７７】
また、本実施の形態において、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている。
【００７８】
また、本実施の形態において、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに一定の距離離れている。
【００７９】
また、本実施の形態において、特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される。
【００８０】
以上のように、本技術における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本技術における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８１】
本技術は、複数の視点から１つの被写体を撮影して得られる複数の画像信号に対してラベル情報を付与するラベル情報処理装置に適用可能である。具体的には、電子書籍などに適用可能である。
【符号の説明】
【００８２】
１０  ラベル情報処理装置
１１  制御部
１２  入力部
１３  表示部
１４  モデルデータの保持部
１５  キャリブレーションデータの保持部
１６  多視点画像信号の保持部
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ，３０Ｆ，３０Ｇ，３０Ｈ  画像
３１  注目部分
３２  座標
【図１】
2015141214.tif 000005
【図２】
2015141214.tif 000006
【図３】
2015141214.tif 000007
【図４】
2015141214.tif 000008
【図５】
2015141214.tif 000009
【図６】
2015141214.tif 000010
【図７】
2015141214.tif 000011
【図８】
2015141214.tif 000012
【手続補正書】
【提出日】平成28年3月7日(2016.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影対象を複数の視点から撮影することにより得られる多視点画像において、注目部分にラベル情報を付与するラベル情報の処理装置に関する。
【背景技術】
【０００２】
特許文献１は、単一のカメラのみを用いて、多視点画像を容易に取得できる立体映像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１２７２８号公報
【発明の概要】
【０００４】
本技術は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理装置である。
【０００５】
処理装置は、複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有する。制御部は、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。
【０００６】
本技術によれば、複数の視点から１つの撮影対象を撮影して得られる画像信号に対してラベル情報を付与する場合、付与するラベル情報に関する３次元空間上の位置を容易に確認することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。
【図２】図２は、本実施の形態におけるラベル情報処理装置の全体動作を説明するためのフローチャートである。
【図３】図３は、表示部に表示される画像の一例を示す説明図である。
【図４】図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。
【図５】図５は、制御部におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。
【図６】図６は、制御部において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。
【図７】図７は、制御部において、可視情報マップを生成する動作を説明するためのフローチャートである。
【図８】図８は、制御部が生成する可視情報マップの一例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下、本技術の実施の形態による多視点画像に対するラベル情報の処理方法及びラベル情報の処理装置について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本技術を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
図１は、本技術の実施の形態による多視点画像に対するラベル情報の処理装置の構成を説明するためのブロック図である。
【００１０】
図１に示すように、ラベル情報処理装置１０は、制御部１１と、入力部１２と、表示部１３と、モデルデータを保持するためのモデルデータの保持部１４、キャリブレーションデータを保持するためのキャリブレーションデータの保持部１５と、多視点画像信号を保持するための多視点画像信号の保持部１６を備える。
【００１１】
制御部１１は、ソフトウェア、またはファームウェアで記載されたコンピュータプログラムにしたがって、ラベル情報処理装置１０全体を制御する。この制御部１１は、入力部１２から入力される制御信号に基づき所定の動作を実行する。また、制御部１１は、モデルデータの保持部１４、及びキャリブレーションデータの保持部１５から、必要に応じて情報を読み出し処理する。さらに、制御部１１は、多視点画像信号の保持部１６から読みだした多視点画像を表示部１３に表示させる。
【００１２】
また、制御部１１は、次の（１）から（４）のコントロール機能を有する。
（１）ラベル情報の３次元空間上の座標を取得する第１の機能
（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する第２の機能
（３）ラベル情報の３次元空間上の座標に基づいて、（２）において選択された画像信号の平面上の座標を算出する第３の機能
（４）選択された画像信号上におけるラベル情報の座標位置にラベル情報を重畳させた画像信号を生成して表示部１３に出力する第４の機能
次に、制御部１１が実現するそれぞれの機能について説明する。
【００１３】
上記（１）の機能は、入力部１２からラベル情報を付与する場所を示す制御信号が入力された場合、その場所について、ラベル情報の３次元空間上の座標を算出して取得する。ここで、ラベル情報とは、多視点画像信号の保持部１６に格納される複数の画像信号の注目部分に対して付与される付加的な情報である。つまり、使用者は、入力部１２を介して画像信号に対してラベル情報を付与することにより、注目部分と、ラベル情報を表示部１３上で同時に視認することができる。これにより、使用者に対して注目部分に対する理解を促すことができる。
【００１４】
注目部分とは、画像信号に写し出される特定の被写体の部分を示すものであり、例えば人物の手、足等となる。注目部分が人物の手である場合、ラベル情報は、この人物の手を紹介する文字等の情報となる。視聴者はラベル情報を読むことにより、画像信号に映し出される人物の手の特性等を理解することができる。
【００１５】
また、ラベル情報における３次元空間上の座標は、多視点画像信号の保持部１６に蓄積された画像信号から所定の被写体を３次元空間に投射させた際に利用する座標軸の座標となる。つまり、ラベル情報の３次元空間上の座標を指定することにより、多視点画像信号の保持部１６が有する画像信号上の位置が特定される。なお、ラベル情報の３次元空間上の座標を算出する動作については後述する。
【００１６】
上記（２）の機能について、制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号のうち、表示部１３において表示した際、使用者がラベル情報を付与する注目部分を視認できる画像信号を選択する。この画像信号の選択動作については後述する。
【００１７】
上記（３）の機能について、制御部１１は、上記（１）の機能において、既に算出したラベル情報の３次元空間上の座標を、表示部１３に出力する画像信号の平面上に投射した際に得られる座標を算出する。制御部１１は、算出した座標を表示部１３に出力する。このように構成することにより、制御部１１が多視点画像信号の保持部１６から視点の異なる画像信号を選択した場合であっても、ラベル情報の３次元空間上における座標から選択に係る画像信号上の座標を計算することができるため、選択した画像信号上にラベル情報を重畳して表示することができる。
【００１８】
上記（４）の機能について、制御部１１は、上記（３）の機能において算出されたラベル情報の座標に基づいて、上記（２）の機能において選択された画像信号に対してラベル情報を重畳させ、新たな画像信号を生成する。制御部１１は、生成した新たな画像信号を表示部１３に出力する。
【００１９】
次に、入力部１２は、使用者からラベル情報処理装置１０に対する操作指示を受けつけるデバイスである。入力部１２は、例えばマウスなどのポインティングデバイスによって構成される。なお、タッチパネルのようなデバイスやキーボードを用いてもよい。つまり、使用者から操作指示を受け付けるデバイスであればどのようなものを利用しても構わない。
【００２０】
入力部１２は、使用者から操作指示を受け付けた場合、当該操作指示に基づく制御信号を生成して制御部１１に出力する。
【００２１】
表示部１３は、制御部１１から出力される画像信号を表示するデバイスである。このとき、表示部１３は、制御部１１から画像信号を取得し、取得した画像信号を表示する。
【００２２】
モデルデータの保持部１４は、多視点画像信号の保持部１６に蓄積される複数の画像信号に共通して映し出される被写体の３次元空間上における位置を示すモデルデータを蓄積する。ここで、モデルデータは、少なくとも被写体の表面に任意に設定される離散点で、３次元空間上における位置座標の集合体で構成される。制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを参照することにより、ラベル情報の３次元空間上における座標及び画像信号の平面に投影した際の座標を算出することができる。
【００２３】
なお、モデルデータの保持部１４に蓄積されるモデルデータは、上記のような点の集合体に点の連結情報を付加したポリゴンデータとしてもよい。また、モデルデータの保持部１４に蓄積されるモデルデータは、多視点画像信号の保持部１６に蓄積される複数の画像信号からストラクチャー  フロム  モーション（Ｓｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎ）アルゴリズムによって推定される３次元点群であっても構わない。また、キャリブレーション済みのカメラで撮影された画像対のステレオマッチングによって算出された奥行き画像を元に３次元点群を生成してもよい。また、一般に市販されている３Ｄモデリングソフトを用いて、撮影した被写体の形状を近似したポリゴンデータを生成してもよい。
【００２４】
キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号それぞれを撮影した際に利用されたカメラパラメータを蓄積する。このカメラパラメータには、少なくとも３次元カメラ位置座標、カメラ姿勢（回転行列／平行移動ベクトル）、焦点距離及び画素中心の情報が含まれる。さらにキャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に含まれる視点位置情報を蓄積する。
【００２５】
なお、カメラパラメータとして、多視点画像信号の保持部１６に蓄積される複数の画像信号からＳｔｒｕｃｔｕｒｅ  Ｆｒｏｍ  Ｍｏｔｉｏｎアルゴリズムによって推定されるカメラパラメータを用いてもよい。なお、撮影時のカメラ内部パラメータ（焦点距離・画素中心）とターンテーブル・ロボットアームの制御パラメータからカメラ位置・カメラ姿勢を算出し、算出結果をカメラパラメータとして用いてもよい。
【００２６】
ここで、モデルデータの保持部１４及びキャリブレーションデータの保持部１５には、３次元空間上における座標に関する情報が含まれる。つまり、モデルデータの保持部１４は、３次元空間上における座標に関する情報として、被写体の表面に任意に設定される離散点の位置座標を蓄積する。また、キャリブレーションデータの保持部１５は、多視点画像信号の保持部１６に蓄積される画像信号の撮影に利用したカメラの位置情報をカメラパラメータとして蓄積する。このように、３次元空間上で表現される情報が複数存在するため、両者の座標系を一致させておくのが好ましい。
【００２７】
多視点画像信号の保持部１６は、少なくとも複数の画像信号、この画像信号のファイルパス名及び撮影時の視点位置情報を蓄積する。
【００２８】
ここで、多視点画像信号の保持部１６に蓄積される複数の画像信号は次のように撮影されたものである。被写体をターンテーブル上に置き、カメラをロボットアームに設置する。撮影位置はターンテーブルの回転中心点を原点とする半径Ｒの半球体表面上を緯度・経度で離散的に分割した位置となるようとなるようロボットアームとターンテーブルを制御する。またカメラ姿勢は、ロボットアームを制御してカメラ光軸が半球体の原点を通る姿勢にする。
【００２９】
なお、上記における視点位置情報は少なくとも、緯度、経度を含む。また、撮影はカメラ位置を三次元空間内のある平面上の位置で撮影してもよい。この場合、視点位置情報は少なくとも基点からの２次元座標を含む。
【００３０】
次に、ラベル情報処理装置１０の動作について図面を参照しながら説明する。
【００３１】
図２は、本実施の形態におけるラベル情報処理装置１０の全体動作を説明するためのフローチャートである。
【００３２】
以下、説明の便宜上、表示部１３には、多視点画像信号の保持部１６に蓄積される画像信号のうち、所定の画像信号が表示されている状態から動作を開始するものとする。
【００３３】
まず、使用者は、入力部１２を操作することにより、所望のラベル情報を付与したい注目部分が明確に表示されるように、表示部１３に表示される画像信号を変更する。ここで、多視点画像信号の保持部１６は、１つの被写体を様々な視点から撮影して得られる複数の画像信号を蓄積している。そのため、使用者が行う画像信号の変更は、１つの被写体を撮影している視点を変更する動作となる。
【００３４】
図３は、表示部１３に表示される画像の一例を示す説明図である。図３において、画像信号を変更した結果、図３に示すような画像３０が表示される。この画像３０は、注目部分３１が明確に映し出された画像となる。座標３２は、注目部分３１の位置を示すものである。
【００３５】
図２のステップＳ１０１において、表示部１３に注目部分３１が明確に表示された画像３０が表示された場合、使用者は入力部１２を介してラベル情報を付与する位置を指示する。このとき、使用者は、表示部１３に表示される画像３０の注目部分３１を示す座標データを入力部１２から指定する。この場合、入力部１２は、使用者による指示を受け付けた場合、その指示に対応する制御信号を制御部１１に出力する。入力部１２を介して注目部分３１を指定する場合、表示部１３に表示された画像の左上にその指定した位置における座標３２を表示するようにしてもよい。
【００３６】
次に、制御部１１は、入力部１２から出力される制御信号を取得する。制御部１１は、取得した制御信号、及び表示部１３に現在表示される画像信号に対するカメラパラメータに基づいて、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の絶対座標を取得する。すなわち、ステップＳ１０１において、ラベル情報を付与した注目部分である、使用者が指定した位置の３次元空間上における座標を算出する。なお。制御部１１は、カメラパラメータをキャリブレーションデータの保持部１５から必要に応じて適宜取得する（ステップＳ１０２）。
【００３７】
次に、制御部１１は、使用者が指定した位置に関する３次元空間上の座標、及びモデルデータの保持部１４に蓄積されるモデルデータに基づいて、表示部１３に現在表示されている画像信号とは異なる画像信号を抽出する。新たに抽出される画像信号は、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される少なくとも１以上の画像信号である。この画像信号は、多視点画像信号の保持部１６から抽出し、表示部１３に表示する（ステップＳ１０３）。
【００３８】
次に、制御部１１は、モデルデータの保持部１４及びキャリブレーションデータの保持部１５に蓄積される情報を利用することにより、ステップＳ１０２で算出した３次元上の座標を、ステップＳ１０３で選択された画像信号のそれぞれの平面に投影変化する。すなわち、制御部１１は、ステップＳ１０１、Ｓ１０２において取得したラベル情報の絶対座標を基に、ステップＳ１０３で選択された異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出する（ステップＳ１０４）。
【００３９】
最後に、制御部１１は、ステップＳ１０４で算出した視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号を表示部１３に出力する。表示部１３は、制御部１１から出力される複数枚の画像信号を表示する（ステップＳ１０５）。
【００４０】
図４は、複数枚の画像信号に基づく画像を表示部に表示する際の一例を示す説明図である。図４に示すように、当初、表示部１３に表示される画像信号による画像３０に加えて、注目部分３１が表示される他の画像信号による複数枚の画像３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ、３０Ｅ、３０Ｆ、３０Ｇ、３０Ｈが表示される。
【００４１】
これにより使用者に対して様々な視点から見た際のラベル情報の位置を表示することができる。このため、使用者は画像を確認しただけで、ラベル情報を付与する空間的な位置が適切か否かを判断することができる。
【００４２】
次に、制御部１１が有する上記（１）及び（２）の機能について、それぞれ具体的に説明する。
【００４３】
（１）ラベル情報の３次元空間上の座標を算出する機能
図５は、制御部１１におけるラベル情報の３次元空間上の座標を算出する機能を説明するためのフローチャートである。
【００４４】
図５において、まず制御部１１は、現在表示部１３に表示される画像信号の視点位置情報（緯度・経度）を取得する（ステップＳ５０１）。
【００４５】
そして、制御部１１は、ステップＳ１０１において表示部１３に注目部分３１が明確に視認できる画像信号を表示させた状態で、注目部分３１を指定する制御信号が入力された場合、制御信号が示す２次元平面上の位置座標を取得する（ステップＳ５０２）。ここで、上記の２次元平面は、表示部１３に表示される画像信号の平面上に形成されるものとなる。
【００４６】
次に、制御部１１は、ステップＳ５０１で取得した視点位置情報に対応するキャリブレーションデータをキャリブレーションデータの保持部１５から取得する。さらに制御部１１はモデルデータの保持部１４からモデルデータを取得する（ステップＳ５０３）。
【００４７】
そして、制御部１１はステップＳ５０３で取得した情報に基づいて、モデルデータに規定される被写体の３次元空間上の座標それぞれを、表示部１３に現在表示している画像信号の２次元平面上の座標それぞれに射影変換する（ステップＳ５０４）。
【００４８】
制御部１１は、数式（１）及び数式（２）により射影変換する。
【００４９】
【数１】
2015141214.tif 000013
【００５０】
ここで、ｗｖは視点ｖにおける定数（０ではない定数）を示す。また、（ＸＩｍｎ、ＹＩｍｎ）は、現在表示部１３に表示されている画像信号における２次元平面上の座標を示す。さらに、（ＸＭｎ、ＹＭｎ、ＺＭｎ）は、モデルデータにおいて３次元空間上で表現され被写体の離散点それぞれの座標を示す。
【００５１】
さらに、Ｐｖは次式で表現される変換行列となる。
【００５２】
【数２】
2015141214.tif 000014
【００５３】
ここで、ｆｖは、現在表示部１３に表示される画像信号を撮影した際の焦点距離を示す。また、Ｕｖｏ及びＶｖｏは、表示部１３に現在表示されている画像信号の画素中心を示す値である。さらに、Ｒｖは現在表示されている画像信号における回転行列を示す。最後に、ｔｖは、現在表示されている画像信号における並行移動ベクトルを示す。制御部１１は、上記の情報それぞれについてキャリブレーションデータから取得する。
【００５４】
次に制御部１１は、ステップＳ５０４で生成される被写体の座標であって、現在表示部１３に表示している画像信号の２次元平面上で表現される座標から、所定の条件を満たす複数の座標を抽出する（ステップＳ５０５）。
【００５５】
具体的には、制御部１１は、ステップＳ５０２で取得した座標と、現在表示部１３に表示している画像信号の２次元平面上で表現される座標それぞれとの距離を算出し、算出して得られる距離が所定の距離以下となる座標を抽出する。そして、制御部１１は、ステップＳ５０５で取得した座標に対応する３次元空間上における座標を抽出する。制御部１１は抽出した座標と表示部１３に現在表示される画像信号を撮影した際のカメラ位置との距離を算出する（ステップＳ５０６）。
【００５６】
最後に、制御部１１は、算出した距離が最も近い座標を、ラベル情報を付与する３次元空間上の座標として取得する（ステップＳ５０７）。
【００５７】
なお、３Ｄモデルデータの保持部は、３次元点群の場合である。ポリゴンデータの場合は、点群の連結で構成される面との交点を用いても良い。
【００５８】
上記の様に構成することにより、使用者が画像信号を視認しながら指定した２次元平面上の座標から、指定位置に対する３次元空間上の座標を算出することができる。
【００５９】
（２）多視点画像信号の保持部１６に蓄積される複数の画像信号から特定の画像信号を少なくとも１つ以上選択する機能
図６は、制御部１１において画像信号を少なくとも１つ以上選択する際の動作を説明するためのフローチャートである。
【００６０】
制御部１１は、多視点画像信号の保持部１６に蓄積される画像信号それぞれに対し、この画像信号に基づく画像を表示部１３に表示した際に注目部分３１が視認できるか否かを示す可視情報マップを生成する（ステップＳ６０１）。
【００６１】
そして、制御部１１はステップＳ６０１で生成した可視情報マップに記載された情報のうち、注目部分３１が視認できると判断された特定の視点の画像信号を選択する（ステップＳ６０２）。
【００６２】
図７は、制御部１１において、可視情報マップを生成する動作を説明するためのフローチャートである。
【００６３】
まず、図７に示すように、制御部１１は、図５のステップＳ５０７で取得したラベル情報の３次元空間上における座標を、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０１）。
【００６４】
次に制御部１１は、モデルデータの保持部１４に蓄積されるモデルデータを利用して、被写体の３次元空間上の座標それぞれを、処理対象である画像信号の２次元平面上の座標に射影変換する（ステップＳ７０２）。
【００６５】
次に制御部１１は、ステップＳ７０１において射影変換して得られるラベル情報の２次元平面上における座標と、ステップＳ７０２において射影変換して得られる被写体の２次元平面上における座標それぞれとの距離を算出する。そして制御部１１は、算出した距離が一定値以下となる被写体の２次元平面上の所定の座標を抽出する（ステップＳ７０３）。
【００６６】
次に制御部１１は、ステップＳ７０３で抽出した座標を、再度３次元空間上の座標に再変換する（ステップＳ７０４）。
【００６７】
次に制御部１１は、ステップＳ７０４において再変換して得られる被写体の３次元空間上における座標、及びラベル情報の３次元空間上の座標それぞれに対して、処理対象である画像信号を撮影した際のカメラの撮影位置との距離を算出する（ステップＳ７０５）。
【００６８】
そして制御部１１は、処理対象の画像信号において注目部分３１が視認できるか否かを判断する。すなわち、ステップＳ７０５で算出した距離のうち、ラベル情報の座標に基づいて算出された距離が最も近い場合、処理対象の画像信号において注目部分３１が視認できると判断する（ステップＳ７０６）。
【００６９】
これらの処理が終了した場合、制御部１１は、処理対象である画像信号を変更させ、ステップＳ７０１からステップＳ７０６までを繰り返して処理する（ステップＳ７０７）。この処理をすべての画像信号に対して実施し、全視点において完了した時点で処理を終了する。
【００７０】
図８は、制御部が生成する可視情報マップの一例を示す説明図である。図８は、横軸は緯度を示し、縦軸は経度を示している。図８に示すように、網かけで表示される領域に属する画像信号は、選択に係る注目部分が視認できないと判断されたものとなる。一方、何も塗りつぶされていない領域については、選択に係る注目部分が視認できると判断されたものとなる。
【００７１】
制御部１１は、生成した可視情報マップに基づいて、表示部１３に現在表示されている画像信号とは異なる複数枚の画像信号を選択する。この場合、制御部１１は、撮影時におけるカメラの位置の情報、及び可視情報マップに基づいて、可視情報マップ上において注目部分が視認できる画像信号であって、当該カメラ位置が等間隔に離れている画像信号を複数枚選択する。要するに、選択した複数枚の画像信号それぞれにおける撮影時のカメラ位置は、互いに所定以上の距離が離れることになる。また、制御部１１は、複数枚の画像信号を選択する場合。選択した画像信号それぞれにおける撮影時の撮影位置は、互いに一定の距離離れるように選択しても構わない。
【００７２】
なお、制御部１１は、可視情報マップにおいて、注目部分を視認できる領域と視認できない領域に隣接する画像信号を表示部１３で表示する際、少なくとも注目部分を含む領域を拡大して表示する構成にしても構わない。この条件に該当する画像信号は、注目部分が視認できるが、見づらい可能性が高い。そこで、拡大して表示することにより、より使用者に対する視認性を向上させることができる。
【００７３】
以上のように本技術の実施の形態によるラベル情報の処理装置は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部１３と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部１１とを有する。
【００７４】
制御部１１は、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を表示部１３に表示する第２の機能と、第１の機能で取得したラベル情報の座標を、第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、視点の異なる画像信号それぞれに対し、第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである。
【００７５】
さらに、本技術の実施の形態によるラベル情報の処理方法は、特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理方法である。
【００７６】
複数の画像信号のうち、注目部分が映し出される特定の画像信号を設定して特定の画像信号に基づく画像を表示部に表示するとともに、表示部に表示された画像の注目部分に対してラベル情報を付与するステップと、撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の座標を取得するステップと、特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号による画像を表示部に表示するステップと、異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出した後、視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号による画像を表示するステップとを有する。
【００７７】
また、本実施の形態において、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている。
【００７８】
また、本実施の形態において、特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される。
【００７９】
以上のように、本技術における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本技術における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８０】
本技術は、複数の視点から１つの被写体を撮影して得られる複数の画像信号に対してラベル情報を付与するラベル情報処理装置に適用可能である。具体的には、電子書籍などに適用可能である。
【符号の説明】
【００８１】
１０    ラベル情報処理装置
１１    制御部
１２    入力部
１３    表示部
１４    モデルデータの保持部
１５    キャリブレーションデータの保持部
１６    多視点画像信号の保持部
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ，３０Ｆ，３０Ｇ，３０Ｈ    画像
３１    注目部分
３２    座標
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与するラベル情報の処理装置であって、
複数の画像信号のうち、注目部分が映し出される特定の画像信号による画像を表示する表示部と、表示部に表示された特定の画像信号による画像の注目部分に対してラベル情報を付与する制御部とを有し、
前記制御部は、
撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の３次元空間上の座標を取得する第１の機能と、
特定の画像信号による画像の視点とは異なる視点の画像の画像信号であって、前記特定の画像信号により映し出される注目部分と同じ注目部分が映し出される別の画像信号による画像を前記表示部に表示する第２の機能と、
前記第１の機能で取得したラベル情報の座標を、前記第２の機能で表示部に表示される異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標に変換する第３の機能と、
視点の異なる画像信号それぞれに対し、前記第３の機能により得られる所定の座標位置に、ラベル情報を付与する第４の機能を有するものである
多視点画像に対するラベル情報の処理装置。
【請求項２】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項３】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに一定の距離離れている請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項４】
前記特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される請求項１に記載の多視点画像に対するラベル情報の処理装置。
【請求項５】
特定の撮影対象を複数の多視点から撮影した複数の画像信号において、各画像信号による画像に共通に映し出される注目部分に付与する多視点画像に対するラベル情報の処理方法であって、
複数の画像信号のうち、注目部分が映し出される特定の画像信号を設定して特定の画像信号に基づく画像を表示部に表示するとともに、前記表示部に表示された画像の注目部分に対してラベル情報を付与するステップと、
撮影対象を３次元空間上で表現した際に利用する座標空間における座標であって、座標空間におけるラベル情報の座標を取得するステップと、
特定の画像信号における画像の視点とは異なる視点の画像の画像信号であって、特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号による画像を表示部に表示するステップと、
異なる視点の画像の画像信号それぞれについて、平面上におけるラベル情報を付与する座標を算出した後、視点の異なる画像信号の所定の座標位置に、ラベル情報を付与した画像信号による画像を表示するステップとを有する
多視点画像に対するラベル情報の処理方法。
【請求項６】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに所定以上の距離が離れている請求項５に記載の多視点画像に対するラベル情報の処理方法。
【請求項７】
前記特定の画像信号に映し出された注目部分と同じ注目部分が映し出される画像信号の撮影時の撮影位置は、互いに一定の距離離れている請求項５に記載の多視点画像に対するラベル情報の処理方法。
【請求項８】
前記特定の画像信号のうち、隣接する視点における画像信号に注目部分が映し出されていない条件を満たす画像信号については、注目部分を含む一定の領域を拡大した後で表示するように制御される請求項５に記載の多視点画像に対するラベル情報の処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2015141214.tif 000015
【図２】
2015141214.tif 000016
【図３】
2015141214.tif 000017
【図４】
2015141214.tif 000018
【図５】
2015141214.tif 000019
【図６】
2015141214.tif 000020
【図７】
2015141214.tif 000021
【図８】
2015141214.tif 000022
【国際調査報告】
2015141214.tif 000023
2015141214.tif 000024