(57)【要約】【課題】奥行情報を算出するだけで、特定オブジェクトにおける付加情報の表示有無を、視点毎に容易に設定することができる付加情報処置装置を提供する。【解決手段】同一の被写体を複数の視点から撮影して得られる複数の立体映像それぞれに対して付加情報を重畳させる場合、当該付加情報の表示状態を設定する付加情報処理装置であって、付加情報が付加される特定オブジェクトおよびオブジェクトの周囲における奥行情報を少なくとも取得する制御部１０２と、制御部１０２で取得した奥行情報に基づいて、付加情報を特定オブジェクトに対応づけて表示する際、付加情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する制御部１０２と、を備える付加情報処理装置。【選択図】図１
2014183505.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を複数の視点から撮影して得られる複数の立体映像それぞれに対して付加情報を重畳させる場合、当該付加情報の表示状態を設定する付加情報処理装置であって、
前記付加情報が付加される特定オブジェクトおよび前記オブジェクトの周囲における奥行情報を少なくとも取得する奥行情報取得部と、
前記奥行情報取得部で取得した奥行情報に基づいて、前記付加情報を前記特定オブジェクトに対応づけて表示する際、前記付加情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する設定部と、
を備える付加情報処理装置。
【請求項２】
前記奥行情報取得部で取得する奥行情報は少なくとも１視点以上の奥行情報に基づいて、
異なる視点における、前記付加情報の表示有無を設定する。
【請求項３】
前記付加情報の位置から見て、各視点を経度方向に分割し、分割された線上において、奥行情報を取得し、各視点の前記付加情報の表示有無を決定する。
【請求項４】
前記設定部は、前記取得した奥行情報のうち、前記特定オブジェクトの奥行情報を実際に取得した奥行情報を補正し、補正後における前記特定オブジェクトの奥行情報と、前記オブジェクトの周囲における奥行情報に基づいて、前記付加情報を前記特定オブジェクトに対応づけて表示する際、前記付加情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する、
請求項１に記載の付加情報処置装置。
【請求項５】
前記奥行情報取得部で取得する奥行情報が複数のある場合、各視点で前記の表示有無の結果が複数得られるため、それらの結果を総合して、表示有無を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体映像に付加情報すなわちラベル情報を付加する付加情報処理装置に関する。
【背景技術】
【０００２】
特許文献１は、所与の視点から見た三次元空間内の画像を生成する画像生成装置において、視点との間に介在する障害物によって表示されないオブジェクトの可視化を、処理負担を軽減したより簡易な方法で実現する動作を開示する。この画像生成装置は、例えば、表示制御対象物である球２０と、仮想カメラ１０と球２０との間に介在する障害物３０とが配置されたゲーム空間の様子は、球２０の内、仮想カメラ１０から見える可視部分２２が表示されるとともに、仮想カメラ１０から見えない不可視部分２４については、この不可視部分２４の輪郭線と、障害物３０の背後に球２０の存在を暗示するテキストとが表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５-１００１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、奥行情報を算出するだけで、特定オブジェクトにおける付加情報の表示有無を、視点毎に容易に設定することができる付加情報処理装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における付加情報処理装置は、同一の被写体を複数の視点から撮影して得られる複数の立体映像それぞれに対して付加情報を重畳させる場合、当該付加情報の表示状態を設定する付加情報処理装置であって、付加情報が付加される特定オブジェクトおよびオブジェクトの周囲における奥行情報を少なくとも取得する奥行情報取得部と、奥行情報取得部で取得した奥行情報に基づいて、付加情報を特定オブジェクトに対応づけて表示する際、付加情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する設定部と、を備える。
【発明の効果】
【０００６】
本開示における付加情報処理装置は、奥行情報を算出するだけで、特定オブジェクトにおける付加情報の表示有無を、視点毎に容易に設定することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態１における付加情報処置装置の構成を示す図
【図２】本実施形態１における蓄積メモリ１０１に記録される立体映像の撮影方法を説明するための図
【図３】本実施形態における陰面情報を説明するための図
【図４】本実施形態におけるラベル情報に対応する陰面情報の設定動作を説明するためのフローチャート
【図５】本実施形態におけるステップ４０４の詳細な動作を説明するためのフローチャート
【図６】本実施形態におけるステップ４０４において、被写体を上から見た時の画像を示す図
【図７】本実施形態における図５に示す動作を説明するための図
【図８】他の実施形態におけるラベル情報を付与する位置およびその近辺の奥行情報はそのままにしておき、それ以外の奥行情報に正のオフセットを与える動作を説明するための図
【図９】他の実施形態におけるラベル情報を付与する位置およびその近辺の奥行情報に対して負のオフセットを与え、一方、それ以外の奥行情報は補正しない動作を説明するための図
【図１０】他の実施形態におけるラベル情報を付与する位置およびその近辺の奥行情報に対して負のオフセットを与え、一方、それ以外の奥行情報に正のオフセットを与える動作を説明するための図
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、本実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（本実施形態１）
以下、図１〜９を用いて、本実施形態１を説明する。
【００１１】
図１は、本実施形態１における付加情報処置装置の構成を示す図である。
【００１２】
本実施形態における付加情報処理装置は、蓄積メモリ１０１、制御部１０２およびフラッシュメモリ１０３で構成される。
【００１３】
蓄積メモリ１０１は、デジタル情報を記録する記録媒体である。この蓄積メモリ１０１は、あらかじめ撮影された立体映像を記憶する。
【００１４】
ここで、立体映像は視差を有する第１視点画像と第２視点画像から構成される。さらに、この立体映像は、注目する撮影体を複数の位置（視点）から撮影したものであり、視点毎の画像が記憶されている。
【００１５】
図２は、蓄積メモリ１０１に記録される立体映像の撮影方法を説明するための図である。図２に示すように、撮影体は仮想的に設定される半球の原点に設置される。そして、所定の撮影システムにおいて仮想的に設定された半球の表面に設定される撮影ポイントから撮影される。つまり、立体画像は撮影体を周囲から撮影して得られる映像となる。
【００１６】
なお、被写体の撮影は、撮影して得られる映像が視聴した際に当該被写体を立体視できるものであればよく、例えば２眼カメラによる立体撮影、スライド方式による立体撮影等により撮影される。
【００１７】
制御部１０２は、蓄積メモリ１０１に蓄積される映像から好適な２枚の映像を選択し、上記の立体映像として出力する機能を備えている。制御部１０２における映像の選択方法はどのような方法でもよい。
【００１８】
また、制御部１０２は、上記選択した立体映像に対して、当該立体映像内におけるオブジェクトを指し示すラベル情報を付加する機能を備える。さらに、制御部１０２は、立体映像に対してラベル情報を付加した立体映像を表示する際、当該ラベル情報の表示有無を切り替える機能を有している。制御部１０２は、上記立体映像における奥行情報に基づいて当該ラベル情報の表示有無を切り替える。この動作については後で説明する。
【００１９】
フラッシュメモリ１０３は、制御部１０２において実行されるプログラムを格納する。制御部１０２は、フラッシュメモリ１０３に格納されるプログラムを読み込むことで少なくとも上記機能を実行することができる。
【００２０】
表示部１０４は、制御部１０２においてラベル情報が付加された立体映像を表示する表示部材である。この表示部１０４は、液晶ディスプレイ、ＰＤＰディスプレイなど、立体映像を表示できる機能を有しているものであれば、どのようなものを利用しても構わない。
【００２１】
以下、説明の便宜上、表示部１０４は、当該付加情報処理装置の使用者における操作を受け付けるタッチパネル機能を備えるものとする。ただし、表示部１０４は上記の構成に限定されるものではなく、例えばボタンを備える等しても構わない。
［１−２；動作］
以下、制御部１０２における各機能について図面を参照しながら詳細に説明する。
【００２２】
制御部１０２は、ラベル情報の陰面情報を以下に説明するステップにより設定する。
【００２３】
ここで、陰面情報とは、ラベル情報毎に与えられる当該ラベル情報を表示するか否かを示すものである。より具体的に、陰面情報は、図２に示す撮影ポイント毎におけるラベル情報の表示有無に関するフラグ情報を有する。
【００２４】
図３は、陰面情報を説明するための図である。
【００２５】
例えば、図２に示す撮影システムにおいて、経度を−４５°から４５°まで１５°刻みに撮影し、緯度を１５°から４５°まで１５°刻みに２１の撮影ポイントにおいて撮影したとする。
【００２６】
この場合、陰面情報は、図３に示すように各撮影ポイントにおいてラベル情報を表示するか否かの情報を有する。つまり、図３において０はラベル情報を表示しないことを意味している。一方、１はラベル情報を表示することを意味している。例えば経度-４５°および緯度１５°における撮影ポイントから撮影された画像に対し、制御部１０２は、図３に示す陰面情報に対応するラベル情報を重畳させて表示しない。一方、例えば経度-３０°および緯度３０°における撮影ポイントから撮影された画像に対し、制御部１０２は、図３に示す陰面情報に対応するラベル情報を重畳させて表示する。
【００２７】
なお、ラベル情報毎に図３に示す陰面情報が存在する。
＜ラベル情報に対応する陰面情報の設定動作＞
図４は、ラベル情報に対応する陰面情報の設定動作を説明するためのフローチャートである。
【００２８】
（ステップ４０１）使用者は、表示部１０４が有する入力手段を介して、蓄積メモリ１０１に蓄積される画像の中から、ラベル情報を付与する画像を選択する。
【００２９】
上記の場合、選択する画像は、ラベル情報をオブジェクトに付与した場合、ラベル情報が最も見やすく表示部１０４に表示されるものであることが好ましい。つまり、選択する画像は、少なくともラベル情報を画像に重畳させて表示させた場合に視聴者がラベル情報を視認できるものであることが好ましい。
【００３０】
上記においては、使用者が選択する動作を説明したが、表示部１０４が自動的に選択する動作であっても構わない。要するに、ステップ４０１においては付与対象とラベル情報が視認し易い画像を選択するものであればどのような方法でも構わない。
【００３１】
（ステップ４０２）選択した画像内において、上記ラベル情報を付与する位置座標を設定する。例えば、表示部１０４にステップ４０１で選択した画像が表示されている場合、使用者が表示部１０４の画面内の任意の位置を指定する。そして、制御部１０２は表示部１０４において使用者が指定した位置における位置座標を取得することにより設定できる。
【００３２】
上記の場合、表示部１０４がタッチパネル機能を備えており、使用者が自己の指を用いて直接的に操作する構成でも構わない。また、マウス等、ポインティングデバイスを介して操作する構成にしても構わない。要するに、使用者が所望の位置座標を指定できる方法であれば、どのようなものを利用しても構わない。
【００３３】
制御部１０２は、例えば、使用者が指定した位置における位置情報を表示部１０４のディスプレイ平面をｘｙ座標系とする座標値として取得する。
【００３４】
（ステップ４０３）次に制御部１０２は選択した画像における奥行情報を算出する。
【００３５】
具体的に制御部１０２は、ステップ４０１で選択した画像内に映し出されるオブジェクトの奥行に関する位置関係を示す情報を奥行情報として取得する。例えば、選択した画像が、立体視用の画像である場合、制御部１０２は、立体視する際に表示する対の画像間でステレオマッチング処理することにより上記奥行情報を取得することができる。
【００３６】
制御部１０２は、この奥行情報に基づいて、画像が表示される面と直交する方向の座標値を取得することができる。つまり、制御部１０２は、ステップ４０３で算出した奥行情報を、画面内に映し出されるオブジェクトの奥行方向の座標値として利用する。これにより制御部１０２は、画像内に映し出されるオブジェクトの３次元空間上における座標値を識別することができる。
【００３７】
上記の場合、制御部１０２はステップ４０２で取得した座標値をｘｙ軸座標の座標値として利用し、ステップ４０３で取得した座標値をｚ軸座標の座標値として利用する。
【００３８】
なお、選択した画像から当該画像に映し出されるオブジェクトの奥行に関する情報を取得する処理であれば、どのようなものを利用しても構わない。
【００３９】
（ステップ４０４）ステップ２において設定した位置座標、ステップ３で算出した奥行情報および選択している画像における位置座標に基づいて、陰面情報を設定する。具体的な処理内容については後述する。
＜ステップ４０４の詳細動作＞
以下、ステップ４０４の動作について、図面を参照しながら詳細に説明する。
【００４０】
図５は、ステップ４０４の詳細な動作を説明するためのフローチャートである。
【００４１】
図６は、被写体を上から見た時の画像を示す図である。
【００４２】
図７は、図５に示す動作を説明するための図である。
【００４３】
以下の説明においては、便宜上、ステップ４０１において図６に示す画像が選択されているものとする。
【００４４】
（ステップ５０１）まず制御部102は、図６に示すラベル情報を付与する位置が撮影体の奥行情報が適切に得られる視点を設定する。
【００４５】
（ステップ５０２）制御部１０２は、図６に示すように、ステップ４０２で設定した位置座標を通る直線１を横軸とし、ステップ４０３で算出した奥行情報を縦軸とする平面を設定する。具体的に、図７に示すような平面を設定する。
【００４６】
（ステップ５０３）次に制御部１０２は、ステップ４０２で設定した位置座標を直線１上に投影した際の座標値を算出する。具体的には、ステップ２で設定した位置座標を射影変換し、図７に示す投影座標値を算出する。なお、直線１上における原点は、ステップ２で設定した位置に設定しても構わないし、撮影体の位置を原点に設定しても構わない。
【００４７】
（ステップ５０４）制御部１０２は、投影座標値、投影座標値およびその周囲における奥行情報に基づいて、図７に示す接線１および接線２を算出する。
【００４８】
上記の説明においては、接線を算出する動作を説明したが、例えば図７に示す接線1よりも傾きが正の方向に大きく、ラベル情報を付与する位置を通る直線を算出する構成でも構わない。また、接線2よりも傾きが負の方向に大きく、ラベル情報を付与する位置を通る直線を算出する構成でも構わない。要するに、上記接線は必ずしも、撮影体に接する必要はなく、ラベル情報を付与する位置を通り、かつ撮影体に接するまたは接しない直線を算出する。
【００４９】
（ステップ５０５）制御部１０２は、接線１と接線２で挟まれる領域を、ラベル情報が表示される領域（以下、可視領域と称す）と設定する。具体的に、制御部１０２は可視領域を図２に示す座標系に射影する。そして、制御部１０２は、図２に示す撮影ポイントのうち、射影後の領域に含まれているものをラベル情報が表示される撮影ポイントとして設定する。ラベル情報が表示される撮影ポイントである場合、制御部１０２は図３におけるテーブルにおいて１を設定する。一方、ラベル情報が表示されない撮影ポイントである場合、制御部１０２は０を設定する。
【００５０】
（ステップ５０６）制御部１０２は、ラベル情報を付与する位置を通る直線を変更させ、ステップ５０２から５０５を再度実行する。ここで、上記直線の変更は、撮影した撮影ポイントがすべてステップ５０５で判断対象となるまで繰り返す。たとえば、経度方向の撮影視点が全周３６０°、５°刻みに撮影が行われていた場合、７２視点から撮影が行われたことになるため、上記の直線の数は７２本引けることになり、実行回数も同様の回数行われることになる。また、前記に関しては１直線で２視点分の情報を取得することも考えられるため、３６本の直線で行う場合も考えられる。
【００５１】
上記の処理により、制御部１０２は図３に示す陰面情報を生成する。
（他の実施形態）
上記のステップ４０４において、制御部１０２は、ステップ４０３で算出した奥行情報をそのまま利用する構成について説明した。
【００５２】
しかし、実際には奥行情報を算出する際に誤差が発生するため、図８または図９に示すように奥行情報を補正して利用する構成でも構わない。
【００５３】
上記のようにすることで、ステップ５０３で接線を算出する際に実際よりも勾配がある傾きを設定することができる。よって、視聴者が画像とラベル情報を同時に視聴した際に、画像上に表示されるラベル情報の違和感をなくすことができる。
【００５４】
図８においては、ラベル情報を付与する位置およびその近辺の奥行情報はそのままにしておき、それ以外の奥行情報に正のオフセットを与える動作を説明している。
【００５５】
図９においては、ラベル情報を付与する位置およびその近辺の奥行情報に対して負のオフセットを与え、一方、それ以外の奥行情報は補正しない動作を説明している。
【００５６】
図１０においては、図８および図９に示す動作を組み合わせたものであって、ラベル情報を付与する位置およびその近辺の奥行情報に対して負のオフセットを与え、一方、それ以外の奥行情報に正のオフセットを与える動作を説明している。
【００５７】
なお、上記においては奥行情報を補正する動作を説明したが、撮影ポイントの位置を補正しても構わない。例えば、撮影ポイントが緯度方向に５°おきに撮影されていた場合、当該撮影ポイントに対して所定のオフセット、例えば2°を付加し、付加後の撮影ポイントに関する情報で処理を実行しても構わない。具体的に、2°のオフセットを付加する場合、当初0°、5°、10°で撮影した撮影ポイントは2°、7°、12°として処理が実行される。
（まとめ）
本実施形態における付加情報処理装置は、同一の被写体を複数の視点から撮影して得られる複数の立体映像それぞれに対してラベル情報を重畳させる場合、ラベル情報の表示状態を設定する付加情報処理装置であって、ラベル情報が付加される特定オブジェクトおよびオブジェクトの周囲における奥行情報を少なくとも取得し、取得した奥行情報に基づいて、ラベル情報を特定オブジェクトに対応づけて表示する際、ラベル情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する。
【００５８】
また、取得する奥行情報は少なくとも１視点以上の奥行情報に基づいて、異なる視点における、ラベル情報の表示有無を設定する。
【００５９】
さらに、ラベル情報の位置から見て、各視点を経度方向に分割し、分割された線上において、奥行情報を取得し、各視点のラベル情報の表示有無を決定する。
【００６０】
そして、取得した奥行情報のうち、特定オブジェクトの奥行情報を実際に取得した奥行情報を補正し、補正後における特定オブジェクトの奥行情報と、オブジェクトの周囲における奥行情報に基づいて、ラベル情報を特定オブジェクトに対応づけて表示する際、ラベル情報の表示有無を、異なる視点における立体映像のそれぞれにおいて設定する。
【００６１】
以上のように、本開示における技術の例示として、本実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００６２】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００６３】
また、上述の本実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００６４】
本開示は、ラベル情報を実画像に対して付与する画像処理装置に適用可能である。具体的には、立体視用の画像を処理するアプリケーションなどに、本開示は適用可能である。
【符号の説明】
【００６５】
１０１  蓄積メモリ
１０２  制御部
１０３  フラッシュメモリ
１０４  表示部
【図１】
2014183505.tif 000003
【図２】
2014183505.tif 000004
【図３】
2014183505.tif 000005
【図４】
2014183505.tif 000006
【図５】
2014183505.tif 000007
【図６】
2014183505.tif 000008
【図７】
2014183505.tif 000009
【図８】
2014183505.tif 000010
【図９】
2014183505.tif 000011
【図１０】
2014183505.tif 000012