(57)【要約】【課題】映像・画像が提示可能な場所を自動的に探索することができるようにする。【解決手段】形状推定部２０により、入力された画像中の３次元形状を推定する。提示場所選択部２２により、提示する画像を重畳する入力された画像上の位置を選択する。提示画像選択部３０により、予め記憶されている提示するための複数の画像から提示する画像を選択する。遮蔽領域検出部２４により、選択された位置に選択された提示する画像を重畳した場合の、提示する画像を遮蔽する遮蔽物の領域を検出する。画像合成部２６により、選択された提示する画像を選択された位置に重畳し、かつ、提示する画像が遮蔽物の領域において遮蔽されるように、提示する画像を、入力された画像に合成する。表示装置３６により、合成された画像を出力する。【選択図】図１
2014035763.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像中の３次元形状を推定する推定手段と、
前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択する位置選択手段と、
前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択する画像選択手段と、
前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する検出手段と、
前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成する合成手段と、
前記合成手段によって合成された画像を出力する出力手段と、
を備えた情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示装置に係り、特に、現実環境には存在しない映像を、実写映像に重畳してディスプレイに表示する情報表示装置に関する。
【背景技術】
【０００２】
従来、放送映像中に映るビルボード広告に、別の広告画像を合成して表示する手法が知られている。このような広告画像を合成して表示する手法には、あらかじめ登録しておいたビルボード広告画像に一致する領域を映像中から探索し、その部分を別の広告画像に置き換える方法（非特許文献１）がある。また、サッカー中継映像中の特定のビルボード広告を別の画像に置き換え、さらにビルボード広告の前に立つ人物が隠れないためのマスク処理をビルボード広告画像に行う方法も（非特許文献２）ある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】G. Medioni, G. Guy, H. Rom and A. Francois, "Real-Time Billboard Substitution in a Video Stream," Proc. of the 10th Tyrrhenian International Workshop on Digital Communications, 1998.
【非特許文献２】F. Aldershoff and T. Gevers, "Visual Tracking and Localization of Billboards in Streamed Soccer Matches," Proc. of SPIE Electronic Imaging 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記２つの方法では、画像を提示する場所をあらかじめ人手で決めておく必要があり、また、その場所を探索するための知識も人手で与える必要がある。
【０００５】
本発明は上記問題点を解決するためになされたものであり、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の情報表示装置は、入力された画像中の３次元形状を推定する推定手段と、前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択する位置選択手段と、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択する画像選択手段と、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する検出手段と、前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成する合成手段と、前記合成手段によって合成された画像を出力する出力手段と、を含んで構成されている。
【０００７】
本発明によれば、推定手段により、入力された画像中の３次元形状を推定し、位置選択手段により、前記入力された画像と、前記推定手段により推定された３次元形状とに基づいて、提示する画像を重畳する、前記入力された画像上の位置を選択し、画像選択手段により、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、予め記憶されている提示するための複数の画像から前記提示する画像を選択し、検出手段により、前記入力された画像と前記推定手段により推定された３次元形状とに基づいて、前記位置選択手段により選択された位置に前記画像選択手段により選択された前記提示する画像を重畳した場合の、前記提示する画像を遮蔽する遮蔽物の領域を検出する。
【０００８】
そして、合成手段により、前記入力された画像と、前記推定手段により推定された３次元形状と、前記検出手段により検出された遮蔽物の領域とに基づいて、前記選択された前記提示する画像を前記選択された位置に重畳し、かつ、前記提示する画像が前記遮蔽物の領域において遮蔽されるように、前記提示する画像を、前記入力された画像に合成し、出力手段により、前記合成手段によって合成された画像を出力する。
【０００９】
このように、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。
【発明の効果】
【００１０】
以上説明したように、本発明の情報表示装置によれば、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の情報表示装置の機能的構成を示すブロック図である。
【図２】本発明の実施の形態において、カメラから取得される画像の図である。
【図３】本発明の実施の形態において、環境の３次元点群を復元した図である。
【図４】本発明の実施の形態において、遮蔽を正しく表現しなかった場合と正しく表現した場合の図である。
【図５】本発明の実施の形態において、遮蔽を正しく表現した画像系列の図である。
【図６】本発明の実施の形態において、平面図形を壁面に並行に設置した図と、平面図形を壁面に垂直に設置した図である。
【図７】本発明の実施の形態の情報表示装置における画像合成処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、入力された画像と、推定された画像内の形状と、環境情報とに基づいて、提示画像の提示に適する位置を選択することにより、映像・画像が提示可能な場所を自動的に探索する。
【００１３】
＜システム構成＞
図１に示すように、本発明の実施の形態に係る情報表示装置１０は、撮像装置１４と、環境情報取得装置１６と、後述する画像合成処理ルーチンを実行するコンピュータ１２と、コンピュータ１２での処理の結果を表示する表示装置３６と、を備えている。
【００１４】
撮像装置１４は、ステレオカメラであって、外界を撮像し、画像信号を生成する２つの撮像部（図示省略）と、２つの撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。例えば車両に搭載された車載カメラのような移動カメラから構成される。
【００１５】
環境情報取得装置１６は、移動カメラの例えば位置情報、移動方向、移動速度等の情報を取得しコンピュータ１２に入力する。例えばＧＰＳ、ジャイロセンサ、加速度センサ、速度計、トリップメータ、ハンドル角計算装置等によって各種情報を取得する。
【００１６】
コンピュータ１２は、情報表示装置１０全体の制御を司るＣＰＵ、後述する画像合成処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００１７】
このコンピュータ１２をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置により撮像された画像をコンピュータに入力する画像入力部１８と、入力された画像から特定の形状を推定する形状推定部２０と、画像提示に適する位置を選択する提示場所選択部２２と、ユーザ情報を記憶しているユーザ情報記憶部３２と、提示画像を記憶している提示画像記憶部３４と、状況に応じた提示画像を提示画像記憶部３４から選択する提示画像選択部３０と、提示画像の表示領域内の遮蔽物の領域を求める遮蔽領域検出部２４と、遮蔽物の領域を考慮して背景画像の提示位置に提示画像を合成し、合成した画像を表示装置３６に出力する画像合成部２６と、を含んだ構成で表すことができる。
【００１８】
画像入力部１８は、撮像装置１４で撮像された画像をコンピュータ１２に入力し、形状推定部２０、提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に出力する。
【００１９】
形状推定部２０は、画像入力部１８から入力された図２に示すような画像から、例えば環境中の平面や曲面、円筒面、球面等の形状を推定する。形状推定部２０は、例えば２枚以上の画像から３次元構造を復元するステレオ画像処理装置で構成される。街路樹や電柱といった小さな構造物の形状推定をより精密に行うために、復元手法として、図３（ａ）に示すように、例えば、文献：Y. Furukawa, J. Ponce, “Accurate, Dense, and Robust Multiview Stereopsis,” IEEE Trans. on Pattern Analysis and  Machine Intelligence, Vol. 32, No. 8, pp. 1362−1376, Aug.  2010.で提案される多視点画像を用いた３次元画像復元手法であるPatch-based Multi-view Stereo（ＰＭＶＳ）を使用することもできる。ＰＭＶＳは、３次元面上の密な点群が取得可能である。そして、これらの点群に対し、図３（ｂ）に示すように、文献：F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva, G.  Taubin, “The Ball-pivoting Algorithm for Surface Reconstruction,”IEEE Trans. on Visualization and Computer  Graphics, Vol. 5, No. 4, pp. 349−359, Oct. 1999.で提案されているBall-pivoting Algorithmを適用して３角形メッシュを生成して推定した形状とする。そして、算出された３次元空間中の形状は、提示場所選択部２２、画像合成部２６、提示画像選択部３０、及び遮蔽領域検出部２４に出力される。
【００２０】
ユーザ情報記憶部３２は、本装置を利用しているユーザの年齢、性別、住所、利用履歴等に関する情報を記憶している。
【００２１】
提示画像記憶部３４は、複数の状況に応じた複数の画像を提示画像として記憶している。
【００２２】
提示画像選択部３０は、ユーザ情報記憶部３２に記憶されているユーザ情報と、環境情報取得装置１６により取得された情報と、画像入力部１８に入力された情報と、形状推定部２０から入力された情報とを分析し、状況に応じた提示画像を提示画像記憶部３４から選択する。例えば、ユーザの年齢や性別を対象とした宣伝広告画像を、提示画像記憶部３４内の広告画像データベースから選択する。あるいは、車載カメラの移動方向等に応じて、選択される宣伝広告画像を変化させる。例えば、車両の進行方向の先にある店の宣伝広告を選択する例が挙げられる。また、例えば、画像入力部１８と形状推定部２０から入力された対象の３次元位置、色、光源、動き等の情報に応じて、ユーザが視認しやすい提示画像を選択する。提示画像選択部３０で選択した提示画像は、遮蔽領域検出部２４、及び画像合成部２６に出力される。
【００２３】
提示場所選択部２２は、形状推定部２０から入力された３次元空間中の形状と、画像入力部１８から入力された画像の中から、画像提示に適する位置を選択する。提示位置の例として、建物の壁面、既存の看板、路面、電柱、樹木、車両の側面、既存の標識等が挙げられる。提示位置選択の際、環境情報取得装置１６から入力された移動カメラの位置、移動方向等の実環境情報に応じて、選択される画像提示の位置を変化させる。例えば、車載カメラの位置や移動方向の情報を利用することで、いつも車載カメラの左側のユーザが見やすい提示位置を選択する。提示場所選択部２２で選択された画像提示に適する位置は、遮蔽領域検出部２４、及び画像合成部２６に出力する。
【００２４】
遮蔽領域検出部２４は、提示場所選択部２２から入力された提示位置に、提示画像選択部３０で選択された提示画像を重畳する。このとき、形状推定部２０から入力された３次元形状に沿うように提示画像を変形させる。また、このようにして得られた提示画像の表示領域内の遮蔽物の領域を求める。具体的には提示画像の表示領域より手前に３次元形状が存在するとき、当該３次元形状の領域を遮蔽物の領域と判断する。例えば、街路樹や電柱等の構造物が提示画像の表示領域の前に存在する場合には構造物の領域を遮蔽物の領域として検出する。遮蔽物の領域の検出結果を画像合成部２６に出力する。
【００２５】
画像合成部２６は、画像入力部１８から入力された背景画像に対して、提示画像選択部３０で選択された提示画像を、提示場所選択部２２から入力された提示位置に合成する。この際、提示画像は、形状推定部２０から入力された３次元形状に沿うように変形させ、遮蔽領域検出部２４で検出された遮蔽物の領域において遮蔽されるように、提示画像を背景画像に合成する。また、環境情報取得装置１６から入力された車両の位置、移動方向、移動速度等の情報をもとに、提示画像に例えばモーションブラーや、車両と提示位置の距離に応じたぼかし処理等の画像効果を施す。また、画像入力部１８と形状推定部２０から入力された対象の３次元位置、色、光源、動き等の情報に応じて、例えば色調の調整、アニメーションの処理等を施し、自然な画像に加工する。図４（ａ）には遮蔽の表現を適切に行なわなかった例を示し、図４（ｂ）には遮蔽の表現を適切に行った例を示す。適切な重畳・遮蔽の表現が見た目の自然さに重要であることが示されている。また、図５に、道路上を移動中の視点から取得した画像系列に提示画像を重畳した例を示す。また、図６に、壁面に平行に提示画像を設置した例や壁面に垂直に提示画像を設置した例を示す。画像合成部２６で合成された画像は、表示装置３６に出力する。
【００２６】
＜情報表示装置の作用＞
撮像装置１４から出力される映像が、コンピュータ１２に入力されると、映像の各フレームごとに、情報表示装置１０のコンピュータ１２によって、図７に示す画像合成処理ルーチンが実行される。
【００２７】
ステップＳ１００で、画像入力部１８が撮像装置１４で撮像された画像の入力を受け付け、入力された画像を形状推定部２０、提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に出力する。
【００２８】
次にステップＳ１０２で、環境情報取得装置１６で取得した環境情報を提示場所選択部２２、画像合成部２６、及び提示画像選択部３０に入力する。
【００２９】
次にステップＳ１０４で、形状推定部２０が、画像入力部１８から入力された画像から、例えば画像中の平面や曲面、円筒面、球面等の形状を推定し、３次元形状の推定を行う。そして、その結果を提示場所選択部２２、遮蔽領域検出部２４、画像合成部２６、及び提示画像選択部３０に出力する。
【００３０】
次にステップＳ１０６で、提示画像選択部３０が、ユーザ情報記憶部３２に記憶されているユーザ情報と、環境情報取得装置１６から入力された環境情報と、画像入力部１８から入力された画像と、形状推定部２０から入力された３次元形状と、に基づいて、提示画像を提示画像記憶部３４から選択する。選択した提示画像は、遮蔽領域検出部２４、及び画像合成部２６に出力する。
【００３１】
次にステップＳ１０８で、提示場所選択部２２が、形状推定部２０から入力された３次元形状と、画像入力部１８から入力された画像に基づいて、提示画像を重畳する位置を画像入力部１８から入力された画像上から選択する。選択された位置情報は、遮蔽領域検出部２４、及び画像合成部２６に出力する。
【００３２】
次に、ステップＳ１１０で、遮蔽領域検出部２４が、提示場所選択部２２から入力された提示位置に、提示画像選択部３０で選択された画像を重畳し、形状推定部２０から入力された３次元形状に基づいて、提示画像の表示領域内の遮蔽物の領域を検出する。検出した結果を画像合成部２６に出力する。
【００３３】
次に、ステップＳ１１２で、画像合成部２６が、画像入力部１８から入力された画像と、形状推定部２０から入力された３次元形状と、遮蔽領域検出部２４により検出された遮蔽物の領域と、に基づいて、提示画像選択部３０で選択された提示画像を、提示場所選択部２２により選択された位置に重畳し、かつ、遮蔽領域検出部２４により検出された遮蔽物の領域において遮蔽されるように、提示画像を、画像入力部１８から入力された画像に合成する。ステップＳ１１４で、画像合成部２６が合成した画像を、表示装置３６に出力し、処理を終了する。
【００３４】
以上説明したように、本発明の実施の形態の情報表示装置１０によれば、入力された画像と、推定された３次元形状に基づいて提示する画像の提示に適する位置を選択することにより、画像が提示可能な位置を自動的に探索すると共に、提示する画像を遮蔽する遮蔽物を考慮して画像を提示することができる。そのため、マーカーや３次元モデルを用いた手法と比べ、事前に別途３次元形状のモデルを用意する必要がなく、実写映像を解析して情報提示領域を選択するため、適用対象が拡大できる。そのため、結果として、過去の映像アーカイブや、クラウド上に集積した個人が投稿した実写映像の中に、違和感のない広告が提示できるなど新たなビジネスモデルが期待できる。また、ユーザ情報等を利用することにより、提示する映像は個人ごとにカスタマイズできるため、言語や嗜好など、個人属性に応じた映像を選択できる。また、位置・撮影時間・進行方向・速度などによりTPOにあった映像を選択することもできるため、標識等の各文化への翻訳などにも応用が可能である。
【００３５】
なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００３６】
また、上述の情報表示装置１０は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００３７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。また、本実施の形態の情報表示装置１０の各部をハードウエアにより構成してもよい。また、ルールテンプレートや各種テーブルが記憶される記憶部としては、ハードディスク装置やファイルサーバ等に例示される記憶手段によって実現可能であり、情報表示装置１０内部に記憶部を設けてもよいし、外部装置に設けてもよい。
【符号の説明】
【００３８】
１０   情報表示装置
１２   コンピュータ
１４   撮像装置
１６   環境情報取得装置
１８   画像入力部
２０   形状推定部
２２   提示場所選択部
２４   遮蔽領域検出部
２６   画像合成部
３０   提示画像選択部
３２   ユーザ情報記憶部
３４   提示画像記憶部
３６   表示装置
【図１】
2014035763.tif 000003
【図２】
2014035763.tif 000004
【図３】
2014035763.tif 000005
【図４】
2014035763.tif 000006
【図５】
2014035763.tif 000007
【図６】
2014035763.tif 000008
【図７】
2014035763.tif 000009