(57)【要約】【課題】オブジェクトの映像上の位置によって、ＣＧ画像を重畳する位置を適応的に制御すること。【解決手段】映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を映像に合成する画像合成装置であって、映像から、ターゲットオブジェクトを画像認識する画像認識部と、画像認識部により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出部と、位置検出部により検出されたターゲットオブジェクトの映像上の位置を用いて、コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置部と、コンピュータグラフィク画像が画像配置部により決定された配置位置に重畳された映像を生成する画像合成部とを有する画像合成装置である。【選択図】図１
2019200774.tif 000002
【特許請求の範囲】
【請求項１】
映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成装置であって、
前記映像から、前記ターゲットオブジェクトを画像認識する画像認識部と、
前記画像認識部により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出部と、
前記位置検出部により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置部と、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成部と
を有する画像合成装置。
【請求項２】
前記画像配置部には、前記コンピュータグラフィク画像の配置位置の候補であり、優先順位が定められた複数の候補配置位置が予め定められ、前記画像配置部は、前記コンピュータグラフィク画像を、検出されたターゲットオブジェクトの映像上の位置を基準とした候補配置位置に配置した場合、前記コンピュータグラフィク画像の全てが映像上に表示され、かつ、最も優先順位の高い候補配置位置を、前記コンピュータグラフィク画像の配置位置と決定する
請求項１に記載の画像合成装置。
【請求項３】
前記画像認識部は、複数のターゲットオブジェクトを画像認識し、
前記画像配置部には、前記複数のターゲットオブジェクトの優先順位が予め定められ、前記画像配置部は、前記ターゲットオブジェクトの優先順位に従って、前記コンピュータグラフィク画像を前記候補配置位置に配置していき、前記コンピュータグラフィク画像の全てが映像上に表示され、優先順位の高いターゲットオブジェクトの所定の領域と前記コンピュータグラフィク画像とが重畳せず、かつ、最も優先順位の高い候補配置位置を、前記コンピュータグラフィク画像の配置位置と決定する
請求項２に記載の画像合成装置。
【請求項４】
前記画像認識部により認識されたターゲットオブジェクトの映像上の大きさを検出する大きさ検出部と、
前記大きさ検出部により検出されたターゲットオブジェクトの映像上の大きさに応じたコンピュータグラフィク画像を選択する画像選択部と
を有し、
前記画像配置部は、前記画像選択部により選択されたコンピュータグラフィク画像を、前記候補配置位置に配置する
請求項１から請求項３のいずれかに記載の画像合成装置。
【請求項５】
前記大きさ検出部は、前記画像認識部により認識されたターゲットオブジェクトの少なくとも一部を含む注目領域の大きさを、前記ターゲットオブジェクトの映像上の大きさとして検出する
請求項４に記載の画像合成装置。
【請求項６】
前記ターゲットオブジェクトの所定の領域が、前記注目領域である
請求項５に記載の画像合成装置。
【請求項７】
前記画像配置部は、複数のターゲットオブジェクトのうち、予め定められた優先順位のターゲットオブジェクトにのみ、前記コンピュータグラフィク画像を配置する
請求項１から請求項６のいずれかに記載の画像合成装置。
【請求項８】
複数のターゲットオブジェクトの位置関係を識別する位置関係識別部を有し、
前記画像配置部は、前記位置関係識別部が識別したターゲットオブジェクトの位置関係を用いて、予め定められた優先順位のターゲットオブジェクトにのみ、前記コンピュータグラフィク画像を配置する
請求項７に記載の画像合成装置。
【請求項９】
前記画像配置部は、ターゲットオブジェクトの優先順位に応じて、前記候補配置位置の優先順位を異ならせる
請求項１から請求項８のいずれかに記載の画像合成装置。
【請求項１０】
映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成方法であって、
前記映像から、前記ターゲットオブジェクトを画像認識し、
認識されたターゲットオブジェクトの映像上の位置を検出し、
検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定し、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する
画像合成方法。
【請求項１１】
映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成するコンピュータのプログラムであって、
前記映像から、前記ターゲットオブジェクトを画像認識する画像認識処理と、
前記画像認識処理により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出処理と、
前記位置検出処理により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置処理と、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成処理と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
放送番組の映像等では、映像中に出現する人物や建物等のオブジェクトの名前、説明等の関連事項を記述したコンピュータグラフィク画像（以下、ＣＧ画像と記載する）を、そのオブジェクト上や近傍の位置に配置した合成映像が用いられている。
【０００３】
現在、これらの合成技術において、ＣＧ画像を配置する配置位置は、オブジェクトを基準にして予め定めており、コンピュータグラフィク画像をその位置に配置して、合成映像を生成している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、オブジェクトの映像上の位置によっては、予め定めた位置にＣＧ画像を配置すると、ＣＧ画像が画面内に収まりきれない場合があった。結果として、このような場合はＣＧ画像の合成を諦めていた。
【０００５】
また、オブジェクトが多数の場合、それに伴い合成するＣＧ画像も増加する。このような場合、従来のように予め定めた位置にＣＧ画像を配置すると、ＣＧ画像同士が重なり合ってしまう場合も多かった。
【０００６】
そこで、本発明の目的は、オブジェクトの映像上の位置によって、ＣＧ画像を重畳する位置を適応的に制御する画像合成装置、画像合成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成装置であって、前記映像から、前記ターゲットオブジェクトを画像認識する画像認識部と、前記画像認識部により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出部と、前記位置検出部により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置部と、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成部とを有する画像合成装置である。
【０００８】
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成方法であって、前記映像から、前記ターゲットオブジェクトを画像認識し、認識されたターゲットオブジェクトの映像上の位置を検出し、検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定し、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成方法である。
【０００９】
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成するコンピュータのプログラムであって、前記映像から、前記ターゲットオブジェクトを画像認識する画像認識処理と、前記画像認識処理により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出処理と、前記位置検出処理により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置処理と、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成処理とをコンピュータに実行させるプログラムである。
【発明の効果】
【００１０】
本発明は、オブジェクトの映像上の位置によって、ＣＧ画像を重畳する位置を適応的に制御しているので、ＣＧ画像が適切な位置で重畳された映像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は第１の実施の形態における画像合成装置１のブロック図である。
【図２】図２はターゲットオブジェクト位置・大きさ検出部１２によるターゲットオブジェクトの画面上の位置、大きさの認識の一例を示す図である。
【図３】図３はＣＧ画像記憶部１３に記憶されているＣＧ画像の一例を示す図である。
【図４】図４はＣＧ画像の大きさを制御する例を説明するための図である。
【図５】図５はＣＧ画像配置部１５によるＣＧ画像の配置位置の決定の一例を説明するための図である。
【図６】図６はコンピュータシステム２によって構成された画像合成装置１のブロック図である。
【図７】図７は画像合成装置１の動作フローチャートである。
【図８】図８は画像合成装置１の具体的な動作を説明するための図である。
【図９】図９は画像合成装置１の具体的な動作を説明するための図である。
【図１０】図１０は画像合成装置１の具体的な動作を説明するための図である。
【図１１】図１１は画像合成装置１の具体的な動作を説明するための図である。
【図１２】図１２は第１の実施の形態の変形例を説明するための図である。
【図１３】図１３は第２の実施の形態の画像合成装置１のブロック図である。
【図１４】図１４はターゲットオブジェクトをマラソン等の選手とし、選手を正面から撮影した映像を示した図である。
【図１５】図１５はターゲットオブジェクトをマラソン等の選手とし、選手を正面から撮影した映像を示した図である。
【図１６】図１６は第３の実施の形態の画像合成装置１のブロック図である。
【図１７】図１７は第２の実施の形態の変形例を説明するための図である。
【図１８】図１８は第２の実施の形態の変形例を説明するための図である。
【発明を実施するための形態】
【００１２】
＜第１の実施の形態＞
図面を参照して、本発明の第１の実施の形態における画像合成装置及びプログラムを説明する。
【００１３】
図１は本実施形態における画像合成装置１のブロック図である。画像合成装置１は、画像認識部１１と、ターゲットオブジェクト位置・大きさ検出部１２と、ＣＧ画像記憶部１３と、ＣＧ画像選択部１４と、ＣＧ画像配置部１５と、画像合成部１６とを備える。
【００１４】
画像認識部１１は、ＣＧ画像に関連する又は表示する対象となるオブジェクト（以下、ターゲットオブジェクトと記載する）を、入力された映像から画像認識するものである。ターゲットオブジェクトの画像認識は、ターゲットオブジェクトの特徴量（例えば、ターゲットオブジェクトが特定人物の場合、顔の特徴量）等により認識する。このような、ターゲットオブジェクトを認識する画像認識方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習を用いた画像認識技術などがある。尚、ターゲットオブジェクトの画像認識は、予め定められた時間間隔（例えば、１秒又は２秒毎）で行われることが好ましい。
【００１５】
画像認識部１１が認識するターゲットオブジェクトの指定であるが、ユーザがＣＧ画像を表示させたいターゲットオブジェクトを、画像認識部１に指定することにより行われる。ターゲットオブジェクトの指定は、個々の個体を特定する方法（例えば、特定の人物を指定する方法）と、個々の個体を特定しない方法（例えば、映像上に現れる人物等を指定する方法）とのいずれでも良い。また、指定するターゲットオブジェクトの数は、単数、複数を問わない。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）を、ターゲットオブジェクト位置・大きさ検出部１２に出力する。更に、複数のターゲットオブジェクトを画像認識する場合において、そのターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。以下の説明では、ターゲットオブジェクトを主に特定の人物とする例を説明するが、ターゲットオブジェクトは人物に限らず、置物、建物等のオブジェクトでも良い。
【００１６】
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１の認識結果を受け、ターゲットオブジェクトの映像画面上の位置、大きさを検出する。ターゲットオブジェクト位置・大きさ検出部１２によるターゲットオブジェクトの画面上の位置、大きさの認識であるが、例えば、図２の例がある。図２の例は、人物をターゲットオブジェクトとした場合の例である。ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した人物に関して、図２に示す如く、認識した人物の頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。また、認識した人物の首中点を中心点とする。そして、認識した人物の大きさを注目領域の面積とし、中心点を認識した人物の画面上の位置座標とする。尚、本例は一例であり、他の方法でもかまわない。例えば、顔を囲むＬ×Ｌの大きさの領域を注目領域としても良い。更に、ターゲットオブジェクトである人物の顔そのものを注目領域としても良い。そして、ターゲットオブジェクト位置・大きさ検出部１２は、ターゲットオブジェクトの注目領域、中心点及び属性情報を、ＣＧ画像選択部１４に出力する。
【００１７】
ＣＧ画像記憶部１３は、図３に示す如く、映像に重畳するターゲットオブジェクトのＣＧ画像が記憶されている。記憶されているＣＧ画像は、ターゲットオブジェクトの属性毎に、ＣＧ画像の内容は同じものであるが、ターゲットオブジェクトの注目領域の大きさに応じた複数の異なる大きさのＣＧ画像である。ＣＧ画像の大きさは、基本的に、ターゲットオブジェクトの注目領域の大きさが大きい程、ＣＧ画像も大きい。尚、ＣＧ画像の大きさは、ターゲットオブジェクトの大きさに比例させると、ＣＧ画像が不自然に大きくなってしまたり、小さくなってしまう可能性がある。そこで、図４のように、ターゲットオブジェクトの大きさがある所定の大きさ以上、又、以下になると、ＣＧ画像の大きさもそれ以上大きくならず、又は、小さくならないように制御しても良い。
【００１８】
ＣＧ画像選択部１４は、ターゲットオブジェクト位置・大きさ検出部１２からのターゲットオブジェクトの注目領域及びターゲットオブジェクトの属性情報を受信し、ターゲットオブジェクトの属性情報に合致し、ターゲットオブジェクトの注目領域に応じた大きさのＣＧ画像を、ＣＧ画像記憶部１３から選択する。ＣＧ画像選択部１４のＣＧ画像の選択であるが、ターゲットオブジェクトに優先順位が設定されている場合には、その優先順位の順番で、ＣＧ画像記憶部１３から選択する。
【００１９】
尚、本例では、複数のＣＧ画像がＣＧ画像記憶部１３に記憶され、ＣＧ画像選択部１４がターゲットオブジェクトの大きさ及び属性情報に応じたＣＧ画像を、ＣＧ画像記憶部１３から選択する方法を説明するが、これに限られない。例えば、ＣＧ画像選択部１４が、ターゲットオブジェクトの属性情報及び検出されたターゲットオブジェクトの大きさに応じたＣＧ画像を自動的に生成するようにしても良い。尚、ＣＧ画像を自動的に生成する場合も、上述したように、ＣＧ画像の大きさは、ターゲットオブジェクトの大きさに比例させると、ＣＧ画像が不自然に大きくなってしまたり、小さくなってしまう可能性がある。そこで、図４のように、ターゲットオブジェクトの大きさがある所定の大きさ以上、又、以下になると、ＣＧ画像の大きさもそれ以上大きくならず、又は、小さくならないように制御しても良い。
【００２０】
ＣＧ画像配置部１５は、ＣＧ画像選択部１４により選択されたＣＧ画像を、映像の画面上の適切な位置に配置するものである。ＣＧ画像の映像の画面上の配置位置は、予め複数設定されており、その配置位置には優先順位か設けられている。そして、その優先順位に従って、ＣＧ画像の配置を試み、配置可能な最も優先順位の高い配置位置にＣＧ画像を配置する。
【００２１】
ＣＧ画像配置部１５によるＣＧ画像の配置位置の決定の一例を、図５を用いて説明する。まず、ターゲットオブジェクトの中心点を中心とする円上にＣＧ画像の配置位置を設定する。図５の例では、０度、９０度、１８０度、２７０度の位置がＣＧ画像の配置位置である。そして、配置位置の優先順位は、高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。上述した配置位置の優先順位は一例であり、これに限定するものではない。例えば、配置位置の優先順位は、高い順位に、配置位置ｂ、配置位置ａ、配置位置ｃ、配置位置ｄであっても良い。
【００２２】
ＣＧ画像配置部１５は、まず、最も優先順位が高い配置位置ａに、ＣＧ画像の配置を試みる。この時、配置位置ａに配置したＣＧ画像の全てが画面内に表示できる場合、かつ、後述するように、優先順位の高いターゲットオブジェクトの注目領域に重複していない場合等は、ＣＧ画像の配置位置を配置位置ａに決定する。一方、配置位置ａに配置したＣＧ画像が画面上からはみ出してＣＧ画像の全てを表示できない場合、又は、優先順位の高いターゲットオブジェクトの注目領域に重複してしまう場合等は、配置位置ａにはＣＧ画像を配置できないと判定する。そして、次に優先順位の高い配置位置ｂに、ＣＧ画像の配置を試みる。このような判定を、配置位置が決定するまで行う。尚、全ての配置位置の検証を行っても配置位置の決定ができない場合は、ＣＧ画像の配置の決定行わず、ＣＧ画像を映像に重畳しないことを決定する。
【００２３】
上述したＣＧ画像配置部１５の配置位置の決定は、一例であり、これに限定するものではなく、他の方法でも良い。
【００２４】
画像合成部１６は、ＣＧ画像配置部１５により決定された映像上の配置位置に、ＣＧ画像選択部１４により選択されたＣＧ画像を重畳し、ＣＧ画像が合成された映像を生成する。
【００２５】
上述した画像合成装置１は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステム２（情報処理装置）によって実現することができる。図６はコンピュータシステム２によって構成された画像合成装置１のブロック図である。
【００２６】
画像合成装置１は、プロセッサ２１、メモリ（ＲＯＭやＲＡＭ）２２、記憶装置（ハードディスク、半導体ディスクなど）２３、入力装置（キーボード、マウス、タッチパネルなど）２４、表示装置２５、通信装置２６などのハードウェア資源を有する汎用のコンピュータ２により構成することができる。
【００２７】
コンピュータ２は、記憶装置２３に格納されたプログラムがメモリ２２にロードされ、プロセッサ２１により実行されることにより、画像認識処理と、ターゲットオブジェクト位置・大きさ検出処理と、ＣＧ画像選択処理と、ＣＧ画像配置処理と、画像合成処理とが実現されるものである。尚、画像認識処理は画像認識部１１に対応し、ターゲットオブジェクト位置・大きさ検出処理はターゲットオブジェクト位置・大きさ検出部１２に対応し、ＣＧ画像選択処理はＣＧ画像選択部１４に対応し、ＣＧ画像配置処理はＣＧ画像配置部１５に対応し、画像合成処理は画像合成部１６に対応する。
【００２８】
次に、上述した画像合成装置１の動作を説明する。
【００２９】
図７は画像合成装置１の動作フローチャートである。尚、以下の説明では、ＣＧ画像の配置位置とその優先順位とは、図５のものとして説明する。
【００３０】
最初に、ターゲットオブジェクトが単数の特定人物Ｘであり、特定人物Ｘが映像上移動する場合を、図７の動作フローチャート、図８及び図９の具体例を用いて説明する。
【００３１】
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、ターゲットオブジェクトは特定人物Ｘのみであり、単数なので、Ｐ＝１である。
【００３２】
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、ターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
【００３３】
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘの画面上の位置、大きさを検出する。すなわち、特定人物Ｘの注目領域、中心点の算出である（Ｓｔｅｐ１０２）。
【００３４】
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。
【００３５】
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとしＮ＝１とする（Ｓｔｅｐ１０８）。
【００３６】
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図８は映像上の時刻ｔの特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。
【００３７】
ＣＧ画像配置部１５は、優先順位が１の配置位置にＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図８の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ａに配置可能と判定する。
【００３８】
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図８の下図の例では、配置位置ａにＣＧ画像が重畳された映像を示している。
【００３９】
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが単数の特定人物Ｘであるので、Ｍ＝Ｐ＝１である。よって、処理は終了する。
【００４０】
次に、時刻ｔ＋１となり、特定人物Ｘが移動した場合を、図７の動作フローチャート、図９の具体例を用いて説明する。
【００４１】
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、特定人物Ｘの単数なので、Ｐ＝１である。
【００４２】
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、ターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
【００４３】
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘの画面上の位置、大きさを検出する。すなわち、特定人物Ｘの注目領域、中心点の算出する（Ｓｔｅｐ１０２）。
【００４４】
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。ここで、留意すべきは、選択されるＣＧ画像の大きさである。時刻ｔの特定人物Ｘの注目領域の大きさと、時刻ｔ＋１の特定人物Ｘの注目領域の大きさとでは、時刻ｔ＋１の特定人物Ｘの注目領域の方が大きい。従って、時刻ｔ＋１の特定人物Ｘに対して選択されるＣＧ画像は、時刻ｔの特定人物Ｘに対して選択されるＣＧ画像よりも大きいことに留意すべきである。
【００４５】
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとしＮ＝１とする（Ｓｔｅｐ１０８）。尚、本例では、ＣＧ画像の配置位置の優先順位が１から４であるので、優先順位数は４であり、Ｑ＝４である。
【００４６】
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図９は映像上の時刻ｔ＋１の特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。
【００４７】
ＣＧ画像配置部１５は、優先順位が１の配置位置ａにＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図９の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像を画面内に全て表示することができないので、ＣＧ画像を配置位置ａに配置不可能と判定する。
【００４８】
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図９の例では、配置可能な配置位置ｂ、配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が２の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図９の例では、配置位置ｂにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ｂに配置可能と判定する。一方、Ｎ＝Ｑの場合、Ｓｔｅｐ１１２に進む。
【００４９】
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図９の下図の例では、配置位置ｂにＣＧ画像が重畳された映像を示している。
【００５０】
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが単数の特定人物Ｘであるので、Ｍ＝Ｐ＝１である。よって、処理は終了する。
【００５１】
次に、ターゲットオブジェクトが複数の特定人物Ｘ、特定人物Ｙである場合を、図７の動作フローチャート、図１０及び図１１の具体例を用いて説明する。
【００５２】
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、複数の特定人物Ｘ、特定人物Ｙなので、Ｐ＝２である。また、特定人物Ｘの優先順位を１、特定人物Ｙの優先順位を２とする。
【００５３】
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘ、特定人物Ｙを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、認識した特定人物Ｘの情報に優先順位１を付し、認識した特定人物Ｙの情報に優先順位２を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
【００５４】
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘ及び特定人物Ｙの画面上の位置、大きさを検出する。すなわち、特定人物Ｘ及び特定人物Ｙの注目領域、中心点の算出する（Ｓｔｅｐ１０２）。
【００５５】
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。尚、図１０の例では、特定人物Ｘの優先順位を１、特定人物Ｙの優先順位を２とする。
【００５６】
ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。
【００５７】
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとし、Ｎ＝１とする（Ｓｔｅｐ１０８）。尚、本例では、ＣＧ画像の配置位置の優先順位が１から４であるので、優先順位数は４であり、Ｑ＝４である。
【００５８】
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１０は映像上の時刻ｔの特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。
【００５９】
ＣＧ画像配置部１５は、優先順位が１の配置位置にＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図１０の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、優先順位の高い他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ａに配置可能と判定する。
【００６０】
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図１０の下図の例では、配置位置ａに特定人物ＸのＣＧ画像が重畳された映像を示している。
【００６１】
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、Ｍ＝１、Ｐ＝２なので、Ｍ＝Ｐではない。よって、Ｍに１を加算し（Ｓｔｅｐ１１５）、Ｓｔｅｐ１０４に戻る。
【００６２】
ＣＧ画像選択部１４は、優先順位Ｍ＝２の特定人物Ｙの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｙの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。ここで、留意すべきは、選択されるＣＧ画像の大きさである。図１１に示されるように、時刻ｔの特定人物Ｘの注目領域の大きさと、時刻ｔの特定人物Ｙの注目領域の大きさとでは、特定人物Ｙの注目領域の方が小さい。従って、特定人物Ｙに対して選択されるＣＧ画像は、特定人物Ｘに対して選択されるＣＧ画像よりも小さいことに留意すべきである。
【００６３】
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｙの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、Ｎ＝１とする（Ｓｔｅｐ１０８）。
【００６４】
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１は映像上の特定人物Ｙの映像上の位置を示したものであり、特定人物Ｙの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。
【００６５】
ＣＧ画像配置部１５は、優先順位が１の配置位置ａにＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図１１の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像が優先順位の高い特定人物Ｘの注目領域に重複してしまうので、ＣＧ画像を配置位置ａに配置不可能と判定する。
【００６６】
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図１１の例では、配置可能な配置位置ｂ、配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が２の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１の例では、配置位置ｂにＣＧ画像を配置した場合、ＣＧ画像を画面内に表示することができないので、ＣＧ画像を配置位置ｂに配置不可能と判定する。
【００６７】
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図１１の例では、配置可能な配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が３の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１の例では、配置位置ｃにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、又は、特定人物Ｘのターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ｃに配置可能と判定する。一方、Ｎ＝Ｑの場合、Ｓｔｅｐ１１２に進む。
【００６８】
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図１１の下図の例では、配置位置ｃに特定人物ＹのＣＧ画像が重畳された映像を示している。
【００６９】
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが特定人物Ｘと特定人物Ｙの二人なので、Ｍ＝Ｐ＝２である。よって、処理は終了する。
【００７０】
第１の実施の形態は、ターゲットオブジェクトの映像上の位置及び大きさによって、ＣＧ画像を重畳する位置とＣＧ画像の大きさを適応的に制御しているので、ＣＧ画像が適切な位置、大きさで重畳された映像を生成することができる。
【００７１】
尚、ＣＧ画像の表示は、ターゲットオブジェクトが映像上に表示（登場）している間、表示し続けても良いが、ＣＧ画像の表示の開始から所定時間経過後に表示しないようにしても良い。また、ＣＧ画像を表示したターゲットオブジェクトが映像から一旦消え、再度、表示（登場）されたような場合は、ＣＧ画像を表示しないように制御しても良い。
【００７２】
＜第１の実施の形態の変形例＞
第１の実施の形態では、予め記憶されているＣＧ画像をＣＧ画像選択部１４が選択し、選択されたＣＧ画像を映像に合成する例を説明した。
【００７３】
しかし、多くのＣＧ画像を配置する場合や、ＣＧ画像の配置位置によっては、いずれのターゲットオブジェクトのＣＧ画像であるのかが解りにくくなる場合もあると思われる。
【００７４】
そこで、第１の実施の形態の変形例では、映像に重畳するＣＧ画像を配置する位置によって変形させる例を説明する。
【００７５】
変形させる代表的な方法として、重畳するＣＧ画像がいずれのターゲットオブジェクトのＣＧ画像であるかを示すような吹き出し、矢印を設ける方法がある。図１２は、吹き出しによってＣＧ画像を変形させた場合の例である。図１２の例では、各ＣＧ画像ａからＣＧ画像ｄが吹き出しの画像であり、吹き出し元をターゲットオブジェクトの中心点に設定した場合の例を示している。
【００７６】
これらの変形は、ＣＧ画像配置部１５がＣＧ画像の配置位置を決定した後に、決定した配置位置からターゲットオブジェクトの中心点に向けて、選択したＣＧ画像の吹き出しを変形させることにより、可能となる。
【００７７】
＜第２の実施の形態＞
駅伝やマラソン等の競技では、多くの人物が映像に映っており、また、その順位の変動も大きい。このようなケースにおいて、競技に出場している全ての選手をターゲットオブジェクトとし、全ての選手にＣＧ画像を配置すると、ＣＧ画像によって本来の映像が見にくくなってしまう。そこで、先頭から何位までというようにターゲットオブジェクトに優先順位をつけて、配置するＣＧ画像の数を制限することが考えられる。
【００７８】
しかし、ターゲットオブジェクトを単に認識するだけでは順位まではわからない。
【００７９】
そこで、第２の実施の形態では、認識したターゲットオブジェクトの映像上の位置関係を識別し、その位置関係に基づいてターゲットオブジェクトの優先順位を設定する方法を説明する。
【００８０】
図１３は第２の実施の形態の画像合成装置１のブロック図である。
【００８１】
第２の実施の形態の画像合成装置１は、第１の実施の形態の画像合成装置１に加えて、位置関係識別部３０を備える。
【００８２】
位置関係識別部３０は、画像識別部１１により識別されたターゲットオブジェクトの映像上の位置関係を識別するものである。位置関係を識別する一つの方法としては、映像上のターゲットオブジェクトの大きさを用いる。２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影した場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。選手を背面から撮影した場合も、同様である。位置関係識別部３０は、このような性質を利用し、画像識別部１１により識別したターゲットオブジェクトの映像上の大きさから各ターゲットオブジェクトの位置関係を識別する。
【００８３】
具体的には、位置関係識別部３０は、識別したターゲットオブジェクトの映像上の大きさの指標として、ターゲットオブジェクト位置・大きさ検出部１２が検出した注目領域の大きさ（例えば、面積）に着目する。
【００８４】
例えば、図１４はターゲットオブジェクトをマラソン等の選手とし、選手を正面から撮影した映像の場合である。図１４の例では、選手Ａの注目領域が最も大きく、選手Ｃの注目領域が最も小さい。従って、選手の順位は、選手Ａ、選手Ｂ、選手Ｃであることが識別できる。一方、図１５は選手を背面から撮影した映像の場合である。図１５の例でも、選手Ａの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。しかし、選手を背面から撮影した映像であるので、選手の順位は、選手Ｃ、選手Ｂ、選手Ａであることを識別できる。
【００８５】
このような撮影方向は、撮影するカメラから得ても良いし、画像認識により顔正面か背面かを識別し、正面から撮影した映像か、背面から撮影した映像かを識別するようにしても良い。
【００８６】
このように、識別されたターゲットオブジェクトの映像上の大きさに着目することにより、位置関係識別部３０は、画像識別部１により識別されたターゲットオブジェクトの映像上の位置関係を識別する。そして、位置関係識別部３０は、ターゲットオブジェクト位置・大きさ検出部１２が検出したターゲットオブジェクトの中心点、注目領域の大きさ及び属性情報に、位置関係を識別したターゲットオブジェクトの優先順位を付して、ＣＧ画像選択部１４に出力する。尚、上述した注目領域は一例であり、他の方法でもかまわない。例えば、顔を囲むＬ×Ｌの大きさの領域を注目領域としても良い。更に、ターゲットオブジェクトである人物の顔そのものを注目領域としても良い。
【００８７】
尚、上述した例では、識別したターゲットオブジェクトの注目領域に着目して位置関係を識別したが、これに限られない。注目領域の大きさを決定したＬ等の長さに着目するようにしても良い。更に、例えば、ターゲットオブジェクト自体の映像内での選手の大きさでも良い。また、他の方法として、映像上にある基準点を利用する方法がある。基準点の例としては、映像上の消失点等がある。位置関係の特定は、まず、画像識別部１により、識別された選手の映像上の位置情報を取得する。映像上にある消失点と各選手の映像上の位置情報との距離を計算し、この距離が長い程、映像上手前にあると推定するようにしても良い。
【００８８】
ＣＧ画像配置部１５は、位置関係識別部３０が識別したターゲットオブジェクトの優先順位で、上述した第１の実施の形態と同様に、ＣＧ画像の配置を行う。このとき、ＣＧ画像配置部１５は、ＣＧ画像を配置するターゲットオブジェクトを、例えば、上位から１番目から３番目までの順位のターゲットオブジェクトとすることにより、配置するＣＧ画像の数を制限することができる。
【００８９】
＜第２の実施の形態の変形例＞
第２の実施の形態の変形例を説明する。第２の実施の形態では、ターゲットオブジェクト（選手）の位置関係により、ターゲットオブジェクトの優先順位を設定する方法を説明した。第２の実施の形態の変形例では、ターゲットオブジェクト（選手）の位置関係により、ターゲットオブジェクト（選手）の優先順位を選定するまでは、同様であるが、ターゲットオブジェクト（選手）の優先順位を用いて、ＣＧ画像配置部１５によるＣＧ画像の配置位置の優先順位を変化させる例を説明する。
【００９０】
図１７は第２の実施の形態の変形例を説明するための図である。図１７の例では、ＣＧ画像配置部１５によるＣＧ画像の映像の画面上の配置位置の優先順位を示しており、ターゲットオブジェクト（選手）の走行順位が１から３位までの配置位置の優先順位と、ターゲットオブジェクト（選手）の走行順位が４以下の配置位置の優先順位とを示している。
【００９１】
ターゲットオブジェクト（選手）の走行順位が１から３位までの配置位置の優先順位は、高い順位に、１８０度の配置位置ａ、２７０度の配置位置ｃ、９０度の配置位置ｄ、０度の配置位置ｂに設定されている。一方、ターゲットオブジェクト（選手）の走行順位が４位以下の配置位置の優先順位は、高い順位に、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄ、１８０度の配置位置ａに設定されている。
【００９２】
このようなターゲットオブジェクト（選手）の走行順位によって、ＣＧ画像の画面上の配置位置の優先順位を変化させる理由は、走行順位が高いターゲットオブジェクト（選手）ほど、すなわち、映像の前方に映っているターゲットオブジェクト（選手）ほど、その選手のＣＧ画像をターゲットオブジェクト（選手）の下方（例えば、配置位置ａ）に表示させ、走行順位が低いターゲットオブジェクト（選手）ほど、すなわち、映像の後方に映っているターゲットオブジェクト（選手）ほど、その選手のＣＧ画像をターゲットオブジェクト（選手）の上方（例えば、配置位置ｂ）に表示させることにある。
【００９３】
図１８は、図１７で示した配置順位により、選手Ａから選手Ｆまでの６人の選手が映っている映像で、それらの選手のＣＧ画像を表示した場合の一例を示した図である。図１７では、１位から３位までの選手には走行順位が１から３位までの配置位置の優先順位が適用され、先頭の選手ＡのＣＧ画像は優先順位が最も高い配置位置ａに表示されており、２位の選手ＢのＣＧ画像は優先順位が２番目の配置位置ｃに表示されており、３位の選手ＣのＣＧ画像は優先順位が最も高い配置位置ａに表示されている。一方、４位以下の選手には走行順位が４位以下の配置位置の優先順位が適用され、４位の選手ＤのＣＧ画像は優先順位が最も高い配置位置ｂに表示されており、５位の選手ＥのＣＧ画像は優先順位が最も高い配置位置ｂに表示されており、６位の選手ＦのＣＧ画像は優先順位が最も高い配置位置ｂに表示されている。
【００９４】
上述した配置位置の優先順位は一例であり、これに限定するものではない。配置位置の優先順位は適時変更しても良い。
【００９５】
このようにすることにより、映像上に多数のターゲットオブジェクト（選手）が映っている場合、走行順位が高いターゲットオブジェクト（選手）ほど、すなわち、前方に映っているターゲットオブジェクト（選手）ほど、そのターゲットオブジェクト（選手）のＣＧ画像が下方（胸の位置）に表示され、走行順位が低いターゲットオブジェクト（選手）ほど、すなわち、後方に映っているターゲットオブジェクト（選手）ほど、そのターゲットオブジェクト（選手）のＣＧ画像が上方に表示され、自然な映像表現を行うことができる。
【００９６】
＜第３の実施の形態＞
コンテンツの内容によっては、登場するターゲットオブジェクトの大きさが変化しない場合も多いと思われる。例えば、屋上に設けられた定点カメラの映像等では、カメラがパン、チルトすることにより、画面内に登場するビルなどのオブジェクトは変更するが、その大きさ自体は変わらない場合が多い。このような映像にＣＧ画像を配置する場合、ターゲットオブジェクトの位置を考慮すれば良いと思われる。
【００９７】
そこで、第３の実施の形態は、ターゲットオブジェクトの大きさを考慮せず、ターゲットオブジェクトの位置のみを考慮して、ＣＧ画像の画面に配置する例である。
【００９８】
図１６は第３の実施の形態の画像合成装置１のブロック図である。
【００９９】
第３の実施の形態が第１の実施の形態と異なる所は、ターゲットオブジェクト位置・大きさ検出部１２に代えて、ターゲットオブジェクト位置検出部４０を備える点である。ターゲットオブジェクト位置検出部４０は、画像認識部１１の認識結果を受け、ターゲットオブジェクトの映像画面上の位置を検出する。すなわち、ターゲットオブジェクト位置・大きさ検出部１２からターゲットオブジェクトの大きさを検出する機能が除かれている。
【０１００】
更に、ＣＧ画像選択部１４は、ターゲットオブジェクトの大きさにかかわらず、一つの大きさのＣＧ画像を選択する。尚、上述したように、予め用意されたＣＧ画像から選択するのではなく、リアルタイムにＣＧ画像を生成するようにしても良い。
【０１０１】
他の動作は、第１の実施の形態と同様なものなので、説明を省略する。
【０１０２】
以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【０１０３】
１      画像合成装置
２      コンピュータ
１１    画像認識部
１２    ターゲットオブジェクト位置・大きさ検出部
１３    ＣＧ画像記憶部
１４    ＣＧ画像選択部
１５    ＣＧ画像配置部
１６    画像合成部
２１    プロセッサ
２２    メモリ
２３    記憶装置
２４    入力装置
２５    表示装置
２６    通信装置
３０    位置関係識別部
４０    ターゲットオブジェクト位置検出部
【図１】
2019200774.tif 000003
【図２】
2019200774.tif 000004
【図３】
2019200774.tif 000005
【図４】
2019200774.tif 000006
【図５】
2019200774.tif 000007
【図６】
2019200774.tif 000008
【図７】
2019200774.tif 000009
【図８】
2019200774.tif 000010
【図９】
2019200774.tif 000011
【図１０】
2019200774.tif 000012
【図１１】
2019200774.tif 000013
【図１２】
2019200774.tif 000014
【図１３】
2019200774.tif 000015
【図１４】
2019200774.tif 000016
【図１５】
2019200774.tif 000017
【図１６】
2019200774.tif 000018
【図１７】
2019200774.tif 000019
【図１８】
2019200774.tif 000020