(57)【特許請求の範囲】
【請求項１】
景観の画像データを受信する画像受信部と、
前記景観を第１センサで検出して得られる第１センサデータおよび前記景観を第２センサで検出して得られる第２センサデータを受信するセンサデータ受信部と、
前記第１および第２センサデータを２値化するセンサデータ閾値処理部と、
２値化後の第１および第２センサデータについて画素ごとに所定の論理演算を行う領域論理演算部と、
前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理する画像合成部と
を備えることを特徴とする画像合成装置。
【請求項２】
前記センサデータ閾値処理部による２値化後の第１および第２センサデータの画素ごとの排他的論理和からなる排他的論理和データを生成する画素論理演算部と、
前記排他的論理和データにおける真値からなる領域を前記画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割するスーパーピクセル計算部と
を更に備え、
前記領域論理演算部は、前記各スーパーピクセルについて、前記２値化後の第１センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに、前記２値化後の第２センサデータにおけるスーパーピクセルでの真値の総和が前記閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し、変換後の第１および第２センサデータについて画素ごとに所定の論理演算を行う
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記第１センサは、前記景観の各部分につき、当該第１センサと当該部分の距離を測定する深度センサであり、
前記第２センサは、前記景観における動体と非動体を検出するセンサであり、
前記変換後の第１センサデータにおける真値の領域が、前記景観における動体の領域と当該動体より手前の非動体の領域とからなり、
前記変換後の第２センサデータにおける真値の領域が、前記動体の領域からなり、
前記領域論理演算部は、
前記変換後の第１および第２センサデータにおけるスーパーピクセルの領域の少なくとも一方に含まれる画素からなる第１演出領域を検出し、前記第１演出領域に含まれ、かつ、前記変換後の第２センサデータにおけるスーパーピクセルの領域に含まれない画素からなる第２演出領域を検出し、
前記画像合成部は、
前記変換後の第２センサデータにおけるスーパーピクセルの領域での真値の総和が第２の閾値より多いタイミングにおいて、当該タイミングの画像データを保存し、真値の総和が前記第２の閾値以下のタイミングにおいて、保存した画像データを読み出し、且つ、当該画像データから前記第２演出領域のみを切り取ったインペイント画像を作成するとともに、合成画像の前記第２演出領域に前記インペイント画像を転写する
ことを特徴とする請求項２記載の画像合成装置。
【請求項４】
画像合成装置の画像受信部が、景観の画像データを受信し、
前記画像合成装置のセンサデータ受信部が、前記景観を第１センサで検出して得られる第１センサデータおよび前記景観を第２センサで検出して得られる第２センサデータを受信し、
前記画像合成装置のセンサデータ閾値処理部が、前記第１および第２センサデータを２値化し、
前記画像合成装置の領域論理演算部が、２値化後の第１および第２センサデータについて画素ごとに所定の論理演算を行い、
前記画像合成装置の画像合成部が、前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理する
ことを特徴とする画像合成装置の動作方法。
【請求項５】
前記画像合成装置の画素論理演算部が、前記センサデータ閾値処理部による２値化後の第１および第２センサデータの画素ごとの排他的論理和からなる排他的論理和データを生成し、
前記画像合成装置のスーパーピクセル計算部が、前記排他的論理和データにおける真値からなる領域を前記画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割し、
前記領域論理演算部は、前記各スーパーピクセルについて、前記２値化後の第１センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに、前記２値化後の第２センサデータにおけるスーパーピクセルでの真値の総和が前記閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し、変換後の第１および第２センサデータについて画素ごとに所定の論理演算を行う
ことを特徴とする請求項４記載の画像合成装置の動作方法。
【請求項６】
請求項１ないし３のいずれかに記載の画像合成装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成における条件設定の自由度を高める技術に関する。
【背景技術】
【０００２】
従来、放送や映画、テレビ電話などの映像配信および映像制作に関する分野において、映像のある部分を別の画像や動画に置き換える技術がある。その中でも、均質な色の背景を設置してその中で人物を撮影し、撮影した映像からその色に対応する領域を別の背景に合成する技術はクロマキー合成と呼ばれ、一般に広く利用されている。
【０００３】
このような映像合成のうち、撮影した人物と蓄積された画像とを組み合わせて合成する一技術を開示するものとして特許文献１がある。これはテレビ電話による遠隔コミュニケーションを目的としたもので、背景分離された人物画像、画像データベースから取得した蓄積画像、操作メニューを合成し、相手方に送信するものである。
【０００４】
同様に、同じ被写体を撮影した複数の画像から合成用の画像を作成する一技術を開示するものとして特許文献２がある。これは被写体の背景の色彩あるいは輝度、または両方を変化させた複数回の撮影を実施し、映像中の画素値の変化から透明度を計算して、背景を削除するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第２８４９１１９号公報
【特許文献２】特許第４００７１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した技術では画像を置き換える領域を特定する手段として、ある一条件しか設定することができない。例えば特許文献１では背景を特定する方法として色成分の他に輝度や、赤外線カメラによる温度、超音波カメラによる距離などの指標を利用することを提案しているが、例えば「温度が高く、かつ手前に存在するもの」といったように同時に複数の条件を設定できない。特許文献２も同様に、背景を「複数の画像間で色が変化した領域」としてしか条件を設定できない。複数の条件の組み合わせを考慮していないため、画像中の複数の領域について別の画像を合成するとき、各領域について独立した条件を設定する必要がある。例えばクロマキーであれば、合成したい領域ごとに互いに異なる独立した色を設置して撮影しなければならない。
【０００７】
そこで本発明は、上記事情に鑑み、画像合成における条件設定の自由度を高める技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像合成装置は、景観の画像データを受信する画像受信部と、前記景観を第１センサで検出して得られる第１センサデータおよび前記景観を第２センサで検出して得られる第２センサデータを受信するセンサデータ受信部と、前記第１および第２センサデータを２値化するセンサデータ閾値処理部と、２値化後の第１および第２センサデータについて画素ごとに所定の論理演算を行う領域論理演算部と、前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理する画像合成部とを備えることを特徴とする。
【０００９】
本発明の画像合成装置の動作方法は、画像合成装置の画像受信部が、景観の画像データを受信し、前記画像合成装置のセンサデータ受信部が、前記景観を第１センサで検出して得られる第１センサデータおよび前記景観を第２センサで検出して得られる第２センサデータを受信し、前記画像合成装置のセンサデータ閾値処理部が、前記第１および第２センサデータを２値化し、前記画像合成装置の領域論理演算部が、２値化後の第１および第２センサデータについて画素ごとに所定の論理演算を行い、前記画像合成装置の画像合成部が、前記画像データを所定の合成画像に転写し、前記合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理することを特徴とする。
【００１０】
本発明のコンピュータプログラムは、上記画像合成装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１１】
本発明によれば、画像合成における条件設定の自由度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態の画像合成装置を含むシステムの構成図である。
【図２】画像合成装置１の構成図である。
【図３】画像合成装置１の各実施例に共通な前処理を示すフローチャートである。
【図４】ステップＳ７の詳細なフローチャートである。
【図５】ステップＳ８の詳細なフローチャートである。
【図６】ステップＳ９の詳細なフローチャートである。
【図７】ステップＳ１０の詳細なフローチャートである。
【図８】第１実施例における画像合成のフローチャートである。
【図９】画像データＰの一例を示す図である。
【図１０】センサデータＡの一例を示す図である。
【図１１】センサデータＢの一例を示す図である。
【図１２】図１２（ａ）は、所定の処理後の画像データＰの一例を示す図であり、図１２（ｂ）は、所定の処理後のセンサデータＡの一例を示す図であり、図１２（ｃ）は、所定の処理後のセンサデータＢの一例を示す図である。
【図１３】排他的論理和データＸＯＲの一例を示す図である。
【図１４】排他的センサ領域Ｓｘｏｒに対応する画像データＰの領域Ｐｘｏｒの一例を示す図である。
【図１５】図１５（ａ）は、所定の処理後の排他的論理和データＸＯＲの一例を示す図であり、図１５（ｂ）は、図１５（ａ）の境界線を画像データＰに重畳した一例を示す図である。
【図１６】排他的論理和データＸＯＲの全領域のうちセンサデータＡ、Ｂの少なくとも一方に重畳しないスーパーピクセルの領域（黒）と両方に重畳するスーパーピクセルの領域（白）を示す図である。
【図１７】図１７（ａ）は、スーパーピクセル領域Ａｃ（白）の一例を示す図であり、図１７（ｂ）は、スーパーピクセル領域Ｂｃ（白）の一例を示す図である。
【図１８】図１８（ａ）は、演出領域ＯＲ（白）の一例を示す図であり、図１８（ｂ）は、演出領域ＮＯＲ（白）の一例を示す図である。
【図１９】演出領域Ａｏｎｌｙ（白）の一例を示す図である。
【図２０】図２０（ａ）は、演出用画像データＤ１の一例を示す図であり、図２０（ｂ）は、演出用画像データＤ２の一例を示す図である。
【図２１】第１実施例の合成画像Ｏｕｔの一例を示す図である。
【図２２】変形例における合成画像Ｏｕｔの一例を示す図である。
【図２３】図２３（ａ）は、別の画像データＰの一例を示す図であり、図２３（ｂ）は、別のスーパーピクセル領域Ａｃの一例を示す図であり、図２３（ｃ）は、別のスーパーピクセル領域Ｂｃの一例を示す図である。
【図２４】別の演出領域Ａｏｎｌｙの一例を示す図である。
【図２５】別の演出用画像データＤ１の一例を示す図である。
【図２６】別の合成画像Ｏｕｔの一例を示す図である。
【図２７】第２実施例における画像合成のフローチャートである。
【図２８】図２８（ａ）は、第２実施例の画像データＰの一例を示す図であり、図２８（ｂ）は、第２実施例のスーパーピクセル領域Ａｃの一例を示す図であり、図２８（ｃ）は、第２実施例のスーパーピクセル領域Ｂｃの一例を示す図である。
【図２９】第２実施例における演出領域Ｂｏｎｌｙの一例を示す図である。
【図３０】第２実施例における合成画像Ｏｕｔの一例を示す図である。
【図３１】第３実施例における画像合成のフローチャートである。
【図３２】第３実施例における画像データＰの一例を示す図である。
【図３３】図３３（ａ）は、画像データＰの一例を示す図であり、図３３（ｂ）は、センサデータＡの一例を示す図であり、図３３（ｃ）は、センサデータＢの一例を示す図である。
【図３４】第３実施例における演出領域Ａｏｎｌｙの一例を示す図である。
【図３５】連続する多数の画像データＰのうちの３つに対応する演出領域Ｂｃと、各演出領域Ｂｃにおける真値の総和をグラフとして示す図である。
【図３６】図３６（ａ）は、真値の総和が閾値より多い場合の画像データＰを示す図であり、図３６（ｂ）は、そのときの演出領域Ｂｃを示す図であり、図３６（ｃ）は、そのときのインペイント画像Ｐｃを示す図である。
【図３７】真値の総和が閾値以下の場合の画像データＰを示す図である。
【図３８】第３実施例の合成画像Ｏｕｔの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
【００１４】
図１は、本実施の形態の画像合成装置を含むシステムの構成図である。
【００１５】
画像合成装置１には、入出力部２、カメラ３、モニタ４、センサＳＡ、ＳＢが接続される。
【００１６】
入出力部２は、ユーザが画像合成装置１の諸設定を行い、また画像合成装置１の状況を逐次確認するためのものである。
【００１７】
カメラ３は、一般に利用されるビデオカメラを想定し、画像合成装置１はカメラ３から動画を逐次受信しているものとする。
【００１８】
センサＳＡ、ＳＢは、例えば、カメラ３が撮影する景観の各部分につき、センサと当該部分の距離を測定する深度センサや、各部分の温度を測定する温度センサなど、外界の情報を一定の解像度をもった画像として出力できるものを想定し、画像合成装置１は各センサから画像としてセンサデータを逐次受信しているものとする。少なくとも動画と２つのセンサデータを受信できる形態であれば、カメラとセンサの組み合わせは問わない。例えば深度のセンサデータを得るためにステレオカメラを利用する場合、構成をカメラ２台と他のセンサ１台として、動画をステレオカメラのうち１台のカメラから得るとしてもよい。また動画を得るカメラからオプティカルフローなどのセンサデータを利用する場合、構成はカメラ１台と他のセンサ１台となる。同様にステレオカメラによる深度と複数フレームによるオプティカルフローを利用する場合、構成はカメラ２台となる。なお、カメラとセンサはできるだけ光軸を一致させているものとする。
【００１９】
モニタ４は、画像合成装置１で生成された合成画像を出力するためのものである。
【００２０】
図１に示す構成要素は、ネットワークを経由して接続されていてもよく、あるいは１つの機器として一体となっていてもよい。
【００２１】
図２は、画像合成装置１の構成図である。
【００２２】
画像合成装置１は、動画像データ記憶部１１、演出選択部１２、画像受信部１３、センサデータ受信部１４、センサデータ閾値処理部１５、画素論理演算部１６、スーパーピクセル計算部１７、領域論理演算部１８、画像合成部１９を備える。各部の動作は以降の動作説明で詳述する。
【００２３】
［第１実施例］
第１実施例では、センサＳＡが深度センサ、センサＳＢが温度センサであることとして、詳細な動作を説明する。
【００２４】
図３は、画像合成装置１の各実施例に共通な前処理を示すフローチャートである。
【００２５】
この前処理の後、動画像合成の演出方法に応じた動作を必要とするが、第１実施例では動画から得た画像データのうち人物が持つ物体と背景の２領域を別の画像に置き換える例を説明する。
【００２６】
図９は、動画のデータに含まれるフレームデータである１つの画像データＰの一例を示す図である。第１実施例では図９のように、カメラ３が、部屋の中で人物がノートを持っている景観を撮影する。このとき、人物は背景よりも手前に存在し、持っているノートは人物よりも低い温度であるとする。
【００２７】
Ｓ１：画像受信部１３は、このような画像データＰを含む動画のデータを受信、復号し、動画像データ記憶部１１に記憶させる。
【００２８】
センサＳＡは、図９のような景観を検出し、図１０のようなセンサデータＡ（深度画像）を生成する。
【００２９】
センサＳＢは、図９のような景観を検出し、図１１のようなセンサデータＢ（温度画像）を生成する。
【００３０】
Ｓ２、３：センサデータ受信部１４は、このようなセンサデータＡ、ＢをセンサＳＡ、ＳＢから受信、復号する。
【００３１】
ステップＳ１〜Ｓ３は、並行に実行される。
【００３２】
Ｓ４、Ｓ５：センサデータ閾値処理部１５は、センサデータＡ、Ｂがグレースケールデータまたはカラーデータである場合は、これを２値化する。２値化の閾値はユーザが入出力部２で設定、変更してもよいし、例えばセンサデータＡ、Ｂに含まれるデータの振幅などから画像合成装置１が自動的に設定してもよい。
【００３３】
Ｓ６：次にフレームと画角の調整を行う。
【００３４】
図１２（ａ）は、ステップＳ６後の画像データＰの一例を示す図である。図１２（ｂ）は、ステップＳ６後のセンサデータＡの一例を示す図である。図１２（ｃ）は、ステップＳ６後のセンサデータＢの一例を示す図である。画像データＰ、センサデータＡ、Ｂの画角、解像度は互いに一致している。
【００３５】
このとき、画像データＰ、センサデータＡ、Ｂはできるだけ同期しており、同一時刻の景観から得られたこととする。
【００３６】
画像データＰ、センサデータＡ、Ｂの画角を一致させる方法として、ユーザが入出力部２で設定、変更してもよいし、例えば画像データＰ、センサデータＡ、Ｂのエッジ(境界)が一致するように画像合成装置１が自動的に設定、変更してもよい。
【００３７】
Ｓ７：次に、画素論理演算部１６が、２値化後のセンサデータＡ、Ｂの画素ごとの排他的論理和からなる排他的論理和データを生成する。
【００３８】
図４は、ステップＳ７の詳細なフローチャートである。
【００３９】
Ｓ７１：画素論理演算部１６は、まず、画像データと同じ画素数、縦横比を有する排他的論理和データＸＯＲを生成する。
【００４０】
Ｓ７２〜Ｓ７４については、排他的論理和データＸＯＲの全画素ｐについて繰り返し実行する。
【００４１】
Ｓ７２：画素論理演算部１６は、画素ｐと同じ位置のセンサデータＡの画素から値Ａｐを読み出す。
【００４２】
Ｓ７３：画素論理演算部１６は、画素ｐと同じ位置のセンサデータＢの画素から値Ｂｐを読み出す。
【００４３】
Ｓ７４：画素論理演算部１６は、ＡｐとＢｐの排他論理和（ＸＯＲ：Exclusive OR）を求め、排他的論理和データの画素ｐに書き込む。
【００４４】
Ｓ７５：画素論理演算部１６は、必要に応じて、排他的論理和データＸＯＲにおける真値の領域を膨張させる。この際、例えば、膨張（dilation）フィルタを用いる。
【００４５】
図１３は、ステップＳ７で得られる排他的論理和データＸＯＲの一例を示す図である。図１３（ａ）は、ステップＳ７５を実行しない場合のもの、図１３（ｂ）は、ステップＳ７５を実行した場合のものである。
【００４６】
真値を白、偽値を黒で示す。すなわち、白の領域（排他的センサ領域Ｓｘｏｒという）は、センサＳＡで検出され且つセンサＳＢで検出されなかった領域と、センサＳＢで検出され且つセンサＳＡで検出されなかった領域とを合わせたものである。
【００４７】
図３に戻る。
【００４８】
Ｓ８：次に、スーパーピクセル計算部１７は、排他的センサ領域Ｓｘｏｒを画像データＰにおいて対応する領域（Ｐｘｏｒ）の画素値に基づいて分割する。
【００４９】
ここでは、図１３（ｂ）の排他的センサ領域Ｓｘｏｒを例に説明する。
【００５０】
図５は、ステップＳ８の詳細なフローチャートである。
【００５１】
Ｓ８１：スーパーピクセル計算部１７は、排他的センサ領域Ｓｘｏｒに対応する画像データＰの領域Ｐｘｏｒを特定する。
【００５２】
図１４は、図１３（ｂ）の排他的センサ領域Ｓｘｏｒに対応する画像データＰの領域Ｐｘｏｒの一例を示す図である。
【００５３】
領域Ｐｘｏｒには、人物と背景の境界付近や人物が持つノート付近の画像が含まれている。
【００５４】
Ｓ８２：スーパーピクセル計算部１７は、領域Ｐｘｏｒの画素に一定間隔ごとに異なるラベルを付与する。
【００５５】
Ｓ８３（Ｓ８４、Ｓ８５）については、全ての画素にラベルが付与されるまで繰り返し実行する。
【００５６】
Ｓ８４、Ｓ８５については、各ラベルについて繰り返し実行する。
【００５７】
Ｓ８４：スーパーピクセル計算部１７は、該当ラベルが付与された画素に近接し、かつラベルが付与されてない画素を検出する。
【００５８】
Ｓ８５：スーパーピクセル計算部１７は、検出した画素のうち、該当のラベルが付与された画素と同じ又は同等の画素値を有し且つ最も距離が近い画素に対し、同じラベルを付与する。画素値は、グレースケール画像では濃度、カラー画像では色を表す。
【００５９】
Ｓ８６：スーパーピクセル計算部１７は、同じラベルが付与された画素群を１つのスーパーピクセルと設定する。これにより、排他的センサ領域Ｓｘｏｒも各スーパーピクセルに対応する領域（これもスーパーピクセルという）に分割されたこととなる。
【００６０】
図１５（ａ）は、ステップＳ８後の排他的論理和データＸＯＲの一例を示す図である。
【００６１】
白の排他的センサ領域Ｓｘｏｒが、複数のスーパーピクセル（小領域）に分割されている。黒の領域はスーパーピクセルを求めなかった領域である。
【００６２】
図１５（ｂ）は、図１５（ａ）の境界線を画像データＰに重畳した一例を示す図である。
【００６３】
スーパーピクセルの境界線が、人物と背景との境界や、人物とノートの境界に対応していることがわかる。このように、濃度（色）が近い画素をまとめるようにスーパーピクセルを求めた場合、濃度（色）の差が大きい境界にスーパーピクセルの境界線が現れやすい。
【００６４】
図３に戻る。
【００６５】
Ｓ９：領域論理演算部１８は、各センサデータＡ、Ｂの真値の領域に重畳するスーパーピクセルを検出する。
【００６６】
図６は、ステップＳ９の詳細なフローチャートである。
【００６７】
Ｓ９１（Ｓ９２〜Ｓ９５）、Ｓ９６については、各センサデータＡ、Ｂについて実行する。Ｓ９２〜Ｓ９５については、各スーパーピクセルについて実行する。なお、スーパーピクセルを求めなかった領域、すなわち図１３（ｂ）の黒い領域に関しては、連続している画素をまとめてひとつのスーパーピクセルとして扱う。
【００６８】
Ｓ９２：領域論理演算部１８は、センサデータにおけるスーパーピクセルでの真値の総和を計算する。
【００６９】
Ｓ９３：領域論理演算部１８は、総和が予め定めた閾値以上か否かを判定する。
【００７０】
Ｓ９４：領域論理演算部１８は、総和が閾値以上なら、スーパーピクセルはセンサデータに重畳していると判定する。
【００７１】
Ｓ９５：領域論理演算部１８は、総和が閾値未満なら、スーパーピクセルはセンサデータに重畳していないと判定する。
【００７２】
なお、総和は、センサデータにおけるスーパーピクセル内の小領域での真値の総和でもよい。
【００７３】
Ｓ９６：領域論理演算部１８は、該当のセンサデータについて、重畳すると判定されたスーパーピクセルに対応する画素を全て真値に変換する。
【００７４】
図１６は、図１５（ａ）の全領域のうちセンサデータＡ、Ｂの少なくとも一方に重畳しないスーパーピクセルの領域（黒）と両方に重畳するスーパーピクセルの領域（白）を示す図である。  
【００７５】
すなわち、人物の顔や手、体に対応する領域は、手前に存在して温度が高いため、センサＳＡ、ＳＢのどちらでも検出できている。
【００７６】
図１７（ａ）は、ステップＳ９後のスーパーピクセル領域Ａｃの一例を示す図である。
【００７７】
真値を白、偽値を黒で示す。真値の領域をスーパーピクセル領域Ａｃという。手前側に存在する人物と物が持つノートのどちらもが真値となっている。
【００７８】
図１７（ｂ）は、ステップＳ９後のセンサデータＢ（Ｂｃ）の一例を示す図である。
【００７９】
真値を白、偽値を黒で示す。真値の領域をスーパーピクセル領域Ｂｃという。温度の高い人物が真値であり、温度の低い背景と人物が持つノートは偽値となっている。
【００８０】
すなわち、ステップＳ９後のセンサデータＡ、Ｂは、図１２（ｂ）に示すセンサデータＡ、図１２（ｃ）に示すセンサデータＢの真偽値を、図１２（ａ）に示す画像データＰの濃度（色）によって修正したものといえる。
【００８１】
また、図１３の排他的論理和データＸＯＲは、センサデータＡ、Ｂを単純に比較したものと言え、これだと、センサの性能や視差の影響から人物や背景の境界にセンサ間の違いが出やすい。しかし、スーパーピクセルに基づいて各センサデータを修正することで、各センサデータの境界部分が一致し、センサ間の違いが削減されるため、以降の画像合成において、意図しない領域での画像の置き換えなどが発生しにくくなる。
【００８２】
図３に戻る。
【００８３】
Ｓ１０：領域論理演算部１８は、ステップＳ９後のセンサデータＡ、Ｂについて画素ごとに所定の論理演算を行い、演出領域を生成する。
【００８４】
図７は、ステップＳ１０の詳細なフローチャートである。
【００８５】
Ｓ１０１：第１実施例では、人物が持つノートと背景の２領域を別の画像に置き換えるので、そのためには、まず、領域論理演算部１８は、変換後の各センサデータＡ、Ｂからスーパーピクセル領域Ａｃ、Ｂｃを取得する。
【００８６】
Ｓ１０２：次に、領域論理演算部１８は、スーパーピクセル領域Ａｃ、Ｂｃの少なくとも一方に含まれる画素からなる演出領域ＯＲを検出する。
【００８７】
Ｓ１０３：領域論理演算部１８は、スーパーピクセル領域Ａｃに含まれず、かつ、スーパーピクセル領域Ｂｃに含まれない画素からなる演出領域ＮＯＲを検出する。
【００８８】
Ｓ１０４：領域論理演算部１８は、演出領域ＯＲに含まれ、かつ、スーパーピクセル領域Ｂｃに含まれない画素からなる演出領域Ａｏｎｌｙを検出する。
【００８９】
図１８（ａ）は、ステップＳ１０２で得られる演出領域ＯＲ（白）の一例を示す図である。図１８（ｂ）は、ステップＳ１０３で得られる演出領域ＮＯＲ（白）の一例を示す図である。図１９は、ステップＳ１０４で得られる演出領域Ａｏｎｌｙ（白）の一例を示す図である。
【００９０】
演出領域Ａｏｎｌｙは、センサＳＡで検出でき、かつセンサＳＢで検出できなかった領域となる。第１実施例では人物が持っているノートは背景よりも手前に存在し、また温度が低いため、センサＳＡ（深度センサ）でしか検出できない領域であり、これが演出領域Ａｏｎｌｙに対応している。
【００９１】
図８は、第１実施例における画像合成のフローチャートである。
【００９２】
演出選択部１２は、ユーザから、演出として画像合成を適用したい演出領域や、合成素材としての動画の指示を受け付ける。画像合成部１９は、動画像データ記憶部１１に記憶された動画（元の動画と合成素材としての動画）、指示された演出領域を元に、画像合成を実行し、合成画像をモニタ４に出力する。
【００９３】
Ｓ１１：画像合成部１９は、画像データＰと同じ画素数、縦横比を有する合成画像Ｏｕｔを生成し、画像データＰを合成画像Ｏｕｔに転写する。
【００９４】
Ｓ１２：画像合成部１９は、動画像データ記憶部１１から、合成素材としての動画に含まれる演出用画像データＤ１、Ｄ２を読み出す。
【００９５】
図２０（ａ）は、ステップＳ１２で得られる演出用画像データＤ１の一例を示す図である。
【００９６】
図２０（ｂ）は、ステップＳ１２で得られる演出用画像データＤ２の一例を示す図である。
【００９７】
Ｓ１３：次に、画像合成部１９は、合成画像Ｏｕｔの演出領域ＮＯＲのみに演出用画像データＤ１を転写する。演出領域ＮＯＲ以外がマスクとなると考えてもよい。
【００９８】
Ｓ１４：また、画像合成部１９は、合成画像Ｏｕｔの演出領域Ａｏｎｌｙのみに演出用画像データＤ２を転写する。演出領域Ａｏｎｌｙ以外がマスクとなると考えてもよい。
【００９９】
Ｓ１５：画像合成部１９は、合成画像Ｏｕｔをモニタ４に出力する。
【０１００】
図２１は、第１実施例の合成画像Ｏｕｔの一例を示す図である。
【０１０１】
合成画像Ｏｕｔでは、背景（演出領域ＮＯＲ）が樹木（演出用画像データＤ１）に置換され、ノート（演出領域Ａｏｎｌｙ）が花の画像（演出用画像データＤ１）に置換されている。
【０１０２】
なお、図２２に示すように、図１９の演出領域Ａｏｎｌｙの大きさと直線成分の傾きを求め、それに対応するように画像データＰに対して回転やリサイズを施した上で合成してもよい。
【０１０３】
また、逐次処理される画像データのフレーム位置などに対応して、動画像データ記憶部１１から取得する合成用の画像を変更してもよい。
【０１０４】
図２３（ａ）は、バスケットボールを行っている様子を撮影した画像データＰを示している。
【０１０５】
図２３（ｂ）は、この場合のスーパーピクセル領域Ａｃ、すなわち深度センサから得たスーパーピクセル領域Ａｃを示しており、背景と床に対応する領域は偽値（黒）となっている。
【０１０６】
図２３（ｃ）は、この場合のスーパーピクセル領域Ｂｃ、すなわち温度センサから得たスーパーピクセル領域Ｂｃを示しており、人物以外の背景や床、バスケットボールに対応する領域が偽値となっている。
【０１０７】
図２４（ａ）は、この場合の演出領域Ａｏｎｌｙ（白）であり、演出領域Ａｏｎｌｙは、バスケットボールに対応する領域のみとなる。
【０１０８】
選手の国が別の場合、演出領域Ａｏｎｌｙは、例えば、図２４（ｂ）に示すようになる。
【０１０９】
このような演出領域Ａｏｎｌｙに対して、バスケットボールを持っている選手に応じて、演出用画像データを変更する。
【０１１０】
例えば、図２４（ａ）の演出領域Ａｏｎｌｙのバスケットボールを持つ国がアメリカの場合、図２５（ａ）のようなアメリカ国旗の演出用画像データＤ１を用いる。これにより、合成画像は、図２６（ａ）のようになる。
【０１１１】
例えば、図２４（ｂ）の演出領域Ａｏｎｌｙのバスケットボールを持つ国がカナダの場合、図２５（ｂ）のようなカナダ国旗の演出用画像データＤ１を用いる。これにより、合成画像は、図２６（ｂ）のようになる。
【０１１２】
このような演出用画像データの変更は、ユーザが演出選択部１２に指定する形態してもよいし、画像データＰやスーパーピクセル領域Ａｃ、Ｂｃなどから自動的に実施される形態でもよい。
【０１１３】
以上のように、第１実施例の画像合成装置１は、景観の画像データを受信する画像受信部１３と、景観を第１センサ（ＳＡ）で検出して得られる第１センサデータ（Ａ）および景観を第２センサ（ＳＢ）で検出して得られる第２センサデータ（Ｂ）を受信するセンサデータ受信部１４と、第１および第２センサデータを２値化する（Ｓ４、Ｓ５）センサデータ閾値処理部１５と、２値化後の第１および第２センサデータの画素ごとの排他的論理和からなる排他的論理和データ（ＸＯＲ）を生成する（Ｓ７）画素論理演算部１６と、排他的論理和データ（ＸＯＲ）における真値からなる領域を画像データにおける対応する領域の画素値に基づいてスーパーピクセルに分割する（Ｓ８）スーパーピクセル計算部１７と、各スーパーピクセルについて、２値化後の第１センサデータにおけるスーパーピクセルでの真値の総和が所定の閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換するとともに（Ｓ９６）、２値化後の第２センサデータにおけるスーパーピクセルでの真値の総和が閾値以上である場合に当該スーパーピクセルの画素を全て真値に変換し（Ｓ９６）、変換後の第１および第２センサデータについて画素ごとに所定の論理演算を行う（Ｓ１０）領域論理演算部１８と、画像データを所定の合成画像に転写し（Ｓ１１）、合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える（Ｓ１３、Ｓ１４）画像合成部１９とを備える。よって、画像合成における自由度を高めることができる。
【０１１４】
［第２実施例］
図２７は、第２実施例における画像合成のフローチャートである。第２実施例では、第１実施例の画像合成のフローチャートに代えて、このフローチャートが使用される。第２実施例でも、センサＳＡが深度センサ、センサＳＢが温度センサであることとする
図２８（ａ）は、第２実施例における画像データＰの一例を示す図であり、野球場の野球選手を撮影し、背景には複数の観客が含まれている。
【０１１５】
図３のフローチャートは、第２実施例でも使用されるので、センサデータＡ、Ｂにそれぞれ対応するスーパーピクセル領域Ａｃ、Ｂｃが求められる。
【０１１６】
図２８（ｂ）は、この場合のスーパーピクセル領域Ａｃ、すなわち深度センサから得たスーパーピクセル領域Ａｃを示しており、手前側に存在する野球選手のみの領域となっている。
【０１１７】
図２８（ｃ）は、この場合のスーパーピクセル領域Ｂｃ、すなわち温度センサから得たスーパーピクセル領域Ｂｃを示しており、選手に加えて、選手よりも奥に存在する観客も加えた領域となっている。
【０１１８】
第２実施例では、領域論理演算部１８が、演出領域ＯＲに含まれ、かつ、スーパーピクセル領域Ａｃに含まれない演出領域Ｂｏｎｌｙを検出する。
【０１１９】
図２９は、第２実施例における演出領域Ｂｏｎｌｙの一例を示す図であり、画像データＰに含まれる温度の高い領域、すなわちすべての人物の領域から、手前側にいる野球選手の領域が除外されている。
【０１２０】
図２７において、Ｓ１１：画像合成部１９は、画像データＰと同じ画素数、縦横比を有する合成画像Ｏｕｔを生成し、画像データＰを合成画像Ｏｕｔに転写する。
【０１２１】
Ｓ１６：画像合成部１９は、合成画像Ｏｕｔの演出領域Ｂｏｎｌｙのみを平滑化する。演出領域Ｂｏｎｌｙ以外がマスクとなると考えてもよい。平滑化にはガウシアンフィルタなどを用いる。
【０１２２】
Ｓ１７：画像合成部１９は、合成画像Ｏｕｔをモニタ４に出力する。
【０１２３】
図３０は、合成画像Ｏｕｔの一例を示す。手前に存在する野球選手や背景のフェンスや壁などは鮮明なままで、観客の領域だけぼかされている。このような演出により、観客の顔が判別できないようにプライバシーに配慮した映像表現が可能となる。
【０１２４】
以上のように、第２実施例では、画像合成においては、画像データを所定の合成画像に転写し（Ｓ１１）、合成画像において、論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域に処理を加える（Ｓ１６）が、このような画像合成以外は、第１実施例と同じであるから、画像合成における自由度を高めることができる。
【０１２５】
［第３実施例］
図３１は、第３実施例における画像合成のフローチャートである。第３実施例では、第１実施例の画像合成のフローチャートに代えて、このフローチャートが使用される。
【０１２６】
第３実施例では、センサＳＡが深度センサであり、センサＳＢは、連続する画像データＰから、変化する領域を検出するものであることとする。この領域は、前後する画像データＰの差分の領域である。すなわち、センサＳＢは、変化する領域（動体）と変化しない領域（非動体）を検出するセンサともいえる。
【０１２７】
第３実施例では、図３２のような画像データＰが得られる。つまり、最も手前の中央に柱があり、その奥を人物（動体）が左から右へ歩いている姿を撮影しているとする。
【０１２８】
図３３（ａ）のような画像データＰが得られるとき、センサデータＡでは、図３３（ｂ）のように、柱と人物が真値となる。つまり、センサデータＡにおける真値の領域は、動体（人物）の領域と動体より手前の非動体（柱）の領域からなる。また、センサデータＢ（差分の領域）では、図３３（ｃ）のように、人物に対応する領域が真値となる。つまり、センサデータＢにおける真値の領域は、動体（人物）の領域の領域からなる。人物は柱の影に隠れるため、センサデータＢ（差分の領域）では、柱の領域が偽値となっている。
【０１２９】
図３のフローチャートは、第３実施例でも使用されるので、センサデータＡ、Ｂにそれぞれ対応するスーパーピクセル領域Ａｃ、Ｂｃが求められる。
【０１３０】
第３実施例では、領域論理演算部１８が、演出領域ＯＲに含まれ、かつ、スーパーピクセル領域Ｂｃに含まれない演出領域Ａｏｎｌｙを検出する。
【０１３１】
また、領域論理演算部１８は、スーパーピクセル領域Ｂｃを演出領域とする。この演出領域を便宜的に演出領域Ｂｃという。
【０１３２】
図３４は、第３実施例における演出領域Ａｏｎｌｙの一例を示す図である。
【０１３３】
画像データＰでは、手前側に存在する柱と人物のうち、人物の領域が偽値になり、柱だけが残っている。
【０１３４】
図３１において、Ｓ１１：画像合成部１９は、画像データＰと同じ画素数、縦横比を有する合成画像Ｏｕｔを生成し、画像データＰを合成画像Ｏｕｔに転写する。
【０１３５】
Ｓ１１１：画像合成部１９は、演出領域Ｂｃにおける真値の総和を計算する。
【０１３６】
図３５の下段は、連続する多数の画像データＰのうちの３つに対応する演出領域Ｂｃを示し、図３５の上段は、各演出領域Ｂｃにおける真値の総和をグラフとして図示する。
【０１３７】
人物が柱に隠れる前では、真値の総和は比較的多く、人物が柱に隠れると真値の総和は少なくなり、人物が柱に隠れた後では、真値の総和は再び多くなる。
【０１３８】
図３１において、Ｓ１１２：画像合成部１９は、真値の総和が予め定めた閾値以下か否かを判定する。この閾値は、Ｓ９３で使用する閾値（第１の閾値）とは異なるもの（第２の閾値）である。
【０１３９】
Ｓ１１３、Ｓ１１４：画像合成部１９は、閾値より多い場合、画像データＰを動画像データ記憶部１１に保存する一方、閾値以下の場合、こうして保存した画像データＰを読み出す。
【０１４０】
閾値は、ユーザが演出選択部１２に指定する形態してもよいし、センサデータの画素数と真値の総和の割合などから、画像合成装置１が自動的に設定してもよい。
【０１４１】
Ｓ１１５：画像合成部１９は、読み出した画像データＰから演出領域Ｂｃのみを切り取ったインペイント画像Ｐｃを作成する。
【０１４２】
図３６（ａ）は、真値の総和が閾値より多い場合の画像データＰを示し、図３６（ｂ）は、そのときの演出領域Ｂｃを示し、図３６（ｃ）は、そのときのインペイント画像Ｐｃを示す。
【０１４３】
図３７は、真値の総和が閾値以下の場合の画像データＰを示す。人物が柱に隠れてしまっている。
【０１４４】
図３１において、Ｓ１１６：画像合成部１９は、合成画像Ｏｕｔの演出領域Ａｏｎｌｙにインペイント画像Ｐｃを転写する。
【０１４５】
このとき、合成画像Ｏｕｔにおけるインペイント画像Ｐｃの座標は、ユーザが演出選択部１２に設定してもよいし、演出領域Ａｏｎｌｙの真値の重心などから、画像合成装置１が自動的に設定してもよい。
【０１４６】
Ｓ１１７：画像合成部１９は、合成画像Ｏｕｔをモニタ４に出力する。
【０１４７】
図３８は、第３実施例における合成画像Ｏｕｔを示す図である。合成画像Ｏｕｔの柱の領域（Ａｏｎｌｙ）のみ、過去の画像データＰから生成された人物のインペイント画像Ｐｃによって置換されている。このような演出により、まるで柱を透視しているような映像表現が可能となる。
【０１４８】
以上のように、第３実施例によれば、第１センサ（ＳＡ）は、深度センサであり、第２センサ（ＳＢ）は、景観における動体（人物）と非動体（それ以外）を検出するセンサであり、変換後の第１センサデータにおける真値の領域が、景観における動体の領域と当該動体より手前の非動体の領域とからなり（図３３（ｂ））、変換後の第２センサデータにおける真値の領域が、動体の領域からなり（図３３（ｃ））、領域論理演算部は、変換後の第１および第２センサデータにおけるスーパーピクセルの領域の少なくとも一方に含まれる画素からなる第１演出領域（ＯＲ）を検出し、第１演出領域（ＯＲ）に含まれ、かつ、変換後の第２センサデータにおけるスーパーピクセルの領域に含まれない画素からなる第２演出領域（Ａｏｎｌｙ）検出し、画像合成部は、変換後の第２センサデータにおけるスーパーピクセルの領域での真値の総和が第２の閾値より多いタイミングにおいて、当該タイミングの画像データを保存し（Ｓ１１３）、真値の総和が第２の閾値以下のタイミングにおいて、保存した画像データを読み出し（Ｓ１１４）、且つ、当該画像データから第２演出領域（Ａｏｎｌｙ）のみを切り取ったインペイント画像を作成するとともに（
Ｓ１１５）、合成画像の第２演出領域（Ａｏｎｌｙ）にインペイント画像を転写するので、動体の手前の非動体を透して動体を見ているような映像表現が可能となる。
【０１４９】
このように、本発明の各実施例によると、動画の画像データから複数の条件を満たすいくつかの領域について別の画像に置き換えることができる。また、複数のセンサから取得したセンサデータについて、画像データにより得たスーパーピクセルによって、検出領域の境界を一致させ、視差やノイズを削減することができる。
【０１５０】
以上のことから、従来の手法に比べてより自由度の高い映像表現が可能となり、カメラの画像に動画像を合成するときのズレやノイズを削減し、高い品質で動画像を提供できる。
【０１５１】
なお、本実施の形態では動画から画像データを得たが、画像データ（静止画）の画像合成に本実施の形態の技術を採用してもよい。
【０１５２】
また、画素論理演算部１６とスーパーピクセル計算部１７による処理を行うと、スーパーピクセルの境界線が、人物と背景との境界や、人物とノートの境界に対応し、結果的に合成画像の品質を高めることができるが、それほどの品質が必要でない場合は、画素論理演算部１６とスーパーピクセル計算部１７は不要である。つまり、これら処理部を設けず、領域論理演算部１８が、センサデータ閾値処理部１５による２値化後の第１および第２センサデータについて画素ごとに所定の論理演算を行い、画像合成部１９が、この論理演算後のセンサデータにおける真値の領域に対応する領域を検出し、当該領域を別の画像に置き換える又は処理してもよい。
【０１５３】
また、画像合成装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【０１５４】
１  画像合成装置
１１  動画像データ記憶部
１２  演出選択部
１３  画像受信部
１４  センサデータ受信部
１５  センサデータ閾値処理部
１６  画素論理演算部
１７  スーパーピクセル計算部
１８  領域論理演算部
１９  画像合成部
ＳＡ、ＳＢ  センサ
Ａ、Ｂ  センサデータ
Ｐ  画像データ
ＸＯＲ  排他的論理和データ
Ａｃ、Ｂｃ  スーパーピクセル領域
ＯＲ、ＮＯＲ、Ａｏｎｌｙ、Ｂｏｎｌｙ  演出領域
Ｄ１、Ｄ２  演出用画像データ
Ｏｕｔ  合成画像
【図１】
0006396932.tif 000002
【図２】
0006396932.tif 000003
【図３】
0006396932.tif 000004
【図４】
0006396932.tif 000005
【図５】
0006396932.tif 000006
【図６】
0006396932.tif 000007
【図７】
0006396932.tif 000008
【図８】
0006396932.tif 000009
【図９】
0006396932.tif 000010
【図１０】
0006396932.tif 000011
【図１１】
0006396932.tif 000012
【図１２】
0006396932.tif 000013
【図１３】
0006396932.tif 000014
【図１４】
0006396932.tif 000015
【図１５】
0006396932.tif 000016
【図１６】
0006396932.tif 000017
【図１７】
0006396932.tif 000018
【図１８】
0006396932.tif 000019
【図１９】
0006396932.tif 000020
【図２０】
0006396932.tif 000021
【図２１】
0006396932.tif 000022
【図２２】
0006396932.tif 000023
【図２３】
0006396932.tif 000024
【図２４】
0006396932.tif 000025
【図２５】
0006396932.tif 000026
【図２６】
0006396932.tif 000027
【図２７】
0006396932.tif 000028
【図２８】
0006396932.tif 000029
【図２９】
0006396932.tif 000030
【図３０】
0006396932.tif 000031
【図３１】
0006396932.tif 000032
【図３２】
0006396932.tif 000033
【図３３】
0006396932.tif 000034
【図３４】
0006396932.tif 000035
【図３５】
0006396932.tif 000036
【図３６】
0006396932.tif 000037
【図３７】
0006396932.tif 000038
【図３８】
0006396932.tif 000039