(57)【特許請求の範囲】
【請求項１】
第１画像を取得し、距離画像に基づいて所要距離以内に存在する部分を前記第１画像から抽出した仮マスク画像を生成し、熱画像に基づいて前記仮マスク画像から対象物部分を抽出する抽出手段と、
前記対象物部分に基づくマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成手段と、
を有し、
前記抽出手段は、前記対象物部分として、前記仮マスク画像から、前記熱画像に基づく温度が閾値以上の有熱部分と、前記熱画像に基づく温度が前記閾値未満の無熱部分のうち前記有熱部分と一続きの部分とを抽出する、
画像合成装置。
【請求項２】
コンピュータに、
第１画像を取得し、距離画像に基づいて所要距離以内に存在する部分を前記第１画像から抽出した仮マスク画像を生成し、熱画像に基づいて前記仮マスク画像から対象物部分を抽出する抽出機能と、
前記対象物部分に基づくマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成機能と、
を実現させ、
前記抽出機能は、前記対象物部分として、前記仮マスク画像から、前記熱画像に基づく温度が閾値以上の有熱部分と、前記熱画像に基づく温度が前記閾値未満の無熱部分のうち前記有熱部分と一続きの部分とを抽出する機能を含む、
画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置に係り、特に、第１画像と第２画像とを合成する画像合成装置に関する。
【背景技術】
【０００２】
第１画像と第２画像とをクロマキー合成する画像合成装置がある。第１に、当該装置は、第１画像から背景部分の色を抽出してマスク画像を生成し、第１画像とマスク画像の反転画像とのＡＮＤ処理（論理積）により、第１画像から対象物部分が抽出された対象物部分画像を生成する。第２に、当該装置は、第２画像とマスク画像とのＡＮＤ処理により、第２画像から背景部分が抽出された背景部分画像を生成する。第３に、当該装置は、対象物部分画像と背景部分画像とのＯＲ処理（論理和）により、合成画像を生成する。
【０００３】
概ね単一色を背景として撮影された第１画像を第２画像上に自動的に合成する自動クロマキー合成を行う技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−７２６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
クロマキー合成では、第１画像の背景部分の色（クロマ）をキーとして、第１画像から、背景部分とは異なる対象物部分を抽出する処理を行っている。このため、第１画像から、対象物部分として、人体部分及び着衣部分に加え、写り込み部分（例えば、第１画像を撮影する前景カメラ以外のカメラやケーブル）が抽出されてしまうことがあり、写り込み部分が合成画像に写り込み部分が残ってしまう。つまり、第１画像は極力シンプルなものでなければならず、第１画像の撮影時に第１画像内に写り込み部分が写り込まないように作業者が配慮する必要があった。
【０００６】
本発明は、上述した事情を考慮してなされたもので、第１画像の撮影時における作業者の負担を軽減できる画像合成装置を提供することを目的とする。従来の第１画像では、背景部分の色は単一色（青色又は緑色一色）である必要があった。しかし、本発明の第１画像では、背景部分の色は単一色でなくてもよい。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る画像合成装置は、上述した課題を解決するために、第１画像を取得し、距離画像に基づいて所要距離以内に存在する部分を前記第１画像から抽出した仮マスク画像を生成し、熱画像に基づいて前記仮マスク画像から対象物部分を抽出する抽出手段と、前記対象物部分に基づくマスク画像を生成し、前記マスク画像の反転画像及び前記第１画像に基づく画像と、前記第１画像とは異なる第２画像及び前記マスク画像に基づく画像とを合成処理することで、合成画像を生成する生成手段と、を有する。
【発明の効果】
【０００８】
本発明に係る画像合成装置によれば、第１画像の撮影時における作業者の負担を軽減できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像合成装置の一構成例を示すブロック図。
【図２】実施形態に係る画像合成装置の動作の一例をフローチャートとして示す図。
【図３】（Ａ）は、第１画像の一例を示す図、（Ｂ）は、距離画像の一例を示す図、（Ｃ）は、仮マスク画像の一例を示す図、（Ｄ）は、熱画像の一例を示す図、（Ｅ）は、第２画像の一例を示す図。
【図４】（Ａ）は、マスク画像の反転画像の一例を示す図、（Ｂ）は、対象物部分画像の一例を示す図、（Ｃ）は、マスク画像の一例を示す図、（Ｄ）は、背景部分画像の一例を示す図、（Ｅ）は、合成画像の一例を示す図。
【発明を実施するための形態】
【００１０】
本発明に係る実施の形態について、添付図面を参照して説明する。
【００１１】
１．構成
図１は、実施形態に係る画像合成装置の一構成例を示すブロック図である。
【００１２】
図１は、実施形態に係る画像合成装置１を示す。画像合成装置１は、制御部１１、記憶部１２、入力部１３、及び表示部１４を有する。画像合成装置１は、コンピュータをベースとして構成されており、ＬＡＮ（Local Area Network）などのネットワークを介して外部装置と相互通信可能である。
【００１３】
制御部１１は、共通信号伝送路としてのバスを介して、画像合成装置１を構成する各ハードウェア構成要素に相互接続される。制御部１１は、専用のハードウェアで構成されてもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。
【００１４】
なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む。また、専用のハードウェアとは、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）などの回路を含む。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。
【００１５】
ここでは一例として、プロセッサによるソフトウェア処理によって制御部１１が各種機能を実現する場合について説明する。制御部１１は、記憶部１２に記憶されたプログラム、又は、制御部１１のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、各機能を実現する。
【００１６】
なお、制御部１１は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶部１２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の記憶部１２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。
【００１７】
記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスク、光ディスクなどによって構成される。記憶部１２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）などの可搬型メディアを脱着自在な回路して構成されてもよい。記憶部１２は、制御部１１において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要な文字情報、及び画像データを記憶する。また、記憶部１２には、ＯＳを制御するための各種コマンドや、入力部１３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶してもよい。
【００１８】
入力部１３は、例えば、キーボード、テンキー、及びマウスなどを含む。入力部１３は、操作者であるユーザにより入力された入力情報を制御部１１に出力する。
【００１９】
表示部１４は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示装置である。表示部１４は、制御部１１の制御に従って文字や画像等を表示する。
【００２０】
図１に示すように、制御部１１は、抽出部４１及び生成部４２を備える。抽出部４１及び生成部４２の夫々の機能は、記憶部１２に格納されているプログラムを制御部１１のプロセッサが実行することによって実現される。
【００２１】
抽出部４１は、記憶部１２に記憶された距離画像に基づいて、記憶部１２に記憶された第１画像から、所要距離以内に存在する部分を抽出した仮マスク画像（図３（Ｃ）に図示）を生成する。また、抽出部４１は、記憶部１２に記憶された熱画像に基づいて、仮マスク画像から対象物部分を抽出する。
【００２２】
生成部４２は、抽出部４１によって抽出された対象物部分に基づくマスク画像（図４（Ｃ）に図示）を生成する。また、生成部４２は、マスク画像の反転画像及び第１画像に基づく画像（図４（Ｂ）に示す対象物部分画像）と、第１画像とは異なる第２画像及びマスク画像に基づく画像（図４（Ｄ）に示す背景部分画像）とを合成処理することで、合成画像（図４（Ｅ）に示す合成画像）を生成する。
【００２３】
なお、抽出部４１及び生成部４２の具体的な動作については後述する。
【００２４】
画像合成装置１は、前景カメラＫから第１画像（図３（Ａ）に図示）を、距離画像カメラＬから距離画像（図３（Ｂ）に図示）を、熱画像カメラＭから熱画像（図３（Ｄ）に図示）をそれぞれ取得する。
【００２５】
前景カメラＫは、人物を光学撮影して第１画像を生成するカメラである。第１画像には、撮影時間が付帯される。
【００２６】
距離画像カメラＬは、第１画像の撮影領域内の距離画像を撮影する。距離画像には、撮影時間が付帯される。距離画像カメラＬは、前景カメラＫに取り付けられたり、前景カメラＫとは離れて設置されたりする。距離画像カメラＬの撮影向き及び画角は、前景カメラＫの撮影範囲に合わせるものとし、前景カメラＫの撮影範囲の変動に従って変動するものとする。距離画像カメラＬとしては、例えば、ｋｉｎｅｃｔ（登録商標）を利用することもできる。
【００２７】
例えば、距離画像カメラＬは、赤外線を周囲に照射し、照射波が物表面で反射された反射波を受光素子で検知する。そして、距離画像カメラＬは、照射波とその反射波との位相差や、照射から検知までの時間に基づいて距離画像収集部との距離を求め、撮影領域に対応する１フレームの距離画像を生成する。
【００２８】
距離画像カメラＬは、次々に検知される反射波から連続する複数フレームの距離画像を生成することで、撮影領域を動画撮影できる。
【００２９】
熱画像カメラＭは、第１画像の撮影領域内の熱画像を生成する。熱画像には、撮影時間が付帯される。熱画像カメラＭは、第１画像を撮影する前景カメラＫに取り付けられたり、前景カメラＫとは離れて設置されたりする。熱画像カメラＭの撮影向き及び画角は、前景カメラＫの撮影範囲に合わせるものとし、前景カメラＫの撮影範囲の変動に従って変動するものとする。
【００３０】
熱画像カメラＭは、サーモグラフィとも称される。熱画像カメラＭは、熱源、ここでは人体から放射される赤外線放射エネルギーを赤外線イメージセンサで検出し、各画素の受光量を温度分布として画像に変換する装置である。
【００３１】
ここでは、前景カメラＫ、距離画像カメラＬ、及び熱画像カメラＭが画像合成装置１の構成に含まれない場合を説明するが、前景カメラＫ、距離画像カメラＬ、及び熱画像カメラＭの全部又は一部が画像合成装置１の構成に含まれる場合であってもよい。
【００３２】
２．動作
図１及び図２を用いて抽出部４１及び生成部４２の具体的な動作について説明する。
【００３３】
図２は、実施形態に係る画像合成装置１の動作の一例をフローチャートとして示す図である。
【００３４】
抽出部４１は、人物が撮影された第１画像を記憶部１２から読み出す（ステップＳＴ１）。抽出部４１は、前景カメラＫから送られ、記憶部１２に記憶された第１画像を読み出す。
【００３５】
図３（Ａ）は、第１画像の一例を示す図である。
【００３６】
図３（Ａ）は、前景カメラＫにより、人物が撮影された第１画像である。第１画像は、前景カメラＫから画像合成装置１に送られる。第１画像は、独立した静止画像であってもよく、動画像を構成する各コマの画像であってもよい。
【００３７】
ここで、図３（Ａ）に示す第１画像には、背景部分と、背景部分とは異なる部分とが含まれる。背景部分とは異なる部分は、対象物部分（人体部分Ｓ及び着衣部分Ｃ）及び写り込み部分Ｐからなる。写り込み部分Ｐとは、後述する合成画像上に表示したくない物、例えば、前景カメラＫ以外のカメラ（カメラＬ，Ｍ又は他のカメラ）やケーブル等に起因する部分である。本実施形態では、第１画像の写り込み部分Ｐを、前景部分としてではなく、背景部分として対象物部分Ｓ，Ｃから分離するための処理を行うものである。
【００３８】
図２の説明に戻って、抽出部４１は、距離画像を記憶部１２から読み出す（ステップＳＴ２）。抽出部４１は、距離画像カメラＬから送られ、記憶部１２に記憶された距離画像を読み出す。読み出される距離画像は、その撮影時間が、ステップＳＴ１によって読み出された第１画像に付帯された撮影時間と同等のものである。
【００３９】
図３（Ｂ）は、距離画像の一例を示す図である。
【００４０】
図３（Ｂ）は、距離画像カメラＬからの距離が閾値未満の部分が抽出された距離画像を示す。
【００４１】
図２の説明に戻って、抽出部４１は、ステップＳＴ２によって読み出された距離画像に基づいて、ステップＳＴ１によって読み出された第１画像から、所要距離以内に存在する部分を抽出した仮マスク画像を生成する（ステップＳＴ３）。所要距離以内に存在する部分は、距離画像カメラＬからの距離が閾値未満の対象物部分（人体部分及び着衣部分）及び写り込み部分からなる。
【００４２】
図３（Ｃ）は、仮マスク画像の一例を示す図である。
【００４３】
図３（Ｃ）に示す仮マスク画像は、第１画像から、所要距離以内に存在する部分が抽出された画像である。仮マスク画像は、第１画像のうち、所要距離以内に存在する部分に相当する画素が黒色を示す画素値となるように、その他の画素が白色を示す画素値となるように配色された画像である。このように、第１画像の対象物部分の色、例えば着衣の色が、第１画像の背景部分の色に似た色である場合にも、距離により第１画像中の対象物部分と背景部分との区別ができるので、第１画像の対象物部分の色に因らず適切な合成画像を生成できる。
【００４４】
図２の説明に戻って、抽出部４１は、熱画像を記憶部１２から読み出す（ステップＳＴ４）。抽出部４１は、熱画像カメラＭから送られ、記憶部１２に記憶された熱画像を読み出す。読み出される熱画像は、その撮影時間が、ステップＳＴ１によって読み出された第１画像に付帯された撮影時間と同等のものである。
【００４５】
図３（Ｄ）は、熱画像の一例を示す図である。
【００４６】
図３（Ｄ）は、熱画像カメラＭによる熱画像により、温度が閾値以上の部分が抽出された熱画像である。
【００４７】
図２の説明に戻って、抽出部４１は、ステップＳＴ４によって読み出された熱画像に基づいて、ステップＳＴ３によって生成された仮マスク画像から対象物部分を抽出する（ステップＳＴ５）。
【００４８】
なお、抽出部４１は、対象物部分として、仮マスク画像から、熱画像に基づく温度が閾値以上の有熱部分とそれに対応する部分とを抽出することができる。“有熱部分に対応する部分”とは、熱画像に基づく温度が閾値未満の無熱部分のうち有熱部分と一続き（図３（Ｃ）に示す黒色の連続）の部分を意味する。具体的には、抽出部４１は、有熱部分である人体部分とそれに対応する部分である着衣部分とを対象物部分として抽出する。有熱部分のその他の例として、猫及び犬等の動物の部分が挙げられる。また、有熱部分に対応する部分のその他の例として、人物が保持する傘及び指示棒等の物の部分が挙げられる。
【００４９】
ステップＳＴ５によって対象物部分が抽出された画像は、マスク画像（図４（Ｃ））である。図４（Ｃ）に示すマスク画像では、図３（Ｃ）に示す仮マスク画像と比較して、図３（Ａ）に示す写り込み部分Ｐに相当する部分が排除されている。
【００５０】
図２の説明に戻って、生成部４２は、ステップＳＴ５によって対象物部分が抽出されたマスク画像を生成する（ステップＳＴ６）。生成部４２は、ステップＳＴ１によって読み出された第１画像と、ステップＳＴ６によって生成されたマスク画像の反転画像とのＡＮＤ処理（論理積）により、第１画像から対象物部分が抽出された対象物部分画像を生成する（ステップＳＴ７）。図４（Ｂ）は、図３（Ａ）に示す第１画像と、図４（Ａ）に示す反転画像に基づく対象物部分画像を示す。
【００５１】
生成部４２は、記憶部１２から図３（Ｅ）に示す第２画像を読み出し、第２画像と、ステップＳＴ６によって生成されたマスク画像とのＡＮＤ処理により、第２画像から背景部分が抽出された背景部分画像を生成する（ステップＳＴ８）。図３（Ｅ）に示す第２画像は、主として風景が撮影されることにより取得された画像である。第２画像は、第１画像と同様に、独立した静止画像であってもよく、動画像を構成する各コマの画像であってもよい。図４（Ｄ）は、図３（Ｅ）に示す第２画像と、図４（Ｃ）に示すマスク画像とのＡＮＤ処理により、背景部分画像を示す。
【００５２】
生成部４２は、ステップＳＴ７によって生成された対象物部分画像と、ステップＳＴ８によって生成された背景部分画像とのＯＲ処理（論理和）により、合成画像を生成する（ステップＳＴ９）。図４（Ｅ）は、図４（Ｂ）に示す対象物部分画像と、図４（Ｄ）に示す背景部部分画像に基づく合成画像を示す。
【００５３】
上記ステップＳＴ１〜ＳＴ９の動作を、静止画像に相当する１個の第１画像に適用することで、静止画像を前景とし、静止画像を背景とした１個の合成画像を生成できる。又は、上記ステップＳＴ１〜ＳＴ９の動作を、動画像の複数コマに相当する複数の第１画像に適用することで、動画像を前景とし、動画像又は静止画像を背景とした複数の合成画像（動画像）を生成できる。
【００５４】
３．効果
以上説明した実施形態によれば、第１画像の撮影時における作業者の負担を軽減できる。
【００５５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００５６】
１…画像合成装置
１１…制御部
１２…記憶部
４１…抽出部
４２…生成部
【図１】
0006747877.tif 000002
【図２】
0006747877.tif 000003
【図３】
0006747877.tif 000004
【図４】
0006747877.tif 000005