(57)【要約】【課題】本発明は、ウェイトマップを用いて背景色を画像に応じて適切に決定することができる背景色決定装置、背景色決定方法及び画像処理装置を提供する。【解決手段】本発明に係る背景色決定装置は、画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部４１と、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部３２と、作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部３３とを備える。【選択図】  図１
2004201020.tif 000002
【特許請求の範囲】
【請求項１】
画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、
画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、
作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部とを備えること
を特徴とする背景色決定装置。
【請求項２】
前記ウェイトマップは、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報のうちの少なくとも１つの情報に基づいて作成されること
を特徴とする請求項１に記載の背景色決定装置。
【請求項３】
前記ウェイトマップ記憶部は、互いに異なる複数のウェイトマップを記憶するものであって、
前記複数のウェイトマップから１つのウェイトマップを決定する決定部をさらに備えること
を特徴とする請求項１に記載の背景色決定装置。
【請求項４】
画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶した背景色決定装置に用いられる背景色を決定する背景色決定方法において、
画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行うステップと、
重み付けを行った各画素のカラーヒストグラムを作成するステップと、
作成されたカラーヒストグラムに基づいて背景色を決定するステップとを備えること
を特徴とする背景色決定方法。
【請求項５】
画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、
画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、
作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部と、
決定された背景色を用いて前記画像データを画像処理する画像処理部とを備えること
を特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ウェイトマップを用いて背景色を画像に応じて適切に決定することができる背景色決定装置、背景色を決定する背景色決定方法及び画像処理装置に関する。
【０００２】
【従来の技術】
画像処理の一つに、画像の中から或る特定の色を持つ領域（対象領域）を抜き出し、そこに他の画像を埋め込むクロマキー処理がある。このクロマキー処理を行うためには、画像を対象領域とその他の領域とに分ける必要がある。この領域を分ける一手法として、対象領域の境界を対象領域の色（前景色）と対象領域の周囲の色（背景色）との相違に基づき判別することによって領域を分ける方法があり、この方法を実行するためには、適切に背景色を決定しなければならない。
【０００３】
この背景色を決定する方法は、従来、カラー画像のカラーヒストグラムを作成し、出現頻度の高いカラーを背景色として決定していた。また、例えば、背景色決定方法は、特許文献１に記載されている。この特許文献１では、目標の画像を含む目標領域（対象領域）と、背景のみが含まれる背景領域とを設定し、背景領域を用いて背景色を決定するための関数を求めており、この関数を求めるために目標領域の周辺に広い背景領域を必要としている。従来の背景色決定方法は、何れの方法によっても広い背景領域を必要とする。
【０００４】
【特許文献１】
特開平１０−０４０３７８号公報
【０００５】
【発明が解決しようとする課題】
ところで、カメラの焦点距離や撮影対象物（撮影の主体）が置かれる撮影環境等によっては、撮影対象物の画像中に占める割合が大きくなってしまう場合がある。このような画像の場合、撮影対象物の画像領域（対象領域）を抜き出そうとすると、背景領域の画像中に占める割合が小さいため、従来の方法では、背景色を決定することが困難であるという問題が生じる。
【０００６】
このため、従来の方法で背景色を決定するためには、撮影対象物の画像領域を背景領域に較べて小さくしなければならず、自由な構成で撮影対象物を撮影することが困難になるという問題も生じる。特に、撮影環境によっては、撮影対象物や単色の背景物以外のもの、例えば、撮影対象物を乗せる載置台等も画像中に入ってしまう場合があるので、さらに構成の自由度や撮影環境の自由度等が制限されてしまう。
【０００７】
一方、従来の方法に対象領域をマスクすることによって画像中に占める背景領域の面積を相対的に広くする方法がある。しかしながら、この方法でも、撮影対象物の形状によっては視点を変えると見え方が異なるために、一の形状のマスクで対象領域をマスクすることができない。このため、複数の視点から撮影対象物を撮影した各画像を画像処理する場合には各視点毎にマスクを用意しなければならないという問題が生じる。
【０００８】
本発明は、上記問題点に鑑みて為された発明であり、画像データの各画素に重み付けを行うためのウェイト（weight、重み）を各画素毎に設定したウェイトマップを用いて背景色を画像に応じて適切に決定することができる背景色決定装置、背景色を決定する背景色決定方法及び画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る第１の背景色決定装置は、画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部とを備える。このような構成の背景色決定装置は、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、背景領域に対応する画素は、対象領域に対応する画素に比べて相対的に出現頻度が高くなる。このため、このような構成の背景色決定装置は、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。
【００１０】
そして、本発明に係る第２の背景色決定装置は、第１の背景色決定装置において、前記ウェイトマップは、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報のうちの少なくとも１つの情報に基づいて作成される。このような構成の背景色決定装置では、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報のうちの少なくとも１つの情報に基づいてウェイトマップが作成されているので、画像における撮影対象物の状況に応じてより的確に背景色を決定することができる。
【００１１】
また、本発明に係る第３の背景色決定装置は、第１の背景色決定装置において、前記ウェイトマップ記憶部は、互いに異なる複数のウェイトマップを記憶するものであって、前記複数のウェイトマップから１つのウェイトマップを決定する決定部をさらに備える。このような背景色決定装置では、複数のウェイトマップを記憶しているので画像に合わせて適切なウェイトマップを選択可能である。このため、より的確に背景色を決定することができる。
【００１２】
さらに、本発明に係る、画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶した背景色決定装置に用いられる背景色を決定する背景色決定方法は、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行うステップと、重み付けを行った各画素のカラーヒストグラムを作成するステップと、作成されたカラーヒストグラムに基づいて背景色を決定するステップとを備える。
【００１３】
このような構成の背景色決定方法では、画像中における対象領域に対する背景領域の背景色を決定する際に、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、背景領域に対応する画素の出現頻度を対象領域に対応する画素のそれに比べて相対的に高くすることができる。このため、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。
【００１４】
そして、本発明に係る画像処理装置は、画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部と、決定された背景色を用いて前記画像データを画像処理する画像処理部とを備える。
【００１５】
このような構成の画像処理装置は、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。このため、このような構成の画像処理装置は、適切に対象領域を抜き出すことができ、適切に対象領域に対して画像処理を行うことができる。
【００１６】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。まず、本実施形態の構成について説明する。
（実施形態の構成）
図１は、画像処理装置の構成を示す図である。図１において、画像処理装置１０は、画像中における撮影対象物の背景色をウェイトマップを用いて適切に決定して画像処理を施すことができ、中央処理装置（ＣＰＵ）２１、インターフェース部２２、バス２３、入力部２４、表示部２５、内部記憶部２６、外部記憶部２７及び補助記憶部２８を備えて構成される。
【００１７】
ＣＰＵ２１は、背景色決定装置１０の各部を制御すると共に、入力された画像データにおける撮影対象物の背景色を決定して画像処理を行う回路であり、ウェイトマップを決定するウェイトマップ決定部３１と、画像データにウェイトマップを作用させて得たデータからカラーヒストグラムを作成するヒストグラム作成部３２と、カラーヒストグラムに基づいて背景色を決定する背景色決定部３３、決定した背景色を用いて画像データに画像処理を施す画像処理部３４と、インターフェース部２２、入力部２４、表示部２５、内部記憶部２６、外部記憶部２７及び補助記憶部２８を制御する制御部３５とを備えて構成される。ＣＰＵ２１は、例えば、マイクロプロセッサ等を備えて構成される。
【００１８】
インターフェース部２２は、ＲＳ２３２Ｃ、ＳＣＳＩ、ＵＳＢ又はＩＥＥＥ１３９４等の規格に従って外部とデータを入出力する機器である。入力部２４は、背景色決定装置１０の起動指示やウェイトマップの指定等の各種コマンドやウェイトマップ等の各種データを入力する機器であり、例えば、キーボードやマウス等である。表示部２５は、入力部２４から入力されたコマンドやデータを表示したり、背景色決定装置１０の動作状況や処理中のデータを表示する機器であり、例えば、ＣＲＴディスプレイ、ＬＣＤ又は有機ＥＬディスプレイ等である。
【００１９】
内部記憶部２６は、ＣＰＵ２１が実行するプログラムを補助記憶部２８から読み込んだり、プログラム実行中の各データを記憶する記憶回路である。例えば、ＲＡＭやＲＯＭ等である。外部記憶部２７は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ及びＤＶＤ−Ｒ等の外部の記憶媒体とデータを読み書きする装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブ及びＤＶＤ−Ｒドライブ等である。補助記憶部２８は、例えばハードディスク等のデータを記憶する機器であり、画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部４１と、画像処理装置１０を動作させるためのプログラム等の各種プログラムを記憶するプログラム記憶部４２とを備えて構成される。各種プログラムが格納されていない場合には、各種プログラムは、これらを記録した記録媒体から外部記憶部２７を介して補助記憶部２８にインストールされる。これらＣＰＵ２１、インターフェース部２２、入力部２４、表示部２５、内部記憶部２６、外部記憶部２７及び補助記憶部２８は、データを相互に交換することができるようにバス２３でそれぞれ接続される。
【００２０】
次に、本実施形態の動作について説明する。
（実施形態の動作）
図２は、背景色決定装置の動作を示すフローチャートである。図２において、画像処理装置１０のＣＰＵ２１におけるウェイトマップ決定部３１は、補助記憶部２８のウェイトマップ記憶部４１からウェイトマップを決定し、ウェイトマップを読み込む（Ｓ１０１）。
【００２１】
ウェイトマップ記憶部４１に複数のウェイトマップが記憶されている場合には、例えば、表示部２５に複数のウェイトマップに関する情報を表示し、背景色を決定しようとする画像の特徴を考慮することによってユーザが一のウェイトマップを選択し、入力部２４から入力されるユーザの指示によって、ウェイトマップ決定部３１が決定するように構成する。また例えば、背景色を決定しようとする画像の画像データにカメラパラメータに関する情報、撮影環境に関する情報又は撮影対象物に関する情報等が合わせて記録されている場合には、これら情報に基づいてウェイトマップ決定部３１が決定するように構成してもよい。ウェイトマップについては、後述する。
【００２２】
次に、画像処理装置１０は、背景色を決定する対象となるカラー画像データを取り込む（Ｓ１０２）。このカラー画像データは、例えば、ディジタルスチルカメラやビデオカメラ等の撮像装置及びスキャナ等の画像読取装置等から生成される。そして、カラー画像データは、例えば、インタフェース部２２に接続されたこれら撮像装置や画像読取装置等から直接入力される。また例えば、カラー画像データは、カラー画像データを記憶したフレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ及びＤＶＤ−Ｒ等の外部の記憶媒体から外部記憶部２７を介して入力される。
【００２３】
次に、ＣＰＵ２１のヒストグラム作成部３２は、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行いながら、即ち、各画素毎に該画素に対応するウェイトを乗算しながらカラーヒストグラムを作成する（Ｓ１０３）。
【００２４】
ここで、カラーヒストグラムとは、画像中の各色の出現回数を度数とするヒストグラムである。例えば、輝度成分Ｙ及び色差成分ｕｖのそれぞれの成分の画像中における頻度を表したＹｕｖカラーヒストグラムは、輝度成分Ｙのヒストグラムが式１によって計算され、色差成分ｕ，ｖのヒストグラムが式２によって計算される。
【００２５】
【数１】
2004201020.tif 000003
【００２６】
【数２】
2004201020.tif 000004
【００２７】
ここで、Ｙij，ｕij，ｖijは注目画素（ｉ，ｊ）におけるＹｕｖカラーの各値であり、ｗijは注目画素（ｉ，ｊ）に対する重みｗ（０≦ｗ≦１）であり、Ｆy（Ｙ）は輝度成分Ｙの頻度であり、Ｆuv（ｕ，ｖ）は色差成分ｕ，ｖの頻度である。
【００２８】
図３及び図４にＹｕｖカラーヒストグラムの一例を示す。図３は、輝度成分のヒストグラムを示し、その横軸は輝度の値であり、その縦軸は当該輝度に対応した頻度である。図４は、色差成分のヒストグラムを示し、図４（Ａ）はｕｖ平面上で頻度の等高線を描いた図であり、図４（Ｂ）は図４（Ａ）でピークを含む頻度−色差ｕ平面で切った場合を示す。
【００２９】
次に、ＣＰＵ２１の背景色決定部３３は、作成されたカラーヒストグラムから出現頻度の高い階級のカラーを背景色と決定する（Ｓ１０４）。例えば、Ｙｕｖカラーヒストグラムを用いた背景色決定方法は、まず、輝度成分Ｙのヒストグラムに基づくフィルタリングを行う。例えば図３に示す輝度成分Ｙのヒストグラムにおいて、背景色の輝度Ｙｂは、一定の輝度Ｙを持つと考え、輝度Ｙが閾値ｔｈ１≦輝度Ｙ≦閾値ｔｈ２の範囲を背景色の輝度Ｙｂと考える。そして、色差成分ｕ，ｖによって背景色を決定する。例えば、図４に示す色差成分ｕ，ｖのヒストグラムにおいて、背景色は画像中最大頻度を持つと考え、色差成分ｕが閾値ｔｈ３≦色差ｕ≦閾値ｔｈ４の範囲であって、色差成分ｖが閾値ｔｈ５≦色差ｖ≦閾値ｔｈ６の範囲を背景色の色差成分ｕｂ、ｖｂと考える。ここで、各閾値ｔｈ１乃至ｔｈ６は、例えば、ヒストグラムの傾きに基づいて決定する。あるいは、ユーザが直接入力して決定する。
【００３０】
次に、ＣＰＵ２１の画像処理部３４は、決定された背景色に基づいて画像中から撮影対象物を抜き出して画像処理を行う（Ｓ１０５）。画像処理は、例えばクロマキー処理することにより撮影対象物の全周囲をシルエット画像にするように、画像処理を行う上で画像中から撮影対象物を抜き出す必要がある画像処理を行う。
【００３１】
そして、ＣＰＵ２１は、背景色を決定した画像データの画像と、決定したウェイトマップに関する情報と、作成したカラーヒストグラムと、決定した背景色と、決定した背景色に囲まれた画像のみを抜き出した画像と、画像処理後の画像とを表示部２５に表示する。
【００３２】
次に、ウェイトマップについて説明する。
（ウェイトマップ）
ウェイトマップは、画像データの各画素に重み付けを行うためのウェイトｗ（０≦ｗ≦１）を各画素毎に設定したマップである。ウェイトマップは、画像において背景色の領域ではウェイトｗijを大きくし（１に近く）、背景色を除く領域ではウェイトｗijを小さく（０に近く）する必要があるため、カメラパラメータ、撮影環境及び撮影対象物に応じて異なる。
【００３３】
例えば、図５に示す画像の場合には、図６に示すウェイトマップが適当である。図５は、背景色を決定する対象である画像の一例を模式的に示した模式図であり、図５に示す画像には、画像の略中央の領域に撮影対象物であるノート型パーソナルコンピュータ（ノートＰＣ）２０２と、ノートＰＣ２０２を乗せた回転ステージ２０４と、ノートＰＣ２０２の背景色となる、ノートＰＣ２０２の背後に立てかけられた青色板２０１と、撮影環境中において一定の明るさを確保するための、ノートＰＣ２０２を取り囲んでいる白色板２０３と、カメラの三脚２０５とが写されている。なお、視点が相異なる複数のカメラによって被写体を撮影する撮影システム、本実施形態では２台のカメラによる撮影システムを想定しており、図５の三脚２０５は、一方のカメラが捉えた他方のカメラを固定する三脚の一部である。
【００３４】
図５の画像では、撮影対象物であるノートＰＣ２０２が写されている領域の周囲が背景領域となると考えられる。そして、ウェイトマップは、前述のように背景色の領域ではウェイトｗijを大きくし、背景色を除く領域ではウェイトｗijを小さくする必要がある。このため、図６に示すウェイトマップでは、ノートＰＣ２０２が写されている領域に対応するウェイトマップの領域ＷＰa1のウェイトａ1を小さくし、このウェイトａ1の領域ＷＰa1における周囲の領域ＷＰa2のウェイトａ2を大きくする。そして、画像の周辺に行くに従って撮影対象物でも背景でもない領域となるので、ウェイトａ2の領域ＷＰa2における周囲の領域ＷＰakのウェイトａkを周辺に行くに従って徐々に小さくしている。即ち、１≧ａ2＞ａ3＞ａ4＞ａ5＞ａ6＞ａ7＞ａ8＞ａ9≧ａ1≧０となっている。なお、ウェイトａ1の領域ＷＰa1を円形形状に設定し、各領域ＷＰak（２≦ｋ≦８）をこの円に対する同心円のドーナツ形状に設定しているが、矩形形状等任意の形状でよい。また、各領域ＷＰakの間隔は、適宜設定される。
【００３５】
以下、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報に応じたウェイトマップの生成についてより詳細に説明する。
（カメラパラメータ）
図７は、図５の画像で示す被写体を広角で撮影した画像の一例の模式図である。図８は、図５の画像で示す被写体を望遠で撮影した画像の一例の模式図である。図９は、図７に示す画像に対応するウェイトマップの一例である。図１０は、図８に示す画像に対応するウェイトマップの一例である。図１１は、撮影対象物の画像の大きさを同一にすべく図５の画像で示す被写体を広角で撮影した画像の一例の模式図である。図１２は、撮影対象物の画像の大きさを同一にすべく図５の画像で示す被写体を望遠で撮影した画像の一例の模式図である。図１３は、図１１に示す画像に対応するウェイトマップの一例である。図１４は、図１２に示す画像に対応するウェイトマップの一例である。
【００３６】
カメラパラメータは、カメラパラメータを変えることにより、画像中に占める撮影対象物の領域及び背景領域の広さが相対的に変化する、カメラの撮影光学系における属性値である。特に、本実施形態では、カメラパラメータのうちの画角を変えることにより画像中に占める撮影対象物の領域及び背景領域の広さが相対的に変化することについて説明する。
【００３７】
例えば、カメラの位置を固定することによってカメラと被写体との距離を一定にして撮影した場合に画角（焦点距離）の相違によって画像中に占める撮影対象物の領域（ノートＰＣ２０２の画像領域）が変化するため、これに従ってウェイトマップも変化させる必要がある。図７及び図８を較べると分かるように、画像中に占める撮影対象物の領域の大きさは、画角の広い広角で撮影した画像（図７）の方が相対的に画角の狭い望遠で撮影した画像（図８）に較べて小さくなる。このため、カメラと被写体との距離が一定の場合において、画角の広い広角で撮影した画像に適用するウェイトマップ（図９）は、相対的に画角の狭い望遠で撮影した画像に適用するウェイトマップ（図１０）に較べて撮影対象物の領域に対応するウェイトマップの領域ＷＰ1の大きさを小さくする（面積を狭くする）必要がある。つまり、広角で撮影した画像に適用するウェイトマップ（図９）における撮影対象物の領域に対応するウェイトマップの領域ＷＰb1の大きさは、望遠で撮影した画像に適用するウェイトマップ（図１０）における撮影対象物の領域に対応するウェイトマップの領域領域ＷＰc1の大きさより小さくなる。このように画角（焦点距離）に応じて撮影対象物の領域に対応するウェイトマップの領域ＷＰ1の大きさ（面積）を変化させ、画角が広くなるに従って（焦点距離が小さくなるに従って）撮影対象物の領域に対応するウェイトマップの領域領域ＷＰ1の大きさを小さくなるように変化させる。
【００３８】
なお、図９及び図１０に示すウェイトマップにおいて、撮影対象物が写されている領域に対応するウェイトマップの領域ＷＰb1、ＷＰc1のウェイトｂ1、ｃ1を小さくし、このウェイトｂ1、ｃ1の領域ＷＰb1、ＷＰc1における周囲の領域ＷＰb2、ＷＰc2のウェイトｂ2、ｃ2を大きくし、そして、ウェイトｂ2、ｃ2の領域ＷＰb2、ＷＰc2における周囲の領域ＷＰbk、ＷＰckのウェイトｂk、ｃkを周辺に行くに従って徐々に小さくする点、及び、ウェイトｂ1、ｃ1の領域ＷＰb1、ＷＰc1を円形形状に設定し、各領域ＷＰbk、ＷＰckをこの円に対する同心円のドーナツ形状に設定している点は、図６と同様である。なお、１≧ｂ2＞ｂ3＞ｂ4＞ｂ5≧ｂ1≧０であり、１≧ｃ2＞ｃ3＞ｃ4＞ｃ5≧ｃ1≧０である。
【００３９】
また例えば、画像中における撮影対象物の領域の大きさが略同一になるように撮影した場合（カメラと被写体との距離を可変）でも、画角の相違によって画像中に占める背景領域（背景板２０１の画像領域）が変化するため、これに従ってウェイトマップも変化させる必要がある。即ち、広角と望遠とを比較すると図１１及び図１２から分かるように、広角の画角が望遠に較べて広いため、背景板２０１の稜線と画像の垂直方向となす角θは、広角の場合の角θ1＞望遠の場合の角θ2となり、背景板２０１の画像における下部の広がりは、広角の場合の方が望遠の場合に較べて広がり、その結果上部の長さＬは、広角の場合の長さＬ1＜望遠の場合の長さＬ2となる。よって、背景板２０１の後背にある白色板２０３は、広角で撮影した画像の方が画像中に広範囲に撮影されると考えられ、望遠で撮影した画像の方は画像中にわずかしか撮影されないと考えられる。背景板２０１の見え方が画角の相違によってこのように異なり、画角の相違に従ってウェイとマップも変化させる必要がある。
【００４０】
したがって、広角で撮影した画像に適用するウェイトマップ（図１３）は、望遠で撮影した画像に適用するウェイトマップ（図１４）に較べて背景領域に対応するウェイトマップの領域ＷＰkの大きさを大きくする（面積を広くする）必要がある。つまり、広角で撮影した画像に適用するウェイトマップ（図１３）における各領域ＷＰdk（２≦ｋ）の間隔は、望遠で撮影した画像に適用するウェイトマップ（図１４）における各領域ＷＰek（２≦ｋ）の間隔より徐々に広くする。このように、画像中における撮影対象物の領域の大きさが略同一になるように撮影する場合において、画角（焦点距離）に応じて撮影対象物の周囲を囲む背景領域に対応するウェイトマップの領域ＷＰkの大きさ（面積）を変化させ、画角が広くなるに従って（焦点距離が小さくなるに従って）撮影対象物の周囲を囲む背景色の領域に対応するウェイトマップの領域ＷＰkの大きさを徐々に広くなるように（各領域ＷＰkの間隔を徐々に広く）変化させる。
【００４１】
なお、図１３及び図１４に示すウェイトマップにおいて、撮影対象物が写されている領域に対応するウェイトマップの領域ＷＰd1、ＷＰe1のウェイトｄ1、ｅ1を小さくし、このウェイトｄ1、ｅ1の領域ＷＰd1、ＷＰe1における周囲の領域ＷＰd2、ＷＰe2のウェイトｄ2、ｅ2を大きくし、そして、ウェイトｄ2、ｅ2の領域ＷＰd2、ＷＰe2における周囲の領域ＷＰdk、ＷＰekのウェイトｄk、ｅkを周辺に行くに従って徐々に小さくする点、及び、ウェイトｄ1、ｅ1の領域ＷＰd1、ＷＰe1を円形形状に設定し、各領域ＷＰdk、ＷＰekをこの円に対する同心円のドーナツ形状に設定している点は、図６と同様である。なお、１≧ｄ2＞ｄ3＞ｄ4＞ｄ5＞ｄ6≧ｄ1≧０であり、１≧ｅ2＞ｅ3＞ｅ4＞ｅ5＞ｅ6＞ｅ7≧ｅ1≧０である。
【００４２】
（撮影環境）
撮影環境は、撮影対象物が置かれた周囲の状況であり、背景色となる被写体の他にも様々な被写体が存在する。例えば、図５の画像に示す被写体では、撮影対象物であるノートＰＣ２０２の周囲には、背景色となる背景板２０１の他に、白色板２０３、回転ステージ２０４及び三脚２０５が存在する。撮影対象物及び背景色となる被写体を除く被写体は、背景色の決定に無関係であるばかりでなく、背景色を決定するアルゴリズムにおいてノイズとなる。
【００４３】
このため、ウェイトマップは、撮影環境を考慮して、背景色の決定に無関係な被写体が写されている領域に対応するウェイトマップの領域ＷＰにおけるウェイトｗを小さい値（０に近い値）に設定する。特に、このような背景色の決定に無関係な被写体は、画像の周辺部に写されていると考えられるので、ウェイトマップの周辺部に対応する領域ＷＰのウェイトｗは、小さい値に設定される。
【００４４】
図６に示すウェイトマップでは、ノートＰＣ２０２が回転ステージ２０４に乗っていることが想定されており、周辺部に白色板２０３及び三脚２０５が存在することも想定されているため、ウェイトａ1の領域ＷＰa1の下部の領域及びウェイトマップの周辺部の領域におけるウェイトａ9を小さい値に設定している。
【００４５】
（撮影対象物）
図１５は、異なる視点から被写体を撮影した画像の一例の模式図である。図１６は、図１５に示す画像に対応するウェイトマップの一例である。図１７は、異なる視点から被写体を撮影した画像の他の一例の模式図である。図１８は、図１７に示す画像に対応するウェイトマップの一例である。
【００４６】
撮影対象物の形状によっては、視点によって大きく形状を変化させるものがある。つまり、撮影する角度によっては画像中の撮影対象物の形状が変化する結果、画像中における撮影対象物の領域（前景色の領域）の大きさが変化する場合がある。例えば、図５の画像に示す被写体において、回転テーブル２０４を回転させて、撮影対象物であるノートＰＣ２０２を横向きにすると図１５（Ａ）に示す画像となり、ノートＰＣ２０２を背面向きにすると図１５（Ｂ）に示す画像となる。図１５（Ａ）と図１５（Ｂ）とを比較すると分かるように、ノートＰＣ２０２を横向きにした方が、ノートＰＣ２０２を背面向きにした場合に較べて撮影対象物の領域（前景色の領域）の画像中に占める割合が小さくなる。
【００４７】
このような場合には、複数の視点で撮影された画像間において、画素値の変動量の平均を取ってウェイトマップを作成する必要がある。上述の例では、ノートＰＣ２０２のキーボード部分は、視点を変えても形状の変化がほぼ無く、その結果、各視点の画像間における画素値の変動量は少ない。このため、キーボード部分に対応するウェイトマップの領域におけるウェイトｗは、小さい値に設定される。一方、ノートＰＣ２０２のカバー部分は、視点を変えると図１５から分かるように形状の変化が大きく、その結果、各視点の画像間における画素値の変動量は大きい。このため、これら画像間での画素値の変動量を平均すると、ノートＰＣ２０２の中心ほど変動量が大きいためウェイトマップの中心部のウェイトｗは、大きい値に設定され、外側に行くに従って変動量が小さいためウェイトマップの周辺に行くに従ってウェイトｗは、徐々に小さい値に設定される。
【００４８】
図１６に示す図１５の画像に対応するウェイトマップは、各領域が矩形形状に設定され、中心領域ＷＰf1のウェイトｆ1が大きい値に設定され、ウェイトマップの周辺に行くに従ってウェイトｆkが徐々に小さい値に設定される。なお、１≧ｆ1＞ｆ2＞ｆ3＞ｆ4≧０である。
【００４９】
また、撮影対象物の材質によっては、画像の色差成分のみでは背景色を決定することが困難となる場合がある。例えば、撮影対象物の材質が金属光沢を持つ場合のように、撮影対象物に背景色が映り込む場合である。このような場合では、撮影対象物に移り込んだ部分も背景色であると誤判断してしまう可能がある。そのため、輝度成分Ｙを考慮して背景色を決定する必要がある。即ち、背景色は、或る一定の輝度Ｙを持つと考え、画像中の高輝度成分及び低輝度成分を有する画像領域に対応するウェイトマップの領域におけるウェイトｗを小さい値に設定する。
【００５０】
一方、輝度成分Ｙについても、撮影対象物の形状と同様に、視点によって大きく輝度値を変化させる場合がある。つまり、撮影する角度によっては画像中の撮影対象物の材質が変化する結果、画像中における撮影対象物の領域における輝度値が変化する場合がある。例えば、図５の画像に示す被写体において、回転テーブル２０４を回転させて、撮影対象物であるノートＰＣ２０２を前面向きにすると図１７（Ａ）に示すように液晶側の画像となり、ノートＰＣ２０２を背面向きにすると図１７（Ｂ）に示すように金属側の画像となる。図１７（Ａ）と図１７（Ｂ）とを比較すると分かるように、ノートＰＣ２０２を前面向きにした方が、ノートＰＣ２０２を背面向きにした場合に較べて撮影対象物の領域における輝度値が小さくなる。このような場合、複数の視点で撮影された画像間において、輝度値が大きく変化した領域は、背景色ではないと考え、この領域に対応するウェイトマップの領域のウェイトｗを小さい値に設定し、輝度値があまり変化しない領域は、背景色であると考え、この領域に対応するウェイトマップの領域のウェイトｗを大きな値に設定する。
【００５１】
上述の例では、ノートＰＣ２０２のキーボード部分は、視点を変えても輝度の変化がほぼ無く、このため、キーボード部分に対応するウェイトマップの領域におけるウェイトｗは、大きな値に設定される。一方、ノートＰＣ２０２のカバー部分は、視点を変えると図１７から分かるように前面向き（液晶側）と背面向き（金属側）とで変化が大きく、カバー部分の中心ほど輝度値の変化が大きい。このため、カバー部分の中心に対応するウェイトマップの中心領域のウェイトｗは、小さい値に設定され、ウェイトマップの周辺に行くに従ってウェイトｗは、徐々に大きい値に設定される。
【００５２】
図１８に示す図１７の画像に対応するウェイトマップは、各領域が矩形形状に設定され、中心領域ＷＰg1のウェイトｇ1が小さい値に設定され、ウェイトマップの周辺に行くに従ってウェイトｇkが徐々に大きい値に設定される。なお、１≧ｇ2＞ｇ3＞ｇ1≧０である。
【００５３】
そして、このような種々の複数のウェイトマップが、例えば、図１に示す画像処理装置１０のウェイトマップ記憶部４１にウェイトマップを識別する識別子と共に記憶される。
【００５４】
次に、上述の図２のＳ１０１におけるウェイトマップを選択する一実施形態について説明する。
（ウェイトマップの選択画面）
図１９は、ウェイトマップ選択メニューの画面を示す図である。図１９において、ウェイトマップ選択メニュー５０は、カメラパラメータに関する情報に応じてウェイトマップを選択するカメラパラメータメニュー表５１と、撮影環境に関する情報に応じてウェイトマップを選択する撮影環境メニュー表５２と、撮影対象物に関する情報に応じてウェイトマップを選択する撮影対象物メニュー表５３と、選択されたウェイトマップを表示する選択結果欄５４とを備えて構成される。
【００５５】
ウェイトマップを選択する際に、カメラパラメータメニュー表５１では、カメラと被写体との距離が「一定」か「フリー」か、そしてこれら各場合について焦点距離（画角）が「広角」か「望遠」かによってウェイトマップ番号Ｎｏ１〜Ｎｏ４を選択することができるように構成されている。
【００５６】
ウェイトマップを選択する際に、撮影環境メニュー表５２では、背景状況が背景のみしか画像に写し込まれていない「背景色のみ」か、背景以外の被写体も画像に写り込んでいる「その他有り」かによってウェイトマップ番号Ｎｏ５又はＮｏ６を選択することができるように構成されている。
【００５７】
ウェイトマップを選択する際に、撮影対象物メニュー表５３では、撮影対象物の形状に変化が視点変化により「大きい」か「小さい」かによって、撮影対象物の材質に金属光沢が「有り」か「無し」かによって、又は、撮影対象物の材質に変化が視点変化により「大きい」か「小さい」かによって、ウェイトマップ番号Ｎｏ７〜Ｎｏ１２を選択することができるように構成されている。
【００５８】
図２のＳ１０１において、図１９に示すウェイトマップ選択メニュー画面が表示部２５に表示され、ユーザは、背景色を決定しようとする画像に応じて各メニュー表の記載を参照することによって適切なウェイトマップを選択し、選択したウェイトマップ番号を入力部２４を用いて入力する。ウェイトマップ番号は、キーボードから直接番号を入力したり、画面上のウェイトマップ番号にカーソルを合わせてマウスをクリックしたりすることによって入力される。ウェイトマップの番号が選択されると、選択されたウェイトマップ番号が選択結果欄５４に表示される。
【００５９】
このようにしてウェイトマップが入力され、ＣＰＵ２１は、入力されたウェイトマップ番号を識別子として用いてウェイトマップ記憶部４１からウェイトマップを決定し、読み込む。
【００６０】
なお、上述のウェイトマップの選択では、ウェイトマップをウェイトマップの特徴とウェイトマップ番号とによって選択するように構成したが、ウェイトマップ番号の代わりにウェイトマップ記憶部４１に記憶されているウェイトマップを直接表示するように構成して、ユーザは、表示されたウェイトマップを参照することによってウェイトマップを選択するようにしてもよい。
【００６１】
以上、本明細書に開示された主な発明を以下にまとめる。
【００６２】
（付記１）画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部とを備えることを特徴とする背景色決定装置。このような構成の背景色決定装置は、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、背景領域に対応する画素は、対象領域に対応する画素に比べて相対的に出現頻度が高くなる。このため、このような構成の背景色決定装置は、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。
【００６３】
（付記２）前記ウェイトマップは、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報のうちの少なくとも１つの情報に基づいて作成されることを特徴とする付記１に記載の背景色決定装置。このような構成の背景色決定装置では、付記１の効果に加えて、カメラパラメータに関する情報、撮影環境に関する情報及び撮影対象物に関する情報のうちの少なくとも１つの情報に基づいてウェイトマップが作成されているので、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６４】
（付記３）前記カメラパラメータに関する情報は、カメラの撮影光学系における画角及びカメラと被写体との位置関係であることを特徴とする付記２に記載の背景色決定装置。このような構成の背景色決定装置では、カメラの撮影光学系における画角及びカメラと被写体との位置関係を考慮したウェイトマップが記憶されるので、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６５】
（付記４）前記撮影対象物に関する情報は、撮影対象物の形状又は材質に基づくことを特徴とする付記２に記載の背景色決定装置。このような構成の背景色決定装置では、撮影対象物の形状又は材質を考慮したウェイトマップが記憶されるので、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６６】
（付記５）前記撮影対象物に関する情報は、同一被写体を異なる視点から撮影することによって生成された複数の画像データにおける同一画素位置の値の変動量に基づくことを特徴とする付記２に記載の背景色決定装置。このような構成の背景色決定装置では、視点の変化による撮影対象物の見え方の変化を考慮したウェイトマップが記憶されるので、撮影対象物が視点の変化によって見え方の異なる物であっても、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６７】
（付記６）前記撮影対象物に関する情報は、同一被写体を異なる視点から撮影することによって生成された複数の画像データにおける同一画素位置の輝度値の変動量に基づくことを特徴とする付記２に記載の背景色決定装置。このような構成の背景色決定装置では、視点の変化による撮影対象物の輝度値の変化を考慮したウェイトマップが記憶されるので、撮影対象物が視点の変化によって輝度値の異なる物であっても、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６８】
（付記７）前記ウェイトマップ記憶部は、互いに異なる複数のウェイトマップを記憶するものであって、前記複数のウェイトマップから１つのウェイトマップを決定する決定部をさらに備えることを特徴とする付記１に記載の背景色決定装置。このような背景色決定装置では、複数のウェイトマップを記憶しているので画像に合わせて適切なウェイトマップを選択可能である。このため、付記１に記載の背景色決定装置に較べてより的確に背景色を決定することができる。
【００６９】
（付記８）画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶した背景色決定装置に用いられる背景色を決定する背景色決定方法において、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行うステップと、重み付けを行った各画素のカラーヒストグラムを作成するステップと、作成されたカラーヒストグラムに基づいて背景色を決定するステップとを備えることを特徴とする背景色決定方法。
【００７０】
（付記９）画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶したコンピュータに、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行うステップと、重み付けを行った各画素のカラーヒストグラムを作成するステップと、作成されたカラーヒストグラムに基づいて背景色を決定するステップとを実行させる、画像中における対象領域に対する背景色を決定する背景色決定プログラム。
【００７１】
（付記１０）画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記録したコンピュータ読取可能な記録媒体において、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行うステップと、重み付けを行った各画素のカラーヒストグラムを作成するステップと、作成されたカラーヒストグラムに基づいて背景色を決定するステップとを備える画像中における対象領域に対する背景色を決定する背景色決定プログラムを記録した記憶媒体。
【００７２】
付記８に記載の背景色決定方法、付記９に記載の背景色決定プログラム、付記１０に記載の背景色決定プログラムを記憶した記憶媒体では、画像中における対象領域に対する背景領域の背景色を決定する際に、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、背景領域に対応する画素の出現頻度を対象領域に対応する画素に比べて相対的に高くすることができる。このため、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。
【００７３】
（付記１１）画像データの各画素に重み付けを行うためのウェイトを各画素毎に設定したウェイトマップを記憶するウェイトマップ記憶部と、画像データの各画素に前記ウェイトマップの画素に対応するウェイトで重み付けを行いながらカラーヒストグラムを作成するヒストグラム作成部と、作成されたカラーヒストグラムに基づいて背景色を決定する背景色決定部と、決定された背景色を用いて前記画像データを画像処理する画像処理部とを備えることを特徴とする画像処理装置。このような構成の画像処理装置は、画像データの各画素にウェイトマップの画素に対応するウェイトで重み付けを行うので、背景領域に対応する画素は、対象領域に対応する画素に比べて相対的に出現頻度が高くなる。このため、このような構成の画像処理装置は、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができるから、適切に対象領域を抜き出すことができ、適切に対象領域に対して画像処理を行うことができる。
【００７４】
【発明の効果】
以上のように、本発明に係る背景色決定装置及び背景色決定方法及び画像処理装置は、画像データの各画素にウェイトマップを作用させるので、背景領域に対応する画素は、対象領域に対応する画素に比べて相対的に出現頻度が高くなる。このため、画像中に占める背景領域の面積割合が対象領域の面積割合に較べて小さい場合でも適切に背景色を決定することができる。
【００７５】
よって、撮影対象物を自由な構成で撮影することができ、撮影環境の自由度が増加する。また、一の形状で対象領域をマスクすることができないような、視点を変えると見え方が異なる撮影対象物でも適切に背景色を決定することができる。
【００７６】
さらに、このような画像処理装置は、適切に背景色を決定することができるから、適切に対象領域を抜き出すことができ、適切に対象領域に対して画像処理を行うことができる。
【図面の簡単な説明】
【図１】画像処理装置の構成を示す図である。
【図２】背景色決定装置の動作を示すフローチャートである。
【図３】Ｙｕｖカラーヒストグラムにおける輝度成分のヒストグラムを示す図である。
【図４】Ｙｕｖカラーヒストグラムにおける色差成分のヒストグラムを示す図である。
【図５】背景色を決定する対象である画像の一例を模式的に示した模式図である。
【図６】図５に示す画像に対応するウェイトマップの一例である。
【図７】図５の画像で示す被写体を広角で撮影した画像の一例の模式図である。
【図８】図５の画像で示す被写体を望遠で撮影した画像の一例の模式図である。
【図９】図７に示す画像に対応するウェイトマップの一例である。
【図１０】図８に示す画像に対応するウェイトマップの一例である。
【図１１】撮影対象物の画像の大きさを同一にすべく図５の画像で示す被写体を広角で撮影した画像の一例の模式図である。
【図１２】撮影対象物の画像の大きさを同一にすべく図５の画像で示す被写体を望遠で撮影した画像の一例の模式図である。
【図１３】図１１に示す画像に対応するウェイトマップの一例である。
【図１４】図１２に示す画像に対応するウェイトマップの一例である。
【図１５】異なる視点から被写体を撮影した画像の一例の模式図である。
【図１６】図１５に示す画像に対応するウェイトマップの一例である。
【図１７】異なる視点から被写体を撮影した画像の他の一例の模式図である。
【図１８】図１７に示す画像に対応するウェイトマップの一例である。
【図１９】ウェイトマップ選択画面の一例を示す図である。
【符号の説明】
１０  画像処理装置
２１  中央処理装置
２８  補助記憶部
３１  ウェイトマップ決定部
３２  ヒストグラム作成部
３３  背景色決定部
３４  画像処理部
４１  ウェイトマップ記憶部
４２  プログラム記憶部
５０  ウェイトマップ選択メニュー
５１  カメラパラメータメニュー表
５２  撮影環境メニュー表
５３  撮影対象物メニュー表
５４  選択結果欄
【図１】
2004201020.tif 000005
【図２】
2004201020.tif 000006
【図３】
2004201020.tif 000007
【図４】
2004201020.tif 000008
【図５】
2004201020.tif 000009
【図６】
2004201020.tif 000010
【図７】
2004201020.tif 000011
【図８】
2004201020.tif 000012
【図９】
2004201020.tif 000013
【図１０】
2004201020.tif 000014
【図１１】
2004201020.tif 000015
【図１２】
2004201020.tif 000016
【図１３】
2004201020.tif 000017
【図１４】
2004201020.tif 000018
【図１５】
2004201020.tif 000019
【図１６】
2004201020.tif 000020
【図１７】
2004201020.tif 000021
【図１８】
2004201020.tif 000022
【図１９】
2004201020.tif 000023