(57)【特許請求の範囲】
【請求項１】
複数台の画像取得装置が接続されている画像処理装置であって、
前記複数台の画像取得装置のうち選択された画像取得装置を選択画像取得装置とし、該選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第１の選択色情報として選択する第１の選択手段と、
前記複数台の画像取得装置のうち選択されなかった画像取得装置を非選択画像取得装置とし、該非選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第２の選択色情報として選択する第２の選択手段と、
前記選択画像取得装置による取得画像の色特性と前記非選択画像取得装置による取得画像の色特性との差を示す情報として予め求められた特性差情報を用いて、前記第１の選択色情報を変換することで、変換済み選択色情報を得る変換手段と、
前記変換済み選択色情報を用いて、前記第２の選択色情報を調整する調整手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の選択手段は、
前記選択画像取得装置による取得画像を表示する手段と、
前記表示された取得画像に対して領域を設定する手段と、
前記設定された領域内の色情報を前記第１の選択色情報として選択する手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の選択手段は、
前記選択画像取得装置による取得画像に対して設定された領域内の色情報を、従前に選択されている選択色情報に追加する追加手段と、
前記選択画像取得装置による取得画像に対して設定された領域内の色情報を、従前に選択されている選択色情報から削除する削除手段と、
前記追加手段と前記削除手段の何れかを動作させて前記第１の選択色情報を更新する手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の選択手段は、
前記選択画像取得装置による取得画像が有する色情報を表示する手段と、
前記表示された色情報のうち一部若しくは全部を前記第１の選択色情報として選択する手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記調整手段は、
前記第２の選択色情報に前記第１の選択色情報を追加する手段と、
前記第２の選択色情報から前記第１の選択色情報を削除する手段と、
前記第２の選択色情報に前記変換済み選択色情報を追加する手段と
を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
更に、
前記変換手段の動作の可否を設定する手段を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第２の選択手段は、前記選択画像取得装置による取得画像に対して設定された領域と、前記非選択画像取得装置による取得画像とのパターンマッチングを行い、該設定された領域とマッチした、前記非選択画像取得装置による取得画像上の領域を、前記対応領域として特定し、該対応領域内の色情報を前記第２の選択色情報として選択することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記第２の選択手段は、前記選択画像取得装置と前記非選択画像取得装置との間の相対的な位置関係、画角、被写体までの推定距離、を用いて、前記選択画像取得装置による取得画像上の座標を前記非選択画像取得装置による取得画像上への座標に変換するための情報を求め、前記設定された領域を該情報を用いて変換することで、前記対応領域を特定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
複数台の画像取得装置が接続されている画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の選択手段が、前記複数台の画像取得装置のうち選択された画像取得装置を選択画像取得装置とし、該選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第１の選択色情報として選択する第１の選択工程と、
前記画像処理装置の第２の選択手段が、前記複数台の画像取得装置のうち選択されなかった画像取得装置を非選択画像取得装置とし、該非選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第２の選択色情報として選択する第２の選択工程と、
前記画像処理装置の変換手段が、前記選択画像取得装置による取得画像の色特性と前記非選択画像取得装置による取得画像の色特性との差を示す情報として予め求められた特性差情報を用いて、前記第１の選択色情報を変換することで、変換済み選択色情報を得る変換工程と、
前記画像処理装置の調整手段が、前記変換済み選択色情報を用いて、前記第２の選択色情報を調整する調整工程と
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像のそれぞれに対して、対応する色情報を含む領域を設定するための技術に関するものである。
【背景技術】
【０００２】
従来より、動画像を撮像する為のカメラ等の画像取得装置に対して色空間中のある色領域を設定し、設定した色領域を示す色領域情報を用いて、その画像取得装置から出力される画像を処理する技術があった。
【０００３】
例えば、画像取得装置の一例であるクロマキー装置では色相の範囲を指定して、装置に入力される前景画像の中から指定した範囲内の色相の色をもつ画像領域を切り出し、同じ装置に入力される背景画像に重畳合成する。このような処理により、例えば青色一色の背景の前に立っている人物の像を別の映像の中に登場させることが出来る。
【０００４】
また、画像取得装置の一例であるバーチャルスタジオ装置では、装置に入力される映像において、指定した色領域に含まれる色を持つ画像領域にＣＧ（コンピュータ・グラフィクス）により生成した画像を嵌め込み合成する（特許文献１）。このようにすることで、例えば青色一色の背景の中に人物がいる映像において、ブルーの背景部分のみをＣＧ映像に置き換えることが出来る。
【特許文献１】特開平１０−１５０５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では画像取得装置毎に独立して色領域を設定しなければならなかったため、画像取得装置の数が増加するに従って、色領域を設定する操作の煩雑さが増加する、という問題があった。この問題を解決する方法としては、色領域を自動または半自動で推定することが考えられる。しかし、推定方法の不完全さ、あるいは推定のために用いるデータの誤差により、推定結果には必ず誤差が含まれる。したがって、推定した色領域が手動で設定した色領域よりも画像取得装置にとって適したものになるとは限らない。
【０００６】
本発明は、以上の問題に鑑みてなされたものであり、複数の画像のそれぞれに対して、対応する色情報を含む領域の設定を、より簡便且つ正確に行う為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【０００８】
即ち、複数台の画像取得装置が接続されている画像処理装置であって、
前記複数台の画像取得装置のうち選択された画像取得装置を選択画像取得装置とし、該選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第１の選択色情報として選択する第１の選択手段と、
前記複数台の画像取得装置のうち選択されなかった画像取得装置を非選択画像取得装置とし、該非選択画像取得装置による取得画像が有する色情報のうち、一部若しくは全部を第２の選択色情報として選択する第２の選択手段と、
前記選択画像取得装置による取得画像の色特性と前記非選択画像取得装置による取得画像の色特性との差を示す情報として予め求められた特性差情報を用いて、前記第１の選択色情報を変換することで、変換済み選択色情報を得る変換手段と、
前記変換済み選択色情報を用いて、前記第２の選択色情報を調整する調整手段と
を備えることを特徴とする。
【発明の効果】
【００１５】
本発明の構成によれば、複数の画像のそれぞれに対して、対応する色情報を含む領域の設定を、より簡便且つ正確に行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１７】
［第１の実施形態］
本実施形態では、２台のカメラを接続した画像処理装置が、一方のカメラによる撮像画像（取得画像）中のユーザにより指示された領域に含まれている色情報を取得してメモリに記録する。そして更に、係る色情報を、一方のカメラと他方のカメラとで撮像される画像の色特性の差を示す特性差情報を用いて変換したものを、他方のカメラ用に求め、求めた色情報をメモリに記録する。もちろん、他方のカメラによる撮像画像中に領域を設定し、係る領域に含まれている色情報を取得するようにユーザから指示された場合には、この色情報を、上記変換した色情報にマージしてメモリ１０２に記録する。
【００１８】
図１は、本実施形態に係るシステムのハードウェア構成例を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、画像処理装置１００と、カメラ１１０、カメラ１１２、により構成されている。カメラ１１０、カメラ１１２は何れも、現実空間の動画像を撮像する撮像装置であり、画像取得装置の一例である。カメラ１１０は、撮像した各フレームの画像（現実空間画像、若しくは撮像画像と呼称する）を、後段の画像処理装置１００に送出する。カメラ１１２についても同様に、撮像した各フレームの画像を、後段の画像処理装置１００に送出する。
【００１９】
次に、画像処理装置１００について説明する。画像処理装置１００は、例えば、一般のＰＣでもって実装されるもので、後述する各部を有する。
【００２０】
ＣＰＵ１０１は、メモリ１０２に格納されているプログラムやデータを用いて処理を実行することで、画像処理装置１００全体の制御を行うと共に、画像処理装置１００が行うものとして後述する各処理を実行する。
【００２１】
メモリ１０２は、外部記憶装置１０５からロードされたプログラムやデータ、後述のフレームグラバー１０９，１１１を介してそれぞれカメラ１１０、１１２から送出された撮像画像のデータを一時的に記憶するためのエリアを有する。更に、メモリ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、メモリ１０２は、各種のエリアを適宜提供することができる。
【００２２】
ＣＰＵ１０１、メモリ１０２は、バス１０３に接続されている。係るバス１０３は更に、後述するインターフェース１０４に接続されている。そしてインターフェース１０４には、後述する各部が接続されている。
【００２３】
キーボード１０６、マウス１０７は、画像処理装置１００の操作者が操作することで、各種の指示をＣＰＵ１０１に対して入力することができる。例えば、後述するＧＵＩ（グラフィカルユーザインターフェース）に対する操作指示は、操作者がキーボード１０６やマウス１０７を用いて行う。もちろん、操作指示のための機器についてはこれに限定するものではなく、様々なものが考え得る。
【００２４】
表示部１０８は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。例えば、後述するＧＵＩは、係る表示部１０８の表示画面上に表示される。
【００２５】
外部記憶装置１０５は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１０５には、ＯＳ（オペレーティングシステム）や、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行させるためのプログラムやデータなどが保存されている。外部記憶装置１０５に保存されているプログラムやデータは、ＣＰＵ１０１による制御に従って適宜メモリ１０２に読み出され、ＣＰＵ１０１による処理対象となる。
【００２６】
フレームグラバー１０９、１１１はそれぞれ、カメラ１１０、１１２を画像処理装置１００に接続するためのものである。フレームグラバー１０９は、カメラ１１０から送出された動画像信号から、フレーム毎の撮像画像のディジタルデータを生成し、順次インターフェース１０４を介してメモリ１０２や外部記憶装置１０５に送出する。同様に、フレームグラバー１１１は、カメラ１１２から送出された動画像信号から、フレーム毎の撮像画像のディジタルデータを生成し、順次インターフェース１０４を介してメモリ１０２や外部記憶装置１０５に送出する。
【００２７】
本実施形態では、図１に示した構成を有するシステムを用いて説明するが、例えば、画像処理装置１００の構成や、カメラの台数については、図１に示したものに限定するものではなく、適宜変形しても良いことは、後述する説明より明らかとなるであろう。
【００２８】
図２は、画像処理装置１００の機能構成例を示すブロック図である。
【００２９】
図２に示す如く、画像処理装置１００の機能構成は、色領域決定部２０１、色領域推定部２０５、色領域調整部２０６に大別される。色領域決定部２０１は、カメラ１１０による撮像画像が有する色情報のうち一部若しくは全部を選択色情報として選択し、メモリ１０２に記録する為の構成を有する。色領域推定部２０５は、色領域決定部２０１によって選択された選択色情報を、カメラ１１２用に変換するための構成を有する。色領域調整部２０６は、カメラ１１２による撮像画像が有する色情報のうち一部若しくは全部を選択し、色領域推定部２０５により変換された色情報（変換済み選択色情報）とマージしてメモリ１０２に記録する為の構成を有する。
【００３０】
次に、色領域決定部２０１、色領域推定部２０５、色領域調整部２０６のそれぞれについてより詳細に説明する。
【００３１】
先ず、色領域決定部２０１について説明する。色領域決定部２０１は、画像取得部２０２、画像領域指定部２０３、色領域抽出部２０４を有する。
【００３２】
画像取得部２０２は、カメラ１１０からフレームグラバー１０９を介して撮像画像（のデータ）を取得する。取得した撮像画像は、後段の画像領域指定部２０３と色領域抽出部２０４とに送出する。
【００３３】
画像領域指定部２０３は、画像取得部２０２が取得した撮像画像上（取得画像上）で任意の領域をユーザに指定させる。そして、ユーザにより指定された領域（色領域）を示す情報を、後段の色領域抽出部２０４に送出する。
【００３４】
色領域抽出部２０４は、画像取得部２０２から受けた撮像画像上でユーザにより指定された領域を、画像領域指定部２０３から受けた情報に基づいて特定し、特定した領域に含まれている色情報を選択色情報として取得する。そして、取得した選択色情報をメモリ１０２に記録する。また、色領域抽出部２０４は、取得した選択色情報を、色領域推定部２０５にも送出する。
【００３５】
次に、色領域推定部２０５について説明する。
【００３６】
色領域推定部２０５は、色領域抽出部２０４から受けた選択色情報を、カメラ１１０による撮像画像とカメラ１１２による撮像画像との色特性の差を示す特性差情報を用いて、変換する。係る変換について詳しくは後述する。そして、係る変換により得られた色情報を、変換済み選択色情報として色領域調整部２０６に送出する。
【００３７】
次に、色領域調整部２０６について説明する。色領域調整部２０６は、画像取得部２０７、色領域追加部２０８、画像領域指定部２０９を有する。
【００３８】
画像取得部２０７は、カメラ１１２からフレームグラバー１１１を介して撮像画像（のデータ）を取得する。取得した撮像画像は、後段の色領域追加部２０８、画像領域指定部２０９に送出する。
【００３９】
画像領域指定部２０９は、画像取得部２０７が取得した撮像画像上で任意の領域をユーザに指定させる。そして、ユーザにより指定された領域（色領域）を示す情報を、後段の色領域追加部２０８に送出する。
【００４０】
色領域追加部２０８は、画像取得部２０７から受けた撮像画像上でユーザにより指定された領域を、画像領域指定部２０９から受けた情報に基づいて特定する。そして、特定した領域に含まれている色情報と、色領域推定部２０５から受けた変換済み選択色情報と、をマージした色情報を、メモリ１０２に記録する。ここで、色情報同士のマージとは、色空間内で一方の色情報が示す領域と、同空間内で他方の色情報が示す領域とを結合した領域を示す色情報を生成することである。
【００４１】
なお、図２に示した各部はハードウェアで構成しても良いが、コンピュータプログラムでもって実装しても良い。後者の場合、係るコンピュータプログラムは、外部記憶装置１０５に保存しておき、必要に応じてメモリ１０２にロードし、ＣＰＵ１０１がこれを用いて処理を実行する。これにより、ＣＰＵ１０１は、図２に示した各部の動作を実現することになる。
【００４２】
図３は、画像処理装置１００が、カメラ１１０による撮像画像、カメラ１１２による撮像画像、のそれぞれについて色情報を収集し、メモリ１０２に記録するための処理のフローチャートである。図３のフローチャートに従った処理をＣＰＵ１０１に実行させるためのプログラム（例えば、図２に示した各部に対応するプログラム）やデータ（例えば、上記特性差情報）は、外部記憶装置１０５に保存されている。そして、係るプログラムやデータは、ＣＰＵ１０１による制御に従って適宜、メモリ１０２にロードされる。そして、ＣＰＵ１０１がこのロードされたプログラムやデータを用いて処理を実行することで、画像処理装置１００は、後述する各処理を実行することになる。
【００４３】
また、以下の説明では、「色情報」は色差Ｃｒ、Ｃｂであるものとする。しかし、他の色成分であっても、以下の説明は同様に適用することができる。
【００４４】
ステップＳ３０１では、様々な初期化処理を行う。係る初期化処理には、メモリ１０２上に設けられたカメラ１１０用の２次元配列Ｃｏｌ１（ｘ，ｙ）、カメラ１１２用の２次元配列Ｃｏｌ２（ｘ，ｙ）を０に初期化する処理が含まれている。また、２次元配列を０に初期化する、とは、２次元配列を構成する全ての要素について０を代入すると言うことである。
【００４５】
ここで、２次元配列Ｃｏｌ１（ｘ，ｙ）について説明する。カメラ１１０による撮像画像上でユーザにより指定された領域内に、Ｃｒ＝ｐ、Ｃｂ＝ｑなる色差が含まれている場合には、Ｃｏｌ１（ｐ、ｑ）＝１であり、Ｃｒ＝ｐ、Ｃｂ＝ｑなる色差が含まれていなければＣｏｌ１（ｐ、ｑ）＝０である。換言すれば、Ｃｏｌ１（ｐ、ｑ）＝１を満たすｐ、ｑが、カメラ１１０による撮像画像上でユーザが指定した領域内に含まれている色差となる。
【００４６】
同様に、カメラ１１２による撮像画像上でユーザにより指定された領域内に、Ｃｒ＝ｐ、Ｃｂ＝ｑなる色差が含まれている場合には、Ｃｏｌ２（ｐ、ｑ）＝１であり、Ｃｒ＝ｐ、Ｃｂ＝ｑなる色差が含まれていなければＣｏｌ２（ｐ、ｑ）＝０である。換言すれば、Ｃｏｌ２（ｐ、ｑ）＝１を満たすｐ、ｑが、カメラ１１２による撮像画像上でユーザが指定した領域内に含まれている色差となる。
【００４７】
また、詳しくは後述するが、Ｃｏｌ１（ｐ、ｑ）＝１を満たす全てのｐ、ｑを、上記特性差情報を用いて変換することで得られるｐ’、ｑ’を用いて、Ｃｏｌ２（ｐ’、ｑ’）の値を１に設定する。即ち、２次元配列Ｃｏｌ２（ｘ、ｙ）は、カメラ１１２による撮像画像上でユーザが指定した領域内の色差と、特性差情報を用いてＣｏｌ１（ｘ、ｙ）を変換した結果と、をマージした結果を反映したものとなる。
【００４８】
図３に戻って、次に、ステップＳ３０２では、カメラ１１０による撮像画像とカメラ１１２による撮像画像との色特性の差を示す特性差情報を外部記憶装置１０５からメモリ１０２に読み出す。ここで、特性差情報について説明する。
【００４９】
同じ対象物を異なるカメラにより撮像した場合、それぞれのカメラによる撮像画像上における対象物の色は、それぞれのカメラの特性などに起因して、若干ながら差が生じていることが多い。そこで、本実施形態では、係る差を特性差情報として予め求めておく。本実施形態では、色情報を色差Ｃｒ、Ｃｂで表すので、特性差情報は、図１２に示す如く、色差の変換関係を表し、CbCr空間における回転変換で表すこととする。従って、特性差情報とは、CbCr空間における回転角を示す情報である。なお、係る特性差情報については予め求めておき、外部記憶装置１０５に保存しておく。図１２は、CbCr空間における特性差情報を説明する図である。
【００５０】
図３に戻って次に、ステップＳ３０３では、上記色領域決定部２０１が行うものとして上述した処理を実行し、カメラ１１０による撮像画像上でユーザが指定した領域に含まれている色差ｐ、ｑを収集する。そして収集した色差ｐ、ｑを用いて、２次元配列Ｃｏｌ１（ｐ、ｑ）に１を設定する。ステップＳ３０３における処理の詳細については後述する。
【００５１】
次に、ステップＳ３０４では、ステップＳ３０３で収集した色差を、ステップＳ３０２でメモリ１０２にロードした特性差情報を用いて変換し、変換後の色差をメモリ１０２に記録する。より詳しくは、Ｃｏｌ１（ｐ、ｑ）＝１を満たす全てのｐ、ｑを、ＣｂＣｒ空間における原点周りに特性差情報が示す回転角だけ回転させることで、全てのｐ、ｑに対応するｐ’、ｑ’を求める。そして、全てのｐ’、ｑ’について２次元配列Ｃｏｌ２（ｐ’、ｑ’）の値を１に設定する。
【００５２】
なお、カメラ１１０による撮像画像とカメラ１１２による撮像画像との色特性の差がない場合（本実施形態では、特性差情報が示す回転角が０の場合）には、２次元配列Ｃｏｌ１（ｘ、ｙ）をそのまま２次元配列Ｃｏｌ２（ｘ、ｙ）にコピーする。
【００５３】
次にステップＳ３０５では、上記色領域調整部２０６が行うものとして上述した処理を行う。即ち、ステップＳ３０４で求めた２次元配列Ｃｏｌ２（ｘ、ｙ）に対して更に以下のような処理を施す。先ず、カメラ１１２による撮像画像上でユーザにより指定された領域に含まれている色差ｐ、ｑを収集する。そして、収集した色差ｐ、ｑを用いて、Ｃｏｌ２（ｐ、ｑ）に１を設定する。ステップＳ３０５における処理について詳しくは後述する。
【００５４】
ステップＳ３０６では、ステップＳ３０３で求めた２次元配列Ｃｏｌ１（ｘ、ｙ）のデータ（選択色情報）と、ステップＳ３０５における処理で求めた２次元配列Ｃｏｌ２（ｘ、ｙ）のデータ（変換済み選択色情報）と、を外部記憶装置１０５に記録する。
【００５５】
次に上記ステップＳ３０３における処理の詳細について、図４のフローチャートを用いて説明する。図４は、ステップＳ３０３における処理の詳細を示すフローチャートである。
【００５６】
ステップＳ４０１では、カメラ１１０から出力される動画像信号からフレームグラバー１０９により１フレーム分の撮像画像のディジタルデータが取得されるので、この取得した１フレーム分の撮像画像のデータをメモリ１０２に記録する。以下では、係る撮像画像は、画素値がＲＧＢで表現される画素で構成されているものとして説明する。
【００５７】
次にステップＳ４０２では、ステップＳ４０１でメモリ１０２に記録した撮像画像を、後述するＧＵＩと共に表示部１０８に表示する。
【００５８】
ここで、ユーザは、表示部１０８に表示された撮像画像を見て、色差を抽出したい領域を指定する。例えば、係る撮像画像上の所定の色差を有する領域上に他の画像を合成する、所謂クロマキー合成を行う場合には、係る領域の色差が必要となる。従ってこのような場合にはユーザは、係る領域を指定する。領域の指定方法については様々なものが考え得るが、例えば、マウス１０７やキーボード１０６を用いて指定すればよい。領域を決定する操作を入力すると、ステップＳ４０３では、係る領域を特定する情報を生成する。係る情報は、例えば、指定した領域の左上隅の座標位置と右下隅の座標位置とを示す情報である。もちろん、これ以外の表現方法でもって領域を示す情報を構成しても良い。
【００５９】
次に、ステップＳ４０４では、メモリ１０２内に設けられている２次元配列Ｃｏｌ１（ｘ，ｙ）を０に初期化した後、ステップＳ４０２で特定した領域内の色差を収集する。そして収集した色差Ｃｒ＝ｐ、Ｃｂ＝ｑについて、２次元配列Ｃｏｌ１（ｐ、ｑ）＝１とする。即ち、ステップＳ４０２で特定した領域内で収集した全ての色差ｐ、ｑについて、Ｃｏｌ１（ｐ、ｑ）＝１とする。
【００６０】
次に、上記ステップＳ３０５における処理の詳細について説明する。ステップＳ３０５における処理は、基本的には、図４のフローチャートに従った処理と同様の処理を行う。  即ち、ステップＳ３０５では先ず、カメラ１１２から出力される動画像信号からフレームグラバー１１１により１フレーム分の撮像画像のディジタルデータが取得されるので、この取得した１フレーム分の撮像画像のデータをメモリ１０２に記録する。そして次に、このメモリに記録した撮像画像を上記ＧＵＩと共に表示部１０８に表示する。次に、係る撮像画像に対してユーザが指定した領域を特定する情報を生成する。領域の指定方法や、生成する情報については、上述の通りである。そして最後に、ユーザにより指定された領域内の色差（追加色情報）を収集する。そして収集した色差Ｃｒ＝ｐ、Ｃｂ＝ｑについて、２次元配列Ｃｏｌ２（ｐ、ｑ）＝１とする。即ち、ユーザにより指定された領域内で収集した全ての色差ｐ、ｑについて、Ｃｏｌ２（ｐ、ｑ）＝１とする。このとき、２次元配列Ｃｏｌ２（ｘ，ｙ）はステップＳ３０１以外では０に初期化しない点が、２次元配列Ｃｏｌ１（ｘ、ｙ）とは異なる。
【００６１】
図５は、上記ステップＳ４０２で表示されるＧＵＩの表示例を示す図である。上述の通り、係るＧＵＩは、表示部１０８に表示されるものである。
【００６２】
図５において、５０１は、ＧＵＩのウィンドウを示している。５０２は、カメラ１１０からの撮像画像を表示するための領域であり、ユーザがマウス１０７やキーボード１０６を用いてボタン画像５０４を指示すると、指示した時点でフレームグラバー１０９が取得した撮像画像が、この領域５０２内に表示される。領域５０３内には、領域５０２内に表示されている撮像画像を撮像したカメラの名称（図５では、カメラ１１０）が表示されている。
【００６３】
上述の通り、ユーザは、マウス１０７やキーボード１０６を用いて、撮像画像内（領域５０２内）で領域を指定する。指定中の領域には枠５０６が表示される。５０７は、現在の指示位置を示すカーソルである。領域指示が完了すると、ユーザは、キーボード１０６やマウス１０７を用いてボタン画像５０５を指示する。ＣＰＵ１０１は係る指示を検知すると、係る領域内の色差を収集し、収集した色差に基づいて上記２次元配列Ｃｏｌ１（ｘ、ｙ）を作成し、作成した２次元配列Ｃｏｌ１（ｘ、ｙ）をメモリ１０２に記録する。
【００６４】
なお、係るＧＵＩは、ステップＳ３０５でも表示部１０８に表示される。その場合、ユーザがマウス１０７やキーボード１０６を用いてボタン画像５０４を指示すると、指示した時点でフレームグラバー１１１が取得した撮像画像が、領域５０２内に表示される。そして、ユーザが、キーボード１０６やマウス１０７を用いてボタン画像５０５を指示し、ＣＰＵ１０１が係る指示を検知すると、領域５０２内で指示された領域内の色差を収集する。そして、収集した色差に基づいて上記２次元配列Ｃｏｌ２（ｘ、ｙ）を作成し、作成した２次元配列Ｃｏｌ２（ｘ、ｙ）をメモリ１０２に記録する。
【００６５】
なお、本実施形態では、カメラ１１０からの撮像画像、カメラ１１２からの撮像画像の何れに対しても領域を指定したが、カメラ１１２からの撮像画像については、領域を指定することは必須ではない。
【００６６】
ここで、係る点について補足する。本実施形態では、カメラ１１０による撮像画像から取得した色情報を特性差情報を用いて変換し、変換済み選択色情報を、カメラ１１２用の色情報とした。即ち、カメラ１１０をマスタ、カメラ１１２をスレイブとした。係る関係は、予め定めておいても良いし、ユーザが設定しても良い。
【００６７】
即ち本実施形態では、予めＧＵＩなどを用いてユーザがマスタとしてのカメラ（選択画像取得装置）を選択し、マスタとして選択したカメラをカメラ１１０、マスタとして選択しなかった残りのカメラ（非選択画像取得装置）をカメラ１１２としている。これは、カメラ１１２に相当するカメラの数が２以上であっても同じであり、その場合は、それぞれのカメラ１１２について同様の処理を行えばよい。
【００６８】
なお、一般的には、画像処理装置１００に接続されているカメラの数が複数台である場合、本実施形態の骨子は次の通りである。即ち、先ず、複数台の撮像装置のうち選択された撮像装置を選択撮像装置とし、選択撮像装置による撮像画像が有する色情報のうち、一部若しくは全部を選択色情報として選択する。次に、複数台の撮像装置のうち選択されなかった撮像装置を非選択撮像装置とし、選択撮像装置による撮像画像と非選択撮像装置による撮像画像との色特性の差を示す特性差情報を用いて、選択色情報を変換することで、変換済み選択色情報を得る。そして、選択色情報、変換済み選択色情報をメモリに格納する。
【００６９】
また、本実施形態では、ＣｒＣｂ空間における回転角を示す特性差情報を用いて、カメラ１１２用の色情報を生成したが、例えば、従来より公知である画像入出力機器のカラーマッチングで利用されている手法を用いて生成しても良い。
【００７０】
［第２の実施形態］
第１の実施形態では、撮像画像が有する色情報のうち所望の色情報を取得する為に、撮像画像上で所望の色情報を有する領域を指定し、指定した領域に含まれている色情報を取得した。
【００７１】
本実施形態では、２次元の色差空間を示す色差平面を示す画像を表示部１０８に表示する。そして係る色差平面上で、所望の色情報を指定する。
【００７２】
本実施形態では、第１の実施形態に対して、ステップＳ３０３，Ｓ３０５における処理のみが異なる。
【００７３】
図６は、ステップＳ３０３における処理の詳細を示すフローチャートである。
【００７４】
ステップＳ６０１では、色差平面を示す画像を表示する。ユーザは、係る画像上で所望の色差が含まれるように領域を、第１の実施形態と同様にして指定するので、ステップＳ６０２では上記ステップＳ４０３と同様に、指定された領域を示す情報を生成する。ステップＳ６０３では、ステップＳ６０２で生成した情報に基づいて、ステップＳ６０１で指定した領域を特定し、特定した領域内の色差Ｃｒ＝ｐ、Ｃｂ＝ｑについて、２次元配列Ｃｏｌ１（ｐ、ｑ）＝１とする。
【００７５】
ステップＳ３０５における処理は、基本的には、図６のフローチャートに従った処理と同様の処理を行う。
【００７６】
即ち、色差平面を示す画像を表示し、係る色差平面上で指定された領域を示す情報を生成する。そして、係る情報に基づいて特定される領域内の色差Ｃｒ＝ｐ、Ｃｂ＝ｑについて、２次元配列Ｃｏｌ２（ｐ、ｑ）＝１とする。
【００７７】
なお、本実施形態では、色差空間において色差を指定しているが、これに限定するものではなく、例えば、HSBなど他の表色系において領域を指定し、指定した領域に相当する色差空間内における領域を算出してもよい。
【００７８】
［第３の実施形態］
第１，２の実施形態は、下記の特徴を有するものである。
【００７９】
・  ２次元配列に色情報を反映させる（追加する）回数は１回である
・  ２次元配列に対する変更とは、色情報の追加のみである
・  マスタとしてのカメラ、スレイブとしてのカメラは予め決まっている
・  特性差情報を用いた変換処理は必ず行う
・  撮像画像を取得する回数は、それぞれのカメラについて１回である
・  カメラ１１０による撮像画像を取得するタイミングと、カメラ１１２による撮像画像を取得するタイミングとは異なる
しかしながら、上記各項目内容は必ずしも必須なものではなく、下記のような変形もまた可能である。
【００８０】
・  ２次元配列（上記２つのうちの何れでも良い）に色情報を反映させる（追加する）回数を複数回可能とする
・  ２次元配列（上記２つのうちの何れでも良い）に対する変更に、色情報の「削除」を加える
・  マスタとしてのカメラ、スレイブとしてのカメラをユーザに選択させる
・  特性差情報を用いた変換処理を行うか否かをユーザに選択させる
・  撮像画像を取得する回数を複数回可能とする
・  カメラ１１０による撮像画像を取得するタイミングと、カメラ１１２による撮像画像を取得するタイミングとを一致させる
更に、下記の機能の一部若しくは全部を加えても良い。
【００８１】
・  ２次元配列に色情報を追加するのか、それとも２次元配列から色情報を削除するのかを切り替える
・  複数枚取得した撮像画像のうち、色情報を収集するために用いる撮像画像を１枚選択する
・  カメラから取得した撮像画像をメモリ１０２から削除する
・  両方のカメラを同期させて同時に撮像画像を取得するのか、それともそれぞれを独立に動作させて撮像画像を取得するのか、を切り替える
・  それぞれのカメラについて作成した２次元配列を用いた処理結果例を表示する
以下に、本実施形態についてより詳細に説明する。なお、本実施形態で用いるシステムについては、図１に示した構成のものを用いるが、本実施形態においても、係る構成に限定するものではない。また、本実施形態は、以下説明する点以外については基本的には第１の実施形態と同じである。
【００８２】
図７は、色情報を取り扱うＧＵＩの表示例を示す図である。以下の説明では、取得した色情報は、「撮像画像上にＣＧ画像を重畳させる際に、撮像画像上で係る色情報が示す色差を有する領域については重畳対象外とすべく、係る領域を特定する」為に用いられるものであるとする。
【００８３】
図７において、７０１は、ＧＵＩのウィンドウを示している。７１１は、カメラ１１０、カメラ１１２のそれぞれから撮像画像を取得する指示を入力するためのボタン画像である。本実施形態では、係るボタン画像７１１を指示しないと、メモリ１０２には撮像画像は記録されないものとして説明する。
【００８４】
ユーザがキーボード１０６やマウス１０７を用いて係るボタン画像７１１を指示すると、カメラ１１０から１枚の撮像画像、カメラ１１２から１枚の撮像画像を取得する。ここで、チェックボックス７１８をチェックした状態でボタン画像７１１を指示すると、カメラ１１０とカメラ１１２からほぼ同時に出力された撮像画像（ほぼ同じタイミングで撮像した撮像画像）を取得し、それぞれをメモリ１０２に記録する。なお、チェックボックス７１８をチェックしていない状態でボタン画像７１１を指示すると、例えば、一方のカメラからの撮像画像を取得してメモリ１０２に格納した後、他方のカメラによる撮像画像を取得してメモリ１０２に格納する。即ち、取得したそれぞれの撮像画像の撮像タイミングは一致していない。例えば、第１の実施形態では、このように、一方の撮像画像（カメラ１１０による撮像画像）についての処理が完了した後で、他方のカメラ（カメラ１１２）による撮像画像を取得するので、それぞれの撮像画像の撮像タイミングは異なってしまう。しかし、本実施形態では、チェックボックス７１８をチェックすると、カメラ１１０とカメラ１１２がほぼ同じタイミングで撮像した撮像画像を取得することができる。
【００８５】
７０５，７０７，７０９は何れもカメラ１１０から取得した撮像画像であり（実際に表示しているのは撮像画像のサムネイル）、取得順に上から一覧表示している。７０６，７０８，７１０は何れもカメラ１１２から取得した撮像画像であり（実際に表示しているのは撮像画像のサムネイル）、取得順に上から一覧表示している。
【００８６】
なお、チェックボックス７１８をチェックした状態で３回だけボタン画像７１１を指示した結果、撮像画像７０５，７０７，７０９、撮像画像７０６，７０８，７１０を取得したとする。この場合、撮像画像７０５と撮像画像７０６とはほぼ同じタイミングでカメラ１１０、カメラ１１２により撮像されたものとなる。また、撮像画像７０７と撮像画像７０８とはほぼ同じタイミングでカメラ１１０、カメラ１１２により撮像されたものとなる。また、撮像画像７０９と撮像画像７１０とはほぼ同じタイミングでカメラ１１０、カメラ１１２により撮像されたものとなる。
【００８７】
カメラ１１０とカメラ１１２の配置によっては、マスクしたい被写体が両方の撮像画像に含まれる場合がある。従って、カメラ１１０とカメラ１１２とでほぼ同じタイミングで撮像された撮像画像を取得すると、本装置の使用者が撮像を指示する回数を減らすことができる可能性がある。また、複数の撮像タイミングにおける撮像画像を用いることで、カメラや被写体の位置や向き等がそれぞれ異なるような状況を色情報に反映させることができる。そしてその結果、カメラや被写体の様々な状況下で色情報を用いて行うマスク処理が所望の通り動作する可能性が高くなる。
【００８８】
なお、図７では、３回分の撮像による撮像画像を表示しているが、これに限定するものではない。
【００８９】
撮像画像７０５〜７１０の何れも、キーボード１０６やマウス１０７を用いて選択することができる。選択した撮像画像には枠が表示される。図７では、撮像画像７０６が選択されているため、撮像画像７０６には枠が表示されている。もちろん、選択されている撮像画像を明示的に表示する方法は特定の方法に限定するものではなく、他の方法も考え得る。選択された撮像画像は、領域７０２内に拡大表示される。
【００９０】
領域７０２内に表示された撮像画像に対して領域を設定するための方法やそのために領域７０２内に表示される情報については、第１の実施形態と同じである。７０３は選択した領域を示す枠で、７０４は現在の指示位置を示すカーソルである。
【００９１】
また、ボタン画像７１２を指示すると、撮像画像７０５〜７１０のうち、現在選択されている撮像画像がメモリ１０２から削除され、係る撮像画像の表示がＧＵＩから消去される。
【００９２】
ここで、撮像画像７０５〜７１０のうち現在選択されている撮像画像が、撮像画像７０５，７０７，７０９のうち何れかであるとする。この場合、カメラ１１０を「マスタとしてのカメラ」として選択したことになり、カメラ１１０による撮像画像を、「第１の実施形態におけるカメラ１１０による撮像画像」として取り扱われるべき撮像画像として選択したことになる。また、この場合、カメラ１１２を「スレイブとしてのカメラ」として選択したことになり、カメラ１１２による撮像画像を、「第１の実施形態におけるカメラ１１２による撮像画像」として取り扱われるべき撮像画像として選択したことになる。
【００９３】
一方、撮像画像７０５〜７１０のうち現在選択されている撮像画像が、撮像画像７０６，７０８，７１０のうち何れかであるとする。この場合、カメラ１１２を「マスタとしてのカメラ」として選択したことになり、カメラ１１２による撮像画像を、「第１の実施形態におけるカメラ１１０による撮像画像」として取り扱われるべき撮像画像として選択したことになる。また、この場合、カメラ１１０を「スレイブとしてのカメラ」として選択したことになり、カメラ１１０による撮像画像を、「第１の実施形態におけるカメラ１１２による撮像画像」として取り扱われるべき撮像画像として選択したことになる。
【００９４】
このように、現在選択している撮像画像に応じて、マスタとしてのカメラによる撮像画像、スレイブとしてのカメラによる撮像画像を、ユーザにより選択させることができる。以下の説明では、撮像画像７０６が選択されているものとして説明する。
【００９５】
ボタン画像７１３を指示すると、枠７０３内の色情報を収集し、収集した色情報を特性差情報を用いて変換することで、変換後の色情報を生成する。ここでは、撮像画像７０６における枠７０３内の色情報を収集し、収集した色情報を特性差情報を用いて変換する。
【００９６】
このように、特性差情報を用いた変換元の色情報を、どの撮像画像から収集するのかを選択することにより、例えば、領域指定がより容易な撮像画像を選択する、ということができる。これにより、領域指定をより高精度に行うことができる。
【００９７】
なお、ボタン画像７１３を指示することなく操作を続ければ、従来のように、カメラ１１０による撮像画像、カメラ１１２による撮像画像のそれぞれについて領域を設定し、設定した領域内の色情報を収集することができる。
【００９８】
また、チェックボックス７１４をチェックすると、領域７０２内に表示した撮像画像に対してＣＧ画像を重畳させるのであるが、係る撮像画像について求めた色情報を有する画素については、ＣＧ画像の重畳対象から除外する。一方、チェックボックス７１４をチェックしていない状態（チェックを解除した状態）では、領域７０２内に表示した撮像画像に対してはＣＧ画像を重畳させず、撮像画像そのものが領域７０２内に表示されることになる。このような機能により、ユーザは、表示している撮像画像について求めた色情報を用いたマスキング処理の効果を確認しながら、取得する色情報を調整することができる。
【００９９】
また、ボタン画像７１５を指示すると、第１の実施形態で説明したように、現在取得しているそれぞれの色情報について２次元配列を作成し、作成した２次元配列を外部記憶装置１０５に記録する。なお、２次元配列の生成のタイミングはボタン画像７１５を指示したときに限定するものではなく、色情報の取得時に２次元配列を作成しても良い。
【０１００】
ラジオボタン７１６をチェックした状態で、ボタン画像７１５を指示すると、第１の実施形態と同様に、枠７０３内から収集した色情報を、従前に作成した２次元配列に追加登録する。一方、ラジオボタン７１７をチェックした状態でボタン画像７１５を指示すると、枠７０３内から収集した色情報を、従前に作成した２次元配列から削除する。即ち、枠７０３内の色差Ｃｒ＝ｐ、Ｃｂ＝ｑについて、２次元配列Ｃｏｌ２（ｐ、ｑ）＝０とする。
【０１０１】
なお、ラジオボタン７１６とラジオボタン７１７は、何れか一方のみしかチェックできず、一方をチェックすると、他方のチェックは解除される。
【０１０２】
このように、色情報の減算機能を設けることにより、現在設定している色情報のうち不要な部分を削除することができる。
【０１０３】
［第４の実施形態］
第３の実施形態で説明した、図７に例示したＧＵＩでは、１つカメラについて色情報を収集した後、係る色情報を用いてその他のカメラについての色情報を求めた。しかし求める単位はこれに限定するものではない。例えば、領域７０２内で領域を指定する操作を繰り返して、最終的に色情報を決定する場合に、それぞれの繰り返しで指定する領域毎に、上記変換処理を行うことで、その他のカメラの色情報を求めても良い。本実施形態では、係るケースについて説明する。
【０１０４】
以下に、本実施形態についてより詳細に説明する。なお、本実施形態で用いるシステムについては、図１に示した構成のものを用いるが、本実施形態においても、係る構成に限定するものではない。なお、本実施形態は、以下説明する点以外については基本的には第１の実施形態と同じである。
【０１０５】
図８は、画像処理装置１００が、カメラ１１０、カメラ１１２、のそれぞれについて色情報をメモリ１０２に記録するための処理のフローチャートである。図８のフローチャートに従った処理をＣＰＵ１０１に実行させるためのプログラムは、外部記憶装置１０５に保存されている。そして、係るプログラムやデータは、ＣＰＵ１０１による制御に従って適宜、メモリ１０２にロードされる。そして、ＣＰＵ１０１がこのロードされたプログラムやデータを用いて処理を実行することで、画像処理装置１００は、後述する各処理を実行することになる。なお、図８に示した各ステップのうち、図３に示したステップと同じステップについては同じ参照番号を付けており、その説明は省略する。
【０１０６】
なお、以下説明する処理では、カメラ選択フラグと、連動フラグを用いる。何れも変数としてメモリ１０２に格納されているものである。
【０１０７】
カメラ選択フラグは、１，２の何れかの値を取り、カメラ選択フラグの値が１であれば、カメラ１１０が現在選択されていることを示している。一方、カメラ選択フラグの値が２であれば、カメラ１１２が現在選択されていることを示している。
【０１０８】
一方、連動フラグは、オン、オフの何れかの状態（値）を取る。連動フラグの状態がオンであれば、一方のカメラ（カメラ選択フラグの値に応じて決まるマスタとしてのカメラ）からの撮像画像から色情報を収集する毎に、他方のカメラ（スレイブとしてのカメラ）についての色情報を求める。また、連動フラグの状態がオフであれば、一方のカメラ（カメラ選択フラグの値に応じて決まるマスタとしてのカメラ）からの撮像画像から色情報を収集しても、他方のカメラ（スレイブとしてのカメラ）についての色情報は求めない。即ち、連動フラグにより、他方のカメラについての色情報を求める処理の可否を設定することができる。
【０１０９】
また、図８のフローチャートに従った処理を開始する前には、図９に例示したＧＵＩが、表示部１０８に表示されている。図９は、本実施形態に係るＧＵＩの表示例を示す図である。
【０１１０】
図８において、ステップＳ８０１では、上記ステップＳ３０１における処理に加え、カメラ選択フラグの値を１に初期化すると共に、連動フラグの状態をオンに設定する。
【０１１１】
次に、ユーザがキーボード１０６やマウス１０７を用いてボタン画像９０５を指示したことを検知すると、ステップＳ８０２における処理を開始する。ステップＳ８０２では、図２に示した画像取得部２０２、２０７が行うものとして上述した処理を実行し、カメラ１１０が撮像した撮像画像、カメラ１１２が撮像した撮像画像を、メモリ１０２に取得する。そして、図９に例示したＧＵＩにおいて、領域９０２内に、カメラ１１０による撮像画像を表示する。これは、カメラ選択フラグの値が１であるので、カメラ１１０による撮像画像を領域９０２内に表示しているのであるが、カメラ選択フラグの値が２であれば、カメラ１１２による撮像画像を領域９０２内に表示する。
【０１１２】
なお、本実施形態では、領域９０２全体を覆う半透明状の平面を撮像画像に重ねて表示するのであるが、領域９０２内に表示している撮像画像から既に取得した色情報を有する画素についてのみ、係る半透明状の平面を重畳させる。この結果、半透明状の平面がマスクされている領域を視認することによって、色情報が所望の色領域に合致している度合いを確認することができる。
【０１１３】
次に、ステップＳ８０３では、ユーザがキーボード１０６やマウス１０７を用いてカメラ選択フラグの値を変更したか否かを判断する。本実施形態では、図９に例示したＧＵＩに備わっているラジオボタン９０６，９０７を用いてカメラ選択フラグの値を操作することができる。
【０１１４】
ラジオボタン９０６をチェックした場合には、カメラ１１０が選択されたことになり、ラジオボタン９０７をチェックした場合には、カメラ１１２が選択されたことになる。なお、ラジオボタン９０６とラジオボタン９０７は、何れか一方のみしかチェックできず、一方をチェックすると、他方のチェックは解除される。
【０１１５】
ステップＳ８０３における判断の結果、変更していない場合には、処理をステップＳ８０５に進める。一方、係る判断の結果、変更している場合には、処理をステップＳ８０４に進める。
【０１１６】
ステップＳ８０４では、カメラ選択フラグの値を更新する。即ち、ラジオボタン９０６がチェックされた場合には、カメラ１１０が選択されたことになり、カメラ選択フラグの値を１に設定する。一方、ラジオボタン９０７がチェックされた場合には、カメラ１１２が選択されたことになり、カメラ選択フラグの値を２に設定する。
【０１１７】
次に、ステップＳ８０５では、ユーザがキーボード１０６やマウス１０７を用いてチェックボックス９０８に対する操作指示を検知したか否かを判断する。本実施形態では、図９に例示したＧＵＩに備わっているチェックボックス９０８を用いて、連動フラグの値を操作することができる。チェックボックス９０８をチェックした場合には、連動フラグをオンに設定するし、チェックを解除した場合には、連動フラグをオフに設定する。
【０１１８】
チェックボックス９０８に対する操作指示を検知した場合にはステップＳ８０６に処理を進める。一方、係る操作指示を検知していない場合には、処理をステップＳ８０７に進める。
【０１１９】
ステップＳ８０６では、チェックボックス９０８がチェックされた場合には、連動フラグをオンに設定するし、チェックボックス９０８のチェックが解除された場合には、連動フラグをオフに設定する。
【０１２０】
次に、ステップＳ８０７では、領域９０２内で指示された領域（図９ではカーソル９０４を用いて領域を指定しており、選択中の領域には枠９０３が付加される）を示す情報を生成する。
【０１２１】
次に、ステップＳ８０８では、ステップＳ８０７で生成した情報を用いて、現在領域９０２内でユーザがキーボード１０６やマウス１０７を用いて指定した領域を特定し、特定した領域内の色情報（色差）を収集する。
【０１２２】
そして、カメラ選択フラグの値が１であれば、収集した色差Ｃｒ＝ｐ、Ｃｂ＝ｑを用いて、メモリ１０２内に設けられている２次元配列Ｃｏｌ１（ｐ、ｑ）について１を設定する。即ち、収集した全ての色差ｐ、ｑについて、Ｃｏｌ１（ｐ、ｑ）＝１とする。一方、カメラ選択フラグの値が２であれば、収集した色差Ｃｒ＝ｐ、Ｃｂ＝ｑを用いて、メモリ１０２内に設けられている２次元配列Ｃｏｌ２（ｐ、ｑ）に１を設定する。即ち、収集した全ての色差ｐ、ｑについて、Ｃｏｌ２（ｐ、ｑ）＝１とする。
【０１２３】
次に、ステップＳ８０９では、連動フラグの状態がオンであるのかオフであるのかを判断する。係る判断の結果、連動フラグの状態がオンである場合には、処理をステップＳ８１０に進める。一方、連動フラグの状態がオフである場合には、処理をステップＳ８１２に進める。
【０１２４】
ステップＳ８１０では、ステップＳ８０８で収集した色差を、上記ステップＳ３０４において行った変換処理と同様の変換処理でもって変換する。即ち、カメラ選択フラグの値が１である場合、本ステップでは、ステップＳ８０８でカメラ１１０について求めた色差を変換してカメラ１１２についての色差を求めている。一方、カメラ選択フラグの値が２である場合、本ステップでは、ステップＳ８０８でカメラ１１２について求めた色差を変換してカメラ１１０についての色差を求めている。
【０１２５】
次に、ステップＳ８１１では、カメラ選択フラグの値が１である場合には、２次元配列Ｃｏｌ２（ｘ、ｙ）について更に、ステップＳ８１０による変換後の色差ｐ、ｑについてＣｏｌ２（ｐ、ｑ）＝１とする。一方、カメラ選択フラグの値が２である場合には、２次元配列Ｃｏｌ１（ｘ、ｙ）について更に、ステップＳ８１０による変換後の色差ｐ、ｑについてＣｏｌ１（ｐ、ｑ）＝１とする。
【０１２６】
次に、ステップＳ８１２では、ユーザがキーボード１０６やマウス１０７を用いてボタン画像９０９を指示したことを検知した場合には、処理をステップＳ８１３に進める。一方、検知していない場合には、処理をステップＳ８０３に戻し、以降の処理を続ける。
【０１２７】
ステップＳ８１３では、それぞれのカメラについて求めた２次元配列を外部記憶装置１０５に記録する。
【０１２８】
以上の説明により、本実施形態によれば、色情報の追加操作の結果が随時、両カメラの色情報に反映される。したがって、操作結果の善し悪しを細かく確認できるようになり、ひいては色情報の設定・調整が容易になる。
【０１２９】
［第５の実施形態］
第１の実施形態から第４の実施形態の何れも、カメラ１１０による撮像画像とカメラ１１２による撮像画像との色情報の特性差に基づいて、一方のカメラによる撮像画像側で決定した色情報から、他方のカメラによる撮像画像についての色情報を求めている。ここで、一方のカメラによる撮像画像側で決定した色情報を有する、他方のカメラによる撮像画像上の領域を決定する方法には、様々なものがある。
【０１３０】
本実施形態では、一方のカメラによる撮像画像上で設定された領域に含まれている色情報をメモリ１０２に記録する点については第１の実施形態と同じであるが、他方のカメラによる撮像画像について色情報を求める場合については次のようにして行う。即ち、一方のカメラによる撮像画像上で設定された領域に対応する、他方のカメラによる撮像画像上の領域を特定し、特定した領域に含まれている色情報をメモリ１０２に記録する。
【０１３１】
なお、本実施形態では、カメラの台数を上記実施形態と同様に２台とし、それぞれのカメラの相対的な位置姿勢は固定されており、光軸の向きがほぼ平行であるとする。即ち、一方のカメラによる撮像画像と、他方のカメラによる撮像画像と、に被写体の同じ部位が含まれる可能性が高い。
【０１３２】
本実施形態で行うメインの処理は、下記の点を除き、図３に示したフローチャートに従ったものと同じである。即ち、ステップＳ３０２、Ｓ３０４における処理は省略する。また、ステップＳ３０５では、図１０に示したフローチャートに従った処理を行う。
【０１３３】
図１０は、ステップＳ３０５における処理の詳細を示すフローチャートである。
【０１３４】
先ず、ステップＳ１００１では、カメラ１１２から出力される動画像信号からフレームグラバー１１１により１フレーム分の撮像画像のディジタルデータが取得されるので、この取得した１フレーム分の撮像画像のデータをメモリ１０２に記録する。
【０１３５】
次にステップＳ１００２では、カメラ１１０による撮像画像上で指定された領域を、第１の実施形態で説明したように特定し、係る撮像画像内で係る領域内の画素パターンを取得する。
【０１３６】
次に、ステップＳ１００３では、ステップＳ１００１で取得した撮像画像上で、ステップＳ１００２で取得した画素パターンの色パターンと最も類似する（マッチする）領域を対応領域として特定する。ここでは、パターンマッチングを用いるが、他の手法を用いても良い。
【０１３７】
次に、ステップＳ１００４では、ステップＳ１００３で特定した対応領域内の色差Ｃｒ＝ｐ、Ｃｂ＝ｑ（対応色情報）について、２次元配列Ｃｏｌ２（ｐ、ｑ）＝１とする。
【０１３８】
なお、上記の説明では、パターンマッチングを用いて対応領域を求めているが、対応領域を算出する方法はこれに限定するものではない。例えばカメラ１１０とカメラ１１２との相対的な位置関係と画角、撮像画像上で設定した領域内に存在する被写体までの大体の距離（推定距離）が分かれば、カメラ１１０による撮像画像とカメラ１１２による撮像画像との間の座標変換関係を求めることが出来る。この係る座標変換関係を用いれば、カメラ１１０による撮像画像上の領域に対応する、カメラ１１２による撮像画像上の領域を算出することができる。ここで、カメラの位置関係・画角・被写体までの距離は、それぞれ例えば両カメラの位置姿勢を６自由度センサで計測すること、公知技術であるカメラの校正手法を用いること、距離計測装置を用いることで取得することができる。
【０１３９】
また、係る方法は、第４の実施形態で説明したステップＳ８１０にも適用できる。
【０１４０】
また、上述の説明では、カメラ１１０による撮像画像上で設定した領域に対応する、カメラ１１２による撮像画像上の対応領域を自動で算出している。しかし、係る算出には誤差が生ずる可能性がある。例えば、パターンマッチングで対応領域を算出する方法では、カメラ１１０による撮像画像とカメラ１１２による撮像画像とは同一でないため、正確に対応する領域を求めることができない場合がある。また、カメラ間の幾何学的な関係から領域を算出する方法では、カメラの位置姿勢等、利用するパラメータの誤差に起因して算出結果に誤差が含まれる。この問題を解決するため、自動で算出した領域をユーザが対話的に修正してもよい。
【０１４１】
図１１は、対応領域を求めた後に、ユーザが対話的に対応領域を修正するためのＧＵＩの表示例を示す図である。
【０１４２】
図１１において、１１０１はＧＵＩのウィンドウである。１１０２は、カメラ１１０による撮像画像を表示する為の領域である。１１０３は、カメラ１１２による撮像画像を表示するための領域である。１１０４は、カメラ１１０による撮像画像上でユーザが指定した領域を示す枠画像である。１１０５は、上記ステップＳ１００３による処理でもって求めた、カメラ１１２による撮像画像上における対応領域を示す枠画像である。
【０１４３】
１１０７は、現在の指示位置を示すカーソルである。ユーザは、キーボード１０６やマウス１０７を用いてカーソル１１０７の位置を指示することができると共に、カーソル１１０７を枠画像１１０５の位置に合わせてドラッグ＆ドロップを行うことで、枠画像１１０５を移動させることができる。１１０６は、移動後の枠画像を示す。これにより、ユーザは、枠１１０４内の色情報と概ね一致する色パターンを有する、領域１１０３内の領域の位置に、計算で求めた対応領域を移動させることができる。
【０１４４】
ユーザがキーボード１０６やマウス１０７を用いてボタン画像１１０８を指示すると、カメラ１１０から１枚の撮像画像、カメラ１１２から１枚の撮像画像を取得する。そしてカメラ１１０から取得した撮像画像が、領域１１０２内に表示されると共に、カメラ１１２から取得した撮像画像が、領域１１０３内に表示される。
【０１４５】
また、ユーザがキーボード１０６やマウス１０７を用いてボタン画像１１０９を指示すると、それぞれの撮像画像について求めた色情報をメモリ１０２に記録する。
【０１４６】
［第６の実施形態］
上記各実施形態では、YCbCr色空間のうち輝度成分を無視し、CbCr空間における情報を色情報とし、係る色情報を２次元配列でもって管理している。しかし、更に輝度成分を加えたものを色情報としても良い。この場合、色情報は、色差成分と輝度成分とで構成されるので、２次元配列は、３次元配列に拡張されることになる。もちろん、追加する１軸は輝度成分値を示す。
【０１４７】
なお、上述の通り、用いる色空間はYCbCr空間に限るものではなく、HSBなど別の表色系の色空間であっても良い。
【０１４８】
また、上記各実施形態では、画像は、カメラにより撮像されたものをフレームグラバーを介して取得したが、これに限定するものではない。例えば、動画像配信サーバが配信する各フレームの画像を上記撮像画像として取得しても良い。
【０１４９】
また、上記各実施形態では、静止画像を用いているが、動画像を利用してもよい。例えば、第１の実施形態において図５の領域５０２内に動画像を表示し、領域の指定を完了した時点での最新のフレーム画像を、カメラ１１２による撮像画像の代わりにステップＳ３０４，Ｓ３０５で用いる。
【０１５０】
このように、動画像を利用することにより、被写体が所望の向きになっている場合等、領域の指定に適した状態にある時点の画像を選択することができる。
【０１５１】
なお、上記実施形態では、求めた色情報、即ち、２次元配列をメモリ１０２に記録したが、外部記憶装置１０５に保存させるようにしても良い。
【０１５２】
また、上記各実施形態は適宜組み合わせることもできる。係る点については、当業者であれば、容易である。
【０１５３】
以上の各実施形態によれば、１回の領域設定操作で、複数のカメラからの撮像画像について色情報を自動または半自動で取得することができ、色情報を取得するための設定操作の煩雑さを軽減することができる。
【０１５４】
また、既に取得した色情報を調整することもでき、これにより、既に取得した色情報に誤差が生じたとしても、その誤差を修正することができる。
【０１５５】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１５６】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１５９】
【図１】本発明第１の実施形態に係るシステムのハードウェア構成例を示すブロック図である。
【図２】画像処理装置１００の機能構成例を示すブロック図である。
【図３】画像処理装置１００が、カメラ１１０による撮像画像、カメラ１１２による撮像画像、のそれぞれについて色情報を収集し、メモリ１０２に記録するための処理のフローチャートである。
【図４】ステップＳ３０３における処理の詳細を示すフローチャートである。
【図５】ステップＳ４０２で表示されるＧＵＩの表示例を示す図である。
【図６】ステップＳ３０３における処理の詳細を示すフローチャートである。
【図７】色情報を取り扱うＧＵＩの表示例を示す図である。
【図８】画像処理装置１００が、カメラ１１０、カメラ１１２、のそれぞれについて色情報をメモリ１０２に記録するための処理のフローチャートである。
【図９】本発明の第４の実施形態に係るＧＵＩの表示例を示す図である。
【図１０】ステップＳ３０５における処理の詳細を示すフローチャートである。
【図１１】対応領域を求めた後に、ユーザが対話的に対応領域を修正するためのＧＵＩの表示例を示す図である。
【図１２】CbCr空間における特性差情報を説明する図である。
【図１】
0004981646.tif 000002
【図２】
0004981646.tif 000003
【図３】
0004981646.tif 000004
【図４】
0004981646.tif 000005
【図５】
0004981646.tif 000006
【図６】
0004981646.tif 000007
【図７】
0004981646.tif 000008
【図８】
0004981646.tif 000009
【図９】
0004981646.tif 000010
【図１０】
0004981646.tif 000011
【図１１】
0004981646.tif 000012
【図１２】
0004981646.tif 000013