(57)【要約】【課題】多視点画像の再生時の視点切り換え処理における滑らかな映像再生を可能とする画像処理装置、キャリブレーション装置、および方法を提供する。【解決手段】複数の異なる輝度情報を持つ基準チャートを基準カメラ、参照カメラで撮影した基準画像データ、参照画像データに基づいて参照画像データを基準画像データに一致させるための補正パラメータを算出し、パラメータに基づいて撮影画像の補正を実行する。また、基準画像データと参照画像データとの差分データに基づいてカメラのキャリブレーション情報を算出する。本構成によって、基準カメラと参照カメラの画像特性（輝度、色味、ホワイトバランス）が統一され、多視点画像の滑らかな再生が可能となる。【選択図】　図２
2004088247.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影される多視点画像の画像補正処理を実行する画像処理装置であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行する補正処理部を有することを特徴とする画像処理装置。
【請求項２】
前記補正パラメータは、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれる基準画像データをＣ’＝［Ｒｂ，Ｇｂ，Ｂｂ］、前記参照画像データに含まれる参照画像データをＣ＝［Ｒｒ，Ｇｒ，Ｂｒ］としたとき、
Ｃ’＝ＭＣ＋Ｖとして求められるＭおよびＶの値によって構成される補正パラメータであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正パラメータは、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
Ｒ、Ｇ、Ｂに関する補正パラメータをそれぞれＰＲ、ＰＧ、ＰＢ、として、
【数１】
2004088247.tif 000014
によって示される値、
ただし、上記式において、Ｃｒ、Ｒｂ、Ｇｂ、Ｂｂは、
【数２】
2004088247.tif 000015
を、Ｒｂ＝ＣｒＰＲとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇｂ＝ＣｒＰＧ、Ｂｂ＝ＣｒＰＢの対応関係を持つ行列式、
であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記基準チャートは、複数の異なる有彩色、および複数の異なる無彩色によって構成され、前記補正パラメータは、前記複数の有彩色および無彩色の各々について、参照画像データを基準画像データに一致させるためのパラメータとして設定されたものであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理装置であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算部、
を有することを特徴とするカメラキャリブレーション処理装置。
【請求項６】
前記差分データの絶対値平均値は、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数３】
2004088247.tif 000016
によって示される値であることを特徴とする請求項５に記載のカメラキャリブレーション処理装置。
【請求項７】
前記カメラキャリブレーション処理装置は、さらに、
前記演算部において算出された前記参照カメラに対するキャリブレーション情報を表示する表示部を有することを特徴とする請求項５に記載のカメラキャリブレーション処理装置。
【請求項８】
前記カメラキャリブレーション処理装置は、さらに、
前記基準チャートを基準カメラによって撮影した基準画像データを格納したメモリを有し、
前記演算部は、参照カメラから入力する前記参照画像データと、前記メモリから入力する基準画像データとに基づいて、前記キャリブレーション情報を算出する処理を実行する構成であることを特徴とする請求項５に記載のカメラキャリブレーション処理装置。
【請求項９】
前記カメラキャリブレーション処理装置は、さらに、
前記演算部において算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロール部を有することを特徴とする請求項５に記載のカメラキャリブレーション処理装置。
【請求項１０】
前記カメラキャリブレーション処理装置は、さらに、
前記差分データの絶対値平均値と比較する閾値を格納したメモリを有し、
前記コントロール部は、前記差分データの絶対値平均値と前記閾値との比較結果に基づいてカメラ調整の要否を判定する構成であることを特徴とする請求項９に記載のカメラキャリブレーション処理装置。
【請求項１１】
複数のカメラにより撮影される多視点画像の画像補正処理を実行する画像処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とする画像処理方法。
【請求項１２】
前記補正パラメータは、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれる基準画像データをＣ’＝［Ｒｂ，Ｇｂ，Ｂｂ］、前記参照画像データに含まれる参照画像データをＣ＝［Ｒｒ，Ｇｒ，Ｂｒ］としたとき、
Ｃ’＝ＭＣ＋Ｖとして求められるＭおよびＶの値によって構成される補正パラメータであることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記補正パラメータは、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
Ｒ、Ｇ、Ｂに関する補正パラメータをそれぞれＰＲ、ＰＧ、ＰＢ、として、
【数４】
2004088247.tif 000017
によって示される値、
ただし、上記式において、Ｃｒ、Ｒｂ、Ｇｂ、Ｂｂは、
【数５】
2004088247.tif 000018
を、Ｒｂ＝ＣｒＰＲとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇｂ＝ＣｒＰＧ、Ｂｂ＝ＣｒＰＢの対応関係を持つ行列式、
であることを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするカメラキャリブレーション処理方法。
【請求項１５】
前記差分データの絶対値平均値は、
前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数６】
2004088247.tif 000019
によって示される値であることを特徴とする請求項１４に記載のカメラキャリブレーション処理方法。
【請求項１６】
前記カメラキャリブレーション処理方法は、さらに、
前記演算ステップにおいて算出された前記参照カメラに対するキャリブレーション情報を表示する表示ステップを有することを特徴とする請求項１４に記載のカメラキャリブレーション処理方法。
【請求項１７】
前記カメラキャリブレーション処理方法は、さらに、
前記演算ステップにおいて算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロールステップを有することを特徴とする請求項１４に記載のカメラキャリブレーション処理方法。
【請求項１８】
前記コントロールステップは、前記差分データの絶対値平均値と閾値との比較処理を実行し、該比較結果に基づいてカメラ調整の要否を判定するステップを含むことを特徴とする請求項１７に記載のカメラキャリブレーション処理方法。
【請求項１９】
複数のカメラにより撮影される多視点画像の画像補正処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とするコンピュータ・プログラム。
【請求項２０】
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラムに関する。さらに詳細には、異なる位置に配置した複数のカメラで被写体を撮影して多視点画像を生成する際のカメラキャリブレーションまたは画像処理に適用可能な画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
映像表現の１つに、複数台のカメラで同一シーンを撮影し、様々な方法でそれらの映像を再生して見せる見せ方がある。いわゆるパノラマ、全天球画像など、視点を様々に移動可能とした画像データを生成して利用するものである。例えば、異なる視点から見た映像（多視点映像）データを視点を切り替えながら連続して再生したり、ある視点から３６０度の視線方向で見た映像を連続して再生するなどである。このような画像再生においては、実際のカメラで撮影した映像だけでなく、カメラとカメラの間に仮想カメラを想定して補間した映像も用いて連続性を高める画像処理も適用されている。
【０００３】
具体的な多視点画像、あるいは３６０度画像の利用システム例としては、例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００４】
コンピュータの処理能力の向上や多様な映像メディア再生機器の発展に伴って、以前困難とされた膨大なポリゴンデータや映像データ（コンテンツ）の処理が可能となり、視点の異なる複数台カメラで撮影された実世界（対象）の映像データをコンピュータや映像機器等により処理し、ユーザーの要望に応じた任意視点の映像を実時間に生成し提示することができるようになってきている。
【０００５】
コンピュータ上の処理によって複数の視点で撮影された画像から任意視点映像を生成し、提示するためには、（１）全てのカメラが同一の領域（注目対象）を見えていること、（２）各カメラ間の位置関係等が得られることが必要である。これまでは、各カメラの位置・姿勢を固定し、各カメラ間の位置関係等が予め求められ、撮影対象が常に全てのカメラ観測視野内にあるといった制約条件で多視点映像を撮影し、任意視点映像生成・表現が可能となるシステムが検討されていた。例えば、このようなシステムを紹介した文献としては、（１）Ｔ．Ｋａｎａｄｅ，　Ｐ．Ｗ．Ｒａｎｄｅｒ，　Ｐ．Ｊ．Ｎａｒａｙａｎａｎ：　Ｖｉｒｔｕａｌｉｚｅｄ　Ｒｅａｌｉｔｙ　−　Ｃｏｎｓｔｒｕｃｔｉｎｇ　Ｖｉｒｔｕａｌ　Ｗｏｒｌｄｓ　ｆｒｏｍ　Ｒｅａｌ　Ｓｃｅｎｅｓ，　ＩＥＥＥ　Ｍｕｌｔｉｍａｄｉａ，　Ｖｏｌ．４，　Ｎｏ．１，　１９９７．（２）Ｈ．Ｓａｉｔｏ，　Ｔ．Ｋａｎａｄｅ：　Ｓｈａｐｅ　Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｉｎ　Ｐｒｏｊｅｃｔｉｖｅ　Ｇｒｉｄ　Ｓｐａｃｅ　ｆｒｏｍ　Ｌａｒｇｅ　Ｎｕｍｂｅｒ　ｏｆ　Ｉｍａｇｅｓ，　Ｐｒｏｃｅｅｄｉｎｇ　ｏｆ　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’９９），　ｐｐ．４９−５４，　１９９９．（３）北原，大田，斎藤，秋道，尾野，金出：大規模空間における多視点映像の撮影と自由視点映像生成、３Ｄ　Ｉｍａｇｅ　Ｃｏｎｆｅｒｅｎｃｅ　２０００，　ｐｐ．２５−２８，　２０００．がある。
【０００６】
また、注目人物の動きをマスタカメラで追跡し、その時のマスタカメラの動的パラメータ（位置・姿勢等の変化値）を自動的に検出し、それらのパラメータを他のカメラに伝えることによって、全カメラの位置・姿勢を同期的に動かしながら、注目人物を追従し撮影することが可能となる多視点映像生成・表現システムが提案されている。このような技術は、例えば、（４）Ｒ．Ｔ．Ｃｏｌｌｉｎｓ　ａｎｄ　Ｔ．Ｋａｎａｄｅ：　Ｍｕｌｔｉ−ｃａｍｅｒａ　Ｔｒａｃｋｉｎｇ　ａｎｄ　Ｖｉｓｕａｌｉｚａｔｉｏｎ　ｆｏｒ　Ｓｕｒｖｅｉｌｌａｎｃｅ　ａｎｄ　Ｓｐｏｒｔｓ，　Ｔｈｅ　Ｆｏｕｒｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｃｏｏｐｅｒａｔｉｖｅ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｖｉｓｉｏｎ，　ｐｐ．
２７−５５，　Ｍａｒ．　２２−２４，　２００１．に記載されている。
【０００７】
上述したように、多視点画像あるいは３６０度画像、全天球画像等、複数のカメラで撮影した画像を再生するシステムが提案されまた利用されているが、これらの画像取得において、撮影対象物が静止しているものならば、１台のカメラで場所を移動しながら撮影することもできるが、対象物が移動している場合は、複数のカメラで撮影しなければならない。
【０００８】
この場合、カメラ間の特性、例えば明るさや色味の調整レベルがカメラ間で異なると、画像再生の際に視点切り換え、すなわち撮影カメラの切り換えを行なう毎に再生画像の明るさや色味に違いが生じ滑らかな連続した映像を再生することができず、画像の視聴者に違和感を発生させる。
【０００９】
これらの問題を解決するための方法として撮影前にすべてのカメラをベクトルスコープを用いて調整する方法がある。ベクトルスコープによる調整は、各カメラの撮影画像データ信号をモニタ上で波形表示またはベクトル表示を行ない、表示データに基づいて、カメラの調整を行なう方式である。
【００１０】
しかし、このような事前の調整を行なったとしても、照明や空調といった外的要因による環境の変化にともない、カメラ間で明るさや色味が変化してしまうという問題が生じる。
【００１１】
複数カメラで画像を撮影後、各カメラ撮影画像の画像処理を実行して、各カメラ映像間の輝度特性を合わせることも可能であるが、これらの処理のためには、キャリブレーションデータが必要となり、このキャリブレーションデータは、撮影の合間に撮影環境に即した情報でなければならないので、撮影時の短時間にこれらのデータを取得し、画像データに同期した情報として記憶する処理が必要となる。
【００１２】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑みてなされたものであり、視点の異なる複数台カメラで撮影した映像を用いて、よりリアルな多視点画像生成・表現を行うためのカメラキャリブレーションを実現する画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１３】
さらに、本発明は、撮影環境と同じカメラ状態で短時間に簡単に、カメラ間の輝度特性を補正するデータを取得可能とし、撮影後の後処理で映像間の輝度特性（明るさや色味）を合わせる作業を、手作業でなく補正パラメータを用いて容易に修正することを可能とした画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の第１の側面は、
複数のカメラにより撮影される多視点画像の画像補正処理を実行する画像処理装置であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行する補正処理部を有することを特徴とする画像処理装置にある。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれる基準画像データをＣ’＝［Ｒｂ，Ｇｂ，Ｂｂ］、前記参照画像データに含まれる参照画像データをＣ＝［Ｒｒ，Ｇｒ，Ｂｒ］としたとき、Ｃ’＝ＭＣ＋Ｖとして求められるＭおよびＶの値によって構成される補正パラメータであることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
Ｒ、Ｇ、Ｂに関する補正パラメータをそれぞれＰＲ、ＰＧ、ＰＢ、として、
【数７】
2004088247.tif 000003
によって示される値、
ただし、上記式において、Ｃｒ、Ｒｂ、Ｇｂ、Ｂｂは、
【数８】
2004088247.tif 000004
を、Ｒｂ＝ＣｒＰＲとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇｂ＝ＣｒＰＧ、Ｂｂ＝ＣｒＰＢの対応関係を持つ行列式、
であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記基準チャートは、複数の異なる有彩色、および複数の異なる無彩色によって構成され、前記補正パラメータは、前記複数の有彩色および無彩色の各々について、参照画像データを基準画像データに一致させるためのパラメータとして設定されたものであることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理装置であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算部、
を有することを特徴とするカメラキャリブレーション処理装置にある。
【００１９】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記差分データの絶対値平均値は、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数９】
2004088247.tif 000005
によって示される値であることを特徴とする。
【００２０】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記演算部において算出された前記参照カメラに対するキャリブレーション情報を表示する表示部を有することを特徴とする。
【００２１】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記基準チャートを基準カメラによって撮影した基準画像データを格納したメモリを有し、前記演算部は、参照カメラから入力する前記参照画像データと、前記メモリから入力する基準画像データとに基づいて、前記キャリブレーション情報を算出する処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記演算部において算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロール部を有することを特徴とする。
【００２３】
さらに、本発明のカメラキャリブレーション処理装置の一実施態様において、前記カメラキャリブレーション処理装置は、さらに、前記差分データの絶対値平均値と比較する閾値を格納したメモリを有し、前記コントロール部は、前記差分データの絶対値平均値と前記閾値との比較結果に基づいてカメラ調整の要否を判定する構成であることを特徴とする。
【００２４】
さらに、本発明の第３の側面は、
複数のカメラにより撮影される多視点画像の画像補正処理を実行する画像処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とする画像処理方法にある。
【００２５】
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれる基準画像データをＣ’＝［Ｒｂ，Ｇｂ，Ｂｂ］、前記参照画像データに含まれる参照画像データをＣ＝［Ｒｒ，Ｇｒ，Ｂｒ］としたとき、Ｃ’＝ＭＣ＋Ｖとして求められるＭおよびＶの値によって構成される補正パラメータであることを特徴とする。
【００２６】
さらに、本発明の画像処理方法の一実施態様において、前記補正パラメータは、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
Ｒ、Ｇ、Ｂに関する補正パラメータをそれぞれＰＲ、ＰＧ、ＰＢ、として、
【数１０】
2004088247.tif 000006
によって示される値、
ただし、上記式において、Ｃｒ、Ｒｂ、Ｇｂ、Ｂｂは、
【数１１】
2004088247.tif 000007
を、Ｒｂ＝ＣｒＰＲとして設定し、Ｇ，Ｂについても同様の関係、すなわち、Ｇｂ＝ＣｒＰＧ、Ｂｂ＝ＣｒＰＢの対応関係を持つ行列式、
であることを特徴とする。
【００２７】
さらに、本発明の第４の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するカメラキャリブレーション処理方法であり、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするカメラキャリブレーション処理方法にある。
【００２８】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記差分データの絶対値平均値は、前記基準チャートを基準カメラによって撮影した基準画像データに含まれるＮ個の輝度データを［Ｒｂｉ，Ｇｂｉ，Ｂｂｉ］（ｉ＝１〜Ｎ）、前記参照画像データに含まれるＮ個の輝度データを［Ｒｒｉ，Ｇｒｉ，Ｂｒｉ］（ｉ＝１〜Ｎ）としたとき、
【数１２】
2004088247.tif 000008
によって示される値であることを特徴とする。
【００２９】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記カメラキャリブレーション処理方法は、さらに、前記演算ステップにおいて算出された前記参照カメラに対するキャリブレーション情報を表示する表示ステップを有することを特徴とする。
【００３０】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記カメラキャリブレーション処理方法は、さらに、前記演算ステップにおいて算出された前記キャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を前記参照カメラに対して出力するコントロールステップを有することを特徴とする。
【００３１】
さらに、本発明のカメラキャリブレーション処理方法の一実施態様において、前記コントロールステップは、前記差分データの絶対値平均値と閾値との比較処理を実行し、該比較結果に基づいてカメラ調整の要否を判定するステップを含むことを特徴とする。
【００３２】
さらに、本発明の第５の側面は、
複数のカメラにより撮影される多視点画像の画像補正処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて算出される前記参照画像データを基準画像データに一致させるための補正パラメータに基づいて、前記参照カメラによって撮影された画像データの補正処理を実行するステップ、
を有することを特徴とするコンピュータ・プログラムにある。
【００３３】
さらに、本発明の第６の側面は、
多視点画像を撮影する複数のカメラの調整処理としてのキャリブレーション処理を実行するコンピュータ・プログラムであって、
複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、前記基準チャートを参照カメラによって撮影した参照画像データとに基づいて、前記参照画像データと基準画像データに含まれる前記複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、前記差分データが最大となるときの符号を、前記参照カメラに対するキャリブレーション情報として算出する演算ステップ、
を有することを特徴とするコンピュータ・プログラムにある。
【００３４】
【作用】
本発明の構成によれば、多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３５】
また、本発明の構成によれば、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データとに基づいて、参照画像データを基準画像データに一致させるための補正パラメータを算出し、算出した補正パラメータに基づいて、参照カメラによって撮影された画像データの補正処理を実行する構成であるので、基準カメラと、参照カメラの撮影画像の特性（輝度、色味、ホワイトバランス）がパラメータに基づいて統一され、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３６】
さらに、本発明の構成によれば、多視点映像をそれぞれ複数の異なるカメラで撮影する構成において、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データに含まれる複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、差分データが最大となるときの符号を、参照カメラに対するキャリブレーション情報として算出して、算出情報に基づいて、参照カメラの調整処理としてのキャリブレーションを実行する構成としたので、調整されたカメラによって撮影された画像は、特性（輝度、色味、ホワイトバランス）の統一された画像となり、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００３７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３９】
【発明の実施の形態】
以下、本発明の画像処理装置、カメラキャリブレーション処理装置、および方法について、図面を参照しながら詳細に説明する。
【００４０】
図１は、本発明の構成が適用可能な多視点映像撮影装置の構成例を示したブロック図である。多視点映像撮影装置は、撮影対象１０１をそれぞれ異なる視点から撮影するＮ台（Ｎ≧２）の複数のカメラ１１１（１）〜１１１（ｎ）を有する。
【００４１】
複数のカメラ１１１（１）〜１１１（ｎ）には、同期信号発生部１２０から発生した同期信号が入力されて各カメラの同期が取られる。各カメラからの出力信号は、例えばメディアコンバーターなどのＡ／Ｄ変換部１２１（１）〜（ｎ）に入力されＡ／Ｄ変換処理がなされ、磁気ディスク、光ディスク、フラッシュメモリのようなメモリ１２２（１）〜（ｎ）に記録する。
【００４２】
各メモリ１２２（１）〜（ｎ）に記録された異なる視点からの画像データは、多視点映像生成・表示処理部１２３において、視点を切り替えた画像再生が実行される。
【００４３】
上記のようなシステムにおいて、複数のカメラの特性、例えばホワイトバランス、輝度、色味が異なると、それぞれのカメラで撮影した画像に視覚的な差が発生することになり、画像再生において視点機の替えを行なったときに不自然な画像となってしまう。従って、複数カメラの画像を同一の特性、すなわちホワイトバランス、輝度、色味の特性を持つ画像に調整することが必要となる。
【００４４】
このような調整処理の態様としては、２つの態様がある。第１の方法は、複数カメラによって撮影された画像、撮影後の画像の補正、いわゆる撮影画像補正処理を実行して各画像間の特性を均一にする方法である。第２の方法は、被写体の撮影以前にカメラ自体の調整を実行して各カメラの撮影画像を均一なものとする方法、すなわちカメラ自体の調整、例えばホワイトバランス、絞り等の調整を行なうカメラキャリブレーションである。
【００４５】
このように、被写体を撮影した撮影済み画像についての画像補正処理を実行する方法、および被写体を撮影する以前にカメラ間の調整を行なうカメラキャリブレーション方法の２つの処理方法について、以下、（１）撮影画像補正処理、（２）カメラキャリブレーション処理として順次説明する。
【００４６】
［（１）撮影画像補正処理］
まず、被写体を撮影した撮影済み画像についての画像補正処理を実行する方法について説明する。図２を参照して、本発明に従った画像補正処理、すなわち、多視点映像撮影システムを構成する複数カメラの映像間の特性（輝度、色味、ホワイトバランス）を統一されたものに補正するための処理について説明する。
【００４７】
図２においては、理解を容易とするために多視点映像撮影システムを構成する複数カメラの中の２台のカメラによって撮影された画像間の調整処理について説明する。３台以上のカメラ間の調整を行なう場合には、同様の処理を繰り返し実行することになる。
【００４８】
２台のカメラ中、一方のカメラを基準カメラ２１２とし、撮影された映像を基準映像２１３とする。他方のカメラを参照カメラ２２２とし、撮影された映像を参照映像２２３とする。参照映像２２３の輝度特性を基準映像２１３の特性（輝度、色味、ホワイトバランス）と同じになるような補正を行なうものとする。
【００４９】
まず、図２（ａ）パラメータ取得処理に示すように、基準カメラ２１２と参照カメラ２２２の双方において、複数色からなる基準チャート２１１を撮影する。基準チャートは、例えば図３に示すような、６種類（黄色、シアン、緑、マゼンタ、赤、青）の有彩色と４種類の無彩色、計１０種類のデータ、すなわち複数の異なる有彩色、および複数の異なる無彩色によって構成される補正用カラーフィルタ３０１であり、この補正用カラーフィルタ３０１を小型で透過光型のライトボックス３０２に装着し、基準チャート照射体３０３を構成する。
【００５０】
図４に示すように、この補正用カラーフィルター３０１をライトボックス３０２に取り付けた基準チャート照射体３０３を、カメラ３１１のレンズカバーの前面に密着するように設定して撮影画像を取得する。
【００５１】
なお、基準カメラ２１２と参照カメラ２２２において撮影条件を一致させるために、基準カメラ２１２と参照カメラ２２２において撮影する基準チャートは同一のものとすることが好ましく、一方のカメラで基準チャートを撮影した後、同一の基準チャートを参照カメラで撮影してそれぞれの画像データを取得する。同一の特性を持つ基準チャートが生成可能であれば、複数の基準チャートを用いることも可能である。
【００５２】
なお、カメラの電源を入れてから一定時間経過すると輝度の変化は少なくなり、カメラは安定した状態になる。しかし、照明から発生する熱や空調などの影響で環境が変化すると、輝度も変化する。例えば、アナログカメラの場合、筐体の温度が高くなると輝度は下がってしまう。したがって、基準チャートを用いた撮影データは、被写体撮影時と同じ環境下で短時間に取得することが好ましい。
【００５３】
図２に戻り説明を続ける。このように、数色からなる基準チャート２１１をそれぞれのカメラ、すなわち基準カメラ２１２、参照カメラ２２２でで撮影し、２つの映像、すなわち基準映像２１３と参照映像２２３を得る。
【００５４】
これらの２つの映像に基づいて基準チャート２１１に含まれる各色の値を示す２つのデータ、すなわち、基準映像データ２１４と、参照映像データ２２４を求め、これらの２つのデータに対して、後述する変換式を用いた変換処理２５１を実行して、参照カメラ２２２で撮影した画像データを基準カメラ２１２で撮影した画像データの特性に一致させるためのパラメータ（基準−参照）２５２を取得する。
【００５５】
図２（ｂ）撮影処理に示すように、被写体の撮影画像が基準カメラ２１２、参照カメラ２２２でそれぞれ実行され、基準映像２１３、参照映像が取得されると、基準映像は、そのままメモリに格納され、また再生に利用される基準映像２３２とされるが、参照映像２２３は、前述の基準チャートの撮影によって算出したパラメータ（基準−参照）２５２を用いて補正（変換）処理部２６１において参照画像の補正（変換）処理が実行された後、補正後の参照映像２４２としてメモリに格納され、また再生に利用される映像とされる。このような補正処理を実行することにより参照映像の特性（輝度、色味、ホワイトバランス）を基準映像と等しく設定することが可能となる。
【００５６】
Ｎ台のカメラを用いる場合は、基準映像１に対して参照映像２，３，．．．Ｎ−１の画像が取得され、輝度特性補正パラメータもパラメータ（基準１−参照２）、パラメータ（基準１−参照３）、・・パラメータ（基準１−参照Ｎ−１）、すなわちＮ−１個のパラメータをそれぞれ求め、それぞれのパラメータに基づいて参照映像の補正（変換）処理を実行して参照映像の特性を基準映像の特性に一致させる処理を実行する。
【００５７】
図５を参照して、多視点映像撮影装置を用いた、カメラの設定から補正にいたるまでの撮影作業の流れについて説明する。まず、ステップＳ１０１において、基準となるカメラを１台決め、ホワイトバランスや明るさなどを決める。次にステップＳ１０２において、このカメラを基準カメラとし、基準カメラおよび参照カメラの双方において基準チャートを撮影する。ステップＳ１０３において、基準カメラおよび参照カメラの双方において撮影した基準チャート撮影データに基づいて、補正用パラメータ（基準−参照）を算出する。
【００５８】
なお、補正用パラメータはＮ台のカメラを設置した撮影を行なう場合は、Ｎ−１個のパラメータを求めることになる。
【００５９】
次に、ステップＳ１０４において、パラメータを算出済みの複数のカメラを撮影に応じた配置、例えば横１列、あるいは円弧状に配置し、多視点映像を撮影する。ステップＳ１０５において、撮影された映像に対してそれぞれのパラメータに基づいて補正画像を生成し、ステップＳ１０６において、補正画像データをメモリに格納する。
【００６０】
次にパラメータの算出処理について詳細に説明する。図４に示すように、補正カラーフィルター３０１をライトボックス３０２に取り付けた基準チャート照射体３０３を、カメラ３１１のレンズカバーの前面に密着するように設定して撮影画像を取得する。
【００６１】
この際、ライトボックスは、電源を入れてから十分に時間が経過し、照度が一定の状態になるようにしておく。また、カメラは撮影時の状態のままで、絞りもズームもフォーカスも変更しない。補正用カラーフィルタをライトボックスの照度面に固定し、環境光を遮断するために、図４に示すようにカメラのレンズカバーに密着させて撮影する。この場合、焦点が合っていないので映像はぼけるが、境界近傍以外での輝度は変化しないので、焦点が補正用カラーフィルタに合っていなくても輝度には影響しない。
【００６２】
なお、基準チャート撮影画像データ中、実際にパラメータ算出処理に適用する画像データは、図６に示すように基準チャート４１１の各色設定領域４１２の境界近傍を含まない小領域をデータ取得領域４１３として設定し、データ取得領域４１３内のＲＧＢの平均輝度値データとすることが好ましい。
【００６３】
図４に示すように、カメラ３１１のレンズカバー３１２に補正用カラーフィルタ３０１とライトボックス３０２からなる基準チャート照射体３０３を密着させる利点は、すべてのカメラに対して同じ照明環境を作れることと、撮影時とキャリブレーション時で同じカメラ状態が保てることにある。このような密着構成とすることで、周囲に照明があった場合でも反対に周囲が暗い場合でも、ライトボックスの光源のみが光源となり、カメラと照明の距離やカメラに対する照明の姿勢を同一に保てるため、一定の光量下で補正用データを取得できる。
【００６４】
ライトボックスの照度は場所によってムラがあり一定ではないが、同じ場所における時間軸方向の照度変化がなく、補正用カラーフィルタとの位置関係が固定されていれば、ライトボックスの照度面における照度ムラは問題にならない。また、撮影の妨げにならないように、照明環境が変わるたびに手軽に手早く補正（キャリブレーション）用データを取得できることは実際の運用面においては重要である。補正用の基準チャートと照明をレンズから離した状態で補正（キャリブレーション）用データを取得する場合でも、周辺の環境光を遮断でき、カメラと照明の距離や姿勢関係を一定に保ち、各カメラに対して同じ照明環境を作り、撮影時とキャリブレーション時でカメラの状態が変わらなければよい。
【００６５】
撮影時とカメラ設定は変えられないので、ライトボックスが調光型でない場合は、ＮＤフィルタ（色のバランスを崩さないで露出を調整するフィルタ）などを補正用カラーフィルタと併用して使うことで光量を調整できる。調光型で光量を調節する場合は、照度が安定するまでの時間が必要となるが、フィルタで簡単に光量を調節できれば、時間制約の厳しい撮影現場では有益である。また、色温度変換フィルタを併用すればライトボックスの照明の色温度も手軽に変えられる。
【００６６】
次に、カメラ間の輝度特性補正パラメータを求めるためのデータ処理について述べる。ここでは、２台のカメラ間の補正について説明する。任意の色：Ｃ＝［Ｒ，Ｇ，Ｂ］Ｔに対して下式（式１）のような変換を行って補正色：Ｃ’＝［Ｒ’，Ｇ’，Ｂ’］Ｔとするような色補正を行うモデルを想定する。なお、Ｒ，Ｇ，ＢおよびＲ’、Ｇ’、Ｂ’は例えば０〜２５５の値を持つ。
【００６７】
【数１３】
Ｃ’＝ＭＣ＋Ｖ・・　（式１）
【００６８】
上記式において、Ｃ＝［Ｒ，Ｇ，Ｂ］Ｔ、Ｃ’＝［Ｒ’，Ｇ’，Ｂ’］Ｔ、Ｒ，Ｇ，Ｂはそれぞれ赤、緑、青の輝度（例えばＲ＝０〜２５５，Ｇ＝０〜２５５，Ｂ＝０〜２５５）を表し、Ｍは３×３の行列、Ｖは３×１のベクトルとする。
【００６９】
画像補正を実行する２台のカメラ、すなわち基準カメラと参照カメラの双方において、複数の色を取り込み、それらの対応関係から色補正のパラメータとしての、行列ＭとベクトルＶを算出する。
【００７０】
パラメータの算出方法について説明する。２台のカメラ、すなわち基準カメラと参照カメラの双方において、先に図３他を参照して説明した基準チャートを撮影して得られたカラー映像をそれぞれ基準映像Ｉｂ、参照映像Ｉｒとする。参照映像の色味を基準映像の色味にあわせる場合を考える。任意の色、例えば補正用カラーフィルタの各色に対して、基準映像の各色の輝度を［Ｒｂ，Ｇｂ，Ｂｂ］、参照映像の各色の輝度を［Ｒｒ，Ｇｒ，Ｂｒ］とする。
【００７１】
上記式（式１）におけるＣを参照映像の輝度、すなわちＣ＝［Ｒｒ，Ｇｒ，Ｂｒ］とし、Ｃ’を基準映像の輝度、すなわちＣ’＝［Ｒｂ，Ｇｂ，Ｂｂ］として設定すると、両者の特性を調整するためのパラメータとしての行列ＭとベクトルＶは、下式（式２）が成立するような行列ＭとベクトルＶを求めればよいことになる。
【００７２】
【数１４】
2004088247.tif 000009
【００７３】
上記式（式２）を変形すると、下式（式３）〜（式５）のように示すことができる。
【００７４】
【数１５】
2004088247.tif 000010
【００７５】
前記式（式２）は、上記式（式３）〜（式５）のように表せる。さらに、複数の色、例えばＮ個の色データを与えた場合式（式３）は式（式６）のように表すことができる。
【００７６】
【数１６】
2004088247.tif 000011
【００７７】
なお、上記式（式６）において、Ｒｂｉは、基準画像でのｉ番目の色のＲの輝度を表し、Ｒｒｉ，Ｇｒｉ，Ｂｒｉは、参照画像でのｉ番目の色のＲ、Ｇ、Ｂの輝度をそれぞれ表している。例えば図３に示す基準チャートには１０種類の色が設定されており、このチャートを使用して基準映像および参照映像を取得した場合には、ｉ＝１０となる。
【００７８】
ここで式（式６）を、
Ｒｂ＝ＣｒＰＲ・・（式６’）
とおく、上記（式６’）は、（式６）の左辺項の行列をＲｂとし、右辺の第１項の行列をＣｒとし、パラメータの構成要素としてのｍ，ｖからなる行列をＰｒに置き換えたものである。ここで、最小二乗法を適用した処理、すなわち下式（式７）において、ＥＲが最小となるＰＲを求める。
【００７９】
【数１７】
ＥＲ＝（Ｒｂ−ＣｒＰＲ）（Ｒｂ−ＣｒＰＲ）Ｔ・・（式７）
【００８０】
ＥＲ＝ＭＩＮ（最小値）となるＰＲを求めるために上記式（式７）の両辺を微分して０とおくと、下記式（式８）、（式９）によってＥＲ＝ＭＩＮ（最小値）となるＰＲが算出される。
【００８１】
【数１８】
（ｄＥ／ｄＣｒ）＝−ＣｒＴ（Ｒｂ−ＣｒＰＲ）＝０・・（式８）
ＰＲ＝（ＣｒＴＣｒ）−１ＣｒＴＲｂ・・（式９）
【００８２】
上記式（式８）、（式９）によってＥＲ＝ＭＩＮ（最小値）となるＰＲが算出される。同様にＧおよびＢの輝度についても、Ｒｂの式（式３）から（式６）、（式７）の展開と同様の展開を、（式４）および（式５）について実行すると、下式（式１０）、（式１１）が得られ、下式（式１０）、（式１１）において、それぞれＥＧ、およびＥＢが最小となるＰＧおよびＰＢを求める。
【００８３】
【数１９】
ＥＧ＝（Ｇｂ−ＣｒＰＧ）（Ｇｂ−ＣｒＰＧ）Ｔ・・（式１０）
ＥＢ＝（Ｂｂ−ＣｒＰＢ）（Ｂｂ−ＣｒＰＢ）Ｔ・・（式１１）
【００８４】
ＥＧ＝ＭＩＮ（最小値）となるＰＧ、およびＥＢ＝ＭＩＮ（最小値）となるＰＢを求めるために上記式（式１０）、（式１１）の両辺を微分して０とおくと、前述の（式８）、（式９）と同様の手順に従って、下記式（式１２）、（式１３）に示すように、それぞれＥＧ＝ＭＩＮ（最小値）となるＰＧ、およびＥＢ＝ＭＩＮ（最小値）となるＰＢが算出される。
【００８５】
【数２０】
ＰＧ＝（ＣｒＴＣｒ）−１ＣｒＴＧｂ・・（式１２）
ＰＢ＝（ＣｒＴＣｒ）−１ＣｒＴＢｂ・・（式１３）
【００８６】
ここで、
Ｒｂ＝［Ｒｂ１，Ｒｂ２，・・ＲｂＮ］
Ｇｂ＝［Ｇｂ１，Ｇｂ２，・・ＧｂＮ］
Ｂｂ＝［Ｂｂ１，Ｂｂ２，・・ＢｂＮ］
であり、
Ｃｒは、前記式（式６）の右側の第１項の行列式であり、基準チャートを撮影した参照映像の複数の色データから取得される値に基づく行列式であり、既知である。従って、式（式８）、（式１２）、（式１３）に基づいてＰＲ、ＰＧ、ＰＢが算出される。すなわち、パラメータｍ１１〜ｍ３３、ｖ１〜ｖ３を求めることができる。パラメータＰＲ、ＰＧ、ＰＢは、下式（式１４）、（式１５）、（式１６）のように示される。
【００８７】
【数２１】
2004088247.tif 000012
【００８８】
このパラメータｍ１１〜ｍ３３、ｖ１〜ｖ３を、図２に示すパラメータ（基準−参照）２５２として設定し、撮影処理における参照画像の補正処理に適用する。
【００８９】
すなわち、図２に示す参照カメラ２２２によって取得した参照映像２２３に対して、その参照映像２２３の色Ｃｓに対してパラメータに基づく変換を実行する。すなわち、前述の処理によって取得されたパラメータｍ１１〜ｍ３３からなる３×３の行列Ｍと、パラメータｖ１〜ｖ３からなる３×１のベクトルＶとによる変換、
Ｃｓ’＝ＭＣ＋Ｖ
を実行して補正後の参照映像２４２を取得する。
【００９０】
上述の処理は、１つの基準映像に対して１つの参照映像の補正を実行する処理であるが、Ｎ台のカメラを使用した多視点画像の場合には、基準カメラ１に対して参照カメラ２〜Ｎそれぞれのパラメータ、すなわちＮ−１個のパラメータを求め、それぞれのパラメータに基づいて同様の補正（変換）を実行して補正後の参照映像を取得する。
【００９１】
なお、特定の１つのカメラを基準カメラとして設定することは必ずしも必須ではなく、例えばまず、始めに基準カメラ１を決めて、隣接するカメラ２を基準カメラ１に合わせるためのパラメータを算出し、次は、カメラ２を基準カメラ２として設定してさらに隣接するカメラ３を基準カメラ２に合わせるためのパラメータを算出する処理を順次繰り返して実行し、それぞれのカメラ間の補正用パラメータを算出する処理を実行してもよい。
【００９２】
上述の処理によって多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【００９３】
［（２）カメラキャリブレーション処理］
上述した処理は、撮影後の画像をパラメータを用いて補正し、統一された特性を持つ画像に変換する処理例であった。次に、被写体を撮影する以前にカメラ間の調整を行なうカメラキャリブレーション処理法について説明する。
【００９４】
従来のカメラの調整方法で、多視点画像を撮影するＮ台のカメラの明るさと色味を調整しようとすると、まず調整用の照明環境を構築する。例えば、グレースケールのような基準プレートに照度が一様になるように照明をあて、照明とカメラの位置関係を固定し、ベクトルスコープを用いてホワイトバランスや明るさや色味の調整を行う。これをＮ−１台分繰り返すことになる。
【００９５】
これに対し、本発明を適用したキャリブレーション処理は、先に図３他を参照して説明したライトボックスと補正用色フィルタを用いた基準チャートの撮影データに基づいてカメラの調整、すなわちカメラキャリブレーション処理を実行し、各カメラで撮影された画像が統一された特性（輝度、色味、ホワイトバランス）を持つものとなるように設定する。
【００９６】
図７を参照して、カメラ調整として実行されるカメラキャリブレーション処理を含む多視点映像撮影処理シーケンスについて説明する。まず、ステップＳ２０１において、基準となるカメラを１台決め、ホワイトバランスや明るさなどを決める。このカメラに対しては従来通りの方法でカメラのホワイトバランスや明るさや色味、焦点、ズームなど撮影環境に応じて設定する。
【００９７】
次にステップＳ２０２において、このカメラを基準カメラとし、基準カメラと参照カメラ双方において基準チャートを撮影する。すなわち、図３、図４を参照して説明した補正用色フィルタ付きライトボックスをレンズフィルタに密着させ映像を取り込む。
【００９８】
ステップＳ２０３において、基準カメラと参照カメラ双方の基準チャート撮影データに基づいて、両撮影データの差分データを求める。すなわち、基準チャートのＮ種類の複数色（図３の基準チャートではＮ＝１０）について、基準カメラと参照カメラ双方の基準チャート撮影データ中の各色のＲＧＢの輝度を求めて、メモリにキャリブレーションデータとして保存する。
【００９９】
なお、この差分データはＮ台のカメラを設置した撮影を行なう場合は、Ｎ−１個の差分データを求めることになる。
【０１００】
次に、ステップＳ２０４において、差分データに基づいて、カメラ（参照カメラ）の調整、すなわちカメラキャリブレーションを実行する。次にステップＳ２０５において、調整後の複数のカメラを撮影に応じた配置、例えば横１列、あるいは円弧状に配置し、多視点映像を撮影する。ステップＳ２０６において、補正画像データをメモリに格納する。
【０１０１】
この処理により、各カメラで撮り込まれた画像は、その特性（輝度、色味、ホワイトバランス）が統一されたものとなる。
【０１０２】
具体的なキャリブレーション処理例について、図８のフローを参照して説明する。このフローは、参照カメラの調整処理として、Ｒゲイン、Ｂゲインおよび絞りの調整を行なうものであり、参照カメラは、初期値として、Ｒゲイン、Ｂゲインおよび絞りが初期値としてのカメラ設定値に設定されているものとする。
【０１０３】
まずステップＳ３０１において、基準カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）（０≦ｉ≦ｎ）を取得する。これは、図３他を参照して説明した複数色からなる基準チャートの基準カメラによる撮影画像について、各色、例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値を取得する処理である。
【０１０４】
次に、ステップＳ３０２において、調整対象となる参照カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ）（０≦ｉ≦ｎ）を取得する。例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値を取得する処理である。
【０１０５】
ステップＳ３０３において、基準カメラ用のキャリブレーションデータ（Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）と、参照カメラ用のキャリブレーションデータ（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ）とを比較し、各色におけるＲＧＢの差分データ：Ｒｒｉ−Ｒｂｉ，Ｇｒｉ−Ｇｂｉ，Ｂｒｉ−Ｂｂｉを求める。この結果は、例えばモニタに表示する。ここで、ｉは、ｎ色からなる補正用色フィルタの何番目の色かを表し、０からｎ−１までの値をとる。
【０１０６】
次に、差分データ：Ｒｒｉ−Ｒｂｉ，Ｇｒｉ−Ｇｂｉ，Ｂｒｉ−Ｂｂｉのそれぞれ絶対値の平均、すなわち、差分データの絶対値平均値として下式、（式１７）、（式１８）、（式１９）を求める。
【０１０７】
【数２２】
2004088247.tif 000013
【０１０８】
さらに、差分データの絶対値｜Ｒｒｉ−Ｒｂｉ｜が最大値となる色についてのＲｒｉ−Ｒｂｉの符号、すなわち＋、−または０をｒＦｌａｇとし、｜Ｇｒｉ−Ｇｂｉ｜が最大値となる色についてのＧｒｉ−Ｇｂｉの符号、すなわち＋、−または０をｇＦｌａｇとし、｜Ｂｒｉ−Ｂｂｉ｜が最大値となる色についてのＢｒｉ−Ｂｂｉの符号、すなわち＋、−または０をｂＦｌａｇとする。これらの結果は、それぞれモニタに表示する。
【０１０９】
次に、ステップＳ３０４において、ステップＳ３０３で算出したＧｒｉ−Ｇｂｉの絶対値の平均：ｇと予め定めた閾値（ｔｈｒｅｓｈ）を比較する。ｇ≧閾値であれば、ステップＳ３０５に進み、参照カメラの絞り調整を実行する。例えば閾値＝１として設定した場合には、ｇ≧１の場合には、参照カメラの絞り調整を実行する。
【０１１０】
ステップＳ３０５においては、ｇＦｌａｇの符号に従って、絞り調整を実行する。ｇＦｌａｇ＞０の場合は、絞りを絞る方向の調整を実行し、ｇＦｌａｇ＜０の場合は、絞りを開ける方向の調整を実行する。これらの処理により、ｇがある閾値内、例えば±１以内になるように調整する。ｇ＜閾値（ｔｈｒｅｓｈ）となったところで、ステップＳ３０６に進む。
【０１１１】
なお、ステップＳ３０５における調整処理は、ユーザがモニタのデータを参照しながら実行してもよいが、調整処理装置からカメラの調整部に対して、ｇＦｌａｇの値に応じた調整量を指定した調整処理コマンドを送信し、カメラ側がコマンドに応じて絞りを自動調整する構成としてもよい。
【０１１２】
ステップＳ３０６では、ステップＳ３０３で算出したＲｒｉ−Ｒｂｉの絶対値の平均：ｒとＢｒｉ−Ｂｂｉの絶対値の平均：ｂが、予め定めた閾値（ｔｈｒｅｓｈ）以下であるかを判定する。ｒ≧閾値またはｂ≧閾値であれば、ステップＳ３０７に進み、参照カメラのＲゲインまたはＢゲインの少なくともいずれかの調整を実行する。例えば閾値＝１として設定した場合には、ｒ≧１またはｂ≧１いずれかの場合には、参照カメラの絞り調整を実行する。
【０１１３】
ステップＳ３０７においては、ｒＦｌａｇおよびｂＦｌａｇの符号に従って色味調整を実行する。具体的にはＲゲインまたはＢゲインの調整を実行する。ｒ≧閾値であり、ｒＦｌａｇ＞０の場合は、Ｒゲインを小さくするように−方向の調整を実行する。ｒ≧閾値であり、ｒＦｌａｇ＜０の場合は、Ｒゲインを大きくするように＋方向の調整を実行する。
【０１１４】
また、ｂ≧閾値であり、ｂＦｌａｇ＞０の場合は、Ｂゲインを小さくするように−方向の調整を実行する。ｂ≧閾値であり、ｂＦｌａｇ＜０の場合は、Ｂゲインを大きくするように＋方向の調整を実行する。
【０１１５】
なお、このステップＳ３０７における調整処理は、前述のステップＳ３０５の絞り調整と同様、ユーザがモニタのデータを参照しながら実行してもよいが、調整処理装置からカメラの調整部に対して、ｒＦｌａｇまたはｂＦｌａｇの値に応じた調整量を指定した調整処理コマンドを送信し、カメラ側がコマンドに応じてＲゲインまたはＢゲインを自動調整する構成としてもよい。
【０１１６】
このような調整（カメラキャリブレーション）が実行され、ｇ＜閾値（ｔｈｒｅｓｈ）、ｒ＜閾値（ｔｈｒｅｓｈ）、ｂ＜閾値（ｔｈｒｅｓｈ）のすべてが満足されると、調整が終了する。この結果、参照カメラは、基準カメラの特性（輝度、色味、ホワイトバランス）とほぼ同一の特性に調整されることになり、多視点映像をそれぞれキャリブレーション処理後のカメラで撮影することで、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１１７】
なお、図８を参照して説明した処理は、１つの基準カメラに対して１つの参照カメラの調整を実行する処理例であるが、Ｎ台のカメラを使用する場合には、基準カメラ１に対してＮ−１個の参照カメラの調整を実行する。なお、調整処理手法としては、Ｎ台のうち１つのみ固定した基準カメラを設定して、設定した１つの基準カメラに対してその他の参照カメラを合わせていく調整方法と、調整済みのカメラを新たな基準カメラとして設定して、順次、基準カメラを変更しながらその他の未調整のカメラを参照カメラとして設定していく方法とがある。
【０１１８】
図８を参照して説明したカメラキャリブレーションにおいて、ステップＳ３０５の絞り調整と、ステップＳ３０７のＲゲイン、Ｂゲインの調整を、カメラに対するコマンド入力により自動実行するフィードバック制御を実行するカメラキャリブレーション処理装置の構成例について図９を参照して説明する。
【０１１９】
メモリ５２４には、調整済みの基準カメラによって取得された基準チャート撮影データとしてのキャリブレーションデータ、すなわち基準カメラの基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）（０≦ｉ≦ｎ）が格納されている。これは、図３他を参照して説明した複数色からなる基準チャートの基準カメラによる撮影画像について、各色、例えば図３に示す基準チャートであれば１０色、各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値である。
【０１２０】
参照カメラ５１０は、基準チャート５１１をライトボックス５１２の照射光の下に撮影し、撮影データをＡ／Ｄ変換部５２１を介して演算部５２３に入力する。入力データは、参照カメラ５１０の基準チャート撮影画像データについてのｎ色のＲＧＢ値（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ）（０≦ｉ≦ｎ）となる。例えば図３に示す基準チャートであれば１０色、１０色各色のＲＧＢ値、例えばＲ＝０〜２５５、Ｇ＝０〜２５５、Ｂ＝０〜２５５の値が入力される。
【０１２１】
演算部５２３では、Ａ／Ｄ変換部５２１からの参照カメラのデータ：（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ）と、メモリ５２４に格納された基準カメラのデータ：（Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）とに基づいて、図８の処理フローに示すステップＳ３０３において説明した各値、すなわち、Ｒｒｉ−Ｒｂｉ，Ｇｒｉ−Ｇｂｉ，Ｂｒｉ−Ｂｂｉのそれぞれ絶対値の平均値と、ｒＦｌａｇ、ｇＦｌａｇ、ｂＦｌａｇの各値を算出する。
【０１２２】
演算結果は、カメラコントロール部５２５に出力され、カメラコントロール部５２５は、ｇの値、すなわち、Ｇｒｉ−Ｇｂｉの絶対値の平均値、およびｇＦｌａｇの値に基づいた絞り調整量を決定し、決定した絞り調整量の調整を参照カメラ５１０に対して実行する。さらに、カメラコントロール部５２５は、ｒの値、すなわち、Ｒｒｉ−Ｒｂｉの絶対値の平均値、およびｒＦｌａｇの値に基づいたＲゲイン調整量を決定し、決定したＲゲイン調整量の調整を参照カメラ５１０に対して実行し、また、ｂの値、すなわち、Ｂｒｉ−Ｂｂｉの絶対値の平均値、およびｂＦｌａｇの値に基づいたＢゲイン調整量を決定し、決定したＢゲイン調整量の調整を参照カメラ５１０に対して実行する。
【０１２３】
すなわち、カメラコントロール部５２５は、演算部５２３において算出されたキャリブレーション情報に基づく参照カメラに対する制御量を設定し、設定した制御量に基づく制御命令を参照カメラ５１０に対して出力する。なお、カメラコントロール部５２５は、差分データの絶対値平均値と比較する閾値（図８のステップＳ３０４，３０６参照）を格納したメモリを有し、差分データの絶対値平均値と閾値との比較結果に基づいてカメラ調整の要否を判定して、要の判定の場合にのみ、設定した制御量に基づく制御命令を参照カメラ５１０に対して出力する。
【０１２４】
また、カメラキャリブレーション処理装置は、さらに、演算部５２３において算出された参照カメラ５１０に対するキャリブレーション情報を表示部５２６に出力して表示することで、ユーザが表示データに基づいて、参照カメラ５１０の調整、すなわち絞り調整、ゲイン調整等を実行することが可能となる。表示部には、図８の処理フローに示すステップＳ３０３において説明した各値、すなわち、Ｒｒｉ−Ｒｂｉ，Ｇｒｉ−Ｇｂｉ，Ｂｒｉ−Ｂｂｉのそれぞれ絶対値の平均値と、ｒＦｌａｇ、ｇＦｌａｇ、ｂＦｌａｇの各値を表示し、ユーザは数値データに基づいて調整が可能となり、調整量に応じた数値変化を確認しながらの調整が可能となる。
【０１２５】
なお、図では、１台の参照カメラについての制御処理例を示してあるが、この調整処理は、基準チャートとして同一特性のものが用意できれば、複数の参照カメラに対して並列に実行可能である。
【０１２６】
以上、（１）撮影画像補正処理、（２）カメラキャリブレーション処理のそれぞれについて説明してきたが、これら２つの処理は、いずれか一方のみを実行しても、あるいは両処理を実行する構成としてもよい。すなわち、（２）のカメラキャリブレーション処理を実行したカメラを用いて撮影した画像について、（１）の撮影画像補正処理を施す構成としてもよい。
【０１２７】
この本発明の構成によれば、補正用色フィルタ付きライトボックスとを仲介物として使用することで、Ｎ−１台のカメラに対しては調整するための照明環境をつくらないで調整することができ、カメラ調整処理または画像補正処理における時間の短縮が可能となる。また、従来のベクトルスコープを用いた処理ではカメラ単体の輝度特性の調整しかできず、例えば計算機を使用した映像制作システム等、カメラ単体ではなくＡ／Ｄ変換器などを含んだ撮影系全体での調整が困難となるという欠点があるが、本発明の構成では、カメラで撮影し、Ａ／Ｄ変換器を介して取得した画像に基づいてカメラを調整あるいは画像補正を行なうことが可能であり、カメラ単体ではなくＡ／Ｄ変換器などを含んだ撮影系全体での調整が可能となる。また、参照カメラのデータ：（Ｒｒｉ，Ｇｒｉ，Ｂｒｉ）と、基準カメラのデータ：（Ｒｂｉ，Ｇｂｉ，Ｂｂｉ）を例えば０〜２５５の数値データとして見ながら調整できるので、ベクトルスコープを使うのに必要な経験がなくても簡単にカメラ間の調整、あるいは画像補正が可能となる。
【０１２８】
なお、上述した実施例においては、実際の撮影現場を想定して短時間で基準チャートの撮影データを取得するための構成として、レンズキャップにカラーフィルタ付きライトボックスを密着して撮影する例を説明したが、時間の制約、スペースに問題がない場合は、レンズキャップにカラーフィルタ付きライトボックスを密着するかわりに、周囲の環境光を遮断する手段として暗幕を用い、全てのカメラに対して同じ照明環境を作り、撮影時とキャリブレーション時とでカメラ状態の変化がない状態で基準チャートを撮影して、その撮影画像からキャリブレーションデータを取得して画像補正またはカメラ調整を行なう構成とすることも可能である。
【０１２９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１３０】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３４】
【発明の効果】
以上説明してきたように、本発明の構成によれば、多視点映像をそれぞれ特性の異なるカメラで撮影した場合であっても、撮影後の画像の補正により、特性（輝度、色味、ホワイトバランス）の統一された画像が生成され、再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１３５】
本発明の構成によれば、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データとに基づいて、参照画像データを基準画像データに一致させるための補正パラメータを算出し、算出した補正パラメータに基づいて、参照カメラによって撮影された画像データの補正処理を実行する構成であるので、基準カメラと、参照カメラの撮影画像の特性（輝度、色味、ホワイトバランス）がパラメータに基づいて統一され、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【０１３６】
さらに、本発明の構成によれば、多視点映像をそれぞれ複数の異なるカメラで撮影する構成において、複数の異なる輝度情報を持つ基準チャートを基準カメラによって撮影した基準画像データと、基準チャートを参照カメラによって撮影した参照画像データに含まれる複数の異なる輝度情報各々に対応する差分データの絶対値平均値と、差分データが最大となるときの符号を、参照カメラに対するキャリブレーション情報として算出して、算出情報に基づいて、参照カメラの調整処理としてのキャリブレーションを実行する構成としたので、調整されたカメラによって撮影された画像は、特性（輝度、色味、ホワイトバランス）の統一された画像となり、多視点画像再生時の視点切り換え処理における滑らかな映像再生が可能となる。
【図面の簡単な説明】
【図１】多視点映像撮影システムの構成例を示す図である。
【図２】本発明を適用した画像補正処理において実行されるパラメータ取得処理およびパラメータに基づく画像補正処理について説明する図である。
【図３】基準チャートおよびライトボックスによって構成される基準チャート照射体構成例を示す図である。
【図４】基準チャートおよびライトボックスによって構成される基準チャート照射体をカメラによって撮影する構成例について説明する図である。
【図５】パラメータ取得処理およびパラメータに基づく画像補正処理の実行フローを示す図である。
【図６】基準チャートにおけるデータ取得領域について説明する図である。
【図７】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理および撮影処理フローを示す図である。
【図８】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理について詳細に説明するフロー図である。
【図９】基準チャート撮影データに基づくカメラ調整（カメラキャリブレーション）処理をフィードバック制御によって実行する構成例を示す図である。
【符号の説明】
１０１　被写体
１１１　カメラ
１２１　Ａ／Ｄ変換部
１２２　メモリ
１２３　多視点映像生成・表示処理部
２１１　基準チャート
２１２　基準カメラ
２１３　基準映像
２１４　基準映像データ
２２２　参照カメラ
２２３　参照映像
２２４　参照映像データ
２３２　基準映像
２４２　補正後の参照映像
２５１　変換処理部
２５２　パラメータ
２６１　補正処理部
３０１　基準チャート
３０２　ライトボックス
３０３　基準チャート照射体
３１１　カメラ
３１２　レンズカバー
４１１　基準チャート
４１２　色設定領域
４１３　データ取得領域
５１０　参照カメラ
５１１　基準チャート
５１２　ライトボックス
５２１　Ａ／Ｄ変換部
５２３　演算部
５２４　メモリ
５２５　カメラコントロール部
５２６　表示部
【図１】
2004088247.tif 000020
【図２】
2004088247.tif 000021
【図３】
2004088247.tif 000022
【図４】
2004088247.tif 000023
【図５】
2004088247.tif 000024
【図６】
2004088247.tif 000025
【図７】
2004088247.tif 000026
【図８】
2004088247.tif 000027
【図９】
2004088247.tif 000028