(57)【要約】【課題】撮像装置の出力データの表示を行なう表示装置側での処理負荷を軽減して撮像素子の分割領域に対応する画像の不連続性を解消した表示を実現する。【解決手段】撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤからの出力信号に基づく画像データに対応するタグ情報として、分割領域画像の出力レベル差を低減させた表示のために適用する画素値情報を生成して表示装置に送信する。本構成により、表示装置においてタグ情報を利用して左右の画像領域の輝度レベルを合わせることが可能となり、表示装置側で表示画像の解析に基づく輝度レベル検出、差異の算出などの処理を行なうことなく効率的にバランスのとれた画像を得ることが可能となる。【選択図】図４
2008103794.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）と、
前記撮像信号に基づく画像データに対応するタグ情報を生成し、画像データとともに画像表示処理装置に対して出力する出力情報生成部を有し、
前記出力情報生成部は、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を前記タグ情報として生成する構成であることを特徴とする撮像装置。
【請求項２】
前記出力情報生成部は、
前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力情報生成部は、
前記タグ情報を前記画像表示処理装置において表示対象とされる有効映像表示領域以外の画像信号領域に記録する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記出力情報生成部は、
前記タグ情報を画像信号領域に記録する場合、タグ情報の構成ビットを分割し、該各画素に分割ビットを記録する処理を実行する構成であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記出力情報生成部は、
カメラの種類、カメラモード、ハイレート値、シャッター値、これらの各情報の少なくともいずれかをタグ情報として生成する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
画像撮影を実行し、撮影画像を画像表示処理装置に出力する撮像装置と、前記撮像装置からの出力画像を入力して表示する画像表示処理装置とを有する画像処理システムであり、
前記撮像装置は、
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）と、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報をタグ情報として生成し、生成したタグ情報を撮影画像データとともに前記画像表示処理装置に対して出力する出力情報生成部とを有し、
前記画像表示処理装置は、
前記タグ情報に含まれる画素値情報を適用して、分割領域画像の出力レベル差を低減させた画像表示処理を実行する画像表示処理部を有する構成であることを特徴とする画像処理システム。
【請求項７】
前記撮像装置における前記出力情報生成部は、
前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成する構成であり、
前記画像表示処理装置の画像表示処理部は、上記（ａ）〜（ｃ）の少なくともいずれかの情報を適用して、分割領域画像の出力レベル差を低減させた画像表示処理を実行する構成であることを特徴とする請求項６に記載の画像処理システム。
【請求項８】
撮像装置において撮影画像およびタグ情報を含む出力データを生成するデータ処理方法であり、
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）により画像を撮影し、撮像信号を出力情報生成部に出力する撮影ステップと、
出力情報生成部において、前記撮像信号に基づく画像データに対応するタグ情報を生成し、画像データとともに画像表示処理装置に対して出力する出力情報生成ステップとを有し、
前記出力情報生成ステップは、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を前記タグ情報として生成するステップを含むことを特徴とするデータ処理方法。
【請求項９】
前記出力情報生成ステップは、
前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成するステップであることを特徴とする請求項８に記載のデータ処理方法。
【請求項１０】
前記出力情報生成ステップは、
前記タグ情報を前記画像表示処理装置において表示対象とされる有効映像表示領域以外の画像信号領域に記録するステップを含むことを特徴とする請求項８に記載のデータ処理方法。
【請求項１１】
前記出力情報生成ステップは、
前記タグ情報を画像信号領域に記録する場合、タグ情報の構成ビットを分割し、該各画素に分割ビットを記録する処理を実行することを特徴とする請求項１０に記載のデータ処理方法。
【請求項１２】
前記出力情報生成ステップは、
カメラの種類、カメラモード、ハイレート値、シャッター値、これらの各情報の少なくともいずれかをタグ情報として生成するステップを含むことを特徴とする請求項８に記載のデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理システム、およびデータ処理方法に関する。さらに、詳細には、撮像装置の撮影画像をＰＣなど画像表示処理を行なう表示装置に出力する構成において、画像データとともに表示処理に適用するタグ情報を送信してタグ情報に基づく表示データの生成を可能とした撮像装置、画像処理システム、およびデータ処理方法に関する。
【背景技術】
【０００２】
昨今、デジタルカメラが普及し、デジタルカメラが様々な分野で利用されている。例えば監視用の映像を撮影する目的や、ＦＡ（ファクトリーオートメーション）における生産ラインの画像撮影などにも用いられる。例えば、ＦＡ（ファクトリーオートメーション）用デジタルカメラは、工場における生産ラインの画像を撮影して撮影情報を表示装置に転送し、表示装置側において画像解析やオペレータによる表示画像の観察などにより、生産ラインの状況判断処理などが行なわれる。
【０００３】
従来のＦＡ（ファクトリーオートメーション）において用いられるカメラモジュールは、撮影した画像信号だけを表示装置側に送りだすことを目的としている。例えば、表示装置側にはＰＣが備えられ、ＰＣのディスプレイにカメラモジュールからの画像を表示する。カメラモジュールは、ＰＣで制御され、各種モードに切り替えられる。
例えば、カメラモードとして、
垂直方向の２画素を加算して読み出すことにより感度を２倍、かつフレームレートを２倍にするビニングモード、
有効映像期間を垂直方向へ分割した任意の領域を有効映像部分として読み出し、不要部分を高速転送してフレームレートをあげるハイレートモード、
外部トリガー入力に同期して蓄積を開始して、一定時間後に全画素独立映像信号を出力するトリガーモード、
などがあり、これら各種モードの切り替えがＰＣの操作によって実行される。
【０００４】
カメラから送られる撮影画像を表示するためにはデジタル画像を取り込んで映像信号としてＰＣのモニタに表示する画像表示アプリケーションが必要である。ＰＣにおいて画像表示アプリケーションを実行することで、カメラからの受信データを正しく表示することができる。しかし、カメラの種類や各モード等のカメラ設定によって有効表示領域情報を示す有効映像期間情報、画素の転送クロック情報、量子化サイズ情報等の表示処理に適用するパラメータが異なるために、個別のカメラ設定情報を記録した多数のカメラ設定ファイルを用意する必要がある。画像表示アプリケーションはカメラの種類やモートに対応するカメラ設定情報を選択して、カメラの種類、モードに応じた表示処理を行なうことになる。
【０００５】
カメラ設定情報はＰＣを介してカメラモジュールに設定するが、従来の方法では、このカメラ設定情報をカメラモジュールに設定するのみではなく、表示装置（例えばＰＣ）側の表示アプリケーションにも設定することが必要となっていた。すなわち、カメラの種類や設定したモード等のカメラ設定情報に対応するパラメータを選択して表示アプリケーションを実行させるために、表示装置（例えばＰＣ）側においても、カメラ設定情報に対応するカメラ設定ファイルの選択情報を入力することが必要となっていた。しかし、カメラの設定ファイルはカメラの種類とその設定値にわけられ、非常にたくさん存在するので、カメラの設定値がどの設定ファイルに属するのかが分かりづらく、オペレータの処理の負担を増大させ、また表示エラー等のミスを発生させる要因となっていた。
【０００６】
また、ビデオカメラやスチルカメラなどにおける撮像素子としてＣＣＤ（Charge Coupled Device）が広く用いられているが、従来の一般的なＣＣＤは、１画面分の撮影情報を多数のフォトディテクタ（ＰＤ：Photo Detector）によって受光し、光電変換によって得られる電荷信号を垂直レジスタと水平レジスタとによって読み出してデータストリームに変換して１つの出力チャネルから出力していた。このような１チャネル出力型のＣＣＤおよび信号処理構成について図１を参照して説明する。
【０００７】
図１に示すＣＣＤ１０は、ＣＣＤを構成する撮像素子としてのフォトディテクタ（ＰＤ）に蓄積された電荷を垂直方向に転送する垂直ＣＣＤ１１と、垂直ＣＣＤ１１により転送された電荷を水平方向に１ラインずつ転送する１つの水平ＣＣＤ１２を有する。水平ＣＣＤ１２は、各ラインに対応する電荷を蓄積する水平レジスタ１３と水平レジスタ１３の電荷を電圧に変換する出力アンプ１４を有し、出力アンプ１４の出力をアナログフロントエンド（ＡＦＥ）２１に入力する構成である。
【０００８】
アナログフロントエンド（ＡＦＥ）２１は、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うゲインアンプ（ＧＡＩＮ）回路、ＡＤ変換を行なうデジタル変換部（ＡＤＣ）等によって構成される。アナログフロントエンド（ＡＦＥ）２１において信号処理のなされたデジタル信号は、ラインメモリ２２に蓄積された後、出力部２３を介して出力され、例えば図に示す出力画像３０が得られる。
【０００９】
近年、信号処理の高速化の要請やＣＣＤの構成画素数の増大に伴い、ＣＣＤの出力を複数に分割し、それぞれの出力の並列処理を行い合成して出力する構成、例えば２線出力ＣＣＤが提案されている。２線出力ＣＣＤの構成によって高速な信号処理が実現される。すなわち、１つのＣＣＤから２チャネルの出力がなされれば、１チャネル出力の場合と比較して１／２の動作周波数で出力データの信号処理を行うことができる。
【００１０】
２線出力ＣＣＤの信号処理構成について図２を参照して説明する。図２に示すＣＣＤ５０は、ＣＣＤを構成する撮像素子としてのフォトディテクタ（ＰＤ）に蓄積された電荷を垂直方向に転送する垂直レジスタ５１と、垂直レジスタ５１により転送された電荷を水平方向に１ラインずつ転送する２つの水平レジスタ５２，５３を有する。第１水平レジスタ５２はＣＣＤを構成するフォトディテクタの左半分の出力、第２水平レジスタ５３は右半分の出力を入力する。
【００１１】
第１水平レジスタ５２の蓄積データは、出力アンプ５４によって電荷が電圧に変換されて信号処理部６１に入力される。また、第２水平レジスタ５３の蓄積データは、出力アンプ５５によって電荷が電圧に変換されて信号処理部６２に入力される。２つの信号処理部６１，６２は、それぞれＣＣＤの構成画素の半分の出力データを並列に処理する。この処理によって高速な処理が実現される。
【００１２】
信号処理のなされたデータは、それぞれラインメモリ６３，６４に入力され、マルチプレクサ６５で合成され、出力部６６を介して出力される。例えば図に示す出力画像７０が得られる。出力画像７０の左右の画像領域は異なる輝度レベルになり分割画像の境界が認識できるような不連続な画像になる。
【００１３】
図２に示す構成では、ＣＣＤの撮像領域を左右に２分割し、左右それぞれの水平レジスタ５２，５３を介してデータ転送および信号処理を並列に実行することで、画像の出力スピードを向上させることが可能となる。しかし、複数の異なる出力アンプ５４，５５や、異なる信号処理部６１，６２を使用することとなり、これらの回路の特性の違いに基づく出力レベルの差が生じてしまう。この結果、出力画像７０の左右の画像領域が異なる輝度レベルになると推測される。例えば出力アンプの特性は製造工程上のばらつきに依存し、アンプの特性値を完全に一致することはかなり難しい。
【００１４】
このような２線出力ＣＣＤを、上述したＦＡ（ファクトリーオートメーション）において用いられるカメラモジュールとして利用した場合、撮影画像を受信して表示する表示装置側では、左右画像のレベル差を調整することが必要となる。なお、左右画像のレベル差の調整処理を開示した従来技術としては例えば特許文献１（特開２００１−９４８８６号公報）がある。従来のシステムでは、表示装置側のＰＣにおいて、左右画像のレベル差の解析を行いレベル差解析結果に基づく調整パラメータの設定、調整処理などをすべて実行することが必要であり、ＰＣ側での処理負荷が増大するという問題があった。
【特許文献１】特開２００１−９４８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、このような問題点に鑑みてなされたものであり、撮像装置の撮影画像を画像表示処理を行なう表示装置に出力して表示させる構成において、画像データとともに表示処理に適用するタグ情報を送信してタグ情報に基づく表示データの生成を可能とし、表示装置側における処理負荷を軽減することを可能とした撮像装置、画像処理システム、およびデータ処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）と、
前記撮像信号に基づく画像データに対応するタグ情報を生成し、画像データとともに画像表示処理装置に対して出力する出力情報生成部を有し、
前記出力情報生成部は、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を前記タグ情報として生成する構成であることを特徴とする撮像装置にある。
【００１７】
さらに、本発明の撮像装置の一実施態様において、前記出力情報生成部は、前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成する構成であることを特徴とする。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記出力情報生成部は、前記タグ情報を前記画像表示処理装置において表示対象とされる有効映像表示領域以外の画像信号領域に記録する構成であることを特徴とする。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記出力情報生成部は、前記タグ情報を画像信号領域に記録する場合、タグ情報の構成ビットを分割し、該各画素に分割ビットを記録する処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記出力情報生成部は、カメラの種類、カメラモード、ハイレート値、シャッター値、これらの各情報の少なくともいずれかをタグ情報として生成する構成であることを特徴とする。
【００２１】
さらに、本発明の第２の側面は、
画像撮影を実行し、撮影画像を画像表示処理装置に出力する撮像装置と、前記撮像装置からの出力画像を入力して表示する画像表示処理装置とを有する画像処理システムであり、
前記撮像装置は、
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）と、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報をタグ情報として生成し、生成したタグ情報を撮影画像データとともに前記画像表示処理装置に対して出力する出力情報生成部とを有し、
前記画像表示処理装置は、
前記タグ情報に含まれる画素値情報を適用して、分割領域画像の出力レベル差を低減させた画像表示処理を実行する画像表示処理部を有する構成であることを特徴とする画像処理システムにある。
【００２２】
さらに、本発明の画像処理システムの一実施態様において、前記撮像装置における前記出力情報生成部は、前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成する構成であり、
前記画像表示処理装置の画像表示処理部は、上記（ａ）〜（ｃ）の少なくともいずれかの情報を適用して、分割領域画像の出力レベル差を低減させた画像表示処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の第３の側面は、
撮像装置において撮影画像およびタグ情報を含む出力データを生成するデータ処理方法であり、
撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）により画像を撮影し、撮像信号を出力情報生成部に出力する撮影ステップと、
出力情報生成部において、前記撮像信号に基づく画像データに対応するタグ情報を生成し、画像データとともに画像表示処理装置に対して出力する出力情報生成ステップとを有し、
前記出力情報生成ステップは、
前記ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を前記タグ情報として生成するステップを含むことを特徴とするデータ処理方法にある。
【００２４】
さらに、本発明のデータ処理方法の一実施態様において、前記出力情報生成ステップは、前記画像表示処理装置において表示対象とされる有効映像表示領域に対応する画像に基づく以下の情報、
（ａ）有効映像表示領域に含まれる各分割領域画像の画素値の和、
（ｂ）有効映像表示領域に含まれる各分割領域画像の画素値の平均値、
（ｃ）前記平均値の各分割領域画像間の差分、
上記（ａ）〜（ｃ）の少なくともいずれかの情報を前記タグ情報として生成するステップであることを特徴とする。
【００２５】
さらに、本発明のデータ処理方法の一実施態様において、前記出力情報生成ステップは、前記タグ情報を前記画像表示処理装置において表示対象とされる有効映像表示領域以外の画像信号領域に記録するステップを含むことを特徴とする。
【００２６】
さらに、本発明のデータ処理方法の一実施態様において、前記出力情報生成ステップは、前記タグ情報を画像信号領域に記録する場合、タグ情報の構成ビットを分割し、該各画素に分割ビットを記録する処理を実行することを特徴とする。
【００２７】
さらに、本発明のデータ処理方法の一実施態様において、前記出力情報生成ステップは、カメラの種類、カメラモード、ハイレート値、シャッター値、これらの各情報の少なくともいずれかをタグ情報として生成するステップを含むことを特徴とする。
【００２８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２９】
本発明の一実施例の構成によれば、撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）を持つ撮像装置側において、ＣＣＤからの出力信号に基づく画像データに対応するタグ情報として、ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を生成して、表示装置側に送信する構成としたので、表示装置側において、タグ情報を利用した処理により、各分割領域、例えば左右の画像領域の輝度レベルを合わせることが可能となり、表示装置側で表示画像の解析に基づく輝度レベル検出、差異の算出などの処理を行なうことなく、タグ情報の利用により左右の画像領域のバランスのとれた出力を行なうことが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の撮像装置、画像処理システム、およびデータ処理方法の詳細について説明する。まず、図３を参照して、本発明の一実施例に係る画像処理システムの構成例について説明する。
【００３１】
本発明の画像処理システムの一例として、ＦＡ（ファクトリーオートメーション）用のデジタルカメラの利用例について、図３を参照して説明する。デジタルカメラ８１は、例えば工場の製造ラインの画像を撮影し、表示処理を実行する画像表示処理装置８２に対して、例えば固体撮像素子（ＣＣＤ）で撮像したデジタル画像信号（ＲＡＷデータ）９１を送る。さらに、デジタル画像信号（ＲＡＷデータ）９１に併せてタグ情報９２を送る。画像表示処理装置８２は、例えばディスプレイを備えたＰＣによって構成される。なお、ＲＡＷデータとは、固体撮像素子の撮像データに対してＡＤ変換によるデジタル化処理を行なった画像信号であり輝度調整などが行われていない信号である。
【００３２】
タグ情報９２には画像の表示処理に適用する各種のパラメータとしての演算処理結果やカメラモード情報が含まれている。画像表示処理装置８２は、画像表示処理部においてこれらのタグ情報９２を読み込み、画像表示に必要な設定を自動的に行い、デジタル画像信号（ＲＡＷデータ）９１に対する処理を実行して表示を行なう。本発明の処理構成では、タグ情報９２を取得して適用するだけで画像信号の表示に必要な演算結果を得られるので、ＰＣにかかる演算負荷を軽減できる。
【００３３】
図４を参照して、本発明の一実施例に係る画像処理システムの詳細構成例について説明する。画像処理システムは、図に示す画像撮影処理を行い撮影画像データとタグ情報を出力するカメラモジュール２００と、カメラモジュール２００からのデータを受信して画像表示処理を実行する画像表示処理装置１５０を有する。
【００３４】
カメラモジュール２００は、先に図２を参照して説明したと同様、２線出力ＣＣＤを有する。すなわち、撮像領域が複数に分割され、分割領域毎の出力構成を持つ２線出力ＣＣＤを有する。ＣＣＤ１００の詳細構成について、図５を参照して説明する。
【００３５】
ＣＣＤ１００は、光電変換素子であるフォトディテクタ（ＰＤ）２１０を多数有し、これらのフォトディテクタ（ＰＤ）２１０に蓄積された電荷に基づく電圧信号を出力する構成となっている。ＣＣＤ１００は、１画面分の撮像領域を水平方向の中心で２分割して、それぞれ異なるチャネルから画素情報を出力する。ＣＣＤ１００は、垂直ＣＣＤ（垂直レジスタ）１０１と、１ライン分の水平ＣＣＤ１０２，１０３を有する。垂直ＣＣＤ１０１は、フォトディテクタ（ＰＤ）２１０に蓄積された電荷を１ライン単位で垂直方向に転送するレジスタである。
【００３６】
水平ＣＣＤ１０２，１０３は、垂直ＣＣＤ１０１から転送されてきた１ライン分の電荷を水平レジスタ１０４，１０５に蓄積し、１画素単位で転送して電荷情報を電圧に変換して増幅する出力アンプ１０６，１０７に入力する。出力アンプ１０６，１０７は、それぞれの分割画像に対応する電荷情報を電圧信号として出力するフローティングディフュージョンアンプである。このようにＣＣＤ１００のフォトディテクタ（ＰＤ）２１０の生成した画像情報は、２つの出力アンプ１０６，１０７を介した２つの出力チャネルから出力される。
【００３７】
すなわち、第１水平ＣＣＤ１０２は、左画像の領域に含まれるフォトディテクタ（ＰＤ）２１０から出力される電荷情報に基づく信号を第１出力アンプ１０６を介して出力し、第２水平ＣＣＤ１０３は、右画像の領域に含まれるフォトディテクタ（ＰＤ）２１０から出力される電荷情報に基づく信号を第２出力アンプ１０７を介して出力する。
【００３８】
図４に戻り、これらの出力アンプ１０６，１０７の出力信号の処理について説明する。ＣＣＤ１００の左側画像に対応する画像信号情報である第１出力アンプ１０６の出力はアナログフロントエンド（ＡＦＥ）１１０に入力される。
【００３９】
アナログフロントエンド（ＡＦＥ）１１０は、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うゲイン調整回路（ＧＡＩＮ）、ＡＤ変換を行なうデジタル変換部（ＡＤＣ）等によって構成される信号処理部１１１を有し、この信号処理部１１１によって信号処理がなされ、アナログ信号から例えば１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））が生成されて、生成信号がラインメモリ１３１に蓄積される。
【００４０】
また、アナログフロントエンド（ＡＦＥ）１１０は、タイミングジェネレータ（ＴＧ）１１２を有する。タイミングジェネレータ（ＴＧ）１１２は、第１水平ＣＣＤ１０２に対する駆動信号を生成して出力する。駆動信号は、第１水平ＣＣＤ１０２に蓄積された電荷情報の出力タイミングの制御、リセット処理信号などである。なお、この駆動信号は、カメラの設定モードに応じて適宜切り替えられる。なお、カメラの設定モードには、例えば、
垂直方向の２画素を加算して読み出すことにより感度を２倍、かつフレームレートを２倍にするビニングモード、
有効映像期間を垂直方向へ分割した任意の領域を有効映像部分として読み出し、不要部分を高速転送してフレームレートをあげるハイレートモード、
外部トリガー入力に同期して蓄積を開始して、一定時間後に全画素独立映像信号を出力するトリガーモード、
などがある。これらのモード設定情報は外部入力可能であり、例えば、ＰＣ等の画像表示処理装置１５０から入力することができる。
【００４１】
一方、ＣＣＤ１００の右側画像に対応する画像信号情報である第２出力アンプ１０７の出力はアナログフロントエンド（ＡＦＥ）１２０に入力される。アナログフロントエンド（ＡＦＥ）１２０も、入力信号中のノイズ除去を実行するＣＤＳ回路、ゲイン調整を行うゲイン調整回路（ＧＡＩＮ）、ＡＤ変換を行なうデジタル変換部（ＡＤＣ）等によって構成される信号処理部１２１を有し、この信号処理部１２１によって信号処理がなされ、アナログ信号から例えば１２ビットのデジタル信号（０（ｍｉｎ）〜４０９５（ｍａｘ））が生成されて、生成信号がラインメモリ１３２に蓄積される。
【００４２】
また、アナログフロントエンド（ＡＦＥ）１２０も、タイミングジェネレータ（ＴＧ）１２２を有する。タイミングジェネレータ（ＴＧ）１２２は、第２水平ＣＣＤ１０３に対する駆動信号を生成して出力する。駆動信号は、第２水平ＣＣＤ１０３に蓄積された電荷情報の出力タイミングの制御、リセット処理信号などである。なお、この駆動信号は、カメラの設定モードに応じて適宜切り替えられる。
【００４３】
ラインメモリ１３１に蓄積されるデータは、ＣＣＤ１００の左半分の画像データ、ラインメモリ１３２に蓄積されるデータは、ＣＣＤ１００の右半分の画像データに対応する。ラインメモリ１３１，１３２に格納された１ライン分の画像のうち、ラインメモリ１３１に格納された左側画像は先入れ先出し方式（ＦＩＦＯ）によって内部同期信号に従ってマルチプレクサ（ＭＵＸ）１３３に出力する。一方、ラインメモリ１３２に格納された右側画像は先入れ後出し方式（ＬＩＦＯ）によって転送開始位置と転送終了位置を入れ替え、右側画像領域の転送開始位置が左側画像領域の転送終了位置の次に来るようにマルチプレクサ（ＭＵＸ）１３３に出力する。すなわち、マルチプレクサ（ＭＵＸ）１３３からの出力を横方向の画素転送が左側画像領域と右側画像領域とで連続するようにする。
【００４４】
マルチプレクサ１３３の出力は出力情報生成部１４０に入力され、出力情報生成部１４０において、画像の表示処理に適用するパラメータを含むタグ情報が生成される。出力情報生成部１４０はタグ情報を生成するタグ情報生成部１４１と、出力情報のエンコード処理を実行する出力情報エンコーダ１４２を有する。出力情報生成部１４０は、マルチプレクサ（ＭＵＸ）１３３からの入力画像に対応するタグ情報を生成し、画像情報と、タグ情報とを併せて画像表示処理装置１５０に出力する。
【００４５】
画像表示処理装置１５０では、受信するタグ情報に含まれる各種のデータを適用した表示データ生成処理を実行し、ディスプレイに画像の表示を実行する。
【００４６】
出力情報生成部１４０におけるタグ情報の生成処理の詳細について図６以下を参照して説明する。マルチプレクサ１３３から出力情報生成部１４０に入力される画像信号は、図６に示すように、出力情報生成部１４０内に構成される内部カウンタによって、画像の座標が認識可能となる。
【００４７】
例えば、処理対象とする画像の各画素の位置を（ｉ，ｊ）、画素値をｆ（ｉ，ｊ）として表現する。
ｉは、水平方向の座標位置（Ｈ（水平）カウンタ値）、
ｊは、垂直方向の座標位置（Ｖ（垂直）カウンタ値）、
である。水平方向の位置情報としてのＨカウンタ値Ａ、Ｂ，Ｃ，Ｄ、垂直方向の位置情報としてのＶカウンタ値Ｅ，Ｆで表現できる矩形領域を考える。たとえばＨカウント値がＡ，Ｖカウント値がＥである画素は（Ａ，Ｅ）、画素値はｆ（Ａ，Ｅ）で表される。
【００４８】
例えば、図６に示す矩形領域、すなわち、（Ａ，Ｅ）と（Ｄ，Ｆ）を対角線とする矩形領域を有効映像表示領域３０１、すなわち、画像表示処理装置１５０において有効画像として表示される有効映像表示領域３０１とした場合、出力情報生成部１４０におけるタグ情報の生成処理として、以下の情報の算出処理が実行される。
（ａ）左領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｒ
（ｃ）左領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｒ
（ｅ）ＡＶＥ−ＬとＡＶＥ−Ｒの差分値：ＳＵＢ
これらの各データが算出され、タグ情報とされる。
【００４９】
上記タグ情報（ａ）〜（ｅ）の算出式を以下に示す。
【数１】
2008103794.tif 000003
【００５０】
左右画像領域のＳＵＭ−Ｌ、ＳＵＭ−Ｒともに、図６に示す例では、２ｎ×２ｍ画素（ｎ、ｍは整数値）の画素値の和である。左右画像領域の有効映像表示領域の画素値の平均値ＡＶＥ−Ｌ、ＡＶＥ−Ｒは、画素値の和として算出されるＳＵＭ−Ｌ、ＳＵＭ−Ｒに対する除算処理、すなわち、ＳＵＭ−Ｌ、ＳＵＭ−Ｒに対する画素数２ｎ×２ｍ画素による除算が必要であるが、この除算処理は、画素値の和として算出されるＳＵＭ−Ｌ、ＳＵＭ−Ｒに対するビットシフトによって実行することができる。なお、有効映像表示領域３０１を規定するパラメータであるｎ、ｍは、カメラの種類やモードに応じて決定される有効映像領域に応じた値を設定する。
【００５１】
前述したように、撮像素子に与える駆動信号はアナログフロントエンド（ＡＦＥ）部のタイミングジェネレータ（ＴＧ）から各水平ＣＣＤに入力され、この駆動信号は、モードによって異なるものとなる。例えばビニングモード、ハイレートモード用の駆動信号が固体撮像素子に与えられる。
【００５２】
ビニングモードやハイレートモードでは有効映像領域が変化するが、出力情報生成部１４０は、このモード設定情報をＰＣ等の画像表示処理装置１５０から入力し、各モードに応じて有効映像領域を変更して、上記タグ情報の算出を行なう。
【００５３】
出力情報生成部１４０は、上記の演算によって算出される情報、モード情報等をタグ情報として設定して、画像表示処理装置１５０に画像データとともに出力する。タグ情報の埋め込み領域について、図７を参照して説明する。なお、出力情報生成部１４０が、画像表示処理装置１５０に出力するタグ情報の一覧を図８に示す。
【００５４】
図７に示す有効映像表示領域４０１の上段に示す［ＬＶＡＬ］は水平方向の有効映像信号区間、有効映像表示領域４０１の右側に示す［ＦＶＡＬ］は垂直方向の有効映像信号区間を示している。これらの信号が［Ｈｉ］の時は映像信号が存在し、［Ｌｏｗ］の時は映像信号がない。なお、映像信号は例えば量子化レベル１０ビットの時は１から１０２３、１２ビットの時は１から４０９５までの範囲で設定される。なお、映像信号がない画素の輝度値は０ではなく、１である。なお、図８において、有効映像区間の１ライン目のＶカウンタ値は０、最終ラインのＶカウンタ値はＧとする。図７に示す有効映像表示領域４０１は図６に示す有効映像表示領域３０１とは異なる設定である。Ｇはビニングモード、ハイレートモードの設定によって変化する。
【００５５】
タグ情報は、図７に示すように、有効映像表示領域４０１が終了した後の映像信号内に記録する。図７に示すタグ情報記録領域４０２にタグ情報が記録される。すなわち、タグ情報はＶカウンタ値がＧ＋１のとき、ＬＶＡＬが立ち上がったときから付加される。有効画像領域ではない箇所に付加される信号なので、画像として表示されることはない。
【００５６】
図７に示すタグ情報記録領域４０２に様々なタグ情報（図８参照）が記録される。図７におけるＶカウンタ値＝Ｇ＋１のラインに各タグ情報が順次記録されることになる。例えば前述した各タグ情報、すなわち、
（ａ）左領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｒ
（ｃ）左領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｒ
（ｅ）ＡＶＥ−ＬとＡＶＥ−Ｒの差分値：ＳＵＢ
これらの各値は３２ビットであるとし、例えば１画素が８ビット情報、１０ビット情報、１２ビット情報などである場合には、複数画素、例えば４画素を利用して（ａ）〜（ｅ）の各情報が記録されることになる。
【００５７】
図８に示すＨカウント値は、１つのカウントが１画素に相当し８〜１２ビット情報が記録可能であり、
Ｈカウント：０〜３に、［ＳＵＭ−Ｌ］の３２ビット情報が８ビットずつ分割されて記録される。
Ｈカウント：４〜７に、［ＳＵＭ−Ｒ］の３２ビット情報が８ビットずつ分割されて記録される。
以下、同様に３２ビットデータである各タグ情報が４つの画素を利用して記録されることになる。
【００５８】
図７に示す各信号ライン、すなわち、
（１）Ｖカウンタ値
（２）ＣＬＯＣＫ
（３）ＬＶＡＬ
（４）ＤＡＴＡ
（５）Ｈカウンタ値
は、タグ情報の記録されるライン、すなわちＶカウンタ値＝Ｇ＋１のラインの信号を示している。
【００５９】
（１）Ｖカウンタ値はＧ＋１である。
（２）ＣＬＯＣＫは各画素毎にアップダウンを繰り返す信号であり、出力情報生成部１４０はこのクロック信号に従って、順次タグ情報の書き込みを実行する。
（３）ＬＶＡＬは、有効映像領域に対応する水平区間にある場合に［ＨＩＧＨ］となる信号であり、出力情報生成部１４０はＬＶＡＬが［ＨＩＧＨ］となったことを条件としてタグ情報の書き込みを実行する。
（４）ＤＡＴＡは、実際のタグ情報の書き込みデータを示している。
（５）Ｈカウンタ値は、各画素の対応情報である。
例えば、図８に示すようにＨカウント：０〜３に、［ＳＵＭ−Ｌ］の３２ビット情報が８ビットずつ分割されて記録され、この場合、図７に示す（４）ＤＡＴＡのＪ〜ＭがＨカウント：０〜３に対応し、［ＳＵＭ−Ｌ］の３２ビット情報が８ビットずつ分割されて記録されることになる。
【００６０】
図８に示すように、ＳＵＭ−Ｌ、ＳＵＭ−Ｒ、ＡＶＥ−Ｌ、ＡＶＥ−Ｒ、ＳＵＢともに３２ビットの２進数で表現されるが、映像信号は８〜１２ビットであり、１画素内に収まらないので、例えば８ビットごとに４分割して付加する。
【００６１】
Ｈカウンタ値が０のＪにはＳＵＭ−Ｌの３２ビット目から２５ビット目、Ｈカウンタ値が１のＫにはＳＵＭ−Ｌの２４ビット目から１７ビット目、というように順番に記録していく。
【００６２】
図８に示すように、出力情報生成部１４０が生成するタグ情報には、上述した（ａ）〜（ｅ）のタグ情報、すなわち、
（ａ）左領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｒ
（ｃ）左領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｒ
（ｅ）ＡＶＥ−ＬとＡＶＥ−Ｒの差分値：ＳＵＢ
これらのタグ情報の他、
（ｆ）カメラの種類
（ｇ）カメラモード
（ｈ）ハイレート値
（ｉ）シャッター値
が含まれる。
【００６３】
カメラの種類はカメラ固有に与えられた数値であり、画素サイズなどによって決められる。カメラモードはビニングモードやハイレートモードなどの有効映像領域が変化するごとに与えられる数値である。ハイレート値は固体撮像素子が持つ全画素領域のうち、有効映像として取り出す領域を示す値である。シャッター値は固体撮像素子に与える電子シャッターの値である。
【００６４】
なお、図８に示すタグ情報の例は一例であり、これらの情報のすべてを含むタグ情報を生成して送信する以外に、例えば、上記各情報中、（ａ）（ｂ）のみ、あるいは（ｃ），（ｄ）のみ、あるいは（ｅ）のみの情報をタグ情報として生成して送信してもよく、（ａ）〜（ｉ）のタグ情報は、適宜選択して生成、送信する構成としてよい。
【００６５】
出力情報生成部１４０は、これらのタグ情報を生成して、画像データとともに、画像表示処理装置１５０に出力する。画像表示処理装置１５０は、画像表示処理部において、これらの情報を適用して、画像データの表示処理を実行する。画像データの表示に際しては、例えば、
（ａ）左領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の和：ＳＵＭ−Ｒ
（ｃ）左領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｌ
（ｂ）右領域画像に含まれる有効映像表示領域の画素値の平均値：ＡＶＥ−Ｒ
（ｅ）ＡＶＥ−ＬとＡＶＥ−Ｒの差分値：ＳＵＢ
これらの情報に基づいて、左右の画像領域の輝度レベルを合わせる処理を行なって表示する。この処理によって、画像表示処理装置１５０は、表示画像の解析に基づく輝度レベル検出、差異の算出などの処理を行なうことなく、タグ情報に基づいて左右の各画像領域のバランスのとれた画像を生成して出力することが可能となる。
【００６６】
次に、出力情報生成部１４０の実行するタグ情報の算出および記録処理シーケンスについて図９に示すフローチャートを参照して説明する。出力情報生成部１４０はマルチプレクサ１３３から左領域と右領域の合成処理によって得られるフレーム画像データを入力する。入力画像信号は、上位の水平ラインから順次下位ラインに向けてシーケンシャルに入力される。出力情報生成部１４０は、入力画像信号について、内部カウンタを適用して、
Ｈカウント（水平方向の画素数）
Ｖカウント（垂直方向の画素数）
をそれぞれカウントして、画素位置を把握している。
【００６７】
なお、図９に示すフローは、
（Ａ，Ｅ）、（Ｄ，Ｅ），（Ａ，Ｆ），（Ｄ，Ｆ）
これらを頂点とする矩形領域を有効映像領域とし、Ｖカウンタ値＝Ｇ＋１のラインを開始位置としてタグ情報を記録する処理シーケンスである。カウンタによってカウントされる現画素の位置を（ｉ，ｊ）とする。
【００６８】
出力情報生成部１４０は、ステップＳ１００において、画素カウント値（ｉ，ｊ）を取得する。
ｉはＨカウント、
ｊはＶカウント
に相当する。
ステップＳ１０１において、Ｖカウント（垂直方向の画素数）の値が、
Ｖカウント≧Ｅ、かつ
Ｖカウント≦Ｆ
この条件を満足するか否かを判定する。すなわち、垂直方向において、有効映像領域を構成する画素領域にあるか否かを判定する。
【００６９】
ステップＳ１０１における判定がＹｅｓである場合は、次に、ステップＳ１０２に進み、Ｈカウント（水平方向の画素数）の値が、
Ｈカウント≧Ａ、かつ
Ｈカウント≦Ｂ
この条件を満足するか否かを判定する。すなわち、水平方向において、左領域画像の有効映像領域を構成する画素領域にあるか否かを判定する。
【００７０】
ステップＳ１０２における判定がＹｅｓである場合は、次に、ステップＳ１０３に進み、以下の算出処理を実行する。
［ＳＵＭ−Ｌ］＝［ＳＵＭ−Ｌ］＋ｆ（ｉ，ｊ）
上記算出処理は、
左領域画像に含まれる有効映像表示領域の画素値の和［ＳＵＭ−Ｌ］の更新処理であり、現画素（ｉ，ｊ）の画素値ｆ（ｉ，ｊ）を、算出済みの［ＳＵＭ−Ｌ］に加算する処理である。
【００７１】
ステップＳ１０２における判定がＮｏである場合は、次に、ステップＳ１０４に進み、Ｈカウント（水平方向の画素数）の値が、
Ｈカウント≧Ｃ、かつ
Ｈカウント≦Ｄ
この条件を満足するか否かを判定する。すなわち、現画素（ｉ，ｊ）が水平方向において、右領域画像の有効映像領域を構成する画素領域にあるか否かを判定する。
【００７２】
ステップＳ１０４における判定がＹｅｓである場合は、次に、ステップＳ１０５に進み、以下の算出処理を実行する。
［ＳＵＭ−Ｒ］＝［ＳＵＭ−Ｒ］＋ｆ（ｉ，ｊ）
上記算出処理は、
右領域画像に含まれる有効映像表示領域の画素値の和［ＳＵＭ−Ｒ］の更新処理であり、現画素（ｉ，ｊ）の画素値ｆ（ｉ，ｊ）を、算出済みの［ＳＵＭ−Ｒ］に加算する処理である。
【００７３】
ステップＳ１０３またはステップＳ１０５の処理が終了した場合、および、ステツプＳ１０４の判定がＮｏである場合は、ステップＳ１００に戻り、次の画素のカウント値を取得して、ステップＳ１０１以下の処理を実行する。
【００７４】
ステップＳ１０１において、
Ｖカウント≧Ｅ、かつ
Ｖカウント≦Ｆ
この条件を満足しない場合、すなわち、垂直方向において、有効映像領域を構成する画素領域にないと判定されると、ステップＳ１０６に進み、
左領域画像に含まれる有効映像表示領域の画素値の平均値［ＡＶＥ−Ｌ］
右領域画像に含まれる有効映像表示領域の画素値の平均値［ＡＶＥ−Ｒ］
これらの値を算出する。これらの値は、例えば、算出済みの以下の値、すなわち、
左領域画像に含まれる有効映像表示領域の画素値の和［ＳＵＭ−Ｌ］
右領域画像に含まれる有効映像表示領域の画素値の和［ＳＵＭ−Ｒ］
これらの値のビットシフト処理によって算出する。
【００７５】
次に、ステップＳ１０７において、
［ＡＶＥ−Ｌ］と［ＡＶＥ−Ｒ］の差分値［ＳＵＢ］を
［ＳＵＢ］＝［ＡＶＥ−Ｌ］−［ＡＶＥ−Ｒ］
上記式によって算出する。
【００７６】
次に、ステップＳ１０８に進み、ＶカウントがＧ＋１であるか否かを判定する。すなわち、現画素位置がタグ情報を記録するラインであるか否かを判定する。ステップＳ１０８の判定がＹｅｓとなった場合、ステップＳ１０９に進み、Ｈカウントの値が、
Ｈカウント≧０、かつ
Ｈカウント≦２６
この条件を満足するか否かを判定する。すなわち、水平方向において、現画素位置がタグ情報を記録する位置にあるか否かを判定する。
【００７７】
ステップＳ１０９の判定がＹｅｓである場合、ステップＳ１１０において、タグ情報の記録処理を実行する。タグ情報の記録処理後、ステップＳ１１１においてタグ情報の記録が完了したか否かを判定し、未完了の場合は、ステップＳ１１２において次の画素のカウント値を取得し、ステプＳ１０８以下の処理を繰り返す。
【００７８】
ステップＳ１１１においてタグ情報の記録が完了したと判定すると、ステップＳ１１３に進み、これまでに算出した各タグ情報のリセット処理を実行して処理を終了する。
【００７９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８０】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８１】
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８２】
以上、説明したように、本発明の一実施例の構成によれば、撮像領域の分割領域各々に対応する撮像信号を出力するＣＣＤ（Charge Coupled Device）を持つ撮像装置側において、ＣＣＤからの出力信号に基づく画像データに対応するタグ情報として、ＣＣＤの分割領域に対応する分割領域画像の出力レベル差を低減させた画像表示処理に適用する画素値情報を生成して、表示装置側に送信する構成としたので、表示装置側において、タグ情報を利用した処理により、各分割領域、例えば左右の画像領域の輝度レベルを合わせることが可能となり、表示装置側で表示画像の解析に基づく輝度レベル検出、差異の算出などの処理を行なうことなく、タグ情報の利用により左右の画像領域のバランスのとれた出力を行なうことが可能となる。
【図面の簡単な説明】
【００８３】
【図１】１チャネル出力型のＣＣＤおよび信号処理構成について説明する図である。
【図２】２チャネル出力型のＣＣＤおよび信号処理構成について説明する図である。
【図３】本発明の一実施例に係る画像処理システムの構成例について説明する図である。
【図４】本発明の一実施例に係る画像処理システムの詳細構成例について説明する図である。
【図５】ＣＣＤの詳細構成について説明する図である。
【図６】出力情報生成部１４０におけるタグ情報の生成処理の詳細について説明する図である。
【図７】タグ情報の埋め込み領域について説明する図である。
【図８】タグ情報のデータ構成例について説明する図である。
【図９】タグ情報の生成記録処理シーケンスについて説明するフローチャートを示す図である。
【符号の説明】
【００８４】
１０  ＣＣＤ
１１  垂直ＣＣＤ
１２  水平ＣＣＤ
１３  水平レジスタ
１４  出力アンプ
２１  アナログフロントエンド（ＡＦＥ）
２２  ラインメモリ
２３  出力部
３０  出力画像
５０  ＣＣＤ
５１  垂直ＣＣＤ
５２，５３  水平ＣＣＤ
５４，５５  水平レジスタ
５６，５７  出力アンプ
６１，６２  アナログフロントエンド（ＡＦＥ）
６３，６４  ラインメモリ
６５  マルチプレクサ
６６  出力部
７０  出力画像
８１  カメラ
８２  画像表示処理装置
９１  画像データ
９２  タグ情報
１００  ＣＣＤ
１０１  垂直ＣＣＤ
１０２，１０３  水平ＣＣＤ
１０４，１０５  水平レジスタ
１０６，１０７  出力アンプ
１１０，１２０  アナログフロントエンド（ＡＦＥ）
１１１，１２１  信号処理部
１１２，１２２  タイミングジェネレータ（ＴＧ）
１３１，１３２  ラインメモリ
１３３  マルチプレクサ
１４０  出力情報生成部
１４１  タグ情報生成部
１４２  出力情報エンコーダ
１５０  画像表示処理装置
２１０  フォトディテクタ（ＰＤ）
３０１  有効映像表示領域
４０１  有効映像表示領域
４０２  タグ情報記録領域
【図３】
2008103794.tif 000004
【図４】
2008103794.tif 000005
【図８】
2008103794.tif 000006
【図９】
2008103794.tif 000007
【図１】
2008103794.tif 000008
【図２】
2008103794.tif 000009
【図５】
2008103794.tif 000010
【図６】
2008103794.tif 000011
【図７】
2008103794.tif 000012