(57)【要約】【課題】補間フィルタの構成と係数を工夫し、小規模な回路構成でレジストレーション補正とフォーマット変換を実現する。【解決手段】複数の固体撮像素子を用いた固体撮像装置において、垂直レジストレーション補正のｎ個の補間位相の中に、垂直フォーマット変換を行う補間位相が含まれるように、垂直レジストレーション補正の１画素の分割数を決定し、水平レジストレーション補正のｍ個の補間位相の中に、水平フォーマット変換を行う補間位相が含まれるように、水平レジストレーション補正の１画素の分割数を決定することで、レジストレーション補正回路の水平と垂直の補間フィルタと補間フィルタ係数とフォーマット変換回路の水平と垂直の補間フィルタと補間フィルタ係数を共通とし、テレビフォーマット変換出力時にレジストレーション補正とフォーマット変換を同時に行う。【選択図】図１
2008206030.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いた固体撮像装置において、映像信号のレジストレーション補正と、複数のテレビフォーマットの映像信号を出力するためのテレビフォーマット変換とを１つの回路で実現する構成としたことを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のテレビフォーマットの映像信号を出力するためのテレビフォーマット変換機能を備えたテレビジョンカメラに関するものである。
【背景技術】
【０００２】
図２から図７を用いて、従来技術を説明する。図２は従来技術のテレビフォーマット変換機能を備えたテレビジョンカメラのブロック図であり、７２０ｐ（Progressive：順次走査）フォーマットのＨＤＴＶ（High Definition Television）信号と１０８０ｉ（Interlace：飛越走査）フォーマットのＨＤＴＶ信号が出力可能なマルチフォーマットカメラで、レジストレーション補正機能を有するものとする。図３は従来技術のレジストレーション補正部のブロック図であり、図４は従来技術のフォーマット変換部のブロック図であり、図５は一般的な補間フィルタのブロック図であり、図６は従来技術のレジストレーション補正部の補間信号生成の模式図であり、図７は従来技術のフォーマット変換部の補間信号生成の模式図である。
【０００３】
レジストレーション補正機能は、各映像信号のずれを補正する機能である。３板式カラーカメラの場合、３個の撮像素子を使い、色分解光学系（一般にはプリズム）で分光された赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の光をそれぞれの撮像素子で受光し、後段の信号処理で合成することによりカラー映像を作り出しているが、プリズムに撮像素子を取り付ける際、Ｒ、Ｇ、Ｂの位置にずれがあると、映像信号の色ずれとなって現れる。撮像素子の取り付けを高精度に行えば、色ずれは小さく出来るが、これには高度な技術が必要である。そこで、レジストレーション補正機能があれば、撮像素子の取り付け位置に多少のずれがあっても、映像信号に色ずれが起きないように補正することができる。
【０００４】
従来技術のテレビフォーマット変換機能を備えたテレビジョンカメラのブロック図である図２において、撮像素子３は、レンズ２から入力される光を光電変換し、電気信号に変換された映像信号をレジストレーション補正部４に出力する。レジストレーション補正部４は、映像信号の色ずれを補正し、フォーマット変換部５に出力する。フォーマット変換部５は、映像信号をカメラの設定に応じたテレビフォーマットに変換し、映像信号処理部６に出力する。その後、映像信号処理部６、映像信号出力部７を経て、所定のテレビフォーマットの映像信号が出力される。
【０００５】
ここで、レジストレーション補正部４とフォーマット変換部５について、従来技術のレジストレーション補正部のブロック図である図３と従来技術のフォーマット変換部のブロック図である図４と一般的な補間フィルタのブロック図である図５を用いて詳細を説明する。レジストレーション補正部４は図３に示すように垂直処理回路４０１と水平処理回路４０３に分かれており、それぞれの内部は図５に示すような構成の補間フィルタとなっている。この係数１〜係数ｎに必要な係数を適用することにより、所定の周期でサンプリングされた離散信号から、任意の位相の補間信号を生成することができる。（特許文献１参照）
このようにして、ＲＧＢの各チャンネル毎に位相のずれた補間信号を生成し、そのずれ量をチャンネル毎に独立に調整することにより、撮像素子の貼り合わせによるずれ分を補正する。例えば、１画素の１／５単位で位相を調整できるレジストレーション補正を考えた場合、図６に示すように、周期Ｔでサンプリングされた映像信号において、周期Ｔを１として５分割し、それぞれ０．２，０．４，０．６，０．８の４つの位相の補間信号を生成する係数を求め、図５の回路に適用することにより、周期Ｔでサンプリングされた映像信号に対して、１／５画素単位でずれを補正するレジストレーション補正が可能となる。
【０００６】
このとき、図５の補間フィルタに与える係数は、補間する位相１種類あたり、フィルタのタップ数分のｎ個必要である。図６の場合、位相が０，０．２，０．４，０．６，０．８の５種類あるため５×ｎ個の係数が必要である。これが垂直と水平の２種類あるため、垂直・水平とも、位相を５種類持つとすれば、係数は１０×ｎ個となる。
【０００７】
フォーマット変換部５は図４に示すように垂直処理回路５０１と水平処理回路５０３に分かれており、それぞれの内部は、図５に示すような構成の補間フィルタとなっている。フォーマット変換も、所定の周期でサンプリングされた離散信号から、変換後フォーマットで必要な位相の補間信号を生成することで実現する。例えば、画素数を１．５倍するフォーマット変換を考えた場合、図７に示すように、周期Ｔでサンプリングされた映像信号において、周期Ｔを１としたときの、それぞれ０．３３３３，０．６６６７の２つの位相の補間信号を生成する係数を求め、図５の回路に適用することにより、周期Ｔでサンプリングされた映像信号に対して、１．５倍の画素を持つフォーマットの映像信号に変換するフォーマット変換が可能となる。
【０００８】
このとき、図５の補間フィルタに与える係数は、補間する位相１種類あたり、フィルタのタップ数分のｎ個必要である。図７の場合、位相が０，０．３３３３，０．６６６７の３種類あるため３×ｎ個の係数が必要である。これが垂直と水平の２種類あるため、垂直・水平とも、位相を３種類持つとすれば、係数は６×ｎ個となる。
【特許文献１】特開２００３−１３４５２４
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述の従来技術は、レジストレーション補正とフォーマット変換のために、それぞれ専用の回路を持っているが、それぞれの内部は、前述のようにほぼ同じ回路である。つまり、レジストレーション補正回路、フォーマット変換回路の実体は、いずれも図５に示すような補間フィルタである。フィルタのタップ数は要求される仕様により変わってくるが、構成は同じである。また、補間フィルタがそれぞれ専用にあることで、フィルタの係数も多くなっている。
【００１０】
よって、本発明の目的は、補間フィルタの構成と係数を工夫することで、図１に示すように、レジストレーション補正回路とフォーマット変換回路をひとつにまとめ、小規模な回路構成でレジストレーション補正とフォーマット変換を実現することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するため、固体撮像素子を用いた固体撮像装置において、映像信号のレジストレーション補正と、複数のテレビフォーマットの映像信号を出力するためのテレビフォーマット変換とを１つの回路で実現する構成としたことを特徴とする固体撮像装置を提供する。
【００１２】
また、上記の固体撮像装置において、テレビフォーマット変換出力時はフォーマット変換に要する補間位相が、レジストレーション補正に要する補間位相に含まれることを特徴とする信号処理回路を提供する。
【００１３】
そこで本発明では、レジストレーション補正回路の垂直補間フィルタとフォーマット変換回路の垂直補間フィルタのタップ数を共通とし、レジストレーション補正回路の水平補間フィルタとフォーマット変換回路の水平補間フィルタのタップ数を共通とし、垂直補間フィルタにおいて、垂直レジストレーション補正に必要なｎ個の補間位相の中に、垂直フォーマット変換を行うために必要な補間位相が含まれるように、垂直レジストレーション補正の１画素の分割数を決定し、水平補間フィルタにおいて、水平レジストレーション補正に必要なｍ個の補間位相の中に、水平フォーマット変換を行うために必要な補間位相が含まれるように、水平レジストレーション補正の１画素の分割数を決定することで、レジストレーション補正回路の垂直補間フィルタとフォーマット変換回路の垂直補間フィルタを共通とし、レジストレーション補正回路の水平補間フィルタとフォーマット変換回路の水平補間フィルタを共通とし、レジストレーション補正回路の垂直補間フィルタの係数とフォーマット変換回路の垂直補間フィルタの係数を共通とし、レジストレーション補正回路の水平補間フィルタの係数とフォーマット変換回路の水平補間フィルタの係数を共通として、テレビフォーマット変換出力時はレジストレーション補正とフォーマット変換を同時に行い、テレビフォーマット非変換出力時はレジストレーション補正のみ行う。
【発明の効果】
【００１４】
以上説明したように本発明によれば、テレビフォーマット変換出力時は小規模な回路構成でレジストレーション補正とフォーマット変換を実現し、テレビフォーマット非変換出力時はレジストレーション補正のみ行うことが可能となる。
【発明を実施するための最良の形態】
【００１５】
本発明の１実施例を図８から図１５と図１６の表１から図１８の表３を用いて説明する。図８は本発明の一実施例のレジストレーション補正とフォーマット変換部の詳細ブロック図であり、図９は本発明の一実施例で垂直補間フィルタの動作の模式図であり、図１０は本発明の一実施例で垂直フォーマット変換の模式図であり、図１１は本発明の一実施例の垂直処理部のタイミングチャートであり、図１２は本発明の一実施例の水平処理部のタイミングチャートであり、図１３は本発明の一実施例で垂直補間フィルタの動作の模式図であり、図１４は本発明の一実施例で水平補間フィルタの動作の模式図であり、図１５は本発明の一実施例で水平補間フィルタの動作の模式図であり、図１６の表１は本発明の一実施例の垂直補間係数であり、図１７の表２は本発明の一実施例の水平補間係数であり、図１８の表３は本発明の一実施例の垂直係数セットカウント値である。
【００１６】
図８に示すように、垂直補間フィルタのタップ数を４、水平補間フィルタのタップ数を６とし、７２０ｐフォーマット（１２８０×７２０画素）の映像を１０８０ｉフォーマット（１９２０×１０８０画素）の映像に変換すると同時に垂直および水平方向のレジストレーション補正を行なう場合について説明する。
【００１７】
まず、フォーマット変換に必要な補間位相と、レジストレーション補正に必要な補間位相を考える。垂直のフォーマット変換の変換比率は７２０：１０８０＝２：３である。これは、変換前フォーマットにおける２画素が、変換後に３画素となることを示している（フレーム換算）。これを図示すると図９のようになり、７２０ｐフォーマットから１０８０ｉフォーマットに変換する場合、変換前の画素ピッチを１とすると、０位相（変換前と同位相）、０．３３３３位相、０．６６６７位相の３個の位相が必要になる。
【００１８】
ここで、変換前の７２０ｐフォーマットは順次走査方式、変換後の１０８０ｉフォーマットは飛越走査方式である。よってＯＤＤフィールドとＥＶＥＮフィールドで必要となる補間位相が異なっている。（図９）
次に垂直のレジストレーション補正のために必要な補間位相を考える。フォーマット変換のみを考えた場合、上記のように補間位相は３個であるが、レジストレーション補正のためには、より細かく補正するために、さらに多くの補間位相が必要である。このために、レジストレーション補正に必要な補間位相の個数を、フォーマット変換に必要な補間位相の個数のｎ倍（ｎは２以上の正数）とする。このようにすると、フォーマット変換に必要な補間位相をさらにｎ分割する形で補間位相が決まるため、レジストレーション補正に必要な補間位相にフォーマット変換に必要な補間位相が含まれた形となり、回路の簡略化にもつながる。
【００１９】
本実施例では、ｎ＝３とし、レジストレーション補正の補間位相を９個とする。この場合の補間位相を図１３に示す。図１３において、フォーマット変換に必要な補間位相に加えて、点線で示した位相がレジストレーション補正の補間位相となる。これは、変換前の画素ピッチに対して、１／９画素ステップのレジストレーション補正が可能になることを示している。
【００２０】
水平のフォーマット変換の変換比率は１２８０：１９２０＝２：３である。これは、変換前フォーマットにおける２画素が、変換後に３画素となることを示している。これを図示すると図１４のようになり、７２０ｐフォーマットから１０８０ｉフォーマットに変換する場合、変換前の画素ピッチを１とすると、０位相（変換前と同位相）、０．３３３３位相、０．６６６７位相の３個の位相が必要になる。
【００２１】
次に水平のレジストレーション補正のために必要な補間位相を考える。フォーマット変換のみを考えた場合、上記のように補間位相は３個であるが、レジストレーション補正のためには、より細かく補正するために、さらに多くの補間位相が必要である。このために、レジストレーション補正に必要な補間位相の個数を、フォーマット変換に必要な補間位相の個数のｎ倍（ｎは２以上の正数）とする。このようにすると、フォーマット変換に必要な補間位相をさらにｎ分割する形で補間位相が決まるため、レジストレーション補正に必要な補間位相にフォーマット変換に必要な補間位相が含まれた形となり、回路の簡略化にもつながる。
【００２２】
本実施例では、ｎ＝３とし、レジストレーション補正の補間位相を９個とする。この場合の補間位相を図１５に示す。図１５において、フォーマット変換に必要な補間位相に加えて、点線で示した位相がレジストレーション補正の補間位相となる。これは、変換前の画素ピッチに対して、１／９画素ステップのレジストレーション補正が可能になることを示している。
【００２３】
上記により決定したフォーマット変換の補間位相、レジストレーション補正の補間位相から、図８の補間フィルタに適用する垂直係数、水平係数を決定する。
【００２４】
本実施例で必要となる垂直補間フィルタの係数を図１６の表１に、水平補間フィルタの係数を図１７の表２に示す。本実施例では係数の具体的な値は示していないが、標本化関数を使った一般的な手法により算出できる。
【００２５】
以降、回路の動作について説明する。まず、ＣＰＵが垂直係数テーブルに垂直レジストレーション補正量（補間位相）を設定する。垂直係数テーブルは設定された補正量と係数セットカウンタからの垂直係数カウント値から、係数セットを選択し、選択された係数セットの係数を垂直補間フィルタに送ると同時に、選択した係数セットによりメモリの書き込み判定を行い、判定結果を書き込みタイミング制御部に送る。
【００２６】
ここで係数セットとは、所定の補間信号を生成するための垂直補間フィルタ用係数群ＶＫ１〜ＶＫ４のことであり、補正量の種類の数だけ係数セットがある。垂直レジストレーション補正の補正単位は１／９画素なので、補間位相は９種類であり、係数セットは図１６の表１に示すように９種類である。
【００２７】
続いて、ＣＰＵは水平係数テーブルに水平レジストレーション補正量（補間位相）を設定する。水平係数テーブルは設定された補正量と係数セットカウンタからの水平係数カウント値から、係数セットを選択し、選択された係数セットの係数を水平補間フィルタに送る。
【００２８】
ここで係数セットとは、所定の補間信号を生成するための水平補間フィルタ用係数群ＨＫ１〜ＨＫ６のことであり、補正量の種類の数だけ係数セットがある。水平レジストレーション補正の補正単位は１／９画素なので、補間位相は９種類であり、係数セットは図１７の表２に示すように９種類である。
【００２９】
入力信号は、常に３個の１ラインメモリに入力され、４ライン分の信号が同一時間上に並ぶ形となっている。垂直補間フィルタで、補間信号が生成され、変換メモリに入力される。
【００３０】
図９は変換前と変換後の画素の空間的位置を示しているが、この位置関係を変換メモリを用いて実現する。図１０に変換メモリ前後の時間関係を含めた変換前後の画素の位置を示す。図１１に垂直変換のタイミングチャートを示す。
【００３１】
図１０において、補間フィルタ後の信号は、７２０ｐフォーマットの画素のタイミングである。このタイミングのまま変換メモリに書き込み、読み出しを１０８０ｉフォーマットのタイミングで行うことにより、１０８０ｉフォーマットへの変換を行う。
【００３２】
１フィールドあたりの変換は、７２０画素から１０８０の半分である５４０画素への変換であり、変換比率は７２０：５４０＝４：３である。よって、補間フィルタ出力の信号に対し、垂直４画素毎に１画素、変換メモリに書き込まないようにし、垂直４画素毎に３画素分だけ変換メモリに書き込むようにする。書き込みを行わない画素は、ＣＰＵから設定された補正量により異なり、この制御を垂直係数テーブルと書き込みタイミング制御部で行う。垂直係数テーブルは、図１８の表３に示すような係数セット選択テーブルを持っており、通常は係数セットカウンタの値に応じて所定の係数セットを選択し、選択されたセットの垂直補間フィルタ係数を出力するが、どの補正量の場合でも、４回に１回、係数セットが０になるようになっており、この場合は書き込み停止パルスを書き込みタイミング制御部に出力する。書き込みタイミング制御部はこれを受けて、変換メモリへの書き込みを停止する。
【００３３】
図１２に水平変換のタイミングチャートを示す。
【００３４】
変換メモリから読み出した映像信号は水平補間フィルタに入力される。変換メモリには垂直変換が完了した有効水平画素１２８０画素のデータが格納されている。これを１０８０ｉフォーマットの１９２０画素に変換するために、変換メモリの読み出しアドレスのカウントを３回に１回だけ停止させ、１２８０画素のデータを１９２０回のクロックで読み出す。これにより、変換メモリの出力は、データの個数としては１９２０画素分となっている。停止するアドレスは、ＣＰＵから設定された補正量により異なり、この制御を読み出しアドレス制御部で行う。変換メモリからの読み出しデータは、前述の処理により３回に１回、同じデータが連続した形になっているが、これが水平補間フィルタにより所定の係数セットで演算され、１０８０ｉフォーマットに変換された信号として出力される。
【００３５】
以上の説明は、色分解光学系と３個の固体撮像素子を用いた撮像装置の固体撮像素子の貼り合わせの画面内平行移動の補正の画面全面色ずれのレジストレーション補正とフォーマット変換の同時処理について説明したが、固体撮像素子の貼り合わせの画面内回転による画面周辺の回転色ずれのレジストレーション補正とフォーマット変換の同時処理や、固体撮像素子の貼り合わせの上下左右の軸方向ずれ（あおり）による画面周辺の画面サイズ色ずれのレジストレーション補正とフォーマット変換の同時処理や、レンズの色倍率収差による画面周辺の画面サイズ色ずれのレジストレーション補正とフォーマット変換の同時処理にも適用できる。さらに、非常に多数の画素とオンチップカラーフィルタを持つ１個の固体撮像素子を用いた撮像装置についても同様に、色ずれのレジストレーション補正とフォーマット変換の同時処理にも適用できる。
【００３６】
具体的には、回転色ずれのレジストレーション補正では、画面中心から各画素への距離に比例し上下左右で極性を反転させたレジストレーション補正量を設定し、あおりによる画面周辺の画面サイズ色ずれのレジストレーション補正では、あおりの画面軸から各画素への距離に比例しあおり画面軸で極性を反転させたレジストレーション補正量を設定し、レンズの色倍率収差による画面周辺の画面サイズ色ずれのレジストレーション補正では、画面中心から各画素への距離に比例し上下左右で同一極性のレジストレーション補正量を設定する。
【００３７】
また、以上の説明は、テレビフォーマット変換出力時にレジストレーション補正とフォーマット変換を同時に行う処理について説明したが、テレビフォーマット非変換出力時はテレビフォーマット変換の動作を止めてレジストレーション補正のみ行う。
【００３８】
上記の説明は、可視光を赤、緑、青に分解しカラー映像を作り出す場合の色ずれの補正である。ところで、レンズの波長によるずれは、補正が改良されてきた赤、緑、青より近赤外光や近紫外光がはるかに大きい。したがって、可視光と近赤外光を撮影する暗視用カメラや、ミツバチの視感度と同等に緑、青と近紫外光を撮影し疑似カラー映像を作り出す疑似カラーカメラは、各映像信号のずれが大きいので、本発明のレジストレーション補正を適用可能である。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施例のテレビジョンカメラのブロック図
【図２】従来技術のフォーマット変換テレビジョンカメラのブロック図
【図３】従来技術のレジストレーション補正部のブロック図
【図４】従来技術のフォーマット変換部のブロック図
【図５】一般的な補間フィルタのブロック図
【図６】従来技術のレジストレーション補正部の補間信号生成の模式図
【図７】従来技術のフォーマット変換部の補間信号生成の模式図
【図８】本発明の一実施例のレジストレーション補正とフォーマット変換部の詳細ブロック図
【図９】本発明の一実施例の垂直補間フィルタの動作の模式図
【図１０】本発明の一実施例の垂直フォーマット変換の模式図
【図１１】本発明の一実施例の垂直処理部のタイミングチャート
【図１２】本発明の一実施例の水平処理部のタイミングチャート
【図１３】本発明の一実施例で垂直補間フィルタの動作の模式図（詳細）
【図１４】本発明の一実施例で水平補間フィルタの動作の模式図
【図１５】本発明の一実施例で水平補間フィルタの動作の模式図（詳細）
【図１６】表１  本発明の一実施例の垂直補間係数
【図１７】表２  本発明の一実施例の水平補間係数
【図１８】表３  本発明の一実施例の垂直係数セットカウント値
【符号の説明】
【００４０】
１：カメラ、２：レンズ部、３：撮像素子、４：レジストレーション補正部、５：フォーマット変換部、６：映像信号出力部、７：映像信号出力部、
８：ＣＰＵ
【図１】
2008206030.tif 000003
【図２】
2008206030.tif 000004
【図３】
2008206030.tif 000005
【図４】
2008206030.tif 000006
【図５】
2008206030.tif 000007
【図６】
2008206030.tif 000008
【図７】
2008206030.tif 000009
【図８】
2008206030.tif 000010
【図９】
2008206030.tif 000011
【図１０】
2008206030.tif 000012
【図１１】
2008206030.tif 000013
【図１２】
2008206030.tif 000014
【図１３】
2008206030.tif 000015
【図１４】
2008206030.tif 000016
【図１５】
2008206030.tif 000017
【図１６】
2008206030.tif 000018
【図１７】
2008206030.tif 000019
【図１８】
2008206030.tif 000020