(57)【要約】【課題】  低コストでレンズのシェーディングを補正できる画像信号処理装置、画像信号処理方法、表示コントローラ、カメラモジュール及び電子機器を提供する。【解決手段】  画像信号処理装置１００は、レンズ１２を通して取り込まれた撮像素子の有効画素領域内の基準位置が設定される基準位置設定レジスタ１１０と、前記有効画素領域の各画素の位置と前記基準位置との距離を求める距離演算部１２０と、前記距離演算部１２０によって求められた距離に対応した補正データに基づいて、前記各画素の画素データを補正する画素データ補正部１４０とを含む。【選択図】      図１
2006270551.tif 000002
【特許請求の範囲】
【請求項１】
レンズを通して取り込まれた撮像素子の有効画素領域内の基準位置が設定される基準位置設定レジスタと、
前記有効画素領域の各画素の位置と前記基準位置との距離を求める距離演算部と、
前記距離演算部によって求められた距離に対応した補正データに基づいて、前記各画素の画素データを補正する画素データ補正部とを含むことを特徴とする画像信号処理装置。
【請求項２】
請求項１において、
前記基準位置は、
前記レンズの光軸位置であることを特徴とする画像信号処理装置。
【請求項３】
請求項１において、
前記各画素の画素データに基づいて、光量が最大となる画素の位置を検出する中心位置検出部を含むことを特徴とする画像信号処理装置。
【請求項４】
請求項３において、
前記中心位置検出部によって検出された位置が、前記基準位置として前記基準位置設定レジスタに設定されることを特徴とする画像信号処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記有効画素領域の各画素の画素データは、色補間される前の画素データであることを特徴とする画像信号処理装置。
【請求項６】
レンズのシェーディング補正を行うための画像信号処理方法であって、
レンズを通して取り込まれた撮像素子の有効画素領域内の基準位置を設定し、
前記有効画素領域の各画素の位置と前記基準位置との距離を求め、
前記距離に対応した補正データに基づいて、前記各画素の画素データを補正することを特徴とする画像信号処理方法。
【請求項７】
請求項６において、
前記基準位置は、
前記レンズの光軸位置であることを特徴とする画像信号処理方法。
【請求項８】
請求項６において、
前記各画素の画素データに基づいて、光量が最大となる画素の位置を検出し、
該位置を、前記基準位置として設定することを特徴とする画像信号処理方法。
【請求項９】
請求項６乃至８のいずれかにおいて、
前記有効画素領域の各画素の画素データは、色補間される前の画素データであることを特徴とする画像信号処理方法。
【請求項１０】
レンズを通して取り込まれた撮像素子の画素データが入力される画素データ入力インタフェースと、
前記画素データ入力インタフェースを介して入力された画素データを補正する請求項１乃至５のいずれか記載の画像信号処理装置と、
前記画像信号処理装置によって補正された画素データが保存される表示メモリと、
前記表示メモリに保存された画素データを、電気光学装置を駆動する表示ドライバに対して出力するためのインタフェース処理を行うドライバインタフェースとを含むことを特徴とする表示コントローラ。
【請求項１１】
レンズと、
前記レンズを通して取り込まれた撮像素子の画素データを生成するセンサ部と、
前記画素データを補正する請求項１乃至５のいずれか記載の画像信号処理装置とを含むことを特徴とするカメラモジュール。
【請求項１２】
表示パネルと、
請求項１０記載の表示コントローラと、
前記表示コントローラによって供給される画素データに基づいて前記表示パネルを駆動する表示ドライバとを含むことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、表示コントローラ及び電子機器に関する。
【背景技術】
【０００２】
近年、携帯電話機等の携帯型の電子機器は、撮像部及び表示部を備える。そして、撮像部で撮像した画像を表示部に表示できるようになっている。このような撮像部として、レンズを含むカメラモジュールがある。
【０００３】
ところがカメラモジュール全体の厚みの制約から、レンズの性能を十分に確保できない場合がある。この場合、レンズを通して撮像した画像は、その中心部で明るく見え、その周辺部で暗く見えることがある。これは、レンズの光学的中心部の光量に比べてレンズの周辺部の光量が減衰する現象に起因している。この現象は、レンズのシェーディングと呼ばれる。
【０００４】
このようなレンズのシェーディングを補正する技術は、例えば特許文献１に開示されている。特許文献１には、レンズの中心部に比べて入射光量が少なくなるレンズの周辺部では画像が暗くなるため、画像の水平方向及び垂直方向のアドレスを生成し、光軸位置を中心とする距離の２乗値を演算し、該２乗値に対応した補正データにより素子出力のゲイン調整を行う技術が開示されている。
【０００５】
更に特許文献１には、区間毎に、所定数のサンプル点で規定された２次関数によって表される近似関数に従って上記の２乗値に対応した補正データを求めるようにすることで、多数の補正データを格納することなく、きめ細かな補正を実現する技術が開示されている。
【特許文献１】特開２００４−２６６７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に開示された技術では、レンズのシェーディングを補正するための所定の位置に、レンズの光軸位置を合わせる必要がある。これは、レンズの光軸位置の位置合わせ精度を低下させると画質の劣化を招くことを意味する。そのため、レンズを含むカメラモジュールの製造に高精度な実装技術が必要となり、結果的にコスト高を招く。
【０００７】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、低コストでレンズのシェーディングを補正できる画像信号処理装置、画像信号処理方法、表示コントローラ及び電子機器を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明は、
レンズを通して取り込まれた撮像素子の有効画素領域内の基準位置が設定される基準位置設定レジスタと、
前記有効画素領域の各画素の位置と前記基準位置との距離を求める距離演算部と、
前記距離演算部によって求められた距離に対応した補正データに基づいて、前記各画素の画素データを補正する画素データ補正部とを含む画像信号処理装置に関係する。
【０００９】
また本発明に係る画像信号処理装置では、
前記基準位置は、
前記レンズの光軸位置であってもよい。
【００１０】
上記のいずれかの発明においては、撮像素子の有効画素領域内に基準位置を設定し、有効画素領域の各画素の位置と該基準位置との距離を求めるようにしている。そして、求められた距離に対応した補正データに基づいて、各画素の画素データが補正される。これにより、レンズの光軸位置を、レンズのシェーディングを補正するための所定の位置に合わせる必要がなくなる。そのため、レンズの光軸位置の位置合わせ精度を低下させても、画質を劣化させることがなくなる。その結果、レンズを含むカメラモジュールの製造に高精度な実装技術が不要となり、製造コストを低下させることができるようになる。
【００１１】
また本発明に係る画像信号処理装置では、
前記各画素の画素データに基づいて、光量が最大となる画素の位置を検出する中心位置検出部を含むことができる。
【００１２】
また本発明に係る画像信号処理装置では、
前記中心位置検出部によって検出された位置が、前記基準位置として前記基準位置設定レジスタに設定されてもよい。
【００１３】
これらのいずれかの発明によれば、レンズを通る光量が最大となる画素の位置を基準位置として設定し、有効画素領域の各画素の位置と該基準位置との距離を求めることができるようになる。従って、外部から、基準位置を基準位置設定レジスタに設定する必要が無くなる上に、レンズの光軸位置を、レンズのシェーディングを補正するための所定の位置に合わせる必要がなくなる。そのため、レンズの光軸位置の位置合わせ精度を低下させても、画質を劣化させることがなくなる。その結果、レンズを含むカメラモジュールの製造に高精度な実装技術が不要となり、製造コストを低下させることができるようになる。
【００１４】
また本発明に係る画像信号処理装置では、
前記有効画素領域の各画素の画素データは、色補間される前の画素データであってもよい。
【００１５】
本発明によれば、上記の効果に加えて、色補間処理後の画素データに対してレンズのシェーディングを補正した後に色補間処理を行う場合に比べて、色補間処理で調整された色の具合が変化してしまうことがなくなり、画素の色調を容易に調整できるようになる。
【００１６】
また本発明は、
レンズのシェーディング補正を行うための画像信号処理方法であって、
レンズを通して取り込まれた撮像素子の有効画素領域内の基準位置を設定し、
前記有効画素領域の各画素の位置と前記基準位置との距離を求め、
前記距離に対応した補正データに基づいて、前記各画素の画素データを補正する画像信号処理方法に関係する。
【００１７】
また本発明に係る画像信号処理方法では、
前記基準位置は、
前記レンズの光軸位置であってもよい。
【００１８】
また本発明に係る画像信号処理方法では、
前記各画素の画素データに基づいて、光量が最大となる画素の位置を検出し、
該位置を、前記基準位置として設定することができる。
【００１９】
また本発明に係る画像信号処理方法では、
前記有効画素領域の各画素の画素データは、色補間される前の画素データであってもよい。
【００２０】
また本発明は、
レンズを通して取り込まれた撮像素子の画素データが入力される画素データ入力インタフェースと、
前記画素データ入力インタフェースを介して入力された画素データを補正する上記のいずれか記載の画像信号処理装置と、
前記画像信号処理装置によって補正された画素データが保存される表示メモリと、
前記表示メモリに保存された画素データを、電気光学装置を駆動する表示ドライバに対して出力するためのインタフェース処理を行うドライバインタフェースとを含む表示コントローラに関係する。
【００２１】
本発明によれば、低コストでレンズのシェーディングを補正できる画像信号処理装置を含む表示コントローラを提供できる。
【００２２】
また本発明は、
レンズと、
前記レンズを通して取り込まれた撮像素子の画素データを生成するセンサ部と、
前記画素データを補正する上記のいずれか記載の画像信号処理装置とを含むカメラモジュールに関係する。
【００２３】
本発明によれば、低コストでレンズのシェーディングを補正できる画像信号処理装置を含むカメラモジュールを提供できる。
【００２４】
また本発明は、
表示パネルと、
上記記載の表示コントローラと、
前記表示コントローラによって供給される画素データに基づいて前記表示パネルを駆動する表示ドライバとを含む電子機器に関係する。
【００２５】
本発明によれば、低コストでレンズのシェーディングを補正できる画像信号処理装置を含む電子機器を提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
【００２７】
１．  画像信号処理装置
図１に、本実施形態における画像信号処理装置の構成の概要のブロック図を示す。
【００２８】
図１では、カメラモジュール（センサモジュール）１０が取り込んだ画像の画素データが、画像信号処理装置１００に入力される。
【００２９】
カメラモジュール１０は、レンズ１２を含み、レンズ１２を通して撮像された画像の画素データを生成する。より具体的には、カメラモジュール１０は、更に撮像素子１４、アナログデジタル（Analog to Digital：Ａ／Ｄ）変換回路１６及びタイミング発生回路１８を含む。撮像素子１４は、レンズ１２を通して入射された光量に応じた電荷を生成して蓄積し、この電荷量に対応したアナログ信号を、タイミング発生回路１８からのタイミング信号に同期してＡ／Ｄ変換回路１６に出力する。Ａ／Ｄ変換回路１６は、該アナログ信号をデジタル信号に変換し、画像信号処理装置１００に対して画素データとして出力する。カメラモジュール１０は、Ａ／Ｄ変換回路１６からの画素データを、タイミング発生回路１８で発生させたタイミング信号に同期させて順次出力する。即ち、レンズ１２を通して撮像された画像の画素データが、撮像素子１４で検出された光量に応じたデジタルデータとして順次出力される。このようなカメラモジュール１０の機能は、ＣＣＤ（Charge Coupled Device）センサモジュール又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサモジュールにより実現できる。
【００３０】
画像信号処理装置１００は、カメラモジュール１０からの画素データに対して、レンズ１２のシェーディングを補正する処理を行う。
【００３１】
図２に、図１のレンズ１２のレンズ特性を模式的に示す。
【００３２】
レンズ１２の光軸位置を原点とすると、レンズ１２は、原点からの距離が遠くなるほど、レンズ１２を通る光量が減少する特性３０を有する。そのため、レンズ１２の光軸位置からの距離が遠ざかる部分ほど、レンズ１２を通して撮像される画像が暗くなる。この現象の発生に伴う画質の劣化を防止するため、レンズ１２を通して撮像される画像の画素データに対し、図２の特性３２のような補正を施すことで図２の特性３０の影響を少なくしたり、或いは該影響を無くすことができる。
【００３３】
そのため図１に示す画像信号処理装置１００は、基準位置設定レジスタ１１０と、距離演算部１２０と、補正データ設定部１３０と、画素データ補正部１４０とを含む。
【００３４】
基準位置設定レジスタ１１０には、レンズ１２を通して取り込まれる撮像画像のうち撮像素子の有効画素領域内の基準位置が設定される。より具体的には、図示しないホスト又は制御部が、基準位置設定レジスタ１１０に、上記の基準位置の座標データを設定する。この基準位置は、レンズ１２の光軸位置であることが望ましく、有効画素領域内の各画素の距離の基準位置が設定可能であればよい。
【００３５】
図３に、本実施形態のレンズ１２のシェーディングを補正する処理の説明図を示す。
【００３６】
画像信号処理装置１００では、レンズ１２を通して撮像された画像の有効画素領域４０内に基準位置Ｐｃ（の座標位置）が設定される。ここで基準位置Ｐｃを通るＡ−Ａ´線における輝度を模式的に示すと、補正前では、図２に示すレンズ１２の特性に従って、基準位置Ｐｃから遠ざかるほど、輝度が低下している。
【００３７】
その一方、補正後では、図２の特性３２に従った補正を施すことで、基準位置Ｐｃからの距離が遠くなるほど、補正量を大きくさせることができる。そのため、レンズ１２の周辺部の輝度を増加させることができる。この結果、基準位置Ｐｃからの距離にかかわらず画素データにより表される光量を一定にでき、有効画素領域内の各画素の輝度を基準輝度に揃えることができる。
【００３８】
図１において距離演算部１２０は、有効画素領域の各画素の位置と基準位置との距離を求める。そのため画像信号処理装置１００は、画素位置生成部１５０を含むことができる。画素位置生成部１５０は、ラインカウンタ１５２及びピクセルカウンタ１５４を含み、カメラモジュール１０から順次出力される画素データの画素位置（座標）を生成する。ラインカウンタ１５２は、タイミング発生回路１８によって生成されたタイミング信号に基づいて、撮像素子の有効画素領域内のライン位置を特定するためのカウント値を生成する。ピクセルカウンタ１５４は、タイミング発生回路１８によって生成されたタイミング信号に基づいて、１ライン内の画素位置を特定するためのカウント値を生成する。
【００３９】
なお図１では、画像信号処理装置１００が画素位置生成部１５０を含む構成となっているが、カメラモジュール１０が画素位置生成部１５０を含む構成を採用してもよい。
【００４０】
基準位置設定レジスタ１１０に設定された基準位置の座標を（Ｘｃ，Ｙｃ）、画素位置生成部１５０で生成された画素データの位置の座標を（Ｘ，Ｙ）とすると、距離演算部１２０は、次式に従って距離ｄを求める。
【００４１】
ｄ＝（（Ｘ−Ｘｃ）２＋（Ｙ−Ｙｃ）２）１／２      ・・・（１）
補正データ設定部１３０は、距離演算部１２０で（１）式に従って求められた距離ｄに対応した補正データ（狭義にはゲイン値）を求める。例えば、補正データ設定部１３０は、画素の位置と基準位置との距離に応じた補正データを予め保持しておき、距離演算部１２０で求められた距離ｄに対応した補正データを画素データ補正部１４０に供給する。このような補正データ設定部１３０の機能は、距離ｄをアドレスとして、フリップフロップ、レジスタ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶手段によって実現される。
【００４２】
画素データ補正部１４０は、カメラモジュール１０からの画像の各画素の画素データを、補正データ設定部１３０からの補正データに基づいて補正する処理を行う。例えば画素データ補正部１４０は、補正データ設定部１３０からの補正データとしてのゲイン値に基づいて、カメラモジュール１０からの各画素データのゲイン調整を行うことができる。このような画素データ補正部１４０の機能は、画素データにゲイン値を掛け合わせる乗算器によって実現される。
【００４３】
この結果、画像信号処理装置１００は、レンズ１２の特性に応じて、レンズ１２を通る光量に対応したデジタル値である画素データを補正することができる。画像信号処理装置１００が補正した画素データは、図示しない色補間処理に供される。色補間処理では、画像信号処理装置１００により補正された画素データが、例えばＲＧＢの各色成分の画素データに変換される。
【００４４】
ここで本実施形態の比較例との対比において、本実施形態の効果を説明する。
【００４５】
図４に、本実施形態の比較例におけるレンズのシェーディングを補正する処理例の説明図を示す。図４では、レンズの光軸位置（光学的中心位置）Ｐｃ１が、有効画素領域５０の中心位置Ｐｃからずれている場合に、基準位置Ｐｃ１を通るＢ−Ｂ´線における輝度を模式的に示している。
【００４６】
補正前では、図３と異なり、レンズの光軸位置Ｐｃ１に対応した位置が最大の輝度となり、図２に示すレンズ１２の特性に従って、基準位置Ｐｃ１から遠ざかるほど、輝度が低下している。
【００４７】
図４において、例えば基準位置Ｐｃを基準に画素データを補正した場合、基準位置Ｐｃ１を基準に画素データを補正する場合に比べて、画素の位置によっては、より大きな補正量で画素データを補正してしまう。そのため、補正後の画像は、基準輝度よりも輝度が大きい画像となり、不自然な画像となってしまう。
【００４８】
図５に、本実施形態におけるレンズのシェーディングを補正する処理例の説明図を示す。図５では、レンズの光軸位置（光学的中心位置）Ｐｃ２が、有効画素領域４０の中心位置Ｐｃからずれている場合に、基準位置Ｐｃ２を通るＣ−Ｃ´線における輝度を模式的に示している。
【００４９】
補正前では、図４と同様に、図３と異なりレンズの光軸位置Ｐｃ２に対応した位置が最大の輝度となり、図２に示すレンズ１２の特性に従って、基準位置Ｐｃ２から遠ざかるほど、輝度が低下している。
【００５０】
本実施形態では、基準位置設定レジスタ１１０に図５の基準位置Ｐｃ２の位置を設定し、各画素の位置と基準位置Ｐｃ２との距離を求めることができる。そのため、図５の基準位置Ｐｃ２からの距離に応じて、図２に示すレンズ１２の特性３０に従った補正量を求めることができる。その結果、図５に示すように、補正後の画像の各画素では、基準位置Ｐｃ２の輝度である基準輝度に揃えることができるようになる。
【００５１】
以下、図１の画像信号処理装置１００の各部について説明する。
【００５２】
レンズ１２を通して入射された光は、その前面に設けられたカラーフィルタを通った後、撮像素子１４に入射する。
【００５３】
図６に、図１の撮像素子１４の前面に設けられたカラーフィルタの構成例を示す。
【００５４】
カラーフィルタ１３には、図６の画素フィルタｐｉｘを最小単位として複数の画素フィルタが配列されている。画素フィルタｐｉｘは、ＲＧＢの色成分のうちＲ成分の光を通すＲフィルタ、Ｇ成分の光を通す２つのＧフィルタ及びＢ成分の光を通すＢフィルタを含む。この配列は、いわゆるベイヤ（Bayer）配列と呼ばれる。
【００５５】
各画素の画素データは、撮像素子１４で受光された光量（光強度）に応じて光電変換されたアナログ信号をＡ／Ｄ変換回路１６によりデジタル化したデータである。撮像素子１４には、画素フィルタｐｉｘの各フィルタを通った光が入射される。従って、例えば光量が多いほど画素データの値を大きくできたり、或いは光量が多いほど画素データの値を小さくできたりできる。そのため、画素データに基づいて、レンズ１２を通った光量を画素毎に判断できる。
【００５６】
各画素の色成分の画素データは、例えば画像信号処理装置１００における色補間処理において生成される。この場合、画素フィルタｐｉｘに着目すると、画素Ｐ１１の画素データのうちＲ成分は、ＲフィルタＲ１１を通って撮像素子１４で受光された光量に応じて光電変換されたアナログ信号をデジタル化したデータとなる。同様に画素Ｐ１１の画素データのうちＢ成分は、ＢフィルタＢ１１を通って撮像素子１４で受光された光量に応じて光電変換されたアナログ信号をデジタル化したデータとなる。画素Ｐ１１の画素データのうちＧ成分は、ＧフィルタＧ１１―１、Ｇ１１−２を通って撮像素子１４で受光された光量に応じて光電変換されたアナログ信号をデジタル化した後に平均化したデータとなる。
【００５７】
Ａ／Ｄ変換回路１６によってデジタル化された画素データは、タイミング発生回路１８により生成されたタイミング信号に同期して画像信号処理装置１００に供給される。
【００５８】
図７に、図１のタイミング発生回路１８によって生成されるタイミング信号と画素データとの関係を示す。
【００５９】
タイミング発生回路１８は、タイミング信号として垂直同期信号Ｖｓｙｎｃ、水平同期信号Ｈｓｙｎｃ及びドットクロック（ピクセルクロック）ＤＣＬＫを生成する。垂直同期信号Ｖｓｙｎｃは、１垂直走査期間を規定する信号であり、撮像素子１４で取り込まれた画像の先頭を示すパルスを有する。水平同期信号Ｈｓｙｎｃは、１水平走査期間を規定する信号であり、撮像素子１４で取り込まれた画像の水平走査方向の１ラインの先頭を示すパルスを有する。
【００６０】
Ａ／Ｄ変換回路１６は、ドットクロックＤＣＬＫに同期して各画素の画素データＤａｔａを出力する。この画素データＤａｔａが、図６の各フィルタを通して撮像素子１４で取り込まれたアナログ信号がデジタル化された信号である。
【００６１】
タイミング発生回路１８によって生成されたタイミング信号は、図１の画素位置生成部１５０にも供給される。
【００６２】
図８に、図１の画素位置生成部１５０の構成例の回路図を示す。
【００６３】
画素位置生成部１５０のラインカウンタ１５２は、垂直同期信号Ｖｓｙｎｃによりリセットされ、水平同期信号Ｈｓｙｎｃのパルスをカウントする。ラインカウンタ１５２のカウント値は、ライン位置データＬｐｏｓとして出力される。
【００６４】
画素位置生成部１５０のピクセルカウンタ１５４は、垂直同期信号Ｖｓｙｎｃ又は水平同期信号Ｈｓｙｎｃによりリセットされ、ドットクロックＤＣＬＫのパルスをカウントする。ピクセルカウンタ１５４のカウント値は、ピクセル位置データＰｐｏｓとして出力される。
【００６５】
ライン位置データＬｐｏｓ及びピクセル位置データＰｐｏｓは、距離演算部１２０に供給される。
【００６６】
基準位置設定レジスタ１１０に設定された基準位置の座標を（Ｘｃ，Ｙｃ）とすると、距離演算部１２０は、図７に示すようにドットクロックＤＣＬＫに同期して入力される画素データ毎に、次式に従って画素の位置と基準位置との距離ｄを求める。
【００６７】
ｄ＝（（Ｐｐｏｓ−Ｘｃ）２＋（Ｌｐｏｓ−Ｙｃ）２）１／２      ・・・（２）
距離演算部１２０で求められた距離ｄは、補正データ設定部１３０に供給される。補正データ設定部１３０は、距離ｄに対応して、レンズのシェーディングを補正するための補正データとしてのゲイン値を、画素データ補正部１４０に設定する処理を行う。
【００６８】
図９に、図１の補正データ設定部１３０によって設定されるゲイン値の説明図を示す。
【００６９】
補正データ設定部１３０は、図９に示す特性関数に従って、距離演算部１２０からの距離ｄに対応したゲイン値を出力する。そのため、補正データ設定部１３０には、距離ｄに対応したゲイン値が複数保持されている。
【００７０】
図１０に、補正データ設定部１３０の構成例の概要を示す。
【００７１】
補正データ設定部１３０には、距離ｄ０に対応したゲイン値ｇ０、距離ｄ１に対応したゲイン値ｇ１、・・・、距離ｄｍａｘに対応したゲイン値ｇｍａｘが予め設定されている。補正データ設定部１３０の設定内容は、レンズ１２のレンズ特性に応じて、図示しないホスト又は制御部により更新可能となっている。
【００７２】
こうして補正データ設定部１３０は、距離演算部１２０からの距離ｄをインデックスとして、ゲイン値を出力することができる。
【００７３】
図１の画素データ補正部１４０は、補正データ設定部１３０から出力されたゲイン値とカメラモジュール１０からの画素データとを乗算して、レンズのシェーディングが補正された画素データを出力する。
【００７４】
以上のように、画素単位で、設定可能な基準位置と画素の位置との距離を求め、該距離に対応したゲイン値と画素の画素データとを乗算することで、図５で説明したようにレンズ１２の光軸位置がずれた場合であっても、補正後の画像の画素の輝度を揃えることができる。そのため、カメラモジュール１０を高精度で製造する必要がなくなり、低コスト化に寄与できるようになる。その上、補正後の画質の劣化を低コストで防止できる。
【００７５】
１．１  変形例
本実施形態における画像信号処理装置１００では、図示しないホスト又は制御部が、基準位置設定レジスタ１１０に基準位置を設定するものと説明したが、本発明はこれに限定されるものではない。
【００７６】
本実施形態の変形例では、レンズ１２の光軸位置を中心位置として検出し、該中心位置を基準位置として基準位置設定レジスタ１１０に設定する。
【００７７】
図１１に、本実施形態の変形例における画像信号処理装置２００の構成例のブロック図を示す。図１１において、図１と同一部分には同一符号を付し、適宜説明を省略する。
【００７８】
変形例における画像信号処理装置２００が図１の本実施形態における画像信号処理装置１００と異なる点は、画像信号処理装置２００が中心位置検出部２１０を含む点である。
【００７９】
中心位置検出部２１０は、カメラモジュール１０からの画素データに基づいて、中心位置を求める。即ち、中心位置検出部２１０は、各画素の画素データに基づいて、光量が最大となる画素の位置を検出する。より具体的には、中心位置検出部２１０は、有効画素領域内で光量が最大となる位置を中心位置として特定し、該中心位置を基準位置として基準位置設定レジスタ１１０に設定する処理を行う。
【００８０】
図１２に、図１１の中心位置検出部２１０の構成例のブロック図を示す。
【００８１】
中心位置検出部２１０は、比較器２１２とピーク値保持レジスタ２１４とを含むことができる。比較器２１２は、カメラモジュール１０からの画素データとピーク値保持レジスタ２１４に保持された画素データとを比較し、検出信号を出力する。ピーク値保持レジスタ２１４に保持された画素データに対応した光量が、カメラモジュール１０からの画素データに対応した光量より小さいとき、比較器２１２は、検出信号をアクティブにする。
ピーク値保持レジスタ２１４に保持された画素データに対応した光量が、カメラモジュール１０からの画素データに対応した光量以上のとき、比較器２１２は、検出信号を非アクティブにする。
【００８２】
この検出信号は、ピーク値保持レジスタ２１４に供給される。検出信号がアクティブのとき、ピーク値保持レジスタ２１４にカメラモジュール１０からの画素データが格納される。従って、カメラモジュール１０から画素データが順次送られて来る場合に、ピーク値保持レジスタ２１４に保持される画素データが更新されていく。そして、１フレーム分の撮像素子の有効画素領域内の各画素について中心位置検出部２１０が処理した結果、最終的にピーク値保持レジスタ２１４に保持された画素データが、光量が最大となる位置のデータとなる。これは、レンズ１２のシェーディング特性が図２に示す特性を有し、光量が最大となる位置がレンズ１２の光軸位置となるからである。そのため中心位置検出部２１０が中心位置を検出する際に、各画素フィルタに均等な光量を入射させて、カメラモジュール１０からレンズのシェーディング特性にのみ依存した画素データを出力させることが望ましい。
【００８３】
また比較器２１２からの検出信号は、基準位置設定レジスタ１１０にも供給される。該検出信号がアクティブのとき、基準位置設定レジスタ１１０には、画素位置生成部１５０で生成された画素の位置を示す座標データが設定される。こうすることで、中心位置検出部２１０からの検出信号がアクティブになる度に、基準位置設定レジスタ１１０の設定内容が更新される。従って、基準位置設定レジスタ１１０には、ピーク値保持レジスタ２１４に保持される画素データに対応した位置の座標データが、常に保持されることになる。
【００８４】
このように中心位置検出部２１０を設け、基準位置設定レジスタ１１０に基準位置を設定できるようにすることで、カメラモジュール１０の製造技術の精度を緩めても画質の劣化を防止できるようになり、より一層の低コスト化が可能となる。
【００８５】
２．  表示コントローラ
本実施形態又はその変形例における画像信号処理装置１００、２００は、表示コントローラに内蔵させることができる。
【００８６】
図１３に、本実施形態における表示コントローラ３００の構成例のブロック図を示す。
【００８７】
表示コントローラ３００は、図示しないホスト及び表示ドライバの間に設けられる。そして、表示コントローラ３００は、表示パネルを駆動する表示ドライバに画素データを供給する。
【００８８】
表示コントローラ３００は、フレームメモリとして機能する表示メモリ３１０と、図１又は図１１に示す画像信号処理装置１００、２００として機能する画像信号処理装置３２０とを含む。表示メモリ３１０には、少なくとも１フレーム分の画素データが格納される。即ち、画像信号処理装置３２０は、表示コントローラ３００に入力された画素データを、上記のようにレンズ１２のシェーディングを補正する処理を行う。表示メモリ３１０には、画像信号処理装置３２０によって補正された後の画素データが格納される。
【００８９】
また表示コントローラ３００は、カメラインタフェース（InterFace：Ｉ／Ｆ）（広義には、画素データ入力インタフェース）３３０と、ドライバインタフェース（Ｉ／Ｆ）（広義には、表示ドライバインタフェース）３４０とを含む。
【００９０】
カメラＩ／Ｆ３３０には、図１のカメラモジュール１０からの画素データが入力される。即ち、カメラＩ／Ｆ３３０には、カメラモジュール１０のレンズ１２を通して取り込まれた撮像素子の有効画素領域内の画素データが入力される。より具体的には、カメラＩ／Ｆ３３０は、該画素データのインタフェース処理（カメラモジュールとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後の画素データを表示メモリ３１０に対して出力し、表示メモリ３１０に書き込む。
【００９１】
ドライバＩ／Ｆ３４０は、表示メモリ３１０から読み出された画素データを、図示しない表示ドライバに出力する。ドライバＩ／Ｆ３４０は、画素データのインタフェース処理（表示ドライバとの間の送信処理や、信号のバッファリング）を行い、インタフェース処理後の画素データを表示ドライバに出力する。この表示ドライバは、表示コントローラ３００からの画素データに基づいて、電気光学装置を駆動する。
【００９２】
また表示コントローラ３００は、ホストインタフェース３５０を含む。ホストＩ／Ｆ３５０には、画素データの生成又は３次元の画像処理等の画素データの加工を行う図示しないホストからの画素データが入力される。このとき、ホストＩ／Ｆ３５０は、インタフェース処理（ホストとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後の画素データを表示メモリ３１０に対して供給し、表示メモリ３１０に書き込む。またホストＩ／Ｆ３５０には、表示メモリ３１０から読み出された画素データが入力される。ホストＩ／Ｆ３５０は、インタフェース処理（ホストとの間の送信処理や、信号のバッファリング）を行い、インタフェース処理後の画素データをホストに出力する。
【００９３】
更に表示コントローラ３００は、色補間処理部３６０を含むことができる。色補間処理部３６０は、カメラモジュール１０の画素フィルタを通って受光された光量に対応したデジタル値である画素データを、例えば図６で説明したように画素単位で色成分毎の画素データを生成する。色補間処理部３６０は、画像信号処理装置３２０と表示メモリ３１０との間に設けられる。こうすることで色補間処理部３６０は、画像信号処理装置３２０でレンズのシェーディングが補正された後の画素データに対して色補間処理を行うことができる。色補間処理後の画素データに対してレンズのシェーディングを補正すると、色補間処理で調整された色の具合が変化してしまう場合があり色調の調整が複雑になるが、レンズのシェーディングを補正した後の画素データに対して色補間処理を行うことで、画素の色調を容易に調整できる。
【００９４】
以上のように、本実施形態では、表示コントローラ３００に画像信号処理装置３２０を内蔵させるようにしたため、レンズの光軸位置を高精度に合わせる必要がないカメラモジュールからの画素データを、画質を劣化させることなく表示ドライバ又はホストに供給できるようになる。そのため表示コントローラ３００を適用することで、システムの低コスト化に寄与できるようになる。
【００９５】
３．  カメラモジュール
本実施形態又はその変形例における画像信号処理装置１００、２００は、カメラモジュールに内蔵させることができる。
【００９６】
図１４に、本実施形態におけるカメラモジュール４００の構成例のブロック図を示す。
【００９７】
カメラモジュール４００は、レンズ４１０と、センサ部４２０と、本実施形態又はその変形例における画像信号処理装置１００、２００として機能する画像信号処理装置４３０とを含む。レンズ４１０は、図１のレンズ１２の機能を有する。センサ部４２０は、図１の撮像素子１４、Ａ／Ｄ変換回路１６及びタイミング発生回路１８を含む。
【００９８】
そして画像信号処理装置４３０は、センサ部４２０からの画素データに対して、レンズ４１０のシェーディングを補正する処理を行い、処理後の画素データを出力する。
【００９９】
以上のように、本実施形態では、カメラモジュール４００に画像信号処理装置４３０を内蔵させるようにしたため、レンズ４１０の光軸位置を高精度に合わせることなく、画質が劣化しない画素データを出力できる。そのためカメラモジュール４００を適用することで、システムの低コスト化に寄与できるようになる。
【０１００】
４．  電子機器
図１５に、本実施形態における電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。
【０１０１】
携帯電話機７００は、カメラモジュール７１０を含む。カメラモジュール７１０は、カメラで撮像した画像の画素データを表示コントローラ７２０に供給する。
【０１０２】
カメラモジュール７１０として、例えば図１４に示すカメラモジュール４００を採用できる。この場合、表示コントローラ７２０の構成は、図１３の表示コントローラ３００の構成から画像信号処理装置３２０が省略されたものとなる。
【０１０３】
或いは、表示コントローラ７２０として、図１３の表示コントローラ３００を採用できる。この場合、カメラモジュール４００は、図１のカメラモジュール１０を採用できる。
【０１０４】
携帯電話機７００は、表示パネル（広義には電気光学装置）７３０を含む。表示パネル７３０として、液晶表示パネルを採用できる。この場合、表示パネル７３０は、表示ドライバ７４０によって駆動される。表示パネル７３０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ７４０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画素データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
【０１０５】
表示コントローラ７２０は、表示ドライバ７４０に接続され、表示ドライバ７４０に対してレンズのシェーディングを補正した後の画素データを供給する。
【０１０６】
ホスト７５０は、表示コントローラ７２０に接続される。ホスト７５０は、表示コントローラ７２０を制御する。またホスト７５０は、アンテナ７６０を介して受信された画素データを、変復調部７７０で復調した後、表示コントローラ７２０に対して供給できる。表示コントローラ７２０は、この画素データに基づき、表示ドライバ７４０により表示パネル７３０に表示させる。
【０１０７】
ホスト７５０は、カメラモジュール７１０で生成された画素データを変復調部７７０で変調した後、アンテナ７６０を介して他の通信装置への送信を指示できる。
【０１０８】
ホスト７５０は、操作入力部７８０からの操作情報に基づいて画素データの送受信処理、フォーマット変換処理、カメラモジュール７１０の撮像、表示パネル７３０の表示処理を行う。
【０１０９】
なお、図１５では、表示パネル７３０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル７３０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画素データを供給する表示コントローラ、又は該表示コントローラに画素データを供給するカメラモジュールに本実施形態又はその変形例における画像信号処理装置を適用できる。
【０１１０】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【０１１１】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【０１１２】
【図１】本実施形態における画像信号処理装置の構成の概要のブロック図。
【図２】図１のレンズの特性を模式的に示す図。
【図３】本実施形態のレンズのシェーディングを補正する処理の説明図。
【図４】本実施形態の比較例におけるレンズのシェーディングを補正する処理例の説明図。
【図５】本実施形態におけるレンズのシェーディングを補正する処理例の説明図。
【図６】図１の撮像素子の前面に設けられたカラーフィルタの構成例を示す図。
【図７】図１のタイミング発生回路によって生成されるタイミング信号と画素データとの関係を示す図。
【図８】図１の画素位置生成部の構成例の回路図。
【図９】図１の補正データ設定部によって設定されるゲイン値の説明図。
【図１０】補正データ設定部の構成例の概要を示す図。
【図１１】本実施形態の変形例における画像信号処理装置の構成例のブロック図。
【図１２】図１１の中心位置検出部の構成例のブロック図。
【図１３】本実施形態における表示コントローラの構成例のブロック図。
【図１４】本実施形態におけるカメラモジュールの構成例のブロック図。
【図１５】本実施形態における電子機器の構成例のブロック図。
【符号の説明】
【０１１３】
１０、４００、７１０  カメラモジュール、  １２、４１０  レンズ、
１４  撮像素子、  １６  Ａ／Ｄ変換回路、  １８  タイミング発生回路、
１００、２００、３２０、４３０  画像信号処理装置、
１１０  基準位置設定レジスタ、  １２０  距離演算部、  １３０  補正データ設定部、
１４０  画素データ補正部、  １５０  画素位置生成部、  １５２  ラインカウンタ、
１５４  ピクセルカウンタ、  ２１０  中心位置検出部、  ２１２  比較器、
２１４  ピーク値保持レジスタ、  ３００、７２０  表示コントローラ、
３１０  表示メモリ、  ３３０  カメラＩ／Ｆ、  ３４０  ドライバＩ／Ｆ、
３５０  ホストＩ／Ｆ、  ３６０  色補間処理部、  ４２０  センサ部、
７００  携帯電話機、  ７３０  表示パネル、  ７４０  表示ドライバ、
７５０  ホスト、  ７６０  アンテナ、  ７７０  変復調部、  ７８０  操作入力部
【図１】
2006270551.tif 000003
【図２】
2006270551.tif 000004
【図３】
2006270551.tif 000005
【図４】
2006270551.tif 000006
【図５】
2006270551.tif 000007
【図６】
2006270551.tif 000008
【図７】
2006270551.tif 000009
【図８】
2006270551.tif 000010
【図９】
2006270551.tif 000011
【図１０】
2006270551.tif 000012
【図１１】
2006270551.tif 000013
【図１２】
2006270551.tif 000014
【図１３】
2006270551.tif 000015
【図１４】
2006270551.tif 000016
【図１５】
2006270551.tif 000017