(57)【要約】【課題】  低コストで、高画質な画像を表示するための画像データを生成できる画像処理コントローラ、電子機器及び画像処理方法を提供する。【解決手段】  画像処理コントローラ１０は、互いに非同期で入力された第１及び第２の画像データのいずれかを選択して出力するセレクタ１００と、所与の切替順序に従って１フレームの画像データ毎にセレクタ１００の切替制御を行う切替制御部１１０と、前記切替順序に従って前記セレクタから出力された１フレーム分の第１及び第２の画像データ、又は前記切替順序に従って前記セレクタから出力された第１及び第２の画像データが合成された１フレーム分の合成画像データが格納されるフレームメモリ１３０とを含む。フレームメモリ１３０に格納された第１及び第２の画像データが合成された合成画像データ、又はフレームメモリ１３０に格納された合成画像データを表示ドライバ３０に供給する。【選択図】      図５
2007049598.tif 000002
【特許請求の範囲】
【請求項１】
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理コントローラであって、
互いに非同期で入力された第１及び第２の画像データのいずれかを選択して出力するセレクタと、
所与の切替順序に従って１フレームの画像データ毎に前記セレクタの切替制御を行う切替制御部と、
前記切替順序に従って前記セレクタから出力された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って前記セレクタから出力された前記第１及び第２の画像データが合成された１フレーム分の合成画像データが格納されるフレームメモリとを含み、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給することを特徴とする画像処理コントローラ。
【請求項２】
請求項１において、
前記切替制御部が、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定し、該切替順序に従って前記セレクタの切替制御を行うことを特徴とする画像処理コントローラ。
【請求項３】
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理コントローラであって、
互いに非同期で入力された第１及び第２の画像データのいずれかを、所与の切替順序に従って１フレームの画像データ毎に切替制御を行う切替制御部と、
前記切替順序に従って選択された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って選択された前記第１及び第２の画像データが合成された１フレーム分の合成画像データが格納されるフレームメモリとを含み、
前記切替制御部が、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定し、該切替順序に従って切替制御を行い、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給することを特徴とする画像処理コントローラ。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記切替制御部が、
前記第１の画像データの垂直同期信号及び水平同期信号と前記第２の画像データの垂直同期信号及び水平同期信号とに基づいて前記切替順序を決定することを特徴とする画像処理コントローラ。
【請求項５】
請求項４において、
１垂直走査期間内の取り込み開始ラインを指定するための取り込み開始ライン設定レジスタと、
１垂直走査期間内の取り込み終了ラインを指定するための取り込み終了ライン設定レジスタとを含み、
前記終了タイミングが、１垂直走査期間を規定する垂直同期信号の変化タイミングを基準に、前記取り込み終了ライン設定レジスタの設定値に対応した期間が経過したタイミングであり、
前記開始タイミングが、前記終了タイミングを含む垂直走査期間の次の垂直走査期間における前記垂直同期信号の変化タイミングを基準に、前記取り込み開始ライン設定レジスタの設定値に対応した期間が経過したタイミングであることを特徴とする画像処理コントローラ。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記第１及び第２の画像データの少なくとも一方のシェーディング処理、又はその周囲の画素データにより補間される欠陥画素の補間処理を行う画像補正部を含み、
前記画像補正部が、
選択された前記第１又は第２の画像データに対して前記シェーディング処理又は前記補間処理を行い、
前記フレームメモリには、前記シェーディング処理又は前記補間処理後の前記第１及び第２の画像データ、又は前記シェーディング処理又は前記補間処理後の第１及び第２の画像データが合成された前記合成画像データが格納されることを特徴とする画像処理コントローラ。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記第１及び第２の画像データ、又は前記合成画像データの画像サイズを縮小する画像縮小処理を行う画像縮小部を含み、
前記フレームメモリには、前記画像縮小処理後の前記第１及び第２の画像データ、又は前記画像縮小処理後の前記合成画像データが格納されることを特徴とする画像処理コントローラ。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記第１の画像データが、右目用画像データ及び左目用画像データの一方であり、
前記第２の画像データが、右目用画像データ及び左目用画像データの他方であり、
前記合成画像データが、立体表示用画像データであることを特徴とする画像処理コントローラ。
【請求項９】
表示パネルと、
請求項１乃至８のいずれか記載の画像処理コントローラと、
前記画像処理コントローラによって供給される画像データに基づいて前記表示パネルを駆動する表示ドライバとを含むことを特徴とする電子機器。
【請求項１０】
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理方法であって、
互いに非同期で入力された第１及び第２の画像データのいずれかを、所与の切替順序に従って１フレームの画像データ毎に切り替えて出力し、
前記切替順序に従って出力された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って出力された前記第１及び第２の画像データが合成された１フレーム分の合成画像データをフレームメモリに格納し、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給することを特徴とする画像処理方法。
【請求項１１】
請求項１０において、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理コントローラ、電子機器及び画像処理方法に関する。
【背景技術】
【０００２】
近年、携帯電話機等の携帯型の電子機器に搭載される液晶表示（Liquid Crystal Display：ＬＣＤ）パネル（広義には表示パネル。更に広義には電気光学装置）の高画質化が進み、種々のコンテンツ画像やカメラ等で撮像した画像を表示できるようになっている。そして、より一層趣向を凝らすことでユーザの要求を満足させるために、ＬＣＤパネルに立体画像を表示させることも可能になっている。
【０００３】
このような立体画像表示を行うための画像データは、例えば特許文献１に記載された技術により生成される。特許文献１には、それぞれ右目用及び左目用に設けられた２つのカメラで撮像した画像を、各カメラに対応して設けられたフレームメモリにそれぞれ直接的に格納し、選択回路で切り替えながら左右の画像データをインターリーブして合成処理を行う技術が開示されている。
【特許文献１】特開平８−７１２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、２つのカメラのそれぞれに対してフレームメモリを設けると、コスト高を招く上に携帯型の電子機器への搭載には不向きである。また、２つのカメラの各カメラが非同期で画像データを入力してくる場合、両者の画像データの画像の時間的なずれが原因で立体画像に違和感を生じて画質が低下することがある。これは、立体画像に限らず、複数の画像をつなぎ合わせて１つの画像を生成する場合も同様である。
【０００５】
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、低コストで、高画質な画像を表示するための画像データを生成できる画像処理コントローラ、電子機器及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理コントローラであって、
互いに非同期で入力された第１及び第２の画像データのいずれかを選択して出力するセレクタと、
所与の切替順序に従って１フレームの画像データ毎に前記セレクタの切替制御を行う切替制御部と、
前記切替順序に従って前記セレクタから出力された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って前記セレクタから出力された前記第１及び第２の画像データが合成された１フレーム分の合成画像データが格納されるフレームメモリとを含み、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給する画像処理コントローラに関係する。
【０００７】
本発明によれば、第１及び第２の画像データを用いて生成した合成画像データを駆動装置に供給する場合に、第１及び第２の画像データに対してフレームメモリを共通化できるようになる。これにより、画像処理コントローラの低コスト化を実現できるようになる。
【０００８】
また本発明に係る画像処理コントローラでは、
前記切替制御部が、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定し、該切替順序に従って前記セレクタの切替制御を行うことができる。
【０００９】
本発明によれば、第１及び第２の画像データのうち一方の画像データの１フレームの終了タイミングから、他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように切替順序を決定するようにしたので、セレクタによって切り替えられる第１及び第２の画像データの時間差を短縮できる。従って、フレームメモリを共通化したことにより第１及び第２の画像データの時間差により合成画像データにより表示される画像の違和感を大幅に低減し、合成画像の画質を向上させることができるようになる。
【００１０】
また本発明は、
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理コントローラであって、
互いに非同期で入力された第１及び第２の画像データのいずれかを、所与の切替順序に従って１フレームの画像データ毎に切替制御を行う切替制御部と、
前記切替順序に従って選択された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って選択された前記第１及び第２の画像データが合成された１フレーム分の合成画像データが格納されるフレームメモリとを含み、
前記切替制御部が、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定し、該切替順序に従って切替制御を行い、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給する画像処理コントローラに関係する。
【００１１】
本発明によれば、第１及び第２の画像データを用いて生成した合成画像データを駆動装置に供給する場合に、第１及び第２の画像データに対してフレームメモリを共通化できるようになる。これにより、画像処理コントローラの低コスト化を実現できるようになる。また、第１及び第２の画像データのうち一方の画像データの１フレームの終了タイミングから、他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように切替順序を決定するようにしたので、選択される第１及び第２の画像データの時間差を短縮できる。従って、フレームメモリを共通化したことにより第１及び第２の画像データの時間差により合成画像データにより表示される画像の違和感を大幅に低減し、合成画像の画質を向上させることができるようになる。
【００１２】
また本発明に係る画像処理コントローラでは、
前記切替制御部が、
前記第１の画像データの垂直同期信号及び水平同期信号と前記第２の画像データの垂直同期信号及び水平同期信号とに基づいて前記切替順序を決定することができる。
【００１３】
本発明によれば、簡素な構成で、第１及び第２の画像データを用いて、低コストで高画質の合成画像データを生成できるようになる。
【００１４】
また本発明に係る画像処理コントローラでは、
１垂直走査期間内の取り込み開始ラインを指定するための取り込み開始ライン設定レジスタと、
１垂直走査期間内の取り込み終了ラインを指定するための取り込み終了ライン設定レジスタとを含み、
前記終了タイミングが、１垂直走査期間を規定する垂直同期信号の変化タイミングを基準に、前記取り込み終了ライン設定レジスタの設定値に対応した期間が経過したタイミングであり、
前記開始タイミングが、前記終了タイミングを含む垂直走査期間の次の垂直走査期間における前記垂直同期信号の変化タイミングを基準に、前記取り込み開始ライン設定レジスタの設定値に対応した期間が経過したタイミングであってもよい。
【００１５】
本発明によれば、指定可能な範囲の取り込み画像により合成画像データを生成できるようになる。
【００１６】
また本発明に係る画像処理コントローラでは、
前記第１及び第２の画像データの少なくとも一方のシェーディング処理、又はその周囲の画素データにより補間される欠陥画素の補間処理を行う画像補正部を含み、
前記画像補正部が、
前記セレクタから出力された前記第１又は第２の画像データに対して前記シェーディング処理又は前記補間処理を行い、
前記フレームメモリには、前記シェーディング処理又は前記補間処理後の前記第１及び第２の画像データ、又は前記シェーディング処理又は前記補間処理後の第１及び第２の画像データが合成された前記合成画像データが格納されてもよい。
【００１７】
本発明によれば、第１及び第２の画像データに対して画像補正部を共通化でき、画像処理コントローラの低コスト化に寄与できるようになる。更に、高画質を維持しながら、シェーディング補正処理後又は補間処理後の合成画像データを生成できる。
【００１８】
また本発明に係る画像処理コントローラでは、
前記第１及び第２の画像データ、又は前記合成画像データの画像サイズを縮小する画像縮小処理を行う画像縮小部を含み、
前記フレームメモリには、前記画像縮小処理後の前記第１及び第２の画像データ、又は前記画像縮小処理後の前記合成画像データが格納されてもよい。
【００１９】
本発明によれば、第１及び第２の画像データに対して画像縮小部を共通化でき、画像処理コントローラの低コスト化に寄与できるようになる。更にフレームメモリの容量を小さくできるようになる。
【００２０】
また本発明に係る画像処理コントローラでは、
前記第１の画像データが、右目用画像データ及び左目用画像データの一方であり、
前記第２の画像データが、右目用画像データ及び左目用画像データの他方であり、
前記合成画像データが、立体表示用画像データであってもよい。
【００２１】
本発明によれば、低コストで、高画質な立体表示用の画像を表示するための画像データを生成できる画像処理コントローラを提供できる。
【００２２】
また本発明は、
表示パネルと、
上記のいずれか記載の画像処理コントローラと、
前記画像処理コントローラによって供給される画像データに基づいて前記表示パネルを駆動する表示ドライバとを含む電子機器に関係する。
【００２３】
本発明によれば、低コストで、高画質な立体表示用の画像を表示するための画像データを生成できる画像処理コントローラを含む電子機器を提供できる。
【００２４】
また本発明は、
電気光学装置を駆動する駆動装置に対し、第１及び第２の画像データが合成された合成画像データを供給するための画像処理方法であって、
互いに非同期で入力された第１及び第２の画像データのいずれかを、所与の切替順序に従って１フレームの画像データ毎に切り替えて出力し、
前記切替順序に従って出力された１フレーム分の前記第１及び第２の画像データ、又は前記切替順序に従って出力された前記第１及び第２の画像データが合成された１フレーム分の合成画像データをフレームメモリに格納し、
前記フレームメモリに格納された前記第１及び第２の画像データが合成された合成画像データ、又は前記フレームメモリに格納された合成画像データを前記駆動装置に供給する画像処理方法に関係する。
【００２５】
また本発明に係る画像処理方法では、
前記第１及び第２の画像データの一方の画像データの１フレームの終了タイミングから、前記第１及び第２の画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように前記切替順序を決定することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
【００２７】
１．  画像処理コントローラ
図１に、本実施形態の画像処理コントローラが適用されたシステムの構成例の図を示す。本実施形態の画像処理コントローラ１０は、表示パネル（電気光学装置）２０を駆動する表示ドライバ（駆動装置）３０に対して画像データを供給する。表示パネル２０は、複数のデータ線と複数の走査線とを各画素が各データ線及び各走査線により特定される複数の画素とを有し、立体画像を表示できるようになっている。表示ドライバ３０は、表示パネル２０の複数のデータ線を画像データに基づいて駆動するデータドライバの機能と、表示パネル２０の複数の走査線を走査する走査ドライバの機能とを有する。
【００２８】
画像処理コントローラ１０には、例えば右目用画像データとして第１のカメラモジュール４０から第１のカメラデータが入力される。また画像処理コントローラ１０には、例えば左目用画像データである第２のカメラモジュール５０から第２のカメラデータが入力される。第１及び第２のカメラデータは、互いに非同期のタイミングで画像処理コントローラ１０に入力される。画像処理コントローラ１０は、第１及び第２の画像データを合成した合成画像データを生成し、該合成画像データを立体表示用画像データとして表示ドライバ３０に供給する。従って、第１及び第２のカメラモジュール４０、５０は、表示パネル２０の画面を見る観察者の両目の視差を考慮して設けられる。
【００２９】
画像処理コントローラ１０は、ホスト６０によって制御される。ホスト６０は、ＣＰＵ（Central Processing Unit）及びメモリを含み、該メモリに格納されたプログラムに従ってＣＰＵが処理を実行することで、画像処理コントローラ１０の制御を行う。画像処理コントローラ１０は、図示しない制御レジスタを有し、ホスト６０により設定された制御レジスタの設定データに基づいて制御信号が生成され、該制御信号に基づいて動作するようになっている。
【００３０】
図２に、第１のカメラモジュール４０の構成例のブロック図を示す。本実施形態では、第１のカメラモジュール４０の構成及び動作は、第２のカメラモジュール５０の構成及び動作と同じであるものとするが、これに限定されるものではない。
【００３１】
第１のカメラモジュール４０は、レンズ４２を含み、レンズ４２を通して撮像された画像の画像データを生成する。より具体的には、第１のカメラモジュール４０は、更に撮像素子４４、アナログデジタル（Analog to Digital：Ａ／Ｄ）変換器４６及びタイミング発生回路４８を含む。撮像素子４４は、レンズ４２を通して入射された光量に応じた電荷を生成して蓄積し、この電荷量に対応したアナログ信号を、タイミング発生回路４８からのタイミング信号に同期してＡ／Ｄ変換器４６に出力する。Ａ／Ｄ変換器４６は、該アナログ信号をデジタル信号に変換し、画像処理コントローラ１０に対して画像データＧＤ１として出力する。第１のカメラモジュール４０は、Ａ／Ｄ変換器４６からの画像データを、タイミング発生回路４８で発生させたタイミング信号（ドットクロックＤＣＫ１、水平同期信号ＨＳＹＮＣ１、垂直同期信号ＶＳＹＮＣ１）に同期させて順次出力する。即ち、レンズ４２を通して撮像された画像の画像データが、撮像素子４４で検出された光量に応じたデジタルデータとして順次出力される。このような第１のカメラモジュール４０の機能は、ＣＣＤ（Charge Coupled Device）センサモジュール又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサモジュールにより実現できる。
【００３２】
図３に、図２のタイミング発生回路４８によって生成されるタイミング信号と画素データとの関係を示す。
【００３３】
タイミング発生回路１８は、タイミング信号として垂直同期信号ＶＳＹＮＣ１、水平同期信号ＨＳＹＮＣ１及びドットクロック（ピクセルクロック）ＤＣＫ１を生成する。垂直同期信号ＶＳＹＮＣ１は、１垂直走査期間を規定する信号であり、撮像素子４４で取り込まれた画像の先頭を示すパルスを有する。水平同期信号ＨＳＹＮＣ１は、１水平走査期間を規定する信号であり、撮像素子４４で取り込まれた画像の水平走査方向の１ラインの先頭を示すパルスを有する。Ａ／Ｄ変換器４６は、ドットクロックＤＣＫ１に同期して各画素の画像データＧＤ１を出力する。
【００３４】
このように第１のカメラモジュール４０は、画像処理コントローラ１０の動作とは非同期で画像データを出力する。そのため、第１のカメラモジュール４０は、同様に非同期で画像データを出力する第２のカメラモジュール５０と非同期で画像データを画像処理コントローラ１０に供給することになる。
【００３５】
ここで、本実施形態における合成画像データに基づいて生成される立体画像による立体視の原理の一例について説明する。なお、本実施形態では、視差バリア（parallax barrier）方式を採用するものとして説明するが、これに限定されるものではなく、例えばレンティキュラ方式により立体視を実現してもよい。
【００３６】
図４に、視差バリア方式の原理の説明図を示す。
【００３７】
視差バリア方式では、例えば水平方向である方向ＤＩＲ１に観察者の左目と右目が並ぶ場合に、表示パネル２０には、短冊状に右目用画像Ｒと左目用画像Ｌとが交互に並ぶように画像が表示される。右目用画像Ｒ及び左目用画像Ｌは、それぞれ例えば水平方向に１画素分の幅で該水平方向と直交する垂直方向である方向ＤＩＲ２に延びる。
【００３８】
表示パネル２０の表示画像と観察者の間には、縦格子状の隙間（垂直方向の隙間）を有する視差バリアが設けられている。表示パネル２０は、視差バリアを含むことができる。また表示パネル２０は、例えば電気的又は機械的に、視差バリアを設けたり視差バリアを設けなかったりする手段を含んでもよい。
【００３９】
右目用画像Ｒは観察者の右目のみが見るべき画像であり、左目用画像Ｌは観察者の左目のみが見るべき画像である。従って、右目用画像Ｒを右目が見て、左目用画像Ｌを左目が見ることとなり、両画像の視差に起因して奥行きを感じ、立体画像として認識される。
【００４０】
本実施形態における画像処理コントローラ１０は、図４に示すように短冊状に右目用画像Ｒと左目用画像Ｌとが交互に並ぶ画像を生成するための合成画像データを生成し、該合成画像データを表示ドライバ３０に供給する。
【００４１】
図５に、図１の画像処理コントローラ１０の構成例のブロック図を示す。なお図５において、図１と同一部分には同一符号を付し適宜説明を省略する。
【００４２】
画像処理コントローラ１０は、セレクタ１００と、セレクタ１００の切替制御を行う切替制御部１１０と、フレームメモリ１３０とを含む。セレクタ１００には、第１のカメラモジュール４０から右目用画像データ（第１のカメラデータ）が入力されると共に、該右目用画像データとは非同期のタイミングで第２のカメラモジュール５０から左目用画像データ（第２のカメラデータ）が入力される。そしてセレクタ１００は、右目用画像データ及び左目用画像データのいずれかを選択して出力する。切替制御部１１０は、所与の切替順序に従って１フレーム（１垂直走査分、１画面分）の画像データ毎にセレクタ１００の切替制御を行う。
【００４３】
フレームメモリ１３０には、例えば所与の切替順序に従ってセレクタ１００から出力された少なくとも１フレーム分の右目用画像データ及び少なくとも１フレーム分の左目用画像データが格納される。例えば図６（Ａ）に示すように、フレームメモリ１３０の記憶領域には、右目用画像データ記憶領域ＲＡ及び左目用画像データ記憶領域ＬＡがそれぞれ個別に割り当てられる。そして、第１のカメラモジュール４０から入力された右目用画像データが、フレームメモリ１３０の右目用画像データ記憶領域ＲＡに格納される。また第２のカメラモジュール５０から入力された左目用画像データが、フレームメモリ１３０の左目用画像データ記憶領域ＬＡに格納される。そして画像処理コントローラ１０は、フレームメモリ１３０に格納された右目用画像データ及び左目用画像データが合成された合成画像データを表示ドライバに出力する。
【００４４】
そのため画像処理コントローラ１０は、更に、合成処理部１４０、ドライバインタフェース（InterFace：Ｉ／Ｆ）（広義には画像データ出力インタフェース）１５０を含むことができる。合成処理部１４０は、右目用画像データ及び左目用画像データから合成画像データを生成する。より具体的には、合成処理部１４０は、フレームメモリ１３０の右目用画像データ記憶領域ＲＡから右目用画像データを読み出し、フレームメモリ１３０の左目用画像データ記憶領域ＬＡから左目用画像データを読み出し、右目用画像データ及び左目用画像データを合成して合成画像データを生成する。
【００４５】
ドライバＩ／Ｆ１５０は、フレームメモリ１３０から読み出された右目用画像データ及び左目用画像データに基づいて生成された合成画像データを表示ドライバ３０に出力する処理を行う。ドライバＩ／Ｆ１５０は、画像データのインタフェース処理（表示ドライバとの間の送信処理や、信号のバッファリング）を行い、インタフェース処理後の画像データを表示ドライバに出力する。ドライバＩ／Ｆ１５０は、所与の読み出し周期でフレームメモリ１３０に格納された画像データの読み出し制御を行うことができる。
【００４６】
また画像処理コントローラ１０は、更に第１のカメラＩ／Ｆ（広義には第１の画像データ入力インタフェース）１６０、第２のカメラＩ／Ｆ（広義には第２の画像データ入力インタフェース）１７０を含むことができる。第１のカメラＩ／Ｆ１６０は、第１のカメラモジュール４０のレンズを通して取り込まれた撮像素子の有効画素領域内の画像データが入力される。第１のカメラＩ／Ｆ１６０は、該画像データのインタフェース処理（カメラモジュールとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後の画像データを右目用画像データとしてセレクタ１００に出力する。第２のカメラＩ／Ｆ１７０は、第２のカメラモジュール５０のレンズを通して取り込まれた撮像素子の有効画素領域内の画像データが入力される。第２のカメラＩ／Ｆ１７０は、該画像データのインタフェース処理（カメラモジュールとの間の受信処理や、信号のバッファリング）を行い、インタフェース処理後の画像データを左目用画像データとしてセレクタ１００に出力する。
【００４７】
また図５に示すように画像処理コントローラ１０は、画像縮小部１９０を含むことができる。画像縮小部１９０は、例えばセレクタ１００とフレームメモリ１３０との間に設けられ、セレクタ１００から出力される右目用画像データ及び左目用画像データの画像サイズを縮小させる画像縮小処理を行うことができる。そしてフレームメモリ１３０には、画像縮小処理後の右目用画像データ及び左目用画像データが格納される。このように画像縮小部１９０を設けることで、フレームメモリ１３０に格納される右目用画像データ及び左目用画像データのデータサイズを小さくできるので、フレームメモリ１３０の小容量化が可能となる。
【００４８】
更に画像処理コントローラ１０は、ホスト６０によりアクセスされる制御レジスタ１８０を有し、制御レジスタ１８０の設定値に応じて生成される制御信号に基づき制御される。
【００４９】
このような画像処理コントローラ１０において、合成処理部１４０は、フレームメモリ１３０に入力される右目用画像データ及び左目用画像データから合成画像データを生成し、該合成画像データをフレームメモリ１３０に書き込むようにしてもよい。この場合、ドライバＩ／Ｆ１５０は、フレームメモリ１３０から読み出された合成画像データを表示ドライバ３０に供給する。
【００５０】
図７（Ａ）、図７（Ｂ）に本実施形態における合成画像データの説明図を示す。
【００５１】
図７（Ａ）では、１フレーム分の合成画像データに基づいて表示パネル２０に表示された画像を模式的に示している。図７（Ａ）では、画像の座標（０，０）を基準に画像の水平方向に右目用画像の画素（座標（１，０））、左目用画像の画素（座標（２，０））、右目用画像の画素（座標（３，０））、・・が並ぶ。各画素は、Ｒ成分、Ｇ成分、Ｂ成分からなる。そして、次の走査ラインも同様に、画像の座標（０，１）を基準に水平方向に右目用画像の画素（座標（１，１））、左目用画像の画素（座標（２，１））、右目用画像の画素（座標（３，１））、・・が並ぶ。
【００５２】
合成処理部１４０は、図７（Ａ）に示すように右目用画像データ及び左目用画像データを順次読み出すことで図７（Ｂ）に示すように１画素単位で短冊状に右目用画像及び左目用画像が配置される合成画像を表示するための合成画像データを生成する。
【００５３】
なおフレームメモリ１３０には、上述のように、所与の切替順序に従ってセレクタ１００から出力された右目用画像データ及び左目用画像データが合成された少なくとも１フレーム分の合成画像データが格納されてもよい。この場合、例えば図６（Ｂ）に示すように、フレームメモリ１３０の記憶領域には、合成画像データ記憶領域ＣＡが割り当てられる。そして、第１のカメラモジュール４０から入力された右目用画像データ、第２のカメラモジュール５０から入力された左目用画像データが、合成処理部１４０によって図７（Ａ）に示すように合成されて、合成画像データとしてフレームメモリ１３０の合成画像データ記憶領域ＣＡに格納される。そして画像処理コントローラ１０は、フレームメモリ１３０に格納された合成画像データを表示ドライバに出力する。
【００５４】
なお画像縮小部１９０を含む場合には、画像縮小部１９０は、合成処理部１４０によって合成された合成画像データの画像サイズを縮小する画像縮小処理を行う。そしてフレームメモリ１３０には、画像縮小処理後の合成画像データが格納される。このように画像縮小部１９０を設けることで、フレームメモリ１３０に格納される合成画像データのデータサイズを小さくできるので、フレームメモリ１３０の容量を小さくできる。
【００５５】
合成画像データのフォーマットは表示パネル２０の立体視の実現方式に応じて決められるため、合成画像データを他の電子機器に送信した場合に立体視を実現できない場合がある。従って、図６（Ａ）の場合、右目用画像データ又は左目用画像データのいずれかを他の電子機器に送信すれば、汎用的に画像データを送信できる。これに対して図６（Ｂ）の場合、フレームメモリ１３０から単純に合成画像データを読み出せばよいため、フレームメモリ１３０の容量削減の効果と共に、周期的に読み出し制御が行われる表示パネル２０の表示制御を簡素化できる効果が得られる。
【００５６】
２．  画像処理コントローラの詳細な構成例
次に、図５の画像処理コントローラ１０の要部の構成例について説明する。
【００５７】
２．１  切替制御部
図８に、図５のセレクタ１００及び切替制御部１１０の構成例のブロック図を示す。セレクタ１００は、ドットクロックセレクタ１０２、画像データセレクタ１０４、垂直同期信号セレクタ１０６、水平同期信号セレクタ１０８を含む。ドットクロックセレクタ１０２は、切替制御部１１０からの選択信号Ｓｅｌｃに基づいて、第１のカメラモジュール４０からのドットクロックＤＣＫ１、第２のカメラモジュール５０からのドットクロックＤＣＫ２のいずれかを選択してドットクロックＤＣＫとして出力する。画像データセレクタ１０４は、切替制御部１１０からの選択信号Ｓｅｌｃに基づいて、第１のカメラモジュール４０からの右目用画像データＧＤ１、第２のカメラモジュール５０からの左目用画像データＧＤ２のいずれかを選択して画像データＧＤとして出力する。垂直同期信号セレクタ１０６は、切替制御部１１０からの選択信号Ｓｅｌｃに基づいて、第１のカメラモジュール４０からの垂直同期信号ＶＳＹＮＣ１、第２のカメラモジュール５０からの垂直同期信号ＶＳＹＮＣ２のいずれかを選択して垂直同期信号ＶＳＹＮＣとして出力する。水平同期信号セレクタ１０８は、切替制御部１１０からの選択信号Ｓｅｌｃに基づいて、第１のカメラモジュール４０からの水平同期信号ＨＳＹＮＣ１、第２のカメラモジュール５０からの水平同期信号ＨＳＹＮＣ２のいずれかを選択して水平同期信号ＨＳＹＮＣとして出力する。
【００５８】
切替制御部１１０は、切替順序決定部１１２と、切替部１１４とを含む。切替順序決定部１１２（広義には切替制御部１１０）は、右目用画像データ（第１の画像データ）の垂直同期信号ＶＳＹＮＣ１及び水平同期信号ＨＳＹＮＣ１と左目用画像データ（第２の画像データ）の垂直同期信号ＶＳＹＮＣ２及び水平同期信号ＨＳＹＮＣ２とに基づいて、セレクタ１００に入力される右目用画像データ及び左目用画像データの切替順序を決定し、該切替順序に対応した順序決定信号ＤｅｓＯｒｄを生成する。より具体的には、切替順序決定部１１２（広義には切替制御部１１０）は、右目用画像データ及び左目用画像データの一方の画像データの１フレームの終了タイミングから、右目用画像データ及び左目用画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように切替順序を決定する。切替部１１４（広義には切替制御部１１０）は、切替順序決定部１１２が決定した切替順序に従ってセレクタ１００の切替制御を行うための選択信号Ｓｅｌｃを生成する。即ち、切替部１１４は、順序決定信号ＤｅｓＯｒｄに基づいて選択信号Ｓｅｌｃを生成する。
【００５９】
図９に、図８の切替順序決定部１１２の構成例のブロック図を示す。
【００６０】
切替順序決定部１１２は、第１及び第２の水平カウンタＨＣＮＴ１、ＨＣＮＴ２、第１〜第５の比較器ＣＭＰ１〜ＣＭＰ５、第１及び第２の計測カウンタＭＣＮＴ１、ＭＣＮＴ２を含む。
【００６１】
第１の水平カウンタＨＣＮＴ１は、垂直同期信号ＶＳＹＮＣ１のアクティブ期間中の水平同期信号ＨＳＹＮＣ１のパルス数をカウントする。垂直同期信号ＶＳＹＮＣ１のアクティブ期間は、ＬレベルからＨレベルへの立ち上がりタイミングで開始され、ＨレベルからＬレベルへの立ち下がりタイミングで終了する。第１の水平カウンタＨＣＮＴ１のカウント値は、垂直同期信号ＶＳＹＮＣ１の非アクティブ期間において初期化される。第２の水平カウンタＨＣＮＴ２は、垂直同期信号ＶＳＹＮＣ２のアクティブ期間中の水平同期信号ＨＳＹＮＣ２のパルス数をカウントする。垂直同期信号ＶＳＹＮＣ２のアクティブ期間は、ＬレベルからＨレベルへの立ち上がりタイミングで開始され、ＨレベルからＬレベルへの立ち下がりタイミングで終了する。第２の水平カウンタＨＣＮＴ２のカウント値は、垂直同期信号ＶＳＹＮＣ２の非アクティブ期間において初期化される。
【００６２】
切替順序決定部１１２には、取り込み開始ライン設定レジスタ１８２から取り込み開始ライン情報、取り込み終了ライン設定レジスタ１８４から取り込み終了ライン情報が入力される。取り込み開始ライン情報により、取り込み開始ラインが特定される。取り込み終了ライン情報により、取り込み終了ラインが特定される。図５の制御レジスタ１８０が、取り込み開始ライン設定レジスタ１８２及び取り込み終了ライン設定レジスタ１８４を含む。
【００６３】
図１０に、取り込み開始ライン及び取り込み終了ラインの説明図を示す。
【００６４】
垂直同期信号ＶＳＹＮＣ（ＶＳＹＮＣ１、ＶＳＹＮＣ２）により規定される１垂直走査期間は、複数の水平走査期間を含む。各水平走査期間は、水平同期信号ＨＳＹＮＣ（ＨＳＹＮＣ１、ＨＳＹＮＣ２）により規定され、１走査ライン分の画像データに基づいて表示パネル２０のデータ線が駆動される。
【００６５】
取り込み開始ラインは、１垂直走査期間が開始された後に、カメラモジュール（第１、第２のカメラモジュール）からの画像データの取り込みが開始される水平走査期間に対応した走査ラインである。一方、取り込み終了ラインは、１垂直走査期間が開始された後に、カメラモジュール（第１、第２のカメラモジュール）からの画像データの取り込みが終了する水平走査期間に対応した走査ラインである。右目用画像及び左目用画像は、取り込み開始ラインから取り込み終了ラインまでの画像データに基づいて生成される。
【００６６】
図９において、第１の比較器ＣＭＰ１は、第１の水平カウンタＨＣＮＴ１のカウント値と取り込み開始ライン設定レジスタ１８２に設定された取り込み開始ライン情報とを比較する。そして第１の比較器ＣＭＰ１は、両者が一致したとき、一致検出パルスを出力する。第２の比較器ＣＭＰ２は、第１の水平カウンタＨＣＮＴ１のカウント値と取り込み終了ライン設定レジスタ１８４に設定された取り込み終了ライン情報とを比較する。そして第２の比較器ＣＭＰ２は、両者が一致したとき、一致検出パルスを出力する。第３の比較器ＣＭＰ３は、第２の水平カウンタＨＣＮＴ２のカウント値と取り込み開始ライン設定レジスタ１８２に設定された取り込み開始ライン情報とを比較する。そして第３の比較器ＣＭＰ３は、両者が一致したとき、一致検出パルスを出力する。第４の比較器ＣＭＰ４は、第２の水平カウンタＨＣＮＴ２のカウント値と取り込み終了ライン設定レジスタ１８４に設定された取り込み終了ライン情報とを比較する。そして第４の比較器ＣＭＰ４は、両者が一致したとき、一致検出パルスを出力する。
【００６７】
第１の比較器ＣＭＰ１からの一致検出パルスは、第１の計測カウンタＭＣＮＴ１のストップ端子に入力される。第４の比較器ＣＭＰ４からの一致検出パルスは、第１の計測カウンタＭＣＮＴ１のスタート端子に入力される。第１の計測カウンタＭＣＮＴ１は、スタート端子に入力された一致検出パルスをスタートトリガとして、ドットクロックＤＣＫのクロック数のカウントを開始する。また第１の計測カウンタＭＣＮＴ１は、ストップ端子に入力された一致検出パルスをスタートトリガとして、ドットクロックＤＣＫのクロック数のカウントを停止する。これにより、第１の計測カウンタＭＣＮＴ１は、右目用画像データに対して、取り込み終了ライン設定レジスタ１８４に設定された取り込み終了ライン情報により特定される走査ラインの走査タイミングから、取り込み開始ライン設定レジスタ１８２に設定された、次の垂直走査期間の取り込み開始ライン情報により特定される左目用画像データに基づく走査ラインの走査タイミングまでのドットクロックＤＣＫのクロック数に対応した期間Ｐｄ１をカウントできる。
【００６８】
第２の比較器ＣＭＰ２からの一致検出パルスは、第２の計測カウンタＭＣＮＴ２のスタート端子に入力される。第３の比較器ＣＭＰ３からの一致検出パルスは、第２の計測カウンタＭＣＮＴ２のストップ端子に入力される。第２の計測カウンタＭＣＮＴ２は、スタート端子に入力された一致検出パルスをスタートトリガとして、ドットクロックＤＣＫのクロック数のカウントを開始する。また第２の計測カウンタＭＣＮＴ２は、ストップ端子に入力された一致検出パルスをスタートトリガとして、ドットクロックＤＣＫのクロック数のカウントを停止する。これにより、第２の計測カウンタＭＣＮＴ２は、左目用画像データに対して、取り込み終了ライン設定レジスタ１８４に設定された取り込み終了ライン情報により特定される走査ラインの走査タイミングから、取り込み開始ライン設定レジスタ１８２に設定された、次の垂直走査期間の取り込み開始ライン情報により特定される右目用画像データに基づく走査ラインの走査タイミングまでのドットクロックＤＣＫのクロック数に対応した期間Ｐｄ２をカウントできる。
【００６９】
第５の比較器ＣＭＰ５は、第１の計測カウンタＭＣＮＴ１によってカウントされた期間Ｐｄ１、第２の計測カウンタＭＣＮＴ２によってカウントされた期間Ｐｄ２を比較する。そして第５の比較器ＣＭＰ５は、Ｐｄ１＞Ｐｄ２のとき順序決定信号ＤｅｓＯｒｄをＨレベルにして出力し、Ｐｄ１＜Ｐｄ２のとき順序決定信号ＤｅｓＯｒｄをＬレベルにして出力する。なお、Ｐｄ＝Ｐｄ２のとき、順序決定信号ＤｅｓＯｒｄをＨレベル又はＬレベルにしてもよい。
【００７０】
図１１に、図９の切替順序決定部１１２の動作例のタイミング図を示す。
【００７１】
まず、第１のカメラモジュール４０からの垂直同期信号ＶＳＹＮＣ１の立ち上がりエッジ（変化タイミング）ＴＭ１で垂直同期信号ＶＳＹＮＣ１がＨレベルになると、第１の水平カウンタＨＣＮＴ１は、第１のカメラモジュール４０からの水平同期信号ＨＳＹＮＣ１のパルス数をカウントする。そして、第１の比較器ＣＭＰ１により第１の水平カウンタＨＣＮＴ１のカウント値と取り込み開始ライン設定レジスタ１８２の取り込み開始ライン情報とが一致したことが検出されたとき（タイミングＴＭ２）、画像データの１フレームの開始タイミングが検出されたことを示す一致検出パルスが出力される。更に、第２の比較器ＣＭＰ２により第１の水平カウンタＨＣＮＴ１のカウント値と取り込み終了ライン設定レジスタ１８４の取り込み終了ライン情報とが一致したことが検出されたとき（タイミングＴＭ３）、画像データの１フレームの終了タイミングが検出されたことを示す一致検出パルスが出力される。垂直同期信号ＶＳＹＮＣ１の立ち上がりエッジＴＭ１以降において、水平同期信号ＨＳＹＮＣ１のパルス数が取り込み開始ライン情報に一致してから取り込み終了ライン情報に一致するまでの期間に第１のカメラモジュール４０から入力される画像データが、右目用画像データとなる。
【００７２】
同様に、第２のカメラモジュール５０からの垂直同期信号ＶＳＹＮＣ２の立ち上がりエッジ（変化タイミング）ＴＭ１０で垂直同期信号ＶＳＹＮＣ２がＨレベルになると、第２の水平カウンタＨＣＮＴ２は、第２のカメラモジュール５０からの水平同期信号ＨＳＹＮＣ２のパルス数をカウントする。そして、第４の比較器ＣＭＰ４により第２の水平カウンタＨＣＮＴ２のカウント値と取り込み開始ライン設定レジスタ１８２の取り込み開始ライン情報とが一致したことが検出されたとき（タイミングＴＭ１１）、画像データの１フレームの開始タイミングが検出されたことを示す一致検出パルスが出力される。更に、第３の比較器ＣＭＰ３により第２の水平カウンタＨＣＮＴ２のカウント値と取り込み終了ライン設定レジスタ１８４の取り込み終了ライン情報とが一致したことが検出されたとき（タイミングＴＭ１２）、画像データの１フレームの終了タイミングが検出されたことを示す一致検出パルスが出力される。垂直同期信号ＶＳＹＮＣ２の立ち上がりエッジＴＭ１０以降において、水平同期信号ＨＳＹＮＣ２のパルス数が取り込み開始ライン情報に一致してから取り込み終了ライン情報に一致するまでの期間に第２のカメラモジュール５０から入力される画像データが、左目用画像データとなる。
【００７３】
そして第１の計測カウンタＭＣＮＴ１は、第４の比較器ＣＭＰ４の一致検出パルスが出力されるタイミングＴＭ１２から第１の比較器ＣＭＰ１の一致検出パルスが出力される、次の垂直走査期間におけるタイミングＴＭ２までの期間Ｐｄ１を計測する。第２の計測カウンタＭＣＮＴ２は、第２の比較器ＣＭＰ２の一致検出パルスが出力されるタイミングＴＭ３から第３の比較器ＣＭＰ３の一致検出パルスが出力される、次の垂直走査期間におけるタイミングＴＭ１１までの期間Ｐｄ２を計測する。
【００７４】
第５の比較器ＣＭＰ５は、期間Ｐｄ１、Ｐｄ２を比較し、図１１ではＰｄ１＜Ｐｄ２であるため、順序決定信号ＤｅｓＯｒｄがＬレベルに変化する。
【００７５】
このように、切替順序決定部１１２は、右目用画像データ及び左目用画像データの一方の画像データの１フレームの終了タイミングから、右目用画像データ及び左目用画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように切替順序を決定する。このとき、終了タイミングが、１垂直走査期間を規定する垂直同期信号の変化タイミングを基準に、取り込み終了ライン設定レジスタ１８４の設定値に対応した期間が経過したタイミングである。また開始タイミングが、該終了タイミングを含む垂直走査期間の次の垂直走査期間における垂直同期信号の変化タイミングを基準に、取り込み開始ライン設定レジスタ１８２の設定値に対応した期間が経過したタイミングである。
【００７６】
図１２及び図１３に、図８の切替制御部１１０の動作例のフロー図を示す。切替制御部１１０の機能は、以下のフローで動作する組み合わせ回路等のハードウェアや、図示しないＲＯＭに格納されたファームウェアを実行する処理部（プロセッサ等）により実現される。
【００７７】
まず、例えば図１のシステムにおいて、図示しない操作入力部からのモード設定により、撮影モードに移行すると、第１及び第２カメラモジュール４０、５０が起動される。画像処理コントローラ１０では、第１及び第２カメラモジュール４０、５０の起動を検知できるようになっている（ステップＳ１０）。例えば画像処理コントローラ１０は、上記の操作入力部からのモード設定を直接検出したり、起動後に第１及び第２のカメラモジュール４０、５０から入力される画像データ、垂直同期信号、水平同期信号及びドットクロックのいずれかを検出することで、第１及び第２カメラモジュール４０、５０の起動を検知できる。
【００７８】
その後、切替制御部１１０の切替順序決定部１１２は、上述のように期間Ｐｄ１、Ｐｄ２を計測し（ステップＳ１１）、切替順序を決定する（ステップＳ１２）。
【００７９】
その後、切替制御部１１０は、操作入力部からの取り込み開始指示を待つ（ステップＳ２０：Ｎ）。この取り込み開始指示は、画像の撮像指示である。そして取り込み開始指示があったとき（ステップＳ２０：Ｙ）、図１２のステップＳ１２で決定した順序決定信号ＤｅｓＯｒｄがＨレベルか、Ｌレベルかを判別する（ステップＳ２１）。
【００８０】
順序決定信号ＤｅｓＯｒｄがＨレベルのとき（ステップＳ２１：Ｙ）、切替制御部１１０の切替部１１４は第１のカメラモジュール４０を選択するように、図８のセレクタ１００の切替制御を行う（ステップＳ２２）。そして切替部１１４は、第１のカメラモジュール４０からの垂直同期信号ＶＳＹＮＣ１の開始タイミング及び終了タイミングを検知すると（ステップＳ２３）、第２のカメラモジュール５０を選択するように、図８のセレクタ１００の切替制御を行う（ステップＳ２４）。垂直同期信号ＶＳＹＮＣ１の開始タイミングを検知してから終了タイミングを検知するまで、右目用画像データの取り込みが行われる。その後、切替部１１４は、第２のカメラモジュール５０からの垂直同期信号ＶＳＹＮＣ２の開始タイミング及び終了タイミングを検知すると（ステップＳ２５）、一連の処理を終了する（エンド）。なお垂直同期信号ＶＳＹＮＣ２の開始タイミングを検知してから終了タイミングを検知するまで、左目用画像データの取り込みが行われる。
【００８１】
ステップＳ２１において、順序決定信号ＤｅｓＯｒｄがＬレベルのとき（ステップＳ２１：Ｎ）、切替制御部１１０の切替部１１４は第２のカメラモジュール５０を選択するように、図８のセレクタ１００の切替制御を行う（ステップＳ２６）。そして切替部１１４は、第２のカメラモジュール５０からの垂直同期信号ＶＳＹＮＣ２の開始タイミング及び終了タイミングを検知すると（ステップＳ２７）、第１のカメラモジュール４０を選択するように、図８のセレクタ１００の切替制御を行う（ステップＳ２８）。垂直同期信号ＶＳＹＮＣ２の開始タイミングを検知してから終了タイミングを検知するまで、左目用画像データの取り込みが行われる。その後、切替部１１４は、第１のカメラモジュール４０からの垂直同期信号ＶＳＹＮＣ１の開始タイミング及び終了タイミングを検知すると（ステップＳ２９）、一連の処理を終了する（エンド）。なお垂直同期信号ＶＳＹＮＣ１の開始タイミングを検知してから終了タイミングを検知するまで、右目用画像データの取り込みが行われる。
【００８２】
このように、切替制御部１１０は、右目用画像データ及び左目用画像データの一方の画像データの１フレームの終了タイミングから、右目用画像データ及び左目用画像データの他方の画像データの次の１フレームの開始タイミングまでの期間が最も短くなるように切替順序を決定する。従って、右目用画像データ及び左目用画像データを合成する場合に、右目用画像データ及び左目用画像データの時間差のずれが小さくなり、高画質な立体画像を表示するための画像データを生成できる。
【００８３】
更に、画像縮小部１９０やフレームメモリ１３０を共通化できるため、画像処理コントローラ１０の低コスト化を図ることができる。
【００８４】
２．２  画像縮小部
次に、図５の画像縮小部１９０の構成例について説明する。
【００８５】
図１４に、図５の画像縮小部１９０の構成例を示す。この画像縮小部１９０には、図８のセレクタ１００によって選択されたドットクロックＤＣＫ、画像データＧＤ、垂直同期信号ＶＳＹＮＣ、水平同期信号ＨＳＹＮＣが入力される。
【００８６】
また画像縮小部１９０には、図５の制御レジスタ１８０に含まれる水平縮小率設定レジスタに設定された水平縮小率、及び制御レジスタ１８０に含まれる垂直縮小率設定レジスタに設定された垂直縮小率が入力される。水平縮小率は、画像の水平方向の縮小率であり、０より大きく１以下の小数値である。垂直縮小率は、画像の垂直方向の縮小率であり、０より大きく１以下の小数値である。
【００８７】
画像縮小部１９０は、水平縮小率に応じて水平方向に並ぶ画素を間引くことで、水平方向にサイズを縮小した画像の画像データを生成する。また画像縮小部１９０は、垂直縮小率に応じて垂直方向に並ぶ画素を間引くことで、垂直方向にサイズを縮小した画像の画像データを生成する。このような画像縮小部１９０は、水平方向間引き回路３６２、垂直方向間引き回路３６４、タイミング調整回路３６８、出力間引き回路３７０を含む。１水平走査期間には、ドットクロックＤＣＫに同期して各画素の画像データＧＤが画像縮小部１９０に順次入力される。
【００８８】
図１４において、水平方向間引き回路３６２は、水平同期信号により規定される１水平走査期間内に、水平縮小率に対応した期間だけＨレベルとなる水平方向ライトリクエストＷＲｑｈを生成する。また垂直方向間引き回路３６４は、垂直同期信号により規定される１垂直走査期間内に、垂直縮小率に対応した期間だけＨレベルとなる垂直方向ライトリクエストＷＲｑｖを生成する。出力間引き回路３７０への間引き制御信号は、水平方向ライトリクエストＷＲｑｈと垂直方向ライトリクエストＷＲｑｖとの論理積演算により生成される。
【００８９】
タイミング調整回路３６８は、データラッチにより構成される。タイミング調整回路３６８は、ドットクロックＤＣＫに同期して画像データをラッチし、タイミング調整されたデータを出力間引き回路３７０に出力する。
【００９０】
図１５に、水平方向間引き回路３６２の構成例のブロック図を示す。
【００９１】
水平方向間引き回路３６２の各部は、ドットクロックＤＣＫに同期して動作する。
【００９２】
減算器ＳＵＢは、入力Ｙから水平縮小率Ｎｈを減算して小数値として求めた出力Ｚ１を出力する。減算器ＳＵＢは、水平同期信号ＨＳＹＮＣの立ち上がり検出信号に同期して出力Ｚ１を０に初期化する。
【００９３】
ラッチＬＡＴ１は、減算器ＳＵＢの出力Ｚ１をラッチする。ラッチＬＡＴ１の出力Ｚ２は、セレクタＳＥＬと加算器ＡＤＤに出力される。
【００９４】
加算器ＡＤＤは、ラッチＬＡＴ１の出力Ｚ２に１を加算して小数値として求めた出力Ｘを出力する。加算器ＡＤＤの出力Ｘは、セレクタＳＥＬに出力される。
【００９５】
比較器ＣＭＰＨは、減算器ＳＵＢの出力Ｚ１と水平縮小率Ｎｈとを比較する。より具体的には、比較器ＣＭＰＨは、水平縮小率Ｎｈが減算器ＳＵＢの出力Ｚ１より小さく、且つ減算器ＳＵＢの出力Ｚ１が０以上のとき、水平方向ライトリクエストＷＲｑｈをＨレベルとし、それ以外のとき、水平方向ライトリクエストＷＲｑｈをＬレベルとする。
【００９６】
比較器ＣＭＰＨの出力は、ラッチＬＡＴ２にも供給される。このラッチＬＡＴ２の出力は、セレクタＳＥＬの切り替え制御信号となる。ラッチＬＡＴ２の出力が１（Ｈレベル）のときセレクタＳＥＬは加算器ＡＤＤの出力Ｘを出力し、ラッチＬＡＴ２の出力が０（Ｌレベル）のときセレクタＳＥＬはラッチＬＡＴ１の出力Ｚ２を出力する。
【００９７】
図１６に、水平縮小率Ｎｈの説明図を示す。
【００９８】
水平方向間引き回路３６２の精度を８ビットとしたとき、水平縮小率Ｎｈは、ＭＳＢを整数データ、残りを小数点以下のデータとして表すことができる。例えば水平縮小率Ｎｈを１とすると、「１０００００００」となる。
【００９９】
以下では、水平縮小率Ｎｈを０．７８１として、図１５に示す水平方向間引き回路３６２の動作の一例を説明する。水平縮小率Ｎｈが０．７８１のとき、０．７８１＝１／２＋１／４＋１／３２と近似でき、８ビットのデータ「０１１００１００」と表すことができる。
【０１００】
図１７に、図１５の水平方向間引き回路３６２の動作例のタイミング図を示す。
【０１０１】
時刻ｔ１において水平同期信号ＨＳＹＮＣがＬレベルからＨレベルに変化すると、減算器ＳＵＢの出力Ｚ１が０に初期化される。このとき水平縮小率Ｎｈ（＝０．７８１）は減算器ＳＵＢの出力Ｚ１（＝０）より大きいため、比較器ＣＭＰＨの出力ＷＲｑｈは１（Ｈレベル）となる。
【０１０２】
次のドットクロックＤＣＫの立ち下がり時刻ｔ２で、ラッチＬＡＴ２の出力が１（Ｈレベル）となる。このとき、ラッチＬＡＴ１は、減算器ＳＵＢの出力Ｚ１を取り込んで出力Ｚ２として出力している。加算器ＡＤＤの出力Ｘは１である。ラッチＬＡＴ２の出力が１であるため、セレクタＳＥＬの出力Ｙは、加算器ＡＤＤの出力Ｘ（＝１）となる。従って、減算器ＳＵＢの出力Ｚ１は、０．２１９（＝１−０．７８１）となる。このとき、水平縮小率Ｎｈ（＝０．７８１）は、出力Ｚ１より大きいため、比較器ＣＭＰＨの出力ＷＲｑｈは１（Ｈレベル）のままである。
【０１０３】
同様にして、次のドットクロックＤＣＫの立ち下がり時刻ｔ３が経過したときも、加算器ＡＤＤの出力Ｘが１．２１９となり、減算器ＳＵＢの出力Ｚ１は、０．４３８（＝１．２１９−０．７８１）となる。このとき、水平縮小率Ｎｈ（＝０．７８１）は、出力Ｚ１より大きいため、比較器ＣＭＰＨの出力ＷＲｑｈは１（Ｈレベル）のままである。
【０１０４】
また、次のドットクロックＤＣＫの立ち下がり時刻ｔ４が経過したときも、減算器ＳＵＢの出力Ｚ１は、０．６５７（＝１．４３８−０．７８１）となる。このとき、水平縮小率Ｎｈ（＝０．７８１）は、出力Ｚ１より大きいため、比較器ＣＭＰＨの出力ＷＲｑｈは１（Ｈレベル）のままである。
【０１０５】
そして、次のドットクロックＤＣＫの立ち下がり時刻ｔ５が経過したとき、減算器ＳＵＢの出力Ｚ１は、０．８７６（＝１．６５７−０．７８１）となる。このとき、水平縮小率Ｎｈ（＝０．７８１）は、出力Ｚ１より小さくなるため、比較器ＣＭＰＨの出力ＷＲｑｈは０（Ｌレベル）に変化する。
【０１０６】
そして、次のドットクロックＤＣＫの立ち下がり時刻ｔ６が経過したとき、ラッチＬＡＴ２の出力が０（Ｌレベル）となる。このとき、ラッチＬＡＴ１は、減算器ＳＵＢの出力Ｚ１を取り込んで出力Ｚ２として出力している。加算器ＡＤＤの出力Ｘは、１．８７６である。ラッチＬＡＴ２の出力が０であるため、セレクタＳＥＬの出力Ｙは、ラッチＬＡＴ１の出力Ｚ２（＝０．８７６）となる。従って、減算器ＳＵＢの出力Ｚ１は、０．０９５（＝０．８７６−０．７８１）となる。このとき、水平縮小率Ｎｈ（＝０．７８１）は、出力Ｚ１より大きいため、比較器ＣＭＰＨの出力ＷＲｑｈは１（Ｈレベル）に再び変化する。
【０１０７】
同様にして、時刻ｔ７において比較器ＣＭＰＨの出力ＷＲｑｈは０（Ｌレベル）に変化し、時刻ｔ８において比較器ＣＭＰＨの出力ＷＲｑｈが１（Ｈレベル）に変化する。
【０１０８】
このように水平縮小率Ｎｈ（＝０．７８１）に対応した期間、比較器ＣＭＰＨの出力ＷＲｑｈをＨレベルにすることができる。
【０１０９】
ここまで図１４の水平方向間引き回路３６２の構成及び動作について説明したが、図１４の垂直方向間引き回路３６４も同様である。垂直方向間引き回路３６４の各部が、水平同期信号ＨＳＹＮＣを基準に動作し、減算器が垂直同期信号ＶＳＹＮＣの立ち上がりで初期化され、垂直縮小率Ｎｖが入力される点が異なるのみで、垂直方向間引き回路３６４も同様に実現できるため、その説明を省略する。
【０１１０】
画像データの画像の水平方向に沿って該画像の垂直方向の順序で各画素の画像データが順次画像縮小部１９０に供給される場合、図１４の出力間引き回路３７０は、上述のように生成された水平方向ライトリクエストＷＲｑｈ及び垂直方向ライトリクエストＷＲｑｖがＨレベルとなる画素の画像データのみを出力する。
【０１１１】
ここでは、画像縮小部１９０が、セレクタ１００からの画像データＧＤ（即ち、右目用画像データ及び左目用画像データ）に対して画像縮小処理を行うものとして説明したが、右目用画像データ及び左目用画像データを合成した合成画像データに対して画像縮小処理を行うものであってもよい。
【０１１２】
このように、画像縮小処理後の右目用画像データ及び左目用画像データ、或いは画像縮小処理後の合成画像データをフレームメモリ１３０に格納するようにすることで、フレームメモリ１３０の容量を小さくできるようになる。
【０１１３】
３．  変形例における画像処理コントローラ
本実施形態の画像処理コントローラ１０は、図５に示す構成に限定されるものではない。本実施形態の変形例における画像処理コントローラは、更に画像補正部を含むことができる。
【０１１４】
図１８に、本変形例における画像処理コントローラの構成例のブロック図を示す。図１８において、図５と同一部分には同一符号を付し、適宜説明を省略する。
【０１１５】
本変形例における画像処理コントローラ４００が、本実施形態の画像処理コントローラ１０と異なる点は、セレクタ１００と画像縮小部１９０の間に画像補正部４１０が設けられている点である。この画像補正部４１０は、右目用画像データ及び左目用画像データの少なくとも一方のシェーディング処理、又はその周囲の画素データにより補間される欠陥画素の補間処理を行う。即ち、画像補正部４１０が、セレクタ１００から出力された右目用画像データ又は左目用画像データに対してシェーディング処理又は補間処理を行う。
【０１１６】
シェーディング処理は、各カメラモジュールのレンズの中心部の光量が該レンズの周辺部の光量と異なるため、画像内での光量の変化を補正する処理である。補間処理は、欠陥画素を周囲の画素の画像データで補間する処理である。
【０１１７】
この結果、フレームメモリ１３０には、シェーディング処理又は補間処理後の右目用画像データ及び左目用画像データが格納される。なおフレームメモリ１３０に、シェーディング処理又は補間処理後の右目用画像データ及び左目用画像データが合成された合成画像データが格納されてもよい。
【０１１８】
４．  電子機器
図１９に、本実施形態又は本変形例における画像処理コントローラが表示コントローラとして適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。
【０１１９】
携帯電話機６００は、第１及び第２のカメラモジュール６１０、６１２を含む。第１及び第２のカメラモジュール６１０、６１２は、図１の第１及び第２のカメラモジュール４０、５０に相当し、撮像した画像のデータを表示コントローラ６２０に供給する。
【０１２０】
携帯電話機６００は、図１の表示パネル２０に相当する表示パネル６３０を含む。表示パネル６３０として、ＬＣＤパネルを採用できる。この場合、表示パネル６３０は、図１の表示ドライバ３０に相当する表示ドライバ６４０によって駆動される。表示パネル６３０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ６４０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
【０１２１】
表示コントローラ６２０は、表示ドライバ６４０に接続され、表示ドライバ６４０に対して画像データを供給する。
【０１２２】
ホスト６５０は、表示コントローラ６２０に接続される。ホスト６５０は、図１のホスト６０に相当し、ホスト６５０は、表示コントローラ６２０を制御する。またホスト６５０は、アンテナ６６０を介して受信された画像データを、変復調部６７０で復調した後、表示コントローラ６２０に対して供給できる。表示コントローラ６２０は、この画像データに基づき、表示ドライバ６４０により表示パネル６３０に画像を表示させる。
【０１２３】
ホスト６５０は、第１及び第２のカメラモジュール６１０、６１２で生成された画像データ又は該画像データを圧縮処理した圧縮データを変復調部６７０で変調した後、アンテナ６６０を介して他の通信装置への送信を指示できる。
【０１２４】
ホスト６５０は、操作入力部６８０からの操作情報に基づいて画像データの送受信処理、第１及び第２のカメラモジュール６１０、６１２の撮像、表示パネルの表示処理を行う。
【０１２５】
従って、図１９に示す携帯電話機６００（広義には電子機器）は、表示パネル６３０と、本実施形態における表示コントローラ６２０と、表示コントローラ６２０によって供給される画像データに基づいて表示パネル６３０を駆動する表示ドライバ６４０とを含むことができる。更に、携帯電話機６００は、表示コントローラ６２０との間で画像データの入出力を行うホスト６５０を含むことができる。
【０１２６】
この携帯電話機６００によれば、第１及び第２のカメラモジュール６１０、６１２から取り込まれる画像データを用いて、低コスト且つ高画質で立体画像に適した画像データを生成できる。
【０１２７】
なお、図１９では、表示パネル６３０としてＬＣＤパネルを例に説明したが、これに限定されるものではない。表示パネル６３０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。
【０１２８】
また本実施形態又は本変形例では、第１及び第２のカメラモジュールで取り込まれた画像データを右目用画像データ及び左目用画像データとして用いて立体画像の画像データを生成するものとして説明したが、これに限定されるものではない。例えば、第１及び第２のカメラモジュールで取り込まれた画像データをそのまま水平方向につないでパノラマ画像の画像データを生成するものであってもよい。
【０１２９】
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。また図１、図２、図５、図８、図９、図１４、図１５、図１８、図１９の各図において、すべてのブロックを含める必要はなく、その一部のブロックを省略する構成にしてもよい。
【０１３０】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【０１３１】
【図１】本実施形態の画像処理コントローラが適用されたシステムの構成例の図。
【図２】図１の第１のカメラモジュールの構成例のブロック図。
【図３】図２のタイミング発生回路によって生成されるタイミング信号と画素データとの関係を示す図。
【図４】視差バリア方式の原理の説明図。
【図５】図１の画像処理コントローラの構成例のブロック図。
【図６】図６（Ａ）、図６（Ｂ）はフレームメモリの説明図。
【図７】図７（Ａ）、図７（Ｂ）は本実施形態における合成画像データの説明図。
【図８】図５のセレクタ及び切替制御部の構成例のブロック図。
【図９】図８の切替順序決定部の構成例のブロック図。
【図１０】本実施形態の取り込み開始ライン及び取り込み終了ラインの説明図。
【図１１】図９の切替順序決定部の動作例のタイミング図。
【図１２】図８の切替制御部の動作例のフロー図。
【図１３】図８の切替制御部の動作例のフロー図。
【図１４】図５の画像縮小部の構成例を示す図。
【図１５】水平方向間引き回路の構成例のブロック図。
【図１６】水平縮小率の説明図。
【図１７】図１５の水平方向間引き回路の動作例のタイミング図。
【図１８】本変形例における画像処理コントローラの構成例のブロック図。
【図１９】本実施形態又は本変形例における画像処理コントローラが表示コントローラとして適用される電子機器の構成例のブロック図。
【符号の説明】
【０１３２】
１０  画像処理コントローラ、  ３０  表示ドライバ、
４０  第１のカメラモジュール、  ５０  第２のカメラモジュール、
１００  セレクタ、  １０２  ドットクロックセレクタ、
１０４  画像データセレクタ、  １０６  垂直同期信号セレクタ、
１０８  水平同期信号セレクタ、  １１０  切替制御部、  １１２  切替順序決定部、
１１４  切替部、  １３０  フレームメモリ、  １４０  合成処理部、
１５０  ドライバＩ／Ｆ、  １６０  第１のカメラＩ／Ｆ、
１７０  第２のカメラＩ／Ｆ、  １８０  制御レジスタ、  １９０  画像縮小部
【図１】
2007049598.tif 000003
【図２】
2007049598.tif 000004
【図３】
2007049598.tif 000005
【図４】
2007049598.tif 000006
【図５】
2007049598.tif 000007
【図６】
2007049598.tif 000008
【図７】
2007049598.tif 000009
【図８】
2007049598.tif 000010
【図９】
2007049598.tif 000011
【図１０】
2007049598.tif 000012
【図１１】
2007049598.tif 000013
【図１２】
2007049598.tif 000014
【図１３】
2007049598.tif 000015
【図１４】
2007049598.tif 000016
【図１５】
2007049598.tif 000017
【図１６】
2007049598.tif 000018
【図１７】
2007049598.tif 000019
【図１８】
2007049598.tif 000020
【図１９】
2007049598.tif 000021