(57)【特許請求の範囲】
【請求項１】
記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を信号処理部に出力する入力切り替え部と、
前記複数のセンサ出力を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力することを特徴とする撮像装置。
【請求項２】
前記信号処理部は、
入力チャネルに応じて、記録用画像であるかライブビュー画像であるかを識別し、各画像に応じた信号処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記入力切り替え部は、
前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記入力切り替え部は、
前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記入力切り替え部は、
前記ライブビュー画像のブランキング期間において、前記ライブビュー画像の伝送チャネルを前記記録用画像の伝送チャネルに切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記入力切り替え部は、
前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記入力切り替え部は、
記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記信号処理部は、
前記メインイメージセンサのセンサ出力を格納する第１バッファと、
前記サブイメージセンサのセンサ出力を格納する第２バッファと、
記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、
前記出力信号生成部は、
前記第１バッファからの読み出し信号に基づいて記録用画像を生成し、前記第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である請求項１に記載の撮像装置。
【請求項９】
前記出力信号生成部は、
前記第１バッファの格納データに対する処理を行う第１出力信号生成部と、
前記第２バッファの格納データに対する処理を行う第２出力信号生成部を有し、
前記第１出力信号生成部による前記第１バッファからのデータ読み出し処理と、前記第２出力信号生成部による前記第２バッファからのデータ読み出し処理とを並列に実行する構成である請求項８に記載の撮像装置。
【請求項１０】
前記入力切り替え部は、
前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、
前記信号処理部は、
前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である請求項１に記載の撮像装置。
【請求項１１】
前記入力切り替え部は、
前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、
前記信号処理部は、
前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である請求項１０に記載の撮像装置。
【請求項１２】
撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を信号処理部に出力する入力切り替えステップと、
信号処理部が、前記複数のセンサ出力を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力することを特徴とする信号処理方法。
【請求項１３】
前記信号処理ステップは、
入力チャネルに応じて、記録用画像であるかライブビュー画像であるかを識別し、各画像に応じた信号処理を実行することを特徴とする請求項１２に記載の信号処理方法。
【請求項１４】
前記入力切り替えステップは、
前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする請求項１２に記載の信号処理方法。
【請求項１５】
前記入力切り替えステップは、
前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力するステップであることを特徴とする請求項１４に記載の信号処理方法。
【請求項１６】
前記入力切り替えステップは、
前記ライブビュー画像のブランキング期間において、前記ライブビュー画像の伝送チャネルを前記記録用画像の伝送チャネルに切り替えるステップを有することを特徴とする請求項１２に記載の信号処理方法。
【請求項１７】
前記入力切り替えステップは、
前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力するステップであることを特徴とする請求項１６に記載の信号処理方法。
【請求項１８】
前記入力切り替えステップは、
記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする請求項１２に記載の信号処理方法。
【請求項１９】
撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させて、入力した複数センサ出力を信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記複数のセンサ出力を前記入力切り替え部から入力させて、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、一眼レフカメラにおいて、ＬＣＤなどのモニタに画像を表示するライブビュー機能を持つ撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳細には、本発明は記録用画像を取得するメインイメージセンサとライブビュー画像を取得するサブイメージセンサとを含む複数のセンサ出力を、並列に信号処理部に出力する構成を有する撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
従来、カメラで被写体を観察する場合、光学式ビューファインダ（ＯＶＦ：Ｏｐｔｉｃａｌ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）を介して観察する構成が主流であったが、昨今、イメージセンサ（撮像素子）の出力をカメラ背面などに設けたＬＣＤなどのディスプレイに表示するライブビュー表示機能を有するカメラが増加している。光学式ビューファインダ（ＯＶＦ）に対して、ＬＣＤなどのディスプレイをファインダとして利用する構成は電子式ビューファィンダ（ＥＶＦ：Ｅｌｅｃｔｅｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）と呼ばれる。なお光学式ビューファインダ（ＯＶＦ）と電子式ビューファィンダ（ＥＶＦ）とを備えたカメラについては例えば特許文献１に記載されている。
【０００４】
ディスプレイをファインダとするライブビュー表示機能を有するカメラでは、ライブビュー表示のためにイメージセンサ（撮像素子）の出力信号処理が必要となる。また、撮影記録処理においてもイメージセンサ（撮像素子）の出力信号処理が必要となる。例えばイメージセンサの出力に対するホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理がＩＣチップなどによって構成される画像信号処理回路において実行される。
【０００５】
表示処理を行わず、撮像素子の出力を記録処理にのみ利用する場合には、図１に示すように、イメージセンサ１の出力を１つの信号処理チップ２に出力し、信号処理チップ２の出力を記録すればよく、信号処理チップ２は記録処理に際してのみ利用されることになる。なお、イメージセンサ１と信号処理チップ２間のデータ転送には、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式が利用される。
【０００６】
一方、ライブビュー表示機能を有するカメラの場合、記録処理用のデータを出力するイメージセンサの他に、ライブビュー表示用のデータを出力するサブイメージセンサを設けて、それぞれのイメージセンサの出力を信号処理することが必要となる。例えば２以上の複数個（Ｎ個）のイメージセンサを有する設定とした場合、図２に示すようにイメージセンサ３−１、３−２、…、３−Ｎと信号処理チップ４−１、４−２、…、４−Ｎの１対１接続構成を複数系統（Ｎ系統）用いる設定が考えられる。しかし信号処理チップは比較的高価であり、このような構成とすることはコストアップを招く要因となる。
【０００７】
高価な信号処理チップの使用数を削減するための構成としては図３のような構成が考えられる。図３のように１つの信号処理チップ６に、複数のイメージセンサ５−１、５−２、…、５−Ｎからの入力部としてのインターフェースを設ける構成である。それぞれのイメージセンサ５−１、５−２、…、５−Ｎからの信号を信号処理チップ６内で切り替えて処理を実行する。しかしこのような構成とするためには、信号処理チップ６に複数の入力を実現するためのインターフェース機能や処理信号を切り替える切り替え機能を付加することが必要となり、既存のチップを利用することは出来なくなり、新たなチップの開発が必要となるという問題がある。
【特許文献１】特開２００６−２６７３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、１つの入力信号用インターフェースを備えた既存の信号処理チップに何ら変更を加えることなく、複数のイメージセンサの出力を単独の信号処理チップで処理することを可能とするとともに、ライブビュー画像の未表示期間を短縮することを可能とした撮像装置、および信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を信号処理部に出力する入力切り替え部と、
前記複数のセンサ出力を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力することを特徴とする撮像装置にある。
【００１０】
さらに、本発明の撮像装置の一実施態様において、前記信号処理部は、入力チャネルに応じて、記録用画像であるかライブビュー画像であるかを識別し、各画像に応じた信号処理を実行する構成であることを特徴とする。
【００１１】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする。
【００１２】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする。
【００１３】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像のブランキング期間において、前記ライブビュー画像の伝送チャネルを前記記録用画像の伝送チャネルに切り替えることを特徴とする。
【００１４】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力する構成であることを特徴とする。
【００１５】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする。
【００１６】
さらに、本発明の撮像装置の一実施態様において、前記信号処理部は、前記メインイメージセンサのセンサ出力を格納する第１バッファと、前記サブイメージセンサのセンサ出力を格納する第２バッファと、記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、前記出力信号生成部は、前記第１バッファからの読み出し信号に基づいて記録用画像を生成し、前記第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である。
【００１７】
さらに、本発明の撮像装置の一実施態様において、前記出力信号生成部は、前記第１バッファの格納データに対する処理を行う第１出力信号生成部と、前記第２バッファの格納データに対する処理を行う第２出力信号生成部を有し、前記第１出力信号生成部による前記第１バッファからのデータ読み出し処理と、前記第２出力信号生成部による前記第２バッファからのデータ読み出し処理とを並列に実行する構成である。
【００１８】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、前記信号処理部は、前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である。
【００１９】
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、前記信号処理部は、前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である。
【００２０】
さらに、本発明の第２の側面は、
撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を信号処理部に出力する入力切り替えステップと、
信号処理部が、前記複数のセンサ出力を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力することを特徴とする信号処理方法にある。
【００２１】
さらに、本発明の信号処理方法の一実施態様において、前記信号処理ステップは、入力チャネルに応じて、記録用画像であるかライブビュー画像であるかを識別し、各画像に応じた信号処理を実行することを特徴とする。
【００２２】
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする。
【００２３】
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力するステップであることを特徴とする。
【００２４】
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記ライブビュー画像のブランキング期間において、前記ライブビュー画像の伝送チャネルを前記記録用画像の伝送チャネルに切り替えるステップを有することを特徴とする。
【００２５】
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記記録用画像およびライブビュー画像を、ｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式を利用して出力するステップであることを特徴とする。
【００２６】
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする。
【００２７】
さらに、本発明の第３の側面は、
撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させて、入力した複数センサ出力を信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記複数のセンサ出力を前記入力切り替え部から入力させて、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
前記信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部を前記ライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力させることを特徴とするコンピュータ・プログラムにある。
【００２８】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本発明の一実施例の構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサとを含む複数のセンサ出力を、一旦、入力切り替え部に入力して、信号処理を実行する信号処理部に出力する際、信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部をライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力する構成とした。本構成により汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照しながら本発明の実施形態に係る撮像装置、および信号処理方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目に従って行う。
（１）撮像装置の構成例について
（２）本発明の基本構成について
（３）本発明の具体的な実施例の構成および処理例
（４）各画像対応の独立バッファを設定した構成例
（５）画像の転送区切り情報であるスロットを利用した構成例
【００３２】
［（１）撮像装置の構成例について］
まず、本発明の適用可能なカメラの一構成例について、図４、図５を参照して説明する。図４は、本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成を示す図であり、図５は、そのハードウェア構成を示す図である。
【００３３】
なお、図４、図５に示すメインイメージセンサ３５が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ２３が、モニタ４０に対するライブビュー表示用の画像信号を出力するイメージセンサである。これらは例えばＣＭＯＳ、ＣＣＤなどによって構成され、これら２つのセンサからの出力は、単一の信号処理チップ、すなわち、図５に示す信号処理部（ＩＣチップ）７７に入力されて信号処理が実行される。なおセンサと信号処理部間のデータ転送および信号処理構成については後段で詳細に説明する。
【００３４】
図４に示すデジタル一眼レフカメラ（以下、カメラと略記する）は、図示されない交換レンズと、カメラ本体部としてのカメラボディ１０から主に構成されており、カメラボディ１０の前面部に設けられたボディマウント４５に、所望の交換レンズが着脱自在に装着される。
【００３５】
図示されない交換レンズより入射された被写体光束は、その一部がハーフミラーで構成されたメインミラー１１の表面で反射され、さらにスクリーン１２を介してプリズム１３に入射する。プリズム１３に入射された被写体光束は、プリズム１３内の反射面とミラーＡ（以下、ミラー（Ａ）と記す）１５で反射され、複数のレンズで構成されるリレー系レンズ１６を介して、更にミラーＢ（以下、ミラー（Ｂ）と記す）１７及びミラーＣ（以下、ミラー（Ｃ）と記す）１８で反射され、複数のレンズで構成された接眼系レンズ（ルーペ光学系）２０を通って、図示されない撮影者の眼により観察される。なお、上記プリズム１３、ミラー（Ａ）１５、リレー系レンズ１６、ミラー（Ｂ）１７及びミラー（Ｃ）１８は、リレー光学系を構成している。これらリレー光学系は、スクリーン１２上に結像された被写体像を、ミラー（Ｃ）１８と接眼系レンズ２０の間に再結像させるためのものである。
【００３６】
上記ミラー（Ｂ）１７はハーフミラーで構成されているもので、その入射光の一部はミラー（Ｂ）１７を透過し、該ミラー（Ｂ）１７の後方に配置された再結合光学系の再結像系レンズ２２を介してサブイメージセンサ２３に導かれる。このサブイメージセンサ２３は、後述する第１の撮像素子であるメインイメージセンサ３５に対して第２の撮像素子を構成しているもので、スルー画としてほぼリアルタイムの動画像をモニタ４０に表示するための画像信号を生成するイメージセンサである。すなわちライブビュー画像（ＬＶ画像）を生成するためのイメージセンサである。
【００３７】
メインミラー１１を透過した被写体光束は、メインミラー１１の裏面側に取り付けられたサブミラー３０によって反射されて自動測距を行うためのＡＦユニット３１に導かれる。また、上記メインミラー１１は、軸１１ａを中心に回動可能に設けられている。被写体観察時は図示される実線位置に配置され、前述したライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３側に光路が設定される。
【００３８】
撮影の開始時は、軸１１ａを回動中心に上方に移動して、図示される点線位置（退避位置）に移動（ＵＰ）し、撮影が終了すると、軸１１ａを回動中心に下方に移動して、図示される実線位置に移動（ＤＯＷＮ）する。すなわち、このＵＰ〜ＤＯＷＮ期間は、ライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３側に対する光路が遮断される。なお、サブミラー３０は、メインミラー１１が退避位置に移動される際に折りたたまれて、メインミラー１１と共に退避位置に移動される。
【００３９】
撮影光軸上でメインミラー１１の後方には、フォーカルプレーンシャッタ３３、ローパスフィルタ３４、及びイメージャプレート３６に装着された第１の撮像素子としてのメインイメージセンサ３５が配設されている。また、イメージャプレート３６の後方には、種々の電気部品が装填された基板３８が配置されている。更に、この基板３８の後方には、液晶ディスプレイ等で構成された表示手段としてのモニタ４０が配置されている。撮影者は、カメラボディ１０の背面側に設けられたモニタ窓４１を通して、モニタ４０の画面に表示された画像を視認することができる。
【００４０】
このモニタ４０には、前述したように、ライブビュー画像（ＬＶ画像）を生成するためのイメージセンサであるサブイメージセンサ２３によって取得されるイメージが表示される。
【００４１】
図５は、本実施形態に於けるデジタル一眼レフカメラの電気系の構成を示すブロック図である。なお、このカメラのブロック図は、図４参照して説明したボディマウント４５に交換レンズ８０が装着された状態を示している。
【００４２】
図５において、制御部５０は、このカメラ全体の制御を司ると共に演算を行うための制御手段であり、例えばＣＰＵ等により構成される。この制御部５０には、モータ駆動回路５１を介してシャッタミラー駆動モータ５２が接続されると共に、シャッタ制御回路５３を介してフォーカルプレーンシャッタ３３が接続されている。また、上記制御部５０には、ＡＦユニット３１内に設けられた測距センサ５５と、被写体の明るさを測定する測光センサ５６と、シャッタチャージが行われたときに切り替わるチャージカムスイッチ（ＳＷ）５７と、フォーカルプレーンシャッタ３３の先幕（図示せず）に取り付けられシャッタの開口部の全開状態を検出するための先幕スイッチ（ＳＷ）５８と、メインイメージセンサ３５を駆動するためのメインイメージセンサ駆動回路６０と、サブイメージセンサ２３を駆動するためのサブイメージセンサ駆動回路６１と、モニタ４０を駆動するためのモニタ駆動回路６２と、ファインダ内表示用ＬＣＤ２６を駆動するためのＬＣＤ駆動回路６３とが接続されている。
【００４３】
さらに、制御部５０には、メインイメージセンサ３５とサブイメージセンサ２３の出力信号の処理を実行する信号処理部（ＩＣチップ）７７、信号処理部７７に対してメインイメージセンサ３５とサブイメージセンサ２３の出力信号の入力を切り替える入力切り替え部７５が接続されている。
【００４４】
さらに、制御部５０には、操作釦６５と、操作ダイヤル６６と、レリーズスイッチ（ＳＷ）６７と、記録メディア６９と、メモリ７０と、画像データメモリ７１とが接続されている。操作釦６５は、図示されないがメニュー釦、十字キー、ＯＫ釦等から成るもので、このカメラに種々の操作を行わせるためのものである。操作ダイヤル６６は、撮影時の撮影モードを設定するための操作部材である。
【００４５】
レリーズスイッチ６７は、撮影準備動作及び露光動作を実行させるための釦である。このレリーズスイッチ６７は、第１レリーズスイッチと第２レリーズスイッチの２段式のスイッチで構成されており、図示されないレリーズ釦が半押し操作されることによって、第１レリーズスイッチがオンされて測光処理や測距処理などの撮影準備動作が実行される。また、上記レリーズ釦が全押し操作されることによって、第２レリーズスイッチがオンされて露光動作が実行される。
【００４６】
記録メディア６９は、図示されないカメラのインターフェースを介してカメラボディ１０に対し脱着可能な各種のメモリカードや外付けのハードディスクドライブ（ＨＤＤ）等の記録媒体である。メモリ７０は、デジタルカメラ全体の制御を行うための制御プログラムが予め記憶されているものである。また、画像データメモリ７１は、画像データを一時的に保管するためのメモリである。
【００４７】
一方、交換レンズ８０には、交換レンズ８０内の各部を駆動制御するＣＰＵ等で構成された制御部８１を有している。この制御部８１には、モータ駆動回路８２を介してフォーカスモータ８３と、絞り駆動回路８４を介して絞りモータ８５と、フォーカスパルスカウンタ８７と、ズームエンコーダ８８と、メモリ９０とが接続されている。
【００４８】
上記フォーカスモータ８３は、上記カメラボディ１０内の測距センサ５５の測距結果に基づいて、この交換レンズ８０内の図示されないフォーカスレンズを駆動するためのモータである。同様に、絞りモータ８５は、上記カメラボディ１０内の測光センサ５６の測光結果に基づいて、この交換レンズ８０内の図示されない絞りを駆動するためのモータである。フォーカスパルスカウンタ８７は、上記フォーカスレンズを駆動させるにあたり、該フォーカスレンズの移動を検出して位置制御を行うためのものである。また、ズームエンコーダ８８は、図示されない撮影レンズの焦点距離に応じた移動信号を検出して制御部８１に出力する。更に、メモリ９０は、この交換レンズ８０内のレンズ情報が記憶されている。
【００４９】
なお、制御部８１は、図示されない通信コネクタ等を介して、カメラボディ１０内の制御部５０と電気的に接続がなされる。そして、制御部８１は、カメラボディ１０の制御部５０の指令に従って制御される。
【００５０】
図４、図５に示すメインイメージセンサ３５が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ２３が、モニタ４０に対するライブビュー表示用の画像信号を出力するイメージセンサである。
【００５１】
メインイメージセンサ３５と、サブイメージセンサ２３の出力は、図５に示すように入力切り替え部７５に入力された後、信号処理部（ＩＣチップ）７７に入力される構成となっている。信号処理部７７は、各センサの出力を入力して各種の信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。この信号処理部７７には、例えばｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に基づく信号が入力される。
【００５２】
信号処理部（ＩＣチップ）７７は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップである。以下、メインイメージセンサ３５、サブイメージセンサ２３各センサと入力切り替え部７５、信号処理部７７の接続構成とデータ転送、信号処理構成について、本発明に従った実施例を説明する。
【００５３】
［（２）本発明の基本構成について］
まず、基本実施例の構成について、図６を参照して説明する。図６には複数のイメージセンサ１０１−１〜Ｎと、入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３を示している。複数のイメージセンサ１０１−１〜Ｎの少なくとも１つが、撮影画像の記録処理に適用するイメージを取得するセンサであり、図４，図５に示すメインイメージセンサ３５に対応する。また、少なくとも１つがモニタに対してライブビューイメージを表示するためのイメージを取得するセンサであり、図４，図５に示すサブイメージセンサ２３に対応する。図６では一般化して示すためにＮ（Ｎ≧２）として示してある。
【００５４】
本構成において、信号処理部（ＩＣチップ）１０３は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３との間の信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行される。例えばチャネル数を８とする。
【００５５】
入力切り替え部１０２は例えばＩＣチップによって構成され、複数のイメージセンサ１０１−１〜Ｎからの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）１０３に対して選択信号を出力する１つの出力部を備えている。なお、複数のイメージセンサ１０１−１〜Ｎと、入力切り替え部１０２間の信号伝送は、上述の入力切り替え部１０２と、信号処理部（ＩＣチップ）１０３との間の信号伝送と同様、高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行される。なお、ｓｕｂＬＶＤＳは伝送方式の一例であり、この他の信号伝送方式を利用する構成としてもよい。
【００５６】
本実施例において、信号処理部（ＩＣチップ）１０３は、例えば入力切り替え部１０２から８ｃｈのｓｕｂＬＶＤＳ方式に従ったデータ入力を受けることになり、汎用的なＩＣチップをそのまま利用することができる。
【００５７】
本実施例では、複数（Ｎ）入力−１出力の入力切り替え部１０２を、複数のイメージセンサ１０１−１〜Ｎと、信号処理部（ＩＣチップ）１０３との間に設定するという簡易な構成で汎用的な信号処理部（ＩＣチップ）１０３を利用可能となる。入力切り替え部１０２は信号処理部１０３のように複雑な処理を実行する必要がない回路によって構成され、比較的安価なチップとして製造可能であり、全体コストを増加させることなく、複数のイメージセンサの出力を単一の信号処理部（ＩＣチップ）１０３によって処理する構成が実現される。なお、入力切り替え部１０２は、単純な入出力切り替え機能だけでなく、各イメージセンサ出力に対する信号処理等の回路を実装する構成としてもよい。
【００５８】
［（３）本発明の具体的な実施例の構成および処理例］
次に、上述の基本実施例の構成を具体化した実施例における動作例を図７〜図９を参照して説明する。図７に示すように、メインイメージセンサ２１１、サブイメージセンサ２１２が入力切り替え部２１５に対して、それぞれ取得データを出力する。入力切り替え部２１５の出力信号制御部２１６は、これら２つのセンサ入力の一方を選択して信号処理部２２１に出力する。
【００５９】
図７に示すメインイメージセンサ２１１は、記録画像用のイメージ出力を行うセンサであり、図４、図５において説明したメインイメージセンサ３５に対応するセンサである。サブイメージセンサ２１２は、モニタに表示するライブビュー画像用のイメージ出力を行うセンサであり、図４、図５において説明したサブイメージセンサ２３に対応するセンサである。
【００６０】
図７に示す構成例では、入力切り替え部２１５の出力信号制御部２１６は、サブイメージセンサ２１２から入力するライブビュー画像と、メインイメージセンサ２１１から入力する記録用画像ともに入力されたデータをフレーム毎に切り替えて信号処理部２２１に出力する。メインイメージセンサ２１１からの入力がない場合は、サブイメージセンサ２１２から入力するライブビュー画像を信号処理部２２１に出力し、メインイメージセンサ２１１からの入力が発生した場合は、サブイメージセンサ２１２から入力するライブビュー画像の出力を停止して、記録用信号であるメインイメージセンサ２１１からの入力を信号処理部２２１に優先的に出力する。
【００６１】
前述のように入力切り替え部１０２から信号処理部（ＩＣチップ）１０３への信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行され、この伝送路は、８ｃｈの伝送ラインを利用して行われるが、画像サイズは、メイン画像≧ライブビュー画像である。
【００６２】
例えば、メイン画像とライブビュー画像を個別に送信する場合には、図８に示すように、メイン画像の伝送に使用するｓｕｂＬＶＤＳのチャネル数は８チャネル、ライブビュー画像の伝送に使用するｓｕｂＬＶＤＳのチャネル数は１チャネルとした伝送処理が可能である。このようにライブビュー画像の伝送に使用するチャネル数を制御することで消費電力を低減することができる。なお、１チャネルと８チャネルの組み合わせ以外のチャネル数の組み合わせとしてもよい。例えばサブイメージセンサの出力は、メインイメージセンサの出力チャネル数以下のチャネル数で実行する。
【００６３】
図９に、メイン画像の送信期間はライブビュー画像の送信を停止する設定とした場合のタイミングチャートを示す。図９には、以下の各信号の入出力および動作タイミングを左から右に時系列で示している。
（ａ）サブイメージセンサ出力（ライブビュー画像）
（ｂ）メインミラーの動作（図４のメインミラー１１）
（ｃ）メインイメージセンサ出力（記録画像）
（ｄ）入力切り替え部出力
（ｅ）モニタ出力（ライブビュー表示）
【００６４】
（ａ）サブイメージセンサ出力（ライブビュー画像）の出力は撮影処理に応じて変更される。例えば連写を行う場合、２００ｍｓ間隔、すなわち５フレーム／秒でフレーム画像を入力切り替え部に出力する。図９に示す例は、６０フレーム／秒で、サブイメージセンサの出力（ライブビュー画像）が入力切り替え部に入力される場合の処理例を示している。例えばサブイメージセンサの出力フレーム３０１ａは、入力切り替え部に入力され、（ｄ）入力切り替え部の出力３０１ｂとして信号処理部に入力され、所定の信号処理が実行された後、（ｅ）モニタに示す出力フレーム３０１ｃとしてライブビュー表示が行われる。
【００６５】
しかし、撮影処理が実行されると、（ｂ）メインミラーは、撮影タイミングの開始時点にアップ（ｕｐ）動作を開始し、図４に示すメインミラー１１の点線位置に移動を開始する。これにより図４に示すようにサブイメージセンサ２３に対する光路が絶たれることになり、撮影が終了してミラーが復帰（ｄｏｗｎ）するまで、サブイメージセンサは露光されないことになる。すなわち、図９に示すタイミングチャートの［ｔ１］〜［ｔ５］の期間は露光できない。
【００６６】
メインミラーが完全にＵＰした後、時間［ｔ２］において、メインイメージセンサ（図４の例ではメインイメージセンサ３５）の露光が実行される。その後、時間［ｔ３］において、メインイメージセンサからのデータ出力が開始し、入力切り替え部に対して記録用のメイン画像が転送される。
【００６７】
入力切り替え部はメモリを持たないので、入力切り替え部は入力データを即座に信号処理部に出力する。図９に示す時間［ｔ４］に出力を開始する。その後、時間［ｔ５］までの間、入力切り替え部から信号処理部に対して、記録用画像であるメインイメージセンサの取得したイメージデータが出力される。
【００６８】
この期間［ｔ４］〜［ｔ５］は、入力切り替え部から信号処理部に対するデータ転送路は記録用画像であるメイン画像によって占有されることになる。従って、この期間中のサブイメージセンサから入力切り替え部に対する入力は、信号処理部に出力されず、この期間の画像についてのライブビュー表示は途絶えることになる。
【００６９】
結果として、（ｂ）メインミラーのアップ（ＵＰ）開始時点［ｔ１］から、入力切り替え部から信号処理部に対するメイン画像の出力が終了する時点［ｔ５］までのライブビュー画像は、モニタに表示されないことになる。この期間は図９（ｅ）モニタに示すライブビュー画像消失期間である。
【００７０】
このライブビュー画像消失期間の前半は、ミラーの動作によってサブイメージセンサの露光が行われていない部分であるが、後半部分は、サブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されていることに起因する画像消失部分となる。すなわち図９（ａ）に示すデータ部３０２ａ、（ｅ）に示す３０２ｃである。
【００７１】
このように、複数のイメージセンサの出力を入力して、信号処理部に対して１つのセンサ出力を選択出力する入力切り替え部を設けて、センサ出力をフレーム単位で時分割して選択出力し、メイン画像の出力期間中、ライブビュー画像の出力を停止してしまうと、ライブビュー画像がモニタに表示できない期間が長くなるという問題がある。特にサブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されているためにサブイメージセンサの取得画像が表示できなくなるという問題がある。
【００７２】
図１０以下を参照してこの問題を解決する複数のデータ転送例、すなわち入力切り替え部と信号処理部間のデータ転送形態を工夫することで、サブイメージセンサの取得画像の消失を低減して、より多くのライブビュー画像をモニタ表示することを可能とした複数のデータ転送例について説明する。
以下、（ａ）〜（ｂ）の２つの処理例について順次説明する。
（ａ）記録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行する。
（ｂ）記録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行すると共に、ライブビュー画像のフレーム間に発生するブランキング期間に、メイン画像転送用チャネル数を増加させる処理例
【００７３】
なお、以下において説明する（ａ）〜（ｂ）の処理例は、例えば図７に示す構成における入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送処理例であり、この信号伝送は、高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行され、伝送チャネル数を最大８とした例である。
【００７４】
（ａ）記録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行する。
まず、図１０を参照して、記録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行する処理例について説明する。
【００７５】
図１０には、例えば図７に示す構成における入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送処理例として、メイン画像の送信期間においても、ライブビュー画像を並列に送信する処理例を示している。
【００７６】
入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送は、ｓｕｂＬＶＤＳ伝送方式に従って８ｃｈの伝送路を利用して行われる。時間［Ｔ０］〜［Ｔ１］は、記録画像としてのメイン画像は転送されず、ライブビュー画像を８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送する。なお、チャネル数を削減することで、消費電力を低減できる。
【００７７】
その後、時間［Ｔ１］〜［Ｔ２］の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部（ＩＣチップ）間において、８ｃｈ伝送路中、７ｃｈを利用して転送される。残りの１ｃｈは、ライブビュー画像の転送用チャネルとして利用される。
【００７８】
すなわち、メイン画像の転送期間である時間［Ｔ１］〜［Ｔ２］の間は、
記録用画像であるメイン画像が７ｃｈを利用して伝送、
ライブビュー画像が１ｃｈを利用して伝送、
このように、２つの画像が並列送信されることになる。
【００７９】
その後、時間［Ｔ２］にメイン画像の転送が終了すると、ライブビュー画像のみが１ｃｈを利用して伝送されることになる。
【００８０】
本処理例では、メイン画像の転送期間である時間［Ｔ１］〜［Ｔ２］の間においても、ライブビュー画像は１ｃｈを利用して継続して出力されることになり、モニタに対するライブビュー画像の表示を遅れなく実行することができる。すなわち、より多くのライブビュー画像をモニタに表示させることが可能となり、ライブビュー画像の消失期間が低減または解消する。
【００８１】
なお、信号処理部（ＩＣチップ）２２１は、伝送路を構成する複数チャネルからの入力を入力チャネルに応じて、メイン画像であるかライブビュー画像であるかを判別し、それぞれの入力信号の処理を実行する。
【００８２】
あるいは、図７に示す構成における入力切り替え部２１５の出力信号制御部２１６において、各画像の同期コードに画像識別情報を設定し、信号処理部２１６側において、入力データに含まれる同期コード中の画像識別情報によって、記録用のメイン画像であるかライブビュー画像であるかを判別して処理を行う構成としてもよい。
【００８３】
画像識別コードの設定例について、図１１、図１２を参照して説明する。図１１は、入力切り替え部と、信号処理部（ＩＣチップ）間の画像信号の伝送フォーマット例について説明する図である。このフォーマットは、メイン画像、ライブビュー画像ともに共通のフォーマットである。図１１（ａ）に示すように、水平方向の１ライン分の撮像信号は、水平ブランキング、同期コード（開始）、データ、同期コード（終了）、水平ブランキングの順に並んでいる。水平ブランキングは、有効なデータの含まれない期間を示すコードである。本処理例では、このメイン画像の水平ブランキング区間に、ライブビュー画像フレームを構成するラインデータを送信する。同期コードは、１ライン分のデータの開始および終了を示すコードである。
【００８４】
図１１（ｂ）に示すように、水平ブランキング、同期コードおよびデータは、それぞれｎビットを単位として配置される。同期コードは、データ開始部分の４つのｎビットのコード（ＳＡＶ（Ｓｔａｒｔ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）１乃至ＳＡＶ４）と、データ終了部分に４つのｎビットのコード（ＥＡＶ（Ｅｎｄ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）１乃至ＥＡＶ４）によって構成される。
【００８５】
図１２は、同期コードのフォーマット例を示す図である。ここでは、同期コードとしてＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）による規格（ＢＴ．６５６、ＢＴ．６０１）に準じたコードを利用するものとし、ビット長ｎが１２ビットの場合について説明する。なお、図１２には、開始同期コード（ＳＡＶ）を示しているが、終了同期コードも同様の構成を持つ。ただし、それぞれの設定ビットによって開始用の同期コードであるか終了用の同期コードであるかが区別可能な設定となっている。
【００８６】
同期コードは、４つの１２ビットコードからなる。第１番目のコードは１２ビットの全てが「１」を示す。第２番目および第３番目のコードは１２ビットの全てが「０」を示す。そして、第４番目のコードには、図１２に示すように、Ｖ、Ｈ、Ｐ３、Ｐ２、Ｐ１、Ｐ０の各信号が含まれる。
ビットＶは、垂直方向のタイミングを示すビットであり、「０」であれば垂直ブランキング以外の有効映像領域と示し、「１」であれば垂直ブランキング期間を示す。
ビットＨは、水平方向のタイミングを示すビットであり、「０」であればデータ開始の同期コードであることを示し、「１」であればデータ終了の同期コードであることを示す。
ビットＰ０乃至Ｐ３はプロテクションビットであり、ビットＶ、Ｈの各値に対応するＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ）コードを保持する。
【００８７】
図１２に示すように、第４番目のコードには、この他、ビットデータ領域３５１，３５２などが含まれるが、これらのビットデータ領域３５１，３５２は特に用途が限定されないビット領域である。
【００８８】
本処理例では、このような不使用ビット領域を、画像種別を示すビット領域として設定する。すなわち、画像識別ビットの設定領域とする。例えば、ビットデータ領域３５１の１ビットを用いて、
記録用のメイン画像の構成ラインデータ＝［１］
ライブビュー用のサブ画像の構成ラインデータ＝［０］
このような画像識別ビットを設定した同期コードを含むデータを図７に示す入力切り替え部２１５から信号処理部２２１に対して出力する。
【００８９】
信号処理部２２１は、このビットデータ領域３５１の１ビット（画像識別ビット）を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別する。識別結果に基づいて各ラインデータをそれぞれの画像の構成ラインとして設定することで、それぞれの画像フレームを確実に再現することができる。なおこの画像識別ビットデータの設定は、例えば図７に示す入力切り替え部２１５の出力信号制御部において実行する。
【００９０】
信号処理部２２１は、ランダムに入力されるラインデータの同期コード中の画像識別ビット）を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別し、識別結果に基づいて処理内容の変更や、処理結果の出力先や格納先の変更などを実行し、記録用画像（メイン画像）、ライブビュー画像（サブ画像）を個別に生成する。
【００９１】
なお、図１２に示すように、第４番目のコードには、ビットデータ領域３５１，３５２など複数の未使用ビットが含まれており、上記の１ビットのみを利用するのではなく、例えば２ビットを用いて、
［００］＝センサ１、
［０１］＝センサ２、
［１０］＝センサ３、
［１１］＝センサ４、
上記のように２以上の複数のセンサからの画像フレームの構成ラインを識別可能な設定とすることが可能である。
【００９２】
（ｂ）記録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行すると共に、ライブビュー画像のフレーム間に発生する垂直ブランキング期間に、メイン画像転送用チャネル数を増加させる処理例
次に、図１３を参照して、録用のメイン画像の転送期間において、入力切り替え部と信号処理部間のデータ転送用のチャネルをメイン画像転送用チャネルと、ライブビュー画像転送用チャネルとに区分して、複数画像の並列送信を実行すると共に、ライブビュー画像のフレーム間に発生する垂直ブランキング期間に、メイン画像転送用チャネル数を増加させる処理例について説明する。
【００９３】
図１３には、例えば図７に示す構成における入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送処理例として、メイン画像の送信期間においても、ライブビュー画像を並列に送信する処理例を示している。
【００９４】
入力切り替え部２１５と、信号処理部（ＩＣチップ）２２１間の信号伝送は、ｓｕｂＬＶＤＳ伝送方式に従って８ｃｈの伝送路を利用して行われる。時間［Ｔ０］〜［Ｔ１］は、記録画像としてのメイン画像は転送されず、ライブビュー画像を８ｃｈのｓｕｂＬＶＤＳ中、１ｃｈのみを利用して転送する。なお、チャネル数を削減することで、消費電力を低減できる。
【００９５】
その後、時間［Ｔ１］から、記録用画像であるメイン画像が、入力切り替え部から信号処理部（ＩＣチップ）に対して出力される。このメイン画像の出力期間［Ｔ１］〜［Ｔ２］の間において、８ｃｈ伝送路中、１ｃｈは、ライブビュー画像が転送される期間はライブビュー画像転送用チャネルとして利用され、その期間は、記録用画像であるメイン画像は、８ｃｈ伝送路中、７ｃｈを利用して転送される。
【００９６】
本処理例では、ライブビュー画像の各フレーム間、すなわち垂直ブランキング期間に、ライブビュー画像の転送を実行していた１ｃｈを記録用画像であるメイン画像の伝送チャネルとして利用する。
【００９７】
すなわち、本処理例では、記録用画像であるメイン画像の送信処理時［Ｔ１］〜［Ｔ２］では、以下の（ａ），（ｂ）の伝送処理態様を交互に繰り返す。
（ａ）ライブビュー画像フレームの送信時
メイン画像（７ｃｈ）、ライブビュー画像（１ｃｈ）の並列送信、
（ｂ）ライブビュー画像フレームの間＝垂直ブランキング期間
メイン画像（８ｃｈ）の送信、
この２つの送信処理態様を交互に切り替えながら送信を行う。
【００９８】
その後、時間［Ｔ２］にメイン画像の転送が終了すると、ライブビュー画像のみが１ｃｈを利用して伝送されることになる。
【００９９】
本処理例では先の処理例と同様、メイン画像の転送期間である時間［Ｔ１］〜［Ｔ２］の間においても、ライブビュー画像は１ｃｈを利用して継続して出力されることになり、モニタに対するライブビュー画像の表示を遅れなく実行することができる。すなわち、より多くのライブビュー画像をモニタに表示させることが可能となり、ライブビュー画像の消失期間が低減または解消する。なお、ライブビュー画像のフレーム間に発生する垂直ブランキングではなく、水平ブランキング期間に、メイン画像転送用チャネル数を増加させる処理を行う構成としてもよい。
【０１００】
なお、図７に示す入力切り替え部２１５の出力信号制御部２１６は、メイン画像、ライブビュー画像の同期コードに、先に図１１、図１２を参照して説明した画像識別情報を設定し、信号処理部２１６側において、入力データに含まれる同期コード中の画像識別情報によって、記録用のメイン画像であるかライブビュー画像であるかを判別して処理を行う。
【０１０１】
［（４）各画像対応の独立バッファを設定した構成例］
上述したように、入力切り替え部は複数のセンサ出力を入力して、これらを信号処理部に出力する。具体的には、例えば、メインイメージセンサの取得した記録用画像とサブイメージセンサの取得したライブビュー画像を信号処理部に出力する。信号処理部ではこれらの画像を区別して信号処理を行うことになる。具体的には、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはＬＣＤなどによって構成されるモニタなどに表示する表示用信号を生成する。
【０１０２】
一般的な信号処理部の構成について図１４を参照して説明する。図１４には、記録用画像を取得するメインイメージセンサ５０１、ライブビュー（ＬＶ）画像を取得するサブイメージセンサ５０２と、これらのセンサの取得信号を入力する入力切り替え部５１０、入力切り替え部５１０からセンサ取得情報を入力して信号処理を行う信号処理部５２０、信号処理部５２０の処理結果である記録用画像を格納する記憶部（ＤＲＡＭ）５３１、信号処理部５２０の処理結果であるライブビュー画像を表示する表示部（ＬＣＤ）５３２を示している。
【０１０３】
入力切り替え部５１０は、複数のイメージセンサ５０１，５０２からの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）５２０に対して選択信号を出力する１つの出力部を備えている。なお、入力切り替え部５１０と信号処理部５２０との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行される。
【０１０４】
図１４に示す例では、入力切り替え部５１０は信号処理部５２０に対して記録用画像とライブビュー画像を出力する。信号処理部５２０は、入力切り替え部５１０が出力する記録用画像とライブビュー画像を受信して信号処理を行う。
【０１０５】
信号処理部５２０は、図１４に示すように、入力切り替え部５１０が出力する記録用画像とライブビュー画像を受信する受信部５２１、受信部５２１の受信したデータを、一時的に格納するバッファ５２２、バッファ５２２から順次データを取り出して信号処理を行う出力信号生成部５２３、これらの各処理部における処理タイミングなどの制御処理を行う制御部５２７を有する。
【０１０６】
出力信号生成部５２３では、記録用画像とライブビュー画像を区別して、各画像に対応した信号処理を実行する。処理結果としての記録用画像はインターフェース（ＩＦ）５２５を介して記録用画像を一時的に格納する記憶部（ＤＲＡＭ）５３１に出力される。また、処理結果としてのライブビュー画像はバス５２４、インターフェース（ＩＦ）５２６を介して表示部（ＬＣＤ）５３２に出力される。
【０１０７】
信号処理部５２０では、まず受信部５２１において、入力切り替え部５１０が出力する信号を受信する。受信データは、制御部５２７の制御の下、バッファ５２２に格納され、出力信号生成部５２３とのクロックやデータの速度の調整を行う。出力信号生成部５２３では各種の信号処理が行われる。すなわち、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはＬＣＤなどによって構成されるモニタなどに表示する表示用信号を生成する。
【０１０８】
出力信号生成部５２３の出力はバス５２４およびインターフェース（ＩＦ）５２５，５２６経由で記憶部（ＤＲＡＭ）５３１、あるいは表示部（ＬＣＤ）５３２へ出力される。すなわち、記録用画像についてはインターフェース（ＩＦ）５２５経由で記憶部（ＤＲＡＭ）５３１へ出力され記録処理が行われる。ライブビュー画像についてはンターフェース（ＩＦ）５２６経由で表示部（ＬＣＤ）５３２に出力される。
【０１０９】
図１４に示す信号処理部５２０は、１つのバッファ５２２に入力切り替え部５１０から入力する記録用画像とライブビュー画像を書き込み、出力信号生成部５２３がバッファ５２２からそれぞれの画像信号を読み出して処理を行う構成となっている。
【０１１０】
このような構成におけるバッファ５２２に対するデータ書き込み（ｗｒｉｔｅ）とデータ読み取り（ｒｅａｄ）のシーケンス例について図１５を参照して説明する。
【０１１１】
図１５には、図１４に示す信号処理部５２０の構成を用いた２つの処理例を示している。すなわち、以下の２つの処理例である。
（１）処理例１：記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合が発生し、処理の破綻が発生する処理例
（２）処理例２：記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合を防止して処理の破綻を回避した処理例
【０１１２】
各処理例について説明する。
（１）処理例１
図１５上段に示す処理例１は、記録用画像の読み出し（ｒｅａｄ）処理と、ライブビュー画像の読み出し（ｒｅａｄ）処理の競合が発生し、処理の破綻が発生する処理例である。図には、以下の３つの処理についての処理シーケンスを示している。
（１ａ）入力切り替え部から信号処理部に対する信号入力シーケンス
（１ｂ）バッファＡ面におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
（１ｃ）バッファＢ面におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
【０１１３】
なお、入力切り替え部５１０から信号処理部５２０に対する信号入力シーケンスは、記録用画像の水平ライン５４１と次の記録用画像の水平ライン５４２の転送の間にライブビュー画像の水平ラインが４本転送される処理例としている。
【０１１４】
また、バッファ５２２はＡ面、Ｂ面の２面を持つ。異なる面に対するデータ書き込み（ｗｒｉｔｅ）と読み出し（ｒｅａｄ）は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み（ｗｒｉｔｅ）や並列のデータ読み出し（ｒｅａｄ）はできない設定である。
【０１１５】
図１５（１）に示す処理例１のシーケンスについて説明する。まず、入力切り替え部から信号処理部に転送された記録用画像の水平ライン５４１をバッファ５２２のＡ面に書き込む。時間ｔ１ａ〜ｔ１ｃ間の処理である。このバッファ書き込みデータの読み出し処理は、出力信号生成部５２３の処理タイミングを調整して開始する。出力信号生成部５２３は、時間ｔ１ｂからバッファ５２２のＡ面に書き込まれた記録用画像を読み出して記録用画像に対する信号処理を開始する。
【０１１６】
その後、時間ｔ１ｄにおいて、入力切り替え部５１０から信号処理部５２０に転送されたライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面に書き込む。出力信号生成部５２３は時間ｔ１ｅにおいて、このライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面から読み出そうとする。
【０１１７】
しかし、時間ｔ１ｅにおいて、記録用画像の水平ライン５４１の読出しが完了していない。記録用画像の水平ライン５４１の読出しが完了するのは時間ｔ１ｆである。このように、時間ｔ１ｅ〜ｔ１ｆの期間［Ｔ２］は記録用画像とライブビュー画像の読み出し（ｒｅａｄ）が競合してしまう。先に説明したように、Ａ面とＢ面の並列読み出し（ｒｅａｄ）は実行できないので、処理例１はライブビュー画像の水平ライン５５１の読出しが待たされ破綻する。
【０１１８】
（２）処理例２
このような破綻が発生しないようタイミングの調整を行った処理例が図１５の下段に示す（２）処理例２である。
処理例（２）も処理例（１）と同様、入力切り替え部５１０から信号処理部５２０に対する信号入力シーケンスは、記録用画像の水平ライン５６１と次の記録用画像の水平ライン５６２の転送の間にライブビュー画像の水平ラインが４本転送される処理例である。
【０１１９】
処理例（２）においても、まず、転送された記録用画像の水平ライン５６１をバッファ５２２のＡ面に書き込む。時間ｔ２ａ〜ｔ２ｃ間の処理である。読み出し処理の開始は、出力信号生成部５２３の処理タイミングを調整して行う。時間ｔ２ｂからバッファ５２２のＡ面に書き込まれた記録用画像が読み出されて出力信号生成部５２３において記録用画像に対する信号処理が開始される。
【０１２０】
その後、時間ｔ２ｄにおいて、入力切り替え部５１０から信号処理部５２０に転送されたライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面に書き込む。時間ｔ２ｅにおいて、このライブビュー（ＬＶ）画像の水平ライン５５１をバッファ５２２のＢ面から読み出す。
【０１２１】
本処理例２では、記録用画像の水平ライン５６１の転送終了（ｔ２ｃ）からライブビュー画像の水平ライン５７１転送開始（ｔ２ｄ）までの間が、処理例１より長い時間に設定してある。すなわち、Ｔ３＞Ｔ１の期間［Ｔ３］を設定している。
【０１２２】
この処理例２における、期間［Ｔ３］、すなわち、記録用画像の水平ライン５６１の転送終了（ｔ２ｃ）からライブビュー画像の水平ライン５７１転送開始（ｔ２ｄ）までの間の時間は、記録用画像５６１のバッファＡ面からの読み出し（ｒｅａｄ）とライブビュー画像５７１のバッファＢ面からの読み出し（ｒｅａｄ）が競合しないような時間として調整される。
【０１２３】
このような転送タイミングの設定により、処理例１のような読み出し（ｒｅａｄ）処理の競合が防止され、処理の破綻が発生しない。しかし、処理例２では、次の記録用画像ライン５６２の書き込み終了時間（ｔ２ｇ）が処理例１における次の記録用画像ライン５４２の書き込み終了時間（ｔ１ｇ）より遅れてしまう。すなわち、時間ｔ１ｇ〜ｔ２ｇの期間［Ｔ４］の遅延が発生することになる。この遅延は、記録用画像の１つの水平ラインごとに発生してしまい。全体としての遅延は無視できないものになる。
【０１２４】
このように、入力切り替え部５１０から信号処理部５２０に対して２種類以上の画像を多重化して転送を行う構成では、処理破綻や処理遅延が発生する可能性がある。結果として、先に説明した転送シーケンスを適用してライブビュー画像を効率よく転送してモニタ表示の遅れや消失を防止する設定としても、図１４に示すようなバッファ設定を持つ信号処理部での処理に問題が発生する場合がある。
【０１２５】
このような問題を解決する信号処理部の構成および処理例について図１６以下を参照して説明する。図１６は、本発明の一実施例に係る信号処理部６２０の構成を示す図である。
【０１２６】
図１６には、先に説明した図１４と同様、記録用画像を取得するメインイメージセンサ６０１、ライブビュー（ＬＶ）画像を取得するサブイメージセンサ６０２と、これらのセンサの取得信号を入力する入力切り替え部６１０、入力切り替え部６１０からセンサ取得情報を入力して信号処理を行う信号処理部６２０、信号処理部６２０の処理結果であるライブビュー画像を表示する表示部（ＬＣＤ）６３２、信号処理部６２０の処理結果である記録用画像を一時的に格納する記憶部（ＤＲＡＭ）６３１を示している。
【０１２７】
入力切り替え部６１０は、複数のイメージセンサ６０１，６０２からの信号を入力する複数の入力部と、信号処理部（ＩＣチップ）６２０に対して選択信号を出力する１つの出力部を備えている。なお、入力切り替え部６１０と信号処理部６２０との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行される。
【０１２８】
図１６に示す例では、入力切り替え部６１０は信号処理部６２０に対して記録用画像とライブビュー画像を出力する。信号処理部６２０は、入力切り替え部６１０が出力する記録用画像とライブビュー画像を受信して信号処理を行う。
【０１２９】
信号処理部６２０は、図１６に示すように、入力切り替え部６１０が出力する記録用画像とライブビュー画像を受信する受信部６２１、受信部６２１の受信したデータを、一時的に格納する２つのバッファである第１バッファ６２２、第２バッファ６２３、第１バッファ６２２から順次データを取り出して信号処理を行う第１出力信号生成部６２４、第２バッファ６２３から順次データを取り出して信号処理を行う第２出力信号生成部６２５、これらの各処理部における処理タイミングなどの制御処理を行う制御部６２９を有する。
【０１３０】
２つのバッファである第１バッファ６２２、第２バッファ６２３は、それぞれ格納対象とする画像が記録用画像、またはライブビュー画像のいずれか一方の画像として設定された特定画像専用のバッファである。
【０１３１】
例えば、第１バッファ６２２が記録用画像を格納するバッファであり、第２バッファ６２３がライブビュー画像を格納するバッファである。受信部６２１は、各画像をそれぞれ区別して、各バッファ６２２，６２３にそれぞれ格納する。各バッファの後段の出力信号生成部も各画像専用の処理部として構成される。すなわち、第１バッファ６２２の後段にある第１出力信号生成部６２４は記録用画像に対する処理を行う。第２バッファ６２３の後段にある第２出力信号生成部６２５はライブビュー画像に対する処理を行う。
【０１３２】
第１バッファ６２２の後段にある第１出力信号生成部６２４において生成された記録用画像はバス６２６、インターフェース（ＩＦ）６２７経由で記憶部（ＤＲＡＭ）６３１へ出力され記録処理が行われる。
第２バッファ６２３の後段にある第２出力信号生成部６２５において生成されたライブビュー画像はバス６２６、インターフェース（ＩＦ）６２８経由で表示部（ＬＣＤ）６３２に出力される。
【０１３３】
このように、本発明の一実施例に係る信号処理部は、記録用画像専用の第１バッファ６２２と、第１出力信号生成部６２４、さらにライブビュー画像専用の第２バッファ６２３と、第２出力信号生成で６２５を有する。
【０１３４】
すなわち、バッファは記録用画像用の第１バッファ６２２と、ライブビュー画像用の第２バッファ６２３の２系統を有する。各系統の第１バッファ６２２、第２バッファ６２３はそれぞれ独立に処理が可能である。すなわち並列書き込みや並列読取りが可能となる。なお、各系統の第１バッファ６２２、第２バッファ６２３の各々は先に説明した例と同様、Ａ面、Ｂ面を持つ。すなわち同一バッファのＡＢ面で書き込み（ｗｒｉｔｅ）処理と読み取り（ｒｅａｄ）処理は並列に実行できる。
【０１３５】
バッファ容量は画像サイズの違いから、記録用画像用バッファである第１バッファ６２２の容量を、ライブビュー画像用バッファである第２バッファ６２３より大きくする設定とすることが好ましい。なお、各バッファのＡ面、Ｂ面の各面は各画像の水平ライン分の画素数が格納できるものとする。
【０１３６】
このような構成における各バッファ６２２，６２３に対するデータ書き込み（ｗｒｉｔｅ）とデータ読み取り（ｒｅａｄ）のシーケンス例について図１７を参照して説明する。
【０１３７】
図１７には、以下の３つの処理についての処理シーケンスを示している。
（ａ）入力切り替え部から信号処理部に対する信号入力シーケンス
（ｂ）記録用画像用バッファ（第１バッファ６２２）におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
（ｃ）ライブビュー画像用バッファ（第２バッファ６２３）におけるデータ書き込み（ｗｒｉｔｅ）と読み取り（ｒｅａｄ）シーケンス
【０１３８】
なお、入力切り替え部６１０から信号処理部６２０に対する信号入力シーケンスは、記録用画像の水平ライン６４１と次の記録用画像の水平ライン６４２の転送の間にライブビュー画像の水平ラインが４本転送される処理例としている。これは、先に図１５を参照して説明したと同様の転送処理である。
【０１３９】
また、各バッファ６２２，６２３はＡ面、Ｂ面の２面を持つ。異なる面に対するデータ書き込み（ｗｒｉｔｅ）と読み出し（ｒｅａｄ）は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み（ｗｒｉｔｅ）や並列のデータ読み出し（ｒｅａｄ）はできない設定である。
【０１４０】
図１７に示す処理例において、まず、時間ｔａから入力切り替え部６１０から信号処理部６２０に対して転送された記録用画像の水平ライン６４１を記録用画像用バッファ（第１バッファ６２２）に書き込む。書き込みは時間ｔｃに完了する。読み出し処理の開始は、第１出力信号生成部６２４の処理タイミングを調整して行う。時間ｔｂから記録用画像用バッファ（第１バッファ６２２）に書き込まれた記録用画像が読み出されて第１出力信号生成部６２４において記録用画像に対する信号処理が開始される。
【０１４１】
その後、時間ｔｄにおいて、入力切り替え部６１０から信号処理部６２０に転送されたライブビュー（ＬＶ）画像の水平ライン６５１をライブビュー画像用バッファ（第２バッファ６２３）のバッファＡ面に書き込む。
【０１４２】
記録用画像の水平ライン６４１の記録用画像用バッファ（第１バッファ６２２）に対する書き込み完了時間ｔｃから、ライブビュー（ＬＶ）画像の水平ライン６５１のライブビュー画像用バッファ（第２バッファ６２３）に対する書き込み開始時間ｔｄまでの期間Ｔ１は、先に説明した図１５の（１）処理例１における時間Ｔ１と同じ期間である。
【０１４３】
次に、時間ｔｅにおいて、第２出力信号生成部６２５がライブビュー（ＬＶ）画像の水平ライン６５１をライブビュー画像用バッファ（第２バッファ６２３）のバッファＡ面から読み出す。
【０１４４】
本例においても先に説明した図１５の（１）処理例１と同様、時間ｔｅにおいて、記録用画像の水平ライン６４１の読出しが完了していない。しかし、本処理例では、記録用画像用バッファ（第１バッファ６２２）と、ライブビュー画像用バッファ（第２バッファ６２３）は独立に処理が可能な構成である。すなわち、並列にデータ読み出し、書き込みが可能な設定となっている。従って、記録用画像の水平ライン６４１の読出しが完了していない時間ｔｅから即座に、ライブビュー画像用バッファ（第２バッファ６２３）からのライブビュー（ＬＶ）画像水平ライン６５１を読み出すことができる。
【０１４５】
ライブビュー画像用バッファ（第２バッファ６２３）から読み出されたデータは、第２出力信号生成部６２５に入力され、第２出力信号生成部６２５においてライブビュー画像に対する信号処理が開始される。
【０１４６】
その後は、ライブビュー画像用バッファ（第２バッファ６２３）を用いて、順次ライブビュー画像のラインデータの書き込み、読み出し処理がＡ面、Ｂ面交互に行われる。本処理例では、入力切り替え部６１０から信号処理部６２０に対するデータ入力速度に遅れを発生させることなく、入力速度に追随した処理が実行され表示部（ＬＣＤ）６３２にライブビュー画像の表示が行われる。
【０１４７】
信号処理部に対して次の記録用画像ライン６４２が入力され、記録用画像用バッファ（第１バッファ６２２）に対する書き込み（ｗｒｉｔｅ）処理が完了する時間ｔｇは、図１５の（１）処理例１の記録用画像５４２のバッファに対する書き込み処理完了時間ｔ１ｇと同様の時間である。すなわち、本例では、処理の破綻や遅延を発生させることなく記録用画像のバッファ書き込みや読み取り処理も実行可能となる。
【０１４８】
このように、本実施例における信号処理部は、例えば記録用画像を取得するメインイメージセンサのセンサ出力を格納する第１バッファと、ライブビュー画像を取得するサブイメージセンサのセンサ出力を格納する第２バッファを有する。さらに、第１バッファからの読み出し信号に基づいて記録用画像を生成する第１出力信号生成部と、第２バッファからの読み出し信号に基づいてライブビュー画像の生成を行う第２出力信号生成部を有する。このような構成において、第１出力信号生成部による第１バッファからのデータ読み出し処理と、第２出力信号生成部による第２バッファからのデータ読み出し処理とを並列に実行することで、バッファ読み出しの待機が不要となり処理を迅速に実行できる。
【０１４９】
なお、Ａ面、Ｂ面が入れ替わっても動作は同じである。また、記録用画像、ライブビュー画像で使用する面の組合せが異なっても動作は同じである。
記録用画像用バッファ（第１バッファ６２２）は、図１７に示す転送タイミングの場合、Ａ面、Ｂ面の２面が必要でなく、１面だけのバッファ構成とすることも可能である。
【０１５０】
本実施例のように、各画像専用のバッファを設けることで、ライブビュー画像の転送遅延や、表示停止などの発生を減少させることができる。すなわち、転送不可となるラインデータやフレームの存在による単位時間あたりのＬＣＤ表示コマ数の減少を防ぐ事ができる。
【０１５１】
なお、本実施例では、図１６に示すように、信号処理部は、各画像に対応する２系統の回路を持つ事になるが、ライブビュー画像は記録用画像に比べ画像サイズがかなり小さいため、ライブビュー画像用回路の規模は記録用画像用回路の規模に比べ相当小さくすることが可能である。すなわちバッファと信号処理回路の回路規模は２倍とはならない。なお、回路規模は画像サイズや演算処理およびディレイラインの構成等により決定されるが、概ね、画像サイズと回路規模は比例する。
【０１５２】
［（５）画像の転送区切り情報であるスロットを利用した構成例］
これまで説明してきたように、本発明の撮像装置は、入力切り替え部から信号処理部に対して、複数のセンサによって取得された画像が多重化されて転送される。すなわち記録用画像とライブビュー画像などの複数の異なる画像が多重化されて転送されることになる。
【０１５３】
信号処理部では、これらの複数の異なる画像に対する処理を誤りなく行うことが必要となる。以下では、信号処理部から入力切り替え部に対して、画像の出力タイミングを規定する信号を出力して、入力切り替え部が、この入力信号に従って画像の転送を行うことで、信号処理部側において受信するデータの識別を行う構成例について説明する。
【０１５４】
本実施例に係る実施例の構成について図１８を参照して説明する。図１８には複数のイメージセンサ７０１−１〜Ｎと、入力切り替え部７０２と、信号処理部（ＩＣチップ）７０３を示している。複数のイメージセンサ７０１−１〜Ｎの少なくとも１つが、撮影画像の記録処理に適用するイメージである記録用画像を取得するセンサである。また、少なくとも１つがモニタに対してライブビューイメージを表示するためのイメージ、すなわちライブビユー画像を取得するセンサである。図１８では一般化して示すためにＮ（Ｎ≧２）として示してある。
【０１５５】
本構成において、信号処理部（ＩＣチップ）７０３は、信号の入力部を１つ備えた汎用的な信号処理用ＩＣチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部７０２と、信号処理部（ＩＣチップ）７０３との間の信号伝送は、例えば高速データ転送を実現するｓｕｂＬＶＤＳ（Ｓｕｂ−Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）伝送方式に従って実行される。
【０１５６】
本実施例において、入力切り替え部７０２から信号処理部７０３に対するデータ転送タイミングは、信号処理部７０３から入力切り替え部７０２に入力される同期信号およびスロットパルスによって制御される。
【０１５７】
図１８に示すように、入力切り替え部７０２と信号処理部７０３間には、入力切り替え部７０２から信号処理部７０３に対して画像を転送する画像転送チャネル７２０の他、信号処理部７０３から入力切り替え部７０２に入力する３つの信号ライン７５１〜７５３が設定される。すなわち、
垂直（Ｖ）同期信号供給ライン
水平（Ｈ）同期信号供給ライン
スロットパルス供給ライン７５３
これらの信号供給ラインである。
【０１５８】
このように、本実施例では、入力切り替え部７０２から信号処理部７０３に対する画像信号の転送処理に際して、３種類の同期信号、すなわちＶ同期信号、Ｈ同期信号、スロットパルスを用いて同期を取る。なお、図１８に示す例では、これらの３種類の同期信号を信号処理部７０３が生成して入力切り替え部７０２に供給する設定として示してあるが、入力切り替え部７０２がこれらの同期信号を生成して信号処理部７０３に入力する構成としてもよい。あるいはこれらとは異なる外部の同期信号生成部が、入力切り替え部７０２と、信号処理部７０３にＶ同期信号、Ｈ同期信号、スロットパルスを生成して供給する構成としてもよい。すなわち、入力切り替え部７０２と信号処理部７０３とが同一の同期信号に基づいてタイミング制御を行う構成であればよい。
【０１５９】
これらの３つの同期信号を用いた入力切り替え部７０２から信号処理部７０３に対する画像転送シーケンスについて、図１９、図２０を参照して説明する。
図１９は、記録用画像の転送がなくライブビュー画像の転送のみが発生する場合、
図２０は、記録用画像とライブビュー画像の転送を併せて行う場合、
これらの２つの場合の転送シーケンスを示している。
【０１６０】
まず、図１９を参照して入力切り替え部７０２から信号処理部７０３に対して記録用画像の転送がなくライブビュー画像の転送のみが発生する場合のシーケンスについて説明する。図１９には、
（ａ）垂直（Ｖ）同期信号、
（ｂ）水平（Ｈ）同期信号、
（ｃ）スロットパルス信号、
（ｄ）転送画像データ
これらのタイミングチャートを示している。図の左から右に時間（ｔ）が経過する。
【０１６１】
（ａ）垂直（Ｖ）同期信号、（ｂ）水平（Ｈ）同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応する。（ｃ）スロットパルス信号は、（ｂ）水平（Ｈ）同期信号内に複数設定される。図１９に示す例では、１つの水平（Ｈ）同期信号区間を４等分（第１スロット〜第４スロット）するように、スロットパルス信号が設定される。
【０１６２】
本処理例では、第１スロットにおいて、ライブビュー画像の１水平ラインの画像信号が転送される。本処理例では、図１８に示す画像転送チャネル７２０は、８ｃｈ−ｓｕｂＬＶＤＳによって構成され、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用してライブビュー画像の１水平ラインの画像信号が転送される。なお、図１９に示すように、第１スロットの期間の全チャネルに相当するデータ量が必要とならない場合は、後半部分には画像信号が含まれない部分が発生する。図には［余り］として示している。
【０１６３】
この図１９に示す例では、（ｂ）水平（Ｈ）同期信号の同期パルスの発生直後の第１スロットを利用してライブビュー画像の１水平ラインに相当する画像信号が転送される。図１９に示すように、ライブビュー画像の１ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の最初の同期パルスの直後の第１スロットにおいて転送され、ライブビュー画像の２ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の２番目の同期パルスの直後の第１スロットにおいて転送され、ライブビュー画像の３ライン目が、図に示す（ｂ）水平（Ｈ）同期信号の３番目の同期パルスの直後の第１スロットにおいて転送される。その後も、第１スロットにおいて、後続のライブビュー画像のライン信号が転送されることになる。
【０１６４】
この例では、第２スロット〜第４スロットの期間は、画像転送チャネル７２０を介した画像転送は実行されない。
【０１６５】
次に、図２０を参照して入力切り替え部７０２から信号処理部７０３に対して記録用画像とライブビュー画像の転送を併せて行う場合のシーケンスについて説明する。図２０には、図１９と同様、
（ａ）垂直（Ｖ）同期信号、
（ｂ）水平（Ｈ）同期信号、
（ｃ）スロットパルス信号、
（ｄ）転送画像データ
これらのタイミングチャートを示している。図の左から右に時間（ｔ）が経過する。
【０１６６】
図１９と同様、（ａ）垂直（Ｖ）同期信号、（ｂ）水平（Ｈ）同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応しており、（ｃ）スロットパルス信号は、１つの水平（Ｈ）同期信号区間を４等分（第１スロット〜第４スロット）するように、設定される。
【０１６７】
図２０に示す処理例でも、図１９に示す処理例と同様、第１スロットにおいて、ライブビュー画像の１水平ラインの画像信号が転送される。さらに本処理例では、第２スロット〜第４スロットが記録用画像の転送スロットとして利用される。
【０１６８】
図１８に示す画像転送チャネル７２０は、８ｃｈ−ｓｕｂＬＶＤＳによって構成され、まず、第１スロットにおいて、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用してライブビュー画像の１水平ラインの画像信号が転送される。次に第２スロット〜第４スロットの間では、８ｃｈ（０ｃｈ〜７ｃｈ）のすべてを利用して記録用画像の水平ラインデータが転送される。なお、図に示す例では、最初の第２スロット〜第４スロットのみでは、記録用画像の水平ラインデータの１ラインの転送が完了していない。
【０１６９】
記録用画像の最初のラインのデータは、最初の水平（Ｈ）同期信号の同期パルス以後の第２スロット〜第４スロットと、次の２番目の水平（Ｈ）同期信号の同期パルス後に設定される第２スロットと第３スロットを利用して送信される。これらの送信の後、２番目の水平（Ｈ）同期信号の同期パルス後の第４スロットと、３番目の水平（Ｈ）同期信号の同期パルス後の第２スロット以降を利用して記録用画像の２番目のラインのデータが送信される。
【０１７０】
このように、入力切り替え部７０２から信号処理部７０３に対して記録用画像とライブビュー画像の転送を併せて行う場合は、第１スロットは、ライブビュー画像の転送スロットとして利用し、第２スロット〜第４スロットは記録用画像の転送スロットとして利用する設定とする。
【０１７１】
図２０に示す例では、ライブビュー画像の水平ラインは１スロットで転送しているのに対し、記録用画像の水平ラインは５スロットで転送を行っている。これは各スロット長が均等として、水平ラインの画素数比が概ね、ライブビュー画像：記録用画像＝１：５程度ということを示す。
【０１７２】
なお、信号処理部側では、記録用画像のラインの区切りはＨ同期信号で知ることはできないので、例えば、Ｖ同期信号を基点にスロット数をカウントするといった処理を行ってライン区切りを判別する。
【０１７３】
なお、先に、図１１、図１２を参照して説明した水平ライン信号の伝送データのフォーマットに含まれるデータ開始部分の同期コード（ＳＡＶ：Ｓｔａｒｔ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）あるいはデータ終了部分の同期コード（ＥＡＶ：Ｅｎｄ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）と同様、各スロットの開始部分にＳＡＶと同様の同期コードを設定し、各スロットの終了部分にＥＡＶと同様の同期コードを設定して送信を行なって、これらの同期コードに基づいてライン区切りの判別を行う構成としてもよい。また先に説明した例と同様、入力切り替え部においてＳＡＶまたはＥＡＶにどのセンサからの画像であるかの識別コードを埋め込んで、信号処理部側でこのコードに基づいて画像判別を行う構成としてもよい。
【０１７４】
なお、スロットの同期に関してはスロットパルスを用いるが、画像信号の送受双方、すなわち、入力切り替え部７０２と、信号処理部７０３の双方においてスロットのクロック数を規定して、Ｖ同期信号やＨ同期信号を基準にクロック等をカウントして、スロット区間を識別する構成としてもよい。このような設定とした場合は、スロットパルスを用いないで同期をとることが可能である。
【０１７５】
図１８〜図２０を参照して説明した構成、すなわち、特定のスロットをライブビュー画像の転送スロットとして設定し、残りを記録用画像の転送スロットとする構成は、定期的に転送が発生し、遅延の許容を好まないライブビュー画像を確実に優先的に転送させることを可能とするというメリットがある。
【０１７６】
なお、どのスロットのどのチャンネルをどの画像に割り当てるかはハードウェアで固定的に決めても構わない。また、ユーザ設定によって変更可能とする構成としてもよい。例えば設定の切り替えプログラムを記録したソフトウェアを搭載することでこのようなユーザによる設定切り替え構成を実現できる。
【０１７７】
このように本実施例の構成では、入力切り替え部はライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行ない、信号処理部は入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する。
【０１７８】
具体的な処理例としては、入力切り替え部は、ライブビュー画像の水平同期信号区間の先頭スロット、または先頭スロットを含む複数のスロットからなる先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、信号処理部は入力切り替え部からの入力信号を、前記スロットを単位として識別する。
【０１７９】
なお、上述の実施例では１つの水平（Ｈ）同期信号区間に４つのスロットを設定する構成として説明したが、この他の数のスロット数設定としてもよい。また、スロット長は全スロット均等でも良いし、各スロットでスロット長を最適化しても構わない。また、ライブビュー画像や記録用画像の末尾に発生する余り部分の領域を最小にするようにスロット長を設定する構成としてもよい。
【０１８０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１８１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８３】
以上、説明したように、本発明の一実施例構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサとを含む複数のセンサ出力を、一旦、入力切り替え部に入力して、信号処理を実行する信号処理部に出力する際、信号処理部に対する信号伝送チャネルの一部を記録用画像の伝送チャネルとし、一部をライブビュー画像の伝送チャネルに設定して複数のセンサ出力を並列に出力する構成とした。本構成により汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
【図面の簡単な説明】
【０１８４】
【図１】ライブビュー表示機能を有さないカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。
【図２】ライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。
【図３】ライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。
【図４】本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成の一例について説明する図である。
【図５】本発明の適用可能なカメラの一構成例である一眼レフカメラのハードウェア構成の一例について説明する図である。
【図６】本発明の一実施例に係るライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。
【図７】本発明の一実施例に係るライブビュー表示機能を有するカメラにおけるセンサと信号処理部間のデータ転送構成例について説明する図である。
【図８】記録用画像であるメイン画像とライブビュー画像についての信号処理部に対するデータ転送処理例について説明する図である。
【図９】図７に示す入力切り替え部がイメージセンサ出力を一時的にバッファリングするメモリを備えていない構成における動作例について説明する図である。
【図１０】本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。
【図１１】画像信号の伝送フォーマットの例について説明する図である。
【図１２】画像信号に設定される同期コードの構成及び画像識別コードの設定例について説明する図である。
【図１３】本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。
【図１４】信号処理部の一般的構成例について説明する図である。
【図１５】図１４に示す信号処理部の処理シーケンスについて説明する図である。
【図１６】本発明の一実施例に係る信号処理部の構成例について説明する図である。
【図１７】図１６に示す信号処理部の処理シーケンスについて説明する図である。
【図１８】本発明の一実施例に係る撮像装置における入力切り替え部と信号処理部間のデータ転送例について説明する図である。
【図１９】図１８に示す構成における画像転送シーケンスについて説明する図である。
【図２０】図１８に示す構成における画像転送シーケンスについて説明する図である。
【符号の説明】
【０１８５】
１  イメージセンサ
２  信号処理チップ
３  イメージセンサ
４  信号処理チップ
５  イメージセンサ
６  信号処理チップ
１０  カメラボディ
１１  メインミラー
１２  スクリーン
１３  プリズム
１５  ミラーＡ
１６  リレー系レンズ
１７  ミラーＢ
１８  ミラーＣ
２０  接眼系レンズ
２２  再結像系レンズ
２３  サブイメージセンサ
２８  ファインダ
３０  サブミラー
３１  ＡＦユニット
３３  フォーカルプレーンシャッタ
３４  ローパスフィルタ
３５  メインイメージセンサ
３６  イメージャプレート
３８  基板
４０  モニタ
４１  モニタ窓
４５  ボディマウント
５０  制御部
５１  モータ駆動回路
５２  シャッタミラー駆動モータ
５３  シャッタ制御回路
５５  測距センサ
５６  測光センサ
５７  チャージカムスイッチ（ＳＷ）
５８  先幕スイッチ（ＳＷ）
６０  イメージャ駆動回路
６１  サブイメージャ駆動回路
６２  モニタ駆動回路
６３  ＬＣＤ駆動回路
６５  操作釦
６６  操作ダイヤル
６７  レリーズスイッチ（ＳＷ）
６９  記録メディア
７０  メモリ
７１  画像データメモリ
７３  調光ミラー駆動回路
７５  入力切り替え部
７７  信号処理部（ＩＣチップ）
８０  交換レンズ
８１  制御部
８２  モータ駆動回路
８３  フォーカスモータ
８４  絞り駆動回路
８５  絞りモータ
８７  フォーカスパルスカウンタ
８８  ズームエンコーダ
９０  メモリ
１０１  イメージセンサ
１０２  入力切り替え部
１０３  信号処理部
２１１，２１２  イメージセンサ
２１５  入力切り替え部
２１６  出力信号制御部
２２１  信号処理部
５０１  メインイメージセンサ
５０２  サブイメージセンサ
５１０  入力切り替え部
５２０  信号処理部
５２１  受信部
５２２  バッファ
５２３  出力信号生成部
５２４  バス
５２５，５２６  インターフェース（ＩＦ）
５２７  制御部
５３１  記憶部（ＤＲＡＭ）
５３２  表示部（ＬＣＤ）
６０１  メインイメージセンサ
６０２  サブイメージセンサ
６１０  入力切り替え部
６２０  信号処理部
６２１  受信部
６２２  第１バッファ
６２３  第２バッファ
６２４  第１出力信号生成部
６２５  第２出力信号生成部
６２６  バス
６２７，６２８  インターフェース（ＩＦ）
６２９  制御部
６３１  記憶部（ＤＲＡＭ）
６３２  表示部（ＬＣＤ）
７０１−１〜Ｎ  イメージセンサ
７０２  入力切り替え部
７０３  信号処理部
【図１】
0005163434.tif 000002
【図２】
0005163434.tif 000003
【図３】
0005163434.tif 000004
【図４】
0005163434.tif 000005
【図５】
0005163434.tif 000006
【図６】
0005163434.tif 000007
【図７】
0005163434.tif 000008
【図８】
0005163434.tif 000009
【図９】
0005163434.tif 000010
【図１１】
0005163434.tif 000011
【図１２】
0005163434.tif 000012
【図１４】
0005163434.tif 000013
【図１５】
0005163434.tif 000014
【図１６】
0005163434.tif 000015
【図１７】
0005163434.tif 000016
【図１８】
0005163434.tif 000017
【図１９】
0005163434.tif 000018
【図２０】
0005163434.tif 000019
【図１０】
0005163434.tif 000020
【図１３】
0005163434.tif 000021