(57)【要約】【課題】撮像センサからの転送の際のデータレートやデータレーン数を変更することなく撮像動作モードを切り替えることができる撮像装置及びその制御方法並びにプログラムを提供する。【解決手段】撮像装置１０は、基準クロックに同期するＨＤ及びＶＤに同期して画像信号を出力する画素部１０２、及びその画像信号から画像データを生成して画像処理チップ１１０に送信する送信データ生成部１０３を有する撮像センサ１００と、撮像センサ１００からの送信レートより高速にその画像データを画像信号に復元し出力する復元処理部１１３、複数の撮像動作モードの夫々に応じたレートで復元処理部１１３からの画像信号を処理する画像処理部１１４、及び撮像動作モードに応じて、復元処理部１１３及び画像処理部１１４の一方の処理時間に基づきＨＤの間隔を設定するモード制御部１１５を有する画像処理チップ１１０とを有する。【選択図】図１
2020127172.tif 000002
【特許請求の範囲】
【請求項１】
撮像センサと、画像処理部と、前記撮像センサ及び前記画像処理部に出力する基準クロックを発生する発振器と、前記基準クロックに同期して、水平同期信号及び垂直同期信号を発生する同期信号発生手段とを有する撮像装置であって、
前記撮像センサは、
被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、
前記水平同期信号に同期して前記画素部からその１行分の画像信号を読み出し、前記垂直同期信号に同期して前記画素部から１フレーム分の画像信号を読み出す画像信号読み出し手段と、
前記読み出された画像信号から画像データを生成する画像データ生成手段と、
前記画像データ生成手段により生成された前記画像データを送信する送信手段とを有し、
前記画像処理部は、
前記送信手段により送信された前記画像データを受信する受信手段と、
前記送信手段が前記画像データを送信するレートより高速なレートで、前記受信手段で受信した画像データを処理し、画像信号を生成して出力する第１の処理手段と、
複数の撮像動作モードの夫々に応じたレートで前記第１の処理手段から出力された画像信号を処理する第２の処理手段と、
撮像動作モードに応じて、前記第１の処理手段及び前記第２の処理手段の一方の処理時間に基づき前記水平同期信号の間隔を設定する設定手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像センサが前記同期信号発生手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像処理部が前記同期信号発生手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記水平同期信号の間隔は、前記第１の処理手段で前記画素部の１行分の画像データを処理し、画像信号を生成して出力するのに要する第１の時間、及び前記第１の処理手段から出力された前記画素部の１行分の画像信号を前記第２の処理手段で処理するのに要する第２の時間のいずれか一方に等しいことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の処理手段により生成された画像信号を記憶する記憶部を更に備え、
前記設定手段は、
第１の撮像動作モードの場合、前記水平同期信号の間隔を前記第１の時間に設定すると共に、前記第１の処理手段に対し、前記生成された画像信号を前記記憶部に出力させ、前記第２の処理手段に対し、前記記憶部から前記生成された画像信号を読み出して前記処理を行なわせ、
第２の撮像動作モードの場合、前記水平同期信号の間隔を前記第２の時間に設定すると共に、前記第１の処理手段に対し、前記生成された画像信号を前記第２の処理手段に出力させ、前記第２の処理手段に対し、前記第１の処理手段から出力された前記画像信号に対して前記処理を行なわせることを特徴とする請求項４記載の撮像装置。
【請求項６】
前記撮像装置は、第３の撮像動作モードの場合に前記第２の処理手段から出力される画像信号を表示する表示手段と、前記第１の処理手段において、前記画素部の１行分の画像信号を生成する毎に水平方向に圧縮する圧縮手段とを更に備え、
前記設定手段は、
前記第３の撮像動作モードの場合、前記水平同期信号の間隔を前記第１の時間に設定すると共に、前記第１の処理手段に対し、前記圧縮された画像信号を前記第２の処理手段に出力させ、前記第２の処理手段に対し、前記第１の処理手段から出力された前記圧縮された画像信号に対して前記処理を行なわせ、前記表示手段に出力させることを特徴とする請求項４記載の撮像装置。
【請求項７】
前記水平同期信号の間隔が、前記画素部の１行分の画像信号を前記画像信号読み出し手段が読み出す時間より、所定時間より長い場合は、前記画像信号読み出し手段で前記画素部の１行分の画像信号を読み出した後に、省電力モードに移行し、前記同期信号発生手段が次の水平同期信号を発生する前に、前記省電力モードから復帰することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記垂直同期信号の間隔が、前記画素部から１フレーム分の画像信号を前記画像信号読み出し手段が読み出す時間より、所定時間より長い場合は、前記画像信号読み出し手段で１フレーム分の画像信号を読み出した後に、省電力モードに移行し、前記同期信号発生手段が次の垂直同期信号を発生する前に、前記省電力モードから復帰することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
前記所定時間は、前記撮像装置が省電力モードに移行するのに要する時間と、前記撮像装置が省電力モードから復帰するのに要する時間の合計であることを特徴とする請求項７又は８記載の撮像装置。
【請求項１０】
前記所定時間は、前記撮像センサが省電力モードに移行するのに要する時間と、前記撮像センサが省電力モードから復帰するのに要する時間の合計時間であることを特徴とする請求項７又は８記載の撮像装置。
【請求項１１】
被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部を有する撮像センサと、第１の処理部及び第２の処理部を有する画像処理部と、前記撮像センサ及び前記画像処理部に出力する基準クロックを発生する発振器と、前記基準クロックに同期して、水平同期信号及び垂直同期信号を発生する同期信号発生手段とを有する撮像装置の制御方法であって、
前記撮像センサにおいて、
前記水平同期信号に同期して前記画素部からその１行分の画像信号を読み出し、前記垂直同期信号に同期して前記画素部から１フレーム分の画像信号を読み出す画像信号読み出しステップと、
前記読み出された画像信号から画像データを生成する画像データ生成ステップと、
前記画像データ生成ステップにおいて生成された前記画像データを送信する送信ステップとを有し、
前記画像処理部において、
前記送信ステップにおいて送信された前記画像データを受信する受信ステップと、
前記第１の処理部で、前記送信ステップにおいて前記画像データが送信されるレートより高速なレートで、前記受信ステップにおいて受信した画像データを処理し、画像信号を生成して出力する第１の処理ステップと、
前記第２の処理部で、複数の撮像動作モードの夫々に応じたレートで前記第１の処理ステップにおいて出力された画像信号を処理する第２の処理ステップと、
撮像動作モードに応じて、前記第１の処理ステップ及び前記第２の処理ステップの一方の処理時間に基づき前記水平同期信号の間隔を設定する設定ステップとを有することを特徴とする制御方法。
【請求項１２】
請求項１１記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法並びにプログラムに関し、特に、切替可能な複数の撮像動作モードを有する撮像装置及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
撮像センサの高画質化、高フレームレート化に伴って、撮像センサからの画像信号の高速な読み出しが求められている。
【０００３】
また、撮像センサからの画像信号の読み出し量が互いに異なる複数の動作モードを切換えて動作する撮像装置がある。このような撮像装置において、特許文献１には、転送の際のデータレートやデータレーン数を、動作モードに応じて変更することが記載されている。
【０００４】
画像処理チップが撮像センサから画像信号を読み出す方法として、エンベデッド・クロック方式と呼ばれる高速シリアル通信が用いられる場合がある。エンベデッド・クロック方式ではクロックデータリカバリと呼ばれる動作でデータを受信する側の機器が受信データのクロック情報を抽出する。クロックデータリカバリを行う場合には、あらかじめトレーニングシーケンスを実行する必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６８４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、エンベデッド・クロック方式の通信を特許文献１の撮像センサに採用すると、撮像動作モードを切り替える毎に転送の際のデータレートやデータレーン数が変更される。このため、撮像動作モードを切り替える毎にかかる変更に応じたクロックデータリカバリのためのトレーニングシーケンスを実行しなくてはならず、各撮像動作モードの切り替えに時間を要してしまう。
【０００７】
よって、本発明は、撮像センサからの転送の際のデータレートやデータレーン数を変更することなく撮像動作モードを切り替えることができる撮像装置及びその制御方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の請求項１に係る撮像装置は、撮像センサと、画像処理部と、前記撮像センサ及び前記画像処理部に出力する基準クロックを発生する発振器と、前記基準クロックに同期して、水平同期信号及び垂直同期信号を発生する同期信号発生手段とを有する撮像装置であって、前記撮像センサは、被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、前記水平同期信号に同期して前記画素部からその１行分の画像信号を読み出し、前記垂直同期信号に同期して前記画素部から１フレーム分の画像信号を読み出す画像信号読み出し手段と、前記読み出された画像信号から画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された前記画像データを送信する送信手段とを有し、前記画像処理部は、前記送信手段により送信された前記画像データを受信する受信手段と、前記送信手段が前記画像データを送信するレートより高速なレートで、前記受信手段で受信した画像データを処理し、画像信号を生成して出力する第１の処理手段と、複数の撮像動作モードの夫々に応じたレートで前記第１の処理手段から出力された画像信号を処理する第２の処理手段と、撮像動作モードに応じて、前記第１の処理手段及び前記第２の処理手段の一方の処理時間に基づき前記水平同期信号の間隔を設定する設定手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像センサからの転送の際のデータレートやデータレーン数を変更することなく撮像動作モードを切り替えることができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置のハードウェア構成を示すブロック図である。
【図２】静止画モードの動作を示すタイミングチャートである。
【図３】動画モードの動作を示すタイミングチャートである。
【図４】ライブビューモードの動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について詳述する。
【００１２】
図１は、撮像装置１０のハードウェア構成を示すブロック図である。撮像装置１０は、撮像光学系１１、撮像センサ１００、画像処理チップ１１０、発振器１２０、記憶部１３０、操作部１４０、表示部１５０、制御部１６０およびメモリ１７０を備える。
【００１３】
撮像光学系１１は、撮像センサ１００に入射する光を導く光学系である。撮像光学系１１は、複数のレンズおよび複数のレンズの少なくともいずれかを駆動する駆動系を備える。
【００１４】
撮像センサ１００は、制御部１６０から撮像指示を取得したことに応じて、画像信号を生成するセンサチップである。撮像センサ１００は、生成した画像信号を伝送するための画像データに変換して、画像処理チップ１１０に出力する。
【００１５】
画像処理チップ１１０は、撮像センサ１００から取得した画像データから画像信号を再生し、得られた画像信号に所定の画像処理を施す処理チップである。画像処理チップ１１０は、撮像センサ１００と異なるチップである。また、画像処理チップ１１０は、発振器１２０から入力された基準クロックと設定された動作モードとに基づいて、撮像センサ１００および画像処理チップ１１０が画像信号を処理するための水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）とを生成する。
【００１６】
発振器１２０は、撮像センサ１００および画像処理チップ１１０の動作のための基準となるクロック（基準クロック）を発振し、撮像センサ１００と画像処理チップ１１０に出力する。
【００１７】
記憶部１３０は、画像処理チップ１１０が処理した画像信号を格納し、画像処理チップ１１０が格納された画像信号を読み出し可能な記憶媒体である。記憶部１３０は、例えば撮像装置１０に内蔵されたハードディスクドライブ（ＨＤＤ）もしくはソリッドステートドライブ（ＳＳＤ）である。また、記憶部１３０は、撮像装置１０に接続された外部の記憶媒体に画像処理チップ１１０が処理した画像信号を格納し、また、外部の記憶媒体に格納された画像信号を画像処理チップ１１０が利用可能なように読み出す記憶制御部であってもよい。
【００１８】
操作部１４０は、ユーザが操作可能な操作部材と、操作部材に対するユーザ操作を受け付けて、ユーザ操作に応じた情報を出力する。操作部材は、ダイヤルボタン、タッチパネル、ボタン等である。操作部１４０は、複数の操作部材を備えることも可能である。
【００１９】
表示部１５０は、画像処理チップ１１０が処理した画像信号に基づいて、画面に画像を表示する表示装置である。
【００２０】
制御部１６０は、撮像装置１０の動作を制御するプロセッサである。
【００２１】
メモリ１７０は、撮像センサ１００、画像処理チップ１１０、および制御部１６０が動作するために用いるプログラムやパラメータを格納する記憶媒体である。
【００２２】
撮像センサ１００と画像処理チップ１１０との間の画像信号の伝送方法、特に同期信号の調整方法について、詳細に説明する。
【００２３】
撮像センサ１００は、タイミング信号発生器（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ、ＴＧ）１０１、画素部１０２、送信データ生成部１０３、Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ（ＰＬＬ）１０４、および送信部１０５を備える。
【００２４】
ＴＧ１０１は、画像処理チップ１１０から取得したＨＤおよびＶＤに基づいて、画素部１０２および送信データ生成部１０３に、画素部１０２および送信データ生成部１０３を駆動するための信号（タイミング信号）を出力する。ＴＧ１０１は、ＨＤおよびＶＤを、タイミング信号として画素部１０２および送信データ生成部１０３に出力する。
【００２５】
画素部１０２は、被写体像を画像信号に変換する複数の単位画素が行列状に配列され、各単位画素の受光量に応じた信号（画像信号）を出力する。画素部１０２の複数の単位画素の垂直方向の並びを列と表記し、水平方向の並びを行と表記する。
【００２６】
画素部１０２は、ＴＧ１０１から出力されたＨＤに同期して、単位画素の１行分の画像信号を、送信データ生成部１０３に出力する。画素部１０２は、ＴＧ１０１から出力されたＶＤに同期して１画面（１フレーム）分の画像信号の出力が完了するように、ＨＤに同期して順次、各行の画像信号を出力する。つまり、画素部１０２は、タイミング信号に応じたタイミングで、画像信号を出力する。
【００２７】
送信データ生成部１０３は、ＴＧ１０１から出力されたタイミング信号に応じて画素部１０２から出力された画像信号を処理して、画像処理チップ１１０に送信するための画像データを生成する。
【００２８】
送信データ生成部１０３は、ＴＧ１０１から出力されたタイミング信号に応じたタイミングで、画素部１０２が取得した画像信号を読み出すともいえる。送信データ生成部１０３は、ＴＧ１０１から出力されたＨＤに同期して、１行分の画像信号を画素部１０２から読み出す。また、送信データ生成部１０３は、ＴＧ１０１から出力されたＶＤに同期して、１フレーム分の画像信号を画素部１０２から読み出す。
【００２９】
送信データ生成部１０３は、画像信号に対して、所定のプロトコルに従ったヘッダやフッタといった情報を付加して画像データを生成する。送信データ生成部１０３は、生成した画像データをパケット化してパラレル信号として送信部１０５に出力する。
【００３０】
ＰＬＬ１０４は、基準クロックから、送信部１０５のパラレルシリアル変換処理に用いるシリアルクロックを生成し、送信部１０５へ供給する。
【００３１】
送信部１０５は、送信データ生成部１０３から入力された画像データ（パラレル信号）を、ＰＬＬ１０４から入力されたシリアルクロックを用いてシリアル信号に変換する。送信部１０５は、シリアル信号に変換した画像データを、画像処理チップ１１０へ送信する。撮像センサ１００は、２つの送信部１０５を備える。送信部１０５は、送信データ生成部１０３からパラレル信号として受け取った画像データをシリアル信号に変換する（パラレルシリアル変換）。シリアルクロックの周波数（レート）をパラレルシリアル変換レートと呼ぶ。
【００３２】
なお、図１では送信データ生成部１０３からの画像信号が２つの送信部１０５に送信される例を示しているがこれに限定されない。撮像センサ１００から画像処理チップ１１０への転送の際のデータレートに応じて送信データ生成部１０３からの画像信号が送信される送信部１０５の数をさらに増やしてもよい。この場合、画像処理チップ１１０内の以下後述する受信部１１２の数は、送信部１０５の数と同数まで増やす。
【００３３】
画像処理チップ１１０は、ＰＬＬ１１１、受信部１１２、復元処理部１１３、画像処理部１１４、モード制御部１１５、及び同期信号発生器（以降ＳＳＧと呼ぶ）１１６を備える。画像処理チップ１１０は、撮像センサ１００とは異なる集積回路チップである。
【００３４】
ＰＬＬ１１１は、基準クロックから、受信部１１２がエンベッドクロック方式のシリアルパラレル変換処理を行う際に、クロックを再生する処理（クロックデータリカバリ）に用いる参照クロックを生成し、受信部１１２へ供給する。
【００３５】
受信部１１２は、撮像センサ１００から入力された画像データ（シリアル信号）を、ＰＬＬ１１１から入力された参照クロックを用いてシリアル信号に変換する。受信部１１２は、入力されたシリアル信号と参照クロックとに基づいて、シリアルパラレル変換に用いるクロックを再生する。受信部１１２は、再生したクロックを用いてシリアル信号の画像データをパラレル信号に変換する。
【００３６】
受信部１１２は、パラレル信号に変換した画像データを復元処理部１１３へ出力する。例えば、受信部１１２は、撮像センサ１００から受信したシリアル信号を内部のシフトレジスタに蓄え、蓄えられたシリアルデータを８ビットのパラレルデータとして順次出力する。また、受信部１１２は、シリアルデータからクロックデータリカバリにより抽出した再生クロックも出力する。
【００３７】
復元処理部１１３は、受信部１１２からパラレルデータとして受け取った画像データに対し、ワードアライン動作を行ってヘッダ情報と画像信号の語長の境目を見つけ、パラレルデータから画像信号を復元する処理を実行する処理回路である。
【００３８】
復元処理部１１３は、モード制御部１１５からの指示に応じた出力先に画像信号を出力する。例えば、撮像装置１０の動作モードがＬＶ（ライブビュー）モードである場合、復元処理部１１３は、生成した画像信号を表示部１５０に出力する。また、撮像装置１０の動作モードが静止画モードもしくは動画撮影モードである場合、復元処理部１１３は、生成した画像信号を記憶部１３０に出力する。また、復元処理部１１３は、生成した画像信号を画像処理部１１４と表示部１５０との両方に出力してもよい。
【００３９】
復元処理部１１３は、画像信号の水平方向への加算処理も行うことができ、モード制御部１１５からの指示信号に従い、画素部１０２から水平方向に読み出された画像信号を圧縮して出力することができる。
【００４０】
復元処理部１１３は、画像信号に対して所定の画像処理を実行して、処理された画像信号を出力してもよい。所定の画像処理は、例えば、ノイズ除去等の補正処理であるとする。
【００４１】
画像処理部１１４は、復元処理部１１３もしくは記憶部１３０から取得した画像信号に補正処理や現像処理等の画像処理を実行する処理回路である。画像処理部１１４は、処理された画像信号を記憶部１３０および表示部１５０に出力する。
【００４２】
モード制御部１１５は、撮像装置１０の撮像動作モードを設定する制御を実行する。設定可能な撮像動作モードは、静止画を撮像する静止画モード、動画を撮像する動画モード、および撮像された画像信号に基づく画像を表示部１５０に表示するＬＶ画像モードを含む。また、動画モードは、フレームレートが互いに異なる複数のモードを含む。すなわち、フレームレートのような撮像条件が異なる場合でも、それぞれ異なる撮像動作モードであるとする。
【００４３】
モード制御部１１５は、操作部１４０を介したユーザ操作に基づいて、撮像動作モードを設定する。操作部１４０のダイヤルボタンであらかじめ、静止画撮影が設定されているとする。撮像装置１０がＬＶモードで動作している間に、ユーザが操作部１４０としてシャッターボタンＳＷを押下したことに応じて、モード制御部１１５は、動作モードを静止画モードに変更し、静止画を取得する。また、操作部１４０のダイヤルボタンであらかじめ、動画撮影が設定されているとする。撮像装置１０がＬＶモードで動作している間に、ユーザが操作部１４０としてシャッターボタンＳＷを押下したことに応じて、モード制御部１１５は、動作モードを動画モードに変更する。
【００４４】
また、モード制御部１１５は、画像処理部１１４が画像データを解析して得られた情報に基づいて、撮像動作モードを設定してもよい。モード制御部１１５は、設定された撮像動作モードに応じた処理を行うように、復元処理部１１３、画像処理部１１４およびＳＳＧ１１６へ指示信号を出力する。
【００４５】
ＳＳＧ１１６は、モード制御部１１５からの指示信号に従い、基準クロックに同期した水平同期信号（以降ＨＤと呼ぶ）及び垂直同期信号（以降ＶＤと呼ぶ）を生成し、これらＨＤ及びＶＤを撮像センサ１００に対して出力する。
【００４６】
復元処理部１１３と画像処理部１１４との処理速度（処理レート）について説明する。
【００４７】
復元処理部１１３は、撮像センサ１００と画像処理チップ１１０の間の転送データレートよりも高速なレートで画像データを処理することが可能である。したがって、撮像センサ１００から画像データが送られてきた際に、オーバーフローして画像データを取りこぼすことは無い。
【００４８】
一方、画像処理部１１４は、設定された動作モードに応じた処理速度（処理レート）で画像信号を処理する。例えば、設定された動作モードが６０フレーム毎秒の撮像を行う動画モードであれば、画像処理部１１４は１／６０秒で１フレーム分の画像信号を処理できるレートで動作する。より詳細には、１行分の画像信号について、１／６０秒を画素部１０２の列数で割った時間内に処理できるレートで画像処理部１１４は動作する。
【００４９】
画像処理部１１４の処理レートは、設定された動作モード（動作条件）に応じて変化することから、撮像センサ１００が画像データを出力することが可能な処理レート（転送レート）と画像処理部１１４の処理レートは必ずしも一致しない。
【００５０】
例えば、撮像センサ１００と画像処理チップ１１０の間の転送レートが画像処理部１１４の処理レートより速いことがある。このような場合、画像処理部１１４が画素部１０２の１つの行から読み出された画像信号を処理している間に、次の行から読み出された画像信号が画像処理部１１４に入力され、画像処理部１１４でデータがオーバーフローしてしまう。
【００５１】
画像処理部１１４で処理がオーバーフローすることを抑制するため、撮像センサ１００から画像処理チップ１１０への転送レートを動作モードに応じて変更することができる。もしくは、使用するデータレーン（送信部１０５と受信部１１２との組合せ）の数を減らすことができる。しかし、受信部１１２におけるクロックデータリカバリの動作条件が変わるため、クロックデータリカバリを実行するためのトレーニングシーケンスを実行する必要が生じる。したがって、動作モードを切換えるたびに、トレーニングシーケンスの実行期間が必要となり、なめらかな動作の妨げになる懸念がある。
【００５２】
本実施形態の撮像装置１０の撮像センサ１００および画像処理チップ１１０は、動作モードに応じて同期信号（ＨＤ，ＶＤ）を制御することにより、トレーニングシーケンスの実行頻度を抑制する。
【００５３】
図２は、本発明の実施形態における静止画モードの動作を示すタイミングチャートである。図２において、横軸に時間を示す。また、図２において、上段から、ＶＤ、ＨＤ、復元処理部１１３へＮ行目の画像データが入力し、復元処理を実行する処理期間Ｌｉｎ１（Ｎ）、および復元処理部１１３からＮ行目の画像信号が出力する出力期間Ｌｏｕｔ１（Ｎ）をそれぞれ示す。
【００５４】
ここで、復元処理部１１３は、入力されたＮ行目の画像信号に対し、処理期間Ｌｉｎ１（Ｎ）内で復元処理を完了することができるとする。
【００５５】
静止画モードでは、撮像センサ１００からの画像データをできる限り早く画像処理チップ１１０へ送ったほうが１フレーム分の画像データを送りきる時間が短くなる。すなわち、画像データの垂直方向の歪みが小さくなる。
【００５６】
モード制御部１１５は、復元処理部１１３に対して、受信した画像データから画像信号を復元し、記憶部１３０へ出力するよう指示する。
【００５７】
モード制御部１１５は、ＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ１を、処理期間Ｌｉｎ１（Ｎ）と実質的に同等程度の期間に設定するよう指示する。例えば、ＨＤの間隔ＰＨＤ１は、処理期間Ｌｉｎ１（Ｎ）に対して、所定量のマージン期間を加えた長さとする。マージン期間は短いほどよいが、画像データの転送遅延の揺らぎ等を吸収できる程度にあらかじめ設定される。
【００５８】
モード制御部１１５は、ＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ１を、処理期間Ｌｉｎ１（Ｎ）と実質的に同等程度の期間に設定するよう指示する。つまり、モード制御部１１５はＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ３を、復元処理部１１３が１行分の画像データを画像信号に復元する処理するために要する時間（処理時間）にするよう指示する。
【００５９】
画素部１０２は、ＳＳＧ１１６から間隔ＰＨＤ１で、各行の画像信号を順次出力するため、上記指示により、復元処理部１１３が１行分の画像データを画像信号に復元する処理が終わり次第、次の行の画像データが入力される。よって、撮像センサ１００と画像処理チップ１１０の間の転送の際のデータレートを最大にして１フレームの画像を取得することができる。
【００６０】
また、撮像センサ１００は、１フレーム分の画像データを画像処理チップ１１０に送信し終わってから次のＶＤがＳＳＧ１１６で発生するまでの期間ＰＶＢ１は垂直ブランキング期間となる。ここで、期間ＰＶＢ１が閾値Ｔｈ１より長い場合、制御部１６０は、期間ＰＶＢ１に撮像装置１０を省電力モードにして消費電力を削減してもよい。この場合、消費電力を最大に削減できるよう、垂直ブランキング期間に入ったら撮像装置１０を省電力モードに移行させ、次のＶＤがＳＳＧ１１６で発生する前に撮像装置１０を省電力モードから復帰させるようにするのが好ましい。すなわち、閾値Ｔｈ１は、少なくとも撮像装置１０が省電力モードに移行するのに要する時間と撮像装置１０が省電力モードから復帰するまでの時間の合計時間以上の長さである。
【００６１】
図３は、本発明の実施形態における動画モードの動作を示すタイミングチャートである。図３において、横軸に時間を示す。また、図３において、上段から、ＶＤ、ＨＤ、復元処理部１１３へＮ行目の画像データが入力し、復元処理を実行する処理期間Ｌｉｎ１（Ｎ）、および復元処理部１１３からＮ行目の画像信号の出力期間Ｌｏｕｔ１（Ｎ）をそれぞれ示す。さらに、図３の最下段は、画像処理部１１４が画像処理を実行したＮ行目の画像信号を出力する出力期間Ｌｏｕｔ２（Ｎ）を示す。
【００６２】
動画モードは、撮像センサ１００から取得した画像信号から６０ｆｐｓの動画像を生成して、記憶部１３０に記録する動作モードである。すなわち、画像処理チップ１１０は、撮像センサ１００から取得した１フレーム分の画像データを１／６０秒で処理する必要がある。復元処理部１１３は、撮像センサ１００から入力された１行分の画像データを画像信号に復元し、画像処理部１１４に出力する。また、画像処理部１１４は、復元処理部１１３から取得した画像信号を処理し、記憶部１３０に記録する。
【００６３】
前述したように、画像処理部１１４が１行分の画像信号を処理している間に次の行の画像信号が画像処理部１１４に入力されると、画像処理部１１４でデータがオーバーフローしてしまう。
【００６４】
モード制御部１１５は、ＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ２を、出力期間Ｌｏｕｔ２（Ｎ）と実質的に同等程度の期間に設定するよう指示する。つまり、モード制御部１１５はＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ２を、画像処理部１１４が復元処理部１１３からの１行分の画像信号の補正処理や現像処理するために要する時間（処理時間）にするよう指示する。
【００６５】
これにより、画像処理部１１４には、１行分の画像信号の補正処理や現像処理等が終わり次第、次の行の画像信号が入力される。よって、画像処理部１１４においてデータをオーバーフローさせずに動画モードの動作を実現できる。
【００６６】
図３に示すように、撮像センサ１００から画像処理部１１４への転送レートは、図２に示したレートと変わらない。したがって、図２で示した静止画モードから動画モードに遷移した場合でも、受信部１１２は、クロックデータリカバリのトレーニングシーケンスを実行せずに、動画モードに遷移することができる。
【００６７】
また、撮像センサ１００は、１行分の画像データを画像処理チップ１１０に送信し終わってから次のＨＤがＳＳＧ１１６から出力されるまでの期間ＰＨＢは水平ブランキング期間となる。ここで、期間ＰＨＢが閾値Ｔｈ２より長い場合、制御部１６０は、期間ＰＨＢに撮像装置１０を省電力モードにして消費電力を削減してもよい。この場合、消費電力を最大に削減できるよう、水平ブランキング期間に入ったら撮像装置１０を省電力モードに移行させ、次のＨＤがＳＳＧ１１６で発生する前に撮像装置１０を省電力モードから復帰させるようにするのが好ましい。すなわち、閾値Ｔｈ２は、撮像装置１０が省電力モードに移行するのに要する時間と撮像装置１０が省電力モードから復帰するまでの時間の合計時間以上の長さの時間である。
【００６８】
なお、動画モードのフレームレートが遅く、図２に示したような垂直ブランキング期間がある場合には、垂直ブランキング期間にも撮像装置１０を省電力モードに移行させてもよい。
【００６９】
図４は、本発明の実施形態におけるライブビュー（以降、ＬＶと呼ぶ）モードの動作を示すタイミングチャートである。図４において、横軸に時間を示す。また、図３において、上段から、ＶＤ、ＨＤ、復元処理部１１３へＮ行目の画像データが入力し、復元処理を実行する処理期間Ｌｉｎ１（Ｎ）、および復元処理部１１３からＮ行目の画像信号の出力期間Ｌｏｕｔ３（Ｎ）をそれぞれ示す。さらに、図３の最下段は、画像処理部１１４が画像処理を実行したＮ行目の画像信号を出力する出力期間Ｌｏｕｔ４（Ｎ）を示す。
【００７０】
ＬＶモードは、撮像センサ１００から取得した画像信号から６０ｆｐｓの動画像を生成して、表示部１５０に出力し、画像を表示する動作モードである。すなわち、画像処理チップ１１０は、撮像センサ１００から取得した１フレーム分の画像データを１／６０秒で処理する必要がある。復元処理部１１３は、撮像センサ１００から入力された１行分の画像データを画像信号に復元し、画像処理部１１４に出力する。また、画像処理部１１４は、復元処理部１１３から取得した画像信号を処理し、表示部１５０に出力する。
【００７１】
しかし、ＬＶモードの場合、画像処理部１１４から出力される画像信号は撮像装置１０の限られた大きさの不図示の表示部での表示に使用されるので、動画モードにおいて画像処理部１１４で処理される画像信号よりそのデータ量は小さくてもよい。そこで、復元処理部１１３では、１行分の画像データを画像信号に復元する毎に水平方向の加算処理を行い、水平方向に画像信号を圧縮する。
【００７２】
復元処理部１１３は、入力された１行分の画像データを画像信号に復元し、復元した画像信号を水平方向に加算処理する。復元処理部１１３は、加算処理された１行分の画像信号を画像処理部１１４へ出力する。
【００７３】
画像処理部１１４は、復元処理部１１３から加算処理された１行分の画像信号を取得し、画像信号に対して画像処理を実行する。画像処理部１１４は、画像処理が施された画像信号を表示部１５０に出力する。
【００７４】
モード制御部１１５は、ＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ３を、出力期間Ｌｏｕｔ４（Ｎ）と実質的に同等程度の期間に設定するよう指示する。つまり、モード制御部１１５はＳＳＧ１１６に対して、ＨＤの間隔ＰＨＤ３を、画像処理部１１４が復元処理部１１３からの加算処理された１行分の画像信号を処理するために要する時間（処理時間）にするよう指示する。
【００７５】
これにより、ＬＶモードでは、画像処理部１１４が復元処理部１１３からの画像信号を処理するために要する時間が動画モードより短くなり、ひいては動画モードよりＨＤの間隔を短くできる。よって、ＬＶモードでは、画像処理チップ１１０における撮像センサ１００からの１フレーム分の画像データを処理する時間を動画モードより短くすることができる。
【００７６】
１フレーム分の画像データを画像処理チップ１１０に送信し終わってから次のＶＤが発生するまでの垂直ブランキング期間ＰＶＢ２が閾値Ｔｈ３より長い場合、制御部１６０は、期間ＰＶＢ２の間に撮像装置１０を省電力モードにして消費電力を削減してもよい。この場合、消費電力を最大に削減できるよう、垂直ブランキング期間に入ったら撮像装置１０を省電力モードに移行させ、次のＶＤがＳＳＧ１１６で発生する前に撮像装置１０を省電力モードから復帰させるようにするのが好ましい。すなわち、閾値Ｔｈ３は、撮像装置１０が省電力モードに移行するのに要する時間と撮像装置１０が省電力モードから復帰するまでの時間の合計時間以上の長さの期間となる。
【００７７】
なお、本発明の実施形態ではＳＳＧ１１６は画像処理チップ１１０内にあり、ＨＤ、ＶＤを撮像センサ１００に対して出力する構成としたが、ＳＳＧ１１６を撮像センサ１００内に備える構成としてもよい。この場合、図２、図３、図４の動作で説明したモード制御部１１５からＳＳＧ１１６への指示は画像処理チップ１１０から撮像センサ１００への通信手段により実現される。この通信手段の種類については例えばシリアル通信などで行われてもよくその種類は本発明において制限されない。
【００７８】
また、本発明の実施形態では、省電力モードへの移行や復帰は撮像装置１０が行う場合を説明したが、撮像装置１０ではなく、撮像センサ１００であってもよい。但し、かかる場合、上記所定時間は、撮像センサ１００が省電力モードに移行するのに要する時間と撮像センサ１００が省電力モードから復帰するまでの時間の合計時間となる。
【００７９】
以上、本発明によれば、転送の際のデータレートやデータレーン数を変更することなく撮像動作モードを切り替えることができる。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８１】
［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【００８２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８４】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００８５】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【００８６】
１０  撮像装置
１００  撮像センサ
１０１  ＴＧ
１０２  画素部
１０３  送信データ生成部
１０５  送信部
１１０  画像処理チップ
１１２  受信部
１１３  復元処理部
１１４  画像処理部
１１５  モード制御部
１１６  ＳＳＧ
１２０  発振器
【図１】
2020127172.tif 000003
【図２】
2020127172.tif 000004
【図３】
2020127172.tif 000005
【図４】
2020127172.tif 000006