(57)【要約】【課題】画像処理を行う際に使用する記憶装置の帯域を削減することにより、高フレームレートでの画像処理を実現できるようにする。【解決手段】イメージセンサと、イメージセンサから受信した画像データを処理する信号処理装置とを有する撮像装置であって、イメージセンサは、生成した画像データが記憶される記憶手段と、記憶手段に記憶された画像データを信号処理装置に送信する送信手段とを有し、信号処理装置は、処理手段間で画像データの受け渡しが可能であって、画像データに画像処理を施す複数の処理手段と、複数の処理手段の内の第１の処理手段から出力される画像処理後の第１の画像データを記憶手段に記憶させ、第１の処理手段で画像処理された画像データを受けて画像処理を行う第２の処理手段へ記憶手段に記憶させた第１の画像データを送信させる制御手段とを有する。【選択図】図１
2020191534.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサと、前記イメージセンサから受信した画像データを処理する信号処理装置とを有する撮像装置であって、
前記イメージセンサは、
生成した画像データが記憶される記憶手段と、
前記記憶手段に記憶された画像データを前記信号処理装置に送信する送信手段とを有し、
前記信号処理装置は、
処理手段の間で画像データの受け渡しが可能であって、画像データに画像処理を施す複数の処理手段と、
前記複数の処理手段の内の第１の処理手段から出力される画像処理後の第１の画像データを前記記憶手段に記憶させ、前記第１の処理手段で画像処理された画像データを受けて画像処理を行う第２の処理手段へ前記記憶手段に記憶させた前記第１の画像データを送信させる制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記イメージセンサと前記信号処理装置との間で前記画像データを送受信する通信路における通信方向を切り替える切り替え部を有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の処理手段と前記第２の処理手段との間で画像データのデータフォーマットを変更する場合に、前記第１の画像データを前記記憶手段に記憶させることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記制御手段は、前記第１の処理手段と前記第２の処理手段との間で画像データの処理レートを調整する場合に、前記第１の画像データを前記記憶手段に記憶させることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記イメージセンサの前記送信手段から１フレーム分の画像データの送信が完了した後に、前記第１の画像データの前記記憶手段への記憶を開始させることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
イメージセンサと、処理手段の間で画像データの受け渡しが可能であって、画像データに画像処理を施す複数の処理手段を有する信号処理装置とを有する撮像装置の制御方法であって、
前記イメージセンサが生成した画像データを前記イメージセンサが有する記憶手段に記憶する工程と、
前記記憶手段に記憶された画像データを送信手段を介して前記信号処理装置に送信する工程と、
前記複数の処理手段の内の第１の処理手段から出力される画像処理後の第１の画像データを前記記憶手段に記憶させ、前記第１の処理手段で画像処理された画像データを受けて画像処理を行う第２の処理手段へ前記記憶手段に記憶させた前記第１の画像データを送信させる工程とを有することを特徴とする撮像装置の制御方法。
【請求項７】
前記第１の画像データを前記記憶手段に記憶させる際に、前記イメージセンサと前記信号処理装置との間で前記画像データを送受信する通信路における通信方向を切り替えることを特徴とする請求項６記載の撮像装置の制御方法。
【請求項８】
前記第１の処理手段と前記第２の処理手段との間で画像データのデータフォーマットを変更する場合に、前記第１の画像データを前記記憶手段に記憶させることを特徴とする請求項６又は７記載の撮像装置の制御方法。
【請求項９】
前記第１の処理手段と前記第２の処理手段との間で画像データの処理レートを調整する場合に、前記第１の画像データを前記記憶手段に記憶させることを特徴とする請求項６〜８の何れか１項に記載の撮像装置の制御方法。
【請求項１０】
前記イメージセンサの前記送信手段から１フレーム分の画像データの送信が完了した後に、前記第１の画像データの前記記憶手段への記憶を開始させることを特徴とする請求項６〜９の何れか１項に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
イメージセンサの高画素化及び高フレームレート化に伴い、撮像画像の画像処理に要求される処理速度が向上している。このため、大容量のメモリを備えたり、クロック周波数を上げて高速に処理させたりする必要が生じている。一方、カメラのようなモバイル製品においては、小型軽量化、低価格化、及び低消費電力化が要求され、例えば低いクロック周波数で高フレームレートの処理を実現する必要がある。このため、撮像画像を一時保持するメモリに対する書き込み及び読み出しタイミングを制御して高画像処理レートを実現する方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２４９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の処理装置は、イメージセンサと画像処理ブロックと間のデータ転送を制御して高速に画像処理ブロックまでデータを転送することが可能である。しかしながら、主記憶装置等の記憶装置に一時記憶する際に、転送レートの上限に達することが原因で高フレームレートの画像処理が実現できないことがある。本発明は、このような事情に鑑みてなされたものであり、画像処理を行う際に使用する記憶装置の帯域を削減することにより、高フレームレートでの画像処理を実現できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、イメージセンサと、前記イメージセンサから受信した画像データを処理する信号処理装置とを有する撮像装置であって、前記イメージセンサは、生成した画像データが記憶される記憶手段と、前記記憶手段に記憶された画像データを前記信号処理装置に送信する送信手段とを有し、前記信号処理装置は、処理手段の間で画像データの受け渡しが可能であって、画像データに画像処理を施す複数の処理手段と、前記複数の処理手段の内の第１の処理手段から出力される画像処理後の第１の画像データを前記記憶手段に記憶させ、前記第１の処理手段で画像処理された画像データを受けて画像処理を行う第２の処理手段へ前記記憶手段に記憶させた前記第１の画像データを送信させる制御手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像処理後の画像データをイメージセンサ内に記憶可能にすることで、画像処理を行う際に使用する記憶装置の帯域を削減し、高フレームレートでの画像処理が可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態における撮像装置の構成例を示す図である。
【図２】本実施形態におけるデータパケット構成の一例を示す図である。
【図３】本実施形態における撮像装置の動作例を示すフローチャートである。
【図４】本実施形態における通常時の画像処理の一例を説明する図である。
【図５】本実施形態におけるデータフォーマット変更時の画像処理の一例を説明する図である。
【図６】本実施形態におけるレート調整時の画像処理の一例を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
図１は、本発明の一実施形態における撮像装置１００の構成例を示すブロック図である。以下に説明する本実施形態における撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等だけでなく、例えば、スマートフォンやタブレット等の各種携帯機器や、工業用カメラ、車載用カメラ、医療用カメラ等にも適用可能である。本実施形態における撮像装置１００は、イメージセンサ１１０、信号処理装置１２０、電源制御部１４０、システム制御部１４１、主記憶部１４２、及び不揮発性記憶部１４３を有する。
【００１０】
イメージセンサ１１０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。イメージセンサ１１０は、画像生成部１１１、記憶部１１２、設定記憶部１１３、受信部１１４、送信部１１５、及び通信路切り替え部１１６を有する。受信部１１４は、信号処理装置１２０から送信された第２の制御データ及び画像データを受信する。第２の制御データはイメージセンサ１１０の内部制御に係る制御データである。
【００１１】
設定記憶部１１３は、受信部１１４が受信した第２の制御データを記憶する。設定記憶部１１３に記憶された第２の制御データに基づいて、イメージセンサ１１０内の各機能部が制御される。画像生成部１１１は、設定記憶部１１３に記憶された第２の制御データに基づいたタイミングで受光量に応じた画像データを生成して出力する。記憶部１１２は、画像生成部１１１が出力した画像データや受信部１１４が受信した画像データを記憶する。送信部１１５は、設定記憶部１１３に記憶された第２の制御データに基づいたタイミングで記憶部１１２から画像データを読み出して信号処理装置１２０に送信する。
【００１２】
通信路切り替え部１１６は、イメージセンサ１１０と信号処理装置１２０との通信路の通信方向を切り替える。イメージセンサ１１０と信号処理装置１２０との間の通信路は複数の双方向シリアル通信路で構成され、シリアル通信路毎に方向を切り替えることが可能である。また、設定記憶部１１３の設定を信号処理制御部１２２より行うため、信号処理装置１２０からイメージセンサ１１０への方向の専用通信路も有する。
【００１３】
信号処理装置１２０は、例えば画像データ等に対する信号処理を行うエンジンである。信号処理装置１２０は、送信部１２１、信号処理制御部１２２、記憶部１２３、ＤＭＡ制御部１２４、及び第１の記憶制御部１２５を有する。また、信号処理装置１２０は、受信部１２６、複数の信号処理部１２７−１〜１２７−３、第２の記憶制御部１２８、信号バス１２９、及び通信路切り替え部１３０を有する。送信部１２１は、第２の制御データ及びイメージセンサ１１０の記憶部１１２に記憶させる画像データをイメージセンサ１１０に送信する。
【００１４】
信号処理制御部１２２は、システム制御部１４１の指示又は第１の制御データに基づいて、信号処理装置１２０及びイメージセンサ１１０を制御する。また、信号処理制御部１２２は、第１の制御データ、第２の制御データ、及び第３の制御データを生成できる。第１の制御データは信号処理装置１２０の内部動作に係る制御データであり、第３の制御データは、電源制御部１４０を制御する制御データである。第３の制御データには、電源オン／オフ制御の対象とタイミング、及び第１の制御データを格納している場所の情報が含まれる。信号処理制御部１２２は、画像データを、送信部１２１を経由してイメージセンサ１１０の記憶部１１２に書き込むか、第１の記憶制御部１２５を経由して主記憶部１４２に書き込むかを選択可能となっている。
【００１５】
記憶部１２３は、信号処理制御部１２２の制御データを記憶する。ＤＭＡ制御部１２４は、ダイレクトメモリアクセスの制御を行う。第１の記憶制御部１２５は、主記憶部１４２に対するデータの読み書きを行う。主記憶部１４２に読み書きされるデータには、第１の制御データが含まれる。受信部１２６は、イメージセンサ１１０から送信された画像データを受信する。受信された画像データは、第１の信号処理部１２７−１に送られる。
【００１６】
第１〜第３の信号処理部１２７−１〜１２７−３は、それぞれ入力される画像データに対して処理を行う。第１〜第３の信号処理部１２７−１〜１２７−３は、信号処理部間で画像データや制御データの受け渡しが可能となっている。なお、図１に示した例では、３つの信号処理部１２７−１〜１２７−３を有しているが、これに限定されるものではなく、信号処理装置１２０が有する信号処理部１２７の数は任意である。第２の記憶制御部１２８は、不揮発性記憶部１４３に対するデータの読み書きを行う。信号バス１２９は、信号処理装置１２０が有する各機能部、システム制御部１４１、及び電源制御部１４０を接続する通信バスである。通信路切り替え部１３０は、イメージセンサ１１０と信号処理装置１２０との通信路の通信方向を切り替える。
【００１７】
電源制御部１４０は、第３の制御データに基づきイメージセンサ１１０、信号処理装置１２０、主記憶部１４２、及び不揮発性記憶部１４３の電源を制御する。また、電源制御部１４０は、信号処理装置１２０の信号処理制御部１２２に、第１の制御データが格納されている場所を示す起動情報を出力する。システム制御部１４１は、図示しない外部からの指示に基づき撮像装置全体の制御を行う。主記憶部１４２は、第１の記憶制御部１２５と接続される記憶素子であり、例えばＤＲＡＭである。不揮発性記憶部１４３は、第２の記憶制御部１２８と接続される不揮発性の記憶素子である。不揮発性記憶部１４３には、例えば信号処理装置１２０の内部動作に係る初期制御データが格納されている。
【００１８】
次に、図２を用いて、イメージセンサ１１０の送信部１１５が送信するデータのデータフォーマットの一例について説明する。イメージセンサ１１０の送信部１１５と信号処理装置１２０の受信部１２６との間で送受信されるデータは、図２に示すようなパケット構造をしたデータである。パケット２００は、ＳＴＡＲＴ制御コード２１０、パケットヘッダ２２０、パケットペイロード２３０、及びＥＮＤ制御コード２４０を有する。１つのパケットとして送受信されるデータは、例えば、画像フレーム内の１ラインの画像データである。
【００１９】
ＳＴＡＲＴ制御コード２１０は、信号処理装置１２０の受信部１２６にパケットの開始を通知するための情報であり、パケットヘッダ２２０やパケットペイロード２３０の中には出現しない一意なデータパターンである。信号処理装置１２０の受信部１２６は、受信したデータのＳＴＡＲＴ制御コード２１０を判別することにより、パケットの開始位置を判断する。
【００２０】
パケットヘッダ２２０は、データパケットに関する情報が格納されている。信号処理装置１２０の受信部１２６は、ＳＴＡＲＴ制御コード２１０受信直後のデータをパケットヘッダ部として認識し、パケット情報を取得する。例えば、信号処理装置１２０の受信部１２６は、パケットヘッダ２２０の情報に基づいて、パケットデータの送信先を決定する。パケットヘッダ２２０は、データ種別２２１、エラー訂正情報２２２、及びＣＲＣ２２３を有する。
【００２１】
データ種別２２１は、データパケットのデータ内容を示すフィールドである。データが画像データである場合、データ種別２２１には、そのデータパケットが画像フレーム内の先頭ライン及び最終ラインを示す情報を含む。
【００２２】
エラー訂正情報２２２は、パケットペイロード２３０に施されるエラー訂正の仕様を示すフィールドである。具体的には、パリティのサイズ、及びパリティを付加する際のデータブロックのサイズに関わる仕様を示す情報である。信号処理装置１２０の受信部１２６は、エラー訂正情報２２２の情報に基づいて、パケットペイロード２３０に施されるエラー訂正パリティの位置及びサイズを判断する。
【００２３】
ＣＲＣ２２３は、パケットヘッダ２２０のデータが正しく受信できたか否かを判定するためのエラー検知用のフィールドである。信号処理装置１２０の受信部１２６は、受信したＣＲＣ２２３の情報に基づいて、パケットヘッダ２２０のデータの正しさを判断する。
【００２４】
パケットペイロード２３０は、イメージセンサ１１０の送信部１１５により送られる有効データの中身である。具体的には、画像生成部１１１が生成した画像データであったり、記憶部１１２に記憶された信号処理装置１２０から画像データであったりする。また、パケットペイロード２３０は、イメージセンサ１１０及び信号処理装置１２０間のデータ通信におけるデータ伝送エラーを訂正するためのエラー訂正情報２２２を付加して送る。
【００２５】
ＥＮＤ制御コード２４０は、信号処理装置１２０にパケットの終了位置を通知するための情報であり、パケットヘッダ２２０やパケットペイロード２３０の中には出現しない一意なデータパターンである。信号処理装置１２０は、受信したデータのＥＮＤ制御コード２４０を判別することにより、パケットの終了を判断する。
【００２６】
次に、図３を参照して、本実施形態における撮像装置１００での画像撮影時の画像データの処理について説明する。図３は、本実施形態における撮像装置１００の動作例を示すフローチャートである。以下に説明する動作は、信号処理装置１２０の信号処理制御部１２２が撮像装置１００の各部を制御することにより実現される。
【００２７】
ユーザーが図示していない操作部より電源を投入後、各種の撮影モードを選択して画像撮影を開始すると、画像の撮影が開始される。ステップＳ３０１にて、信号処理制御部１２２は、ユーザーから設定された撮影モードが信号処理部１２７−１〜１２７−３の信号処理部間でのデータのやり取りにおいて、データフォーマット変更のための一時記憶が必要な撮影モードであるか確認する。データフォーマット変更のための一時記憶が必要な撮影モードであると信号処理制御部１２２が判定した場合（ＹＥＳ）、処理はステップＳ３０２へ進む。
【００２８】
ステップＳ３０２にて、信号処理制御部１２２は、データフォーマット変更のための設定を各信号処理部に行う。具体的には、信号処理制御部１２２は、信号処理部間で画像データを直接受け渡すのでなく、主記憶部１４２又はイメージセンサ１１０の記憶部１１２に一時記憶させて画像データを受け渡すように制御する。
【００２９】
ステップＳ３０１において、データフォーマット変更のための一時記憶が必要な撮影モードでないと信号処理制御部１２２が判定した場合（ステップＳ３０１のＮＯ）、処理はステップＳ３０３へ進む。ステップＳ３０３にて、信号処理制御部１２２は、ユーザーから設定された撮影モードが信号処理部１２７−１〜１２７−３の信号処理部間でのデータのやり取りにおいて、レート調整のための一時記憶が必要な撮影モードであるか確認する。レート調整のための一時記憶が必要な撮影モードであると信号処理制御部１２２が判定した場合（ＹＥＳ）、処理はステップＳ３０４へ進み、そうでない場合（ＮＯ）、処理はステップＳ３０５へ進む。
【００３０】
ステップＳ３０４にて、信号処理制御部１２２は、レート調整のための設定を各信号処理部に行う。具体的には、信号処理制御部１２２は、信号処理部間で画像データを直接受け渡すのでなく、主記憶部１４２又はイメージセンサ１１０の記憶部１１２に一時記憶させて画像データを受け渡すように制御する。データフォーマット変更時の一時記憶とレート調整時の一時記憶との違いは、画像データの記憶部への書き込み及び読み出しのタイミングの違いである。データフォーマット変更の場合には、処理データをすべて記憶部に書き込み完了してからデータを読み出す。一方、レート調整時の一時記憶では、処理データを記憶部に書き込みつつ、同時並行に読み出しも行う。
【００３１】
ステップＳ３０５にて、信号処理制御部１２２は、画像データの記憶部への一時記憶が不要な撮影モードであると判断して各信号処理部の設定を行う。この設定では、信号処理部１２７−１〜１２７−３の信号処理部間でのデータのやり取りにおいて、記憶部に一時記憶することなく、直接各信号処理部間でデータの受け渡しが行われ、処理が完結する。
【００３２】
次に、各信号処理部の設定が完了すると、ステップＳ３０６にて、信号処理制御部１２２は、イメージセンサ１１０の設定を行うため、信号処理装置１２０の送信部１２１を介して、イメージセンサ１１０の設定記憶部１１３にデータを書き込む。設定記憶部１１３に設定が完了すると、ステップＳ３０７にて、イメージセンサ１１０は、設定された撮影モードに応じた画像データを画像生成部１１１により生成し、送信部１１５を介して信号処理装置に送信する。イメージセンサ１１０から送信された画像データは、信号処理装置１２０の受信部１２６を介して、各信号処理部に入力される。
【００３３】
以上のようにして、撮影モードに応じた信号処理部の設定を行い、画像データ処理の流れを制御することによって、画像データの処理内容に応じたデータの経路を決める。
【００３４】
次に、図４を参照して、本実施形態における撮像装置１００での画像処理の一例を説明する。図４には、図３に示したステップＳ３０５において設定された撮影モード時（通常時）のデータの流れの一例を示している。この撮影モードでは、第１の信号処理部１２７−１、第２の信号処理部１２７−２、及び第３の信号処理部１２７−３の３つの信号処理部において、各信号処理部間で直接に画像処理データの受け渡しが行われる。これは各信号処理部間でのデータの受け渡しに際して、画像フォーマットの違いや処理レートの違い等がなく、主記憶部１４２又はイメージセンサ１１０の記憶部１１２等の記憶部に処理データを一時記憶する必要がないためである。
【００３５】
まず、時刻Ｔ４０１において、イメージセンサ１１０の送信部１１５から画像データの送信が開始される。信号処理装置１２０の受信部１２６が受信した画像データは第１の信号処理部１２７−１に入力される。
【００３６】
時刻Ｔ４０２において、第１の信号処理部１２７−１から画像処理後の画像データの出力が開始される。この画像データは、第１の信号処理部１２７−１から第２の信号処理部１２７−２に直接入力される。
【００３７】
時刻Ｔ４０３において、イメージセンサ１１０の送信部１１５から出力された画像フレームの１フレーム分のデータの送信が完了する。
【００３８】
時刻Ｔ４０４において、第２の信号処理部１２７−２から画像処理後の画像データの出力が開始される。この画像データは、第２の信号処理部１２７−２から第３の信号処理部１２７−３に直接入力される。
【００３９】
時刻Ｔ４０５において、第３の信号処理部１２７−３から画像処理後の画像データの出力が開始される。この画像データは、第３の信号処理部１２７−３から第１の記憶制御部１２５に入力される。
【００４０】
時刻Ｔ４０６において、第１の記憶制御部１２５から主記憶部１４２に画像処理後の画像データの出力が開始される。その後、時刻Ｔ４０７において、第１の記憶制御部１２５から主記憶部１４２への画像処理後の画像データの出力が完了し、１フレーム分の画像データの処理を完了して、画像処理後のデータが主記憶部１４２に記憶される。
【００４１】
時刻Ｔ４０８において、イメージセンサ１１０の送信部１１５から次の画像フレームの画像データの送信が開始される。時刻Ｔ４０３から時刻Ｔ４０８までの期間はブランキング期間ＴＢであり、画像データがイメージセンサ１１０から送信されない期間である。このブランキング期間ＴＢにおいて、信号処理装置１２０からイメージセンサ１１０の記憶部１１２に対してデータの一時記憶が可能である。ただし、図４に示した例では、信号処理部間で直接データの受け渡しを行うので、イメージセンサ１１０の記憶部１１２を使用しないシーケンスになっている。
【００４２】
次に、図５を参照して、本実施形態における撮像装置１００での画像処理の他の例を説明する。図５には、図３に示したステップＳ３０２において設定された撮影モード時のデータの流れの一例を示している。すなわち、データフォーマット変更のための一時記憶が必要な撮影モードの場合を示している。図５に示す例では、第２の信号処理部１２７−２と第３の信号処理部１２７−３との間において、画像処理データフォーマットの違いにより直接画像処理データの受け渡しが行えないものとする。そのため、第２の信号処理部１２７−２が出力する画像データを記憶部に一時記憶し、第３の信号処理部１２７−３が自身の都合がよい形式で記憶部からデータを取得する。また、第２の信号処理部１２７−２が出力するデータを主記憶部１４２ではなくイメージセンサ１１０の記憶部１１２に一時記憶することにより、主記憶部１４２の帯域の増加を避け、フォーマットの違いによる一時記憶を実現する。
【００４３】
まず、時刻Ｔ５０１において、イメージセンサ１１０の送信部１１５から画像データの送信が開始される。信号処理装置１２０の受信部１２６が受信した画像データは第１の信号処理部１２７−１に入力される。
【００４４】
時刻Ｔ５０２において、第１の信号処理部１２７−１から画像処理後の画像データの出力が開始される。この画像データは、第１の信号処理部１２７−１から第２の信号処理部１２７−２に直接入力される。
【００４５】
時刻Ｔ５０３において、イメージセンサ１１０の送信部１１５から出力された画像フレームの１フレーム分のデータの送信が完了する。このタイミングでイメージセンサ１１０と信号処理装置１２０との間の通信路の方向を切り替えるため、通信路切り替え部１１６及び通信路切り替え部１３０により、信号処理装置１２０からイメージセンサ１１０への方向に通信方向を切り替える。通信方向の切り替え手順は、イメージセンサ１１０の通信路切り替え部１１６によりイメージセンサ１１０側を受信方向に設定した後、信号処理装置１２０の通信路切り替え部１３０により信号処理装置１２０側を送信方向に設定する。これにより、お互いが送信状態になることを回避する。
【００４６】
時刻Ｔ５０４において、第２の信号処理部１２７−２から画像処理後の画像データの出力が開始される。この画像データは、直接第３の信号処理部１２７−３に入力することができないので、イメージセンサ１１０の記憶部１１２に一時記憶させるために送信部１２１に出力する。画像データを直接第３の信号処理部１２７−３に入力することができない理由は、第２の信号処理部１２７−２の出力データフォーマットと、第３の信号処理部１２７−３の入力データフォーマットが異なるからである。そのため、記憶部に画像データを一時記憶してフォーマットの差異に対応する。
【００４７】
時刻Ｔ５０５において、第２の信号処理部１２７−２で画像処理された画像データが信号処理装置１２０の送信部１２１から送信され、イメージセンサ１１０の記憶部１１２への書き込みが開始される。そして、時刻Ｔ５０６において、第２の信号処理部１２７−２で画像処理された画像データのイメージセンサ１１０の記憶部１１２への一時記憶が完了する。
【００４８】
次に、時刻Ｔ５０７において、イメージセンサ１１０の記憶部１１２に一時記憶された画像データの読み出しが開始される。第３の信号処理部１２７−３の処理するフォーマットでデータを記憶部１１２から読み出し、読み出したデータは、イメージセンサ１１０の送信部１１５を介して第３の信号処理部１２７−３に入力する。このとき、通信路切り替え部１１６及び通信路切り替え部１３０により通信方向の切り替えを行う。通信方向の切り替え手順は、信号処理装置１２０の通信路切り替え部１３２により信号処理装置１２０側を受信方向に設定した後、イメージセンサ１１０の通信路切り替え部１１６によりイメージセンサ１１０側を送信方向に設定する。これにより、お互いが送信状態になることを回避する。
【００４９】
時刻Ｔ５０８において、第３の信号処理部１２７−３から画像処理後の画像データの出力が開始される。この画像データは、第３の信号処理部１２７−３から第１の記憶制御部１２５に入力される。
【００５０】
時刻Ｔ５０９において、第１の記憶制御部１２５から主記憶部１４２に画像処理後の画像データの出力が開始される。
【００５１】
時刻Ｔ５１０において、イメージセンサ１１０の記憶部１１２に一時記憶させた画像データの読み出しを完了する。
【００５２】
時刻Ｔ５１１において、第１の記憶制御部１２５から主記憶部１４２への画像処理後の画像データの出力が完了し、１フレーム分の画像データの処理を完了して、画像処理後のデータが主記憶部１４２に記憶される。
【００５３】
時刻Ｔ５１２において、イメージセンサ１１０の送信部１１５から次の画像フレームの画像データの送信が開始される。時刻Ｔ５０３から時刻Ｔ５１２までの期間はブランキング期間ＴＢであり、画像生成部１１１で生成される画像データがイメージセンサ１１０から送信されない期間である。このブランキング期間ＴＢに信号処理装置１２０からイメージセンサ１１０の記憶部１１２に対して画像データの一時記憶を行うことで、主記憶部１４２へのアクセスを低減し、使用帯域を削減することができる。
【００５４】
次に、図６を参照して、本実施形態における撮像装置１００での画像処理のその他の例を説明する。図６には、図３に示したステップＳ３０４において設定された撮影モード時のデータの流れの一例を示している。すなわち、レート調整のための一時記憶が必要な撮影モードの場合を示している。図６に示す例では、第２の信号処理部１２７−２と第３の信号処理部１２７−３との間において、画像処理データの処理レートの違いにより直接画像処理データの受け渡しが行えないものとする。そのため、第２の信号処理部１２７−２が出力する画像データを記憶部に一時記憶し、第３の信号処理部１２７−３が自身の都合がよい処理レートで記憶部からデータを取得する。つまり、第２の信号処理部１２７−２が出力する画像データを直接第３の信号処理部１２７−３に入力させず、イメージセンサ１１０の記憶部１１２に一時記憶することにより処理レートの差異に対応する。
【００５５】
まず、時刻Ｔ６０１において、イメージセンサ１１０の送信部１１５から画像データの送信が開始される。信号処理装置１２０の受信部１２６が受信した画像データは第１の信号処理部１２７−１に入力される。
【００５６】
時刻Ｔ６０２において、第１の信号処理部１２７−１から画像処理後の画像データの出力が開始される。この画像データは、第１の信号処理部１２７−１から第２の信号処理部１２７−２に直接入力される。
【００５７】
時刻Ｔ６０３において、イメージセンサ１１０の送信部１１５から出力された画像フレームの１フレーム分のデータの送信が完了する。このタイミングでイメージセンサ１１０と信号処理装置１２０との間の通信路の方向を切り替えるため、通信路切り替え部１１６及び通信路切り替え部１３０により、信号処理装置１２０からイメージセンサ１１０への方向に通信方向を切り替える。ただし、すべての通信路の方向を切り替えず、一部の通信路はイメージセンサ１１０から信号処理装置１２０への方向のまま維持する。これは、信号処理装置１２０が、イメージセンサ１１０の記憶部１１２にデータを書き込みつつ同時に読み出すためである。また、通信方向を切り替える通信路の通信方向の切り替え手順は、まずイメージセンサ１１０の通信路切り替え部１１６によりイメージセンサ１１０側を受信方向に設定する。その後、信号処理装置１２０の通信路切り替え部１３０により信号処理装置１２０側を送信方向に設定する。これにより、お互いが送信状態になることを回避する。
【００５８】
時刻Ｔ６０４において、第２の信号処理部１２７−２から画像処理後の画像データの出力が開始される。この画像データは、信号処理部間の処理レートの違いにより、直接第３の信号処理部１２７−３に入力することができないので、イメージセンサ１１０の記憶部１１２に一時記憶させるために送信部１２１に出力する。
【００５９】
時刻Ｔ６０５において、第２の信号処理部１２７−２で画像処理された画像データが信号処理装置１２０の送信部１２１から送信され、イメージセンサ１１０の記憶部１１２への書き込みが開始される。
【００６０】
時刻Ｔ６０６において、イメージセンサ１１０の記憶部１１２に一時記憶された画像データの読み出しが開始される。第２の信号処理部１２７−２と第３の信号処理部１２７−３との間の処理レートの違いを吸収するために第２の信号処理部１２７−２が出力する画像データを記憶部１１２に書き込みつつ、第３の信号処理部１２７−３に読み出す。
【００６１】
時刻Ｔ６０７において、第３の信号処理部１２７−３から画像処理後の画像データの出力が開始される。この画像データは、第３の信号処理部１２７−３から第１の記憶制御部１２５に入力される。
【００６２】
時刻Ｔ６０８において、第１の記憶制御部１２５から主記憶部１４２に画像処理後の画像データの出力が開始される。
【００６３】
時刻Ｔ６０９において、第２の信号処理部１２７−２で画像処理された画像データのイメージセンサ１１０の記憶部１１２への一時記憶が完了する。また、信号処理装置１２０からイメージセンサ１１０の記憶部１１２への一時記憶のための書き込みが完了した後、信号処理装置１２０からイメージセンサ１１０への方向に設定していた通信路に対して、通信方向の切り替えを行う。通信方向の切り替え手順は、信号処理装置１２０の通信路切り替え部１３２により信号処理装置１２０側を受信方向に設定した後、イメージセンサ１１０の通信路切り替え部１１６によりイメージセンサ１１０側を送信方向に設定する。これにより、お互いが送信状態になることを回避する。
【００６４】
時刻Ｔ６１０において、イメージセンサ１１０の記憶部１１２に一時記憶させた画像データの読み出しを完了する。
【００６５】
時刻Ｔ６１１において、イメージセンサ１１０の送信部１１５から次の画像フレームの画像データの送信が開始される。時刻Ｔ６０３から時刻Ｔ６１１までの期間はブランキング期間ＴＢであり、画像生成部１１１で生成される画像データがイメージセンサ１１０から送信されない期間である。このブランキング期間ＴＢに信号処理装置１２０からイメージセンサ１１０の記憶部１１２に対して画像データの一時記憶を行うことで、主記憶部１４２へのアクセスを減らし、使用帯域を削減することができる。
【００６６】
時刻Ｔ６１２において、第１の記憶制御部１２５から主記憶部１４２への画像処理後の画像データの出力が完了し、１フレーム分の画像データの処理を完了して、画像処理後のデータが主記憶部１４２に記憶される。
【００６７】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６８】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６９】
１００：撮像装置  １１０：イメージセンサ  １１２：記憶部  １１３：設定記憶部  １１４：受信部  １１５：送信部  １１６：通信路切り替え部  １２０：信号処理装置  １２１：送信部  １２２：信号処理制御部  １２３：記憶部  １２４：ＤＭＡ制御部  １２５：記憶制御部  １２６：受信部  １２７：信号処理部
【図１】
2020191534.tif 000003
【図２】
2020191534.tif 000004
【図３】
2020191534.tif 000005
【図４】
2020191534.tif 000006
【図５】
2020191534.tif 000007
【図６】
2020191534.tif 000008