(57)【要約】【課題】複数の画像処理回路制御における協調動作機能を提供する事で、画像処理回路毎の処理負荷を適切に分散させ、増大化しつつある処理負荷においても柔軟に対応可能な撮像装置を提供する。【解決手段】撮像装置は、前段と後段の画像処理回路をカスケード接続し、画像処理の負荷に応じて、撮像部からの画像データをフレーム単位で前段または後段の画像処理回路で処理するか、または、前段及び交換の画像処理回路でフレーム単位で交互に処理するか、または、前段の画像処理回路でフレームの半分を、後段の画像処理回路で残りの半分を処理するように、処理の仕方を切替える事が可能である。【選択図】  図１
2018133710.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力される画像データについて画像処理を行う第１の画像処理手段と、
前記撮像手段から出力される画像データについて画像処理を行う第２の画像処理手段と
を有し、
前記画像データに対する画像処理を、フレーム単位で前記第１の画像処理手段と前記第２の画像処理手段との何れかで画像処理する第１の処理モードと、１フレームの前記画像データの第１の部分を前記第１の画像処理手段により処理し、前記第１の部分とは異なる第２の部分を前記第２の画像処理手段で処理し、処理された画像データを合成する第２の処理モードとの間で切り替え可能であることを特徴とする画像処理装置。
【請求項２】
前記撮像手段から出力される画像データを静止画として処理する場合には前記第１の処理モードが設定され、所定のデータレートを超えるデータレートの動画として処理する場合には前記第２の処理モードが設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段から出力される画像データを静止画として処理する場合には、前記第１の画像処理手段と前記第２の画像処理手段が、前記第１の処理モードにより、１フレームごとに交互に前記画像データを処理することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像手段から出力される画像データを前記所定のデータレート以下のデータレートの動画として処理する場合には、前記第２の処理モードにおいて、各フレームの画像データを、前記第１の画像処理手段と前記第２の画像処理手段のいずれか一方が処理し、他方が処理しないようにすることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第２の処理モードにおいて、前記第１の画像処理手段が、前記撮像手段から受信した１フレームの画像データのうちの上側の一部である前記第２の部分を前記第２の画像処理手段に転送し、前記撮像手段から受信した１フレームの画像データのうちの下側の一部である前記第１の部分の画像データを処理し、処理済みの前記第１の部分の画像データを前記第２の画像処理手段に転送し、
前記第２の画像処理手段が前記第１の画像処理手段から受信した画像データを画像処理し、前記第１の画像処理手段から受信した画像処理済みの画像データと合成する
ことを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
【請求項６】
前記所定のデータレートは、４Ｋ３０Ｐ相当のデータレートであることを特徴とする請求項２から４の何れか一項または請求項２を引用する請求項６に記載の画像処理装置。
【請求項７】
撮像手段と、
請求項１から６のいずれか一項に記載の画像処理装置と、
前記画像処理装置により画像処理した画像データを記録する記録手段と
を有することを特徴とする撮像装置。
【請求項８】
撮像部と、
前記撮像部から出力される画像データが入力される第１の画像処理回路と、
前記第１の画像処理回路とカスケード接続された第２の画像処理回路とを有し、
前記第１の画像処理回路は、
前記撮像部からの画像データを動画像として処理する場合には、処理すべき動画像データのデータレートが所定のデータレートを超えるならば、前記撮像部からの画像データの各フレームの第１の部分を前記第１の画像処理回路で処理し、第２の部分を前記第１の画像処理回路で処理せずに前記第２の画像処理回路に転送し、処理すべき動画像データのデータレートが前記所定のデータレートを超えないならば、前記撮像部からの画像データの各フレームを前記第１の画像処理回路で処理するか、または、前記第１の画像処理回路では処理せずに前記第２の画像処理回路に転送し、
前記撮像部からの画像データを静止画像として処理する場合には、前記撮像部からの画像データを、１フレームおきに１部のフレームを前記第１の画像処理回路で処理し、前記１部のフレーム以外の他のフレームを前記第２の画像処理回路に転送し、
前記第１の画像処理回路で処理した画像データを前記第２の画像処理回路に転送し、
前記第２の画像処理回路は、
前記第１の画像処理回路から入力された、処理されていない画像データを処理し、前記第２の画像処理回路から入力された、処理された画像データと合成する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
発明は撮像装置、特に複数の画像処理回路を効率的に利用する事で、静止画記録や動画記録を行う撮像制御を備えた画像処理装置および撮像装置に関するものである。
【背景技術】
【０００２】
従来、画像センサーの画素数の増加と共に増大化してきている画像処理負荷に対する解決策として、複数の画像処理回路を利用して静止画記録や動画記録を行う撮像装置に関して様々な技術が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-172978号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に開示された従来技術では、特に複数の画像処理回路の制御における協調動作に関して言及していない。そのため複数の画像処理回路を利用する事での処理効率改善率はそれぞれ単一の画像処理回路の処理速度によって決定されてしまい、前述の増大化しつつある処理負荷に対しては、柔軟かつ効果的に対応しきれない部分があると言わざるを得ない。
【０００５】
本発明は、複数の画像処理回路制御における協調動作機能を提供する事で、画像処理回路毎の処理負荷を適切に分散させ、増大化しつつある処理負荷においても、柔軟かつ効果的に対応可能な画像処理装置および撮像装置を提供する事である。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の構成を有する。
【０００７】
撮像手段から出力される画像データについて画像処理を行う第１の画像処理手段と、
前記撮像手段から出力される画像データについて画像処理を行う第２の画像処理手段と
を有し、
前記画像データに対する画像処理を、フレーム単位で前記第１の画像処理手段と前記第２の画像処理手段との何れかで画像処理する全面処理と、１フレームごとに前記画像データを分割して前記第１の画像処理手段と前記第２の画像処理手段とで画像処理し、処理された画像データを合成する分割処理との間で切り替え可能であることを特徴とする画像処理装置。
【０００８】
あるいは他の観点によれば本発明は以下の構成を有する。
【０００９】
撮像部と、
前記撮像部から出力される画像データが入力される前段の画像処理回路と、
前記前段の画像処理回路とカスケード接続された後段の画像処理回路とを有し、
前記前段の画像処理回路は、
前記撮像部から画像データを動画像として撮影する場合には、記録すべきデータレートが所定のデータレートを超えるならば、前記撮像部から入力される画像データの各フレームの半分を画像処理し、画像処理していない画像データを前記後段の画像処理回路に転送し、記録すべき画像データのデータレートが所定のデータレートを超えないならば、前記撮像部から入力される画像データをフレーム単位で画像処理するか、または前記後段の画像処理回路に転送し、
前記撮像部から画像データを静止画像として撮影する場合には、前記撮像部から入力される画像データを、１フレームおきに画像処理し、画像処理していないフレームを前記後段の画像処理回路に転送し、
画像処理した画像データを前記後段の画像処理回路に転送し、
前記後段の画像処理回路は、
前記前段の画像処理回路から入力された、画像処理されていない画像データを画像処理し、前記前段の画像処理回路から入力された、画像処理された画像データと合成して記録することを特徴とする撮像装置。
【発明の効果】
【００１０】
本発明によれば、複数の画像処理回路制御における協調動作機能を提供する事で、増大化しつつある処理負荷においても、柔軟かつ効果的に対応可能な画像処理装置および撮像装置を提供する事ができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る撮像装置のブロック図
【図２】本発明の実施例に係る全体制御のフローチャート
【図３】本発明の実施例に係る全面交互処理のフローチャート
【図４】本発明の実施例に係る全面前段処理のフローチャート
【図５】本発明の実施例に係る全面後段処理のフローチャート
【図６】本発明の実施例に係る半面並列処理のフローチャート
【発明を実施するための形態】
【００１２】
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。最初に本発明の実施形態について図１を参照して説明する。図１は、第１の実施形態に係る撮像装置（あるいは撮像システム）の構成を示すブロック図である。本実施形態の撮像装置は、画像データの経路に関して直列にカスケード接続された２つの画像処理回路１００、１１２を備える。画像処理回路１００、１１２は同一の回路構成を有しており、たとえば同一の半導体チップでそれぞれの回路を提供できる。但し処理の対象等は、例えばパラメータ設定等により異なるものとすることができる。この撮像装置は動画像と静止画像の両方を記録する機能を有する、たとえば一眼レフカメラであってよい。
【００１３】
図１に示す撮像装置において、カスケード接続の上流側を前段、下流側を後段と呼ぶことにする。或いは前段をマスター、後段をスレーブと呼ぶこともある。そして、図１の撮像装置では、撮像部１０１により得られた、１画面（１フレーム）が横３８４０画素×縦２１６０画素（４Ｋ２Ｋ画像）で、６０フレーム枚秒（ｆｐｓ）の動画（これを４Ｋ６０Ｐと呼ぶ）をこれら二つの画像処理回路を用いて処理する。撮像部１０１は、たとえば固体撮像素子で出力信号をＡ／Ｄ変換したデジタル画像信号を出力する。画像処理部１００と１１２はそれぞれ、フレームサイズが横３８４０画素×縦２１６０画素、フレームレートが３０ｆｐｓの動画をリアルタイムに処理する能力を持つ。すなわち、４Ｋ３０Ｐ相当のデータレート以下の動画を処理できる。換言すれば、フレームサイズが横３８４０画素×縦１０８０画素、フレームレートが６０ｆｐｓの動画を処理する能力を持つ。処理する能力を持つとは、入力フレームレートと同じか或いは高いフレームレートで画像処理後の画像データを出力できるということである。そこで、本実施形態では、動画の各フレームにおける、上半分と下半分をそれぞれの画像処理部により処理する（これを半面並列処理モードと呼ぶ）か、またはフレームごとに交互に画像処理部を切り替える（これを全面交互処理モードと呼ぶ）。こうすることで、４Ｋ６０Ｐすなわちフレームサイズが横３８４０画素×縦２１６０画素、フレームレートが６０ｆｐｓの動画を処理する。なお本実施形態では全面交互処理モードは静止画像について適用され、半面交互処理モードは動画像について適用される。このように処理モードを切り替える理由のひとつは、４Ｋ６０Ｐ動画の場合にはフレームレートに処理を間に合わせなければならないことにある。そのために、４Ｋ６０Ｐ動画については、各画像処理部は、各フレームの上下半分それぞれを定型的に処理し、それらを合成するように構成される。これに対して静止画の場合には画面サイズが４Ｋに限らず選択でき、またフレームレートという制約もないので４Ｋ６０Ｐ動画のための処理を行う必要はない。そこで、画像サイズ等のパラメータに合わせて柔軟な処理を行うために全面処理としている。さらに、他の理由として消費電力がある。半面並列処理は全面交互処理に比べて消費電力がおおきいため、４Ｋ６０Ｐに処理を間に合わせなければならないという制約がない場合には、より消費電力が少ない全面交互処理を採用する。このように半面並列処理の不利益を鑑みて、半面並列処理が必要な場合以外には全面交互処理としている。なお、半面並列処理モードにおいて、各処理回路１００、１１２がそれぞれ１フレームの上半分と下半分を処理するとしたが、１フレームを完全に上下に分割して処理することを意味しない。本実施形態では、１フレームの上側の一部と下側の一部をそれぞれ、上半分、下半分と呼び、その境界部分が一部重複するようにしてもよい。この重複部分は、各処理回路における画像処理のために必要なデータとなる。
【００１４】
そして、上流側の画像処理部１００は、撮像部１０１からの動画データのうち、自分が処理する部分の画像データを取り出し、残りは下流側の画像処理部１１２に送る。更に、画像処理部１００は、自分が処理した処理済み動画データを、画像処理部１１２に伝送路を介して送信する。また、画像処理部１００と１１２はそれぞれ、単一の半導体集積回路（ＬＳＩ）として構成され、互いに同一の構成を有する。本実施形態では、このように撮像部１０１と複数の画像処理回路とを直列に接続した構成を有している。撮像部１０１からは、撮像素子のサイズ（撮像素子の画素数）に応じたフレームサイズ（１フレームの画素数）かつ所定のフレームレートで画像データが出力される。
【００１５】
＜画像処理部１００の構成＞
まず画像処理部１００について説明する。撮像装置において、撮像部１０１は、被写体像を光電変換し、所定サイズのデジタル画像データを所定レートで出力する。入力ＩＦ部１０２は、撮像部１０１から出力された画像データを入力データとして受信する。センサーデータ分離部１０３は、撮像部１０１から出力された画像データを、画像処理部１００で処理するデータと後段の画像処理部１２０で処理するデータとに分離し、画像処理部１００で処理するデータを、メモリバス１０６およびメモリコントローラ１０８経由でＳＤＲＡＭ１１０に書き込む。すなわち、複数の画像処理回路１００と１１２がそれぞれ処理を担当する部分の画像データに応じてセンサーデータを振り分ける。
【００１６】
画像処理部１０５は、センサーデータ分離部１０３で分離され、ＳＤＲＡＭ１１０に書き込まれたデータを読み出し、画素補間やフィルタ処理、縮小といったリサイズ処理や色変換処理、例えば圧縮画像データに保存するのに最適なフォーマットであるＹＣｂＣｒ形式のフォーマットに変換する処理などの画像処理を行う。そして、画像処理部１０５は、処理後の画像データをメモリバス１０６、メモリコントローラ１０８経由でＳＤＲＡＭ１１０に記憶する。
【００１７】
ＳＤＲＡＭ１１０は、圧縮されていない状態の複数フレームの動画データを記憶可能な大容量のメモリである。ＳＤＲＡＭ１１０は、画像処理部１００とは別の半導体集積回路として構成されている。
【００１８】
メモリコントローラ１０８は、複数のバスマスタからのアクセス要求に対して、予め設定された優先度に沿って一つのバスマスタを選択し、ＳＤＲＡＭ１１０とのデータ転送を制御する。すなわちＳＤＲＡＭ１１０は複数のバスマスタにより時分割的にアクセス可能である。ＳＤＲＡＭ１１０から読み出された処理済みデータや、センサーデータ分離部１０３から送信されたセンサーデータをそれぞれ所定のサイズでパケット化し識別用のヘッダを付加したのち、出力ＩＦ１０４から後段の画像処理部にデータを送信する。
【００１９】
システム制御部１０７は、マイクロコンピュータを有し、図示しない不揮発性メモリに記録されたプログラムを実行することで、画像処理部１００の動作を制御する。また、システム制御部１０７は、操作部１１１からの指示に応じて撮像装置の全体の動作を制御する。操作部１１１は電源スイッチやその他のユーザが操作するためのスイッチ等を備える。
【００２０】
通信部１０９は、他の画像処理回路との通信を行う。通信の内容は、例えば設定されたパラメータの伝達など、画像データに限らず、各画像処理回路の制御に関わるデータの通信を含む。
【００２１】
次に画像処理回路１１２について説明する。伝送路１２６は出力ＩＦ部１０４と入力ＩＦ部１１３を接続する。本実施例では一例としてＳＬＶＳ（Ｓｃａｌａｂｌｅ Ｌｏｗ Ｖｏｌｔａｇｅ Ｓｉｇｎａｌｉｎｇ：スケーラブル低電圧信号伝送）とする。入力ＩＦ部１１３は、前段の画像処理回路１００の出力ＩＦ部１０６から出力されたデータを受信する。センサーデータ分離部１１４は、入力ＩＦ部１１３で受信したデータから画像処理回路１１２で処理するセンサーデータを分離し、分離した画像処理回路１１２で処理するデータをメモリバス１１７、メモリコントローラ１１９経由でＳＤＲＡＭ１２３に書き込む。
【００２２】
画像処理部１１６は、センサーデータ分離部１１４で分離されたデータをＳＤＲＡＭ１２３から読み出し、画素補間やフィルタ処理、縮小といったリサイズ処理や色変換処理、例えば圧縮画像データに保存するのに最適なフォーマットであるＹＣｂＣｒ形式のフォーマットに変換する処理などの画像処理を行う。画像処理部１１６は、処理後の画像データをメモリバス１１７、メモリコントローラ１１９経由でＳＤＲＡＭ１２３に記憶する。
【００２３】
ＳＤＲＡＭ１２３は、圧縮されていない状態の複数フレームの動画データを記憶可能な大容量のメモリである。ＳＤＲＡＭ１２３は、画像処理部１２０とは別の半導体集積回路として構成されている。また、本実施形態では、ＳＤＲＡＭ１１０とＳＤＲＡＭ１２３を別の半導体集積回路として構成する。
【００２４】
表示制御部１２１は、メモリバス１１７、メモリコントローラ１１９を経由して、現像処理後の画像データを読み出し、モニタ１２５に出力する。システム制御部１２７は、マイクロコンピュータを有し、図示しない不揮発性メモリに記録されたプログラムを実行することで、画像処理回路１１２の動作を制御する。
【００２５】
通信部１１８は、他の画像処理回路との通信を行う。図１の構成では画像処理回路１００の通信部１０９との間で通信を行う。
【００２６】
カードスロット１２２は、例えばＳＤカード等の着脱可能な記録媒体１２４を差し込み可能である。そして、記録媒体１２４は、カードスロット１２２に差し込まれた状態でカード入出力部１２０と電気的に接続される。この状態で、ＳＤＲＡＭ１２３に記録されている画像データを記録媒体１２４へと記録することが可能である。また、記録媒体１２４の内部に記録されたデータを画像処理回路１１２で読み出すことも可能である。
【００２７】
カード入出力部１２０、表示制御部１２１、システム制御部１２７は、画像処理回路１００では未使用であるが、画像処理回路１１２と同様に画像処理回路１００に備えられていてもよい。
【００２８】
＜撮影処理手順＞
次に全体のフローを示した図２について説明する。本実施例において、「全面」「半面」「前段」「後段」という文言が頻繁に登場する為、まずその文言について説明しておく。「全面」「半面」とは、これはセンサーからの入力データに対して、全面すなわち１フレーム分の入力データを「全面」と呼び、１フレームを上下半分に分離したデータを「半面」と呼ぶ。また、「前段」「後段」とは前述の通り、画像処理回路から見て、カスケード接続の上流側を「前段」、下流側を「後段」と呼ぶ。なお後述のとおり、半面と言っても処理の都合上重複部分があり、各画像処理回路はその重複分も含めて処理する能力を持つ。
【００２９】
図２は、画像処理回路１００のシステム制御部１０７、特にシステム制御部１０７に内蔵する不図示のプロセッサーにより実行される。すなわち本例では画像処理回路１００が、撮像装置全体の動作、たとえばセンサーデータの振り分け方などを制御する役割を担うが、撮像装置全体を制御するためのプロセッサーは別途設けてもよい。その場合には図２の手順はそのプロセッサーが実行することが望ましい。  ユーザが操作部１１１を操作し、撮像装置の電源をオンにすると、撮像装置は撮影待機状態となる。そして、この撮影待機状態において、最初にファインダー状態かライブビュー状態か否かを判定する（Ｓ２０１）。ファインダー状態とは、撮像部１０１が露光せず、センサーデータが出力されていない状態であり、たとえば一眼レフカメラであれば、クイックリターンミラーが下がった状態である。一方ライブビュー状態とは、撮像部１０１で撮影した画像をモニタ１２５に表示している状態であり、たとえば一眼レフカメラであれば、クイックリターンミラーが上がった状態である。ファインダー状態かライブビュー状態かは、例えばそれを切り替える操作部の状態により指定される。その状態が例えばメモリなどに保存されるのであれば、その状態を参照することでステップＳ２０１の判定を行うことができる。本実施形態ではファインダー状態では静止画が、ライブビュー状態では動画が撮影されるが、ライブビュー状態で静止画を撮影してもよい。なおファインダー状態あるいはライブビュー状態という用語は、本実施形態の撮像装置が一眼レフカメラの形態で実現されることを想定した用語である。したがって、ステップＳ２０１での判定は、より一般的には、動画撮影か、または静止画撮影かの判定ということもできる。動画の場合にはＳ２０５に、静止画の場合にはＳ２０２に分岐する。
【００３０】
ファインダー状態の場合、次に静止画撮影開始か否かを判定する（Ｓ２０２）。この判定も、例えば操作部１１１の操作スイッチ（レリーズボタン）が静止画撮影と動画撮影とでは異なったり、あるいは設定される動作モードが異なったりするため、それらを基準にして行うことができる。静止画撮影開始と判定された場合は、静止画撮影における一連の制御として全面交互処理モードでの処理を開始する（Ｓ２０３）。この処理の詳細については図３を参照して後で説明する。全面交互処理モードの処理が終了すると電源Ｏｆｆか否かを判定し（Ｓ２０４）、電源Ｏｆｆと判定されれば終了し、そうでなければ、最初に戻る。
【００３１】
一方ステップＳ２０１においてライブビュー状態と判定された場合は、ライブビューにおける一連の制御として全面前段/後段処理モードでの処理を開始する（Ｓ２０５）。この処理の詳細については図４及び図５を参照して後で説明する。全面前段／後段処理は、その両方を行う必要は無く、全面前段処理か、あるいは全面後段処理かのいずれか一方を行えば十分である。ステップＳ２０５ではセンサーデータが現像され、モニタ１２５に表示される。したがってステップＳ２０５による画像処理後の画像はモニタ１２５のサイズに合わせたものでよく、モニタ１２５のサイズは４Ｋ画像などに比べれば十分小さく、たとえば数百画素×数百画素程度である。次に全面前段/後段処理を抜けてくると、動画記録開始か否かを判定（Ｓ２０６）し、動画記録開始と判定されるとその次に４Ｋ６０Ｐ動画記録かどうかを判定（Ｓ２０７）、４Ｋ６０Ｐ動画記録なら半面並列処理を開始し（Ｓ２０８）、そうでなければ全面前段/後段処理を開始する（Ｓ２０９）。半面並列処理モードの処理の詳細については図６を参照して後で説明する。半面並列処理は、分割処理あるいは分割並列処理とも呼ぶ。またステップＳ２０７において４Ｋ６０Ｐでない場合とは、データレートが４Ｋ３０Ｐ相当のデータレート以下の場合とする。もしもデータレートが４Ｋ３０Ｐを大幅に超える記録モードがあれば、その場合にもステップＳ２０８が実行される。上記処理終了後、電源Ｏｆｆか否かを判定し（Ｓ２０４）、電源Ｏｆｆと判定されれば終了し、そうでなければ、最初に戻る。図２において、ステップＳ２０３、Ｓ２０５，Ｓ２０９では、一方の画像処理回路がフレーム単位で処理する。またステップＳ２０８では、双方の画像処理が１フレームを分散処理する。
【００３２】
＜全面交互処理＞
次に全面交互処理を示した図３について説明する。全面交互処理は本実施系においては静止画撮影において主に利用するが、ライブビューや動画記録等に適用してもよい。なお図３〜図６においては前段を「Ｍ」、後段を「Ｓ」で示している。また前段後段それぞれにおける手順は主としてたとえばそれぞれのシステム制御部１０７で実行されるが、画像処理部などで行われる処理もフローには含まれている。
【００３３】
まず前段側の処理について説明を行う。最初に交互処理のうち前段側で処理するか、後段側で処理するかの基準となる、レリーズカウンタが偶数か奇数かを判定する（Ｓ３０１）。本実施形態では、レリーズカウンタは、たとえば、撮影開始の指示からのフレーム数を数えるためのカウンタである。レリーズカウンタにより、例えば偶数番目のフレームと奇数番目のフレームなど、１フレームおきのフレームを特定できればよいので、レリーズカウンタはたとえば二進カウンタであってよい。あるいは、前段または後段のどちらで処理されるかを示すフラグであってもよい。本実施例ではレリーズカウンタが偶数の場合は、前段側が中心となって処理を行い、奇数の場合は後段側が中心となって処理を行うが、当然ながら逆でも構わない。したがってレリーズカウンタの初期値は任意であり、初期化しなくともよい。
【００３４】
Ｓ３０１において偶数であると判断された場合は、センサーデータの入力設定を前段側に切替え（Ｓ３０２）、レリーズカウンタをインクリメントする（Ｓ３０３）。ステップＳ３０２における入力設定の切り替えとは、たとえば、入力される１フレーム分のセンサーデータが画像処理部１０５に転送されるように、センサーデータ分離部１０３を設定することでよい。レリーズカウンタのカウント値をインクリメントした後、カウント値を後段側へ送信する処理を行う（Ｓ３０４）。レリーズカウンタのカウント値は例えば通信部１０９経由で後段側の画像処理回路１１２に送信される。
【００３５】
次に前段側は処理に備えてメモリ取得を行い（Ｓ３０５）、蓄積タイミングがくるのを待つ（Ｓ３０６）。メモリ取得とは、たとえばＳＤＲＡＭ１１０上に、必要なメモリ空間を確保することである。また蓄積タイミングとは、たとえば撮影部１０１を構成する撮像素子に電荷の蓄積を開始するタイミングで、たとえばレリーズボタンの操作に同期したタイミングでよい。静止画像の連写の場合には、レリーズボタンは押された状態のままであるので、レリーズボタンが押されてから解放されるまでの間はたとえば所定周期で蓄積タイミングとなる。このタイミングは例えばタイマなどで決めてもよいし、たとえば撮像部１０１から次の画像を蓄積可能となったタイミングで信号を出力し、その信号に基づいて決めるなどしても良い。センサー蓄積タイミングが来ると画像素子部１０１における画像に対応した電荷等の蓄積を開始し（Ｓ３０７）、所定時間の蓄積が完了すると撮像部１０１からデジタル化されたセンサーデータが入力されてくる（Ｓ３０８）。センサーデータとはいわゆるＲＡＷデータと呼ばれるデータである。
【００３６】
次にその入力データを現像処理し（Ｓ３０９）、画像ファイル生成処理を行う（Ｓ３１０）。このステップＳ３０９、Ｓ３１０の処理は、画像処理部１０５によって行われる。どのような処理を行うかは、たとえば不図示の手順で予めパラメータを与えておくことで設定できる。完成した画像ファイルはたとえばいったんメモリに格納したのちに後段側に転送する（Ｓ３１１）。転送は例えば通信部１０９経由で行うが、出力ＩＦ１０４経由で行ってもよい。転送が完了すると、ＳＤＲＡＭ１１０上に取得していたメモリを開放し（Ｓ３１２）、静止画撮影が終了されるかどうかを判定する（Ｓ３１３）。静止画撮影が終了されると判断した場合は、静止画撮影終了通知を後段側に行い（Ｓ３１４）、終了となる。静止画撮影が終了でなければ、最初のレリーズカウンタの判定に戻る。ステップＳ３１３においては、たとえば静止画撮影のためのレリーズボタンが押されていなければ静止画撮影は終了であり、押されていれば終了してないと判定できる。
【００３７】
ステップＳ３０１においてレリーズカウンタが奇数であると判断された場合は、前述の通り、後段側が中心となって処理を行う為、センサーデータの入力設定を後段側に切替え（Ｓ３１５）、レリーズカウンタをインクリメントする（Ｓ３１６）。ステップＳ３１５における入力設定の切り替えとは、たとえばセンサーデータ分離部１０３を、入力される１フレーム分のセンサーデータが出力ＩＦ部１０４を介して後段の画像処理回路１１２に転送されるよう設定することでよい。
【００３８】
次にインクリメントしたレリーズカウンタを後段側へ送信する処理を行う（Ｓ３１７）。次に蓄積タイミングがくるのを待ち（Ｓ３１８）、蓄積タイミングがくるとそれを後段側へ通知する（Ｓ３１９）。そして、静止画撮影が終了されるかどうかを判定する（Ｓ３１３）。静止画撮影が終了されると判断した場合は、静止画撮影終了通知を後段側に行い（Ｓ３１４）、終了となる。静止画撮影が終了でなければ、最初のレリーズカウンタの判定に戻る。
【００３９】
次に後段側の画像処理回路１１２の処理について説明を行う。後段側の画像処理回路１１２の処理は、システム制御部１２７が各部を制御することにより行われる。システム制御部１２７は、前段側の画像処理回路１００からのレリーズカウンタのカウント値が受信されたか否かを判別する（Ｓ３２０）。レリーズカウンタのカウント値が受信されると、システム制御部１２７は、そのレリーズカウンタが偶数か奇数かを判定する（Ｓ３２１）。
【００４０】
ステップＳ３２１の判定において偶数であると判定された場合は、前段側で画像ファイル生成まで行われる。そのため、システム制御部１２７は、後段側としてはその画像ファイルが転送されてくるのを待つ（Ｓ３２２）。画像処理回路１００から送信される画像ファイルの受信が完了すると、システム制御部１２７は、記録媒体１２４への画像ファイル書込み処理を行う（Ｓ３２９）。そして、ＳＤＲＡＭ１２３上に設定しておいたメモリを開放し（Ｓ３３０）、前段側からの静止画撮影終了通知が無いかを判定する（Ｓ３３１）。静止画撮影が継続であるなら最初に戻り、そうでなければ終了となる。
【００４１】
一方、Ｓ３２１で、レリーズカウンタのカウント値が奇数であると判定された場合は、画像処理回路１１２で画像ファイル生成まで行う必要がある。その場合にはメモリ取得を行い（Ｓ３２３）、蓄積タイミング通知が来るのを待つ（Ｓ３２４）。蓄積タイミング通知が来ると、蓄積を開始し（Ｓ３２５）、所定時間の蓄積が完了するとセンサーデータが入力されてくる（Ｓ３２６）。入力されたセンサーデータ、たとえば１フレーム分のセンサーデータはセンサーデータ分離部１１４から画像処理部１１６に転送される。
【００４２】
次にその入力データを画像処理部１１６によって現像処理し（Ｓ３２７）、画像ファイル生成を行う（Ｓ３２８）。画像ファイル生成が完了したら、記録媒体１２４への画像ファイル書込み処理を行い（Ｓ３２９）、メモリを開放し（Ｓ３３０）、前段側からの静止画撮影終了通知が無いかを判定する（Ｓ３３１）。静止画撮影が継続であるなら最初に戻り、そうでなければ終了となる。
【００４３】
以上の手順で、たとえば連続した４Ｋ２Ｋ画像を画像処理回路１００と画像処理回路１１２とで交互に処理し、記録媒体へと記録することができる。
【００４４】
＜全面前段処理＞
次に全面前段処理について示した図４について説明する。全面前段処理は本実施系においてはライブビュー及び動画記録において主に利用するが、静止画撮影においても同様の処理が適用可能な場面においては、静止画撮影に適用してもよい。特に図３においてレリーズカウンタが偶数か奇数かによらず、前段側でのみ現像処理を行うケースとほぼ同じと考えれば良い。基本的にこの処理においては、それぞれの責務は固定的に割り当てられ、前段側の責務は蓄積処理・現像処理・符号化処理、後段側の責務は書込み処理・表示処理となる。
【００４５】
まず前段側の処理について説明を行う。最初にセンサーデータ入力設定を前段側に切替える（Ｓ４０１）。
【００４６】
その次にこの後の処理の為のメモリを取得し（Ｓ４０２）、蓄積タイミングが来るのを待つ（Ｓ４０３）。蓄積タイミングが来ると、センタ蓄積を開始し（Ｓ４０４）、所定時間の蓄積が完了するとセンサーデータが入力される（Ｓ４０５）。
【００４７】
センサーデータの入力が完了すると現像処理を行い（Ｓ４０６）、動画記録中であるかどうかを判定し（Ｓ４０７）、動画記録中であると判定された場合は、前記現像処理結果に対して符号化処理を行う（Ｓ４０８）。符号化処理が完了すると動画記録用データとして後段側へ転送し（Ｓ４０９）する。また、画像処理部１０５により、現像処理済みの画像データから表示用の画像データを生成し、ＳＤＲＡＭ１１０に一旦記憶する。符号化画像データの転送後、ＳＤＲＡＭ１１０に記憶した表示用の画像データも後段側へ転送される（Ｓ４１０）。転送完了すると取得していたメモリは開放（Ｓ４１１）、動作終了か否かを判定する（Ｓ４１２）。動作終了であると判定されれば、動作終了通知を後段側に行い（Ｓ４１３）、終了となり、動作継続であると判定されれば、メモリ取得に戻る。
【００４８】
次に後段側の処理について説明を行う。最初に転送されてくるデータの為にメモリ準備を行う（Ｓ４１４）。次に動画記録中か否かを判定し（Ｓ４１５）、動画記録中であると判定された場合は、まず前段側から動画記録用データが通知されてくるのを待ち（Ｓ４１６）、そのデータを受信すると書込み処理を行う（Ｓ４１７）。動画記録は例えば図２のステップＳ２０９で行われる。そこでステップＳ４１５の判定はたとえば、ステップＳ２０５で行われる全面前段処理か、それともステップＳ２０９で行われる処理かを識別するための情報をそれぞれの工程の直前に設定し、その情報に基づいて行えばよい。次に表示用データが通知されてくるのを待ち（Ｓ４１８）、そのデータを受信すると表示更新を行う（Ｓ４１９）。ステップＳ４１８の判定も、ステップＳ４１５と同様に行うことができる。
【００４９】
次に動作終了通知が前段側からきているかを判定し（Ｓ４２０）、動作終了通知が来ていれば、取得していたメモリを解放し（Ｓ４２１）、終了となり、動作継続であると判定されれば、動画記録中か否かの判定に戻る。
【００５０】
次に全面後段処理について示した図５について説明する。全面後段処理も本実施系においてはライブビュー及び動画記録において主に利用するが、静止画撮影においても同様の処理が適用可能な場面においては、その限りではない。特に図３においてレリーズカウンタが偶数か奇数かによらず、後段側でのみ現像処理を行うケースとほぼ同じと考えれば良い。基本的にこの処理においても、それぞれの責務は固定的に割り当てられ、前段側の責務はセンサーデータ入力設定程度であり、蓄積処理・現像処理・符号化処理・書込み処理・表示処理は全て後段側となる。
【００５１】
まず前段側の処理について説明を行う。最初にセンサーデータ入力設定を後段にする（Ｓ５０１）。次に前段としてはもう動作終了タイミングが来るのを待つのみ（Ｓ５０２）であり、所望のタイミングが来たら後段側へ通知し（Ｓ５０３）、終了となる。
【００５２】
次に後段側の処理について説明を行う。最初にこの後の処理に備えてメモリ取得を行い（Ｓ５０４）、蓄積タイミングが来るのを待つ（Ｓ５０５）。
【００５３】
蓄積タイミングが来ると、センサー蓄積を開始し（Ｓ５０６）、所定時間の蓄積が完了するとセンサーデータが入力される（Ｓ５０７）。
【００５４】
センサーデータの入力が完了すると現像処理を行い（Ｓ５０８）、動画記録中であるかどうかを判定し（Ｓ５０９）、動画記録中であると判定された場合は、前記現像処理結果に対して符号化処理を行う（Ｓ５１０）。符号化処理が完了すると動画記録用データとして書込み処理を行う（Ｓ５１１）。また、画像処理部１１６は、現像処理済みの画像データから表示用の画像データを生成し、ＳＤＲＡＭ１２３に一旦記憶する。そして、ＳＤＲＡＭ１２３から表示用の画像データを読みだして表示更新が行われる（Ｓ５１２）。次に動作終了通知が前段側からきているかを判定し（Ｓ５１３）、動作終了通知が来ていれば、取得していたメモリを解放し（Ｓ５１４）、終了となり、動作継続であると判定されれば、動画記録中か否かの判定に戻る。
【００５５】
本実施形態では全面前段処理と全面後段処理とを説明したが、図２のステップＳ２０５、Ｓ２０９においては、いずれか一方のみを行ってもよいし、切り替えつつ行ってもよい。
【００５６】
＜半面並列処理＞
次に半面並列処理について示した図６について説明する。基本的にこの処理においても、それぞれの責務すなわち処理対象は固定的に割り当てられ、前段側の責務は蓄積、Ｌｏｗｅｒ（センサーデータの下半分）部の現像処理、符号化処理である。一方、後段側の責務は、Ｕｐｐｅｒ（センサーデータの上半分）部の現像処理、符号化処理、合成処理、書込み処理、表示処理となる。本実施例では最も処理負荷がかかる、横３８４０画素×縦２１６０画素、６０ｆｐｓの動画記録（４Ｋ６０Ｐ動画記録）時において、この責務分けに切替える事で、前段・後段での処理対象となる全てのセンサーデータを半分にして負荷を低減させる事を狙いとしている。因みに、Ｌｏｗｅｒ部・Ｕｐｐｅｒ部共に半分と記載しているが、本実施例においては厳密にはデータは半分ではなく、Ｌｏｗｅｒ部には若干のＵｐｐｅｒ部、Ｕｐｐｅｒ部には若干のＬｏｗｅｒ部が含まれたデータを想定している。これは丁度センサーデータの半分になる中央部分の処理において、Ｌｏｗｅｒ部は若干のＵｐｐｅｒ部、Ｕｐｐｅｒ部は若干のＬｏｗｅｒ部のデータを必要とするからである。もちろん各画像処理部はその重複部分も含めた画像データの処理能力を持つ。
【００５７】
まず前段側の処理について説明を行う。最初にセンサーデータ入力設定を前段側にする（Ｓ６０１）。次にこの後の処理に備えてメモリ取得を行い（Ｓ６０２）、蓄積タイミングが来るのを待つ（Ｓ６０３）。
【００５８】
蓄積タイミングが来ると、センサー蓄積を開始し（Ｓ６０４）、所定時間の蓄積が完了するとセンサーデータが入力される（Ｓ６０５）。
【００５９】
センサーデータの入力が完了すると、そのうちのＵｐｐｅｒ（センサーデータの上半分）部が分離されて後段側へ転送され（Ｓ６０６）、残ったＬｏｗｅｒ（センサーデータの下半分）部が現像処理される（Ｓ６０７）。後段への転送は、通信部１０９または出力ＩＦ１０４のいずれを介して行ってもよい。また、転送は、１フレーム分のデータの受信が完了する前に開始してもよい。その次に、前記現像処理結果に対して符号化処理を行う（Ｓ６０８）。符号化処理が完了すると、生成された画像処理済みの動画記録用データを後段側に転送する（Ｓ６０９）。また、現像処理済みの画像データから生成し、ＳＤＲＡＭ１１０に記憶した表示用の画像データも後段側に転送する（Ｓ６１０）。
【００６０】
全ての転送が完了すると取得していたメモリを開放し（Ｓ６１１）、動作終了か否かを判定する（Ｓ６１２）。動作終了と判定されれば、後段側へ動作終了通知を行い（Ｓ６１３）終了となり、継続と判定されれば前述のメモリ取得からやり直す。動作終了は、たとえば撮像装置の動画撮影用のスイッチが解放されたことなどを基に判定できる。
【００６１】
次に後段側の処理について説明を行う。最初にこの後段での処理に備えてメモリ取得を行い（Ｓ６１４）、分離データが転送されてくるのを待つ（Ｓ６１５）。Ｕｐｐｅｒ（センサーデータの上半分）部を前段から受信すると、そのデータの現像処理を行う（Ｓ６１６）。その次に、その現像処理結果に対して符号化処理を行う（Ｓ６１７）。符号化処理が完了すると、今度は前段側からのＬｏｗｅｒ（センサーデータの下半分）部の符号化処理後（動画記録用）データが転送されてくるのを待つ（Ｓ６１８）。
【００６２】
上記データを受信するとＵｐｐｅｒ（センサーデータの上半分）部とＬｏｗｅｒ（センサーデータの下半分）部の符号化処理後（動画記録用）の画像処理済みデータの合成処理（Ｓ６１９）を行い、全面分のデータが形成される。
【００６３】
前記動画記録用データ書込み処理が行われる（Ｓ６２０）と、今後は同様に前段側からのＬｏｗｅｒ（センサーデータの下半分）の表示用データが転送されてくるのを待つ（Ｓ６２１）。１フレームの下半分（Ｌｏｗｅｒ）の表示用データを受信すると、現像したＵｐｐｅｒ（センサーデータの上半分）部と受信したＬｏｗｅｒ（センサーデータの下半分）部の表示用データの合成処理を行う（Ｓ６２２）。これにより生成された全面分のデータを使って表示更新を行う（Ｓ６２３）。
【００６４】
次に動作終了通知が前段側から来ているかを判定する（Ｓ６２４）。動作終了ならメモリを開放し（Ｓ６２５）、処理は終了となり、継続なら分離データが転送されてくるのを待つ（Ｓ６１５）処理に戻る。
【００６５】
以上、これまで説明してきたような実施形態に沿って、カメラ設定や処理負荷に応じて、全面処理と半面並列処理とを切替えながら複数の画像処理回路で制御する。こうする事で、画像処理回路毎の処理負荷を適切に分散させる事が可能となり、増大化しつつある処理負荷においても柔軟に対応可能な撮像装置を提供する事が可能となる。
【００６６】
また、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６７】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１００、１１２：画像処理部、１０１：撮像素子部、１０２，１１３：入力ＩＦ部、１０３、１１４：センサーデータ分離部、１０４、１１５：出力ＩＦ部、１０５、１１６：画像処理部、１０７、１２７：システム制御部、１０９、１１８：通信部
【図１】
2018133710.tif 000003
【図２】
2018133710.tif 000004
【図３】
2018133710.tif 000005
【図４】
2018133710.tif 000006
【図５】
2018133710.tif 000007
【図６】
2018133710.tif 000008