(57)【要約】【課題】  画像信号を処理するための２つ以上の処理回路を備えた画像処理装置において、必要な画質の画像を得ながら、消費電力を削減すること。【解決手段】  撮像素子から出力された画像信号を処理する第１の処理手段と、第１の処理手段の後段に接続され、第１の処理手段から転送された画像信号を処理する第２の処理手段と、予め決められた条件に基づいて、第１の処理手段と第２の処理手段のいずれにより画像信号を処理するかを選択する制御手段と、を有し、制御手段は、第１の処理手段を選択した場合に、第２の処理手段を停止するように制御する。【選択図】  図２
2020202471.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力された画像信号を処理する第１の処理手段と、
前記第１の処理手段の後段に接続され、前記第１の処理手段から転送された画像信号を処理する第２の処理手段と、
予め決められた条件に基づいて、前記第１の処理手段と前記第２の処理手段のいずれにより前記画像信号を処理するかを選択する制御手段と、を有し、
前記制御手段は、前記第１の処理手段を選択した場合に、前記第２の処理手段を停止するように制御することを特徴とする画像処理装置。
【請求項２】
前記第２の処理手段は、前記第１の処理手段よりも消費電力及び回路規模が大きく、前記第１の処理手段よりも精度の高い処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記予め決められた条件に基づいて、画質を優先させる場合に前記第２の処理手段を選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記予め決められた条件は、当該画像処理装置における温度と、電池残量の少なくともいずれか一方を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記予め決められた条件は、ライブビュー表示の指示を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記予め決められた条件は、静止画撮影で設定された画質を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記予め決められた条件は、動画撮影で設定された画質を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記予め決められた条件は、前記画像信号に含まれるノイズ量を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記予め決められた条件は、処理した画像信号の外部出力を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像素子は、複数の異なる解像度の画像信号を複数の経路を介して並行に出力することができ、
前記制御手段は、第１の解像度の画像信号を前記第１の処理手段により処理すると共に、前記第１の解像度よりも高い第２の解像度の画像信号を前記第２の処理手段により処理するように選択することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記撮像素子は、予め決められた画質での静止画撮影が指示された場合に、前記複数の異なる解像度の画像信号を出力することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
請求項１乃至１１のいずれか１項の画像処理装置と、
前記撮像素子と
を有することを特徴とする撮像装置。
【請求項１３】
撮像素子から出力された画像信号を処理する第１の処理手段と、前記第１の処理手段の後段に接続され、前記第１の処理手段から転送された画像信号を処理する第２の処理手段とを有する画像処理装置の制御方法であって、
制御手段が、予め決められた条件に基づいて、前記第１の処理手段と前記第２の処理手段のいずれにより前記画像信号を処理するかを選択する選択工程と、
前記選択工程で選択された前記第１の処理手段または前記第２の処理手段により前記画像信号を処理する処理工程と、を有し、
前記選択工程で前記第１の処理手段が選択された場合に、前記第２の処理手段を停止し、
前記選択工程で前記第２の処理手段が選択された場合に、前記第１の処理手段は、前記画像信号を処理せずに前記第２の処理手段に転送することを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、及び、撮像装置に関する。
【背景技術】
【０００２】
近年、静止画の高速な連写を可能にするために、撮像素子から高ビットレートで画像データを転送する撮像素子がある。そのような撮像素子から転送された画像データを１枚のＪＰＥＧ（Joint Photographic Experts Group）画像にするための撮像装置が、特許文献１と特許文献２に提案されている。
【０００３】
特許文献１の撮像装置は、撮像素子から順次出力される画像データに対してフロントエンジンでシェーディング補正等を実施し、補正処理後の画像データに対してＪＰＥＧ処理を行うバックエンジンを複数備えている。そして、連写で得られた一連の画像をこれらのバックエンジンが分担して処理することにより、高速化を実現している。
【０００４】
特許文献２の撮像装置は、第１画像処理部と第２画像処理部を備えることが開示されている。第２画像処理部は、撮像素子から出力される画像データが高フレームレートの時には、複数枚の画像データを合成することで、より少ないフレーム数の画像データを生成して第１画像処理部へ順次転送し、高速な撮影を可能にしている。また、第２画像処理部は、撮像素子から出力される画像データが低フレームレートの時には、画像データの合成を行わず、そのまま画像データを第１画像処理部に転送する。第１画像処理部は、第２画像処理部から転送された画像データに対してシェーディング補正等を実施し、補正後の画像データに対してＪＰＥＧ処理を行って１枚の画像を作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１９３１９号公報
【特許文献２】特開２０１８−１３７８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された撮像装置の場合、フロントエンジンと複数のバックエンジンが動作することで１枚の画像が作成されるため、消費電力が大きい、という課題があった。
【０００７】
また、特許文献２の場合、画像データは、必ず第２画像処理部を経由して第１画像処理部により処理される。そのため、高フレームレートであっても低フレームレートであっても、必ず第１画像処理部及び第２画像処理部が用いられるため、消費電力が大きい、という課題があった。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、画像信号を処理するための２つ以上の処理回路を備えた画像処理装置において、必要な画質の画像を得ながら、消費電力を削減することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力された画像信号を処理する第１の処理手段と、前記第１の処理手段の後段に接続され、前記第１の処理手段から転送された画像信号を処理する第２の処理手段と、予め決められた条件に基づいて、前記第１の処理手段と前記第２の処理手段のいずれにより前記画像信号を処理するかを選択する制御手段と、を有し、前記制御手段は、前記第１の処理手段を選択した場合に、前記第２の処理手段を停止するように制御する。
【発明の効果】
【００１０】
本発明によれば、画像信号を処理するための２つ以上の処理回路を備えた画像処理装置において、必要な画質の画像を得ながら、消費電力を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像素子の概略構成を示すブロック図。
【図２】実施形態における撮像装置の概略構成を示すブロック図。
【図３】第１の実施形態における判断処理を示すフローチャート。
【図４】第１の実施形態における撮像素子の動作タイミングと、メイン処理回路及びサブ処理回路の動作タイミングを示すタイミング図。
【図５】第１の実施形態における画像処理の流れを示すフローチャート。
【図６】第１の実施形態の変形例における判断処理を示すフローチャート。
【図７】第１の実施形態の変形例における画像処理の流れを示すフローチャート。
【図８】第２の実施形態における撮像素子の動作タイミングと、メイン処理回路及びサブ処理回路の動作タイミングを示すタイミング図。
【図９】第２の実施形態における画像処理の流れを示すフローチャート。
【図１０】第２の実施形態の変形例における判断処理を示すフローチャート。
【図１１】第２の実施形態の変形例における画像処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像素子の概略構成を示すブロック図である。
【００１４】
撮像素子３０６は、マトリックス状に配列された複数の画素１０１を有し、水平方向（行方向）において、転送信号線１０３、リセット信号線１０４、及び行選択信号線１０５に接続されている。また、垂直方向（列方向）において各列に設けられた複数の垂直出力線１０２のいずれかに接続されている。これにより、複数の行単位で画素から信号を読み出すことができる。
【００１５】
また、撮像素子３０６は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４、切り替えスイッチ１１６を有する。更に、圧縮回路１１７−ａ，１１７−ｂ、パラレル・シリアル（Ｐ／Ｓ）変換部１１８−ａ，１１８−ｂを有する。切り替えスイッチ１１６は、水平信号線１１５−ａ，１１５−ｂを介して出力される２系統の画像信号を切り替えて出力する。例えば、水平信号線１１５−ａ，１１５−ｂを交互に選択することで全行の信号を出力することができ、また、いずれか１つを選択することで１行おきに間引きした信号を選択することができる。切り替えスイッチ１１６からの画像信号は、圧縮回路１１７−ａ，１１７−ｂに入力される。圧縮回路１１７−ａ，１１７−ｂでは、ウェーブレット変換方式を用いて画像信号の圧縮を行う。
【００１６】
撮像素子３０６は、通常の読み出しと、マルチストリーム読み出しを選択的に行うことができる。通常の読み出し時の画像信号、またはマルチストリーム読み出し時のメインストリームの画像信号は、タイミング制御回路１１４のタイミングに合わせて圧縮回路１１７−ａで圧縮され、Ｐ／Ｓ変換部１１８−ａにてパラレル・シリアル変換される。そして、変換された画像信号は、撮像素子３０６の外部へと出力される。
【００１７】
また、マルチストリーム読み出し時のサブストリームの画像信号は、タイミング制御回路１１４のタイミングに合わせて圧縮回路１１７−ｂで圧縮され、Ｐ／Ｓ変換部１１８−ｂにてパラレル・シリアル変換され、撮像素子３０６の外部へと出力される。
【００１８】
なお、切り替えスイッチ１１６の後に、１画面分、または、数行分のＡＤ変換後のデジタルデータを保持することが可能なメモリを設置してもよい。そして、保持したデータを圧縮回路１１７−ａ，１１７−ｂに割り当てることにより、メインストリームの画像信号とサブストリームの画像信号を同時に読み出すことが可能となる。
【００１９】
また、読み出し駆動として、全画素を読み出す駆動、垂直方向を１／３や１／５に間引いた読み出し駆動、水平方向を加算した読み出し駆動、垂直間引き水平加算駆動など、異なる解像度の読み出し駆動を選択することが可能である。
【００２０】
本実施形態においては、一例として、静止画駆動では全画素読み出し駆動（非圧縮）、静止画撮影前の待機中のライブビュー駆動では１／５垂直間引き水平加算駆動（非圧縮）、動画記録中の駆動では１／３垂直間引き水平加算駆動（非圧縮）を採用する。なお、各駆動において読み出す画素の割合はこれらに限られるものでは無く、撮像素子３０６が有する画素数や、各回路の能力に応じて適宜変更しても良い。
【００２１】
図２は、上記構成を有する撮像素子３０６を用いた第１の実施形態における撮像装置の概略構成を示したブロック図である。
【００２２】
図２において、レンズ部３０１は、レンズ駆動部３０２によってズーム、フォーカス等が駆動制御される。メカシャッタ３０３、絞り３０４は、シャッタ・絞り駆動部３０５によって駆動制御される。レンズ部３０１及びメカシャッタ３０３を介して入射する被写体像は、絞り３０４により適切な光量に調整され、撮像素子３０６上の撮像面に結像される。
【００２３】
撮像素子３０６の撮像面に結像した被写体像は、画素１０１にて光電変換され、カラムＡＤＣブロック１１１によりアナログ信号からデジタル信号へと変換されて、サブ処理回路３１７に送られる。
【００２４】
サブ処理回路３１７は、全体制御演算部３０９による後述する判断に応じて、第１の処理と第２の処理のいずれかを行う。
【００２５】
サブ処理回路３１７は、第１の処理として、撮像素子３０６の画像信号を受け取り、画像信号の補正やシェーディング補正、現像処理を実施する。現像処理では、後述するメイン処理回路３０７に搭載されている機能よりも精度を落としており、その分、メイン処理回路３０７よりも作成される画像の品質は悪いが、消費電力や回路規模はメイン処理回路３０７よりも小さい。そして、現像した画像信号を表示部３１１に表示する。
【００２６】
また、サブ処理回路３１７は、第２の処理として、撮像素子３０６の画像信号を受け取り、画像信号の補正やシェーディング補正、現像処理を行わずに、後段のメイン処理回路３０７へそのまま転送する。
【００２７】
メイン処理回路３０７は、第２の処理によりサブ処理回路３１７から転送された画像信号を受け取り、画像信号の補正やシェーディング補正を実施し、現像処理を実施する。現像処理では、ノイズを軽減するローパスフィルタ処理や被写体のボケを補正するシャープネス補正、画像のコントラストを調整するコントラスト補正、偽色を補正する偽色補正などを実施する。
【００２８】
そして、メイン処理回路３０７により処理された画像信号は、全体制御演算部３０９の指示によって、記録媒体制御インターフェース（Ｉ／Ｆ）部３１０を介して、記録媒体３１２へ記録する。記録媒体３１２は、半導体メモリ等の着脱可能な記憶媒体であり、記録媒体３１２に記録された画像信号は、逆に記録媒体制御Ｉ／Ｆ部３１０を介して読み出すことができる。
【００２９】
第１メモリ部３０８は、画像信号を一時的に記憶するために用いられる。第２メモリ部３１４は、全体制御演算部３０９での演算結果を記憶する。外部インターフェー（Ｉ／Ｆ）部３１３は、外部コンピュータ等と通信を行うために為のインターフェースである。
【００３０】
操作部３１５は、ユーザーが各種設定や指示を行うために用いられ、静止画撮影の開始を指示するためのシャッタレリーズボタンや、動画撮影の開始及び終了を指示するための記録ボタンなどを含む。シャッタレリーズボタンは、スイッチＳＷ１とスイッチＳＷ２の２段スイッチとなっており、操作途中（例えば半押し）でスイッチＳＷ１がＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の静止画撮影の準備を指示する。また、操作完了（例えば全押し）でスイッチＳＷ２がＯＮとなり、静止画撮影を指示する。記録ボタンは、１回押下すると動画記録が指示され、動画記録中に押下すると、記録の停止が指示される。なお、シャッターレリーズボタンや記録ボタンは、これらの構成に限られるものでは無く、静止画撮影及び動画撮影の開始及び終了の指示を行えるものであればよい。操作部３１５にてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００３１】
温度計３１８は温度を計測し、計測した温度は、全体制御演算部３０９に入力され、後述するように、画像信号をサブ処理回路３１７で処理するか、メイン処理回路３０７で処理するかの判断に用いられる。電源３１９は、撮像装置全体を動作させるための電力を供給する。なお、電源３１９の状態（電池残量）は、後述するように、画像信号をサブ処理回路３１７で処理するか、メイン処理回路３０７で処理するかの判断に用いられる。
【００３２】
全体制御演算部３０９は、撮像装置全体の制御と各種演算を行う。全体制御演算部３０９では、ユーザーが設定した条件に応じて、ライブビュー表示、静止画撮影、動画撮影等の制御を行う。また、全体制御演算部３０９は、様々な条件に基づいて、撮像素子３０６からの画像信号を、サブ処理回路３１７とメイン処理回路３０７のいずれにより処理するかについての判断を行う。
【００３３】
図３は、第１の実施形態において通常の読み出し時に全体制御演算部３０９で行われる、撮像素子３０６からの画像信号をサブ処理回路３１７とメイン処理回路３０７のいずれにより処理するか、を判断する処理を示すフローチャートである。
【００３４】
まず、Ｓ１１において、全体制御演算部３０９は、ユーザーが操作部３１５を用いてライブビュー表示モードを設定したかどうかを判断する。ライブビュー表示モードの場合Ｓ１２に進み、サブ処理回路３１７を使用すると判断する。
【００３５】
一方、ライブビュー表示モードではない場合、Ｓ１３に進んで、温度計３１８が検出した温度を取得し、温度が４０度未満かどうかを判断する。４０度以上の場合にはＳ１２に進んで、サブ処理回路３１７を使用すると判断する。なお、４０度は一例であり、撮像装置の外装や形状などによって適宜変更することが可能である。
【００３６】
Ｓ１３で温度が４０度未満であると判断された場合、Ｓ１４に進んで、電源３１９の電池残量を測定し、電池残量が１０％を超えているかどうかを判断する。なお、電池残量の１０％は一例であり、撮像装置全体の消費電力量などによって適宜変更すること可能である。
【００３７】
Ｓ１４で電池残量が１０％を超えていると判断された場合、Ｓ１５に進んで、メイン処理回路３０７を使用すると判断する。一方、電池残量が１０％以下である場合、Ｓ１２に進んで、サブ処理回路３１７を使用すると判断する。
【００３８】
図４は、第１の実施形態における撮像素子３０６の動作タイミングと、メイン処理回路３０７及びサブ処理回路３１７の動作タイミングを示すタイミング図である。ここでは、静止画撮影時に、図３に示す判断処理によりメイン処理回路３０７を用いると判断された場合の一例を示す。
【００３９】
ライブビュー表示中（ＬＶ）は、サブ処理回路３１７で撮像素子３０６の画像信号を受信し、補正や現像処理を行って作成された画像を表示部３１１に表示する。
【００４０】
ユーザーが操作部３１５に含まれる不図示のシャッタレリーズボタンを押下してスイッチＳＷ２がＯＮとなると、撮像素子３０６は静止画撮影駆動に切り替わる。そして、図３に示したフローチャートに従ってメイン処理回路３０７を使用すると判断されると、サブ処理回路３１７で受けた撮像素子３０６からの画像信号をメイン処理回路３０７へ転送する。メイン処理回路３０７では、補正や現像処理を行って、得られた画像信号を記録媒体３１２に保存する。
【００４１】
撮像素子３０６の静止画撮影駆動の読み出しが完了すると、再度ライブビュー表示（ＬＶ）に復帰し、サブ処理回路３１７において、撮像素子３０６の画像信号を受信し、補正や現像処理を行い、作成された画像を表示部３１１に表示する。
【００４２】
上述した様に、撮像素子３０６の静止画撮影駆動における読み出しが完了した後に、再度ライブビュー表示に復帰するが、メイン処理回路３０７ではまだ現像処理などが行われている場合がある。このとき、表示部３１１に画像が表示されない期間を短くするために、サブ処理回路３１７とメイン処理回路３０７を同時に動作させてもよい。また、画像が表示されない期間は長くなるが、消費電力の削減のために、メイン処理回路３０７による処理の完了後に、サブ処理回路３１７を動作させるように制御してもよい。
【００４３】
図５は、第１の実施形態における画像処理の流れを示すフローチャートである。この処理は、全体制御演算部３０９により、ライブビュー表示開始が指示されると開始される。
【００４４】
まず、Ｓ１０１において、撮像素子３０６をライブビュー駆動に変更する。次に、Ｓ１０２において、図３に示す判断に従って、サブ処理回路３１７を動作させ、Ｓ１０３において、撮像素子３０６からの画像信号をサブ処理回路３１７で受信する。次に、Ｓ１０４において、サブ処理回路３１７は画像信号に対して、補正、現像、画像作成の処理を実施し、Ｓ１０５において、Ｓ１０４で作成された画像を表示部３１１に表示する。
【００４５】
次に、Ｓ１０６において、操作部３１５に含まれる不図示のシャッタレリーズボタンが押下されてスイッチＳＷ２がＯＮとなったかどうかを判断する。スイッチＳＷ２がＯＦＦと判断された場合、Ｓ１０３へ戻ってライブビュー表示を繰り返す。一方、Ｓ１０６でスイッチＳＷ２がＯＮと判断された場合、Ｓ１０７に進んで撮像素子３０６のライブビュー駆動を停止する。次に、Ｓ１０８においてサブ処理回路３１７を停止し、Ｓ１０９において撮像素子３０６を静止画撮影駆動に変更する。
【００４６】
そして、Ｓ１１０において、図３のフローチャートに従って、サブ処理回路３１７で処理するか、メイン処理回路３０７で処理するかを判断する。
【００４７】
Ｓ１１０でメイン処理回路３０７を使用すると判断された場合、Ｓ１１１において、サブ処理回路３１７の一部を動作させ、撮像素子３０６からの画像信号をメイン処理回路３０７に転送する動作を行う。更に、メイン処理回路３０７を動作させて画像信号を処理し、Ｓ１１２に進む。
【００４８】
一方、Ｓ１１０で、メイン処理回路３０７を使用すると判断されなかった場合はＳ１１６に進み、サブ処理回路３１７を動作させて撮像素子３０６からの画像信号を処理し、Ｓ１１２に進む。
【００４９】
Ｓ１１２では、Ｓ１１１またはＳ１１６で処理された静止画像を記録媒体３１２に記録し、Ｓ１１３において、メイン処理回路３０７及び／またはサブ処理回路３１７を停止させた後、Ｓ１０１に戻って、ライブビュー表示を繰り返す。
【００５０】
上記の通り第１の実施形態によれば、サブ処理回路を使用する場合には、メイン処理回路を用いず、メイン処理回路を用いる場合はサブ処理回路の一部のみを使用する。このように制御することにより、サブ処理回路及びメイン処理回路を備えた撮像装置において、必要な品質の画像信号を生成すると共に、消費電力を削減することが可能となる。
【００５１】
＜第１の実施形態の変形例＞
次に、本発明の第１の実施形態の変形例について説明する。本変形例では、図３に示すものとは異なる条件に基づいて、画像信号をサブ処理回路３１７とメイン処理回路３０７のいずれにより処理するか、を判断する。
【００５２】
本変形例では、図３で判断に用いた温度と電気残量の条件の他に、ライブビュー表示、静止画撮影、及び動画撮影を条件として判断を行う。更に、ライブビュー表示中においては、ノイズ量及びＨＤＭＩ（登録商標）などの外部Ｉ／Ｆ部３１３と接続されているかどうかを更なるなる条件とする。また、静止画撮影では、記録画質として、高画質であるＦｉｎｅ、通常の画質であるＮＯＲＭＡＬ、ＲＡＷ記録のいずれに設定されているかを条件とする。また、動画撮影では、動画撮影待機中であるか、また、記録サイズとして、４ＫまたはＦＨＤのいずれに設定されているかを条件とする。
【００５３】
図６は、第１の実施形態の変形例における通常の読み出し時に全体制御演算部３０９で行われる、撮像素子３０６からの画像信号をサブ処理回路３１７とメイン処理回路３０７のいずれにより処理するか、を判断する処理を示すフローチャートである。
【００５４】
まず、Ｓ２１において、全体制御演算部３０９は、ユーザーが設定した条件がライブビューモードまたは動画待機中であるかどうかを判断する。
【００５５】
Ｓ２１でライブビューモードまたは動画待機中と判断された場合、Ｓ２２において、ノイズ量が多いかどうかを判断する。ここでは、ライブビュー表示中または動画待機中に全体制御演算部３０９で複数フレームの画像信号のノイズ量の平均値を測定し、算出されたノイズ量が一定以上かどうかを判断する。そして、ノイズ量が多い場合はＳ２４に進み、画質の低下を抑えるためにメイン処理回路３０７の選択肢を残す。
【００５６】
一方、ノイズ量が多くない場合はＳ２３に進んで、ＨＤＭＩなどの外部Ｉ／Ｆ部３１３と接続されているかどうか（ＨＤＭＩ出力かどうか）の判断を行う。ＨＤＭＩ出力の場合はＳ２４に進んで、消費電力よりも外部出力への画質を優先できるように、メイン処理回路３０７の選択肢を残す。ＨＤＭＩ出力で無い場合はＳ３１に進み、サブ処理回路３１７を使用すると判断する。
【００５７】
一方、Ｓ２１でライブビューモード及び動画待機中モードではないと判断された場合、Ｓ２６において、動画記録中かどうかを判断する。動画記録中でない場合はＳ２８に進み、動画記録中の場合はＳ２７に進んで、動画記録サイズが４Ｋかどうかを判断する。記録サイズが４Ｋの場合はＳ２４へ進み、消費電力よりも撮影された画質を優先させるために、メイン処理回路３０７の選択肢を残す。記録サイズが４Ｋで無い場合は記録サイズがＦＨＤであるので、Ｓ３１へ進んでサブ処理回路３１７を使用すると判断する。
【００５８】
Ｓ２６で動画記録中では無い（静止画撮影）と判断された場合、Ｓ２８において静止画記録形式がＲＡＷ記録かどうかを判断する。ＲＡＷ記録で無い場合はＳ２９に進み、ＲＡＷ記録の場合はＳ３１へ進んでサブ処理回路３１７を使用すると判断する。
【００５９】
Ｓ２９では、静止画記録画質がＮｏｒｍａｌかどうかの判断を行う。静止画画質がＮｏｒｍａｌで無い場合、画質がＦｉｎｅであるのでＳ２４へ進み、画像の圧縮率を下げ、高い画質の画像を保存できるように、メイン処理回路３０７の選択肢を残す。一方、静止画画質がＮｏｒｍａｌの場合、Ｓ３１へ進んでサブ処理回路３１７を使用すると判断する。
【００６０】
Ｓ２４では、温度計３１８が検出した温度を取得し、温度が４０度未満かどうかを判断する。４０度以上の場合にはＳ１２に進んで、サブ処理回路３１７を使用すると判断する。なお、４０度は一例であり、撮像装置の外装や形状などによって適宜変更することが可能である。
【００６１】
Ｓ２４で温度が４０度未満であると判断された場合、Ｓ２５に進んで、電源３１９の電池残量を測定し、電池残量が１０％を超えているかどうかを判断する。なお、電池残量の１０％は一例であり、撮像装置全体の消費電力量などによって適宜変更すること可能である。
【００６２】
Ｓ２５で電池残量が１０％を超えると判断された場合、Ｓ３０に進んで、メイン処理回路３０７を使用すると判断する。この場合、サブ処理回路３１７は、画像信号をメイン処理回路３０７に転送する動作だけを行うようにすることで、消費電力よりも画質を優先させる。
【００６３】
一方、電池残量が１０％以下である場合、Ｓ３１に進んで、サブ処理回路３１７を使用すると判断する。この場合、サブ処理回路３１７で処理中にメイン処理回路３０７を未使用にすることで、消費電力を抑えることができる。
【００６４】
次に、第１の実施形態の変形例における画像処理の流れを、図７のフローチャートを参照して説明する。この処理は、全体制御演算部３０９により実施される。なお、図７において、図５と同様の処理には同じ参照番号を付して、適宜説明を省略する。
【００６５】
まず、Ｓ１２１でライブビュー表示開始が指示されているかどうかを判断し、ライブビュー表示開始が指示されている場合にはＳ１０１において撮像素子３０６をライブビュー駆動に変更する。
【００６６】
その後、Ｓ１２３において、図６に示す判断処理を行い、メイン処理回路３０７を使用するかどうかを判断する。メイン処理回路３０７を使用する場合はＳ１２４に進み、サブ処理回路３１７の一部を動作させ、撮像素子３０６からの画像信号をメイン処理回路３０７に転送する動作を行うと共に、メイン処理回路３０７を動作させて画像信号を処理する。そして、処理した信号を表示部３１１に表示し、Ｓ１０３に進む。
【００６７】
一方、サブ処理回路３１７を使用する場合はＳ１２５に進み、サブ処理回路３１７を動作させて画像信号を処理し、処理した信号を表示部３１１に表示し、Ｓ１０３に進む。
【００６８】
Ｓ１０３からＳ１１３の処理は、図５のＳ１０８の代わりに、Ｓ１２６においてＳ１２４またはＳ１２５で駆動したメイン処理回路３０７及び／またはサブ処理回路３１７を停止させることを除いて、第１の実施形態で説明した処理と同様である。
【００６９】
また、Ｓ１２１でライブビュー表示開始が指示されていない場合、Ｓ１２７において図６に示す判断処理を行い、メイン処理回路３０７を使用するかどうかを判断する。ここでは、例えば、動画待機中が含まれ、そのときの状態に応じて撮像素子３０６を駆動して信号が読み出される。
【００７０】
メイン処理回路３０７を使用する場合はＳ１２８に進み、サブ処理回路３１７の一部を動作させ、撮像素子３０６からの画像信号をメイン処理回路３０７に転送する動作を行うと共に、メイン処理回路３０７を動作させて画像信号を処理する。一方、サブ処理回路３１７を使用する場合はＳ１２９に進み、サブ処理回路３１７を動作させて画像信号を処理する。Ｓ１２８またはＳ１２９の後、Ｓ１３０に進む。
【００７１】
Ｓ１３０では、操作部３１５に含まれる不図示の記録ボタンが押下されて、動画記録が指示されたかどうかを判断する。動画記録が指示されていなければＳ１２７に戻り、指示されていればＳ１３１に進み、Ｓ１２８またはＳ１２９で駆動したメイン処理回路３０７及び／またはサブ処理回路３１７を停止させる。
【００７２】
Ｓ１３２では、動画撮影駆動を開始して、Ｓ１３３において図６に示す判断処理を行い、メイン処理回路３０７を使用するかどうかを判断する。メイン処理回路３０７を使用する場合はＳ１３４に進み、サブ処理回路３１７の一部を動作させ、撮像素子３０６からの画像信号をメイン処理回路３０７に転送する動作を行うと共に、メイン処理回路３０７を動作させて、Ｓ１３６に進む。
【００７３】
一方、メイン処理回路３０７を使用すると判断されなかった場合はＳ１３５に進み、サブ処理回路３１７を動作させて、Ｓ１３６に進む。
【００７４】
Ｓ１３６では、メイン処理回路３０７及び／またはサブ処理回路３１７により撮像素子３０６からの画像信号を処理して、動画像を記録媒体３１２に記録する。そして、Ｓ１３７で動画像の記録停止が指示されたかどうかを判断し、記録停止が指示されていなければＳ１３６に戻って動画像の記録を継続する。
【００７５】
一方、動画像の記録停止が指示されると、Ｓ１３８に進んで、メイン処理回路３０７及び／またはサブ処理回路３１７を停止させ、Ｓ１１１に戻って、上述した処理を繰り返す。
【００７６】
以上のように、メイン処理回路３０７とサブ処理回路３１７を選択することで、必要に応じて画質の高い画像を得ることができると共に、消費電力を削減することが可能となる。
【００７７】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態及びその変形例では、撮像素子３０６から通常の読み出しにより画像信号が読み出される場合について説明した。これに対して第２の実施形態では、撮像素子３０６から全画素を読み出す駆動（静止画駆動）と、１／５垂直間引き水平加算駆動（ライブビュー駆動）を同時に行って得られた信号を複数の経路を介して並行に出力するマルチストリーム読み出しを行う場合について説明する。なお、第２の実施形態の実施形態に係る撮像装置の構成は、図１及び図２を参照して説明した第１の実施形態のものと同じであるため、ここでは説明を省略する。
【００７８】
また、画像信号をメイン処理回路３０７とサブ処理回路３１７のいずれにより処理するか、を判断する処理は、図３に示す処理と同様であるため、説明を省略する。
【００７９】
図８は、第２の実施形態における撮像素子３０６の動作タイミングと、メイン処理回路３０７及びサブ処理回路３１７が動作するタイミングを示すタイミング図である。なお、マルチストリーム読み出し時には、１／５垂直間引き水平加算駆動（ライブビュー駆動）により得られた画像信号がメインストリームを介して、また、全画素を読み出す駆動（静止画駆動）により得られた画像信号がサブストリームを介して出力される。
【００８０】
ライブビュー表示中（ＬＶ）は、通常の読み出しによりサブ処理回路３１７で撮像素子３０６の画像信号を受信し、補正や現像処理を行って作成された画像を表示部３１１に表示する。
【００８１】
不図示のシャッタレリーズボタンが押下されてスイッチＳＷ２がＯＮとなると、撮像素子３０６はマルチストリーム駆動に切り替わり、サブ処理回路３１７は、メインストリームとサブストリームの２系統の画像信号を受信する。そして、図３に示したフローチャートに従ってメイン処理回路３０７を使用すると判断されると、サブ処理回路３１７がサブストリームを介して受けた撮像素子３０６の静止画駆動による画像信号を、メイン処理回路３０７へ転送する。メイン処理回路３０７では、補正や現像処理を行って作成された画像を記録媒体３１２に保存する。
【００８２】
また、第２の実施形態では、サブ処理回路３１７は、メインストリームを介して受けた撮像素子３０６の画像信号に対して、補正や現像処理を行い、作成されたライブビュー画像を表示部３１１に表示する。
【００８３】
そして、撮像素子３０６の静止画駆動の読み出しが完了すると、撮像素子３０６はマルチストリーム駆動を停止し、ライブビュー駆動に戻る。
【００８４】
このように、ライブビュー表示に復帰するが、メイン処理回路３０７ではまだ現像処理などが行われている場合がある。この場合であっても、サブ処理回路３１７とメイン処理回路３０７が並行して動作することで、表示部３１１にライブビュー画像が表示されない期間を短くすることができる。
【００８５】
図９は、第２の実施形態における画像処理の流れを示すフローチャートである。この処理は、全体制御演算部３０９により、ライブビュー表示開始が指示されると開始される。なお、図９に示す処理は、スイッチＳＷ２がＯＮとなって静止画撮影が指示された場合にマルチストリーム駆動に変更されるところが第１の実施形態の図５に示す処理と異なるため、スイッチＳＷ２の判断までは図５と同じステップ番号を付して、説明を省略する。
【００８６】
Ｓ１０６でスイッチＳＷ２がＯＮと判断された場合、Ｓ２０７に進んで撮像素子３０６をマルチストリーム駆動に変更する。次に、Ｓ２０８において、図３のフローチャートに従って、静止画像をサブ処理回路３１７で処理するか、メイン処理回路３０７で処理するかを判断する。
【００８７】
Ｓ２０８でメイン処理回路３０７を使用すると判断された場合、Ｓ２０９において、サブ処理回路３１７はサブストリームを介して受けた撮像素子３０６の静止画駆動による画像信号をメイン処理回路３０７に転送する。メイン処理回路３０７は、転送された画像信号を処理し、Ｓ２１０に進む。
【００８８】
ここで、第２の実施形態においては、図５に示す処理と異なり、サブ処理回路３１７を停止させないので、メインストリームを介して送られるライブビュー駆動により得られた画像信号を処理して、ライブビュー表示は継続される。
【００８９】
一方、Ｓ２０８でメイン処理回路３０７を使用すると判断されなかった場合、Ｓ２１２においてマルチストリームのライブビュー駆動を停止し、サブ処理回路３１７において、撮像素子３０６の静止画駆動による画像信号を処理し、Ｓ２１０に進む。
【００９０】
そして、Ｓ２１０において、処理された静止画画像を記録媒体３１２に記録し、Ｓ２１１においてメイン処理回路３０７が駆動していればメイン処理回路３０７を停止してから、Ｓ１０１に戻ってライブビュー駆動に変更し、ライブビュー表示を繰り返す。
【００９１】
上記の通り第２の実施形態によれば、静止画撮影中の電力消費が第１の実施形態よりも若干高くなるものの、全体的には消費電力を削減することが可能となる。
【００９２】
＜第２の実施形態の変形例＞
次に、本発明の第２の実施形態の変形例について説明する。本変形例では、図３に示すものとは異なる条件に基づいて、画像信号をサブ処理回路３１７とメイン処理回路３０７のいずれにより処理するか、を判断する。
【００９３】
本変形例では、上述した第１の実施形態の変形例と同様に、図３で判断に用いた温度及び電気残量の条件の他に、ライブビュー表示、静止画撮影、及び動画撮影を条件として判断を行う。更に、ライブビュー表示中においては、ノイズ量及びＨＤＭＩなどの外部Ｉ／Ｆ部３１３と接続されているかどうかを更なる条件とする。また、静止画撮影では、記録画質として、高画質であるＦｉｎｅ、通常の画質であるＮＯＲＭＡＬ、ＲＡＷ記録のいずれかに設定されているかを条件とする。また、動画撮影では、動画撮影待機中であるか、また、記録サイズとして、４ＫまたはＦＨＤのいずれに設定されているかを条件とする。
【００９４】
図１０は、第２の実施形態の変形例における全体制御演算部３０９で行われる、撮像素子３０６からの画像信号をサブ処理回路３１７とメイン処理回路３０７のいずれにより処理するか、を判断する処理を示すフローチャートである。なお、図１０に示す判断処理では、第１の実施形態の図６に示す判断処理と比較して、Ｓ２９において、静止画画質がＮｏｒｍａｌでは無いと判断された（すなわち、Ｆｉｎｅである）場合における処理が異なる。それ以外は、図６と同様であるため、同じステップ番号を付し、説明を省略する。
【００９５】
Ｓ２９において静止画画質がＮｏｒｍａｌでは無いと判断されると（すなわち、Ｆｉｎｅ）、Ｓ４１に進み、メインストリームの画像信号に対してサブ処理回路３１７を用い、サブストリームの画像信号に対してメイン処理回路３０７を用いると決定する。
【００９６】
次に、第２の実施形態の変形例における画像処理の流れについて、図１１のフローチャートを参照して説明する。この処理は、全体制御演算部３０９により実施される。なお、図１１において、図７と同様の処理には同じステップ番号を付して、適宜説明を省略する。
【００９７】
Ｓ１２６において、Ｓ１２４またはＳ１２５で駆動したメイン処理回路３０７及び／またはサブ処理回路３１７を停止させると、図１０のフローチャートに従って、サブ処理回路３１７及びメイン処理回路３０７を使用するかどうかを判断する。サブ処理回路３１７及びメイン処理回路３０７を使用しない場合には、Ｓ１１０に進み、使用する場合にはＳ２０７に進んで撮像素子３０６をマルチストリーム駆動に変更する。
【００９８】
次に、Ｓ２２１において、サブ処理回路３１７及びメイン処理回路３０７を駆動し、メインストリームの画像信号をサブ処理回路３１７で処理してライブビュー表示すると共に、サブストリームの画像信号をメイン処理回路３０７で処理し、Ｓ１１２で記録する。
【００９９】
以上のように、メイン処理回路３０７とサブ処理回路３１７を選択することで、マルチストリーム駆動時にも、必要に応じて画質の高い画像を得ることができると共に、消費電力を削減することが可能となる。
【０１００】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステム（例えば、カメラヘッドと画像処理装置）に適用しても、一つの機器からなる装置に適用してもよい。
【０１０１】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１０２】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０１０３】
１０１：画素、１１７−ａ，１１７−ｂ：圧縮回路、１１８−ａ，１１８−ｂ：Ｐ／Ｓ変換部、３０６：撮像素子、３０７：メイン処理回路、３０９：全体制御演算部、３１０：記憶媒体制御Ｉ／Ｆ部、３１１：表示部、３１２：記憶媒体、３１３：外部Ｉ／Ｆ部、３１５：操作部、３１７：サブ処理回路、３１８：温度計、３１９：電源
【図１】
2020202471.tif 000003
【図２】
2020202471.tif 000004
【図３】
2020202471.tif 000005
【図４】
2020202471.tif 000006
【図５】
2020202471.tif 000007
【図６】
2020202471.tif 000008
【図７】
2020202471.tif 000009
【図８】
2020202471.tif 000010
【図９】
2020202471.tif 000011
【図１０】
2020202471.tif 000012
【図１１】
2020202471.tif 000013