(57)【要約】【課題】複数のプロセッサを用いて画像の分割領域ごとに並列に画像処理を実行する画像処理装置および画像処理方法において、分割領域よりも広い画像領域に関する特徴量が必要な場合における処理効率の低下を抑制すること。【解決手段】  入力画像から得られる低帯域評価値および高帯域評価値を用いた画像処理を行う場合、複数のプロセッサの１つのプロセッサが、割り当てられた部分画像に、部分画像から取得した高帯域評価値および低帯域評価値とを用いて画像処理を行う。また、１つのプロセッサは、他のプロセッサに、他のプロセッサが用いるための低帯域評価値または入力画像の縮小画像を配信する。他のプロセッサは、割り当てられた部分画像に、部分画像から取得した高帯域評価値と、配信された低帯域評価値もしくは縮小画像から取得した低帯域評価値とを用いて画像処理を行って１つのプロセッサに送信する。【選択図】図４
2018055354.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対する画像処理を、前記入力画像の部分画像に割り当てられた複数のプロセッサによって並列処理する画像処理装置であって、
前記画像処理が、前記入力画像から得られる低帯域評価値および高帯域評価値を用いた画像処理であって、
前記複数のプロセッサの１つのプロセッサが、割り当てられた部分画像に、前記部分画像から取得した高帯域評価値および低帯域評価値とを用いて画像処理を行うとともに、他のプロセッサに、前記他のプロセッサが用いるための低帯域評価値または前記入力画像の縮小画像を配信し、
前記他のプロセッサが、割り当てられた部分画像に、前記部分画像から取得した前記高帯域評価値と、前記配信された低帯域評価値もしくは前記縮小画像から取得した低帯域評価値とを用いて画像処理を行って前記１つのプロセッサに送信し、
前記１つのプロセッサは、前記１つのプロセッサが画像処理を行った部分画像と、前記他のプロセッサが画像処理を行った部分画像とから、前記入力画像に前記画像処理を行った画像を生成する、
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像から、前記部分画像を生成する分割手段をさらに有し、
前記分割手段は、隣接する部分画像が重複領域を有するように前記部分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重複領域の大きさが、前記複数のプロセッサにおける高帯域評価値の生成および前記画像処理に必要な重複領域の大きさに基づいて決定されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記１つのプロセッサが、前記入力画像から前記縮小画像を生成する縮小手段を有し、
前記１つのプロセッサは、前記他のプロセッサが割り当てられた部分画像に応じて前記縮小画像の一部を前記他のプロセッサに配信する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記入力画像が上側の部分画像と下側の部分画像に分割される場合、前記１つのプロセッサは前記下側の部分画像に割り当てられることを特徴とする、請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力画像が左側の部分画像と右側の部分画像に分割される場合、前記１つのプロセッサは前記右側の部分画像に割り当てられることを特徴とする、請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記入力画像が動画像であることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像素子と、
前記撮像素子で得られた入力画像に対して画像処理を行う請求項１から請求項７のいずれか１項に記載の画像処理装置と、
を有する撮像装置。
【請求項９】
入力画像に対する画像処理を、前記入力画像の部分画像に割り当てられた複数のプロセッサによって並列処理する画像処理方法であって、
前記画像処理が、前記入力画像から得られる低帯域評価値および高帯域評価値を用いた画像処理であって、
前記複数のプロセッサの１つのプロセッサが、割り当てられた部分画像に、前記部分画像から取得した高帯域評価値および低帯域評価値とを用いて画像処理を行うとともに、他のプロセッサに、前記他のプロセッサが用いるための低帯域評価値または前記入力画像の縮小画像を配信し、
前記他のプロセッサが、割り当てられた部分画像に、前記部分画像から取得した前記高帯域評価値と、前記配信された低帯域評価値もしくは前記縮小画像から取得した低帯域評価値とを用いて画像処理を行って前記１つのプロセッサに送信し、
前記１つのプロセッサは、前記１つのプロセッサが画像処理を行った部分画像と、前記他のプロセッサが画像処理を行った部分画像とから、前記入力画像に前記画像処理を行った画像を生成する、
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータが有する複数のプロセッサを、請求項１から請求項７のいずれか１項に記載の画像処理装置における前記複数のプロセッサとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、撮像装置に関する。
【背景技術】
【０００２】
撮像素子の画素数の増加や、動画像のフレームレートの増加などに伴い、単位時間に処理すべき画像データの量もまた増加している。特許文献１では、表示画像を左右に分割し、右半分の領域の画像データと左半分の領域の画像データとを別個のパネル駆動ＬＳＩが分担して処理することにより、ＬＣＤパネルに対する高フレームレートの表示を実現する構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４３６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、引用文献１に開示された構成において、例えば分割領域よりも広い領域に関する特徴量を求める必要がある場合、ＬＳＩは割り当てられた分割領域よりも広い領域の画像データを処理する必要がある。特に、画像の低周波数領域の特徴量を求めるには、広範囲（例えば１画面分）の画像データが必要となり、分割処理の効率が低下するという問題があった。
【０００５】
本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、複数のプロセッサを用いて画像の分割領域ごとに並列に画像処理を実行する画像処理装置および画像処理方法において、分割領域よりも広い画像領域に関する特徴量が必要な場合における処理効率の低下を抑制することにある。
【課題を解決するための手段】
【０００６】
上述の目的は、入力画像に対する画像処理を、入力画像の部分画像に割り当てられた複数のプロセッサによって並列処理する画像処理装置であって、画像処理が、入力画像から得られる低帯域評価値および高帯域評価値を用いた画像処理であって、複数のプロセッサの１つのプロセッサが、割り当てられた部分画像に、部分画像から取得した高帯域評価値および低帯域評価値とを用いて画像処理を行うとともに、他のプロセッサに、他のプロセッサが用いるための低帯域評価値または入力画像の縮小画像を配信し、他のプロセッサが、割り当てられた部分画像に、部分画像から取得した高帯域評価値と、配信された低帯域評価値もしくは縮小画像から取得した低帯域評価値とを用いて画像処理を行って１つのプロセッサに送信し、１つのプロセッサは、１つのプロセッサが画像処理を行った部分画像と、他のプロセッサが画像処理を行った部分画像とから、入力画像に画像処理を行った画像を生成する、ことを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００７】
本発明によれば、複数のプロセッサを用いて画像の分割領域ごとに並列に画像処理を実行する画像処理装置および画像処理方法において、分割領域よりも広い画像領域に関する特徴量が必要な場合における処理効率の低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図２】第１実施形態における評価値の取得動作を説明するための図
【図３】第１実施形態における評価値および第２実施形態の縮小画像について説明するための図
【図４】第１実施形態の処理シーケンス図
【図５】第２実施形態に係るデジタルカメラの機能構成例を示すブロック図
【図６】第２実施形態の処理シーケンス図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下の実施形態においては本発明に係る画像処理装置を撮像装置の一例であるデジタルカメラに適用した構成について説明する。しかし、撮像に関する構成は本発明に必須でない。例えば、何らかの形式のデータファイルとして既に記録された画像データを、記憶装置や外部装置から取得する構成であってもよい。
【００１０】
●（第１実施形態）
図１は、第１実施形態に係るデジタルカメラの、表示用画像データの生成、出力に関する機能構成例を示すブロック図である。撮像センサ１０３は画像データを生成し、画像処理装置１００に出力する。撮像センサ１０３には光電変換機能を有する画素が複数配列され、レンズユニットが結像する光学像を、各画素で電気信号（画素信号）に変換して出力する。撮像センサ１０３が出力する画素信号群を画像信号と呼ぶ。
【００１１】
画像処理装置１００は複数のプロセッサを有する。本実施形態では、マスタプロセッサ１０１、スレーブプロセッサ１０２である。撮像センサ１０３が出力する画像信号は入力画像としてマスタプロセッサ１０１に入力される。本実施形態においてマスタプロセッサ１０１およびスレーブプロセッサ１０２はいずれもプログラマブルプロセッサである。しかしながら、ＡＳＳＰ(Application Specific Standard Product)、ＡＳＩＣ(Application Specific Integrated Circuit)、システムＬＳＩなどによってもマスタプロセッサ１０１およびスレーブプロセッサ１０２を実施可能である。
【００１２】
モニタ１０４はマスタプロセッサ１０１から出力される表示用画像を表示する。モニタ１０４は液晶ディスプレイ、ＴＶモニタなどの表示装置である。なお、モニタ１０４はデジタルカメラに接続された外部表示装置であってもよい。
【００１３】
マスタプロセッサ１０１の構成について説明する。
ＣＰＵ１２２は、メモリ１２４の不揮発性領域に記憶されているプログラムをメモリ１２４の揮発性領域に読み込んで実行することにより、マスタプロセッサ１０１の各処理を実現する。なお、マスタプロセッサ１０１が有する機能ブロック（回路）の１つ以上は、ＣＰＵ１２２がプログラムを実行することによって実現されてよい。
【００１４】
通信回路１２３はスレーブプロセッサ１０２の通信回路１３８と通信可能に接続され、マスタプロセッサ１０１（ＣＰＵ１２２）とスレーブプロセッサ１０２（ＣＰＵ１３７）とのデータ通信を実現する。
入力回路１１１は撮像センサ１０３からの画像信号を縮小回路１１２および分割回路１１３に出力する。なお、入力される画像信号がアナログ形式の場合、入力回路１１１でＡ／Ｄ変換してもよい。
【００１５】
縮小回路１１２は画像信号に例えば間引き処理など公知の縮小処理を適用し、解像度を低減した画像信号（縮小画像）を低帯域評価値取得回路１１５に出力する。
低帯域評価値取得回路１１５は縮小回路１１２が出力した縮小画像に対して予め定められた演算を行って低周波数帯域の評価値を取得し、低帯域評価値１１７として出力する。ＣＰＵ１２２は低帯域評価値１１７をメモリ１２４に一時的に書き込むとともに、通信回路１２３を通じてスレーブプロセッサ１０２に送信する。これにより、スレーブプロセッサ１０２は分割画像（上）の画像処理に、低帯域評価値１１７を用いることができる。なお、ＣＰＵ１２２は、低帯域評価値１１７のうち、予め定められた、分割画像（上）の画像処理に必要な範囲だけをスレーブプロセッサ１０２に送信することができる。以下、低帯域評価値１１７のうち、スレーブプロセッサ１０２に送信される部分を低帯域評価値（上）１３３と呼ぶ。
【００１６】
分割回路１１３は１画面分の画像信号を分割領域（部分画像）ごとの画像信号に分割する。本実施形態で分割回路１１３は例えば１画面を、重複領域（オーバラップ領域）を含むように上下に分割し、上側の分割領域に対応する画像信号（分割画像（上））と、下側の分割領域に対応する画像信号（分割画像（下））とを出力するものとする。また、マスタプロセッサ１０１で分割画像（下）を、スレーブプロセッサ１０２で分割画像（上）を処理するものとする。なお、入力回路１１１および分割回路１１３はマスタプロセッサ１０１とは別構成であってもよい。
【００１７】
本実施形態ではマスタプロセッサ１０１で下半分の画像を、スレーブプロセッサ１０２で上半分の画像をそれぞれ生成するが、生成時に必要な評価値を得るために、半分より多くの領域の画像を必要とする。分割回路１１３は、マスタプロセッサ１０１とスレーブプロセッサ１０２とにおいて必要となる、画像の高周波数領域に関する評価値を得るために必要な領域の画像を切り出して、分割画像（上）１３１および分割画像（下）１１４を生成する。画像の高周波数領域に関する評価値を得るために必要な領域は、画像の低周波数領域に関する評価値を得るために必要な領域よりも小さい。本実施形態では、画像の低周波数領域に関する評価値をマスタプロセッサ１０１とスレーブプロセッサ１０２の両方で個別に求める代わりに、マスタプロセッサ１０１で求めた評価値をスレーブプロセッサ１０２に提供する。これにより、分割画像（上）１３１および分割画像（下）１１４の重複領域を削減し、処理効率の低下を抑制することができる。
【００１８】
画像を分割領域ごとに別個のプロセッサで並列処理することにより、１つのプロセッサで画像の全体を処理する場合よりも高速に処理することが可能になる。分割回路１１３は分割画像（下）１１４をメモリ１２４に一時的に書き込む。分割回路１１３はまた、分割画像（上）１３１を通信回路１２３に出力する。通信回路は分割画像（上）１３１をスレーブプロセッサ１０２に送信する。
【００１９】
高帯域評価値取得回路１１６は、メモリ１２４から分割画像（下）１１４を読み出し、予め定められた演算を適用して高周波数帯域の評価値を取得し、高帯域評価値（下）１１８として画像処理回路１１９に出力する。
【００２０】
画像処理回路１１９はメモリ１２４から読み出した低帯域評価値１１７と、高帯域評価値取得回路１１６から入力される高帯域評価値（下）１１８とを用い、メモリ１２４から読み出した分割画像（下）１１４に対して画像処理を行う。
【００２１】
画像処理回路１１９が分割画像（下）１１４に対して行う画像処理には例えばノイズ除去、色補間、トーンマッピング、マトリクス変換、ガンマ補正、スケーリングなどがあるが、これらに限定されない。ここでは画像処理回路１１９は表示用の画像データ（表示画像（下）１２０）を生成するための画像処理を行うものとするが、例えば記録用の画像データを生成するための画像処理を行ってもよい。画像処理回路１１９は生成した表示画像（下）１２０をメモリ１２４に一時的に書き込む。
【００２２】
画像処理回路１１９が低帯域評価値１１７および高帯域評価値（下）１１８を画像処理にどのように用いるかに特に制限は無い。例えば画像処理回路１１９は、トーンマッピングにおけるゲイン特性の決定に低帯域評価値１１７および高帯域評価値（下）１１８を用いることができる。
【００２３】
表示回路１２１は例えばＶＲＡＭ内蔵型のディスプレイコントローラであってよく、メモリ１２４から表示画像（下）１２０を読み出してＶＲＡＭに書き込み、スレーブプロセッサ１０２からは表示画像（上）１３８を受信してＶＲＡＭに書き込む。そして、表示回路１２１は、ＶＲＡＭからモニタ１０４に表示信号を出力する。
【００２４】
なお、メモリ１２４の書き込みと読み出しは並行に実施されてもよいが、書き込まれていないデータを読み出さないように例えばＣＰＵ１２２がメモリ１２４の読み書きを制御する。
【００２５】
スレーブプロセッサ１０２の構成について説明する。
ＣＰＵ１３７は、メモリ１３９の不揮発性領域に記憶されているプログラムをメモリ１３９の揮発性領域に読み込んで実行することにより、スレーブプロセッサ１０２の各処理を実現する。なお、スレーブプロセッサ１０２が有する機能ブロック（回路）の１つ以上は、ＣＰＵ１３７がプログラムを実行することによって実現されてよい。
【００２６】
通信回路１３８はマスタプロセッサ１０１の通信回路１２３と通信可能に接続され、スレーブプロセッサ１０２（ＣＰＵ１３７）とマスタプロセッサ１０１（ＣＰＵ１２２）のデータ通信を実現する。
【００２７】
通信回路１３８を通じて受信した分割画像（上）１３１および低帯域評価値（上）１３３は、ＣＰＵ１３７がメモリ１３９に一時的に書き込む。
【００２８】
高帯域評価値取得回路１３２は、メモリ１３９から分割画像（上）１３１を読み出す。そして、高帯域評価値取得回路１３２は、高帯域評価値取得回路１１６と同様の、予め定められた演算を分割画像（上）１３１に適用して高周波数帯域の評価値を取得し、高帯域評価値（上）１３４として画像処理回路１３５に出力する。
【００２９】
画像処理回路１３５はメモリ１３９から読み出した低帯域評価値（上）１３３と、高帯域評価値取得回路１３２から入力される高帯域評価値（上）１３４とを用い、メモリ１３９から読み出した分割画像（上）１３１に対して画像処理を行う。画像処理回路１３５は、画像処理回路１１９と同様の画像処理を分割画像（上）１３１に対して行う。画像処理回路１３５は生成した表示画像（上）１３６をメモリ１３９に一時的に書き込む。
【００３０】
画像処理回路１３５が低帯域評価値（上）１３３および高帯域評価値（上）１３４を画像処理にどのように用いるかに特に制限は無い。例えば画像処理回路１３５は、トーンマッピングにおけるゲイン特性の決定に低帯域評価値１３３および高帯域評価値（上）１３４を用いることができる。
【００３１】
ＣＰＵ１３７は、表示画像（上）１３６をメモリ１３９から読み出し、通信回路１３８を介してマスタプロセッサ１０１（表示回路１２１）に送信する。表示回路１２１では受信した表示画像（上）１３６をＶＲＡＭに書き込み、表示画像（下）１２０とともに１画面分の表示画像としてモニタ１０４に出力する。
【００３２】
なお、メモリ１３９の書き込みと読み出しは並行に実施されてもよいが、書き込まれていないデータを読み出さないように例えばＣＰＵ１３７がメモリ１３９の読み書きを制御する。
【００３３】
上述した構成において、マスタプロセッサ１０１の画像処理回路１１９が表示画像（下）１２０を生成するには、分割画像（下）１１４についての高帯域評価値だけでなく、分割画像（上）１３１の分割境界（下端）の近傍領域に関する高帯域評価値が必要である。そのため、高帯域評価値取得回路１１６では分割画像（下）１１４に加え、分割画像（上）１３１の分割境界（下端）の近傍領域の画像が必要である。また、画像処理回路１１９において表示画像（下）１２０を生成する際、分割画像（上）１３１の分割境界の近傍領域の画像を参照領域として用いることが必要な場合がある。このような、ある分割画像の処理に必要となる、隣接分割画像の領域をオーバラップ領域と呼ぶ。従って、分割回路１１３は、オーバラップ領域を含むように分割画像（下）１１４を生成する。なお、高帯域評価値取得回路１１６と画像処理回路１１９とで必要なオーバラップ領域の大きさが異なる場合、分割回路１１３は大きい方のオーバラップ領域を含むように分割画像（下）１１４を生成する。
【００３４】
同様に、スレーブプロセッサ１０２の画像処理回路１３５が表示画像（上）１３８を生成するには、分割画像（上）１３１についての高帯域評価値だけでなく、分割画像（下）１１４の分割境界（上端）の近傍領域に関する高帯域評価値が必要である。そのため、高帯域評価値取得回路１３２では分割画像（上）１３１に加え、分割画像（下）１１４の分割境界（上端）の近傍領域の画像が必要である。また、画像処理回路１３５において表示画像（上）１３８を生成する際、分割画像（下）１１４の分割境界の近傍領域の画像を参照領域として用いることが必要な場合がある。従って、分割回路１１３は、スレーブプロセッサ１０２の処理で必要となるオーバラップ領域を含むように分割画像（上）１３１を生成する。なお、高帯域評価値取得回路１３２と画像処理回路１３５とで必要なオーバラップ領域の大きさが異なる場合、分割回路１１３は大きい方のオーバラップ領域を含むように分割画像（上）１３１を生成する。
【００３５】
画像処理回路１１９および１３５では、表示画像の生成に低帯域評価値も用いる。低帯域評価値の取得には高帯域評価値よりも広い範囲（例えば１画面分）の画像を必要とする。従って、低帯域評価値をマスタプロセッサ１０１とスレーブプロセッサ１０２とで別個に取得しようとすると、オーバラップ領域がさらに増大し、並列処理の効率も一層低下する。
【００３６】
そのため、本実施形態では、低帯域評価値をマスタプロセッサ１０１だけが取得し、通信回路１２３を通じてスレーブプロセッサ１０２に提供するように構成している。そのため、少なくともスレーブプロセッサ１０２に供給する分割画像（上）１３１が有するオーバラップ領域は、高帯域評価値取得回路１３２と画像処理回路１３５とで必要なオーバラップ領域ですむ。従って、オーバラップ領域を減少させることができ、処理効率の低下を抑制できる。さらに本実施形態では、低帯域評価値を縮小画像に基づいて取得することで、マスタプロセッサ１０１における低帯域評価値の取得に係る処理負荷を低減している。
【００３７】
次に、図２を用いて、低帯域評価値取得回路１１５、高帯域評価値取得回路１１６および１３２の動作についてさらに説明する。
図２（ａ）は低帯域評価値取得回路１１５が用いる縮小画像２０１を模式的に示している。低帯域評価値取得回路１１５は縮小画像２０１を複数の矩形領域２０２に分割し、矩形領域２０２ごとに画素値を合計して低帯域評価値を取得する。なお、図２（ａ）では隣接する矩形領域２０２が重複しない場合を示しているが、隣接する矩形領域２０２が一部重複するように矩形領域２０２を規定してもよい。
【００３８】
図２（ｂ）は高帯域評価値取得回路１１６および１３２が用いる分割画像２１１（分割画像（下）１１４または分割画像（上）１３１）を模式的に示している。高帯域評価値取得回路１１６および１３２は分割画像２１１を複数の矩形領域２１２に分割し、矩形領域２１２ごとに画素値を合計して高帯域評価値を取得する。なお、図２（ｂ）では隣接する矩形領域２１２が重複しない場合を示しているが、隣接する矩形領域２１２が一部重複するように矩形領域２１２を規定してもよい。
【００３９】
低帯域評価値取得回路１１５、高帯域評価値取得回路１１６および１３２は、矩形領域内の画素値を合計して評価値を取得するという点では共通である。一方で、低帯域評価値取得回路１１５が縮小された１画面分の画像を用い、高帯域評価値取得回路１１６、１３２は、縮小されていない、かつ１画面分未満の大きさの分割画像（下）１１４、分割画像（上）１３１をそれぞれ用いる。また、低帯域評価値取得回路１１５が規定する矩形領域２１２は、高帯域評価値取得回路１１６および１３２が規定する矩形領域２０２よりも大きい。
【００４０】
次に、図３（ａ）を用いて低帯域評価値の取得動作についてさらに説明する。
図３（ａ）は、低帯域評価値取得回路１１５が取得した、１画面分の低帯域評価値３０１を模式的に示している。低帯域評価値３０１は、矩形領域２０２（図２（ａ））ごとの画素値の合計である。縮小画像２０１がラスタースキャン順に低帯域評価値取得回路１１５に入力される場合、ある矩形領域２０２についての低帯域評価値は、その矩形領域２０２についてラスタースキャン順で最初の画素が入力されてから一定時間経過後に得られる。
【００４１】
低帯域評価値（上）３０２は、１画面分の低帯域評価値３０１のうち、スレーブプロセッサ１０２に送信される部分を模式的に示している。１画面分の低帯域評価値３０１をスレーブプロセッサ１０２に送信してもよいが、画像処理回路１３５が必要とする範囲の低帯域評価値３０２だけを送信する場合を示している。
【００４２】
次に図４を用いて、マスタプロセッサ１０１およびスレーブプロセッサ１０２の処理シーケンスを説明する。図４では右方向に時間が経過している。
まず、マスタプロセッサ１０１内の処理を説明する。
４０１は撮像センサ１０３から画像信号のフレーム（１）が入力回路１１１に入力される期間を示している。後続するフレーム（２）〜（５）についても同様である。ここでは、撮像センサ１０３から例えば６０ｆｐｓのフレームレートで動画像の画像信号が入力されるものとする。
【００４３】
分割回路１１３は、入力されたフレーム（１）を、分割画像（１）（上）４０２と分割画像（１）（下）４０３に分割する。
縮小回路１１２は、フレーム（１）に対して縮小処理を実行し、縮小画像（１）４０４を出力する。
低帯域評価値取得回路１１５は、縮小画像（１）４０４を入力として、低帯域評価値（１）（上）４０５と、低帯域評価値（１）（下）４０６を取得する。低帯域評価値（１）（上）４０５は画像処理回路１３５における画像処理で必要となる低帯域評価値であり、低帯域評価値（１）（下）４０６は画像処理回路１１９における画像処理で必要となる低帯域評価値である。
【００４４】
高帯域評価値取得回路１１６は、分割画像（１）（下）４０３から高帯域評価値（１）（下）４０７を取得し、画像処理回路１１９に出力する。
画像処理回路１１９は、分割画像（１）（下）４０３、低帯域評価値（１）（下）４０６、高帯域評価値（１）（下）４０７を用いて画像処理を実行し、表示画像（１）（上）４０８を生成する。
【００４５】
分割画像（１）（上）４０２は、通信回路１２３を通じてスレーブプロセッサ１０２に分割画像（１）（上）４０９として送信される。
また、低帯域評価値（１）（上）４０５は、通信回路１２３を通じてスレーブプロセッサ１０２に低帯域評価値（１）（上）４１０として送信される。
【００４６】
スレーブプロセッサ１０２の画像処理回路１３５で生成された表示画像（１）（上）４２５は、表示画像（１）（上）４１１として通信回路１２３を通じて受信される。
表示回路１２１は、表示画像（１）（下）４０８と表示画像（１）（上）４１１とを合成した１画面分の表示画像（１）４１２をモニタ１０４に出力する。
【００４７】
次にスレーブプロセッサ１０２内の処理を説明する。
スレーブプロセッサ１０２は、分割画像（１）（上）４０２を、分割画像（上）４２１として通信回路１３８で受信する。
また、スレーブプロセッサ１０２は、低帯域評価値（上）４０５を、低帯域評価値（上）４２２として通信回路１３８で受信する。
【００４８】
高帯域評価値取得回路１３２は、分割画像（上）４２１から高帯域評価値（１）（上）４２３を取得し、画像処理回路１３５に出力する。
画像処理回路１３５は、分割画像（１）（上）４２１と、低帯域評価値（上）４２２と、高帯域評価値（上）１３４とを入力として、表示画像（１）（上）４２４を生成する。
表示画像（１）（上）４２４は通信回路１３８を通じて表示回路１２１に表示画像（１）（上）４２５として送信する。
【００４９】
このようにして、フレーム（１）４０１から高帯域評価値および低帯域評価値を用いて表示画像を生成する一連の処理を、マスタプロセッサ１０１とスレーブプロセッサ１０２とで分割領域ごとに分担して実行する。マスタプロセッサ１０１とスレーブプロセッサ１０２は、フレーム（２）以降についても同様にして表示画像の生成を行う。
【００５０】
なお、図４に示すように、フレーム（１）が入力されてから表示されるまでには表示遅延４２６が発生する。
本実施形態では、画像全体について低帯域評価値が取得されるのを待たずに、表示画像（上）の生成に必要な低帯域評価値については取得後すぐにスレーブプロセッサ１０２に送信を開始するようにしている。そのため、スレーブプロセッサ１０２の画像処理回路１３５は高帯域評価値の取得が始まるとすぐに表示画像の生成処理を開始することができる。そのため、画像処理回路１３５で表示画像（上）４２４が生成されるまでの時間、ひいては表示遅延４２６を短縮することができる。このように、低帯域評価値を生成しないスレーブプロセッサに、スレーブプロセッサが必要とする低帯域評価値をできるだけ早く送信するため、低帯域評価値が最初に得られる分割画像（上）をスレーブプロセッサで処理するようにしている。
【００５１】
なお、本実施形態では２つのプロセッサによる並列処理について説明したが、画像の分割数を３以上として、分割数に等しい数のプロセッサによって同様の並列処理を実施することができる。例えば画像を水平方向に３分割（垂直方向に延びる分割線２本による分割）して、個々の分割領域を別個のプロセッサで処理するように構成することができる（すなわち、プロセッサの総数は３）。この場合も低帯域評価値は１つのプロセッサで取得し、他のプロセッサに配信するように構成することで、オーバラップ領域を低減することができる。３分割以上の場合は水平方向に分割することで、低帯域評価値を受信するプロセッサにおける処理開始遅延を抑制し、ひいては表示遅延を抑制することができる。また、画像の分割数が２である場合も、右側と左側に分割するようにしてもよい。この場合、マスタプロセッサは右側の分割領域に割り当てられる。
【００５２】
以上説明したように本実施形態では、画像の高帯域評価値および低帯域評価値を用いた画像処理を、複数のプロセッサを用いて画像の分割領域ごとに並列処理する構成において、低帯域評価値を１つのプロセッサから他のプロセッサに配信するようにした。そのため、評価値の取得のために必要となる隣接分割画像の領域（オーバラップ領域）を削減することが可能になり、処理効率の低下を抑制することができる。また、低帯域評価値を縮小画像から取得することにより、低帯域評価値の取得負荷を低減するとともに、低帯域評価値の取得に要する時間を短縮することができる。これにより、受信した低帯域評価値を用いるプロセッサの処理遅延、ひいては最終的な表示遅延を短縮することができる。
【００５３】
●（第２実施形態）
次に、図５および図６を用いて、本発明の第２実施形態について説明する。第１実施形態では、スレーブプロセッサが必要とする低帯域評価値をマスタプロセッサが取得して配信する構成であった。これに対し本実施形態では、縮小画像をマスタプロセッサからスレーブプロセッサに配信し、個々のスレーブプロセッサで低帯域評価値を取得する点で異なる。
【００５４】
図５は、第２実施形態に係るデジタルカメラの、表示用画像データの生成、出力に関する機能構成例を示すブロック図である。図５において、第１の実施形態と同様の構成については図１と同じ参照数字を付してある。以下では、第１の実施形態との相違点について重点的に説明する。
【００５５】
本実施形態でマスタプロセッサ１０１’の縮小回路１１２が生成した縮小画像５２４は、低帯域評価値取得回路１１５に出力されるとともに、メモリ１２４に一時的に書き込まれる。そして、縮小画像５２４のうち、スレーブプロセッサ１０２’の低帯域評価値取得回路５３９が必要な部分（縮小画像（上）５３８）を、ＣＰＵ１２２が通信回路１２３を通じてスレーブプロセッサ１０２’に送信する。縮小画像５２４のうち縮小画像（上）５３８としてスレーブプロセッサ１０２’に送信する部分は、スレーブプロセッサ１０２の低帯域評価値取得回路５３９で必要なオーバラップ領域を考慮して予め定めておくことができる。なお、本実施形態においても、メモリ１２４の書き込みと読み出しは並行に実施されてもよいが、書き込まれていないデータを読み出さないように例えばＣＰＵ１２２がメモリ１２４の読み書きを制御する。
【００５６】
本実施形態で低帯域評価値取得回路１１５は、マスタプロセッサ１０１’の画像処理回路１３５が必要な範囲について低帯域評価値１１７を取得すればよい。また、低帯域評価値１１７はスレーブプロセッサ１０２’には送信されない。
マスタプロセッサ１０１’の他の構成については第１実施形態と同様に動作する。
【００５７】
本実施形態のスレーブプロセッサ１０２’は、低帯域評価値取得回路５３９を有する。ＣＰＵ１３７は通信回路１３８を通じてマスタプロセッサ１０１’から縮小画像（上）５３８を受信すると、メモリ１３９に一時的に書き込む。
【００５８】
低帯域評価値取得回路５３９はメモリ１３９から縮小画像（上）５３８を読み出し、低帯域評価値取得回路１１５と同様にして縮小画像（上）５３８から低帯域評価値（上）１３３を取得し、画像処理回路１３５に出力する。なお、本実施形態でも、メモリ１３９の書き込みと読み出しは並行に実施されてもよいが、書き込まれていないデータを読み出さないように例えばＣＰＵ１３７がメモリ１３９の読み書きを制御する。
【００５９】
上述の通り、低帯域評価値の取得に必要なオーバラップ領域は高帯域評価値の取得や表示画像の生成に必要なオーバラップ領域よりも広い。しかし、本実施形態では低帯域評価値を縮小画像から取得するため、分割画像（上）１３１に必要なオーバラップ領域の大きさは第１実施形態と変わらない。また、縮小画像（上）５３８のデータ量は縮小前から大幅に削減されているため、マスタプロセッサ１０１’からスレーブプロセッサ１０２’が受信するデータ量の増加もそれほど多くない。
スレーブプロセッサ１０２’内の他の機能ブロックについては第１の実施形態と同様である。
【００６０】
図６（ａ）は、縮小回路１１２が生成する縮小画像を模式的に示している。６０１は１画面分の縮小画像であり、６０２はスレーブプロセッサ１０２’の低帯域評価値取得回路５３９で必要な縮小画像（上）である。縮小画像（上）６０２は、低帯域評価値取得回路５３９が必要とするオーバラップ領域を含んでいるため、１画面分の縮小画像６０１の上半分よりも大きい。
【００６１】
次に図６を用いて、マスタプロセッサ１０１’およびスレーブプロセッサ１０２’の処理シーケンスを説明する。図６では右方向に時間が経過している。また、第１実施形態と同様の処理に関しては同じ参照数字を付してある。以下、第１実施形態と異なる部分について説明する。
【００６２】
まず、マスタプロセッサ１０１’内の処理を説明する。
本実施形態では、縮小回路１１２が、縮小画像（１）（上）７０４および縮小画像（１）（下）７０５を生成し、縮小画像（１）（上）７０４が縮小画像（１）（上）７１０として通信回路１２３を通じてスレーブプロセッサ１０２’に送信される。
また、低帯域評価値取得回路１１５が取得する低帯域評価値はスレーブプロセッサ１０２’に送信されない。なお、図６では低帯域評価値取得回路１１５が縮小画像全体について低帯域評価値を生成する場合に関して示しているが、低帯域評価値（下）を生成するようにしてもよい。
他の処理は第１実施形態と同様である。
【００６３】
スレーブプロセッサ１０２’では、縮小画像（１）（上）７２２を受信し、低帯域評価値取得回路５３９で低帯域評価値（１）（上）７２７を取得する処理が加わる他は、第１実施形態と同様である。
【００６４】
このようにして、フレーム（１）４０１から高帯域評価値および低帯域評価値を用いて表示画像を生成する一連の処理を、マスタプロセッサ１０１’とスレーブプロセッサ１０２’とで分割領域ごとに分担して実行する。マスタプロセッサ１０１’とスレーブプロセッサ１０２’は、フレーム（２）以降についても同様にして表示画像の生成を行う。
【００６５】
なお、本実施形態においても、フレーム（１）が入力されてから表示されるまでには表示遅延７２６が発生する。
本実施形態では、画像全体について縮小処理が完了するのを待たずに、表示画像（上）の生成に必要な低帯域評価値の取得に必要な範囲の縮小画像については直ちにスレーブプロセッサ１０２’に送信を開始するようにしている（図６の７１０）。そのため、スレーブプロセッサ１０２’の低帯域評価値取得回路５３９は低帯域評価値の取得処理をすぐに開始することができる（図６の７２７）。そのため、画像処理回路１３５で表示画像（上）４２４が生成されるまでの時間、ひいては表示遅延７２６を短縮することができる。
【００６６】
なお、本実施形態についても第１実施形態と同様、画像の分割数を３以上として、分割数に等しい数のプロセッサによって同様の並列処理を実施することができる。この場合も縮小画像を１つのプロセッサで生成し、他のプロセッサに（全体もしくは必要な範囲を）配信するように構成することで、オーバラップ領域を低減することができる。３分割以上の場合は水平方向に分割することで、縮小画像を受信するプロセッサにおける処理開始遅延を抑制し、ひいては表示遅延を抑制することができる。また、画像の分割数が２である場合も、右側と左側に分割するようにしてもよい。この場合、マスタプロセッサは右側の分割領域に割り当てられる。
【００６７】
本実施形態では、画像の高帯域評価値および低帯域評価値を用いた画像処理を、複数のプロセッサを用いて画像の分割領域ごとに並列処理する構成において、低帯域評価値を取得するための縮小画像を１つのプロセッサから他のプロセッサに配信するようにした。そのため、評価値の取得のために必要となる隣接分割画像の領域（オーバラップ領域）を削減することが可能になり、処理効率の低下を抑制することができる。また、低帯域評価値を縮小画像から取得することにより、低帯域評価値の取得負荷を低減するとともに、低帯域評価値の取得に要する時間を短縮することができる。これにより、受信した低帯域評価値を用いるプロセッサの処理遅延、ひいては最終的な表示遅延を短縮することができる。
【００６８】
例えば、複数種の低帯域評価値を取得する場合のように、低帯域評価値のデータ量が縮小画像のデータ量よりも大きくなる場合、第１実施形態の構成よりも本実施形態の構成の方が通信データ量およびスレーブプロセッサの処理負荷を低減することができる。したがって、第１実施形態と第２実施形態の構成を切り替えるように構成することもできる。例えば低帯域評価値のデータ量と縮小画像のデータ量とを比較し、マスタプロセッサからスレーブプロセッサに送信するデータを動的に変更してもよい。また、取得する低帯域評価値および縮小画像の設定の組み合わせに応じて、低帯域評価値と縮小画像のどちらをマスタプロセッサからスレーブプロセッサに送信するかを決定してもよい。例えば図１の構成において、ＣＰＵ１３７がプログラムを実行することによって低帯域評価値取得回路５３９の機能を実現して第２実施形態の構成を実現することができる。また、図５の構成において縮小画像の代わりに低帯域評価値（上）１３３をスレーブプロセッサに送信するようにし、低帯域評価値取得回路５３９の動作を無効とすることで第１実施形態の構成を実現できる。
【００６９】
以上、本発明を例示的な実施形態に基づいて説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲で規定される範囲内で種々の変形及び変更が可能である。
【００７０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７１】
１０１、１０１’…マスタプロセッサ、１０２、１０２’…スレーブプロセッサ、１０４…モニタ、１１２…縮小回路、１１３…分割回路、１１５、５３９…低帯域評価値取得回路、１１６、１３２…高帯域評価値取得回路、１１９、１３５…画像処理回路
【図１】
2018055354.tif 000003
【図２】
2018055354.tif 000004
【図３】
2018055354.tif 000005
【図４】
2018055354.tif 000006
【図５】
2018055354.tif 000007
【図６】
2018055354.tif 000008