(57)【要約】【構成】セレクタ４８は、水平２０００画素×垂直３６０画素を有する画像データを元画像データとして繰り返し取り込む。ズーム系ＺＭ２およびＺＭ３は、取り込まれた元画像データに２系統の縮小処理を並列的に施して、各々が水平６４０画素×垂直２４０画素を有する２系統の縮小画像データを繰り返し作成する。バッファ回路ＢＦ２およびＢＦ３は、ズーム系ＺＭ２およびＺＭ３から出力された２系統の縮小画像データを合成して、水平６４０画素×垂直４８０画素を有する拡大画像データを作成する。【効果】拡大画像データの作成に要する時間の短縮と拡大画像データの作成に必要なクロック周波数の抑制とが実現される。【選択図】図５
2011172041.tif 000002
【特許請求の範囲】
【請求項１】
指定画素数を有しかつ指定画角に対応する元画像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた元画像に複数の縮小処理を並列的に施して各々が前記指定画素数よりも小さい画素数を有しかつ前記指定画角に対応する複数の第１縮小画像を作成する第１縮小手段、および
前記第１縮小手段によって作成された複数の第１縮小画像を合成して前記指定画素数よりも大きい画素数を有しかつ前記指定画角に対応する拡大画像を作成する合成手段を備える、画像処理装置。
【請求項２】
前記複数の縮小処理の各々は互いに異なるオフセットを共通のズーム係数に加算して得られる数値を参照する、請求項１記載の画像処理装置。
【請求項３】
前記合成手段は前記複数の第１縮小画像にそれぞれ対応しかつ共通のメモリエリアにアクセスする複数のメモリアクセス手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記第１縮小手段の縮小処理と並列する縮小処理を前記取り込み手段によって取り込まれた元画像に施して前記指定画素数よりも小さい画素数を有する第２縮小画像を作成する第２縮小手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記指定画素数は水平方向および垂直方向の一方の画素数に相当し、
前記第１縮小画像および前記第２縮小画像は前記水平方向および前記垂直方向の他方において互いに異なる画素数を有する、請求項４記載の画像処理装置。
【請求項６】
被写界を捉える撮像面で生成された被写界像を繰り返し出力する撮像手段をさらに備え、
前記取り込み手段は前記撮像手段から出力された被写界像を前記元画像として取り込む、請求項１ないし５のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に電子カメラに適用され、元画像に基づいて拡大画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮影画面の最大画角よりも小さい画角を有する画像切り出し枠が、撮影画面に出現した顔画像を中心とする位置に生成される。生成された画像切り出し枠内の画像は、電子ズーム処理によって拡大される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１７１４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
典型的な電子ズームの方法としては、対象画像をフレームバッファに一旦格納して通常速度で拡大ズームを実行する方法と、フレームバッファを準備する代わりにクロック周波数を増大させて高速で拡大ズームを実行する方法とが知られている。しかし、前者の方法では拡大画像の出力に１フレーム期間の遅延が発生し、後者の方法では消費電力が増大する。
【０００５】
それゆえに、この発明の主たる目的は、拡大画像の作成に要する時間を短縮でき、かつ拡大画像の作成に必要なクロック周波数を抑制できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、指定画素数を有しかつ指定画角に対応する元画像を取り込む取り込み手段(48)、取り込み手段によって取り込まれた元画像に複数の縮小処理を並列的に施して各々が指定画素数よりも小さい画素数を有しかつ指定画角に対応する複数の第１縮小画像を作成する第１縮小手段(ZM2~ZM3)、および第１縮小手段によって作成された複数の第１縮小画像を合成して指定画素数よりも大きい画素数を有しかつ指定画角に対応する拡大画像を作成する合成手段(BF2~BF3)を備える。
【０００７】
好ましくは、複数の縮小処理の各々は互いに異なるオフセットを共通のズーム係数に加算して得られる数値を参照する。
【０００８】
好ましくは、合成手段は複数の第１縮小画像にそれぞれ対応しかつ共通のメモリエリアにアクセスする複数のメモリアクセス手段(54b, 54c)を含む。
【０００９】
好ましくは、第１縮小手段の縮小処理と並列する縮小処理を取り込み手段によって取り込まれた元画像に施して指定画素数よりも小さい画素数を有する第２縮小画像を作成する第２縮小手段(ZM1)がさらに備えられる。
【００１０】
さらに好ましくは、指定画素数は水平方向および垂直方向の一方の画素数に相当し、第１縮小画像および第２縮小画像は水平方向および垂直方向の他方において互いに異なる画素数を有する。
【００１１】
好ましくは、被写界を捉える撮像面で生成された被写界像を繰り返し出力する撮像手段(16, 20)がさらに備えられ、取り込み手段は撮像手段から出力された被写界像を元画像として取り込む。
【発明の効果】
【００１２】
この発明によれば、並列的な縮小処理によって作成される第１縮小画像は、元画像の画素数よりも小さい画素数を有しかつ元画像の画角と同じ画角に対応する。また、縮小処理の後の合成処理によって作成される拡大画像は、元画像の画素数よりも大きい画素数を有しかつ元画像の画角と同じ画角に対応する。複数の縮小処理とその後の合成処理によって、拡大画像の作成に要する時間の短縮と拡大画像の作成に必要なクロック周波数の抑制とが実現される。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１４】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）は撮像面で生成される被写界像の一例を示す図解図であり、（Ｂ）は撮像装置から出力される被写界像の一例を示す図解図であり、（Ｃ）はＬＣＤモニタに表示される被写界像の一例を示す図解図であり、（Ｄ）は顔検出回路によって参照される被写界像の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】図２実施例に適用されるズーム回路の構成の一例を示すブロック図である。
【図６】図５実施例に適用されるＶズーム回路の構成の一例を示すブロック図である。
【図７】Ｖズーム処理の一部を示す図解図である。
【図８】Ｖズーム処理の他の一部を示す図解図である。
【発明を実施するための形態】
【００１５】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１６】
図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。取り込み手段１は、指定画素数を有しかつ指定画角に対応する元画像を取り込む。第１縮小手段２は、取り込み手段１によって取り込まれた元画像に複数の縮小処理を並列的に施して各々が指定画素数よりも小さい画素数を有しかつ指定画角に対応する複数の第１縮小画像を作成する。合成手段３は、第１縮小手段２によって作成された複数の第１縮小画像を合成して指定画素数よりも大きい画素数を有しかつ指定画角に対応する拡大画像を作成する。
【００１７】
並列的な縮小処理によって作成される第１縮小画像は、元画像の画素数よりも小さい画素数を有しかつ元画像の画角と同じ画角に対応する。また、縮小処理の後の合成処理によって作成される拡大画像は、元画像の画素数よりも大きい画素数を有しかつ元画像の画角と同じ画角に対応する。複数の縮小処理とその後の合成処理によって、拡大画像の作成に要する時間の短縮と拡大画像の作成に必要なクロック周波数の抑制とが実現される。
［実施例］
【００１８】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。フォーカスレンズ１２および絞り機構１４を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。図３（Ａ）に示すように、撮像面は水平４０００画素×垂直３０００画素の解像度を有する。光電変換によって生成された電荷が表現する被写界像は、同じ水平４０００画素×垂直３０００画素の解像度を有する。
【００１９】
電源が投入されると、ＣＰＵ３８は、動画取り込み処理を実行するべく、ドライバ１８ｃにプリ露光動作および間引き読み出し動作の繰り返しを命令し、ズーム回路２２を“動画取り込みモード”に設定する。
【００２０】
ドライバ１８ｃは、周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面にプリ露光を施し、かつ撮像面で生成された電荷の一部をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが、周期的に出力される。間引き読み出しの結果、撮像装置１６から出力される生画像データの解像度は、図３（Ｂ）に示すように水平２０００画素×垂直３６０画素まで低減される。
【００２１】
信号処理回路２０は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、ＹＵＶ形式に従う水平２０００画素×垂直３６０画素の画像データを出力する。ズーム回路２２は、信号処理回路２０から出力された画像データにズーム処理を施して、水平７２０画素×２４０画素の解像度を有する表示画像データ（図３（Ｃ）参照）と水平６４０画素×垂直４８０画素の解像度を有する顔検出画像データ（図３（Ｄ）参照）とを並列的に作成する。作成された表示画像データおよび顔検出画像データは、メモリ制御回路２４によって、ＳＤＲＡＭ２６の表示画像エリア２６ｄｓｐおよび顔検出画像エリア２６ｆｃにそれぞれ書き込まれる。
【００２２】
なお、図３（Ａ）〜図３（Ｄ）から分かるように、生画像データ，表示画像データおよび顔探索画像データは共通の画角に対応する。
【００２３】
ＬＣＤドライバ２８は、表示画像エリア２６ｄｓｐに格納された表示画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データに基づくリアルタイム動画像をＬＣＤモニタ３０に表示する。顔検出回路３２は、顔検出画像エリア２６ｆｃに格納された顔検出画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データから人物の顔を探索し、そして探索結果をＣＰＵ３８に通知する。
【００２４】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは、垂直方向および水平方向の各々において１６分割される。つまり、評価エリアＥＶＡは、合計２５６個の分割エリアの集合に相当する。
【００２５】
ＡＥ評価回路３４は、信号処理回路２０から出力されたＹデータのうち評価エリアＥＶＡに属するＹデータを、垂直同期信号Ｖｓｙｎｃに応答して分割エリア毎に積分する。この結果、２５６個の分割エリアにそれぞれ対応する２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路３４から出力される。
【００２６】
ＡＦ評価回路３６は、信号処理回路２０から出力されたＹデータのうち評価エリアＥＶＡに属するＹデータの高域周波数成分を垂直同期信号Ｖｓｙｎｃに応答して分割エリア毎に積分する。これによって、２５６個の分割エリアにそれぞれ対応する２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路３６から出力される。
【００２７】
キー入力装置４０に設けられたシャッタボタン４０ｓは、状態ＳＴ０〜ＳＴ３の間で遷移する。状態ＳＴ０は非操作状態に相当し、状態ＳＴ１は半押し状態に相当し、状態ＳＴ２は全押し状態に相当する。シャッタボタン４０ｓの状態が“ＳＴ０”であるとき、ＣＰＵ３８は、輝度評価回路３４から出力された２５６個の輝度評価値と顔検出回路３２から通知された探索結果と基づいて適正ＥＶ値を算出するべく、簡易ＡＥ処理を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３０に表示されるスルー画像の明るさが適度に調整される。
【００２８】
シャッタボタン４０ｓの状態が“ＳＴ１”に遷移すると、ＣＰＵ３８は、ＡＥ評価回路３４から出力された２５６個の輝度評価値と顔検出回路３２から通知された探索結果とに基づいて最適ＥＶ値を算出するべく、厳格ＡＥ処理を実行する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。
【００２９】
ＣＰＵ３８は続いて、ＡＦ処理を実行する。フォーカスレンズ１２は光軸方向に移動され、フォーカス評価回路２６から出力された２５６個のＡＦ評価値はフォーカスレンズ１２の移動処理と並列して繰り返し取り込まれる。合焦点は取り込まれた２５６個のＡＦ評価値と顔検出回路３２から通知された探索結果とを参照して探索され、フォーカスレンズ１２は発見された合焦点に配置される。
【００３０】
シャッタボタン４０ｓの状態が“ＳＴ２”に遷移すると、ＣＰＵ３８は、記録処理を実行するべく、本露光動作および全画素読み出しを１回ずつ実行することをドライバ１８ｃに命令し、ズーム回路２２を“記録モード”に設定する。
【００３１】
ドライバ１８ｃは、垂直同期信号Ｖｓｙｎｃの発生に応答して撮像面に本露光を施し、撮像面で生成された全ての電荷をラスタ走査態様で読み出す。この結果、被写界を表す水平４０００画素×垂直３０００画素の生画像データが撮像装置１６から出力される。
【００３２】
信号処理回路２０は撮像装置１６から出力された生画像データを上述と同じ要領でＹＵＶ形式の画像データに変換し、ズーム回路２２は変換された画像データをそのままメモリ制御回路２４に与える。ズーム回路２２から出力された画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６の記録画像エリア２６ｒｅｃに書き込まれる。
【００３３】
Ｉ／Ｆ４２は、こうして記録画像エリア２６ｒｅｃに格納された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをファイル形式で記録媒体４４に記録する。なお、動画取り込み処理は、記録すべき画像データが記録画像エリア２６ｒｅｃに格納された時点で再開される。
【００３４】
ズーム回路２２は、図５に示すように構成される。信号処理回路２０から出力された画像データは、セレクタ４８に与えられる。セレクタ４８は、動画取り込みモードに対応して出力端子Ａを選択し、記録モードに対応して出力端子Ｂを選択する。したがって、水平２０００画素×垂直３６０画素の画像データは出力端子Ａから出力され、水平４０００画素×垂直３０００画素の画像データは出力端子Ｂから出力される。
【００３５】
動画取り込みモードに対応して出力端子Ａから出力された水平２０００画素×垂直３６０画素の画像データは、ズーム系ＺＭ１〜ＺＭ３に並列的に入力される。ズーム系ＺＭ１は、入力画像データに縮小ズームを施して水平７２０画素×垂直２４０画素の表示画像データを作成し、作成された表示画像データをバッファ回路ＢＦ１に与える。ズーム系ＺＭ２は、入力画像データに縮小ズームを施して水平６４０画素×垂直２４０画素を有する偶数フィールドの顔検出画像データを作成し、作成された顔検出画像データをバッファ回路ＢＦ２に与える。ズーム系ＺＭ３は、入力画像データに縮小ズームを施して水平６４０画素×垂直２４０画素を有する奇数フィールドの顔検出画像データを作成し、作成された顔検出画像データをバッファ回路ＢＦ３に与える。
【００３６】
ズーム系ＺＭ１において、Ｖズーム回路５０ａは入力画像データの垂直画素数を３６０画素から２４０画素に低減し、Ｈズーム５２ａは入力画像データの水平画素数を２０００画素から７２０画素に低減する。こうして作成された表示画像データは、バッファ回路ＢＦ１のバッファメモリ５６ａに書き込まれる。バッファ回路ＢＦ１のコントローラ５４ａは、バッファメモリ５６ａに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２４に向けて発行し、メモリ制御回路２４から承認信号が返送されたときバッファメモリ５６ａの表示画像データをメモリ制御回路２４に向けて出力する。
【００３７】
ズーム系ＺＭ２において、Ｖズーム回路５０ｂは入力画像データの垂直画素数を３６０画素から２４０画素に低減し、Ｈズーム５２ｂは入力画像データの水平画素数を２０００画素から６４０画素に低減する。こうして作成された偶数フィールドの顔検出画像データは、バッファ回路ＢＦ２のバッファメモリ５６ｂに書き込まれる。バッファ回路ＢＦ２のコントローラ５４ｂは、バッファメモリ５６ｂに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２４に向けて発行し、メモリ制御回路２４から承認信号が返送されたときバッファメモリ５６ｂの顔検出画像データをメモリ制御回路２４に向けて出力する。
【００３８】
ズーム系ＺＭ３において、Ｖズーム回路５０ｃは入力画像データの垂直画素数を３６０画素から２４０画素に低減し、Ｈズーム５２ｃは入力画像データの水平画素数を２０００画素から６４０画素に低減する。こうして作成された奇数フィールドの顔検出画像データは、バッファ回路ＢＦ３のバッファメモリ５６ｃに書き込まれる。バッファ回路ＢＦ２のコントローラ５４ｃは、バッファメモリ５６ｃに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２４に向けて発行し、メモリ制御回路２４から承認信号が返送されたときバッファメモリ５６ｃの顔検出画像データをメモリ制御回路２４に向けて出力する。
【００３９】
偶数フィールドの顔検出画像データの書き込み先および奇数フィールドの顔検出画像データの書き込み先は、いずれも顔検出画像エリア２６ｆｃである。偶数フィールドの顔検出画像データは偶数ラインに相当するアドレスに書き込まれ、奇数フィールドの顔検出画像データは奇数ラインに相当するアドレスに書き込まれる。したがって、偶数フィールドの顔検出画像データおよび奇数フィールドの顔検出画像データは顔検出画像エリア２６ｆｃ上で合成され、これによって１フレームの顔検出画像データが完成する。
【００４０】
一方、記録モードに対応して出力端子Ｂから出力された水平４０００画素×垂直３０００画素の画像データは、そのままバッファ回路ＢＦ４に与えられ、バッファメモリ５６ｄに書き込まれる。コントローラ５４ｄは、バッファメモリ５６ｄに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路２４に向けて発行し、メモリ制御回路２４から承認信号が返送されたときバッファメモリ５６ｄの画像データをメモリ制御回路２４に向けて出力する。
【００４１】
Ｖズーム回路５０ａ〜５０ｃの各々は、図６に示すように構成される。入力画像データは、ラインメモリ５８を経て乗算器６０に与えられるとともに、直接的に乗算器６２に与えられる。乗算器６０は与えられた画像データに係数Ｋを乗算し、乗算器６２は与えられた画像データに係数“１−Ｋ”を乗算する。乗算器６０および６２の出力は加算器６４によって互いに加算される。加算器６４からは、係数Ｋに対応するズーム倍率を有する画像データが出力される。
【００４２】
Ｖズーム回路５０ａ〜５０ｃはいずれも画像データの垂直画素数を３６０画素から２４０画素に低減させるため、Ｖズーム回路５０ａ〜５０ｃによって参照されるズーム係数はいずれも“１．５”（＝３６０／２４０）となる。ズーム係数は１ライン毎に積算され、これによって算出された累積ズーム係数の小数部が上述した係数Ｋに相当する。係数Ｋおよび“１−Ｋ”は、累積ズーム係数の整数部に相当するラインから始まる２ラインの画像データにそれぞれ乗算される。
【００４３】
ただし、累積ズーム係数の初期値は、Ｖズーム回路ＺＭ１およびＺＭ２の各々において“０．０”を示す一方、Ｖズーム係数ＺＭ３において“０．７５”（＝ズーム係数／２）を示す。
【００４４】
したがって、図７および図８に示すように、累積ズーム係数は、Ｖズーム回路ＺＭ１およびＺＭ２に対応して“０．０”→“１．５”→“３．０”→“４．５”→…の要領で更新され、Ｖズーム回路ＺＭ３に対応して“０．７５”→“２．２５”→“３．７５”→“５．２５”→…の要領で更新される。また、累積ズーム係数の整数部は、Ｖズーム回路ＺＭ１およびＺＭ２に対応して“０”→“１”→“３”→“４”→…の要領で更新され、Ｖズーム回路ＺＭ３に対応して“０”→“２”→“３”→“５”→…の要領で更新される。さらに、累積ズーム係数の小数部は、Ｖズーム回路ＺＭ１およびＺＭ２に対応して“０．０”→“０．５”→“０．０”→“０．５”→…の要領で更新され、Ｖズーム回路ＺＭ３に対応して“０．７５”→“０．２５”→“０．７５”→“０．２５”→…の要領で更新される。
【００４５】
この結果、表示画像データおよび偶数フィールドの顔探索画像データの各々を形成するラインは、図７に示す位置に割り当てられる。また、奇数フィールドの顔探索画像データの各々を形成するラインは、図８に示す位置に割り当てられる。
【００４６】
以上の説明から分かるように、セレクタ４８は、水平２０００画素×垂直３６０画素を有する画像データを元画像データとして繰り返し取り込む。ズーム系ＺＭ２およびＺＭ３は、取り込まれた元画像データに２系統の縮小処理を並列的に施して、各々が水平６４０画素×垂直２４０画素を有する２系統の縮小画像データを繰り返し作成する。バッファ回路ＢＦ２およびＢＦ３は、ズーム系ＺＭ２およびＺＭ３から出力された２系統の縮小画像データを合成して、水平６４０画素×垂直４８０画素を有する拡大画像データを作成する。
【００４７】
並列的な縮小処理によって作成される縮小画像データは、元画像データの画素数よりも小さい画素数を有しかつ元画像データの画角と同じ画角に対応する。また、縮小処理の後の合成処理によって作成される拡大画像データは、元画像データの画素数よりも大きい画素数を有しかつ元画像データの画角と同じ画角に対応する。複数の縮小処理とその後の合成処理によって、拡大画像データの作成に要する時間の短縮と拡大画像データの作成に必要なクロック周波数の抑制とが実現される。
【００４８】
なお、この実施例ではスチルカメラを想定しているが、この発明はムービーカメラにも適用できる。
【符号の説明】
【００４９】
１０  …ディジタルカメラ
１６  …撮像装置
２０  …信号処理回路
２２  …ズーム回路
２６  …ＳＤＲＡＭ
２８  …ＬＣＤドライバ
３６  …顔検出回路
【図１】
2011172041.tif 000003
【図２】
2011172041.tif 000004
【図３】
2011172041.tif 000005
【図４】
2011172041.tif 000006
【図５】
2011172041.tif 000007
【図６】
2011172041.tif 000008
【図７】
2011172041.tif 000009
【図８】
2011172041.tif 000010