(57)【要約】【課題】  被写体検出と画像符号化に共用するメモリを効率的に利用する。【解決手段】  リサイズ装置１０２は、撮像画像（センサ補正装置１１２の出力画像）をリサイズして検出処理画像を生成し、ＤＲＡＭ１０８に格納する。被写体検出装置１０３は、ＤＲＡＭ１０８から検出処理画像を読み出し、被写体を検出する。現像・ＮＲ装置１０４は、撮像画像に現像処理とノイズ低減処理を施し、その結果をＤＲＡＭ１０８に格納する。符号化装置１０６は、ＤＲＡＭ１０８の現像された画像を圧縮符号化し、符号化の中間データをＤＲＡＭ１０８に一時格納する。リサイズ装置１０２は、符号化装置１０６が使用するＤＲＡＭ１０８の容量に応じたサイズで検出処理画像を生成する。【選択図】  図１
2016039469.tif 000002
【特許請求の範囲】
【請求項１】
光学像を画像信号に変換する撮像手段と、
前記撮像手段による撮像画像から被写体検出のための検出処理画像を生成する手段と、
前記検出処理画像を使って被写体を検出する被写体検出手段と、
前記撮像画像を圧縮符号化する符号化手段と、
前記検出処理画像、前記撮像画像、及び前記符号化手段の中間データを一時記憶するメモリ手段と、
前記符号化手段の前記中間データが前記メモリ手段で占める容量に従い、前記検出処理画像のサイズを制御する制御手段
とを具備することを特徴とする撮像装置。
【請求項２】
前記サイズが前記検出処理画像の解像度であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記サイズが、前記撮像画像から前記検出処理画像に抽出される範囲であることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、より具体的には、複数の処理でメモリを共用する撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ及びデジタルビデオカメラ等の最近の撮像装置には、撮影視野内の特定の被写体、例えば人物に注目して合焦したり、被写体に追尾して撮影方向／画角を制御するものがある。
【０００３】
撮影視野内の画像から被写体を高精度に分離検出するには、被写体検出処理の対象となる画像の解像度は高い方が好ましい。特許文献１には、撮影モード（子供撮影、ポートレート、集合写真）に応じて、検出処理用画像をリサイズすることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１３０８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ほとんどの撮像装置は撮影画像を圧縮符号化して送信又は記録媒体に記録する。圧縮符号化の過程で一時データ又は中間データをワークメモリ（通常、ＤＲＡＭからなる）に保存する必要がある。しかも、符号化されるピクチャタイプによって、ワークメモリの占有率はまちまちである。
【０００６】
他方、このＤＲＡＭは、他の処理、例えば、上述の被写体検出処理による堅守利用画像データの一時記憶にも利用される。ただし、圧縮符号化以外の処理が使用できるＤＲＡＭの帯域又はデータ容量は、圧縮符号化のピクチャタイプに依存する。
【０００７】
ＤＲＡＭのトータルの帯域が許容値をオーバーすれば、システムは破綻する。破綻を回避するためにＤＲＡＭの駆動周波数を上げて許容値を大きくしても、消費電力も大きくなり、バッテリが長持ちしなくなる。
【０００８】
本発明は、圧縮符号化のピクチャタイプと被写体検出／認識処理を関係付けることでワークメモリを有効に活用する撮像装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る撮像装置は、光学像を画像信号に変換する撮像手段と、前記撮像手段による撮像画像から被写体検出のための検出処理画像を生成する手段と、前記検出処理画像を使って被写体を検出する被写体検出手段と、前記撮像画像を圧縮符号化する符号化手段と、前記検出処理画像、前記撮像画像、及び前記符号化手段の中間データを一時記憶するメモリ手段と、前記符号化手段の前記中間データが前記メモリ手段で占める容量に従い、前記検出処理画像のサイズを制御する制御手段とを具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、被写体検出と符号化で共用するメモリ手段を効率的に使用でき、その結果、被写体検出・認識を高精度で実施できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の第１の動作遷移例を示す模式図である。
【図３】図２に示す遷移を実現する動作フローチャートである。
【図４】本実施例の第２の動作遷移例を示す模式図である。
【図５】図４に示す遷移を実現する動作フローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。
【００１４】
撮影レンズ１０９は、撮影視野内の被写体の光学像を撮像センサ（又は撮像素子）１１０の撮像面に入射し、撮像センサ１１０は撮像面の光学像を画像信号に変換する。ＡＦＥ１１１は、撮像センサ１１０から出力されるアナログ画像信号をデジタル画像信号に変換し、センサ補正装置１０１は、ＡＦＥ１１１の出力画像データの、撮像センサ１１０の画素欠け及び傷等に基づく欠陥を補正する。センサ補正装置１０１は、補正後の画像データを現像・ＮＲ（ノイズ低減）装置１０４とリサイズ装置１０２に供給する。
【００１５】
現像・ＮＲ装置１０４は、センサ補正装置１０１の出力画像データに現像処理及びノイズ低減処理を施し、得られたＲＡＷ画像データを共有メモリであるＤＲＡＭ１０８の現像ワーク領域に一時格納する。表示装置１０５は、現像ワーク領域から画像データを読み出し、表示処理を行う。
【００１６】
圧縮符号化装置（ＣＯＤＥＣ）１０６は、現像ワーク領域から画像データを読み出し、所定の動き補償予測符号化方式で圧縮符号化する。圧縮符号化装置１０６は、符号化前の画像データ、中間データ及び符号化後のデータをＤＲＡＭ１０８の符号化ワーク領域に一時記憶する。
【００１７】
リサイズ装置１０２は、センサ補正装置１０１の出力画像データから、符号化装置１０６が使用するＤＲＡＭ１０８の容量に応じたデータ量になる解像度の、被写体検出・認証用の検出処理用画像データを生成する。リサイズ装置１０２は、生成した検出処理用画像データをＤＲＡＭ１０８の検出ワーク領域に一時格納する。被写体検出装置１０３は、検出ワーク領域からリサイズされた検出処理用画像データを読み出し、人物の顔などで被写体を検出及び認証する。図示しない制御装置が、被写体検出装置１０３の処理結果に従い撮影レンズ１０９のフォーカスを当該人物に合うように駆動する等、種々の処理を制御する。
【００１８】
同期制御装置１０７は、被写体検出装置１０３の被写体検出と圧縮符号化装置１０６の符号化処理をフレーム同期させ、これらの相対関係によりリサイズ装置１０２を制御する。
【００１９】
図２は、本実施例の処理の時間遷移例を示す。２０１は、圧縮符号化装置１０６による符号化のピクチャタイプの遷移例である。記録開始後、符号化はＩピクチャで始まり、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，・・・・の所定フレーム数を単位とするＧＯＰ構造で繰り返される。Ｆｒ＿０１〜Ｆｒ＿０６は、ＧＯＰ一部であるＰ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの各ピクチャを示す。
【００２０】
２０２は被写体検出装置１０３で被写体検出に使用される検出処理画像の遷移例を示す。被写体検出装置１０３は、被写体検出処理を符号化処理の周期の２倍の周期で実行する。図２に示す遷移例２０２では、Ｆｒ＿０１／０２とＦｒ＿０３／０４に対する検出処理画像はＶＧＡサイズであり、Ｆｒ＿０５／０６に対する検出処理画像は１／４の解像度のＱＶＧＡサイズである。
【００２１】
２０３は共有メモリであるＤＲＡＭ１０８の占有帯域例を示す。例えば、３２ｂｉｔデータで周波数が４００ＭＨｚの場合、ＤＲＡＭ１０８のメモリ帯域として、最大３，２００ＭＢｙｔｅ／ｓが可能である。符号化処理帯域は平均で、ＰピクチャでＬｅｖｅｌ３、ＢピクチャでＬｅｖｅｌ２であるとする。Ｆｒ＿０１では検出処理帯域はＬｅｖｅｌ４、Ｆｒ＿０２ではＬｅｖｅｌ５が使用可能でありＶＧＡ処理を可能とし、２フレームトータルでＬｅｖｅｌ１を占有する。Ｆｒ＿０３では検出処理帯域はＬｅｖｅｌ５、Ｆｒ＿４ではＬｅｖｅｌ４が使用可能でありＶＧＡ処理を可能とし、２フレームトータルでＬｅｖｅｌ１を占有する。Ｆｒ＿０５，０６では共にＬｅｖｅｌ５の占有しかできない。従って、Ｆｒ＿０５，０６に対しては、検出処理画像のサイズをＱＶＧＡに落として、メモリアクセスをトータルでＬｅｖｅｌ１とし、破綻を回避する。
【００２２】
図３は、本実施例の動作フローチャートを示す。撮影モードの開始で、撮像センサ１１０は画像信号の出力を開始する。Ｓ３０１で、同期制御装置１０７は、ユーザによる記録開始の指示を待機し、Ｓ３０２で、被写体検出装置１０３による被写体検出処理の開始タイミングを待機する。先に説明したように、被写体検出処理の周期は記録フレーム周期の２倍である。
【００２３】
検出フレーム周期内で処理する符号化のピクチャタイプが（Ｉ，Ｐ）の場合（Ｓ３０３）、Ｓ３０５で、同期制御装置１０７はリサイズ装置１０２に検出処理画像をＶＧＡサイズにするように指示する。検出フレーム周期内で処理する符号化のピクチャタイプが（Ｐ，Ｂ）又は（Ｂ，Ｐ）の場合も（Ｓ３０４）、Ｓ３０５で、同期制御装置１０７はリサイズ装置１０２に検出処理画像をＶＧＡサイズにするように指示する。ピクチャタイプが（Ｂ，Ｂ）の場合（Ｓ３０３，Ｓ３０４の何れもＮ）、Ｓ３０６で、同期制御装置１０７は、リサイズ装置１０２に検出処理画像をＱＶＧＡサイズにするように指示する。
【００２４】
このように、符号化のピクチャタイプに応じて被写体検出処理画像のサイズを制御することで、共有メモリであるＤＲＡＭ１０８のメモリ帯域を破綻させずに符号化と被写体検出・認識を実行できる。
【実施例２】
【００２５】
図２及び図３に示す動作では、ＤＲＡＭ１０８のメモリ帯域を確保するために、検出処理画像のサイズを制御したが、撮像画像（センサ補正装置１０１の出力画像）から被写体検出処理画像として抜き出す範囲を制御するようにしてのよい。以下、そのように変更した処理動作を説明する。
【００２６】
図４は、時間遷移例を示す。４０１は、圧縮符号化装置１０６による符号化のピクチャタイプの遷移例である。記録開始後、符号化はＩピクチャで始まり、Ｉ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，・・・の所定フレーム数を単位とするＧＯＰ構造で繰り返される。Ｆｒ＿０１〜Ｆｒ＿０６は、ＧＯＰ一部であるＰ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの各ピクチャを示す。
【００２７】
４０２は被写体検出装置１０３で被写体検出に使用される検出処理画像の遷移例を示す。被写体検出装置１０３は、被写体検出処理を符号化処理の周期の２倍の周期で実行する。図４に示す遷移例４０２では、Ｆｒ＿０１／０２とＦｒ＿０３／０４に対する検出処理画像は撮像画像の全体であり、Ｆｒ＿０５／０６に対する検出処理画像は撮像画像から種被写体の顔部分を抽出した部分画像からなる。
【００２８】
４０３は共有メモリであるＤＲＡＭ１０８の占有帯域例を示す。例えば、３２ｂｉｔデータで周波数が４００ＭＨｚの場合、ＤＲＡＭ１０８のメモリ帯域として、最大３，２００ＭＢｙｔｅ／ｓが可能である。符号化処理帯域は平均で、ＰピクチャでＬｅｖｅｌ３、ＢピクチャでＬｅｖｅｌ２であるとする。Ｆｒ＿０１では検出処理帯域はＬｅｖｅｌ４、Ｆｒ＿０２ではＬｅｖｅｌ５が使用可能であり、撮像画像のサイズで被写体検出処理が可能であり、２フレームトータルでＬｅｖｅｌ１を占有する。Ｆｒ＿０３では検出処理帯域はＬｅｖｅｌ５、Ｆｒ＿４ではＬｅｖｅｌ４が使用可能であり、撮像画像のサイズで被写体検出処理が可能であり、２フレームトータルでＬｅｖｅｌ１を占有する。Ｆｒ＿０５，０６では共にＬｅｖｅｌ５の占有しかできない。従って、Ｆｒ＿０５，０６に対しては、検出処理画像として撮像画像の一部を抽出して使用し、メモリアクセスをトータルでＬｅｖｅｌ１とし、破綻を回避する。
【００２９】
図５は、図４に示す例を実現する動作フローチャートを示す。撮影モードの開始で、撮像センサ１１０は画像信号の出力を開始する。Ｓ５０１で、同期制御装置１０７は、ユーザによる記録開始の指示を待機し、Ｓ５０２で、被写体検出装置１０３による被写体検出処理の開始タイミングを待機する。先に説明したように、被写体検出処理の周期は記録フレーム周期の２倍である。
【００３０】
検出フレーム周期内で処理する符号化のピクチャタイプが（Ｉ，Ｐ）の場合（Ｓ５０３）、Ｓ５０５で、同期制御装置１０７はリサイズ装置１０２に検出処理画像として撮像画像の全体を抽出するように指示する。検出フレーム周期内で処理する符号化のピクチャタイプが（Ｐ，Ｂ）又は（Ｂ，Ｐ）の場合も（Ｓ５０４）、Ｓ５０５で、同期制御装置１０７はリサイズ装置１０２に検出処理画像として撮像画像の全体を抽出するように指示する。ピクチャタイプが（Ｂ，Ｂ）の場合（Ｓ５０３，Ｓ５０４の何れもＮ）、Ｓ５０６で、同期制御装置１０７は、リサイズ装置１０２に検出処理画像として撮像画像の一部を抽出するように指示する。
【００３１】
このように、符号化のピクチャタイプに応じて、被写体検出処理画像として使用する撮像画像の抽出範囲を制御することで、共有メモリであるＤＲＡＭ１０８のメモリ帯域を破綻させずに符号化と被写体検出・認識を実行できる。
【図１】
2016039469.tif 000003
【図２】
2016039469.tif 000004
【図３】
2016039469.tif 000005
【図４】
2016039469.tif 000006
【図５】
2016039469.tif 000007