(57)【要約】      （修正有）【課題】高周波成分を有する物体像に相当する物体の動きに起因する画質の低下を抑制することができる画像処理装置を提供する。【解決手段】イメージセンサ１６は、被写界像を表す生画像データを繰り返し出力する。ＭＰ４コーデック４０は、イメージセンサ１６から出力された生画像データに基づくＹＵＶ形式の画像データを指定圧縮率で圧縮する。ＣＰＵ３６は、イメージセンサ１６から出力された画像データに基づいて、高周波成分を有する領域を注目として特定し、さらに動きを示す領域を動きブロックとして特定する。ＣＰＵ３６はまた、注目エリアと動きブロックとの重複量が増大するほど、指定圧縮率の大きさを低減する。【効果】高周波成分を有する画像に相当する物体の動きに起因する画質の低下が抑制される。【選択図】図２
2012129814.tif 000002
【特許請求の範囲】
【請求項１】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段、
高周波成分を有する第１画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定手段、
動きを示す第２画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定手段、および
前記第１特定手段によって特定された第１画像領域と前記第２特定手段によって特定された第２画像領域との重複量が増大するほど前記指定圧縮率の大きさを低減する調整手段を備える、画像処理装置。
【請求項２】
前記第２特定手段は、被写界に割り当てられた複数の部分エリアの各々に属する部分画像の動きを前記取り込み手段によって取り込まれた被写界像に基づいて検出する動き検出手段、および前記動き検出手段によって検出された動きに基づいて前記第２画像領域を特定する第２画像領域特定手段を含む、請求項１記載の画像処理装置。
【請求項３】
被写界全体の動きを前記取り込み手段によって取り込まれた被写界像に基づいて判別する判別手段、および
前記判別手段の判別結果に応じて前記調整手段の起動／停止を制御する制御手段をさらに備える、請求項１または２記載の画像処理装置。
【請求項４】
前記制御手段は、前記被写界全体の動き量が基準を下回るとき前記調整手段を起動する一方、前記被写界全体の動き量が前記基準を上回るとき前記調整手段を停止する、請求項３記載の画像処理装置。
【請求項５】
前記第１特定手段は、被写界に割り当てられた複数の部分エリアの各々に属する部分画像の高周波成分を前記取り込み手段によって取り込まれた被写界像に基づいて検出する高周波成分検出手段、および前記高周波成分検出手段によって検出された高周波成分に基づいて前記第１画像領域を特定する第１画像領域特定手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記圧縮手段はインター符号化方式で圧縮処理を実行する、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項７】
被写界像を繰り返し取り込む取り込み手段、および前記取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段を備える画像処理装置のプロセッサに、
高周波成分を有する第１画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ、
動きを示す第２画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ、および
前記第１特定ステップによって特定された第１画像領域と前記第２特定ステップによって特定された第２画像領域との重複量が増大するほど前記指定圧縮率の大きさを低減する調整ステップを実行させるための、画像処理プログラム。
【請求項８】
被写界像を繰り返し取り込む取り込み手段、および前記取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段を備える画像処理装置によって実行される画像処理方法であって、
高周波成分を有する第１画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ、
動きを示す第２画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ、および
前記第１特定ステップによって特定された第１画像領域と前記第２特定ステップによって特定された第２画像領域との重複量が増大するほど前記指定圧縮率の大きさを低減する調整ステップを備える、画像処理方法。
【請求項９】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
高周波成分を有する第１画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ、
動きを示す第２画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ、および
前記第１特定ステップによって特定された第１画像領域と前記第２特定ステップによって特定された第２画像領域との重複量が増大するほど前記指定圧縮率の大きさを低減する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段、
外部制御プログラムを入力する入力手段、および
前記入力手段によって入力された外部制御プログラムとメモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
高周波成分を有する第１画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ、
動きを示す第２画像領域を前記取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ、および
前記第１特定ステップによって特定された第１画像領域と前記第２特定ステップによって特定された第２画像領域との重複量が増大するほど前記指定圧縮率の大きさを低減する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特にディジタルビデオカメラに適用され、被写界像を指定圧縮率で圧縮する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、画像データは、２次元ウェーブレット変換によって圧縮される。撮像面の手振れ量は、２次元ウェーブレット変換によって得られたＬＨサブバンド係数およびＨＬサブバンド係数に基づいて検出される。検出された手振れ量が基準を上回ると、画像データの圧縮率が低減される。これによって、手振れに起因する圧縮画像データの品質の劣化を抑制することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、圧縮画像データの品質は、高周波成分を有する物体像に相当する物体の動きによっても劣化する。背景技術では、このような動きに応じて圧縮率が調整されることはなく、処理性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、高周波成分を有する物体像に相当する物体の動きに起因する画質の低下を抑制することができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を繰り返し取り込む取り込み手段(16)、取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段(40)、高周波成分を有する第１画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定手段(S25, S71)、動きを示す第２画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定手段(S79~S81)、および第１特定手段によって特定された第１画像領域と第２特定手段によって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する調整手段(S83~S89)を備える。
【０００７】
好ましくは、第２特定手段は、被写界に割り当てられた複数の部分エリアの各々に属する部分画像の動きを取り込み手段によって取り込まれた被写界像に基づいて検出する動き検出手段(S79)、および動き検出手段によって検出された動きに基づいて第２画像領域を特定する第２画像領域特定手段(S81)を含む。
【０００８】
好ましくは、被写界全体の動きを取り込み手段によって取り込まれた被写界像に基づいて判別する判別手段(S49, S51)、および判別手段の判別結果に応じて調整手段の起動／停止を制御する制御手段(S57~S59, S77)がさらに備えられる。
【０００９】
さらに好ましくは、制御手段は、被写界全体の動き量が基準を下回るとき調整手段を起動する一方、被写界全体の動き量が基準を上回るとき調整手段を停止する。
【００１０】
好ましくは、第１特定手段は、被写界に割り当てられた複数の部分エリアの各々に属する部分画像の高周波成分を取り込み手段によって取り込まれた被写界像に基づいて検出する高周波成分検出手段(S25)、および高周波成分検出手段によって検出された高周波成分に基づいて第１画像領域を特定する第１画像領域特定手段(S71)を含む。
【００１１】
好ましくは、圧縮手段はインター符号化方式で圧縮処理を実行する。
【００１２】
この発明に従う画像処理プログラムは、被写界像を繰り返し取り込む取り込み手段(16)、および取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段(40)を備える画像処理装置(10)のプロセッサ(36)に、高周波成分を有する第１画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ(S25, S71)、動きを示す第２画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ(S79~S81)、および第１特定ステップによって特定された第１画像領域と第２特定ステップによって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する調整ステップ(S83~S89)を実行させるための、画像処理プログラムである。
【００１３】
この発明に従う画像処理方法は、被写界像を繰り返し取り込む取り込み手段(16)、および取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段(40)を備える画像処理装置(10)によって実行される画像処理方法であって、高周波成分を有する第１画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ(S25, S71)、動きを示す第２画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ(S79~S81)、および第１特定ステップによって特定された第１画像領域と第２特定ステップによって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する調整ステップ(S83~S89)を備える。
【００１４】
この発明に従う外部制御プログラムは、被写界像を繰り返し取り込む取り込み手段(16)、取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段(40)、およびメモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える画像処理装置(10)に供給される外部制御プログラムであって、高周波成分を有する第１画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ(S25, S71)、動きを示す第２画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ(S79~S81)、および第１特定ステップによって特定された第１画像領域と第２特定ステップによって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する調整ステップ(S83~S89)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、被写界像を繰り返し取り込む取り込み手段(16)、取り込み手段によって取り込まれた被写界像を指定圧縮率で圧縮する圧縮手段(40)、外部制御プログラムを入力する入力手段(48)、および入力手段によって入力された外部制御プログラムとメモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える画像処理装置であって、外部制御プログラムは、高周波成分を有する第１画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第１特定ステップ(S25, S71)、動きを示す第２画像領域を取り込み手段によって取り込まれた被写界像に基づいて特定する第２特定ステップ(S79~S81)、および第１特定ステップによって特定された第１画像領域と第２特定ステップによって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する調整ステップ(S83~S89)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、第１画像領域は基準を上回る高周波成分を有する領域に相当し、第２画像領域は動きを示す領域に相当する。指定圧縮率の大きさは、第１画像領域と第２画像領域との重複量が増大するほど低減される。つまり、被写界像の圧縮率は、高周波成分を有しかつ動きを示す領域が増大するほど、低減される。これによって、高周波成分を有する画像に相当する物体の動きに起因する画質の低下が抑制される。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】ＳＤＲＡＭの生画像エリアにおける抽出エリアの割り当て状態の一例を示す図解図である。
【図５】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図６】撮像面における動き検出ブロックの割り当て状態の一例を示す図解図である。
【図７】動き検出ブロックおよび微小ブロックの構成の一例を示す図解図である。
【図８】撮像面で捉えられた被写界の一例を示す図解図である。
【図９】図２実施例の動作の一部を示す図解図である。
【図１０】図２実施例の動作の他の一部を示す図解図である。
【図１１】図２実施例の動作のその他の一部を示す図解図である。
【図１２】図２実施例に適用されるＡＥ／ＡＦ評価回路の構成の一例を示すブロック図である。
【図１３】図２実施例に適用される動き検出回路の構成の一例を示すブロック図である。
【図１４】図９実施例に適用される動き情報作成回路の構成の一例を示すブロック図である。
【図１５】図１０実施例の動作の一部を示す図解図である。
【図１６】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取り込み手段１は、被写界像を繰り返し取り込む。圧縮手段２は、取り込み手段１によって取り込まれた被写界像を指定圧縮率で圧縮する。第１特定手段３は、高周波成分を有する第１画像領域を取り込み手段１によって取り込まれた被写界像に基づいて特定する。第２特定手段４は、動きを示す第２画像領域を取り込み手段１によって取り込まれた被写界像に基づいて特定する。調整手段５は、第１特定手段３によって特定された第１画像領域と第２特定手段４によって特定された第２画像領域との重複量が増大するほど指定圧縮率の大きさを低減する。
【００２１】
第１画像領域は基準を上回る高周波成分を有する領域に相当し、第２画像領域は動きを示す領域に相当する。指定圧縮率の大きさは、第１画像領域と第２画像領域との重複量が増大するほど低減される。つまり、被写界像の圧縮率は、高周波成分を有しかつ動きを示す領域が増大するほど、低減される。これによって、高周波成分を有する画像に相当する物体の動きに起因する画質の低下が抑制される。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。
【００２３】
電源が投入されると、ＣＰＵ３６は、撮像タスクの下で動画取り込み処理を実行するべく、ドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、被写界を表す生画像データが６０ｆｐｓのフレームレートで出力される。
【００２４】
前処理回路２０は、イメージセンサ１６からの生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４の生画像エリア２４ａ（図３参照）に書き込まれる。
【００２５】
図４を参照して、生画像エリア２４ａには、抽出エリアＥＸ１が割り当てられる。後処理回路２６は、メモリ制御回路２２を通して生画像エリア２４ａにアクセスし、抽出エリアＥＸ１に属する一部の生画像データをラスタ走査態様で１／６０秒毎に読み出す。読み出された生画像データは色分離，白バランス調整，ＹＵＶ変換などの処理を施され、この結果、ＹＵＶ形式の画像データが作成される。作成された画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ｂ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ２８は、ＹＵＶ画像エリア２４ｂに格納された画像データを繰り返し読み出し、読み出された画像データをＬＣＤモニタ３０の解像度に適合するように縮小し、そして縮小された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
前処理回路２０はまた、生画像データを簡易的にＹデータに変換する。変換されたＹデータは、ＡＥ／ＡＦ評価回路３２および動き検出回路３４に与えられる。
【００２８】
図５を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは、垂直方向および水平方向の各々において１６分割される。つまり、評価エリアＥＶＡは、合計２５６個の分割エリアの集合に相当する。
【００２９】
ＡＥ／ＡＦ評価回路３２は、前処理回路２０から与えられたＹデータを分割エリア毎に積分する処理を垂直同期信号Ｖｓｙｎｃが発生する毎に実行する。これによって、２５６個の分割エリアにそれぞれ対応する２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答して作成される。ＡＥ／ＡＦ評価回路３２はまた、前処理回路２０から与えられたＹデータの高周波成分を分割エリア毎に積分する処理を垂直同期信号Ｖｓｙｎｃが発生する毎に実行する。これによって、２５６個の分割エリアにそれぞれ対応する２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答して作成される。
【００３０】
ＣＰＵ３６は、ＡＥ／ＡＦ評価回路３２から出力された２５６個のＡＥ評価値に基づいて適正ＥＶ値を算出するべく、撮像条件調整タスクの下でＡＥ処理を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３０に表示されるスルー画像の明るさが適度に調整される。
【００３１】
ＣＰＵ３６はまた、ＡＥ／ＡＦ評価回路３２から出力された２５６個のＡＦ評価値に基づいてＡＦ起動条件が満足されるか否かを判別し、ＡＦ起動条件が満足されるときにＡＦ処理を実行する。合焦点は上述した２５６個のＡＦ評価値に基づいて探索され、フォーカスレンズ１２は発見された合焦点に配置される。これによって、スルー画像の鮮鋭度が継続的に向上する。
【００３２】
図６を参照して、撮像面には９個の動き検出ブロックＭＤ＿１〜ＭＤ＿９が割り当てられる。動き検出ブロックＭＤ＿１〜ＭＤ＿３は撮像面の上段に水平方向に並ぶように配置され、動き検出ブロックＭＤ＿４〜ＭＤ＿６は撮像面の中央に水平方向に並ぶように配置され、そして動き検出ブロックＭＤ＿７〜ＭＤ＿９は撮像面の下段に水平方向に並ぶように配置される。
【００３３】
図７を参照して、動き検出ブロックＭＤ＿１〜ＭＤ＿９の各々は、マトリクス状に配置された複数の微小ブロックＳＢＫ，ＳＢＫ，…によって形成される。水平方向にはＰ個の微小ブロックＳＢＫ，ＳＢＫ，…が並び、垂直方向にはＱ個の微小ブロックＳＢＫ，ＳＢＫ，…が並ぶ。さらに、各々の微小ブロックＳＢＫは、複数の画素によって形成される。水平方向にはｐ個の画素が並び、垂直方向にはｑ個の画素が並ぶ。なお、“Ｐ”，“Ｑ”，“ｐ”および“ｑ”はいずれも２以上の整数に相当する。
【００３４】
動き検出回路３４は、前処理回路２０から与えられたＹデータに基づいて被写界の動きを検出し、動き検出ブロックＭＤ＿１〜ＭＤ＿９にそれぞれ対応する９個の部分動きベクトルと、Ｐ＊Ｑ＊９個の微小ブロックＳＢＫ，ＳＢＫ，…にそれぞれ対応するＰ＊Ｑ＊９個の微小動きベクトルとを、垂直同期信号Ｖｓｙｎｃが発生する毎に出力する。
【００３５】
ＣＰＵ３６は、動き検出回路３４から出力された９個の部分動きベクトルを手振れ補正タスクの下で取り込み、撮像面に動きが生じたか否かならびに撮像面の動きが手振れおよびパン／チルト動作のいずれに相当するかを取り込まれた９個の部分動きベクトルに基づいて判別する。撮像面の動きが手振れに相当すれば、この手振れが補償されるように抽出エリアＥＸ１が移動される。また、撮像面の動きがパン／チルト動作に相当するときは、抽出エリアＥＸ１が初期位置に戻される。これによって、手振れに起因するスルー画像の振動が抑制される。
【００３６】
キー入力装置３８に向けて記録開始操作が行われると、ＣＰＵ３６は、撮像タスクの下でＩ／Ｆ４２を通して記録媒体４４にアクセスし、ＭＰ４ファイルを記録媒体４４に新規に作成する（作成されたＭＰ４ファイルはオープンされる）。ファイル作成＆オープン処理が完了すると、ＣＰＵ３６は、記録処理を開始するべく、後述する圧縮率制御タスクを起動し、さらにＭＰ４コーデック４０およびＩ／Ｆ４２を起動する。
【００３７】
ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データを圧縮率制御タスクによって指定された圧縮率を参照してＭＰＥＧ４方式で圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｃ（図３参照）に書き込む。Ｉ／Ｆ４２は、記録画像エリア２４ｃに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データを記録媒体４４に新規に作成されたＭＰ４ファイルに書き込む。
【００３８】
なお、ＭＰＥＧ４方式では、イントラ符号化方式に従って生成されたＩピクチャとインター符号化方式に従って生成されたＰピクチャまたはＢピクチャが生成される。したがって、ＭＰ４コーデック４０によって生成される圧縮画像データは、Ｉピクチャ，ＰピクチャおよびＢピクチャが混在したデータストリームに相当する。
【００３９】
キー入力装置３８に向けて記録終了操作が行われると、ＣＰＵ３６は、記録処理を終了するべくＭＰ４コーデック４０およびＩ／Ｆ４２を停止し、さらに圧縮率制御タスクを停止する。ＣＰＵ３６は続いて、Ｉ／Ｆ４２を通して記録媒体４４にアクセスし、書き込み先のＭＰ４ファイルをクローズする。
【００４０】
ＭＰ４コーデック４０によって参照される圧縮率は、垂直同期信号Ｖｓｙｎｃが発生する毎に、圧縮率制御タスクの下で次の要領で調整される。
【００４１】
まず、ＡＥ／ＡＦ評価回路３２から取り込まれた２５６個のＡＦ評価値の中から最大ＡＦ評価値が検出される。検出された最大ＡＦ評価値が閾値ＴＨ１以下であれば、高周波成分を有する物体は存在しないとみなされる。このとき、圧縮率は“Ｃ＿ｉｎｔ”に設定される。
【００４２】
一方、検出された最大ＡＦ評価値が閾値ＴＨ１を上回れば、高周波成分を有する物体が被写界に存在するとみなされる。このときは、取り込まれた２５６個のＡＦ評価値の中から閾値ＴＨ１を上回る１または２以上のＡＦ評価値が抽出され、抽出された１または２以上のＡＦ評価値にそれぞれ対応する１または２以上の分割エリアの集合が注目エリアＮＴＣとして定義される。図８に示す被写界が捉えられたとき、注目エリアＮＴＣは図９に示す要領で定義される。
【００４３】
続いて、定義された注目エリアＮＴＣのサイズを“ＳＺｎｔｃ”として算出される。算出されたサイズＳＺｎｔｃが評価エリアＥＶＡのサイズのＫ％以下であれば、高周波成分を有する物体は無視できるとみなされる。このとき、圧縮率は“Ｃ＿ｉｎｔ”に設定される。一方、算出されたサイズＳＺｔｔｃが評価エリアＥＶＡのサイズのＫ％を上回れば、撮像面が静止状態（静止状態：手振れが発生しておらず、パン／チルト動作も実行中でない状態）にあることを条件として、以下の処理が実行される。
【００４４】
まず、Ｐ＊Ｑ＊９個の微小動きベクトルが動き検出回路３４から取り込まれ、取り込まれたＰ＊Ｑ＊９個の微小動きベクトルの中から基準を上回る動きを示す１または２以上の微小動きベクトルが抽出され、そして抽出された１または２以上の微小動きベクトルにそれぞれ対応する１または２以上の微小ブロックＳＢＫ，ＳＢＫ，…の集合が動きブロックＭＶＢＫとして定義される。図８に示す被写界において木に咲いている花が風に靡いたとき、動きブロックＭＶＢＫは図１０に示す要領で定義される。
【００４５】
次に、注目エリアＮＴＣと動きブロックＭＶＢＫとの重複エリアが定義され、定義された重複エリアのサイズが“ＳＺｄｐ”として算出される。注目エリアＮＴＣおよび動きブロックＭＶＢＫが図９および図１０に示す要領で定義されたときは、図１１にハッチングで示すエリアが重複エリアとして定義され、この重複エリアのサイズが“ＳＺｄｐ”として算出される。
【００４６】
圧縮率は、算出されたサイズＳＺｄｐが閾値ＴＨ２＿Ｈを上回るとき“Ｃ＿ｌｏｗ”に設定され、算出されたサイズＳＺｄｐが閾値ＴＨ２＿Ｈ以下でかつ閾値ＴＨ２＿Ｌを上回るとき“Ｃ＿ｍｄｌ”に設定され、そして算出されたサイズＳＺｄｐが閾値ＴＨ２＿Ｌ以下のとき“Ｃ＿ｈｉｇｈ”に設定される。ここで、閾値ＴＨ２＿Ｈは閾値ＴＨ２＿Ｌよりも大きい。また、圧縮率は“Ｃ＿ｉｎｔ”→“Ｃ＿ｈｉｇｈ”→“Ｃ＿ｍｄｌ”→“Ｃ＿ｌｏｗ”の順で低下する。
【００４７】
このように、注目エリアＮＴＣは基準を上回る高周波成分を有する領域に相当し、動きブロックＭＶＢＫは動きを示す領域に相当する。ＭＰ４コーデック４０によって参照される圧縮率の大きさは、注目エリアＮＴＣと動きブロックＭＶＢＫとの重複量が増大するほど低減される。つまり、画像データの圧縮率は、高周波成分を有しかつ動きを示す領域が増大するほど低減される。これによって、高周波成分を有する画像に相当する物体の動きに起因する画質の低下が抑制される。
【００４８】
ＡＥ／ＡＦ評価回路３２は、図１２に示すように構成される。生画像データはラスタ走査態様でイメージセンサ１６から出力されるため、Ｙデータもまたラスタ走査態様で前処理回路２０から出力される。分配器５０は、左からＭ番目（Ｍ：１〜１６のいずれか）の分割エリアに属するＹデータを積分器５２＿Ｍに与える。同様に、分配器５６は、ＨＰＦ５４によって抽出されたＹデータの高周波成分のうち左からＭ番目（Ｍ：１〜１６のいずれか）の分割エリアに属する高周波成分を積分器５８＿Ｍに与える。
【００４９】
積分器５２＿Ｍは、分配器５０から与えられたＹデータを垂直方向に並ぶ１６個の分割エリアに各々に対応して積分し、１６個の積分値を出力する。同様に、積分器５８＿Ｍは、分配器５６から与えられた高周波成分を垂直方向に並ぶ１６個の分割エリアに各々に対応して積分し、１６個の積分値を出力する。いずれの積分処理も、垂直同期信号Ｖｓｙｎｃに応答して実行される。これによって、２５６個の分割エリアにそれぞれ対応する２５６個のＡＥ評価値が１／６０秒毎に積分器５２＿１〜５２＿１６から出力され、２５６個の分割エリアにそれぞれ対応する２５６個のＡＦ評価値が１／６０秒毎に積分器５８＿１〜５８＿１６から出力される。
【００５０】
動き検出回路３４は、図１３に示すように構成される。分配器６０は、動き検出ブロックＭＤ＿１，ＭＤ＿４およびＭＤ＿７の各々に属するＹデータを動き情報作成回路６２に与え、動き検出ブロックＭＤ＿２，ＭＤ＿５およびＭＤ＿８の各々に属するＹデータを動き情報作成回路６４に与え、そして動き検出ブロックＭＤ＿３，ＭＤ＿６およびＭＤ＿９の各々に属するＹデータを動き情報作成回路６６に与える。
【００５１】
動き情報作成回路６２は、動き検出ブロックＭＤ＿１，ＭＤ＿４およびＭＤ＿７の各々で捉えられた被写界の動きを示す単一の部分動きベクトルおよびＰ＊Ｑ個の微小動きベクトルを１／６０秒毎に出力する。また、動き情報作成回路６４は、動き検出ブロックＭＤ＿２，ＭＤ＿５およびＭＤ＿８の各々で捉えられた被写界の動きを示す単一の部分動きベクトルおよびＰ＊Ｑ個の微小動きベクトルを１／６０秒毎に出力する。さらに、動き情報作成回路６６は、動き検出ブロックＭＤ＿３，ＭＤ＿６およびＭＤ＿９の各々で捉えられた被写界の動きを示す部分動きベクトルおよびＰ＊Ｑ個の微小動きベクトルを１／６０秒毎に出力する。
【００５２】
動き情報作成回路６２〜６６の各々は、図１４に示すように構成される。Ｙデータは、ＬＰＦ７０でノイズ除去処理を施された後、代表点メモリ７２および相関値算出回路７４に与えられる。代表点メモリ７２は、動き検出ブロックＭＤ＿Ｎ（Ｎ：１〜９のいずれか）に属するＹデータからＰ×Ｑ個の代表画素のＹデータを抽出し、抽出されたＹデータを記憶する。ここで、代表画素は、各微小ブロックＳＢＫの中央に存在する画素つまり図１５に黒丸で示す画素に相当する。
【００５３】
相関値算出回路７４は、動き検出ブロックＭＤ＿Ｎに属するＰ×Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…の各々に対応して、代表点メモリ７２に記憶された前フレームの代表画素のＹデータ値とＬＰＦ７０から与えられた現フレームの各画素のＹデータ値との差分を相関値として算出する。この結果、Ｐ＊Ｑ＊ｐ＊ｑ個の相関値が、動き検出ブロックＭＤ＿Ｎに対応して相関値算出回路７４から出力される。なお、出力されたＰ＊Ｑ＊ｐ＊ｑ個の相関値の各々は、相関値の算出の基礎となった２つの画素の位置を示す画素位置情報を伴う。
【００５４】
最小値抽出回路７６は、Ｐ＊Ｑ＊ｐ＊ｑ個の相関値の中から最小値を抽出し、抽出した最小値を第１最小相関値として出力する。また、最小値抽出回路７８は、微小ブロックＳＢＫに属するｐ＊ｑ個の相関値から最小値を抽出する処理をＰ＊Ｑ個の微小ブロックＳＢＫ，ＳＢＫ，…の各々に対応して実行し、これによって得られたＰ＊Ｑ個の最小値の各々を第２最小相関値として出力する。
【００５５】
第１最小相関値は、対応する動き検出ブロックに動きが生じたときに増大する。第２最小相関値も、対応する微小ブロックに動きが生じたときに増大する。したがって、第１最小相関値に注目することで動き検出ブロック毎の動きが判明し、第２最小相関値に注目することで微小ブロック毎の動きが判明する。
【００５６】
部分動きベクトル作成回路７８は、最小値抽出回路７６によって抽出された第１最小相関値に付随する画素位置情報に基づいて部分動きベクトルを作成する。また、微小動きベクトル作成回路８０は、最小値抽出回路７８によって抽出された第２最小相関値に付随する画素位置情報に基づいて、Ｐ×Ｑ個の微小動きベクトルを作成する。
【００５７】
作成された部分動きベクトルおよび微小動きベクトルはいずれも、画素位置情報が示す２つの画素のうち前フレームの画素を起点とし、現フレームの画素を終点とするベクトルである。現フレームの画素が図１５にハッチングで示す画素である場合、部分動きベクトルおよび微小動きベクトルは図１５に矢印で示す方向および大きさを示す。
【００５８】
ＣＰＵ３６は、図１６に示す撮像タスク，図１７に示す撮像条件調整タスク，図１７に示す手振れ補正タスクおよび図１８〜図１９に示す圧縮率制御タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。
【００５９】
図１６を参照して、ステップＳ１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３０に表示される。ステップＳ３では記録開始操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進む。ステップＳ５では、Ｉ／Ｆ４２を通して記録媒体４４にアクセスし、オープン状態のＭＰ４ファイルを記録媒体４４に新規に作成する。ステップＳ７では圧縮率制御タスクを起動し、ステップＳ９では記録処理を開始するべくＭＰ４コーデック４０およびＩ／Ｆ４２を起動する。
【００６０】
ＭＰ４コーデック４０は、ＹＵＶ画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データを圧縮率制御タスクによって指定された圧縮率を参照してＭＰＥＧ４方式で圧縮し、そして圧縮画像データをメモリ制御回路２２を通して記録画像エリア２４ｃに書き込む。Ｉ／Ｆ４２は、記録画像エリア２４ｃに格納された圧縮画像データをメモリ制御回路２２を通して読み出し、読み出された圧縮画像データをステップＳ５で作成されたＭＰ４ファイルに書き込む。
【００６１】
ステップＳ１１では、記録終了操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１３に進み、記録処理を終了するべくＭＰ４コーデック４０およびＩ／Ｆ４２を停止する。ステップＳ１５では、圧縮率制御タスクを停止する。ステップＳ１７ではＩ／Ｆ４２を通して記録媒体４４にアクセスし、オープン状態にあるＭＰ４ファイルをクローズする。ファイルクローズが完了するとステップＳ３に戻る。
【００６２】
図１７を参照して、ステップＳ２１ではフォーカス，絞り量および露光時間を初期化し、ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ２５に進み、２５６個のＡＥ評価値および２５６個のＡＦ評価値をＡＥ／ＡＦ評価回路３２から取り込む。ステップＳ２７では、ステップＳ２５で取り込まれた２５６個のＡＥ評価値に基づいてＡＥ処理を実行する。これによって、スルー画像の明るさが適度に調整される。
【００６３】
ステップＳ２９ではＡＦ起動条件が満足されるか否かを判別し、ＮＯであればそのままステップＳ２３に戻る一方、ＹＥＳであればステップＳ３１に進む。ステップＳ３１では、ステップＳ２５で取り込まれた２５６個のＡＦ評価値に基づくＡＦ処理を実行する。この結果、フォーカスレンズ１２が合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。ステップＳ３１の処理が完了すると、ステップＳ２３に戻る。
【００６４】
図１８を参照して、ステップＳ４１では圧縮率制御タスクによって参照されるフラグＦＬＧｍｖを“０”に設定し、ステップＳ４３では抽出エリアＥＸ１の配置を初期化する。ステップＳ４５では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、動き検出回路３４から出力された９つの部分動きベクトルをステップＳ４７で取り込む。ステップＳ４９では、撮像面に手振れが発生しているか否かをステップＳ４７で取り込まれた部分動きベクトルに基づいて判別する。また、ステップＳ５１では、パン／チルト動作の実行中であるか否かを同じ部分動きベクトルに基づいて判別する。
【００６５】
ステップＳ４９の判別結果がＹＥＳであればステップＳ５３に進み、手振れに相当する撮像面の動きが補償されるように抽出エリアＥＸ１を移動させる。ステップＳ５１の判別結果がＹＥＳであればステップＳ５５に進み、上述したステップＳ４３と同様の処理を実行する。
【００６６】
ステップＳ５３またはＳ５５の処理が完了すると、手振れの発生またはパン／チルト動作の実行中であることを表明するべく、ステップＳ５７でフラグＦＬＧｍｖを“１”に設定する。ステップＳ４９の判別結果およびステップＳ５１の判別結果のいずれもがＮＯであれば、撮像面が静止状態にあることを表明するべく、フラグＦＬＧｍｖを“０”に設定する。ステップＳ５７またはＳ５９の処理が完了すると、ステップＳ４５に戻る。
【００６７】
図１９を参照して、ステップＳ６１ではＭＰ４コーデック４０によって参照される圧縮率を“Ｃ＿ｉｎｔ”に設定し、ステップＳ６３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ６５に進み、上述のステップＳ２５で取り込まれた２５６個のＡＦ評価値の中から最大ＡＦ評価値を検出する。ステップＳ６７では、検出された最大ＡＦ評価値が閾値ＴＨ１を上回るか否かを判別する。
【００６８】
判別結果がＮＯであれば、ステップＳ６９で圧縮率を“Ｃ＿ｉｎｔ”に設定化し、その後にステップＳ６３に戻る。これに対して、判別結果がＹＥＳであればステップＳ７１に進む。ステップＳ７１では、ステップＳ２５で取り込まれた２５６個のＡＦ評価値の中から閾値ＴＨ１を上回る１または２以上のＡＦ評価値を抽出し、抽出された１または２以上のＡＦ評価値にそれぞれ対応する１または２以上の分割エリアの集合を注目エリアＮＴＣとして定義する。
【００６９】
ステップＳ７３では定義された注目エリアＮＴＣのサイズを“ＳＺｎｔｃ”として算出し、ステップＳ７５では算出されたサイズＳＺｎｔｃが評価エリアＥＶＡのサイズのＫ％を上回るか否かを判別する。判別結果がＮＯであればステップＳ６９で圧縮率を“Ｃ＿ｉｎｔ”に設定し、その後にステップＳ６３に戻る。一方、判別結果がＹＥＳであれば、フラグＦＬＧｍｖが“１”であるか否かをステップＳ７７で判別する。判別結果がＹＥＳであればそのままステップＳ６３に戻り、判別結果がＮＯであればステップＳ７９〜Ｓ９３の処理を経てステップＳ６３に戻る。
【００７０】
ステップＳ７９では、Ｐ＊Ｑ＊９個の微小動きベクトルを動き検出回路３４から取り込む。ステップＳ８１では、取り込まれたＰ＊Ｑ＊９個の微小動きベクトルの中から基準を上回る動きを示す１または２以上の微小動きベクトルを抽出し、抽出された１または２以上の微小動きベクトルにそれぞれ対応する１または２以上の微小ブロックＳＢＫ，ＳＢＫ，…の集合を動きブロックＭＶＢＫとして定義する。
【００７１】
ステップＳ８３では、注目エリアＮＴＣと動きブロックＭＶＢＫとの重複エリアを定義し、定義された重複エリアのサイズを“ＳＺｄｐ”として算出する。ステップＳ８５では算出されたサイズＳＺｄｐが閾値ＴＨ２＿Ｈを上回るか否かを判別し、ステップＳ８７では算出されたサイズＳＺｄｐが閾値ＴＨ２＿Ｌを上回るか否かを判別する。ここで、閾値ＴＨ２＿Ｈは閾値ＴＨ２＿Ｌよりも大きい。
【００７２】
ステップＳ８５の判別結果がＹＥＳであれば、ステップＳ８９で圧縮率を“Ｃ＿ｌｏｗ”に設定する。一方、ステップＳ８７の判別結果がＹＥＳであれば、ステップＳ９１で圧縮率を“Ｃ＿ｍｄｌ”に設定する。他方、ステップＳ８５の判別結果およびステップＳ８７の判別結果のいずれもがＮＯであれば、ステップＳ９３で圧縮率を“Ｃ＿ｈｉｇｈ”に設定する。ここで、圧縮率は“Ｃ＿ｉｎｔ”→“Ｃ＿ｈｉｇｈ”→“Ｃ＿ｍｄｌ”→“Ｃ＿ｌｏｗ”の順で低下する。ステップＳ８９，Ｓ９１またはＳ９３の処理が完了すると、ステップＳ６３に戻る。
【００７３】
以上の説明から分かるように、イメージセンサ１６は、被写界像を表す生画像データを繰り返し出力する。ＭＰ４コーデック４０は、イメージセンサ１６から出力された生画像データに基づくＹＵＶ形式の画像データを指定圧縮率で圧縮する。ＣＰＵ３６は、イメージセンサ４０から出力された画像データに基づいて、高周波成分を有する領域を注目エリアＮＴＣとして特定し(S25, S71)、さらに動きを示す領域を動きブロックＭＶＢＫとして特定する(S79~S81)。ＣＰＵ３６はまた、注目エリアＮＴＣと動きブロックＭＶＢＫとの重複量が増大するほど、指定圧縮率の大きさを低減する(S83~S89)。
【００７４】
このように、注目エリアＮＴＣは基準を上回る高周波成分を有する領域に相当し、動きブロックＭＶＢＫは動きを示す領域に相当する。ＭＰ４コーデック４０によって参照される圧縮率の大きさは、注目エリアＮＴＣと動きブロックＭＶＢＫとの重複量が増大するほど低減される。つまり、画像データの圧縮率は、高周波成分を有しかつ動きを示す領域が増大するほど低減される。これによって、高周波成分を有する画像に相当する物体の動きに起因する画質の低下が抑制される。
【００７５】
なお、この実施例では、ディジタルビデオカメラを想定しているが、この発明は据え置き型のビデオレコーダにも適用できる。
【００７６】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図２１に示すように通信Ｉ／Ｆ４８をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７７】
また、この実施例では、ＣＰＵ３６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００７８】
１０  …ディジタルビデオカメラ
１６  …イメージセンサ
２６  …後処理回路
３２  …ＡＥ／ＡＦ評価回路
３４  …動き検出回路
３６  …ＣＰＵ
４０  …ＭＰ４コーデック
【図１】
2012129814.tif 000003
【図２】
2012129814.tif 000004
【図３】
2012129814.tif 000005
【図４】
2012129814.tif 000006
【図５】
2012129814.tif 000007
【図６】
2012129814.tif 000008
【図７】
2012129814.tif 000009
【図８】
2012129814.tif 000010
【図９】
2012129814.tif 000011
【図１０】
2012129814.tif 000012
【図１１】
2012129814.tif 000013
【図１２】
2012129814.tif 000014
【図１３】
2012129814.tif 000015
【図１４】
2012129814.tif 000016
【図１５】
2012129814.tif 000017
【図１６】
2012129814.tif 000018
【図１７】
2012129814.tif 000019
【図１８】
2012129814.tif 000020
【図１９】
2012129814.tif 000021
【図２０】
2012129814.tif 000022
【図２１】
2012129814.tif 000023