(57)【要約】【課題】  本発明は、撮像装置及び撮像結果の処理方法に関し、例えばディジタルビデオカメラに適用して、簡易かつ確実に被写体を検出して各種の処理を実行することができるようにする。【解決手段】  本発明は、手振れ補正用のセンサ等の動き検出手段により撮像装置の動きの情報を取得し、この動きの情報により撮像結果を処理可能とする。【選択図】        図１
2006295350.tif 000002
【特許請求の範囲】
【請求項１】
撮像結果を記録媒体に記録する撮像装置において、
撮像結果を取得する撮像素子と、
前記撮像素子の撮像面に光学像を形成する光学系と、
装置の動きを検出して検出結果を出力する装置の動き検出手段と、
前記撮像結果を前記検出結果と共に前記記録媒体に記録する記録手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記装置の動き検出手段は、
加速度又は角速度を検出するセンサである
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出結果に基づいて、前記撮像結果の手振れを補正する手振れ補正手段を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記録媒体に記録された前記撮像結果及び前記検出結果を再生する再生手段と、
前記記録媒体より再生される前記撮像結果より前記撮像結果の各部の動きを検出する撮像結果の動き検出手段と、
前記撮像結果の動き検出手段で検出される前記各部の動きを前記検出結果により補正して、背景に対する前記各部の相対的な動きを検出する動き補正手段とを備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記各部の相対的な動きの変化に基づいて、インデックス用のサムネイル画像を生成する画像処理手段を有する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記各部の相対的な動きに基づいて、前記記録媒体に記録された前記撮像結果より被写体が撮像された領域を検出する被写体検出手段と、
前記被写体検出手段による検出結果に基づいて、前記記録媒体に記録された撮像結果より前記被写体が撮像された領域の電子ズームによる画像を生成する画像処理手段とを有する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
撮像結果を取得する撮像装置において、
撮像結果を取得する撮像素子と、
前記撮像素子の撮像面に光学像を形成する光学系と、
装置の動きを検出して検出結果を出力する装置の動き検出手段と、
前記撮像結果の各部の動きを検出する撮像結果の動き検出手段と、
前記撮像結果の動き検出手段により検出される前記各部の動きを前記検出結果により補正して、前記撮像結果の背景に対する前記各部の相対的な動きを検出する動き補正手段とを備える
ことを特徴とする撮像装置。
【請求項８】
前記装置の動き検出手段は、
加速度又は角速度を検出するセンサである
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記検出結果に基づいて、前記撮像結果の手振れを補正する手振れ補正手段を有する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記各部の相対的な動きに基づいて、前記撮像結果より被写体が撮像された領域を検出する被写体検出手段と、
前記被写体検出手段による検出結果に基づいて、前記光学系を制御する制御手段とを有する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記制御手段の前記光学系の制御が、
前記光学系のフォーカスの制御である
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御手段の前記光学系の制御が、
前記光学系の絞りの制御である
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記各部の相対的な動きの変化に基づいて、インデックス用のサムネイル画像を生成する画像処理手段を有する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１４】
前記各部の相対的な動きに基づいて、前記撮像結果より被写体が撮像された領域を検出する被写体検出手段と、
前記被写体検出手段による検出結果に基づいて、前記撮像結果より前記被写体が撮像された領域の電子ズームによる画像を生成する画像処理手段とを有する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１５】
撮像結果を記録媒体に記録する撮像装置に関する撮像結果の処理方法であって、
装置の動きを検出して検出結果を出力する装置の動き検出ステップと、
前記検出結果を、前記撮像結果と共に前記記録媒体に記録する記録のステップとを有する
ことを特徴とする撮像結果の処理方法。
【請求項１６】
前記記録媒体に記録された前記撮像結果の各部の動きを検出する撮像結果の動き検出ステップと、
前記記録媒体に記録された前記検出結果により、前記各部の動きを補正して、前記撮像結果の背景に対する前記各部の相対的な動きを検出する動き補正のステップとを有する
ことを特徴とする請求項１５に記載の撮像結果の処理方法。
【請求項１７】
撮像装置に関する撮像結果の処理方法であって、
装置の動きを検出して検出結果を出力する装置の動き検出ステップと、
前記撮像結果における各部の動きを検出する撮像結果の動き検出ステップと、
前記検出結果により、前記各部の動きを補正して、前記撮像結果の背景に対する前記各部の相対的な動きを検出する動き補正のステップとを有する
ことを特徴とする撮像結果の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像結果の処理方法に関し、例えばディジタルビデオカメラに適用することができる。本発明は、角速度センサ、加速度センサ等による動き検出手段により撮像装置の動きの情報を取得し、この動きの情報により撮像結果を処理可能とすることにより、パン、チルト等により背景が動いている場合にあっても、簡易かつ確実に被写体を検出して各種の処理を実行することができるようにする。
【背景技術】
【０００２】
従来、光ディスク装置等の各種記録再生装置では、シーンチェンジを検出して代表画像を取得し、この代表画像により頭出し等の処理を簡略化するものが提供されている。このようなシーンチェンジの検出に関して、例えば特開平９−１８２０１９号公報には、動きベクトルの検出手法を利用して動き検出し、この動き検出結果を判定して代表画像を取得することにより、フェードイン等した場合にあっても、確実にシーンチェンジを検出する方法が提案されている。
【０００３】
これに対してこのような記録再生装置では、撮像装置で撮影した動画ファイルを処理する場合もあり、このような撮像装置では、加速度センサ、角速度センサによる検出結果により手振れ補正する構成が設けられている。また監視カメラ等の撮像装置に関して、動きベクトルを利用して撮像結果から人物等の被写体を検出し、この検出結果を物体追跡する方法等、各種動きベクトルを利用した撮像結果の処理方法が提案されている。
【０００４】
しかしながら従来手法による動きベクトルを利用した被写体の検出にあっては、パン、チルト等により背景が動いている場合には、簡易かつ確実に被写体を検出できない問題があった。
【特許文献１】特開平９−１８２０１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、パン、チルト等により背景が動いている場合にあっても、簡易かつ確実に被写体を検出して各種の処理を実行することができる撮像装置及び撮像結果の処理方法を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため請求項１の発明においては、撮像結果を記録媒体に記録する撮像装置に適用して、撮像結果を取得する撮像素子と、前記撮像素子の撮像面に光学像を形成する光学系と、装置の動きを検出して検出結果を出力する装置の動き検出手段と、前記撮像結果を前記検出結果と共に前記記録媒体に記録する記録手段とを備えるようにする。
【０００７】
また請求項７の発明においては、撮像結果を取得する撮像装置に適用して、撮像結果を取得する撮像素子と、前記撮像素子の撮像面に光学像を形成する光学系と、装置の動きを検出して検出結果を出力する装置の動き検出手段と、前記撮像結果の各部の動きを検出する撮像結果の動き検出手段と、前記撮像結果の動き検出手段により検出される前記各部の動きを前記検出結果により補正して、前記撮像結果の背景に対する前記各部の相対的な動きを検出する動き補正手段とを備えるようにする。
【０００８】
また請求項１５の発明においては、撮像結果を記録媒体に記録する撮像装置に関する撮像結果の処理方法に適用して、装置の動きを検出して検出結果を出力する装置の動き検出ステップと、前記検出結果を、前記撮像結果と共に前記記録媒体に記録する記録のステップを有するようにする。
【０００９】
また請求項１７の発明においては、撮像装置に関する撮像結果の処理方法に適用して、装置の動きを検出して検出結果を出力する装置の動き検出ステップと、前記撮像結果の各部の動きを検出する撮像結果の動き検出ステップと、前記検出結果により、前記各部の動きを補正して、前記撮像結果の背景に対する前記各部の相対的な動きを検出する動き補正のステップとを有するようにする。
【００１０】
請求項１の構成により、撮像結果を記録媒体に記録する撮像装置に適用して、撮像結果を取得する撮像素子と、前記撮像素子の撮像面に光学像を形成する光学系と、装置の動きを検出して検出結果を出力する装置の動き検出手段と、前記撮像結果を前記検出結果と共に前記記録媒体に記録する記録手段とを備えるようにすれば、この記録媒体に記録された撮像結果を再生して処理する際に、記録媒体に記録された検出結果によりこの撮像装置の動きを検出して、背景の動きを検出することができる。これにより撮像結果より検出される各部の動きをこの背景による動きにより補正して背景に対する各部の相対的な動きを検出することができ、これによりパン、チルト等により背景が動いている場合にあっても、背景が静止しているものとして被写体の動きを検出することができ、これにより簡易かつ確実に被写体を検出して各種の処理を実行することができる。
【００１１】
これにより請求項７、請求項１５、請求項１７の構成によれば、チルト等により背景が動いている場合にあっても、簡易かつ確実に被写体を検出して各種の処理を実行することができる撮像装置、撮像結果の処理方法を提供することができる。
【発明の効果】
【００１２】
本発明によれば、パン、チルト等により背景が動いている場合にあっても、簡易かつ確実に被写体を検出して各種の処理を実行することができる。
【発明を実施するための最良の形態】
【００１３】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１４】
（１）実施例の構成
図２は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１は、ディジタルビデオカメラであり、ユーザーによる操作に応動して動画、静止画による撮像結果を記録媒体に記録し、またこの記録媒体に記録した撮像結果を再生する。
【００１５】
すなわちこの撮像装置１において、レンズ２は、カメラ制御マイクロコンピュータ（以下、カメラ制御マイコンと呼ぶ）３の制御により倍率、フォーカスを可変して入射光を集光し、これにより続く撮像素子４の撮像面に光学像を形成する。
【００１６】
撮像素子４は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）固体撮像素子等により形成され、撮像面に形成された光学像を光電変換処理して動画又は静止画による撮像結果を出力する。これらによりこの実施例において、レンズ２は、撮像素子４の撮像面に光学像を形成する光学系を構成する。
【００１７】
アナログディジタル変換回路（Ａ／Ｄ変換）５は、この撮像素子４から出力される撮像結果をアナログディジタル変換処理し、その処理結果による画像データを出力する。この処理においてアナログディジタル変換回路５は、動画による撮像結果を画像データに変換して出力する場合、撮像結果による画像の一部領域を切り出して画像データを出力し、この切り出す領域をカメラ制御マイコン３によるタイミングの制御により可変する。
【００１８】
角速度センサ６は、例えばジャイロセンサにより形成され、この撮像装置１における各方向の角速度を検出してカメラ制御マイコン３に通知する。
【００１９】
カメラ制御マイコン３は、中央処理マイクロコンピュータ（以下、中央処理マイコンと呼ぶ）７の指示に従ってレンズ２の倍率を可変し、さらには続く画像処理ディジタルシグナルプロセッサ（画像処理ＤＳＰ）８で検出されるフォーカス制御、絞り制御の情報に基づいて、レンズ２のフォーカス、絞りを可変する。また中央処理マイコン７の指示により手振れ補正が指示されると、角速度センサ６で検出される各方向の角速度、レンズ２の倍率に基づいて、手振れによる撮像結果の変位量を計算し、この手振れによる撮像結果の変位量を補正するように、アナログディジタル変換回路５のタイミングを制御する。これらによりこの撮像装置１では、手振れ補正して動画による画像データを出力するように構成される。なおこのような角速度センサを用いた手振れ補正に代えて、３軸の加速度センサを用いて手振れ補正するようにしてもよい。また撮像結果の切り出しに代えて、光学系の制御により手振れ補正するようにしてもよい。
【００２０】
これらによりこの実施例において、カメラ制御マイコン３及びアナログディジタル変換回路５は、角速度センサ６による検出結果に基づいて撮像結果を手振れ補正する手振れ補正手段を構成する。また角速度センサ６は、この装置の動きを検出する動き検出手段を構成する。
【００２１】
さらにカメラ制御マイコン３は、角速度センサ６で検出される角速度、レンズ２の倍率に基づいて検出される撮像結果における各フレームの変化量から、手振れによる撮像結果の変位量を減算することにより、撮像結果における撮像装置１の動きを検出し、この動き検出結果を中央処理マイコン７に通知する。また動画の記録時において、中央処理マイコン７により手振れ補正が指示されない場合、角速度センサ６で検出される角速度、レンズ２の倍率に基づいて検出される各フレームの変化量を、そのまま撮像結果における撮像装置１の動き検出結果として中央処理マイコン７に通知する。なおこの場合に、この変換量は、手振れ補正量に対応するアナログディジタル変換回路５のサンプリング数に対応する画素数により中央処理マイコン７に通知してもよく、またこれに代えて角速度センサ６で検出される角速度、レンズ２の倍率により通知してもよい。これによりこの撮像装置１では、パン、チルト等による背景の移動量を中央処理マイコン７で検出できるように構成されている。
【００２２】
画像処理ディジタルシグナルプロセッサ（画像処理ＤＳＰ）８は、中央処理マイコン７の制御により動作を切り換え、撮像結果の記録時、アナログディジタル変換回路５から出力される画像データを入力してホワイトバランス調整、ガンマ調整、ニー処理等し、さらにはフォーカス調整、絞り調整に必要な情報等を取得してカメラ制御マイコン３に通知する。また処理結果による画像データについて、それぞれ動画及び静止画による画像データを動画処理ディジタルシグナルプロセッサ（動画処理ＤＳＰ）９及び静止画処理ディジタルシグナルプロセッサ（静止画処理ＤＳＰ）１０に出力し、さらにはこれらの画像データをディジタルアナログ変換回路（Ｄ／Ａ）１１に出力する。
【００２３】
これに対して再生時、画像処理ディジタルシグナルプロセッサ８は、動画処理ディジタルシグナルプロセッサ９、静止画処理ディジタルシグナルプロセッサ１０から出力される動画、静止画の画像データをディジタルアナログ変換回路１１に出力する。この再生時において、画像処理ディジタルシグナルプロセッサ８は、動画処理ディジタルシグナルプロセッサ９から出力される動画により画像データをディジタルアナログ変換回路１１に出力している場合、中央処理マイコン７の指示により、内部メモリ１２を用いて後述する撮像結果の処理を実行する。
【００２４】
ディジタルアナログ変換回路１１は、画像処理ディジタルシグナルプロセッサ８から出力される画像データをディジタルアナログ変換処理して映像信号を出力する。表示装置１３は、液晶表示装置等のフラットディスプレイ装置により形成され、このディジタルアナログ変換回路１１から出力される映像信号による画像を表示する。
【００２５】
これらによりこの撮像装置１では、撮像素子４より得られた撮像結果を表示装置１３によりモニタできるように構成され、さらにこの撮像結果による動画及び静止画の画像データをそれぞれ動画処理ディジタルシグナルプロセッサ９、静止画処理ディジタルシグナルプロセッサ１０で処理して記録できるように構成される。またこれとは逆に動画処理ディジタルシグナルプロセッサ９、静止画処理ディジタルシグナルプロセッサ１０から出力される画像データを表示装置１３によりモニタして、それぞれ動画及び静止画により記録された撮像結果をモニタできるように構成される。
【００２６】
静止画処理ディジタルシグナルプロセッサ１０は、静止画記録再生制御マイクロコンピュータ（以下、静止画記録再生制御マイコンと呼ぶ）１４の制御により動作を切り換え、静止画による撮像結果の記録時、内部メモリ１２を用いて、例えばＭＰＥＧ（Moving Picture Experts Group）等の手法により、画像処理ディジタルシグナルプロセッサ８から出力される画像データをデータ圧縮して符号化データを生成し、この符号化データを静止画記録再生制御マイコン１４に出力する。またこれとは逆に静止画の再生時、静止画記録再生制御マイコン１４から出力される符号化データをデータ伸長して画像処理ディジタルシグナルプロセッサ８に出力する。
【００２７】
静止画記録再生制御マイコン１４は、中央処理マイコン７の制御により動作を切り換えて静止画処理ディジタルシグナルプロセッサ１０、静止画記録インターフェース部（静止画記録ＩＦ部）１５の動作を制御し、静止画の記録時にあっては、静止画処理ディジタルシグナルプロセッサ１０から出力される符号化データを静止画記録インターフェース部１５に出力して静止画記録メディア１６に記録する。また静止画記録インターフェース部１５を介して静止画記録メディア１６に記録された各種のデータを再生して中央処理マイコン７に通知し、また静止画の再生時においては、静止画記録インターフェース部１５を介して再生対象のファイルに係る画像データを静止画記録メディア１６から再生する。
【００２８】
静止画記録インターフェース部１５は、静止画記録メディア１６に係る入出力インターフェースであり、静止画記録メディア１６は、例えばメモリカード、磁気ディスク等による着脱可能な記録媒体であり、静止画記録インターフェース部１５から出力される各種のデータを記録し、また記録したデータを再生して出力する。これらによりこの撮像装置１では、静止画による撮像結果については、静止画記録メディア１６を用いて記録再生するように構成される。
【００２９】
動画処理ディジタルシグナルプロセッサ９は、動画記録再生制御マイクロコンピュータ（以下、動画記録再生制御マイコンと呼ぶ）１９の制御により動作を切り換え、動画による撮像結果の記録時、例えばＭＰＥＧの手法により、画像処理ディジタルシグナルプロセッサ８から出力される画像データをデータ圧縮して符号化データを生成し、この符号化データを動画記録再生制御マイコン１９の制御により動画記録インターフェース部（動画記録ＩＦ部）２０に出力する。またこの符号化データに付随する各種のデータを動画記録再生制御マイコン１９に出力する。またこれとは逆に動画の再生時、動画記録再生制御マイコン１９から出力される符号化データに付随する各種のデータに基づいて、動画記録インターフェース部２０から出力される符号化データをデータ伸長して画像処理ディジタルシグナルプロセッサ８に出力する。
【００３０】
動画記録インターフェース部２０は、動画記録メディア２１に係る入出力インターフェースであり、動画記録メディア２１は、例えばメモリカード、磁気ディスク、光ディスク等による着脱可能な記録媒体であり、動画記録インターフェース部２０から出力される各種のデータを記録し、また記録したデータを再生して出力する。
【００３１】
動画記録再生制御マイコン１９は、中央処理マイコン７の制御により動作を切り換えて動画処理ディジタルシグナルプロセッサ９、動画記録インターフェース部２０の動作を制御する。これらによりこの撮像装置１では、動画による撮像結果については、動画記録メディア２１を用いて記録再生するように構成される。
【００３２】
操作部２３は、この撮像装置１に設けられたタッチパネル、各種操作子の操作を中央処理マイコン７に通知する。中央処理マイコン７は、この撮像装置１全体の動作を制御するコンピュータであり、図示しないメモリに記録された処理プログラムを実行することにより操作部２３より通知される各種操作子の操作に応動して各部の動作を制御する。なおこの実施例においては、この撮像装置１にこの処理プログラムが事前にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、また光ディスク、磁気ディスク等の各種の記録媒体に記録して提供するようにしてもよい。
【００３３】
これにより中央処理マイコン７は、ユーザーによる電源の操作子の操作により、全体の動作を立ち上げる。またユーザーによる操作に応動して動画、静止画による画像データを取得してそれぞれ動画記録メディア２１、静止画記録メディア１６に記録するように、全体の動作を制御する。中央処理マイコン７は、このようにして動画による画像データを動画記録メディア２１に記録する際に、カメラ制御マイコン３より得られる撮像結果における撮像装置１の動き検出結果を動画記録再生制御マイコン１９に出力し、この動き検出結果を併せて動画記録メディア２１に記録する。これによりこの撮像装置１では、パン、チルト等による背景の動き量を記録して、再生時、種々に利用することができるように構成される。なおこのような動き量にあっては、動画記録メディア２１が例えばＤＶＤ（Digital Video Disk）などの光ディスクの場合、例えばビデオオブジェクトユニット（ＶＯＢＵ）の所定領域に割り当てて記録することが考えられる。より具体的には、追加記録情報パック（ＡＲＩ  ＰＣＫ）等に割り当てることができる。なおここで追加記録情報パックは、追加の情報を割り当てることが可能な、ビデオオブジェクトユニットを構成するパックの1つであり、ビデオオブジェクトユニットは、この追加記録情報パックの他に、映像データを保持する映像パック、音声データを保持する音声パック等により形成される。これによりこの実施例において、動画記録インターフェース部２０は、カメラ制御マイコン３で検出される動き検出結果を撮像結果と共に動画記録メディア２１に記録する記録手段を構成すると共に、この動画記録メディア２１に記録された動き検出結果を撮像結果と共に再生する再生手段を構成する。
【００３４】
これに対してユーザーにより撮像結果の再生が指示されると、同様にして各部の動作を制御して静止画記録メディア１６に記録された静止画、動画記録メディア２１に記録された動画を再生して表示装置１３に表示するように全体の動作を制御する。
【００３５】
これに対してユーザーによりこのような再生時の頭出し等に供するインデックス画像の作成が指示されると、図１に示す処理手順の実行により、シーンチェンジを検出してインデックス画像を順次生成する。
【００３６】
すなわちこの場合、中央処理マイコン７は、ステップＳＰ１からステップＳＰ２に移り、動画記録メディア２１に記録された撮像結果を順次再生するように全体の動作を制御する。またこのようにして再生された撮像結果をデータ伸長するように動画処理ディジタルシグナルプロセッサ９の動作を制御し、さらにこの動画処理ディジタルシグナルプロセッサ９によりデータ伸長された撮像結果の処理を画像処理ディジタルシグナルプロセッサ８に指示する。これにより画像処理ディジタルシグナルプロセッサ８は、マクロブロックを単位にして、動画記録メディア２１より再生される撮像結果より順次動きベクトルを検出して中央処理マイコン７に通知し、これによりこの実施例において、画像処理ディジタルシグナルプロセッサ８は、記録媒体より再生される撮像結果より、各部の動きを検出する動き検出手段を構成する。なおこのような動きベクトルの検出にあっては、例えば撮像結果のサンプリング数を低減して処理する場合、離散的に所定マクロブロック毎に実行する場合等、必要に応じて処理を簡略化するようにしてもよい。
【００３７】
中央処理マイコン７は、このようにして動画記録メディア２１に記録された撮像結果の各部の動きを順次動き検出するようにして、続くステップＳＰ２において、動画記録メディア２１から再生される動き検出結果を、画像処理ディジタルシグナルプロセッサ８で検出される動きベクトルより減算する。ここで動画記録メディア２１に記録されている動き検出結果にあっては、撮像結果におけるこの撮像装置１の動きを表しており、これにより図３に示すように、静止した背景の動きＶｈを表していることになる。これにより中央処理マイコン７は、画像処理ディジタルシグナルプロセッサ８による動き検出手段で検出される各部の動きを、記録媒体より再生される動き検出結果により補正して、静止した背景に対する相対的な動きを撮像結果の各部について検出する。これによりこのようにして検出される各部の動きにあっては、例えば図３に示すように、車両の動きに追従するように撮像装置１をパンさせている場合にあっては、背景で動き量がほぼ０となり、被写体である車両の部分で動きＶＯが検出されることになり、あたかも静止した背景の前で動きのある被写体を撮影した場合の動きが検出されることになる。
【００３８】
中央処理マイコン７は、このようにして検出される背景に対する相対的な各部の動きをフレーム単位で累積加算し、さらにこの累積加算値のフレーム間差分値を計算する。これにより中央処理マイコン７は、動き量の変化をフレーム単位で検出する。中央処理マイコン７は、このようにして検出されるフレーム間差分値を所定のしきい値により判定することにより、動きが不連続に変化するフレームを検出し、これによりシーンチェンジの先頭フレームを検出する。なおこの場合に、フレーム単位の累積加算にあっては、相対的な各部の動きを絶対値化して加算するようにしてもよく、また例えば動きが最も大きな部位等、特定のサンプリング点についてのみ、累積加算値を求めるようにしてもよい。また急激な変化の検出にあっては、直前のフレーム間差分値を基準にして判定する場合、さらには連続するフレーム間差分値が一次曲線、二次曲線等により近似できるか否かの判定により実行する場合等がある。
【００３９】
これにより中央処理マイコン７は、続くステップＳＰ４において、動きの不連続が検出されたか否か判断し、ここで否定結果が得られると、ステップＳＰ２に戻って続くフレームの処理を開始する。これに対してステップＳＰ４において肯定結果が得られると、ステップＳＰ４からステップＳＰ５に移り、元の動画ファイルの時間情報と関連付けて、この検出したシーンチェンジの先頭フレームをサムネイル画像により動画記録メディア２１に記録し直すように、全体の動作を制御し、これによりインデックス画像を生成する。中央処理マイコン７は、このようにしてインデックス画像を生成すると、ステップＳＰ２に戻って続くフレームの処理を開始する。
【００４０】
この撮像装置１では、このようにして取得したインデックス画像を表示装置１３に一覧表示し、この一覧表示におけるユーザーの選択により、対応するインデックス画像の記録位置より頭出しして動画記録メディア２１に記録された動画ファイルを再生する。これによりこの撮像装置１では、ユーザーによる再生に係る一連の処理を簡略化できるようになされている。
【００４１】
これによりこの実施例において、中央処理マイコン７は、背景に対する撮像結果の各部の相対的な動きの変化に基づいて、インデックス用のサムネイル画像を生成する画像処理手段を構成する。
【００４２】
これに対してユーザーによりズーム再生が指示されると、中央処理マイコン７は、ユーザーにより指示された動画ファイルを動画記録メディア２１から順次再生して表示装置１３により表示するように全体の動作を制御する。またこの一連の処理において、上述したインデックス画像の取得の場合と同様にして、背景に対する各部の相対的な動きを撮像結果の各部について検出し、この動きの各フレームにおける分布により撮像結果中の被写体を検出する。またこの検出した被写体を矩形形状により切り出して表示装置１３の全画面により表示するように、電子ズームの処理を指示する。
【００４３】
すなわち図３について上述したように、移動する車両を撮影した場合、この車両のボディ等にあっては、同じ動きを呈するようになる。これに対してタイヤにあっては、この車両の動きに、タイヤの回転による動きが重畳されて動きが検出されることになる。また背景にあっては、ほぼ動きが０により検出される。また図４に示すように、例えばゴルファーを正面から撮影している場合にあっては、クラブが大きな動きにより検出され、ゴルファーの姿にあっては、このクラブの動きに連動して動きが検出され、この場合も背景にあっては、ほぼ動きが０により検出される。
【００４４】
これにより中央処理マイコン７は、ユーザーによりこのような１つの被写体に係る電子ズームによる再生が指示された場合、各マクロブロックで検出される相対的な動き量をしきい値により判定し、動きのあるマクロブロックを検出する。
【００４５】
すなわちこの場合、中央処理マイコン７は、図５に示すように、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、各マクロブロックの動きベクトルを画像処理ディジタルシグナルプロセッサ８により検出した後、ステップＳＰ１３において、この検出した動きベクトルを動画記録メディア２１より再生される動き検出結果により補正し、背景に対する各部の相対的な動き量を検出する。また続くステップＳＰ１４において、この各部の相対的な動き量をしきい値により判定し、動きのあるマクロブロックを検出する。
【００４６】
また続くステップＳＰ１５において、図３において符号Ｆにより示すように、この動きのあるマクロブロックの左端及び右端が表示装置１３における表示画面の左端及び右端となるように、又は図４において符号Ｆにより示すように、動きのあるマクロブロックの上端及び下端が表示装置１３における表示画面の上端及び下端となるように、表示装置１３の表示画面におけるアスペクト比による電子ズームの処理を画像処理ディジタルシグナルプロセッサ８に指示した後、ステップＳＰ１２に戻って続くフレームの処理を開始する。なおこのような電子ズームによる表示にあっては、必ずしも表示装置１３の表示画面におけるアスペクト比により実行しなくてもよく、また電子ズームに係る領域の水平方向又は垂直方向の大きさを表示装置１３の表示画面の水平方向又は垂直方向の大きさに一致させなくてもよい。
【００４７】
これに対してユーザー指定による領域の電子ズームによる再生が指示された場合、中央処理マイコン７は、図６に示す処理手順の実行により電子ズームによる処理を実行する。すなわち中央処理マイコン７は、この場合、ステップＳＰ２１からステップＳＰ２２に移り、始めにユーザーにより再生が指示された動画ファイルの先頭のシーンを表示装置１３に表示する。なおここでユーザーにより頭出し再生が指示された場合、この先頭のシーンに代えて頭出しが指示された先頭シーンを表示する。ここで中央処理マイコン７は、ユーザーにより電子ズームの処理に係る被写体の指示を受け付ける。ここでこの指示にあっては、図７により符号Ｆにより示すように、例えば操作部２３を構成する表示装置１３に設けられたタッチパネルを介して、被写体を囲む矩形領域の入力により受け付ける。なおこの場合、例えば被写体の一部を指により指示するようにして、ユーザーによる指示を受け付けるようにしてもよく、このように点の指定によりユーザーの指示を受け付けた場合、中央処理マイコン７は、この指示を受け付けた点を中心にして、一定の大きさにより矩形の領域を設定し、続く一連の処理を実行する。
【００４８】
ここで中央処理マイコン７は、続くステップＳＰ２３において、画像処理ディジタルシグナルプロセッサ８によりこの表示したフレームを参照フレームに設定して続くフレームの動きベクトルを検出し、続くステップＳＰ２４において、この検出した動きベクトルを動画記録メディア２１より再生され動き検出結果により補正し、相対的な動き量を検出する。これによりこの場合、中央処理マイコン７は、表示装置１３により表示したフレームの各部が続くフレームで何れの方向に変位するかを背景に対する相対的な動きにより検出する。
【００４９】
続いて中央処理マイコン７は、ステップＳＰ２５において、このようにして検出した相対的な動きからユーザーの指定した矩形の領域における動きを検出し、この検出した動きの統計的な処理により、被写体の動きを検出する。すなわち図７に示すように、種々の動きを示す多数の人物を撮影している場合にあって、特定の人物による被写体をユーザーが指示した場合、この人物を撮影しているマクロブロックの動きにあっては、この人物の動きが反映され、この場合、矢印Ａにより示すように、おおむね右上方向から左下方向に向かっていると判断することができる。これに対してこの被写体を囲む枠Ｆに含まれる他の被写体にあっては、矢印Ｂにより示すように、本来の被写体とは異なる動きを呈することが多く、この図７に示す例では、左から右に向かった動きを呈することになる。これにより中央処理マイコン７は、このステップＳＰ２５において、図８に示すように、この領域で検出される相対的な動きのうち、最も大きな動き量による動きをユーザーが指定した被写体の動きと判定し、この最も動き量の大きな動きを判定基準の動きに設定する。なおこの場合に、動きの方向によりこの領域で検出される動きを集計して最も検出頻度の高い動きの方向を検出し、この検出した動きの方向による動きの平均値を検出して判定基準の動きを検出する場合等、この種の判定基準値の設定にあっては、種々の手法を適用することができる。
【００５０】
続いて中央処理マイコン７は、ステップＳＰ２６において、この領域で検出される各部の動きベクトルを判定基準の動きにより判定し、これによりユーザーが指定した領域より、ユーザーの所望した被写体が撮影されている領域を検出する。なおここでこの判定にあっては、例えば判定基準の動きに対してほぼ同様の動きを呈するマクロブロックを検出するようにして実行される。
【００５１】
続いて中央処理マイコン７は、ステップＳＰ２７において、ステップＳＰ２６で検出した被写体の領域について、図５について上述したと同様の電子ズームの処理を画像処理ディジタルシグナルプロセッサ８に指示する。また続くステップＳＰ２８において、図９に示すように、ユーザーの指定した領域による枠Ｆを判定基準の動きの分だけ移動させる。なおここでこの枠Ｆの移動にあっては、相対的な動きを検出する場合とは逆に、判定基準の動きを背景の動きにより補正し、これにより撮像結果における実際の動きを計算し、この動きにより枠Ｆを移動させて実行される。これにより中央処理マイコン７は、図１０に示すように、続くフレームで予測される被写体の位置に枠Ｆを移動させ、ステップＳＰ２３に戻って続くフレームについての処理を開始する。
【００５２】
これにより中央処理マイコン７は、背景に対する撮像結果の各部の相対的な動きに基づいて、記録媒体に記録された撮像結果より被写体が撮像された領域を検出する被写体検出手段を構成し、また画像処理ディジタルシグナルプロセッサ８と共に、この被写体検出手段による検出結果に基づいて、記録媒体に記録された撮像結果より被写体が撮像された領域の電子ズームによる画像を生成する画像処理手段を構成する。
【００５３】
（２）実施例の動作
以上の構成において、この撮像装置１では（図２）、撮像素子４の撮像面にレンズ２により形成された光学像が光電変換処理されて撮像結果が得られ、この撮像結果がアナログディジタル変換回路５により画像データに変換され、この画像データが画像処理ディジタルシグナルプロセッサ８により処理される。この撮像装置１では、この画像データがディジタルアナログ変換回路によりアナログ信号に変換されて表示装置１３により表示され、これにより所望する撮像結果を表示装置１３によりモニタすることができる。
【００５４】
またこのようにして撮像結果をモニタした状態で、ユーザーにより操作部２３が操作されて静止画による撮像結果の取得が指示されると、撮像素子４の駆動が切り換えられて静止画による撮像結果が撮像素子４から出力され、この静止画による撮像結果の画像データが画像処理ディジタルシグナルプロセッサ８により処理された後、静止画処理ディジタルシグナルプロセッサ１０によりデータ圧縮され、静止画記録再生制御マイコン１４、静止画記録インターフェース部１５を介して静止画記録メディア１６に記録される。
【００５５】
これに対して動画による撮像結果の記録がユーザーにより指示された場合、画像処理ディジタルシグナルプロセッサ８より出力される動画による画像データが動画処理ディジタルシグナルプロセッサ９により順次データ圧縮され、その結果得られる符号化データが動画記録インターフェース部２０を介して動画記録メディア２１に記録される。これによりこの撮像装置１では、所望する被写体の撮像結果を静止画及び動画によりそれぞれ静止画記録メディア１６及び動画記録メディア２１に記録することができる。
【００５６】
またこのような動画による撮像結果を取得する場合に、ユーザーにより手振れ補正が指示されている場合、角速度センサ６の検出結果に従ったカメラ制御マイコン３によるアナログディジタル変換回路５のタイミング制御により、手振れ補正の処理が実行される。また動画による記録をユーザーが指示した場合、この手振れ補正して残る角速度センサ６による検出結果が、手振れ補正による補正量に換算されて動画記録メディア２１に記録される。またユーザーにより手振れ補正が指示されていない場合、角速度センサ６による検出結果がそのまま手振れ補正による補正量に換算されて動画記録メディア２１に記録される。これによりパン、チルト等による背景の移動量が、撮像結果と共に記録媒体に記録される。
【００５７】
これによりこの撮像装置１では、撮像結果より検出される各部の動きをこの背景による動きにより補正して背景に対する各部の相対的な動きを検出することができ、これによりパン、チルト等により背景が動いている場合にあっても、背景が静止しているものとして被写体の動きを検出することができ、これにより簡易かつ確実に被写体を検出して各種の処理を実行することができる。
【００５８】
すなわちこの撮像装置１では、ユーザーが静止画の再生を指示すると、静止画記録メディア１６に記録された静止画による撮像結果が再生されて静止画処理ディジタルシグナルプロセッサ１０によりデータ伸長された後、画像処理ディジタルシグナルプロセッサ８、ディジタルアナログ変換回路１１を介して表示装置１３により表示される。これに対してユーザーにより動画の再生が指示されると、動画記録メディア２１に記録された動画による撮像結果が再生されて動画処理ディジタルシグナルプロセッサ９によりデータ伸長された後、画像処理ディジタルシグナルプロセッサ８、ディジタルアナログ変換回路１１を介して表示装置１３により表示される。
【００５９】
これに対してユーザーによりインデックス画像の作成が指示されると、動画記録メディア２１に記録された動画による撮像結果が再生されて動画処理ディジタルシグナルプロセッサ９によりデータ伸長された後、画像処理ディジタルシグナルプロセッサ８に入力され、ここでマクロブロック毎に撮像結果の各部の動きが動きベクトルにより検出される（図１）。また動画記録メディア２１に記録された撮像装置１の動きが再生され、画像処理ディジタルシグナルプロセッサ８で検出される各部の動きベクトルが、再生された撮像装置１の動きにより補正されて、静止した背景に対する各部の動きが検出される（図３及び図４）。
【００６０】
またユーザーが電子ズームによる再生を指示した場合にも（図６）、画像処理ディジタルシグナルプロセッサ８で検出されるマクロブロックによる撮像結果の各部の動きが、動画記録メディア２１から再生される撮像装置１の動きにより補正されて、静止した背景に対する各部の動きが検出される。
【００６１】
これによりこの撮像装置１では、背景が静止した状態で動きのある被写体を撮影した場合の撮像結果を簡易な処理により得ることができ、これによりこのような被写体の検出精度を向上して確実に所望するこれらの処理を実行することができる。
【００６２】
すなわちインデックス画像を作成する場合は、この各部の相対的な動きに基づいて、被写体の動きの急変が検出されてシーンチェンジが検出され、このシーンチェンジに係るフレームがサムネイル画像により記録されてインデックス用の画像が生成される。これによりこの実施例では、背景の急変により、例えば単なるフレーム間差分値等によるシーンチェンジの検出では誤検出する場合にあっても、正しく被写体を検出して正しくシーンチェンジを検出することができ、これによりインデックス画像の作成精度を向上してユーザーによる使い勝手を向上することができる。
【００６３】
これに対して電子ズームの処理においては、各部の相対的な動きに基づいて、動画記録メディア２１に記録された撮像結果より被写体が撮像された領域が検出され、この検出結果に基づいて、動画記録メディア２１に記録された撮像結果より被写体が撮像された領域の電子ズームによる画像が生成されて表示装置１３により表示される。これによりこの実施例では、所望する被写体を確実に電子ズームにより表示することができる。
【００６４】
（３）実施例の効果
以上の構成によれば、動き検出手段により装置の動きを検出し、この動きの情報の記録により撮像結果を処理可能とすることにより、パン、チルト等により背景が動いている場合にあっても、簡易かつ確実に被写体を検出して各種の処理を実行することができる。
【００６５】
またこの動き検出手段を角速度センサにより構成することにより、確実に装置の動きを検出することができる。また手振れ補正機構を設け、この手振れ補正機構に係る角速度センサにより動き検出手段を構成することにより、手振れ補正の構成を有効に利用して全体構成を簡略化することができる。
【００６６】
すなわちこのようにして記録した動きの情報を再生して、撮像結果より検出される各部の動きを補正し、撮像結果の背景に対する各部の相対的な動きを検出することにより、背景が静止した状態で動きのある被写体を撮影した場合の撮像結果を簡易な処理により得ることができ、これによりこのような被写体の検出精度を向上して確実にこれらの処理を実行することができる。
【００６７】
より具体的に、このようにして検出される各部の相対的な動きの変化に基づいて、インデックス用のサムネイル画像を生成することにより、確実にシーンチェンジを検出してインデックス用の画像を生成することができる。
【００６８】
またこのようにして検出される各部の相対的な動きに基づいて、撮像結果より被写体が撮像された領域を検出し、この領域の検出結果に基づいて、撮像結果を電子ズームにより処理することにより、所望する被写体を確実に電子ズームにより表示することができる。
【実施例２】
【００６９】
この実施例においては、上述した撮像装置１に係るインデックス画像の作成処理を、撮像結果の記録時に実行する。またユーザーによる指示により、動画による撮像結果を記録しながら、上述した撮像装置１に係る電子ズームによる処理を実行する。これによりこの実施例においては、動画記録メディア２１より再生される撮像結果、動きの情報に代えて、アナログディジタル変換回路５より出力される撮像結果、カメラ制御マイコン３から出力される動きの情報を処理対象に設定してこれらの処理を実行する点を除いて、実施例１に係る撮像装置１と同一に構成される。
【００７０】
この実施例のように、記録時に実施例１に係るインデックス用画像の作成処理、電子ズームに係る処理を実行するようにしても、実施例１と同様の効果を得ることができる。
【実施例３】
【００７１】
この実施例においては、実施例２により検出される背景に対する各部の相対的な動きを用いて、光学系を制御する。なおこの実施例においては、この光学系の制御に係る構成が異なる点を除いて、実施例１について上述した撮像装置１と同一に構成されることにより、以下においては、図２の構成を流用して構成を説明する。
【００７２】
すなわちこの実施例において、中央処理マイコン７は、ユーザーにより動画による撮影が指示されると、図１１に示す処理手順を開始してステップＳＰ３１からステップＳＰ３２に移り、動画記録メディア２１より再生される撮像結果、動きの情報に代えて、アナログディジタル変換回路５より出力される撮像結果、カメラ制御マイコン３から出力される動きの情報を処理対象に設定して、実施例１について上述したと同様にして被写体が撮影されている領域を検出する。
【００７３】
また中央処理マイコン７は、続くステップＳＰ３３において、この検出した領域を画像処理ディジタルシグナルプロセッサ８に通知した後、ステップＳＰ３２に戻って続くフレームの処理を開始する。
【００７４】
画像処理ディジタルシグナルプロセッサ８は、この中央処理マイコン７から通知された領域より、フォーカス制御、絞り制御に必要な情報を取得してカメラ制御マイコン３に通知する。なおここでフォーカス制御に必要な情報は、例えばこの領域における高周波成分の信号レベルであり、絞り制御に必要な情報は、この領域で検出される撮像結果の輝度レベルである。
【００７５】
この実施例のように、手振れ補正に供するセンサ出力を利用して検出される背景に対する各部の相対的な動きに基づいて、撮像結果より被写体が撮像された領域を検出し、この検出結果に基づいて、光学系を制御すれば、所望する被写体についての撮影の条件を確実に最適な条件に設定することができ、これにより一段とユーザーの使い勝手を向上することができる。
【００７６】
具体的に、この光学系の制御が、フォーカスの制御であることにより、パン、チルト等により背景が動いている場合でも、所望する被写体をジャストフォーカスにより撮影することができる。
【００７７】
またこの光学系の制御が、絞りの制御であることにより、パン、チルト等により背景が動いている場合でも、所望する被写体の階調を十分に確保して撮影することができる。
【実施例４】
【００７８】
なお上述の実施例２においては、記録時における電子ズームの処理に本発明を適用する場合について述べたが、本発明はこれに限らず、光学ズームの処理にも適用することができる。
【００７９】
また上述の実施例においては、装置の動きを検出する動き検出手段を角速度センサにより構成する場合について述べたが、本発明はこれに限らず、加速度センサにより動き検出手段を構成するようにしてもよい。
【００８０】
また上述の実施例においては、装置の動きを検出する動き検出手段を手振れ補正用の角速度センサにより兼用する場合について述べたが、本発明はこれに限らず、専用のセンサにより装置の動きを検出するようにしてもよい。
【００８１】
また上述の実施例においては、センサにより装置の動きを検出する場合について述べたが、本発明はこれに限らず、例えば撮像結果の各マクロブロックで検出される動きベクトルを処理して装置の動きを検出する場合、撮像装置をパン、チルト等する可動機構により装置の動きを検出する場合等、動き検出手段にあっては、種々の手法を広く適用することができる。
【００８２】
また上述の実施例においては、本発明を手振れ補正機構を有する撮像装置に適用する場合について述べたが、本発明はこれに限らず、手振れ補正機構を有していない撮像装置にも広く適用することができる。
【００８３】
また上述の実施例においては、インデックス画像の作成、電子ズーム、光学系の制御等に本発明を適用する場合について述べたが、本発明はこれに限らず、例えば監視カメラに適用して移動物体を追跡する場合、さらには記録系と別体に構成された撮像装置等に広く適用することができる。
【産業上の利用可能性】
【００８４】
本発明は、例えばディジタルビデオカメラに適用することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施例１に係る撮像装置の中央処理マイコンにおける処理手順を示すフローチャートである。
【図２】本発明の実施例１に係る撮像装置を示すブロック図である。
【図３】図１の処理手順による相対的な動きを示す平面図である。
【図４】図３とは異なる例による相対的な動きを示す平面図である。
【図５】中央処理マイコンにおける電子ズームの処理に係る処理手順を示すフローチャートである。
【図６】中央処理マイコンにおける他の例による電子ズームの処理に係る処理手順を示すフローチャートである。
【図７】図６の処理手順における領域の設定の説明に供する平面図である。
【図８】図６の処理手順における相対的な動きの説明に供する平面図である。
【図９】図６の処理手順における被写体の検出の説明に供する平面図である。
【図１０】図６の処理手順における枠の移動の検出の説明に供する平面図である。
【図１１】本発明の実施例３に係る撮像装置の中央処理マイコンにおける処理手順を示すフローチャートである。
【符号の説明】
【００８６】
１……撮像装置、２……レンズ、３……カメラ制御マイコン、４……撮像素子、７……中央処理マイコン、８……画像処理ディジタルシグナルプロセッサ、１３……表示装置、２１……動画記録メディア
【図１】
2006295350.tif 000003
【図２】
2006295350.tif 000004
【図３】
2006295350.tif 000005
【図４】
2006295350.tif 000006
【図５】
2006295350.tif 000007
【図６】
2006295350.tif 000008
【図７】
2006295350.tif 000009
【図８】
2006295350.tif 000010
【図９】
2006295350.tif 000011
【図１０】
2006295350.tif 000012
【図１１】
2006295350.tif 000013