(57)【要約】【課題】  長時間撮影が可能でかつ、符号化効率の高い符号化動作を行なうことのできる撮像装置を提供する。【解決手段】  撮像装置であって、撮影者が撮影動作を行なう前にブレ情報を取得する動作モードにおいて、装置のブレ情報を物理的に検出し、検出されたブレ情報の傾向を求める。続いて通常の撮影動作を行なう動作モードにおいて、前記ブレ情報を取得する動作モード時において得たブレ情報の傾向に基いて符号化処理を行ない、順次記憶媒体に記録する。【選択図】        図２
2005236373.tif 000002
【特許請求の範囲】
【請求項１】
装置のブレ情報を物理的に検出するブレ検出手段と、
前記ブレ検出手段によって検出されたブレ情報の傾向を求める演算手段と、
撮像手段より得られた連続した複数の画像から構成される動画像をフレーム単位で時系列に入力し、前記演算手段より求められたブレ情報の傾向に基いて符号化する符号化手段と、
前記符号化手段より得られた符号を順次記憶媒体に記録する記録手段と、
を備えた撮像装置であって、
撮影者が撮影動作を行なう前にブレ情報を取得する第一の動作モードと、
通常の撮影動作を行なう第二の動作モードと、を備え、
前記第一の動作モード時は少なくとも前記ブレ検出手段及び前記演算手段が動作し、前記演算手段より得るブレ情報の傾向を取得することを特徴とする、撮像装置。
【請求項２】
前記符号化手段は、前記フレーム間で該フレームをブロック単位に分割された画像信号について、該ブロック毎に動きベクトルを検出する動きベクトル検出手段を更に有し、前記動きベクトル検出手段が検出した動きベクトルに応じて前記ブロック単位で動画像のフレーム間の差分とり、直交変換した後量子化し、エントロピー符号化を施すものであって、
前記動きベクトル検出手段は、前記演算手段の求めるブレ情報の傾向に基いて前記動きベクトルを検出することを特徴とする、請求項１記載の撮像装置。
【請求項３】
前記演算手段は、装置のブレの水平成分の絶対値の平均値と装置のブレの垂直成分の絶対値の平均値との比を求めることを特徴とする、請求項２記載の撮像装置。
【請求項４】
前記動きベクトル検出手段は、前記演算手段の求めるブレ情報の傾向に基いて、予め定められた動きベクトル探索範囲のうちどの範囲を実際に探索するかを決定することを特徴とする、請求項２または請求項３記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮影して順次圧縮符号化して記録する撮像装置、特に装置のブレを物理的に検出してその情報に基いて動画像を符号化する撮像装置に関する。
【背景技術】
【０００２】
一般にデジタルビデオカメラ、デジタルカメラ等の撮像装置で動画像を撮影する場合、撮像装置を手で保持して撮影を行なうケースが多く、また、移動体からの撮影等、振動が生ずる状況下での撮影も頻度が高い。こうした状況における撮影では撮像装置本体が動き、撮影画像全体のブレにつながる。
【０００３】
ところで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に代表される動画像圧縮符号化方式においては、現フレームの入力信号ブロックと動き補償により得られた予測対象フレームの局部復号信号ブロックとのフレーム間差分信号を、符号化する方法が一般的となっている。この動き補償方法の場合、通常動きベクトルの検出はブロックマッチング法により行なわれ，例えば１６画素×１６ラインのブロック毎につき一つの動きベクトルが選択される。該動きベクトルの検出方法においては、探索範囲を全て評価する所謂フルサーチでは圧縮効率に優れる一方検索に要する処理負荷が大きいため、圧縮効率を損なわずに処理負荷をいかに低減させるかが重要となっており、従来より様々な方法が提案されている。
【０００４】
そうした中の一つには、撮像装置自体のブレ情報を符号化に有効利用する方法がある。前述したような手ブレ等の影響で撮影画像全体にブレが生じている場合は、そのブレ情報をリアルタイムに収集して蓄積していき、該ブレ情報の蓄積データに基いて動きベクトルの探索範囲のうちどの範囲を実際に探索するかを決定し、その範囲内だけで探索を実行することによって動きベクトル探索の処理負荷を軽減させることができる（例えば、特許文献１参照）。
【０００５】
図５に、従来例における撮像装置の構成図を示す。図示されない撮像手段よりディジタル信号化された画像入力は、符号化器５０３において圧縮符号化され、符号化ストリームとして記録装置５０４へ記録される。また、ブレ検出器５０１において装置のブレが物理的に検出され、検出されたブレ情報は演算器５０２へと送られてブレの傾向の情報が演算される。演算器５０２において求められた装置のブレの傾向の情報は、符号化器５０３において符号化効率を向上させるべく有効利用される。
【０００６】
図３に、単位時間毎に採取した装置のブレをプロットした例を示す。図の中心部を原点に、単位時間で装置が水平、垂直方向それぞれに何ｐｉｘｅｌ動いたかを表している。本例ではデータ採取の単位時間を、３０ｆｒａｍｅ／ｓｅｃ．の動画撮影を想定して１／３０ｓｅｃ．設定し、１５秒間データを採取した。同図においてプロットされたそれぞれの点が示す装置のブレのベクトル（以下、ブレベクトルと呼ぶ）の水平成分及び垂直成分の大きさの平均値を算出するとそれぞれ、１．１８［ｐｉｘｅｌ］，０．５４［ｐｉｘｅｌ］となった。従って、この例では装置のブレベクトルの大きさの垂直成分に対する水平成分の比はおよそ２．２であったといえる。すなわち、この場合符号化器に入力される画像のマクロブロック毎に検出する単位時間当たりの動きベクトルの垂直成分に対する水平成分の比は、被写体自体の動きがさほど大きくない場合には概ね２．２に近い値になることが予想される。従って、図４に示すように、予め定めた動きベクトルの探索範囲（Ｘｓｗ，Ｙｓｗ）において、実際に動き検出を行なう探索範囲（Ｘａｗ，Ｙａｗ）の水平：垂直の比をこの値に等しくなるように設定することによって、効率よく動きベクトルの検出を行なうことができる。
【０００７】
図６に、従来例における撮像装置の処理フローを示す。撮影開始後、撮像系よりフレーム単位で画像が入力され始めると同時に、ステップｓ６０１において現時刻（フレーム）におけるブレ情報がブレ検出器より取得される。ステップｓ６０２において、ステップｓ６０１において得られた現時刻のブレ情報を過去のブレ情報の積算結果に加算する。ステップｓ６０３において、ステップｓ６０２において得る現時刻までのブレ情報の積算値における水平成分の大きさと垂直成分との大きさの比を算出する。続いてステップｓ６０４において、実際に動き検出を行なう探索の範囲を、ステップｓ６０３で求めた比を基に、予め定めた探索範囲を超えないように決定する。例えば、ステップｓ６０３で求めた水平：垂直の比が１．５：１であったとすると、図４に示された予め定めた動きベクトルの探索範囲（Ｘｓｗ，Ｙｓｗ）において、実際に動き検出を行なう探索範囲（Ｘａｗ，Ｙａｗ）は、Ｘｓｗ＝Ｙｓｗである場合はＸａｗ＝Ｘｓｗ，Ｙａｗ＝Ｙｓｗ／１．５とする。次にステップｓ６０５において、現フレームについて、ステップｓ６０４で決定した実際の探索の範囲より動きベクトルをマクロブロック単位に求め、該動きベクトルを基に動き補償予測符号化を行なう。ステップｓ６０６において撮影継続が指示されているか否かの判定がなされ、指示されているならば次のフレームの処理に移行し、ステップｓ６０１へと戻る。以下、ステップｓ６０６において撮影継続しないとの判定がなされるまで、同様に処理が繰り返される。また、処理フローには示されていないが、符号化によって得られる符号化ストリームは、適宜図５に示される記録装置５０４において記録される。
【特許文献１】特開平１１−３０８６１７号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の構成においては、ステップｓ６０３において算出する現時刻までの積算したブレ情報の水平成分と垂直成分の比は、撮影開始後十分時間が経過するまでは最終的に収束していく値と著しく異なる値となっている可能性が高く、その期間においては例えば垂直成分に対する水平成分の値が極端に大きいなどの比が算出されたりすることになる。その際には実際に動き検出を行なう探索範囲を予め定められた探索範囲内に収めようとした場合、実際に動き検出を行なう探索範囲が極端に狭くなってしまい、結果的に検出される動きベクトルは真の動きベクトルとは異なったものとなる確率が高くなってしまうという問題があった。また、撮影中常にブレ検出器及びブレの傾向情報算出のための演算器及び符号化器、記録装置をアクティブの状態にしておくため消費電力が大きくなり、長時間の撮影には不向きであるという問題があった。
【０００９】
本発明は、以上の点に着目して成されたもので、長時間撮影が可能でかつ、符号化効率の高い符号化動作を行なうことのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる課題を解決するために、本発明における撮像装置は、装置のブレ情報を物理的に検出するブレ検出手段と、前記ブレ検出手段によって検出されたブレ情報の傾向を求める演算手段と、撮像手段より得られた連続した複数の画像から構成される動画像をフレーム単位で時系列に入力し、前記演算手段より求められたブレ情報の傾向に基いて符号化する符号化手段と、前記符号化手段より得られた符号を順次記憶媒体に記録する記録手段と、を備える撮像装置であって、撮影者が撮影動作を行なう前にブレ情報を取得する第一の動作モードと、通常の撮影動作を行なう第二の動作モードと、を備え、前記第一の動作モード時は少なくとも前記ブレ検出手段及び前記演算手段が動作し、前記演算手段より得るブレ情報の傾向を取得することを特徴とする。
【００１１】
なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。
【００１２】
（１）装置のブレ情報を物理的に検出するブレ検出手段と、前記ブレ検出手段によって検出されたブレ情報の傾向を求める演算手段と、撮像手段より得られた連続した複数の画像から構成される動画像をフレーム単位で時系列に入力し、前記演算手段より求められたブレ情報の傾向に基いて符号化する符号化手段と、前記符号化手段より得られた符号を順次記憶媒体に記録する記録手段と、を備えた撮像装置であって、撮影者が撮影動作を行なう前にブレ情報を取得する第一の動作モードと、通常の撮影動作を行なう第二の動作モードと、を備え、前記第一の動作モード時は少なくとも前記ブレ検出手段及び前記演算手段が動作し、前記演算手段より得るブレ情報の傾向を取得することを特徴とする、撮像装置。
【００１３】
（２）前記符号化手段は、前記フレーム間で該フレームをブロック単位に分割された画像信号について、該ブロック毎に動きベクトルを検出する動きベクトル検出手段を更に有し、前記動きベクトル検出手段が検出した動きベクトルに応じて前記ブロック単位で動画像のフレーム間の差分とり、直交変換した後量子化し、エントロピー符号化を施すものであって、前記動きベクトル検出手段は、前記演算手段の求めるブレ情報の傾向に基いて前記動きベクトルを検出することを特徴とする、前記（１）記載の撮像装置。
【００１４】
（３）前記演算手段は、装置のブレの水平成分の絶対値の平均値と装置のブレの垂直成分の絶対値の平均値との比を求めることを特徴とする、前記（２）記載の撮像装置。
【００１５】
（４）前記動きベクトル検出手段は、前記演算手段の求めるブレ情報の傾向に基いて、予め定められた動きベクトル探索範囲のうちどの範囲を実際に探索するかを決定することを特徴とする、前記（２）または（３）記載の撮像装置。
【発明の効果】
【００１６】
本発明によれば、装置のブレ情報を取得するための動作モードと、該ブレ情報を取得後に撮影を開始し、取得した情報に基いて符号化を行なう動作モードとに分けることによって、各々の動作モード時に動作が必要となる構成要素のみを活性化することで、長時間の撮影においても消費電力を抑えることが可能となる。また、撮影前にブレ情報の傾向を演算しておくことで、撮影開始時から最終的に収束する最適なブレ情報の傾向に基いて符号化動作を行なうことができ、結果として符号化効率の高い符号化処理が可能となり、また、動きベクトル検索に要する処理負荷が低減されて、消費電力を抑えることにつながる。
【発明を実施するための最良の形態】
【００１７】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００１８】
図１は、本発明における撮像装置の好適な実施例をブロック図で示したものである。図示されない撮像手段よりディジタル信号化された画像入力は、符号化器１０３において圧縮符号化され、符号化ストリームとして記録装置１０４へ記録される。また、ブレ検出器１０１において装置のブレが物理的に検出され、検出されたブレ情報は演算器１０２へと送られてブレの傾向の情報が演算される。演算器１０２において求められた装置のブレの傾向の情報は、符号化器１０３において符号化効率を向上させるべく有効利用される。また、動作モード信号は現動作モードが通常撮影モードかブレ情報取得モードであるかを示す信号であり、ブレ検出器１０１、演算器１０２、符号化器１０３、及び記録装置１０４にそれぞれ接続される。ブレ検出器１０１、及び演算器１０２においては動作モード信号が現在通常撮影モードであることを示している場合には、活性化されずに殆ど電力を消費せず、現在ブレ情報取得モードであることを示している場合には、活性状態になるように構成される。一方符号化器１０３、及び記録装置１０４においては動作モード信号が現在通常撮影モードであることを示している場合には活性状態になり、現在ブレ情報取得モードであることを示している場合には、活性化されずに殆ど電力を消費しないように構成される。こうした活性・非活性状態を切り替える構成方法としては、例えばそれぞれの回路へのクロック供給をオン・オフすることによって実現する方法がある。
【００１９】
次に、本実施例における撮像装置の処理フローを図１及び図２を用いて説明する。図２は本実施例における撮像装置の処理フローをフローチャートで示した図である。撮影開始後、ステップｓ２０１において、撮影者により動作モードがブレ情報取得のためのモードに設定される。これによって符号化器１０３及び記録装置１０４は非活性状態となり、ブレ検出器１０１及び演算器１０２のみ活性状態となる。
【００２０】
ステップｓ２０２において現時刻におけるブレ情報がブレ検出器１０１より取得される。次にステップｓ２０３において、ステップｓ２０２において得られた現時刻のブレ情報を過去のブレ情報の積算結果に加算する。ステップｓ２０４でブレ情報取得を継続するか否かを判定し、継続する場合はステップｓ２０２及びステップｓ２０３の処理を再び行ない、ステップｓ２０４でブレ情報取得を継続しないと判定されるまで処理を繰り返す。該ステップｓ２０２〜ステップｓ２０４までの処理は、動画撮影の際のフレーム間隔（例えば１／３０ｓｅｃ．）に合わせて、その時間単位で行なわれる。
【００２１】
ステップステップｓ２０４においてブレ情報取得を継続しないと判定されると、ステップｓ２０５へと移行し、ステップｓ２０３において得られたブレ情報取得期間に取得されたブレ情報の積算値より、該ブレ情報の積算値における水平成分の大きさと垂直成分との大きさの比を算出する。続いてステップｓ２０６において、実際に動き検出を行なう探索の範囲を、ステップｓ２０５で求めた比を基に、予め定めた探索範囲を超えないように決定する。例えば、ステップｓ２０５で求めた水平：垂直の比が２．２：１であったとすると、図４に示された予め定めた動きベクトルの探索範囲（Ｘｓｗ，Ｙｓｗ）において、実際に動き検出を行なう探索範囲（Ｘａｗ，Ｙａｗ）は、Ｘｓｗ＝Ｙｓｗである場合はＸａｗ＝Ｘｓｗ，Ｙａｗ＝Ｙｓｗ／２．２とする。
【００２２】
続くステップｓ２０７において、撮影者により動作モードが通常撮影モードに設定される。これによって符号化器１０３及び記録装置１０４は活性状態、ブレ検出器１０１及び演算器１０２は非活性状態となり、撮像系よりフレーム単位で画像が符号化器１０３に入力され始める。ステップｓ２０８では、符号化器１０３において現フレームについて、ステップｓ２０６で決定した実際の探索の範囲より動きベクトルをマクロブロック単位に求め、該動きベクトルを基に動き補償予測符号化を行なう。ステップｓ２０９において撮影継続が指示されているか否かの判定がなされ、指示されているならば次のフレームの処理に移行し、ステップｓ２０８へと戻る。以下、ステップｓ２０９において撮影継続しないとの判定がなされるまで、同様に処理が繰り返される。また、処理フローには示されていないが、符号化によって得られる符号化ストリームは、適宜記録装置１０４において記録される。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例の構成図である。
【図２】本発明の実施例の処理フロー図である。
【図３】ブレベクトルプロット図である。
【図４】動きベクトル探索範囲を説明する図である。
【図５】従来例の構成図である。
【図６】従来例の処理フロー図である。
【符号の説明】
【００２４】
１０１  ブレ検出器
１０２  演算器
１０３  符号化器
１０４  記録装置
【図１】
2005236373.tif 000003
【図２】
2005236373.tif 000004
【図３】
2005236373.tif 000005
【図４】
2005236373.tif 000006
【図５】
2005236373.tif 000007
【図６】
2005236373.tif 000008