(57)【要約】【目的】撮影者に違和感を与えることのない良好な防振装置及びカメラ動作検出装置を提供すること。【構成】防振手段を有するカメラ装置において、防振装置は、画像を空間周波数成分で分離する手段を有し、その所定成分の時間的変化とその増減を判断する手段を有し、その結果からカメラの動きを判断する手段を有し、その判断手段の結果を元にカメラの防振動作の制御に反映させる手段を有する。ここで、前記画像を空間周波数成分で分離する手段は離散ウェーブレット変換又はサブバンド符号化である。又、前記所定成分は、少なくとも符号量・データ値・アクティビティ・コントラストの何れかを含む。【選択図】　　　図１
2004088438.tif 000002
【特許請求の範囲】
【請求項１】
防振手段を有するカメラ装置において、画像を空間周波数成分で分離する手段を有し、その所定成分の時間的変化とその増減を判断する手段を有し、その結果からカメラの動きを判断する手段を有し、その判断手段の結果を元にカメラの防振動作の制御に反映させる手段を有することを特徴とする防振装置。
【請求項２】
前記画像を空間周波数成分で分離する手段は離散ウェーブレット変換又はサブバンド符号化であることを特徴とする請求項１の防振装置。
【請求項３】
前記所定成分は、少なくとも符号量・データ値・アクティビティ・コントラストの何れかを含むことを特徴とする請求項１又は２記載の防振装置。
【請求項４】
前記カメラの動きは、パン・チルト・ズームの少なくとも何れかを含むことを特徴とする請求項１〜３の何れかに記載の防振装置。
【請求項５】
前記防振動作の制御には、防振の動作及び停止又は防振特性の切換であることを特徴とする請求項１〜４の何れかに記載の防振装置。
【請求項６】
カメラ装置において、画像を空間周波数成分で分離する手段を有し、その所定成分の時間的変化とその増減を判断する手段を有し、その結果からカメラの動きを判断する手段を有し、その判断手段の結果を出力する手段を有することを特徴とするカメラ動作検出装置。
【請求項７】
前記画像を空間周波数成分で分離する手段は、離散ウェーブレット変換又はサブバンド符号化であることを特徴とする請求項６記載のカメラ動作検出装置。
【請求項８】
前記所定成分は、少なくとも符号量・データ値・アクティビティ・コントラストの何れかかを含むことを特徴とする請求項６又は７記載のカメラ動作検出装置。
【請求項９】
前記カメラの動きは、パン・チルト・ズームの少なくとも何れかを含むことを特徴とする請求項６〜８の何れかに記載のカメラ動作検出装置。
【請求項１０】
前記防振動作の制御には、防振の動作及び停止又は防振特性の切換であることを特徴とする請求項６〜９の何れかにカメラ動作検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ装置の防振装置及びカメラ動作検出装置に関するものである。
【０００２】
【従来の技術】
従来より防振装置は一般的な家庭用ビデオカムコーダーや銀塩カメラ、最近ではデジタルスチルカメラにも搭載されるようになり、身近な技術となりつつある。防振装置には大きく分けて２種類の方式が知られている。１つは光学防振であり、ＣＣＤ等の撮像素子に結像させる撮影レンズ内に防振機構を有し、加速度センサー等からのブレ信号を元にメカ的な防振機構により撮影レンズ光軸をずらし撮像素子上に結像される画像はブレのない画像を得ようとするものである。
【０００３】
もう１つの方法として電子防振がある。撮影レンズの光軸は固定としＣＣＤ等の撮像素子に結像されたブレを有する画像情報を元に時間的画像の変化からブレを検出し、画像の読出し範囲を制御してブレのない画像を得、防振効果を得る方法である。
【０００４】
光学的な防振装置の実施例を図９を用いて説明する。
【０００５】
図９において、１０１は被写体画像を撮像して電子撮像素子に結像させるための撮像レンズ、１０２は結像された画像を電子画像に変換するＣＣＤ素子、１０３は撮像データを画像信号処理する前処理回路、１０４は画像データを空間周波数成分に変換する離散ウェーブレット変換部、１０５は圧縮符号化するための符号化処理部、１０６は出力フォーマットに変換して記録メディア等に出力する出力手段、１０７は撮影画像のブレを検出してそのブレを補正する防振装置である。
【０００６】
撮影画像は撮影レンズ１０１を介してＣＣＤ１０２に結像される。結像画像はＣＣＤにより電子画像信号として出力される。画像信号は前処理回路１０３において、ＡＧＣ、ＡＤ変換、γ処理、補間処理、エンハンス処理、色変換処理、必要に応じてスキャン変換処理等の既知の一般的な処理がなされる。更に、離散ウェーブレット変換１０４では、入力した画像信号データに対して２次元の離散ウェーブレット変換を施して周波数成分に分解し、所定複数の周波数帯域のそれぞれに属する複数の変換係数群（以降、サブバンド）を出力する。
【０００７】
図２は離散ウェーブレット変換部１０４により出力されるサブバンドの構成を示したものであり、２次元のウェーブレット変換を全体に一度行った結果である。左上のＬＬ画像は水平・垂直共に空間周波数の低周波画像が、右上のＨＬ画像は水平成分は高周波成分、垂直成分は低周波成分を有する画像が、左下のＬＨ画像は水平成分は低周波成分、垂直成分は高周波成分を有する画像が、右下のＨＨ画像は水平・垂直共に高周波成分の画像となる。この離散ウェーブレット変換を低周波帯域であるＬＬ画像に対して再帰的に行うことが一般的である。その再帰的に２レベル行ったものを図８に示す。
【０００８】
図２のＬＬ画像が更に周波数分割され４つのサブバンドに分割されることになる。この再帰的処理は、２レベルに限ることではなく、更に３レベル、４レベルと行っても良い。尚、離散ウェーブレット変換部１０４では符号化を非可逆符号化で行いたい場合には、ウェーブレット変換後の係数が実数になる実数型のフィルタを、可逆符号化を行いたい場合にはウェーブレット変換後の係数が整数になる整数型のフィルタが用いられる。
【０００９】
離散ウェーブレット変換後の画像データは符号化処理１０５により、一般的に既知である算術符号化等により、データの冗長度特性を用いて、データ符号量の圧縮を行う。その後、出力手段１０６では、データの優先度や記録メディアに応じたデータのフォーマットへの変換処理を行い、外部機器や記録装置に出力する。
【００１０】
防振装置１０７は一般的に既知である防振機構であり、前記撮影レンズ１０１の光軸を制御してブレのない画像がＣＣＤ１０２に結像されるように制御動作を行う。一般的にはブレを加速度センサー等により、水平・垂直の２次元で検出し、レンズ光軸を２次元的にボイスコイル等のアクチュエータを制御して防振を実現する。
【００１１】
【発明が解決しようとする課題】
前述の２つの手法のどちらにおいても、パンニングやチルト等の撮影動作を行う場合には、パンやチルトの動作とブレとの切り分けが困難であり、撮影時に不自然な動きの撮影画像となってしまい、撮影者の意図する動作ができない不具合が生じてしまう。パンニングやチルトの動作開始時には画像の移動に時間的遅れが生じたり、動作終了時には動作を止めてもそのまま移動し続け、その後、更に逆方向に画像が戻るより戻し現象が発生する。このより戻しは特に撮影者に違和感を与えるものである。
【００１２】
電子防振方式においても同様である。
【００１３】
本発明は上記観点に鑑みてなされたもので、その目的とする処は、撮影者に違和感を与えることのない良好な防振装置及びカメラ動作検出装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明は、防振手段を有するカメラ装置において、画像を空間周波数成分で分離する手段を有し、その所定成分の時間的変化とその増減を判断する手段を有し、その結果からカメラの動きを判断する手段を有し、その判断手段の結果を元にカメラの防振動作の制御に反映させる手段を有することを特徴とする。
【００１５】
又、本発明は、カメラ装置において、画像を空間周波数成分で分離する手段を有し、その所定成分の時間的変化とその増減を判断する手段を有し、その結果からカメラの動きを判断する手段を有し、その判断手段の結果を出力する手段を有することを特徴とする。
【００１６】
【発明の実施の形態】
本発明が適用される防振装置は、電子撮像素子を有する撮影装置に実施され、特にポータブル機器等に特に有効である。
【００１７】
＜実施の形態１＞
図１を用いて本実施の形態の概要を説明する。尚、従来例と同一の部分に関しては同一の番号を付して説明を省略する。
【００１８】
図１中、１０８は各サブバンド内の演算を行う演算部、１０９は前記演算部１０８の結果を記憶するメモリ、１１０は演算部１０８の結果とメモリ１０９の時間的に異なる画像の演算結果を元に演算値の比較を行う変化量演算部、１１１は前記変化量演算部の結果からパンやチルト等の動きを判断する動き判断部である。前記動き判断部１１１の結果は防振装置１０７の動作や防振特性等を変えることで、目的を実現するものである。
【００１９】
更に詳細に説明する。
【００２０】
各バンド演算部１０８では、離散ウェーブレット変換後の各サブバンドのデータから、所定の演算を行い評価値を得る。この演算は各サブバンドに含まれる所定情報を反映させることを目的としており、その目的を満足するものであれば良い。具体的には、サブバンド内のコントラスト量やアクティビティやエネルギー量等がある。それらの評価結果は、メモリ１０９に保持され、時間的に異なる評価結果からその変化量をサブバンド毎に変化量演算部１１０で演算される。
【００２１】
変化量演算部１１０での各サブバンドでの変化と動作の関係を図３〜図５に示す。
【００２２】
図３は水平方向の移動であるパンニング時の各サブバンドの変化を示している。図中ａ）はパン開始時を、ｂ）はパン終了時をそれぞれ示している。ａ）パン開始時はサブバンドＬＬ成分の評価値は変化しないか微小の減少傾向であり、ＨＬは減少となる。ＬＨとＨＨは変化がない。この減少量はパン動作の速度や画像の倍率や被写体等により異なる。
【００２３】
又、評価値の定義によっては増減が逆転するのは当然である。この現象はパンニング動作により、画像がボケるために水平成分の評価値が減少し、他の垂直や斜め成分は変化しないことを意味している。ＬＬ成分はそのパンニング動作による水平周波数成分がどの周波数までどれだけ減少し、評価値に反映されるかによって微小減少に反映される。これはサブバンドの分割方法や像倍率等の諸条件によって決定されることになり、システム設計時に設定すれば良い。ｂ）のパン終了時はパン開始時とは逆に評価値が元に値に戻るので変化量はＨＬが増加、ＬＬは変化がないか微増、他は変化なし状態となる。
【００２４】
変化の有る無しについてはその程度により評価するもので、その絶対量を直接意味していなく所定の閾値を有しても良いのは当然である。
【００２５】
図４は垂直方向の移動であるチルト時の各サブバンドの変化を示している。
【００２６】
ａ）はチルト開始時をｂ）はチルト終了時をそれぞれ示している。ａ）チルト開始時は画像の垂直成分がボケのため、減少するのでそれを反映して評価値は減少する。ＬＬは変化がないか前述のパン同様の条件により微減する。他のＨＬとＨＨは変化がない。ｂ）チルト終了時はＬＨが増加し、ＬＬは変化がないか微増する。他は変化がない。
【００２７】
図５はその他の動作としてズームを行った場合について記している。ａ）はズーム開始時、ｂ）はズーム終了時の変化を示している。ａ）ズーム開始時は、ズームによって画像倍率が変化するために水平・垂直・斜めの全ての高周波成分が減少するに従ってＨＬ・ＬＨ・ＨＨて減少し、ＬＬは変化がないか微減する。ｂ）ズーム終了時は前述のように元に戻るので、その変化はＨＬ・ＬＨ・ＨＨで増加しＬＬは変化がないか微増する。
【００２８】
以上３つの動作による変化を説明したが図６にこれをまとめてある。
【００２９】
動き判断部１１１では図６を元に動作を判断することが可能となる。この時に前述の様に諸条件を勘案して閾値を変化させると更に正確な判断が行える。
【００３０】
前述の説明では、サブバンド内を全てにおいて評価する構成で説明したが、その限りではなく、図７に示すように、中央部のデータを用いて周辺部を用いないことで画像中央部重点動作にすることも可能であり、又、逆に周辺部を用いも画像中心に配することの多い主被写体の影響をなくすことも可能である。又、それぞれに画像内で重み付処理や適応処理をしても良い。
【００３１】
前述の説明では、サブバンドが４つの場合、つまり離散ウェーブレットを１度処理した状態で説明したが、その限りではなく、図８に示すように複数回のウェーブレット変換を行った場合でも、同様の考え方で判断できるのは言うまでもない。
【００３２】
尚、本実施の形態では、光学防振方式で説明したが、この限りではなく電子防振方式でも同様に適応でき、同様の効果が得られるのは言うまでもない。
【００３３】
＜実施の形態２＞
次に、本発明の実施の形態２について図９を用いて概要を説明する。尚、実施の形態１では離散ウェーブレット変換後のサブバンドデータを用いたが、本実施の形態では符号化処理後のデータを用いる構成である。図２中、実施の形態１と同様な動作のものは同一の番号を付して説明を省略する。
【００３４】
図中、各バンド演算部１０８では、符号化処理回路１０５の符号化後の結果が入力される。その符号量は符号化前の画像の特性が冗長度の少ない場合やアクティビティの高い場合やエネルギーの高い場合に多くなり、その逆の場合は減少する。その特性を用いて、各サブバンド演算部１０８では各サブバンドでの符号量を算出することで実施の形態１と同様の結果を得ることが可能となる。
【００３５】
以下、実施の形態１と同様の動作により同様の効果が得られる。
【００３６】
【発明の効果】
以上の説明で明らかなように、本発明によれば、撮影者に違和感を与えることのない良好な防振装置を容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１を説明するブロック図である。
【図２】ウェーブレット後のバンドを説明する図である。
【図３】パンニングによるバンド毎の変化を説明する図である。
【図４】チルトによるバンド毎の変化を説明する図である。
【図５】ズームによるバンド毎の変化を説明する図である。
【図６】カメラ動作によるバンド毎の変化をまとめた表である。
【図７】マスキング又はウェイティングを説明する図である。
【図８】複数レイヤ処理時の場合を説明する図である。
【図９】本発明の実施の形態２を説明するブロック図である。
【図１０】従来例を説明するブロック図である。
【符号の説明】
１０１　　レンズ
１０２　　ＣＣＤ
１０３　　前処理回路
１０４　　ウェーブレット変換部
１０５　　符号化処理
１０６　　出力手段
１０７　　防振装置
１０８　　各バンド演算部
１０９　　メモリ
１１０　　変化量演算部
１１１　　動き判断部
【図１】
2004088438.tif 000003
【図２】
2004088438.tif 000004
【図３】
2004088438.tif 000005
【図４】
2004088438.tif 000006
【図５】
2004088438.tif 000007
【図６】
2004088438.tif 000008
【図７】
2004088438.tif 000009
【図８】
2004088438.tif 000010
【図９】
2004088438.tif 000011
【図１０】
2004088438.tif 000012