(57)【要約】      （修正有）【課題】  撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置において、手振れ補正された画像信号のうち、画質（解像度）を劣化するような画像信号の累積加算を防止できる撮像装置を提供することである。【解決手段】撮像部の手振れによる振動量を検出し、検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、手振れ検出手段から出力された手振れ信号に基づいて画像信号を補正するための手振れ補正量を算出する手振れ補正量算出手段と、撮像部で撮影した画像信号の補間処理して手振れ補正を行う手振れ補正手段と、メモリに累積加算する画像信号の判別処理を行う画像判別手段と、画像判別手段に従って手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備する。【選択図】  図１
2005039532.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、
前記手振れ検出手段から出力された手振れ信号に基づいて前記画像信号を補正するための手振れ補正量を算出する手振れ補正量算出手段と、
前記手振れ補正量算出手段で算出した手振れ補正量に基づいて前記撮像部で撮影した画像信号の画素間を補間処理するための補間係数値を算出する補間係数算出手段と、
前記手振れ補正量算出手段で算出した手振れ補正量と前記補間係数算出手段で算出した補間係数値に基づき、前記撮像部で撮影した画像信号の補間処理して手振れ補正を行う手振れ補正手段と、
前記補間係数算出手段で算出した補間係数値と予め設定してある所定の閾値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、
前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
を具備していることを特徴とする撮像装置。
【請求項２】
撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、
前記手振れ検出手段から出力された手振れ信号に基づいて前記画像信号を補正するための手振れ補正量を算出する手振れ補正量算出手段と、
前記手振れ補正量算出手段で算出した手振れ補正量に基づいて前記撮像部で撮影した画像信号の画素間を補間処理するための補間係数値を算出する補間係数算出手段と、
前記手振れ補正量算出手段で算出した手振れ補正量と前記補間係数算出手段で算出した補間係数値に基づき、前記撮像部で撮影した画像信号の補間処理して手振れ補正を行う手振れ補正手段と、
前記補間係数算出手段で算出した補間係数値と予め設定してある所定の閾値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、
前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
を具備していることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。詳しくは、手振れ補正された画像信号のうち、画質（解像度）を劣化するような画像信号の累積加算を防止する撮像装置に関するものである。
【背景技術】
【０００２】
従来技術において、デジタルスチルカメラやビデオカメラなど、画像を撮影、記録することができる撮像装置では、撮影者の手振れによる振動によって撮影する画像がブレたり、記録した画像が劣化（滲んだり、ずれたり）することを防ぐための手振れ防止技術が種々考案されている。
【０００３】
例えば、所定期間もしくは所定回数の間に取り込んだ画像（静止画）から撮影時のぶれ量を検出し、ぶれ量が最も小さい画像（静止画）を記録する撮像装置などが考案されている（例えば、特許文献１）。
【特許文献１】特開平１１−３１７９０４号公報（第１１−１２頁、図１、図２６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常の手振れの補正処理では、画素単位の補正では粗いために、画素間の補正（整数画素未満の補正）を行う必要があるが、画像信号をサンプリングする最小単位が１画素単位であるため、画素間の補間処理が必要となる。
【０００５】
この補間処理には線形補間処理やＣＵＢＩＣ補間処理等の方法があるが、補間処理するときに、ナイキスト周波数以上の成分を含む画像信号は劣化（滲んだり、ずれたり）してしまうという問題がある。
【０００６】
そのため、撮影した画像信号を累積加算してメモリに記憶する撮像装置において、補間処理を施して手振れ補正をした画像信号を累積加算する、例えば、図７に示すように、大きさが−１〜＋１の範囲をとる補正ベクトル・データで手振れ補正された画像信号の全てを時間軸方向に累積加算してメモリに記憶すると、記憶した画像信号の画質（解像度）が劣化しまうという欠点を有している。
【０００７】
従って、撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置において、手振れ補正された画像信号のうち、画質（解像度）を劣化するような画像信号の累積加算を防止できるようにすることに解決しなければならない課題を有する。
【課題を解決するための手段】
【０００８】
前記課題を解決するため、本発明に係る撮像装置は次のような構成にすることである。
【０００９】
（１）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、前記手振れ検出手段から出力された手振れ信号に基づいて前記画像信号を補正するための手振れ補正量を算出する手振れ補正量算出手段と、前記手振れ補正量算出手段で算出した手振れ補正量に基づいて前記撮像部で撮影した画像信号の画素間を補間処理するための補間係数値を算出する補間係数算出手段と、前記手振れ補正量算出手段で算出した手振れ補正量と前記補間係数算出手段で算出した補間係数値に基づき、前記撮像部で撮影した画像信号の補間処理して手振れ補正を行う手振れ補正手段と、前記補間係数算出手段で算出した補間係数値と予め設定してある所定の閾値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。
【００１０】
（２）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、前記手振れ検出手段から出力された手振れ信号に基づいて前記画像信号を補正するための手振れ補正量を算出する手振れ補正量算出手段と、前記手振れ補正量算出手段で算出した手振れ補正量に基づいて前記撮像部で撮影した画像信号の画素間を補間処理するための補間係数値を算出する補間係数算出手段と、前記手振れ補正量算出手段で算出した手振れ補正量と前記補間係数算出手段で算出した補間係数値に基づき、前記撮像部で撮影した画像信号の補間処理して手振れ補正を行う手振れ補正手段と、前記補間係数算出手段で算出した補間係数値と予め設定してある所定の閾値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。
【００１１】
このような構成の撮像装置により、補間係数算出手段で算出した補間係数値と予め設定してある所定の閾値とを比較して、手振れ補正手段で補正した画像信号の累積加算処理を制御するので、補間処理して手振れ補正された画像信号のうち、補間処理によって解像度が劣化した画像信号の累積加算を防止することができる。
【発明の効果】
【００１２】
補間処理のために算出される補間係数値と予め設定した所定の閾値とを比較し、所定範囲内の補間係数値で補間処理して手振れ補正が為された画像信号のみを累積加算してメモリに記憶するので、補間処理のときに解像度が劣化するような画像信号は累積加算されず、手振れ補正の処理精度を保ちつつ、メモリに記憶する画像信号の画質が向上するという優れた効果を得ることができる。
【００１３】
また、上述したメモリに記憶してある画像信号を累積加算の回数に応じた係数値で乗算処理して出力するので、画質（Ｓ／Ｎ比）のよい画像信号（静止画像）を記録媒体や記録装置に記録することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の撮像装置による実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。
【実施例】
【００１５】
図１は、本発明の撮像装置において主要となる構成部を簡略化して示したブロック図であり、撮像部１１０、補正回路１２０、累積加算回路１３０、乗算器１４０、記録部１５０、マイコン１６０、手振れ検出部１７０などから構成される。
【００１６】
撮像部１１０は、レンズ及びＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して補正回路１２０に送出する。
【００１７】
補正回路１２０は、マイコン１６０から指定された補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送る。
【００１８】
累積加算回路１３０は、マイコン１６０の制御に従い、キャプチャを行うたびに、補正回路１２０から送られてくる画像信号を時間軸方向に累積加算してメモリに記憶する。
【００１９】
乗算器１４０は、マイコン１６０の制御に従い、累積加算回路１３０から出力される画像信号をマイコン１６０で指定された係数値に基づいて乗算処理して記録部１５０に出力する。
【００２０】
記録部１５０は、マイコン１６０の制御に従い、乗算器１４０から出力された画像信号を記録する。例えば、ハードディスク装置やメモリカード、磁気テープ、光ディスクなどの記録媒体に画像信号を記録する。
【００２１】
マイコン１６０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。
【００２２】
例えば、手振れ検出部１７０で検出された手振れ信号に基づいて手振れを補正するための手振れ補正量や補正ベクトル・データを算出したり、画素間の手振れを補正するための補間処理を行うための補間係数値を算出して補正回路１２０に送出する。
【００２３】
また、算出した補間係数値に基づいて画像信号の解像度の劣化度合を判定して累積加算回路１３０を制御したり、乗算器１４０に対する係数値を算出して送出したり、画像信号を記録部１５０に記録するときのタイミングの制御なども行う。
【００２４】
手振れ検出部１７０は、撮像部１１０の手振れによる振動量を検出し、検出した振動量を手振れ信号としてマイコン１６０に送る。なお、手振れ信号の検出は、ジャイロセンサや画像認識技術などを利用して行われ、画像信号をキャプチャする（取り込む）毎に手振れによる振動量を積分した値を手振れ信号として検出し、マイコン１８０に送出する。
【００２５】
例えば、図２に示すような完全積分を表す積分器において、入力信号Ｘ（ｚ）、出力信号Ｙ（ｚ）とした場合、手振れ信号は、次式で表すことができる。
【００２６】
Ｙ（ｚ） ＝ １／｛（１−Ｚ−１）・Ｘ（ｚ）｝
【００２７】
ここで、画像信号において、画素間の手振れを補正するための補間処理を行うとき、線形補間によって画素間の補正量（整数画素未満の補正量）を得る方法を説明する。
【００２８】
例えば、図３に示すように、静止画像において画素１と画素２との間の補正を行う場合、画像１の座標を”ｘ”、画素２の座標を”ｘ＋１”、画素１と画素２との間の距離（ベクトル）を１とし、また、このときの補正量（補正ベクトル）の小数点以下の値をａ、座標ｘにおける画像１の信号レベルをｇ（ｘ）とした場合、画素１と画素２の補間処理によって生成される画素Ａの補正量（信号レベル）は次式で表すことができる。
【００２９】
ｇ（ｘ＋ａ）＝（１−ａ）×ｇ（ｘ） ＋ ａ×ｇ（ｘ＋１）  ；ｘは整数
【００３０】
上述した式において、ｘは整数、（１−ａ）が補間係数であり、この補間係数の値に基づいて解像度の劣化度合を判別する。
【００３１】
次に、補間係数によって画像信号の解像度を判別する方法について説明する。
【００３２】
図４は、補間係数と解像度との関係を表したものであり、空間周波数領域における補間係数と利得（画素の信号レベル）の関係を略示的に示したグラフである。
【００３３】
図４のグラフのように、補間係数は０〜１の間の値をとる場合、補間係数の値が０．５に近いほど利得（画素の信号レベル）が低下する。基本的には、画像の空間周波数が高いほど利得（画素の信号レベル）の低下は顕著になる。このため、利得（画素の信号レベル）の低下は解像度の劣化を招くことになる。つまり、補間係数の値が０．５に近づく（画素と画素との間の中間点に近づく）につれて解像度が劣化するものである。
【００３４】
一般的に、補間係数の変化によって解像度の変化が著しくなるような場合、画像に不自然さをもたらすため、解像度が劣化するような補間係数を避ける必要があり、その対策として補正精度と解像度を保つように、補間係数を最も近い整数値に修正をする（最も近い画素の信号レベル）に修正する方法等がある。
【００３５】
本発明の撮像装置では、画像信号を時間軸方向に累積加算する処理を行うため、補間係数の値を変更することによって手振れ補正処理を行うと、累積加算された画像が二重に見える等の不自然さが生じるため、図４に示すような所定の閾値Ａを設定して補間係数を判別することにより、解像度劣化が生じる補間係数によって手振れ補正された画像信号の累積加算を防止する。
【００３６】
このような構成の撮像装置における動作フローを図５のフローチャートを参照しながら説明する。
【００３７】
撮影を開始すると、まず、マイコン１６０は、キャプチャした画像信号の数（以下、キャプチャ数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ１１０）。
【００３８】
ＣＣが「０」のとき、マイコン１６０は、補正回路１２０に対する補正量を「０」にクリアする（ＳＴ１１１）。
【００３９】
続いて、累積加算回路１３０は、撮像部１１０で撮影した画像信号をキャプチャしてメモリ１３２に累積加算する（ＳＴ１１２）。
【００４０】
これにより、まず、基準となる最初の画像信号が累積加算回路１３０のメモリに記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が全くキャプチャされないことを防止する。
【００４１】
そして、マイコン１６０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１３、ＳＴ１１４→エンド）。
【００４２】
一方、ＣＣが「０」でないとき、累積加算回路１３０にはキャプチャされた画像信号が累積加算されている状態にあり、マイコン１６０は、次に、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ１１０→ＳＴ１２０）。
【００４３】
ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２０→ＳＴ１３０→・・・）。
【００４４】
一方、ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、マイコン１６０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ１２０→ＳＴ１２１）。
【００４５】
ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２１→ＳＴ１３０→・・・）。
【００４６】
一方、ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）のとき、マイコン１６０は、手振れ検出部１７０からの手振れ信号に基づいて手振れ補正量や補正ベクトル・データを算出したり、画素間の手振れを補正するための補間処理を行うための補間係数値を算出して補正回路１２０に送り、補正回路１２０では、この補正ベクトル・データや補間係数値に基づいて撮像部１１０から送られてくる画像信号の補間処理や手振れの補正を行う（ＳＴ１２１→ＳＴ１２２）。
【００４７】
続いて、マイコン１６０は、画素間の補間処理を行うために算出した補間係数値が所定範囲の値であるか否かを判定する（ＳＴ１２２→ＳＴ１２３）。
【００４８】
ここで、所定範囲内の補正係数値であるか否かの判定は、例えば、補正ベクトル・データの絶対値における小数点以下の値（ベクトル成分）を「ａ」、補正係数の基準値を「０．５」とし、所定の画素間距離を「ｂ」としたとき、算出した補間係数値が、「０≦ａ＜（０．５−ｂ）」且つ「（０．５＋ｂ）＜ａ＜１」という条件を満たしている範囲であるか否かを判定することによって行う。このとき、「ｂ」が大きいほど解像度劣化は軽減される。
【００４９】
補間係数値が所定範囲の値である場合、累積加算回路１３０は、補正回路１２０からの画像信号を累積加算してメモリに記憶する（ＳＴ１２３→ＳＴ１１２）。
【００５０】
次に、マイコン１６０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１３、ＳＴ１１４→エンド）。
【００５１】
一方、補間係数値が所定範囲の値を超えている場合、ＴＣの値を１つ増加させて処理を終了する（ＳＴ１２３→ＳＴ１１４→エンド）。
【００５２】
また、上述のステップ１２０において、ＣＣの値がＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、上述のステップ１２１で、ＴＣの値がＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１３０に記憶してある画像信号を記録部１５０へ記録するための処理を開始する。
【００５３】
まず、マイコン１６０は、ＣＣの値の逆数を所定の係数値として乗算器１４０に与える（ＳＴ１２０→ＳＴ１３０、又は、ＳＴ１２１→ＳＴ１３０）。
【００５４】
次に、乗算器１４０は、マイコン１６０から与えられた所定の係数値と累積加算回路１３０に累積加算されている画像信号とを乗算処理して記録部１５０に出力し、記録部１５０は乗算器１４０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ１３１）。
【００５５】
マイコン１６０は、記録部１５０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ１３２→ＳＴ１３３→エンド）。
【００５６】
図６は、上述した図５の動作フローに従って動作する撮像装置において、手振れ信号に基づいて算出した補正ベクトル・データと累積加算する画像信号との関係を略示的に示したグラフである。
【００５７】
図６のグラフにおいて、補間係数値が所定範囲内の値であるときの画像信号が実線、それ以外の画像信号が点線に対応しており、図７のように補正した画像信号を全て累積加算せず、手振れ補正された画像信号のうち、補間係数値が所定範囲内である画像信号、即ち、補間処理によって解像度の劣化していない画像信号のみが累積加算されてメモリに記憶されることになる。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る撮像装置において主要となる構成部を簡略化して示したブロック図示した図である。
【図２】図１に示す撮像装置における手振れ検出部の動作を説明するための説明図である。
【図３】線形補間処理を説明するための説明図である。
【図４】線形補間処理における補間係数と利得（信号レベル）との関係を説明するための説明図である。
【図５】図１に示す撮像装置の動作フローチャートである。
【図６】図１に示す撮像装置において、画像信号に対する補正ベクトル・データと累積加算する画像信号との関係を説明するための説明図である。
【図７】従来の撮像装置において、画像信号に対する補正ベクトル・データと累積加算する画像信号との関係を説明するための説明図である。
【符号の説明】
【００５９】
１１０；撮像部
１２０；補正回路
１３０；累積加算回路
１３１；加算器
１３２；メモリ
１３３；スイッチ
１４０；乗算器
１５０；記録部
１６０；マイコン
１７０；手振れ検出部
【図１】
2005039532.tif 000003
【図２】
2005039532.tif 000004
【図３】
2005039532.tif 000005
【図４】
2005039532.tif 000006
【図５】
2005039532.tif 000007
【図６】
2005039532.tif 000008
【図７】
2005039532.tif 000009