(57)【特許請求の範囲】
【請求項１】
映像を入力され、光信号を電気的信号に変換して出力する撮像素子と、
前記撮像素子から入力された映像を貯蔵する第２バッファと、
前記撮像素子の出力を入力され、映像のぶれを検出する映像動き検出部と、
前記映像動き検出部から出力された信号を入力され、高周波成分のみを出力する高周波通過フィルタと、
前記映像動き検出部から出力された信号を入力され、低周波成分のみを出力する低周波通過フィルタと、
前記第２バッファから入力された映像信号を前記高周波通過フィルタから入力された高周波動き成分により補正して出力する映像補正部と、
フィードバックされた最終の映像を前記低周波通過フィルタから入力された低周波動き成分により補正して貯蔵する第１バッファと、
前記映像補正部から入力された映像において補正により映像の外郭の欠損された部分を前記第１バッファから読取り合成し、最終の映像を出力する映像合成部とを含んでなることを特徴とする映像ぶれ安定化回路。
【請求項２】
請求項１記載の映像ぶれ安定化回路において、
前記第１バッファは次のフィールドの映像合成のため、映像の補正と合成とをした出力映像を貯蔵することを特徴とする映像ぶれ安定化回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像ぶれ安定化回路に係り、より詳しくは、カムコーダやカメラに用いるとき発生し得る手の震えによる映像を、その解像度の低下なしに安定化させる映像ぶれ安定化回路に関する。
【０００２】
【従来の技術】
動映像の信号から動きベクトルを検出することは画像圧縮、画像認識および画像安定化などに必須不可欠な技術である。現在、携帯用ＶＣＲ(Video Cassette Recorder) 一体型カメラ（カムコーダ）を用いて撮影（特に、歩行時の撮影、走行中である物体の撮影）するときにはカメラの動きにより安定せず震える映像が入力され易い。
さらに、ズームによる倍率が増加するほど手の震えによる映像の不安定さが深刻化となる。最近、広く愛用されているカムコーダおよびカメラなどにおいて各種のぶれ補正回路および装置が内蔵されてその性能が消費者の好評を得ている。
従来のカムコーダにおいては、映像のぶれを補正するために、撮像素子( ＣＣＤ；Charge Coupled Device)の部分領域またはフィールド・メモリの部分領域を選択的に出力する方式を採っている。
また、ソニー社などのアクティブ・プリズムのように入力光の光軸を直接光学的に制御する方式を活用している。
【０００３】
以下、添付図面を参照して従来の映像ぶれ安定化技術について説明する。
図６ないし図８は従来用いられている映像ぶれ安定化方式の概念を示すものである。
図６は撮像素子（ＣＣＤ）１０で撮像して得られた入力映像を映像バッファ１１を介してフィールド・メモリを用いて貯蔵した後、映像補正部１２で補正して出力する方式を図式化したものである。
このとき、映像を補正しないモードにおいては、入力された映像をそのまま出力することができるが、動きを補正した後出力する場合には、映像の一部分のみを補正した後拡大して出力する。
【０００４】
図７は前記方式に対応して、高密度撮像素子２１の読取り領域２１ａを制御してぶれを補償して安定化映像２２を得る方式の概念図である。この方式は角速度センサなどにより感知したぶれを撮像素子の領域を制御することにより補正する。
【０００５】
図８は可変屈折角プリズム（アクティブ・プリズム）を用いた映像ぶれの補正方式に対する概念図である。この方式は、拡大による解像度の低下がないし、広い補正領域を有することができるという長所がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、図６の方式は映像拡大により解像度が低下し、図７の方式は映像の動きが大きい高倍率ズームにおいても対応するためには、より大きい余裕面積を有する高密度撮像素子２２が必要となり、図８の方式は機械的に光学素子を制御（プリズムの方向、位置を機械的に制御）するため、補正精度の限界（駆動速度および高倍率における制御分解能においての限界）を有しているばかりでなく、構造的な複雑性を有するという課題がある。
【０００７】
したがって、本発明は上述のような従来の課題を解決するためになされたものであって、その目的は、画像を出力するに必要な最小限の分解能（映像の標本化数）を有する撮像素子（ＣＣＤ）とフィールド・メモリを用い、映像拡大による解像度の劣化がなく、補正精度が高い映像ぶれ安定化回路を提供することにある。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明の映像ぶれ安定化回路は、映像を入力され、光信号を電気的信号に変換して出力する撮像素子と、前記撮像素子から入力された映像を貯蔵する第２バッファと、前記撮像素子の出力を入力され、映像のぶれを検出する映像動き検出部と、前記映像動き検出部から出力された信号を入力され、高周波成分のみを出力する高周波通過フィルタと、前記映像動き検出部から出力された信号を入力され、低周波成分のみを出力する低周波通過フィルタと、前記第２バッファから入力された映像信号を前記高周波通過フィルタから入力された高周波動き成分により補正して出力する映像補正部と、フィードバックされた最終映像を前記低周波通過フィルタから入力された低周波動き成分により補正して貯蔵する第１バッファと、前記映像補正部から入力された映像において補正により映像の外郭の欠損された部分を前記第１バッファから読取り合成し、最終映像を出力する映像合成部とを含んでなる。
【０００９】
【発明の実施の形態】
以下、本発明の好ましい実施の形態を添付図面に基づいて詳細に説明する。
【００１０】
図１は本発明の第１実施の形態にしたがう映像ぶれ安定化回路を示すブロック図である。同図に示すように、本発明の第１実施の形態にしたがう映像ぶれ安定化回路は、映像を入力され、光信号を電気的信号に変換して出力する撮像素子６１を有し、この撮像素子６１から入力された映像を第２バッファ６６で貯蔵するとともに、映像動き検出部６２に入力し、そこで映像のぶれを検出する。
【００１１】
映像補正部６３は、第２バッファ６６から入力された映像信号を映像動き検出部６２から入力された動き成分により補正して出力する。また、第２バッファ６６から入力された映像は第１バッファ６４に貯蔵される。
映像合成部６５は、映像補正部６３から入力された映像において、補正により映像の外郭の欠損された部分を第１バッファ６４から読取って合成し、最終映像を出力する。
【００１２】
図２は本発明の第２実施の形態にしたがう映像ぶれ安定化回路を示すブロック図である。
同図に示すように、本発明の第２実施の形態にしたがう映像ぶれ安定化回路は、映像を入力され、光信号を電気的信号に変換して出力する撮像素子７１を有し、撮像素子７１から入力された映像を第２バッファ７６に貯蔵するとともに、撮像素子７１の出力を映像動き検出部７２に入力し、映像のぶれを検出する。
【００１３】
また、映像補正部７３は、第２バッファ７６から入力された映像信号を映像動き検出部７２から入力された動き成分により補正して出力する。さらに、フィードバックされた最終映像を貯蔵する第１バッファ７４を備えている。
映像合成部７５は映像補正部７３から入力された映像において、補正により映像の外郭の欠損された部分を第１バッファ７４から読取り合成し、最終映像を出力するようにしている。
【００１４】
図３は本発明の第３実施の形態にしたがう映像ぶれ安定化回路を示すブロック図である。
同図に示すように、本発明の第３実施の形態にしたがう映像ぶれ安定化回路は、映像を入力され、光信号を電気的信号に変換して出力する撮像素子８１から入力された映像を第２バッファ８８で貯蔵するとともに、撮像素子８１の出力を映像のぶれを検出する映像動き検出部８２に入力するようにしている。
【００１５】
映像動き検出部８２から出力された信号は高周波成分のみを出力する高周波通過フィルタ(High Pass Filter)８３に入力されるとともに、低周波成分のみを出力する低周波通過フィルタ(Low Pass Filter) ８４にも入力される。
映像補正部８５は第２バッファ８８から入力された映像信号を高周波通過フィルタ８３から入力された高周波動き成分により補正して出力する。さらに第１バッファ８６はフィードバックされた最終映像を低周波通過フィルタ８４から入力された低周波動き成分により補正して貯蔵する。
映像合成部８７は映像補正部８５から入力された映像において、補正により映像の外郭の欠損された部分を第１バッファ８６から読取って合成し、最終映像を出力する。
【００１６】
次に、本発明の実施の形態にしたがう映像ぶれ安定化回路の動作について説明する。
まず、本発明について整理すると、本発明はビデオ・カメラの撮影時に問題になる手の震えによる不安定な映像を撮像素子とフィールド・メモリとを用いて解像度の低下なしで安定化する方式に関するものであり、これは入力映像についてカメラの動きを補正するとき欠損する映像の境界部分を時間的に隣接して貯蔵された映像から選択的に出力する映像を合成する方式である。
【００１７】
ただし、貯蔵される映像の選択された映像情報は時間的な変化が大きくないことを前提とする。したがって、欠損した映像の外郭部分の移動体は歪曲を伴うことになる。
しかしながら、視覚情報論的見地において映像の中心から外れた位置であるほど認識される情報の価値が縮小されるため、映像の外郭部分において生じる移動体の歪曲については無視することにする。
【００１８】
以下、図面を参照して本発明の実施の形態にしたがう映像ぶれ安定化の基本概念について説明する。
図４および図５は本発明の実施の形態にしたがう映像ぶれ安定化の基本概念を示すものである。
まず、図４によれば、映像の入力を既検出した映像の手の震え動き成分により補正する。このとき、映像を補正することにより、上下左右の四辺のうち、最大二辺において映像の欠損部分が生じる。この映像の欠損部分をフィールド遅延された映像情報を貯蔵している第１バッファから読取り最終の出力映像を合成する。
【００１９】
次に、図５によれば、映像の入力を既検出した映像の手の震え動き成分により補正する。このとき、映像を補正することにより、上下左右の四辺のうち、最大二辺において映像の欠損部分が生じる。
この映像の欠損部分を過去の映像出力をフィードバックして貯蔵しているフィールド・メモリから読取り、最終の出力映像を合成する。
【００２０】
ここで、入力映像の欠損部分をメモリ情報を用いて合成するとき、補正不能な角部分が生じる可能性がある。この部分の映像の欠損領域は空間的に隣接した画素からゼロ次補間により生成する。
前述したように、外郭部分の動く被写体に対する歪曲と対角方向の動きによる角部分のゼロ次補間は実際映像の正確な出力を表わすことができないが、時間的に非常に短い瞬間に発生するばかりでなく、映像の中心から離れた境界部分に存在するため、その影響は大きくない。
結果的に、入力映像の同一の分解能を有する撮像素子とフィールド・メモリのみを有し、拡大による画像の低下がない安定的な映像を出力することができる。
【００２１】
図１ないし図３は動きベクトルを映像から検出して補正する、本発明の実施の形態にしたがう映像ぶれ安定化回路を示すブロック図である。
ここで、動き成分を検出した後補正するため、第２バッファを用いる。
図１に示すように、第１実施の形態においては、電源が印加されると回路が動作し、まず、映像動き検出部６２は撮像素子６１で入力された入力映像から動きベクトルを検出し、映像補正部６３は映像動き検出部６２で入力された動きベクトルで第２バッファ６６に貯蔵した入力映像を補正する。
映像合成部６５は補正した映像において欠損した映像の部分を以前のフィールドの入力映像が貯蔵（次のフィールドの映像合成のため、現在映像の入力が貯蔵）されている第１バッファ６４から選択して出力し、映像を合成する。
【００２２】
図２に示すように、第２実施の形態においては、電源が印加されると回路が動作し、まず、映像動き検出部７２は撮像素子７１で入力された入力映像から動きベクトルを検出し、映像補正部７３は映像動き検出部７２で入力された動きベクトルで第２バッファ７６に貯蔵した入力映像を補正する。
映像合成部７５は補正された映像において欠損した映像部分を、映像出力結果をフィードバックして貯蔵（次のフィールドの映像合成のため、映像の補正と合成をした出力映像を貯蔵）している第１バッファ７４から選択して出力し、映像を合成する。
【００２３】
最後に、図３に示すように、実際映像の撮影において、カメラの映像の動き成分は撮影者の手の震え成分以外にも意図的なパニングによる一定の速度の映像の平行移動成分を考慮しなければならない。
ここで、手の震えによる映像の動き成分はパニング成分より高い周波数成分で存在するため、この高周波動き成分のみを補正することが必要となる。
【００２４】
第３実施の形態においては、電源が印加されると回路が動作し、まず、映像動き検出部８２は撮像素子８１で入力された入力映像から動きベクトルを検出し、映像補正部８５は映像動き検出部８２から検出された動き信号を高周波通過フィルタ８３を経て手の震え成分のみを検出して、第２バッファ８８の入力映像を補正する。
映像合成部８７は前記映像補正部８５で入力された映像において補正により映像の外郭の欠損された部分を低周波通過フィルタ８４を経たパニングの動き成分に補正された第１バッファ８６から読取って合成し、最終の映像を出力する。
【００２５】
【発明の効果】
以上のように、本発明の映像ぶれ安定化回路によれば、画像を出力するに必要な最小限の分解能(映像の標本化数)を有する撮像素子とフィールドメモリとを
用い、映像拡大による解像度の低下がなく、補正精度も高い効果を有する映像ぶれ安定化回路を提供することができる。
本発明のこの効果はカムコーダおよびカメラなどの分野において用いられることにより、より有効なものとなる。
【図面の簡単な説明】
【図１】本発明の映像ぶれ安定化回路の第１実施の形態の構成を示すブロック図。
【図２】本発明の映像ぶれ安定化回路の第２実施の形態の構成を示すブロック図。
【図３】本発明の映像ぶれ安定化回路の第３実施の形態の構成を示すブロック図。
【図４】本発明の映像ぶれ安定化回路による映像ぶれ安定化の基本概念を示す説明図。
【図５】本発明の映像ぶれ安定化回路による映像ぶれ安定化の別の基本概念を示す説明図。
【図６】従来の映像ぶれ安定化方式の第１の例の概念を示す説明図。
【図７】従来の映像ぶれ安定化方式の第２の例の概念を示す説明図。
【図８】従来の映像ぶれ安定化方式の第３の例の概念を示す説明図。
【符号の説明】
６１，７１，８１    撮像素子
６２，７２，８２    映像動き検出部
６３，７３，８５    映像補正部
６４，７４，８６    第１バッファ
６５，７５，８７    映像合成部
６６，７６，８８    第２バッファ
８３                高周波通過フィルタ
８４                低周波通過フィルタ
【図１】
0003701759.tif 000002
【図２】
0003701759.tif 000003
【図３】
0003701759.tif 000004
【図４】
0003701759.tif 000005
【図５】
0003701759.tif 000006
【図６】
0003701759.tif 000007
【図７】
0003701759.tif 000008
【図８】
0003701759.tif 000009