(57)【要約】【課題】  センサの小型化による用途拡大で、ブレによる画質低下が大きな課題となっている。【解決手段】  本発明は、Ｇｙｒｏセンサと、このＧｙｒｏセンサからのＧｙｒｏ値を保持する保持手段と、イメージセンサからの水平同期信号と、この水平同期信号のフレームにおける序列番号を得るための序列検出手段と、この序列番号に同期した前記Ｇｙｒｏ値とのペアの少なくとも１組をペア化保持するペア化保持手段とを有し、前記イメージセンサからの画像と、前記イメージセンサのカメラパラメターと、前記Ｇｙｒｏ値からのブレ角情報をもちいて、画像のブレ位置を特定し、その位置における映像データをもとの位置に戻すことによって、映像のブレを補正し高品質な映像を得ることを特徴とする映像システムおよびそれを用いた空撮システムである。【選択図】図１
2016208483.tif 000002
【特許請求の範囲】
【請求項１】
Ｇｙｒｏセンサと、このＧｙｒｏセンサからＧｙｒｏ値を保持する保持手段と、イメージセンサからの水平同期信号をうけ、この同期信号のフレームにおける序列Ｈ番号を得るための序列検出手段と、この序列Ｈ番号と前記Ｇｙｒｏ値とのペアの少なくとも１組をペア化保持するペア化保持手段からなる同期化保持手段を有し、前記イメージセンサからの画像と、前記イメージセンサのカメラパラメターと、前記Ｇｙｒｏ値からのブレ角情報をもちいて、画像のブレ位置を特定し、その位置における映像データをもとの位置に戻すことによって、映像のブレを補正し高品質な映像を得ることを特徴とする映像システムおよびそれを用いた空撮システム。
【請求項２】
前記同期化保持手段が、前記Ｇｙｒｏセンサからの割り込み信号を受ける手段と、そのタイミングでＧｙｒｏ値を読み出し前期保持手段に保持することを特徴とする請求項１に記載の映像システムおよびそれを用いた空撮システム。
【請求項３】
前記ペア化保持手段は位相調整回路を有し、前記Ｇｙｒｏ値と前記映像データとの同期をとることを特徴とする請求項１または２に記載の映像システムおよびそれを用いた空撮システム。
【請求項４】
前記保持手段のＧｙｒｏ値を外部からの読み出し要求に応じて、外部に出力するもう１つの出力端子を有し、前記Ｇｙｒｏセンサを共用することを特徴とする請求項１または２または３に記載の映像システムおよびそれを用いた空撮システム。
【請求項５】
前記もう１つの出力端子がモータ制御部あるいはＯＩＳ制御部に接続されてなることを特徴とする請求項４に記載の映像システムおよびそれを用いた空撮システム。
【請求項６】
前記保持手段は、前記もう１つの出力端子に出力される単位時間あたりの個数Ｎと、前記映像データに同期してだされる単位時間当たりの個数をＭとすると、ＮとＭの異なるサンプリング間隔に対応した調整機構を持ち、各々の制御に最適なＧｙｒｏデータを出力することを特徴とする請求項１または２または３または４または５に記載の映像システムおよびそれを用いた空撮システム。
【請求項７】
１枚の映像データと、その映像データの各水平ラインに対応づけられたＧｙｒｏデータと、このＧｙｒｏデータを時間積分し、ブレ角求める積分手段を有し、各水平ラインの映像露光時間に応じて時間積分するＧｙｒｏデータの数をフレーム毎に調整する調整手段を有することを特徴とする請求項１または２または３または４または５または６に記載の映像システムおよびそれを用いた空撮システム。
【請求項８】
少なくとも１枚の映像データと、この映像データの水平ライン（ｉ）番に対応して求められたブレ角（ｉ）を計算するブレ角計算手段と、前記水平ライン（ｉ）番のブレ補正量をＡＪＵＳＴ（ｉ）とするとき、このブレ角補正量ＡＪＵＳＴ（ｉ）が動画モードと静止画モードで異なることを特徴とする請求項１または２または３または４または５または６または７に記載の映像システムおよびそれを用いた空撮システム。
【請求項９】
シャッターと、このシャッターにより静止画モードに入る静止画モード制御手段と、この時のトリガーフレームを検出するトリガーフレーム検出手段とを有し、このトリガーフレームの映像データの水平ライン（ｉ）番に対応して求められたブレ角（ｉ）を初期値として、それ以降の指定フレームの水平ライン（ｉ）番の前期初期値からの変化量（Ｇｙｒｏ値の積分値）を零とするように補正量を決め補正することを特徴とする請求項１または２または３または４または５または６または７または８に記載の映像システムおよびそれを用いた空撮システム。
【請求項１０】
少なくとも１枚の映像データと、この映像データの水平ライン（ｉ）番に対応して求められたブレ角（ｉ）を計算するブレ角計算手段と、前記水平ライン（ｉ）番のブレ補正量をＡＪＵＳＴ（ｉ）とするとき、｛ブレ角（ｉ）−ＡＪＵＳＴ（ｉ）｝＝｛ブレ角（ｉ＋１）−ＡＪＵＳＴ（ｉ＋１）｝が等しくなるｉを複数有する調整を行うことを特徴とするブレ補正調整手段を有する請求項１または２または３または４または５または６または７または８または９に記載の映像システムおよびそれを用いた空撮システム。
【請求項１１】
映像データに画素情報と、Ｇｙｒｏデータと、露光時間情報と、カメラモジュールの瞳位置からの焦点距離Ｆとを有し、ブレ角θのときに、ＦｘＴａｎθ＝ｋｘＰｉｘ．（ｋ：実数，Ｐｉｘ．は画素サイズ，センサの何画素か）を得ることを特徴とする請求項１または２または３または４または５または６または７または８または９または１０に記載の映像システムおよびそれを用いた空撮システム。
【請求項１２】
前記イメージセンサと、このイメージセンサのブレ角を検出するＧｙｒｏセンサと、前記イメージセンサの撮像面内のＸ，Ｙ軸とこの面に垂直なＺ軸の少なくとも１つの軸に対する前記Ｇｙｒｏセンサの出力信号のゲイン調整値と、ほかの軸に対する干渉値を保持するパラメター保持手段を同一サブシステム上に有することを特徴とする請求項１または２または３または４または５または６または７または８または９または１０または１１に記載の映像システムおよびそれを用いた空撮システム。
【請求項１３】
前記もう１つの出力端子にＯＩＳシステムを構成し、前記Ｇｙｒｏ信号からのブレ角θが得られた時、前記ＯＩＳによる微小補正設定値をθｎｅａｒ、補正不要角θｋとしたときに、演算処理による補正量θｅｉｓを
2016208483.tif 000003
なる制御モードをもつことを特徴とする請求項４または５または６または７または８または９または１０または１１または１２に記載の映像システムおよびそれを用いた空撮システム。
【請求項１４】
前記補正量θｅｉｓまたは前期微小補正設定値をθｎｅａｒを各々独立に零に固定する固定手段を有することを特徴とする請求項１３に記載の映像システムおよびそれを用いた空撮システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、手振れや振動により映像のブレ抑制、あるいは画が大きく急激に変動することを抑制する映像システムおよびそれを用いた空撮システムに関するものである。
【背景技術】
【０００２】  映像情報は非常に多くの情報が含まれており、その利用価値はますます高まっている。また、カメラの小型化と高性能化により、その用途や領域もますます拡大をしている。しかしながら、カメラの小型化や用途の多様化によって、かならずしも撮影条件が理想的であるところばかりではない状況になってきている。特に、振動がともなう撮影条件が多く、当然そのような映像は激しい画の動きにより物の認識性をそこなうものとなる。これを抑制するために、いわゆる光学的な防振装置を付加した映像システムもあるが、それはメカ的な可動部が存在し、大きくなったり、制御装置が高価なものとなったりしていた。また小型化に適した電子的なブレ補正では、特性が十分満足のいくものではなかった。【０００３】  この具体例としては、いま話題になりつつあるドローンとよばれる空撮システムある。これはラジコンのヘリコプターにカメラをつけて、空中から映像をとるものであり、通常は直接撮影できないような場所の映像をきわめて簡単にとることができる。この構成例を図２にしめす。ドローンの駆動装置として４基のプロペラを有し、それをＧｙｒｏ（ジャイロ）信号で制御するシステムである。一方搭載されるカメラにも、高級なものはこの図のように別のＧｙｒｏを用いて、姿勢の制御をしいるものもある。しかしながら、前述のような課題が存在していた。また、Ｇｙｒｏを用いたブレ補正に関しても一部報告があるが、今回のような正確な補正や、異なる補正手段の組み合わせの最適化が十分でかなった（特許文献１）。
【先行技術文献】
【特許文献】
【特許文献１】特開平５−１４８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  本発明は、多用途に使用される小型撮像センサのブレによる画質低下を抑制して、高品質な映像を低コストで得るためのものである。
【課題を解決するための手段】
【０００５】  本発明の第一の実施例は、Ｇｙｒｏセンサと、このＧｙｒｏセンサからのＧｙｒｏ値を保持する保持手段と、イメージセンサからの水平同期信号と、この水平同期信号のフレームにおける序列番号を得るための序列検出手段と、この序列番号に同期した前記Ｇｙｒｏ値とのペアの少なくとも１組をペア化保持するペア化保持手段とを有し、前記イメージセンサからの画像と、前記イメージセンサのカメラパラメターと、前記Ｇｙｒｏ値からのブレ角情報をもちいて、画像のブレ位置を特定し、その位置における映像データをもとの位置に戻すことによって、映像のブレを補正し高品質な映像を得ることを特徴とする映像システムである。
【発明の効果】
【０００６】  画像信号と同期のとれたＧｙｒｏ信号を得ることで、ＣＭＯＳイメージセンサの水平ラインごとの正確なブレ角を推定することを可能とし、それを補正演算することで、従来の電子手振れでは不可能であった暗い条件や画像面のすべての点での正確な補正を可能とし、また従来のメカ的可動部による補正限界や大型化を抑制し、かつ低消費電力で低コストの映像システムを容易に実現することができる。ブレをさけることができないウエアラブル機器をはじめ多くの小型映像システムに応用できるものであり、その工業的価値は極めて高いといえる。
【図面の簡単な説明】
【０００７】
【図１】は、本発明の一実施形態を示すブロック図である。
【図２】は、従来の映像システムとそれを用いた空撮システムのブロック図である。
【図３】は、撮像装置への被写体撮像概念図である。
【図４】は、ＣＭＯＳ撮像装置の撮像面の映像データのスキャニング概念図である。
【図５】は、撮像面とＧｙｒｏセンサの設置位置における課題の概念図である。
【図６】は、本発明のもう一つの実施形態を表すブロック図である。
【発明を実施するための形態】
【０００８】  図１は４基のプロペラをもつドローンと映像システムを示したものである。ここではコストと画像性能の両者を鑑みて、Ｇｙｒｏ１０１を共通化することと、そのＧｙｒｏ信号を用いた画像手振れ補正を行う新たなシステムを提案するものである。
【０００９】  Ｇｙｒｏ１０１とモータ制御部１０２の間に、同期化ブロック１０３を構成し、この同期化ブロック１０３にモータ制御部１０２とカメラ部１０４を接続する。Ｇｙｒｏ１０１で、例えば１Ｋｈｚ毎に新しいデータが取得されると、そのつど割り込み信号（ＩＮＴ）１０５が出力される。これを同期化ブロック１０３に構成されたＤフリップフロップ１０６に入力する。このＤフリップフロップ１０６のクロックはこの割り込み信号（ＩＮＴ）１０５よりも十分早い周波数、例えば１Ｍｈｚ程度でサンプリングをしておく。割り込み信号（ＩＮＴ）１０５が検出されたタイミングでＧｙｒｏデータ１０７を読みにいって、そのＧｙｒｏデータ１０７を保持手段１０８に保持する。
【００１０】  もちろん、新しいＧｙｒｏデータ１０７と同期化ブロック１０３内のＧｙｒｏデータの同期をとる手段としては、割り込み信号（ＩＮＴ）１０５を使用する以外にもＧｙｒｏ内部のシステムクロックを用いて、データ出力を検知する方法もあることはいうまでもない。またあるいは十分早い周波数でＧｙｒｏデータ１０７を検出して、それを十分早い周波数の非同期で読み出しをおこなうことで割り込み信号（ＩＮＴ）１０５を使用しないで、ほぼ同期に近いＧｙｒｏデータを得ることも可能である。
【００１１】  さてここで、Ｇｙｒｏ信号と映像の同期化に関して、その重要性を少し説明をしておく。最近よく使われているイメージセンサはＣＭＯＳイメージセンサと呼ばれるものであり、映像データを構成する一枚一枚の画（フレーム）は、複数の水平ラインで構成され、その水平ライン毎に映像が投影され露光されるものであり、各水平ラインの露光時間はフレーム内で同じであるが、各水平ライン（Ｈライン）の露光時刻は異なる。これを簡単に示したものが図３である。
【００１２】  図３（ａ）に示すように、被写体（この図では木）３０１はレンズを通して撮像面３０２に上下左右反対に結像される。このとき、レンズ中心からの仰角αの位置にある点は、Ｆ×Ｔａｎ（α）の位置に結像する（Ｆは焦点距離）。撮像面３０２は簡単のために水平ラインを８個としている。同図（ｂ）において、左が撮像面で、右のグラフが横軸に時間、縦軸にＨライン番号を示している。時刻ｔ（ｉ）（ｉ＝１，２，３，・・・）において各々のＨライン（ｉ）が読み出される。実線３１１がその読み出しタイミングを示したものであり、この線に並行した破線３１２が各Ｈライン（ｉ）の映像データをリセットするタイミングを示したリセット線である。この２つの線の間の時間が露光時間ということになるわけである。例えば、Ｈライン（５）は、ｔ（３）のタイミングでリセットされ、ｔ（５）のタイミングで読み出されるおとになり、その間の時間３１３がＨライン（５）の露光時間ということになる。この露光時間は他のＨラインも同じであるが、露光時刻は各々異なる。
【００１３】  一方Ｇｙｒｏ値に関しては、図３（ｃ）に示しており、縦軸にＧｙｒｏ値、横軸に時間をとっており、時刻ｔ（ｉ）（ｉ＝１，２，３，・・・）ではＧ（ｉ）の値というＧｙｒｏ値曲線３１４になる。このＧｙｒｏ値は角速度を表すので、その値を積分値したものが振れ角ということになり、これは時刻の異なる各々のＨラインで異なる値となるのが通例である。この各々のＨラインの振れ角をもとに戻せば、振れのない画となるわけである。このためには、Ｇｙｒｏ値と画像データのＨラインの正確な同期と積分が重要となる。しかしながら一般的に、Ｇｙｒｏ値と映像信号は全く別のデータであり、異なるデバイスからしか得られない。そのため映像信号の１フレームのＨラインとＧｙｒｏデータの同期をとるような既存のシステムはない。それをとる方法に関しての提案が本発明の１つの重要な部分をなすものである。以下にその方法に関して具体的に説明する。
【００１４】  図１のカメラ部１０４からは、画像の垂直同期信号Ｖと水平同期信号Ｈが同期信号Ｖ，Ｈ１０９として映像データ１１０とともに出力される。同期信号Ｖ，Ｈ１０９はカウンタ１１１に入力され、１フレームの先頭で出力される垂直同期信号Ｖ（パルス）によりカウンタのリセット、その後の各Ｈラインに同期して出される水平同期信号ＨによりカウントＵｐがおこなわれる。これにより、新たなＧｙｒｏデータ１０７が出力されるタイミングで、その映像データ１１０の各々１枚のどのＨラインが出力されたタイミングかが、カウンタ１１１によりわかることになる。このカウンタ値を、先の割り込み信号（ＩＮＴ）１０５が出力されたタイミングで、データペア化手段１１２に保持し、同時に保持手段１０８からのＧｙｒｏデータ１０７ｂとをペア化して保持する。これによりＧｙｒｏデータと映像データのＨラインの同期がとれることになる。
【００１５】  ところで、この図では、カメラ部１０４からの映像信号が入力された段階で映像データはすでにできている。かたやＧｙｒｏからのデータはその時点のデータということになる。本来は、出力される映像データがカメラ部１０４で取られているときのＧｙｒｏデータと映像データの同期をとる必要があるのであるが、映像データが出てくる前にその映像に必要なＧｙｒｏデータが同期化ブロック１０３へ入力されているということになる。つまり、現在撮影中の映像データよりも、Ｇｙｒｏデータが過去のデータと同期していることになる。そこで、この位相差を調整するために、遅延回路（図示せず）をカウンタ１１１側に挿入することで、Ｈラインのカウンタ値を遅らせて、より未来のデータに合わせることでＧｙｒｏ値と同期化させ、映像データとＧｙｒｏデータの位相差を合わせることができる。また、このような位相差調整回路を設けることなく、同期化ブロック１０３をカメラ部１０４と一体化することで映像データのＨラインのデータが蓄積されている間のＧｙｒｏデータを取り込むことで、位相差のないシステムも可能である。この位相差調整回路の構成に関してもいろんな手法が可能であることはいうまでもない。
【００１６】  次いでこのペア化されたデータを映像データ１１０の下位部に入れてメモリカード１１３等に記憶することで、その映像データのブレ補正が可能となる。ただし後述する補正のためのカメラパラメターに関しても、パラメター保持手段１１４を用いて、この映像データ１１０に付随させることも可能であるし、後段処理の段階であらかじめ用意されたカメラパラメターを使うことも可能である。ただし、画像データに付随させることで、後段の処理システムがあらかじめカメラパラメターを知る必要がないため、より多くの使用者によって自由に使える利便性が生まれる。また当然ではあるが、ここでしめされたメモリカード１１３はかならずしもこのような映像保持の媒体である必要はなく、これが直接映像処理システムに結合されていてもよいことはいうまでもないし、別の記録媒体でもよい。
【００１７】  一方、もう１つもうけられたＧｙｒｏ入出力ポート１１５に接続されたモータ制御部１０２は、その制御タイミングに応じてＧｙｒｏデータ１０７ｂのデータを読み出し、その時の値を用いてモータの制御をする。この場合は正確なＧｙｒｏデータ１０７の出力タイミングを考慮していないように思えるが、そこにも工夫がある。それはこのＧｙｒｏからの読み出し周波数を十分高くとっておくことで、モータ制御ブロック１０２からの読み出し要求とＧｙｒｏ値に多少の時間差があっても制御上それを無視することが可能である。
【００１８】  また、映像で使用するＧｙｒｏ値のサンプリング周波数と、もう１つのＧｙｒｏ入出力ポート１１５で使用されるＧｙｒｏ値のサンプリング周波数が異なる場合は、その間にタイミング調整用の加算平均回路等といれてもよい。早い方のＧｙｒｏ値を加算して平均化して、遅い方のサンプリングの合わせるようにすることができる。このような構造をとることで、１つのＧｙｒｏ１０１を共通にもちいて、従来のモータ制御をすると同時に、Ｇｙｒｏからのブレ角と画像の関係を正確に得て、それを適切に補正するができるのである。
【００１９】  次いで、ここからＧｙｒｏによる今回のブレ補正の仕方に関して以下に説明をする。
図３に示したように、被写体（この図では木）３０１はレンズを通して撮像面３０２に上下左右反対に結像される。そのとき、レンズ中心からの仰角αの位置にある点は、Ｆ×Ｔａｎ（α）の位置に結像する（Ｆは焦点距離）。ここで、仮にその位置がθ振れると、結像位置はＦ×Ｔａｎ（ａ＋θ）となるわけであり、この差がブレ量であり、Ｆ×Ｔａｎ（α＋θ）の位置の映像データをＦ×Ｔａｎ（ａ）の位置にもどしてあげればブレはないということになる。この考えがＧｙｒｏを用いたブレの電子補正の基本の考え方である。
【００２０】  これは従来の電子的ブレ補正が、２枚の画像を比較して各々の特徴点がどれくらい平行移動しているかを検出して、それを戻すという考え方とは大きく異なるものである。従来は、撮像面上での位置に関係なく、その差分を平行移動しているわけであるが、今回の提案はカメラの光学特性を考慮した補正となっており、同じブレ角θであっても像高（仰角）によってその補正量が異なるものである。しかも、Ｇｙｒｏからの角速度の積分によりブレ角を求めることができるため、従来のような２つの画像から位置の変化を演算するようなことがまったく必要ない。しかしながら、当然Ｇｙｒｏ値は同期もさることながらその値が正確であることが要求される。この点に関しては後程述べる。
【００２１】  さて、この式にあるように、重要なカメラパラメターとしては、まずは瞳位置からの焦点距離（撮像面までの距離）Ｆということになる。例えば画像の格子点の（画素が配置された点）ｙ座標は、仰角と焦点距離を用いてｙ＝Ｆ×Ｔａｎ（α）と表せる。これがθ振れると、Ｆ×Ｔａｎ（α＋θ）の位置にデータが移るわけであり、その値をもとの位置に戻してあげればいいわけであるが、その位置の値を読み出すには、その位置に画素が存在している必要がある。しかしながら、イメージセンサは離散した複数の個別画素からなり、その画素の値しか読み出すことはできない。従って、この計算値はかならずしも格子点（画素）上にはない。そのときは、近接画素からその値を補完計算することで、その値を求めることが可能となる。そのために、移動した点がどの画素（格子点）のどこに相当するかが重要なものとなる。この該当する画素の位置は、距離を単位画素の大きさで割ることで特定されるわけである。それ故に画像センサの単位画素の大きさがもう１つの重要なパタメターということになる。また、光学中心がどこにあるかも当然重要なパラメターとなる。
【００２２】  ここまでが、映像をもどすことの基本の考え方であるが、ついで近年の撮像素子の特性からもう１つ検討するべきことがある。以下それに関して述べる。
本発明者自身になじみが深い旧来のＣＣＤ撮像素子の場合は、露光時間が撮像面で同じであるので、その露光時間におけるブレ角がわかれば、どの位置においても同じブレ量ということになる。しかしながら、最近のＣＭＯＳ撮像素子の場合は、前述のように水平ライン（Ｈライン）毎に映像信号を読み出すので、露光時間が少しずつずれることになる。この点に関して、ＣＣＤ撮像素子を熟知しているからこそその差と対策を創出することが可能なわけであるが、それについて以下に説明する。
【００２３】  図４に示すように、８個のＨライン４０１があって、それが順次スキャンされ出力されるものとする。矢印４０２の被写体は、上下に写る矢印４０２ｂであり、撮像面にはそれの上下左右反転したものが投影される。これがいわゆる映像データの１フレームということになる。ここでＨライン毎のスキャンと時刻を表したものが、図４（ａ）の右のグラフである。縦軸がＨ番号、横軸が時刻を表している。ここで斜め実線４１１が読み出しタイミングを表し、斜め破線４１２が画素のリセットを表しており、破線から実線までの時間が露光時間となる。この図でたとえば、Ｈ番号５の位置の水平方向の線分４１３がＨ番号５の露光時間を表すことになる。その値を読み出すタイミングが時間ｔ（５）ということになる。また図中の時間ｔ（４）はその露光時間４１３の中央値であり、ブレ角はこの時点での角度と代表させることができる。
【００２４】  ここで注意をしておきたい本発明のもう１つの重要な点がある。それは露光時間に応じて、ブレ角を代表させる時刻が異なるということである。この例では、ｔ（４）の時刻のブレ角（角速度を積分したもの）をｔ（５）で読み出されるＨ番号５のブレ角としているが、これは露光時間の長さによって変化するということである。つまり各映像データ１枚１枚の露光条件（露光時間）に応じて、Ｇｙｒｏデータを積分しブレ角を出す制御をかえる必要があるということである。従って映像データの露光時間はカメラパラメターのもう一つの重要なパラメターとなる。
【００２５】  さてもとの考察にもどるが、ブレがない場合は、各Ｈラインは露光時刻がことなってスキャンされたとしても、その矢印４０２ｂはまっすぐに映る。しかし、これがカメラの撮像面の上下の中心軸４０３に回転ブレを起こしたとする。図の左から右にωという角速度で回転ブレを起こしたとすると、撮像面の露光タイミングで、左下図のように、矢印がライン毎に位置が異なってみえてしまう。それが図４（ｂ）である。本来まっすぐに映らないといけない矢印が、少しずつ曲がって撮像面に写ることになる。
【００２６】  図４（ｂ）の右のグラフでブレ角θを縦軸に、Ｈライン番号の読み出しタイミングを横軸に示している。この図のようにＨラインごとにブレ角が異なると、この図のように棒がゆがんだものになる。これはＣＭＯＳセンサ特有のものであり、露光時間が同じであっても、露光時刻がＨライン毎に異なるために、各Ｈラインの回転ブレ角が異なってしまうからである。しかし、各々Ｈラインのブレ角が一定になるように補正すれば、このようなことは起こらない。
【００２７】  例えば、ｎライン目のブレ角がθ（ｎ）、次のラインのブレ角がθ（ｎ＋１）としたときに、前述の原理によってθ（ｎ）≠θ（ｎ＋１）となる。そこで、ｎラインと（ｎ＋１）ラインでそれぞれブレ角補正をしたのちの角度が同じになるようにすれば、結果的にライン毎の露光時刻の違いによるブレ角の違いが解消されることになる。つまり、撮像面がＣＣＤのように１枚の平面として一定方向を向いているようにするわけである。こうすることで、撮像時刻の位置による差がなくなり、歪のない画となるわけである。これは空撮などの大きくブレる画を見やすく認識性の高いものにするには必要不可欠な技術である。
【００２８】  これを数式で表現すると以下となる。各Ｈ（ｉ）ラインのブレ角をθ（ｉ）、補正量をθａｊ（ｉ）（ｉ＝１，２，３，・・・）とすると、θ（ｉ）−θａｊ（ｉ）＝θ（ｋ）−θａｊ（ｋ）（ｉ≠ｋ、ｉ、ｋ＝１，２，３，・・・）の関係があるということになる。当然途中から突然ブレ角がおおきくなってこの関係がみたされない場合もあるが、それ以外はこの関係がなりたつように補正値を選ぶことで従来のＣＣＤのように画面の歪のない、動きの激しい動画でも認識性の高い動画が可能となる。
【００２９】  ところで、ここでの説明は空撮等の動画をなめらかに写し出すための補正について述べてきたわけであるが、それはあくまでも滑らかさをだして大きな変化を抑制するものである。すなわち、必ずしも振れ角のすべてを補正しているわけではない。しかしながら、動画の中でもピンポイントの静止画が要求される場合があり、かつその静止画が暗い部分の画であり高ＳＮのものが要求される場合がある。そのときは、動画制御とは異なり、そのシーンをとるためにシャッターを押したフレームを基準フレームとして、その次からの何枚かのフレームを基準フレームに合わせて、振れを完全に補正して重ねることで高いＳＮの画を得ることができる。このように２つにモード（動画モードと静止画モード）を持つことによってさらに多用途な高品質の画を得ることができるものである。
【００３０】  これを式で表現するならば、静止画を撮るときの基準フレームＦｏｒｇの各Ｈ（ｉ）ラインのブレ角をθｏｒｇ（ｉ）とし、これを基準として、そこに重ねるそれ以降のフレームＦｏｒｇ＋ｋ（ｋ＝１，２，３，・・・）の各Ｈ（ｉ）ラインのブレ角をθｏｒｇ＋ｋ（ｉ）としたときに、このブレ角が基準フレームと同じ値になるようの補正することで、基準フレームに合わるものである。
【００３１】  ついで、もう１つの重要な技術につて説明する。それはＧｙｒｏと画像センサとの取り付けに関するものである。いままで説明してきたように、Ｇｙｒｏ信号によるブレ量がわかればそれを正確に戻すことが可能なわけであるが、このＧｙｒｏセンサからの出力信号が正しくなければそれはなりたたない。この点に関してもう少し詳しく説明する。
【００３２】  仮にＧｙｒｏ１０１とカメラ部１０４のとりつけが正確でなく図５（ｂ）図のようにβだけ回転していたとする。当然Ｇｙｒｏはこのβ傾いた軸に対して感度をもっているので、センサ軸（同図（ｂ）破線）のＹ軸に対してωという角速度をもっていても、それがＧｙｒｏ軸のＹ軸とＸ軸に対して各々
Ｙ軸：ω×ＣＯＳβ
Ｘ軸：ω×ＳＩＮβ
というように検出されてしまう。仮にこれに基づいて補正をかけると、Ｙ軸方法は小さいくまた、Ｘ軸方向は補正しなくていいものをマイナス補正をしてしまうことになり、画像システムとしては由々しき問題となる。
【００３３】  これは異なるサブシステムをひとつのシステム上で組み合わせることにより発生する問題となる。そこで、本発明では、このような問題が発生しないように、Ｇｙｒｏ１０１とカメラ部１０４とを組み合わせた後に、この位置ずれ係数を検出し、同期化ブロック１０３上のカメラパラメター保持手段１１４にこの係数を保持し、画像処理をおこなう際その配置づれの影響を調整するものである。
【００３４】  この係数のもとめ方は、カメラ部１０４の映像センサ面の各々の軸のみを動かした時に、他の軸のＧｙｒｏ値がどのような出力を出すかによって決めることができる。また同様に軸のゲイン調整に関しても、一定の大きさで特定の軸を揺らしたときに、その軸の出力がその大きさになるようにゲイン値を調整すればよく、これもまたカメラパラメター保持手段１１４に格納しておくものである。
【００３５】  以上詳細に述べた工夫により、従来は実現困難であった大きな動きをともなう撮像、とりわけ空撮のようなもの、あるいは常に身に着けて撮像するようなウエアラブル機器に対しても正確な補正を行うことが、低コストで可能となるものであり、工業的価値は極めて高いといえる。
【００３６】  次にもう１つの実施形態として、このＥＩＳ（電子ブレ抑制機構）に加えて従来のＯＩＳ（光学ブレ抑制機構）を加えた実施例を説明する。図６に示すように１つの入出力端子１１５にはモータ制御部１０２を、さらにもう１つの入出力端子１１６には、ＯＩＳ制御部１１７を接続する。ＯＩＳは従来の制御とかわることなく、Ｇｙｒｏデータを自らのタイミングで読み出し、それをもちいてカメラに設けられたレンズ系を動かすアクチュエータ１１８を制御するものである。
【００３７】  従来からＯＩＳで補正したものをさらにＥＩＳで補正するという考え方はあったが、それは主に、ＯＩＳでは困難なローテーション（回転）補正をするものであった。これはいわゆる、レンズをいくら回転しても、回転ブレした像を変化させることができない。つまり補正をしようとしてもできないためである。また、ＯＩＳによる補正を施した画を連続して２枚用意し、その差を計算、補正するものである。しかし、正確な差を求めることが困難で補正が十分でなかったり、計算コストがかかったりと満足のいくものではなかった。
【００３８】  本発明では、Ｇｙｒｏセンサ１０１からの値で求められるブレ角θとすると、ＯＩＳで補正する部分θＯＩＳとＥＩＳで補正する量をＯＥＩＳとして、θ−θＯＩＳ＝θＥＩＳ＋θｋ（θ＞θＯＩＳの時）として制御するものである。ここでθｋは１フレーム内の補正オフセット値、つまり補正しない値である。この式だけをみると特段の工夫もないように見えるがこれは、ブレ補正における大きなパラダイム変化であるといえる。というのは、従来のＥＩＳに於ける補正量は、Ｇｙｒｏ値から得られるブレ角θとは完全に独立したものであるために、ＯＩＳをリンクすることは極めて困難であったが、本方式では、Ｇｙｒｏ値から得られるブレ角をベースにして、ＥＩＳもＯＩＳも補正がされるために、補正量の配分という新たな考え方ができるのである。従って、撮像データによる演算は一切不要であるにもかかわらず、非常に高性能な補正が可能となるものである。
【００３９】  一般的に、ＯＩＳはごく小さいブレ角の補正を得意とする。このときブレにおうじて、被写体面が追従するので、暗所で露光時間をある程度長くとっても、解像度劣化は少なく比較的ＳＮの良い画を得ることができる。しかし、ＥＩＳの場合は、露光時間を長くとると面内の解像度劣化につながることになり、ＳＮの良い画を得ることが困難であった。一方、電子的な補正であるので、どんなに大きなブレに対しても補正が可能となるわけである。つまり、この両者を合わせることで、空撮のような大きく動く動画に対しても、比較的ＳＮの良い画でかつ大きな動きに対しても認識性のよい画を低コストで得ることができる。また、この機構は当然ＯＩＳやＥＩＳの一方だけをアクティブにする制御も可能であることはいうまでもない。また、これまでの実施例では同期化ブロック１０３をＧｙｒｏ１０１やカメラ部１０４やモータ制御部１０２やＯＩＳ制御部１１７とは別のものとして説明しているが、これはこれらの機能の一部として構成してもよいことはいうまでもない。
【符号の説明】
【００４０】  １０１  Ｇｙｒｏ（ジャイロ）
１０２  モータ制御部
１０３  同期化ブロック
１０４  カメラ部
１０５  割り込み信号（ＩＮＴ）
１０６  Ｄフリップフロップ
１０７  Ｇｙｒｏデータ
１０８  保持手段
１０９  同期信号Ｖ，Ｈ
１１０  映像データ
１１１  カウンタ
１１２  データペア化手段
１１３  メモリカード
１１４  パラメター保持手段
１１５  １つの入出力端子
１１６  もう１つの入出力端子
１１７  ＯＩＳ制御部
３０１  被写体
３０２  撮像面
４０１  Ｈライン
４０２  矢印
４０３  中心軸
４１１  斜め実線
４１２  斜め破線
４１３  露光時間
【図１】
2016208483.tif 000004
【図２】
2016208483.tif 000005
【図３】
2016208483.tif 000006
【図４】
2016208483.tif 000007
【図５】
2016208483.tif 000008
【図６】
2016208483.tif 000009