(57)【要約】【課題】  スマートフォンによる映像の手振れ補正のためには、画像データとＧｙｒｏ信号の同期を正確にとることが大きな課題となっている。【解決手段】  本発明は、ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期を正確にとることを特徴とする映像システムおよびＧｙｒｏデバイスである。【選択図】図１
2017120355.tif 000002
【特許請求の範囲】
【請求項１】
ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期をとることを特徴とする映像システムおよびＧｙｒｏデバイスである。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、Ｇｙｒｏデバイスを用いた手振れ抑制システムおよびＧｙｒｏデバイスに関するものである。
【背景技術】
【０００２】  近年スマートフォンに代表される携帯機器の進歩は目覚しいものがある。とりわけ、カメラ機能の進化は著しく、もはやコンパクトデジカメに匹敵する映像がとれるようになってきている。しかしながら、小型故に映像の手振れに関しては、まだ改善点が多い。とりわけ暗い被写体を写す場合の静止画や、動画に関しては、今までの電子的な手振れ補正では十分な性能が得られていない。また、光学的な手ぶれ補正技術もあるが、この機構をスマートフォンに入れるための制約が多く、やはり十分な性能が得られない上に価格的にも高価なものとなっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】  本発明はかかる問題点に鑑み、スマートフォン等に使用される小型イメージセンサの手振れによる画質低下を抑制して、高品質な映像を低コストで得るための新たな提案である。
【課題を解決するための手段】
【０００４】  本発明の実施例は、ＣＭＯＳイメージセンサと、このＣＭＯＳイメージセンサからの同期信号と、この同期信号と接続されたＧｙｒｏデバイスと、このＧｙｒｏデバイスからのＧｙｒｏ値を入力とするプロセッサと、このプロセッサが前期ＣＭＯＳイメージセンサと接続されてなり、前期Ｇｙｒｏデバイスに入力される前期同期信号をうけて、その時点の時刻情報をその近傍時間で得られたＧｙｒｏ値とペアにして保持し、また前記同期信号が入力されないときは、各時刻で得られるＧｙｒｏ値とその時刻情報の少なくとも１組をペアで保持する保持手段を有し、前記プロセッサ内で、前記ＣＭＯＳイメージセンサからの映像信号と前記Ｇｙｒｏデバイスの前記保持手段からＧｙｒｏ値と時刻情報を用いて、この両者の信号の同期をとることを特徴とする映像システムおよびＧｙｒｏデバイスである。
【発明の効果】
【０００５】  ＣＭＯＳイメージセンサの映像信号とＧｙｒｏ値の正確な同期が取れることで、ＣＭＯＳイメージセンサの水平ライン毎の各フレーム間の正確なブレ角を推定することを可能とし、それを補正演算することで、従来の電子手振れでは不可能であった暗い条件での正確な補正を可能とする。また従来の光学的な手振れ補正のようなメカ的可動部による補正限界や大型化を抑制し、かつ低消費電力で低コストの映像システムを容易に実現することができる。スマートフォンをはじめ多くの小型映像システムに応用できるものであり、その工業的価値は極めて高いといえる。
【図面の簡単な説明】
【０００６】
【図１】は、本発明の一実施形態を示すブロック図である。
【図２】は、本発明のＧｙｒｏデバイスの時刻情報とＧｙｒｏ情報の保持手段の説明図である。
【図３】は、本発明の映像信号とＧｙｒｏ値の同期化タイミング図である。
【図４】は、一般的な映像システムの構成概念図である。
【発明を実施するための形態】
【０００７】  図４は一般的なスマートフォンの映像システムの構成概念図である。映像データは、ＣＭＯＳイメージセンサ４０からＡＰ（アプリケーションプロセッサ）４１に入力される。また同時に、スマートフォン本体内部にはスマートフォンの傾き等の変移を測定するＧｙｒｏデバイス４３が構成されており、その出力は同様にＡＰ４１に接続されている。しかしながらこの２つのデバイスは当然異なるものであり、その信号間に同期はとれていない。この同期がＧｙｒｏを用いた手振れ補正では極めて重要になる。以下にそれに関して詳述する。
【０００８】  まず同期というこがどのようなことなのかを図３を用いて説明する。この図はＣＭＯＳイメージセンサ４０の動作原理を簡単に説明したものである。２次元状に構成されたＣＭＯＳイメージセンサ４０は、レンズ４４により外部の映像（被写体）４５がその２次元状のセンサに結実し、その光の強さにより、各画素を構成する光電変換素子に信号電荷が蓄積される。この各電荷は、水平ライン毎に読み出され、それが外部で合成されることで２次元のイメージを得ることになる。この各水平ラインの読み出しタイミングをしめしたものが、図３になる。横軸に時間（ｔｉｍｅ）、下方縦軸にはアクセスされる水平ライン番号３１がかかれている。つまり、この図の水平ラインが１から８まで操作されて始めて、１つの画が出力されたことになる。同図３２が読み出し信号であり、その読み出しに先立って、露光時間３３を設定するために、リセット信号３４が水平ライン毎に設けられており、信号電荷の読み出しと同様に、リセットのタイミングで各画素のデータが０にリセットされる。このリセット信号３４と読み出し信号３２の間が露光時間３３ということになる。
また、各１枚の画像はフレームと呼ばれ、そのフレームの先頭には、Ｖ同期信号３５というものが出力される。つまり、このＶ同期信号３５がフレームの先頭をあらわすことになる。この図では２つのフレーム（ＮとＮ＋１番目）が図示されている。Ｎフレームでは被写体の三角形が正立しているが、Ｎ＋１フレームではそれが少し回転している。
【０００９】  ここで、手振れというのは、フレーム間のＣＭＯＳイメージセンサの画像の変移ということであるが、それは例えばＮフレーム目の第３水平ライン３６の映像が次のＮ＋１フレーム目でどのように変化したかを検出できれば、その分をもどしてあげればよいということになる。つまり、この図では、水平ライン時間差３７の部分の角度変化分３８がそれに当たるわけである。
さて、この角度変化分３８をどのように求めることができるかというと、その間の一定間隔で出力されるＧｙｒｏ値３９を積分してその変化角を出してあげればよい。しかしながら、これがなかなか難しい。つまり、Ｇｙｒｏ値は一定のサンプリング間隔でその値を検出することは可能であるが、その検出値が画像と正確な同期をとる手段がないわけである。もちろんないわけではないが、本提案のような正確なものではない。
【００１０】  図１を用いて本発明の詳細について説明する。Ｇｙｒｏ値３９と画像データの同期をとるために、ＣＭＯＳイメージセンサ４０からの同期信号（Ｖｓｙｎｃ）１１をＧｙｒｏデバイス４３で受けて、その時刻であるＧｙｒｏ内のタイマー１２とＧｙｒｏ値をペアとして保存し、この同期信号１１がないときは、新しいＧｙｒｏ値が検出されたときに、その値をその時刻のタイムスタンプを同様に、この保持手段１３に保存するものである。この例では、保持手段１３としてＦＩＦＯを用いている。同期信号１１があったときは、その時刻のタイムスタンプ（Ｔｖｓｙｎｃ）を押し、同期信号がないときは、新たなＧｙｒｏ（ｉ）（ｉ＝１，２，３，・・・）値が得られたときに、ＴＧｙｒｏ（ｉ）（ｉ＝１，２，３，・・・）を押すことにする。これを示したものが図２となる。通常はＧｙｒｏ値３９が新たに出力さた時に、その値とその時点  の時刻をＦＩＦＯに保持する。しかし、同期信号１１がロウパルスを発生すると、その時点でその時刻をＦＩＦＯに保持することにする。同期信号が入った時点から、内部のサンプリングタイミングでのＧｙｒｏ値の最初の出力までの差ΔＴをとると、Ｇｙｒｏのサンプリング時刻と画像の同期信号の差が明確になる。これによってＧｙｒｏ値のタイミング補正量が明確になる。
ΔＴ＝ＴＧｙｒｏ（１）−Ｔｖｓｙｎｃ        （１）
【００１１】  この式によりフレーム間での水平毎の変移角が明確になるので、その分を角水平ライン毎に補正することで、画像全体の正確な補正がはじめて可能となる。角度による画像の補正に関しては、ここでは述べないがＣＭＯＳイメージセンサの瞳位置にピンホールがあるとして、ピンホールカメラのもでるから容易に導くことができる。
【符号の説明】
【００１２】１１  同期信号（Ｖｓｙｎｃ）
１２  タイマー
１３  保持手段（ＦＯＦＯ）
１４  同期化ブロック
３１  水平ライン番号
３２  読み込み信号
３３  露光時間
３４  リセット信号
３５  Ｖ同期信号（ロウパルス）
３６  第３番水平ライン
３７  水平ライン時間差
３８  角度変化分
３９  Ｇｙｒｏ値
４０  ＣＭＯＳイメージセンサ
４１  プロセッサ（ＡＰ）
４３  Ｇｙｒｏデバイス
４４  レンズ
４５  被写体
【図１】
2017120355.tif 000003
【図２】
2017120355.tif 000004
【図３】
2017120355.tif 000005
【図４】
2017120355.tif 000006