(57)【要約】【課題】  センサの小型化による用途拡大で、ブレによる画質低下が大きな課題となっている。【解決手段】  本発明は、イメージセンサデバイスとＧｙｒｏセンサデバイスと、この両デバイスの同期をとるための位相調整補助機構と、前記イメージセンサデバイスからの映像信号と前記ＧｙｒｏセンサデバイスからのＧｙｒｏデータが入力される演算処理部を有し、この演算処理部において、前記Ｇｙｒｏデータの積分処理を行い、この積分値を用いて振れ角補正理想曲線の算出を行い、この振れ角補正理想曲線と前記積分値との差を補正量とし、前記位相調整補助機構により前記映像データと前記Ｇｙｒｏ積分値との位相調整を行った後に前期補正量による補正を行うことで、前記映像データの任意の水平ラインに正確な補正行うことを特徴とする手振れ補正システムおよびイメージセンサデバイスおよびＧｙｒｏセンサデバイスである。【選択図】図１
2018205678.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサデバイスとＧｙｒｏセンサデバイスと、この両デバイスの同期をとるための位相調整補助機構と、前記イメージセンサデバイスからの映像信号と前記ＧｙｒｏセンサデバイスからのＧｙｒｏデータが入力される演算処理部を有し、この演算処理部において、前記Ｇｙｒｏデータの積分処理を行い、この積分値を用いて振れ角補正理想曲線の算出を行い、この振れ角補正理想曲線と前記積分値との差を補正量とし、前記位相調整補助機構により前記映像データと前記Ｇｙｒｏ積分値との位相調整を行った後に前期補正量による補正を行うことで、前記映像データの任意の水平ラインに正確な補正行うことを特徴とする手振れ補正システム。
【請求項２】
２次元映像データの水平ライン毎の初期化および読み出し時にその水平ラインにアクセスするアクセス手段と、このアクセス手段によりアクセスされている前記水平ラインの番号を読み出す手段を有することを特徴とするイメージセンサデバイス。
【請求項３】
請求項２のイメージセンサデバイスを用いたことを特徴とする請求項１に記載の手振れ補正システム。
【請求項４】
少なくとも１つのＧｙｒｏデータと、このデータ出力時に内部タイマーの時刻とを保持する保持手段と、外部からアクセス時に前記タイマーの時刻を読み出す手段と、このアクセス直後近傍のＧｙｒｏデータのフラグビットを１に設定するフラグビット設定手段とを有することを特徴とするＧｙｒｏセンサデバイス。
【請求項５】
請求項４に記載のＧｙｒｏセンサデバイスを用いたことを特徴とする
請求項１または３に記載の手振れ補正システム。
【請求項６】
Ｇｙｒｏ値を積分した振れ角に対して、ターゲット角を設定し、その角度と前記振れ角の差の差角と、その時のＧｙｒｏ値からの角速度との２つの値を評価することで、前記ターゲット角への補正量を設定することを特徴とする請求項１または３または５に記載の手振れ補正システム。
【請求項７】
補正限界値を越えたときに、一旦補正量を０とする区間を設けることで、Ｇｙｒｏ値のオフセットによる誤補正の影響を抑制することを特徴とする請求項１または３または５または６に記載の手振れ補正システム。
【請求項８】
ＯＩＳ手振れ補正における２次元のレンズ移動量を（ΔＸ、ΔＹ）とし、これによる画像中心の移動量（ΔＸ、ΔＹ）を新たな画像中心としてＯＩＳ補正画像に補正を行うことを特徴とする請求項１または３または５または６または７に記載の手振れ補正システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、Ｇｙｒｏセンサデバイスおよびイメージセンサデバイスを用いた手振れ補正システムとそのＧｙｒｏセンサデバイスとイメージセンサデバイスに関するものである。
【背景技術】
【０００２】  近年スマートフォンに代表される携帯機器の進歩は目覚しいものがある。とりわけ、カメラ機能の進化は著しく、もはやコンパクトデジカメに匹敵する映像がとれるようになってきている。しかしながら、小型故に映像の手振れに関しては、まだ改善点が多い。とりわけ暗い被写体を写す場合の静止画や、動画に関しては、今までの電子的な手振れ補正では十分な性能が得られていない。また、光学的な手ぶれ補正技術もあるが、この機構をスマートフォンに入れるための制約が多く、やはり十分な性能が得られないうえに価格的にも高価なものとなっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】  本発明はかかる問題点に鑑み、スマートフォン等に使用される小型イメージセンサの手振れによる画質低下を抑制して、高品質な映像を低コストで得るための新たな手振れ補正システムおよび位相補正補助機構を持ったイメージセンサデバイスおよびＧｙｒｏセンサデバイスの提案である。
【課題を解決するための手段】
【０００４】  本発明の実施例は、イメージセンサデバイスとＧｙｒｏセンサデバイスと、この両デバイスの同期をとるための位相調整補助機構と、前期イメージセンサデバイスからの映像信号と前期ＧｙｒｏセンサデバイスからのＧｙｒｏデータが入力される演算処理部を有し、この演算処理部において、前記Ｇｙｒｏデータの積分処理を行い、このＧｙｒｏ積分値を用いて振れ角補正理想曲線の算出を行い、この振れ角補正理想曲線と前期積分値との差を補正量とし、前記位相調整補助機構により前記映像データと前記Ｇｙｒｏ積分値との位相調整を行うことで、前記映像データの任意の水平ラインの正確な補正量を算出し、この水平ラインの補正量にもとづき、前記映像データを補正することを特徴とする手振れ補正システムおよびイメージセンサデバイスおよびＧｙｒｏセンサデバイスである。
【発明の効果】
【０００５】  位相調整補助機構によりイメージセンサデバイスの映像信号とＧｙｒｏ積分値の極めて正確な同期が取れることで、積分角より算出された補正角理想曲線とイメージセンサの水平ライン毎の正確なブレ角を算出することを可能とし、それを補正演算することで、従来の電子手振れでは不可能であった正確で理想的な補正を可能とする。また従来の光学的な手振れ補正のようなメカ的可動部による補正限界もなく大型化も抑制し、かつ低消費電力で低コストの手振れ補正システムを容易に実現することができる。スマートフォンをはじめ多くの小型手振れ補正システムに応用できるものであり、その工業的価値は極めて高いといえる。
【図面の簡単な説明】
【０００６】
【図１】は、本発明の一実施形態を示すブロック図である。
【図２】は、映像信号とＧｙｒｏ信号との時間関係を示した説明図である。
【図３】は、本発明の映像信号とＧｙｒｏ値の同期化タイミング説明図である。
【図４】は、本発明のＡＰからの同期システムの説明図である。
【図５】は、振れ角曲線と補正ターゲットの関係をしめした説明図である。
【図６】は、本発明のターゲット補正時の振れ角と角速度の関係を示した説明図である。
【図７】は、本発明の振れ角とターゲットおよび補正理想曲線を示した説明図である。
【図８】は、本発明の被写体と振れ角、Ｇｙｒｏ軸、イメージセンサ撮像面の関係をしめした概念図である。
【図９】は、本発明の補正式算出方説明のピンホールカメラモデル図である。
【図１０】は、ＯＩＳへの本発明適応のピンホールモデル説明図である。
【図１１】は、一般的なスマートフォンの手振れ補正システムの構成概念図である。
【発明を実施するための形態】
【０００７】  手振れ補正システムを実現するには、いくつかの重要な点があり、その各々に対して本発明点を以下に随時説明する。
【実施例１】
【０００８】  まず、イメージセンサからの映像信号とＧｙｒｏデータの同期に関して説明する。
図８は一般的なスマートフォンの手振れ補正システムの構成概念図である。映像データは、ＣＭＯＳイメージセンサデバイス（以下イメージセンサと略）１０１からＡＰ（アプリケーションプロセッサ）１０２に入力される。このＡＰ１０２にはいわゆる映像データを作り出すＩＳＰコアと称される部分と、その映像に対する各種演算を行う演算部が存在する。また同時に、スマートフォン本体内部にはスマートフォンの傾き等の変移を測定するＧｙｒｏセンサデバイス（以下Ｇｙｒｏと略）１０３が構成されており、その出力は同様にＡＰ１０２に接続されている。しかしながらこの２つのデバイスは当然異なるものであり、その信号間に同期はとれていない。この同期がＧｙｒｏ１０３を用いた手振れ補正では極めて重要になる。以下にそれに関して詳述する。【０００８】  まず同期というこがどのようなことなのかを図２を用いて説明する。この図はＣＭＯＳイメージセンサ１０１の動作原理を簡単に説明したものである。２次元状に構成されたＣＭＯＳイメージセンサ１０１は、レンズ１０４により外部の被写体１０５がその２次元状のセンサに結実し、その光の強さにより、各画素を構成する光電変換素子に信号電荷が蓄積される。この各電荷は、水平ライン毎に読み出され、それが外部で合成されることで２次元のイメージ（映像）を得ることになる。この各水平ラインの読み出しタイミングをしめしたものが、図２になる。横軸に時間（ｔｉｍｅ）、下方縦軸にはアクセスされる水平ライン番号２１がかかれている。つまり、この図の水平ラインが１から１０まで操作されて始めて、１つの画が出力されたことになる。なお、この水平ラインの９と１０はＶブランク期間（垂直帰線期間）をしめすもので、映像は出力されない。同図２２が読み出し信号であり、その読み出しに先立って、露光時間２３を設定するために、リセット信号２４が水平ライン毎に設けられており、信号電荷の読み出しと同様に、リセットのタイミングで各画素のデータが０にリセットされる。つまり、このリセット信号２４と読み出し信号２２の間が露光時間２３ということになる。この説明では、簡単のためにこの露光時間２３の中心の時刻で映像が露光されたと仮定する。
また、各１枚の画像はフレームと呼ばれ、そのフレームの先頭には、Ｖ同期信号２５というものが出力される。つまり、このＶ同期信号２５がフレームの先頭をあらわすことになる。この図では２つのフレーム、Ｎ番目とＮ＋１番目が図示されている。Ｎフレームでは被写体２０の三角形が正立しているが、Ｎ＋１フレームではそれが少し回転している。【０００９】  ここで、手振れというのは、フレーム間のＣＭＯＳイメージセンサ画像の変移ということであるが、それは例えばＮフレーム目の第３水平ライン２６に着目すると、この映像が次のＮ＋１フレーム目までで、どのように変化したかを検出できれば、その分をもどしてあげればよいということになる。この図では、水平ライン時間差２７でどれくらいイメージセンサが傾いたかという変移角、角度変化分２８をもどすということである。
さて、この角度変化分２８をどのように求めることができるかというと、その間の一定間隔で出力されるＧｙｒｏ値２９を時間積分してその変化角を出してあげればよい。Ｇｙｒｏ値は角度／秒という単位で出力される。したがって、この水平ライン時間差２７の間に検出される全てのＧｙｒｏ値を時間積分してやれば、その間に変移した角度ということになるわけである。しかしながら、これがなかなか容易ではない。
なぜなら、Ｇｙｒｏ値は一定のサンプリング間隔でその値を検出するわけであるが、画像の露光は、このどの位置にあるか、１つのサンプリング区間内のどの位置から、どの位置まで時間積分するかということが通常正確にわからないからである。ましてや同図の、Δｔ１やΔｔ２まで正確にわからなければならない。このような正確な映像信号とＧｙｒｏ値の同期は一般的に極めて困難である。【００１０】  本発明は、この同期に関して新たな方法を提案することで、比較的容易にこの同期を可能としている。この同期の取り方に関して図３を用いて説明する。Ｇｙｒｏ値２９はＧｙｒｏ内部で一定時間ＧＳＴごとにサンプリング出力され、ＦＩＦＯ３３に蓄積される。また、Ｇｙｒｏ値２９と画像データの同期をとるために、ＣＭＯＳイメージセンサ１０１からの同期信号２５をＧｙｒｏデバイス１０３で受けることにする。Ｇｙｒｏ内のタイマーからのこの時刻を、例えばＶ同期時刻レジスタ３１にレジストしておく。また、その直後のＧｙｒｏ値（同図では２番目）の出力時間を少なくとも１つ、Ｇｙｒｏデータの出力時刻として、これもまたＧｙｒｏ値出力時刻レジスタ３２にレジストしておく。これら２つのレジスタの時刻を比較することで、正確な同期が可能となる。これに関して以下に詳述する。【００１１】  同図で、一例としてＦＩＦＯ３３はフラグビットとＧｙｒｏデータを蓄積するものであり、このフラグビットは同期信号２５が入力された時に１を立てることにする。いま、Ｇｙｒｏデータが２番目のときにフラグが１となっており、それ以外は０となっている。この時の同期信号の入力時刻は、Ｇｙｒｏデバイス内のタイマーで測定され、Ｖ同期時刻レジスタ３１に格納されている。また、この後Ｇｙｒｏデータの２番目がきたときに、その時刻がＧｙｒｏ値出力時刻レジスタ３２に、そのデータがＦＩＦＯ３３にＧｙｒｏＤａｔａ２として蓄えられる。Ｇｙｒｏデータはその後も逐次検出され、ＦＩＦＯ３３に格納される。しかし、ここで注意したいのは、Ｇｙｒｏ値出力時刻レジスタ３２への時刻の書き込みを同期信号２５がきた直後１回だけであるということである。【００１２】  こうすることで、映像信号の同期信号２５とＧｙｒｏデータ２９との位相差ΔＴは、Ｇｙｒｏ値出力時刻レジスタ３２の値からＶ同期時刻レジスタ３１の値を引いたものとして求められる。
ここでわかりやすくするために、同期信号以降のＧｙｒｏデータを読み出すことにして、それに番号を１番からふると、Ｇｙｒｏ値番号Ｎ番目の時刻ＧＤＴ（Ｎ）は、映像信号の同期信号を基準として、位相差ΔＴ＋（Ｎ−１）×ＧＳＴ（ここでＧＳＴはＧｙｒｏデータのサンプリング時間間隔）となる。
また、映像信号についても、Ｖ同期信号２５がきてから、１フレーム内には水平ラインがＦＮ個とすれば、Ｍ番目の水平ラインの時刻ＶＬ（Ｍ）は、ＶＬ（Ｍ）＝（ＦＴ／ＦＮ）×Ｍとなる。
つまり、各々のＧｙｒｏデータ２９の出力時刻と映像データの水平ライン時刻が、同期信号２５を基準として表現でき、完全にこの両者の同期が取れたことになる。更に、ここで少し注意したい点は、実質の水平ラインの個数にはＶブランク期間が含まれるということである。一般にＡＰからの出力にはこの区間が含まれない。しかしながら実際のイメージセンサの駆動にはこの区間もあり、その間にもＧｙｒｏデータが入力してきている。これを考慮しなければ、任意の水平ラインでの露光時刻を正確に把握することは困難である。
また、イメージセンサからの出力は、動画、静止画やモニターモード等そのサイズはいろいろあり、それに応じてＶブランク期間がことなるので、この点は注意が必要である。【００１３】  この同期方法はイメージセンサからのＶ同期信号をＧｙｒｏ側の端子に接続して、その信号を用いて同期をとる方法であるが、それは実装上の制約となる。そこで、この制約がないもう１つの同期方法に関して図４をもとに説明する。【００１４】  基準になる信号をＡＰからのレジスタ読み出し信号とする。ＡＰの内部クロックは極めて高速であり、プログラム上でのイメージセンサおよびＧｙｒｏのレジスタの読み出しはほぼ同時とみなせる。さて、このＡＰからの読み出し信号が同図ＡＰＴＳであり、そのタイミングでのＧｙｒｏ時刻レジスタ（図示せず）を読み出せば、Ｇｙｒｏの時刻ＧＹＴＳを読み出せる。また、イメージセンサの水平ライン番号レジスタ（図示せず）を読み出せば、その時点でアクセスされている水平ライン番号であるＩＭＬＮを読み出せるようにしておく。
もちろん、前回同様Ｇｙｒｏ内にはフラグビットをもつＦＩＦＯを構成し、前述の方法同様に、このＧＹＴＳ時刻以降直近のＧｙｒｏデータの出力時刻のみをＧｙｒｏ出力時刻レジスタ（図示せず）に蓄積しておき、その差をだすことで図４の時間差ΔＴを見積もることができる。こうすることで、この図におけるＡＰＴＳからを基準としたＧｙｒｏデータ番号Ｎ番目の時刻ＧＤＴ（Ｎ）は、位相差ΔＴ＋（Ｎ−１）×ＧＳＴ（ここでＧＳＴはＧｙｒｏデータのサンプリング時間間隔）となる。また、同様にＡＰＴＳを基準として、Ｍ番目の水平ラインの時刻ＶＬ（Ｍ）は、ＶＬ（Ｍ）＝（ＦＴ／ＦＮ）×（Ｍ−１）となる（ただし、１フレーム時間はＦＴ，１フレーム内には水平ライン数はＦＮ個とする）。
このようにすることで、Ｇｙｒｏデータ２９と映像信号の水平ラインは完全に同期がとれることになる。また、この方式の利点は、近年複数のイメージセンサを使う機会もふえてきており、各々のイメージセンサでは一般にＶ同期信号はそれぞれ異なるタイミングであることが多い。また、フレームの水平ラインの数が違うことがほとんどである。
そんな場合でもこの方法であれば、各イメージセンサに同様のレジスタを設けることで、複数のイメージセンサとＧｙｒｏの同期が極めて簡単にかつ正確に取ることが可能になるわけであり、工業的価値はきわめて高いといえる。またもちろん、この例ではレジスタを１つにしたが、これは複数個あっても識別ができればその個数に特に制限はない。【００１４】  さてここまでで、Ｇｙｒｏデータと映像信号の同期が完全にとれたわけであるが、次に手振れ補正をかけるための振れ角の算出に関して図５を用いて説明する。【００１５】  同図５１がＧｙｒｏ値を時間積分した振れ角曲線である。またこの図のなかに各フレームの区間を明示してある。ここで例えば、Ｎフレーム目をみてみよう。振れ角は波をうっている。これはつまり、同一フレームのなかで各水平ラン毎に
振れ角が変動しているということである。映像というものは、フレーム内の各水平ラインでは同じ振れ角をもっていて初めて、正常な画となる。つまり、この図でいうと一定の振れ角をもたないと、映像が不自然に伸びたり、縮んだりして湾曲することになる。これは当然隣接するフレーム間にもいえることで、できだけ同じ振れ角をもったフレームが長く続くことが、安定した映像として見えることになる。【００１６】  そこで、仮にこの図に示したように、振れ角が一定なターゲット５２を決め、各フレームの振れ角をこれに合わせるように補正する。Ｎ−２フレームからＮフレームまで全ての振れ角をこれに合わせるわけである。例えば、Ｎ−２フレームの水平ラインＡを補正角ΔΘだけ引く（同図↓）ことで、ターゲット５２に振れ角が一致するということである。しかし、補正できる角度には限界がある。上限補正限界５３ａ、下限補正限界５３ｂがあり、これを越えると補正しようにも映像が端によっていて補正したい映像データが存在しないので、補正できないということになる。
補正角に限界があっても、振れ角はそれを越えることは一般的なことである。例えば、Ｎ＋１フレームでは点Ｂの時点でこの上限補正限界５３ａをこえてさらに大きな振れ角となっている。しばらく振れ角は大きくなるが、Ｎ＋２フレームからは、また波打つようになっている。この波の中心に、新たなターゲット５４を設定して、このターゲット５４に振れ角を補正していくことになる。しかしながら、このターゲット５２は強制的に、振れ角を一致させているわけで、そこから離れて、次のターゲット５４に移るときに、どうしても映像が極端に変化する。カクッと変化してしまう。これをなくして、スムーズな映像になるように補正するのが好ましい。そこで、その点に関して、どのように制御するかという点に関して次に述べる。【００１７】  このような現象は、補正限界内ではかならずターゲットに
収束させる制御を考えてしまうことで発生する。補正限界内に触れ角があってもその近傍将来で補正限界を越える可能性を見出す必要がある。そのために、本発明ではその時点での角速度（度／秒）に注目する。ターゲットと補正限界角の範囲で振れ角がどの位置にあるのか、またその時の角速度はどの程度かという２つの要素を評価して、実際の補正角を決めるものである。これを補正理想曲線と称する。【００１８】  図６を用いて補正の基本概念を説明する。ターゲット６１の上下に補正限界角（±Ｔｈ）をもつ。Ｇｙｒｏの時間積分曲線６２ａ，ｂ上に点Ａと点Ｂがあったとして、Ａ点はターゲット６１よりΔΘだけ離れた位置にある。このときの角速度とωａとする。また、同様に点Ｂはターゲット６１より下にΔΘだけ離れており、その角速度をωｂとする。
ここで角速度の評価関数を一例として、ターゲットからの離れている角度Θに応じて次のように決める。【００１９】
【数１】
2018205678.tif 000003
ここでｋ，Ｔｈ＿ｋは調整パラメター【００２０】  この評価関数の意味として、ΔΘが±Ｔｈ＿ｋのとき、つまり上下の補正限界の位置では、ωΘ＝０となる。また、ΔΘ＝０の時は、ωΘ＝ｋとなる。これの評価関数と実際の角速度ωの比、ωΘ／ωをとり、それにその時点のターゲットとの差±ΔΘをかけたものを実際の補正角とするものである。ここで注意しなければいけない点は、時間積分曲線６２ａ，ｂがターゲット６１の上にあるか下にあるか、またその時点の角速度ωの極性である。いまωの極性は、振れ角正の向きを正とすると、図中Ａの領域では、ωが−（下向き）であれば、どんなに大きな値でもターゲット方法なので、その速度のおおきさにかかわらず、つねにターゲットとの差ΔΘを補正する。図中Ｂではこれが逆になり、ωが＋（上向き）であれば、つねにその大きさによらずターゲットとの差−ΔΘを補正する。これらの関係を以下の表にしめす。【００２１】
【表１】
2018205678.tif 000004
ただし、ΔΘ＝（積分曲線上の点）−（ターゲット）
つまり、極性もΔΘのなかに入れた表となっている。【００２２】  このようにターゲットとの差だけはなく、その時の角速度も考慮した補正をしめしたものが図７となる。
黒丸の点の曲線がＧｙｒｏ値を時間積分した振れ角曲線７１であり、中抜きの○の曲線が補正後の補正曲線であり、これを補正理想曲線７２と称する。Ｎ−１フレームは、補正理想曲線７２が水平なターゲット７３に重なっており、完全に補正ができている。しかしながら、Ｎフレームでは、中抜き○の補正理想曲線７２がターゲット７３よりも上にいっており、振れ角曲線７１のＧ１１では補正限界角を越えている。つまり、この近傍のＧ１０の点では速度が速く、前述の評価関数により、補正が完全にされておらず、ターゲット７３と補正理想曲線７２が一致していないわけであるが、この制御こそが滑らかな映像には大切なものとなる。
尚、この補正限界を越えるまでの領域をターゲット補正モード７４と称し、それ以降は次ぎのターゲット７５が設定されるまでは積分値追従モード７６と称する。【００２３】  さてここで次ぎのターゲット７５を設定する方法にも工夫がある。というのもＧｙｒｏは角速度を測定するデバイスであるが、スマートフォンなどで使用されるものは、その性能に問題があるものが多い。特にドリフトといわれる時間変化するノイズ成分がある。そのため、その積分値はオフセット角というものをもつ。つまり実際には振れていなくでも、そのオフセット分が振れ角のように誤認識されて、補正をしてしまうことになる。映像が傾いてもいないのに、補正をして逆傾きをかけてしまうわけである。これをなくすために、Ｇｙｒｏ値には各種フィルターをかけて、できるだけこのオフセット角をなくそうとしているのであるが、０にすることはなかなか難しい。【００２４】  そこで、本発明ではその影響を抑制するための手法として、手振れによるターゲットが変化していくときに、このオフセットをリセットするために、補正をしない領域をもうけることにしている。
補正をしなということは、オフセット値や実際の手振れ角がどんな値であろうが、一旦まったく補正をしない状態に。して、その時点からまた最初からはじめることで、それまでの、オフセットをリセットすることができるわけである。
同図振れ角曲線７１のＧ１１からＧ１３までで、徐々に補正量を減らして補正量０まで持ってくることで、振れ角曲線７１と補正理想曲線７２が完全に一致する。つまりオフセット角が０になるわけである。Ｇ１４からＧ２２でも引き続き補正量は０で、この時に、凹凸のピーク値を検出し、その最後のピーク値Ｇ２２が検出されたところで、その値を新たなターゲット７５として設定する。
このターゲット７５が設定された時点から、またターゲット補正モード７４が再開され、表１のルールに従って補正されるわけである。この図でもＮ＋３フレームから補正曲線７２は完全にターゲット７５と一致している。【００２５】  このように、本発明では、より滑らかな補正映像にするために、振れ角の量だけではなく、その角速度も考慮することで、近傍将来の動きを予想し、より無理のない滑らかな補正を可能としている。また、Ｇｙｒｏのドリフト分の影響が映像に影響を与えないように、ターゲットの変化時点で、手振れのない状態にすることで、ドリフトによるオフセット角の影響を最小化しているものである。【００２６】  次いで補正角が正確に見積もれたところで、映像データの補正式に関して説明する。
図８において、簡単にイメージセンサ８１の構造を書いている。レンズ８２を通して撮像面８３に被写体８４が結像される。このとき焦点距離Ｆ８５であり、また８６に３軸Ｇｙｒｏの各軸の方向を示している。さてこの状態で仮にＰｉｔｃｈ方向に角度Θｐ度傾いたときに被写体８４の撮像面８３上の画がどのようになるかを示したものが、図９である。
この図は簡単のためにピンホールカメラモデルを用いて、その撮像面８３上を画の動きを説明している。光はピンホール９０から入り撮像面８３に収束結像する。いま手振れがない状態の撮像面８３ａのときに、仮に被写体８４のＡ点が点ａ９１に結像したとする。
そのときのＡ点の仰角をαとすると、その高さＹａはＹａ＝Ｆ×ｔａｎ（α）となる。また、手振れが起こった後は、新たな撮像面８３ｂとなり、ａ点９１はａ’９２となる。仰角はα＋Θｐと変化すし、その高さＹ’ａはＹ’ａ＝Ｆ×ｔａｎ（α＋ΘＰ）となる。このようにして手振れΘｐが発生すると、もとのＹ座標がこのような式にしたがって変化するわけである。これを画像平面上の座標（ｘ，ｙ）に対して、３軸（Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）の変化に対して求めたものが、以下の式になる。この式はＧｙｒｏ軸と撮像面の関係で式の途中の符号はかわるが、図８の関係の一例である。【００２７】
【数２】
2018205678.tif 000005
【００２８】  この式に従えば、正確な振れ角と焦点距離がわかれば、すべての触れを戻すことが可能である。また、この式は従来のような隣接した画像を比較して、どの部分が移動したから戻すようなモーションペクトルを求めるような処理する必要がない。当然、その移動が被写体の移動かブレか間違うことなく、その演算コストも０であり、きわめて優れた方法である。しかも、ブレによる撮像面の振れ角を検出しているので、例えばレンズによる手ブレ補正の技術との相性もきわめてよい。
高級なスマートフォンには、レンズを移動させて手ブレを補正するＯＩＳという技術が使われることがある。この技術の特徴は、露光時間の間中レンズが手振れを補正するので、安定した像での比較的長い時間露光が可能となり、画のＳＮがいい。しかしながら、このレンズの移動制御はあくまでもＸＹの２次元方向だけであり、本来の撮像面の傾きには対応していない。そのため、像高が高い位置では、解像度がおちたり、動画では、周辺の湾曲が目立つものとなる。これをなくすには、高級なビデオカメラで採用されているような、レンズ系そのものを、３次元的に触れ角と反対に移動させる制御が必要となるが、当然スマートフォンのような薄く小さいエリアに作りこむことは不可能である。
そこで、今回の発明の式を適応することで、この周辺の湾曲を補正することが可能となる。これがなぜ可能かとうと、レンズ系も今回の補正方法も光学特性に基づいて、それをメカニカルにおこなっているか、演算とし行っているかの違いだからである。これに関して以下に説明する。
図１０は図９のピンホールモデルを用いてＯＩＳの制御を説明していたものである。まず振れがない時の撮像面１０１からＰｉｔｃｈ方向にΘｐ傾いたときが、撮像面１０２である。ここで、撮像中心は点１０１ａから点１０２ａに移動する。その距離はＦ×ｔａｎ（Θｐ）である。この画像中心のズレを戻すようにレンズを動かしているのが、ＯＩＳ制御ということになる（図中の太破線）。これによりレンズ移動前ピンホール１０４の位置がレンズ移動後ピンホール１０５と変化する。しかしながら、この図をみてもわかるように、もとの撮像面１０１から振れによる撮像面１０２ａの変移は中央部では面の横方向の差は小さい。図中の↓をもどせばいいように思うかもしれないが、周辺のいくにしたがって、撮像面がなす角度（Θｐ）による開きが大きくなり、撮像面内の被写体の平行移動だけでは、画に歪みが生じるわけである。
そこでＯＩＳ制御で太破線１０３のようになった状態に今回の式を適応する。ただし、中心が（Δｘ、Δｙ）ＯＩＳにより変化した分の中心座標の変換を行うだけで簡単に補正することで、レンズ移動量を考慮した手ぶれ補正が可能となり、ＯＩＳ使用時の周辺の湾曲を効率的に補正できるものである。
【産業上の利用の可能性】
【００２６】  本発明の技術は、スマートフォンカメラをはじめとして、今後ますます重要になる小型カメラの手ブレ抑制システムに有用であり、モバイルカメラ、ウエアラブルカメラ、車載カメラ、ドローンカメラ、移動監視カメラ等きわめて多岐にわたる用途が考えられる。また、従来の光学的な手振れ補正の弱点を補うものとしても利用可能であり、工業的価値はきわめて高いものといえる。
【符号の説明】
【００２７】１１  ＣＭＯＳイメージセンサデバイス
１２  Ｇｙｒｏセンサデバイス
１３  位相調整補助機構
１４  演算処理部
２１  水平ライン番号
２２  読み出し信号
２３  露光時間
２４  リセット信号
２５  Ｖ同期信号
２６  第３水平ライン
２７  水平ライン時間差
２８  角度変化分
２９  Ｇｙｒｏ値
３１  Ｖ同期時刻レジスタ
３２  Ｇｙｒｏ値出力時刻レジスタ
３３  ＦＩＦＯ
５１  振れ角曲線
５２  ターゲット
５３ａ  上限補正限界
５３ｂ  下限補正限界
６１  ターゲット
６２ａ，ｂ  時間積分曲線
７１  振れ角曲線
７２  補正理想曲線
７３  ターゲット
７４  ターゲット補正モード
７６  積分値追従モード
８１  イメージセンサ
８２  レンズ
８３  撮像面
８４  被写体
８５  焦点距離Ｆ
８６  ３軸Ｇｙｒｏ
９０  ピンホール
９１  点ａ
９２  点ａ‘
１０１  撮像面
１０２  撮像面
１０３  ピンモールカメラモデル
１０４  レンズ移動前ピンホール
１０５  レンズ移動後ピンホール
１１１  ＣＭＯＳイメージセンサデバイス（イメージセンサと略）
１１２  ＡＰ（アプリケーションプロセッサ）
１１３  Ｇｙｒｏセンサデバイス（Ｇｙｒｏと略）
１１４  レンズ
１１５  被写体
【図１】
2018205678.tif 000006
【図２】
2018205678.tif 000007
【図３】
2018205678.tif 000008
【図４】
2018205678.tif 000009
【図５】
2018205678.tif 000010
【図６】
2018205678.tif 000011
【図７】
2018205678.tif 000012
【図８】
2018205678.tif 000013
【図９】
2018205678.tif 000014
【図１０】
2018205678.tif 000015
【図１１】
2018205678.tif 000016