(57)【要約】【課題】  ローリングシャッタ露光方式の撮像装置で撮像した際に、撮像画像に対して動体歪みの影響を軽減すること。【解決手段】  本発明は、本発明は、ローリングシャッタ露光方式の撮像素子ユニットを搭載する撮像装置によって撮像された撮像画像から特徴点を検出する特徴点検出部と、前記特徴点検出部より検出された特徴点を３つ以上のフレーム間で対応づける対応点検出部と、前記特徴点の幾何的情報に基づいた歪み補正量を３フレーム以上の前記撮像画像を用いて算出する補正量取得部と、前記補正量取得部より算出した補正量をもとに撮像画像の動体歪みを補正する歪み補正部と、を有することを特徴とする。【選択図】  図１
2019114148.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッタ露光方式の撮像素子ユニットを搭載する撮像装置によって撮像された撮像画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部より検出された特徴点を３つ以上のフレーム間で対応づける対応点検出部と、
前記特徴点の幾何的情報に基づいた歪み補正量を３フレーム以上の前記撮像画像を用いて算出する補正量取得部と、
前記補正量取得部より算出した補正量をもとに撮像画像の動体歪みを補正する歪み補正部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の撮像画像が時間的に連続する複数のフレーム画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点のフレーム間移動量を算出する幾何的情報が、特徴点の速度と加速度を用いて算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴点のフレーム間移動量を算出する幾何的情報が、特徴点の速度と加速度に加えて、加速度の微分量を用いて算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正量を算出する算出手段を更に有し、
前記算出手段は、前記特徴点のフレーム間の幾何的変位量より算出することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記３つ以上のフレームは隣接するフレームであることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
ローリングシャッタ露光方式の撮像素子ユニットを搭載する撮像装置と、
前記撮像装置によって撮像された撮像画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部より検出された特徴点を３つ以上のフレーム間で対応づける対応点検出部と、
前記特徴点の幾何的情報に基づいた歪み補正量を３フレーム以上の前記撮像画像を用いて算出する補正量取得部と、
前記補正量取得部より算出した補正量をもとに撮像画像の動体歪みを補正する歪み補正部と、
を有することを特徴とする画像処理システム。
【請求項８】
前記撮像装置は、ユーザの頭部に装着されて使用されることを特徴とする請求項７に記載の画像処理システム。
【請求項９】
ローリングシャッタ露光方式の撮像素子ユニットを搭載する撮像装置によって撮像された撮像画像から特徴点を検出するステップと、
前記検出された特徴点を３つ以上のフレーム間で対応づけるステップと、
前記特徴点の幾何的情報に基づいた歪み補正量を３フレーム以上の前記撮像画像を用いて算出するステップと、
前記算出した補正量をもとに撮像画像の動体歪みを補正するステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１から６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッタ撮像方式の固体撮像素子により現実空間の画像を撮像する技術に関する。
【背景技術】
【０００２】
撮像装置には一般的に２種類の撮像素子が使用されている。その撮像素子には、グローバルシャッタ露光方式の固体撮像素子であるイメージセンサと、ローリングシャッタ露光方式の固体撮像素子であるイメージセンサが広く知られている。両者の違いは撮像方式にある。グローバルシャッタ露光方式は、画素毎に露光タイミングが同じであるため、撮像画像全体を一括で撮像できる。それに対して、ローリングシャッタ露光方式は、撮像画像を１行ずつ撮像するため、撮像画像全体で行毎に露光タイミングが異なる。そのため、撮像装置が移動する場合、もしくは被写体が移動する場合に撮像した撮像画像には歪みが生じてしまう。そのような歪みは一般的に動体歪みと呼ばれている。
【０００３】
ローリングシャッタ露光方式の撮像素子は、グローバルシャッタ露光方式の撮像素子に比べて低価格に加えて低消費電力であるため、近年では需要が高まってきている。そこで、ローリングシャッタ露光方式の動体歪みを補正する技術が開示されている。その補正手法の一つとして、ジャイロセンサ（加速度、角速度）を使用する手法がある。この手法では撮像装置に装着されたジャイロセンサにより、撮像装置の位置姿勢を算出し、撮像装置の移動に起因する動体歪みを推定する。この手法以外にも、複数フレームの撮像画像のみを用いて動体歪み量を推定する手法がある。この手法では撮像装置の移動に起因する動体歪みと被写体の移動に起因する動体歪みの両方を補正することができる。複数フレーム画像を用いた手法に関して以下のような特許文献がある。
【０００４】
特許文献１では、まず２フレーム画像から動き領域を抽出し、動き領域の動きベクトルを検出し、動きベクトルと撮像するフレーム間での時間間隔から、動き領域の移動速さを求める。さらにローリングシャッタ露光方式特有のフレーム画像内での露光時間差を求め、動き移動速さを用いて注目がその移動量を算出する。動き領域の各画素を前記移動量に相当する分だけ逆方向にずらすことで動体歪みを補正するという技術も公開されている。
【０００５】
特許文献２では、複数フレーム画像において各フレーム画像と隣接したフレーム画像から、それぞれの隣接変化量を求め、基準となる開始フレームから対象フレームまでの隣接変化量を積算して補正量を推定し、動体歪みを補正する技術も公開されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４５０９９１７号公報
【特許文献２】特開２０１４−１３１１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来技術では以下のような課題があった。上記の２フレーム画像を用いた動体歪み補正手法では、位置の差分情報や速度情報のみを考慮しており、加速度は考慮していない。現実空間では撮像装置や被写体は絶えず加速度を伴って移動している。そのため上記の２フレーム画像を使用して撮像装置もしくは被写体の移動形態を線形速度と近似する手法では、急激に加速する状況では補正量が足りないという問題があった。
【０００８】
更に特許文献２では、上記のように速度のみを考慮した補正量の誤差を過去の複数補正量を考慮して補っているが、加速度などの運動形態は考慮していない。そのため、現実空間の移動形態を完全に模しているわけではないので、補正後も誤差が残ってしまい、歪みが補正できないという課題があった。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、ローリングシャッタ露光方式の撮像素子ユニットを搭載する撮像装置によって撮像された撮像画像から特徴点を検出する特徴点検出部と、前記特徴点検出部より検出された特徴点を３つ以上のフレーム間で対応づける対応点検出部と、前記特徴点の幾何的情報に基づいた歪み補正量を３フレーム以上の前記撮像画像を用いて算出する補正量取得部と、前記補正量取得部より算出した補正量をもとに撮像画像の動体歪みを補正する歪み補正部と、を有することを特徴とする。
【発明の効果】
【００１０】
以上の構成によれば、本発明は、ローリングシャッタ露光方式の撮像装置で撮像した際に、撮像装置が移動する環境下でも、被写体が移動する環境下でも、撮像画像に対して動体歪みの影響を軽減できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態におけるシステムの機能構成例を示すブロック図
【図２】第１の実施形態および第二の実施形態における使用環境を示す図
【図３】第１の実施形態および第二の実施形態における動体歪みの影響した撮像画像の説明図
【図４】第１の実施形態における画像処理装置の動体歪み補正処理を説明するフローチャート
【図５】第１の実施形態における動体歪みが影響した、撮像装置で撮像した撮像画像とその画像に対して補正処理を施した結果を示す図
【図６】第２の実施形態におけるシステムの機能構成例を示すブロック図
【図７】第２の実施形態における画像処理装置の動体歪み補正処理を説明するフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を、図面を参照しながら説明する。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１３】
［第１の実施形態］
＜構成＞
図１は本実施形態における撮像装置を制御する画像処理装置のブロック図を示す。
【００１４】
本実施形態の画像処理システムは図１に示すように、撮像装置１００、画像処理装置１０１から構成される。撮像装置１００は撮像素子ユニット１０２と表示パネルユニット１０３を含む撮像装置である。本実施形態では、撮像装置１００は外界の撮像画像を取得するＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）を重畳するビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）である。ＨＭＤはユーザの頭部に装着されて使用されることにより、撮像装置１００はＨＭＤ装着者（ユーザ）の視線位置と略一致する外界の観察画像を撮像し、その撮像画像にＣＧを重畳表示した複合現実画像をＨＭＤ装着者が観察できる。ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うためのＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）から構成される。本実施形態では撮像装置１００はビデオシースルー型ＨＭＤであるが、これはビデオシースルー型ＨＭＤに限定される必要はなく、３フレーム以上の複数フレーム画像を撮像できる撮像装置であれば、ネットワークカメラやその他の撮像装置であってもよい。また、本実施形態のビデオシースルー型ＨＭＤは、ローリングシャッタ露光方式のイメージセンサを右目用と左目用の２つ搭載した２眼構成になっているが、これは上記ローリングシャッタ露光方式のイメージセンサを１つ以上搭載している撮像装置で構わない。撮像素子ユニット１０２はローリングシャッタ露光方式のイメージセンサを搭載し、外界を撮像するユニットである。表示パネルユニット１０３は小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【００１５】
画像処理装置１０１は、図１に示されるように画像取得部１０４、特徴点検出部１０５、対応点取得部１０６、移動量取得部１０７を備える。また、また、画像処理装置１０１は、特徴点情報記録部１１０、補正量取得部１１１、歪み補正部１１２、特徴点位置合わせ部１１３、画像合成部１１４を備える。一般には画像処理装置１０１はパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。本実施形態では、画像取得部１０４、特徴点検出部１０５、対応点取得部１０６、移動量取得部１０７は、専用アプリケーションを使用して処理演算を行っている。また、同様に、特徴点情報記録部１１０、補正量取得部１１１、歪み補正部１１２、特徴点位置合わせ部１１３、画像合成部１１４も、専用アプリケーションを使用して処理演算を行っている。しかし、撮像画像の取得や画像処理といった上記機能を実現できるものであれば、他の手段でも構わない。この画像処理装置１０６とビデオシースルー型ＨＭＤである撮像装置１００を有線または無線により接続することで、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を体験することができる。
【００１６】
画像取得部１０４は、撮像素子ユニット１０２で撮像された撮像画像を取得する。特徴点検出部１０５は画像取得部１０４で取得した撮像画像から特徴点の座標を検出する。対応点検出部１０６は特徴点検出部１０５で検出した最新のフレーム画像内の特徴点と対応する同一の特徴点を隣接する２フレーム画像内で検出する。そして、前記特徴点の座標を最新フレームから隣接する３フレーム画像で対応づけ、特徴点情報記録部１１０に記録する。
【００１７】
移動量取得部１０７は、速度取得部１０８と加速度取得部１０９より構成され、フレーム画像から取得される幾何的情報を基に動体歪み補正を行う特徴点の幾何的変位量を算出する。速度取得部１０８は特徴点情報記録部１１０から過去３フレーム分の特徴点の座標を取得し、隣接する２フレーム毎の平均速度を算出する。このようにして、特徴点の３フレーム間移動量を幾何的変位量として算出した後に、平均速度を導出する。同様に加速度取得部１０９は特徴点情報記録部１１０から特徴点の前記隣接２フレーム間の各平均速度情報を取得し、前記隣接３フレーム間の平均加速度を算出する。
【００１８】
特徴点情報記録部１１０は、前記特徴点のＩＤ情報と前記隣接３フレーム画像の各座標と隣接２フレーム間の平均速度を記録する。本実施形態では特徴点の対応付け手段として、特徴点に対してＩＤ情報を割り当てているが、これは特徴点の対応を区別できるものであれば、他の手段でも構わない。
【００１９】
補正量取得部１１１は、特徴点の最新フレームと隣接フレーム間での幾何的変位量を取得する。具体的には、速度取得部１０８から取得した特徴点の平均速度情報と位置情報、隣接フレームを撮像するのに要する時間、ローリングシャッタ露光方式の撮像によって生じるライン間の撮像時間差分情報を基に算出する。ここで取得した幾何的変位量を特徴点の速度成分の動体歪み補正量とする。また、同様に加速度取得部１０９から特徴点の平均加速度情報を取得し、同様の算出方法により前記隣接３フレーム間の加速度成分による幾何的変位量を取得する。この幾何的変位量を加速度成分の動体歪み補正量とする。
【００２０】
歪み補正部１１２は、補正量取得部１１１より取得した速度成分の動体歪み補正量と加速度成分の動体歪み補正量から、特徴点の座標を速度成分と加速成分の段階的に補正する。
【００２１】
特徴点位置合わせ部１１３は、補正された特徴点の座標を基に撮像画像に仮想空間情報を重畳するための位置合わせを行う。
【００２２】
画像合成部１１４は、特徴点位置合わせ部１１３で位置合わせした結果を基に、撮像画像に対してＣＧを合成し、撮像装置１００の表示パネルユニット１０３に合成画像を伝送する。
【００２３】
＜動体歪み補正環境＞
図２は本実施形態における装置の構成の模式図である。
【００２４】
ＨＭＤのような撮像装置２０１を使用する環境としてはチャートを固定して撮像装置を動かしながら使用する環境と、撮像装置を固定してチャートを動かしながら使用する環境と、もしくはその両方を動かすまたは固定して使用する環境が想定される。そして、それらの内で両方を固定する環境以外ではすべての環境で動体歪みが発生する。本実施形態における動体歪み補正は、動体歪みが起きる全ての環境を補正対象環境としている。本実施形態では図２（ａ）、（ｂ）に示すように、図１で説明したＣＭＯＳイメージセンサを搭載したＨＭＤといった撮像装置２０１で、特徴点検出を行うための被写体であるマーカーが記載されているチャート２００を撮像し、動体歪みを補正する。図２（ａ）（ｂ）は、それぞれの図の左側が測定環境の側面図であり、右側が上面図である。図２（ａ）に示すように、撮像装置２０１は垂直方向、水平方向、撮像装置とチャートが近づいたり遠ざかったりする方向、またはそれらの組み合わせの方向に動かしながらチャートを撮像して使用する。なお、上述の垂直方向とはＡ点とＢ点を結ぶ方向、水平方向とはＣ点とＤ点を結ぶ方向である。また、撮像装置とチャートが近づいたり遠ざかったりする方向はＥ点とＦ点を結ぶ方向であり、以降この方向は前後方向と記す。
【００２５】
また、本実施形態では図２（ｂ）に示すように撮像装置を固定してチャートが移動する状況も想定している。このときチャートは垂直方向（Ｇ点とＨ点を結ぶ方向）、水平方向（Ｉ点とＪ点を結ぶ方向）、前後方向（Ｋ点とＬ点を結ぶ方向）に動かしながら撮像装置で撮像する。このように、本実施形態では、動体歪みが生じる環境である撮像装置が移動する場合にも被写体のみが移動する場合にも対応しており、あらゆる動体歪みを補正できる。
【００２６】
図２（ｃ）は、ＨＭＤを動かさずに固定した場合のマーカーの撮像画像２０２である。撮影されたマーカーを２０３に示す。本実施形態では、撮像されたマーカー内部の六角形状の模様２０４が複数個で構成されており、その模様によりマーカーのＩＤを特定している。また、点Ａ２０５のようにマーカーの各頂点も計測しており、頂点とＩＤと紐づけることでフレーム画像間での対応付けを行っている。本実施形態では、フレーム画像間で対応付けられた点Ａ２０５を計測するための手段としてマーカー検出を採用しているが、対応点を計測、演算できるものであればマーカー検出以外の手段でも構わない。
【００２７】
図３は本実施形態における動体歪みが起きる単一の方向に移動させた場合の、動体歪みが生じた撮像画像の模式図を示す。
【００２８】
図３（ａ）は撮像画面内をマーカーが左方向に移動した場合の動体歪みが生じた撮像画像３００である。図３（ａ）の撮像環境は、図２（ａ）ではＤ点からＣ点の方向に移動させた環境であり、図２（ｂ）ではＪ点からＩ点の方向に移動させた環境である。このような環境でローリングシャッタ露光方式の撮像センサで撮像すると行によって撮像タイミングが異なるので、図３（ａ）のように撮像画像が平行四辺形型に歪んでしまう。
【００２９】
図３（ｂ）は撮像画面内をマーカーが右方向に移動した場合の動体歪みが生じた撮像画像３０１である。図３（ｂ）の撮像環境は、図２（ａ）ではＣ点からＤ点の方向に移動させた環境であり、図２（ｂ）ではＩ点からＪ点の方向に移動させた環境である。このような環境では図３（ａ）でも説明したように、撮像センサの露光タイミングが行によって異なるので、撮像画像が平行四辺形型に歪んでしまう。
【００３０】
図３（ｃ）は撮像画面内をマーカーが上方向に移動した場合の動体歪みが生じた撮像画像３０２である。図３（ｃ）の撮像環境は、図２（ａ）ではＢ点からＡ点の方向に移動させた環境であり、図２（ｂ）ではＧ点からＨ点の方向に移動させた環境である。このようなローリングシャッタ露光方式の撮像センサは露光タイミングが行によって異なるので、撮像画像が垂直方向に圧縮されるように歪んでしまう。
【００３１】
図３（ｄ）は撮像画面内をマーカーが下方向に移動した場合の動体歪みが生じた撮像画像３０３である。図３（ｄ）の撮像環境は、図２（ａ）ではＡ点からＢ点の方向に移動させた環境であり、図２（ｂ）ではＨ点かＧＨ点の方向に移動させた環境である。このようなローリングシャッタ露光方式の撮像センサは露光タイミングが行によって異なるので、撮像画像が垂直方向に伸長されるように歪んでしまう。
【００３２】
図３（ｅ）は撮像画面内をマーカーが手前方向に移動した場合の動体歪みが生じた撮像画像３０４である。図３（ｅ）の撮像環境は、図２（ａ）ではＦ点からＥ点の方向に移動させた環境であり、図２（ｂ）ではＫ点からＬ点の方向に移動させた環境である。このようなローリングシャッタ露光方式の撮像センサは露光タイミングが行によって異なるので、撮像画像されるマーカーの位置が露光タイミングによって異なり、結果的に撮像画像は、撮像画像上部が遠位、下部は近位にあるように歪んでしまう。正方形のマーカーの場合では、図３（ｅ）のように台形型に歪んでしまう。
【００３３】
図３（ｆ）は撮像画面内をマーカーが奥方向に移動した場合の動体歪みが生じた撮像画像３０５である。図３（ｆ）の撮像環境は、図２（ａ）ではＥ点からＦ点の方向に移動させた環境であり、図２（ｂ）ではＬ点からＫ点の方向に移動させた環境である。このようなローリングシャッタ露光方式の撮像センサは露光タイミングが行によって異なるので、撮像画像されるマーカーの位置が露光タイミングによって異なり、結果的に撮像画像は、撮像画像上部が近位、下部は遠位にあるように歪んでしまう。正方形のマーカーの場合では、図３（ｆ）のように逆台形型に歪んでしまう。
【００３４】
本実施形態では、まず、ＨＭＤに搭載されている撮像ユニット１０２で撮像される図３（ａ）〜（ｆ）に示す、またはそれらを組み合わせたような動体歪みが生じた画像を取得する。その後、各フレーム画像で検出される対応点全てに対して動体歪みを補正し、歪みがない画像に修正したのちにＨＭＤの表示パネルユニット１０３に補正後の画像を表示させる。補正処理の具体的な説明は次節で示す。
【００３５】
＜処理の手順および詳細＞
撮像画像から動体歪み補正を行う処理手順を、図４、図５を用いて示す。図４は本実施形態における動体歪み処理のフローチャートである。図５は本実施形態での動体歪み補正に使用する撮像３フレーム画像の模式図である。図５は時間的に連続した３フレーム画像と、撮像素子ユニット１０２で取得した最新のフレーム画像を動体歪み補正した画像を示している。図５（ａ）が２つ前の第ｎ−２フレーム画像、図５（ｂ）が１つ前の第ｎ−１フレーム画像、図５（ｃ）が最新の第ｎフレーム画像、図５（ｄ）が第ｎフレーム画像を補正した画像である。図５（ａ）〜（ｄ）の５００、５０２、５０４、５０６はそれぞれのフレームの撮像画像を表す。図５（ａ）の矢印はマーカーが画面内を移動する方向を表したものであり、実際の撮像画像に表示されるものではない。５０１、５０３、５０５、５０８は３フレーム間で対応付けられた特徴点を示している。５０７は第ｎフレームの動体歪み補正前のマーカーの位置を示している。５０９は５０７の補正前のマーカーの位置に正しく補正されたマーカーを示している。
【００３６】
図４のＳ４００ではＨＭＤの撮像素子ユニット１０２で撮像された最新フレーム画像内の特徴点を検出する。その後図５（ｃ）のように検出した特徴点の生データの座標Ａ２（Ｘ２、Ｙ２）を特徴点検出部１０５で取得する。
【００３７】
Ｓ４０１ではＳ４００で取得したフレームを含めて過去２フレームの撮像画像を含めた合計３フレームの撮像画像を取得し、Ｓ４００で検出した特徴点Ａ２と対応する点を上記３フレームからの検出を対応点取得部１０６で行う。本実施形態での動体歪み補正では、時間的に連続したフレーム画像を３枚使用する。そのため、対応づけた特徴点として、図５（ｂ）に示す１つ前の第ｎ−１フレームにおけるＡ２と対応した特徴点Ａ１の座標と、図５（ａ）に示す２つ前の第ｎ−２フレームにおけるＡ２と対応した特徴点Ａ０の座標を取得する。このように３フレーム間の特徴点の対応付けは最新フレームで検出された特徴点全てに対して行い、対応付けされた特徴点の座標情報に関しては特徴点記録部１１０に保存する。また、対応付けされなかった特徴点に関しては、以降の補正量計算の処理から省く。
【００３８】
Ｓ４０２では上記３フレームの対応点の座標を使用してフレーム間の平均速度を算出する。具体的には、図５（ｂ）と（ｃ）に示す第ｎ−１フレームの特徴点Ａ１（５０３）と第ｎフレーム間の特徴点Ａ２（５０５）間のｘ軸方向（水平方向）とｙ軸方向（垂直方向）のそれぞれの平均速度Ｖｘ１とＶｙ１を算出する。同様に、第ｎ−２フレームの特徴点Ａ０（５０１）と第ｎ−１フレーム間の特徴点Ａ１（５０３）間のｘ軸方向（水平方向）とｙ軸方向（垂直方向）のそれぞれの平均速度Ｖｘ０とＶｙ０を算出する。Ｖｘ１とＶｙ１は、撮像素子ユニット１０２の１行撮像に要する時間を表すΔｔと、１フレーム分の撮像時間を表すΔＴと、第ｎフレームと第ｎ−１フレームの特徴点のｘ軸座標の変位量を表すΔｘ、ｙ軸座標の変位量を表すΔｙを用いて以下の式１、式２のように表される。
【００３９】
【数１】
2019114148.tif 000003
【００４０】
【数２】
2019114148.tif 000004
【００４１】
Ｖｘ０とＶｙ０についても式１や式２と同様に算出する。
【００４２】
Ｓ４０３ではＳ４０２で算出したフレーム間の平均速度Ｖｘ１とＶｙ１を用いてフレーム間の速度成分の動体歪み補正量を算出する。速度成分による歪み補正量は、ｘ軸方向成分は式３、ｙ軸方向成分は式４で表される。式３，式４に示される「ｙ２Δｔ」は補正対象である第ｎフレーム画像の最上行を撮像してから特徴点が撮像されるまでの時間を示している。本実施形態ではローリングシャッタ露光方式の撮像センサを使用するため、撮像画像内の特徴点によって撮像される時刻が異なる。その撮像時刻差に起因する動体歪みを補正するために、撮像画像内の全ての特徴点を該当フレームの最上行を撮像した時刻の位置に移動させる。この移動量を補正量として算出し、補正処理に使用する。
【００４３】
Ｖｘ１ｙ２Δｔ                    式３
Ｖｙ１ｙ２Δｔ                    式４
Ｓ４０４ではＳ４０３で算出した速度成分の歪み補正量を、特徴点情報記録部１１０に格納されている特徴点座標に反映させて補正処理を行う。速度成分の補正後の特徴点の座標をＸｖ２’とＹｖ２’とすると、以下の式で表せる。
【００４４】
【数３】
2019114148.tif 000005
【００４５】
式５で表したような本実施形態の動体歪み補正は、図５（ｃ）の点Ａ２のような歪みが生じた特徴点座標に対して、補正量分だけ平行移動させることで補正を行っている。
【００４６】
Ｓ４０５ではＳ４０４で特徴点の速度成分の動体歪み補正を行った後に、第ｎフレーム画像にまだ補正されていない特徴点があるかどうかを判別する。まだ未補正の特徴点が存在する場合は、その特徴点に対してＳ４０２のフレーム間の平均速度計算から再度処理を開始する。画面内の全ての特徴点の全てを歪み補正をした場合は、次の加速計算の処理に移行する。
【００４７】
Ｓ４０６〜Ｓ４０９は加速度成分の動体歪みを補正するフローを示している。Ｓ４０６はＳ４０２と同様に、上記の最新のフレームを含む３フレーム画像から対応点の平均加速度を算出する。ここで算出される図５（ａ）と（ｃ）に示す第ｎ−２フレームの特徴点Ａ０（５０１）と第ｎフレーム間の特徴点Ａ２（５０５）間のｘ軸方向とｙ軸方向のそれぞれの平均加速度ＡｘとＡｙは、式１と式２を用いて以下のように表される。
【００４８】
【数４】
2019114148.tif 000006
【００４９】
【数５】
2019114148.tif 000007
【００５０】
続いてＳ４０７ではＳ４０６で算出した平均加速度ＡｘとＡｙを用いて、ｘ軸方向とｙ軸方向の加速度成分の動体歪み補正量を算出する。加速度成分による歪み補正量は、ｘ軸方向成分は式８、ｙ軸方向成分は式９で表される。式８と式９はＳ４０３と同様に、撮像対象となる該当フレームの最上行を撮像した時刻の位置に特徴点を移動させることで、補正を行っている。
【００５１】
【数６】
2019114148.tif 000008
【００５２】
【数７】
2019114148.tif 000009
【００５３】
Ｓ４０８ではＳ４０７で算出した加速度成分の動体歪み補正量を基に、特徴点情報記録部１１０に格納されている特徴点座標に反映させて補正処理を行う。図５（ｄ）の補正後の特徴点Ａ２’の座標Ｘ２’とＹ２’は、式５で表されるＸｖ２’とＹｖ２’を用いて式１０と式１１のように表される。このようにして最終的な動体歪み補正が行われた特徴点の座標が算出される。
【００５４】
【数８】
2019114148.tif 000010
【００５５】
【数９】
2019114148.tif 000011
【００５６】
Ｓ４０９は、Ｓ４０８で特徴点の加速度成分の動体歪み補正を行った後に、第ｎフレーム画像にまだ補正されていない特徴点があるかどうかを判別する。まだ未補正の特徴点が存在する場合は、その特徴点に対してＳ４０６のフレーム間の平均加速度計算から再度処理を開始する。画面内の全ての特徴点の全てを歪み補正を行うと、動体歪み補正処理を終了する。
【００５７】
（第２の実施形態）
第１の実施形態では、時間的に連続する３フレームの画像から前記フレーム間で対応する特徴点の平均加速度を算出して動体歪みを補正した。これにより、動体歪みが生じる撮像画像に対して、撮像画像に存在する全ての特徴点を撮像画像の最上行を読み込んだ時刻の位置に移動させることができ、動体歪みの影響を軽減することができた。一方で、実際に移動している現実のマーカーには、速度や加速度だけでなく、加速度の微分量（以降、加加速度と表記）も伴って移動している。そのため、現実空間のマーカーの移動形態を、速度と加速度に近似して動体歪み補正処理を行った第１の実施形態の手法では、加加速度の影響を考慮できていないため、補正量が不十分な場合があった。そこで、本実施形態では第１の実施形態で説明した方法に加えて、さらに１フレーム加えた合計４フレームを使用して、フレーム間で対応する特徴点の加加速度も考慮した動体歪み補正処理に変更する。なお、本実施形態で変更となる個所は、＜構成＞と＜処理の手順および詳細＞の２つであり、＜動体歪み補正環境＞の項目についての変更はない。
【００５８】
＜構成＞
図６は本実施形態における撮像装置を制御する画像処理装置のブロック図を示す。実施形態１の構成に加え、加加速度取得部６００が追加されている。加加速度取得部６００は、加速度取得部１０９や特徴点情報記録部１１０の情報を基に、最新フレーム画像を含む４フレーム画像内の特徴点の平均加加速度を算出する。
【００５９】
＜処理の手順および詳細＞
撮像画像から加加速度を考慮した動体歪み補正を行う処理手順を、図７を用いて示す。図７は本実施形態における動体歪み処理のフローチャートである。図７のＳ４００〜Ｓ４０８は図４の処理であり、新たにＳ７００〜Ｓ７０３の処理が加えられている。本実施形態では、撮像フレーム画像を４つ使用する。そのため、Ｓ４０１で算出される速度は各フレーム間の分だけあり、合計３つが算出される。また同様に、Ｓ４０５では加速度が合計２つ算出される。この加速度を基に以降の処理で加加速度を演算する。
【００６０】
Ｓ７００ではＳ４０５で算出した加速度を基に加加速度を算出する。ｘ軸方向とｙ軸方向のそれぞれの平均加加速度ＤｘとＤｙは、式６や式７の加速度Ａｘ、Ａｙを用いて以下のように表される。
【００６１】
【数１０】
2019114148.tif 000012
【００６２】
【数１１】
2019114148.tif 000013
【００６３】
Ｓ７０１はＳ７００で算出した平均加速度ＤｘとＤｙを用いて、ｘ軸方向とｙ軸方向の加加速度成分の動体歪み補正量を算出する。加加速度成分による歪み補正量は、ｘ軸方向成分は式１４、ｙ軸方向成分は式１５で表される。式１４と式１５はＳ４０３、Ｓ４０８と同様に、撮像対象となる該当フレームの最上行を撮像した時刻の位置に特徴点を移動させることで、補正を行っている。
【００６４】
【数１２】
2019114148.tif 000014
【００６５】
【数１３】
2019114148.tif 000015
【００６６】
Ｓ７０２ではＳ７０１で算出した加加速度成分の動体歪み補正量を基に、特徴点情報記録部１１０に格納されている特徴点座標に反映させて補正処理を行う。補正後の特徴点の座標ＸＤ２’とＹＤ２’は、式１０、式１１で表されるＸ２’とＹ２’を用いて式１６と式１７のように表される。このようにして最終的な動体歪み補正が行われた特徴点の座標が算出される。
【００６７】
【数１４】
2019114148.tif 000016
【００６８】
【数１５】
2019114148.tif 000017
【００６９】
Ｓ７０３は、Ｓ７０２で特徴点の加加速度成分の動体歪み補正を行った後に、第ｎフレーム画像にまだ補正されていない特徴点があるかどうかを判別する。まだ未補正の特徴点が存在する場合は、その特徴点に対してＳ７００のフレーム間の平均加加速度計算から再度処理を開始する。画面内の全ての特徴点の全てを歪み補正を行うと、動体歪み補正処理を終了する。
【００７０】
（第３の実施形態）
第１、第２の実施形態では、時間的に連続する３フレームの画像もしくは４フレームの画像から前記フレーム間で対応する特徴点の平均加速度もしくは平均加加速度を算出して動体歪みを補正した。これにより、マーカーを検出してフレーム間で対応が取れている特徴点に対して動体歪みが生じる際に、撮像画像に存在する全ての特徴点を撮像画像の最上行を読み込んだ時刻の位置に移動させることができ、動体歪みの影響を軽減することができた。本実施形態ではフレーム間の特徴点の対応付けの手段としてマーカー検出を採用したが、その一方で、特徴点のフレーム間の対応付けはマーカー検出以外の手段を用いても可能である。そのため、現実空間のマーカーが移動する環境に対しての動体歪み補正処理を行った第１、第２の実施形態の手法では、マーカーが検出されない環境については補正ができない場合があった。そこで本実施形態では第１、第２の実施形態で説明した方法に加えて、マーカーを撮像しない場合においても動体歪みを補正する処理に関して記述を行う。
【００７１】
本実施形態において重要なのは、撮像画像内で検出される特徴点が複数のフレーム間で対応しているかどうかを判定することである。その判定する手段にはマーカー検出以外にもＨＭＤを使用する場合には自然特徴点検出がある。自然特徴点検出は撮像画像内の輝度や色度などの画像処理パラメータの勾配から特徴点群を検出し、その特徴点群のパターンからフレーム間の特徴点の対応付けを行う手段である。ただし、この自然特徴点の検出は輝度・色度以外の手段によって検出されるもので構わない。また、本実施形態では特徴点の対応付けを行う手段として、この自然特徴点を採用しているが、それ以外の複数の撮像画像から特徴点の対応付けを行う手段でも構わない。このような手段により、特徴点の対応付けを行った後は、第１の実施形態のように、加速度を算出して動体歪み補正と同等の補正処理を行う。この補正処理は第２の実施形態のように加加速度を算出して動体歪み補正を行ってもいいことは言うまでもない。
【００７２】
また、自然特徴点のようなフレーム間で特徴点を対応付ける手段を用いて動体歪みを補正する場合は、前記の通り特徴点が複数のフレーム間で対応している画像領域部分に対しては、撮像画像内の背景画像も含めた全ての特徴点に対して動体歪みの補正ができる。このように本実施形態では特徴点がフレーム間での対応が取れている必要があるが、特徴点の対応が取れること以外に撮像装置によって撮像された被写体や撮像画像そのものに対しての制限はない。
【００７３】
以上、説明した構成、および処理により、ＨＭＤのようなローリングシャッタ露光方式の画像センサを有する撮像装置において撮像画像に動体歪みの影響による特徴点のずれを補正することができ、ＨＭＤ装着者に提示することが可能となる。
【００７４】
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７５】
１００  撮像装置
１０１  画像処理装置
１０２  撮像素子ユニット
１０３  表示パネルユニット
１０４  画像取得部
１０５  特徴点検出部
１０６  対応点取得部
１０７  移動量取得部
１０８  速度取得部
１０９  加速度取得部
１１０  特徴点情報記録部
１１１  補正量取得部
１１２  歪み量補正部
１１３  特徴点位置合わせ部
１１４  画像合成部
【図１】
2019114148.tif 000018
【図２】
2019114148.tif 000019
【図３】
2019114148.tif 000020
【図４】
2019114148.tif 000021
【図５】
2019114148.tif 000022
【図６】
2019114148.tif 000023
【図７】
2019114148.tif 000024