(57)【要約】【課題】  距離情報の取得とともに画像の撮像を行う撮像装置において、距離情報の記録や転送に用いるサイズの低減が求められている。【解決手段】  画像処理装置は、複数の画像の一部の画像が撮像手段に撮像された際に、該画像に対応する距離情報を取得する取得手段と、前記取得手段が取得した前記距離情報を用いて、前記取得手段が前記距離情報を取得していない前記画像に対応する距離情報を生成する補間手段と、前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成手段と、を有する。【選択図】  図３
2020086824.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の一部の画像が撮像手段に撮像された際に、該画像に対応する距離情報を取得する取得手段と、
前記取得手段が取得した前記距離情報を用いて、前記取得手段が前記距離情報を取得していない前記画像に対応する距離情報を生成する補間手段と、
前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成手段と、を有する画像処理装置。
【請求項２】
撮像手段に順に撮像される第１の画像、第２の画像、および、第３の画像を含む複数の画像のうち、
前記第１の画像と前記第３の画像とに対応する距離情報を取得する取得手段と、
前記第１の画像と前記第３の画像とに対応する前記距離情報を用いて、前記第２の画像に対応する距離情報を生成する補間手段とを有することを特徴とする画像処理装置。
【請求項３】
前記第１の画像、前記第２の画像、前記第３の画像とは、連続して撮像された画像であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
さらに、前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成手段を有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記補間手段は、前記画像の一部の画角に対応する前記距離情報を用いて、該画像以外の前記複数の画像のうちの画像の該画角に対応する前記距離情報を生成すること特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補間手段は、前記距離情報が取得されていない前記画像の一部の画角に対応する距離情報を、前記取得手段が取得した、該画角と同じ画角を有する前記画像に対応する前記距離情報を用いて生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項７】
前記補間手段は、前記取得手段が取得した、該画角と同じ画角を有する前記画像が複数あるとき、該複数の画像のうち、前記距離情報が取得されていない前記画像の対応する領域との変形量が最も小さいものを用いることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補間手段は、前記取得手段が取得した、該画角と同じ画角を有する前記画像が複数あるとき、該複数の画像のうち、前記距離情報が取得されていない前記画像との重なる面積が最も大きなものを用いることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記補間手段は、前記取得手段が取得した、該画角と同じ画角を有する前記画像が複数あるとき、該複数の画像のうち、前記距離情報が取得されていない前記画像との撮像の時刻が最も近いものを用いることを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記撮像手段は、移動しながら前記複数の画像を撮像することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記補間手段は、前記パノラマ画像に対応する前記距離情報を生成することを特徴とする請求項１または４に記載の画像処理装置。
【請求項１２】
前記撮像手段は、１つのマイクロレンズに複数の光電変換部が対応する構造を有し、瞳分割信号を取得し、取得手段が前記瞳分割信号によって前記距離情報を取得することを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数の画像を撮像する撮像手段と、
前記複数の画像の一部の画像が撮像された際に、該画像に対応する距離情報を取得する取得手段と、
前記取得手段が取得した前記距離情報を用いて、前記取得手段が前記距離情報を取得していない前記画像に対応する距離情報を生成する補間手段と、
前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成手段と、を有する撮像装置。
【請求項１４】
順に、第１の画像、第２の画像、および、第３の画像を含む複数の画像を撮像する撮像手段と、
前記第１の画像と前記第３の画像とに対応する距離情報を取得する取得手段と、
前記第１の画像と前記第３の画像とに対応する前記距離情報を用いて、前記第２の画像に対応する距離情報を生成する補間手段とを有することを特徴とする撮像装置。
【請求項１５】
複数の画像の一部の画像に対応する距離情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記距離情報を用いて、前記取得ステップにおいて前記距離情報を取得していない前記画像に対応する距離情報を生成する補間ステップと、
前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成ステップ、を有する画像処理方法。
【請求項１６】
コンピュータに動作させるコンピュータのプログラムであって、
複数の画像の一部の画像に対応する距離情報を取得する取得ステップと、
前記取得ステップにおいて取得した前記距離情報を用いて、前記取得ステップにおいて前記距離情報を取得していない前記画像に対応する距離情報を生成する補間ステップと、
前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成ステップと、を行わせることを特徴とするプログラム。
【請求項１７】
順に撮像される第１の画像、第２の画像、および、第３の画像を含む複数の画像のうち、
前記第１の画像と前記第３の画像とに対応する距離情報を取得する取得ステップと、
前記第１の画像と前記第３の画像とに対応する前記距離情報を用いて、前記第２の画像に対応する距離情報を生成する補間ステップとを有することを特徴とする撮像方法。
【請求項１８】
コンピュータに動作させるコンピュータのプログラムであって、
順に撮像される第１の画像、第２の画像、および、第３の画像を含む複数の画像のうち、
前記第１の画像と前記第３の画像とに対応する距離情報を取得する取得ステップと、
前記第１の画像と前記第３の画像とに対応する前記距離情報を用いて、前記第２の画像に対応する距離情報を生成する補間ステップとを行わせることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、特に、距離情報を取得することができる画像処理装置に関するものである。
【背景技術】
【０００２】
被写体の距離情報を利用し、様々な画像処理が提案されている。たとえば、距離情報から奥行きを判定し、奥と判定された領域のコントラストを上昇させることで霞んでいる背景をクリアな背景に補正する処理に利用される。
【０００３】
特許文献１には、画像の撮像と同時に被写体の距離情報を取得する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０６８７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、画像と距離情報を複数のフレームで対応させて同時に取得しようとするとき、たとえば、連続して撮像しながら、距離情報を連続的に取得しようとすると、転送帯域の不足やデータサイズの増加が課題となる。
【０００６】
本発明は、上記の課題を鑑みてなされたものであり、記録するデータの量の増加を抑制しながら、複数のフレームに渡って、画像と距離情報を対応させ、同時に取得できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本願発明は、複数の画像の一部の画像が撮像手段に撮像された際に、該画像に対応する距離情報を取得する取得手段と、前記取得手段が取得した前記距離情報を用いて、前記取得手段が前記距離情報を取得していない前記画像に対応する距離情報を生成する補間手段と、前記複数の画像の少なくとも一部に対して合成を行い、パノラマ画像を生成する合成手段と、を有する画像処理装置を提供する。
【発明の効果】
【０００８】
本発明の構成によれば、画像と距離情報を対応させて取得し、記録するデータの量を減らすことができる画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るカメラの基本構成を示すブロック図である。
【図２】本発明の実施形態における撮像部に設けるセンサの一例を説明するための図である。
【図３】第１の実施形態を説明するためのフローチャートである。
【図４】第１の実施形態における距離マップの取得を説明するための図である。
【図５】第１の実施形態における動き情報の取得を説明するための図である。
【図６】第１の実施形態における有効領域を説明するための図である。
【図７】第１の実施形態における距離マップの補間を説明するための図である。
【図８】第２の実施形態に係るカメラ８００の機能構成を示すブロック図である。
【図９】第２の実施形態における検出部１１０の動作を説明するための図である。
【図１０】第２の実施形態における検出部１１０の出力と時刻との関係を示す図である。
【図１１】本発明の実施形態におけるパノラマ画像に対応する距離マップの生成を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は画像処理装置であり、一例としてデジタルカメラ（以下カメラ）に本発明を適用した例を説明する。
【００１１】
（第１の実施形態）
図１は、第１の実施形態に係るカメラ１００の機能構成を示すブロック図である。システム制御部１０１は、例えばＣＰＵであり、カメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、カメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、カメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を適用する。表示部１０８は、ＬＣＤ等の表示デバイスであり、撮像部１０５で取り込まれた被写体像をスルー表示するなど、様々な情報を表示する。記録部１０９は、画像処理部１０７で画像処理を行った画像などの記録を記録媒体に行う。ここでいう記録媒体は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。
【００１２】
システム制御部１０１は、距離マップの取得を行う。下では、撮像部１０５に特殊な構造を有するセンサを設けることにより、システム制御部１０１が、素早く距離情報を取得する例について説明する。
【００１３】
図２は、撮像部１０５に設けるセンサの一例を説明するための図である。図２（ａ）に示した素子では、１つの画素２１０が、２つの光電変換部２１１と２１２とを有する。図２（ｂ）に示した素子では、１つの画素２２０が、２つの光電変換部２２１乃至２２２を有する。図２に示した素子の１つの画素にある光電変換部のそれぞれから独立に信号を読み出すと、被写体の距離情報を算出することができる。こうした独立に読み出したそれぞれの光電変換部の信号を、瞳分割信号という。瞳分割信号を、画像信号とともに記録すると、システム制御部１０１は、画像処理部１０７での解析で、画像の各々の領域の光軸方向の相対位置を算出することができる。
【００１４】
図２（ｃ）は、図２（ａ）に示した素子において、光信号の画素への入射を示す。図２（ｃ）では、画素アレイ２３１には、マイクロレンズ２３２と、カラーフィルタ２３３と、光電変換部２３４と２３５とがある。光電変換部２３４と２３５とは、同じ画素に属し、マイクロレンズ２３２とカラーフィルタ２３３に対応する。この図２（ｃ）はデジタルカメラを上から見た図であって、１つの画素に対応する２つの光電変換部２３４と２３５が左右に並んで配置されていることを示している。射出瞳２３６から出る光束のうち、光軸２３９を境にして、上側の光束（領域２３７からの光束に相当）は光電変換部２３５に入射し、下側の光束（領域２３８からの光束に相当）は光電変換部２３４に入射する。つまり、光電変換部２３４と２３５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部２３４が受光した信号をＡ像、光電変換部２３５で受光した信号をＢ像とすると、Ａ像とＢ像は前述する１対の瞳分割信号に該当する。Ａ像とＢ像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。システム制御部１０１は、取得した距離マップをデジタルデータとしてＲＡＭ１０３に出力して記憶させる。
【００１５】
また、ここでは、瞳分割信号を用いて距離マップを取得すると説明しているが、これに限らない。たとえば、システム制御部１０１が、Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ（ＴＯＦ）方式（ｔｈｒｏｕｇｈ  ｔｈｅ  ｌｅｎｓ、撮像用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）等で被写体の距離分布に関連する情報を距離マップとして取得する。
【００１６】
以上、カメラ１００の構成と基本動作について説明した。
【００１７】
図３は、本実施形態を説明するためのフローチャートである。
【００１８】
ステップＳ３０１で、撮像部１０５は、光学系１０４を通して取得した光情報を結像し、記録部１０９が撮像した画像を記録する。
【００１９】
ステップＳ３０２で、システム制御部１０１は、次のステップＳ３０３で、距離マップを取得するかどうかについて判断する。たとえば、距離マップを生成するための信号の転送帯域が十分に空いていて、かつステップ３０２で画像を取得したタイミングと時間差が小さい場合に、システム制御部１０１が距離マップを取得すると判断する。また、画像を取得するフレームレートが６０ｆｐｓで、距離マップを取得するフレームレートが３０ｆｐｓというように、出力フレームレートが決まっている場合、システム制御部１０１が均等な時間間隔で距離マップを取得すると判断するとしてもよい。距離マップを取得する場合には、フローはステップ３０３に進み、距離マップを取得しない場合、フローはステップＳ３０４に進む。
【００２０】
図４は、本実施形態における距離マップの取得を説明するための図である。図４（ａ）は、撮像の対象となる被写体、図４（ｂ）は、カメラ１００で撮像する領域、図４（ｃ）は、ステップ３０１で撮像された画像、図４（ｄ）はステップ３０３で取得された距離マップを示している。図４（ｄ）では、暗いほど遠景の被写体とする。図４（ａ）に示すシーン４０１を撮像する場合に、カメラ１００が撮像できる画角は、例えば図４（ｂ）の枠４１１や４１２である。つまり、図４（ａ）のシーン４０１の全体をカメラの撮像画角に一度に含めて撮像することができない。従って本実施例では、ユーザもしくは、自動雲台を用いてカメラ１００の撮像画角を左から右へ移動させながら連続して撮像（パンニング）する。カメラ１００の撮像画角の枠４１１、４１２は、それぞれ画像４２１、４２２に対応する。画像４２３、４２４の画像は画像４２１、４２２の後に撮像される画像である。図４（ｄ）の距離マップ４３１は、画像４２１に、距離マップ４３３は、画像４２３に対応した距離マップである。画像４２２に対応する距離マップ４３２、画像４２４に対応する距離マップ４３４が取得されていないことを示している。
【００２１】
ステップＳ３０３では、撮像部１０５が、前述した方法で距離マップを取得する。
【００２２】
ステップＳ３０４で、システム制御部１０１が、撮像を継続するかどうかを判断する。たとえば、予め定められた画像の枚数に達した場合に、撮像を継続しないとする。撮像を継続する場合、ステップＳ３０１に戻り、撮像を継続しない場合、ステップＳ３０５に進む。
【００２３】
ステップＳ３０５では、画像処理部１０７が隣接する画像間の動き情報の取得を行う。たとえば、画像処理部１０７が画像４２１と画像４２２とから動き情報の取得を行うとする。動き情報を検出する方法として、テンプレートマッチング方式で求める。たとえば、画像を任意のサイズの小ブロックに分割して、小ブロック毎に画像の特徴量を算出し、画像間の特徴量の差分絶対値和ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出する。
【００２４】
図５は、本実施形態における動き情報の取得を説明するための図である。図５（ａ）の画像５０１は動き情報の取得の対象となる画像全体を表し、点５１１は画像全体に均等に設定した特徴点（または特徴領域）を表す。点５１１の情報を元に動き情報を算出する。特徴点としては、単純に画像領域で等間隔位置のブロックを取り出しても良いが、エッジ部分や高周波から低周波の周波数成分を多く含むテクスチャを選択した方が画像セット間のベクトルを正確に求めることができる。
【００２５】
図５（ｂ）の画像５０２は、画像５０１との動きを検出するための画像（動き検出画像）である。画像６０３は、領域６０１と同じ位置に存在する仮想的な画像を表す。画像６０２と画像６０３に対して、対応する特徴点を探すためにテンプレートマッチングを行い、対応する特徴点の方向と移動量を動き情報として算出する。例えば、ベクトル６２１ないし６２３、ベクトル６３１ないし６３３は、方向と移動量を表す動き情報としてベクトルを矢印で図示したものである。画像処理部１０７は、上記の処理を全ての特徴点で行うことで、全ての領域で動き情報としてのベクトル群を算出することができる（図５（ｃ）のベクトル群５４１）。
【００２６】
ステップＳ３０６で、画像処理部１０７は、ステップＳ３０５で取得した動き情報を用いて、画像および距離マップの変形を行う。
【００２７】
ステップＳ３０６での変形では、一般的に（式１）で表される位置合わせ係数Ａを用いて、画像の座標をＩ（ｘ，ｙ）とすると（式２）の幾何変形を行うことで画像および距離マップを変形することができる。
【００２８】
【数１】
2020086824.tif 000003
【００２９】
【数２】
2020086824.tif 000004
【００３０】
たとえば、ベクトル群のうちの一要素であるベクトルＸ１は、着目画像の特徴点の座標（ｘ’１，ｙ’１，１）と対応する動き検出画像の特徴点の座標（ｘ１，ｙ１，１）の３次元の座標系を含む情報を持っている。従って、（式３）のように、位置合わせ対象画像の特徴点の座標Ｘに所定の変換係数Ａを掛けることで求めた座標Ｘ’と、基準画像の特徴点の座標と差分εが最も小さくなる変換係数Ａを求める。
【００３１】
【数３】
2020086824.tif 000005
【００３２】
（式３）に記載の位置合わせ係数Ａを求める手法としては、ニュートン法やガウスニュートン法等、公知の最適化手法を用いて求める。
【００３３】
また、ステップＳ３０６で、必要に応じて、円筒（Ｃｙｌｉｎｄｒｉｃａｌ）変換、円周形（Ｃｉｒｃｕｌａｒ）変換など、適切な幾何変換の処理を行ってもよい。
【００３４】
ステップＳ３０７で、システム制御部１０１が、有効領域を決定する。ここでいう有効領域は、画像４２２のような、対応する距離マップが取得されていない画像に対応する距離マップの補間に用いる領域である。画像４２２に対応する距離マップ４３２がステップＳ３０２で取得されていないので、次のステップＳ３０８で補間の方法で生成される。距離マップ４３２の補間のために、ステップＳ３０２で取得されたほかの距離マップの領域に用いる必要がある。ステップＳ３０７で、システム制御部１０１は、次のステップＳ３０８で補間に用いる有効領域を特定する。
【００３５】
図６は、本実施形態における有効領域を説明するための図である。図６では、画像４２１ないし４２３の３枚の画像を例として説明する。画像４２１ないし４２３は、図４に示した画像４２１ないし４２３を指す。図４に示したように、画像４２１と４２３に対応する距離マップがステップＳ３０３で取得され、画像４２２に対応する距離マップがステップＳ３０３で取得されていない。したがって、システム制御部１０１は、画像４２１と４２３に対応する距離マップを用いて、画像４２２に対応する距離マップをステップＳ３０８で生成する必要がある。つまり、ステップＳ３０８で、システム制御部１０１は、システム制御部１０１は、画像４２１と４２３に対応する距離マップを用いて、領域６０１に相当する距離マップを新たに生成する。
【００３６】
システム制御部１０１は、領域６０１に相当する距離マップを生成するために、具体的に、以下のように、領域６１１、６１２、６１３を分けて処理を行う。まず、画像４１２に対応する距離マップから、領域６１１に相当する距離マップを生成する。これは、領域６１１に相当する画角が、画像４２３に存在しないためである。次に、画像４２３に対応する距離マップから、領域６１３に相当する距離マップを生成する。これは、領域６１３に相当する画角が、画像４２１に存在しないためである。最後に、領域６１２に相当する距離マップを生成する必要がある。画像４２１と４２３に対応する距離マップのどちらかから領域６１２に相当する距離マップを生成できる。この場合、たとえば、なるべく変形量の小さい画像に対応する距離マップから生成する。また、重なっている面積（オーバーラップの面積）の広い方の画像に対応する距離マップ、または、画像を撮像する時刻が均一でない場合、取得された時刻の近い画像に対応する距離マップから生成してもよい。
【００３７】
また、システム制御部１０１は、前後の画像に対応する距離マップの信頼度に基づいて、有効領域を決めてもよい。撮像部１０５が取得した距離マップでは、被写体のコントラスト、被写体の明るさ、被写体のオクルージョンや、カメラの撮像時の設定によって距離情報の分解能が低下する場合や、正しい距離マップを取得できない場合がある。このようなケースでは、距離マップを生成する際に正しく距離情報が出力されているかどうかの信頼度ｈ（ｑ）（ｑは画素位置を表す）を算出する。信頼度ｈ（ｑ）の値を元に距離マップの情報が信用できるかできないかを判断して用いることで、前後の画像に対応する距離マップから補間するための有効領域をより正確に決定することができる。
【００３８】
具体的な信頼度の生成方法の一例について説明する。たとえば、フォーカス（被写体に合焦している）画像とデフォーカス（フォーカス画像と被写体のぼけ方が異なる）画像の２枚の画像を用いて距離情報を取得するＤＦＤ法で距離情報を取得する場合を考える。ＤＦＤ法の詳細は特開２０１３−２３９１１９などに記載され、ここで詳細の説明を省略する。ＤＦＤ法ではフォーカス画像とデフォーカス画像の被写体のぼけ量を用いて距離情報を算出する。そのため、フォーカス画像とデフォーカス画像で被写体のぼけの違いが検出できない領域では正しい距離情報を算出できない。つまり、フォーカス画像とデフォーカス画像で被写体のぼけの違いの検出精度が低い領域は、距離情報の信頼度が低い領域となる。ぼけの違いの検出しやすさは、当該領域に存在する画素の輝度値や彩度値、色相、領域の周波数特性などに基づいて判断することができるので、信頼度もこのようなパラメータで判断できる。具体的には、以下のような領域が、信頼度が低い領域であると判断することができる。
例１：領域内の画素が持つ輝度値の平均が、所定の範囲から外れている場合
例２：領域内の画素が持つ輝度値の標準偏差が所定の値より低い場合
例３：領域内の空間周波数が所定の値より低い場合
【００３９】
このように、信頼度を決定するための評価基準には１つ、または、複数のものを用いることができる。また、例示したもの以外の評価基準を用いてもよい。図６の領域６１２のように、前後の画像のどちらかでも補間に用いることができる場合、前後の画像に対応する距離マップの信頼度ｈ（ｑ）がよりも高い画素位置の距離マップを採用する。
【００４０】
図７は、本実施形態における距離マップの補間を説明するための図である。図７では、画像４１２に対応する距離マップ７０１と、画像４２３に対応する距離マップ７０３から、画像４２２に対応する距離マップ７０２を生成することを示している。
【００４１】
以上のように、本実施形態では、距離情報が取得できていない画像に対して、該画像以外の画像に対応する距離情報を用いて補間する方法で、距離情報を生成する。こうして、距離情報の記録や転送に用いるデータを低減することができる。
【００４２】
（第２の実施形態）
第２の実施形態では、カメラ１００がジャイロセンサや加速度センサなどを設ける検出部１１０を有し、検出部１１０が検出した角速度などの情報を用いて動き情報を検出する。以下では、第１の実施形態との違いについて説明する。
【００４３】
図８は、第２の実施形態に係るカメラ８００の機能構成を示すブロック図である。第１の実施形態のカメラ１００と比べて、カメラ８００はさらに検出部１１０を有する。検出部１１０に、ジャイロセンサや加速度センサなどを設けられ、カメラ１００の角速度や加速度などを検出することができる。
【００４４】
第２の実施形態の処理フローは、第１の実施形態の図３に示したものと同じである。ただし、第２の実施形態では、検出部１１０が検出した結果を利用して、第１の実施形態のいくつかのステップに対して、様々な変形を行うことができる。
【００４５】
ステップＳ３０３で、システム制御部１０１は、距離マップを取得するかどうかについて判断する。本実施形態では、検出部１１０の検出結果に基づいて、システム制御部１０１は、距離マップを取得するかどうかについて判断できる。具体的に以下のような方法でシステム制御部１０１が判断する。
【００４６】
図９は、本実施形態における検出部１１０の動作を説明するための図である。図９では、カメラ８００がパンニング中心を中心にしてパンニング動作をしていることを示す。検出部１１０は、カメラ８００の角速度を検出し、システム制御部１０１は、角速度に対して積分の演算を行い、パンニング角度９０１、９０２を算出する。そのうち、画像９１１が撮像された間のパンニング角度がパンニング角度９０１であり、前後の画像９１１、９１２を撮像された間のパンニング角度がパンニング角度９０２である。ステップＳ３０３では、システム制御部１０１は、パンニング角度９０２が予め定められた閾値よりも大きいとき、距離情報を取得するように判断する。ここでの閾値は、パンニング角度９０１よりも低く定める必要がある。そうしないと、距離マップが取得されない画像領域が出る可能性がある。
【００４７】
ステップＳ３０５では、画像処理部１０７は、検出部１１０が検出した結果を利用して動き情報を取得する。たとえば、カメラ１００の焦点距離をｆ、カメラ１００の画素ピッチをｐｐ、検出部１１０が取得した角速度情報をω、出力のフレームレートをｆｐｓとすると、下記の（式４）の計算を行うことで動き情報を求めることができる。
【００４８】
【数４】
2020086824.tif 000006
【００４９】
上記の（式４）で算出された動き情報は、第１の実施形態でのステップＳ３０６と同様のように、画像の変形などに用いる。
【００５０】
また、ステップＳ３０７で、システム制御部１０１が、検出部１１０が検出した結果を利用して、有効領域を決定する。具体的に、システム制御部１０１は、検出部１１０が検出した画像を撮像するときの角速度や角加速度などを分析して、有効領域を決定する。
【００５１】
図１０は、第２の実施形態における検出部１１０の出力と時刻との関係を示す図である。図１０を用いて本実施形態のステップＳ３０７での処理について説明する。図１０（ａ）および（ｂ）の横軸は時刻を示し、縦軸は、検出部１１０の出力である角速度を示す。図１０（ａ）は安定なパンニング動作を示し、図１０（ｂ）は不安定なパンニング動作を示している。図１０（ａ）では、撮像部１０５が時間１００１に１枚目の画像を、時間１０００に２枚目の画像を、時間１００２に３枚目の画像を順次に撮像した。撮像部１０５が１枚目の画像と３枚目の画像とを撮像するとき、距離マップが取得されたとし、２枚目の画像を撮像するとき、距離マップが取得されていないとする。そのため、システム制御部１０１が補間を行う必要があり、有効領域を決める必要がある。図１０（ａ）に示したような、安定なパンニング動作の場合、本実施形態においても、第１の実施形態と同様な方法で有効領域を決めればよい。
【００５２】
しかしながら、図１０（ｂ）に示したように、不安定なパンニング動作のとき、本実施形態において、検出部１１０の検出結果により有効領域の決め方を変えてもよい。図１０（ｂ）では、図１０（ａ）と同様に、撮像部１０５が時間１０１１に１枚目の画像を、時間１０１０に２枚目の画像を、時間１０１２に３枚目の画像を撮像した。撮像部１０５が１枚目の画像と３枚目の画像とを撮像するとき、距離マップが取得されたとし、２枚目の画像を撮像するとき、距離マップが取得されていないとする。そのため、システム制御部１０１が補間を行う必要があり、有効領域を決める必要がある。もしこのような場合、図６の領域６１２に示したように、２枚目の画像に対応する距離マップを生成するとき、前後のどちらの画像に対応する距離マップも使えるような場合、本実施形態では、検出部１１０の検出結果に基づいて判断する。つまり、時間１０１１のように、不安定なパンニング動作で撮像した画像を使用せず、時間１０１２のような、安定なパンニング動作で撮像した画像を優先的に使用する。
【００５３】
なお、上述した各々のステップについては、必ずしも同時に用いる必要がなく、一部のみを用いることも可能である。たとえば、ステップＳ３０２での距離マップの取得の判断は、本実施形態で述べたような検出部１１０の検出結果を利用して行い、他のステップは第１の実施形態と同様な方法で行う。
【００５４】
第２の実施形態によれば、カメラに検出部を設けることにより、検出部の検出結果を利用して、距離マップが取得されていない画像に対応する距離マップを生成することができる。
【００５５】
なお、上記のような方法で、パノラマ画像に対応する距離マップを生成することもできる。図１１は、本実施形態におけるパノラマ画像に対応する距離マップの生成を説明するための図である。図１１に示した距離マップ７０１および７０３は、第１の実施形態における図７に示した距離マップ７０１および７０３に対応する。図１１では、領域１１１１および１１１２に相当する距離マップの部分をそれぞれ距離マップ７０１および７０３から生成し、パノラマ画像に対応する距離マップ１１２０を生成することが示されている。図７に示した距離マップ７０２より、距離マップ１１２０の画角がより広いことが示されている。このように、本実施形態は、パノラマ画像に対応する距離マップでも生成できる。公知のパノラマ画像の合成を加えれば、本実施形態は、パノラマ画像とパノラマ画像に対応する距離マップとを同時に生成することができる。
【００５６】
（その他の実施形態）
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１０１  システム制御部
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０６  Ａ／Ｄ変換部
１０７  画像処理部
１０８  表示部
１０９  記録部
１１０  検出部
【図１】
2020086824.tif 000007
【図２】
2020086824.tif 000008
【図３】
2020086824.tif 000009
【図４】
2020086824.tif 000010
【図５】
2020086824.tif 000011
【図６】
2020086824.tif 000012
【図７】
2020086824.tif 000013
【図８】
2020086824.tif 000014
【図９】
2020086824.tif 000015
【図１０】
2020086824.tif 000016
【図１１】
2020086824.tif 000017