(57)【要約】【課題】全方位撮影において画像データを均一的に高解像度化できるようにする。【解決手段】１枚目の円状全方位画像が入力されると、この画像を幾何変形して１枚目の矩形状画像を生成する。次に、２枚目の円状全方位画像は、１枚目の円状全方位画像に対してほぼロール回転方向に移動した画像であり、２枚目の円状全方位画像が入力されると、この画像を幾何変形して２枚目の矩形状画像を生成し、その後、１枚目の矩形状画像と合成して矩形状合成画像を生成することにより、矩形状合成画像の水平方向の解像度を向上させることができるようにする。【選択図】図１
2016082480.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段の位置をロール回転方向に変位させる変位手段と、
前記変位手段により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段の位置を中心が円弧を描くように変位させる変位手段と、
前記変位手段により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成手段とを有することを特徴とする画像処理装置。
【請求項３】
被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段によって生成された複数の画像の中から、位置ずれ量がロール回転成分または中心が円弧を描く方向の成分となる第１の画像と第２の画像とを選択して合成する合成手段とを有することを特徴とする画像処理装置。
【請求項４】
前記撮像手段は、円状の全方位画像を生成し、
前記合成手段は、前記円状の全方位画像を矩形状の画像に幾何変形して合成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像手段は、回転対称の曲線ミラーを含む光学系を用いて円状の全方位画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像手段は、結像レンズからなる透過光学系を用いて円状の全方位画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記撮像手段は、円状の全方位画像を生成する全方位撮影を行い、
前記撮像手段の光学系に応じて前記全方位撮影の動作と所定の画角による撮影の動作とを切り替える切り替え手段をさらに有し、
前記切り替え手段により前記所定の画角による撮影の動作が選択されている場合に、前記変位手段は、前記撮像手段の位置を、主走査方向または副走査方向に変位させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置の画像処理方法であって、
前記撮像手段の位置をロール回転方向に変位させる変位工程と、
前記変位工程により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成工程とを有することを特徴とする画像処理方法。
【請求項９】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置の画像処理方法であって、
前記撮像手段の位置を中心が円弧を描くように変位させる変位工程と、
前記変位工程により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成工程とを有することを特徴とする画像処理方法。
【請求項１０】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置の画像処理方法であって、
前記撮像手段によって生成された複数の画像の中から、位置ずれ量がロール回転成分または中心が円弧を描く方向の成分となる第１の画像と第２の画像とを選択して合成する合成工程を有することを特徴とする画像処理方法。
【請求項１１】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置を制御するためのプログラムであって、
前記撮像手段の位置をロール回転方向に変位させる変位工程と、
前記変位工程により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置を制御するためのプログラムであって、
前記撮像手段の位置を中心が円弧を描くように変位させる変位工程と、
前記変位工程により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
被写体像を撮像して画像を生成する撮像手段を有する画像処理装置を制御するためのプログラムであって、
前記撮像手段によって生成された複数の画像の中から、位置ずれ量がロール回転成分または中心が円弧を描く方向の成分となる第１の画像と第２の画像とを選択して合成する合成工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、全方位撮影を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、３６０度（全方位）の画像を撮影することが可能な全方位カメラが知られている。例えば特許文献１には、全方位撮影された円状の画像データを矩形状の画像データに幾何変形して出力する技術が開示されている。しかしながら、複数の光電変換セルの配置が長方形マトリクスに規格化された撮像素子を用いた場合は、特許文献１に記載されているように、円状画像データの中央部分で解像度が低下し、変換後の画像データが不均一になってしまう。以下、このような現象について説明する。
【０００３】
図７は、円状画像データの中央部分で解像度が低下し、矩形変換後の画像データの水平解像度が低下することを説明するための図である。図７（ａ）は全方位撮影された円状画像データ７０１を示し、図７（ｂ）は変換後の矩形状画像データ７０２を示している。図７（ａ）における実線は、撮像素子に結像されて光電変換された被写体像を表しており、実線上に離散的に存在している。図７（ａ）における破線は、撮像素子に結像されたものの、光電変換セルが配置されていなかったために光電変換されなかった被写体像を表している。矩形変換時、図７（ｂ）における破線位置には対応する被写体像が存在しないため、水平解像度が低下する。
【０００４】
図８は、他の一例として、円状画像データの中央部分で解像度が低下し、矩形変換後の画像データの垂直解像度が低下することを説明するための図である。図８（ａ）は全方位撮影された円状画像データ８０１を示し、図８（ｂ）は変換後の矩形状画像データ８０２を示している。図８（ａ）における実線は、撮像素子に結像され光電変換された被写体像を表しており、実線上に離散的に存在している。図８（ｂ）における破線は、撮像素子に結像されたものの、光電変換セルが配置されていなかったために光電変換されなかった被写体像を表している。図７に示した例と同様に、矩形変換時、図８（ｂ）における破線位置には対応する被写体像が存在しないため、垂直解像度が低下する。
【０００５】
そこで、撮像画像の解像度を向上させる技術として、例えば特許文献２には、撮像素子を主走査方向または副走査方向に１画素幅よりも小さい量だけ移動して複数回の撮像を行い、取得した複数の画像から高精細画像を合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２９０８０７号公報
【特許文献２】特開２０１２−２１３２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２に開示された従来技術では、円状画像データを全体的に高解像度化するだけであり、解像度が低下する円状画像データの中央部分を効率良く高解像度化することができない。そのため、矩形変換後の画像データを均一的に高解像度化することができない。
【０００８】
本発明は前述の問題点に鑑み、全方位撮影において画像データを均一的に高解像度化できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段の位置をロール回転方向に変位させる変位手段と、前記変位手段により前記撮像手段がそれぞれ異なる位置に変位した状態で前記撮像手段によって生成された第１の画像と第２の画像とを合成する合成手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、全方位撮影において画像データを均一的に高解像度化することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係るデジタルカメラの内部構成例を示すブロック図である。
【図２】画像処理部の詳細な内部構成例を示すブロック図である。
【図３】第１の実施形態における画像処理部の動作を説明するための図である。
【図４】第２の実施形態における画像処理部の動作を説明するための図である。
【図５】第３の実施形態において、制御部による撮影切り替え手順の一例を示すフローチャートである。
【図６】第３の実施形態において、制御部による撮影切り替え手順の他の一例を示すフローチャートである。
【図７】円状画像データの中央部分で解像度が低下し、矩形変換後の画像データの水平解像度が低下することを説明するための図である。
【図８】円状画像データの中央部分で解像度が低下し、矩形変換後の画像データの垂直解像度が低下することを説明するための図である。
【図９】双曲線ミラーを用いた光学系を説明するための図である。
【図１０】出力画像が矩形画像に展開される円筒面を説明するための図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、画像処理装置の一例として、全方位撮影が可能なデジタルカメラに本発明を適用した例を説明する。
【００１３】
図１は、本実施形態に係るデジタルカメラ１００の内部構成例を示すブロック図である。
図１において、制御部１０１は例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。
【００１４】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。本実施形態ではＲＡＭ１０３には、全方位撮影画像や合成途中の中間画像などが一時的に記憶される。
【００１５】
光学系１０４は、例えば双曲線ミラーや全周魚眼レンズ等で構成された光学系であり、円状の全方位像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データ（画像データ）をＲＡＭ１０３に出力して記憶させる。
【００１６】
画素ずらし制御部１０９は、撮像部１０５の位置を移動させる。撮像部１０５は、位置が移動された状態で撮影を行い、位置移動と撮影とを繰り返すことにより、円状の全方位画像を複数枚撮影する。画像処理部１０７は、ＲＡＭ１０３に記憶されている円状の全方位画像を複数枚読みだして合成することにより、矩形状の高精細画像を生成する。記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。
【００１７】
本実施形態のデジタルカメラ１００において、Ａ／Ｄ変換部１０６が出力するデジタル画像データは１画素あたり１０ビットであり、０〜１０２３の階調を有するものとする。また、画素ずらし制御部１０９は撮像部１０５をロール回転方向に移動させるものとする。
【００１８】
画像処理部１０７は、円状の全方位画像から矩形状の高精細画像を生成する処理を行う。以下、矩形上の高精細画像を生成する詳細な手順について説明する。
【００１９】
図２は、画像処理部１０７の詳細な内部構成例を示すブロック図であり、図３は、画像処理部１０７の動作を説明するための図である。
図２において、幾何変形部２０２は、ｎ枚目の円状全方位画像２０７からｎ枚目の矩形状画像を生成する。このとき、幾何変形部２０２は、出力する矩形状画像のうち、光電変換素子が存在しない画素位置については空画素として値ゼロの画素を出力する。このため、Ａ／Ｄ変換後の画素値が値ゼロの画素については、あらかじめ空画素前処理部２０９で値１に置き換えておき、空画素と区別できるようにしておく。
【００２０】
画像合成部２０３は、（ｎ−１）枚目の矩形状合成画像２０６とｎ枚目の矩形状画像とを合成してｎ枚目の矩形状合成画像を生成する。なお、図３に示すような１枚目の矩形状合成画像３０３は、１枚目の円状全方位画像３０１を幾何変形部２０２で幾何変形することによって生成される。このとき、画像合成部２０３は、幾何変形部２０２から入力された画像をそのまま出力画像２０８として出力する。
【００２１】
次に、画像処理部１０７による詳細な処理手順について説明する。本実施形態のデジタルカメラ１００において、光学系１０４は、例えば特許文献１に開示されているような回転対称の双曲線ミラーで構成されるものとするが、本発明はこれに限定されるものではない。前述したように、例えば結像レンズとして全周魚眼レンズを用いた透過光学系としてもよい。
【００２２】
図９は、双曲線ミラー９０１を用いた光学系を説明するための図である。本実施形態では、双曲線ミラー９０１及びレンズ９０２により光学系１０４が構成されている。撮像素子９０３は、撮像部１０５そのものである。
【００２３】
幾何変形部２０２は、出力画像の画素位置から入力画像の画素位置を算出し、例えば特許文献１に記載された方法により入力画像に幾何変形を施す。図１０は、出力画像が矩形画像に展開される円筒面を説明するための図である。円筒面１００１は出力画像が矩形画像に展開される円筒面であり、画像解像度は１２８×３２である。Ｒは円筒の半径であり、Ｌは円筒の高さである。
【００２４】
ここで、円筒面上の各画素について、円筒面１００１上の画素位置を（ｘout，ｙout）、空間上の点の位置をＰ（Ｘ，Ｙ，Ｚ）、撮像部１０５の画素ピッチを（ｐx，ｐy）、とする。この場合、対応する円状全方位画像の画素位置（ｘ1，ｙ1）は、以下の式（１）〜式（７）を用いて算出することができる。
【００２５】
【数１】
2016082480.tif 000003
【００２６】
ここで、ｂ、ｃ、ｆはそれぞれ図９に示す値（定数）である。幾何変形部２０２は、円状全方位画像の画素位置（ｘ1、ｙ1）に最も近い格子点が距離閾値の範囲内に存在する場合に、出力画像の座標（ｘout，ｙout）の画素値を、対応する入力画像の格子点の画素値で出力し、そうでない場合は空画素値を出力する。つまり、入力画像の格子点位置には光電変換セルが存在するので、近傍画素位置であれば画素値を出力するが、近傍でない画素位置には光電変換セルが存在しないので空画素を出力する。
【００２７】
例えば、距離閾値を０．３とし、（ｘ1，ｙ1）＝（１．１，２．２）とした場合、最も近い格子点は（１，２）であり、距離は０．２２となる。この場合、最も近い格子点が距離閾値以内に存在するので、入力画像の格子点（１，２）の画素値を出力画像の画素値として出力する。また、例えば、距離閾値を０．３とし、（ｘ1，ｙ1）＝（１．２，２．３）とした場合は、最も近い格子点は（１，２）であり、距離は０．３６となる。この場合は、最も近い格子点が距離閾値以内に存在しないので、空画素値を出力画像の画素値として出力する。
【００２８】
このようにして１枚目の矩形状合成画像３０３が生成される。１枚目も矩形状合成画像３０３の実線部分は、対応する入力画素位置の近くで格子点が見つかった部分であり、破線部分は、対応する入力画素位置の近くで格子点が見つからず空画素値が出力された部分である。また、２枚目の矩形状合成画像３０５は、１枚目の矩形状合成画像３０３に、２枚目の円状全方位画像３０２が幾何変形された矩形状画像３０４を合成することによって生成される。１枚目の円状全方位画像の画素位置（ｘ1，ｙ1）に対して、２枚目の円状全方位画像の画素位置を（ｘ2，ｙ2）とすると、以下の式（８）及び式（９）を用いて２枚目の円状全方位画像の画素位置（ｘ2，ｙ2）を算出することができる。
【００２９】
【数２】
2016082480.tif 000004
【００３０】
式（８）及び式（９）において、Ｈは１枚目の円状全方位画像３０１と２枚目の円状全方位画像３０２との間の位置ずれ量を示す射影変換係数であり、撮像部１０５のロール回転方向の移動を表現することができる。
【００３１】
グローバルモーション算出部２０１は、１枚目の円状全方位画像３０１（入力画像２０４）と２枚目の円状全方位画像３０２（入力画像２０５）とから２画像の位置ずれ量を示す射影変換係数Ｈを算出する。幾何変形部２０２は、射影変換係数Ｈを用いて２枚目の円状全方位画像３０２を幾何変形し、２枚目の矩形状画像３０４を生成する。画像合成部２０３は、１枚目の矩形状合成画像３０３の空画素値を２枚目の矩形状画像３０４の画素値で置き換えることにより、２枚目の矩形状合成画像３０５を生成する。
【００３２】
２枚目の円状全方位画像３０２は、１枚目の円状全方位画像３０１に対してほぼロール回転方向に移動している。その結果、１枚目で撮像できなかった被写体像（１枚目の円状全方位画像３０１の破線部分）が、２枚目では光電変換セルの移動により効率よく撮像することができる。このため、１枚目の矩形状合成画像３０３の空画素値（１枚目の矩形状合成画像３０３の破線部分）の領域を、２枚目の矩形状画像３０４の被写体像を示す画素値で置き換えることができる。これにより、円状画像データの中央部分を効率良く高解像度化することができ、矩形状合成画像の水平方向の解像度を向上させることができる。
【００３３】
以上のように画像合成処理は１枚目からＮ枚目まで行われ、３枚目からＮ枚目までの矩形状合成画像も、２枚目の矩形状合成画像と同様に生成される。Ｎ枚目の矩形状合成画像に残っている空画素については、以下のように処理される。まず、Ｎ枚目の矩形状合成画像２１１が空画素後処理部２１０に入力され、空画素位置の上下左右斜めの８画素のメディアン値が空画素に補間される。そして、空画素後処理後の矩形状合成画像２１２が出力される。
【００３４】
なお、本実施形態のデジタルカメラ１００においては、１〜Ｎ枚目の全ての画像を合成するものとするが、射影変換係数Ｈから位置ずれ量が主にロール回転成分か否かを判断し、画像処理部１０７はそのような画像だけ選択して合成するようにしてもよい。これにより、省電目的で画素ずらし制御部１０９を停止させて撮影者の手振れだけでデジタルカメラを移動させる場合でも、位置ずれ量が主にロール回転であるような場合に限定して画像を合成することができるので、消費電力をより削減することができる。
【００３５】
以上のように本実施形態によれば、ロール回転方向に移動させた矩形状の画像をそれぞれ合成するようにしたので、空画素の領域を、被写体像を示す画素値で置き換えることができる。これにより、円状画像データの中央部分を効率良く高解像度化することができ、矩形状合成画像の水平方向の解像度を向上させることができる。
【００３６】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、本実施形態におけるデジタルカメラの構成は、第１の実施形態で図１および図２に示した構成と同様であるため、説明は省略する。本実施形態のデジタルカメラにおいて、画素ずらし制御部１０９は、中心が円弧を描くように撮像部１０５を平行移動させる。
【００３７】
図４は、本実施形態における画像処理部１０７の動作を説明するための図である。図４（ａ）の１枚目の円状全方位画像４０１、及び２枚目の円状全方位画像４０４に示すように、撮像部１０５は中心が円弧を描くように平行移動する。このため、１枚目の円状全方位画像４０１の座標位置４０２には光電変換セルが存在しないが、２枚目の円状全方位画像４０４では、座標位置４０２の一部で光電変換セルが存在する。したがって、１枚目の円状全方位画像と２枚目以降の円状全方位画像とを合成することにより、出力される矩形状合成画像の座標位置４０２に対応する領域の解像度を向上させることができる。
【００３８】
また、２枚目の円状全方位画像４０５が図４（ｂ）に示すような位置関係である場合は、１枚目の円状全方位画像と２枚目以降の円状全方位画像とを合成することにより、矩形状合成画像の座標位置４０３に対応する領域の解像度を向上させることができる。つまり、画素ずらし制御部１０９の動作において、円弧の半径を時間に応じて変化させ、撮像部１０５がらせん状に移動するようにすることによって、円状全方位画像の中央部分を効率良く高解像度化することができる。したがって、矩形状合成画像の垂直方向解像度を向上させることができる。
【００３９】
本実施形態のデジタルカメラにおいても、全ての画像を合成に利用するものとしているが、これに限られるものではない。第１の実施形態と同様に、射影変換係数Ｈから位置ずれ量が主に中心が円弧を描くような平行移動を示しているか否かを判断し、画像処理部１０７はそのような画像だけ選択して合成するようにしてもよい。
【００４０】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。なお、本実施形態におけるデジタルカメラの構成は、第１の実施形態で図１および図２に示した構成と同様であるため、説明は省略する。本実施形態のデジタルカメラにおいては、光学系１０４は着脱式であり、所定の画角の通常のズームレンズ光学系と双曲線ミラー等で構成された全方位光学系とで交換可能であるものとする。
【００４１】
図５は、本実施形態における制御部１０１による撮影切り替え手順の一例を示すフローチャートである。
まず、撮影が指示されると処理を開始し（Ｓ５０１）、光学系１０４が全方位光学系か通常のズームレンズ光学系かを判断する（Ｓ５０２）。この判断の結果、光学系１０４が全方位光学系である場合は、第１の実施形態で説明したロール方向の画素ずらしによる高解像度撮影を行うように、デジタルカメラ１００全体を制御する（Ｓ５０３）。一方、Ｓ５０２の判断の結果、光学系１０４が通常のズームレンズ光学系である場合は、画素ずらし制御部１０９が主走査方向または副走査方向に撮像部１０５を変位させて高解像度撮影を行う（Ｓ５０４）。なお、主走査方向または副走査方向に画素をずらして高解像度撮影を行う方法については、例えば特許文献２に開示された方法を用いるものとする。
【００４２】
以上のように本実施形態によれば、通常のズームレンズ光学系で撮影する場合においてもある程度画像を高解像度化することができる。さらに全方位光学系で撮影することも可能であり、この場合においては、第１の実施形態と同様に、矩形状合成画像を水平方向に高解像度化することができる。
【００４３】
なお、本実施形態においては、第１の実施形態で説明した全方位光学系が交換可能であるものとしているが、第２の実施形態で説明した全方位光学系を着脱可能としてもよい。この場合、図６に示すように、図５のＳ５０３の代わりに、Ｓ６０３において、第２の実施形態で説明した円弧平行移動の画素ずらしによる高解像度撮影を行う。
【００４４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４５】
１０１  制御部
１０４  光学系
１０５  撮像部
１０７  画像処理部
１０９  画素ずらし制御部
【図１】
2016082480.tif 000005
【図２】
2016082480.tif 000006
【図５】
2016082480.tif 000007
【図６】
2016082480.tif 000008
【図９】
2016082480.tif 000009
【図１０】
2016082480.tif 000010
【図３】
2016082480.tif 000011
【図４】
2016082480.tif 000012
【図７】
2016082480.tif 000013
【図８】
2016082480.tif 000014