(57)【要約】      （修正有）【課題】画像の合成位置を補正する場合に、静的な被写体が動いているように見えてしまう現象の発生を抑える。【解決手段】第１変換データに基づいて撮像画像とは異なる座標系に変換する第１変換手段と、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、撮像範囲が重複する重複領域のズレ量を検出する第１検出手段と、第２変換画像の生成に係る第１変換データの補正量を第２変換画像の座標値毎に算出する算出手段と、第２変換画像から被写体が存在する被写体領域を検出する第２検出手段と、算出手段が算出した補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、第２変換画像の生成に係る第１変換データを補正する補正手段と、補正手段により補正された第１変換データを回転座標変換して、複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するデータ生成手段と、を備える。【選択図】図４
2017208619.tif 000002
【特許請求の範囲】
【請求項１】
撮像範囲の一部が重複する複数の撮像画像の各々を、第１変換データに基づいて前記撮像画像とは異なる座標系に変換する第１変換手段と、
前記第１変換手段の変換により生成された複数の変換画像のうち、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、前記撮像範囲が重複する重複領域のズレ量を検出する第１検出手段と、
前記第１検出手段が検出したズレ量に基づいて、前記第２変換画像の生成に係る前記第１変換データの補正量を前記第２変換画像の座標値毎に算出する算出手段と、
前記第２変換画像から被写体が存在する被写体領域を検出する第２検出手段と、
前記算出手段が算出した補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、前記第２変換画像の生成に係る前記第１変換データを補正する補正手段と、
前記補正手段により補正された第１変換データを回転座標変換して、前記複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するデータ生成手段と、
を備える画像処理装置。
【請求項２】
前記第１検出手段は、前記第１変換画像と前記第２変換画像との前記重複領域において、共通する被写体をパターンマッチングすることで、当該被写体が存在する位置のズレ量を検出する請求項１に記載の画像処理装置。
【請求項３】
前記第２検出手段は、前記第２変換画像の前記重複領域以外の非重複領域から、前記被写体領域を検出する請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２検出手段は、時間的に連続する複数フレーム分の前記第２変換画像の各々から被写体の存在する前記被写体領域を検出し、当該被写体領域の位置の変化に基づいて、当該被写体領域に存在する被写体が静的か動的かを判定する請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
フレーム単位で入力される前記複数の撮像画像の各々を、前記第２変換データに基づいて前記撮像画像とは異なる座標系に変換し、複数の合成用画像を生成する第２変換手段と、
前記複数の合成用画像をフレーム毎に合成し、前記撮像画像とは異なる座標系で表現された合成画像を生成する画像合成手段と、
を更に備える請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記複数の撮像画像は、互いに異なるレンズ光学系を用いて撮像されたものであり、前記第１変換データは、前記複数の撮像画像それぞれを撮像した前記レンズ光学系の歪みを補正し、前記撮像画像を構成する各画素の座標値を当該撮像画像とは異なる座標系に射影する複数のパラメータを有する請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記撮像画像は、１８０度より大きな画角を有するレンズ光学系で撮像されたものであり、前記合成画像は、少なくとも２つの偏角で表現された全天球画像である請求項５に記載の画像処理装置。
【請求項８】
撮像範囲の一部が重複する複数の撮像画像の各々を、第１変換データに基づいて前記撮像画像とは異なる座標系に変換するステップと、
前記変換により生成された複数の変換画像のうち、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、前記撮像範囲が重複する重複領域のズレ量を検出するステップと、
前記検出されたズレ量に基づいて、前記第２変換画像の生成に係る前記第１変換データの補正量を前記第２変換画像の座標値毎に算出するステップと、
前記第２変換画像から被写体が存在する被写体領域を検出するステップと、
前記算出された補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、前記第２変換画像の生成に係る前記第１変換データを補正するステップと、
前記補正された第１変換データを回転座標変換して、前記複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するステップと、
を含む画像処理方法。
【請求項９】
コンピュータを、
撮像範囲の一部が重複する複数の撮像画像の各々を、第１変換データに基づいて前記撮像画像とは異なる座標系に変換する第１変換手段と、
前記第１変換手段の変換により生成された複数の変換画像のうち、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、前記撮像範囲が重複する重複領域のズレ量を検出する第１検出手段と、
前記第１検出手段が検出したズレ量に基づいて、前記第２変換画像の生成に係る前記第１変換データの補正量を前記第２変換画像の座標値毎に算出する算出手段と、
前記第２変換画像から被写体が存在する被写体領域を検出する第２検出手段と、
前記算出手段が算出した補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、前記第２変換画像の生成に係る前記第１変換データを補正する補正手段と、
前記補正手段により補正された第１変換データを回転座標変換して、前記複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するデータ生成手段と、
して機能させるためのプログラム。
【請求項１０】
撮像手段と、
前記撮像手段で撮像された、撮像範囲の一部が重複する複数の撮像画像を取得する取得手段と、
前記複数の撮像画像の各々を、第１変換データに基づいて前記撮像画像とは異なる座標系に変換する第１変換手段と、
前記第１変換手段の変換により生成された複数の変換画像のうち、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、前記撮像範囲が重複する重複領域のズレ量を検出する第１検出手段と、
前記第１検出手段が検出したズレ量に基づいて、前記第２変換画像の生成に係る前記第１変換データの補正量を前記第２変換画像の座標値毎に算出する算出手段と、
前記第２変換画像から被写体が存在する被写体領域を検出する第２検出手段と、
前記算出手段が算出した補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、前記第２変換画像の生成に係る前記第１変換データを補正する補正手段と、
前記補正手段により補正された第１変換データを回転座標変換して、前記複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するデータ生成手段と、
を備える撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム及び撮像システムに関する。
【背景技術】
【０００２】
従来、魚眼レンズや超広角レンズ等のレンズを複数使用して全方位（以下、全天球という）を一度に撮像する撮像システムが知られている。係る撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理により結合することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角レンズを用いることで、全天球画像を生成することができる。
【０００３】
上記の画像処理では、各レンズ光学系により撮影された部分画像に対して、所定の射影モデルに基づいて、また理想的なモデルからの歪みを考慮して、歪み補正及び射影変換を施す。そして、部分画像に含まれる重複部分を用いて部分画像を合成し、１枚の合成画像（全天球画像）とする処理が行われる。係る合成処理においては、変換後の部分画像の重複領域において、パターンマッチング等を用いて共通する被写体のズレ量を検出し、当該ズレ量に基づいて部分画像の合成位置が補正（調整）されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、ズレ量に応じた合成位置の補正が画像全体で行われるため、例えば動画のように合成画像を連続して生成する際に、静的な被写体が動いているように見えてしまう現象が発生する可能性があった。
【０００５】
例えば、連続するフレームの部分画像において、重複領域に動的な被写体が存在し、非重複領域に静的な被写体が存在するとする。あるフレームＮでの動的な被写体のズレ量がΔ１であったとすると、このズレ量に応じた補正量だけ画像全体がシフトされることになる。次のフレームＮ＋１で、動的な被写体のズレ量がゼロであったとすると、合成位置の補正は行われず、元の位置のまま保持されることになる。これらのフレームＮ、Ｎ＋１を動画として観察すると、動的な被写体の位置は同じとなるが、静的な被写体の位置は移動するため、静的な被写体が動いているように見えてしまう。このような現象は、画質低下の要因となるため改善が求められている。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像の合成位置を補正する場合に、静的な被写体が動いているように見えてしまう現象の発生を抑えることが可能な画像処理装置、画像処理方法、プログラム及び撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、撮像範囲の一部が重複した複数の撮像画像の各々を、第１変換データに基づいて前記撮像画像とは異なる座標系に変換し、複数の変換画像を生成する第１変換手段と、前記複数の変換画像のうち、基準画像となる第１変換画像と比較画像となる第２変換画像との画像間において、前記撮像範囲が重複する重複領域のズレ量を検出する第１検出手段と、前記第１検出手段が検出したズレ量に基づいて、前記第２変換画像の生成に係る前記第１変換データの補正量を前記第２変換画像の座標値毎に算出する算出手段と、前記第２変換画像から被写体が存在する被写体領域を検出する第２検出手段と、前記算出手段が算出した補正量のうち、動的な被写体が存在する被写体領域の補正量を用いて、前記第２変換画像の生成に係る前記第１変換データを補正する補正手段と、前記補正手段により補正された第１変換データを回転座標変換して、前記複数の撮像画像の変換を規定する画像合成用の第２変換データを生成するデータ生成手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、画像の合成位置を補正する場合に、静的な被写体が動いているように見えてしまう現象の発生を抑えることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る撮像システムの構成の一例を示す図である。
【図２】図２は、実施形態に係る撮像システムのハードウェア構成の一例を示す図である。
【図３】図３は、実施形態に係る撮像システムにおける画像処理全体の流れを示す図である。
【図４】図４は、実施形態の撮像システムに実現される画像合成機能の主要な機能ブロックを示す図である。
【図５】図５は、魚眼レンズを用いた撮像システムにおける射影関係を説明するための図である。
【図６】図６は、実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明するための図である。
【図７】図７は、実施形態の第１歪み補正部及び第２歪み補正部が参照する変換データを説明するための図である。
【図８】図８は、実施形態の第１歪み補正部による、部分画像の球面座標系へのマッピングを説明するための図である。
【図９】図９は、実施形態のズレ量検出部の動作を説明するための図である。
【図１０】図１０は、実施形態の検出結果生成部による第１検出結果データの生成処理を説明するための図である。
【図１１】図１１は、実施形態の検出結果生成部により生成される第１検出結果データのデータ構造の一例を模式的に示す図である。
【図１２】図１２は、合成位置の補正処理を説明するための図である。
【図１３】図１３は、合成位置の補正処理を説明するための図である。
【図１４】図１４は、従来技術の問題点を説明するための図である。
【図１５】図１５は、実施形態の被写体検出部の動作を説明するための図である。
【図１６】図１６は、実施形態のパラメータ補正部の動作を説明するための図である。
【図１７】図１７は、２つの部分画像の球面座標系へのマッピングを説明するための図である。
【図１８】図１８は、実施形態の撮像システムで行われる画像合成処理の一例を示すフローチャートである。
【図１９】図１９は、他の実施形態に係る撮像システムの概略を示す図である。
【図２０】図２０は、他の実施形態の撮像システムで実行される画像合成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態では、２つの魚眼レンズを光学系に含む撮像体を備えた撮像システムについて説明する。なお、本発明は、この実施形態に限定されるものではない。
【００１１】
［全体構成］
以下、実施形態に係る撮像システムの構成について説明する。図１は、実施形態に係る撮像システム１０の構成の一例を示す図（断面図）である。撮像システム１０は、撮像体１２と、筐体１４と、シャッター・ボタン１８とを備える。撮像体１２は、レンズ光学系２０Ａ及び２０Ｂと、固体撮像素子２２Ａ及び２２Ｂとを有する。筐体１４は、撮像システム１０に係る部品を収納する。
【００１２】
レンズ光学系２０Ａ及び２０Ｂは、例えば、魚眼レンズ、広角レンズ等のレンズである。レンズ光学系２０Ａ及び２０Ｂは、例えば、１８０度以上の画角を有する。レンズ光学系２０Ａ及び２０Ｂは、例えば、６群７枚の魚眼レンズ等、複数のレンズで構成される光学系でもよい。また、レンズ光学系２０Ａ及び２０Ｂは、プリズム、フィルタ、絞り等のレンズ以外の光学要素を有してもよい。
【００１３】
固体撮像素子２２Ａ及び２２Ｂは、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の光学センサを有する撮像素子である。固体撮像素子２２Ａ及び２２Ｂは、シャッター・ボタン１８の押下に応じて、静止画又は動画の撮像（撮影）を開始する。
【００１４】
レンズ光学系２０Ａは、固体撮像素子２２Ａに対して位置関係が定まる。位置関係は、レンズ光学系２０Ａの光軸が固体撮像素子２２Ａの受光領域の中心部に直交し、且つ受光領域が結像面となるように定められる。同様に、レンズ光学系２０Ｂは、固体撮像素子２２Ｂに対して位置関係が定まる。固体撮像素子２２Ａ及び２２Ｂは、レンズ光学系２０Ａ及び２０Ｂによって集光された光を画像信号に変換する。
【００１５】
なお、撮像システム１０は、筐体１４の内部にコントローラやバッテリ（何れも図示せず）等を有してもよい。
【００１６】
図１に示す構成では、レンズ光学系２０Ａ及び２０Ｂは、光軸が同一となり、且つ互いに逆向きとなるように設置されている。固体撮像素子２２Ａ及び２２Ｂは、集光した光から画像信号を生成し、出力する。画像信号に基づく各画像は、立体角４πラジアンの画像（以下、全天球画像という）を生成する。全天球画像は、撮影地点から見渡すことのできる全方位を撮影した画像である。なお、全天球画像は、水平面のみ３６０度を撮影した、いわゆるパノラマ画像でもよい。
【００１７】
レンズ光学系２０Ａ及び２０Ｂの画角が１８０度を超える場合、固体撮像素子２２Ａ及び２２Ｂが生成する画像信号に基づく各画像には、同じ被写体が含まれる。画像信号に基づく各画像の双方を合成する際、各画像に写された被写体が参考となる。
【００１８】
生成された全天球画像は、撮像システム１０に接続されたディスプレイ又は画像形成装置等の出力装置（図示せず）に出力される。また、生成された全天球画像は、ＳＤ（登録商標）カード、ＵＳＢメモリ等の記憶媒体に出力されてもよい。
【００１９】
［ハードウェア構成］
図２は、本実施形態による撮像システム１０のハードウェア構成を示す。撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと参照する。）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成される。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ、２０Ｂと、固体撮像素子２２Ａ、２２Ｂとを有する。固体撮像素子２２、２２Ｂは、プロセッサ１００内の後述するＣＰＵ１３０からの制御指令により制御される。
【００２０】
プロセッサ１００は、ＩＳＰ（Image  Signal  Processor）１０８Ａ、１０８Ｂと、ＤＭＡＣ（Direct  Memory  Access  Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２と、メモリアクセスを制御するＭＥＭＣ（Memory  Controller）１１４と、歪曲補正・画像合成ブロック１１８とを含む。ＩＳＰ１０８Ａ、１０８Ｂは、それぞれ、固体撮像素子２２Ａ、２２Ｂの信号処理を経て入力された画像データに対し、ホワイト・バランス設定やガンマ設定を行う。ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続される。ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ、１８０Ｂ及び歪曲補正・画像合成ブロック１１８において処理を施す際にデータが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの部分画像に対し、３軸加速度センサ１２０からの情報を利用して、歪曲補正とともに天地補正を施し、画像合成する。
【００２１】
プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤ（Liquid  Crystal  Display）ドライバ１６２と、ブリッジ１６８とを含む。
【００２２】
ＣＰＵ１３０は、当該撮像システム１０の各部の動作を制御する。画像処理ブロック１２４は、リサイズブロック１３２、ＪＰＥＧブロック１３４、Ｈ．２６４ブロック１３６等を用いて、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮及び伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４等の動画圧縮及び伸張を行うコーデック・ブロックである。画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。
【００２３】
メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカード及びフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、撮像システム１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータ等の外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータ等の外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network  Interface  Card）１６０が接続される。ＬＣＤドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。
【００２４】
フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。
【００２５】
図３は、撮像システム１０における画像処理全体の流れを示す図である。まず、ステップＳ１０１Ａ、１０１Ｂでは、固体撮像素子２２Ａ、２２Ｂ各々によって、画像が撮像される。ステップＳ１０２Ａ、１０２Ｂでは、固体撮像素子２２Ａ、２２Ｂ各々から出力されたベイヤーＲＡＷの画像に対し、図２に示したＩＳＰ１０８Ａ、１０８Ｂにより、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理及び領域分割平均処理が行われる。ステップＳ１０３Ａ、１０３Ｂでは、メモリに保存される。ステップＳ１０４Ａ、１０４Ｂでは、図２に示したＩＳＰ１０８Ａ、１０８Ｂにより、さらに、ホワイト・バランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理及び色補正処理が行われ、ステップＳ１０５Ａ、１０５Ｂで、メモリに保存される。
【００２６】
２つの固体撮像素子２２Ａ、２２Ｂ各々について上述した処理が完了すると、ステップＳ１０６では、上記処理が施された各部分画像に対し、歪曲補正及び合成処理が行われる。ステップＳ１０７では、適宜タグ付けされて、全天球画像が内蔵メモリまたは外部ストレージにファイル保存される。また、上記歪曲補正及び合成処理の過程では、適宜、３軸加速度センサ１２０からの情報を得て傾き天地補正が行われてもよい。また、保存される画像ファイルには、適宜圧縮処理が施されてもよい。
【００２７】
［機能構成］
以下、撮像システム１０が備える画像合成機能について説明する。図４は、撮像システム１０に実現される画像合成機能の主要な機能ブロック２００を示す図である。歪曲補正・画像合成ブロック１１８は、図４に示すように、第１歪み補正部２０２と、位置検出部２０４と、パラメータ補正部２０６と、テーブル生成部２０８と、第２歪み補正部２１０と、画像合成部２１２とを備える。これらの機能部の一部又は全ては、プロセッサとプログラムとの協働により実現されるソフトウェア構成であってもよい。また、これらの機能部の一部又は全ては、各機能を実現するよう設計された一又は複数の処理回路（例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＳｏＣ（System  on  a  Chip）等）によって実現されるハードウェア構成であってもよい。
【００２８】
また、歪曲補正・画像合成ブロック１１８には、２つの固体撮像素子２２Ａ及び２２Ｂから、ＩＳＰ１０８Ａ及び１０８Ｂによる画像処理を経て、２つの撮像画像が入力される。ここで、固体撮像素子２２Ａ及び２２Ｂに対し「０」及び「１」の番号を付与する。また、固体撮像素子２２Ａをソースとする撮像画像を「部分画像Ｇ００」、固体撮像素子２２Ｂをソースとする撮像画像を「部分画像Ｇ０１」と表記する。さらに、歪曲補正・画像合成ブロック１１８には、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成された、位置検出用の第１変換テーブルＴ１（第１変換データ）が提供される。
【００２９】
第１歪み補正部２０２は、入力される部分画像Ｇ００及び部分画像Ｇ０１に対し、第１変換テーブルＴ１を用いて歪み補正を施し、位置検出用の第１補正画像Ｇ１０及び第１補正画像Ｇ１１をそれぞれ生成する。入力される部分画像Ｇ００及び部分画像Ｇ０１は、受光領域が面積エリアを成す２次元の固体撮像素子で撮像されたものであり、平面座標系（ｘ，ｙ）で表現された画像データとなる。これに対し、第１変換テーブルＴ１を用いて歪み補正がかけられた第１補正画像Ｇ１０及び第１補正画像Ｇ１１は、元の部分画像とは異なる座標系の画像データとなる。より具体的には、第１補正画像Ｇ１０及び第１補正画像Ｇ１１は、球面座標系（動径を１とし、２つの偏角θ、φを有する極座標系）で表現された全天球画像フォーマットの画像データとなる。なお、本実施形態では、第１補正画像Ｇ１０が基準画像であり、第１補正画像Ｇ１１が比較画像であるとする。
【００３０】
図５は、魚眼レンズを用いた撮像システムにおける射影関係を説明するための図である。本実施形態において、魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図５（ａ）、（ｂ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像生成される。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、ｈ＝ｆ×φで表現される。
【００３１】
上記投影モデルとしては、その他、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。何れの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。
【００３２】
図６は、本実施形態で用いられる全天球画像フォーマットの画像データのデータ構造を説明するための図である。図６に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０〜３６０度（−１８０度〜＋１８０度とも表現できる。）の範囲となり、垂直角度φは、０〜１８０度（同様に−９０度〜＋９０度とも表現できる。）の範囲となる。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮影された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図５で説明したような射影関数を用いることによって対応付けることができる。
【００３３】
図７は、第１歪み補正部２０２及び第２歪み補正部２１０が参照する変換データを説明するための図である。第１変換テーブルＴ１及び第２変換テーブルＴ２は、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。第１変換テーブルＴ１及び第２変換テーブルＴ２は、図７（ａ）及び（ｂ）に示すように、各魚眼レンズ毎に、変換後の画像の座標値（θ，φ）と、当該座標値（θ，φ）にマッピングされる変換前の部分画像の座標値（ｘ，ｙ）とを対応付ける情報を、全座標値（θ，φ）（θ＝０，…，３６０度，φ＝０，…，１８０度）に対して保持する。図７の例では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、第１変換テーブルＴ１及び第２変換テーブルＴ２は、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有することになる。
【００３４】
第１変換テーブルＴ１は、事前に製造元等で、レンズ設計データ等を元に、図５で説明したレンズの射影関係に基づき、放射歪曲及び偏心歪曲等に起因した理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものである。一方、第２変換テーブルＴ２は、詳細は後述するが、第１変換テーブルＴ１から所定の変換処理によって生成されるものである。なお、説明する実施形態では、変換データは、座標値の対応関係がテーブル化されたデータとしている。しかしながら、他の実施形態では、変換データは、平面座標系で表現される部分画像（ｘ，ｙ）から、球面座標系で表現される画像（θ，φ）への射影を規定する１または複数の関数の係数データとしてもよい。
【００３５】
図４に戻り、第１歪み補正部２０２は、第１変換手段に対応する機能部である。第１歪み補正部２０２は、第１変換テーブルＴ１を参照して、部分画像Ｇ００及び部分画像Ｇ０１を変換し、第１補正画像Ｇ１０（第１変換画像）及び第１補正画像Ｇ１１（第２変換画像）を生成する。具体的には、第１歪み補正部２０２は、変換後の補正画像の全座標値（θ，φ）について、第１変換テーブルＴ１を参照し、各座標値（θ，φ）にマッピングされる変換前の部分画像の座標値（ｘ，ｙ）を求め、該座標値（ｘ，ｙ）の部分画像における画素値を参照する。これによって、第１補正画像Ｇ１０、Ｇ１１が生成される。
【００３６】
図８は、第１歪み補正部２０２による、部分画像の球面座標系へのマッピングを説明するための図である。第１歪み補正部２０２による処理の結果、魚眼レンズで撮像された２つの部分画像Ｇ００、Ｇ０１は、図８に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像Ｇ００は、典型的には、全天球のうちの概ね上半球にマッピングされ、魚眼レンズ１により撮影された部分画像Ｇ０１は、全天球のうちの概ね下半球にマッピングされる。全天球フォーマットで表現された第１補正画像Ｇ１０及び第１補正画像Ｇ１１は、魚眼レンズの全画角が１８０度を超えるため、それぞれ半球からはみ出す。その結果、第１補正画像Ｇ１０と第１補正画像Ｇ１１とでは、画像間で撮像範囲が重複する重複領域が存在する。
【００３７】
第１変換テーブルＴ１は、図８に示すように、２つのレンズ光学系各々の光軸を球面の２つの極（φ＝０度，１８０度）に射影するとともに、画像間の重複領域を球面の赤道近傍（φ＝９０度±（（全画角−１８０度）／２））に射影するように作成される。球面座標系では、垂直角度φが０度または１８０度である極に近接するほど、歪みが大きくなり、つなぎ位置検出精度が劣化してしまう。これに対し、上述したような射影とすることによって、θ方向にずれたときの歪み量が小さな垂直角度９０度付近に、重複領域を位置させる。これにより、後述する位置検出部２０４は、この重複領域でパターンマッチングを行うことになるため、パターンマッチングの精度を向上させることができる。
【００３８】
図４に戻り、位置検出部２０４は、第１検出部２０４１と、第２検出部２０４２とを有し、第１歪み補正部２０２により変換された第１補正画像Ｇ１０、Ｇ１１の入力を受け付ける。
【００３９】
第１検出部２０４１は、第１検出手段に対応するズレ量検出部２０４１１と、算出手段に対応する検出結果生成部２０４１２と、第１検出結果保持部２０４１３とを有する。ズレ量検出部２０４１１は、第１補正画像Ｇ１０と第１補正画像Ｇ１１との重複領域に対してパターンマッチングを行うことで、同一の被写体に対する両画像間のズレ量を検出する。
【００４０】
図９は、ズレ量検出部２０４１１の動作を説明するための図である。テンプレート用画像３００は、第１補正画像Ｇ１０の重複領域の部分の画像であり、探索用画像３１０は、第１補正画像Ｇ１１の重複領域の部分の画像である。ブロック・サイズは、テンプレート画像を構成する画素サイズであり、生成間隔は、隣接するテンプレート画像が生成される間隔である。生成開始座標は、最初のテンプレート画像を切り出す座標である。なお、ブロック・サイズ及び生成間隔は、つなぎ合わせの所望の精度及び処理量を勘案して定めればよい。
【００４１】
ブロック・サイズをＷ画素×Ｈ画素とし、生成開始座標を（ｓｘ，ｓｙ）とし、生成間隔をｓｔｅｐ画素とすると、図９に示すような態様で複数のテンプレート画像３０２−１〜３０２−＃が生成される。生成されるテンプレートのブロック数＃は、テンプレート用画像３００の水平方向サイズ（説明する実施形態で全天球フォーマットの幅サイズ）を生成間隔（ｓｔｅｐ）で割った値の整数値となる。
【００４２】
より具体的には、生成開始座標（ｓｘ，ｓｙ）からブロック・サイズの領域（Ｗ画素×Ｈ画素）が切り出されてテンプレート画像が生成される。テンプレート画像生成後は、座標を（ｓｘ＋ｓｔｅｐ，ｓｙ）に更新し、２回目以降のテンプレート生成は、同様にして更新された座標からブロック・サイズの領域を指定して生成されることになる。なお、図９では、テンプレート画像の水平方向サイズ（Ｗ画素）を生成間隔（ｓｔｅｐ）より小さくした例を示しているが、これに限定されるものではなく、生成間隔と同一としてもよい。また、本実施形態では、テンプレート画像は、重複領域においてθ方向に一列、一周分、生成されるものとするが、これに限定されるものではない。
【００４３】
ここで生成された複数のテンプレート画像３０２−１〜３０２−＃に対し、探索用画像３１０上での対応部分３１４が所定の探索範囲３１２内で探索されることになる。具体的には、ズレ量検出部２０４１１は、パターンマッチングを行うことで、テンプレート画像３０２−１〜３０２−＃の各々に対応する探索用画像３１０上での対応部分３１４を、所定の探索範囲３１２内から探索する。そして、ズレ量検出部２０４１１は、テンプレート画像３０２−１〜３０２−＃と対応部分３１４−１〜３１４−＃とのズレ量をそれぞれ算出する。なお、パターンマッチングは、相関係数、市街地距離、ユークリッド距離、残差２乗和等を類似度として行うテンプレート・マッチング等を用いることができる。
【００４４】
例えば、第１補正画像Ｇ１０のテンプレート画像３０２−１は、第１補正画像Ｇ１１のそのままの座標値上に重ね合わせてもマッチせず、所定のズレ量（Δθ1，Δφ1）だけ移動させた座標値（θ1＋Δθ1，φ1＋Δφ1）で対応部分３１４−１とマッチする場合がある。このとき、第１補正画像Ｇ１１において、現状では座標（θ1＋Δθ1，φ1＋Δφ1）に位置する画素値（対応部分３１４−１）が、座標（θ1，φ1）に位置していれば、適切に位置合わせできることになる。そこで、ズレ量検出部２０４１１は、テンプレート画像（番号ｉ：ｉ＝１〜＃）の各々について、上記のパターンマッチングを行うことで、ズレ量（Δθi，Δφi）を生成する。
【００４５】
検出結果生成部２０４１２は、ズレ量検出部２０４１１で検出されたテンプレート画像３０２毎のズレ量に基づき、全天球フォーマットの座標値（θ，φ）毎に、その座標値のずらし量となる補正量（Δθ，Δφ）を算出する。そして、検出結果生成部２０４１２は、各座標値とその補正量とを対応付けた第１検出結果データをフレーム毎に生成する。
【００４６】
ここで、補正量の算出方法は、特に問わないものとする。例えば、各座標値の補正量は、テンプレート画像（ｉ）毎のズレ量（Δθi，Δφi）を、各テンプレート画像の中心座標の値として設定し、補間して算出することができる。
【００４７】
具体的には、まず、図１０（ａ）に示すように、水平方向の座標値θがテンプレート・ブロックの中心座標の値と等しく、かつ、上端（φ＝０）及び下端（高さが１８００画素の場合は、φ＝１７９９である。）に位置する各座標の補正量（Δθ，Δφ）を（０，０）として設定する。また、補正量を未設定の他の座標については、図１０（ｂ）に示すように、近傍の設定済み４点（図中Ａ〜Ｄで示す。）からなる格子を考え、その中で２次元線形補間演算により補正量を算出する。点Ｑを、４点の格子においてθ軸方向にｄθ：１−ｄθ、φ軸方向にｄφ：１−ｄφに内分する点だとすると、点Ｑにおける補正量（ΔθQ，ΔφQ）は、近傍４点における補正量（（ΔθA，ΔφA），…，（ΔθD，ΔφD））を用いて、例えば下記式（１）により計算することができる。
【００４８】
【数１】
2017208619.tif 000003
【００４９】
なお、図１０では、全天球フォーマットにおける上端（φ＝０）及び下端（上記例ではφ＝１７９９）に対し補正量（０，０）を設定するようにした。しかしながら、各座標値（θ，φ）に対応する補正量（Δθ，Δφ）の算出方法は、これに限定されるものではない。
【００５０】
図１１は、検出結果生成部２０４１２により生成される第１検出結果データのデータ構造の一例を模式的に示す図である。検出結果生成部２０４１２は、図１１に示すように、変換後の各座標値（θ，φ）に、補正量（Δθ，Δφ）を対応付けた第１検出結果データを生成する。
【００５１】
図４に戻り、第１検出結果保持部２０４１３は、検出結果生成部２０４１２で生成された第１検出結果データを複数フレーム分保持する。より詳細には、第１検出結果保持部２０４１３は、第１検出結果データの生成元となった第１補正画像Ｇ１０、Ｇ１１のフレームを識別可能な情報（例えばフレーム番号等）と対応付けて、当該第１検出結果データを保持する。なお、第１検出結果保持部２０４１３が保持可能な第１検出結果データの個数（フレーム数）は特に問わないものとする。
【００５２】
ところで、第１検出部２０４１で生成された第１検出結果データ（補正量）は、画像を合成する際に、第１変換テーブルＴ１のパラメータを補正するための補正データとして用いられる。そして、補正した第１変換テーブルＴ１に基づき歪み補正が行われることで、部分画像Ｇ００、Ｇ０１を合成する際の合成位置が補正される。
【００５３】
図１２及び図１３は、合成位置の補正処理を説明するための図である。なお、図１２、図１３では、説明の簡略化のため、同一フレームの第１補正画像Ｇ１０、Ｇ１１を縦に並べて配置している。
【００５４】
半円で表す被写体ＯＢ１は、時間的に連続するフレームにおいて位置が変動する動的被写体であり、第１補正画像Ｇ１０、Ｇ１１の重複領域に位置する。また、ひし形で表す被写体ＯＢ２は、時間的に連続するフレームにおいて位置が固定の静的被写体であり、第１補正画像Ｇ１０、Ｇ１１の重複領域以外の他の領域（非重複領域）に位置する。
【００５５】
図１２に示すように、被写体ＯＢ１について第１補正画像Ｇ１０と第１補正画像Ｇ１１とでズレ量Δ１のズレが発生している場合、ズレ量検出部２０４１１は、このズレ量Δ１を重複領域から検出する。
【００５６】
検出結果生成部２０４１２は、ズレ量検出部２０４１１が検出したズレ量Δ１に基づき、各座標値の補正量を第１検出結果データとして生成する。ここで、この第１検出結果データを用いて第１変換テーブルＴ１の各座標値を修正し、当該修正後の第１変換テーブルＴ１を用いて第１補正画像Ｇ１１を生成すると、図１３に示すように、第１補正画像Ｇ１１の各座標値をズレ量Δ１に応じた補正量だけシフトしたものとなる。このように、ズレ量検出部２０４１１が検出したズレ量Δ１に基づき変換後の座標値を補正することで、重複領域に存在する被写体ＯＢ１の位置を、第１補正画像Ｇ１０と第１補正画像Ｇ１１とで一致させることができる。
【００５７】
しかしながら、上記の補正方法を用いて部分画像Ｇ００、Ｇ０１から動画を生成すると、静的被写体が動いているように見えてしまう現象が発生する場合がある。以下、この現象を従来技術の問題点として図１４を参照して説明する。
【００５８】
図１４は、従来技術の問題点を説明するための図であり、時間的に連続する３つのフレーム（Ｎ−１，Ｎ，Ｎ＋１）分の第１補正画像Ｇ１０、Ｇ１１を示している。
【００５９】
ここで、フレームＮ−１は、図１３で説明した、ズレ量補正後の第１補正画像Ｇ１０と第１補正画像Ｇ１１との関係を示す図である。このフレームＮ−１では、上述したように重複領域におけるズレ量がΔ１であるため、このズレ量に応じた補正量だけ第１補正画像Ｇ１１の各座標値を左にシフトした状態を示している。
【００６０】
フレームＮは、フレームＮ−１の次のフレームの第１補正画像Ｇ１０と第１補正画像Ｇ１１との関係を示す図である。このフレームＮでは、重複領域におけるズレ量がΔ２（Δ２＜Δ１）であるため、このズレ量に応じた補正量だけ第１補正画像Ｇ１１の各座標値を左にシフトした状態を示している。
【００６１】
フレームＮ＋１は、フレームＮの次のフレームの第１補正画像Ｇ１０と第１補正画像Ｇ１１との関係を示す図である。このフレームＮ＋１では、重複領域での被写体ＯＢ１の位置がマッチしているため、ズレ量はゼロである。この場合、検出結果生成部２０４１２は、全ての座標値について補正量ゼロを設定するため、第１変換テーブルＴ１の各座標値は補正されず、第１補正画像Ｇ１１は元のまま保持される。
【００６２】
ここで、第１補正画像Ｇ１１の被写体ＯＢ２に着目すると、フレームＮでシフトされていた被写体ＯＢ２の位置は、フレームＮ＋１で元の位置に戻る。そのため、フレームＮ−１〜フレームＮ＋１を動画として観察すると、動的被写体である被写体ＯＢ１の位置は同じとなるが、フレームＮからフレームＮ＋１にかけて、静的被写体である被写体ＯＢ２が右に動いているように見えてしまう。このように、従来の技術では、ズレ量に応じた補正量が第１補正画像Ｇ１１の全体に適用されてしまうため、部分画像Ｇ００、Ｇ０１を合成して動画像を生成すると、静的被写体が動いているように見えてしまう現象が発生する場合があった。このような現象は、画質低下の要因となるため改善が求められている。
【００６３】
そこで、本実施形態では、第２検出部２０４２によって第１補正画像Ｇ１１から静的被写体を検出し、その静的被写体が存在する領域に対する補正量の適用を抑制する。以下、第２検出部２０４２について説明する。
【００６４】
図４に示すように、第２検出部２０４２は、第２検出手段に対応する被写体検出部２０４２１と、第２検出結果保持部２０４２２とを有する。
【００６５】
被写体検出部２０４２１は、被探索画像となる第１補正画像Ｇ１１から静的被写体（或いは動的被写体）の検出を行う。より詳細には、時間的に連続する複数フレーム分の第１補正画像Ｇ１１を比較することで、当該第１補正画像Ｇ１１に含まれた静的被写体（或いは動的被写体）をフレーム毎に検出する。なお、静的被写体の検出方法は、特に問わず、パターンマッチングや、オプティカルフロー等の公知の技術を用いてもよい。
【００６６】
ここで、図１５を参照し、パターンマッチングを用いて静的被写体を検出する場合の被写体検出部２０４２１の動作について説明する。図１５は、被写体検出部２０４２１の動作を説明するための図であり、連続する３フレーム（Ｎ−１，Ｎ，Ｎ＋１）分の第１補正画像Ｇ１１を示している。
【００６７】
まず、被写体検出部２０４２１は、第１補正画像Ｇ１１に対しエッジ強調処理等を施すことで、画像中に含まれた被写体の形状を表す領域（被写体領域）を検出する。これにより、被写体検出部２０４２１は、各フレームの第１補正画像Ｇ１１から被写体ＯＢ１及びＯＢ２を検出する。なお、被写体検出部２０４２１は、重複領域以外の他の領域から被写体の検出を行うことが好ましい。より好ましくは、被写体検出部２０４２１は、検出した被写体のうち、一部又は全部が重複領域に含まれる被写体を除外した残りの被写体を検出する。
【００６８】
次いで、被写体検出部２０４２１は、検出した被写体を前後のフレーム間でパターンマッチングする。ここで、静的被写体については、フレーム間での位置が略同等となるため、被写体検出部２０４２１は、パターンマッチングの結果から被写体ＯＢ２を静的被写体として検出することができる。また、動的被写体については、フレーム間の位置が変動（移動）するため、被写体検出部２０４２１は、パターンマッチングの結果から動的被写体を検出することができる。
【００６９】
被写体検出部２０４２１は、第１補正画像Ｇ１１から静的被写体（或いは動的被写体）を検出すると、その被写体が存在する領域を指示する情報を第２検出結果データとして生成する。例えば、図１５では、被写体検出部２０４２１は、被写体ＯＢ２を囲む矩形の領域Ａ１を静的被写体が存在する領域として検出する。この場合、被写体検出部２０４２１は、領域Ａ１の四隅の座標値（θ，φ）や、当該領域Ａ１に含まれる各画素の座標値（θ，φ）等を第２検出結果データとして生成する。なお、被写体検出部２０４２１が検出する領域の形状は矩形に限らず、円や多角形の他、エッジ強調により得られた輪郭そのもの等としてもよい。
【００７０】
また、動体検出にパターンマッチングを用いる場合には、被写体検出部２０４２１は、ズレ量検出部２０４１１と協働することで、第１補正画像Ｇ１１から静的被写体（或いは動的被写体）を検出する構成としてもよい。
【００７１】
図４に戻り、第２検出結果保持部２０４２２は、被写体検出部２０４２１で検出された第２検出結果データを複数フレーム分保持する。より詳細には、第２検出結果保持部２０４２２は、第２検出結果データの生成元となった第１補正画像Ｇ１１のフレームを識別可能な情報と対応付けて、当該第２検出結果データを保持する。なお、第２検出結果保持部２０４２２が保持可能な第２検出結果データの個数（フレーム数）は特に問わず、第１検出結果保持部２０４１３と同数としてもよい。
【００７２】
パラメータ補正部２０６は、補正手段に対応する機能部である。パラメータ補正部２０６は、第１検出結果保持部２０４１３及び第２検出結果保持部２０４２２が保持するフレーム毎のデータに基づき、第１変換テーブルＴ１のパラメータを補正する。
【００７３】
より詳細には、パラメータ補正部２０６は、第１検出結果データに含まれた各座標値の補正量のうち、第２検出結果データで指示された静的被写体が存在する領域の補正量をゼロとすることで、第１検出結果データを補正する。また、パラメータ補正部２０６は、補正した第１検出結果データに基づき、変換後の画像が球面座標上で位置合わせされるよう第１変換テーブルＴ１を修正する。具体的には、パラメータ補正部２０６は、部分画像Ｇ０１の歪み補正に用いる第１変換テーブルＴ１において、入力座標値（θ，φ）に対し、修正前には（θ＋Δθ，φ＋Δφ）に対応付けられていた（ｘ，ｙ）を対応付けるように補正する。なお、部分画像Ｇ００の歪み補正に用いた第１変換テーブルＴ１については、対応付けを補正する必要はない。
【００７４】
図１６を参照して、パラメータ補正部２０６の動作について説明する。図１６は、パラメータ補正部２０６の動作を説明するための図である。なお、図１６に示す３フレーム分の第１補正画像Ｇ１０、Ｇ１１は、上述した図１４の各フレームの第１補正画像Ｇ１０、Ｇ１１の状態に対応する。
【００７５】
第１検出結果保持部２０４１３は、上述したズレ量検出部２０４１１の処理により、各フレーム（Ｎ−１，Ｎ，Ｎ＋１）について生成された第１検出結果データを保持する。また、第２検出結果保持部２０４２２は、被写体検出部２０４２１の処理により、各フレーム（Ｎ−１，Ｎ，Ｎ＋１）から検出された静的被写体（被写体ＯＢ２）の存在領域を指示する第２検出結果データを保持する。
【００７６】
パラメータ補正部２０６は、保持された第１検出結果データと第２検出結果データとに基づき、当該第１検出結果データのパラメータをフレーム毎に補正する。
【００７７】
例えば、パラメータ補正部２０６は、フレームＮ−１の第１検出結果データに含まれた各座標値の補正量（Δθ，Δφ）のうち、当該フレームＮ−１の第２検出結果データで指示された領域Ａ１に含まれる座標値の補正量をゼロに設定することで無効化する。そして、パラメータ補正部２０６は、補正した第１検出結果データに基づき、第１変換テーブルＴ１のパラメータを補正する。また、パラメータ補正部２０６は、フレームＮ、Ｎ＋１についても同様に上記の処理を行うことで、第１変換テーブルＴ１をフレーム毎に補正する。
【００７８】
ここで、補正後の第１変換テーブルＴ１で歪み補正された各フレームの第１補正画像Ｇ１１は、動的被写体（被写体ＯＢ１）の位置が補正量に応じた分だけシフトされ、静的被写体（被写体ＯＢ２）の位置は元のまま維持されたものとなる。このように、本実施形態の撮像システム１０では、補正量を適用する範囲を動的被写体（被写体ＯＢ１）が存在する領域とし、静的被写体（被写体ＯＢ２）が存在する領域については補正量をゼロとすることで、図１４で説明した静的被写体が動いて見えるような現象の発生を抑制する。
【００７９】
なお、第２検出結果データが動的被写体の存在領域を指示する場合には、パラメータ補正部２０６は、第２検出結果データが指示する領域を除いた残りの領域の補正量をゼロとすることで、第１検出結果データの補正を行うものとする。
【００８０】
図４に戻り、テーブル生成部２０８は、データ生成手段に対応する機能部である。テーブル生成部２０８は、パラメータ補正部２０６により補正された第１変換テーブルＴ１から、回転座標変換することによって、画像合成用の第２変換テーブルＴ２（第２変換データ）を生成する。以下、図１７を参照して、第２変換テーブルＴ２の生成に係るテーブル生成部２０８の動作について説明する。
【００８１】
図１７は、２つの部分画像の球面座標系へのマッピングを説明するための図である。テーブル生成部２０８は、第２変換テーブルＴ２の入力値となる画像合成用の球面座標系の座標値（θg，φg）毎に、以下の処理を実行する。なお、設定される座標値の範囲は、水平角度の全範囲（０〜３６０度）及び垂直角度の全範囲（０〜１８０度）で定義される範囲となる。また、入力値になる全座標値について変換処理を行うため、ここで各座標値が順に設定される。
【００８２】
まず、テーブル生成部２０８は、回転座標変換により、上記座標値（θg，φg）に対応する、球面座標系の座標値（θd，φd）を求める。回転座標変換により、図８に示すような、一方のレンズ光学系の光軸を軸とした水平角度θd及び垂直角度φdの座標軸の定義から、図１７に示すような、光軸に垂直な軸を基準とした水平角度θg及び垂直角度φgの定義に変換される。上記座標（θg，φg）に対応する座標（θd，φd）は、回転座標変換に基づき、動径を１とし、画像合成用の球面座標系の座標（θg，φg）に対応する３次元直交座標（ｘg，ｙg，ｚg）及び位置検出用の球面座標系の座標（θd，φd）に対応する３次元直交座標（ｘd，ｙd，ｚd）を用いて、下記式（２）で計算することができる。なお、下記式（２）中、係数βは、３次元直交座標におけるｘ軸周りの回転座標変換を規定する回転角であり、説明する実施形態では、９０度である。
【００８３】
【数２】
2017208619.tif 000004
【００８４】
第１変換テーブルＴ１では、光軸が球面の極に、画像間の重複領域が球面の赤道近傍に射影され、全天球画像フォーマットの上下方向と、撮影されたシーンの天頂方向が一致していない。これに対して、上記回転座標変換により、第２変換テーブルＴ２では、光軸が球面の赤道上に射影され、全天球画像フォーマットの上下方向と、撮影されたシーンの天頂方向とが一致するようになる。
【００８５】
テーブル生成部２０８は、部分画像Ｇ００及び部分画像Ｇ０１毎に、（θd，φd）に対応付けられる部分画像（０，１）の座標値（ｘ，ｙ）を、修正後のつなぎ位置検出用変換テーブルを参照して求める。なお、第１変換テーブルＴ１，第２変換テーブルＴ２は、θd及びφd共に、１画素きざみで対応する座標値（ｘ，ｙ）を保持しているが、変換により算出される座標値（θd，φd）は、典型的には、小数点以下の値で取得される。簡便には、対応付けられる部分画像Ｇ００、Ｇ０１の座標値（ｘ，ｙ）は、算出された座標値（θd，φd）の最近傍のテーブル中に存在する座標値に対応付けられる座標値（ｘ，ｙ）を採用することができる。また、好適な実施形態では、テーブルに存在するうち、最近傍の座標値及びその周囲の座標値に対応付けられる複数の座標値（ｘ，ｙ）を参照して、算出された座標（θd，φd）からの距離に応じて重み付け補間を行って、対応付けられる部分画像Ｇ００、Ｇ０１の座標値（ｘ，ｙ）を計算することもできる。テーブル生成部２０８は、すべての部分画像Ｇ００、Ｇ０１について上記の計算を行うことで、第２変換テーブルＴ２の全データが生成される。
【００８６】
図４に戻り、第２歪み補正部２１０は、第２変換手段に対応する機能部である。第２歪み補正部２１０は、第２変換テーブルＴ２を用いて、元の部分画像Ｇ００及び部分画像Ｇ０１に対し歪み補正を行い、画像合成用の第２補正画像Ｇ２０及び第２補正画像Ｇ２１を得る。これにより、第２歪み補正部２１０による処理の結果、魚眼レンズで撮像された２つの部分画像Ｇ００、Ｇ０１は、図１７に示すように、全天球画像フォーマット上に展開される。魚眼レンズ０により撮影された部分画像Ｇ００は、典型的には、全天球のうちの概ね左半球にマッピングされ、魚眼レンズ１により撮影された部分画像Ｇ０１は、全天球のうちの概ね右半球にマッピングされる。
【００８７】
図８と図１７とを比較すると、全天球フォーマットに対し、異なった位置に部分画像Ｇ００及び部分画像Ｇ０１がマッピングされており、シーンの天頂方向が画像の上下方向となるφ方向に一致している。部分画像Ｇ００、Ｇ０１の中心部が、より歪みの少ない赤道上にマッピングされ、第２補正画像Ｇ２０及び第２補正画像Ｇ２１間の重複領域は、図８に示したものと異なり、垂直角度０度及び１８０度付近、並びに、水平角度０度及び１８０度の近傍領域にマッピングされる。
【００８８】
画像合成部２１２は、画像合成手段に対応する機能部である。画像合成部２１２は、第２補正画像Ｇ２０及び第２補正画像Ｇ２１を合成する。合成処理では、画像間で重複する重複領域については、ブレンド処理等が行われ、片方しか画素値が存在しない領域については、存在するそのままの画素値が採用されることになる。上記合成処理により、魚眼レンズにより撮像された２枚の部分画像から、１枚の全天球画像が生成される。
【００８９】
図４に示す機能ブロックは、さらに、表示画像生成部２１４を含むことができる。表示画像生成部２１４は、全天球画像を平面表示デバイスに投影するための画像処理を実行し、表示画像を生成する。
【００９０】
図１８は、撮像システム１０で実行される画像合成処理の一例を示すフローチャートである。図１８に示す処理は、例えば、シャッター・ボタン１８の押下により動画の撮影が指示されたことに応答して開始される。
【００９１】
まず、固体撮像素子２２Ａ，２２Ｂは、部分画像Ｇ００及び部分画像Ｇ０１の撮影を開始する（ステップＳ１０１）。次いで、第１歪み補正部２０２は、部分画像Ｇ００及び部分画像Ｇ０１に対し、第１変換テーブルＴ１を用いて歪み補正を行うことで、第１補正画像Ｇ１０、Ｇ１１を生成する（ステップＳ１０２）。このとき、第１歪み補正部２０２は、３軸加速度センサ１２０のセンシング結果に基づき、第１変換テーブルＴ１に対し鉛直方向に応じた補正を行ってもよい。
【００９２】
続いて、第１検出部２０４１（ズレ量検出部２０４１１）は、第１補正画像Ｇ１０、Ｇ１１の重複領域において、画像間のズレ量を検出する（ステップＳ１０３）。次いで、第１検出部２０４１（検出結果生成部２０４１２）は、ステップＳ１０３で検出されたズレ量に基づき全座標値の補正量（第１検出結果データ）を生成する（ステップＳ１０４）。生成された第１検出結果データは、第１検出結果保持部２０４１３に保持される。
【００９３】
また、第２検出部２０４２（被写体検出部２０４２１）は、第１補正画像Ｇ１０、Ｇ１１の非重複領域において、静的被写体が存在する領域を検出し、第２検出結果データを生成する（ステップＳ１０５）。生成された第２検出結果データは、第２検出結果保持部２０４２２に保持される。
【００９４】
続いて、パラメータ補正部２０６は、同一フレームの第１検出結果データ及び第２検出結果データに基づき、静的被写体の存在する領域のズレ量をゼロとすることで、第１検出結果データを補正する（ステップＳ１０６）。次いで、パラメータ補正部２０６は、補正した第１検出結果データを用いて、第１変換テーブルＴ１のパラメータ（座標値）を、画像が球面座標上で位置合わせされるように補正する（ステップＳ１０７）。パラメータ補正部２０６は、ステップＳ１０７で補正された第１変換テーブルＴ１から、回転座標変換することによって、第２変換テーブルＴ２をフレーム毎に生成する（ステップＳ１０８）。
【００９５】
続いて、第２歪み補正部２１０は、第２変換テーブルＴ２を用いて、元の部分画像Ｇ００、Ｇ０１に対し歪み補正を行い、第２補正画像Ｇ２０、Ｇ２１を順次生成する（ステップＳ１０９）。次いで、画像合成部２１２は、生成されたフレーム毎の第２補正画像Ｇ２０、Ｇ２１を順次合成する（ステップＳ１１０）。上記の合成処理により、魚眼レンズにより撮像されたフレーム毎の部分画像Ｇ００、Ｇ０１から、全天球画像の合成画像（動画）が生成される。そして、画像合成部２１２は、生成した合成画像を外部ストレージ等に出力し（ステップＳ１１１）、本処理を終了する。
【００９６】
以上のように、本実施形態の撮像システム１０は、第１補正画像Ｇ１０と第１補正画像Ｇ１１との重複領域からズレ量を検出し、当該ズレ量に基づいて第１変換テーブルＴ１の各パラメータの補正量を第１検出結果データとして生成する。また、撮像システム１０は、第１補正画像Ｇ１１から静的（動的）な被写体が存在する領域を検出する。そして、撮像システム１０は、第１変換テーブルＴ１のパラメータを補正する際には、静的な被写体が存在する領域の補正量を無効化（ゼロ）とし、動的な被写体が存在する領域の補正量を用いて補正する。これにより、撮像システム１０では、補正量を適用する範囲を、静的な被写体が存在する領域を除いた他の領域、すなわち動的な被写体が存在する領域に制限することができるため、静的な被写体が存在する位置を保持することができる。したがって、撮像システム１０では、部分画像Ｇ００、Ｇ０１から動画を生成する場合に、静的な被写体が動いているように見えてしまう現象の発生を抑制することができ、得られる動画（（全天球画像）の品質を向上させることができる。
【００９７】
［他の実施形態］
上述した実施形態では、全天球の静止画を自身が備える撮像光学系により撮影し、内部の歪曲補正・画像合成ブロックで合成する撮像システム１０について説明した。しかしながら、画像処理装置及び撮像システムの構成は、これに限定されるものではない。例えば、複数の撮像光学系で撮影された複数の部分画像（動画又は静止画）の入力を受けて全天球画像（動画又は静止画）を生成するカメラ・プロセッサ等を上記画像処理装置として構成してもよい。また、撮影を専ら担当する撮像装置で撮影された複数の部分画像（動画又は静止画）の入力を受け付け、全天球画像（動画又は静止画）を合成するパーソナル・コンピュータ、ワークステーション、物理コンピュータ・システム上の仮想マシン等の情報処理装置、スマートフォン、タブレット等の携帯情報端末等を上記画像処理装置として構成してもよい。また、上述したカメラ・プロセッサ、情報処理装置、携帯情報端等の画像処理装置と、当該画像処理装置から分離された撮像光学系とを含む撮像システムとして構成してもよい。
【００９８】
以下、図１９及び図２０を参照しながら、撮像装置と、この撮像装置で撮影された複数の部分画像の入力を受けて、全天球画像を生成する外部のコンピュータ装置とを含む、他の実施形態における撮像システムについて説明する。図１９は、他の実施形態に係る撮像システム４００の概略を示す図である。
【００９９】
図１９に示す撮像システム４００は、撮像を担当する撮像装置４１０と、この撮像装置４１０と接続され、画像処理を担当するコンピュータ装置４３０とを含む。なお、図１９には、主要な構成のみを示している。また、上述した実施形態と同様の構成要素については、同一の符号を付与している。また、図１９及び図２０に示す実施形態による撮像システム４００は、全天球画像を合成する画像処理が専らコンピュータ装置４３０で行われることを除いて、上述した実施形態と同様の構成を備える。以下、相違点を中心に説明する。
【０１００】
図１９に示す実施形態において、撮像装置４１０は、デジタル・スチルカメラ・プロセッサ１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される３軸加速度センサ１２０とを含む。
【０１０１】
プロセッサ１００は、ＩＳＰ１０８Ａ、１０８Ｂと、ＵＳＢブロック１４６と、シリアルブロック１５８とを含み、ＵＳＢコネクタ１４８を介して接続されるコンピュータ装置４３０とのＵＳＢ通信を制御する。シリアルブロック１５８には、無線ＮＩＣ１６０が接続されており、ネットワークを介して接続されるコンピュータ装置４３０との無線通信を制御している。
【０１０２】
コンピュータ装置４３０は、デスクトップ型のパーソナル・コンピュータ、ワークステーション等の汎用コンピュータ等として構成することができる。コンピュータ装置４３０は、プロセッサ、メモリ、ＲＯＭ、ストレージ等のハードウェア・コンポーネントを備える。コンピュータ装置４３０は、ＵＳＢインタフェース４３２と、無線ＮＩＣ４３４とを含み、ＵＳＢバスまたはネットワークを介して、撮像装置４１０と接続されている。
【０１０３】
コンピュータ装置４３０は、さらに、画像合成にかかる処理ブロックとして、第１歪み補正部２０２と、位置検出部２０４と、パラメータ補正部２０６と、第２歪み補正部２１０と、画像合成部２１２とを備える。本実施形態では、鏡胴ユニット１０２の複数の撮像光学系により撮像された２つの部分画像と、撮像装置４１０の第１変換テーブルＴ１とが、ＵＳＢバスまたはネットワークを介して、コンピュータ装置４３０に転送される。
【０１０４】
コンピュータ装置４３０において、第１歪み補正部２０２は、撮像装置４１０から転送された部分画像Ｇ００、Ｇ０１に対し、第１変換テーブルＴ１を用いて歪み補正を施し、第１補正画像Ｇ１０、Ｇ１１を生成する。位置検出部２０４の第１検出部２０４１（ズレ量検出部２０４１１）は、第１補正画像Ｇ１０、Ｇ１１間のズレ量を検出し、第１検出結果データを生成する。また、位置検出部２０４の第２検出部２０４２（被写体検出部２０４２１）は、被探索画像となる第１補正画像Ｇ１１から静的被写体（或いは動的被写体）を検出し、第２検出結果データを生成する。
【０１０５】
パラメータ補正部２０６は、第１検出結果保持部２０４１３及び第２検出結果保持部２０４２２が保持するフレーム毎のデータに基づき、第１変換テーブルＴ１のパラメータを補正する。テーブル生成部２０８は、パラメータ補正部２０６により補正された第１変換テーブルＴ１から、回転座標変換することによって、画像合成用の第２変換テーブルＴ２を生成する。
【０１０６】
第２歪み補正部２１０は、元の部分画像Ｇ００及び部分画像Ｇ０１に対し、第２変換テーブルＴ２を用いて歪み補正をかけ、画像合成用の第２補正画像Ｇ２０、Ｇ２１を生成する。画像合成部２１２は、第２補正画像Ｇ２０、Ｇ２１を合成し、全天球画像フォーマットの合成画像を生成する。
【０１０７】
図１９に示す機能ブロックは、さらに、表示画像生成部２１４を含むことができる。表示画像生成部２１４は、全天球画像を平面表示デバイスに投影するための画像処理を実行し、表示画像を生成する。本実施形態によるコンピュータ装置４３０は、ＲＯＭやＨＤＤ等からプログラムを読み出し、ＲＡＭが提供する作業空間に展開することにより、ＣＰＵの制御の下、上述した各機能部及び以下後述する各処理を実現する。
【０１０８】
なお、図１９は、分離して構成された撮像システムを例示するものであり、この構成に限定されるものではない。撮像システムを実現するための各機能部は、１以上の撮像装置、１以上のコンピュータ・システム上に種々の態様で分散実装することができる。
【０１０９】
図２０は、撮像システム４００で実行される画像合成処理の一例を示すフローチャートである。図２０には、撮像装置４１０で撮像画像が入力された後、当該画像がコンピュータ装置４３０で保存されるまでの流れが説明されている。
【０１１０】
図２０に示す処理は、例えば、撮像装置４１０でシャッター・ボタンの押下により動画の撮影が指示されたことに応答して開始される。まず、撮像装置４１０内での処理が実行される。
【０１１１】
まず、撮像装置４１０では、固体撮像素子２２Ａ、２２Ｂが、部分画像Ｇ００及び部分画像Ｇ０１を撮影する（ステップＳ２０１）。次いで、撮像装置４１０は、ＵＳＢバスあるいはネットワークを介して、部分画像Ｇ００及び部分画像Ｇ０１をコンピュータ装置４３０へ転送する（ステップＳ２０２）。併せて、第１変換テーブルＴ１が、ＵＳＢバスあるいはネットワークを介してコンピュータ装置４３０に転送される。このとき、傾き補正もコンピュータ装置４３０側で行われる場合は、３軸加速度センサ１２０で取得された傾き情報がコンピュータ装置４３０へ転送される。
【０１１２】
なお、上述した撮像装置４１０の第１変換テーブルＴ１は、撮像装置４１０とコンピュータ装置４３０との間で互いに認識し合った際に転送しておいておけばよい。つまり、第１変換テーブルＴ１は、一度、コンピュータ装置４３０に転送されていればよい。第１変換テーブルＴ１は、例えば、図示しない記憶媒体に記憶されており、当該記憶媒体から第１変換テーブルＴ１が読み出され、コンピュータ装置４３０に転送される。
【０１１３】
一方、コンピュータ装置４３０では、第１歪み補正部２０２は、転送された部分画像Ｇ００及び部分画像Ｇ０１に対し、第１変換テーブルＴ１を用いて歪み補正を行うことで、第１補正画像Ｇ１０、Ｇ１１を生成する（ステップＳ２０３）。なお、傾き補正が転送先のコンピュータ装置４３０側で行われる場合は、転送された傾き情報に基づき、位置検出用変換テーブルに対し鉛直方向に応じた補正が事前に行われてもよい。
【０１１４】
続くステップＳ２０４〜Ｓ２１２の処理は、上述した図１８のステップＳ１０３〜Ｓ１１１と同様であるため説明を省略する。また、図２０に示した他の実施形態におけるフローチャートにかかる動作も、コンピュータ上のプログラムに実行させることができる。すなわち、撮像装置４１０の動作を制御するＣＰＵ、コンピュータ装置４３０の動作を制御するＣＰＵが、それぞれ、ＲＯＭ、ＲＡＭ等の記憶媒体に格納されたプログラムを読み出し、メモリ上に展開することにより、上述した全天球画像合成処理の各担当部分の処理を実現する。
【０１１５】
以上説明した実施形態によれば、画像の合成位置を補正する場合に、静的な被写体が動いているように見えてしまう現象の発生を抑えることが可能な画像処理装置、画像処理方法、プログラム及び撮像システムを提供することができる。
【０１１６】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１７】
例えば、上記実施形態では、パイプライン動作が可能となるよう第１歪み補正部２０２と第２歪み補正部２１０とを別体としたが、これに限らず、第１歪み補正部２０２と第２歪み補正部２１０とを一体化した構成としてもよい。
【０１１８】
また、上記実施形態では、静止画及び動画の撮影方式によらず、図１８（図２０）の画像合成処理を行うものとしたが、これに限らず、撮影方式に応じて第１変換テーブルＴ１の補正方法を切り替えてもよい。具体的には、撮影方式が動画の場合には、上述したように、静的被写体が存在する領域の補正量を無効化し、動的被写体の存在する領域の補正量を用いて第１変換テーブルＴ１の一部のパラメータを補正する。また、撮影方式が静止画の場合には、図１４で説明したように、検出結果生成部２０４１２が生成した第１検出結果データを用いて第１変換テーブルＴ１の全パラメータを補正する。
【０１１９】
また、上記実施形態では、２つの部分画像を重ね合わせて合成するものとしたが、３以上の部分画像の合成に適用してもよい。また、上記の実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、超広角レンズを用いた全天球撮像システムに適用してもよい。さらに、上述した好適な実施形態では、全天球画像の重ね合わせについて説明したが、特に限定されるものではなく、複数の画像のつなぎ位置を検出するいかなる画像処理にも適用可能であることは言うまでもない。
【０１２０】
また、上記実施形態の画像処理装置、撮像システムで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでフロッピー（登録商標）ディスク、ＣＤ（Compact  Disc）、ＣＤ−Ｒ（Compact  Disc-Recordable）、ＣＤ−ＲＯＭ（Compact  Disc  Read  Only  Memory）、ＤＶＤ（Digital  Versatile  Disc）、ＳＤメモリカード（SD  memory  card）、ＵＳＢメモリ（Universal  Serial  Bus  memory）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１２１】
また、上記実施形態の画像処理装置、撮像システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせること等により提供するように構成してもよい。
【符号の説明】
【０１２２】
１０、４００  撮像システム
２０２  第１歪み補正部
２０４  位置検出部
２０４１  第１検出部
２０４１１  ズレ量検出部
２０４１２  検出結果生成部
２０４１３  第１検出結果保持部
２０４２  第２検出部
２０４２１  被写体検出部
２０４２２  第２検出結果保持部
２０６  パラメータ補正部
２０８  テーブル生成部
２１０  第２歪み補正部
２１２  画像合成部
２１４  表示画像生成部
４１０  撮像装置
４３０  コンピュータ装置
【先行技術文献】
【特許文献】
【０１２３】
【特許文献１】特許第５８４６１７２号公報
【図１】
2017208619.tif 000005
【図２】
2017208619.tif 000006
【図３】
2017208619.tif 000007
【図４】
2017208619.tif 000008
【図５】
2017208619.tif 000009
【図６】
2017208619.tif 000010
【図７】
2017208619.tif 000011
【図８】
2017208619.tif 000012
【図９】
2017208619.tif 000013
【図１０】
2017208619.tif 000014
【図１１】
2017208619.tif 000015
【図１２】
2017208619.tif 000016
【図１３】
2017208619.tif 000017
【図１４】
2017208619.tif 000018
【図１５】
2017208619.tif 000019
【図１６】
2017208619.tif 000020
【図１７】
2017208619.tif 000021
【図１８】
2017208619.tif 000022
【図１９】
2017208619.tif 000023
【図２０】
2017208619.tif 000024