(57)【要約】【課題】本発明は画像処理方法及び画像処理装置を提供する。【解決手段】本発明の画像処理方法は、同一の位置から相反する結像方向に沿って取得された魚眼画像である第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影するステップと、前記第1の半球投影モデルと前記第1の半球投影モデルにおいて繋ぎ合わせ面の集合を特定するステップと、前記繋ぎ合わせ面の集合に基づいて、カスタマイズ化投影モデルを生成するステップと、前記第1の画像と前記第2の画像を前記カスタマイズ化投影モデルに投影して第3の画像を生成するステップと、を含む。【選択図】図２
2018067296.tif 000002
【特許請求の範囲】
【請求項１】
同一の位置から相反する結像方向に沿って取得された魚眼画像である第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影する第1のステップと、
前記第1の半球投影モデルと前記第1の半球投影モデルにおいて繋ぎ合わせ面の集合を特定する第2のステップと、
前記繋ぎ合わせ面の集合に基づいて、カスタマイズ化投影モデルを生成する第3のステップと、
前記第1の画像と前記第2の画像を前記カスタマイズ化投影モデルに投影して第3の画像を生成する第4のステップと、を含む画像処理方法。
【請求項２】
前記第1のステップは、
前記第1の画像と前記第2の画像に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ生成するステップと、
前記第1のテクスチャマッピングと前記第2のテクスチャマッピングを前記第1の半球投影モデルと前記第2の半球投影モデルにそれぞれ投影するステップと、を含む請求項1に記載の画像処理方法。
【請求項３】
前記第2のステップは、
第1の方向に沿って、投影された前記第1のテクスチャマッピングと前記第2のテクスチャマッピングから第1の特徴点を抽出するステップと、
前記第1の方向に直交する第2の方向に沿って、特定された前記第1の特徴点にマッチングし前記第1の特徴点と一対の特徴点対となる第2の特徴点を、前記第2のテクスチャマッピングから特定するステップと、
すべてのマッチングする特徴点対を有する面部を繋ぎ合わせ面部対として記憶するステップと、を含む請求項2に記載の画像処理方法。
【請求項４】
前記第3ステップは、
前記繋ぎ合わせ面部対毎に頂点の球面距離を0まで減縮して、前記カスタマイズ化投影モデルを生成するステップと、
前記カスタマイズ化投影モデルにおける繋ぎ合わせ面部毎に標記を付与するステップと、を含む請求項3に記載の画像処理方法。
【請求項５】
前記第4ステップは、
前記第1のテクスチャマッピングと前記第2のテクスチャマッピングをカスタマイズ化投影モデルに投影するステップと、
付与された前記の標記に基づいて、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングにおける角繋ぎ合わせ面部に対して処理を実行して前記第3の画像を生成するステップと、を含む請求項4に記載の画像処理方法。
【請求項６】
同一の位置から相反する結像方向に沿って取得された魚眼画像である第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影する投影手段と、
前記第1の半球投影モデルと前記第1の半球投影モデルにおいて繋ぎ合わせ面の集合を特定する繋ぎ合わせ手段と、
前記繋ぎ合わせ面の集合に基づいて、カスタマイズ化投影モデルを生成するカスタマイズ化投影モデル生成手段と、を含む画像処理装置であって、
前記投影手段は、前記第1の画像と前記第2の画像を前記カスタマイズ化投影モデルに投影して第3の画像を生成する画像処理装置。
【請求項７】
前記投影手段は、
前記第1の画像と前記第2の画像に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ生成し、
前記第1のテクスチャマッピングと前記第2のテクスチャマッピングを前記第1の半球投影モデルと前記第2の半球投影モデルにそれぞれ投影する、請求項6に記載の画像処理装置。
【請求項８】
前記繋ぎ合わせ面特定手段は、
第1の方向に沿って、投影された前記第1のテクスチャマッピングと前記第2のテクスチャマッピングから特徴点を抽出し、
前記第1の方向に直交する第2の方向に沿って、特定された前記第1の特徴点にマッチングし前記第1の特徴点と一対の特徴点対となる第2の特徴点を、前記第2のテクスチャマッピングから特定し、
すべてのマッチングする特徴点対を有する面部を繋ぎ合わせ面部対として記憶する、請求項7に記載の画像処理装置。
【請求項９】
前記カスタマイズ化投影モデル生成手段は、
前記繋ぎ合わせ面部対毎に頂点の球面距離を0まで減縮して、前記カスタマイズ化投影モデルを生成し、
前記カスタマイズ化投影モデルにおける繋ぎ合わせ面部毎に標記を付与する、請求項8に記載の画像処理装置。
【請求項１０】
前記投影手段は、
前記第1のテクスチャマッピングと前記第2のテクスチャマッピングをカスタマイズ化投影モデルに投影し、
付与された前記の標記に基づいて、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングにおける角繋ぎ合わせ面部に対して処理を実行して前記第3の画像を生成する、請求項9に記載の画像処理装置。
【請求項１１】
コンピュータに、請求項１〜５の任意の1項に記載の画像処理方法を実行させるためのプログラム。
【請求項１２】
請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理分野に属し、詳しくは、カスタマイズ化投影モデルに基づく画像処理方法と画像処理装置に関する。
【背景技術】
【０００２】
従来、魚眼レンズ等の超広角レンズを用いてパノラマ画像を全方位から一回で採取することができる。パノラマ画像形成システムは、ズームレンズからの画像をセンサー面に送り、画像処理により繋ぎ合わせて生成する。パノラマ画像を生成するパノラマ投影は主に円柱投影、立方体投影及び球形投影がある。その中に、球形投影は死角がなく人体の視覚系に最も似るために、広く採用される。
【０００３】
上記球形パノラマ投影は、まず、単独または複数のレンズより画像を取得し、取得される画像に対して歪み補正処理を行う。そして、モジュールマッチングまたは特徴マッチングより画像マッチングを実行することにより、パノラマ画像を繋ぎ合わせるための部分画像における重なり領域を特定する。最後に、繋ぎ合わせたパノラマ画像を球面上に投影する。このような球形投影用パノラマ画像の生成処理は、画像処理装置において複雑な処理プロセスが必要とするため、静止画像または映像ファイルの後処理の場合にまだしも実施可能であるが、実況映像が流れる球形パノラマ投影の場合には、映像フレーム毎にすべての処理プロセスを繰り返し実行するため、画像処理装置の処理能力は足りなくなる。
【０００４】
このために、実況パノラマ球形投影の性能を高めて、映像用の実況パノラマ球形投影を実現できる画像処理方法及びその画像処理方法を適用可能な画像処理装置が要望される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情を鑑みて、カスタマイズ化投影モデルに基づく画像処理方法及び画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一実施例より、同一の位置から相反する結像方向に沿って取得された魚眼画像である第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影する第1のステップと、前記第1の半球投影モデルと前記第1の半球投影モデルにおいて繋ぎ合わせ面の集合を特定する第2のステップと、前記繋ぎ合わせ面の集合に基づいて、カスタマイズ化投影モデルを生成する第3のステップと、前記第1の画像と前記第2の画像を前記カスタマイズ化投影モデルに投影して第3の画像を生成する第4のステップと、を含む画像処理方法を提供する。
【０００７】
また、本発明の別の実施例より、前記第1のステップは、前記第1の画像と前記第2の画像に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ生成するステップと、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングを前記第1の半球投影モデルと前記第2の半球投影モデルにそれぞれ投影するステップと、を含む画像処理方法。
【０００８】
また、本発明の別の実施例より、前記第2のステップは、第1の方向に沿って、投影された前記第1のテクスチャマッピングと前記第2のテクスチャマッピングから特徴点を抽出するステップと、前記第1の方向に直交する第2の方向に沿って、特定された前記第1の特徴点にマッチングし前記第1の特徴点と一対の特徴点対となる第2の特徴点を、前記第2のテクスチャマッピングから特定するステップと、すべてのマッチングする特徴点対を有する面部を繋ぎ合わせ面部対として記憶するステップと、を含む画像処理方法。
【０００９】
また、本発明の別の実施例より、前記第3ステップは、前記繋ぎ合わせ面部対毎に頂点の球面距離を0まで減縮して、前記カスタマイズ化投影モデルを生成するステップと、前記カスタマイズ化投影モデルにおける繋ぎ合わせ面部毎に標記を付与するステップと、を含む画像処理方法。
【００１０】
また、本発明の別の実施例より、前記第4ステップは、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングをカスタマイズ化投影モデルに投影するステップと、
付与された前記の標記に基づいて、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングにおける角繋ぎ合わせ面部に対して処理を実行して前記第3の画像を生成するステップと、を含む画像処理方法。
【００１１】
また、本発明の別の実施例より、同一の位置から相反する結像方向に沿って取得された魚眼画像である第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影する投影手段と、前記第1の半球投影モデルと前記第1の半球投影モデルにおいて繋ぎ合わせ面の集合を特定する繋ぎ合わせ手段と、前記繋ぎ合わせ面の集合に基づいて、カスタマイズ化投影モデルを生成するカスタマイズ化投影モデル生成手段と、を含む画像処理装置において、前記投影手段は、前記第1の画像と前記第2の画像を前記カスタマイズ化投影モデルに投影して第3の画像を生成する画像処理装置。
【００１２】
また、本発明の別の実施例より、前記投影手段は、前記第1の画像と前記第2の画像に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ生成し、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングを前記第1の半球投影モデルと前記第2の半球投影モデルにそれぞれ投影する画像処理装置。
【００１３】
また、本発明の別の実施例より、前記繋ぎ合わせ面特定手段は、第1の方向に沿って、投影された前記第1のテクスチャマッピングと前記第2のテクスチャマッピングから特徴点を抽出し、前記第1の方向に直交する第2の方向に沿って、特定された前記第1の特徴点にマッチングし前記第1の特徴点と一対の特徴点対となる第2の特徴点を、前記第2のテクスチャマッピングから特定し、すべてのマッチングする特徴点対を有する面部を繋ぎ合わせ面部対として記憶する画像処理装置。
【００１４】
また、本発明の別の実施例より、前記カスタマイズ化投影モデル生成手段は、前記繋ぎ合わせ面部対毎に頂点の球面距離を0まで減縮して、前記カスタマイズ化投影モデルを生成し、前記カスタマイズ化投影モデルにおける繋ぎ合わせ面部毎に標記を付与する画像処理装置。
【００１５】
また、本発明の別の実施例より、前記投影手段は、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングをカスタマイズ化投影モデルに投影し、付与された前記の標記に基づいて、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングにおける角繋ぎ合わせ面部に対して処理を実行して前記第3の画像を生成する画像処理装置。
【図面の簡単な説明】
【００１６】
以下の図面を参照して本発明の実施例を更に詳しく説明し、上記した本発明の目的、特徴及び優れる点をより明確に示す。以下の図面は、本発明の実施例を理解することに寄与し、かつ本発明を構成するものであり、実施例と共に本発明を説明することに用いるが、本発明を限定するものではない。各図面において同じ構成要件または同じステップについて、同じ標記を用いて示す。
【図１】本実施例のパノラマ画像形成システムの構成を示す図である。
【図２】本実施例にかかわる画像処理方法のフロー図である。
【図３】本実施例にかかわる画像処理方法における初期投影処理のフローを示す図である。
【図４Ａ】初期投影処理において投影の有効領域を特定する処理を示す図である。
【図４Ｂ】初期投影処理において投影の有効領域を特定する処理を示す図である
【図４Ｃ】初期投影処理において投影の有効領域を特定する処理を示す図である。
【図５Ａ】初期投影処理において投影及び関連する座標変換を示す図である。
【図５Ｂ】初期投影処理において投影及び関連する座標変換を示す図である。
【図６】本実施例の画像処理方法における繋ぎ合わせ面対の集合の特定を示す図である。
【図７Ａ】繋ぎ合わせ面部を特定する処理において繋ぎ合わせ面部対の集合を特定する方法を説明するための図である。
【図７Ｂ】繋ぎ合わせ面部を特定する処理において繋ぎ合わせ面部対の集合を特定する方法を説明するための図である。
【図８】本実施例にかかわる画像処理方法におけるカスタマイズ化投影モデル生成処理のフロー図である。
【図９Ａ】カスタマイズ化投影モデル生成処理におけるカスタマイズ化投影モデル及びその上の標記を示す図である。
【図９Ｂ】カスタマイズ化投影モデル生成処理におけるカスタマイズ化投影モデル及びその上の標記を示す図である。
【図９Ｃ】カスタマイズ化投影モデル生成処理におけるカスタマイズ化投影モデル及びその上の標記を示す図である。
【図１０】本実施例の画像処理方法におけるカスタマイズ化投影モデルへの投影処理フローを示す図である。
【図１１Ａ】カスタマイズ化投影モデルへの投影処理において投影して生成したパノラマ画像を示す図である。
【図１１Ｂ】カスタマイズ化投影モデルへの投影処理において投影して生成したパノラマ画像パノラマ画像を示す図である。
【図１１Ｃ】カスタマイズ化投影モデルへの投影処理において投影して生成したパノラマ画像を示す。
【図１２】本実施例の画像処理装置の構成を示す図である。
【図１３】本実施例の画像処理デバイスの構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下は図面を参照し本発明の実施例を用いて本発明の目的及び特徴を詳しく説明する。ただし、以下に説明する実施例は本発明の一例に過ぎず、本発明を制限するものではない。当業者が本実施例に基づいて想到し得る他の実施例は本発明の範疇に属する。
【００１８】
以下は図面を参照して実施例を説明する。
【００１９】
図1は本実施例のパノラマ画像形成システムの構成を示す図である。図1に示すように、本実施例のパノラマ画像形成システム10は画像形成部12、画像形成部等の部品を保持するケース14、及びケース14に設けられるシャッターキー18を具備する。
【００２０】
具体的に、画像形成部12は2つの画像形成光学系20A、20B及び2つのイメージセンサー22A、22B（例えば、CCDセンサーやCMOSセンサー）より構成される。画像形成光学系20A、20Bはともに複数の魚眼レンズ群により構成され、180度を超える（好ましくは185度を超える）視野を有する。
【００２１】
図1に示す実施例において、画像形成光学系20Aと20Bは同一規格のものである。両者は光軸が一致しながら対向（相反する）する方向に沿って取り付けられる。イメージセンサー22Aと22Bは画像形成光学系20Aと22Bからの光学分布を画像信号に変換してパノラマ画像形成システム10の画像処理装置（図示しない）に出力し、本発明の実施例にかかわる画像処理方法の実施に用いる。
【００２２】
ここで、図1に示すパノラマ画像形成システム10において、2つの画像形成光学系20A、20B（魚眼レンズ）は、光軸がほぼ重ね合うように位置固定されるために、結像面がほぼ平行し、且つ取得した2つの魚眼画像の画素線は補正されたものである。本発明の実施例にかかわる画像処理方法は、パノラマ画像形成システム10において、これらの特徴に基づいて、2つの基準半球モデルを繋ぎ合わせることにより生成されるカスタマイズ化投影モデルを予め構築しておく。そして、2つの魚眼レンズよりリアルタイムに取得する2つの魚眼画像をカスタマイズ化投影モデルに直接に投影することにより、パノラマ投影画像が得られる。
【００２３】
以下は、図面を参考して本実施例の画像処理方法及び画像処理装置を更に詳しく説明する。
【００２４】
図2は本実施例にかかわる画像処理方法のフロー図である。
【００２５】
ステップS201で、第1の画像と第2の画像をそれぞれ第1の半球投影モデルと第2の半球投影モデルに投影する。本実施例において、第1の画像と第2の画像は2つの魚眼レンズが同一の位置から相反する方向に沿って撮像された魚眼画像である。2つの魚眼レンズは上記したように、光軸がほぼ重ね合うように位置が固定される。以下、図面を参考し、第1の画像と第2の画像をそれぞれ第1の半球投影モデルと第2の半球投影モデルに投影する初期投影処理を詳細に説明する。ここで、ステップS202に進む。
【００２６】
ステップS202で、前記第1の半球投影モデルと前記第2の半球投影モデルにおいて繋ぎ合わせる面を特定する。本実施例において、まず、2つの魚眼画像から互いにマッチングする画素を見つける。例えば、特徴点抽出方法よりマッチングする特徴点を特定する。そして、第1の半球投影モデルにおいて特徴点を含む面部と、第2の半球投影モデルにおいて前記特徴点にマッチングする特徴点を含み面部とからなる一対の繋ぎ合わせ面の集合を繋ぎ合わせ面対の集合とする。以下、図面を参照して繋ぎ合わせ面部を特定する処理を説明する。そして、ステップS203に進む。
【００２７】
ステップS203で、繋ぎ合わせ面集合に基づいてカスタマイズ化投影モデルを生成する。本実施例において、ステップ202で得た繋ぎ合わせ面集合において、繋ぎ合わせ面対毎に2つの繋ぎ合わせ面の頂点間の球面距離を0まで減縮し、カスタマイズ化投影モデルを生成する。また、生成されたカスタマイズ化投影モデルにおいて、繋ぎ合わせ面に対して、繋ぎ合わせ待ち、冗長、正常等の標記を付与する。以下、図面を参照してカスタマイズ化投影モデルの生成処理を説明する。そして、ステップS204に進む。
【００２８】
ステップS204で、第1の画像と第2の画像をカスタマイズ化投影モデルに投影して第3の画像を生成する。本実施例において、この第3の画像は第1の画像と第2の画像をカスタマイズ化投影モデルに投影して生成された球形パノラマ投影画像である。次に図面を参照してカスタマイズ化投影モデルへの投影処理を詳しく説明する。
【００２９】
まず、図3〜図5Bに参照して本実施例にかかわる画像処理方法において初期投影に基づく処理を説明する。具体的に、図3は本実施例にかかわる画像処理方法における初期投影処理のフローを示す図である。図4A〜図4Cは初期投影処理において投影の有効領域を特定する処理を示す図である。図5Aと図5Bは初期投影処理において投影及び関連する座標変換を示す図である。
【００３０】
図3に示すように、本実施例にかかわる画像処理方法において、初期投影処理は以下のステップを備える。
【００３１】
ステップS301で、第1の画像に基づいて第1のテクスチャマッピングを生成し、また、第2の画像に基づいて第2のテクスチャマッピングを生成する。
【００３２】
ここで、図4A〜図4Cを参照して第1のテクスチャマッピングと第2のテクスチャマッピングの生成について説明する。図4Aにおいて、図1に参照して説明したパノラマ画像形成システム10の画像形成光学系20Aと20Bより取得した2つの魚眼画像を示す。第1のテクスチャマッピングと第2のテクスチャマッピングを得るために、これら2つの魚眼画像から、基準としての円形領域を抽出して、図4Bに示すように、半球へ投影するための2つの円形領域に分割する。
【００３３】
本実施例において、リニア走査方法を用い、基準としての円形領域を抽出してテクスチャマッピングを生成する。図4Cに示すように、上、下、左、右から魚眼画像の有効領域をリニア走査し、円形領域を取得して基準とする。
【００３４】
図3に戻る。第1のテクスチャマッピングと第2のテクスチャマッピングを取得すると、ステップS302に進む。
【００３５】
ステップS302で、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ第1の半球投影モデルと第2の半球投影モデルに投影する。
【００３６】
ここで、図5Aと図5Bに参照して投影及び関連する座標の変換について説明する。図5AはステップS301で取得した第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ第1の半球投影モデルと第2の半球投影モデルに投影した効果を示す。投影において、地図投影法を利用し、魚眼画像座標系、テクスチャマッピング座標系、及び球面座標系間の座標変換を行った。図5Bは球面座標（R,θ,φ）とテクスチャマッピング座標系（u,v）及び魚眼画像座標系（x1,y1）とのそれぞれの関係を示す。
【００３７】
x=R×sinθ×cosφ
y=R×cosθ
z=R×sinθ×sinφ
x1=R1×sinθ×cosφ
y1=R1×cosθ
u=R1×sinθ×cosR1
v=-R1×cosθR1
球面座標（R,θ,φ）と魚眼画像座標系（x1,y1）、及びテクスチャマッピング座標系（u,v）と魚眼画像座標系（x1,y1）はそれぞれ上記の式で変換される。
【００３８】
次に、図6〜図7Bに参照して本実施例にかかわる画像処理方法における繋ぎ合わせ面部を特定する処理について説明する。具体的に、図6は本実施例の画像処理方法における繋ぎ合わせ面対の集合の特定を示す図である。図7Aと図7Bは繋ぎ合わせ面部を特定する処理において繋ぎ合わせ面部対の集合を特定する方法を説明するための図である。
【００３９】
ステップS302で第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ第1の半球投影モデルと第2の半球投影モデルに投影すると、ステップS601で繋ぎ合わせ面対を特定する処理が開始する。図6に示すように、本実施例の画像処理方法において繋ぎ合わせ面対を特定する処理は以下のステップを具備する。
【００４０】
ステップS601で、第1の方向に沿って、投影された第1のテクスチャマッピングと第2のテクスチャマッピングから特徴点を抽出する。
【００４１】
本実施例において、第1方向を経線方向とする。また、特徴点の抽出は、4例えば、SIFT(Scale-Invariant  Feature  Transform)法、SURF（Speeded  Up  Robust  Features）法又はORB特徴検出法を用いて実行する。更に、図1に参照して説明したパノラマ画像形成システム10の画像形成光学系20A,20Bから取得した2つの魚眼画像の間に、重複領域が円周近傍に位置する比較的狭い領域しかなく、且つ2つの魚眼画像に対して、投影前に補正が行われたために、球面全体から特徴の抽出及びマッチングの必要がなく、2つの半球底部近傍の経線方向に沿って特徴抽出のみを実施すればよい。そして、処理はステップS602に進む。
【００４２】
ステップS602で、第1の方向に直交する第2の方向に沿って、第2のテクスチャマッピングから、第1のテクスチャマッピングから特定された第1の特徴点にマッチングする第2の特徴点を特定する。
【００４３】
本実施例において、第2の方向は緯線方向である。2つの画像形成光学系20Aと20B（魚眼レンズ）は、位置が固定され、光軸がほぼ重なり、結像面がほぼ平行するために、第1のテクスチャマッピング上の特徴点と、その特徴点にマッチングする第2のテクスチャマッピング上の特徴点は、球面上において同じ緯度に位置する。そして、ステップS603に進む。
【００４４】
ステップS603で、すべてマッチングする特徴点対を含む面部対を繋ぎ合わせ面部対の集合として記憶する。本実施例において、第1のテクスチャマッピングにおける特徴点とその特徴点にマッチングする第2のテクスチャマッピングにおける特徴点を特定した後に、第1のテクスチャマッピングと第2のテクスチャマッピングのそれぞれにおいて、マッチングする特徴点を有する一対の三角形面部を繋ぎ合わせ面部対とする。このようにして、すべてマッチングする特徴点を有する面部対を繋ぎ合わせ面部対の集合として特定される。
【００４５】
図7Aに示すように、第1の方向（経線方向）に沿って特徴点を抽出し、第2の方向（緯線方向）に沿って前記特徴点にマッチングする特徴点の特定を実行する。
【００４６】
また、図7Bに示すように、マッチングする特徴点は球面上の同緯度に位置する。マッチングするすべての特徴点対を繋ぎ合わせ面対の集合として記憶する。
【００４７】
次は、図8〜図9Cに参照して本実施例にかかわる画像処理方法におけるカスタマイズ化投影モデル生成処理を説明する。図8は本実施例にかかわる画像処理方法におけるカスタマイズ化投影モデル生成処理のフロー図である。図9A〜図9Cはカスタマイズ化投影モデル生成処理におけるカスタマイズ化投影モデル及びその上の標記を示す。
【００４８】
ステップS603で、すべてマッチングする特徴点対を有する繋ぎ合わせ面対の集合として記憶した後に、ステップS801でカスタマイズ化投影モデル生成処理を開始する。図8に示すように、本実施例の画像処理方法におけるカスタマイズ化投影モデル生成処理は以下のステップを含む。
【００４９】
ステップS801で、繋ぎ合わせ面対毎に頂点間の球面距離を0まで減縮し、カスタマイズ化投影モデルを生成する。
【００５０】
ここで、図9Aと図9Bに参照して繋ぎ合わせ面対の頂点間球面距離の減縮について説明する。図9Aに繋ぎ合わせ面対の頂点間球面距離を後ほど生成されるカスタマイズ化投影モデルまで減縮する効果を示す。
【００５１】
図9Bに球面座標系とテクスチャマッピング座標系において1つの繋ぎ合わせ面対の頂点であるP1とP2を示す。球面座標系におけるP1(x1,y1,z1)とP2(x2,y2,z2)は、テクスチャマッピング座標系においてP1(u1,v1)とP2(u2,v2)となる。繋ぎ合わせ面対の頂点P1とP2間の球面距離を0まで減縮するには、次の式を満たす必要がある。
【００５２】
acos(cosv1cosv2cos(u1-u2)+sinv1sinv2)=0
ステップS801でカスタマイズ化投影モデルを得た後に、投影画像処理を実行するために、ステップS802に進む。
【００５３】
ステップS802で、カスタマイズ化投影モデルにおける各面部に標記を付与する。本実施例において、例えば繋ぎ合わせ待ち、冗長、正常を使用して付与する。
【００５４】
図9Cにカスタマイズ化投影モデルにおける各標記を示す。図9Cに示すように、カスタマイズ化投影モデルにおいて、重複領域から遠く離れる三角形面部に正常「T1」、重複領域に位置する三角形面部に繋ぎ合わせ待ち「T2」、減縮処理を経た後にカスタマイズ化投影モデル外で元の半球面に位置する一部の三角形面部に冗長「T3」を与える。
【００５５】
上記の処理によって、図1に参照して説明してきたパノラマ画像形成システム10は、パノラマ画像投影に適し且つ標記が付与されたカスタマイズ化投影モデルを得る。
【００５６】
最後に、図10から図11Cに参照して本実施例の画像処理方法におけるパノラマ画像投影モデルへの投影処理を説明する。具体的に、図10は本実施例お画像処理方法におけるカスタマイズ化投影モデルへの投影の処理フローを示す。図11A〜図11Cはカスタマイズ化投影モデル投影処理における投影、生成したパノラマ画像を示す。
【００５７】
ステップS802で、パノラマ画像投影に用いられ表記が付与されたカスタマイズ化投影モデルを取得した後に、ステップS1001で、カスタマイズ化投影モデルへ投影する処理を開始する。図10に示すように、本実施例の画像処理方法においてカスタマイズ化投影モデルへの投影処理に以下のステップを有する。
【００５８】
ステップS1001で、第1のテクスチャマッピングと第2のテクスチャマッピングをカスタマイズ化投影モデルに投影する。
【００５９】
次に、ステップS1002で、上記した標記に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングにおいて面部毎に処理を行い、第3の画像を生成する。
【００６０】
例えば、標記が正常「T1」と付与された上述した三角形面部対に対して、状態を変えずに投影を行う。表記が繋ぎ合わせ待ち「T2」と付与された三角形面部対に対して、第1のテクスチャマッピング及び第2のテクスチャマッピングに重り付け平均値を与え、この重り付け平均値に基づいて第1のテクスチャマッピングと第2のテクスチャマッピングの融合を実行する。更に、表記が冗長「T3」と付与された三角形面部対に対して、透明度が０であると直接に設定する。
【００６１】
図11Aは第1のテクスチャマッピングと第2のテクスチャマッピング及び生成されたカスタマイズ化投影モデルを示す。図11Bは第1のテクスチャマッピングと第2のテクスチャマッピングを生成されたカスタマイズ化投影モデルに投影する投影効果を示す。図11Cは標記に基づいて投影された画像に対して融合処理を行った後の全体効果を示す。
【００６２】
図12は本実施例の画像処理装置の構成を示す図である。図12に示すように、本実施例の画像処理装置120は、投影部1201、繋ぎ合わせ面特定部1202、及びカスタマイズ化投影モデル生成部1203を有する。図1に参照して説明したパノラマ画像形成システム10に画像処理装置120を設置することができる。
【００６３】
投影部1201は第1の画像と第2の画像を第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影するものである。繋ぎ合わせ面特定部1202は第1の半球投影モデル上と第2の半球投影モデル上に含む繋ぎ合わせ面の集合を特定するものである。カスタマイズ化投影モデル生成部1203は、繋ぎ合わせ面の集合に基づいてカスタマイズ化投影モデルを生成するものである。その中に、投影部1201は更に、同一の位置にから相反する方向に沿って撮影された魚眼画像である第1の画像と第2の画像をカスタマイズ化投影モデルに投影し第3の画像を生成するものである。
【００６４】
具体的に、投影部1201は、第1の画像と第2の画像に基づいて、第1のテクスチャマッピングと第2のテクスチャマッピングをそれぞれ生成し、第1の半球投影モデルと第2の半球投影モデルにそれぞれ投影する。
【００６５】
繋ぎ合わせ面特定部1202は、第1の方向に沿って、投影された第1のテクスチャマッピングと第2のテクスチャマッピングから特徴点を抽出し、前記の第1の方向に直交する第2の方向に沿って、前記の第2のテクスチャマッピングから、前記の第1のテクスチャマッピングから特定された第1の特徴点にマッチングする第2の特徴点を特定し、前記第1の特徴点と前記第2の特徴点をマッチングする一対の特徴点対とし、すべての特徴点対が位置する面部を繋ぎ合わせ面部対の集合として記憶する。
【００６６】
カスタマイズ化投影モデル生成部1203は、繋ぎ合わせ面部対毎に、頂点の球面距離を0まで減縮してカスタマイズ化投影モデルを生成し、且つ、前記カスタマイズ化投影モデルにおける各面部に対して標記を付与する。
【００６７】
また、前記投影部1201は、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングを前記カスタマイズ化投影モデルに投影し、前記標記に基づいて、前記第1のテクスチャマッピングと前記第2のテクスチャマッピングにおける各面部に対して処理を実行して第3の画像を生成する。
【００６８】
図13は本実施例の画像処理デバイスの構成を示すブロック図である。図13に示すように、本実施例の画像処理デバイス130は記憶部1301と処理部1302を備える。前記画像処理デバイス130は図1に示すパノラマ画像形成システム10に設置することができる。前記記憶部1301は、上記図2〜図11Cに参照して説明した画像処理方法を処理部1302に実行させるコンピュータプログラムのコマンドを記憶するものである。
【００６９】
以上、図1〜図13に参照して本実施例にかかわるカスタマイズ化投影モデルに基づく画像処理方法及び画像処理装置を説明した。カスタマイズ化投影モデルを予め構成することにより、取得された魚眼レンズを当該カスタマイズ化投影モデルに投影することができ、フレーム毎に特徴マッチング及び繋ぎ合わせ領域の特定を実行せずに、球形パノラマのリアル投影性能を向上することができる。
【００７０】
以上、実施例を用いて本発明の基本原理を説明した。当業者は、本発明の方法または装置の全部或いは一部のステップ/構成要件を理解した上で、ハードウェア、フォームウェア、ソフトウェアまたはこれらの組合せを用い、コンピュータまたはコンピュータネットワーク上で本発明を実現することができる。しかし、これは本発明に基づく基本プログラミング技術の適用に過ぎない。
【００７１】
従って、本発明の目的は、任意のコンピュータ上で一つのプログラムまたは一組のプログラムを実行させることにより実現される。コンピュータは公知の汎用装置でよい。また、本発明の目的は、前記の方法又は装置を実現するプログラム指令を含むプログラム製品より実現される。即ち、このようなプログラム製品は本発明の一形態であり、またこのようなプログラム製品が記憶される記憶媒体も本発明の形態にもなる。ここで、記憶媒体は、任意で公知の記憶媒体でよく、これから開発される任意の記憶媒体でもよい。
【００７２】
本発明の装置または方法における構成要件またはステップの分解及び/又は組み合わせは本発明の範疇である。上記した処理におけるステップは、説明通りの順序で時間順に実行してもよいが、これに限らない。ステップを並行して実行してもよく独立して実行してもよい。
【００７３】
本発明は上記した実施例に限定されない。設計上又はその他の理由で様々な変更、組合せやサブ組合せ、置き換えはできる。しかし、本発明の主旨に沿ういずれの変更や置き換え、改良等は本発明の範疇に属する。
【図１】
2018067296.tif 000003
【図２】
2018067296.tif 000004
【図３】
2018067296.tif 000005
【図４Ａ】
2018067296.tif 000006
【図４Ｂ】
2018067296.tif 000007
【図４Ｃ】
2018067296.tif 000008
【図５Ａ】
2018067296.tif 000009
【図５Ｂ】
2018067296.tif 000010
【図６】
2018067296.tif 000011
【図７Ａ】
2018067296.tif 000012
【図７Ｂ】
2018067296.tif 000013
【図８】
2018067296.tif 000014
【図９Ａ】
2018067296.tif 000015
【図９Ｂ】
2018067296.tif 000016
【図９Ｃ】
2018067296.tif 000017
【図１０】
2018067296.tif 000018
【図１１Ａ】
2018067296.tif 000019
【図１１Ｂ】
2018067296.tif 000020
【図１１Ｃ】
2018067296.tif 000021
【図１２】
2018067296.tif 000022
【図１３】
2018067296.tif 000023