(57)【要約】【課題】マルチカメラを用いるパノラマ画像合成方法において視差の影響を軽減するための画像合成は大きな計算力を必要とし動画を提供するためには、計算力のあるＰＣ、視差の少ないマルチカメラを必要としている。【解決手段】マルチカメラを用いるパノラマ画像合成方法においてパノラマ画像を合成する際にマルチカメラレンズからの入力画像を射出瞳から像までの最短距離を球体の半径とする球体に変換し、変換された画像を画像合成するマルチカメラ画像をパノラマ像合する。【選択図】図２
2014003561.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を合成して画像を得るマルチカメラ方式のパノラマカメラにおいてマルチカメラからの入力画像を球体変換し合成しパノラマ画像を得るマルチカメラによるパノラマ画像合成方法。球体変換画像処理の球体半径はレンズの射出瞳から画像までの最短距離を用いる。
【請求項２】
前記方法を実施するにあたり、ＰＣ処理を行う場合にＰＣの処理能力を測定するアプリケーションを用いＰＣの処理能力を測定し、処理能力内で合成できる視差のマルチカメラを用いるマルチカメラによるパノラマ画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。特に、本発明はパノラマ映像発生用マルチ・カメラ方式の撮像装置に関する。簡単な合成アルゴリズムにより特定用途向けに構成した撮像装置で、複数のカメラで構成するマルチカメラ方式に位置づけることができる。
【背景技術】
【０００２】
通常、パノラマ映像の生成は単一カメラによる複数画像撮影や複数カメラにより同時に撮影し、その画像をイメージプロセッサーによりパノラマ映像構成する必要がある。
米国特許ＵＳ２００３０２３５３４４Ａ１に記載のような従来の合成方法では、一番目に、全入力画像を平面に変換する。二番目に、入力された合成するべき画像から合成のための合成点を想定するために画像処理プログラムから合成点を計算する必要が有り、合成点を見いだすことが非常に複雑で難しい。
【０００３】
三番目に、合成するべき画像の重ねる領域で、合成点近傍の画像の相違を滑らかに変換し結合し、継ぎ目のない広角画像に合成する。
【０００４】
最後に、継ぎ目のない広角画像を、円柱面に変換する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許ＵＳ２００３０２３５３４４Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のマルチカメラによるパノラマ画像ではレンズの入射瞳位置が同位置と出来ないための３Ｄ画像のような視差のある合成点となりパノラマ構成には不都合な現象となるがマルチカメラからの入力画像をパノラマ合成するためには合成点を見いだしその合成点にアルファーブレンディング、マッチングなどの画像処理を行い合成を行っている。
【０００７】
従来の画像処理では画像重なり領域において合成するべき合成点を見出すために繰り返し画像重なり領域データにアクセスする必要がある。従って、映像合成用のメモリの必要帯域幅は非常に大きく、動画として妥当なフレームレートを実現できない。
【課題を解決するための手段】
【０００８】
本発明の請求項によると、所定の距離の認識パターン画像をマルチカメラ・モジュールによって捕捉し、パノラマ画像を構成出来うる視差の影響を受けずに画像合成できる距離を測定し、動画に適応しうるフレームレートでマルチ画像を合成し固定処理により高速処理を可能とし使用する。
【０００９】
画像合成を行うＰＣは画像合成の処理スピードを測定するアプリケーションによりＰＣ個々で処理可能なフレームレートを測定算出する。
【００１０】
この算出結果を基に視差による画像合成の基準値を持ち、マルチカメラ・モジュール実写画像の合成部分から合成に必要な距離を算出する。合成される画像では視差は高速画像合成に必要な視差となる距離以上の被写体距離となっているので補間の実行は１度のみであり、常に同じ動作を繰り返すため従来方法に比べてフレームレートを含む画像の品質が改善される。
【００１１】
画像合成には画像を球体変換した後に合成を行うため画面中心部だけではなく画面端の上下方向の画像合成も画面中心部と同等の速度で行うことが出来る。
【発明の効果】
【００１２】
従来の視差が発生するマルチカメラシステムにおいても本考案のシステムで使用可能な被写体までの距離が判断できる為に、無闇に高価な視差なし画像を作り出すマルチカメラ構造を採用せずにパノラマ動画を作り出すことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における上下配置のマルチカメラ・モジュール構成図
【図２】本発明の実施形態において、同一平面内のマルチカメラ・モジュール構成図
【図３】本発明の実施形態においてマルチカメラ・モジュールの処理可能視差距離測定構成図
【図４】平面被写体でパースペクティブが起きず球体など立体でパースペクティブが発生する原理の説明と回避方法の説明図
【図５】画面端の平面被写体でパースペクティブが起きず球体など立体でパースペクティブが発生する事を示す実写写真。レンズは歪みのないレンズのため平面と見なせるコインは端でも歪まず円のままだが、球体は端で球体ではなくラグビーボールのように歪んでいる。
【図６】撮像面を球体変換した模式図
【発明を実施するための形態】
【実施例１】
【００１４】
図１図２に示すようなマルチカメラ構成において発生する視差は、被写体距離が近いと大きな視差が発生しパノラマ合成に適さないが被写体までの距離が大きくなり視差が少なくなることによりパノラマ合成可能な視差となってくる。
合成手順はマルチカメラからの各入力画像を図６のように球体に展開しＰＣの処理可能な処理量のアルファーブレンディング、マッチングなどの画像処理合成する。この処理は各ＰＣにより処理能力が異なるために処理能力を測定するアプリケーションにより処理能力を計測する。
【００１５】
この計測値に基づきマルチカメラからの視差情報を処理可能か測定するが、視差はカメラから被写体までの距離で変化するために距離を可変し合成可能な最短距離を測定し、この距離が必要とする距離以上か見極めマルチカメラシステムを構築する。
【００１６】
合成するために画像を球体変換するが、これは円柱変換では画像中心はパースペクティブ補正されているが画面の四隅ではパースペクティブが残り下面中心と同じ視差状態とならないために球体変換を行い合成する。
【符号の説明】
【００１７】
１１      不可視領域
１２      視差が大きく画像合成に適さない被写体距離
１３      視差が少なく画像合成が高速に行える距離
１４      カメラ
１４−１  カメラ
１４−２  カメラ
１４−３  カメラ
２１−１  撮影方向１
２１−２  撮影方向２
２１−３  撮影方向３
２１−２  撮影方向１撮影範囲
２２−２  撮影方向２撮影範囲
２３−２  撮影方向３撮影範囲
２１−３  撮影方向１の撮像面を球体に変化した像面イメージ
２２−３  撮影方向２の撮像面を球体に変化した像面イメージ
２３−３  撮影方向３の撮像面を球体に変化した像面イメージ
３１      画面端の平面被写体
３２      中心の球体被写体
３３      画面端の球体被写体
３１−１  画面端の平面被写体  中心より外側
３１−２  画面端の平面被写体  中心より内側
３２−１  中心の球体被写体  中心から半分の撮影範囲
３２−２  中心の球体被写体  ３２−１の逆側の撮影範囲
３３−１  画面端の球体被写体  中心より内側
３３−２  画面端の球体被写体  中心より外側
３１−１１画面中心と同一投影距離の３１−１の投影
３１−２１画面中心と同一投影距離の３１−２の投影
３２−１１画面中心球体３２−１の投影
３２−２１画面中心球体３２−２の投影
３３−１１画面中心と同一投影距離の３３−１の投影
３３−２１画面中心と同一投影距離の３３−２の投影
３１−１２画面端の平面被写体  ３１−１の平面投影
３１−２２画面端の平面被写体  ３１−２の平面投影
３３−１２画面端の球体被写体  ３３−１の平面投影
３３−２２画面端の球体被写体  ３３−２の平面投影
【図１】
2014003561.tif 000003
【図２】
2014003561.tif 000004
【図３】
2014003561.tif 000005
【図４】
2014003561.tif 000006
【図５】
2014003561.tif 000007
【図６】
2014003561.tif 000008