(57)【要約】【課題】合成画像のつなぎ目で重なる部分の画像のずれ量を算出し、合成画像の不要領域にずれ量を示す情報を書き込むことによって、画質を向上させ、つなぎ目に係る処理に要するリソースを減少させること。【解決手段】画像処理装置は、複数の撮像素子によって撮像される画像を出力する第１の画像処理部と、前記第１の画像処理部から出力された画像を三次元の球状モデルにマッピングする第２の画像処理部とを有し、前記第１の画像処理部から出力される画像の一部の領域に、画像が重なる領域の相対的なずれ量を示す情報を埋め込むずれ量埋め込み手段とを有し、前記第２の画像処理部は、前記第１の画像処理部から出力された画像と、前記ずれ量埋め込み手段により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときに頂点座標を変更する。【選択図】図６
2018205988.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像素子によって撮像される画像を出力する第１の画像処理部と、
前記第１の画像処理部から出力された画像を三次元の球状モデルにマッピングする第２の画像処理部とを有し、
前記第１の画像処理部は、
前記複数の撮像素子によって撮像される画像において、同一の対象が撮像されている領域に対してパターンマッチングを行い、互いの領域の相対的なずれ量を示す情報を算出するずれ量算出手段と、
前記第１の画像処理部から出力される画像の一部の領域に、前記ずれ量を示す情報を埋め込むずれ量埋め込み手段とを有し、
前記第２の画像処理部は、
前記第１の画像処理部から出力された画像と、前記ずれ量埋め込み手段により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときに頂点座標を変更する画像処理装置。
【請求項２】
前記第２の画像処理部は、
前記第１の画像処理部から出力された画像と、前記ずれ量埋め込み手段により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときにＵＶマッピング情報を変更する請求項１記載の画像処理装置。
【請求項３】
前記ずれ量を示す情報が埋め込まれる前記第１の画像処理部から出力される画像の一部の領域は、前記マッピングに使用されない領域である請求項１又は２記載の画像処理装置。
【請求項４】
前記マッピングに使用されない領域は、前記撮像素子に対応するレンズのケラレ領域である請求項３記載の画像処理装置。
【請求項５】
前記ずれ量埋め込み手段は、
前記撮像素子に対応するレンズの特性値を、前記第１の画像処理部により出力される画像の一部の領域に埋め込む請求項１乃至４いずれか一項記載の画像処理装置。
【請求項６】
前記ずれ量埋め込み手段は、
前記三次元の球状モデルのポリゴン分割情報を、前記第１の画像処理部により出力される画像の一部の領域に埋め込む請求項１乃至５いずれか一項記載の画像処理装置。
【請求項７】
前記ずれ量埋め込み手段は、
前記ずれ量を示す情報を算出した画像の次の動画像フレームの一部の領域に、前記ずれ量を示す情報を埋め込む請求項１乃至６いずれか一項記載の画像処理装置。
【請求項８】
画像処理方法であって、
複数の撮像素子によって撮像される画像を出力する第１の画像処理手順と、
前記第１の画像処理手順により出力された画像を三次元の球状モデルにマッピングする第２の画像処理手順とを実行し、
前記第１の画像処理手順は、
前記複数の撮像素子によって撮像される画像において、同一の対象が撮像されている領域に対してパターンマッチングを行い、互いの領域の相対的なずれ量を示す情報を算出するずれ量算出手順と、
前記第１の画像処理手順により出力される画像の一部の領域に、前記ずれ量を示す情報を埋め込むずれ量埋め込み手順とを含み、
前記第２の画像処理手順は、
前記第１の画像処理手順により出力された画像と、前記ずれ量埋め込み手順により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときに頂点座標を変更する画像処理方法。
【請求項９】
画像処理装置が実行可能なプログラムであって、
複数の撮像素子によって撮像される画像を出力する第１の画像処理手順と、
前記第１の画像処理手順により出力された画像を三次元の球状モデルにマッピングする第２の画像処理手順とを前記画像処理装置に実行させ、
前記第１の画像処理手順は、
前記複数の撮像素子によって撮像される画像において、同一の対象が撮像されている領域に対してパターンマッチングを行い、互いの領域の相対的なずれ量を示す情報を算出するずれ量算出手順と、
前記第１の画像処理手順により出力される画像の一部の領域に、前記ずれ量を示す情報を埋め込むずれ量埋め込み手順とを含み、
前記第２の画像処理手順は、
前記第１の画像処理手順により出力された画像と、前記ずれ量埋め込み手順により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときに頂点座標を変更するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数のレンズ及び撮像素子を持つ撮像機器から表示機器へ動画像を送信し、リアルタイムで表示するシステムにおいて、複数の撮像素子にて得られる複数の画像間のつなぎ目を目立たなくするために、つなぎ目となる部分の位置ずれを検出して、得られた複数の画像の位置ずれを補正し、変形合成して正距円筒図を生成して、表示機器に転送し、表示機器側では、転送された正距円筒図を三次元空間にて球体にマッピングして、３６０度全方位の画像を表示する方法が知られている。
【０００３】
また、撮像機器側では複数の画像を変形及び合成せずに、１枚の画像として表示機器へ転送し、表示機器側では、転送された画像を各レンズ及び撮像素子にて得られた画像にそれぞれ分解し、三次元空間にて球体にマッピングして、３６０度全方位の画像を表示する方法が知られている。
【０００４】
上述のような方法において、合成する複数の画像のつなぎ部分の位置ずれを低減するため、複数のカメラ画像のつなぎ部分を補正する構成が開示されている（例えば特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のリアルタイム全方位動画像の撮像及び表示システムにおいて、上述の前者の方式である、正距円筒図に変形・合成してから表示機器側で表示する場合、撮像機器側の変形処理及び表示機器側での画像変形処理の２つの処理が行われるため、上述の後者の方式に比べ画質が劣化するという問題があった。また、画像同士のつなぎ目処理のために、主にＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成されるフレームバッファが必要となり、コストアップとなる問題があった。
【０００６】
また、上述の後者の方式である、撮像画像を変形せず表示機器に転送する方式においては、撮像機器側でつなぎ目処理を行わないため、後段の表示機器側がつなぎ目処理を実行する必要がある。しかしながら、表示機器が汎用的なＳｏＣ（System on Chip）を実装している場合、リアルタイムでつなぎ目処理を実行可能な程度の処理能力をＳｏＣのプロセッサは有しないため、つなぎ目処理を行えず、つなぎ目が目立ってしまうという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたものであって、合成画像のつなぎ目で重なる部分の画像のずれ量を算出し、合成画像の不要領域にずれ量を示す情報を書き込むことによって、画質を向上させ、つなぎ目に係る処理に要するリソースを減少させることを目的とする。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するため、画像処理装置は、複数の撮像素子によって撮像される画像を出力する第１の画像処理部と、前記第１の画像処理部から出力された画像を三次元の球状モデルにマッピングする第２の画像処理部とを有し、前記第１の画像処理部は、前記複数の撮像素子によって撮像される画像において、同一の対象が撮像されている領域に対してパターンマッチングを行い、互いの領域の相対的なずれ量を示す情報を算出するずれ量算出手段と、前記第１の画像処理部から出力される画像の一部の領域に、前記ずれ量を示す情報を埋め込むずれ量埋め込み手段とを有し、前記第２の画像処理部は、前記第１の画像処理部から出力された画像と、前記ずれ量埋め込み手段により埋め込まれたずれ量を示す情報とに基づいて、前記三次元の球状モデルにマッピングするときに頂点座標を変更する。
【発明の効果】
【０００９】
合成画像のつなぎ目で重なる部分の画像のずれ量を算出し、合成画像の不要領域にずれ量を示す情報を書き込むことによって、画質を向上させ、つなぎ目に係る処理に要するリソースを減少させることができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システム１０００Ａの機能構成例を示す図である。
【図２】画像処理システム１０００Ａの画像処理フローを示す図である。
【図３】画像処理システム１０００Ｂの機能構成例を示す図である。
【図４】画像処理システム１０００Ｂの画像処理フローを示す図である。
【図５】本発明の実施の形態における撮像装置１１００のハードウェア構成例を示す図である。
【図６】本発明の実施の形態における画像処理システム１０００の機能構成例を示す図である。
【図７】本発明の実施の形態における画像処理システム１０００の画像処理フローを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１２】
図１は、画像処理システム１０００Ａの機能構成例を示す図である。画像処理システム１０００Ａは、従来のリアルタイム全方位動画像の撮像及び表示システムの一例である。図１に示されるように、画像処理システム１０００Ａは、撮像部１００、画像表示部３００及びディスプレイ部４００を有する。これら各部は、例えば、撮像装置及び表示装置によって実現される。
【００１３】
撮像部１００は、画像を撮像するための、レンズ部Ａ１０３、レンズ部Ｂ１０４、センサ部Ａ１０１及びセンサ部Ｂ１０２を有する。また、撮像部１００は、撮像画像を１枚の絵として並べて出力するための画像処理部２００Ａを有し、処理した画像を画像表示部３００へ出力する画像出力部１２０を有する。画像出力部１２０は、例えば、電圧レベル又はプロトコルを変換する機能を有する。
【００１４】
画像処理部２００Ａは、画像処理部２１０及び２１１、ラインバッファ部２１２を有する。画像処理部２１０及び２１１は、種々の画像処理を行う。例えば、画像処理部２１０及び２１１は、画像データにベイヤー変換を実行する。ラインバッファ部２１２は、画像の各ラインを一時的に格納し、１枚の画像を構成するように１ラインずつ、主走査方向に並べ替えを行い、画像を出力する。なお、ラインバッファ部２１２を実現するハードウェアは、ＳＲＡＭ（Static Random Access Memory）から構成されることが想定されるが、ＤＲＡＭ（Dynamic RAM）から構成されてもよい。
【００１５】
画像表示部３００は、画像を入力する画像入力部３０１、入力画像を三次元の球体モデルに貼り付け、球体内部から見た画像を生成する画像処理部３０２Ａを有する。また、画像表示部３００は、入力画像を蓄積し、画像処理部３０２Ａで生成した画像を蓄積し、及びその他の情報を記憶するフレームメモリ部３０３、及び生成画像を表示装置へ出力する画像出力部３０４を有する。本実施の形態では、画像処理部３０２Ａは、プロセッサ又はＧＰＵ（Graphics Processing Unit）にて実現されるが、その他の手段でもよい。フレームメモリ部３０３を実現するハードウェアは、ＳＤＲＡＭ（Synchronous DRAM）から構成されることが想定される。画像出力部３０４は、例えば、電圧レベル又はプロトコルを変換する機能を有する。
【００１６】
ディスプレイ部４００は、画像表示部３００から出力された画像を表示する。ディスプレイ部４００は、例えば、液晶モニタ等の表示デバイスによって実現される。
【００１７】
図２は、画像処理システム１０００Ａの画像処理フローを示す図である。
【００１８】
ステップＳ１１及びステップＳ１２は、撮像部１００による処理である。ステップＳ１１において、レンズ部Ａ１０３及びセンサ部Ａ１０１、レンズ部Ｂ１０４及びセンサ部Ｂ１０２により撮像された画像をそれぞれ、魚眼像Ａ、魚眼像Ｂとする。斜線網掛けで示された部分は、センサ部Ａ１０１及びセンサ部Ｂ１０２が取り込んだ領域のうち、重複して撮影された部分である。
【００１９】
ステップＳ１２において、画像処理部２００Ａは、それぞれの魚眼像を並べて１枚の画像にしながらラインバッファ部２１２及び画像出力部１２０を介して画像表示部３００へ出力する。
【００２０】
ステップＳ１３及びステップＳ１４は、画像表示部３００による処理である。ステップＳ１３において、画像表示部３００では、画像処理部３０２Ａを実現するプロセッサ又はＧＰＵ等により画像処理を行う。画像処理部３０２Ａは、予め、三次元の球体モデルを用意しておき、ステップＳ１２で撮像部１００から出力された画像を画像入力部３０１を介して受信し、魚眼像Ａ及びＢに分離する。続いて、画像処理部３０２Ａは、当該球体モデルに魚眼像Ａ及びＢをそれぞれ相対する方向から貼り付け、テクスチャの張られた球体を生成する。なお、魚眼像Ａ及びＢが重なる部分は、つなぎ目処理を行い、さらにαブレンドにより滑らかに合成される。
【００２１】
ステップＳ１４において、ステップＳ１３にて生成されたテクスチャの張られた球体を、３Ｄ表示用の疑似カメラにて撮影される表示領域のように、球体内部から一部を切り出して表示することで、３６０度全方位画像をリアルタイムで表示することができる。
【００２２】
上述の画像処理システム１０００Ａにおける画像処理フローにおいては、撮像部１００ではフレームバッファが不要となるが、画像表示部３００が、汎用的なＳｏＣ等により構成されている場合、魚眼像Ａ及びＢのつなぎ目を目立たなくするためのパターンマッチング処理に時間がかかってしまい、リアルタイムでつなぎ目処理を行うことができないため、リアルタイム表示においては、つなぎ目が目立ってしまうという問題点がある。
【００２３】
図３は、画像処理システム１０００Ｂの機能構成例を示す図である。画像処理システム１０００Ｂは、従来のリアルタイム全方位動画像の撮像及び表示システムの一例である。図３に示されるように、画像処理システム１０００Ｂは、撮像部１００、画像表示部３００及びディスプレイ部４００を有する。これら各部は、例えば、撮像装置及び表示装置によって実現される。
【００２４】
撮像部１００は、画像を撮像するための、レンズ部Ａ１０３、レンズ部Ｂ１０４、センサ部Ａ１０１及びセンサ部Ｂ１０２を有する。また、撮像部１００は、撮像画像のうち２つのセンサにて重複して撮影される部分を複数の矩形領域に変形し、各領域にてパターンマッチングを行うことによって位置ずれを検出し、当該位置ずれに基づいて、撮像画像を変形及び合成して正距円筒図にする画像処理部２００Ｂを有する。また、撮像部１００は、画像処理部２００Ｂにて処理された画像を蓄積するフレームメモリ部１１０及び生成された正距円筒図を画像表示部３００へ出力する画像出力部１２０を有する。フレームメモリ部１１０を実現するハードウェアは、図１のフレームメモリ部３０３と同様に、ＳＤＲＡＭから構成されることが想定される。
【００２５】
画像処理部２００Ｂは、各センサからの画像を受け取り、画像処理部２２０及び２２１にて、例えば、ベイヤー変換等の各種画像処理を行う。画像処理部２２０及び２２１にて処理された画像は、ＷＤＭＡＣ０部２２２及びＷＤＭＡＣ１部２２３（ＷｒｉｔｅＤＭＡ（Direct Memory Access）コントローラ）を介して、メモリコントローラ部２２８へ入力され、フレームメモリ部１１０へ書き込まれる。
【００２６】
つなぎ目変形部２２４は、フレームメモリ部１１０に書き込まれた画像から、２つのセンサにて重複して撮影される部分を複数の矩形領域に変形する。各矩形領域は、ずれ量算出部２２５へ送られ、ここで２つのセンサによる矩形領域毎にパターンマッチングを行い、例えば、センサＡで撮像された画像に対して、センサＢで撮像された画像の重なり部分が相対的にどれだけずれているかを算出する。ずれ量算出部２２５は、算出した結果を正距円筒図変形部２２６へ出力する。正距円筒図変形部２２６は、フレームメモリ部１１０に蓄積されている各魚眼像を読み出す一方で、ずれ量算出部２２５から入力されるずれ量に基づいて、正距円筒図への変形と、２つの入力画像の合成とを行い、フレームメモリ部１１０へ生成された画像を蓄積する。正距円筒図変形部２２６にて生成された画像は、ＲＤＭＡＣ２２７（ＲｅａｄＤＭＡコントローラ）がフレームメモリ部１１０から読み出し、画像表示部３００へ出力する。
【００２７】
画像表示部３００は、画像を入力する画像入力部３０１、正距円筒図を、当該球体モデルに円筒状に貼り付け、球体内部から見た画像を生成する画像処理部３０２Ｂを有する。また、画像表示部３００は、入力画像を蓄積し、画像処理部３０２Ｂで生成した画像を蓄積し、及びその他の情報を記憶するフレームメモリ部３０３、及び生成画像を表示装置へ出力する画像出力部３０４を有する。本実施の形態では、画像処理部３０２Ｂは、プロセッサ又はＧＰＵ（Graphics Processing Unit）にて実現されるが、その他の手段でもよい。画像出力部３０４は、例えば、電圧レベル又はプロトコルを変換する機能を有する。
【００２８】
ディスプレイ部４００は、図１に示される画像処理システム１０００Ａのディスプレイ部４００と同様の機能を有する。
【００２９】
図４は、画像処理システム１０００Ｂの画像処理フローを示す図である。
【００３０】
ステップＳ２１〜ステップＳ２３は、撮像部１００による処理である。ステップＳ２１において、レンズ部Ａ１０３及びセンサ部Ａ１０１、レンズ部Ｂ１０４及びセンサ部Ｂ１０２により撮像された画像をそれぞれ、魚眼像Ａ、魚眼像Ｂとする。斜線網掛けで示された部分は、センサ部Ａ１０１及びセンサ部Ｂ１０２が取り込んだ領域のうち、重複して撮影された部分である。
【００３１】
ステップＳ２２において、それぞれの魚眼像の斜線網掛け部分を画像処理部２００Ｂのつなぎ目変形部２２４にて、複数の矩形領域に変形する。ずれ量算出部２２５は、当該矩形領域ごとに魚眼像Ａと魚眼像Ｂとのずれ量を算出する。
【００３２】
ステップＳ２３において、ステップＳ２２で算出されたずれ量に基づいて、画像処理部２００Ｂの正距円筒図変形部２２６は、魚眼像を正距円筒図に変形、合成してメモリコントローラ部２２８を介してフレームメモリ部１１０に蓄積する。ＲＤＭＡＣ部２２７は、蓄積された正距円筒図を、画像出力部１２０を介して画像表示部３００へ出力する。
【００３３】
ステップＳ２４及びステップＳ２５は、画像表示部３００による処理である。ステップＳ２４において、画像表示部３００では、画像処理部３０２Ｂを実現するプロセッサ又はＧＰＵ等により、テクスチャの張られた球体を生成する処理が行われる。画像処理部３０２Ｂは、予め三次元の球体モデルを用意しておき、ステップＳ２３で出力された正距円筒図を、当該球体モデルに円筒状に貼り付けることにより、テクスチャの張られた球体を生成する処理が行われる。
【００３４】
ステップＳ２５において、ステップＳ１４と同様に、ステップＳ２４にて生成されたテクスチャの張られた球体を、３Ｄ表示用の疑似カメラにて撮影される表示領域のように、球体内部から一部を切り出して表示することで、３６０度全方位画像をリアルタイムで表示することができる。
【００３５】
上述の画像処理システム１０００Ｂにおける画像処理フローにおいては、撮像部１００ではフレームバッファが必要となり、また、撮像部１００にて、正距円筒図に変形・合成しているため、画像処理システム１０００Ａと比較して画質が劣化するという問題点がある。
【００３６】
図５は、本発明の実施の形態における撮像装置１１００のハードウェア構成例を示す図である。本発明の実施の形態における画像処理システム１０００は、撮像装置１１００及び表示装置を少なくとも有する。図５に示されるように、撮像装置１１００は、コントローラ１１０１、カメラモジュール１１１０Ａ及び１１１０Ｂ、ＲＡＭ（Random Access Memory）１１０８、外部記憶装置１１０９を有する。
【００３７】
コントローラ１１０１は、ＣＰＵ（Central Processing Unit）１１０２、ＲＯＭ（Read Only Memory）１１０３、通信インタフェース１１０４、画像処理エンジン１１０５、ＲＡＭインタフェース１１０６及び外部記憶インタフェース１１０７を有する。ＣＰＵ１１０２は、ＲＯＭ１１０３又は外部記憶装置１１０９に記憶されたプログラムに従って、撮像装置１１００に係る機能を実現するプロセッサである。ＲＯＭ１１０３及び外部記憶装置１１０９は、例えば、フラッシュメモリであり、ＣＰＵ１１０２により実行されるプログラム及びデータ等を記憶する。ＲＡＭ１１０８は、ＲＯＭ１１０３又は外部記憶装置１１０９に記憶されたプログラムを読み込む。当該プログラムは、ＣＰＵ１１０２により実行される。また、ＲＡＭ１１０８は、プログラムが使用するワークエリアの提供、データの保持等も行う。また、ＲＡＭ１１０８は、ＳＲＡＭでもよいし、ＤＲＡＭでもよいし、ＳＤＲＡＭでもよいし、異なる種類のＲＡＭの組み合わせであってもよい。通信インタフェース１１０４は、外部システムと通信を行うインタフェースであり、例えば、表示装置に画像データを出力するときに使用される。画像処理エンジン１１０５は、カメラモジュール１１１０から取得した画像データに、画像処理を行う。例えば、画像処理エンジン１１０５は、取得した画像データから、正距円筒図を生成し、また、カメラモジュール１１１０Ａとカメラモジュール１１１０Ｂによって重複して撮影された画像部分について、パターンマッチングを行い、ずれ量を算出する。なお、画像処理エンジン１１０５とＣＰＵ１１０２とは、共同して画像処理を実行してもよい。ＲＡＭインタフェース１１０６は、ＲＡＭ１１０８とのインタフェースである。外部記憶インタフェース１１０７は、外部記憶装置１１０９とのインタフェースである。
【００３８】
カメラモジュール１１１０は、レンズ１１１１及びセンサ１１１２を有する。レンズ１１１１は、魚眼レンズであってもよいし、その他のレンズであってもよい。センサ１１１２は、撮像素子である。また、図５に示されるハードウェア構成例では、カメラモジュール１１１０Ａ及び１１１０Ｂの２つの場合を記載しているが、カメラモジュール１１１０は、３つ以上のカメラモジュールから構成されてもよい。
【００３９】
なお、表示装置は、例えば、図５に示されるハードウェア構成からカメラモジュール１１１０を除いたハードウェア構成に、液晶モニタ等の表示デバイスをコントローラ１１０２に接続したハードウェア構成を有していてもよい。
【００４０】
図６は、本発明の実施の形態における画像処理システム１０００の機能構成例を示す図である。図６に示されるように、画像処理システム１０００は、撮像部１００、画像表示部３００及びディスプレイ部４００を有する。これら各部は、例えば、図５に示される撮像装置１１００及び表示装置によって実現される。
【００４１】
撮像部１００は、画像を撮像するための、レンズ部Ａ１０３、レンズ部Ｂ１０４、センサ部Ａ１０１及びセンサ部Ｂ１０２を有する。また、撮像部１００は、撮像画像のうち２つのセンサにて重複して撮影される部分を複数の矩形領域に変形し、各領域にてパターンマッチングを行うことによって位置ずれを検出し、当該撮影画像の不要領域へ位置ずれ情報を書き込み出力する画像処理部２００を有する。また、撮像部１００は、生成した画像を画像表示部３００へ出力する画像出力部１２０を備える。
【００４２】
画像処理部２００は、各センサからの画像を受け取り、画像処理部２３０及び２３１にて、例えば、ベイヤー変換等の各種画像処理を行う。画像処理部２３０及び２３１にて処理された画像は、ＷＤＭＡＣ０部２３２及びＷＤＭＡＣ１部２３３を介して、ラインバッファ部２３４へ入力される。
【００４３】
ラインバッファ部２３４は、一旦画像の各ラインを格納し、１枚の画像になるように１ラインずつ、主走査方向に並べ替えを行い、画像を出力する。つなぎ目変形部２３５は、２つのセンサによって重複して撮影される部分を収集しつつ、矩形領域への変形を行う。矩形となった重複部分は、ずれ量算出部２３６で、各センサからの画像同士のずれ量をパターンマッチングにより比較し、矩形領域単位でずれ量を算出する。例えば、センサ部Ａ１０１で撮像された画像に対して、センサ部Ｂ１０２で撮像された画像の重なり部分が相対的にどれだけずれているかを算出する。なお、ラインバッファ部２３４を実現するハードウェアは、図１のラインバッファ部２１２と同様に、ＳＲＡＭから構成されることが想定されるが、ＤＲＡＭから構成されてもよい。
【００４４】
マルチプレクサ部２３７は、出力画像の不要な領域、例えば、レンズのケラレ領域に、ずれ量情報を画像として埋め込み、後段の画像出力部１２０へ出力する。
【００４５】
なお、マルチプレクサ部２３７は、さらに、レンズの特性値を画像に埋め込んでもよい。これにより、画像表示部３００は、どのようなレンズを搭載した撮像装置１１００であっても、当該レンズの特性を取得できる。
【００４６】
なお、マルチプレクサ部２３７は、さらに、画像表示部３００での画像の貼り付けに使用される球状モデルのポリゴン分割情報を画像に埋め込んでもよい。これにより、画像表示部３００は、ポリゴン分割情報を特定する必要がなくなり、撮像装置１１００が指定するポリゴン分割情報によって、撮像装置１１００から送信される画像に適した表示が可能となる。
【００４７】
なお、マルチプレクサ部２３７は、ずれ量を算出した画像の次の動画像フレームに、当該ずれ量を埋め込んでもよい。これにより、画像表示部３００は、ずれ量の算出に処理時間を要する場合であっても、次の動画像フレームにずれ量情報を埋め込むことで、当該処理時間の影響を低減することが可能となり、高いフレームレートに対応できる。
【００４８】
画像表示部３００は、画像を入力する画像入力部３０１、画像出力部１２０から出力された画像および埋め込まれたずれ情報から、球体内部から見た画像を生成する画像処理部３０２を有する。また、画像表示部３００は、入力画像を蓄積し、画像処理部３０２で生成した画像を蓄積し、及びその他の情報を記憶するフレームメモリ部３０３、及び生成画像を表示装置へ出力する画像出力部３０４を有する。本実施の形態では、画像処理部３０２は、プロセッサ又はＧＰＵ（Graphics Processing Unit）にて実現されるが、その他の手段でもよい。画像出力部３０４は、例えば、電圧レベル又はプロトコルを変換する機能を有する。
【００４９】
ディスプレイ部４００は、図１に示される画像処理システム１０００Ａのディスプレイ部４００と同様の機能を有する。
【００５０】
図７は、本発明の実施の形態における画像処理システム１０００の画像処理フローを示す図である。
【００５１】
ステップＳ３１〜ステップＳ３３は、撮像部１００による処理である。ステップＳ３１において、レンズ部Ａ１０３及びセンサ部Ａ１０１、レンズ部Ｂ１０４及びセンサ部Ｂ１０２により撮像された画像をそれぞれ、魚眼像Ａ、魚眼像Ｂとする。斜線網掛けで示された部分は、センサ部Ａ１０１及びセンサ部Ｂ１０２が取り込んだ領域のうち、重複して撮影された部分である。
【００５２】
ステップＳ３２において、それぞれの魚眼像の斜線網掛け部分を画像処理部２００のつなぎ目変形部２３５にて、複数の矩形領域に変形する。ずれ量算出部２３６は、当該矩形領域ごとに魚眼像Ａと魚眼像Ｂとのずれ量を算出する。ステップＳ３２では、ラインバッファ部２３４に蓄積された画像が使用されるため、フレームバッファは使用されない。
【００５３】
ステップＳ３３において、マルチプレクサ部２３７は、ステップＳ３２で算出されたずれ量を示す情報を、出力画像の不要領域、例えば、図７に示されるように画像のケラレ部分に、画像として埋め込んで出力する。
【００５４】
ステップＳ３４〜ステップＳ３６は、画像表示部３００によるマッピング及び表示に関する処理である。ステップＳ３４において、画像表示部３００では、画像処理部３０２を実現するプロセッサ又はＧＰＵ等により、テクスチャの張られた球体を生成する処理が行われる。画像処理部３０２は、予め図７に示されるような三次元の半球体に近いモデルを用意しておく。次に、画像処理部３０２は、ステップＳ３３で出力されたずれ量を示す情報を含む画像を、魚眼像Ａと魚眼像Ｂとに分離し、当該半球体モデルに貼り付けてテクスチャの張られた球体を生成する。次に、画像処理部３０２は、ずれ量を示す情報をステップＳ３３で出力された画像からさらに取得し、例えば、ずれ量が、魚眼像Ａからの魚眼像Ｂの相対的なずれ量の場合、魚眼像Ｂを張り付けた半球体モデルの重なり部分の頂点座標をずれ量に基づいて補正する。
【００５５】
また、ずれ量に基づいて、画像処理部３０２は、テクスチャのＵＶマッピング情報を変更してもよい。当該ＵＶマッピング情報の変更によって、画像処理部３０２は、画像のつなぎ目を目立たないようにすることができる。
【００５６】
ステップＳ３５において、画像処理部３０２は、２つの半球体モデルを球体になるように重ね合わせる。また、画像処理部３０２は、図７に示されるグレー部分の重なり部分は、互いに半透明としてアルファブレンディングを用いて合成することで、魚眼像Ａと魚眼像Ｂとのつなぎ目が目立たないように接合することが可能である。
【００５７】
ステップＳ３６において、ステップＳ１４と同様に、ステップＳ３５にて生成されたテクスチャの張られた球体を、３Ｄ表示用の疑似カメラにて撮影される表示領域のように、球体内部から一部を切り出して表示することで、３６０度全方位画像をリアルタイムで表示することができる。
【００５８】
上述したように、本発明の実施の形態によれば、画像処理システム１０００において、撮像部１００ではフレームバッファが不要となり、撮像部１００にて、正距円筒図への変形を行わないため、画質の劣化が抑えられ、さらにつなぎ目処理が行えるので、つなぎ目を目立たなくすることができる。すなわち、合成画像のつなぎ目で重なる部分の画像のずれ量を算出し、合成画像の不要領域にずれ量を示す情報を書き込むことによって、画質を向上させ、つなぎ目に係る処理に要するリソースを減少させることができる。
【００５９】
なお、本発明の実施の形態において、画像処理部２００は、第１の画像処理部の一例である。画像処理部３０２は、第２の画像処理部の一例である。ずれ量算出部２３６は、ずれ量算出手段の一例である。マルチプレクサ部２３７は、ずれ量埋め込み手段の一例である。
【００６０】
なお、本発明は、プロジェクタ、医療用機器又はテレビ会議システム等の画像処理装置又は画像処理システムに適用可能である。また、本発明は、撮像した画像を処理する装置又はシステムとなり得る、携帯電話、携帯型情報端末、車載機器等の通信端末又は情報処理装置に適用可能である。また、本発明の画像処理システムは、一つの装置に撮像装置及び表示装置等の画像処理システムすべてが含まれてもよいし、複数の装置によって構成されてもよい。
【００６１】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６２】
１０００      画像処理システム
１００        撮像部
１０１        センサ部Ａ
１０２        センサ部Ｂ
１０３        レンズ部Ａ
１０４        レンズ部Ｂ
１２０        画像出力部
２００        画像処理部
２１０        画像処理部
２１１        画像処理部
２１２        ラインバッファ部
３００        画像表示部
３０１        画像入力部
３０２        画像処理部
３０３        フレームメモリ部
３０４        画像出力部
４００        ディスプレイ部
１１０        フレームメモリ部
２２０        画像処理部
２２１        画像処理部
２２２        ＷＤＭＡＣ０部
２２３        ＷＤＭＡＣ１部
２２４        つなぎ目変形部
２２５        ずれ量算出部
２２６        正距円筒図変形部
２２７        ＲＤＭＡＣ部
２２８        メモリコントローラ部
２３０        画像処理部
２３１        画像処理部
２３２        ＷＤＭＡＣ０部
２３３        ＷＤＭＡＣ１部
２３４        ラインバッファ部
２３５        つなぎ目変形部
２３６        ずれ量算出部
２３７        マルチプレクサ部
１１００      撮像装置
１１０１      コントローラ
１１０２      ＣＰＵ
１１０３      ＲＯＭ
１１０４      通信インタフェース
１１０５      画像処理エンジン
１１０６      ＲＡＭインタフェース
１１０７      外部記憶インタフェース
１１０８      ＲＡＭ
１１０９      外部記憶装置
１１１０      カメラモジュール
１１１１      レンズ
１１１２      センサ
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２０１６−０４０６７０号公報
【図１】
2018205988.tif 000003
【図２】
2018205988.tif 000004
【図３】
2018205988.tif 000005
【図４】
2018205988.tif 000006
【図５】
2018205988.tif 000007
【図６】
2018205988.tif 000008
【図７】
2018205988.tif 000009