(57)【要約】【課題】陽炎補正に伴う画質の低下を抑えることができる画像処理装置、陽炎補正方法及びプログラムを提供する。【解決手段】複数の撮像部が対象物を撮像した複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する変換部１４と、複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正部１５と、補正画像を出力する出力部１６と、を備える。【選択図】図３
2015115895.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部が対象物を撮像した複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する変換部と、
前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正部と、
前記補正画像を出力する出力部と、
を備える画像処理装置。
【請求項２】
前記複数の撮像部は、矩形又は円形を成すように配置されている請求項１に記載の画像処理装置。
【請求項３】
前記変換部は、前記所定視点から前記対象物までの距離に関する距離情報を用いて、前記複数の撮像画像を前記複数の仮想画像に変換する請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定視点から前記対象物までの距離を計測して前記距離情報を生成する計測部を更に備える請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記複数の撮像部のうち前記所定視点に配置された撮像部により撮像された撮像画像と、前記複数の撮像部のうち当該撮像部以外の撮像部により撮像された撮像画像とを用いて、前記距離情報を生成する請求項３に記載の画像処理装置。
【請求項６】
前記変換部は、前記距離情報と前記複数の撮像部のカメラパラメータとを用いて、前記複数の撮像部のうち前記所定視点に配置された撮像部により撮像された撮像画像と当該撮像画像以外の前記複数の撮像画像それぞれとの対応点のマッチングを行い、前記複数の撮像画像を前記複数の仮想画像に変換する請求項３〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記補正部は、前記複数の仮想画像にエッジ強調処理を施し、当該エッジ強調処理後の複数の仮想画像を用いて陽炎補正を行う請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項８】
前記陽炎補正は、αブレンドである請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
複数の撮像部が対象物を撮像した複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する変換ステップと、
前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正ステップと、
前記補正画像を出力する出力ステップと、
を含む陽炎補正方法。
【請求項１０】
複数の撮像部が対象物を撮像した複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する変換ステップと、
前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正ステップと、
前記補正画像を出力する出力ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、陽炎補正方法及びプログラムに関する。
【背景技術】
【０００２】
陽炎という大気の屈折率揺らぎによる影響で動画像内に生じる像の歪みを補正するため、複数フレーム分の動画像を平均化して歪みを補正する（陽炎補正を行う）技術が知られている。但し、この技術では、動画像内に動体の像が含まれる場合、当該動体の軌跡が見えてしまう。
【０００３】
このため、例えば特許文献１には、動画像内に含まれる動体の像を検出し、検出した動体の像をマスクして陽炎補正を行う手法が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、動体の像の検出に失敗した場合、動体の軌跡が見えてしまい、画質が低下する。また、特許文献１に開示された技術では、動体の像はマスクされ、陽炎補正が施されないため、周囲の像に対し動体の像の位置がずれてしまい、画質が低下するおそれがある。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、陽炎補正に伴う画質の低下を抑えることができる画像処理装置、陽炎補正方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、複数の撮像部が対象物を撮像した複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する変換部と、前記複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する補正部と、前記補正画像を出力する出力部と、を備える。
【発明の効果】
【０００７】
本発明によれば、陽炎補正に伴う画質の低下を抑えることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態の画像処理システムのハードウェア構成の一例を示すブロック図である。
【図２】図２は、本実施形態の画像処理システムの一例を示す摸式図である。
【図３】図３は、本実施形態の制御装置の詳細構成の一例を示すブロック図である。
【図４】図４は、本実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。
【図５】図５は、本実施形態の画像処理装置で実行される陽炎補正処理の一例を示すフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明にかかる画像処理装置、陽炎補正方法及びプログラムの実施形態を詳細に説明する。
【００１０】
図１は、本実施形態の画像処理システム１のハードウェア構成の一例を示すブロック図である。図１に示すように、画像処理システム１は、ＣＰＵ（Central  Processing  Unit）などの制御装置１０と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの記憶装置２０と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの外部記憶装置３０と、キーボードやマウスなどの入力装置４０と、ディスプレイなどの表示装置５０と、ＮＩＣ（Network  Interface  Card）などの通信インタフェースである通信装置６０と、レーザセンサなどの計測装置７０（計測部の一例）と、ビデオカメラなどの複数の撮像装置８０−１〜８０−Ｎ（複数の撮像部の一例、Ｎは２以上の自然数）とを備える。
【００１１】
図２は、本実施形態の画像処理システム１の一例を示す摸式図である。図２に示すように、画像処理システム１は、画像処理装置３と、配置部材４とを、備える。
【００１２】
配置部材４は、計測装置７０及び撮像装置８０−１〜８０−Ｎを配置する板などの部材である。配置部材４（計測装置７０及び撮像装置８０−１〜８０−Ｎ）は、通信ケーブルなどを介して画像処理装置３と接続されていてもよいし、無線（無線ＬＡＮや近距離無線通信など）で画像処理装置３と接続されていてもよい。
【００１３】
撮像装置８０−１〜８０−Ｎは、それぞれ、対象物の動画像を撮像する。本実施形態では、説明を簡便にするため、撮像装置８０−１〜８０−Ｎの内部パラメータは、全て同一であるものとするが、これに限定されるものではない。内部パラメータは、例えば、焦点距離、画像中心、アスペクト比、及びスキュー歪みなどが挙げられる。また本実施形態では、撮像装置８０−１〜８０−Ｎの撮像タイミングは、同期が取られ、同一であるものとする。
【００１４】
また本実施形態では、撮像装置８０−１〜８０−Ｎは、矩形を成すように（図２に示す例では、２次元アレイ上に）配置部材４に配置されている。但し、撮像装置８０−１〜８０−Ｎの配置は、これに限定されず、例えば、円形（例えば、同心円）を成すように配置部材４に配置してもよい。
【００１５】
また本実施形態では、撮像装置８０−１〜８０−Ｎのうち中心部に配置された撮像装置を基準撮像装置８０’とするが、基準撮像装置８０’はこれに限定されるものではない。また以下では、基準撮像装置８０’の視点を所定視点とするが、所定視点は、これに限定されるものではない。
【００１６】
計測装置７０は、所定視点から対象物までの距離を計測して距離情報を生成する。本実施形態では、計測装置７０は、図２に示すように、基準撮像装置８０’に密接するように配置部材４に配置されている。これにより、計測装置７０は、所定視点から対象物までの距離を計測できる。
【００１７】
画像処理装置３は、画像処理を実行可能なコンピュータであり、制御装置１０、記憶装置２０、外部記憶装置３０、入力装置４０、表示装置５０、及び通信装置６０を備えている。また画像処理装置３は、通信装置６０を介してネットワーク２に接続されている。ネットワーク２は、例えば、ＬＡＮ（Local  Area  Network）やインターネットなどが挙げられる。
【００１８】
図３は、本実施形態の制御装置１０の詳細構成の一例を示すブロック図である。図３に示すように、制御装置１０は、設定部１１と、画像取得部１２と、距離情報取得部１３と、変換部１４と、補正部１５と、出力部１６とを、含む。
【００１９】
設定部１１は、撮像装置８０−１〜８０−Ｎの外部パラメータを設定する。外部パラメータは、例えば、回転行列や並進行列などが挙げられる。設定部１１は、例えば、基準撮像装置８０’以外の撮像装置８０−１〜８０−Ｎそれぞれに基準撮像装置８０’を基準とするキャリブレーションを行わせることで、撮像装置８０−１〜８０−Ｎの外部パラメータ（基準撮像装置８０’に対する相対位置及び相対姿勢）を設定する。
【００２０】
画像取得部１２は、撮像装置８０−１〜８０−Ｎそれぞれから画像を取得する。例えば、画像取得部１２は、フレーム毎に、撮像装置８０−１〜８０−Ｎそれぞれから動画像を取得する。
【００２１】
距離情報取得部１３は、計測装置７０から距離情報を取得する。
【００２２】
変換部１４は、画像取得部１２により取得された複数の撮像画像それぞれを、所定視点から撮像したと仮定した仮想画像に変換する。具体的には、変換部１４は、距離情報取得部１３により取得された距離情報を用いて、複数の撮像画像を複数の仮想画像に変換する。
【００２３】
本実施形態では、変換部１４は、距離情報と撮像装置８０−１〜８０−Ｎのカメラパラメータ（外部パラメータ）とを用いて、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’により撮像された撮像画像と当該撮像画像以外の撮像装置８０−１〜８０−Ｎそれぞれとの対応点のマッチングを行い、複数の撮像画像を複数の仮想画像に変換する。
【００２４】
ここで、基準撮像装置８０’が撮像した画像上の点ｘ０（＝（ｘ０１，ｘ０２，１））と、ｘ０に対応する撮像装置８０−ｉ（ｉは、１〜Ｎのいずれか、但し、基準撮像装置８０’は除く）が撮像した画像上の点ｘｉ（＝（ｘｉ１，ｘｉ２，１））との関係は、基準撮像装置８０’に対する撮像装置８０−ｉの相対座標（平行移動ベクトル）、相対姿勢（回転行列）を、それぞれ、Ｔｉ，Ｒｉ、基準撮像装置８０’から対象物までの距離をλ０、撮像装置８０−ｉから対象物までの距離をλｉとすると、数式（１）で表される。なお、Ｔｉ，Ｒｉは、外部パラメータに相当し、λ０は、距離情報に相当する。
【００２５】
λ０ｘ０＝Ｒｉλｉｘｉ＋Ｔｉ      …（１）
【００２６】
そして、数式（１）を変形することで、数式（２）が求まる。
【００２７】
λｉｘｉ＝Ｉｎｖ（Ｒｉ）（λ０ｘ０−Ｔｉ）      …（２）
【００２８】
なお、Ｉｎｖ（Ｒｉ）は、Ｒｉの逆行列である。
【００２９】
本実施形態では、数式（２）の右辺の値が全て既知であるため、λｉｘｉが求まる。そして、ｘｉの第３成分が１となるようにλｉｘｉを定数倍することでｘｉが求まる。
【００３０】
変換部１４は、基準撮像装置８０’が撮像した画像上の全ての点について、上述した処理により、撮像装置８０−ｉが撮像した画像上の対応点を求めることで、撮像装置８０−ｉが撮像した画像を、所定視点から撮像したと仮定した仮想画像に変換できる。
【００３１】
補正部１５は、変換部１４により変換された複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する。ここで、補正部１５は、複数の仮想画像にエッジ強調処理を施し、当該エッジ強調処理後の複数の仮想画像を用いて陽炎補正を行ってもよい。このようにすれば、補正画像をより鮮明にすることができる。なお本実施形態では、陽炎補正は、αブレンドであるものとするが、これに限定されず、他の陽炎補正アルゴリズムを用いてもよい。
【００３２】
出力部１６は、補正部１５により生成された補正画像を出力する。例えば、出力部１６は、補正画像を外部記憶装置３０に出力し、外部記憶装置３０に記憶させたり、補正画像を表示装置５０に出力し、表示装置５０に表示させたり、通信装置６０に出力し、通信装置６０にネットワーク２を介した転送をさせたりする。
【００３３】
図４は、本実施形態の画像処理装置３で実行される処理の一例を示すフローチャート図である。
【００３４】
まず、画像処理装置３は、陽炎補正を開始する場合（ステップＳ１０１でＹｅｓ）、陽炎補正を終了するまで（ステップＳ１０５でＮｏ）、陽炎補正処理を継続する（ステップＳ１０３、ステップＳ１０５でＹｅｓ）。
【００３５】
陽炎補正を開始しない場合（ステップＳ１０１でＮｏ）、画像処理装置３は、撮像装置８０−１〜８０−Ｎの外部パラメータを設定するのであれば（ステップＳ１０７でＹｅｓ）、撮像装置８０−１〜８０−Ｎの外部パラメータを設定し（ステップＳ１０９）、ステップＳ１０１へ戻り、撮像装置８０−１〜８０−Ｎの外部パラメータを設定しないのであれば（ステップＳ１０７でＮｏ）、そのまま、ステップＳ１０１へ戻る。
【００３６】
図５は、本実施形態の画像処理装置３で実行される陽炎補正処理の一例を示すフローチャート図である。
【００３７】
まず、画像取得部１２は、撮像装置８０−１〜８０−Ｎそれぞれから画像（複数の画像）を取得する（ステップＳ２０１）。
【００３８】
続いて、距離情報取得部１３は、計測装置７０から距離情報を取得する（ステップＳ２０３）。
【００３９】
続いて、変換部１４は、距離情報と撮像装置８０−１〜８０−Ｎの外部パラメータとを用いて、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’により撮像された撮像画像と当該撮像画像以外の撮像装置８０−１〜８０−Ｎそれぞれとの対応点のマッチングを行い（所定視点を基準とした射影変換を行い）、複数の撮像画像を複数の仮想画像に変換する（ステップＳ２０５）。
【００４０】
続いて、補正部１５は、陽炎補正アルゴリズムを用いて射影変換後の複数の仮想画像を合成し、陽炎補正が施された補正画像を生成する（ステップＳ２０７）。
【００４１】
続いて、出力部１６は、補正部１５により生成された陽炎補正後の補正画像を出力する（ステップＳ２０９）。
【００４２】
以上のように本実施形態では、複数の撮像部で撮像した複数の撮像画像それぞれを所定視点から撮像したと仮定した仮想画像に変換し、変換した複数の仮想画像を用いて陽炎補正を行い、補正画像を生成する。
【００４３】
このように本実施形態では、時系列（フレーム）が一致し、かつ視点が一致する複数の画像を用いて陽炎補正を行い、補正画像を生成するので、補正画像内に動体の像が写っている場合であっても、動体の軌跡が見えず、周囲の像に対し動体の像の位置がずれないので、画質の低下を抑えることができる。
【００４４】
なお、撮像部の数が多いほど陽炎の影響で動画像内に生じる像の歪みの除去効果が大きくなるため、撮像部の数は多いことが好ましい。
【００４５】
（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。
【００４６】
上記実施形態では、距離情報の生成に計測装置７０を用いたが、変換部１４がステレオカメラの原理を用いて距離情報を生成するようにしてもよい。具体的には、変換部１４は、三角測量などの原理に基づき、基準撮像装置８０’により撮像された撮像画像と、撮像装置８０−１〜８０−Ｎのうち基準撮像装置８０’以外の撮像部により撮像された撮像画像とを用いて、距離情報を生成してもよい。この場合、画像処理システム１は、計測装置７０を備える必要はない。
【００４７】
また上記実施形態では、撮像装置８０−１〜８０−Ｎが撮像する撮像画像が動画像であることを想定して説明したが、これに限定されず、静止画などであってもよい。
【００４８】
また上記実施形態では、設定部１１、画像取得部１２、距離情報取得部１３、変換部１４、補正部１５、及び出力部１６を制御装置１０がソフトウェア的に実現することを想定して説明したが、これに限定されず、設定部１１、画像取得部１２、距離情報取得部１３、変換部１４、補正部１５、及び出力部１６をハードウェアで実現してもよいし、ソフトウェアとハードウェアとを併用して実現してもよい。
【００４９】
（プログラム）
上記実施形態の画像処理装置３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【００５０】
また、上記実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の画像処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態の画像処理装置３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【００５１】
上記実施形態の画像処理装置３で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【符号の説明】
【００５２】
１  画像処理システム
２  ネットワーク
３  画像処理装置
４  配置部材
１０  制御装置
１１  設定部
１２  画像取得部
１３  距離情報取得部
１４  変換部
１５  補正部
１６  出力部
２０  記憶装置
３０  外部記憶装置
４０  入力装置
５０  表示装置
６０  通信装置
７０  計測装置
８０−１〜８０−Ｎ  撮像装置
８０’  基準撮像装置
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特許第４２４５０４５号公報
【図１】
2015115895.tif 000003
【図２】
2015115895.tif 000004
【図３】
2015115895.tif 000005
【図４】
2015115895.tif 000006
【図５】
2015115895.tif 000007