(57)【要約】【課題】本発明は、撮影された画像における像のぼけを抑制するとともに、隣接するフレーム画像で撮影された画像間の像の変形具合の差異を抑えることができる画像処理装置、陽炎抑制方法及びプログラムを提供する。【解決手段】時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部１１０と、前記撮像された画像を出力する出力部１４０と、を備える。【選択図】図１
2015177477.tif 000002
【特許請求の範囲】
【請求項１】
時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、
前記撮像された画像を出力する出力部と、
を備える画像処理装置。
【請求項２】
前記フレームレートは、前記時間経過に伴う陽炎の変化がフレーム間で略静止されるレートであり、
前記露光時間は、前記フレームレートの１フレーム分の時間よりも短い時間である請求項１に記載の画像処理装置。
【請求項３】
前記フレームレートは、前記時間経過に伴う陽炎の変化のフレーム間での変化量が閾値以下である請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮像された複数の画像を用いて、当該画像内の基準点の時間経過に伴う変化を解析する解析部と、
前記フレームレートを解析結果に基づくレートに変更する第１変更部と、
を更に備える請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
前記解析部は、前記基準点の時間経過に伴う変化を解析して、当該時間経過に伴う変化が略静止する周波数を特定し、
前記第１変更部は、前記フレームレートを前記周波数のレートに変更する請求項４に記載の画像処理装置。
【請求項６】
前記撮像された画像を用いて、陽炎補正を行う補正部を更に備え、
前記出力部は、前記陽炎補正が行われた画像を出力する請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記撮像された画像から動体を検出する検出部と、
前記動体が検出された場合、前記フレームレートを前記時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、前記動体が検出されなかった場合、前記フレームレートを前記第１レートよりも遅い第２レートに変更する第２変更部と、
を更に備える請求項６に記載の画像処理装置。
【請求項８】
操作部からの第１操作入力に基づいて、前記フレームレートを前記時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、前記操作部からの第２操作入力に基づいて、前記フレームレートを前記第１レートよりも遅い第２レートに変更する第２変更部と、
を更に備える請求項６に記載の画像処理装置。
【請求項９】
前記補正部は、前記フレームレートが前記第１レートの場合、前記撮像された画像を用いて、陽炎補正を行う請求項７又は８に記載の画像処理装置。
【請求項１０】
前記撮像された画像から動体を検出する検出部と、
前記動体が検出されなかった場合、前記撮像された複数の画像の少なくとも一部を間引く間引き部と、を更に備え、
前記補正部は、前記動体が検出された場合、前記撮像された画像を用いて、陽炎補正を行う請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項１１】
操作部からの第３操作入力に基づいて、前記撮像された画像の少なくとも一部を間引く間引き部を更に備え、
前記補正部は、前記操作部からの第４操作入力に基づいて、前記撮像された画像を用いて、陽炎補正を行う請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項１２】
前記陽炎補正は、Ｌｕｃｋｙ  Ｉｍａｇｉｎｇ又はＬｕｃｋｙ  Ｒｅｇｉｏｎである請求項６〜１１のいずれか１つに記載の画像処理装置。
【請求項１３】
時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像ステップと、
前記撮像された画像を出力する出力ステップと、
を含む陽炎抑制方法。
【請求項１４】
時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像ステップと、
前記撮像された画像を出力する出力ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、陽炎抑制方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、撮影の際、陽炎、即ち、大気の屈折率揺らぎによる影響で画像内に生じる像のぼけを抑制する技術が知られている。ここで、「ぼけ」とは、撮影時の露光時間内に陽炎が変化することで、像の残像が撮像されてしまい、像がぼけてしまうことである。なお、陽炎の他の影響としては、大気の屈折率揺らぎにより画像内の像の形状が歪んでしまう変形がある。
【０００３】
例えば、非特許文献１には、天文分野において星などを撮影する際に、露光時間を短時間とすることで、露光時間内に陽炎が変化せず、像のぼけを抑制した画像を得ることが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような従来技術では、露光時間については、時間経過に伴う陽炎の変化の影響を受けない時間を設定しているが、フレームレートについては、このような考慮がされていない。
【０００５】
このため、上述したような従来技術では、撮影された各画像における像のぼけは抑制できるが、異なる画像間、特に、動画像や、静止画像であっても連続して撮影するような場合、隣接するフレームで撮影された画像間で像の変形具合が異なってしまう。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、撮影された画像における像のぼけを抑制するとともに、隣接するフレーム画像で撮影された画像間の像の変形具合の差異を抑えることができる画像処理装置、陽炎抑制方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する撮像部と、前記撮像された画像を出力する出力部と、を備える。
【発明の効果】
【０００８】
本発明によれば、撮影された画像における像のぼけを抑制するとともに、隣接するフレームで撮影された画像間の像の変形具合の差異を抑えることができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態の画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、陽炎が発生する環境下で、自動車を３０ｆｐｓで撮像した場合と１０００ｆｐｓで撮像した場合との比較例を示す図である。
【図３】図３は、第１実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。
【図４】図４は、第２実施形態の画像処理装置の構成の一例を示すブロック図である。
【図５】図５は、第２実施形態の基準点の位置変化の時系列データの一例を示す図である。
【図６】図６は、第２実施形態の基準点の位置の周波数スペクトルの一例を示す図である。
【図７】図７は、第２実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。
【図８】図８は、第３実施形態の画像処理装置の構成の一例を示すブロック図である。
【図９】図９は、第３実施形態の画像処理装置で実行されるフレームレート変更処理の一例を示すフローチャート図である。
【図１０】図１０は、第３実施形態の画像処理装置で実行される出力処理の一例を示すフローチャート図である。
【図１１】図１１は、第４実施形態の画像処理装置の構成の一例を示すブロック図である。
【図１２】図１２は、第５実施形態の画像処理装置の構成の一例を示すブロック図である。
【図１３】図１３は、第５実施形態の画像処理装置で実行される処理の一例を示すフローチャート図である。
【図１４】図１４は、第６実施形態の画像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明にかかる画像処理装置、陽炎抑制方法及びプログラムの実施形態を詳細に説明する。以下では、動画像を例に取り説明するが、これに限定されず、例えば、静止画の連続画像などにも同様に適用できる。
【００１１】
（第１実施形態）
図１は、第１実施形態の画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、撮像部１１０と、記憶部１２０と、補正部１３０と、出力部１４０とを、備える。
【００１２】
撮像部１１０は、画像を撮像するものであり、例えば、監視カメラなどが挙げられる。具体的には、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像する。
【００１３】
時間経過に伴う陽炎の変化の影響を受けないフレームレートは、時間経過に伴う陽炎の変化がフレーム間で略静止されるレートであればよい。時間経過に伴う陽炎の変化がフレーム間で略静止されるとは、例えば、時間経過に伴う陽炎の変化のフレーム間での変化量が閾値以下であると説明することができる。例えば、時間経過に伴う陽炎の変化の影響を受けないフレームレートは、時間経過に伴う陽炎の変化をフレーム毎に記録し、フーリエ変換し、周波数スペクトルの値が閾値以下となる所定の周波数のレートと理解することができる。これについては、後述する。
【００１４】
時間経過に伴う陽炎の変化の影響を受けない露光時間は、露光時間内に陽炎が変化しない短時間であればよい。なお、露光時間は、フレームレートの１フレーム分の時間よりも短い時間であるものとする。
【００１５】
時間経過に伴う陽炎の変化の影響を受けない露光時間及びフレームレートは、陽炎そのものに依存するが、本実施形態では、自然界で生じる多くの陽炎に対応するため、フレームレートが１０００ｆｐｓ、露光時間が０．５ｍｓとして以下説明する。但し、これらに限定されるものではない。
【００１６】
ここで、本実施形態のように、露光時間を短時間化するとともにフレームレートを高速化することで、陽炎の影響が抑えられる原理について説明する。
【００１７】
本実施形態のように、露光時間を時間経過に伴う陽炎の変化の影響を受けない時間（例えば、０．５ｍｓ）とした場合、露光時間内で陽炎はほぼ変化しない。このため、撮像部１１０によりフレームレート毎に撮像される各画像には、陽炎が変化することに起因する像のぼけはほぼ生じず、像のぼけを抑制した画像を得ることができる。
【００１８】
また本実施形態のように、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレート（例えば、１０００ｆｐｓ）である場合、フレーム間では陽炎の変化が静止しているとものとして扱うことができるため、隣接するフレームで撮像された画像間での像の変形具合の差異は無視できるほど小さい。このため、撮像部１１０により隣接するフレームで撮像された画像間では、陽炎が変化することに起因する像の変形はほぼ生じず、隣接するフレームで撮像された両画像における像の変形具合は、略同一とみなすことができ、両画像における像の変形具合の差異を抑えることができる。
【００１９】
また本実施形態のように、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレート（例えば、１０００ｆｐｓ）である場合、陽炎だけでなく動体の動きの影響も受けなくなる。つまり、フレーム間では動体の動きも静止しているとものとして扱うことができる。このため、撮像部１１０により隣接するフレームで撮像された画像において、陽炎に起因する像の変形具合だけでなく動体の動きに起因する変形具合についても略同一とみなすことができ、両画像における像の変形具合の差異を抑えることができる。
【００２０】
図２は、陽炎が発生する環境下で、自動車を３０ｆｐｓで撮像した場合と１０００ｆｐｓで撮像した場合との比較例を示す図である。なお、露光時間は、いずれのフレームレートでも０．５ｍｓであるものとする。
【００２１】
図２に示すように、陽炎が発生する環境下で撮像された自動車は、いずれも形状が歪んでいる。但し、画像２１、２２が示すように、１０００ｆｐｓでの隣接するフレーム間では、フレーム間隔が時間経過に伴う陽炎の変化の影響を受けないほど短いため、画像２１、２２における自動車の変形具合は、ほぼ同一である。一方、画像１１、１２が示すように、３０ｆｐｓでの隣接するフレーム間では、フレーム間隔が時間経過に伴う陽炎の変化の影響を受けてしまう長さであるため、画像１１、１２における自動車の変形具合は、異なっている。
【００２２】
記憶部１２０は、撮像部１１０によりフレームレート毎に撮像される画像を順次バッファするものであり、ＤＲＡＭ（Dynamic  Random  Access  Memory）などのメモリにより実現できる。
【００２３】
補正部１３０は、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行うものであり、ＩＣ（Integrated  Circuit）やＧＰＵ（Graphics  Processing  Unit）などにより実現できる。
【００２４】
陽炎補正としては、例えば、Ｌｕｃｋｙ  ＩｍａｇｉｎｇやＬｕｃｋｙ  Ｒｅｇｉｏｎなどが挙げられる。Ｌｕｃｋｙ  Ｉｍａｇｉｎｇは、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像の中から、変形やぼけの少ない画像を選択して、出力する手法である。Ｌｕｃｋｙ  Ｒｅｇｉｏｎは、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、変形やぼけの少ない領域の部分画像を抽出し、抽出した部分画像を合成した合成画像を出力する手法である。
【００２５】
なお、補正部１３０は、本実施形態において、必須の構成ではなく、省略してもよい。
【００２６】
出力部１４０は、撮像部１１０により撮像された画像を出力するものであり、ＣＰＵ（Central  Processing  Unit）などにより実現できる。具体的には、出力部１４０は、補正部１３０により陽炎補正が行われた画像を出力する。出力部１４０は、陽炎補正が行われた画像を、例えば、図示せぬ表示部（例えば、液晶ディスプレイなど）に表示出力したり、図示せぬ通信部（例えば、ネットワークインタフェースカードなど）を介して、図示せぬ外部装置（例えば、サーバ装置など）に送信したりする。
【００２７】
図３は、第１実施形態の画像処理装置１００で実行される処理の一例を示すフローチャート図である。
【００２８】
まず、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ１０１）。
【００２９】
続いて、補正部１３０は、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ１０３）。
【００３０】
続いて、出力部１４０は、補正部１３０により陽炎補正が行われた画像を出力する（ステップＳ１０５）。
【００３１】
以上のように第１実施形態によれば、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を撮像するため、撮像された画像における像のぼけを抑制するとともに、隣接するフレームで撮像された画像間の像の変形具合の差異を抑えることができる。
【００３２】
特に本実施形態の画像処理装置は、隣接するフレームで撮像された画像間の陽炎に起因する像の変形具合だけでなく動体の動きに起因する変形具合についても差異が抑えられるため、監視装置など未知なる動体を追跡する装置に好適である。
【００３３】
これは、画像における像のぼけが抑制され、隣接するフレームで撮像された画像間の像の変形具合の差異が抑えられるため、当該像を隣接するフレームの画像間で同一物の像と認識することが容易にでき、陽炎が発生するような環境下で撮像された画像であっても、未知なる動体を容易に追跡できるためである。
【００３４】
（第２実施形態）
第２実施形態では、フレームレートを適応的に変更する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００３５】
図４は、第２実施形態の画像処理装置２００の構成の一例を示すブロック図である。図４に示すように、第２実施形態の画像処理装置２００は、解析部２５０及び変更部２６０（第１変更部の一例）を更に備える点、並びに撮像部２１０が第１実施形態と相違する。
【００３６】
解析部２５０は、撮像部２１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、画像内の基準点の時間経過に伴う変化を解析するものであり、ＣＰＵなどにより実現できる。なお、画像内の基準点は、撮像部２１０の撮像エリアに予め基準物を配置することで、当該基準物の像を基準点とすればよい。具体的には、解析部２５０は、基準点の時間経過に伴う変化を解析して、当該時間経過に伴う変化が略静止する周波数を特定する。
【００３７】
例えば、解析部２５０は、記憶部１２０にバッファされた画像を順次解析し、図５に示すように、基準点の時間経過に伴う変化をフレーム毎に記録する。そして解析部２５０は、図５に示す基準点の位置変化の時系列データをフーリエ変換し、図６に示す基準点の位置の周波数スペクトルのエンベロープを得る。解析部２５０は、図６に示す周波数スペクトルのエンベロープの値を周波数０から順に確認し、変化率か所定値以下となる点の周波数２９１に基づいて、基準点の時間経過に伴う変化が略静止する周波数を特定する。例えば、図６中、Ａ、Ｂ点では、変化率（図中に点線で示したように、エンベロープの接線の傾きとして把握できる）が所定値を超えており、Ｃ点では、変化率が所定値以下と判断できるので、Ｃ点における周波数を周波数２９１に特定できる。解析部２５０は、例えば、所定値となった周波数２９１の２倍以上の周波数２９２を、基準点の時間経過に伴う変化が略静止する周波数に特定する。
【００３８】
変更部２６０は、撮像部２１０のフレームレートを解析部２５０の解析結果に基づくレートに変更するものであり、例えば、ＣＰＵなどにより実現できる。具体的には、変更部２６０は、撮像部２１０のフレームレートを、解析部２５０により特定された周波数のレートに変更する。
【００３９】
これにより、撮像部２１０は、変更後のフレームレートで撮像を行う。
【００４０】
図７は、第２実施形態の画像処理装置２００で実行される処理の一例を示すフローチャート図である。
【００４１】
まず、撮像部２１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ２０１）。
【００４２】
続いて、解析部２５０は、記憶部１２０にバッファされた画像を用いて、画像内の基準点の時間経過に伴う変化を周波数解析し（ステップＳ２０３）、解析結果から当該時間経過に伴う変化が略静止する周波数を特定する（ステップＳ２０５）。
【００４３】
続いて、変更部２６０は、撮像部２１０のフレームレートを解析部２５０により特定された周波数のレートに変更する（ステップＳ２０７）。
【００４４】
以上のように第２実施形態によれば、陽炎の揺らぎ具合に合わせて撮像部２１０のフレームレートを適応的に変更することができる。
【００４５】
（第３実施形態）
第３実施形態では、動体の有無に応じてフレームレートを変更する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００４６】
図８は、第３実施形態の画像処理装置３００の構成の一例を示すブロック図である。図８に示すように、第３実施形態の画像処理装置３００は、検出部３７０及び変更部３６０（第２変更部の一例）を更に備える点、並びに撮像部３１０及び補正部３３０が第１実施形態と相違する。
【００４７】
検出部３７０は、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、動体を検出するものであり、ＣＰＵなどにより実現できる。例えば、検出部３７０は、記憶部１２０にバッファされた最新の画像と過去数フレーム分の画像それぞれとの画素値（例えば、輝度値）を比較し、輝度値が一定以上変化した場合、画像内に動体が出現したと判定する。動体判定する場合、高レートでは動体の移動が把握しにくいため、高レートで撮像したフレーム中、一定周期で抜き出したフレームを用いて、動体が引き続き画像内に存在するかどうか判定し続ける。ある画像の輝度値が、動体が出現したと判定する以前の水準に戻った場合、画像内から動体がフレームアウトしたと判定する。
【００４８】
変更部３６０は、検出部３７０により動体が存在すると判定された場合、撮像部３１０のフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、検出部３７０により動体が存在しないと判定された場合、撮像部３１０のフレームレートを第１レートよりも遅い第２レートに変更する。例えば、第１レートを１０００ｆｐｓ、第２レートを３０ｆｐｓとすることができるが、これに限定されるものではない。
【００４９】
これにより、撮像部３１０は、変更後のフレームレートで撮像を行う。
【００５０】
補正部３３０は、変更部３６０により撮像部３１０のフレームレートが第１レートに変更された場合、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。
【００５１】
図９は、第３実施形態の画像処理装置３００で実行されるフレームレート変更処理の一例を示すフローチャート図である。
【００５２】
まず、撮像部３１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつ動体検出時のレートである第１レート又は通常時のレートである第２レートのフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ３０１）。
【００５３】
続いて、検出部３７０は、記憶部１２０にバッファされた画像から、動体の有無を検出する（ステップＳ３０３）。
【００５４】
続いて、変更部３６０は、検出部３７０により動体が検出され（ステップＳ３０３でＹｅｓ）、撮像部３１０のフレームレートが通常時のレートである第２レートの場合（ステップＳ３０５でＹｅｓ）、撮像部３１０のフレームレートを動体検出時のレートである第１レートに変更する（ステップＳ３０７）。
【００５５】
なお、検出部３７０により動体が検出されても（ステップＳ３０３でＹｅｓ）、撮像部３１０のフレームレートが通常時のレートである第２レートでない場合（ステップＳ３０５でＮｏ）、ステップＳ３０７の処理は行われない。
【００５６】
一方、変更部３６０は、検出部３７０により動体が検出されず（ステップＳ３０３でＮｏ）、撮像部３１０のフレームレートが動体検出時のレートである第１レートの場合（ステップＳ３０９でＹｅｓ）、撮像部３１０のフレームレートを通常時のレートである第２レートに変更する（ステップＳ３１１）。
【００５７】
なお、検出部３７０により動体が検出されなくても（ステップＳ３０３でＮｏ）、撮像部３１０のフレームレートが動体検出時のレートである第１レートでない場合（ステップＳ３０９でＮｏ）、ステップＳ３１１の処理は行われない。
【００５８】
図１０は、第３実施形態の画像処理装置３００で実行される出力処理の一例を示すフローチャート図である。
【００５９】
まず、撮像部３１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつ動体検出時のレートである第１レート又は通常時のレートである第２レートのフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ４０１）。
【００６０】
続いて、補正部３３０は、撮像部３１０のフレームレートが動体検出時のレートである第１レートであれば（ステップＳ４０３でＹｅｓ）、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ４０５）。
【００６１】
なお、撮像部３１０のフレームレートが動体検出時のレートである第１レートでなければ（ステップＳ４０３でＮｏ）、ステップＳ４０５の処理は行われない。
【００６２】
続いて、出力部１４０は、補正部３３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、補正部３３０により陽炎補正が行われなければ、記憶部１２０にバッファされた画像をそのまま出力する（ステップＳ４０７）。
【００６３】
以上のように第３実施形態によれば、動体が検出されると、フレームレートが時間経過に伴う陽炎の変化の影響を受けないレートとなり、動体が検出されなければ、フレームレートが通常時のレートとなる。このため第３実施形態によれば、通常時の各種コストを抑えられ、監視装置など未知なる動体を追跡する装置により好適である。
【００６４】
（第４実施形態）
第４実施形態では、ユーザ操作に応じてフレームレートを変更する例について説明する。以下では、第３実施形態との相違点の説明を主に行い、第３実施形態と同様の機能を有する構成要素については、第３実施形態と同様の名称・符号を付し、その説明を省略する。
【００６５】
図１１は、第４実施形態の画像処理装置４００の構成の一例を示すブロック図である。図１１に示すように、第４実施形態の画像処理装置４００は、操作部４８０を更に備える点、並びに変更部４６０（第２変更部の一例）が第３実施形態と相違する。
【００６６】
操作部４８０は、各種操作入力を行うものであり、例えば、マウスやキーボードなどにより実現できる。
【００６７】
変更部４６０は、操作部４８０により第１操作入力が行われた場合、撮像部３１０のフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートである第１レートに変更し、操作部４８０により第２操作入力が行われた場合、撮像部３１０のフレームレートを第１レートよりも遅い第２レートに変更する。例えば、第１レートを１０００ｆｐｓ、第２レートを３０ｆｐｓとすることができるが、これに限定されるものではない。
【００６８】
これにより、撮像部３１０は、変更後のフレームレートで撮像を行う。
【００６９】
補正部３３０は、変更部４６０により撮像部３１０のフレームレートが第１レートに変更された場合、撮像部３１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。
【００７０】
以上のように第４実施形態によれば、ユーザ操作でフレームレートを時間経過に伴う陽炎の変化の影響を受けないレートとするか通常時のレートとするかを変更できる。このため第４実施形態によれば、通常時の各種コストを抑えられ、監視装置など未知なる動体を追跡する装置により好適である。
【００７１】
（第５実施形態）
第５実施形態では、動体の有無に応じて陽炎補正を行うか画像を間引く例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００７２】
図１２は、第５実施形態の画像処理装置５００の構成の一例を示すブロック図である。図１２に示すように、第５実施形態の画像処理装置５００は、検出部３７０及び間引き部５９０を更に備える点、並びに補正部５３０が第１実施形態と相違する。
【００７３】
検出部３７０は、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像から、動体を検出するものであり、ＣＰＵなどにより実現できる。例えば、検出部３７０は、記憶部１２０にバッファされた最新の画像と過去数フレーム分の画像それぞれとの画素値（例えば、輝度値）を比較し、輝度値が一定以上変化した場合、画像内に動体が出現したと判定する。動体判定する場合、高レートでは動体の移動が把握しにくいため、高レートで撮像したフレーム中、一定周期で抜き出したフレームを用いて、動体が引き続き画像内に存在するかどうか判定し続ける。ある画像の輝度値が、動体が出現したと判定する以前の水準に戻った場合、画像内から動体がフレームアウトしたと判定する。
【００７４】
間引き部５９０は、検出部３７０により動体が存在すると判定された場合、撮像部１１０により撮像された複数の画像、即ち、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く。例えば、間引き部５９０は、１０００ｆｐｓで入力される画像を３０ｆｐｓで出力するように画像を間引く。
【００７５】
補正部５３０は、検出部３７０により動体が存在しないと判定された場合、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。
【００７６】
出力部１４０は、補正部５３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部５９０により間引き処理が行われれば、間引きされた画像を出力する。
【００７７】
図１３は、第５実施形態の画像処理装置５００で実行される処理の一例を示すフローチャート図である。
【００７８】
まず、撮像部１１０は、時間経過に伴う陽炎の変化の影響を受けない露光時間かつフレームレートで画像を順次撮像し、記憶部１２０にバッファする（ステップＳ５０１）。
【００７９】
続いて、検出部３７０は、記憶部１２０にバッファされた画像から、動体の有無を検出する（ステップＳ５０３）。
【００８０】
続いて、補正部５３０は、検出部３７０により動体が検出されれば（ステップＳ５０３でＹｅｓ）、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う（ステップＳ５０５）。
【００８１】
一方、間引き部５９０は、検出部３７０により動体が検出されなければ（ステップＳ５０３でＮｏ）、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く間引き処理を行う（ステップＳ５０７）。
【００８２】
続いて、出力部１４０は、補正部１３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部５９０により間引き処理が行われれば、間引きされた画像を出力する（ステップＳ５０９）。
【００８３】
以上のように第５実施形態によれば、動体が検出されない場合、画像の間引き処理が行われるため、画像表示に適したフレームレートで画像を出力でき、動体非検出時の画像の視認性を高めることができる。なお、動体検出時には、陽炎補正に伴い、自動的に画像は間引かれる。このため第５実施形態によれば、通常時の画像の視認性を向上でき、監視装置など未知なる動体を追跡する装置により好適である。
【００８４】
（第６実施形態）
第６実施形態では、ユーザ操作に応じて陽炎補正を行うか画像を間引く例について説明する。以下では、第５実施形態との相違点の説明を主に行い、第５実施形態と同様の機能を有する構成要素については、第５実施形態と同様の名称・符号を付し、その説明を省略する。
【００８５】
図１４は、第６実施形態の画像処理装置６００の構成の一例を示すブロック図である。図１４に示すように、第６実施形態の画像処理装置６００は、操作部６８０を更に備える点、並びに間引き部６９０及び補正部６３０が第５実施形態と相違する。
【００８６】
操作部６８０は、各種操作入力を行うものであり、例えば、マウスやキーボードなどにより実現できる。
【００８７】
間引き部６９０は、操作部６８０により第３操作入力が行われた場合、撮像部１１０により撮像された複数の画像、即ち、記憶部１２０にバッファされた複数の画像から、少なくとも一部を間引く。例えば、間引き部６９０は、１０００ｆｐｓで入力される画像を３０ｆｐｓで出力するように画像を間引く。
【００８８】
補正部６３０は、操作部６８０により第４操作入力が行われた場合、撮像部１１０により撮像された画像、即ち、記憶部１２０にバッファされた画像を用いて、陽炎補正を行う。
【００８９】
出力部１４０は、補正部６３０により陽炎補正が行われれば、当該陽炎補正が行われた画像を出力し、間引き部６９０により間引き処理が行われれば、間引きされた画像を出力する。
【００９０】
以上のように第６実施形態によれば、ユーザ操作で間引き処理が選択された場合、画像の間引き処理が行われるため、画像表示に適したフレームレートで画像を出力でき、画像の視認性を高めることができる。なお、ユーザ操作で陽炎補正が選択された場合、陽炎補正に伴い、自動的に画像は間引かれる。このため第６実施形態によれば、通常時の画像の視認性を向上でき、監視装置など未知なる動体を追跡する装置により好適である。
【００９１】
（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記各実施形態を適宜組み合わせてもよい。
【００９２】
（ハードウェア構成）
上記各実施形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置と、通信Ｉ／Ｆ（インタフェース）と、監視カメラなどの撮像装置と、を備えており、通常のコンピュータを利用できる。
【００９３】
上記各実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。また、特定の製品に回路として組み込まれていてもよい。あるいは、ＡＳＩＣ（特定用途向けＩＣ）として提供されてもよい。
【００９４】
また、上記各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態の画像処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【００９５】
上記各実施形態の画像処理装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【符号の説明】
【００９６】
１００、２００、３００、４００、５００、６００  画像処理装置
１１０、２１０、３１０  撮像部
１２０  記憶部
１３０、３３０、５３０、６３０  補正部
１４０  出力部
２５０  解析部
２６０、３６０、４６０  変更部
３７０  検出部
４８０、６８０  操作部
５９０、６９０  間引き部
【先行技術文献】
【非特許文献】
【００９７】
【非特許文献１】Alejandro  Oscoz,  Rafael  Rebolo,  Roberto  Lopez,  Antonio  Perez-Garrido,  Jorge  Andres  Perez,  Sergi  Hildebrandt,  Luis  Fernando  Rodriguez,  Juan  Jose  Piqueras,  Isidro  Villo,  Jose  Miguel  Gonzalez,  Rafael  Barrena,  Gabriel  Gomez,  Anibal  Garcia,  Pilar  Montanes,  Alfred  Rosenberg,  Emilio  Cadavid,  Ariadna  Calcines,  Anastasio  Diaz-Sanchez,  Ralf  Kohley,  Yolanda  Martin,  Jose  Penate,  Vicente  Sanchez,  “FastCam:  a  new  lucky  imaging  instrument  for  medium-sized  telescopes”  Proc.  SPIE  7014,  Ground-based  and  Airborne  Instrumentation  for  Astronomy  II,  701447  (July  11,  2008);  doi:10.1117/12.788834
【図１】
2015177477.tif 000003
【図２】
2015177477.tif 000004
【図３】
2015177477.tif 000005
【図４】
2015177477.tif 000006
【図５】
2015177477.tif 000007
【図６】
2015177477.tif 000008
【図７】
2015177477.tif 000009
【図８】
2015177477.tif 000010
【図９】
2015177477.tif 000011
【図１０】
2015177477.tif 000012
【図１１】
2015177477.tif 000013
【図１２】
2015177477.tif 000014
【図１３】
2015177477.tif 000015
【図１４】
2015177477.tif 000016