(57)【要約】      （修正有）【課題】動画像を構成する画像において、ランダムな変形とランダムかつ非一様なボケが生じている場合であっても、トラッキング処理の精度を向上させる画像処理装置、方法及びプログラムを提供する。【解決手段】領域設定部１０２は、第一画像から、トラッキング対象領域を設定する。コントラスト計算部１０３は第一画像のトラッキング対象領域の各画素のコントラスト値を計算する。画像平滑化部１０４は、第一画像のトラッキング対象領域の各画素のコントラスト値に基づいて、画素毎に平滑化処理を実行する。トラッキング部１０５は、平滑化された第一画像の選択された領域が、平滑化されたターゲット画像のどこに位置するか、トラッキングする。【選択図】図３
2016224627.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する第一の画像から、トラッキング対象領域を設定する領域設定手段と、
前記領域設定手段により設定されたトラッキング対象領域の各画素のコントラスト値と、前記動画像を構成する第二の画像の各画素のコントラスト値を計算するコントラスト計算手段と、
前記コントラスト計算手段により計算された、前記トラッキング対象領域の各画素のコントラスト値に基づいて前記トラッキング対象領域を平滑化する第一平滑化手段と、
前記コントラスト計算手段により計算された、前記第二の画像の各画素のコントラスト値に基づいて前記第二の画像を平滑化する第二平滑化手段と、
前記第一平滑化手段により平滑化された前記トラッキング対象領域と類似する領域を前記第二平滑化手段により平滑化された前記第二の画像からトラッキングするトラッキング手段と、
を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記トラッキング手段は、前記第一平滑化手段により平滑化された前記トラッキング対象領域と輝度値が類似する領域を前記第二平滑化手段により平滑化された前記第二の画像からトラッキングする画像処理装置。
【請求項３】
請求項１又は２に記載された画像処理装置において、
前記コントラスト値が、前記コントラスト計算手段により計算対象とされる画素の周辺の所定の範囲内の輝度値の標準偏差である画像処理装置。
【請求項４】
請求項１又は２に記載された画像処理装置において、
前記コントラスト値が、前記コントラスト計算手段により計算対象とされる画素の周辺の所定の範囲内の輝度値の分散である画像処理装置。
【請求項５】
請求項１又は２に記載された画像処理装置において、
前記コントラスト値が、前記コントラスト計算手段により計算対象とされる画素の周辺の所定の範囲内の輝度値のトータルバリエーションである画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載された画像処理装置において、
前記トラッキング手段が輝度値のヒストグラムの類似度によるブロックマッチングによりトラッキングする画像処理装置。
【請求項７】
請求項１ないし６のいずれかに記載された画像処理装置において、
前記第一平滑化手段が前記トラッキング対象領域の各画素のコントラスト値に応じたサイズの平滑化フィルタであり、前記第二平滑化手段が前記第二の画像の各画素のコントラスト値に応じたサイズの平滑化フィルタである画像処理装置。
【請求項８】
請求項１ないし６のいずれかに記載された画像処理装置において、
前記第一平滑化手段が前記トラッキング対象領域の各画素のコントラスト値に応じたガウシアンカーネルを用いたガウシアンフィルタであり、前記第二の画像の各画素のコントラスト値に応じたガウシアンカーネルを用いたガウシアンフィルタである画像処理装置。
【請求項９】
請求項１ないし８のいずれかに記載された画像処理装置において、
前記領域設定手段により設定されるトラッキング対象領域がユーザによりフリーハンド又は所定の形状で設定された領域である画像処理装置。
【請求項１０】
領域設定手段による、動画像を構成する第一の画像から、トラッキング対象領域を設定する領域設定工程と、
コントラスト計算手段による、前記領域設定工程において設定されたトラッキング対象領域の各画素のコントラスト値を計算する第一のコントラスト計算工程と、
第一平滑化手段による、前記第一のコントラスト計算工程において計算された、前記トラッキング対象領域の各画素のコントラスト値に基づいて前記トラッキング対象領域を平滑化する第一の平滑化工程と、
コントラスト計算手段による、前記動画像を構成する第二の画像の各画素のコントラスト値を計算する第二のコントラスト計算工程と、
第二平滑化手段による、前記第二のコントラスト計算工程において計算された、前記第二の画像の各画素のコントラスト値に基づいて前記第二の画像を平滑化する第二の平滑化工程と、
トラッキング手段による、前記第一の平滑化工程において平滑化された前記トラッキング対象領域と類似する領域を、前記第二の平滑化工程において平滑化された前記第二の画像からトラッキングするトラッキング工程と、
を有する画像処理方法。
【請求項１１】
請求項１０に記載された画像処理方法において、
前記トラッキング工程は、前記第一平滑化工程において平滑化された前記トラッキング対象領域と輝度値が類似する領域を前記第二平滑化工程において平滑化された前記第二の画像からトラッキングする画像処理方法。
【請求項１２】
画像処理装置のコンピュータを、
動画像を構成する第一の画像から、トラッキング対象領域を設定する領域設定手段、
前記領域設定手段により設定されたトラッキング対象領域の各画素のコントラスト値と、前記動画像を構成する第二の画像の各画素のコントラスト値を計算するコントラスト計算手段、
前記コントラスト計算手段により計算された、前記トラッキング対象領域の各画素のコントラスト値に基づいて前記トラッキング対象領域を平滑化する第一平滑化手段、
前記コントラスト計算手段により計算された、前記第二の画像の各画素のコントラスト値に基づいて前記第二の画像を平滑化する第二平滑化手段、並びに
前記第一平滑化手段により平滑化された前記トラッキング対象領域と類似する領域を前記第二平滑化手段により平滑化された前記第二の画像からトラッキングするトラッキング手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の対象をトラッキングする画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
同一シーンを連続撮影した動画像では、画像内において、撮影対象物の位置が変化する場合がある。
その場合において、動画像を構成する各画像内で、撮影対象物がどの領域に位置しているのかを追跡（トラッキング）するトラッキング技術が知られている。
【０００３】
トラッキング技術として、ブロックマッチング法が知られているが、これは動画像を構成する各画像内において撮影対象物の輝度パターンが大きく変化しないことを前提に、各画像において撮影対象物と輝度パターンが最も一致する位置を求める手法である。
ブロックマッチング法を用いた画像処理装置として、例えば、特許文献１には、追跡対象点が動画像を構成する画像間でどのように移動したのか推定し、その推定の結果得られる動きベクトルの確度が所定の閾値以上であることを条件に、追跡対象点が移動したものと判定する画像処理装置が記載されている。
【０００４】
但し、特許文献１に記載された画像処理装置では、トラッキング処理を実行する上で、トラッキング処理の対象とする画像間で輝度が変化しないことを前提としている。
そのため、例えば、図１０に示すような、陽炎等の大気の密度揺らぎが発生している空間を撮影した動画像において、撮影対象物（図１０では、水平で濃さが均一の２本の線分）をトラッキングする場合、その動画像を構成する画像には、図１０Ｂの楕円領域に示すように、ランダムな変形とランダムかつ非一様なボケが生じる。これにより各画像間で輝度が変化する（即ち、図１０Ｂ１と図１０Ｂ２では、線とその周辺の輝度が変化する）ことから、正確なトラッキングを行うことができない。
【０００５】
即ち、特許文献１に記載された画像処理装置では、撮影された動画像を構成する画像に、大気の密度揺らぎが発生している場合（即ち、ランダムな変形とランダムかつ非一様なボケが生じている場合）、トラッキング処理を実行する上で、その精度を担保することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、動画像を構成する画像において、ランダムな変形とランダムかつ非一様なボケが生じている場合であっても、トラッキング処理の精度を向上させることである。
【課題を解決するための手段】
【０００７】
本発明は、動画像を構成する第一の画像から、トラッキング対象領域を設定する領域設定手段と、前記領域設定手段により設定されたトラッキング対象領域の各画素のコントラスト値と、前記動画像を構成する第二の画像の各画素のコントラスト値を計算するコントラスト計算手段と、前記コントラスト計算手段により計算された、前記トラッキング対象領域の各画素のコントラスト値に基づいて前記トラッキング対象領域を平滑化する第一平滑化手段と、前記コントラスト計算手段により計算された、前記第二の画像の各画素のコントラスト値に基づいて前記第二の画像を平滑化する第二平滑化手段と、前記第一平滑化手段により平滑化された前記トラッキング対象領域と類似する領域を前記第二平滑化手段により平滑化された前記第二の画像からトラッキングするトラッキング手段と、を有する画像処理装置である。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、動画像を構成する画像において、ランダムな変形とランダムかつ非一様なボケが生じている場合であっても、トラッキング処理の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理装置の概略ブロック図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア概略構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】本発明の実施形態に係る画像処理装置における処理全体の概要を示す図である。
【図５】本発明の実施形態に係る画像処理装置における処理全体の手順を示すフロー図である。
【図６】本発明の実施形態に係る画像処理装置のコントラスト計算部における処理を示す図である。
【図７】本発明の実施形態に係る画像処理装置のコントラスト計算部における処理の手順を示すフロー図である。
【図８】本発明の実施形態に係る画像処理装置の画像平滑化部における処理を示す図である。
【図９】本発明の実施形態に係る画像処理装置の画像平滑化部における処理の手順を示すフロー図である。
【図１０】陽炎等の大気の密度揺らぎが発生した場合の画像を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る画像処理装置１の概略ブロック図である。
画像処理装置１は、図１に示すように、外部ストレージデバイス２と接続される。
【００１１】
画像処理装置１は、画像処理装置１に実装される撮影ユニット１２（図２）により撮影された画像、又は外部ストレージデバイス２から転送された画像において、ユーザによりトラッキング対象とする領域が指定されると、トラッキング処理を実行する。
画像処理装置１は、トラッキング処理の実行結果を画像処理装置１に記憶し、必要に応じて外部ストレージデバイス２に転送する。
【００１２】
図２は、本発明の実施形態に係る画像処理装置１のハードウェア概略構成図である。
画像処理装置１は、制御ユニット１１、撮影ユニット１２、ネットワークインタフェース（Ｉ／Ｆ）１３、主記憶ユニット１４、副記憶ユニット１５、入力ユニット１６、表示ユニット１７を有する。
【００１３】
制御ユニット１１は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、主記憶ユニット１４に記憶されるプログラムを実行することで、各々のユニットを制御する。
撮影ユニット１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary MOS）イメージセンサ等の撮影素子であり、被写体を撮影すると、画像データを出力する。
【００１４】
ネットワークインタフェース１３は、例えば、ＬＡＮ（Local Area Network）ケーブル等の有線通信手段、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段により、画像処理装置１と外部ストレージデバイス２とを接続するためのインタフェースである。
ネットワークインタフェース１３は、制御ユニット１１により、外部ストレージデバイス２から画像を取得する場合、また外部ストレージデバイス２にトラッキング処理の結果を送信する場合等に用いられる。
【００１５】
主記憶ユニット１４は、例えば、ハードディスクドライブ（Hard Disk Drive；ＨＤＤ）、ソリッドステートドライブ（Solid State Drive；ＳＳＤ）等の記憶装置である。
主記憶ユニット１４は、各種画像（例えば、撮影ユニット１２により撮影された画像、外部ストレージデバイス２から転送された画像等）、制御ユニット１１において実行されるプログラム、またトラッキング処理の結果等を記憶する。
【００１６】
副記憶ユニット１５は、ＲＡＭ（Random Access Memory）等の揮発性のメモリである。
副記憶ユニット１５は、プログラムをロードするとき、またプログラムの計算結果を一時的に格納するときに用いられる。
【００１７】
入力ユニット１６は、キーパッド等の入力装置であり、ユーザがソフトウェアを操作する場合（即ち、プログラムを実行する場合）、またトラッキング領域を指定する場合等に用いられる。
なお、入力ユニット１６として、キーボード、マウス等の入力装置を、画像処理装置１に接続して用いることができる。
【００１８】
表示ユニット１７は、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）等の表示装置である。
表示ユニット１７は、各種画像、ソフトウェアの操作画面を表示する。
【００１９】
次に、画像処理装置１の機能構成について、図面を参照して説明する。
図３は、本発明の実施形態に係る画像処理装置１の機能ブロック図である。
画像取得部１０１は、主記憶ユニット１４に記憶された画像（即ち、撮影ユニット１２により撮影された画像、外部ストレージデバイス２から転送された画像）を、トラッキング処理の対象とする画像として取得する。
領域設定部１０２は、トラッキング処理の対象とする領域を設定（選択）する。
【００２０】
コントラスト計算部１０３は、各画素のコントラスト値を計算する。
コントラスト計算部１０３における処理は、図６及び図７を用いて後述する。
画像平滑化部１０４は、コントラスト計算部１０３において計算されたコントラスト値に基づいて、平滑化を実行する。
画像平滑化部１０４における処理は、図８及び図９を用いて後述する。
【００２１】
トラッキング部１０５は、領域設定部１０２により設定された領域が、トラッキング処理の対象となる他方の画像でどの座標に位置しているかをトラッキングする。
具体的には、例えば、領域設定部１０２において選択された領域の輝度値のヒストグラムと、トラッキング処理の対象となる他方の画像の部分領域（即ち、領域設定部１０２において選択された領域と同一形状及び同一サイズ）の輝度値のヒストグラムの類似度を算出し、その類似度を用いたブロックマッチングにより、トラッキングする。
なお、輝度値のヒストグラムの類似度の算出に関しては、後述する。
【００２２】
ユーザは、主記憶ユニット１４に記憶されたトラッキング処理の実行結果を、表示ユニット１７において表示したり、また外部ストレージデバイス２に転送したりすることができる。
なお、画像取得部１０１、領域設定部１０２、コントラスト計算部１０３、画像平滑化部１０４、トラッキング部１０５は、画像処理装置１のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。
【００２３】
図４は、本発明の実施形態に係る画像処理装置１における処理全体の概要を示す図である。
なお、図４に示す処理は、同一シーンを撮影した同一サイズの画像が複数枚、主記憶ユニット１４に記憶されていることを前提に開始される処理である。
また、図４は、最初に取得した画像（即ち、１枚目に取得した画像）において、ユーザにより設定された領域が、次に取得した画像（即ち、２枚目以降に取得した画像）において、どの領域に移動したのかをトラッキングする処理として例示したものである。
【００２４】
ここで、最初に取得した画像とは例えば、時間的に最初に位置する画像のことであり、この画像を第一画像（本発明の第一の画像に対応）という。図４では、第一画像に関する画像処理を、図４の上側に示している。
また、次に取得した画像とはトラッキング処理を実行する対象となる画像のことであり、この画像をターゲット画像という。図４では、ターゲット画像に関する画像処理を、図４の下側に示している。
なお、ターゲット画像は、本発明の第二の画像に対応する。
【００２５】
画像処理装置１は、第一画像において、トラッキング対象とする領域が設定されると、設定された領域を対象として、画素毎に、その画素のコントラスト値に応じて平滑化処理を実行する。
なお、第一画像に対して、画像平滑化部１０４により平滑化処理が実行された画像を第一平滑化画像という。
また、ここでの画像平滑化部１０４は、本発明の第一平滑化手段に対応する。
【００２６】
画像処理装置１は、ターゲット画像に対して、画素毎に、その画素のコントラスト値に応じて平滑化処理を実行する。
なお、ターゲット画像に対して、画像平滑化部１０４により平滑化処理が実行された画像をターゲット平滑化画像という。
また、ここでの画像平滑化部１０４は、本発明の第二平滑化手段に対応する。
【００２７】
画像処理装置１は、第一平滑化画像の選択領域に類似する領域を、ターゲット平滑化画像からトラッキング（探索）する。
このように、第一画像及びターゲット画像に対して平滑化処理を実行することで、第一画像におけるトラッキング対象領域と、ターゲット画像内のトラッキング対象が存在する領域には同程度の均質なボケが付与される（即ち、同様の輝度分布となる）ことから、輝度値が類似する領域をターゲット画像から探索することで、トラッキング対象画像の変形にロバストなトラッキングを実現することができる。
【００２８】
図５は、本発明の実施形態に係る画像処理装置１における処理全体の手順を示すフロー図である。
図５は、第一画像においてユーザにより設定（選択）された領域が、ターゲット画像において、どの領域に移動したのかをトラッキングする処理の手順として例示したものである。
なお、図５に示す処理は、ターゲット画像、即ち、トラッキング処理の対象とする画像が、主記憶ユニット１４に記憶されていることを前提に実行される処理である。
【００２９】
画像取得部１０１は、第一画像を取得する（Ｓ１０１）。
領域設定部１０２は、第一画像において、ユーザにより選択された領域を、トラッキング対象領域として設定する（Ｓ１０２）。
なお、ここで、トラッキング対象領域は、矩形、円形等の任意の形状、またフリーハンドで選択することができる。
【００３０】
コントラスト計算部１０３は、第一画像の各画素のコントラスト値を計算する（Ｓ１０３）。
なお、コントラスト計算部１０３における処理は、図６及び図７を用いて後述する。
また、ステップＳ１０３における、コントラスト値の計算処理は、ステップＳ１０２において選択された領域を対象として実行される。
【００３１】
画像平滑化部１０４は、第一画像の各画素のコントラスト値に基づいて、第一画像に対して、画素毎に平滑化処理を実行する（Ｓ１０４）。
なお、画像平滑化部１０４における処理は、図８及び図９を用いて後述する。
また、ステップＳ１０４における平滑化処理は、ステップＳ１０２において設定された領域を対象として実行される。
【００３２】
画像取得部１０１は、主記憶ユニット１４にトラッキング処理の対象とする画像が記憶されているか否かを判定する（Ｓ１０５）。
画像取得部１０１は、トラッキング対象となる画像が記憶されていると判定すると（Ｓ１０５ Ｙｅｓ）、その画像（即ち、ターゲット画像）を取得する（Ｓ１０６）。
なお、ステップＳ１０５において、ターゲット画像が記憶されていないと判定すると（Ｓ１０５ Ｎｏ）、画像処理装置１は、処理を終了する。
【００３３】
コントラスト計算部１０３は、ターゲット画像の各画素のコントラスト値を計算する（Ｓ１０７）。
なお、ステップＳ１０７における、コントラスト値の計算処理は、ステップＳ１０６において取得した画像全体を対象として実行される。
【００３４】
画像平滑化部１０４は、ターゲット画像の各画素のコントラスト値に基づいて、ターゲット画像に対して、画素毎に平滑化処理を実行する（Ｓ１０８）。
なお、ステップＳ１０８における平滑化処理は、ステップＳ１０６において取得した画像全体を対象として実行される。
【００３５】
トラッキング部１０５は、第一平滑化画像の選択された領域が、ターゲット平滑化画像のどこに位置するか、トラッキングする（Ｓ１０９）。
画像処理装置１は、ステップＳ１０９においてトラッキング処理が終了すると、処理をステップＳ１０５に返す。
【００３６】
図６は、本発明の実施形態に係る画像処理装置１のコントラスト計算部１０３における処理を示す図である。
コントラスト計算部１０３は、コントラスト値を計算する対象となる画素を選択し、その対象画素周辺のコントラスト値を計算する。
コントラスト計算部１０３は、予め作成しておいたコントラスト配列の対象画素と同じ位置に、計算したコントラスト値を格納する。
【００３７】
図７は、本発明の実施形態に係る画像処理装置１のコントラスト計算部１０３における処理の手順を示すフロー図である。
コントラスト計算部１０３は、コントラスト値を計算する対象となる画像の画素と同じサイズの数値データ配列をメモリ上に確保し、初期値として「−１」を挿入する（Ｓ２０１）。
【００３８】
コントラスト計算部１０３は、コントラスト値の計算対象とする画像に関して、コントラスト値を計算していない画素があるか否かを判定する（Ｓ２０２）。
コントラスト計算部１０３は、コントラスト値を計算していない画素があると判定すると（Ｓ２０２ Ｙｅｓ）、その計算していない画素の一つを指定（選択）する（Ｓ２０３）。
【００３９】
コントラスト計算部１０３は、ステップＳ２０３において選択した画素周辺のコントラスト値を計算する（Ｓ２０４）。
具体的には、コントラスト計算部１０３は、その画素の周辺を、画素（ｘ、ｙ）を中心とする一辺が２×ｌ＋１の矩形として設定し、対象とする画素のコントラスト値を、その矩形内の画素の輝度値の標準偏差として計算する。
なお、標準偏差は次式で計算される。また、コントラスト値は、輝度値の分散、輝度値のトータルバリエーションから計算することもできる。
【数１】
2016224627.tif 000003
【００４０】
ここで、上式において、関数ｆ（ｘ＋ｊ、ｙ＋ｋ）は、座標（ｘ＋ｊ、ｙ＋ｋ）における、画像の輝度値を表す関数である。
また、変数μは、画像の領域（ここでは、座標（ｘ＋ｊ、ｙ＋ｋ）を中心とした１辺が２×ｌ＋１の正方形領域）の輝度値の平均を示している。
【００４１】
コントラスト計算部１０３は、ステップＳ２０４において計算したコントラスト値を、コントラスト配列の対応する領域（即ち、対象画素と同じ位置）に書き込む（Ｓ２０５）。
なお、画素（ｘ、ｙ）とコントラスト配列の位置ｉの対応付けは、画像の幅をｗとして、次式で計算される。
【数２】
2016224627.tif 000004
【００４２】
図８は、本発明の実施形態に係る画像処理装置１の画像平滑化部１０４における処理を示す図である。
画像平滑化部１０４は、平滑化の対象とする画素に関して、その画素のコントラスト値に応じた平滑化フィルタを作成する。
画像平滑化部１０４は、平滑化処理の適用対象領域の輝度情報を読み込み、平滑化処理を実行する。
画像平滑化部１０４は、予め作成しておいた平滑化画像の対象画素と同じ位置に、平滑化処理を実行することにより算出された輝度値を格納する。
【００４３】
図９は、本発明の実施形態に係る画像処理装置１の画像平滑化部１０４における処理の手順を示すフロー図である。
画像平滑化部１０４は、ステップＳ２０１（図７）において、コントラスト値の計算対象とした画像と同じサイズの空の平滑化画像を生成する（Ｓ３０１）。
【００４４】
画像平滑化部１０４は、平滑化処理の対象とする画像に関して、平滑化処理を実行していない画素があるか否かを判定する（Ｓ３０２）。
画像平滑化部１０４は、平滑化処理を実行していない画素があると判定すると（Ｓ３０２ Ｙｅｓ）、処理が実行されていない画素の一つを指定（選択）する（Ｓ３０３）。
【００４５】
画像平滑化部１０４は、ステップＳ３０３において選択した画素のコントラスト値を、ステップＳ２０５（図７）において生成したコントラスト配列から取得する（Ｓ３０４）。
なお、画素（ｘ、ｙ）とコントラスト配列の位置ｉは、前述の数２により、対応付けられる。
【００４６】
画像平滑化部１０４は、その画素の周辺を、画素（ｘ、ｙ）を中心とする一辺が２×ｌ＋１の矩形（即ち、ガウシアンカーネル）として設定し、シグマ値がコントラスト値のガウシアンフィルタ（即ち、平滑化フィルタ）を生成する（Ｓ３０５）。
なお、シグマ値とはばらつきの度合いを示す値であり、シグマ値が大きいガウシアンフィルタほど、フィルタリング処理後の画像をぼかすことができる。
また、ここでは、平滑化フィルタの例としてガウシアンフィルタを示したが、平滑化フィルタとして、コントラスト値に比例したサイズをもつ値が一定の平滑化フィルタを生成してもよい。
【００４７】
画像平滑化部１０４は、ステップＳ３０３で指定した画素に対して、ステップＳ３０５で生成した平滑化フィルタを用いて、平滑化処理（フィルタリング処理）を実行する（Ｓ３０６）。
画像平滑化部１０４は、平滑化処理の実行結果である輝度値を、ステップＳ３０１において生成した空の平滑化画像の、ステップＳ３０３において指定した画素の位置に書き込む（Ｓ３０７）。
【００４８】
画像処理装置１は、トラッキング部１０５により、第一平滑化画像の選択された領域の輝度値のヒストグラムと、ターゲット平滑化画像の比較対象とする領域の輝度値のヒストグラムとを比較し、その類似性を評価し、その類似度を用いたブロックマッチングにより、トラッキング処理を実行する（即ち、最も類似度の高い領域を探索する）。
【００４９】
具体的には、Ｈ（ｋ）を輝度値がｋのピクセルの数を返す、輝度値のヒストグラムを示す関数として、第一平滑化画像の選択された領域の輝度値のヒストグラムを示す関数をＨＦ（ｋ）、またターゲット平滑化画像の比較対象とする領域の輝度値のヒストグラムを示す関数をＨＴ（ｋ）と定義し、輝度値ｋを変化させたときの、ＨＦ（ｋ）とＨＴ（ｋ）の差分により類似性を評価する。
即ち、輝度値のヒストグラムの類似性は次式で示すことができ、変数ｒが最も小さい領域を最も類似性の高い領域として評価する。
なお、Ｌminは輝度値の最小値、Ｌmaxは輝度値の最大値を示している。
【数３】
2016224627.tif 000005
【００５０】
以上、説明したように、本発明の画像処理装置によれば、動画像を構成する画像においてランダムな変形とランダムかつ非一様なボケが生じている場合であっても、最初に取得した画像（即ち、第一の画像）及びトラッキング対象とする画像（即ち、第二の画像）に対して平滑化処理を実行し、同程度の均質なボケを付与することで、トラッキング処理の精度を向上させることができる。
【符号の説明】
【００５１】
１…画像処理装置、２…外部ストレージデバイス、１１…制御ユニット、１２…撮影ユニット、１３…ネットワークインタフェース、１４…主記憶ユニット、１５…副記憶ユニット、１６…入力ユニット、１７…表示ユニット、１０１…画像取得部、１０２…領域設定部、１０３…コントラスト計算部、１０４…画像平滑化部、１０５…トラッキング部。
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特開２００５−３０３９８３号公報
【図１】
2016224627.tif 000006
【図２】
2016224627.tif 000007
【図３】
2016224627.tif 000008
【図４】
2016224627.tif 000009
【図５】
2016224627.tif 000010
【図６】
2016224627.tif 000011
【図７】
2016224627.tif 000012
【図８】
2016224627.tif 000013
【図９】
2016224627.tif 000014
【図１０】
2016224627.tif 000015