(57)【要約】【課題】ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置は、各解像度の画像を元画像から生成する生成部と、各解像度の画像における微小変化を検出する検出部と、微小変化の信頼度を取得する信頼部と、微小変化を表す値と信頼度との乗算結果に強調処理を施す強調部と、強調処理が施された乗算結果と元画像とに基づいて、元画像における微小変化に強調処理が施された画像を生成する再構成部とを備える。【選択図】図１
2019087126.tif 000002
【特許請求の範囲】
【請求項１】
各解像度の画像を元画像から生成する生成部と、
各解像度の画像における微小変化を検出する検出部と、
前記微小変化の信頼度を取得する信頼部と、
前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す強調部と、
強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する再構成部と
を備える画像処理装置。
【請求項２】
前記生成部は、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成し、
前記検出部は、各解像度の輝度画像における輝度の微小変化を検出し、
前記信頼部は、前記輝度の微小変化の信頼度を取得し、
前記強調部は、前記輝度の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、
前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記輝度の微小変化に強調処理が施された画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記生成部は、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成し、
前記検出部は、各解像度の位相画像における位相の微小変化を検出し、
前記信頼部は、前記位相の微小変化の信頼度を取得し、
前記強調部は、前記位相の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、
前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記位相の微小変化に強調処理が施された画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
複数の解像度の位相画像における前記信頼度を方向ごとに統合する統合部を更に備え、
前記強調部は、前記位相の微小変化を表す値と統合された前記信頼度との乗算結果に強調処理を施す、請求項３に記載の画像処理装置。
【請求項５】
画像処理装置が実行する画像処理方法であって、
各解像度の画像を元画像から生成するステップと、
各解像度の画像における微小変化を検出するステップと、
前記微小変化の信頼度を取得するステップと、
前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施すステップと、
強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成するステップと
を含む画像処理方法。
【請求項６】
コンピュータに、
各解像度の画像を元画像から生成する手順と、
各解像度の画像における微小変化を検出する手順と、
前記微小変化の信頼度を取得する手順と、
前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す手順と、
強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
実世界の被写体が撮影された画像における微小変化には、重要なメッセージが込められている場合がある。例えば、被写体であるスポーツ選手の筋や関節の使い方の違い等は、被写体が撮影された画像における微小変化であり、スポーツ選手の運動パフォーマンスを決定する一つの要因である。また、心臓の鼓動、呼吸による胸の動き、体表面の色の明るさの変化、クレーンやエンジンの振動の微小変化は、画像に基づいて異常状態を検知するための判断材料となる場合がある。しかしながら、人の視覚は画像における微小変化を捉えることが難しい。
【０００３】
ビデオ・マグニフィケーション（Video Magnification）は、画像における微小変化を検出及び強調することによって、画像における微小変化を可視化する技術である。画像処理装置は、オプティカルフロー、オイラー法又は位相変化等を用いて、画像における被写体の色や運動の変化を検出し、時系列フィルタを適用することによって、画像における被写体の微小変化を検出する（非特許文献１、２及び３参照）。
【０００４】
しかしながら、画像処理装置は、画像において被写体が大きく又は素早く動いた場合、被写体の微小変化のみを検出することが困難である。被写体の微小変化以外の変化が検出及び強調された場合、画像にはブラーノイズが発生する場合がある。
【０００５】
近年、画像において被写体が大きく動く場合でも被写体の微小変化のみを検出することが可能である二つの手法が提案された。第１の手法は、画像における被写体を指定し、大きな動きをスタビライズしてから被写体の微小変化を検出する手法である（非特許文献４参照）。第２の手法は、画像における大きな動きをモデル化することで、微小変化のみを検出することが可能な時系列フィルタを設計する手法である（非特許文献５参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ce Liu, Antonio Torralba, William T. Freeman, Fredo Durand, Edward H. Adelson. “Motion Magnification”. ACM Transactions on Graphics. Vol.24. (2005)
【非特許文献２】Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William Freeman. “Eulerian Video Magnification for Revealing Subtle Changes in the World”. SIGGRAPH. (2012)
【非特許文献３】Neal Wadhwa, Michael Rubinstein, Fredo Durand, William T. Freeman. “Phase-based video motion processing”. ACM Transactions on Graphics. Vol. 32. (2013)
【非特許文献４】Mohamed A. Elgharib, Mohamed Hefeeda, Fredo Durand, and William T. Freeman. “Video Magnification in Presence of Large Motions”. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Vol. 7. pp. 4119-4127. (2015)
【非特許文献５】Yichao Zhang, Silvia L. Pintea, and Jan C. van Gemert. “Video Acceleration Magnification”. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). (2017)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ビデオ・マグニフィケーションを様々な画像に対して簡易に適用できるようにするには、非特許文献３のような人手による操作を用いずに、画像における被写体の微小変化のみを検出する必要がある。そのためには、非特許文献４のように運動のモデル化に基づいた時系列フィルタを設計することが有用である。
【０００８】
しかしながら、非特許文献３では、ブラーノイズの原因となるゆっくりと大きく変化する運動のみがモデル化された時系列フィルタが設計されている。このような時系列フィルタは、短時間で急激に大きく変化する非線形な動きが画像に存在する場合、大きなブラーノイズを画像に発生させしてしまう。このように、従来の画像処理装置は、ブラーノイズを低減して、微小変化が強調された画像を生成することができない場合があった。
【０００９】
上記事情に鑑み、本発明は、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明の一態様は、各解像度の画像を元画像から生成する生成部と、各解像度の画像における微小変化を検出する検出部と、前記微小変化の信頼度を取得する信頼部と、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す強調部と、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する再構成部とを備える画像処理装置である。
【００１１】
本発明の一態様は、上記の画像処理装置であって、前記生成部は、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成し、前記検出部は、各解像度の輝度画像における輝度の微小変化を検出し、前記信頼部は、前記輝度の微小変化の信頼度を取得し、前記強調部は、前記輝度の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記輝度の微小変化に強調処理が施された画像を生成する。
【００１２】
本発明の一態様は、上記の画像処理装置であって、前記生成部は、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成し、前記検出部は、各解像度の位相画像における位相の微小変化を検出し、前記信頼部は、前記位相の微小変化の信頼度を取得し、前記強調部は、前記位相の微小変化を表す値と前記信頼度との乗算結果に強調処理を施し、前記再構成部は、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における前記位相の微小変化に強調処理が施された画像を生成する。
【００１３】
本発明の一態様は、上記の画像処理装置であって、複数の解像度の位相画像における前記信頼度を方向ごとに統合する統合部を更に備え、前記強調部は、前記位相の微小変化を表す値と統合された前記信頼度との乗算結果に強調処理を施す。
【００１４】
本発明の一態様は、画像処理装置が実行する画像処理方法であって、各解像度の画像を元画像から生成するステップと、各解像度の画像における微小変化を検出するステップと、前記微小変化の信頼度を取得するステップと、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施すステップと、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成するステップとを含む画像処理方法である。
【００１５】
本発明の一態様は、コンピュータに、各解像度の画像を元画像から生成する手順と、各解像度の画像における微小変化を検出する手順と、前記微小変化の信頼度を取得する手順と、前記微小変化を表す値と前記信頼度との乗算結果に強調処理を施す手順と、強調処理が施された乗算結果と元画像とに基づいて、元画像における前記微小変化に強調処理が施された画像を生成する手順とを実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明により、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態における、画像処理装置の構成の例を示す図である。
【図２】第１実施形態における、画像処理装置の動作の例を示すフローチャートである。
【図３】第２実施形態における、画像処理装置の構成の例を示す図である。
【図４】第２実施形態における、画像処理装置の動作の例を示すフローチャートである。
【図５】第３実施形態における、画像処理装置の構成の例を示す図である。
【図６】第３実施形態における、画像処理装置の動作の例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、画像処理装置１ａの構成の例を示す図である。画像処理装置１ａは、画像処理を実行する装置である。画像処理装置１ａは、画像における被写体の輝度の微小変化を検出及び強調する。画像処理装置１ａは、生成部１０ａと、検出部１１ａと、信頼部１２ａと、乗算部１３ａと、強調部１４ａと、再構成部１５ａとを備える。画像処理装置１ａは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。
【００１９】
各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
【００２０】
記憶部は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。記憶部は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。記憶部は、例えば画像データ、数式等の各種データを記憶する。
【００２１】
元画像は、複数のフレームから構成される動画像である。元画像は、輝度情報及び色情報を画素ごとに含む。生成部１０ａは、元画像の輝度情報を表す画像である輝度画像を取得する。生成部１０ａは、元画像の輝度画像から、各解像度の輝度画像を生成する。例えば、生成部１０ａは、ガウシアンフィルタ又はラプラシアンフィルタを畳み込んでからダウンサンプリング処理を輝度画像の各フレームに対して複数回施すことによって、各解像度の輝度画像をフレームごとに生成する。ダウンサンプリング処理とは、２分の１等のダウンサンプル量に基づいて、解像度を低くする画像処理である。時刻ｔにおける画像の輝度変化は、式（１）のように表される。
【００２２】
【数１】
2019087126.tif 000003
【００２３】
ここで、ｌは解像度を表す。ｘは輝度画像のフレームにおけるｘ座標を表す。ｙは輝度画像のフレームにおけるｙ座標を表す。
【００２４】
検出部１１ａは、生成部１０ａによって生成された各解像度の輝度画像における輝度の微小変化を検出する。検出部１１ａは、各解像度の輝度画像における輝度変化を表す値Ｉｌ（ｘ，ｙ，ｔ）に時系列フィルタＨ（ｔ）を畳み込むことで、各解像度の輝度画像における輝度の微小変化を検出する。時系列フィルタＨ（ｔ）は、強調される微小変化の周波数応答を有する時系列フィルタである。輝度の微小変化を表す値Ｂｌ（ｘ，ｙ，ｔ）は、式（２）のように表される。
【００２５】
【数２】
2019087126.tif 000004
【００２６】
なお、検出部１１ａは、時系列フィルタＨ（ｔ）を用いる方法以外の方法で、輝度の微小変化を検出してもよい。
【００２７】
信頼部１２ａは、生成部１０ａによって生成された各解像度の輝度画像における輝度の微小変化の信頼度を、乗算部１３ａに出力する。輝度の微小変化の信頼度は、画像における所定の空間領域及び時間領域に輝度の微小変化のみが発生していることの確からしさの度合いである。信頼部１２ａは、各解像度の輝度画像における輝度変化を表す値Ｉｌ（ｘ，ｙ，ｔ）について、輝度の微小変化の信頼度を算出する。
【００２８】
信頼部１２ａは、輝度の微小変化の信頼度を、躍度を用いて算出する。躍度とは、加速度の微分値であり、変位の３回微分に相当する値である。信頼部１２ａは、各解像度の輝度画像における輝度変化を表す値Ｉｌ（ｘ，ｙ，ｔ）のうちで強調される微小変化の周波数帯について、時系列フィルタＧ（ｔ）及び３回微分を用いて躍度を算出する。信頼部１２ａは、躍度Ｊｅｒｋｌ（ｘ，ｙ，ｔ）を式（３）のように算出する。
【００２９】
【数３】
2019087126.tif 000005
【００３０】
なお、信頼部１２ａは、時系列フィルタＧ（ｔ）を用いる方法以外の方法で、躍度を算出してもよい。
【００３１】
信頼部１２ａは、式（４）のように躍度の絶対値を算出する。
【００３２】
【数４】
2019087126.tif 000006
【００３３】
信頼部１２ａは、空間及び時間方向に躍度を正規化し、式（５）のように躍度の値を反転させる。
【００３４】
【数５】
2019087126.tif 000007
【００３５】
信頼部１２ａは、微小変化の信頼度Ｃｌ（ｘ，ｙ，ｔ）を、式（６）のように算出する。
【００３６】
【数６】
2019087126.tif 000008
【００３７】
信頼部１２ａは、微小変化のみを高い精度で検出するための時系列フィルタを、算出された信頼度Ｃｌ（ｘ，ｙ，ｔ）を基づいて設計する。信頼部１２ａは、各解像度の輝度画像における輝度の微小変化の信頼度を補正する。信頼部１２ａは、各解像度の輝度画像が生成される際のダウンサンプリング処理におけるダウンサンプル量λとハイパーパラメーターβとに基づいて、輝度の微小変化の信頼度を式（７）のように補正する。
【００３８】
【数７】
2019087126.tif 000009
【００３９】
輝度画像において躍度の大きい空間領域及び時間領域の信頼度は、式（７）のような補正によって、０に近い値が割り当てられて小さくなる。輝度画像において躍度の小さい空間領域及び時間領域の信頼度は、式（７）のような補正によって、１に近い値が割り当てられて大きくなる。すなわち、輝度の微小変化の信頼度は、補正によって１に近い値が割り当てられて大きくなる。
【００４０】
乗算部１３ａは、検出部１１ａの出力と信頼部１２ａの出力とを乗算する。すなわち、乗算部１３ａは、式（２）のような輝度の微小変化を表す値Ｂｌ（ｘ，ｙ，ｔ）に、式（８）のように信頼度を乗算する。これによって、乗算部１３ａは、輝度の微小変化のみを高い精度で検出することができる。
【００４１】
【数８】
2019087126.tif 000010
【００４２】
強調部１４ａは、検出部１１ａの出力と信頼部１２ａの出力との乗算結果を、乗算部１３ａから取得する。強調部１４ａは、乗算結果である各解像度の輝度画像における輝度の微小変化に強調処理を施す。強調部１４ａは、式（８）のように高い精度で検出された微小変化を表す値に、任意の強調率αを乗算する。強調率αは、各解像度の輝度画像において共通でもよいし異なっていてもよい。強調部１４ａは、強調率αの乗算結果と元画像の輝度変化を表す値Ｉｌ（ｘ，ｙ，ｔ）とを、式（９）のように加算することによって、微小変化のみが強調された輝度変化を表す値＾Ｉｌ（ｘ，ｙ，ｔ）を生成する。
【００４３】
【数９】
2019087126.tif 000011
【００４４】
再構成部１５ａは、強調部１４ａによって各解像度の輝度画像における強調処理が施された輝度の微小変化に基づいて、元画像における輝度の微小変化に強調処理が施された画像を生成する。すなわち、再構成部１５ａは、式（９）に示された輝度変化を表す値＾Ｉｌ（ｘ，ｙ，ｔ）を、式（１０）のように１からＬ（Ｌは、生成された輝度画像の解像度の種類の個数）個まで解像度方向に足し合わせることによって、元画像の輝度画像において輝度の微小変化のみが強調された輝度画像を生成する。
【００４５】
【数１０】
2019087126.tif 000012
【００４６】
再構成部１５ａは、元画像の色情報を表す画像である色画像を取得する。再構成部１５ａは、輝度の微小変化のみが強調された輝度画像と元画像の色画像とを合成することによって、元画像において輝度の微小変化のみが強調された画像を生成する。
【００４７】
次に、画像処理装置１ａの動作の例を説明する。
図２は、画像処理装置１ａの動作の例を示すフローチャートである。生成部１０ａは、元画像の輝度画像から、各解像度の輝度画像を生成する（ステップＳ１０１）。検出部１１ａは、生成された各解像度の輝度画像における輝度の微小変化を検出する（ステップＳ１０２）。信頼部１２ａは、生成部１０ａによって生成された各解像度の輝度画像における、輝度の微小変化の信頼度を算出する（ステップＳ１０３）。乗算部１３ａは、検出部１１ａの出力と信頼部１２ａの出力とを乗算する（ステップＳ１０４）。
【００４８】
強調部１４ａは、検出部１１ａの出力と信頼部１２ａの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ａは、各解像度の輝度画像における輝度の微小変化を表す値に、強調率αを乗算する。強調部１４ａは、強調率の乗算結果を、元画像の輝度画像における輝度変化を表す値に加算する（ステップＳ１０５）。再構成部１５ａは、輝度変化を表す値の加算結果と元画像の色画像とを合成することによって、元画像において微小変化が強調された画像を生成する（ステップＳ１０６）。
【００４９】
以上のように、第１実施形態の画像処理装置１ａは、各解像度の画像を元画像から生成する生成部１０ａと、各解像度の画像における微小変化を検出する検出部１１ａと、微小変化の信頼度を取得する信頼部１２ａと、微小変化を表す値と信頼度との乗算結果に強調処理を施す強調部１４ａと、強調処理が施された乗算結果と元画像とに基づいて、元画像における微小変化に強調処理が施された画像を生成する再構成部１５ａとを備える。
【００５０】
生成部１０ａは、輝度を表す画像である輝度画像を解像度ごとに元画像の輝度画像から生成する。検出部１１ａは、各解像度の輝度画像における輝度の微小変化を検出する。信頼部１２ａは、輝度の微小変化の信頼度を取得する。強調部１４ａは、輝度の微小変化を表す値と信頼度との乗算結果に強調処理を施す。再構成部１５ａは、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における輝度の微小変化に強調処理が施された画像を生成する。これによって、第１実施形態の画像処理装置１ａは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。
【００５１】
（第２実施形態）
第２実施形態では、各解像度の輝度画像における輝度変化が運動情報（振幅情報及び位相情報）に変換される点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点についてのみ説明する。
【００５２】
図３は、画像処理装置１ｂの構成の例を示す図である。画像処理装置１ｂは、画像処理を実行する装置である。画像処理装置１ｂは、画像における被写体の運動の微小変化を検出及び強調する。画像処理装置１ｂは、生成部１０ｂと、検出部１１ｂと、信頼部１２ｂと、乗算部１３ｂと、強調部１４ｂと、再構成部１５ｂとを備える。画像処理装置１ｂは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。
【００５３】
生成部１０ｂは、元画像の輝度画像を取得する。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。以下では、位相情報を含む画像を「位相画像」という。生成部１０ｂは、元画像の振幅情報及び位相情報を含む輝度画像から、各解像度の位相画像を生成する。
【００５４】
生成部１０ｂが輝度変化を振幅情報及び位相情報に変換し各解像度の位相画像を生成する方法は、特定の方法に限定されない。生成部１０ｂは、例えばＣＳＦ（Complex Steerable Filter）等のフィルタを用いて、輝度変化を振幅情報及び位相情報に変換する。
【００５５】
生成部１０ｂは、位相画像のフレームの座標（ｘ，ｙ）と時刻ｔとにおける輝度画像の輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）に、式（１１）のようにＣＳＦを施す。生成部１０ｂは、輝度画像の輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）にＣＳＦを施すことによって、輝度変化を表す値Ｉ（ｘ，ｙ，ｔ）を、解像度ｌにおいて方向性θを持つ振幅変化を表す値Ａθｌ（ｘ，ｙ，ｔ）と位相変化を表す値φθｌ（ｘ，ｙ，ｔ）とに変換する。ここで、ψθｌは、解像度ｌ及び方向θにおけるＣＳＦを表す。
【００５６】
【数１１】
2019087126.tif 000013
【００５７】
検出部１１ｂは、生成部１０ｂによって生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する。検出部１１ｂは、各解像度の位相画像における方向ごとの位相変化を表す値φθｌ（ｘ，ｙ，ｔ）に、時系列フィルタＨ（ｔ）を式（１２）のように畳み込むことで、各解像度の位相画像における位相の微小変化を検出する。位相の微小変化を表す値Ｂｌ（ｘ，ｙ，ｔ）は、式（１２）のように表される。
【００５８】
【数１２】
2019087126.tif 000014
【００５９】
なお、検出部１１ｂは、時系列フィルタＨ（ｔ）を用いる方法以外の方法で、位相の微小変化を検出してもよい。
【００６０】
信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における位相の微小変化の信頼度を、位相画像における方向ごとに乗算部１３ｂに出力する。式（４）から式（７）までと比較して、式（１１）及び式（１２）では、方向を表すパラメータθが追加されている。各解像度の位相画像における方向ごと位相変化の信頼度は、式（１３）のように表される。
【００６１】
【数１３】
2019087126.tif 000015
【００６２】
信頼部１２ｂは、各解像度の位相画像が生成される際のダウンサンプリング処理におけるダウンサンプル量λとハイパーパラメーターβとを用いて、位相の微小変化の信頼度を式（１３）のように補正する。
【００６３】
乗算部１３ｂは、検出部１１ｂの出力と信頼部１２ｂの出力とを乗算する。すなわち、乗算部１３ｂは、位相の微小変化を表す値Ｂｌ（ｘ，ｙ，ｔ）に、式（１４）のように信頼度を乗算する。これによって、乗算部１３ｂは、位相の微小変化のみを高い精度で検出することができる。
【００６４】
【数１４】
2019087126.tif 000016
【００６５】
強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果を取得する。強調部１４ｂは、乗算結果である各解像度の位相画像における方向ごとの位相の微小変化に強調処理を施す。強調部１４ｂは、式（１４）のように高い精度で検出された微小変化を表す値に、任意の強調率αを乗算する。強調部１４ｂは、強調率αの乗算結果と元画像の位相変化を表す値φθｌ（ｘ，ｙ，ｔ）とを、式（１５）のように加算することによって、微小変化のみが強調された位相変化を表す値＾φθｌ（ｘ，ｙ，ｔ）を生成する。
【００６６】
【数１５】
2019087126.tif 000017
【００６７】
再構成部１５ｂは、強調部１４ｂによって各解像度の位相画像における方向ごとの強調処理が施された位相の微小変化に基づいて、元画像における位相の微小変化に強調処理が施された画像を生成する。すなわち、再構成部１５ａは、式（１５）に示された位相変化を表す値＾φθｌ（ｘ，ｙ，ｔ）を、１からＬ個まで解像度方向に、位相画像における方向ごとに足し合わせることによって、元画像の位相画像において位相の微小変化のみが強調された位相画像を生成する。
【００６８】
再構成部１５ｂは、位相の微小変化が強調された位相画像にＣＳＦの逆フィルタを施すことによって、位相の微小変化が強調された位相画像を、輝度の微小変化が強調された元画像の輝度画像に変換する。
【００６９】
再構成部１５ｂは、元画像の色画像を取得する。再構成部１５ｂは、輝度の微小変化のみが強調された輝度画像と元画像の色画像とを合成することによって、元画像において運動の微小変化のみが強調された画像を生成する。
【００７０】
次に、画像処理装置１ｂの動作の例を説明する。
図４は、画像処理装置１ｂの動作の例を示すフローチャートである。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。生成部１０ｂは、元画像の輝度画像から、各解像度の位相画像を生成する（ステップＳ２０１）。検出部１１ｂは、生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する（ステップＳ２０２）。信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における、位相の微小変化の信頼度を算出する（ステップＳ２０３）。乗算部１３ｂは、検出部１１ｂの出力と信頼部１２ｂの出力とを乗算する（ステップＳ２０４）。
【００７１】
強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ｂは、各解像度の位相画像における位相の微小変化を表す値に、強調率αを乗算する。強調部１４ｂは、強調率の乗算結果を、元画像の位相画像における位相変化を表す値に加算する（ステップＳ２０５）。再構成部１５ｂは、位相変化情報の加算結果と元画像の色画像とを合成することによって、元画像における微小変化が強調された画像を生成する（ステップＳ２０６）。
【００７２】
以上のように、第２実施形態の画像処理装置１ｂは、各解像度の画像を元画像から生成する生成部１０ｂと、各解像度の画像における微小変化を検出する検出部１１ｂと、微小変化の信頼度を取得する信頼部１２ｂと、微小変化を表す値と信頼度との乗算結果に強調処理を施す強調部１４ｂと、強調処理が施された乗算結果と元画像とに基づいて、元画像における微小変化に強調処理が施された画像を生成する再構成部１５ｂとを備える。
【００７３】
生成部１０ｂは、位相を表す画像である位相画像を解像度及び方向ごとに元画像の位相画像から生成する。検出部１１ｂは、各解像度の位相画像における位相の微小変化を検出する。信頼部１２ｂは、位相の微小変化の信頼度を取得する。強調部１４ｂは、位相の微小変化を表す値と信頼度との乗算結果に強調処理を施す。再構成部１５ｂは、強調処理が施された乗算結果と元画像の色画像とに基づいて、元画像における位相の微小変化に強調処理が施された画像を生成する。これによって、第２実施形態の画像処理装置１ｂは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。
【００７４】
（第３実施形態）
第３実施形態では、各解像度の位相画像における位相の微小変化の信頼度が統合される点が、第２実施形態と相違する。第３実施形態では、第２実施形態との相違点についてのみ説明する。
【００７５】
図５は、画像処理装置１ｃの構成の例を示す図である。画像処理装置１ｃは、画像処理を実行する装置である。画像処理装置１ｃは、画像における被写体の運動の微小変化を検出及び強調する。画像処理装置１ｃは、生成部１０ｂと、検出部１１ｂと、信頼部１２ｂと、乗算部１３ｂと、強調部１４ｂと、再構成部１５ｂと、統合部１６ｃとを備える。画像処理装置１ｃは、記憶部を更に備えてもよい。記憶部は、各機能部に含まれていてもよい。
【００７６】
統合部１６ｃは、各解像度の位相画像における信頼度を、信頼部１２ｂから取得する。統合部１６ｃは、複数の解像度の位相画像における信頼度を、位相画像における方向ごとに統合する。以下では、元画像の解像度は１と表記される。また、最低解像度はＬと表記される。
【００７７】
統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１６）のように実行する。すなわち、統合部１６ｃは、生成された全ての位相画像について、全ての解像度の位相画像における信頼度を方向ごとに乗算することによって、全ての解像度に共通する信頼度＾Ｃθ（ｘ，ｙ，ｔ）β／λを方向θごとに算出する。
【００７８】
【数１６】
2019087126.tif 000018
【００７９】
統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１７）のように実行してもよい。すなわち、統合部１６ｃは、生成された全ての位相画像について、全ての解像度の位相画像における信頼度の重み付き和を方向ごとに算出することによって、全ての解像度に共通する信頼度＾Ｃθ（ｘ，ｙ，ｔ）β／λを方向θごとに算出してもよい。
【００８０】
【数１７】
2019087126.tif 000019
【００８１】
統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１８）のように実行してもよい。すなわち、統合部１６ｃは、解像度ｌから低解像度（ｌ＋Ｎ）までの各解像度の位相画像について信頼度を方向ごとに乗算することによって、この乗算結果を、解像度ｌの位相画像における方向θごとの信頼度＾Ｃθｌ（ｘ，ｙ，ｔ）β／λとしてもよい。
【００８２】
【数１８】
2019087126.tif 000020
【００８３】
統合部１６ｃは、位相画像における方向ごとの信頼度の統合を、式（１９）のように実行してもよい。すなわち、統合部１６ｃは、解像度ｌから低解像度（ｌ＋Ｎ）までの各解像度の位相画像について信頼度の重み付き和を方向ごとに算出することによって、解像度ｌの位相画像における方向θごとの信頼度＾Ｃθｌ（ｘ，ｙ，ｔ）β／λとしてもよい。
【００８４】
【数１９】
2019087126.tif 000021
【００８５】
統合部１６ｃは、式（１６）から式（１９）までのいずれかの信頼度に基づいて、式（１４）を算出することによって、位相の微小変化を精度よく検出することが可能である。
【００８６】
図６は、画像処理装置１ｃの動作の例を示すフローチャートである。生成部１０ｂは、元画像の輝度画像における輝度変化を、輝度画像における複数の方向の振幅情報及び位相情報に変換する。生成部１０ｂは、元画像の輝度画像から、各解像度の位相画像を生成する（ステップＳ３０１）。検出部１１ｂは、生成された各解像度の位相画像における位相の微小変化を、位相画像における方向ごとに検出する（ステップＳ３０２）。信頼部１２ｂは、生成部１０ｂによって生成された各解像度の位相画像における、位相の微小変化の信頼度を算出する（ステップＳ３０３）。統合部１６ｃは、複数の解像度の位相画像における信頼度を、位相画像における方向ごとに統合する（ステップＳ３０４）。乗算部１３ｂは、検出部１１ｂの出力と統合部１６ｃの出力とを乗算する（ステップＳ３０５）。
【００８７】
強調部１４ｂは、検出部１１ｂの出力と信頼部１２ｂの出力との乗算結果に、強調率αを乗算する。すなわち、強調部１４ｂは、各解像度の位相画像における位相の微小変化を表す値に、強調率αを乗算する。強調部１４ｂは、強調率の乗算結果を、元画像の位相画像における位相変化を表す値に加算する（ステップＳ３０６）。再構成部１５ｂは、位相変化情報の加算結果と元画像の色画像とを合成することによって、元画像における微小変化が強調された画像を生成する（ステップＳ３０７）。
【００８８】
以上のように、第３実施形態の画像処理装置１ｃは、第２実施形態の画像処理装置１ｂと比較して、統合部１６ｃを更に備える。統合部１６ｃは、複数の解像度の位相画像における信頼度を統合する。強調部１４ｂは、位相の微小変化を表す値と統合された信頼度との乗算結果に強調処理を施す。これによって、第３実施形態の画像処理装置１ｃは、ブラーノイズを低減して、微小変化が強調された画像を生成することが可能である。第３実施形態の画像処理装置１ｃは、第２実施形態における検出結果と比較して、位相の微小変化を精度よく検出することが可能である。
【００８９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９０】
１ａ，１ｂ，１ｃ…画像処理装置、１０ａ，１０ｂ…生成部、１１ａ，１１ｂ…検出部、１２ａ，１２ｂ…信頼部、１３ａ，１３ｂ…乗算部、１４ａ，１４ｂ…強調部、１５ａ，１５ｂ…再構成部、１６ｃ…統合部
【図１】
2019087126.tif 000022
【図２】
2019087126.tif 000023
【図３】
2019087126.tif 000024
【図４】
2019087126.tif 000025
【図５】
2019087126.tif 000026
【図６】
2019087126.tif 000027