(57)【要約】【課題】画像フレームに表示される動体画像の大きさに関わらず画像ぶれ量の少ない画像フレームを特定することが可能な画像処理装置及び画像処理方法を提供すること。【解決手段】画像処理装置１は、カメラ２により撮像された複数の画像フレームＰＦを取得する画像取得部１１１と、各画像フレームＰＦにおいて動体領域ＭＡを検出する動体領域検出部１１２と、各画像フレームＰＦにおいて、動体領域検出部１１２により検出される動体領域ＭＡにおける画像ぶれ量を検出するぶれ量検出部１１３と、各画像フレームＰＦにおいて、ぶれ量検出部１１３により検出される画像ぶれ量を動体領域検出部１１２により検出される動体領域ＭＡに基づいて正規化する正規化処理部１１４と、複数の画像フレームＰＦの中から、正規化処理部１１４による正規化処理により算出される動体画素率Ｐ２が最も小さい画像フレームＰＦを特定する画像フレーム特定部１１５と、を備える。【選択図】図１
2020077146.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された複数の画像フレームを取得する画像取得部と、
前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、動体画像を含む動体領域を検出する動体領域検出部と、
前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、前記動体領域検出部により検出される前記動体領域における前記動体画像のぶれ量である画像ぶれ量を検出するぶれ量検出部と、
前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、前記ぶれ量検出部により検出される前記画像ぶれ量を、前記動体領域検出部により検出される前記動体領域に基づいて正規化する正規化処理部と、
前記画像取得部により取得される前記複数の画像フレームの中から、前記正規化処理部による正規化処理により算出される算出値に基づいて所定の画像フレームを特定する画像フレーム特定部と、
を備える画像処理装置。
【請求項２】
前記ぶれ量検出部は、前記動体領域検出部により検出される前記動体領域に対してハイパスフィルタ処理を施し、高周波成分の閾値を超える画素の数をカウントし、当該カウントした画素数を前記画像ぶれ量として検出する、
請求項１に記載の画像処理装置。
【請求項３】
前記正規化処理部は、前記動体領域検出部により検出される前記動体領域の総画素数を算出し、前記ぶれ量検出部により算出される前記画素数を前記総画素数で除算して前記算出値を算出する、
請求項２に記載の画像処理装置。
【請求項４】
前記正規化処理部は、前記画像取得部により取得される前記複数の画像フレームにおいて、算出した前記算出値を、対応する前記画像フレームに関連付けて記憶する、
請求項３に記載の画像処理装置。
【請求項５】
前記画像フレーム特定部は、前記画像取得部により取得される前記複数の画像フレームの中から、前記正規化処理部により算出される前記算出値が最も小さい前記画像フレームを特定する、
請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記動体領域検出部により検出される前記動体領域に含まれる顔画像を検出する顔画像検出部をさらに備え、
前記動体領域検出部は、前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、前記動体領域と、前記顔画像を含む顔領域とを検出し、
前記ぶれ量検出部は、前記画像取得部により取得される前記複数の画像フレームのそれぞれについて、前記動体画像の第１画像ぶれ量と、前記顔画像の第２画像ぶれ量とを検出し、
前記正規化処理部は、前記ぶれ量検出部により検出される前記第１画像ぶれ量を前記動体領域に基づいて正規化し、前記ぶれ量検出部により検出される前記第２画像ぶれ量を前記顔領域に基づいて正規化し、
前記画像フレーム特定部は、前記画像取得部により取得される前記複数の画像フレームの中から、前記正規化処理部により算出される、前記動体領域に対応する前記算出値と前記顔領域に対応する前記算出値とに基づいて、前記所定の画像フレームを特定する、
請求項１から請求項５の何れか１項に記載の画像処理装置。
【請求項７】
前記顔画像検出部は、顔に関する確度情報に基づいて前記顔画像を検出する、
請求項６に記載の画像処理装置。
【請求項８】
撮像装置により撮像された複数の画像フレームを取得する画像取得ステップと、
前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、動体画像を含む動体領域を検出する動体領域検出ステップと、
前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、前記動体領域検出ステップにより検出される前記動体領域における前記動体画像のぶれ量である画像ぶれ量を検出するぶれ量検出ステップと、
前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、前記ぶれ量検出ステップにより検出される前記画像ぶれ量を、前記動体領域検出ステップにより検出される前記動体領域に基づいて正規化する正規化処理ステップと、
前記画像取得ステップにより取得される前記複数の画像フレームの中から、前記正規化処理ステップによる正規化処理により算出される算出値に基づいて所定の画像フレームを特定する画像フレーム特定ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
壁面などに固定されたカメラを使用して、異常が検知された場合のみ映像の記録を行ったり、保存容量を低減するためにフレームの間引きをして映像の記録を行ったりする方法が知られている。また、カメラから入力された撮像画像を画像処理する場合において、画像処理に時間を要する場合などに、カメラの撮影フレームレートよりも低いフレームレートで画像を保存したり画像処理を実行したりすることがある。このような場合において、移動する被写体（動体）を撮影している場合に、被写体の動きに起因して撮像画像にぶれ（画像ぶれ）が入り、映像の品質が劣化することがある。
【０００３】
従来、動画像を構成する複数の画像フレームの各々における画像ぶれ量を画像の高周波成分を用いて検出し、当該検出結果に基づいて、複数の画像フレームのうち画像ぶれ量が最も少ない画像フレームを特定する技術が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６２９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、画像の高周波成分を用いて画像のぶれ量を検出しているため、画像フレームに表示される動体画像の大きさ（面積）に起因して、画像ぶれ量の検出結果の誤差が大きくなる場合がある。画像ぶれ量の検出結果の誤差が大きくなると、適切な画像フレームを特定することが困難になる。
【０００６】
本発明の目的は、画像フレームに表示される動体画像の大きさに関わらず画像ぶれ量の少ない画像フレームを特定することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一の局面に係る画像処理装置は、撮像装置により撮像された複数の画像フレームを取得する画像取得部と、前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、動体画像を含む動体領域を検出する動体領域検出部と、前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、前記動体領域検出部により検出される前記動体領域における前記動体画像のぶれ量である画像ぶれ量を検出するぶれ量検出部と、前記画像取得部により取得される前記複数の画像フレームのそれぞれにおいて、前記ぶれ量検出部により検出される前記画像ぶれ量を、前記動体領域検出部により検出される前記動体領域に基づいて正規化する正規化処理部と、前記画像取得部により取得される前記複数の画像フレームの中から、前記正規化処理部による正規化処理により算出される算出値に基づいて所定の画像フレームを特定する画像フレーム特定部と、を備える。
【０００８】
本発明の他の局面に係る画像処理方法は、撮像装置により撮像された複数の画像フレームを取得する画像取得ステップと、前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、動体画像を含む動体領域を検出する動体領域検出ステップと、前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、前記動体領域検出ステップにより検出される前記動体領域における前記動体画像のぶれ量である画像ぶれ量を検出するぶれ量検出ステップと、前記画像取得ステップにより取得される前記複数の画像フレームのそれぞれにおいて、前記ぶれ量検出ステップにより検出される前記画像ぶれ量を、前記動体領域検出ステップにより検出される前記動体領域に基づいて正規化する正規化処理ステップと、前記画像取得ステップにより取得される前記複数の画像フレームの中から、前記正規化処理ステップによる正規化処理により算出される算出値に基づいて所定の画像フレームを特定する画像フレーム特定ステップと、を含む。
【発明の効果】
【０００９】
本発明によれば、画像フレームに表示される動体画像の大きさに関わらず画像ぶれ量の少ない画像フレームを特定することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施形態に係る画像処理装置のシステム構成を示すブロック図である。
【図２Ａ】図２Ａは、従来の画像処理装置を説明するための画像フレームの一例を図である。
【図２Ｂ】図２Ｂは、従来の画像処理装置を説明するための画像フレームの他の例を図である。
【図３Ａ】図３Ａは、本発明の実施形態に係る画像処理装置を説明するための画像フレームの一例を図である。
【図３Ｂ】図３Ｂは、本発明の実施形態に係る画像処理装置を説明するための画像フレームの一例を図である。
【図４】図４は、本発明の実施形態に係る画像処理装置で実行される画像特定処理の手順の一例を示すフローチャートである。
【図５】図５は、本発明の実施形態に係る画像処理装置の他のシステム構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１２】
図１に示されるように、本発明の実施形態に係る画像処理装置１は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介してカメラ２と通信可能に構成されている。
【００１３】
カメラ２は、本発明の撮像装置の一例である。カメラ２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、被写体を撮像する。カメラ２は、被写体を所定のフレームレートで連続して撮像し、所定の解像度の画像フレームを生成して逐次、画像処理装置１に送信する。カメラ２は、周知の構成を適用することができる。またカメラ２は、例えば、壁面などの固定体に設置されて、カメラ２の周囲の被写体を撮像する。例えば、カメラ２は、周囲の景色、物体、人物などの被写体を撮像する。例えば、前記被写体には、移動する動体（物体、人物など）と、固定体と、背景とが含まれる。
【００１４】
画像処理装置１は、カメラ２により撮像された被写体の画像をフレームごとに取得して、取得した画像フレームＰＦに対して後述の画像特定処理（図４参照）を実行して、複数の画像フレームＰＦのうち画像ぶれ量が最も少ない画像フレームＰＦを特定して保存する。これにより、画像ぶれの少ない鮮明な画像を記録することができる。
【００１５】
ここで、従来の技術では、画像フレームに表示される動体画像の大きさ（面積）に起因して、画像ぶれ量の検出結果の誤差が大きくなり、適切な画像フレームを特定することが困難になる場合がある。図２Ａ及び図２Ｂは、従来の画像処理装置を説明するための撮像画像（画像フレーム）の模式図である。図２Ａには、画像フレームＰＦ１に動体画像Ｃ１（人物）が大きく表示されているケースを示し、図２Ｂには、画像フレームＰＦ２に動体画像Ｃ２（人物）が小さく表示されているケースを示している。また、図２Ａでは、動体画像Ｃ１のぶれ度合いが弱い状態を示し、図２Ｂでは、動体画像Ｃ２のぶれ度合いが強い状態を示している。
【００１６】
この例において、動体画像の高周波成分を用いて画像ぶれ量を検出すると、動体画像Ｃ１の画像ぶれ量と動体画像Ｃ２の画像ぶれ量とが同程度になる場合がある。この場合、保存すべき画像フレームを特定する判定処理において、それぞれの画像フレームの判定結果が同じになる。このため、例えば図２Ａの画像フレームＰＦ１が適切であるにも関わらず、不適切と判定してしまったり、図２Ｂの画像フレームＰＦ２が不適切であるにも関わらず、適切と判定してしまったりすることになる。このように、従来の技術では、画像ぶれ量が少ない適切な画像フレームを特定することが困難である。
【００１７】
これに対して、本発明に係る画像処理装置は、画像フレームに表示される動体画像の大きさに関わらず画像ぶれ量の少ない画像フレームを特定することが可能な構成を備える。具体的には、画像処理装置１は、図１に示すように、制御部１１、記憶部１２、操作表示部１３、通信Ｉ／Ｆ１４などを備える。
【００１８】
操作表示部１３は、情報を表示する液晶ディスプレーなどの表示部と、ユーザーによる操作を受け付けるタッチパネル及び操作ボタンなどの操作部とを備える。
【００１９】
通信Ｉ／Ｆ１４は、画像処理装置１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介してカメラ２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【００２０】
記憶部１２は、ハードディスク又はＥＥＰＲＯＭ（登録商標）などの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の画像特定処理（図４参照）を実行させるための画像特定プログラムなどの各種の制御プログラム、及び各種のデータなどが記憶される。また記憶部１２には、カメラ２から取得する画像フレームＰＦが記憶される画像フレーム記憶部１２１が含まれる。
【００２１】
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を備える。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報を予め記憶する。前記ＲＡＭは、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。
【００２２】
具体的に、制御部１１は、画像取得部１１１、動体領域検出部１１２、ぶれ量検出部１１３、正規化処理部１１４、及び画像フレーム特定部１１５を含む。なお、制御部１１は、前記制御プログラムに従って各種の処理を実行することによりこれらの各処理部として機能する。また、制御部１１は、これらの各処理部の一部又は複数の処理機能を実現する電子回路を備えるものであってもよい。
【００２３】
画像取得部１１１は、カメラ２により撮像された複数の画像フレームＰＦを順次取得する。具体的には、画像取得部１１１は、カメラ２から画像フレームＰＦを所定のフレームレートで取得し、取得した画像フレームＰＦを逐次、記憶部１２の画像フレーム記憶部１２１に記憶する。
【００２４】
動体領域検出部１１２は、画像取得部１１１により取得される複数の画像フレームＰＦのそれぞれにおいて、動体画像を含む動体領域ＭＡを検出する。
【００２５】
例えば、動体領域検出部１１２は、先ず、動体が含まれない被写体をカメラ２に一定時間撮影させて、その撮像画像の平均値を背景画像として登録する。次に、動体領域検出部１１２は、動体画像を含む現在の撮像画像の各画素の画素値と、登録された背景画像の各画素の画素値との差分の絶対値を算出する。そして、動体領域検出部１１２は、前記差分の絶対値が閾値を超えた領域を、動体領域ＭＡとして検出する。なお、動体領域検出部１１２は、オンラインで逐次、背景画像を更新してもよい。
【００２６】
動体領域ＭＡを検出する方法は、上述の方法に限定されず、周知の様々な方法を適用することができる。例えば、時間的に隣り合う画像フレーム間の各画素の画素値の差分を利用してもよいし、顔認証技術を利用してもよいし、画像フレームのパターンマッチングを利用してもよいし、画像フレームの特徴量を利用してもよい。
【００２７】
ぶれ量検出部１１３は、画像取得部１１１により取得される複数の画像フレームＰＦのそれぞれにおいて、動体領域検出部１１２により検出される動体領域ＭＡにおける動体画像のぶれ量である画像ぶれ量Ｓ１を検出するぶれ量検出処理を実行する。
【００２８】
例えば、ぶれ量検出部１１３は、動体領域ＭＡに対してハイパスフィルタ処理を施し、高周波成分の閾値を超える画素の数（画素数Ｐ１）をカウントする。ぶれ量検出部１１３は、カウントした画素数Ｐ１を画像ぶれ量Ｓ１として検出する。またぶれ量検出部１１３は、検出した画像ぶれ量Ｓ１（画素数Ｐ１）を、画像フレーム記憶部１２１において、対応する画像フレームＰＦに関連付けて記憶する。ぶれ量検出部１１３は、各画像フレームＰＦに対して前記ぶれ量検出処理を実行する。
【００２９】
正規化処理部１１４は、画像取得部１１１により取得される複数の画像フレームＰＦのそれぞれにおいて、ぶれ量検出部１１３により検出される画像ぶれ量Ｓ１（画素数Ｐ１）を、動体領域検出部１１２により検出される動体領域ＭＡに基づいて正規化する正規化処理を実行する。以下では、正規化処理部１１４により画像ぶれ量Ｓ１（画素数Ｐ１）を正規化処理して算出される算出値を、動体画素率Ｐ２（動体画素割合）と称す。
【００３０】
例えば、正規化処理部１１４は、動体領域検出部１１２により検出される動体領域ＭＡの総画素数Ｐ０を算出する。そして、正規化処理部１１４は、画像ぶれ量Ｓ１である画素数Ｐ１を、動体領域ＭＡの総画素数Ｐ０で除算して、動体画素率Ｐ２を算出する。すなわち、動体画素率Ｐ２は、Ｐ１／Ｐ０の式で算出される。
【００３１】
正規化処理部１１４は、複数の画像フレームＰＦのそれぞれについて、前記正規化処理を行って、動体画素率Ｐ２を算出する。また正規化処理部１１４は、算出した動体画素率Ｐ２を、画像フレーム記憶部１２１において、対応する画像フレームＰＦに関連付けて記憶する。
【００３２】
画像フレーム特定部１１５は、画像取得部１１１により取得される複数の画像フレームＰＦの中から、正規化処理部１１４による正規化処理により算出される算出値（動体画素率Ｐ２）に基づいて所定の画像フレームＰＦを特定（抽出）する。具体的には、画像フレーム特定部１１５は、画像フレーム記憶部１２１に記憶された複数の画像フレームＰＦの中から、動体画素率Ｐ２が最も小さい画像フレームＰＦを抽出して、最適な画像フレームに決定する。制御部１１は、画像フレーム特定部１１５により特定された画像フレームＰＦを保存（記録）する。
【００３３】
［画像特定処理］
次に、図４を参照しつつ、画像処理装置１の制御部１１によって実行される画像特定処理の手順の一例について説明する。制御部１１は、カメラ２から画像フレームＰＦを取得することにより前記画像特定プログラムの実行を開始することによって、前記画像特定処理の実行を開始する。ここで、ステップＳ１１，Ｓ１２，・・・は、制御部１１により実行される処理手順（ステップ）の番号を表している。
【００３４】
なお、ここで説明する前記画像特定処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記画像特定処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは画像処理装置１の制御部１１によって前記画像特定処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記画像特定処理における各ステップが分散して実行されてもよい。また、本発明は、前記画像特定処理に含まれる一又は複数のステップを実行する画像処理方法の発明として捉えることができる。
【００３５】
ここでは、説明の便宜上、一例として、図２Ａ及び図２Ｂに示す画像フレームＰＦ１，ＰＦ２を挙げて説明する。
【００３６】
まず、ステップＳ１１において、制御部１１は、カメラ２により撮像された画像フレームＰＦを順次取得する。例えば制御部１１は、カメラ２から画像フレームＰＦ１，ＰＦ２を順次取得し、取得した画像フレームＰＦ１，ＰＦ２を、記憶部１２の画像フレーム記憶部１２１に記憶する。
【００３７】
次にステップＳ１２において、制御部１１は、取得した複数の画像フレームＰＦのそれぞれにおいて、動体画像を含む動体領域ＭＡを検出する。例えば制御部１１は、図３Ａに示すように、画像フレームＰＦ１において、動体画像Ｃ１を含む動体領域ＭＡ１を検出する。また例えば制御部１１は、図３Ｂに示すように、画像フレームＰＦ２において、動体画像Ｃ２を含む動体領域ＭＡ２を検出する。
【００３８】
次にステップＳ１３において、制御部１１は、ステップＳ１２において検出された動体領域ＭＡにおける動体画像のぶれ量である画像ぶれ量Ｓ１（画素数Ｐ１）を検出する。例えば制御部１１は、動体領域ＭＡ１における動体画像Ｃ１の画像ぶれ量Ｓ１（以下、第１画素数Ｐ１１という。）を検出する。また例えば制御部１１は、動体領域ＭＡ２における動体画像Ｃ２の画像ぶれ量Ｓ１（以下、第２画素数Ｐ１２という。）を検出する。
【００３９】
次にステップＳ１４において、制御部１１は、ステップＳ１３において検出された画素数Ｐ１を正規化して、動体画素率Ｐ２を算出する。例えば制御部１１は、第１画素数Ｐ１１を、動体領域ＭＡ１の総画素数Ｐ０１で除算して、第１動体画素率Ｐ２１を算出する。また例えば制御部１１は、第２画素数Ｐ１２を、動体領域ＭＡ２の総画素数Ｐ０２で除算して、第２動体画素率Ｐ２２を算出する。また制御部１１は、算出した第１動体画素率Ｐ２１を画像フレームＰＦ１に関連付けて記憶し、算出した第２動体画素率Ｐ２２を画像フレームＰＦ２に関連付けて記憶する。
【００４０】
例えば、動体画像Ｃ１の第１画素数Ｐ１１が「４０」で、動体領域ＭＡ１の総画素数Ｐ０１が「１００」である場合、制御部１１は、画像フレームＰＦ１に対応する第１動体画素率Ｐ２１として「０．４」を算出する。また例えば、動体画像Ｃ２の第２画素数Ｐ１２が「４０」で、動体領域ＭＡ２の総画素数Ｐ０１が「５０」である場合、制御部１１は、画像フレームＰＦ２に対応する第２動体画素率Ｐ２２として「０．８」を算出する。このように、複数の画像フレームＰＦにおいて、動体画像Ｃ１の画素数Ｐ１が互いに同等であっても、動体領域ＭＡの大きさ（面積）が互いに異なる場合には、互いに異なる動体画素率が算出される。
【００４１】
次にステップＳ１５において、制御部１１は、複数の画像フレームＰＦの中から、ステップＳ１４の正規化処理により算出された動体画素率Ｐ２が最も小さい画像フレームＰＦを特定する。例えば、画像フレーム記憶部１２１に画像フレームＰＦ１，ＰＦ２が記憶されている場合、制御部１１は、動体画素率Ｐ２が最も小さい画像フレームＰＦ１を抽出して、最適な画像フレームを特定（決定）する。制御部１１は、画像フレームＰＦ２を破棄して、特定した画像フレームＰＦ１を保存（記録）する。
【００４２】
以上のように、本実施形態に係る画像処理装置１では、画像フレームＰＦごとに、動体領域ＭＡを検出し、動体領域ＭＡに含まれる動体画像の画像ぶれ量を、動体領域ＭＡの大きさ（画素数）に基づいて正規化する。そして、複数の画像フレームＰＦを、正規化された画像ぶれ量を表す動体画素率で比較して、動体画素率が最も小さい画像フレームＰＦを特定する。これにより、画像フレームＰＦに表示される動体画像の大きさに関わらず画像ぶれ量の少ない画像フレームを特定して保存することが可能となる。
【００４３】
本発明の画像処理装置は上記実施形態に限定されない。以下では、上記実施形態に係る画像処理装置１の変形例について説明する。また、以下の説明では、上記実施形態の構成と共通の構成については、上記実施形態の構成と同じ符号を付し示すことにより、その説明を省略し、また作用及び効果について重複する説明を省略する。
【００４４】
［変形例］
変形例に係る画像処理装置１の制御部１１は、図５に示すように、動体領域ＭＡに含まれる顔画像を検出する顔画像検出部１１６をさらに備える。顔画像を検出する方法は、周知の方法を用いることができる。
【００４５】
動体領域検出部１１２は、複数の画像フレームＰＦのそれぞれにおいて、動体画像を含む動体領域ＭＡと、顔画像を含む顔領域ＦＡとを検出する。
【００４６】
ぶれ量検出部１１３は、複数の画像フレームＰＦのそれぞれについて、動体領域ＭＡにおける動体画像の画像ぶれ量Ｓ１ａ（画素数Ｐ１ａ）と、顔領域ＦＡにおける顔画像の画像ぶれ量Ｓ１ｂ（画素数Ｐ１ｂ）とを検出する。
【００４７】
正規化処理部１１４は、ぶれ量検出部１１３により検出される画像ぶれ量Ｓ１ａ（画素数Ｐ１ａ）を、動体領域検出部１１２により検出される動体領域ＭＡに基づいて正規化し、ぶれ量検出部１１３により検出される画像ぶれ量Ｓ１ｂ（画素数Ｐ１ｂ）を、動体領域検出部１１２により検出される顔領域ＦＡに基づいて正規化する。例えば、正規化処理部１１４は、画像ぶれ量Ｓ１ａである画素数Ｐ１ａを、動体領域ＭＡの総画素数Ｐ０ａで除算して、動体画素率Ｐ２ａを算出し、画像ぶれ量Ｓ１ｂである画素数Ｐ１ｂを、顔領域ＦＡの総画素数Ｐ０ｂで除算して、顔画素率Ｐ２ｂを算出する。
【００４８】
また、正規化処理部１１４は、動体画素率Ｐ２ａ及び顔画素率Ｐ２ｂに基づいて、合計動体画素率Ｐ２ｃを算出する。例えば、正規化処理部１１４は、以下の式により合計動体画素率Ｐ２ｃを算出する。以下の式において、ｋ１，ｋ２は重み付け係数であり、異なる値に設定されてもよい。
Ｐ２ｃ＝ｋ１×Ｐ２ａ＋ｋ２×Ｐ２ｂ
【００４９】
画像フレーム特定部１１５は、画像取得部１１１により取得される複数の画像フレームＰＦのうち、正規化処理部１１４により算出される合計動体画素率Ｐ２ｃが最も小さい画像フレームＰＦを特定する。
【００５０】
なお、変形例に係る画像処理装置１では、画像フレーム特定部１１５が、画像取得部１１１により取得される複数の画像フレームＰＦのうち、正規化処理部１１４により算出される顔画素率Ｐ２ｂが最も小さい画像フレームＰＦを特定してもよい。すなわち、画像処理装置１は、動体画素率Ｐ２ａ及び顔画素率Ｐ２ｂのうち少なくともいずれかに基づいて、画像フレームＰＦを特定する。
【００５１】
上記の構成によれば、顔画像を含み、画像ぶれ量が少ない画像フレームＰＦを特定して保存することができる。
【００５２】
なお、上記の構成において、顔画像検出部１１６は、顔画像を検出する際に確度情報を用いてもよい。前記確度情報は、例えば、動体領域ＭＡにおける顔の占有面積、動体領域ＭＡにおける顔の座標位置、顔の基準データに基づく顔らしさを示す適合度、顔の基準データに基づく正面方向の向き度合いを示す正面度、顔の基準データに基づく顔の傾き度などの情報である。顔画像検出部１１６は、これら確度情報に基づいて顔画像であるか否かを判定する。この構成によれば、顔画像を含み、画像ぶれ量が少ない画像フレームＰＦを特定して保存することができる。
【００５３】
本発明に係る画像処理装置は、撮像装置（カメラ２）を備えた一体型の装置で構成されてもよい。また、本発明に係る画像処理装置は、複数の撮像装置と通信網Ｎ１を介して通信可能に接続され、複数の撮像装置から画像フレームＰＦを取得してもよい。
【符号の説明】
【００５４】
１      ：画像処理装置
２      ：カメラ
１１    ：制御部
１２    ：記憶部
１３    ：操作表示部
１４    ：通信Ｉ／Ｆ
１１１  ：画像取得部
１１２  ：動体領域検出部
１１３  ：ぶれ量検出部
１１４  ：正規化処理部
１１５  ：画像フレーム特定部
１１６  ：顔画像検出部
１２１  ：画像フレーム記憶部
【図１】
2020077146.tif 000003
【図２Ａ】
2020077146.tif 000004
【図２Ｂ】
2020077146.tif 000005
【図３Ａ】
2020077146.tif 000006
【図３Ｂ】
2020077146.tif 000007
【図４】
2020077146.tif 000008
【図５】
2020077146.tif 000009