(57)【要約】【課題】特徴量の変化に基づいて類似シーンを検出しても、シーンの好ましさを考慮したシーンを選択することができなかった。【解決手段】連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出部２２と、時刻変化に伴う特徴量の変化に基づいてイベントを検出するイベント検出部２３と、検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいたトランジション評価値を算出するトランジション評価部２４と、算出されたトランジション評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択部２５とを備えた。【選択図】図２
2011040860.tif 000002
【特許請求の範囲】
【請求項１】
連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出手段と、
時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出手段と、
検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価手段と、
前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記評価手段は、前記特徴量検出手段における特徴量とは別の種類の特徴量を各フレーム画像から検出して前記評価値を算出することを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記評価手段は、前記特徴量検出手段における特徴量と同一の種類の特徴量を各フレーム画像から検出し、これら検出した特徴量に基づいて前記評価値を算出することを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記評価手段は、前記所定の評価指標に重み付けをして評価値を算出することを特徴とする画像処理装置。
【請求項５】
コンピュータに、
連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出ステップと、
時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出ステップと、
検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価値計算ステップと、
前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年のデジタルカメラには、静止画像の単写機能だけでなく、連写機能や動画の撮影機能を備えたものがある。このデジタルカメラで撮影された静止画や動画には、同じような撮影シーンが複数含まれる場合がある。例えば、同一の撮影場所から回転木馬に乗った人物を周回するたびに連写したり、人物が振り向くシーンを何度も撮影したりすることがあると、同様な撮影シーンが複数回記録されることになる。このような場合に、撮影者は、撮影後すぐに、又は後日、記録された同様の撮影シーンの連写画像データ群や動画データの中から、良く撮れた連写群や動画を選び出して記録に残し、それ以外のものを削除するといった作業を行うことになる。このような作業は煩わしいものであり、客観的な評価判定によって自動的に選択されるような機能が望まれている。
【０００３】
動画像データから動画像の内容の区切り（例えば、撮像された製造工程の区切り）に対応する区切り位置を特定するための動画像データ処理装置が知られている（例えば、特許文献１参照）。この動画像データ処理装置は、動画像データから時系列データである複数種類の特徴量情報を抽出し、その中から特徴量変化の大きさに基づいて特定の特徴量情報を選択する。そして、その選択した特徴量情報における特徴量変化の最も大きな時系列位置を区切り位置として特定するものである。この動画像データ処理装置は、撮像された動画像に基づいて製造工程を判別する生産管理装置、動画像データのチャプタ分類やインデックス情報の生成等を行う動画像編集装置等に用いられることが知られている。
【０００４】
上記の従来技術を用いることにより、連写画像データ群や動画データの中から、特徴量変化の大きな時系列位置に対応するフレーム画像を検出することができる。従来は、類似する撮影シーンが含まれる連写画像データ群や画像データの中から、特定の特徴量が大きく変化する時系列位置をイベント発生位置として捉え、そのイベント発生位置に対応するフレーム画像を検出して、相互に類似する撮影シーンにおける主要な画像と推定するようにしていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−９９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術によれば、類似する撮影シーンが含まれる連写画像データ群又は動画データの中から、相互に類似する撮影シーンにおける主要なフレーム画像を検出することはできる。そして、その検出されたフレーム画像を含む時系列な連写画像データ群又は動画データを選択することにより、類似性が高いと推定される連写画像データ群又は動画データを抽出することは可能である。
【０００７】
しかしながら、このようにして抽出された連写画像データ群又は動画データのうち、どの連写画像データ群又は動画データが最も好ましい撮影がされたものであるかの判定を行うことはできず、撮影シーンの好ましさの判定は人間の主観的判断に委ねられている。
【０００８】
そこで本発明は、上記事情に鑑みてなされたものであり、連写画像データ群や動画像データについて、類似のシーンを検出し客観的な評価基準によって所望のシーンを選択することのできる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するためになされたものであり、連写画像データ群又は動画像データの各フレーム画像から特徴量を検出する特徴量検出手段と、時刻変化に伴う前記特徴量の変化に基づいてイベントを検出するイベント検出手段と、検出されたイベントに対応するフレーム画像であるイベント検出フレーム画像とそれに時系列的に続く所定時間分のフレーム画像群とについて、所定の評価指標に基づいた評価値を算出する評価手段と、前記評価値に基づいて、イベント検出フレーム画像を含むフレーム画像群によるシーンを選択する選択手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、顕著性のあるイベント検出フレーム画像を検出することにより、このイベント検出フレーム画像を基準としたフレーム画像群が類似したシーンであると推定できる。そして、類似したシーンであると推定したものの中から、客観的な評価基準にしたがったシーンを選択することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１及び第２実施形態である画像処理装置を適用した撮像装置のブロック図である。
【図２】本発明の第１及び第２実施形態による撮像装置のシーン選択処理部の構成と、その周辺部分の構成とを示したブロック図である。
【図３】本発明の第１実施形態による撮像装置における、シーン選択機能の処理を示すフローチャートである。
【図４】本発明の第１及び第２実施形態による撮像装置における、シーン選択処理部の実行するイベント検出処理のフローチャートである。
【図５】本発明の第１実施形態における、フレーム画像を順次入力させた場合の特徴量検出部による顔検出値のグラフである。
【図６】本発明の第１及び第２実施形態における、シーン選択処理部の実行するトランジション評価処理のフローチャートである。
【図７】本発明の第１実施形態における、一定期間分のフレーム画像を順次入力させた場合の、正面向き度合いの評価値のグラフである。
【図８】本発明の第１実施形態における、一定期間分のフレーム画像を順次入力させた場合の、中心位置度合いの評価値のグラフである。
【図９】本発明の第１実施形態における、一定期間分のフレーム画像を順次入力させた場合の、目つぶり検出値の評価値のグラフである。
【図１０】本発明の第１実施形態における、一定期間分のフレーム画像を順次入力させた場合の、笑顔度合いの評価値のグラフである。
【図１１】本発明の第１実施形態における、シーン選択機能に設定された撮影装置が、３つのデータファイルからそれぞれイベントを検出し、トランジション評価を行って３つの類似するシーンを抽出し、そしてそれらの中から１つのシーンを抽出する様子を模式的に表した図である。
【図１２】本発明の第２実施形態における、連写された撮像連写画像データ群のうちの１つのフレーム画像を模式的に表した図である。
【図１３】本発明の第２実施形態による撮像装置における、シーン選択機能の処理を示すフローチャートである。
【図１４】本発明の第２実施形態における、２つのデータファイル群それぞれについての、各フレーム画像における人物の重心位置のＸ方向の座標値の推移をグラフ化して示した図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施の形態］
本発明の第１実施形態である画像処理装置を撮像装置に適用した例について説明する。この撮像装置は、例えばデジタルカメラ装置であり、１回の撮影操作（撮影ボタン押し）で１つの静止画を撮影する単写撮影機能の他に、連写撮影機能、動画撮影機能、及びシーン選択機能を有するものである。連写撮影機能は、１回の撮影操作につき時系列的に複数の静止画を撮影する機能である。動画撮影機能は、動画を撮影する機能である。シーン選択機能は、連写撮影による連写画像データ群又は動画撮影による動画データから、類似するシーンを検出して評価を行い、それらの中から所定の評価基準を満たしたシーンを選択する機能である。シーンとは、任意の時間分の連写画像データ群又は動画データである。
【００１４】
本実施形態では、このシーン選択機能について主に説明する。本実施形態による撮像装置は、撮影して記録された１つ又は複数の動画像データについて、隣り合うフレーム画像間の特徴量の差分値を計算して特徴の変化点であるイベントを検出する。そして、検索の結果、複数のイベントが検出された場合に、イベントの検出されたフレーム画像を、それぞれ類似するシーンにおける顕著性のある画像であると推定する。そして、撮像装置は、イベントの検出された各フレーム画像とそれに時系列的に続くフレーム画像とについて所定の評価指標による画像の遷移の評価を行い、類似するシーンの中で最も評価の高いシーンを選択する。このシーン選択機能により、本実施形態による撮像装置は、記録されている動画像データに同じようなシーンが含まれている場合に、客観的な評価基準に基づいてシーンを順位付けすることができ、所望の順位のシーンを抽出することができる。以下、このような特徴を有する撮像装置について具体的に説明する。
【００１５】
図１は、本実施形態である画像処理装置を適用した撮像装置のブロック図である。同図において、撮像装置１は、光学系１１と、撮像部１２と、操作部１３と、制御部１４と、記憶部１５と、表示部１６と、入出力インターフェイス１７と、記録媒体１９とを含んで構成される。この撮像装置１において、撮像部１２と、制御部１４と、記憶部１５と、表示部１６と、入出力インターフェイス１７とは、当該装置内部のバス１８を介してそれぞれ接続されている。撮像装置１は、例えばデジタルカメラで構成される。
【００１６】
光学系１１は、レンズ群と絞り及び焦点距離の調節機構とを含んで構成される。光学系１１は、撮像装置１の本体と着脱可能に取り付けられるようになっていてもよい。撮像部１２は、光学系１１を通して入光させた光束を受光面に結像させて撮像し撮像画像データを生成する。操作部１３は、不図示ではあるが、電源ボタン、撮影ボタン、ズームボタン、撮影動作させるための撮影モードと記録媒体１９に記録された静止画像データ、連写画像データ群、又は動画像データを読み出させて表示部１６に表示させるための再生モードとを切換えるためのモード切換ボタン、撮像装置１の各種設定を行わせるための設定モードに移行して表示部１６に操作メニューを表示させるためのメニューボタン、表示部１６に表示された操作メニューを操作させるための選択ボタン、及びこの選択ボタンの操作によって操作メニュー上で選択されている項目を決定するための決定ボタンを備える。
【００１７】
制御部１４は、撮像装置１全体を制御するための処理部であり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んで構成される。制御部１４は、その機能構成として、シーン選択処理部２０と画像圧縮伸長部２１とを備える。シーン選択処理部２０については、図２を参照する際に説明する。画像圧縮伸長部２１は、撮像部１２で生成された撮像画像データを圧縮処理し、単写撮影機能の場合は圧縮静止画像データ、連写撮影機能の場合は圧縮連写画像データ群、動画撮影機能の場合は圧縮動画像データを生成する。また、画像圧縮伸長部２１は、記録媒体１９から読み出された圧縮静止画像データ、圧縮連写画像データ群、又は圧縮動画像データを伸長処理して、伸長静止画像データ、伸長連写画像データ群、又は伸長動画像データを生成する。
【００１８】
記憶部１５は、制御部１４に実行させるための各種制御用プログラムを格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、これら制御用プログラムを作業領域に展開したり、画像データ、操作メニュー、変数等を記憶したりするためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備える。表示部１６は、撮影モード時には撮像状態にある撮像画像データを表示し、再生モード時には伸長静止画像データ、伸長連写画像データ群、又は伸長動画像データを表示し、設定モード時には操作メニュー等を表示するための表示装置である。表示装置１６は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルを備えたモニタで構成される。入出力インターフェイス１７は、記録媒体１９を着脱可能に接続するためのコネクタを備えたインターフェイス部である。記録媒体１９は、入出力インターフェイス１７のコネクタに取り付けられる可搬型記録媒体である。この記録媒体１９は、例えばメモリカードである。
【００１９】
次に、シーン選択処理部２０について説明する。図２は、制御部１４に機能的に含まれるシーン選択処理部２０の構成とその周辺部分の構成とを示したブロック図である。同図において、シーン選択処理部２０は、特徴量検出部２２と、イベント検出部２３と、トランジション評価部２４と、選択部２５と、特徴量パラメータ設定部２６と、評価パラメータ設定部２７とを含んで構成される。
【００２０】
特徴量検出部２２には、記録媒体１９から所望の圧縮連写画像データ群又は圧縮動画像データが読み出されて画像圧縮伸長部２１で伸長処理されることにより得られた伸長連写画像データ群又は伸長動画像データがフレーム画像単位で入力される。特徴量検出部２２は、フレーム画像が入力されると所定の特徴量を検出する。この特徴量とは、例えば、フレーム画像における色、明度、色相、コントラスト等の視覚的特徴や、テクスチャ、人物の顔等のオブジェクトの有無、オブジェクトの位置等の画像の特徴を数値化したものである。
【００２１】
特徴量パラメータ設定部２６は、特徴量検出部２２で検出すべき特徴の種類を１つ又は複数設定したり、特徴量の検出の優先順位を設定したりする。イベント検出部２３は、時刻の異なるフレーム画像間の同種類の特徴量の変化をとらえ、その変化が所定の基準を満たした場合に、特徴の変化点であるイベントを検出する。イベント検出については、後述する動作説明において具体例を挙げて説明する。
【００２２】
トランジション評価部２４は、イベント検出部２３でイベントの検出されたフレーム画像とそれに時系列的に続くフレーム画像とについて、所定の評価指標による画像の遷移の評価であるトランジション評価を行う。評価指標とは、例えば、フレーム画像内で画像認識されたオブジェクトの、時間経過に伴う任意の評価対象の状態変化を評価する際に参照される指標等である。つまり、評価指標により行うトランジション評価とは、イベント検出時を基準として評価指標によるフレーム画像の変化の傾向を評価することである。評価指標については、後述する動作説明において具体例を挙げて説明する。
【００２３】
評価パラメータ設定部２７は、トランジション評価部２４で評価する１種類又は複数種類の評価指標を設定したり、複数種類ある評価指標による評価の優先順位を設定したりする。
【００２４】
選択部２５は、トランジション評価部２４において評価されたイベントごとの評価値の中で、最も高い評価となった評価値に対応するイベントの検出されたフレーム画像を指定し、そのフレーム画像を含むシーンの開始位置及び終了位置の情報（シーンの位置情報）を出力する。なお、選択部２５は、イベント検出部２３で検出されたイベントが１つであった場合は、そのイベントの検出されたフレーム画像を指定し、そのフレーム画像を含むシーンの位置情報を出力する。
【００２５】
次に、撮像装置１のシーン選択機能における動作について説明する。本実施形態では、動画撮影機能に設定された撮像装置１によって、撮影者側に背を向けた人物が撮影者側に振り向くシーン（振向きシーン）が３回撮影され、振向きシーンをそれぞれ含む３つの圧縮動画像データがデータファイル化されて記録媒体１９に予め記録されているものとする。本実施形態では、シーン選択機能に設定された撮像装置１が、３つの圧縮動画像データの中から３つの振向きシーンを検出し、各シーンを評価指標により評価して最も評価の高いシーンを選択する例について説明する。
【００２６】
本実施形態において、特徴量パラメータ設定部２６には、特徴量検出部２２で検出すべき特徴の種類は人物の顔検出であること、特徴量は顔が検出されたか否かの判定値（顔検出値）であることが予め設定されている。また、評価パラメータ設定部２７には、トランジション評価部２４で評価する評価指標が、正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、笑顔度合いであることが予め設定されている。さらに、評価パラメータ設定部２７には、評価指標ごとに重み付けが設定されている。例えば、優先度の高い方から低い方への順番と、重み付けの大きい方から小さい方への順番とを合わせるようにする。具体的には、優先度の降順が、目つぶり検出値、笑顔度合い、正面向き度合い、画像中心からの目の中心位置度合いである場合に、重み付けの降順が同一順となるように設定する。
【００２７】
図３は、撮像装置１におけるシーン選択機能の処理を示すフローチャートである。ステップＳ３０１において、制御部１４は、撮像装置１の操作者による操作部１３の操作にしたがって、記録媒体１９に記録された３つの圧縮動画像データのデータファイルを選択する。操作者によるデータファイルの選択は、例えば、操作メニューの操作によって行うことができる。つまり、操作者による操作部１３のメニューボタンの押下によって、制御部１４は操作メニューを表示部１６に表示させる。この操作メニューは例えば階層メニュー構造になっている。そして、いずれかの下位階層にファイル選択メニューが形成され、そこに記録媒体１９に記録されたデータファイルのファイル名が示されるようになっている。操作者の操作部１３の選択ボタンの操作にしたがって、制御部１４は、ファイル選択メニューを表示部１６に表示させる。そして、操作者に所望のデータファイルを選択させる。
【００２８】
次に、ステップＳ３０２において、シーン選択処理部２０は、選択された３つのデータファイルをそれぞれ解析して、類似するシーンを客観的な評価基準に基づいて順位付けし、最も順位の高い１つのシーンを選択してそのシーンの位置情報を取得する。この処理ステップについては、後で詳細に説明する。次に、ステップＳ３０３において、制御部１４は、ステップＳ３０２の処理において取得したシーンの位置情報に基づいて記録媒体１９に記録されたデータファイルから当該シーンに該当する動画像データを抽出する。そして次に、ステップＳ３０４において、制御部１４は、抽出した動画像データを記録媒体１９に記録する。このとき、制御部１４は、３つの類似するシーンのうち選択されなかった２つのシーンに該当する動画像データ、又はこれらが含まれるデータファイルを削除してもよい。
【００２９】
次に、上記のステップＳ３０２の処理の詳細を説明する。図４は、シーン選択処理部２０の実行するイベント検出処理のフローチャートである。ステップＳ４０１において、制御部１４は、ステップＳ３０１の処理において選択した３つのデータファイルについて、操作者によって選択された順番で圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行い、データ伸長されたフレーム画像を特徴量検出部２２に入力する。このステップＳ４０１の処理においてフレーム画像の入力がなくなった場合（Ｓ４０１：ＮＯ）は、このフローチャートの処理を終了する。
【００３０】
一方、ステップＳ４０１の処理においてフレーム画像の入力があった場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２において、特徴量検出部２２は、特徴量パラメータ設定部２６に設定された、特徴の種類（人物の顔検出）と特徴量（顔検出値）とに基づいて特徴量の検出処理を行う。オブジェクトである人物の顔は、例えば、フレーム画像中に人物の目の有無を認識する画像認識処理を行うことによって検出する。特徴量である顔検出値は、人物の顔の有無を示す２値で表現される。
【００３１】
図５は、フレーム画像を順次入力させた場合の特徴量検出部２２による顔検出値のグラフである。同図によれば、フレーム番号＃１から順次入力されたフレーム画像には人物の目が写っていないか、特徴量検出部２２が目を検出しないために顔検出値が０レベルとなる状態が続き、フレーム番号＃Ｋのフレーム画像において、特徴量検出部２２が目を検出したために顔検出値が一定レベル値となり、このフレーム画像で人物の顔が検出されたことを示している。また、同図では、特徴量検出部２２は、フレーム番号＃Ｋ以降のフレーム画像では人物の顔を検出し続けていることを示している。
【００３２】
図４の説明に戻り、ステップＳ４０３において、特徴量検出部２２は、検出した特徴量をフレーム位置に関連づけて記憶部１５に記憶する。フレーム位置は、フレーム画像の番号やタイムスタンプである。次に、ステップＳ４０４において、イベント検出部２３は、ステップＳ４０３の処理において記憶部１５に記憶された最新の特徴量と、１フレーム前のフレーム画像についての特徴量との差分値を計算し、特徴の変化点であるイベントが検出されたか否かを判定する。例えば、その差分値が予め定められた基準値を超える場合にイベントが検出されたと判定する。図５のグラフの例では、フレーム番号＃Ｋのフレーム画像においてイベントを検出したと判定する。すなわち、フレーム番号＃Ｋのフレーム画像が顕著性のあるフレーム画像となる。
【００３３】
次に、イベントが検出された場合（ステップＳ４０５：ＹＥＳ）は、ステップＳ４０６において、イベント検出部２３は、イベントの検出されたフレーム画像のフレーム位置を記憶部１５に記憶する。一方、イベントが検出されなかった場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０１の処理に戻って次のフレーム画像の処理に移行する。
【００３４】
このようにして、イベント検出処理によって、３つのデータファイルそれぞれから、人物の振向きシーンにおいて顔検出のされたフレーム画像（顕著性のある画像）のフレーム位置が記憶部１５に記憶される。なお、各データファイルの先頭のフレーム画像については、１つ前のフレーム画像がないために見かけ上イベントが検出されることになるため、イベント検出部２３は、この先頭フレームについてのイベント判定を除外するようにしておく。
【００３５】
次に、図６は、シーン選択処理部２０の実行するトランジション評価処理のフローチャートである。イベント検出部２３による処理の後、このフローチャートの処理が開始される。ステップＳ６０１において、制御部１４は、記憶部１５を参照する。そして、制御部１４は、イベントの検出されたフレーム画像のフレーム位置を読み出した場合（Ｓ６０１：ＹＥＳ）、ステップＳ６０２において、この読み出したフレーム位置に対応するフレーム画像と、それに続く一定期間分のフレーム画像とに相当する圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行う。そして、制御部１４は、データ伸長されたフレーム画像を順次トランジション評価部２４に供給する。そして、トランジション評価部２４は、トランジション評価を行う。
【００３６】
このトランジション評価は、評価パラメータ設定部２７に設定された、４つの評価指標である正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、及び笑顔度合いそれぞれについて、一定期間分のフレーム画像について行われる。図７から図１０に、イベントの検出されたフレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、トランジション評価部２４の各評価指標についての評価のグラフを示す。
【００３７】
図７は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、正面向き度合いの評価値のグラフである。正面向き度合いは、被写体である人物の撮影者側、より具体的には撮像装置１の光学系１１のレンズに対する向き具合の評価値である。つまり、人物の顔がまっすぐレンズを向いた場合を正面とし、評価値が最も高くなるようにする。この正面向き度合いは、人物の両目間の距離に基づいて評価値を計算する。つまり、人物が横を向いた状態では、両目間の距離は小さく、正面方向に向かうにつれて両目間の距離は大きくなることに基づいて評価値を計算する。同図は、フレーム番号＃Ｋのフレーム画像以降、人物が振向くにつれて正面向き度合いの評価値が高まっている様子を示している。
【００３８】
図８は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、中心位置度合いの評価値のグラフである。中心位置度合いは、フレーム画像の中心位置を基準とした人物の顔の位置についての評価値である。この中心位置度合いは、フレーム画像の中心位置から人物の各目までの距離を計算し、距離が小さいほど高い値の評価値となるようにする。同図は、フレーム番号＃Ｋのフレーム画像以降、ほぼ安定して人物がフレームの中心付近に写っている様子を示している。
【００３９】
図９は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、目つぶり検出値の評価値のグラフである。目つぶり検出値は、人物の目つぶりの有無の評価値である。この評価値は２値であり、目を開けていることが検出できないか、目をつぶっていると検出された場合は０であり、目を開けていることが検出された場合は一定レベル値となる。同図は、フレーム番号＃Ｋのフレーム画像以降少しの間、トランジション評価部２４が目つぶりの有無を検出することができなかったために０レベルとなり、それ以降は目が開いていることが検出されたために一定レベル値になっている様子を示している。
【００４０】
図１０は、フレーム番号＃Ｋ以降の一定期間分のフレーム画像を順次入力させた場合の、笑顔度合いの評価値のグラフである。笑顔は、人物の両目、まゆげ、口の形状や顔の輪郭に対するこれらの位置のデータを解析し、笑顔のパターンとの比較認識処理を行って推定する。そして、笑顔度合いは、笑顔であると推定される確率が高いほど高い評価値とする。同図は、顔が検出された最初のときよりも後の方が笑顔の度合いが高い様子を示している。
【００４１】
図６のステップＳ６０２の説明に戻り、トランジション評価部２４は、フレーム画像ごとに、正面向き度合い、画像中心からの目の中心位置度合い、目つぶり検出値、笑顔度合いの評価値を計算したのち、評価パラメータ設定部２７に設定されている重み付けにしたがって各評価値に重み付けをして加算する。次に、ステップＳ６０３において、トランジション評価部２４は、計算した評価値をイベントの検出されたフレーム画像のフレーム位置に関連づけて記憶部１５に記憶する。
【００４２】
一方、ステップＳ６０１において、制御部１４が、イベントの検出されたフレーム画像のフレーム位置を読み出さなかった場合、すなわち、参照されるべきイベント検出フレーム画像がなくなった場合（Ｓ６０１：ＮＯ）、ステップＳ６０４において、選択部２５は、記憶部１５に記憶されたイベントごとの評価値のうち、最も高い評価値に対応するイベント検出フレーム画像のフレーム位置を選択する。次に、ステップＳ６０５において、選択部２５は、検出されたフレーム位置のフレーム画像を含むシーンの位置情報を出力する。例えば、検出されたフレーム位置から所定フレーム数分前の開始位置と、検出されたフレーム位置から所定フレーム数後の終了位置とを位置情報として出力する。
【００４３】
図１１は、シーン選択機能に設定された撮影装置１が、３つのデータファイルからそれぞれイベントを検出し、トランジション評価を行って３つの類似するシーンを抽出し、そしてそれらの中から１つのシーンを抽出する様子を模式的に表した図である。同図に示すように、本実施形態による撮像装置１は、上述したイベント検出処理によって、３つのデータファイルを解析し、それぞれの動画像データのフレーム画像からイベントを検出する（イベント検出フレーム画像ｆ１，ｆ２，ｆ３）。次に、トランジション評価処理によって、イベント検出フレーム画像ｆ１，ｆ２，ｆ３とそれに時系列的に続く一定期間分のフレーム画像ｔｆ１，ｔｆ２，ｔｆ３とについてのトランジション評価を行う。そして、最も評価値の高い結果となった動画像データ２について、イベント検出フレーム画像ｆ２を含むシーン（開始フレームｐｆ，終了フレームａｆ）を選択する。
【００４４】
以上説明したように、本実施形態によれば、３つのデータファイルの中から３つの振向きシーンを検出し、各シーンを客観的な評価指標により評価して順位付けることができる。さらに、その中から最も評価の高いシーンを選択することができる。また、重み付けをして評価することにより、撮影者にとって好ましいシーン、例えば、目つぶりがなく、笑顔で、撮影者の方向を向いていて、画面中心に顔のあるシーンを選択することができる。
【００４５】
［第２の実施の形態］
本発明の第２実施形態である画像処理装置を撮像装置に適用した例について説明する。本実施形態においても、シーン選択機能について主に説明する。本実施形態による撮像装置は、連写撮影して記録された１つ又は複数の連写画像データ群について、連続するフレーム画像間の特徴量の差分を計算して特徴の変化点であるイベントを検出する。そして、検索の結果、複数のイベントが検出された場合に、イベントの検出されたフレーム画像を、それぞれ類似するシーンにおける顕著性のある画像であると推定する。そして、撮像装置は、イベントの検出された各フレーム画像とそれに時系列的に続くフレーム画像とについて所定の評価指標による画像の評価を行い、類似するシーンの中で最も評価の高いシーンを選択する。このシーン選択機能により、本実施形態による撮像装置は、記録されている連写画像データ群に同じようなシーンが含まれている場合に、客観的な評価基準に基づいてシーンを順位付けすることができ、所望の順位のシーンを抽出することができる。以下、このような特徴を有する撮像装置について具体的に説明する。
【００４６】
本実施形態における撮像装置は前述した第１実施形態による撮像装置１と同一の構成であるため、同一の符号を付してその構成の説明を省略する。
【００４７】
次に、撮像装置１のシーン選択機能における動作について説明する。本実施形態では、連写撮影機能に設定された撮像装置１によって、一人乗り用ブランコに乗っている人物を、ブランコの搬送方向と略垂直方向から２回連写して得られた圧縮連写画像データ群（２つのグループ）が記録媒体１９に予め記録されているものとする。図１２は、連写された撮像連写画像データ群のうちの１つのフレーム画像を模式的に表した図である。同図には、人物がブランコに乗って弧を描くように運動する様子の１フレームが写されている。
【００４８】
なお、以下の説明においては、同図に示すように、フレーム画像の左下のコーナを原点として垂直方向をＸ方向とし、水平方向をＹ方向とする。このような２次元座標系を定義した場合に、Ｘ方向では、人物は単振動運動をすることになる。そこで本実施形態では、圧縮連写画像データ群の中からＸ方向における人物の所定部分の位置（例えば、重心位置）が最も低い場所にあるフレーム画像を検出し、そのフレーム画像以後のフレーム画像群を評価指標により評価して最も評価の高いシーンを選択する例について説明する。
【００４９】
本実施形態において、特徴量パラメータ設定部２６には、特徴量検出部２２で検出すべき特徴の種類は図１２におけるＸ方向の単振動であること、特徴量は単振動のＸ方向の座標値であることが予め設定されている。また、評価パラメータ設定部２７には、トランジション評価部２４で評価する評価指標が、単振動の最高点位置と最下点位置との差分（レンジ）であることが予め設定されている。
【００５０】
図１３は、撮像装置１におけるシーン選択機能の処理を示すフローチャートである。ステップＳ１３１において、制御部１４は、撮像装置１の操作者による操作部１３の操作にしたがって、記録媒体１９に記録された２つの圧縮連写画像データ群のデータファイル群を選択する。操作者によるデータファイル群の選択は、例えば、操作メニューの操作によって行うことができる。つまり、操作者による操作部１３のメニューボタンの押下によって、制御部１４は操作メニューを表示部１６に表示させる。この操作メニューは例えば階層メニュー構造になっている。そして、いずれかの下位階層にファイル群選択メニューが形成され、そこに記録媒体１９に記録されたデータファイル群のグループ名が示されるようになっている。操作者の操作部１３の選択ボタンの操作にしたがって、制御部１４は、ファイル群選択メニューを表示部１６に表示させる。そして、操作者に所望のデータファイル群を選択させる。
【００５１】
次に、ステップＳ１３２において、シーン選択処理部２０は、選択された２つのデータファイル群をそれぞれ解析して、類似するシーンを客観的な評価基準に基づいて順位付けし、最も順位の高い１つのシーンを選択してそのシーンの位置情報を取得する。この処理ステップについては、後で詳細に説明する。次に、ステップＳ１３３において、制御部１４は、ステップＳ１３２の処理において取得したシーンの位置情報に基づいて記録媒体１９に記録されたデータファイル群から当該シーンに該当する連写画像データ群を抽出する。そして次に、ステップＳ１３４において、制御部１４は、抽出した連写画像データ群を記録媒体１９に記録する。このとき、制御部１４は、２つの類似するシーンのうち選択されなかった方のシーンに該当する連写画像データ群、又はこれらが含まれるデータファイル群を削除してもよい。
【００５２】
次に、上記のステップＳ１３２の処理の詳細を説明する。この説明にあたって、イベント検出処理のフローチャート及びトランジション評価処理のフローチャートは、前述した第１実施形態における両処理の説明に用いた図４及び図６を用いて説明することとし、これら両図における処理ステップの番号も同一のものを使用する。ステップＳ４０１において、制御部１４は、ステップＳ１３１の処理において選択した２つのデータファイル群について、操作者によって選択された順番で圧縮連写画像データ群を記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行い、データ伸長されたフレーム画像を特徴量検出部２２に入力する。このステップＳ４０１の処理においてフレーム画像の入力がなくなった場合（Ｓ４０１：ＮＯ）は、このフローチャートの処理を終了する。
【００５３】
一方、ステップＳ４０１の処理においてフレーム画像の入力があった場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２において、特徴量検出部２２は、特徴量パラメータ設定部２６に設定された、特徴の種類（Ｘ方向の単振動）と特徴量（Ｘ方向の座標値）とに基づいて特徴量の検出処理を行う。座標値を求める目標は、人物の顔や腰等の部位の中心位置であってもよいし、人物全体を画像認識させてその重心位置としてもよい。
【００５４】
次に、ステップＳ４０３において、特徴量検出部２２は、検出した特徴量をフレーム位置に関連づけて記憶部１５に記憶する。フレーム位置は、フレーム画像の番号やタイムスタンプである。次に、ステップＳ４０４において、イベント検出部２３は、ステップＳ４０３の処理において記憶部１５に記憶された最新の特徴量と、１フレーム前のフレーム画像についての特徴量と２フレーム前のフレーム画像についての特徴量とに基づいて、特徴の変化点であるイベントが検出されたか否かを判定する。例えば、式（１）が成立する座標値Ｘｉが検出された場合にイベントが検出されたと判定する。
【００５５】
【数１】
2011040860.tif 000003
【００５６】
次に、イベントが検出された場合（ステップＳ４０５：ＹＥＳ）は、ステップＳ４０６において、イベント検出部２３は、イベントの検出されたフレーム画像のフレーム位置を記憶部１５に記憶する。一方、イベントが検出されなかった場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０１の処理に戻って次のフレーム画像の処理に移行する。
【００５７】
このようにして、イベント検出処理によって、２つのデータファイル群のそれぞれから、人物のＸ方向の単振動運動における最下点に位置するフレーム画像（顕著性のある画像）のフレーム位置が記憶部１５に記憶される。なお、各データファイル群の１番目及び２番目のフレーム画像については、過去のフレーム画像がないために式（１）の計算をすることができない。よって、イベント検出部２３は、これら１番目及び２番目のフレームについてのイベント判定を除外するようにしておく。
【００５８】
次に、図６は、シーン選択処理部２０の実行するトランジション評価処理のフローチャートである。イベント検出部２３による処理の後、このフローチャートの処理が開始される。ステップＳ６０１において、制御部１４は、記憶部１５を参照する。そして、制御部１４は、イベントの検出されたフレーム画像のフレーム位置を読み出した場合（Ｓ６０１：ＹＥＳ）、ステップＳ６０２において、この読み出したフレーム位置に対応するフレーム画像と、それに続く一定期間分のフレーム画像とに相当する圧縮動画像データを記録媒体１９から読み出して画像圧縮伸長部２１で伸長処理を行う。そして、制御部１４は、データ伸長されたフレーム画像を順次トランジション評価部２４に供給する。そして、トランジション評価部２４は、トランジション評価を行う。
【００５９】
このトランジション評価は、評価パラメータ設定部２７に設定された、評価指標であるＸ方向の単振動の最高点位置Ｘｍａｘと最下点位置Ｘｍｉｎとの差分で表されるレンジＲｘについて、一定期間分のフレーム画像について行われる。つまり、式（２）によって評価値を算出する。
【００６０】
【数２】
2011040860.tif 000004
【００６１】
次に、ステップＳ６０３において、トランジション評価部２４は、計算した評価値であるレンジＲｘをイベントの検出されたフレーム画像のフレーム位置に関連づけて記憶部１５に記憶する。
【００６２】
一方、ステップＳ６０１において、制御部１４が、イベントの検出されたフレーム画像のフレーム位置を読み出さなかった場合、すなわち、参照されるべきイベント検出フレーム画像がなくなった場合（Ｓ６０１：ＮＯ）、ステップＳ６０４において、選択部２５は、記憶部１５に記憶されたイベントごとの評価値のうち、最も高い評価値に対応するイベント検出フレーム画像のフレーム位置を選択する。次に、ステップＳ６０５において、選択部２５は、検出されたフレーム位置のフレーム画像を含むシーンの位置情報を出力する。例えば、検出されたフレーム位置を含んでＹ方向の半周期分の時間をカバーするような開始位置と終了位置とを位置情報として出力する。
【００６３】
図１４は、２つのデータファイル群（グループ１，２）それぞれについての、各フレーム画像における人物の重心位置のＸ方向の座標値の推移をグラフ化して示した図である。同図（ａ）は、グループ１についてのグラフであり、同図（ｂ）はグループ２についてのグラフである。同図のグラフにより明らかなように、両グループとも、フレーム番号＃３のフレーム画像においてイベントが検出される。また、グループ２がグループ１よりもレンジが広いことが分かる。よって、グループ２の連写の方がグループ１の連写よりもダイナミックな画像を撮影していると評価することができる。
【００６４】
以上説明したように、本実施形態によれば、２つのデータファイル群の中から人物の重心位置が最下点にある２つのシーンを検出し、各シーンを客観的な評価指標により評価して順位付けることができる。よって、その中から最も評価の高いシーンを選択することができる。これにより、撮影者にとって好ましいシーン、例えば、ブランコを最も躍動的にダイナミックにこいでいるシーンを選択することができる。
【００６５】
なお、上述した第１及び第２実施形態において、特徴量の種類及び特徴量とトランジション評価の評価指標との組み合わせを対応付けて記憶しておくようにしてもよい。その際に、組み合わせに順位付けをしておくことは好ましい。例えば、操作者によって多用する組み合わせや、好ましいと操作者が判断した組み合わせについて高順位となるようにして記憶しておけば、順位にしたがって組み合わせを操作メニューに表示させたりすることができる。
【００６６】
また、上述した第１及び第２実施形態では、１つの動画像のデータファイルや１つの連写グループに１つのイベントが含まれる例について説明した。これ以外にも、１つの動画像のデータファイルや１つのグループ内に類似するシーンが複数あって、それらのシーンの評価を順位付けたり、最も評価の高い評価値のシーンを選択したりすることもできる。
【００６７】
また、上述した各実施形態である画像処理装置の一部、例えば、制御部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するための画像処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された画像処理プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００６８】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６９】
２２  特徴量検出部
２３  イベント検出部
２４  トランジション評価部
２５  選択部
【図１】
2011040860.tif 000005
【図２】
2011040860.tif 000006
【図３】
2011040860.tif 000007
【図４】
2011040860.tif 000008
【図５】
2011040860.tif 000009
【図６】
2011040860.tif 000010
【図７】
2011040860.tif 000011
【図８】
2011040860.tif 000012
【図９】
2011040860.tif 000013
【図１０】
2011040860.tif 000014
【図１１】
2011040860.tif 000015
【図１２】
2011040860.tif 000016
【図１３】
2011040860.tif 000017
【図１４】
2011040860.tif 000018