(57)【要約】本発明は、動画像データから一部の動画像データを抽出する動画像データ処理方法を提供する。この方法は、動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、評価に応じて第１の画像評価値を生成するフレーム画像評価工程と、第１の画像評価値に応じて、所定の条件を満たす複数のフレーム画像データを含む動画像データを抽出する動画像データ抽出工程と、を備えることを特徴とする。【特許請求の範囲】
【請求項１】
動画像データから一部の動画像データを抽出する動画像データ処理方法であって、
前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価工程と、
前記第１の画像評価値に応じて、所定の条件を満たす複数のフレーム画像データを含む動画像データを抽出する動画像データ抽出工程と、
を備えることを特徴とする、動画像データ処理方法。
【請求項２】
請求項１記載の動画像処理方法であって、さらに、
前記動画像データを取得する取得工程を備え、
前記動画像データ抽出工程は、前記第１の画像評価値と前記第１の画像評価値の変動の少なくとも一方が所定の条件を満たす前記フレーム画像データから、時系列的に連続したフレーム画像データの集合であるフレーム群を、少なくとも１以上抽出する工程を含み、
前記動画像処理方法は、さらに、前記抽出されたフレーム群の少なくとも一部を用いて前記要約動画像データを生成する要約動画像データ生成工程を備える、動画像処理方法。
【請求項３】
請求項２記載の動画像処理方法であって、さらに、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割工程を備え、
前記動画像データ抽出工程は、前記シーンの各々から少なくとも１以上の前記フレーム群を抽出する工程を含む、動画像処理方法。
【請求項４】
請求項３記載の動画像処理方法であって、
前記分割工程は、前記第１の画像評価値の不連続的な変化に基づいて、前記動画像データを分割する工程を含む、動画像処理方法。
【請求項５】
請求項２記載の動画像処理方法であって、
前記所定の条件は、前記第１の画像評価値が所定の閾値以上であることを含む、動画像処理方法。
【請求項６】
請求項５記載の動画像処理方法であって、さらに、
前記要約動画像データの再生時間の希望値を入力する再生時間入力工程と、
前記再生時間の希望値に応じて、前記閾値を調整する調整工程と、
を備える、動画像処理方法。
【請求項７】
請求項２記載の動画像処理方法であって、
前記動画像データ抽出工程は、前記第１の画像評価値の変化率が０以上のフレーム群を優先的に抽出する工程を含む、動画像処理方法。
【請求項８】
請求項２記載の動画像処理方法であって、
前記動画像データ抽出工程は、複数の前記フレーム群のうち、前記フレーム群間の時間間隔が所定値以下の２つのフレーム群については、前記２つのフレーム群及びその間の全フレーム画像データをまとめて１つのフレーム群として抽出する工程を含む、動画像処理方法。
【請求項９】
請求項８記載の動画像処理方法であって、さらに、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定するシーン分割工程を備え、
前記動画像データ抽出工程は、さらに、前記２つのフレーム群及びその間の全フレーム画像データが、同じシーン内にある場合に、１つのフレーム群として抽出する工程を含む、動画像処理方法。
【請求項１０】
請求項２記載の動画像処理方法であって、
前記動画像データ抽出工程は、所定数以上のフレーム画像データからなる前記フレーム群を抽出する工程を含む、動画像処理方法。
【請求項１１】
請求項２ないし１０のいずれか記載の動画像処理方法であって、
前記フレーム画像評価工程は、前記第１の画像評価値の算出対象の前記フレーム画像データを含む２つの前記フレーム画像データを比較して求まる動きベクトルを用いて、前記第１の画像評価値を算出する工程を含む、動画像処理方法。
【請求項１２】
請求項１記載の動画像処理方法であって、さらに、
前記複数のフレーム画像データの各々の前記第１の画像評価値と前記第１の画像評価値の時系列的な変化率とに応じて、前記複数のフレーム画像データの各々の第２の画像評価値を生成する動画像評価工程を備え、
前記動画像データ抽出工程は、前記第２の画像評価値に基づいて、前記動画像データから前記第２の画像評価値が所定の閾値よりも大きい複数のフレーム画像データで構成された動画像データを抽出する工程を含む、動画像処理方法
【請求項１３】
請求項１２記載の動画像データ処理方法であって、
前記動画像評価部は、前記第１の画像評価値の時系列的な変化率が正である複数のフレーム画像データの第１の画像評価値を高くして得られた値を前記第２の画像評価値とする評価モードを有する、動画像データ処理方法。
【請求項１４】
請求項１２または１３に記載の動画像データ処理方法であって、
前記動画像評価部は、前記第１の画像評価値の時系列的な変化率が負である複数のフレーム画像データの第１の画像評価値を低くして得られた値を前記第２の画像評価値とする評価モードを有する、動画像データ処理方法。
【請求項１５】
請求項１２ないし１４のいずれかに記載の動画像データ処理方法であって、
前記動画像評価部は、前記第１の画像評価値と、前記第１の画像評価値の時系列的な変化率に所定の正の係数を乗じた値と、の和を前記第２の画像評価値とする評価モードを有する、動画像データ処理方法。
【請求項１６】
請求項１５記載の動画像データ処理方法であって、
前記所定の係数は、１より小さい正の値である、動画像データ処理方法。
【請求項１７】
請求項１２ないし１６のいずれかに記載の動画像データ処理方法であって、
前記動画像データ抽出工程は、前記第２の画像評価値に基づいて、前記動画像データから前記第２の画像評価値が所定の閾値よりも大きい複数のフレーム画像データで構成された動画像データであって、さらに、再生時間が所定の時間よりも長いものだけを抽出する抽出モードを有する、動画像データ処理方法。
【請求項１８】
請求項１２ないし１７のいずれかに記載の動画像データ処理方法であって、さらに、
前記動画像データをシーン毎に分割するシーン分割工程を備え、
前記動画像データ抽出工程は、前記シーン毎に前記抽出を行う工程を含む、動画像データ処理方法。
【請求項１９】
請求項１８記載の動画像データ処理方法であって、
前記動画像データ抽出工程は、前記第１の画像評価値と前記第２の画像評価値の少なくとも一方の平均値を前記シーン毎に算出し、前記平均値に応じて前記シーン毎に前記所定の閾値を変化させる工程を含む、動画像データ処理方法。
【請求項２０】
動画像データから一部を抽出して時間的に短縮された動画像データであるダイジェスト画像データを生成するダイジェスト画像データ生成方法であって、
請求項１２ないし１９のいずれかに記載の動画像データ処理方法と、
前記抽出された動画像データが複数ある場合において、前記抽出された複数の動画像データを連結して前記ダイジェスト画像データを生成する動画像データ連結工程と、
を備えることを特徴とする、ダイジェスト画像データ生成方法。
【請求項２１】
請求項２０記載のダイジェスト画像データ生成方法であって、
前記動画像データ連結工程は、前記抽出された複数の動画像データを時系列順に連結する連結モードを有する、ダイジェスト画像データ生成方法。
【請求項２２】
請求項２０または２１に記載のダイジェスト画像データ生成方法であって、
前記動画像データ連結工程は、前記抽出された複数の動画像データの各々を構成する複数のフレーム画像データの前記第１の画像評価値と前記第２の画像評価値の少なくとも一方に応じて決定された順序で、前記抽出された複数の動画像データを連結する連結モードを有する、ダイジェスト画像データ生成方法。
【請求項２３】
動画像データを格納する記録媒体に印刷を行う印刷方法であって、
請求項１ないし１９のいずれかに記載の動画像データ処理方法と、
前記複数のフレーム画像データの少なくとも一部に応じて、前記記録媒体の表面に印刷を行う工程と、
を備えることを特徴とする、印刷方法。
【請求項２４】
動画像データと、前記動画像データの属性情報とを記録媒体に格納する方法であって、
前記動画像データを前記記録媒体に格納する工程と、
請求項１ないし１９のいずれかに記載の動画像データ処理方法と、
前記複数のフレーム画像データの少なくとも一部に応じて生成されたデータを含む属性情報を生成する工程と、
前記生成された属性情報を前記記録媒体に格納する工程と、
を備える、動画像データ格納方法。
【請求項２５】
動画像データから一部の動画像データを抽出する動画像データ処理装置であって、
前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価部と、
前記第１の画像評価値に応じて、所定の条件を満たす複数のフレーム画像データを含む動画像データを抽出する動画像データ抽出部と、
を備えることを特徴とする、動画像データ処理装置。
【請求項２６】
動画像データを格納する記録媒体に印刷を行う印刷装置であって、
前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価部と、
前記第１の画像評価値に応じて、所定の条件を満たすフレーム画像データを抽出する代表画像データ抽出部と、
前記フレーム画像データに応じて、前記記録媒体の表面に印刷を行う印刷部と、
を備えることを特徴とする、印刷装置。
【請求項２７】
動画像データから一部の動画像データを抽出するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価機能と、
前記第１の画像評価値に応じて、所定の条件を満たす複数のフレーム画像データを含む動画像データを抽出する動画像データ抽出機能と、
を前記コンピュータに実現させるプログラムを備えることを特徴とするコンピュータプログラム。
【請求項２８】
動画像データを格納する記録媒体に印刷を行うための処理をコンピュータに実行させるためのコンピュータプログラムであって、
前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価機能と、
前記第１の画像評価値に応じて、所定の条件を満たすフレーム画像データを抽出する代表画像データ抽出機能と、
前記フレーム画像データに応じて、前記記録媒体の表面に印刷を行う印刷部を制御する機能と、
を前記コンピュータに実現させるプログラムを備えることを特徴とするコンピュータプログラム。
【請求項２９】
コンピュータプログラム製品であって、
コンピュータ読み取り可能な媒体と、
前記コンピュータ読み取り可能な媒体上に格納された請求項２７または２８に記載のコンピュータプログラムと、
を備えることを特徴とする、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】  本発明は、動画像データからダイジェスト動画像データを自動的に生成する技術に関する。
【背景技術】  近年、ビデオカメラの普及に伴い、ビデオカメラを用いた撮影が一般的になりつつある。それと同時に、長時間多岐にわたって撮影された動画像データの内容を、短時間で簡単に把握したいという要望も高まっている。そこで、動画像データの要約情報としての要約動画像データ、いわゆるダイジェスト画像を生成する技術が提案されている。
例えば、特開２００２−１４２１８９号公報では、動画像データを複数のシーンに分割し、シーンごとの評価値を求め、評価値の高いシーンをつなぎあわせることで、要約動画像データを生成している。特許文献１では、評価値は、シーン内のフレーム画像の明るさ、フレーム画像内の物体の数や位置、音声などに基づいて算出されている。
図１は、特許文献１における要約動画像データの生成について示す説明図である。チャート２５の３段目には、要約動画像データの生成対象の動画像データを構成するフレーム画像を示した。フレーム画像の内容は簡単のために省略した。動画像データをシーンに分割した結果として、動画像データのシーンの切れ目に点線Ｌを示している。
図１のチャート２５の下には、シーンＳＡとシーンＳＢのフレーム画像のうち代表的なものをそれぞれ拡大して表示した、フレーム画像ａｌ，フレーム画像ａｍそしてフレーム画像ｂｎ，フレーム画像ｂｐが示されている。シーンＳＡは、山や空などの風景を撮影したシーンであり、シーンＳＢは船が横切っていく様子を撮影したシーンである。各シーンは、この様にある程度の時間、内容的に連続したフレーム画像で構成される。
チャート２５の２段目には、シーンごとの評価値を求めた結果、決定された評価が示されている。評価が○ならば、そのシーンは要約動画像データとして適切であることを示しており、×ならばそのシーンは要約動画像データとして不適切であることを示している。チャート２５の１段目には、評価が○のシーンをつなぎあわせてできた要約動画像データのフレーム画像が示されている。
しかし、このような従来の要約動画像データでは、シーン単位で評価値を求めているため、要約動画像に適したフレーム画像が漏れていたり、不適切なフレーム画像が含まれていたりすることがあった。
例えば、フレーム画像ａｍは、ビデオカメラの撮影者が建物１０を撮影しようと、ズームアップ操作を行なった結果撮影されたフレーム画像であり、撮影者にとっても重要度が高いフレーム画像であるが、要約動画像からは漏れてしまっている。一方、フレーム画像ｂｎは、船首のみが映った比較的重要度の低い画像であるが、要約動画像に含まれている。
【発明の開示】
本発明は、上記した問題点を解決するためになされたものであり、動画像データのフレーム画像データを有効に活用して要約動画像を生成管理する技術を提供することを目的とする。
上記課題を解決するために本発明は、動画像データから一部の動画像データを抽出する動画像データ処理方法を提供する。この方法は、前記動画像データに含まれる複数のフレーム画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成するフレーム画像評価工程と、前記第１の画像評価値に応じて、所定の条件を満たす複数のフレーム画像データを含む動画像データを抽出する動画像データ抽出工程と、を備えることを特徴とする。
本発明の動画像処理方法では、動画像データがフレーム画像データ毎に評価されるので、要約動画像として適切なフレーム画像データで構成された要約動画像データを生成することができる。
本発明の一態様としての動画像処理装置は、
時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した要約動画像データを生成する動画像処理装置であって、
前記動画像データを取得する取得部と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす評価値を算出する算出部と、
前記評価値及び前記評価値の変動の少なくとも一方が所定の条件を満たす前記フレーム画像データから、時系列的に連続したフレーム画像データの集合であるフレーム群を、少なくとも１以上抽出する抽出部と、
抽出された前記フレーム群の少なくとも一部を用いて前記要約動画像データを生成する生成部と
を備えることを特徴とする。
本発明の動画像処理装置によれば、動画像データをフレーム画像データ毎に評価して、要約動画像として適切なフレーム画像データで構成された要約動画像データを生成することができる。
評価値は、例えば、ビデオカメラのズーム操作やパン操作に基づいて算出しても良い。ズーム操作とは、ズームレンズを用いて被写体の像を拡大したり縮小したりすることである。パン操作とは、カメラの位置を固定したまま、カメラの向きを変えて広い範囲を撮影することである。また、評価値は、フレーム画像内での動体の位置，動体の大きさ，背景の動き，肌色の大きさなどに基づいて算出しても良い。更に、評価値は、フレーム画像内の物体の数，フレーム画像の輝度や色のヒストグラム，音声データなどに基づいて算出しても良い。
上記した動画像処理装置は、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割部を備え、
前記抽出部は、前記シーンの各々から少なくとも１以上の前記フレーム群を抽出するものであっても良い。
これによれば、すべてのシーンの少なくとも一部を要約動画像データに含むことができるので、要約動画像を見ることにより、すべてのシーンを把握することが容易になる。分割部は動画像データをシーン単位ではなく所定の間隔ごとに分割するものとし、抽出部は分割されたデータから少なくとも１以上の前記フレーム群を抽出するものとしても良い。所定の間隔は、例えば時間やデータ量に基づくものである。このようにして生成した要約動画像を見れば、ユーザは、所定間隔毎の動画像データの要否を判断することも可能である。よって、ユーザが編集作業に利用可能な要約動画像データを生成することができる。
更に、前記分割部は、前記評価値の不連続的な変化に基づいて、前記動画像データを分割するものとしても良い。
動画像においてシーンが変わる箇所では、各フレーム画像データの輝度や色のヒストグラム，音声データなどに関する評価値が不連続的に変化している場合が多い。よって、そのような評価値の不連続的な変化に基づくことにより、動画像データをシーンに分割することができる。別の方法としては、２つのフレーム画像における個々の画素値の差分に基づいて、動画像データをシーンに分割しても良い。差分が所定値以上となる箇所が、シーンが変わる箇所であると判断できる。
上記した動画像処理装置の前記所定の条件は、前記評価値が所定の閾値以上であることであっても良い。更に、前記評価値が所定の閾値以上である状態が、所定時間以上続くことを所定の条件に加えても良い。動画像データが分割されている場合は、分割された各々のデータに対して異なる閾値を用いても良い。
更に、前記要約動画像データの再生時間の希望値を入力する再生時間入力部と、
前記再生時間の希望値に応じて、前記閾値を調整する調整部と
を備えるものとしても良い。
これによれば、再生時間の希望値に応じた要約動画像データを生成することができる。生成した要約動画像データの再生時間が、希望値を含む所定範囲の時間から外れている場合、調整部に閾値を調整させ、再度要約動画像データを生成するものとしても良い。
上記した動画像処理装置の前記抽出部は、前記評価値の変化率が０以上のフレーム群を優先的に抽出するものであっても良い。
一般に、ズーム操作中及びその直後のフレーム群の方が、ズーム操作後のフレーム群に比べ、動画像としての重要度が高い場合が多い。ズーム操作に基づいて評価値を設定した場合は、ズーム操作中及びその直後のフレーム群における評価値の変化率が０以上となり、ズーム操作後のフレーム群における評価値の変化率は負となることが多い。ズーム操作の前後には、評価値が同じであっても変化率が正負異なるフレーム画像が存在する。両者を比較すると、たとえ同じ評価値であっても、結果的に評価値の変化率が０以上であるフレーム群の方が、評価値の変化率が負のフレーム群に比べ、動画像としての重要度が高い場合が多い。従って、このようにすれば、より要約動画像データとして適したフレーム群を抽出することができる。
上記した動画像処理装置の前記抽出部は、複数の前記フレーム群のうち、前記フレーム群間の時間間隔が所定値以下の２つのフレーム群については、前記２つのフレーム群及びその間の全フレーム画像データをまとめて１つのフレーム群として抽出するものとしても良い。
抽出したフレーム群とフレー厶群の時間間隔が狭いと、要約動画像を見た者が、不自然に要約動画像が途切れたような違和感を感じてしまう場合がある。本発明によれば、そのような違和感を与えることを防ぐことができる。
更に、前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定するシーン分割部を備え、
前記抽出部は、更に前記２つのフレーム群及びその間の全フレーム画像データが、同じシーン内にある場合に、１つのフレーム群として抽出するものであっても良い。
シーンの変わり目で要約動画像が途切れても、要約動画像を見た者が違和感を感じることは少ない。よって、シーンの変わり目では２つのフレーム群の間のフレーム画像データを抽出しないことにより、評価の低いフレーム画像データが要約動画像データに入ることを防ぐことができる。
上記した動画像処理装置の前記抽出部は、所定数以上のフレーム画像データからなる前記フレーム群を抽出するものであっても良い。
こうすることで、各フレーム群について、要約動画像を見た者がその内容を把握できる程度の長さを確保することができる。
上記したいずれかの動画像処理装置の前記算出部は、前記評価値の算出対象の前記フレーム画像データを含む２つの前記フレーム画像データを比較して求まる動きベクトルを用いて、前記評価値を算出するものであっても良い。
動きベクトルからはズームアップ操作などを検出することができ、撮影者が特に撮影しようとしたと思われるフレーム画像を特定することができる。そのようなフレーム画像を、動画像データにおける重要度が高いものと判断して、評価値を算出するものとしても良い。評価値の算出には必ずしも動きベクトルを用いる必要はなく、例えばズーム操作やカメラの姿勢などの撮影情報を撮影時に記録しておき、この撮影情報を用いて評価値を算出するようにしても良い。
本発明の他の一態様としての動画像処理装置は、動画像データから一部の動画像データを抽出する動画像データ処理装置であって、
前記動画像データに含まれる複数の静止画像データの各々を所定の条件に基づいて評価し、前記評価に応じて第１の画像評価値を生成する静止画像評価部と、
前記複数の静止画像データの各々の前記第１の画像評価値と前記第１の画像評価値の時系列的な変化率とに応じて、前記複数の静止画像データの各々の第２の画像評価値を生成する動画像評価部と、
前記第２の画像評価値に基づいて、前記動画像データから前記第２の画像評価値が所定の閾値よりも大きい複数の静止画像データで構成された動画像データを抽出する動画像データ抽出部と、
を備えることを特徴とする。
本発明の動画像データ処理装置によれば、各フレーム画像の重要性を評価する第１の画像評価値だけでなく第１の画像評価値の変化率をも考慮して動画像データが抽出されるので、よりユーザに望まれる動画像データを自動的に抽出することができる。
上記動画像データ処理装置において、
前記動画像評価部は、前記第１の画像評価値の時系列的な変化率が正である複数の静止画像データの第１の画像評価値を高くして得られた値を前記第２の画像評価値とする評価モードを有するようにしても良いし、あるいは、
前記動画像評価部は、前記第１の画像評価値の時系列的な変化率が負である複数の静止画像データの第１の画像評価値を低くして得られた値を前記第２の画像評価値とする評価モードを有するようにしても良い。
こうすれば、ピーク時のフレーム画像であるピーク画像よりも時系列的に前側の動画像データが重点的に抽出されるので、ユーザが望むダイジェスト画像データを生成することができることになる。ピーク画像よりも時系列的に前側の動画像データを重点的に抽出するのは、ピーク画像に向かっている動画がピーク画像に至るまでの心の準備期間の動画像として重要である一方、ピーク画像を過ぎた後の画像が静止画像単体としては重要性が高くてもユーザの関心が低いことが多いからである。
なお、第１の画像評価値を高くする方法としては、たとえば所定の正の値を加算する方法や１より大きい値の係数を乗ずる方法がある。一方、第１の画像評価値を高くする方法としては、たとえば所定の正の値を減算する方法や１未満の係数を乗ずる方法がある。さらに、一律にゼロとして低くする方法もある。
上記動画像データ処理装置において、前記動画像評価部は、前記第１の画像評価値と、前記第１の画像評価値の時系列的な変化率に所定の正の係数を乗じた値と、の和を前記第２の画像評価値とする評価モードを有するようにしても良い。
こうすれば、所定の係数を操作することによってピーク画像よりも時系列的に前側の動画像データをどの程度重点的に抽出するかを定量的に調整することができる。この調整は、たとえばユーザが意図する被写体に応じて設定することができる。具体的には、ユーザの意図する被写体が動的要素が大きい人物なのか、あるいは動的要素が小さい風景なのかで適切な調整量が異なってくる。
上記動画像データ処理装置において、前記所定の係数は、１より小さい正の値であるように設定することが好ましい。所定の係数は、一般に、０から１の間で設定することが好ましいことが発明者の実験によって見いだされたからである。
上記動画像データ処理装置において、前記動画像データ抽出部は、前記第２の画像評価値に基づいて、前記動画像データから前記第２の画像評価値が所定の閾値よりも大きい複数の静止画像データで構成された動画像データであって、さらに、再生時間が所定の時間よりも長いものだけを抽出する抽出モードを有するようにしても良い。こうすれば、ユーザが望まないような極端に短い動画像データの抽出を排除することができる。
上記動画像データ処理装置において、前記動画像データをシーン毎に分割するシーン分割部を備え、
前記動画像データ抽出部は、前記シーン毎に前記抽出を行うようにしても良い。
上記動画像データ処理装置において、前記動画像データ抽出部は、前記第１の画像評価値と前記第２の画像評価値の少なくとも一方の平均値を前記シーン毎に算出し、前記平均値に応じて前記シーン毎に前記所定の閾値を変化させるようにしても良い。
本発明のダイジェスト画像データ生成装置は、
上記のいずれかに記載の動画像データ処理装置と、
前記抽出された動画像データが複数ある場合において、前記抽出された複数の動画像データを連結して前記ダイジェスト画像データを生成する動画像データ連結部と、
を備えることを特徴とする。
本発明のダイジェスト画像データ生成装置によれば、第１の画像評価値の変化率をも考慮して抽出された動画像データを連結してダイジェスト画像データを自動的に生成することができる。
上記ダイジェスト画像データ生成装置において、
前記動画像データ連結部は、前記抽出された複数の動画像データを時系列順に連結する連結モードを有するようにしても良いし、あるいは、
前記動画像データ連結部は、前記動画像データ連結部は、前記抽出された複数の動画像データの各々を構成する複数の静止画像データの前記第１の画像評価値と前記第２の画像評価値の少なくとも一方に応じて決定された順序で、前記抽出された複数の動画像データを連結する連結モードを有するようにしても良い。
なお、本発明は、ダイジェスト画像データ出力装置、動画像データの属性情報生成装置、動画像データの属性情報格納装置、ダイジェスト画像データ生成の方法または装置の機能をコンピュータに実現させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の形態で実現することができる。
【図面の簡単な説明】  図１は、従来技術における要約動画像データの生成について示す説明図である。
図２は、本発明の第１実施例における動画像処理装置の概略構成を示す説明図である。
図３は、本発明の第１実施例におけるフレーム画像の評価値について説明するための説明図である。
図４は、本発明の第１実施例におけるズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図である。
図５は、本発明の第１実施例における動体ｍｖを示す説明図である。
図６は、本発明の第１実施例における図３（ｂ）〜（ｇ）の各評価値が合計されて求まる評価値「合計」を示す説明図である。
図７は、本発明の第１実施例における動画像処理装置１００における要約動画像データ生成処理を示す説明図である。
図８は、本発明の第１実施例における各フレーム画像の動き検出処理を示すフローチャートである。
図９は、本発明の第１実施例におけるフレーム群の抽出処理を示すフローチャートである。
図１０は、本発明の第１実施例におけるフレーム群の選別処理を示すフローチャートである。
図１１は、本発明の第２実施例における画像処理システム１００を示す説明図である。
図１２は、ディスプレイ１８ａに表示される画像ファイル生成処理における操作表示画面２００を示す説明図である。
図１３は、本発明の第２実施例における静止画像データ生成処理の内容を示すフローチャートである。
図１４は、本発明の第２実施例で使用される動画像データの構成の一例を示す説明図である。
図１５は、本実施例の第２実施例におけるシーン分割処理の結果を示す表である。
図１６は、本発明の第２実施例における評価値計算処理の内容を示すフローチャートである。
図１７は、本発明の第２実施例における動画像データ抽出処理の内容を示す説明図である。
図１８は、本発明の第３実施例における動画像データ抽出処理の内容を示す説明図である。
図１９は、本発明の第４実施例における画像管理システム１００ａを示す説明図である。
図２０は、本発明の第４実施例の画像管理におけるデータベースの内容を示す説明図である。
図２１は、本発明の第４実施例において記録媒体に格納されたデータファイルＧＦの内容を示す説明図である。
図２２は、記録媒体に印刷されたインデックス画像を示す説明図である。
図２３は、本発明の第４実施例における画像データ自動管理処理の内容を示す説明図である。
【発明を実施するための最良の形態】  次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ１．動画像処理装置の構成：
Ａ２．評価値の算出及びフレーム群の抽出：
Ａ３．第１実施例における処理：
Ａ４．第１実施例の効果：
Ａ５．第１実施例の変形例：
Ｂ．本発明の第２実施例における画像処理システムの構成：
Ｃ．本発明の第２実施例におけるダイジェスト画像データ生成処理：
Ｄ．本発明の第３実施例におけるダイジェスト画像データ生成処理：
Ｅ．本発明の第４実施例におけるダイジェスト画像データの管理：
Ｆ．変形例：
Ａ．第１実施例：
Ａ１．動画像処理装置の構成：
図２は、実施例としての動画像処理装置の概略構成を示す説明図である。左側に動画像処理装置１００を、右側に動画像処理装置１００の機能ブロックを示した。動画像処理装置１００は、複数のフレーム画像データで構成された動画像データから、その要約情報である要約動画像データを生成するための装置である。本実施例においては、フレーム画像データが表わす画像をフレーム画像と呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。
動画像処理装置１００は、汎用のパーソナルコンピュータであり、動画像処理装置１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０を備えている。また、動画像処理装置１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
動画像処理装置１００は、所定のオペレーティングシステムの下で動くアプリケーションプログラムにより、図２の右側に図示した、要約動画像生成制御部１０２、データ取得部１０４、シーン分割部１０６、動き検出部１０７、評価値算出部１０８、抽出部１０９、要約動画像生成部１１０という機能を実現する。これらの機能はハードウェア的に備えていても良い。
以下、各機能について説明する。データ取得部１０４は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスク（図示せず）などから動画像データを読み込み、ＲＡＭ上に動画像データベース１０１を構築する。また、データ取得部１０４は、キーボード１２０やマウス１３０を用いてユーザが入力した要約動画像の再生時間の希望値も取得し、メモリに記憶させる。
シーン分割部１０６は、動画像のシーンの変わり目を検出し、動画像データをシーンに分割する。動き検出部１０７は、フレーム画像データ間の比較により動きベクトルを求めたり、動きベクトルに基づき動体ブロックを検出したりする。
評価値算出部１０８は、動きベクトルや動体ブロックなどに基づき、フレーム画像データの後述する評価値を算出する。抽出部１０９は、評価値に基づいて、時系列的に連続したフレーム画像データの集合（以下、フレーム群と呼ぶ）を抽出する。抽出部１０９は、各シーンから１つのフレーム群を抽出する。要約動画像生成部１１０は、抽出されたフレーム群をつなぎあわせて要約動画像データを生成し、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスクに出力する。要約動画像生成制御部１０２は、以上の各部の要約動画像生成動作を全体的に制御する。
この他にも、要約動画像データにより要約動画像をディスプレイ１５０に表示させる表示部を備えていても良い。
Ａ２．評価値の算出及びフレーム群の抽出：
評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれフレーム画像データを評価し、評価値を算出する。
図３は、フレーム画像データの評価値について説明するための説明図である。図３（ａ）は、動画像の５枚のフレーム画像を抜き出して例示した図である。フレーム画像は、左側から時系列的に図示されている。図３（ａ）で示されたフレーム画像は連続しておらず、左側からｎ枚目（ｎ＝１〜４）のフレーム画像とｎ＋１枚目のフレーム画像の間には、動画像において数枚のフレーム画像が存在するが、ここでは図示を省略した。図３（ｂ）〜（ｇ）は、各項目について、フレーム画像データの評価値の時刻変化を示すグラフである。グラフの時刻は、動画像を再生した場合の、再生開始からの経過時間に対応している。グラフは、動画像を再生した場合に、各経過時間において表示されるフレーム画像データの評価値を線で結ぶことにより示した。また、図３（ａ）の各フレーム画像データの評価値が、そのフレーム画像の中央の下の位置付近に表われるようグラフを示した。
図３（ｂ）は、評価値「ズーム」のグラフである。「ズーム」はズーム操作に関する評価値である。ズーム操作とは、被写体を拡大，縮小するカメラ操作である。評価値算出部１０８は、ズーム操作関数，ズーム終了関数という２種類の関数を用いて、評価値「ズーム」を算出する。ズーム操作関数は、ズーム操作が開始されてからの経過時間が大きいほど大きな「ズーム」を出力する、傾きが正の一次関数である。ズーム終了関数は、ズーム操作が開始されてからの経過時間が大きいほど小さな「ズーム」を出力する、傾きが負の一次関数である。
評価値算出部１０８は、ズーム操作が開始された時からズーム操作が終了して３０フレーム経過するまでズーム操作関数を使用し、ズーム操作が終了して３０フレーム経過した時からズーム終了関数を使用する。ズーム終了関数は傾きのみが予め決められている。切片は、ズーム操作関数により求められた最後の「ズーム」に、ズーム終了関数で求められる最初の「ズーム」が一致するよう評価値算出部１０８が求める。評価値算出部１０８は、０以下の値が出力されるまでズーム終了関数を使用する。「ズーム」が０以下の値となった場合は、値０に修正する。評価値算出部１０８は、ズーム操作が開始されてから０以下の「ズーム」が出力されるまでの時間に当てはまらないフレーム画像データの「ズーム」は値０とする。
ズーム操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、ズーム関数を以上のように設定した。ズーム操作が開始された時やズーム操作が終了した時の検出方法については後述する。
ズーム操作において、被写体の像を拡大する操作をズームインと言い、被写体の像を縮小する操作をズームアウトと言う。ズームイン，ズームアウト両方にズーム操作関数，ズーム終了関数は使用される。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像からズームインが開始され、左側から二枚目のフレーム画像においてズームインが終了している。したがって、図３（ｂ）の評価値「ズーム」は、グラフで示すように変動する。
図３（ｃ）は、評価値「パン」のグラフである。「パン」はパン操作に関する評価値である。パン操作とは、カメラの位置を固定したままカメラの向きを変えて広い範囲を撮影する操作である。評価値算出部１０８は、２つのパン関数という関数により評価値「パン」を算出する。２つのパン関数は、パン操作が開始，終了されたフレーム画像データを検出して使用する、先述した２つのズーム関数と同じ構造の関数である。更に、２つのパン関数を使用する時間の条件も２つのズーム関数と同じである。評価値算出部１０８は、パン関数を使用する時間以外の「パン」は値０と算出する。パン操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、パン関数を以上のように設定した。パン操作開始やパン操作終了の検出方法については後述する。図３（ａ）のフレーム画像では、パン操作は行なわれていないので、図３（ｃ）の評価値は、グラフで示すように値０のままである。
図３（ｄ）は、評価値「静止」のグラフである。「静止」は背景の動きに関する評価値である。評価値算出部１０８は、静止関数という関数により評価値「静止」を算出する。静止関数は、背景の動きの大きさ（以下、動きの大きさを単に速さと呼ぶ）が入力されると「静止」を出力する関数である。静止関数は、速さが０に近いほど大きな値を出力する。また、速さが所定値以上になると値０を出力する。背景が静止している場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、静止関数を以上のように設定した。背景の速さの算出方法については、後述する。図３（ａ）のフレーム画像は、左側から二枚目のフレーム画像に至るまでに背景の動きが次第に小さくなり、二枚目のフレーム画像から背景が静止している。したがって、図３（ｄ）の評価値は、グラフで示すように変動する。
図３（ｅ）は、評価値「動体位置」のグラフである。「動体位置」は動体（被写体）の位置に関する評価値である。なお、以下でいう動体は、フレーム画像内で最も大きい動体のことをさしているものとする。評価値算出部１０８は、動体位置関数という関数により評価値「動体位置」を算出する。動体位置関数は、動体のフレーム画像内における位置が入力されると評価値「動体位置」を出力する関数である。動体位置関数は、動体の位置として、フレーム画像の中央に近い値が入力されるほど、大きな値を出力する。また、動体の位置として、フレーム画像の中央を含む所定範囲外の値を入力された場合は、値０を出力する。動体が中央にある場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、動体位置関数を以上のように設定した。動体の位置の算出方法については、後述する。図３（ａ）のフレーム画像では、左側から三枚目のフレーム画像から、次第に動体（人物）がフレーム画像の中央に移動し、四枚目のフレーム画像では動体（人物）はフレーム画像のほぼ中央に位置している。そして、四枚目のフレーム画像から、次第に動体（人物）が中央から左方向に移動している。したがって、図３（ｅ）の評価値は、グラフで示すように変動する。
図３（ｆ）は、評価値「動体大きさ」のグラフである。「動体大きさ」はフレーム画像内の動体の大きさに関する評価値である。評価値算出部１０８は、動体大きさ関数という関数により評価値「動体大きさ」を算出する。動体大きさ関数は、フレーム画像内の動体の大きさが入力されると評価値「動体大きさ」を出力する関数である。動体大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は、値０を出力する。動体が大きく撮影されたフレーム画像は、撮影者が特に撮影しようとしたフレーム画像であると考え、動体大きさ関数を以上のように設定した。動体の大きさの算出方法については、後述する。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に動体が大きくなり、二枚目のフレーム画像から動体は一定の大きさを保っているので、図３（ｆ）の評価値は、グラフで示すように変動する。
図３（ｇ）は、評価値「肌色大きさ」のグラフである。「肌色大きさ」はフレーム画像内の肌色の大きさに関する評価値である。評価値算出部１０８は、肌色大きさ関数という関数により評価値「肌色大きさ」を算出する。肌色大きさ関数は、フレーム画像内の肌色の大きさが入力されると評価値「肌色大きさ」を出力する関数である。肌色大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は値０を出力する。肌色が大きく撮影されたフレーム画像は人物がアップで撮影されたフレーム画像であり、撮影者が特に撮影しようとしたフレーム画像であると考え、そのように設定した。肌色の大きさの算出方法については、後述する。図３（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に肌色が大きくなり、二枚目のフレーム画像から肌色は一定の大きさを保っているので、図３（ｇ）の評価値は、グラフで示すように変動する。
以上の、評価値を算出するために用いている関数は、様々に設定可能である。例えば、評価値「静止」を算出するための静止関数は、背景の速さが０になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。動体位置に関しても、動体の位置が中央になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。また、以上の評価値以外に、評価値算出部１０８は並進及び動体の動きの速度に関する評価値を算出しても良い。並進とは、マラソン中継のように、動体はフレーム画像の中央に存在し、背景が動いていることである。動体の動きの速度とは、動体の背景に対する相対速度である。動体の動きの速度が所定値以上となった場合は、動体の動きの速度に関する評価値を値０にする。
次に、ズーム操作の開始や終了，パン操作の開始や終了の検出方法について説明する。ズーム操作の開始や終了，パン操作の開始や終了は、動きベクトルに基づいて検出する。動きベクトルとは、フレーム画像を複数に分割してできる各ブロックの絵柄が、１のフレーム画像から他のフレーム画像までの間でどれだけどのように移動しているかを示すベクトルである。ブロックの絵柄が大きく移動しているほど、つまりそのブロックの動きベクトルが大きいほど、そのブロックの絵柄が表わす動体は、速く移動していることになる。動きベクトルの算出方法については、後述し、以下では、動きベクトルが既に算出されているものとして説明する。
図４は、ズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図である。動画像データにおいて、各ブロックの動きベクトルｍが、図４（ａ）のように、フレーム画像の外側から中央に向かい始めた場合、評価値算出部１０８は、そこでズームインを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図４（ａ）のように、フレーム画像の外側から中央に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。
各ブロックの動きベクトルｍが、図４（ｂ）のように、フレーム画像の中央から外側に向かい始めた場合、評価値算出部１０８は、そこでズームアウトを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図４（ｂ）のように、フレーム画像の中央から外側に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。
なお、動画像データの中に、メタデータとして、ビデオカメラのズームボタンが押されているか否かを示すズームボタン操作情報が付いている場合がある。ズーム操作が開始されたフレーム画像データやズーム操作が終了したフレーム画像データは、そのようなズームボタン操作情報に基づいて検出しても良い。
一方、パン操作が開始されたフレーム画像やパン操作を終了したフレーム画像は、フレーム画像全体のズレＳに基づいて検出する。ズレＳとは、１のフレーム画像から他のフレーム画像までの間でフレーム画像全体がどれだけどの方向に移動しているかを示すベクトルである。ビデオカメラの向きを変える速度が大きいほど、ズレＳの大きさは大きくなる。図４（ｃ）のように、時系列的に連続する所定数以上のフレーム画像において、ズレＳの方向が同じ向きになった場合、パン操作が開始されているものと判断する。そして、ズレＳが同じ向きのフレーム画像データのうち、最初のフレーム画像データを、パン操作が開始されたフレーム画像データであると検出する。そして、ズレＳが同じ向きのフレーム画像データのうち、最後のフレーム画像データを、パン操作が終了したフレーム画像であると検出する。
次に、各フレーム画像の背景の速さや動体の位置，動体の大きさの算出方法について説明する。これらの値は、動きベクトルの大きさが所定値を超えているブロックの集合である動体ブロックに基づいて算出する。動体ブロックが表わす絵柄は、動体であると推定できる。フレーム画像内に複数の動体が存在する場合は、動きベクトルの大きさが所定値を超えているブロックをクラスタリングして複数の動体ブロックを求める。図５は、動体ｍｖを示す説明図である。
評価値算出部１０８は、動体ブロック以外のブロック（以下、背景ブロックとよぶ）の動きベクトルの大きさにより、背景の速さを算出する。各背景ブロックの動きベクトルの大きさの合計値を背景の速さとしても良いし、各背景ブロックの動きベクトルの大きさの平均値を背景の速さとしても良い。ここでは、平均値を背景の速さとしている。
評価値算出部１０８は、動体位置として動体ブロックの重心を算出する。また、評価値算出部１０８は、動体ブロックの大きさを動体大きさとして算出する。なお、動体大きさは、動体ブロックが複数の場合には、全動体ブロックの大きさであるものとしても良い。
次に、肌色大きさの検出方法について説明する。肌色の領域は、以下の式で、０．１＜Ｈ＜０．９かつＧ＞Ｂを満たすＲＧＢ値を有する画素の集合として求めることができる。
Ｈ（色相）＝１．７３２（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）  ・・・（１）
Ｓ（彩度）＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／３  ・・・（２）
Ｖ（明度）＝Ｒ＋Ｇ＋Ｂ  ・・・（３）
評価値算出部１０８は、フレーム画像における肌色の画素の数を肌色大きさとして算出する。なお、肌色大きさは、動体ブロックにおける肌色の画素の数としても良い。
次に、以上のようにして求めた評価値をもとに、フレーム群を抽出する方法について説明する。評価値算出部１０８は、以上のように求めた各項目の評価値を、フレーム画像データごとに足し合わせる。
図６は、図３（ｂ）〜（ｇ）の各評価値が合計されて求まる評価値「合計」を示す説明図である。ただし、図３（ｂ）〜（ｇ）より横軸を延長して示した。抽出部１０９は、図６の評価値「合計」が閾値以上のフレーム群を抽出する。例えば、図６のグラフ中の閾値ｂを用いる場合は、時刻の範囲Ａに相当するフレーム群（以下、フレーム群Ａとよぶ）と、時刻の範囲Ｃに相当するフレーム群（以下、フレーム群Ｃとよぶ）と時刻の範囲Ｄに相当するフレーム群（以下、フレーム群Ｄとよぶ）が抽出される。
本実施例では、ユーザが認識できる程度に１つの場面が再生される要約動画像データを生成するため、フレーム群は所定数より大きい数のフレームで構成されるという条件をつける。その場合、フレーム群Ｄのように、フレーム数が少なく再生される時間が短いフレーム群は抽出されない。
本実施例では、抽出部１０９は、分割されたシーンの中から１のフレーム群だけを抽出する。よって、ＣＡＳＥ  Ａのように、１つのシーン中２つのフレーム群Ａ，Ｃが抽出候補となる際には、フレーム群におけるフレーム画像データの評価値の合計が大きいほうを抽出する。ここでは、（フレーム群Ａの評価値の合計）＞（フレーム群Ｃの評価値の合計）であるから、抽出部１０９はフレーム群Ａを抽出する。また、フレーム群における評価値の最大値が大きい方を抽出するものとしても良い。ここでは、（フレーム群Ａの評価値の最大値）＞（フレーム群Ｃの評価値の最大値）であるから、フレーム群Ａを抽出する。
閾値ｃを用いる場合は、ＣＡＳＥ  ＡでもＣＡＳＥ  Ｂでも１シーンの中から全くフレーム群が抽出されない。１シーンから、最低でも１つのフレーム群を抽出する場合は閾値を調整し（図６の例では、閾値ｃ→閾値ａ又はｂ）、最低でも１つのフレーム群は抽出されるようにする。
再び、閾値ｂを用いる場合について説明する。本実施例では、抽出されたフレーム群Ａとフレーム群Ｃの間隔（時刻の範囲Ｂ）が狭い場合は、時刻の範囲Ｂに相当するフレーム群（以下、フレーム群Ｂとよぶ）もフレーム群Ａとフレーム群Ｃとあわせて抽出する（図６のＣＡＳＥ２）。要約動画像が細切れになることを防ぐためである。本実施例では、フレーム数が所定値Ｔｈ（＝１５０）より小さい場合、時刻の範囲が狭いと判断する。フレーム群Ｂのフレーム数が所定値Ｔｈ以上である場合は、フレーム群Ｂは抽出しない（図６のＣＡＳＥ１）。また、ＣＡＳＥ  Ｂのように、あわせて抽出するフレーム群（フレーム群Ａ，Ｂ，Ｃの集合）が１シーン内に収まらない場合は、時刻の範囲Ｂが狭くても、フレーム群Ｂは抽出しない。シーンが切れるのでフレーム画像を続けて再生する必要がないからである。
本実施例では、要約動画像の再生時間の希望値に応じて、抽出するフレーム画像の総数（以下、総フレーム数とよぶ）を限定する。抽出部１０９は、抽出した総フレーム数が、所定範囲内にない場合は、閾値を調整して、再度フレーム群の抽出を行なう。例えば、閾値ｂを用いてフレーム群を抽出して、総フレーム数が所定範囲内にならない場合、閾値を閾値ａに変更して、再度フレーム群を抽出する。
また、抽出部１０９は、時刻の範囲Ａ１，時刻の範囲Ｃ１のように、評価値が上昇又は一定値を保持している範囲のフレーム群を抽出するものとしても良い。
更に、図６の評価値は、図３（ｂ）〜（ｇ）の各評価値を単純に足し合わせて求められたものであるが、評価値算出部１０８は、図３（ｂ）〜（ｇ）の各評価値にそれぞれ重み付けをして足し合わせて、抽出部１０９の抽出基準となる評価値を算出しても良い。
Ａ３．第１実施例の処理：
次に、動画像処理装置１００における処理について説明する。図７は、動画像処理装置１００における要約動画像データ生成処理を示す説明図である。まず、動画像処理装置１００は、ユーザの入力により、動画像データや、要約動画像の再生時間の希望値を取得する（ステップＳ１００）。そして、取得した動画像データをシーン分割する（ステップＳ２００）。シーン分割は、色や輝度のヒストグラム、音声データなどの動画像データの特徴量を用いて、各フレーム画像データを比較するという既知の技術により行なう。再生時間の希望値からは、その希望値に応じた総フレーム数の希望範囲を算出しておく。再生時間が希望値となる数のフレーム画像データをきっちり抽出することは困難なので、若干の余裕をもたせるために、希望範囲を算出する。
次に、各フレーム画像の動きを検出する（ステップＳ３００）。図８は、各フレーム画像の動き検出処理を示すフローチャートである。本処理において、まず、動画像処理装置１００は、動画像における複数のフレーム画像の中から、動きを検出する対象としての基準フレーム画像ｎを１つ選択し、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）とのフレーム画像全体のズレＳを検出する（ステップＳ３０１）。ズレＳは、例えば、勾配法やパターンマッチング法などの既知の技術を用いることで検出することができる。
ここで検出するズレＳが、先述した、パンを検出するためのズレＳに相当する。
図中には、背景として山が、動体としてボールがフレーム画像（ｎ−１）と基準フレーム画像ｎに撮像されている例を示している。フレーム画像（ｎ−１）と基準フレーム画像ｎとを比較すると、山はフレーム画像の右下に移動しており、ボールはフレーム画像の右方向に移動している。また、ボールの移動量は山の移動量よりも相対的に大きく、フレーム画像内に占める山の面積はボールの面積よりも大きい。ということがわかる。このようなフレーム画像に対して上述した勾配法やパターンマッチング法を適用すると、フレーム画像全体に占める面積の小さいボールのズレよりも、フレーム画像全体に占める面積の割合の大きい山のズレが優先して検出されることとなる。つまり、フレーム画像全体のズレは、山のズレとほぼ一致することとなる。
なお、２つのフレーム間には、上下左右方向の並進ズレと回転方向の回転ズレとが生じうるが、ここでは説明の簡単のため、回転ズレは生じないものとして説明する。
フレーム画像全体のズレＳを検出した後、動画像処理装置１００は、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）をそれぞれ複数のブロックに分割する（ステップＳ３０２）。図には、それぞれのフレーム画像を横方向に４分割、縦方向に３分割する例を示している。
フレーム画像の分割後、動画像処理装置１００は、基準フレーム画像ｎの各ブロックに対応するフレーム画像（ｎ−１）の各ブロックのズレＳｂを検出し（ステップＳ３０３）、各ブロックのズレＳｂと全体のズレＳとの差分をとることで、各ブロックの動きベクトルｍを算出する（ステップＳ３０４）。ここで算出する動きベクトルｍが、先述した、ズームインやズームアウトを検出するための動きベクトルｍに相当する。図示した例では、ボールが撮像された右上のブロック以外のブロックのズレＳｂは、ステップＳ３０１で検出したフレーム画像全体のズレＳとほぼ等しいためキャンセルされて動きベクトルｍはゼロとなり、右上のブロックの動きベクトルｍのみが検出される。
次に動画像処理装置１００は、動きベクトルｍが所定の閾値を超えるか否かを判断し、所定の閾値を超える動きベクトルｍとなったブロックを動体として検出する（ステップＳ３０５）。ここで検出する動体のブロックが、先述した、静止や動体位置や動体大きさを検出するための動体ブロックに相当する。閾値を設けるものとしたのはブロック間の軽微なズレ（例えば、微小な回転ズレ）を排除するためである。閾値としては、例えば、３０ピクセルなどとすることができる。図示した例では、基準フレーム画像ｎ内の右上のブロックが動体ブロックであるものとして特定される。
以上のステップＳ３０１〜ステップＳ３０５の処理を、動画像データにおける最初のフレーム画像データ以外のすべてのフレーム画像データについて行なう。
再度、図７に戻り説明する。動画像処理装置１００は、次に、ステップＳ３００で検出したズレＳや動きベクトルｍや動体ブロックに基づいて、各フレーム画像データの評価値を算出する（ステップＳ４００）。算出方法は先の項目Ａ２で述べた通りであり、評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれ評価値を算出する。そして、それらを足し合わせ、合計の評価値を求める。
そして、求めた合計の評価値をもとに、要約動画像データに使用するフレーム群を抽出する（ステップＳ５００）。図９は、フレーム群の抽出処理を示すフローチャートである。動画像処理装置１００は、最初のシーンにおける各フレーム画像データの評価値を検索して、要約動画像データに含める候補となるフレーム群をすべて抽出する（ステップＳ５０１）。具体的には、すべてのフレーム画像データの評価値が閾値以上であるフレーム群を抽出する。
次に、抽出したフレーム群の選別を行なう（ステップＳ５０２）。図１０は、フレーム群の選別処理を示すフローチャートである。フレーム群の選別処理では、ステップＳ５０１で抽出したフレーム群が２以上である場合は（ステップＳ５０３：ＹＥＳ）、任意の２つのフレーム群の間隔をチェックする（ステップＳ５０４）。ここでいう間隔とは、２つのフレーム群の間に存在するフレーム画像データの数であり、図６の例では時刻の範囲Ｂに相当する。
間隔が所定値より小さい場合は（ステップＳ５０５：ＮＯ）、フレーム群を再抽出する（ステップＳ５０６）。再抽出では、間隔が所定値より小さい２つのフレーム群と、それらの間に存在するフレーム画像データとをまとめて１つのフレーム群として、抽出する。図６の例では、フレーム群Ｂのフレーム数が所定値Ｔｈより小さい場合は（図６のＣＡＳＥ２）、時刻の範囲Ｂに相当するフレーム群もフレーム群Ａとフレーム群Ｃとあわせて抽出することに相当する。ステップＳ５０１で抽出したフレーム群の間隔すべてを調べたら次のステップに進む。なお、ステップＳ５０１で抽出したフレーム群が１以下である場合は（ステップＳ５０３：ＮＯ）、ステップＳ５０４〜ステップＳ５０６の処理は省略する。
次に、動画像処理装置１００は、抽出したフレーム群のフレーム画像数が所定値より大きいか否かを判別する（ステップＳ５０７）。フレーム画像データ数が所定値以下である場合は（ステップＳ５０７：ＮＯ）、そのフレーム群を要約動画像データの候補から除外する（ステップＳ５０８）。図６の例では、フレーム群Ｄに相当する。フレーム群のフレーム画像データ数が所定値より大きい場合は（ステップＳ５０８：ＹＥＳ）、フレーム群を候補に加えたまま、次のステップに進む。
再度図９に戻り説明する。次に、動画像処理装置１００は、シーン中で、候補に残ったフレーム群が１つ以上あるか否かを検討する（ステップＳ５１２）。
シーン中にフレーム群が１つもなければ（ステップＳ５１２：ＮＯ）、閾値を調整し（ステップＳ５１４）、再度シーンの最初に戻る（ステップＳ５１５）。そして、ステップＳ５０１以降の処理を繰り返す。閾値の調整とは、例えば、図６で閾値ｂから閾値ａに閾値を変更することに相当する。閾値は、一定の幅で増減させて調整する。
シーン中に、候補に残ったフレーム群が１つ以上ある場合は（ステップＳ５１２：ＹＥＳ）、フレーム群を構成する各フレーム画像データの評価値の合計が最大となるフレーム群を選択し、抽出する（ステップＳ５１６）。評価値の合計が最大のフレーム群が、そのシーンを最も適切に表わすフレーム群であると推測できるからである。候補に残ったフレーム群が１つの場合は、ステップＳ５１６の処理を省略する。なお、ステップＳ５１６の処理は省略し、１つのシーンから２つ以上のフレーム群を抽出しても良い。
そして、動画像データの最後まで処理が完了していなければ（ステップＳ５０９：ＮＯ）、次のシーンに移り（ステップＳ５１０）、そのシーンについてステップＳ５０１以降の処理を繰り返す。
動画像データの最後のまで処理が完了した場合は（ステップＳ５１７：ＹＥＳ）、総フレーム数が希望範囲内であるか否かを検討する（ステップＳ５１９）。希望範囲内でなければ（ステップＳ５１９：ＮＯ）、閾値を調整する（ステップＳ５２０）。ここでの閾値の調整は、ステップＳ５１４での閾値の調整同様、図６で閾値ｂから閾値ａに閾値を変更することに相当する。ただし、ステップＳ５１４では、そのシーンで使用する閾値を調整していたが、ここでは動画像データ全体で使用する閾値を調整する。閾値は、一定の幅で増減させて調整しても良いし、所定の関数（例えば、不足分フレーム画像数や過剰フレーム画像数を変数とする関数）に基づいて調整しても良い。また、シーン別に異なる閾値となるよう閾値を調整しても良い。そして、動画像データの最初に戻り（ステップＳ５２２）、これまでの候補をクリアして、最初のシーンにおけるフレーム群の抽出から再び始める。
総フレーム数が希望範囲内であった場合は（ステップＳ５１９）、これまで候補として抽出してきたフレーム群を、要約動画像データに使用するフレーム群であると確定し、次の処理に進む。
再度図７に戻り説明する。フレーム画像データを抽出したら、次に要約動画像データを生成する（ステップＳ６００）。要約動画像データは、抽出したフレーム群をつなぎあわせることにより生成する。そして、生成した要約動画像データを出力する（ステップＳ７００）。出力先は、デジタルビデオカメラ３０やＣＤ−Ｒ／ＲＷドライブ１４０である。ユーザは、出力された要約動画像データをデジタルビデオカメラ３０などで再生することで、要約動画像を見ることができる。
Ａ４．第１実施例の効果：
以上の実施例の動画像処理装置１００によれば、動画像データをフレーム画像データ毎に評価して、要約動画像として適切なフレーム画像データで構成された要約動画像データを生成することができる。１つのシーン内で必ず１つのフレーム群を要約動画像データに含めているので、要約動画像で再生されないシーンは存在しない。つまり、ユーザは要約動画像を再生すれば、すべてのシーンを見ることができ、動画像全体を把握することが容易となる。しかも、要約動画像データに含められるフレーム群は、シーン中最適と思われるものを選択しているので、ユーザが元の動画像全体を把握することが更に容易になる。
また、再生時間の希望値に即したフレーム画像数になるよう総フレーム数を限定しているので、再生時間の希望値に応じた要約動画像データを生成することができる。抽出した２つのフレーム群の間隔が狭い場合は、それら及びそれらの間に存在するフレーム画像データをつなげることにより、要約動画像が途切れるような違和感を与えることを防ぐことができる。また、シーンの変わり目では、２つのフレーム群の間隔が狭くても、それらをつなぐ必要はなく、それらをつながないことにより、評価の低いフレーム画像データを要約動画像データに含むことを防いでいる。更に、フレーム画像データ数が所定数以上のフレーム群を要約動画像データに用いることで、１シーンが短すぎて要約動画像の内容を把握することが困難になるという事態を防ぐことができる。
Ａ５．第１実施例の変形例：
以上、本発明の実施例について説明したが、本発明はこれらに限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。例えば、ステップＳ５１２においてフレーム群が１つもない場合であって、ステップＳ５０８で除外したフレーム群が存在する場合には、閾値を調整して再度フレーム群を抽出するのではなく、除外したフレーム群の中から最適なフレーム群を選択して、要約動画像データの候補に含めるようにしても良い。その際、その最適なフレーム群の前後の、任意の数のフレーム画像データを新たにその最適なフレーム群に追加しても良い。ステップＳ５０７において、不足していたフレーム画像データ数分追加しても良い。最適なフレーム群を選択する際は、フレーム群を構成する各フレーム画像データの評価値の合計や、評価値の最大値に基づいて選択しても良い。
実施例の処理は必要に応じて省略しても良い。例えば、再生時間の希望値がない場合は、ステップＳ５１９〜ステップＳ５２２の処理は省略可能である。
Ｂ．本発明の第２実施例における画像処理システムの構成：
図１１は、本発明の第２実施例における画像処理システム１００を示す説明図である。画像処理システム１００は、動画像データを供給する動画像データベース部３０と、動画像データからその一部を抽出してダイジェスト画像データを生成するパーソナルコンピュータＰＣと、そのためのユーザインターフェースを提供するユーザインターフェース部１８と、を備えている。ユーザインターフェース部１８は、動画像データベース部３０から供給されている動画像や後述する操作表示画面を表示するディスプレイ１８ａと、ユーザからの入力を受け付けるキーボード１８ｂやマウス１８ｃを備える。
パーソナルコンピュータＰＣは、動画像データからのダイジェスト画像データの生成処理を実行する画像処理アプリケーションプログラム１０と、動画像データベース部３０やユーザインターフェース部１８といった外部機器との間のインターフェースを司るインターフェース部１５とを備えている。
画像処理アプリケーションプログラム１０は、動画像データをシーン毎に分割するシーン分割処理部１１と、動画像データの評価を行う画像評価部１２と、この評価に基づいて一部の動画像データを抽出する動画像データ抽出部１３と、抽出された複数の動画像データを時系列の順序で連結してダイジェスト画像データを生成する動画像データ連結部１４とを備えている。なお、画像評価部１２は、特許請求の範囲における「動画像評価部」および「静止画像評価部」として機能している。
動画像データベース部３０は、デジタルビデオカメラ３０ａ、ＤＶＤ３０ｂ、およびハードディスク３０ｃを動画像データの供給源として有している。動画像データは、本実施例では、ノンインターレース方式の静止画像を表すフレーム画像データの集合としている。
図１２は、ディスプレイ１８ａに表示される画像ファイル生成処理における操作表示画面２００を示す説明図である。操作表示画面２００は、処理対象となる元画像データの種類を選択する元画像データ種選択スイッチ１２１と、選択された種類の元画像データの中から１つを選択するための元画像データ選択ウィンドウ１２２と、処理対象となる元画像データによって表される画像を表示する画像表示エリア１２３と、静止画像データ生成処理のための操作ボタンとを含んでいる。なお、図１２の例では、元画像データ選択ウィンドウ１２２において、動画像データＧｓが選択された状態が示されている。
動画像データのダイジェスト画像生成処理のための操作ボタンには、ダイジェスト画像データを自動的に生成するためのダイジェスト画像自動作成ボタン１２４と、画像表示エリア１２３に表示される動画像の制御やダイジェスト手動作成のための各種ボタンが含まれている。動画像を制御するための各種ボタンには、再生ボタン２３１、停止ボタン２３２、一時停止ボタン２３３、巻き戻しボタン２３４、早送りボタン２３５、および動画像抽出ボタン２３６と、が含まれている。動画像抽出ボタン２３６は、手動で動画像データを抽出するためのボタンである。
以上説明したシステム構成において、ダイジェスト画像自動作成ボタン１２４が押されると、以下に示すように動画像データから一部の動画像データが抽出されるとともに、抽出された複数の動画像データを連結することによってダイジェスト画像データが自動的に生成される。
Ｃ．本発明の第２実施例におけるダイジェスト画像データ生成処理：
図１３は、本発明の第２実施例におけるダイジェスト画像データ生成処理の内容を示すフローチャートである。ステップＳ１００００では、画像処理アプリケーションプログラム１０（図１１）は、動画像データベース部３０から動画像データの供給を受ける。供給された動画像データは、図示しないメモリにバッファされるとともに画像表示エリア１２３（図１２）に表示される。
図１４は、本発明の実施例で使用される動画像データの構成の一例を示す説明図である。動画像データは、１フレーム時間が３３ｍｓの時系列的に連続するフレーム画像データの集合であり、各フレーム画像データには、時系列的な順序でフレーム番号が付されている。図１４の例では、動画像データは、マラソン選手が走っている様子を表している。
ステップＳ２００００では、シーン分割処理部１１は、シーン分割処理を実行する。シーン分割処理とは、動画像データをシーン毎に分割する処理である。本実施例では、「シーン毎」とは、動画像データ取得時におけるカメラの記録開始と記録停止の間を意味する。すなわち、各シーンは、記録開始によって始まり、記録停止によって終了する。シーン分割処理は、たとえば画像の急激な変化を認識することによって実現することができる。
図１５は、本実施例の第２実施例におけるシーン分割処理の結果を示す表である。この表において、分割シーン番号とは、分割された各シーンに時系列の順序で付された番号である。開始時刻と終了時刻は、各シーンの開始時刻と終了時刻とを４組の２桁の数字で示している。具体的には、最初の２桁は時間を、次の２桁は分を、次の２桁は秒を、そして最後の２桁は各秒におけるフレーム番号を示している。たとえば４番のシーンは、０時１分１２秒の１３番目のフレームから０時１分１３秒の１５番目のフレームまでのフレームの集合として構成されている。
ステップＳ３００００（図１３）では、画像評価部１２は、フレーム画像評価処理を実行する。フレーム画像評価処理とは、フレーム画像データが表す静止画像の重要性を静止画像評価値として数値化する処理である。この評価の方法には、種々の方法があり、たとえば特開２００２−１４２１８９号公報や特開平１０−２２４７３６号公報に開示された方法が利用可能である。従来は、動画像を構成する複数の静止画像の各々の重要性に応じて動画像の重要性を判断していた。
ステップＳ４００００では、画像評価部１２は、動画像評価処理を実行する。動画像評価処理は、上記の評価方法とは異なり、動画像を構成する複数の静止画像の各々の時系列的な情報も考慮して動画像を構成する静止画像データの各々を評価する評価方法である。
図１６は、本発明の第２実施例における動画像評価処理の内容を示すフローチャートである。ステップＳ４１０００では、画像評価部１２は、静止画像評価値について平滑化処理を行う。平滑化処理は、たとえば移動平均フィルタを用いて行うことができる。これにより、静止画像評価値を時系列的に滑らかにすることができる。
ステップＳ４２０００では、画像評価部１２は、変化率算出処理を実行する。変化率算出処理とは、平滑化処理が行われて滑らかになった静止画像評価値の変化率を算出する処理である。この変化率は、各静止画像の重要性が徐々に高まって重要性がピークとなるピーク画像に向かっているのか、あるいはピーク画像を過ぎているのかを表すことができる。ピーク画像に向かっている動画は、ピーク画像に至るまでの心の準備期間の動画像として重要である。一方、ピーク画像を過ぎた後の画像は、静止画像単体としては重要性が高くてもユーザの関心が低いことが多い。このため、ピーク画像の前の動画像データを重点的に抽出することによって、よりユーザが望むダイジェスト画像データを生成することができることになる。
ステップＳ４３０００では、画像評価部１２は、動画像評価値決定処理を実行する。ここで、「動画像評価値」とは、動画像の一部としての各静止画像データの評価を表す値であり、静止画像データ単体で評価される静止画像評価値とは異なる。動画像評価値決定処理は、本実施例では、静止画像評価値と、静止画像評価値の変化率とを用いて動画の一部としてのフレーム画像の評価値を決定する処理である。具体的には、たとえば静止画像評価値の変化率の正負に着目して、静止画像評価値の変化率が正の場合には静止画像評価値をそのまま動画像評価値に決定し、一方、静止画像評価値の変化率が負の場合には静止画像評価値を一律にゼロに決定する。なお、「動画像評価値」は、特許請求の範囲における第２の画像評価値に相当する。
ステップＳ５００００（図１３）では、動画像データ抽出部１３は、動画像データ抽出処理を実行する。動画像データ抽出処理は、動画像評価値が所定の閾値ｔｈよりも大きな連続する複数のフレーム画像データの集合を抽出する処理である。
図１７は、本発明の第２実施例における動画像データ抽出処理の内容を示す説明図である。この図は、シーン分割処理によって分割されたある１つのシーンの静止画像評価値と動画像評価値とを示している。この図では、両者を分かりやすくするために、静止画像評価値の変化率が正の場合には静止画像評価値の２倍を動画像評価値に決定している。一方、静止画像評価値の変化率が負の場合には静止画像評価値が一律にゼロに決定されている。
図１７から分かるように、時刻Ｔ１から時刻Ｔ２までの間の時間Ｐ１ｒと、時刻Ｔ３から時刻Ｔ４までの間の時間Ｐ２ｒと、において動画像評価値が閾値ｔｈを超えていることが分かる。これらの２つの時間Ｐ１ｒ、Ｐ２ｒは、抽出候補となる動画像データが含まれている時間である。本実施例では、候補となった動画像データの中から所定の時間よりも短いものが排除される。極端に短い動画像は、一般に、ユーザに望まれないからである。この例では、時間Ｐ２ｒがこのシーンにおける抽出対象時間の一部となる。
抽出対象時間は、さらにピーク画像の後ろ側に所定の時間だけ延長される。具体的には、抽出対象時間が時間Ｐ２ｒから時間Ｐ２ｅに変更される。これは、ピーク画像で直ちにシーンが切り替わるよりも、ピーク画像の後にも少し動画がある方がピーク時に突然に動画が終了しないので動画として好ましいからである。このようにして、ピーク画像の前側だけでなくピーク画像の前側を重点的に抽出した動画像データの抽出が可能となる。
ステップＳ６００００では、動画像データ連結部１４は、動画像データ連結処理を実行する。動画像データ連結処理とは、抽出された複数の動画像データを時系列の順序で連結する処理である。このようにして連結された動画像データがダイジェスト画像データとなる。
このように、第２実施例では、画像の重要性がピークとなる画像の前側の画像を重点的に抽出することができるので、各静止画像の時系列的な考慮を行ってよりユーザが望むダイジェスト画像データを生成することができることになる。さらに、静止画像評価値の変化率の正負のみに着目して処理が行われるので、高速な処理が可能であるという利点もある。
なお、第２実施例では、静止画像評価値の変化率が負の場合には静止画像評価値を一律にゼロに決定して動画評価値が決定されているが、たとえば以下のいずれかあるいは組合せによって動画評価値を決定しても良い。
（１）静止画像評価値の時系列的な変化率が正である複数の静止画像データの静止画像評価値を高くして得られた値を動画像評価値とする。
（２）静止画像評価値の時系列的な変化率が負である複数の静止画像データの静止画像評価値を低くして得られた値を動画像評価値とする。
また、静止画像評価値を高くする方法としては、たとえば所定の正の値を加算する方法や１より大きい値の係数を乗ずる方法がある。一方、静止画像評価値を低くする方法としては、たとえば所定の正の値を減算する方法や１未満の係数を乗ずる方法がある。
Ｄ．本発明の第３実施例におけるダイジェスト画像データ生成処理：
図１８は、本発明の第３実施例における動画像データ抽出処理の内容を示す説明図である。第３実施例は、動画像評価値の決定法のみが第２実施例と異なっており、他の構成は同一である。第３実施例における動画像評価値の決定法は、静止画像評価値の変化率に所定の正の係数ｋを乗じた値と、静止画像評価値との和として算出する方法である。このようにして算出された２つの動画像評価値と、静止画像評価値とが示されている。２つの動画像評価値は、２つの所定の係数ｋを用いた計算によって算出された係数ｋ毎の動画像評価値である。
図１８から分かるように、動画像評価値は、静止画像評価値よりも時系列的に前側にピークが移動することが分かる。このように、第３実施例の動画像評価値の決定法によっても動画像評価値のピークが時系列的に前側に移動するので、時系列的にピーク画像の前側において重点的に画像が抽出されることになる。
このようなピークの移動量は、第２実施例と異なり所定の正の係数ｋの操作によって簡単に調整することができる。図１８から分かるように、所定の正の係数ｋが大きくなるとピークの移動量も大きくなり、所定の正の係数ｋが小さくなるとピークの移動量も小さくなる傾向があるからである。
このように、第３実施例は、所定の係数ｋを操作することによってピーク画像よりも時系列的に前側の動画像データをどの程度重点的に抽出するかを簡単に調整することができる。この調整は、たとえばユーザが意図する被写体に応じて設定することができる。具体的には、ユーザの意図する被写体が動的要素が大きい人物なのか、あるいは動的要素が小さい風景なのかで適切な調整量が異なってくる。
なお、所定の係数は、一般に、０から１の間で設定することが好ましいことが発明者の実験によって見いだされている。
Ｅ．本発明の第４実施例におけるダイジェスト画像データの管理：
図１９は、本発明の第４実施例における画像データ管理システム１００ａを示す説明図である。画像データ管理システム１００ａは、画像処理システム１００（図１１）と以下の点で異なる。すなわち、第１に、パーソナルコンピュータＰＣａには、画像管理アプリケーションプログラム２０ａがインストールされている。第２に、パーソナルコンピュータＰＣａには、動画像データの記録媒体（たとえばＤＶＤ−Ｒ）に印刷を行うことが可能な印刷装置１１１が接続されている。
印刷装置１１１は、印刷ヘッドユニット６０と、給紙トレイ１０５と、手差し用の給紙口１０３とを備えている。給紙口１０３は、折り曲げることのできない厚紙や記録媒体Ｄのような光ディスク上に印刷する際に使用される。記録媒体Ｄに印刷を行う場合には、図に示すように、記録媒体Ｄは記録媒体用トレイＴに装着された状態で給紙口１０３に挿入され、印刷が行われる。画像管理アプリケーションプログラム２０は、各記録媒体に格納された画像データをデータベース化して管理することができる。
図２０は、本発明の第４実施例の画像管理におけるデータベースの内容を示す説明図である。このデータベースには、この例では、４つのフィールドで構成されており、８つのレコードが登録されている。４つのフィールドは、記録媒体の種類と、最終データ格納時間と、コメント情報と、関連データ格納位置とを含んでいる。たとえば、レコード番号が３のデータは、媒体の種類、最終データ格納時間、コメント情報、および関連データ格納位置として、それぞれＤＶＤ−Ｒ、２００５年１月２１日１６時３９分２４秒、家族旅行、およびディレクトリ（Ｃ：￥ｍｏｖ￥ｍｐｅｇ￥ｆｉｌｅ￥３）が格納されている。各レコードは、記録媒体毎に対応して登録されている。
図２１は、本発明の第４実施例において記録媒体に格納されたデータファイルＧＦの内容を示す説明図である。データファイルＧＦは、属性情報格納領域８０と、画像データ格納領域９０とを含んでいる。属性情報格納領域８０には、上述のデータベースの各フィールドに対応するデータが格納されている。画像データ格納領域９０には、上述の各実施例で生成されたダイジェスト画像データが格納されている。
最終データ格納時間は、動画像データが記録媒体に最後に格納された時間が秒まで記録されている。最終データ格納時間は、同一のデータが存在し難いユニークなデータである点を利用して記録媒体の識別管理番号として利用可能である。コメント情報は、ユーザが自由に入力できる情報である。関連データ格納位置は、関連データを格納するハードディスク３０ｃ（図１９）内のディレクトリを表すデータである。
関連データ格納位置には、本実施例では、代表画像データと、レイアウト情報と、画像位置情報と、が含まれている。代表画像データとしては、たとえば各シーンにおいて最も評価値の高い静止画像データの低解像度データや、その静止画像データを含む低解像度で短時間の動画像データが利用可能である。レイアウト情報は、たとえば複数の代表画像データを記録媒体上に印刷するためのレイアウトを表すデータが利用可能である。画像位置情報としては、たとえば代表画像データが含まれるシーンを特定する情報やシーン内部での開始時間が利用可能である。
図２２は、記録媒体に印刷された２つのインデックス画像を示す説明図である。記録媒体Ｄと記録媒体Ｄａとには、インデックス画像として、それぞれ６つと９つの代表画像が印刷されている。インデックス画像は、ユーザが記録媒体の中身を知るとともに、記録媒体を特定するために利用することができる。インデックス画像は、画像管理アプリケーションプログラム２０ａが、代表画像データとレイアウト情報とを用いて、ディスプレイ１８ａに表示させることも可能である。
たとえば、ユーザが画像管理アプリケーションプログラム２０ａを用い、データベース（図２０）を検索することによって、所望の動画像データを発見した場合には、インデックス画像をディスプレイ１８ａに表示させて、所望の記録媒体を特定できるように構成することもできる。
なお、各代表画像を含むインデックス画像は、その周辺部において、たとえば画像の輪郭に向かって薄くなるといったグラデーションがかけられた印刷画像として印刷することが好ましい。これは、印刷の位置ずれによる記録媒体への印刷画像の画質劣化を抑制するためである。記録媒体への印刷画像は、一般に、（１）余白が小さくなりやすく、（２）印刷の位置ずれが比較的に大きくなりやすい、といった特有の傾向があるため、これにより、印刷の位置ずれによる記録媒体への印刷画像の画質劣化が大きくなりやすい、すなわち、目立ちやすいという特有の事情があるからである。
図２３は、本発明の第４実施例における画像データ自動管理処理の内容を示す説明図である。画像データ自動管理処理は、たとえばＤＶＤ−Ｒに動画像データを格納された後に、ユーザによるファイナライズ処理の命令に応じて自動的に起動するように構成しても良い。
ステップＳ１０１００では、画像処理アプリケーションプログラム１０（図１９）は、第１ないし第３実施例で開示された方法でダイジェスト画像生成処理を実行して代表画像データを含むダイジェスト画像データを生成する。
代表画像データは、前述のように評価値がピークとなる時間の静止画像データや動画像データ（低解像度で短時間のもの）として生成される。代表画像データは、予め設定された数のデータを自動的に生成するようにしても良いし、あるいは候補となる代表画像データを生成し、ユーザに選択させるようにしても良い。
ステップＳ１０２００では、画像管理アプリケーションプログラム２０（図１９）は、属性データ生成処理を実行する。属性データ生成処理とは、属性情報格納領域８０（図２１）に格納される代表画像データ以外の各データを生成する処理である。
レイアウト情報は、たとえば図２２に示されるような印刷画像を生成するための情報である。レイアウト情報は、印刷画像における代表画像データのサイズと位置とを特定する情報を含むようにして構成することができる。
代表画像解析日時は、たとえば代表画像データの生成完了の日時をＰＣａの内部時計（図示せず）から取得することによって生成することができる。最終データ格納時間は、たとえば動画像データが最後に追記された日時に基づいて同様に生成することができる。コメント情報は、図示しないユーザインターフェースを介して入力される。
ステップＳ１０３００では、画像管理アプリケーションプログラム２０は、属性データ格納処理を実行する。属性データ格納処理は、生成された属性情報を記録媒体に格納する処理である。属性情報が記録媒体に全て格納されると、本実施例では自動的にファイナライズ処理が実行される。
ステップＳ１０４００では、画像管理アプリケーションプログラム２０は、属性データ登録処理を実行する。属性データ登録処理とは、生成された属性情報をレコードとしてデータベースに登録する処理である。これにより、パーソナルコンピュータＰＣａにロードされていない多数の記録媒体に格納された動画像データをハードディスク３０ｃ上で管理することができる。
ステップＳ１０５００では、画像管理アプリケーションプログラム２０は、代表画像印刷処理を行う。代表画像印刷処理は、図２２に示されるような代表画像を含むインデックス画像を記録媒体（たとえばＤＶＤ−Ｒ）上に印刷する。
これにより、たとえばユーザが画像管理アプリケーションプログラム２０を用いて音声検索やテキスト検索、将来的にはパターンマッチング等を用いた画像検索といった探索手段を用いて所望の動画像データを特定すれば、その動画像データが格納された記録媒体のインデックス画像をユーザに提供することができる。インデックス画像の提供は、ディスプレイ１８ａ上への表示や印刷用紙への印刷によって行われる。ユーザは、提供されたインデックス画像を用いて記録媒体を簡単に特定することができる。
このように、代表画像データを記録媒体に印刷するとともに、代表画像データを含む属性データを利用してデータベース管理を行えば、ユーザによる動画像データの管理負担が大きく軽減される。さらに、記録媒体には、コメント情報その他の属性情報に基づく画像を印刷することもでき、ユーザの利用に供することができる。
さらに、本実施例では、記録媒体側にも属性データが格納されるので、他のパーソナルコンピュータが有するデータベースにも簡単に登録することができる。たとえば記録媒体に登録用のエージェントを格納すれば、記録媒体を他のパーソナルコンピュータにロードするだけで自動的にデータベースに登録するように構成することも可能である。
なお、本実施例では、最後の動画像データの格納後に属性情報が生成されているが、たとえば各動画像データの追記毎に属性情報を更新するように構成しても良い。
また、たとえばＤＶＤ−ＲＷのように書き換えや追記が随時可能な記録媒体については、他の画像処理装置で追加的に処理が行われたか否かも本システムで監視することができる。このような場合には、ユーザに注意を促すためのユーザインターフェースを表示するようにすることが好ましい。このユーザインターフェースは、属性データを更新するか否かをユーザに問い合わせる機能を有することが好ましい。
さらに、属性データが含まれていない場合にも、同様に属性データが含まれていない旨をユーザに知らせるとともに、ユーザからの属性データの生成指示を許容するインターフェースを提供するようにすることが好ましい。
Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、たとえば次のような変形も可能である。
Ｆ−１．上述の実施例では、所定の時間よりも短い動画像データが排除されるように構成されているが、自動的に排除するのではなくダイジェスト画像データが自動的生成された後にユーザが手動で排除できるように構成しても良い。なお、上記の所定の時間は、ユーザが調整できるように構成することが好ましい。
Ｆ−２．上述の実施例では、抽出された複数の動画像データは、時系列順に連結されているが、たとえば静止画像評価値に応じて決定するようにしても良いし、動画像評価値に応じて決定するようにしても良いし、あるいは双方に応じて決定するようにしても良い。
Ｆ−３．上述の実施例では、動画像データがシーン毎に分割された後に、分割されたシーン毎に動画像データの抽出が行われているが、シーン毎に分割することなく上記各実施例と同様の処理を行うようにしても良い。
Ｆ−４．上述の実施例では、動画像データの抽出の基準として使用される所定の閾値ｔｈは一定であるが、たとえば動画像評価値の平均値をシーン毎に算出し、この平均値に応じてシーン毎に所定の閾値ｔｈを変化させるようにしても良い。こうすれば、さらに、ユーザのニーズに合った動画像データの抽出が可能となる。
なお、所定の閾値ｔｈは、動画像評価値の代わりに、静止画像評価値と動画像評価値の双方や、静止画像評価値のみを使用してシーン毎に所定の閾値ｔｈを変化させるようにしても良い。
Ｆ−５．上述の実施例では、複数の動画像データが抽出された場合には、動画像データ連結部１４（図１１）が抽出された複数の動画像データを連結してダイジェスト画像データを生成しているが、たとえば抽出された複数の動画像データを連結することなく個別にユーザに提供する動画像データ処理方法として本発明を構成しても良い。
Ｆ−６．上述の実施例では、各代表画像を含むインデックス画像にグラデーションをかけた印刷画像として印刷する構成が開示されているが、たとえばテキストといた他の印刷画像にも同様の構成を適用することができる。
また、印刷画像にグラデーションをかけるか否かについては、ユーザが自由に選択できるような構成（たとえばグラデーションをかけるか否かの選択をユーザに許容するインターフェース画面を提供する）とすることが好ましい。このような場合には、グラデーションをかける印刷を初期設定としてするように構成しても良いし、グラデーションをかけない印刷を初期設定としてするように構成しても良いし、あるいはグラデーションの幅や程度を変更できるように構成しても良い。
Ｆ−７．上述の実施例では、動画像データはノンインターレース方式のフレーム画像データで構成されていたが、本発明は、インターレース方式の動画像データにも適用することができる。この場合には、上述の実施例における各フレーム画像データは、奇数番目の走査線の画像データから構成される奇数フィールドの静止画像データと、偶数番目の走査線の画像データから構成される偶数フィールドの静止画像データと、から生成される静止画像データに相当することになる。
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
最後に、本出願が優先権主張の基礎とする以下の２つの日本の特許出願は、この参照により開示に含まれる。
（１）特願２００４−６０００４（出願日：平成１６年３月４日）
（２）特願２００４−７４２９８（出願日：平成１６年３月１６日）
【産業上の利用可能性】  この発明は、動画像データの処理技術に適用可能である。
【図１】
2005086478.tif 000002
【図２】
2005086478.tif 000003
【図３】
2005086478.tif 000004
【図４】
2005086478.tif 000005
【図５】
2005086478.tif 000006
【図６】
2005086478.tif 000007
【図７】
2005086478.tif 000008
【図８】
2005086478.tif 000009
【図９】
2005086478.tif 000010
【図１０】
2005086478.tif 000011
【図１１】
2005086478.tif 000012
【図１２】
2005086478.tif 000013
【図１３】
2005086478.tif 000014
【図１４】
2005086478.tif 000015
【図１５】
2005086478.tif 000016
【図１６】
2005086478.tif 000017
【図１７】
2005086478.tif 000018
【図１８】
2005086478.tif 000019
【図１９】
2005086478.tif 000020
【図２０】
2005086478.tif 000021
【図２１】
2005086478.tif 000022
【図２２】
2005086478.tif 000023
【図２３】
2005086478.tif 000024
【国際調査報告】
2005086478.tif 000025
2005086478.tif 000026
2005086478.tif 000027
2005086478.tif 000028
2005086478.tif 000029
2005086478.tif 000030
2005086478.tif 000031