(57)【要約】【課題】  動画像データのシーンのうち、多数のシーンを抽出して要約動画像データを生成する動画像処理装置を提供する。【解決手段】  動画像処理装置は、動画像データにおけるフレーム画像データの評価値を、フレーム画像間の比較などに基づいて算出する。そして、各シーンに含まれるフレーム画像データの評価値から、シーンの評価値であるシーン評価値を算出する。更に、シーン評価値から、各シーンの要約動画像における再生時間を求める。そして、各シーンから再生時間分のフレーム画像データの集合を抽出し、それらをつなぎあわせて、希望再生時間分の要約動画像データを生成する。【選択図】        図６
2005277531.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した所定の希望再生時間の要約動画像データを生成する動画像処理装置であって、
前記動画像データを取得する取得部と、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割部と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす評価値を算出する算出部と、
前記シーンの各々について、該シーンに含まれた前記フレーム画像データの評価値から該シーンの前記動画像データにおける重要度を示すシーン評価値を算出するシーン評価値算出部と、
前記シーンの各々について、前記シーン評価値と前記希望再生時間に基づいて、前記要約動画像データにおける該シーンの再生時間であるシーン再生時間を求める演算部と、
前記シーンの各々から、前記シーン再生時間に基づいて、前記要約動画像データに用いるべき前記フレーム画像データを抽出する抽出部と、
抽出された前記フレーム画像データを用いて前記要約動画像データを生成する生成部と
を備えた動画像処理装置。
【請求項２】
請求項１記載の動画像処理装置であって、
前記動画像データ内の前記フレーム画像データの評価値から、該動画像データ全体の評価値としての全評価値を算出する全評価値算出部を備え、
前記演算部は、前記全評価値と前記シーン評価値と前記希望再生時間に基づいて、前記シーン再生時間を求める
動画像処理装置。
【請求項３】
請求項２記載の動画像処理装置であって、
前記演算部は、前記シーン評価値と前記全評価値の比と、前記希望再生時間に基づいて、前記シーン再生時間を求める動画像処理装置。
【請求項４】
請求項１記載の動画像処理装置であって、
前記シーン評価値は、前記シーンに含まれた前記フレーム画像データの前記評価値の平均値である動画像処理装置。
【請求項５】
請求項１記載の動画像処理装置であって、
前記シーン評価値算出部は、前記シーンに含まれた全ての前記フレーム画像データの前記評価値の中で、所定の第一の閾値以上である前記評価値から前記シーン評価値を算出する動画像処理装置。
【請求項６】
請求項１記載の動画像処理装置であって、
前記演算部は、前記シーン評価値が所定値以下となるシーンのシーン再生時間を０にして、該シーン以外の前記シーンの各々について前記シーン再生時間を求める動画像処理装置。
【請求項７】
請求項１記載の動画像処理装置であって、
前記抽出部は、時系列的に連続した所定数以上の前記フレーム画像データの集合であるフレーム群として、前記フレーム画像データを抽出する動画像処理装置。
【請求項８】
請求項７記載の動画像処理装置であって、
前記抽出部は、前記シーンに含まれる前記フレーム画像データのうち前記評価値が最大となる最大フレーム画像データを含む前記フレーム群を抽出する
動画像処理装置。
【請求項９】
請求項８記載の動画像処理装置であって、
前記抽出部は、前記フレーム群において、前記最大フレーム画像データより前に存在する前記フレーム画像データの数が、前記最大フレーム画像データ以降に存在する前記フレーム画像データの数より多くなるよう、前記フレーム群を抽出する動画像処理装置。
【請求項１０】
請求項１記載の動画像処理装置であって、
前記抽出部は、前記要約動画像データとしての適否を判断するための前記評価値に関する所定の条件を満たす前記フレーム画像データを抽出する動画像処理装置。
【請求項１１】
請求項１０記載の動画像処理装置であって、
前記所定の条件は、前記評価値が所定の第二の閾値以上であることである動画像処理装置。
【請求項１２】
請求項１１記載の動画像処理装置であって、
前記シーン再生時間に応じて、前記第二の閾値を調整する調整部を備えた動画像処理装置。
【請求項１３】
請求項１０記載の動画像処理装置であって、
前記所定の条件は、前記評価値の合計値が前記シーン内において最大となることである動画像処理装置。
【請求項１４】
時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した所定の希望再生時間の要約動画像データを生成する動画像処理方法であって、
コンピュータが実行する工程として、
前記動画像データを取得する取得工程と、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割工程と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす評価値を算出する算出工程と、
前記シーンの各々について、該シーンに含まれた前記フレーム画像データの評価値から該シーンの前記動画像データにおける重要度を示すシーン評価値を算出するシーン評価値算出工程と、
前記シーンの各々について、前記シーン評価値と前記希望再生時間に基づいて、前記要約動画像データにおける該シーンの再生時間であるシーン再生時間を求める演算工程と、
前記シーンの各々から、前記シーン再生時間に基づいて、前記要約動画像データに用いるべき前記フレーム画像データを抽出する抽出工程と、
抽出された前記フレーム画像データを用いて前記要約動画像データを生成する生成工程と
を備えた動画像処理方法。
【請求項１５】
時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した所定の希望再生時間の要約動画像データを生成するためのコンピュータプログラムであって、
前記動画像データを取得する取得機能と、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割機能と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす評価値を算出する算出機能と、
前記シーンの各々について、該シーンに含まれた前記フレーム画像データの評価値から該シーンの前記動画像データにおける重要度を示すシーン評価値を算出するシーン評価値算出機能と、
前記シーンの各々について、前記シーン評価値と前記希望再生時間に基づいて、前記要約動画像データにおける該シーンの再生時間であるシーン再生時間を求める演算機能と、
前記シーンの各々から、前記シーン再生時間に基づいて、前記要約動画像データに用いるべき前記フレーム画像データを抽出する抽出機能と、
抽出された前記フレーム画像データを用いて前記要約動画像データを生成する生成機能と
をコンピュータに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから、その内容を要約した要約動画像データを生成する動画像処理装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラの普及に伴い、ビデオカメラを用いた撮影が一般的になりつつある。それと同時に、長時間多岐にわたって撮影された動画像データの内容を、短時間で簡単に把握したいという要望も高まっている。そこで、動画像データの要約情報としての要約動画像データ、いわゆるダイジェスト画像を生成する技術が提案されている。
【０００３】
要約動画像データは、要約動画像の再生時間の希望値（以下、希望再生時間とよぶ）に応じて生成されることもある。例えば特許文献１では、動画像データを所定の再生時間単位の複数のシーンに分割し、その所定の再生時間と希望再生時間から要約動画像データに含めるシーンの数を求め、その数分のシーンをつなぎあわせて、希望再生時間に応じた要約動画像データを生成している。
【０００４】
【特許文献１】特開２００２−１４２１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、希望再生時間によって、要約動画像データに含めるシーン数が限定されてしまうという問題があった。
【０００６】
本発明は、上記した問題点を解決するためになされたものであり、動画像データのシーンのうち、多数のシーンを抽出して要約動画像データを生成する動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決する動画像処理装置は、
時系列的に連続する複数のフレーム画像データによって構成された動画像データから、その内容を要約した所定の希望再生時間の要約動画像データを生成する動画像処理装置であって、
前記動画像データを取得する取得部と、
前記動画像データを分割し、それぞれ複数の前記フレーム画像データを含むシーンを複数設定する分割部と、
前記フレーム画像データの各々に関して、前記動画像データにおける重要度を表わす評価値を算出する算出部と、
前記シーンの各々について、該シーンに含まれた前記フレーム画像データの評価値から該シーンの前記動画像データにおける重要度を示すシーン評価値を算出するシーン評価値算出部と、
前記シーンの各々について、前記シーン評価値と前記希望再生時間に基づいて、前記要約動画像データにおける該シーンの再生時間であるシーン再生時間を求める演算部と、
前記シーンの各々から、前記シーン再生時間に基づいて、前記要約動画像データに用いるべき前記フレーム画像データを抽出する抽出部と、
抽出された前記フレーム画像データを用いて前記要約動画像データを生成する生成部と
を備えることを特徴とする。
【０００８】
本発明によれば、シーン再生時間をシーン毎に設定するので、希望再生時間に対して、柔軟に、多数のシーンを含んだ要約動画像データを生成することができる。
【０００９】
本発明におけるシーン評価値算出部は、シーンに含まれた全てのフレーム画像データの評価値から、シーン評価値を算出するものとしても良いし、シーン内の任意のフレーム画像データの評価値から、シーン評価値を算出するものとしても良い。
【００１０】
演算部は、シーン評価値が高いほど、シーン再生時間を長くすることが望ましい。演算部は、各シーンのシーン評価値の比に基づいて希望再生時間を配分することによりそれぞれのシーン再生時間を求めても良い。抽出部は、シーン再生時間に応じて必要数のフレーム画像データを抽出する。
【００１１】
シーンの分割は、種々の方法で行うことができる。例えば、分割部は、フレーム画像データの特徴量の不連続的な変化に基づいて、シーンへの分割をしても良い。動画像においてシーンが変わる箇所では、各フレーム画像データの輝度や色のヒストグラム、音声データの大きさ、音色、周波数などの特徴量が不連続的に変化している場合が多い。よって、そのような値の不連続的な変化に基づくことにより、動画像データをシーンに分割することができる。別の方法としては、２つのフレーム画像における個々の画素値の差分に基づいて、動画像データをシーンに分割しても良い。差分の絶対値または自乗値の全画素についての合計値が所定値以上となる箇所が、シーンが変わる箇所であると判断できる。分割部は、動画像データをその内容に関わらず所定の間隔ごとに分割するものであっても良い。所定の間隔は、例えば時間やデータ量に基づくものである。
【００１２】
算出部は、評価値を、例えばビデオカメラのズーム操作やパン操作に基づいて算出しても良い。ズーム操作とは、ズームレンズを用いて被写体の像を拡大したり縮小したりすることである。パン操作とは、カメラの位置を固定したまま、カメラの向きを変えて広い範囲を撮影することである。
【００１３】
算出部は、評価値の算出対象のフレーム画像データを含む２つのフレーム画像データを比較して求まる動きベクトルを用いて、評価値を算出するものであっても良い。動きベクトルからはズーム操作などを検出することができ、撮影者が特に撮影しようとしたと思われるフレーム画像を特定することができる。そのようなフレーム画像を、動画像データにおける重要度が高いものと判断して、評価値を算出するものとしても良い。
【００１４】
評価値の算出には必ずしも動きベクトルを用いる必要はなく、例えばズーム操作やカメラの姿勢などの撮影情報を撮影時に記録しておき、この撮影情報を用いて評価値を算出するようにしても良い。また、評価値は、フレーム画像内での動体の位置，動体の大きさ，背景の動き，肌色の大きさなどに基づいて算出しても良い。更に、評価値は、フレーム画像内の物体の数，フレーム画像の輝度や色のヒストグラム，音声データなどに基づいて算出しても良い。
【００１５】
上記した動画像処理装置は、
前記動画像データ内の前記フレーム画像データの評価値から、該動画像データ全体の評価値としての全評価値を算出する全評価値算出部を備え、
前記演算部は、前記全評価値と前記シーン評価値と前記希望再生時間に基づいて、前記シーン再生時間を求めるものであっても良い。
【００１６】
全評価値を用いることにより、より簡便にシーン再生時間を求めることができる。例えば、前記演算部は、前記シーン評価値と前記全評価値の比と、前記希望再生時間に基づいて、前記シーン再生時間を求めるものとしても良い。具体的には、「希望再生時間×シーン評価値／全評価値」でシーン再生時間を求めることも可能である。他にも、シーン評価値と全評価値の差に基づいてシーン再生時間を求めるなど、様々な方法が適用可能である。
【００１７】
全評価値算出部は、動画像データ内の全てのフレーム画像データの評価値から全評価値を算出するものとしても良いし、動画像データ内の任意のフレーム画像データの評価値から全評価値を算出するものとしても良い。例えば、全評価値は、全てのシーンのシーン評価値の和としても良い。更に、要約動画像データに使用しないシーンがある場合は、そのシーンのシーン評価値を除いたシーン評価値の和であっても良い。
【００１８】
上記した動画像処理装置の前記シーン評価値は、前記シーンに含まれた前記フレーム画像データの前記評価値の平均値であるものとしても良い。
【００１９】
このようにすれば、簡便に、各シーンの動画像データにおける重要度を示すシーン評価値を算出することができる。平均値は、シーンに含まれた全てのフレーム画像データの評価値の平均値であっても良いし、シーン内の任意のフレーム画像データの評価値の平均値であっても良い。
【００２０】
また、シーン評価値に平均値を用いれば、シーンの長さは考慮に入れないでシーン同士を比較することもできる。一方で、シーンの長さも考慮に入れたシーン評価値にしても良い。例えば、シーン評価値として、シーンに含まれた全てのフレーム画像データの評価値の合計を用いれば、フレーム画像データ数が多いほどシーン評価値も高くなるので、シーンの長さも考慮に入れたシーン評価値とすることができる。また、評価値の平均値に、シーンの長さで重み付けをすることにより、シーンの長さも考慮に入れたシーン評価値にしても良い。
【００２１】
先述した全評価値は、動画像データ内のフレーム画像データの評価値の平均値である全平均値であっても良い。全平均値は、動画像データ内の全てのフレーム画像データの評価値の合計を、動画像データのフレーム画像データ数で割ったものであっても良い。あるいは、全平均値は、要約動画像に使用しないシーンがある場合は、そのシーンのフレーム画像データの評価値は含めないで算出された平均値であっても良い。
【００２２】
上記した動画像処理装置の前記シーン評価値算出部は、前記シーンに含まれた全ての前記フレーム画像データの前記評価値の中で、所定の第一の閾値以上である前記評価値から前記シーン評価値を算出するものとしても良い。
【００２３】
これによれば、比較的重要度の高いフレーム画像データのみに基づいて、各シーンについて、シーン再生時間を求めることができる。例えば、航空ショーを撮影したシーンの場合、空を映した動画像が数十分続き、航空機を撮影した動画像は数分であることもある。空を映したフレーム画像データは、動画像データとしては重要度が低く、その評価値も低いことが多い。そして、低い評価値が多く含まれる評価値から算出するシーン評価値も低くなることが多い。演算部が、シーン評価値が高いほどシーン再生時間を長くするものである場合、シーン評価値が低いこのシーンのシーン再生時間はごく僅か、あるいは０となる可能性がある。即ち、航空機を要約動画像で見ることが殆どできなくなってしまうこともある。上述の構成によれば、空を映したフレーム画像データを除いてシーン評価値を求めるため、航空ショーのシーン再生時間が不当に短くなることを抑制できる。
【００２４】
先述した全平均値も、動画像データ内のフレーム画像データの評価値の中で、所定の値以上である評価値の平均値であるものとしても良い。
【００２５】
上記した動画像処理装置の前記演算部は、前記シーン評価値が所定値以下となるシーンのシーン再生時間を０にして、該シーン以外の前記シーンの各々について前記シーン再生時間を求めるものであっても良い。
【００２６】
本発明によれば、シーン評価値が所定値以下の比較的重要でないシーンは始めから要約動画像データに使用しないことで、他の比較的重要なシーンのシーン再生時間を長くすることができる。一方、このような機能を設けずに、各シーンから少なくとも１つのフレーム画像データを抽出するようにしても良い。そのようにすれば、すべてのシーンの少なくとも一部を要約動画像データに含むことができるので、要約動画像を見ることにより、すべてのシーンを把握することが容易になる。更に、分割部が動画像データをシーン単位ではなく所定の間隔ごとに分割した場合は、分割されたものから少なくとも１つのフレーム画像データを抽出することにより生成された要約動画像を見れば、ユーザは、所定間隔毎の動画像データの要否を判断することも可能である。よって、ユーザが編集作業に利用可能な要約動画像データを生成することができる。
【００２７】
上記した動画像処理装置の前記抽出部は、時系列的に連続した所定数以上の前記フレーム画像データの集合であるフレーム群として、前記フレーム画像データを抽出するものとしても良い。
【００２８】
こうすることで、フレーム群として、要約動画像を見た者がその内容を把握できる程度の長さを確保することができる。そのようなフレーム群は、要約動画像データに用いるのにより適している。以下、フレーム群により映し出される動画像を場面と呼ぶものとする。
【００２９】
一方、抽出部は、連続していなくても、例えば１つおきなど、互いに少し時間間隔があいたフレーム画像データの集合を抽出しても良い。このようにしても、見ているものは少なくとも要約動画像の内容を判別することができる。
【００３０】
前記抽出部は、前記シーンに含まれる前記フレーム画像データのうち前記評価値が最大となる最大フレーム画像データを含む前記フレーム群を抽出するものとしても良い。
【００３１】
これによれば、シーン内で特に重要度が高い場面に相当すると思われるフレーム群を容易に抽出することができる。そのようなフレーム群は、要約動画像データに用いるのにより適している。
【００３２】
前記抽出部は、前記フレーム群において、前記最大フレーム画像データより前に存在する前記フレーム画像データの数が、前記最大フレーム画像データ以降に存在する前記フレーム画像データの数より多くなるよう、前記フレーム群を抽出するものとしても良い。
【００３３】
複数のデータを示すとき、最初に示したデータが最も強く影響することを初頭効果(アンチクライマックス効果)という。逆に、最後に示したデータが最も強く影響することを親近効果(クライマックス効果)という。本発明によれば、場面の中でも特に良い画像を場面中少し後ろの方に持ってくることで、クライマックス効果を考慮した演出効果があるフレーム群を抽出することができる。
【００３４】
要約動画像としては、クライマックス効果を考慮する方が相応しいが、アンチクライマックス効果を考慮して、最大フレーム画像データより前に存在するフレーム画像データの数が、最大フレーム画像データより後に存在するフレーム画像データの数より少なくなるよう、フレーム群を抽出するものとしても良い。
【００３５】
上記した動画像処理装置の前記抽出部は、前記要約動画像データとしての適否を判断するための前記評価値に関する所定の条件を満たす前記フレーム画像データを抽出するものであっても良い。
【００３６】
抽出部は要約動画像データに用いるべきフレーム画像データをシーン内から適当に抽出しても良い。しかし、本発明によれば、要約動画像データにより適したフレーム画像データを抽出することができる。
【００３７】
前記所定の条件は、例えば、前記評価値が所定の第二の閾値以上であることであっても良い。第二の閾値として、要約動画像データとして相応しいと思われる評価値の最低の値を設定すれば、要約動画像データに適したフレーム画像データのみを抽出することができる。各シーンに対して異なる閾値を用いても良い。
【００３８】
一方、前記シーン再生時間に応じて、前記第二の閾値を調整する調整部を備えても良い。これによれば、評価値が第二の閾値以上であるフレーム画像データの数（以下、閾値フレーム数と呼ぶ）が、シーン再生時間に対して必要となるフレーム画像データ数（以下、必要フレーム数と呼ぶ）以外の場合は、調整部に第二の閾値を調整させ、閾値フレーム数を変えることができる。そして、結果的に、必要フレーム数分のフレーム画像データを抽出することができるようになる。
【００３９】
調整部は、第二の閾値を小さくしても大きくしても良い。閾値フレーム数が必要フレーム数より少ない場合は、閾値を小さくすることが望ましい。一方、閾値フレーム数が必要フレーム数より多い場合は、第二の閾値を大きくしても良い。また、閾値フレーム数が必要フレーム数より多い場合は、抽出部は、評価値が第二の閾値以上であるフレーム画像データの中から、適当に必要フレーム数分のフレーム画像データを抽出しても良い。
【００４０】
適当に抽出する際に、フレーム画像データの時系列的な連続性を考慮に入れても良い。例えば、所定数以上連続したフレーム画像データ（以下、連続フレームデータと呼ぶ）を抽出するものとしても良い。連続フレームデータによる動画像のほうが、非連続的なフレーム画像データによる動画像より、内容の判別が容易であるので望ましい。連続フレームデータは、所定数以上のフレーム画像データからなるものであることにより、要約動画像を見た者がその内容を把握できる程度の長さを確保することができる。
【００４１】
連続フレームデータを抽出する場合、連続フレームデータ間の時間間隔が所定値以下の２つの連続フレームデータについては、２つの連続フレームデータ及びその間の全フレーム画像データをまとめて１つの連続フレームデータとして抽出するものとしても良い。２つの連続フレームデータの間の全フレーム画像データの評価値が第二の閾値以上である場合はもちろん、第二の閾値以下の場合もまとめて抽出しても良い。抽出した連続フレームデータと連続フレームデータの時間間隔が狭いと、要約動画像を見た者が、不自然に要約動画像が途切れたような違和感を感じてしまう場合がある。このようにすれば、そのような違和感を与えることを防ぐことができる。
【００４２】
更に、適当に抽出する際に、時系列的なフレーム画像データに対する評価値の変化率が０以上となるフレーム画像データの集合を優先的に抽出するものとしても良い。一般に、ズーム操作中及びその直後のフレーム画像データの方が、ズーム操作後のフレーム画像データに比べ、動画像としての重要度が高い場合が多い。ズーム操作に基づいて評価値を設定した場合は、ズーム操作中及びその直後のフレーム画像データの集合における評価値の変化率が０以上となり、ズーム操作後のフレーム画像データの集合における評価値の変化率は負となることが多い。ズーム操作の前後には、評価値が同じであっても変化率が正負異なるフレーム画像が存在する。両者を比較すると、たとえ同じ評価値であっても、結果的に評価値の変化率が０以上であるフレーム画像データの集合の方が、評価値の変化率が負のフレーム画像データの集合に比べ、動画像としての重要度が高い場合が多い。従って、このようにすれば、より要約動画像データとして適したフレーム画像データの集合を抽出することができる。
【００４３】
更に、前記所定の条件は、前記評価値の合計値が前記シーン内において最大となることであっても良い。
【００４４】
例えば、評価値が高いフレーム画像データから順に、必要フレーム数分フレーム画像データを抽出すれば、評価値の合計値が最大となる。評価値の合計値が最大となるフレーム画像データの集合を要約動画像データに用いれば、シーン内において評価値の高いフレーム画像データで要約動画像データを構成することができ、望ましい。ちなみに、必要フレーム数分のフレーム画像データの評価値の合計値が最大であれば、その平均値も最大である。
【００４５】
本発明は、動画像処理装置としての構成の他、動画像処理方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００４６】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、動画像処理装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態について、以下の項目に分けて説明する。
Ａ．第一実施例：
Ａ１．動画像処理装置の構成：
Ａ２．評価値の算出：
Ａ３．シーン再生時間の算出及びフレーム群の抽出：
Ａ４．処理：
Ａ５．効果：
Ｂ．第二実施例：
Ｂ１. フレーム群の抽出：
Ｂ２．処理：
Ｂ３．効果：
Ｃ．変形例：
【００４８】
Ａ．第一実施例：
Ａ１．動画像処理装置の構成：
図１は、実施例としての動画像処理装置の概略構成を示す説明図である。左上に動画像処理装置１００を、右及び左下に動画像処理装置１００の機能ブロックを示した。動画像処理装置１００は、複数のフレーム画像データで構成された動画像データから、その要約情報である要約動画像データを、ユーザが指定する再生時間（以下、希望再生時間と呼ぶ）分生成するための装置である。本実施例においては、フレーム画像データが表わす画像をフレーム画像と呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。
【００４９】
動画像処理装置１００は、汎用のパーソナルコンピュータであり、動画像処理装置１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０を備えている。また、動画像処理装置１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
【００５０】
動画像処理装置１００は、所定のオペレーティングシステムの下で動くアプリケーションプログラムにより、図１の機能ブロックとして図示した、要約動画像生成制御部１０２、データ取得部１０４、シーン分割部１０６、動き検出部１０７、評価値算出部１０８、シーン評価値算出部１０９、全評価値算出部１１０、演算部１１１、特定部１１４、抽出部１１５、要約動画像生成部１１６という機能を実現する。これらの機能はハードウェア的に備えていても良い。
【００５１】
以下、各機能について説明する。データ取得部１０４は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスク（図示せず）などから動画像データを読み込み、ＲＡＭ上に動画像データベース１０１を構築する。また、データ取得部１０４は、キーボード１２０やマウス１３０を用いてユーザが入力した要約動画像の希望再生時間も取得し、メモリに記憶させる。
【００５２】
シーン分割部１０６は、動画像のシーンの変わり目を検出し、動画像データをシーンに分割する。動き検出部１０７は、フレーム画像データ間の比較により動きベクトルを求めたり、動きベクトルに基づき動体ブロックを検出したりする。
【００５３】
評価値算出部１０８は、動きベクトルや動体ブロックなどに基づき、フレーム画像データの後述する評価値を算出する。シーン評価値算出部１０９は、シーン内のフレーム画像データの評価値の平均値（以下、シーン評価値と呼ぶ）を算出する。全評価値算出部１１０は、動画像データ内のフレーム画像の評価値の平均値（以下、全評価値と呼ぶ）を算出する。演算部１１１は、シーン評価値と全評価値と希望再生時間から、各シーンの要約動画像における再生時間（以下、シーン再生時間と呼ぶ）を算出する。
【００５４】
特定部１１４は、シーン内において評価値が最大であるフレーム画像データ（以下、最大フレーム画像データと呼ぶ）を特定する。抽出部１１５は、最大フレーム画像データを含む、時系列的に連続したフレーム画像データの集合（以下、フレーム群と呼ぶ）を抽出する。要約動画像生成部１１６は、抽出されたフレーム群をつなぎあわせて要約動画像データを生成し、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスクに出力する。要約動画像生成制御部１０２は、以上の各部の要約動画像生成動作を全体的に制御する。
【００５５】
この他にも、要約動画像データにより要約動画像をディスプレイ１５０に表示させる表示部を備えていても良い。
【００５６】
Ａ２.評価値の算出：
評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれフレーム画像データを評価し、評価値を算出する。
【００５７】
図２は、フレーム画像データの評価値について説明するための説明図である。図２（ａ）は、動画像の５枚のフレーム画像を抜き出して例示した図である。フレーム画像は、左側から時系列的に図示されている。図２（ａ）で示されたフレーム画像は連続しておらず、左側からｎ枚目（ｎ＝１〜４）のフレーム画像とｎ＋１枚目のフレーム画像の間には、動画像において数枚のフレーム画像が存在するが、ここでは図示を省略した。図２（ｂ）〜（ｇ）は、各項目について、フレーム画像データの評価値の時刻変化を示すグラフである。グラフの時刻は、動画像を再生した場合の、再生開始からの経過時間に対応している。グラフは、動画像を再生した場合に、各経過時間において表示されるフレーム画像データの評価値を線で結ぶことにより示した。また、図２（ａ）の各フレーム画像データの評価値が、そのフレーム画像の中央の下の位置付近に表われるようグラフを示した。
【００５８】
図２（ｂ）は、評価値「ズーム」のグラフである。「ズーム」はズーム操作に関する評価値である。ズーム操作とは、被写体を拡大，縮小するカメラ操作である。評価値算出部１０８は、ズーム操作関数，ズーム終了関数という２種類の関数を用いて、評価値「ズーム」を算出する。ズーム操作関数は、ズーム操作が開始されてからの経過時間が大きいほど大きな「ズーム」を出力する、傾きが正の一次関数である。ズーム終了関数は、ズーム操作が開始されてからの経過時間が大きいほど小さな「ズーム」を出力する、傾きが負の一次関数である。
【００５９】
評価値算出部１０８は、ズーム操作が開始された時からズーム操作が終了して３０フレーム経過するまでズーム操作関数を使用し、ズーム操作が終了して３０フレーム経過した時からズーム終了関数を使用する。ズーム終了関数は傾きのみが予め決められている。切片は、ズーム操作関数により求められた最後の「ズーム」に、ズーム終了関数で求められる最初の「ズーム」が一致するよう評価値算出部１０８が求める。評価値算出部１０８は、０以下の値が出力されるまでズーム終了関数を使用する。「ズーム」が０以下の値となった場合は、値０に修正する。評価値算出部１０８は、ズーム操作が開始されてから０以下の「ズーム」が出力されるまでの時間に当てはまらないフレーム画像データの「ズーム」は値０とする。
【００６０】
ズーム操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、ズーム関数を以上のように設定した。ズーム操作が開始された時やズーム操作が終了した時の検出方法については後述する。
【００６１】
ズーム操作において、被写体の像を拡大する操作をズームインと言い、被写体の像を縮小する操作をズームアウトと言う。ズームイン，ズームアウト両方にズーム操作関数，ズーム終了関数は使用される。図２（ａ）のフレーム画像では、左側から一枚目のフレーム画像からズームインが開始され、左側から二枚目のフレーム画像においてズームインが終了している。したがって、図２（ｂ）の評価値「ズーム」は、グラフで示すように変動する。
【００６２】
図２（ｃ）は、評価値「パン」のグラフである。「パン」はパン操作に関する評価値である。パン操作とは、カメラの位置を固定したままカメラの向きを変えて広い範囲を撮影する操作である。評価値算出部１０８は、２つのパン関数という関数により評価値「パン」を算出する。２つのパン関数は、パン操作が開始，終了されたフレーム画像データを検出して使用する、先述した２つのズーム関数と同じ構造の関数である。更に、２つのパン関数を使用する時間の条件も２つのズーム関数と同じである。評価値算出部１０８は、パン関数を使用する時間以外の「パン」は値０と算出する。パン操作中及びその直後のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、パン関数を以上のように設定した。パン操作開始やパン操作終了の検出方法については後述する。図２（ａ）のフレーム画像では、パン操作は行なわれていないので、図２（ｃ）の評価値は、グラフで示すように値０のままである。
【００６３】
図２（ｄ）は、評価値「静止」のグラフである。「静止」は背景の動きに関する評価値である。評価値算出部１０８は、静止関数という関数により評価値「静止」を算出する。静止関数は、背景の動きの大きさ（以下、動きの大きさを単に速さと呼ぶ）が入力されると「静止」を出力する関数である。静止関数は、速さが０に近いほど大きな値を出力する。また、速さが所定値以上になると値０を出力する。背景が静止している場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、静止関数を以上のように設定した。背景の速さの算出方法については、後述する。図２（ａ）のフレーム画像は、左側から二枚目のフレーム画像に至るまでに背景の動きが次第に小さくなり、二枚目のフレーム画像から背景が静止している。したがって、図２（ｄ）の評価値は、グラフで示すように変動する。
【００６４】
図２（ｅ）は、評価値「動体位置」のグラフである。「動体位置」は動体（被写体）の位置に関する評価値である。なお、以下でいう動体は、フレーム画像内で最も大きい動体のことをさしているものとする。評価値算出部１０８は、動体位置関数という関数により評価値「動体位置」を算出する。動体位置関数は、動体のフレーム画像内における位置が入力されると評価値「動体位置」を出力する関数である。動体位置関数は、動体の位置として、フレーム画像の中央に近い値が入力されるほど、大きな値を出力する。また、動体の位置として、フレーム画像の中央を含む所定範囲外の値を入力された場合は、値０を出力する。動体が中央にある場面のフレーム画像は撮影者が特に撮影しようとしたフレーム画像であると考え、動体位置関数を以上のように設定した。動体の位置の算出方法については、後述する。図２（ａ）のフレーム画像では、左側から三枚目のフレーム画像から、次第に動体（人物）がフレーム画像の中央に移動し、四枚目のフレーム画像では動体（人物）はフレーム画像のほぼ中央に位置している。そして、四枚目のフレーム画像から、次第に動体（人物）が中央から左方向に移動している。したがって、図２（ｅ）の評価値は、グラフで示すように変動する。
【００６５】
図２（ｆ）は、評価値「動体大きさ」のグラフである。「動体大きさ」はフレーム画像内の動体の大きさに関する評価値である。評価値算出部１０８は、動体大きさ関数という関数により評価値「動体大きさ」を算出する。動体大きさ関数は、フレーム画像内の動体の大きさが入力されると評価値「動体大きさ」を出力する関数である。動体大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は、値０を出力する。動体が大きく撮影されたフレーム画像は、撮影者が特に撮影しようとしたフレーム画像であると考え、動体大きさ関数を以上のように設定した。動体の大きさの算出方法については、後述する。図２（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に動体が大きくなり、二枚目のフレーム画像から動体は一定の大きさを保っているので、図２（ｆ）の評価値は、グラフで示すように変動する。
【００６６】
図２（ｇ）は、評価値「肌色大きさ」のグラフである。「肌色大きさ」はフレーム画像内の肌色の大きさに関する評価値である。評価値算出部１０８は、肌色大きさ関数という関数により評価値「肌色大きさ」を算出する。肌色大きさ関数は、フレーム画像内の肌色の大きさが入力されると評価値「肌色大きさ」を出力する関数である。肌色大きさ関数は、大きい値が入力されるほど大きな値を出力する。また、所定値以下の値が入力された場合は値０を出力する。肌色が大きく撮影されたフレーム画像は人物がアップで撮影されたフレーム画像であり、撮影者が特に撮影しようとしたフレーム画像であると考え、そのように設定した。肌色の大きさの算出方法については、後述する。図２（ａ）のフレーム画像では、左側から一枚目のフレーム画像から、次第に肌色が大きくなり、二枚目のフレーム画像から肌色は一定の大きさを保っているので、図２（ｇ）の評価値は、グラフで示すように変動する。
【００６７】
以上の、評価値を算出するために用いている関数は、様々に設定可能である。例えば、評価値「静止」を算出するための静止関数は、背景の速さが０になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。動体位置に関しても、動体の位置が中央になってから何番目のフレーム画像データであるかにより、異なる値を出力するものであっても良い。また、以上の評価値以外に、評価値算出部１０８は並進及び動体の動きの速度に関する評価値を算出しても良い。並進とは、マラソン中継のように、動体はフレーム画像の中央に存在し、背景が動いていることである。動体の動きの速度とは、動体の背景に対する相対速度である。動体の動きの速度が所定値以上となった場合は、動体の動きの速度に関する評価値を値０にする。
【００６８】
次に、ズーム操作の開始や終了，パン操作の開始や終了の検出方法について説明する。ズーム操作の開始や終了，パン操作の開始や終了は、動きベクトルに基づいて検出する。動きベクトルとは、フレーム画像を複数に分割してできる各ブロックの絵柄が、１のフレーム画像から他のフレーム画像までの間でどれだけどのように移動しているかを示すベクトルである。ブロックの絵柄が大きく移動しているほど、つまりそのブロックの動きベクトルが大きいほど、そのブロックの絵柄が表わす動体は、速く移動していることになる。動きベクトルの算出方法については、後述し、以下では、動きベクトルが既に算出されているものとして説明する。
【００６９】
図３は、ズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図である。動画像データにおいて、各ブロックの動きベクトルｍが、図３（ａ）のように、フレーム画像の外側から中央に向かい始めた場合、評価値算出部１０８は、そこでズームインを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図３（ａ）のように、フレーム画像の外側から中央に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。
【００７０】
各ブロックの動きベクトルｍが、図３（ｂ）のように、フレーム画像の中央から外側に向かい始めた場合、評価値算出部１０８は、そこでズームアウトを開始したものと判断し、そのフレーム画像データをズーム操作が開始されたフレーム画像データであると検出する。ズーム操作が開始されてから、各ブロックの動きベクトルｍが、図３（ｂ）のように、フレーム画像の中央から外側に向かわなくなった時点で、そのフレーム画像データをズーム操作が終了したフレーム画像データであると検出する。
【００７１】
なお、動画像データの中に、メタデータとして、ビデオカメラのズームボタンが押されているか否かを示すズームボタン操作情報が付いている場合がある。ズーム操作が開始されたフレーム画像データやズーム操作が終了したフレーム画像データは、そのようなズームボタン操作情報に基づいて検出しても良い。
【００７２】
一方、パン操作が開始されたフレーム画像やパン操作を終了したフレーム画像は、フレーム画像全体のズレＳに基づいて検出する。ズレＳとは、１のフレーム画像から他のフレーム画像までの間でフレーム画像全体がどれだけどの方向に移動しているかを示すベクトルである。ビデオカメラの向きを変える速度が大きいほど、ズレＳの大きさは大きくなる。図３（ｃ）のように、時系列的に連続する所定数以上のフレーム画像において、ズレＳの方向が同じ向きになった場合、パン操作が開始されているものと判断する。そして、ズレＳが同じ向きのフレーム画像データのうち、最初のフレーム画像データを、パン操作が開始されたフレーム画像データであると検出する。そして、ズレＳが同じ向きのフレーム画像データのうち、最後のフレーム画像データを、パン操作が終了したフレーム画像であると検出する。
【００７３】
次に、各フレーム画像の背景の速さや動体の位置，動体の大きさの算出方法について説明する。これらの値は、動きベクトルの大きさが所定値を超えているブロックの集合である動体ブロックに基づいて算出する。動体ブロックが表わす絵柄は、動体であると推定できる。フレーム画像内に複数の動体が存在する場合は、動きベクトルの大きさが所定値を超えているブロックをクラスタリングして複数の動体ブロックを求める。図４は、動体ｍｖを示す説明図である。
【００７４】
評価値算出部１０８は、動体ブロック以外のブロック（以下、背景ブロックとよぶ）の動きベクトルの大きさにより、背景の速さを算出する。各背景ブロックの動きベクトルの大きさの合計値を背景の速さとしても良いし、各背景ブロックの動きベクトルの大きさの平均値を背景の速さとしても良い。ここでは、平均値を背景の速さとしている。
【００７５】
評価値算出部１０８は、動体位置として動体ブロックの重心を算出する。また、評価値算出部１０８は、動体ブロックの大きさを動体大きさとして算出する。なお、動体大きさは、動体ブロックが複数の場合には、全動体ブロックの大きさであるものとしても良い。
【００７６】
次に、肌色大きさの検出方法について説明する。肌色の領域は、以下の式で、０．１＜Ｈ＜０．９かつＧ＞Ｂを満たすＲＧＢ値を有する画素の集合として求めることができる。
Ｈ（色相）＝１．７３２（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）  ・・・（１）
Ｓ（彩度）＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／３  ・・・（２）
Ｖ（明度）＝Ｒ＋Ｇ＋Ｂ  ・・・（３）
評価値算出部１０８は、フレーム画像における肌色の画素の数を肌色大きさとして算出する。なお、肌色大きさは、動体ブロックにおける肌色の画素の数としても良い。
【００７７】
次に、以上のようにして求めた評価値をもとに、フレーム群を抽出する方法について説明する。評価値算出部１０８は、以上のように求めた各項目の評価値を、フレーム画像データごとに足し合わせる。
【００７８】
Ａ３．シーン再生時間の算出及びフレーム群の抽出：
図５は、図２を用いて説明した各項目の評価値が合計されて求まる合計の評価値を示す説明図である。以下、評価値とは、この合計の評価値を意味するものとする。図２と同様に、グラフの時刻は、動画像を再生した場合の再生開始からの経過時間に対応し、グラフは、動画像を再生した場合に、各経過時間において表示されるフレーム画像データの評価値を線で結ぶことにより示した。動画像データはシーン分割部１０６によりシーンに分割される。図５の横軸には、シーン毎に名付けたシーン名を併せて記した。シーン名は、動画像データの最初のシーンから順に、シーン１，シーン２，・・・と末尾に連番をふることにより名付けた。なお、図２（ｂ）〜（ｇ）を合計して求まる評価値は、図５では「シーン２」の評価値に相当する。
【００７９】
本実施例では、シーン評価値算出部１０９が算出するシーン評価値は、図中の閾値Ａ以上の評価値の平均値であるものとする。図５では、斜線で示された部分が、シーン評価値の算出対象となるフレーム画像データである。シーン１，シーン２，シーン３についてそれぞれ、図５の斜線で示された部分のフレーム画像データの評価値を平均することにより、シーン評価値を求める。閾値Ａは、各シーンの重要度を適正に評価するために、各シーンに含まれる無駄なフレーム画像データを省くように作用する値であり、０以上で任意に設定可能である。
【００８０】
図６は、シーン評価値を示す説明図である。図６の上側には、シーン１，シーン２，シーン３についてそれぞれ求められた、シーン評価値が棒グラフで示されている。本実施例では、演算部１１１は、閾値Ｂより小さいシーン評価値を有するシーンについては、シーン再生時間は「０」とする。図６では、シーン１のシーン再生時間は「０」となる。閾値Ｂは、要約動画像データへの採用の有無をシーンごとに判断するための基準値であり、０以上の範囲で任意に設定可能である。
【００８１】
また、全評価値は、全評価値算出部が、閾値Ｂ以上のシーン評価値を足し合わせて計算する。図６の例では、全評価値＝（（シーン２のシーン評価値）＋（シーン３のシーン評価値）＋・・・（以下簡単のため省略する））と計算する。図６の中ほどには、全評価値算出部１１０により求められる全評価値を示した。
【００８２】
演算部１１１は、（各シーンのシーン評価値/全評価値）×希望再生時間を計算することにより、各シーンのシーン再生時間を求める。全評価値と希望再生時間は一定なので、計算式からも分かるように、シーン再生時間はシーン評価値に比例する。また、全てのシーンのシーン再生時間を足し合わせると希望再生時間となる。図６の下側には、希望再生時間に対する各シーンのシーン再生時間を表わす図が示されている。シーン１のシーン再生時間は「０」なので、図には表われてこない。図には、シーン再生時間ｔ２やシーン再生時間ｔ３が示され、それより後のシーンのシーン再生時間は簡単のため適宜省略されている。
【００８３】
図７は、フレーム群の抽出について説明する説明図である。図７では、図５と同様に、横軸には時刻が、縦軸にはフレーム画像データの評価値が示されている。抽出部１１５は、演算部１１１で求められたシーン再生時間に相当する数のフレーム画像データをフレーム群として抽出する。その際、最大フレーム画像データを含んで抽出する。また、抽出部１１５は、最大フレーム画像データの前後のフレーム画像データの数の比が、ｔａ：ｔｂ（ｔａ＞ｔｂ）となるフレーム群を抽出する。具体的には、以下のようにする。
【００８４】
図７には、特定部１１４が特定したシーン２の最大フレーム画像データＨ２，シーン３の最大フレーム画像データＨ３が示されている。抽出部１１５は、シーン２の例では、ｔ２×（ｔａ／（ｔａ＋ｔｂ））で求められる数分のフレーム画像データを、最大フレーム画像データＨ２の前から抽出し、ｔ２×（ｔｂ／（ｔａ＋ｔｂ））で求められる数分のフレーム画像データを、最大フレーム画像データＨ２以降から抽出する。
【００８５】
なお、このように抽出する際、フレーム群の最初のフレーム画像データがシーンの最初のフレーム画像データより前になる場合には、フレーム群の最初のフレーム画像データはシーン内の最初のフレーム画像データであるものとして、フレーム群を抽出する。この例として、図７内に点線のシーン再生時間ｔ２を示した。逆に、フレーム群の最後のフレーム画像データがシーンの最後のフレーム画像データより後ろになる場合には、フレーム群の最後のフレーム画像データはシーン内の最後のフレーム画像データであるものとして、フレーム群を抽出する。この例として、図７内に、一点鎖線のｔ２を示した。なお、これらの場合であっても、シーン再生時間に相当する数のフレーム画像データをフレーム群として抽出する。
【００８６】
図７には、抽出されるフレーム群の別の例も併せて示した。図７の斜線部で示されたフレーム画像データの集合が、別の例のフレーム群である。別の例のフレーム群は、抽出部１１５が、シーン再生時間ｔ２に相当する数の連続したフレーム画像データの評価値の合計が最大となるフレーム群を検索して抽出したものである。
【００８７】
Ａ４．処理：
次に、動画像処理装置１００における処理について説明する。図８は、動画像処理装置１００における要約動画像データ生成処理を示す説明図である。まず、動画像処理装置１００は、ユーザの入力により、動画像データや、要約動画像の希望再生時間を取得する（ステップＳ１００）。そして、取得した動画像データをシーン分割する（ステップＳ２００）。シーン分割は、色や輝度のヒストグラム、音声データなどの動画像データの特徴量を用いて、各フレーム画像データを比較するという既知の技術により行なう。
【００８８】
次に、各フレーム画像の動きを検出する（ステップＳ３００）。図９は、各フレーム画像の動き検出処理を示すフローチャートである。本処理において、まず、動画像処理装置１００は、動画像における複数のフレーム画像の中から、動きを検出する対象としての基準フレーム画像ｎを１つ選択し、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）とのフレーム画像全体のズレＳを検出する（ステップＳ３０１）。ズレＳは、例えば、勾配法やパターンマッチング法などの既知の技術を用いることで検出することができる。
ここで検出するズレＳが、先述した、パンを検出するためのズレＳに相当する。
【００８９】
図中には、背景として山が、動体としてボールがフレーム画像（ｎ−１）と基準フレーム画像ｎに撮像されている例を示している。フレーム画像（ｎ−１）と基準フレーム画像ｎとを比較すると、山はフレーム画像の右下に移動しており、ボールはフレーム画像の右方向に移動している。また、ボールの移動量は山の移動量よりも相対的に大きく、フレーム画像内に占める山の面積はボールの面積よりも大きい。ということがわかる。このようなフレーム画像に対して上述した勾配法やパターンマッチング法を適用すると、フレーム画像全体に占める面積の小さいボールのズレよりも、フレーム画像全体に占める面積の割合の大きい山のズレが優先して検出されることとなる。つまり、フレーム画像全体のズレは、山のズレとほぼ一致することとなる。
【００９０】
なお、２つのフレーム間には、上下左右方向の並進ズレと回転方向の回転ズレとが生じうるが、ここでは説明の簡単のため、回転ズレは生じないものとして説明する。
【００９１】
フレーム画像全体のズレＳを検出した後、動画像処理装置１００は、基準フレーム画像ｎとその直前のフレーム画像（ｎ−１）をそれぞれ複数のブロックに分割する（ステップＳ３０２）。図には、それぞれのフレーム画像を横方向に４分割、縦方向に３分割する例を示している。
【００９２】
フレーム画像の分割後、動画像処理装置１００は、基準フレーム画像ｎの各ブロックに対応するフレーム画像（ｎ−１）の各ブロックのズレＳｂを検出し（ステップＳ３０３）、各ブロックのズレＳｂと全体のズレＳとの差分をとることで、各ブロックの動きベクトルｍを算出する（ステップＳ３０４）。ここで算出する動きベクトルｍが、先述した、ズームインやズームアウトを検出するための動きベクトルｍに相当する。図示した例では、ボールが撮像された右上のブロック以外のブロックのズレＳｂは、ステップＳ３０１で検出したフレーム画像全体のズレＳとほぼ等しいためキャンセルされて動きベクトルｍはゼロとなり、右上のブロックの動きベクトルｍのみが検出される。
【００９３】
次に動画像処理装置１００は、動きベクトルｍが所定の閾値を超えるか否かを判断し、所定の閾値を超える動きベクトルｍとなったブロックを動体として検出する（ステップＳ３０５）。ここで検出する動体のブロックが、先述した、静止や動体位置や動体大きさを検出するための動体ブロックに相当する。閾値を設けるものとしたのはブロック間の軽微なズレ（例えば、微小な回転ズレ）を排除するためである。閾値としては、例えば、３０ピクセルなどとすることができる。図示した例では、基準フレーム画像ｎ内の右上のブロックが動体ブロックであるものとして特定される。
【００９４】
以上のステップＳ３０１〜ステップＳ３０５の処理を、動画像データにおける最初のフレーム画像データ以外のすべてのフレーム画像データについて行なう。
【００９５】
再度、図８に戻り説明する。動画像処理装置１００は、次に、ステップＳ３００で検出したズレＳや動きベクトルｍや動体ブロックに基づいて、各フレーム画像データの評価値を算出する（ステップＳ４００）。算出方法は先の項目Ａ２で述べた通りであり、評価値算出部１０８は、ズーム，パン，静止，動体位置，動体大きさ，肌色大きさという項目について、それぞれ評価値を算出する。そして、それらを足し合わせ、評価値を求める。そして、求めた評価値をもとに、各シーンのシーン再生時間を計算する（ステップＳ５００）。
【００９６】
図１０は、各シーンのシーン再生時間の計算処理を示すフローチャートである。まず、各シーンのシーン評価値を計算する（ステップＳ５０２）。
【００９７】
図１１は、各シーンのシーン評価値の計算処理を示すフローチャートである。シーン評価値の計算処理では、まず、動画像データにおける最初のシーンの最初のフレーム画像データについて、評価値が閾値Ａより小さいか否かを調べる（ステップＳ５０４）。評価値が閾値Ａ以上である場合は（ステップＳ５０４：ＮＯ）、シーン評価値の算出対象に、その評価値を加える（ステップＳ５０６）。評価値が閾値Ａより小さい場合は（ステップＳ５０４：ＹＥＳ）、シーン評価値の算出対象に、その評価値を加えない。このことは、図５において閾値Ａを設定し、シーン評価値の算出対象を選別していたことに相当する。
【００９８】
シーンの最後のフレーム画像データまで処理が完了していなければ（ステップＳ５０８：ＮＯ）、シーン内の次のフレーム画像データに移り（ステップＳ５１０）、ステップＳ５０４〜ステップＳ５０８の処理を繰り返す。そして、シーンの最後まで処理が完了したら（ステップＳ５０８：ＹＥＳ）、そのシーンのシーン評価値を計算する（ステップＳ５１２）。つまり、ステップＳ５０６でシーン評価値の算出対象に加えた評価値の平均値を、シーン評価値として算出する。
【００９９】
データの最後まで処理が完了していなければ（ステップＳ５１４：ＮＯ）、動画像データ内の次のシーンに移り（ステップＳ５１６）、ステップＳ５０４〜ステップＳ５１２の処理を繰り返す。データの最後まで処理が完了したら（ステップＳ５１４：ＹＥＳ）、全てのシーンのシーン評価値の計算が完了したので、次の処理に移行する。
【０１００】
再び図１０に戻り説明する。次に、動画像データにおける最初のシーンのシーン評価値が閾値Ｂより小さいか否かを調べる（ステップＳ５１８）。シーン評価値が閾値Ｂより小さい場合は（ステップＳ５１８：ＹＥＳ）、そのシーンのシーン再生時間を「０」とする（ステップＳ５２０）。シーン評価値が閾値Ｂ以上の場合には（ステップＳ５２２）、シーン評価値を全評価値に加える（ステップＳ５２２）。このことは、図６において閾値Ｂを設定し、シーン再生時間の算出対象を選別していたことに相当する。なお、全評価値の初期値は０である。
【０１０１】
データの最後まで処理が完了していなければ（ステップＳ５２４：ＮＯ）、動画像データ内の次のシーンに移り（ステップＳ５２６）、ステップＳ５１８〜ステップＳ５２４の処理を繰り返す。データの最後まで処理が完了したら（ステップＳ５２４：ＹＥＳ）、全評価値を求めることができたので、各シーンのシーン再生時間を計算する（ステップＳ５２８）。計算式は、先述したように（各シーンのシーン評価値/全評価値）×希望再生時間である。
【０１０２】
再度図８に戻り説明する。各シーンのシーン再生時間を計算したら（ステップＳ５００）、次にフレーム群の抽出処理を行なう（ステップＳ６００）。
【０１０３】
図１２は、フレーム群の抽出処理を示すフローチャートである。動画像データにおいて、フレーム群の抽出対象となっている、つまりシーン再生時間が０より大きい、最初のシーンから処理を開始する。まず、シーン内において、最も評価値が高いフレーム画像データＨｎを検出する（ステップＳ６０４）。なお、ｎはシーン名の末尾の番号を表わす。
【０１０４】
そして、シーン内からシーン再生時間に相当するフレーム群を抽出する（ステップＳ６０４）。フレーム群の抽出方法は、図７を用いて説明した。データの最後まで処理が完了していなければ（ステップＳ６０６：ＮＯ）、動画像データ内の次のシーンに移り（ステップＳ６０８）、ステップＳ６０２〜ステップＳ６０６の処理を繰り返す。データの最後まで処理が完了したら（ステップＳ６０６：ＹＥＳ）、次の処理に移行する。
【０１０５】
再び図８に戻り説明する。フレーム群を抽出したら、次に要約動画像データを生成する（ステップＳ７００）。要約動画像データは、抽出したフレーム群をつなぎあわせることにより生成する。そして、生成した要約動画像データを出力する（ステップＳ８００）。出力先は、デジタルビデオカメラ３０やＣＤ−Ｒ／ＲＷドライブ１４０である。ユーザは、出力された要約動画像データをデジタルビデオカメラ３０などで再生することで、要約動画像を見ることができる。
【０１０６】
Ａ５．効果：
以上の実施例の動画像処理装置１００によれば、要約動画像におけるシーンの再生時間をシーン毎に変えるので、希望再生時間に対して、柔軟に、多数のシーンを含んだ要約動画像データを生成することができる。また、本実施例では、シーン評価値が所定値以下の比較的重要でないシーンのシーン再生時間は「０」にして、要約動画像データに使用しないので、他の比較的重要なシーンのシーン再生時間を長くすることができる。更に、最大フレーム画像データを含むフレーム群を抽出することにより、シーン内で特に重要度が高い場面に相当すると思われるフレーム群を容易に抽出することができる。
【０１０７】
Ｂ．第二実施例： 
Ｂ１．フレーム群の抽出：
第二実施例では、フレーム群の抽出に関する実施例を説明する。本実施例においても、抽出部１１５は、演算部１１１が算出したシーン再生時間に相当する数（以下では、単に必要フレーム数と呼ぶ）のフレーム画像データを抽出する。
【０１０８】
図１３は、フレーム画像データの評価値を示す説明図である。演算部１１１は、図１３のフレーム画像データで構成されるシーンのシーン再生時間を、図１３に示されたシーン再生時間ｔｎと算出したものとする。
【０１０９】
第二実施例では、抽出部１１５は、特に重要度の高いフレーム群を抽出するため、評価値が閾値以上のフレーム群を抽出する。但し、必要フレーム数分のフレーム画像データを抽出するため、抽出部１１５は、閾値を調整する。例えば、閾値ｃを用いる場合は、ＣＡＳＥ  ＡでもＣＡＳＥ  Ｂでも、１シーンの中から全くフレーム群が抽出されないので、閾値を調整し（図６の例では、閾値ｃ→閾値ａ又はｂ）、必要フレーム数分のフレーム画像データを抽出する。
【０１１０】
抽出部１１５が閾値ｂを用いた場合は、ＣＡＳＥ  Ｃの１シーンからは、時間Ａに相当するフレーム群（以下、フレーム群Ａとよぶ）と、時間Ｃに相当するフレーム群（以下、フレーム群Ｃとよぶ）と時間Ｄに相当するフレーム群（以下、フレーム群Ｄとよぶ）が抽出される。
【０１１１】
本実施例では、ユーザが認識できる程度に１つの場面が再生される要約動画像データを生成するため、フレーム群は所定数Ｔｈより大きい数分のフレーム画像データで構成されるという条件をつける。その場合、フレーム群Ｄのように、フレーム数が少なく、再生される時間が短いフレーム群は抽出されない。
【０１１２】
本実施例では、抽出されたフレーム群Ａとフレーム群Ｃの間隔（図１３では時間Ｂ）が狭い場合は、時間Ｂに相当するフレーム群（以下、フレーム群Ｂとよぶ）もフレーム群Ａとフレーム群Ｃとあわせて抽出する（図１３のＣＡＳＥ２）。要約動画像が細切れになることを防ぐためである。本実施例では、時間Ｂが５秒より小さい場合、時間が短いと判断する。時間Ｂが所定値Ｔｈｉ以上である場合は、フレーム群Ｂは抽出しない（図１３のＣＡＳＥ１）。また、ＣＡＳＥ  Ｂのように、あわせて抽出するフレーム群（フレーム群Ａ，Ｂ，Ｃの集合）が１シーン内に収まらない場合は、時刻の範囲Ｂが狭くても、フレーム群Ｂは抽出しない。シーンが切れるのでフレーム画像を続けて再生する必要がないからである。
【０１１３】
以下、１シーンはＣＡＳＥ  Ａの場合であり、ＣＡＳＥ１（時間Ｂが所定値Ｔｈｉ以上）であるものとする。抽出部１１５は、時間Ａと時間Ｃを足し合わせても、シーン再生時間ｔｎより短いので、閾値を調整して、再度フレーム群の抽出を行なう。具体的には、閾値ｂを閾値ａに変更して、再度フレーム群を抽出する。
【０１１４】
抽出部１１５が閾値ａを用いた場合は、時間Ｅに相当するフレーム群（以下、フレーム群Ｅとよぶ）が抽出される。時間Ｅはシーン再生時間ｔｎより長いので、抽出部１１５は閾値の調整を終了し、フレーム群Ｅのフレーム画像データ数を調整する。具体的には、時間Ｅがシーン再生時間ｔｎに一致するまで、言い換えれば、フレーム群Ｅのフレーム画像データ数が必要フレーム数となるまで、フレーム群Ｅの後ろ側、前側から交互に１つずつフレーム画像データを除外していく。図１３では、この処理を矢印ｐで表現した。最初に除外するのは、前側のフレーム画像データであっても良いし、後ろ側のフレーム画像データであっても良い。また、フレーム画像データを交互に除外するのではなく、前側からのみ、または後ろ側からのみ除外しても良い。更に、フレーム群Ｅの前側のフレーム画像データの評価値と後ろ側のフレーム画像データの評価値を比較し、評価値が低い方を除外するようにしても良い。
【０１１５】
Ｂ２．処理：
図１４は、第二実施例におけるフレーム群の抽出処理を示すフローチャートである。動画像処理装置１００は、まず閾値を設定する（ステップＳ６２０）。閾値は、予め決められた十分大きな値を設定する。次に、シーン再生時間が「０」ではない最初のシーンにおける各フレーム画像データの評価値を検索して、要約動画像データに含める候補となるフレーム群をすべて抽出する（ステップＳ６２２）。具体的には、すべてのフレーム画像データの評価値が閾値以上であるフレーム群を抽出する。
【０１１６】
次に、抽出したフレーム群の選別を行なう（ステップＳ６２４）。図１５は、フレーム群の選別処理を示すフローチャートである。フレーム群の選別処理では、ステップＳ６２２で抽出したフレーム群が２以上である場合は（ステップＳ６２６：ＹＥＳ）、任意の２つのフレーム群の間隔をチェックする（ステップＳ６２８）。ここでいう間隔とは、２つのフレーム群の間に存在するフレーム画像データの数であり、図６の例では時間Ｂに相当する。
【０１１７】
間隔が所定値Ｔｈｉより小さい場合は（ステップＳ６３０：ＮＯ）、フレーム群を再抽出する（ステップＳ６３２）。再抽出では、間隔が所定値より小さい２つのフレーム群と、それらの間に存在するフレーム画像データとをまとめて１つのフレーム群として、抽出する。図６の例では、フレーム群Ｂのフレーム数が所定値Ｔｈｉより小さい場合は（図１３のＣＡＳＥ２）、時間Ｂに相当するフレーム群もフレーム群Ａとフレーム群Ｃとあわせて抽出することに相当する。ステップＳ６２２で抽出したフレーム群の間隔すべてを調べたら次のステップに進む。なお、ステップＳ６２２で抽出したフレーム群が１以下である場合は（ステップＳ６２６：ＮＯ）、ステップＳ６２８〜ステップＳ６３２の処理は省略する。
【０１１８】
次に、動画像処理装置１００は、抽出したフレーム群の再生時間が所定値Ｔｈより大きいか否かを判別する（ステップＳ６３４）。フレーム画像データ数が所定値以下である場合は（ステップＳ６３４：ＮＯ）、そのフレーム群を要約動画像データの候補から除外する（ステップＳ６３６）。図１３の例では、フレーム群Ｄに相当する。フレーム群の再生時間が所定値Ｔｈより大きい場合は（ステップＳ６３４：ＹＥＳ）、フレーム群を候補に加えたまま、次のステップに進む。
【０１１９】
再度図１４に戻り説明する。次に、動画像処理装置１００は、シーン中の、候補に残ったフレーム群による再生時間の合計が、そのシーンのシーン再生時間ｔｎ以上であるか否かを調べる（ステップＳ６４０）。具体的には、候補に残ったフレーム群のフレーム画像データ数の合計が、必要フレーム数以上であるか否かを調べる。
【０１２０】
フレーム群による再生時間の合計が、シーン再生時間ｔｎより短ければ（ステップＳ６４０：ＮＯ）、閾値を調整し（ステップＳ６４２）、再度シーンの最初に戻る（ステップＳ６４４）。そして、ステップＳ６２２以降の処理を繰り返す。閾値の調整とは、例えば、図１３で閾値ｂから閾値ａに閾値を変更することに相当する。閾値は、一定の幅で減少させることにより調整する。
【０１２１】
フレーム群による再生時間の合計が、シーン再生時間ｔｎ以上であれば（ステップＳ６４０：ＹＥＳ）、フレーム群による再生時間の合計がシーン再生時間ｔｎと一致するまで、フレーム群のフレーム画像データ数を調整する（ステップＳ６４６）。図１３において、フレーム群Ｅのフレーム画像データ数を減少させ、時間Ｅをシーン再生時間ｔｎまで短縮したことに相当する。なお、ステップＳ６４０において、フレーム群による再生時間がシーン再生時間ｔｎと一致している場合は、ステップＳ６４６は省略可能である。
【０１２２】
そして、動画像データの最後まで処理が完了していなければ（ステップＳ６４８：ＮＯ）、次のシーンに移り（ステップＳ６５０）、そのシーンについてステップＳ６２０以降の処理を繰り返す。
【０１２３】
Ｂ３．効果：
以上の第二実施例の動画像処理装置１００によれば、重要度が高いと思われる、要約動画像データに適したフレーム画像データのみを、必要フレーム数分抽出することができる。
【０１２４】
Ｃ．変形例：
以上、本発明の実施例について説明したが、本発明はこれらに限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。例えば、全てのシーンからフレーム群を抽出するために、シーン評価値が所定値以下であっても、そのシーンのシーン再生時間を求め、必要フレーム数分のフレーム群を抽出するものとしても良い。このようにすれば、全てのシーンを含む要約動画像データを生成することができる。
【０１２５】
一方、１シーンの長さが第二実施例で示した所定値Ｔｈ以下である場合は、シーン評価値を計算するまでもなく、そのシーンのシーン再生時間は「０」であるものとしても良い。つまり、短すぎるシーンは要約動画像データには含めないものとしても良い。
【０１２６】
実施例では、要約動画像の希望再生時間をユーザから取得したが、動画像を短縮する割合を取得するものとしても良い。
【０１２７】
第二実施例において、抽出部１１５は、評価値が上昇又は一定値を保持している範囲のフレーム群を抽出するものとしても良い。また、ステップＳ６４０において、フレーム群の再生時間の合計がシーン再生時間ｔｎより小さい場合、すでに抽出されているフレーム群に時系列的に連続しているフレーム画像データを任意の数だけフレーム群と併せて抽出することにより、必要フレーム数分のフレーム画像データを抽出するものとしても良い。
【図面の簡単な説明】
【０１２８】
【図１】実施例としての動画像処理装置の概略構成を示す説明図である。
【図２】フレーム画像データの評価値について説明するための説明図である。
【図３】ズーム操作開始・終了時のフレーム画像データ，パン操作開始・終了時のフレーム画像データの検出方法を示すための説明図である。
【図４】動体ｍｖを示す説明図である。
【図５】各項目の評価値が合計されて求まる合計の評価値を示す説明図である。
【図６】シーン評価値を示す説明図である。
【図７】フレーム群の抽出について説明する説明図である。
【図８】動画像処理装置１００における要約動画像データ生成処理を示す説明図である。
【図９】各フレーム画像の動き検出処理を示すフローチャートである。
【図１０】各シーンのシーン再生時間の計算処理を示すフローチャートである。
【図１１】各シーンのシーン評価値の計算処理を示すフローチャートである。
【図１２】フレーム群の抽出処理を示すフローチャートである。
【図１３】フレーム画像データの評価値を示す説明図である。
【図１４】第二実施例におけるフレーム群の抽出処理を示すフローチャートである。
【図１５】フレーム群の選別処理を示すフローチャートである。
【符号の説明】
【０１２９】
３０...デジタルビデオカメラ
１００...動画像処理装置
１０１...動画像データベース
１０２...要約動画像生成制御部
１０４...データ取得部
１０６...シーン分割部
１０７...動き検出部
１０８...評価値算出部
１０９...シーン評価値算出部
１１０...全評価値算出部
１１１...演算部
１１４...特定部
１１５...抽出部
１１６...要約動画像生成部
１２０...キーボード
１３０...マウス
１４０...ＣＤ−Ｒ／ＲＷドライブ
１５０...ディスプレイ
【図１】
2005277531.tif 000003
【図２】
2005277531.tif 000004
【図３】
2005277531.tif 000005
【図４】
2005277531.tif 000006
【図５】
2005277531.tif 000007
【図６】
2005277531.tif 000008
【図７】
2005277531.tif 000009
【図８】
2005277531.tif 000010
【図９】
2005277531.tif 000011
【図１０】
2005277531.tif 000012
【図１１】
2005277531.tif 000013
【図１２】
2005277531.tif 000014
【図１３】
2005277531.tif 000015
【図１４】
2005277531.tif 000016
【図１５】
2005277531.tif 000017
【手続補正書】
【提出日】平成17年4月12日(2005.4.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
第二実施例では、抽出部１１５は、特に重要度の高いフレーム群を抽出するため、評価値が閾値以上のフレーム群を抽出する。但し、必要フレーム数分のフレーム画像データを抽出するため、抽出部１１５は、閾値を調整する。例えば、閾値ｃを用いる場合は、ＣＡＳＥ  ＡでもＣＡＳＥ  Ｂでも、１シーンの中から全くフレーム群が抽出されないので、閾値を調整し（図１３の例では、閾値ｃ→閾値ａ又はｂ）、必要フレーム数分のフレーム画像データを抽出する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
次に、抽出したフレーム群の選別を行なう（ステップＳ６２４）。図１５は、フレーム群の選別処理を示すフローチャートである。フレーム群の選別処理では、ステップＳ６２２で抽出したフレーム群が２以上である場合は（ステップＳ６２６：ＹＥＳ）、任意の２つのフレーム群の間隔をチェックする（ステップＳ６２８）。ここでいう間隔とは、２つのフレーム群の間に存在するフレーム画像データの数であり、図１３の例では時間Ｂに相当する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
間隔が所定値Ｔｈｉより小さい場合は（ステップＳ６３０：ＮＯ）、フレーム群を再抽出する（ステップＳ６３２）。再抽出では、間隔が所定値より小さい２つのフレーム群と、それらの間に存在するフレーム画像データとをまとめて１つのフレーム群として、抽出する。図１３の例では、フレーム群Ｂのフレーム数が所定値Ｔｈｉより小さい場合は（図１３のＣＡＳＥ２）、時間Ｂに相当するフレーム群もフレーム群Ａとフレーム群Ｃとあわせて抽出することに相当する。ステップＳ６２２で抽出したフレーム群の間隔すべてを調べたら次のステップに進む。なお、ステップＳ６２２で抽出したフレーム群が１以下である場合は（ステップＳ６２６：ＮＯ）、ステップＳ６２８〜ステップＳ６３２の処理は省略する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
次に、動画像処理装置１００は、抽出したフレーム群の再生時間が所定値Ｔｈより大きいか否かを判別する（ステップＳ６３４）。フレーム群の再生時間が所定値Ｔｈ以下である場合は（ステップＳ６３４：ＮＯ）、そのフレーム群を要約動画像データの候補から除外する（ステップＳ６３６）。図１３の例では、フレーム群Ｄに相当する。フレーム群の再生時間が所定値Ｔｈより大きい場合は（ステップＳ６３４：ＹＥＳ）、フレーム群を候補に加えたまま、次のステップに進む。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2005277531.tif 000018