(57)【要約】【課題】  画像再生装置において、複数の画像から代表画像を選択して要約する複数画像の要約方法および装置を提供する。【解決手段】  複数画像の要約方法は、動画像を入力されてショット別基本画像を抽出する段階と、ショット別基本画像のうち代表画像を選択する段階と、選択された代表画像を利用して要約画像を出力する段階と、を含む、あるいは、静止画像を入力されて静止画像のうち代表画像を選択する段階と、選択された代表画像を利用して要約画像を出力する段階と、を含む。複数画像の要約装置は、動画像を入力されて所定数の代表画像を選択する代表画像選択部と、代表画像を入力されて要約する画像要約発生部と、を含む、あるいは、静止画像を入力されて所定数の代表画像を選択する代表静止画像選択部と、代表画像を入力されて静止画像を要約して画像情報と共に出力する静止画像要約発生部と、を含む。【選択図】      図９
2005236993.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）動画像からショット別基本画像を抽出する段階と、
（ｂ）前記抽出されたショット別基本画像から所定数の代表画像を選択する段階と、
（ｃ）前記選択された代表画像を利用して要約された画像を生成する段階と、を含むことを特徴とする複数画像の要約方法。
【請求項２】
前記（ｂ）段階は、
（ｂ１）前記ショット別基本画像を所定の代表画像個数の分類群に分類する段階と、
（ｂ２）前記分類群の各々から代表画像を抽出する段階と、を含むことを特徴とする請求項１に記載の複数画像の要約方法。
【請求項３】
前記（ｂ１）段階は、
（ｂｂ１）各基本画像を０のｄｅｐｔｈを有する一つのノードで構成し、各基本画像の特性値および各基本画像の特性値間の差を計算する段階と、
（ｂｂ２）最上位ノードの特性値間の差が最小値となる２つのノードを選択する段階と、
（ｂｂ３）前記選択された２つのノードを、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結し、前記新たなノードの特性値を計算する段階と、
（ｂｂ４）前記（ｂｂ２）段階および（ｂｂ３）段階を、最上位ノードの個数が前記所定の代表画像個数と同じになるまで反復する段階と、を含むことを特徴とする請求項２に記載の複数画像の要約方法。
【請求項４】
前記（ｂｂ４）段階後に、
（ｂｂ５）各最上位ノードに含まれるショット別基本画像の個数を所定の値ＭＩＮと比較する段階と、
（ｂｂ６）前記ショット別基本画像の個数が所定の値ＭＩＮ以下である最上位ノードが存在する場合、その最上位ノードおよびその最上位ノードの子孫ノードをすべて除去する段階と、
（ｂｂ７）残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する段階と、
（ｂｂ８）前記（ｂｂ７）段階を、最上位ノードの個数が所定の代表画像個数と同じになるまで反復する段階と、
（ｂｂ９）前記（ｂｂ６）段階から（ｂｂ８）段階まで、すべての最上位ノードに含まれるショット別基本画像の個数が所定の値ＭＩＮより大きくなるまで反復する段階と、をさらに具備することを特徴とする請求項３に記載の複数画像の要約方法。
【請求項５】
前記（ｂ２）段階は、
各分類群に属するショット別基本画像の特性値の平均値を計算する段階と、
各ショット別基本画像の特性値と前記平均値との差を計算する段階と、
前記差が最小値となるショット別基本画像を代表画像として選択する段階と、を含むことを特徴とする請求項２に記載の複数画像の要約方法。
【請求項６】
前記（ｂ２）段階は、
各分類群に属するショット別基本画像の特性値の平均値を計算する段階と、
各ショット別基本画像の特性値と前記平均値との差を計算する段階と、
前記差が最小値となる２つのショット別基本画像を選択する段階と、
前記選択された２つの画像のうち所定の条件を満足する画像を代表画像として選択する段階と、を含むことを特徴とする請求項２に記載の複数画像の要約方法。
【請求項７】
前記（ｃ）段階は、
選択された代表画像を、その画像に関する情報を利用して時間順に整列する段階と、
要約された画像および画像情報を出力する段階と、
代表画像の個数が再指定される場合、再指定された代表画像の個数によって選択された代表画像を時間順に整列して、要約された画像および画像情報を出力する段階と、を含むことを特徴とする請求項１に記載の複数画像の要約方法。
【請求項８】
前記（ｃ）段階は、
（ｃ１）選択された代表画像を含むショットの時間の和が所定の時間より長くなるまで、選択される代表画像の個数を増加させる段階と、
（ｃ２）各代表画像について、その代表画像を除外した残りの代表画像が含まれるショット間の時間間隔の標準偏差を計算する段階と、
（ｃ３）前記計算された標準偏差が最小値となる代表画像を除去する段階と、
（ｃ４）残っている代表画像を含むショットの時間の和が所定の時間以下になるまで、前記（ｃ２）および（ｃ３）段階を反復する段階と、を含むことを特徴とする請求項１に記載の複数画像の要約方法。
【請求項９】
（ｘ）複数の静止画像を所定の代表画像個数の分類群に分類する段階と、
（ｙ）前記分類群の各々から代表画像を抽出する段階と、
（ｚ）前記抽出された代表画像を利用して要約された画像を生成する段階と、を含むことを特徴とする複数画像の要約方法。
【請求項１０】
前記（ｘ）段階は、
（ｘ１）各静止画像を０のｄｅｐｔｈを有する一つのノードで構成し、各静止画像の特性値および各静止画像の特性値間の差を計算する段階と、
（ｘ２）最上位ノード間の特性値の差が最小値となる２つのノードを選択する段階と、
（ｘ３）前記選択された２つのノードを、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結し、前記新たなノードの特性値を計算する段階と、
（ｘ４）前記（ｘ２）段階および（ｘ３）段階を、最上位ノードの個数が前記所定の代表画像個数と同じになるまで反復する段階と、を含むことを特徴とする請求項９に記載の複数画像の要約方法。
【請求項１１】
前記（ｘ４）段階後に、
（ｘ５）各最上位ノードに含まれる静止画像の個数を所定の値ＭＩＮと比較する段階と、
（ｘ６）前記静止画像の個数が所定の値ＭＩＮ以下である最上位ノードが存在する場合、その最上位ノードおよびその最上位ノードの子孫ノードをすべて除去する段階と、
（ｘ７）残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する段階と、
（ｘ８）前記（ｘ７）段階を、最上位ノードの個数が所定の代表画像個数と同じになるまで反復する段階と、
（ｘ９）前記（ｘ６）段階から（ｘ８）段階まで、すべての最上位ノードに含まれる静止画像の個数が所定の値ＭＩＮより大きくなるまで反復する段階と、をさらに具備することを特徴とする請求項１０に記載の複数画像の要約方法。
【請求項１２】
前記（ｙ）段階は、
各分類群に属する静止画像の特性値の平均値を計算する段階と、
各静止画像の特性値と前記平均値との差を計算する段階と、
前記差が最小値となる静止画像を代表画像として選択する段階と、を含むことを特徴とする請求項９に記載の複数画像の要約方法。
【請求項１３】
前記（ｙ）段階は、
各分類群に属する静止画像の特性値の平均値を計算する段階と、
各静止画像の特性値と前記平均値との差を計算する段階と、
前記差が最小値となる２つの静止画像を選択する段階と、
前記選択された２つの静止画像のうち所定の条件を満足する静止画像を代表画像として選択する段階と、を含むことを特徴とする請求項９に記載の複数画像の要約方法。
【請求項１４】
動画像を入力されて所定数の代表画像を選択する代表画像選択部と、
前記代表画像を入力されて動画像を要約し、画像情報と共に出力する画像要約発生部と、を含むことを特徴とする複数画像の要約装置。
【請求項１５】
前記代表画像選択部は、
前記入力された動画像からショット別基本画像を抽出して出力する基本画像抽出部と、
前記抽出されたショット別基本画像を入力されて、所定の代表画像個数の分類群に前記ショット別基本画像を分類する画像分類部と、
各分類群に含まれるショット別基本画像からそれぞれ一つの代表画像を選択して出力する分類群別代表画像抽出部と、を含むことを特徴とする請求項１４に記載の複数画像の要約装置。
【請求項１６】
前記画像分類部は、
ショット別基本画像を入力されて、０のｄｅｐｔｈを有する一つのノードで構成する基本ノード構成部と、
各ノードの基本画像の特性値および各特性値間の差を計算する特性値計算部と、
前記計算された特性値の差が最小値となる２つの最上位ノードを選択して、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結する最上位ノード構成部と、を含むことを特徴とする請求項１５に記載の複数画像の要約装置。
【請求項１７】
最上位ノードのうち含むショット別基本画像の個数が所定の値ＭＩＮ以下である最上位ノードおよび、その最上位ノードの子孫ノードをすべて除去する少数分類群除去部と、
残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する分類群分割部と、をさらに具備することを特徴とする請求項１６に記載の複数画像の要約装置。
【請求項１８】
前記分類群別代表画像抽出部は、
各分類群に属するショット別基本画像の特性値の平均値および、各ショット別基本画像の特性値と前記計算された平均値との差を計算し、前記計算された差が最小値となるショット別基本画像を代表画像として選択することを特徴とする請求項１５に記載の複数画像の要約装置。
【請求項１９】
前記分類群別代表画像抽出部は、
各分類群に属するショット別基本画像の特性値の平均値および、各ショット別基本画像の特性値と前記計算された平均値との差を計算し、前記計算された差が最小値となる２つのショット別基本画像を選択した後、２つの基本画像のうち所定の条件を満足する画像を選択することを特徴とする請求項１５に記載の複数画像の要約装置。
【請求項２０】
静止画像を入力されて所定数の代表画像を選択する代表静止画像選択部と、
前記選択された代表画像を利用して、静止画像を要約して、画像情報と共に出力する静止画像要約発生部と、を含むことを特徴とする複数画像の要約装置。
【請求項２１】
前記代表静止画像選択部は、
前記入力された静止画像を、所定の代表画像個数の分類群に分類する静止画像分類部と、
前記分類群の各々に含まれる静止画像のうち一つを代表画像として選択してそれぞれ出力する分類群別代表静止画像抽出部と、を含むことを特徴とする請求項２０に記載の複数画像の要約装置。
【請求項２２】
前記静止画像分類部は、
静止画像を入力されて、０のｄｅｐｔｈを有する一つのノードで構成する静止画像基本ノード構成部と、
各ノードの静止画像の特性値および各特性値間の差を計算する静止画像特性値計算部と、
前記計算された特性値の差が最小値となる２つの最上位ノードを選択して、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結する静止画像最上位ノード構成部と、を含むことを特徴とする請求項２１に記載の複数画像の要約装置。
【請求項２３】
最上位ノードのうち静止画像の個数が所定の値ＭＩＮ以下である最上位ノードと、その最上位ノードの子孫ノードとをすべて除去する静止画像少数分類群除去部と、
残っている最上位ノードのうち、最大値のｄｅｐｔｈを有する最上位ノードを除去する静止画像分類群分割部と、をさらに具備することを特徴とする請求項２２に記載の複数画像の要約装置。
【請求項２４】
前記分類群別の代表静止画像抽出部は、
各分類群に属する静止画像の特性値の平均値および、各静止画像の特性値と前記計算された平均値との差を計算し、前記計算された差が最小値となる静止画像を代表画像として選択することを特徴とする請求項２１に記載の複数画像の要約装置。
【請求項２５】
前記分類群別の代表静止画像抽出部は、
各分類群に属する静止画像の特性値の平均値および、各静止画像の特性値と前記計算された平均値との差を計算し、前記計算された差が最小値となる２つの静止画像を選択した後、２つの静止画像のうち所定の条件を満足する静止画像を選択することを特徴とする請求項２１に記載の複数画像の要約装置。
【請求項２６】
請求項１ないし１３のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置に係り、特に複数の画像（frames）を分類し、分類された画像から代表画像を選択して要約された画像（frame summary）を出力する複数画像の要約方法および装置に関する。
【背景技術】
【０００２】
画像再生装置は、一般に、記憶装置（媒体）に記憶された静止画像や動画像をディスプレイ装置を通じてユーザーが見られるように再生することが主な用途であって、暗号化された画像データを復号（化）して出力する機能を有する。最近では、ネットワーク、デジタル記憶装置、画像圧縮および復元（伸張）の技術が発達するにつれて、デジタル画像を記憶装置に記憶し、それを再生する装置が広く普及しつつある。
【０００３】
大容量の記憶装置に多数のデジタル動画像や静止画像が記憶されている場合、記憶されている画像のうちユーザーが鑑賞したいと思う、または興味のある画像を容易かつ迅速に選択して再生させる機能や、一つの動画像内でユーザーが見てみたいと思うまたは興味のある部分のみを選択して容易かつ迅速に再生および編集できる機能に対するニーズが存在する。このように、ユーザーが動画像の内容を容易かつ迅速に把握できるようにする機能を、画像要約（video summarization）という。
【０００４】
複数画像を要約する方法には、複数の画像から代表画像を選択してそれらを並べ、動画像の場合に代表画像を含むショット（shot、同一場面区間）を示すことがある。選択される代表画像の個数やそれらを並べる方法は、具体的なアプリケーションによってさまざまな態様が考えられる。一般に、代表画像を選択するためには、先ず該当動画像を場面転換によってショットに分け、各ショットから１つまたはそれ以上のショット基本画像（keyframe）を選定する。しかし、一つの動画像内には非常に多くのショットが存在し、それらから得られるショット基本画像の個数も非常に多いため、それらを動画像要約に使用することは適当ではない。したがって、それらショット基本画像を画像間の類似度によって分類して分類群（cluster）を形成し、各分類群から代表画像を選定して最終的に動画像の代表画像を発生させることが、一般的な代表画像選択方法である。分類群を形成するために多様な分類方法が公開されている。そのうちの一つにＬｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ法を連続した画像間に適用する方法（特許文献１参照）があるが、この方法を採用した場合、類似度の低いショット代表画像の対が反復される時に互いに類似度の低い画像が同じ分類群に分類されることになるため、その結果を動画像要約に適用することは適当ではない。また、近接点選択方法を分類群発生に適用する方法（特許文献２参照）も公知であるが、この方法では、最終出力分類群の個数を任意に調節することが難しく、対象画像が分類群に含まれるかどうかを別途のしきい値で定めねばならないため、入力動画像ごとに適当なしきい値を設定しなければならないという問題がある。分類群発生に階層化方法を適用した方法（特許文献３ないし５参照）もある。しかし、それらは一般的な階層化方法を単純適用するか、ベイズの（Ｂａｙｅｓｉａｎ）モデル設定による方法を適用するものなので、動画像が長く、要求される分類群の個数が少ない場合、または設定されたモデルが適用されないビデオの場合、類似度の高い画像を他の分類群に分類してしまう場合が発生する。特に、要求される代表画像の個数が非常に少ない場合にこのような誤りが発生するならば、複数の類似した画像が要約結果に含まれる可能性が生じるため、提供されるビデオ要約機能がユーザーにとって信頼性の低いものになる恐れがある。
【特許文献１】米国特許第５９９５０９５号明細書
【特許文献２】米国特許第６２７８４４６号明細書
【特許文献３】米国特許第５８２１９４５号明細書
【特許文献４】米国特許公開第２００３／００５８２６８号明細書
【特許文献５】米国特許第６５３５６３９号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、前記のような問題点を解決し、複数の静止画像や動画像を任意の個数の画像に要約する機能を行って画像再生装置のユーザーに便利さを提供するために、複数の画像を画像の類似度によって分類し、分類された画像から代表画像を選択して要約された画像を出力する複数画像の要約方法および装置を提供することである。
【課題を解決するための手段】
【０００６】
前述した技術的課題を解決するために本発明による複数動画像要約方法は、（ａ）動画像からショット別基本画像を抽出する段階と、（ｂ）前記抽出されたショット別基本画像から所定数の代表画像を選択する段階と、（ｃ）前記選択された代表画像を利用して要約された画像を生成する段階と、を含むことを特徴とする。前記（ａ）段階は、（ａ１）入力された動画像をショットに分割する段階と、（ａ２）ショット別基本画像を抽出する段階と、を含むことが望ましい。
【０００７】
望ましくは、前記（ｂ）段階は、（ｂ１）前記（複数の）ショット別基本画像を所定の代表画像個数の分類群に分類する段階と、（ｂ２）前記分類群の各々から代表画像を抽出する段階と、を含む。前記（ｂ１）段階は、それぞれの画像を０のｄｅｐｔｈ（深さ情報）を有する一つのノードで構成し、それぞれの画像の特性値および画像間の特性値の差を計算する段階と、最上位ノードの個数が所定の代表画像個数ｓと同じになるまで、最上位ノード間の特性値の差が最小値となる２つのノードを選択し、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに前記選択された２つのノードを連結し、前記新たなノードの特性値を計算する段階を反復する段階とを含むことが望ましい。さらに、引き続き、所定の値ＭＩＮより多いショット別基本画像を含む最上位ノードの個数が所定の代表画像個数ｓと同じになるまで、所定の値ＭＩＮ以下のショット別基本画像を有する最上位ノードおよびその最上位ノードの子孫ノードをすべて除去し、最上位ノードのうちｄｅｐｔｈが最大値を有する最上位ノードを除去する段階と、を反復することが望ましい。
【０００８】
望ましくは、前記（ｂ２）段階は、各分類群に属するショット別基本画像の特性値の平均値を計算する段階と、各ショット別基本画像の特性値と前記平均値との差を計算する段階と、前記差が最小値となるショット別基本画像を代表画像として選択する段階と、を含む。
【０００９】
前記（ｂ２）段階は、各分類群に属するショット別基本画像の特性値の平均値を計算する段階と、各ショット別基本画像の特性値と前記平均値との差を計算する段階と、前記差が最小値となる２つのショット別基本画像を選択する段階と、前記選択された２つの画像のうち所定の条件を満足する画像を代表画像として選択する段階と、を含むことが望ましい。
【００１０】
前記（ｃ）段階は、選択された代表画像およびその画像に関する情報を有して動画像を要約する段階と、要約された画像および画像情報を出力する段階とを含むか、選択された代表画像を、その画像に関する情報を利用して時間順に整列する段階と、要約された画像および画像情報を出力する段階と、代表画像の個数ｓが再指定される場合、再指定された代表画像の個数ｓによって選択された代表画像を時間順に整列して、要約された画像および画像情報を出力する段階と、を含むことが望ましい。また、望ましくは、前記（ｃ）段階は、選択された代表画像を含むショットの時間の和が所定の時間より長くなるまで、選択される代表画像の個数ｓを増加させる段階と、選択される代表画像を含むショットの時間の和が所定の時間以下になるまで、それぞれの代表画像を除外した残りの代表画像を含むショット間の時間差の標準偏差を計算し、代表画像を除外する場合に前記の標準偏差が最小値となる代表画像を除去する段階と、を含むことができる。
【００１１】
前述した技術的課題を解決するために本発明による複数静止画像要約方法は、（ｄ）静止画像を入力されて所定数の代表画像を選択する段階と、（ｅ）選択された代表画像を利用して要約された画像を出力する段階と、を含むことを特徴とする。
【００１２】
前記（ｄ）段階は、（ｄ１）複数の静止画像を所定の代表画像個数の分類群に分割する段階と、（ｄ２）分類群別の代表画像を抽出する段階と、を含むことが望ましい。
【００１３】
望ましくは、前記（ｄ１）段階は、それぞれの画像を０のｄｅｐｔｈを有する一つのノードで構成し、それぞれの画像の特性値および画像間の特性値の差を計算する段階と、最上位ノードの個数が所定の代表画像個数ｓと同じになるまで最上位ノード間の特性値の差が最小値となる２つのノードを選択し、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに前記選択された２つのノードを連結し、前記新たなノードの特性値を計算する段階と、所定の値ＭＩＮより多くの静止画像を含む最上位ノードの個数が所定の代表画像個数と同じになるまで、所定の値ＭＩＮ以下の静止画像を有する最上位ノードおよびその最上位ノードの子孫ノードをすべて除去し、最上位ノードのうちｄｅｐｔｈが最大値を有する最上位ノードを除去する段階と、を含む。
【００１４】
前記（ｄ２）段階は、各分類群に属する静止画像の特性値の平均値を計算する段階と、各静止画像の特性値と前記平均値との差を計算する段階と、前記差が最小値となる静止画像を代表画像として選択する段階と、を含むことが望ましい。
【００１５】
前記（ｄ２）段階は、各分類群に属する静止画像の特性値の平均値を計算する段階と、各静止画像の特性値と前記平均値との差を計算する段階と、前記差が最小値となる２つの静止画像を選択する段階と、前記選択された２つの画像のうち所定の条件を満足する画像を代表画像として選択する段階と、を含むことが望ましい。
【００１６】
望ましくは、前記（ｄ２）段階は、各分類群に属する静止画像の特性値の平均値を計算する段階と、各静止画像の特性値と前記平均値との差を計算する段階と、前記差が最小値となる２つの静止画像を選択する段階と、前記選択された２つの画像のうち所定の条件を満足する画像を代表画像として選択する段階と、を含む。
【００１７】
前述した技術的課題を解決するために本発明による複数動画像要約装置は、動画像を入力されて代表画像を選択する代表画像選択部と、前記代表画像を入力されて動画像を要約して画像情報と共に出力する画像要約発生部と、を含むことを特徴とする。
【００１８】
前記代表画像選択部は、動画像を入力されてショット別基本画像を抽出して出力する基本画像抽出部と、前記ショット別基本画像を入力されて、所定の代表画像個数の分類群にショット別基本画像を分類する画像分類部と、各分類群に含まれるショット別基本画像のうち一つの代表画像を選択して出力する分類群別の代表画像抽出部と、を含むことが望ましい。
【００１９】
前記画像分類部は、ショット別基本画像を入力されて、０のｄｅｐｔｈを有する一つのノードで構成する基本ノード構成部と、各ノードの基本画像の特性値および各特性値間の差を計算する特性値計算部と、前記計算された特性値の差が最小値となる２つの最上位ノードを選択して、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結する最上位ノード構成部と、を含むことが望ましい。
【００２０】
望ましくは、前記最上位ノード構成部は、最上位ノードのうちショット別基本画像の個数が所定の値ＭＩＮ以下である最上位ノードおよび、その最上位ノードの子孫ノードをすべて除去する少数分類群除去部と、残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する分類群分割部と、をさらに具備する。
【００２１】
静止画像を入力されて代表画像を選択する代表静止画像選択部と、前記代表画像を入力されて静止画像を要約して画像情報と共に出力する静止画像要約発生部と、を含む。
【００２２】
望ましくは、前記代表静止画像選択部は、前記静止画像を入力されて、所定の代表画像個数の分類群に静止画像を分類する静止画像分類部と、それぞれの分類群に含まれる静止画像のうち一つの代表画像を選択して出力する分類群別の代表静止画像抽出部と、を含む。
【００２３】
前記静止画像分類部は、静止画像を入力されて、０のｄｅｐｔｈを有する一つのノードで構成する静止画像基本ノード構成部と、各ノードの静止画像の特性値および各特性値間の差を計算する静止画像特性値計算部と、前記計算された特性値の差が最小値となる２つの最上位ノードを選択して、最上位ノードのｄｅｐｔｈのうち最大値に１を加算したｄｅｐｔｈを有する新たなノードに連結する静止画像最上位ノード構成部と、を含むことが望ましい。
【００２４】
前記静止画像最上位ノード構成部は、最上位ノードのうち含む静止画像の個数が所定の値ＭＩＮ以下である最上位ノードと、その最上位ノードの子孫ノードとをすべて除去する静止画像少数分類群除去部と、残っている最上位ノードのうち、最大値のｄｅｐｔｈを有する最上位ノードを除去する静止画像分類群分割部と、をさらに具備することが望ましい。
【発明の効果】
【００２５】
本発明による複数画像の要約方法および装置によれば、画像の要約に当ってユーザーにより要求される分類群個数に適応的に動作するので多様な形態の動画像要約に適用でき、これを通じてユーザーは容易かつ迅速に動画像の内容を把握して選択、保存、編集、管理などの行為を行える。また、本発明は出現頻度の高い場面に該当する画像の分類群から代表画像を選択するために、内容を識別できないか、または出現頻度の少ない画像は画像の要約から除外でき、選択された画像が、相異なる場面に該当する可能性が高くなる。したがって、要約結果についてのユーザーの信頼度が高まる。また、動画像の形式、デコーダの特性、ショット区分方法の特性、画像間類似度関数の特性から独立的に設計されているので、多様な応用環境に適用できる。
【発明を実施するための最良の形態】
【００２６】
以下、添付された図面を参照しつつ本発明による複数画像の要約方法について詳細に説明する。図１は、本発明の一実施形態としての、動画像を要約できる複数画像の要約装置の全体的な構成を示すブロック図である。図１に示すように、本実施形態による複数画像の要約装置は、代表画像選択部１０と、画像要約発生部２０と、ユーザーインターフェース部３０と、動画像復号部４０と、画像保存装置５０と、ディスプレイ部６０とを含んでなる。
【００２７】
前記代表画像選択部１０は、動画像復号部４０から復号化された動画像を入力されて、画像要約発生部２０から提供された所定の代表画像個数にしたがって、その所定個数の代表画像を選択する。前記画像要約発生部２０は、ユーザーが指定した所定の代表画像個数を代表画像選択部１０に提供し、代表画像選択部１０で選択された代表画像を入力されてユーザーの所望の形式の要約された画像をディスプレイ部６０に出力する。
【００２８】
前記ユーザーインターフェース部３０は、ユーザーの操作によって発生するデータを前記画像要約発生部２０に提供する。前記動画像復号部４０は、画像保存装置５０に保存された暗号化された動画像データを復号化して前記代表画像選択部１０に提供する。前記画像保存装置５０は、暗号化された動画像データを保存する。前記ディスプレイ部６０は、ユーザーの要求に応じて要約された画像を画像要約発生部２０から入力されて、ユーザーが見られるようにディスプレイする。
【００２９】
図２は、動画像を入力されて所定数の代表画像を選択する代表画像選択部１０（図１参照）の構成をさらに具体的に示すブロック図である。図２に示すように、本実施形態の代表画像選択部１０Ａは、基本画像抽出部１００と、画像分類部１１０と、分類群別の代表画像抽出部１２０とを含んでなる。
【００３０】
前記基本画像抽出部１００は、前記動画像復号部４０から動画像を入力されてショット別基本画像を抽出して出力する。前記画像分類部１１０は、基本画像抽出部１００からショット別基本画像を入力されて、前記画像要約発生部２０から提供された所定の代表画像個数の分類群にショット別基本画像を分類する。前記分類群別の代表画像抽出部１２０は、分類されたショット別基本画像を画像分類部１１０から受けて、それぞれの分類群に含まれるショット別基本画像のうち一つの代表画像を選択して出力する。
【００３１】
図３は、動画像を入力されて所定数の分類群に分類する画像分類部１１０（図２参照）の構成をさらに具体的に示すブロック図である。図３に示すように、本実施形態の画像分類部１１０Ａは、基本ノード構成部１３０と、特性値計算部１４０と、最上位ノード構成部１５０とを含んでなる。
【００３２】
前記基本ノード構成部１３０は、基本画像抽出部１００からショット別基本画像を入力されて、それぞれｄｅｐｔｈ０の基本ノードを構成する。前記特性値計算部１４０は、各最上位ノードに含まれる基本画像の特性値およびその特性値間の差を計算する。前記最上位ノード構成部１５０は、前記計算された特性値の差が最小値となる、すなわち最も類似度の高い２つの最上位ノードを選択して１だけ増加したｄｅｐｔｈを有する新たな最上位ノードに連結する。
【００３３】
図４は、特性値の差が最小値となる２つのノードを一つの最上位ノードに連結する最上位ノード構成部１５０（図３参照）に付加される装置の構成をさらに具体的に示すブロック図である。図４に示すように、本実施形態の最上位ノード構成部１５０Ａは、少数分類群除去部１６０と、分類群分割部１７０とをさらに具備してなる。
【００３４】
前記少数分類群除去部１６０は、最上位ノード構成部１５０から入力された最上位ノードのうち、含むショット別基本画像の個数が所定の値ＭＩＮ以下である最上位ノードとその最上位ノードの子孫ノードとをすべて除去する。前記分類群分割部１７０は、ノードを除去した後に残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する。
【００３５】
図５は、本発明の他の実施形態としての、静止画像を要約できる複数画像の要約装置の全体的な構成を示すブロック図である。図５に示すように、本実施形態による複数画像の要約装置は、代表静止画像選択部２００と、静止画像要約発生部２１０と、静止画像ユーザーインターフェース部２２０と、静止画像保存装置２３０と、ディスプレイ部２３５とを含んでなる。
【００３６】
前記代表静止画像選択部２００は、静止画像保存装置２３０から静止画像を入力されて、静止画像要約発生部２１０から提供された所定の代表画像個数によって代表画像を選択する。前記静止画像要約発生部２１０は、ユーザーが指定した所定の代表画像個数を前記代表静止画像選択部２００に提供し、代表静止画像選択部２００で選択された代表画像を入力されて要約された画像をディスプレイ部２３５に出力する。
【００３７】
前記静止画像ユーザーインターフェース部２２０は、ユーザーの操作によって発生するデータを前記静止画像要約発生部２１０に提供する。前記静止画像保存装置２３０は静止画像データを保存する。前記ディスプレイ部２３５は、要約された画像を静止画像要約発生部２１０から入力されてユーザーが見られるようにディスプレイする。
【００３８】
図６は、静止画像を入力されて所定数の代表画像を選択する代表静止画像選択部２００（図５参照）の構成をさらに具体的に示すブロック図である。図６に示すように、本実施形態の代表静止画像選択部２００Ａは、静止画像分類部２４０と、分類群別の代表静止画像抽出部２５０とを含んでなる。
【００３９】
前記静止画像分類部２４０は、静止画像保存装置２３０から静止画像を入力されて、前記静止画像要約発生部２１０から提供された所定の代表画像個数の分類群に静止画像を分類する。前記分類群別の代表静止画像抽出部２５０は、分類された静止画像を静止画像分類部２４０から受けて、それぞれの分類群に含まれる静止画像のうち一つの代表画像を選択して出力する。
【００４０】
図７は、静止画像を入力されて所定数の分類群に分類する静止画像分類部２４０（図６参照）の構成をさらに具体的に示すブロック図である。図７に示すように、本実施形態の静止画像分類部２４０Ａは、静止画像基本ノード構成部２５５と、静止画像特性値計算部２６０と、静止画像最上位ノード構成部２７０とを含んでなる。
【００４１】
前記静止画像基本ノード構成部２４０Ａは、静止画像を入力されてそれぞれｄｅｐｔｈ０の基本ノードを構成する。前記静止画像特性値計算部２６０は、各最上位ノードに含まれる静止画像の特性値およびその特性値間の差を計算する。前記静止画像最上位ノード構成部２６５は、前記計算された特性値の差が最小値となる、すなわち、最も類似度の大きい２つの最上位ノードを選択して、１だけ増加したｄｅｐｔｈを有する新たな最上位ノードに連結する。
【００４２】
図８は、特性値の差が最小値となる２つのノードを一つの最上位ノードに連結する静止画像最上位ノード構成部２６５（図７）に付加される装置の構成をさらに具体的に示すブロック図である。図８に示すように、静止画像最上位ノード構成部２６５Ａは、静止画像少数分類群除去部２７０と、静止画像分類群分割部２７５とをさらに具備してなる。
【００４３】
前記静止画像少数分類群除去部２７０は、静止画像最上位ノード構成部２６５から入力された最上位ノードのうち、静止画像の個数が所定の値ＭＩＮ以下である最上位ノードとその最上位ノードの子孫ノードとをすべて除去する。前記静止画像分類群分割部２７５は、ノードを除去した後に残っている最上位ノードのうち最大値のｄｅｐｔｈを有する最上位ノードを除去する。
【００４４】
図９ないし図２０は、本発明による複数の画像を要約できる装置の動作を示すフローチャートであり、これを参照して本発明のさらに他の実施形態としての複数の画像の要約方法を説明する。
【００４５】
図９は、本発明による複数画像の要約装置の全体的な動作を示すフローチャートである。まず、動画像復号部４０から復号化された動画像を入力されてショット別基本画像を抽出する（２９０段階）。抽出されたショット別基本画像のうちユーザーが指定した所定数の代表画像を選択する（３００段階）。次いで、選択された代表画像を利用して要約された画像を出力する（３１０段階）。
【００４６】
図１０は、動画像を入力されてショット別基本画像を抽出する過程（図９の２９０段階に相当する２９０Ａ段階）をさらに具体的に示すフローチャートである。まず、入力された動画像の場面転換を探知して場面転換境界でに区分される同一場面区間の時間情報を得ることによって、ショットに分割する（３２０段階）。次いで、ショット別基本画像を抽出する（３３０段階）。前記ショット別基本画像を抽出する方法には、ショットの固定された位置、たとえば、ショットの最初の画像、最後の画像または中間画像などを選択して抽出するか、動きの少ない画像または像の明瞭な画像または顔があざやかに存在する画像を選択する方法がある。
【００４７】
図１１は、ショット別基本画像のうち代表画像を選択する過程（図９の３００段階に相当する３００Ａ段階）をさらに具体的に示すフローチャートであり、まず複数のショット別基本画像を、画像要約発生部２０から提供されたユーザーが指定した所定の代表画像個数の分類群に分割した後（３４０段階）、各分類群から一つずつの分類群別の代表画像を抽出する（３５０段階）。
【００４８】
図１２は、複数の画像を所定の代表画像個数の分類群に分割する過程（図１１の３４０段階に相当する３４０Ａ段階）をさらに具体的に示すフローチャートである。まず、前記基本画像抽出部１００から抽出されたショット別基本画像をそれぞれ一つのノードで構成し（３６０段階）、前記構成の最初のノードにはｄｅｐｔｈを０と設定する（３７０段階）。次いで、各基本画像の特性値をスカラーまたはベクトルで表し、各基本画像間の特性値の差を計算する（３８０段階）。前記画像の特性値は、該当画像のカラーヒストグラムベクトルで定義できる。次いで、前記計算した特性値の差が最も小さな２つのノードを選択し（３９０段階）、選択された２つのノードを連結する新たなノードを追加する（４００段階）。新たなノードでは、既存のノードに設定されたｄｅｐｔｈのうち最大値に１を加算した値を深さ情報と設定する（４１０段階）。次いで、新たに追加されたノードの特性値を計算し（４２０段階）、追加されたノードを含む全体最上位ノードの個数が、ユーザーが指定した所定の代表画像の個数と同じかどうかを比較して（４３０段階）、同一でない場合（４３０段階で「いいえ」）には、前記３９０段階から４２０段階までの段階を反復する。最上位ノードの個数と所定の代表画像個数とが同じ場合（４３０段階で「はい」）には、それぞれの最上位ノードに含まれるショット別基本画像の個数Ｍ（Ｎ）が、あらかじめ設定された所定の最小画像包含個数ＭＩＮより多いかどうかを確認する（４４０段階）。最小画像包含個数ＭＩＮは、ショット別基本画像個数を最上位ノードの個数で割った値に所定の０〜１の値を乗算して設定される。一つの最上位ノードでも前記条件を満足できない場合（４４０段階で「いいえ」）には、条件を満足できない最上位ノードおよびその最上位ノードの下部に連結されたすべての子孫ノードを除去し（４５０段階）、残った最上位ノードのうちｄｅｐｔｈの最も大きい最上位ノードを選択してその最上位ノードを除去した後（４６０段階）、最上位ノードの個数を確認して最上位ノードの個数が所定の代表画像個数と同じになるまで４６０段階を反復する（４７０段階）。次いで、すべての最上位ノードに含まれるショット別基本画像の個数Ｍ（Ｎ）があらかじめ設定された所定の最小画像包含個数ＭＩＮより多くなる（４４０段階で「はい」）まで、４５０段階から４７０段階までを反復する。
【００４９】
図１３および図１４は、分類群別の代表画像を抽出する過程（図１１の３５０段階）をさらに具体的に示すために図示したフローチャートである。まず、図１３に示すように、３５０Ａ段階として、各分類群に属するショット別基本画像の特性値の平均値を計算した後（５００段階）、各ショット別基本画像の特性値と前記平均値との差を計算し（５１０段階）、前記計算した差が最小値となるショット別基本画像を代表画像として選択する（５２０段階）。また、分類群別の代表画像を抽出する具体的な過程（３５０Ｂ段階）は、各分類群に属するショット別基本画像の特性値の平均値を計算した後（５３０段階）、各ショット別基本画像の特性値と前記平均値との差を計算し（５４０段階）、前記計算した差が最小値となる２つのショット別基本画像を選択して（５５０段階）、前記選択された２つの画像のうち所定の条件、例えば、動きが少ないか、または顔があざやかに存在する画像を代表画像として選択できる（５６０段階）。
【００５０】
図１５は、選択された代表画像を利用して要約された画像を出力する過程（図９の３１０段階）をさらに具体的に示すフローチャートである。要約画像出力段階３１０Ａでは、まず、前記画像要約発生部２０は、代表画像選択部１０にユーザーが指定した所定の代表画像個数を提供し（６００段階）、それにより、代表画像選択部１０から選択された代表画像および画像情報を入力されて（６１０段階）、代表画像を用いて最終的に画像を要約した後（６２０段階）、出力のために要約された画像および画像情報をディスプレイ部６０に提供する（６３０段階）。
【００５１】
図１６は、前記図１５で表した代表画像を利用して要約された画像を出力する過程による画像要約形式（ビデオタグ）の具体例である。
【００５２】
図１７は、選択された代表画像を利用して要約された画像を出力する過程（図９の３１０段階）をさらに具体的に示すフローチャートである。要約画像出力段階３１０Ｂでは、まず、前記画像要約発生部２０は、代表画像選択部１０にユーザーが指定した所定の代表画像個数を提供し（６４０段階）、それにより、代表画像選択部１０から選択された代表画像および画像情報を入力されて（６５０段階）、選択された代表画像を画像情報に含まれた時間情報を利用して時間順に整列した後（６６０段階）、出力のために要約された画像および画像情報をディスプレイ部６０に提供する（６７０段階）。ディスプレイ部６０で提示された情報に基づき、ユーザーが代表画像の個数を再指定する（６８０段階で「はい」）と、前記６４０段階から６７０段階までを反復し、ユーザーが代表画像の個数を再指定しなければ（６８０段階で「いいえ」）処理を終了する。
【００５３】
図１８は、前記図１７で示した代表画像を利用して要約された画像を出力する過程による画像要約形式（ストーリーボード）の具体例である。
【００５４】
図１９は、選択された代表画像を利用して要約された画像を出力する過程（図９の３１０段階）をさらに具体的に示すフローチャートである。要約画像出力段階３１０Ｃでは、まず、前記画像要約発生部２０は、代表画像選択部１０にユーザーが指定した所定の代表画像個数を提供し（６９０段階）、それにより、代表画像選択部１０から選択された代表画像および画像情報を入力されて（７００段階）、選択された代表画像を含むショットの時間の和Ｔｓを計算する（７１０段階）。前記ショットの時間の和Ｔｓが、ユーザーがあらかじめ設定した所定の時間Ｔｄ以下である場合（７２０段階で「いいえ」）には、代表画像の個数ｓを増加させた後（７３０段階）、前記６９０段階から７１０段階までを反復し、Ｔｓ＞Ｔｄとなったら（７２０段階で「はい」）７４０段階に進む。次いで、各代表画像を除外した残りの代表画像を含むショット間の時間差の標準偏差Ｄを計算し（７４０段階）、前記計算した標準偏差が最小値となる代表画像が含まれるショットを選択して除外した後（７５０段階）、残っているショットの時間和Ｔｓを計算する（７６０段階）。ショットの時間和Ｔｓがユーザーのあらかじめ設定した所定の時間Ｔｄ以下になる（７７０段階で「いいえ」）まで、前記７４０段階から７６０段階までを反復し、ＴｓがＴｄを超えた時点で（７７０段階で「いいえ」）処理を終了する。
【００５５】
図２０は、本発明による複数静止画像の要約装置の全体的な動作を示すために図示したフローチャートである。まず、静止画像保存装置２３０から静止画像を入力されて、静止画像要約発生部２１０から提供されたユーザー指定代表画像個数によって代表画像を抽出する（８００段階）。次いで、選択された代表画像を利用して最終的な要約された画像を出力する（８１０段階）。
【００５６】
前記所定の代表画像個数によって静止画像のうち代表画像を抽出する過程（８００段階）は、前記図１１ないし図１４のフローチャートを参照して説明した動画像を入力されて代表画像を抽出する過程のうち、ショット別基本画像入力を静止画像に替えた過程であるため、重複説明は省略する。
【００５７】
以上、本発明の望ましい実施例について詳細に記述したが、当業者ならば、特許請求の範囲に定義された本発明の精神および範囲に逸脱せずに本発明を多様に変形または変更して実施できることが分かるであろう。
【産業上の利用可能性】
【００５８】
本発明は画像再生関連の技術分野に好適に利用される。
【図面の簡単な説明】
【００５９】
【図１】本発明による動画像を要約できる複数画像の要約装置の全体的な構成を示すブロック図である。
【図２】動画像を入力されて代表画像を選択する代表画像選択部の構成をさらに具体的に示すブロック図である。
【図３】動画像を入力されて所定数の分類群に分類する画像分類部の構成をさらに具体的に示すブロック図である。
【図４】特性値の差が最小値となる２つのノードを一つの最上位ノードに連結する最上位ノード構成部に付加される装置の構成をさらに具体的に示すブロック図である。
【図５】本発明による静止画像を要約できる複数画像の要約装置の全体的な構成を示すブロック図である。
【図６】静止画像を入力されて代表画像を選択する代表静止画像選択部の構成をさらに具体的に示すブロック図である。
【図７】静止画像を入力されて所定数の分類群に分類する静止画像分類部の構成をさらに具体的に示すブロック図である。
【図８】特性値の差が最小値となる２つのノードを一つの最上位ノードに連結する静止画像最上位ノード構成部に付加される装置の構成をさらに具体的に示すブロック図である。
【図９】本発明による複数画像の要約装置の全体的な動作を示すフローチャートである。
【図１０】動画像を入力されてショット別基本画像を抽出する過程をさらに具体的に示すフローチャートである。
【図１１】ショット別基本画像のうち代表画像を選択する過程をさらに具体的に示すフローチャートである。
【図１２】複数の画像を所定の代表画像個数ｓの分類群に分割する過程をさらに具体的に示すフローチャートである。
【図１３】分類群別の代表画像を抽出する過程をさらに具体的に示すフローチャートである。
【図１４】分類群別の代表画像を抽出する過程をさらに具体的に示すフローチャートである。
【図１５】選択された代表画像を利用して要約された画像を出力する過程をさらに具体的に示すフローチャートである。
【図１６】画像要約形式のうちビデオタグの具体例である。
【図１７】選択された代表画像を利用して要約された画像を出力する過程をさらに具体的に示すフローチャートである。
【図１８】画像要約形式のうちストーリーボードの具体例を示す図面である。
【図１９】選択された代表画像を利用して要約された画像を出力する過程をさらに具体的に示すフローチャートである。
【図２０】本発明による複数静止画像の要約装置の全体的な動作を示すフローチャートである。
【符号の説明】
【００６０】
１０、１０Ａ    代表画像選択部
２０    画像要約発生部
３０    ユーザーインターフェース部
４０    動画像復号部
５０    画像保存装置
６０    ディスプレイ部
１００  基本画像抽出部
１１０、１１０Ａ  画像分類部
１２０  分類群別代表画像抽出部
１３０  基本ノード構成部
１４０  特性値計算部
１５０、１５０Ａ  最上位ノード構成部
１６０  少数分類群除去部
１７０  分類群分割部
２００、２００Ａ  代表静止画像選択部
２１０  静止画像要約発生部
２２０  静止画像ユーザーインターフェース部
２４０、２４０Ａ  静止画像分類部
２５０  分類群別代表静止画像抽出部
２５５  静止画像基本ノード構成部
２６０  静止画像特性値計算部
２６５、２６５Ａ  静止画像最上位ノード構成部
２７０  静止画像少数分類群除去部
２７５  静止画像分類群分割部
【図１】
2005236993.tif 000003
【図２】
2005236993.tif 000004
【図３】
2005236993.tif 000005
【図４】
2005236993.tif 000006
【図５】
2005236993.tif 000007
【図６】
2005236993.tif 000008
【図７】
2005236993.tif 000009
【図８】
2005236993.tif 000010
【図９】
2005236993.tif 000011
【図１０】
2005236993.tif 000012
【図１１】
2005236993.tif 000013
【図１２】
2005236993.tif 000014
【図１３】
2005236993.tif 000015
【図１４】
2005236993.tif 000016
【図１５】
2005236993.tif 000017
【図１６】
2005236993.tif 000018
【図１７】
2005236993.tif 000019
【図１８】
2005236993.tif 000020
【図１９】
2005236993.tif 000021
【図２０】
2005236993.tif 000022