(57)【特許請求の範囲】
【請求項１】
オーディオ情報またはビデオ情報またはオーディオビデオ情報（以下、「オーディオ／ビデオ」と記す）の概要情報の記述方法において、
圧縮または非圧縮の複数のオーディオ／ビデオコンテンツに関して、該コンテンツの一部である単一または複数の区間をオーディオ／ビデオスライドの構成要素とし、少なくとも該区間の区間情報をオーディオ／ビデオスライドとして外部の記述ファイルに時系列に記述し、該区間情報には時間以外の情報も記述できるようにし、該記述ファイルに該構成要素の原オーディオ／ビデオコンテンツとの関係に関する記述を含めることを特徴とするオーディオ／ビデオの概要情報の記述方法。
【請求項２】
オーディオ情報またはビデオ情報またはオーディオビデオ情報（以下、「オーディオ／ビデオ」と記す）の概要情報の記述方法において、
圧縮または非圧縮の複数のオーディオ／ビデオコンテンツに関して、該コンテンツの一部である単一または複数の区間をオーディオ／ビデオスライドの構成要素とし、該区間を個別のファイルとし、少なくとも該ファイルの集合をオーディオ／ビデオスライドとして外部の記述ファイルに時系列に記述し、該記述ファイルに該構成要素の原オーディオ／ビデオコンテンツとの関係に関する記述を含めることを特徴とするオーディオ／ビデオの概要情報の記述方法。
【請求項３】
オーディオ情報またはビデオ情報またはオーディオビデオ情報（以下、「オーディオ／ビデオ」と記す）の概要情報の記述方法において、
圧縮または非圧縮の複数のオーディオ／ビデオコンテンツに関して、該コンテンツの一部である単一または複数の区間をオーディオ／ビデオスライドの構成要素とし、複数のオーディオ／ビデオコンテンツに関する該区間の集合を単一の合成ファイルとして統合し、
少なくとも該合成ファイルの個別区間をオーディオ／ビデオスライドとして外部の記述ファイルに時系列に記述し、該記述ファイルに該構成要素の原オーディオ／ビデオコンテンツとの関係に関する記述を含めることを特徴とするオーディオ／ビデオの概要情報の記述方法。
【請求項４】
請求項１ないし３のいずれかに記載のオーディオ／ビデオの概要情報の記述方法において、
前記構成要素の原オーディオ／ビデオコンテンツとの関係に関する記述は、該構成要素が属する原オーディオ／ビデオコンテンツの識別子に関する記述であることを特徴とするオーディオ／ビデオの概要情報の記述方法。
【請求項５】
請求項１ないし４のいずれかに記載のオーディオ／ビデオの概要情報の記述方法により構成されたオーディオ／ビデオスライドの閲覧方法において、
該オーディオ／ビデオスライドの構成要素に関連付けられた原オーディオ／ビデオコンテンツと、該オーディオ／ビデオスライドの相互遷移を行うことを特徴とする閲覧方法。
【請求項６】
請求項１ないし４のいずれかに記載のオーディオ／ビデオの概要情報の記述方法により構成されたオーディオ／ビデオスライドの閲覧方法において、
オーディオ／ビデオスライドの再生中に、該オーディオ／ビデオスライド構成要素の記述情報を用いて、該当する原オーディオ／ビデオコンテンツに関して記述されている情報の表示を可能としたことを特徴とする閲覧方法。
【請求項７】
請求項１ないし４のいずれかに記載のオーディオ／ビデオの概要情報の記述方法により構成されたオーディオ／ビデオスライドの閲覧方法において、
オーディオ／ビデオスライドの再生中に、該オーディオ／ビデオスライド構成要素の記述情報を用いて、該当する原オーディオ／ビデオコンテンツの再生を行うことを特徴とする閲覧方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮または非圧縮のオーディオ／ビデオ情報（オーディオ情報またはビデオ情報またはオーディオビデオ情報）の概要情報（サマリ）の記述方法および閲覧方法に関し、特に、オーディオ／ビデオデータに付加する特徴情報としての概要情報の構成および閲覧方法に関するものである。また、本発明は、時系列に並んだオーディオ／ビデオの小区間またはフレームを連続的に提示することにより、オーディオ／ビデオ情報の高速且つ高機能な閲覧を提供することが可能なオーディオ／ビデオ情報の概要情報の記述方法および閲覧方法に関するものである。
【０００２】
【従来の技術】
オーディオビデオ情報の特徴記述については、現在ISO （国際標準化機構）／IEC （国際電気標準会議）におけるMPEG-7（Motion Picture Coding Experts Group phase 7 ）で標準化が行われている。MPEG-7では、圧縮または非圧縮のオーディオビデオ情報に対して、効率的な検索を可能とするためのコンテンツ記述子、記述スキーム及び記述定義言語について標準化が行われている。
【０００３】
MPEG-7では様々な観点からの特徴記述が標準化されているが、その項目の中で、例えばオーディオビデオ情報の高速且つ効率的な閲覧を可能とするサマリ記述については、オーディオビデオ情報を意味的な区分に分割したショットに対して、ショットを代表する画像（キーフレーム）を特定し、その時間位置またはファイル名を特徴記述ファイルに時系列に記述する方式が規定されている。
【０００４】
アプリケーション側では例えば、これを連続的に一定または任意の時間間隔で提示することにより、スライドショーのような高速な閲覧を可能とし、オーディオビデオ情報の概要把握を提供することができる。以下では、このようなサマリを「スライドサマリ」と呼ぶ。
【０００５】
図８及び図９を参照して、従来のスライドサマリ情報記述方式について説明する。図８は、あるメディアファイルのスライドサマリを構成し、スライドサマリの記述を行うための一例について説明している。まず、オーディオやビデオなどのメディアファイル（ここではビデオを想定する）が入力されると、ショットまたはシーン検出アルゴリズムにより、第１のショットまたはシーンが定義される。このショットまたはシーンに対して、キーフレーム検出アルゴリズムを適用することにより、第１のショットまたはシーンにおけるキーフレームが決定する。
【０００６】
決定されたキーフレームの原メディアファイルでの位置が、ファイル先頭からのフレーム番号またはファイル先頭からの時間コードなどにより「メディア時間」としてスライドサマリファイルに記述される。ただし、スライドサマリ記述ファイルにおいては、各スライド要素の先頭にスライド要素ヘッダが記述されている。また、オプションにより、上記で決定されたキーフレームを別ファイルとして保存する場合には、保存したキーフレームファイル名を「スライド要素ファイル名」としてスライドサマリ記述ファイルに記述する。
【０００７】
これが第１のショットまたはシーンに対するスライド構成要素を記述するための手順であり、これらの手順を、メディアファイルの最後のショットまたはシーンまで繰り返す。なお、スライドの構成要素数を減少させるために、メディアファイルでのショット／シーン検出時に、適宜時間的なサブサンプリングを行うこともできる。
【０００８】
図９(a) 〜(b) は、図８で示した従来のスライドサマリ記述におけるあるスライドサマリの例を示している。オリジナルのコンテンツに対して、先頭からシーン１、シーン２、シーン３、…が定義され、それぞれオリジナルでの区間が時間コードとして、図９(a) (b) のように定義されているものとする。また、スライドの構成要素は、それぞれのシーンに対して時間コードまたは外部ファイル名として同図(a) (b) のように与えられているとする。これらのスライド構成要素の、オリジナルコンテンツにおける時間コードが、「メディア時間」として記述される。
【０００９】
図９(c) にスライドサマリの実際の記述例を示す。このコンテンツのスライドサマリは、まずKeyFrame1 、KeyFrame2 、KeyFrame3 、…と時系列に連続して表示される。それぞれの構成要素の表示時間としては、一定時間を選択したり、各シーンの長さに比例した時間を割り当てたり、予め設定されたシーンの優先度などに基づいて決定された時間を割り当てたりすることができる。
【００１０】
このように、従来技術ではスライド構成要素がオリジナルコンテンツのどの部分に属するかという情報は記述されるが、各スライド構成要素が属するシーンの時間区間などを記述する枠組みは存在しない。
【００１１】
【発明が解決しようとする課題】
従来のオーディオビデオ情報に関する特徴記述のうち、上記のスライドサマリ記述については、オーディオビデオ情報であってもキーフレームとしての視覚情報のみしか規定されていない。例えば、オーディオビデオ情報のオーディオ部分、またはオーディオ単独の情報としての音楽情報に関して、キーフレームに相当する要素（例えば、キーオーディオクリップ）を時系列に記述するという規定はない。
【００１２】
また、スライドの構成要素としてのキーフレームを記述する記述スキームについては、該当するキーフレームの、原オーディオビデオ情報における時間位置を記述することはできるが、例えばスライドとして表示されているキーフレームに対して、そのキーフレームが含まれるショットへ遷移するなど、スライドの構成要素から原コンテンツにおける時間位置へのリンクは存在しない。また、複数のメディアファイルで１つのコンテンツと見なせるものに対して、同様にスライドの構成要素から原メディアファイルの場所やファイル名を指定するリンクは存在しない。
【００１３】
本発明の目的は、上記のような従来技術の問題を解決するため、単一または複数のオーディオビデオコンテンツの一部（小区間またはフレーム）を構成要素とするスライドサマリの記述において、構成要素からオリジナルのコンテンツへのリンクを指定するための原コンテンツの時間位置または場所（ファイル名）に関する記述を付加することにより、例えばあるスライドの再生中に該当する原コンテンツへ遷移することを可能とした、オーディオ／ビデオ情報の概要情報の記述方法および閲覧方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明は、圧縮または非圧縮（例えば、ＭＰＥＧまたはＰＣＭ）のオーディオ、ビデオまたはオーディオビデオの概要情報の構成において、複数のオーディオビデオコンテンツに関して、それらのコンテンツの一部である主要なオーディオクリップまたはビデオクリップを配置したものをスライドサマリとして構成し、該スライドサマリの構成要素であるオーディオクリップまたはビデオクリップを時系列に記述するようにした点に特徴がある。
【００１５】
また、本発明は、上記スライドサマリの構成要素を、原コンテンツに含まれる単一または複数のオーディオまたはビデオ区間として構成し、該区間をスライドサマリとして時系列に記述するようにした点に特徴がある。
【００１６】
また、本発明は、上記スライドサマリの構成要素を、原コンテンツに含まれる単一または複数のオーディオまたはビデオ区間として構成し、該区間を個別のファイルとして保存し、該ファイルの集合をスライドサマリとして時系列に記述するようにした点に特徴がある。
【００１７】
また、本発明は、上記スライドサマリの構成要素を、原コンテンツに含まれる単一または複数のオーディオまたはビデオ区間として構成し、該区間を予め個別のファイルとして書き出し、該ファイルの集合を単一または複数のオーディオビデオコンテンツに関する単一の合成ファイルとして統合し、該合成ファイルの該当区間をスライドサマリとして時系列に記述するようにした点に特徴がある。
【００１８】
また、本発明は、上記のいずれかのスライドサマリにおいて、複数の原オーディオビデオファイルに関するスライド構成要素の記述に、それぞれのスライド構成要素が属する識別子（ファイル名など）を記述するようにした点に特徴がある。
【００１９】
また、本発明は、単一のオリジナルのオーディオまたはビデオファイルに関するスライド構成要素の記述に、それぞれのスライド構成要素が属する該ファイルにおける時間区間を記述するようにした点に特徴がある。
【００２０】
また、本発明は、各スライド構成要素に関連付けられたオリジナルのオーディオまたはビデオコンテンツと、該スライドの相互遷移を行えるようにした閲覧方法に特徴がある。
【００２１】
また、本発明は、オーディオ／ビデオスライドの再生中に、該オーディオ／ビデオスライド構成要素の記述情報を用いて、該当する原オーディオ／ビデオコンテンツに関して記述されている情報の表示を可能とした閲覧方法に特徴がある。
【００２２】
さらに、本発明は、オーディオ／ビデオスライドの再生中に、該オーディオ／ビデオスライド構成要素の記述情報を用いて、該当する原オーディオ／ビデオコンテンツの再生を行うことを可能とした閲覧方法に特徴がある。
【００２３】
本発明によれば、複数のオーディオビデオコンテンツに関して、それぞれに属する主要なオーディオまたはビデオクリップを構成要素とし、これらを時系列に配置したスライドサマリを効率的に記述することによって、オーディオビデオ情報の高速な閲覧が可能となる。また、スライドサマリから原コンテンツへのリンクを記述することにより、より高機能なスライドサマリの構成が可能となる。
【００２４】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明におけるスライドサマリ記述によるスライドサマリ構成方法の第１の実施形態を示している。この実施形態は、単一の原オーディオ／ビデオ（オーディオ情報またはビデオ情報またはオーディオビデオ情報）コンテンツに対して、該オーディオ／ビデオスライドの構成要素の記述に、該構成要素の原コンテンツにおける時間区間に関する記述を付加した点に特徴がある。
【００２５】
図８と同様にして、オーディオやビデオなどの単一のメディアファイルａ（ここでは、オーディオを想定する）が入力されると、オーディオに関するショットまたはシーン検出アルゴリズムにより、第１のショットまたはシーンが定義される（ステップＳ１）。本実施形態においては、後述の図２(c) から明らかになるように、このショットまたはシーンの原メディアファイルでの位置が、ファイル先頭からの時間コードと長さなどにより「メディア位置」として、すなわち時間区間に関する記述として、スライドサマリファイルに記述される。ただし、スライドサマリ記述ファイルにおいて、各スライド要素の先頭にスライド要素ヘッダが記述される。
【００２６】
このショットまたはシーンに対して、キークリップ検出アルゴリズムを適用することにより、第１のショットまたはシーンにおけるキークリップ（主要なクリップ）が決定する（ステップＳ２）。決定されたキークリップの原メディアファイルでの位置が、ファイル先頭からの時間コードなどにより「メディア時間」としてスライドサマリファイルに記述される。
【００２７】
また、オプションにより、上記で決定されたキークリップを別ファイルとして保存する場合には（ステップＳ３）、保存したキークリップファイル名を「スライド要素ファイル名」としてスライドサマリ記述ファイルに記述する。別ファイルに保存する例としては、スライドの構成要素となるファイルのサイズを小さくするために、圧縮率を高めたり、サンプリング周波数を減少させたりすることが想定される。また、オーディオビデオ情報の場合に、オーディオ部分のみを別ファイルとして保存しておくことも考えられる。
【００２８】
上記のことが、第１のショットまたはシーンに対するスライド構成要素を記述するための手順であり、これらの手順を、メディアファイルの最後のショットまたはシーンまで繰り返す。なお、ショット／シーン分割や、キークリップ決定に関しては、自動ではなく手動で行うこともできる。
【００２９】
図２は、図１で示した本発明のスライドサマリ記述によるスライドサマリの例を示している。オリジナルのコンテンツに対して、先頭から第１楽章、第２楽章、第３楽章、…が定義され、それぞれオリジナルでの区間が時間コードとして、図２(a) (b) のように定義されているものとする。また、スライドの構成要素は、それぞれのシーンに対して時間コードとして同図(a)(b)のように与えられているものとする。ただし、スライド構成要素は外部ファイルとして指定することもできる。
【００３０】
これらのスライド構成要素に対して、その構成要素が属するオリジナルコンテンツ（ここでは、各楽章）の時間コードが、「メディア位置」として記述される。図２(c) にスライドサマリの実際の記述例を示す。このコンテンツのスライドサマリは、通常の状態では01:30 〜01:45 、07:00 〜07:20 、12:20 〜13:00 、…と時系列に連続して再生されるが、あるスライド構成要素（例えば07:00 〜07:20 ）の再生中に、オリジナルコンテンツ（第２楽章）への遷移を指定すると、メディア位置として記述されたオリジナル区間に示された時間コードへ遷移し（矢印ｐ参照）、該当する区間を再生することができる。また、オリジナルコンテンツの再生中に再度スライドサマリへの遷移を指定するか、該当するオリジナルコンテンツの再生が終了すると、遷移元のスライドサマリの次に記述されたスライドから、再度スライドサマリの再生が開始される。
【００３１】
図３は、上記の閲覧動作の詳細を示すフローチャートである。ステップＳ１１、Ｓ１２，Ｓ１５のサイクルでコンテンツのスライド構成要素の再生が行われている時に、ステップＳ１２でオリジナル再生が指定されたとすると、ステップＳ１３に進んで再生中のスライド構成要素と対応する区間のオリジナルコンテンツへ遷移し、該オリジナルコンテンツの区間の最初から再生が行われる。該オリジナルコンテンツの再生中にスライド構成要素の再生が指定されると（ステップＳ１４が肯定）、ステップＳ１７に進んで次のスライド構成要素の再生に遷移する。このように、本実施形態によれば、スライド構成要素の再生からオリジナルコンテンツの該当する区間への遷移をすることができる。ステップＳ１８で、再生停止の指示があると、閲覧動作は終了する。
【００３２】
図４は、本発明におけるスライドサマリ記述によるスライドサマリ構成方法の第２の実施形態を示している。この実施形態は、複数の原オーディオ／ビデオコンテンツに対して、該オーディオ／ビデオスライドの構成要素の記述に、該構成要素が属する原コンテンツの識別子に関する記述を付加した点に特徴がある。
【００３３】
すなわち、前記第１実施形態（図１，図２）と異なる点は、記述されるオーディオやビデオなどのメディアファイルが複数存在することである。これらのメディアファイル群ｂ（ここでは、オーディオを想定する）が入力されると、そのメディアファイル名が「メディア位置」として、すなわち原コンテンツの識別子に関する記述として、スライドサマリファイルに記述される。ただし、スライドサマリ記述ファイルにおいて、各スライド要素の先頭にスライド要素ヘッダが記述される。
【００３４】
次に、図１に示した場合と同様にして、各ファイルに対してキークリップ検出アルゴリズムを適用することにより、第１のファイルにおけるキークリップが決定する。キークリップの決定は、手動で行うこともできる。決定されたキークリップの元メディアファイルでの位置が、ファイル先頭からの時間コードなどにより「メディア時間」としてスライドサマリファイルに記述される。
【００３５】
また、オプションにより、上記で決定されたキークリップを別ファイルとして保存する場合には、保存したキークリップファイル名を「スライド要素ファイル名」としてスライドサマリ記述ファイルに記述する。これらが第１のメディアファイルに対するスライド構成要素を記述するための手順であり、これらの手順を、入力された全てのメディアファイルに対して繰り返す。
【００３６】
図５は、図４で示した本発明によるスライドサマリ記述における例を示している。歌謡曲１、歌謡曲２、歌謡曲３、…などの複数のメディアファイル（すなわち、メディアファイル群ｂ）が存在し、それらのファイル名が図５(a)(b)のように与えられているものとする。また、スライドの構成要素は、それぞれのファイルに対して時間コードとして同じく、同図(a)(b)のように与えられており、それぞれが外部ファイルとして存在する。これらのスライド構成要素に対して、その構成要素が属するオリジナルメディアファイル（ここでは、各歌謡曲）の位置（ファイルのパス＋ファイル名など）が、「メディア位置」として記述される。
【００３７】
図５(c) にスライドサマリの実際の記述例を示す。このコンテンツのスライドサマリは、通常の状態ではSong1_sum 、Song2_sum 、Song3_sum 、…と時系列に連続して再生されるが、あるスライド構成要素（例えばSong2_sum ）の再生中に、オリジナルコンテンツ（Song2 ）への遷移を指定すると、メディア位置として記述されたファイル名が示すファイルへ遷移し、該当するファイルを先頭から再生することができる。また、オリジナルファイルの再生中に再度スライドサマリへの遷移を指定するか、該当するオリジナルファイルの再生が終了すると、遷移元のスライドサマリの次に記述されたスライドから、再度スライドサマリの再生が開始される。この動作は、図３で示した動作と同様である。
【００３８】
図６は、図５の実施形態の変形例を示すものである。この変形例では、同図(b) に示されているように、スライドの各構成要素が１つの合成ファイルとして与えられており、そのファイル名はSongAll_sum で与えられている（図６(b) 参照）。図５の例と同じく、構成要素が属するオリジナルメディアファイル（ここでは、各歌謡曲）の位置（ファイルのパス＋ファイル名など）が、「メディア位置」として記述される。図６(c) にスライドサマリの実際の記述例を示す。このコンテンツのスライドサマリは、通常の状態ではSongAll_sum の00:00 〜00:10 、00:10 〜00:25 、00:25 〜00:40 、…と時系列に連続して再生されるが、図６(b) に示すようにあるスライド構成要素（例えば、SongAll_sum の00:10 〜00:25 ）の再生中にオリジナルコンテンツ（Song2 ）の再生開始ｐを指定すると、メディア位置として記述されたファイル名が示すファイルへ遷移し、該当するファイルを先頭から再生することができる。
【００３９】
次に、図７は、本発明に係る閲覧装置の概略図を示す。図７のように、スライドサマリの再生中（スライドサマリ再生ボタン１１がオン）に、例えばオリジナルコンテンツ属性表示指定ボタン１２を押してオリジナルファイルの属性（タイトル、ファイル名など）の表示を指定すると、スライドサマリファイルに記述されている、オリジナルファイルに関する記述情報（例えば、タイトル、ファイル名等）を、文字情報表示部１４に表示することができる。一方、スライドサマリの再生中に、オリジナルコンテンツ再生開始指定ボタン１３を押してオリジナルコンテンツ再生開始の指定をすると、画像情報表示部１５に該スライドサマリに係るオリジナルコンテンツの区間またはファイルを再生することができる。
【００４０】
このように、本発明ではスライド構成要素がオリジナルコンテンツのどの部分に属するかという情報に加えて、各スライド構成要素が属するショット／シーンなどの時間区間が、また、各スライド構成要素がそれぞれ異なるファイルに属する場合にはその識別子（ファイル名など）が記述されるため、スライドサマリ再生中に、再生されているスライドが属するショットやシーンなどを単独で再生することができる。これにより、より高機能なオーディオ／ビデオスライドサマリを提供することが可能となる。
【００４１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、オーディオ／ビデオ情報のスライドサマリの構成要素の記述に、該構成要素の原オーディオ／ビデオコンテンツとの関係に関する記述を含めることが可能になる。また、複数のファイルに関するスライドサマリを記述することが可能になる。また、スライド構成要素と関連付けられた該スライド構成要素のオリジナルのコンテンツ（時間区間またはファイル）への遷移が可能となり、オーディオビデオ情報の概要を把握する際に、高速且つ高機能なオーディオビデオ情報の閲覧ができるという効果がある。
【図面の簡単な説明】
【図１】  本発明の第１実施形態のスライドサマリ構成例を示すブロック図（単一ファイル）である。
【図２】  図１のスライドサマリ構成によるスライドサマリ及びその記述例を示す図である。
【図３】  本実施形態の閲覧動作を示すフローチャートである。
【図４】  本発明の第２実施形態のスライドサマリ構成例を示すブロック図（複数ファイル）である。
【図５】  図４のスライドサマリ構成によるスライドサマリ及びその記述例を示す図である。
【図６】  図４のスライドサマリ構成による他のスライドサマリ及びその記述例を示す図である。
【図７】  本発明により実現されるスライドサマリ再生中における各種動作を示す図である。
【図８】  従来方式のスライドサマリ構成例を示すブロック図である。
【図９】  図８のスライドサマリ構成によるスライドサマリ及びその記述例を示す図である。
【符号の説明】
１１…スライドサマリ再生ボタン、１２…オリジナルコンテンツ属性表示指定ボタン、１３…オリジナルコンテンツ再生開始指定ボタン、１４…文字情報表示部、１５…画像情報表示部。
【図１】
0003865194.tif 000002
【図２】
0003865194.tif 000003
【図３】
0003865194.tif 000004
【図４】
0003865194.tif 000005
【図５】
0003865194.tif 000006
【図６】
0003865194.tif 000007
【図７】
0003865194.tif 000008
【図８】
0003865194.tif 000009
【図９】
0003865194.tif 000010