(57)【特許請求の範囲】
【請求項１】
エンコードされたコンテンツから所定の区間を分類する情報処理装置であって、
前記コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード手段と、
前記デコード手段によってデコードされたフレームの特徴量を算出するフレーム特徴量算出手段と、
所定のフレーム群からなるセグメントの特徴量を離散化して算出するときに、前記フレーム特徴量算出手段によって算出されたフレームの特徴量を用いてセグメント単位の特徴量を算出し、算出したセグメント単位の特徴量と基準値との差が所定の値以上であれば、このセグメント単位の特徴量を用いてセグメントの特徴量を離散化し、算出したセグメント単位の特徴量と基準値との差が所定の値未満であれば、セグメント単位の特徴量と基準値との差が所定の値以上となるか全てのフレームの特徴量によってセグメント単位の特徴量を算出するまでフレームの間引き率を変更して前記デコード手段によるデコードを行って、最終的に得られたセグメント単位の特徴量を用いてセグメントの特徴量を離散化するセグメント特徴量離散化手段と、
前記セグメント単位特徴量離散化手段によって取得された離散化されたセグメントの特徴量を用いてコンテンツの区間分類を行う区間分類手段とを有することを特徴とする情報処理装置。
【請求項２】
エンコードされたコンテンツから所定の区間を分類する情報処理装置であって、
前記コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード手段と、
前記デコード手段によってデコードされたフレームの特徴量を算出するフレーム特徴量算出手段と、
前記フレーム特徴量算出手段によって算出されたフレームの特徴量が前記所定の区間の条件に合致するか否かを判定する判定手段と、
前記判定手段によって所定の区間の条件に合致すると判定されたフレームの前後のフレームであって、前記デコード手段によってデコードされていないフレームに対して、順次、前記デコード手段によるデコードと、前記フレーム特徴量算出手段による特徴量の算出と、さらに前記判定手段による特徴量が前記所定の区間の条件に合致するか否かの判定とを、前記所定の区間の条件に合致しないフレームが現れるまで繰り返すことにより、前記所定の区間の条件に合致するフレームの連続を判別する区間分類手段とを有することを特徴とする情報処理装置。
【請求項３】
データの送受信を行う通信手段と、
前記通信手段によって受信されたコンテンツのフレームのうち、伝送エラーが生じて正しく受信できなかったフレームを検出する伝送エラー検出手段とを更に有し、
前記区間分類手段は、前記伝送エラー検出手段によって伝送エラーが生じたフレームを含むセグメントの特徴量を前後のセグメントから確率的に推測することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
エンコードされたコンテンツから所定の区間を分類するコンテンツ解析プログラムであって、
前記コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード機能と、
前記デコード機能によってデコードされたフレームの特徴量を算出するフレーム特徴量算出機能と、
所定のフレーム群からなるセグメントの特徴量を離散化して算出するときに、前記フレーム特徴量算出機能によって算出されたフレームの特徴量を用いてセグメント単位の特徴量を算出し、算出したセグメント単位の特徴量と基準値との差が所定の値以上であれば、このセグメント単位の特徴量を用いてセグメントの特徴量を離散化し、算出したセグメント単位の特徴量と基準値との差が所定の値未満であれば、セグメント単位の特徴量と基準値との差が所定の値以上となるか全てのフレームの特徴量によってセグメント単位の特徴量を算出するまでフレームの間引き率を変更して前記デコード機能によるデコードを行って、最終的に得られたセグメント単位の特徴量を用いてセグメントの特徴量を離散化するセグメント特徴量離散化機能と、
前記セグメント単位特徴量離散化機能によって取得された離散化されたセグメントの特徴量を用いてコンテンツの区間分類を行う区間分類機能とを有することを特徴とするコンテンツ解析プログラム。
【請求項５】
エンコードされたコンテンツから所定の区間を分類するコンテンツ解析プログラムであって、
前記コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード機能と、
前記デコード機能によってデコードされたフレームの特徴量を算出するフレーム特徴量算出機能と、
前記フレーム特徴量算出機能によって算出されたフレームの特徴量が前記所定の区間の条件に合致するか否かを判定する判定機能と、
前記判定機能によって所定の区間の条件に合致すると判定されたフレームの前後のフレームであって、前記デコード機能によってデコードされていないフレームに対して、順次、前記デコード機能によるデコードと、前記フレーム特徴量算出機能による特徴量の算出と、さらに前記判定機能による特徴量が前記所定の区間の条件に合致するか否かの判定とを、前記所定の区間の条件に合致しないフレームが現れるまで繰り返すことにより、前記所定の区間の条件に合致するフレームの連続を判別する区間分類機能とを有することを特徴とするコンテンツ解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置およびコンテンツ解析プログラムに関する。
【背景技術】
【０００２】
近年、記憶装置の記憶容量が大きくなり、様々なコンテンツを放送や配信などによって取得することができるようになった。これに伴い、コンテンツに対して、所定の区間を検出してインデキシングし、ユーザが所望する区間だけを再生することができる機器が求められている。例えば、放送番組を録画して、再生することを目的とするレコーダにおいて、放送局から送信される信号を受信して記録する際に、ＣＭ区間や見どころ区間を検出してインデキシングしておき、この情報を用いてユーザが見たいシーンであるとインデキシングされたシーンだけを再生することができる録画装置が知られている。
【０００３】
このように映像音声データから所定の区間をインデキシングする装置は、音響信号や映像信号を解析して所定の特徴量を算出し、この特徴量を用いて所定の区間を検出する。例えば特許文献１には、ＰＣＭ方式によってデジタル化された音声データを周波数領域に直交変換した直交変換係数を算出し、この直交変換係数に基づく特徴量を用いて所定の区間を検出する楽曲区間検出装置が提案されている。
【特許文献１】特開２００７−１８０６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載される発明のように、デジタル圧縮された音響信号を解析するためには、全てのフレームに対してデコード処理を行ったうえで特徴量の算出を行う必要がある。
【０００５】
しかしながら、携帯端末のようにロースペックな機器でこのような解析を行うと、全てのフレームに対するデコード処理の負荷が高い。そのため、例えば、ワンセグ放送などから携帯端末が符号化されたコンテンツを受信して記憶しながらリアルタイムに解析を行うようなコンテンツ解析処理が困難である。リアルタイムにコンテンツ解析処理を行わない場合であっても、全てのフレームに対するデコード処理を行うため、電池の消費量が増大する。
【０００６】
また、携帯端末が通信によって取得したコンテンツを解析する場合、伝送エラーが生じやすく、精度良く区間を検出することが困難である。
【０００７】
そこで本発明は、コンテンツの解析精度を維持したままで、省メモリ低演算でコンテンツを解析することができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明による情報処理装置は、エンコードされたコンテンツから所定の区間を分類する情報処理装置であって、前記コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード手段と、前記デコード手段によってデコードされたフレームの特徴量を算出するフレーム特徴量算出手段と、所定のフレーム群からなるセグメントの特徴量を離散化して算出するときに、前記フレーム特徴量算出手段によって算出されたフレームの特徴量を用いてセグメント単位の特徴量を算出し、算出したセグメント単位の特徴量と基準値との差が所定の値以上であれば、このセグメント単位の特徴量を用いてセグメントの特徴量を離散化し、算出したセグメント単位の特徴量と基準値との差が所定の値未満であれば、セグメント単位の特徴量と基準値との差が所定の値以上となるか全てのフレームの特徴量によってセグメント単位の特徴量を算出するまでフレームの間引き率を変更して前記デコード手段によるデコードを行って、最終的に得られたセグメント単位の特徴量を用いてセグメントの特徴量を離散化するセグメント特徴量離散化手段と、前記セグメント単位特徴量離散化手段によって取得された離散化されたセグメントの特徴量を用いてコンテンツの区間分類を行う区間分類手段とを有することを特徴としている。
【０００９】
また、本発明によるコンテンツ解析プログラムは、エンコードされたコンテンツから所定の区間を分類するコンテンツ解析プログラムであって、コンテンツに含まれるフレームを所定の間引き率で間引いてデコードするデコード機能と、前記デコード機能によってデコードされたフレームの特徴量を算出するフレーム特徴量算出機能と、所定のフレーム群からなるセグメントの特徴量を離散化して算出するときに、前記フレーム特徴量算出機能によって算出されたフレームの特徴量を用いてセグメント単位の特徴量を算出し、算出したセグメント単位の特徴量と基準値との差が所定の値以上であれば、このセグメント単位の特徴量を用いてセグメントの特徴量を離散化し、算出したセグメント単位の特徴量と基準値との差が所定の値未満であれば、セグメント単位の特徴量と基準値との差が所定の値以上となるか全てのフレームの特徴量によってセグメント単位の特徴量を算出するまでフレームの間引き率を変更して前記デコード機能によるデコードを行って、最終的に得られたセグメント単位の特徴量を用いてセグメントの特徴量を離散化するセグメント特徴量離散化機能と、前記セグメント単位特徴量離散化機能によって取得された離散化されたセグメントの特徴量を用いてコンテンツの区間分類を行う区間分類機能とを有することを特徴としている。
【発明の効果】
【００１０】
本発明によれば、コンテンツの解析精度を維持したままで、省メモリ低演算でコンテンツを解析することができる情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、ワンセグ放送を受信して記録可能な携帯電話機を例として図面を参照しながら説明する。ただし、本発明は携帯電話機に限定されず、マルチメディアコンテンツを再生可能な機器であれば良い。例えば、ＤＶＤレコーダなどのようにデジタル放送を受信して記録再生する装置でも良いし、インターネットを介して取得したコンテンツを再生する再生機器であっても良い。
【００１２】
図１は、本実施形態に係る携帯電話機の構成を示すブロック図である。携帯電話機１全体の制御は、制御部５１によって行われ、制御部５１はＣＰＵ、ＲＯＭ、ＲＡＭから構成される。また、携帯電話機１は、無線通信用のアンテナ５２とワンセグ放送受信用のアンテナ５８を備えている。
【００１３】
アンテナ５２は、基地局から出力された電波を受信し、電気信号に変換する。ＲＦ部５３は、アンテナ５２から入力された電気信号を周波数変換して、ベースバンド信号を通信制御部５４に出力する。通信制御部５４は、このベースバンド信号を変調し、誤り訂正を行ったデータをメディアごとに分離する。例えば、通話音声を受信した場合には、受信データに含まれるオーディオデータを復号し、音声入出力部５５に出力する。また例えば、テレビ電話などのように受信データに動画像データが含まれていれば、この動画像データを復号し、表示部５６に出力する。
【００１４】
アンテナ５８はワンセグ放送の電波を受信し、選局された物理チャネルの信号を取得して電気信号に変換し、ＲＦ部５９に出力する。ＲＦ部５９では、受信信号をベースバンド信号に変換し、放送受信部６０に出力する。放送受信部６０では、入力された信号をＡＤ変換した後に、ＯＦＤＭ復調し、誤り訂正を行って、ＴＳ（Transport Stream）パケットを取得する。
【００１５】
この受信データを再生する場合には、ＴＳパケットからＡｕｄｉｏＥＳ、ＶｉｄｅｏＥＳ、ＴｅｘｔＥＳのＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）を分離し、それぞれのＥＳがデコードされる。デコードされたＡｕｄｉｏＥＳは、音声入出力部５５に出力する。また、ＶｉｄｅｏＥＳとＴｅｘｔＥＳは、表示部５６に出力する。
【００１６】
それに対してＴＳパケットを保存する場合、この放送コンテンツから所定の区間をインデキシングしながら記憶部５７に保存することができる。コンテンツ処理部１００は、このコンテンツインデキシングの処理を行う。コンテンツ処理部１００で例えば、受信したワンセグ放送を録画するときに、ＣＭ区間を検出してインデキシングしながら記憶しておくことによって、視聴時にＣＭ区間を除いて視聴することやＣＭ区間だけを視聴することなどが可能となる。
【００１７】
図２は、コンテンツ処理部１００の構成を示すブロック図である。コンテンツ処理部１００は、Ｄｅｍｕｘ部１０１、伝送エラー検出フィルタ部１０２、デコード部１０３、コンテンツ解析部１０４、区間分類部１０５、ＴＳデータ一時記憶部１０６、解析結果統合部１０７を有する。
【００１８】
放送受信部６０によって取得されたＴＳパケットは、Ｄｅｍｕｘ部１０１およびＴＳデータ一時記憶部１０６に入力される。ＴＳデータ一時記憶部１０６では、解析結果統合部１０７によって対応するＴＳパケットの処理が終了するまで一時的にＴＳパケットを記憶する。なお、本実施形態では、ＴＳデータの一時記憶先としてＴＳデータ一時記憶部１０６を設けるとして説明するが、ＴＳデータ一時記憶部１０６を設けず、後述のマルチメディアコンテンツＤＢ部５７ａにＴＳデータを一時的に保存する構成にしても良い。
【００１９】
Ｄｅｍｕｘ部１０１では、入力されたＴＳパケットからＡｕｄｉｏＥＳ、ＶｉｄｅｏＥＳ、ＴｅｘｔＥＳの少なくとも１つのＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）を分離抽出する。
【００２０】
分離抽出されたＥＳは、伝送エラー検出フィルタ部１０２による伝送エラーの検出およびデコード部１０３によるデコード処理が行われる。そして、コンテンツ解析部１０４は、デコード部１０３から入力されたデコードデータを用いてコンテンツの解析を行う。
【００２１】
区間分類部１０５では、コンテンツ解析部１０４によって解析された結果を用いてコンテンツから所定の区間を分類する処理を行う。
【００２２】
解析結果統合部１０７では、区間分類部１０５によって解析された結果とＴＳデータ一時記憶部１０６に記憶されたデータとを関連付けて統合し、メタデータ付きマルチメディアコンテンツとして出力し、記憶部５７内のマルチメディアコンテンツＤＢ部５７ａにこのメタデータ付きマルチメディアコンテンツを記憶させる。
【００２３】
このような構成によって、コンテンツを解析して、解析結果をメタデータとしてコンテンツに付すことができる。以下では、コンテンツ解析部１０４、伝送エラー検出フィルタ部１０２、区間分類部１０５について詳しく説明する。
【００２４】
（コンテンツ解析部１０４）
図３は、コンテンツに対する区間分類処理を行うための特徴量を抽出するコンテンツ解析部１０４のブロック図である。コンテンツ解析部１０４は、解析制御部１０４ａ、セグメント単位特徴量抽出部１０４ｂ、時間継続特徴量抽出部１０４ｃを含む。セグメント単位特徴量抽出部１０４ｂと時間継続特徴量抽出部１０４ｃは、コンテンツに対してどのような区間分類処理を行うかに応じて、いずれか一方もしくは両方が動作する。また、セグメント単位特徴量抽出部１０４ｂによって抽出される第１の特徴量を用いて時間継続特徴量抽出部１０４ｃを動作させても良い。
【００２５】
解析制御部１０４ａは、デコード部１０３に対してフレームを所定の間引き率で間引いてデコードするようデコード要求を出力する。そして、デコード部１０３からデコードデータを取得すると、区間分類部１０５において区間分類処理を行うために用いる特徴量を抽出するための処理を動作させるようセグメント単位特徴量抽出部１０４ｂまたは時間継続特徴量抽出部１０４ｃを制御する。解析制御部１０４ａがセグメント単位特徴量抽出部１０４ｂを動作させるよう制御する場合には、デコード部１０３から取得したデコードデータをセグメント単位特徴量抽出部１０４ｂに出力するとともに、セグメント単位特徴量抽出部１０４ｂでの特徴量抽出処理に用いる第１の解析要件を出力する。また、解析制御部１０４ａが時間継続特徴量抽出部１０４ｃを動作させるよう制御する場合には、デコード部１０３から取得したデコードデータを時間継続特徴量抽出部１０４ｃに出力するとともに、時間継続特徴量抽出部１０４ｃでの特徴量抽出処理に用いる第２の解析要件を出力する。
【００２６】
なお、コンテンツ解析部１０４において、特徴量として算出する値が波形情報ではなく周波数情報であれば、デコード部１０３でフルデコードする必要が無い。例えば、コンテンツ解析部１０４において解析するのがＡｕｄｉｏＥＳのとき、コンテンツ解析部１０４においてスペクトルやＭＦＣＣなどの周波数情報を算出するのであれば、デコード部１０３でフルデコードしてＰＣＭを生成するのではなく、ＭＤＣＴまでデコードすれば、ＭＤＣＴをＰＣＭに変換する処理、ならびに、ＰＣＭを周波数情報に変換する処理を削減することができる。
【００２７】
これによって、例えば、ワンセグ放送を録画中に逐次コンテンツを解析し、録画終了とほぼ同時に解析結果とコンテンツとがリンクする場合、録画中にユーザは番組を視聴していないため、情報をフルデコードすることなく、ＭＤＣＴまでＡｕｄｉｏＥＳをデコードすることによって、処理を大幅に削減することができる。
【００２８】
セグメント単位特徴量抽出部１０４ｂは、入力されたデコードデータからフレームごとの特徴量を算出し、このフレームごとの特徴量を用いて、複数のフレームから構成されるセグメント単位での特徴量を算出し、この値を基準値に基づいて離散化する。
【００２９】
ここでは、受信したワンセグ放送から、Ｄｅｍｕｘ部１０１によってＡｕｄｉｏＥＳを分離抽出し、区間分類部１０５においてＡｕｄｉｏＥＳを音楽が流れている区間と音楽が流れていない区間とに分類する場合を例に、セグメント単位特徴量抽出部１０４ｂでの特徴量抽出処理について説明する。
【００３０】
ステレオ音源の場合、音楽が流れている区間はＬとＲの差分が大きく、音楽が流れていない区間はＬとＲの差分が小さい傾向がある。そこで、セグメント単位特徴量抽出部１０４ｂではＬとＲの差分の大きさをセグメント単位で抽出し、そのセグメント単位特徴量によってセグメントを離散化（ここでは２値化）して、区間分類部１０５において音楽区間と非音楽区間に分類する。
【００３１】
図４は、セグメント単位特徴量抽出部１０４ｂで処理されるデコードデータの例を示したイメージ図である。図４では、Ｍ個のフレームから構成されるセグメントの特徴量を抽出している。セグメント単位特徴量抽出部１０４ｂには、解析制御部１０４ａからデコードデータが入力されるが、このデコードデータは、解析制御部１０４ａで設定された間引き率で間引いてデコードされたフレームのデータである。図４は、デコード部１０３において１／２の間引き率でフレームがデコードされている例であり、コンテンツのフレームのうちデコードされたフレームを斜線で示している。セグメント単位特徴量抽出部１０４ｂには、このデコードされたフレームのデータが入力される。
【００３２】
図５は、セグメント単位特徴量抽出部１０４ｂの処理を示すフローチャートである。図４および図５を用いて、セグメント単位特徴量抽出部１０４ｂの処理について説明する。
【００３３】
まず、セグメント単位特徴量抽出部１０４ｂは、解析制御部１０４ａで設定された間引き率でフレームが間引かれてデコードされたデータを取得する（Ｓ１０１）。解析制御部１０４ａでの間引き率の設定については、後ほど詳述する。例えば図４では、間引き率１／２であり、フレーム（１）、フレーム（３）、・・・フレーム（Ｍ−１）という１つおきにデコードされたフレームを示している。
【００３４】
このようなデコードデータを取得すると、セグメント単位特徴量抽出部１０４ｂは、デコードされたフレームごとに特徴量を算出する（Ｓ１０２）。音楽区間と非音楽区間とを分類するために、ＬとＲの差分を算出する。なお、図４では、第ｎセグメントのｍ番目のフレームの特徴量をｘｎ（ｍ）と表現している。
【００３５】
そして、デコードされたフレームの特徴量を用いて、セグメント単位の特徴量を概算する（Ｓ１０３）。セグメント単位の特徴量の概算値は、例えば、図４に示したようにデコードされたフレームの特徴量の平均ベクトルとして求めることができる。
【００３６】
そして、このセグメント単位の特徴量の概算値とセグメントを２値化する基準値との差が所定の閾値以上か未満かを判定する（Ｓ１０４）。この２値化のための基準値と所定の閾値は、解析制御部１０４ａから第１の解析要件としてセグメント単位特徴量抽出部１０４ｂに入力された値である。
【００３７】
セグメント単位の特徴量の概算値が基準値を大幅に上回っている場合や、下回っている場合には、同じセグメント内の全てのフレームの特徴量を用いてセグメント単位の特徴量を算出したとしても、２値化の判定が覆る可能性は低い。そこで、特徴量として算出する値や、間引き率などに応じて、どの程度基準値から離れていると２値化の判定が覆る可能性が低いのかを予め統計的に調べておき、解析制御部１０４ａがそれぞれの条件に対応した閾値の情報として管理する。そして、解析制御部１０４ａがセグメント単位特徴量抽出部１０４ｂを制御するときに、間引き率や基準値などに応じた閾値と基準値を第１の解析要件として出力している。
【００３８】
つまりステップＳ１０４では、特徴量の概算値と閾値との比較によって、そのセグメント単位の特徴量の概算値によって２値化を行うか否かを判定している。そこで、ステップＳ１０４においてＹｅｓと判定された場合には、セグメント単位の特徴量の概算値によって、セグメントの特徴量を２値化する（Ｓ１０５〜Ｓ１０７）。
【００３９】
また、ステップＳ１０４においてＮｏと判定された場合には、解析制御部１０４ａから受信したデコードデータが、セグメント内の全てのフレームをデコードしたデータではないならば（Ｓ１０８のＮｏ）、解析制御部１０４ａに対してフレームの間引き率を変更するよう要求を出力する（Ｓ１０９）。
【００４０】
セグメント単位特徴量抽出部１０４ｂからフレームの間引き率の変更要求を取得した解析制御部１０４ａは、デコード部１０３に対してフレームの間引き率を指定して、デコード要求を出力する。変更後のフレームの間引き率は、変更前の間引き率よりも低くなるように設定し、以前デコードされなかったフレームの全部または一部を追加でデコードする。これによって、１セグメントを構成するフレームのうち、デコードされたフレームの割合が多くなり、当該セグメントの特徴量をより正確に概算することができる。
【００４１】
そして、セグメント単位特徴量抽出部１０４ｂは、セグメント単位の特徴量の概算値と基準値との差が所定の閾値以上の場合（Ｓ１０４のＹｅｓ）、もしくは、１セグメントに含まれる全てのフレームの特徴量を用いてセグメント単位の特徴量を算出した場合（Ｓ１０８のＮｏ）まで、間引き率を変更して特徴量を概算し、その概算値によって２値化できるか否かの判定を行う処理を繰り返す。
【００４２】
このような処理に従ってセグメント単位特徴量抽出部１０４ｂが判定したセグメントごとの特徴量の２値化結果は、第１の特徴量として区間分類部１０５に出力する。
【００４３】
以上のように、セグメント単位の特徴量を２値化するときに、最初から１セグメントに含まれる全てのフレームをデコードするのではなく、フレームが間引かれたデコードデータによってセグメント単位の特徴量を２値化できる場合があるため、デコードにかかる処理量を削減することができる。また、セグメント単位の特徴量の概算値が２値化の基準値に近い場合には、セグメント単位の特徴量をより精度よく算出するよう、デコードされなかった全てのフレームもしくは一部のフレームを追加でデコードさせることができるため、特徴量算出の精度劣化を抑えることができる。
【００４４】
なお、ステップＳ１０４において、所定の閾値を０に設定することも可能である。この場合、ステップＳ１０８およびＳ１０９は実行されることが無く、最初に算出したセグメント単位の特徴量の概算値を用いて特徴量の２値化を行うため、特徴量算出の精度は劣化するが、処理量を更に削減することが可能である。
【００４５】
なお、セグメント単位の特徴量を概算するときに用いるデコードデータのフレーム間引き率は、既に特徴量の算出を行ったセグメントの特徴量に応じて設定しても良い。例えば、１つ前のセグメント単位の特徴量が基準値付近ならば、現在のセグメントもセグメント単位の特徴量が基準値付近になる可能性が高いため、最初から間引き率を低めに設定し、１つ前のセグメント単位の特徴量が基準値から大幅に離れている場合には、最初の間引き率を高めに設定しても良い。
【００４６】
また例えば、過去の複数のデータを用いて線形予測やスプライン補間を行い、現在のセグメントの特徴量を予測し、予測結果が基準値付近ならば、間引き率を低めに設定し、基準値から大幅に離れている場合には、間引き率を高めに設定しても良い。
【００４７】
また、前述の例では、音楽性を判定するために特徴量としてＬとＲの差分を算出し、特徴量を２値化する場合について説明したが、特徴量として算出する値は、どのような区間を分類するかによって異なる。例えば、分類する区間によって、パワー値、スペクトル、メルフィルタバンクケプストラム係数（ＭＦＣＣ）、ＬＰＣケプストラム、分類する区間ごとに予め定められたパタンとの類似度などであっても良い。また、２値化する場合について説明したが、３値化、４値化などの離散化であっても、このような方法を用いることによって処理量を削減することができる。
【００４８】
時間継続特徴量抽出部１０４ｃは、入力されたデコードデータから、フレームごとの特徴量を算出し、特徴量が所定の基準を満たすフレームが所定数以上継続する場合に、そのフレームを特定の区間として抽出する。
【００４９】
以下の時間継続特徴量抽出部１０４ｃの説明では、コンテンツから無音の区間を抽出する場合を例に用いる。コンテンツから無音の区間を抽出する場合には、特徴量としてフレームごとにパワーを算出し、所定の基準値未満のパワーを持つフレームを”ｈ”、所定の基準値以上のパワーを持つフレームを”ｌ”として２値化する。そして、”ｈ”のフレームが所定の継続数（ここでは３として説明する）以上連続した場合に、その区間を無音区間”Ｈ”として抽出する。
【００５０】
時間継続特徴量抽出部１０４ｃには、解析制御部１０４ａからデコードデータが入力される。図６は、時間継続特徴量抽出部１０４ｃで処理されるデコードデータの例を示したイメージ図である。解析制御部１０４ａから時間継続特徴量抽出部１０４ｃへは、まず図６において斜線で示した３つおきのフレームがデコード部１０３によってデコードされて入力される。フレームの間引きは、無音区間”Ｈ”を判定するための特徴量”ｈ”継続数に基づいて決定される。ここでは、”ｈ”が３フレーム継続すると無音区間”Ｈ”と判定するため、３フレームおきのフレームがデコードされている。
【００５１】
図７は、時間継続特徴量抽出部１０４ｃの処理を示すフローチャートである。時間継続特徴量抽出部１０４ｃは、解析制御部１０４ａからデコードデータを取得する（Ｓ２０１）。このデコードデータは、図６のように３つおきにデコードされたフレームである。時間継続特徴量抽出部１０４ｃは、取得したデコードデータに対して特徴量の算出を行い、算出された特徴量と所定の基準値とを比較して、”ｈ”と”ｌ”とに２値化する（Ｓ２０２）。
【００５２】
”ｈ”と判定されたフレームは、無音区間（”ｈ”のフレームが所定数以上連続する区間）を構成するフレームである可能性がある。そこで、”ｈ”と判定されたフレームを抽出し（Ｓ２０３）、そのフレームを含めた無音区間が存在するか否かを判定する。まず、ステップＳ２０３で抽出したフレームの１つ前のフレームをデコードするよう解析制御部１０４ａからデコード部１０３に要求を出す（Ｓ２０４）。時間継続特徴量抽出部１０４ｃがデコード部１０３によってデコードされたデータを取得すると、フレーム単位での特徴量を算出し、その特徴量が所定の閾値以上であるか否かに応じて、”ｈ”と”ｌ”に２値化する。（Ｓ２０５）。このフレームが”ｈ”である場合には（Ｓ２０６のＹｅｓ）、更に１つ前のフレームに対するデコード要求を出力し（Ｓ２０７）、デコードされたフレームの特徴量を２値化する。このステップＳ２０５〜Ｓ２０７の処理は、フレームの特徴量が”ｌ”と判定されたフレームが現れるまで繰り返される。これによって、特徴量が”ｈ”と判定されたフレームがどのフレームから連続しているのかが分かる。
【００５３】
また、ステップＳ２０３で抽出したフレームの１つ後のフレームをデコードするよう解析制御部１０４ａからデコード部１０３に要求を出し（Ｓ２０８）、デコードされたフレームの特徴量を算出して、その特徴量が所定の閾値以上であるか否かに応じて”ｈ”と”ｌ”に２値化し（Ｓ２０９）、このフレームが”ｈ”なら（Ｓ２１０のＹｅｓ）、更に１つ後のフレームに対するデコード要求を出力し（Ｓ２１１）、デコードされたフレームの特徴量を２値化する。このステップＳ２０９〜Ｓ２１１の処理は、”ｌ”と判定されたフレームが現れるまで繰り返す。これによって、特徴量が”ｈ”と判定されたフレームがどのフレームまで連続しているのかが分かる。
【００５４】
この情報を用いることによって、”ｈ”と判定されたフレームが３フレーム以上連続している区間を無音区間として抽出することができるので、フレームごとに、無音区間のフレームであるか否かの情報を第２の特徴量として出力する（Ｓ２１２）。
【００５５】
このように、最初に所定の間隔で間引いてデコードされたフレームのうち、特徴量が”ｈ”と判定されたフレームのまわりを詳細にデコードするため、精度を劣化させることなく、デコード処理を削減することができる。
【００５６】
（伝送エラー検出フィルタ部１０２）
次に、伝送エラー検出フィルタ部１０２について説明する。図８は伝送エラー検出フィルタ部１０２とデコード部１０３の詳細な構成を示すブロック図である。伝送エラー検出フィルタ部１０２は、ヘッダーサーチ部１０２ａと伝送エラー判定部１０２ｂから構成される。
【００５７】
ヘッダーサーチ部１０２ａは、Ｄｅｍｕｘ部１０１から入力されるＥＳのヘッダーをサーチして、ＥＳをフレーム単位に区切る。フレーム単位に区切ったＥＳは、フレームデータとして、伝送エラー判定部１０２ｂに出力するとともに、デコード部１０３のフレームデータ一時記憶部１０３ａに記憶する。
【００５８】
伝送エラー判定部１０２ｂには、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）などのタイムスタンプと、フレームデータとが入力される。伝送エラー判定部１０２ｂは、タイムスタンプが入力されるごとに、前回入力されたタイムスタンプが示す時刻と今回入力されたタイムスタンプが示す時刻との時間差を第１の時間長として算出する。また、前回タイムスタンプが入力されたＥＳフレームから、今回タイムスタンプが入力されたＥＳフレームまでの時間長を第２の時間長として算出する。こうして算出された第１の時間長と第２の時間長とが等しい場合には、伝送エラーが無かったと判定し、第１の時間長と第２の時間長とが等しくない場合には、伝送エラーがあったと判定する。
【００５９】
このように、伝送エラー判定部１０２ｂでは、タイムスタンプを利用することによって、パケットロスによるエラーがあったかどうかを確実に検出することができるようになり、正常なフレームデータがどの時間帯に存在し、異常を含む可能性があるフレームデータがどの時間帯に存在するのかを正確に判定することができる。伝送エラー判定部１０２ｂによって得られた伝送エラーの情報は、ＴＳデータ一時記憶部１０６に出力するとともに、区間分類部１０５に出力する。
【００６０】
（区間分類部１０５）
次に、区間分類部１０５について説明する。区間分類部１０５は、セグメント単位特徴量抽出部１０４ｂから出力される第１の特徴量と、時間継続特徴量抽出部１０４ｃから出力される第２の特徴量のどちらか、もしくは両方を用いて、所望する分類区間を取得する。
【００６１】
例えば、セグメント単位特徴量抽出部１０４ｂからセグメント単位のＬとＲの差分を示す情報が入力されると、区間分類部１０５において音楽が流れている区間と音楽が流れていない区間とに分類することができる。また、例えば、時間継続特徴量抽出部１０４ｃから出力された無音区間を示す情報を用いて、区間分類部１０５は無音区間と無音区間との間隔が所定の時間であるならば、その無音区間と無音区間の間をＣＭ区間と判定する。
【００６２】
この区間分類部１０５での区間分類処理には、伝送エラー判定部１０２ｂから入力された伝送エラーの判定結果を用いる。図９を用いて伝送エラー判定部１０２ｂから入力された伝送エラーの判定結果を用いて区間を分類する処理について説明する。
【００６３】
なお、区間分類部１０５には、セグメント単位特徴量抽出部１０４ｂから、セグメント単位のＬとＲの差分の概算値が入力されるものとし、区間分類部１０５において音楽区間を検出するとして説明する。
【００６４】
区間分類部１０５では、セグメント単位特徴量抽出部１０４ｂから入力されたセグメント単位のＬとＲの差分の概算値に基づいて、音楽性が高いと判定できるセグメント（ＬとＲの差分が大きいセグメント）と、音楽性が低いと判定できるセグメント（ＬとＲの差分が小さいセグメント）とに離散化する。
【００６５】
なお、図９では、音楽性が高いと判定されたセグメントを”Ｈ”、音楽性が低いと判定されたセグメントを”Ｌ”と示す。そして、区間分類部１０５は、Ｈのセグメントが例えば３つ連続すると音楽区間の開始と判定し、音楽区間の開始後Ｌのセグメントが例えば３つ連続すると音楽区間の終了と判定するとして説明する。
【００６６】
区間分類部１０５に入力されるセグメントには、セグメントを構成する全てのフレームが伝送エラーを起こしていない場合と、セグメントを構成するフレームの一部または全部が伝送エラーを起こしている場合とがある。図９では、伝送エラーを起こしたフレームを含むセグメントを”×”で示している。
【００６７】
全てのフレームが伝送エラーを起こしていない場合には、セグメント単位特徴量抽出部１０４ｂでは、セグメントのＬとＲの差分の概算値に基づいて”Ｈ”と”Ｌ”に２値化することができる。しかし、伝送エラーが起こったフレームが含まれていると、セグメントのＬとＲの差分の概算値が正確に求められていない可能性がある。そこで、伝送エラー検出フィルタ部１０２によって検出された伝送エラーの情報を区間分類部１０５に入力して、伝送エラーが起こったフレームが含まれるセグメントを確率的に２値化する。
【００６８】
確率的に２値化する方法としては、例えば、連続した所定数分（例えば５つ）のセグメントの”Ｈ”、”Ｌ”の出現パタンを予め学習しておき、伝送エラーが起こった箇所を中心としたセグメントの”Ｈ”と”Ｌ”の出現パタンを学習結果と比較することによって確率的にエラー発生箇所の予測を行うことができる。具体的には、例えば伝送エラーの起こった箇所を中心として前後２セグメントが”ＨＨ×ＨＬ”というパタンだった場合であって、予め学習したＨ、Ｌのパタンとして”ＨＨＨＨＬ”が８ケース、”ＨＨＬＨＬ”が２ケースあるような場合には、”ＨＨＨＨＬ”のパタンで出現する確率が”ＨＨＬＨＬ”で出現する確率よりも高い。そこで、この伝送エラーの起こったフレームを含むセグメントは”Ｈ”と判定する。
【００６９】
また、確率的に２値化する別の方法としては、エラーが起こった箇所の前後２、３セグメントに”Ｌ”が多ければ、当該セグメントも”Ｌ”と判定し、隣接するセグメントに”Ｈ”が多ければ、当該セグメントを”Ｈ”と判定することもできる。このように、確率的に２値化した特徴量を用いて区間を分類することによって、高い精度で区間を分類することができる。
【００７０】
なお、上述の説明では、セグメント単位特徴量抽出部１０４ｂで判定されたセグメント単位の特徴量を用いて区間を分類する場合を説明したが、フレームごとの特徴量を用いて区間を分類しても良い。
【００７１】
なお、上記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において、適宜変更しても良い。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る携帯電話機の構成を示すブロック図。
【図２】本発明の実施形態に係る携帯電話機のコンテンツ処理部の構成を示すブロック図。
【図３】本発明の実施形態に係る携帯電話機のコンテンツ解析部のブロック図。
【図４】本発明の実施形態に係る携帯電話機のセグメント単位特徴量抽出部で処理イメージ図。
【図５】本発明の実施形態に係る携帯電話機のセグメント単位特徴量抽出部の処理を示すフローチャート。
【図６】本発明の実施形態に係る携帯電話機の時間継続特徴量抽出部で処理されるデコードデータの例を示したイメージ図。
【図７】本発明の実施形態に係る携帯電話機の時間継続特徴量抽出部の処理を示すフローチャート。
【図８】本発明の実施形態に係る携帯電話機の伝送エラー検出フィルタ部とデコード部の構成を示すブロック図。
【図９】本発明の実施形態に係る携帯電話機の区間分類部の処理イメージ図。
【符号の説明】
【００７３】
１  携帯電話機、５１  制御部、５２  アンテナ、５３  ＲＦ部、５４  通信制御部、５５  音声入出力部、５６  表示部、５７  記憶部、５７ａ  マルチメディアコンテンツＤＢ部、５８  アンテナ、５９  ＲＦ部、６０  放送受信部、１００  コンテンツ処理部、１０１  Ｄｅｍｕｘ部、１０２  伝送エラー検出フィルタ部、１０２ａ  ヘッダーサーチ部、１０２ｂ  伝送エラー判定部、１０３  デコード部、１０３ａ  フレームデータ一時記憶部、１０３ｂ  デコード処理部、１０４  コンテンツ解析部、１０４ａ  解析制御部、１０４ｂ  セグメント単位特徴量抽出部、１０４ｃ  時間継続特徴量抽出部、１０５  区間分類部、１０６  ＴＳデータ一時記憶部、１０７  解析結果統合部
【図１】
0005028651.tif 000002
【図２】
0005028651.tif 000003
【図３】
0005028651.tif 000004
【図４】
0005028651.tif 000005
【図５】
0005028651.tif 000006
【図６】
0005028651.tif 000007
【図７】
0005028651.tif 000008
【図８】
0005028651.tif 000009
【図９】
0005028651.tif 000010