(57)【要約】【課題】より簡易に曲の区間を検出することができる技術を提供する。【解決手段】音声信号を出力する出力手段と、外部からの操作に基づいてこの音声信号に関する曲名情報の検索を指示する指示手段と、この検索の指示のタイミング前後の区間で前記音声信号の切り出しを行う切り出し手段と、この除去が行われた結果である音声信号区間の情報をサーバーに送信する送信手段と、このサーバーから前記音声信号区間に関する前記曲名情報の検索結果を受信し蓄積する蓄積手段とを備える情報処理装置。【選択図】  図３
2014067292.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を出力する出力手段と、
外部からの操作に基づいてこの音声信号に関する曲名情報の検索を指示する指示手段と、
この検索の指示のタイミング前後の区間で前記音声信号の切り出しを行う切り出し手段と、
この除去が行われた結果である音声信号区間の情報をサーバーに送信する送信手段と、
このサーバーから前記音声信号区間に関する前記曲名情報の検索結果を受信し蓄積する蓄積手段とを
備える情報処理装置。
【請求項２】
前記検索結果を出力する出力手段をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記音声信号区間の情報は、前記サーバーに前記曲名情報の検索を行わせる特徴量である請求項１に記載の情報処理装置。
【請求項４】
前記出力手段は、前記検索結果を表示する結果表示部である請求項２に記載の情報処理装置。
【請求項５】
音声信号を出力する出力工程と、
外部からの操作に基づいてこの音声信号に関する曲名情報の検索を指示する指示工程と、
この検索の指示のタイミング前後の区間で前記音声信号の切り出しを行う切り出し工程と、
この除去が行われた結果である音声信号区間の情報をサーバーに送信する送信工程と、
このサーバーから前記音声信号区間に関する前記曲名情報の検索結果を受信し蓄積する蓄積工程とを
含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、曲名検索機能を利用し、蓄積コンテンツの音楽再生状態を解析する情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
最近、放送情報の中からの楽曲の抽出精度を向上し得るようにするものがある（例えば、特許文献１参照。）。しかしながら、この先行技術はAudioデータをずっと解析しつづけて、曲の区間を検出するものである。より簡易に曲の区間を検出する技術への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３９９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施の形態は、より簡易に曲の区間を検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、実施形態によれば情報処理装置は、音声信号を出力する出力手段と、外部からの操作に基づいてこの音声信号に関する曲名情報の検索を指示する指示手段と、この検索の指示のタイミング前後の区間で前記音声信号の切り出しを行う切り出し手段と、この除去が行われた結果である音声信号区間の情報をサーバーに送信する送信手段と、このサーバーから前記音声信号区間に関する前記曲名情報の検索結果を受信し蓄積する蓄積手段とを備える。
【図面の簡単な説明】
【０００６】
【図１】この発明の一実施形態を示すシステム概要図。
【図２】同実施形態の音声処理装置の構成を示す図。
【図３】同実施形態の曲名検索機能のモジュール構成図。
【図４】同実施形態の曲名検索処理フロー図。
【図５】同実施形態に用いられるAudioストリーム解析フロー図。
【図６】同実施形態のAudioデータ区間決定フロー図（無音区間検出時、Audioデータ切り出しフローを含む）。
【図７】同実施形態のAudio Streamにおける検索実施位置、Audio Streamにおける無音区間検出状況、検索結果比較時の区間定義の説明図。
【図８】同他の形態に用いられる曲名検索ターゲット区間の無音検出例を示す図。
【図９】同実施形態に用いられる表示装置の表示画面の一例の説明図。
【発明を実施するための形態】
【０００７】
以下、本発明の一実施形態を図１乃至図９を参照して説明する。まず図１は、この発明の一実施形態を示すシステム概要図である。
【０００８】
図１は、ＴＶ（次に詳述するデジタルテレビ録画再生装置１０、あるいはＲｅｃｏｒｄｅｒ１０ａ）を中心として、例えば図示せぬＴＶ用のリモコンと外部サーバー３とから構成されるシステムを表している。リモコンを用いてＴＶのユーザーが聴いている曲の曲名等について検索開始指示を出し、ＴＶ経由で曲の特徴量を外部サーバー３に送信し、外部サーバー３がこの特徴量に基づいて検索した結果である曲名等をＴＶが受信して必要に応じて表示する構成となっている。
【０００９】
次に、図２を参照して、情報処理装置の実施形態である音声処理装置のシステム構成を説明する。この音声処理装置は、例えばデジタルテレビ録画再生装置１０として実現されている。本デジタルテレビ録画再生装置１０は、テレビ放送の番組内に存在する例えば数百ミリ秒の無音区間を検出することができる。
【００１０】
本デジタルテレビ録画再生装置１０は、受信部１０１、ＴＳ分離部１０２、ＣＡＳ制御部１０３、Ｂ−ＣＡＳカード１０４、デスクランブラ部１０５、録画再生制御部１０６、映像記録部１０７、音声／画像分離部１０８、音声デコード部１０９、音声出力部１１０、リサンプリング部１１１、無音区間判定部１１２、特徴量検出部１１３、情報制御部１１４、特徴量登録部１１５、区間登録部１１６、ユーザー入力処理部１２０（リモコン１とのデータ信号の送受を行う）や図示せぬモニター等の表示部を備えている。
【００１１】
受信部１０１は、テレビ放送波受信アンテナ（非図示）と接続され、テレビ放送を受信する。アンテナで受信されたテレビ放送波の信号が受信部１０１に入力されると、受信部１０１は入力されたテレビ放送信号を復調し、ＴＳ分離部１０２へ出力する。
【００１２】
ＴＳ分離部１０２は、受信部１０１から入力された放送信号のＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）を、符号化された音声データや画像データであるＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）や、暗号化情報であるＥＣＭ（Ｅｎｔｉｔｉｌｅｍｅｎｔ  Ｃｏｎｔｒｏｌ  Ｍｅｓｓａｇｅ）等に分離する。そしてＴＳ分離部１０２は、ＥＳをデスクランブラ部１０５に、ＥＣＭをＣＡＳ制御部１０３に出力する。
【００１３】
ＣＡＳ制御部１０３は、ＴＳ分離部１０２から出力された暗号化情報ＥＣＭを入力する。そしてＣＡＳ制御部１０３は、ＣＡＳカード１０４に記憶されている放送事業者毎に設定されるワーク鍵（Ｋｗ）を用いてＥＣＭの暗号を復号し、ＥＣＭ内のその番組に関する属性情報とＢ−ＣＡＳカード１０４に記憶されている契約情報とを比較して、視聴可否の判定を行う。そしてＣＡＳ制御部１０３は、視聴可能である場合にスクランブル鍵（Ｋｓ）を復号してデスクランブラ部１０５に出力する。
【００１４】
デスクランブラ部１０５は、ＴＳ分離部１０２から入力された、音声データや画像データであるＥＳのスクランブル処理を解除する。デスクランブラ部１０５は、ＣＡＳ制御部１０３から入力した前記スクランブル鍵（Ｋｓ）を用いて音声データや画像データのスクランブル処理を解除し、スクランブル解除した音声データや画像データを録画再生制御部１０６に出力する。
【００１５】
録画再生制御部１０６は、録画処理および再生処理を制御する。録画処理において録画再生制御部１０６は、音声データや画像データをコンテンツごとの一つのＴＳに纏めて記録媒体部１０７に記録するとともに、音声／画像分離部１０８にコンテンツのＴＳを出力する。また録画処理において録画再生制御部１０６は、後述する区間登録部１１６から入力された区切り情報と動画コンテンツ等とを対応付けて記録部１０７に記録することができる。あるいは、該区切り情報に基づいて、動画コンテンツ等の特定時間区間をカットして記録することも可能である。
【００１６】
また、録画再生制御部１０６は、映像記録部１０７に記録されたコンテンツの再生処理を制御する。そのとき録画再生制御部１０６は、映像記録部１０７からコンテンツのＴＳをロードして、該ＴＳを音声／画像分離部１０８に出力する。
【００１７】
音声／画像分離部１０８は、録画再生制御部から出力されたＴＳから、音声信号と画像信号を分離する。そして音声／画像分離部１０８は、分離した音声信号を音声デコード部１０９に、画像信号を画像デコード部（非図示）に出力する。
【００１８】
音声デコード部１０９は、音声／画像分離部１０８から出力された音声信号をデコードする。ここで音声信号は、例えばＰＣＭ等のフォーマットにデコードされる。そしてデコード部１０９は、録画処理においては、デコードした音声信号をリサンプリング部１１１に出力し、再生処理においては、デコードした音声信号を音声出力部１１０に出力する。
【００１９】
リサンプリング部１１１は、デコード部１０９から入力された音声信号のサンプリング周波数を変換する再サンプリング処理を行う。例えば、デジタル放送における音声信号のサンプリング周波数は４８ＫＨｚであるが、リサンプリング部１１１はこの音声信号を更に低い周波数にて再サンプリングして、例えばサンプリング周波数が１２ＫＨｚの音声信号に変換する。
【００２０】
ここで、再サンプリングの際には、リサンプリング部１１１は、再サンプリング前の音声サンプルから一定の周波数以上の音声成分を削る処理を行ったのち、再サンプリング処理を行う。このとき、再サンプリング処理の方法については、公知の技術を利用できる。そしてリサンプリング部１１１は、再サンプリングされた音声信号を無音区間判定部１１２および特徴量算出部１１３に出力する。
【００２１】
無音区間判定部１１２は、入力した音声信号の音声サンプルのうち、一定間隔の音声サンプルに対して音量レベルが所定の範囲内か否かを判別し、音量レベルが所定の範囲内であると一定回数連続して判別された区間を無音区間として検出する。そして無音区間判定部１１２は、無音区間を検出すると、特徴量算出部１１３および情報制御部１１４に無音区間検出を通知する。この情報制御部は、無音区間や特徴量の伝達、外部サーバー３、端末２とのＬＡＮ  Ｉ／Ｆや無線を介した送受信データのやり取りの機能を含めたものとしてある。
【００２２】
特徴量算出部１１３は、無音区間判定部１１２から無音区間検出通知を受け取った後、音声信号の音声サンプルのうち、連続する所定数の音声サンプルに対して特徴量を算出する。ここで、特徴量算出部１１３は、無音区間判定部１１２から無音区間検出通知を受け取った所定時間後、例えば該通知の１秒後に特徴量を算出する。特徴量算出部１１３は、一般には外部サーバー３で楽曲情報検索を行えるような特徴量を、音声サンプルから抽出することができるアプリケーションプログラムである。
【００２３】
尚、特徴量算出部１１３は、音の区間における音楽信号サンプルの特徴量を算出することを目的としている。そして特徴量算出部１１３は、算出した特徴量のデータを情報制御部１１４に出力し特徴量登録部１１５に外部サーバー３との送信まで登録させる。これによりデータ通信部として機能する情報制御部１１４は、Ethernet（登録商標）規格の有線ネットワークで接続された外部のルーター、モデムを介し通信ネットワークを介して楽曲情報検索を行う外部サーバー３に、必要な特徴量を送ることができる。
【００２４】
情報制御部１１４は、無音区間判定部１１２から出力された無音区間検出通知に基づいて、音声信号中における対象区間を区間登録部１１６に登録させる。
さて本実施形態は、録画したコンテンツのAudioストリームに対して曲名検索を行い、Audioストリームの音楽再生状況を解析することを目的とする。音楽をユーザーが調べたいと思ったタイミングで検索指示を出すと、TV内で検索対象のAudioデータ（PCM）を切り出して検索の為に必要な特徴量生成を行う。この特徴量を外部サーバー３に送信し上記検索が完了すると結果がＴＶへ通知される。
【００２５】
＜モジュール構成および処理フロー＞
TVで曲名検索処理を行う場合の例を表す機能モジュール構成を図３に、処理フローを図４に示す。
このモジュール構成は、Audioストリーム取得部３１、Audio Decoder３２、Audioデータ蓄積部３４からなるAudioストリームデコード部３０と、図示せぬリモコンを備えている。
【００２６】
更にまた、曲名検索指示部３６、Audio切り出し処理部３７、特徴量生成部３８、結果取得部４０、結果判定部４１、結果蓄積部４２を備えている。
このAudioストリーム取得部３１は、主に受信部１０１から音声／画像分離部１０８までに対応している。またAudio Decoder３２は、音声デコード部１０９に相当している。Audioデータ蓄積部３４はリサンプリング部１１１に相当している。
【００２７】
更にまた、曲名検索指示部３６はユーザー入力処理部１２０に、Audio切り出し処理部３７、特徴量生成部３８は、無音区間判定部１１２、特徴量算出部１１３に相当している。結果取得部４０、結果判定部４１は、情報制御部１１４に相当している。
【００２８】
Audioストリーム取得部３１では再生対象のAudioストリームを取得し、Audio Decoder３２に送る。Audio Decoder３２はAudioストリームをデコードし、PCMデータを出力する。この出力PCMデータはAudioデータ蓄積部３４に渡される。Audioデータ蓄積部３４に渡ったデータは、処理の軽減等で必要なら再サンプリングしAudioデータ蓄積部３４内の図示せぬRing Bufferに格納され、曲名検索処理実行時に参照される。
【００２９】
図４については次のような処理となる。
曲名検索の開始指示はユーザーによって指示手段であるリモコンで行われる（ステップＳ４１）。TV側では曲名検索指示部３６にユーザーからの検索開始指示が送られる。リモコンはこの指示のための専用ボタンを備えていてもよいし、ＴＶ画面に表示されるメニューを見ながら対話的にあるボタンを用いて指示できるように構成してもよい。
【００３０】
曲名検索開始指示が曲名検索指示部３６に送られると曲名検索に必要な処理を行い、Audio切り出し部処理３７でAudioストリームデコード部３０に対してAudioデータ取得通知が送信されAudio切り出し処理が開始される（ステップＳ４２）。なおこの必要な処理とは、例えば外部サーバー３に特徴量を送信する為のアプリケーションソフトの起動であり、関連して各種の初期化処理やライセンス認証処理が行われることが多い。そしてAudio切り出し処理部３７では、曲名検索に必要な所定の長さのPCMデータをAudioデータ蓄積部３４から取得する。
【００３１】
このとき、Audioストリームデコード部３０では、Audioストリーム取得部３１で対象区間のAudioストリームを取得し、Audio Decoder３２に送る。Audio Decoder３２はAudioストリームをデコードし、Audioデータ蓄積部３４でデコードしたデータを蓄積し、Audio切り出し処理部３７へ切り出したデータを渡す。
【００３２】
Audio切り出し処理部３７が受け取ったAudioデータは特徴量生成部３８に渡され、曲名検索で必要な特徴量を生成する。生成した特徴量をネットワーク越しに外部サーバー３へ送信する。
【００３３】
即ち、所定の長さのPCMデータ取得が完了すると特徴量生成部３８で曲名検索に必要な情報（外部サーバー３に曲名情報の検索を行わせるための特徴量、例えばPCMデータの周波数毎の大小判定情報）を生成する（ステップＳ４３）。特徴量生成部３８で必要な情報の生成が完了すると、外部サーバー３へ必要データ（必要な情報）を送信する（ステップＳ４４）。
【００３４】
外部サーバー３では受信した特徴量に該当する曲名データ検索を行う。検索結果は結果取得部４０に送信される。即ち、曲名検索は外部サーバー３で行われ（ステップＳ４５）、検索が完了するとTV側へ検索結果が通知される。この検索結果は結果取得部４０で受信され（ステップＳ４６）、文字列等で表現された曲名情報（この曲名情報としては、曲名の他に、アーティスト名、作曲者名、作詞者名、アルバムタイトル、レーベルなどの付随情報を含むのが好適である）が結果判定部４１へ渡される。曲名情報が得られなかった場合には、“no query”といった内容の文字列が得られるように構成されている。曲名情報が取得できた場合は結果判定部４１では受け取った情報が有効な曲名データであればユーザー通知用の結果文字列を生成し、結果蓄積部４２へ渡し、結果蓄積部４２で保存する。
【００３５】
曲名情報が得られなかった場合は必要に応じて（例えばユーザーによる設定があれば、ステップＳ４２からの再検索実施）結果判定部４１から曲名検索指示部３６に再検索要求を出す。
【００３６】
結果表示をする場合では検索要求を出したソースに応じてTVで表示し（図９参照）、検索結果蓄積を行い（ステップＳ４８）、処理を終了する（ステップＳ４９）。
【００３７】
図９は、この表示の例である。図９に示すように、ＴＶの前面にある表示部３１の表示画面の一部（図９の例では、表示画面の上部）に、曲名、アーティスト名、作曲者名等を表示する。
【００３８】
＜Audioストリーム解析フローについて＞
Audioストリームの解析は、予め定めたT分間隔毎に実施する（図７参照）。ストリームの左端から順に検索結果1, 2, 3, … Nとすると、 それぞれの検索位置で検索結果を取得し、図５のAudioストリーム解析フローに従って処理を行う（図７（ａ））。
【００３９】
検索結果1からNをそれぞれ隣同士比較する。検索結果が同じであれば、その隣接2区間は同じ音楽が流れているものと以下のように判定する。
ターゲットのAudioストリームに対して、既定のＴ分間隔で検索を完了したら検索結果の比較を開始する（ステップＳ５１）。検索結果の比較はストリームの左側（早い時刻）から実施する。検索結果を表す検索結果番号をｎとし、ｎ=１から開始する。２つの検索結果で挟まれた領域を検索区間とし、検索区間番号をiとする（図７（ｃ））（ステップＳ５２）。
【００４０】
比較ターゲットを選出する（ステップＳ５３）。そして検索を実行する（ステップＳ５４）。検索結果ｎと右隣のｎ+1を比較する（ステップＳ５５）。検索結果ｎとｎ＋１が同じ場合、区間iの曲名が決まる（ステップＳ５６）。
【００４１】
一致しない場合は区間 i 内に音楽の切れ目（≒
曲が変わる）が存在することを示す。曲名を未決定のまま、次のターゲットへ処理を移す（ステップＳ５７）。
上述のステップＳ５３からステップＳ５７までの処理を、全ての区間について行う（ステップＳ５８）。全件完了したところで、処理を終了する（ステップＳ５９）。
【００４２】
＜検索実行時のAudio区間の決定方法について＞
Audioストリームの解析は、ストリームの先頭から予め設定したT分間隔毎に実施する。先ず、ストリームの左端からＴ分間隔で並べた位置を検索初期位置とする。曲名検索では検索に利用するAudioデータの状態が検索結果に大きく影響する（≒調べた音楽に該当するデータ部が短いと検索に失敗することが多い）。
【００４３】
そこで検索対象区間の決定処理に入ったら（ステップＳ６１）、検索初期位置から無音状態部分（≒曲名検索時に無効な部分、再生音のレベルが小さいが、完全な無音部というわけではない）の検出を行う（ステップＳ６２）。
【００４４】
検索対象区間内に無音部分があれば（ステップＳ６３のＹｅｓ）検索位置の補正を行う（ステップＳ６６）。検索対象区間内に無音部分が検出されなければ（ステップＳ６３のＮｏ）、検索初期位置を先頭として、[先頭，先頭+Ｍ秒] の範囲を検索データとして（ステップＳ６４）検索対象区間決定の処理を終了する（ステップＳ６５）。
【００４５】
なお、ステップＳ６６からの 無音検出時の位置補正 については、図８のように検索区間を無音区間で分割する。ここにおいて分割された有効区間のうち、長さが最大のものを検出する（ステップＳ６７）。
【００４６】
検出した最大区間がThSec秒（例えば日本国内ではＣＭの長さに併せて１５秒を設定する）よりも短い場合（ステップＳ６８のＹｅｓ）は検索に利用せず、該当区間 i を無効区間と設定する（ステップＳ６９）。無効区間の検索処理は行わない。
【００４７】
最大区間がThSec秒以上ならば（ステップＳ６８のＮｏ）、検索対象区間として決定する（ステップＳ６５）。これは既に述べたように、ストリームの左端から順に検索結果1, 2, 3, … Nとして、それぞれの検索位置で検索結果を取得し、図５のAudioストリーム解析フローに従って処理を行う。
【００４８】
曲名未決定区間については、既定の Ｔ分間隔で曲名検索を行い、曲名が決まらなかった区間については、予め定めたＴr分間隔（Ｔr <Ｔ）で同じように検索を実行する。予め規定した最小間隔Nminになるまで未決定区間での曲名検索を実施する。このNminに達した時点で検索を完了する。
【００４９】
検索間隔 Ｔの決定方法については次のようなものがある。
（１） EPGより番組情報を取得する
番組種別に応じて予め値を決定しておき、コンテンツ録画時にEPGより番組情報を取得し、番組種別に応じた値を利用する。例えば、音楽番組では1曲当り3分程度の流れるので、検索間隔を3分よりも短い長さに設定する。
【００５０】
（２）ユーザー設定値を利用する
予めユーザーが設定した時間間隔を利用する。例えば、音楽チャート番組では古い曲の紹介は数秒で終わり、新曲は数分かける場合がある。検出して欲しい音楽の長さをユーザーが決める。この長さよりも短い間隔で検索を行う。
【００５１】
以上で、検索間隔については “分”単位で記載しているが、秒でも良い。
他の実施例、変形例としては、録画時に曲名検索処理を実行しておく。例えば録画機で、録画中のストリームに対してＴ秒間隔で曲名検索を実行しておく。後は、録画完了後にオフラインで処理を継続する。
【００５２】
本実施形態は予め設定した間隔で解析する初期位置を決め、初期位置を基準に無音相当部分を検出する。無音部分の検出状態によって曲名検索区間を決定するものである。先行技術と比べた効果として、Audioデータの解析処理が簡単であることが挙げられる。
【００５３】
以上、録画したコンテンツのAudioストリームに対して曲名検索を行い、Audioストリームの音楽再生状況を解析することを目的とした。結果、録画したコンテンツの音楽再生状況を検出することができる。なお本機能をコンテンツサーバー内で実行した場合、ユーザー個人で検索する手間が省ける。
【００５４】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００５５】
１０：デジタルテレビ録画再生装置
１０１：受信部
１０２：ＴＳ分離部
１０３：ＣＡＳ制御部
１０４：Ｂ−ＣＡＳカード
１０５：デスクランブラ部
１０６：録画再生制御部
１０７：映像記録部
１０８：音声／画像分離部
１０９：音声デコード部
１１０：音声出力部
１１１：リサンプリング部
１１２：無音区間判定部
１１３：特徴量算出部
１１４：情報制御部
１１５：特徴量登録部
１１６：区間登録部
１２０：ユーザー入力処理部
【図１】
2014067292.tif 000003
【図２】
2014067292.tif 000004
【図３】
2014067292.tif 000005
【図４】
2014067292.tif 000006
【図５】
2014067292.tif 000007
【図６】
2014067292.tif 000008
【図７】
2014067292.tif 000009
【図８】
2014067292.tif 000010
【図９】
2014067292.tif 000011