(57)【要約】【課題】映像コンテンツを視聴中に音声データを切替えた場合の利便性を向上させる。【解決手段】切替地点の再生位置に音声データがないと、再生位置から最も近い過去にある有音データ区間長及び再生位置から未来にある全無音データ区間の総長を計算し、これらを比較する。無音データ区間の方が長いときに限って、再生位置から最初の有音データまでの無音データ区間長を計算して有音データ区間長とを比較する。無音データ区間の方が長いと、有音データを再生位置の後に移動する。移動後、有音データ区間の方が長いと、有音データを再生位置の後に移動する。移動有音データ再生終了位置が次の有音データ再生開始位置と重なっていると、次の有音データを移動させたデータの再生終了位置の後ろに移動する。移動有音データ再生終了位置が次の有音データ再生開始位置より未来にあると、指定位置から音声データを再生する。【選択図】図４
2009253538.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、前記選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに
前記移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段を含む、情報処理装置。
【請求項２】
前記音声データ処理手段は、
前記音声切替点より過去にある前記選択音声データの有音部分を前記移動音声データとして前記音声切替点に移動させたときに、当該移動音声データと重なる有音の音声データが存在すれば、その有音の音声データを重なり音声データとしてその再生開始位置を前記移動音声データの再生終了位置に移動させるための手段を含む、請求項１に記載の情報処理装置。
【請求項３】
前記音声データ処理手段は、
前記音声切替点から一定時間内にある無音部分の音声データを総計無音データとし、これと前記移動音声データとの時間の長さを比較して何れの方が長いかを判断するための手段をさらに含む、請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記音声有無判断手段は、
音量又は音声再生時間のしきい値を設定及び変更可能である、請求項１〜請求項３の何れか１項に記載の情報処理装置。
【請求項５】
前記音声データ処理手段は、
前記音声切替点から有音の音声データが再生されるとき、映像コンテンツに付随した音声を低音量にするか、高音データを削除するか、又は停止するための手段をさらに含む、請求項１〜請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記音声データ処理手段は、
指定範囲内の有音データを検索し、指定の有音データを有する音声データを抽出するための手段をさらに含む、請求項１〜請求項５の何れか１項に記載の情報処理装置。
【請求項７】
映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断処理を有し、前記選択音声データの有音の音声データを移動音声データとして再生位置に移動させる音声データ処理ステップ、並びに
前記移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させる同期処理ステップを含む、情報処理方法。
【請求項８】
コンピュータを、
映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、前記選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに
前記移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段として機能させる、情報処理プログラム。
【請求項９】
コンピュータを、
映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、前記選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに
前記移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段として機能させる、情報処理プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、特に、映像コンテンツに対する複数の音声データが存在する場合に、音声データを選択して視聴する際の音声データ処理技術に係わる。
【背景技術】
【０００２】
現在のテレビジョン（ＴＶ）放送は、モニタに１つの映像が出力され、その映像に同期した１つ以上の音声が放送されている。他方、映画コンテンツが入ったＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）ソフトには、映像に同期した音声が複数存在し、洋画であれば、日本語、英語及びその他の外国語等が対応している。このように、映像コンテンツに同期した主となる音声は「主音声」と呼ばれ、この主音声以外の同期した音声は「副音声」と呼ばれている。
【０００３】
また、一部の映画コンテンツの特典には、映像及びその映像の主音声以外に、製作者等がコンテンツを視聴しながら会話をした会話音声がある。ユーザは、映像コンテンツとその主音声とを視聴しながら、コンテンツを視聴している人の会話を聞いて楽しむことができる。このような映画コンテンツは、常に、映像と音声とが同期しており、映像と音声とがずれることはない。
【０００４】
その一方で、例えば、特許文献１には、複数の異なる音声データを記録・再生できるシステムが開示されている。
【０００５】
この特許文献１にて開示されたシステムでは、２つの音声データが存在し、第１の音声を再生しているときに、第２の音声に切替えると、第２の音声を聞くことができるように構成されている。
【０００６】
また、特許文献１は、第１の音声から第２の音声に切替えたときに、切替地点の第２の音声が無音であった場合に、音声の再生位置を次の有音の音声部分まで移動させて当該第２の音声を再生する、という技術も開示している。
【特許文献１】特開２０００−１２２６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した製作者等の会話を副音声とした会話音声は、出演者の台詞、及び車の衝突のクラッシュ音等ではないので、１秒のずれも許されない厳密な同期が必ずしも必要とは限らず、少しのずれならば許される緩い同期である。このような緩い同期が許される会話音声は、映像コンテンツ製作者等の会話に限るものではなく、映像コンテンツを視聴しながら友人等が会話した音声、及び全然知らない人が映像コンテンツを視聴して思わずつぶやいた音声等、映像コンテンツにある程度同期していれば、映像コンテンツに対応した音声データとみなすことができる。そして、映像コンテンツに対応する会話音声が多数存在する場合、色々音声を切替えて利用するシーンが考えられ、その際には、会話音声を切替えたら直ぐに内容を聞きたいという、ユーザの要望があると考えられる。
【０００８】
かかるシーンで会話音声を映像コンテンツの副音声として利用する場合には、映像コンテンツと会話音声とは常に同期する必要がある。しかしながら、会話音声は、一般のユーザが作製することも想定されるため、作製された会話音声は、常に有音の音声データであるとは限らず、音声データの中には、無音部分があると考えられる。このような無音部分を含む会話音声を映像コンテンツの副音声として映像コンテンツの再生途中に選択して切替えた地点（即ち、再生位置）の音声が無音であった場合、ユーザは、切替えた音声が無音の状態から有音へ変化するまで待ち続けなければ、その会話音声の内容が理解できない。さらに、上記と同様に切替えた地点の音声が無音であれば、ユーザには音声が正常に切替えられたか否かが分からず、ユーザが困惑する恐れがある。このように、映像コンテンツと会話音声とを常に同期して利用する場合には、ユーザにとって不便が生じる恐れがある。
【０００９】
一方で、映像コンテンツに対応する会話音声を切替え、その切替地点の音声が無音であった場合の対処法として、上記特許文献１記載の技術のように、次の有音の音声まで再生地点を移動させることで、会話音声を切替えたときに音声会話の無音部分を聞かずに済むことができるが、会話音声の再生地点を次の有音音声の位置まで移動してしまうと、映像コンテンツと会話音声との再生時間軸の位置にずれが生じ、映像コンテンツと会話音声との再生位置がずれた状態で視聴しなければならなくなる。
【００１０】
また、映像コンテンツと会話音声とを視聴しているときに会話音声を切替え、その切替えた会話音声の位置が無音であった場合に、特許文献１記載の技術のように、会話音声の再生地点を現在の位置から未来へ移動すると、ユーザが未来の音声を聞くことで、映像コンテンツの未視聴部分の内容を知ってしまう恐れがある。
【００１１】
さらに、特許文献１記載の技術のように、音声データの切替えのときに、再生地点が次の有音部分まで移動しても、切替えた後の有音部分の区間が極端に短ければ、有音の音声が一瞬再生されて直ぐに無音になってしまうので、ユーザには何が起こったか分からず、ユーザを混乱させてしまう。また、映像コンテンツと会話音声とを視聴しているときに、会話音声を切替え、音声データを切替えた地点が有音であり、何も変化なく音声が再生されても、その音声の始まりが話の途中からであった場合は、ユーザは何の話題かが理解できない。さらにまた、映像コンテンツと会話音声とを視聴中に、ある映像コンテンツのシーンについて、他の人がどのような会話及びコメントをしているのかを知ることを目的として、会話音声を切替えた場合、切替えた会話音声の位置が有音であるときには何も変化させずに再生すればよいが、無音であるときには再生位置が次の有音部分に移動するように設定していると、ユーザは目的のシーンに対するコメントを聞くことができないことがある。
【００１２】
本発明は、上記技術的課題に鑑みてなされたもので、ユーザが音声を含む映像コンテンツを視聴中に、音声データを切替えた場合の利便性を向上させ得る、情報処理装置、情報処理方法、及び情報処理プログラム、並びにこのプログラムを記録したコンピュータ読取可能な記録媒体の提供を目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の観点に係る情報処理装置は、映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段を含むものである。
【００１４】
上記構成によれば、選択音声データの音声切替点の音声を解析し、有音の音声データを音声切替点に移動させて再生することにより、映像コンテンツは、とぎれなく再生を続け、移動音声データの再生の間、映像と音声とが非同期の状態となる。そして、移動音声データの再生が終了すると、映像と選択音声データとが同期して再生される。
【００１５】
なお、上記選択音声データは、情報処理装置、宅内のレコーダ及びパーソナルコンピュータ（ＰＣ）に予めダウンロードしていてもよい。また、処理時間軽減のために、情報処理装置において、選択音声データの有音部分及び無音部分を予め割り出しておいてもよい。
【００１６】
移動させる過去の有音データの時間長が再生位置の無音区間の時間長より長い場合には、データが重なってしまい再生できないため、有音データを過去から再生地点へ移動させるときの処理に工夫をなす必要がある。
【００１７】
そこで、上記情報処理装置においては、音声データ処理手段は、音声切替点より過去にある選択音声データの有音部分を移動音声データとして音声切替点に移動させたときに、当該移動音声データと重なる有音の音声データが存在すれば、その有音の音声データを重なり音声データとしてその再生開始位置を移動音声データの再生終了位置に移動させるための手段を含む。
【００１８】
上記構成によれば、選択音声データの音声切替点から過去にある有音のデータを音声切替点に持ってくることにより、未来の音声内容を聞かないで済むので、ユーザは、未だ再生されていない映像コンテンツの内容部分を知ることがなくなる。また、重なり音声データの再生開始位置を過去からの移動音声データ（過去移動音声データ）の再生終了位置に移動させることにより、上記の過去移動音声データの移動による重なり音声データの発生はなくなる。この移動によって、有音の音声データの重なりが再度発生すれば、過去移動音声データの再生終了位置に移動した重なり音声データが過去移動音声データとなり、このときに重なりが生じた有音の音声データが重なり音声データとなる。さらに、過去移動音声データの再生中のみ非同期が発生し、その再生が終了すると、映像コンテンツと選択音声データとが同期して再生される。したがって、移動させたい過去の有音データの時間長が長くとも、再生位置への移動が可能となる。
【００１９】
上記のように、過去の有音データをコンテンツの再生位置に移動させるときに他のデータがあれば、そのデータを他の場所へ移動させなければならない。そのため、データ移動させる前に、まず、データが移動できるか否かの判断が必要になる。しかし、有音データに関しては、その移動の可否を移動させる前に判断できない。
【００２０】
そこで、上記情報処理装置においては、音声データ処理手段は、音声切替点から一定時間内にある無音部分の音声データを総計無音データとし、これと移動音声データとの時間の長さを比較して何れの方が長いかを判断するための手段をさらに含む。
【００２１】
上記構成によれば、移動させる有音データの時間長と、再生位置以降の無音データ区間の総時間長とを比較し、どちらが長いかの判断が行なわれ、その判断の結果、総計無音データの時間長の方が長ければ、移動音声データが無音部分に移動できるということになる。したがって、移動させる有音データの移動の可否を移動させる前に判断することが可能となる。
【００２２】
ユーザには聞こえていない音量の音声でも、機器は微量ながら音声を発している場合がある。しかし、機器がその音声を再生してもユーザには聞こえない。よって、ある一定の音量のしきい値を設けて設定したしきい値以上の音声は有音と判断し、しきい値以下の音声を無音と判断する必要がある。例えば、無音は再生せず、有音のみを再生するように機器を設定した場合、無音状態が続く中で一瞬の音声があったときには、その一瞬の音声を有音と機器が判断して再生する。この場合、ユーザは、会話を聞きたいのだが、無意味な一瞬の音声を聞くことになる。無音は再生せず、有音のみを再生するように機器を設定した場合、上記とは逆に、有音状態が続く中で一瞬の無音が発生したときには、その一瞬の無音区間を無音と機器が判断して再生をカットする。この場合、ユーザが聞いていた会話の流れを不自然に感じることがある。
【００２３】
そこで、上記情報処理装置においては、音声有無判断手段は、音量又は音声再生時間のしきい値を設定及び変更可能である。
【００２４】
上記構成によれば、音量又は音声再生時間が一定のしきい値以下の有音のデータは、無音のデータとみなされる。例えば、１秒以下の有音のデータは無音のデータとみなすよう設定すれば、不意に発生した音声等が無音データとみなされ、ユーザが困惑することを防ぐことができる。このように、音量の設定にしきい値を設けることで、ユーザに聞こえない無音部分をカットし、ユーザに聞こえる音声のみを提供することができ、また無音区間に発生する一瞬の雑音等をカットすることができる。他方、一瞬の無音区間も有音と同様に再生することで、自然な会話を聞くことができる。
【００２５】
音声が２種類同時に再生される場合、ユーザとしては、聞き取り難いことが多々ある。そのような場合には、２種類の音声のうち１種類の音声を切替える際に、切替えた方の音声がどのような音声なのかを知りたいが、切替えたときに、切替えていない方の音声が通常のように再生されていては、切替えた方の音声がどのような内容なのかが分かりづらい。
【００２６】
そこで、上記情報処理装置においては、音声データ処理手段は、音声切替点から有音の音声データが再生されるとき、映像コンテンツに付随した音声を低音量にするか、高音データを削除するか、又は停止するための手段をさらに含む。
【００２７】
上記構成によれば、音声データの選択の際には、映像コンテンツの音声が再生され、さらには切替え前の音声データが再生されていることがあるが、選択音声データの移動音声データが再生される一定時間の間、映像コンテンツの音声のボリュームを小さくするか、又は停止することで、２種類の音声が再生されているときに、所望の音声を切替えた際に他の音声に遮られることなく切替えた音声を聞くことができる。その結果、ユーザは、移動音声データの音声が聞き取り易くなる。
【００２８】
ユーザは、映像コンテンツを視聴しているときに気になるシーンに遭遇した場合に、そのシーンに対する他の人のコメントを簡単に聞くことができない。
【００２９】
そこで、上記情報処理装置においては、音声データ処理手段は、指定範囲内の有音データを検索し、指定の有音データを有する音声データを抽出するための手段をさらに含む。
【００３０】
上記構成によれば、ユーザは、映像コンテンツを視聴しているときに気になるシーンに遭遇した場合に、そのシーンに近い位置にある会話音声を聞くことができ、気になるシーンに対して他の人がどのようなことを思っているか、又は話しているかを聞くことができる。
【００３１】
本発明の第２の観点に係る情報処理方法は、映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断処理を有し、選択音声データの有音の音声データを移動音声データとして再生位置に移動させる音声データ処理ステップ、並びに移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させる同期処理ステップを含むものである。
【００３２】
上記構成によれば、選択音声データの音声切替点の音声を解析し、有音の音声データを音声切替え点に移動させて再生すると、映像コンテンツは、とぎれなく再生を続け、移動音声データの再生の間、映像と音声とが非同期の状態となり、移動音声データの再生が終了すると、映像と選択音声データとが同期して再生される。
【００３３】
本発明の第３の観点に係る情報処理プログラムは、コンピュータを、映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段として機能させるものである。
【００３４】
上記構成によれば、選択音声データの音声切替点の音声を解析し、有音の音声データを音声切替え点に移動させて再生すると、これを契機として、映像コンテンツは、とぎれなく再生を続け、移動音声データの再生の間、映像と音声とが非同期の状態となり、移動音声データの再生が終了すると、映像と選択音声データとが同期して再生される。
【００３５】
本発明の第４の観点に係るコンピュータ読取可能な記録媒体は、コンピュータを、映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声データの有音又は無音を判断する音声有無判断手段を有し、選択音声データの有音の音声データを移動音声データとして再生位置に移動させるための音声データ処理手段、並びに移動音声データの再生終了後に、映像コンテンツ及び音声データの両者を同期させるための同期処理手段として機能させる、情報処理プログラムを記録したものである。
【００３６】
上記構成によれば、選択音声データの音声切替点の音声を解析し、有音の音声データを音声切替え点に移動させて再生されることを契機に、映像コンテンツは、とぎれなく再生を続け、移動音声データの再生の間、映像と音声とが非同期の状態となり、移動音声データの再生が終了すると、映像と選択音声データとが同期して再生される。
【００３７】
なお、上記記録媒体としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサで処理が行なわれるためのメモリそのものが記録媒体であってもよい。また、コンピュータの外部記憶装置としてプログラム読取装置が設けられ、この装置に挿入することで読取可能な記録媒体であってもよい。何れの場合においても、記録されている情報処理プログラムは、プロセッサが記録媒体にアクセスすることで実行される。また、プロセッサが記録媒体から情報処理プログラムを読出し、この読出された情報処理プログラムをプログラム記憶エリアに複写して実行するようにしてもよい。プロセッサは、インストールされた情報処理プログラムに従って所定のコピー動作を行なうようにコンピュータの各部を統括的に制御する。
【００３８】
さらに、プログラム読取装置で読取可能な記録媒体としては、（１）磁気テープ、（２）カセットテープ等のテープ系、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤＤ）等の磁気ディスク、又はＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ  Ｄｉｓｋ）、ＭＤ（Ｍｉｎｉ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等の光ディスクといったディスク系、（３）メモリカードを含むＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード、光カード等のカード系、及び（４）マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリを含めた固定的にプログラムを記録する媒体等を例示することができる。
【００３９】
さらにまた、コンピュータを、インターネットを含む通信ネットワークに接続可能な構成とし、通信ネットワークから情報処理プログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。このように通信ネットワークから情報処理プログラムをダウンロードする場合には、そのダウンロード用プログラムは予めコンピュータに格納しておけばよい。また、他の記録媒体からインストールされてもよい。
【発明の効果】
【００４０】
本発明では、映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声が無音であることを条件として、選択音声データの有音の音声データが移動音声データとして再生位置に移動され、この移動音声データの再生終了後に、映像コンテンツ及び音声データの両者が同期するので、ユーザが音声を含む映像コンテンツを視聴中に、音声データを切替えた場合の利便性を向上させ得る。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態について、添付図面に基づき詳細に説明する。なお、以下の説明及び本明細書の添付の図面では、同一の機能部品については同一の符号を付している。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さないことにする。
【００４２】
[第１の実施の形態]
＜システムの全体構成＞
図１は本発明の第１の実施の形態に係る情報処理装置２２が適用されるシステム２０の構成を簡略化して示す図である。
【００４３】
図１を参照して、本実施の形態に係るシステム２０は、情報処理装置２２に加えて、デジタルテレビジョン受像機（以下、単に「ＴＶ」と略称する。）２４、リモートコントローラ２６、コンテンツサーバ２８及び音声データサーバ３０を含む。なお、場合によっては、本システム２０では、図示しないヘッドセットも含まれる。
【００４４】
情報処理装置２２は、ＴＶ２４に接続されると共に、インターネット３２を介してコンテンツサーバ２８及び音声データサーバ３０の両者に接続されている。なお、情報処理装置２２は、ＴＶ２４に含まれた一体型で実現してもよい。
【００４５】
本システム２０においては、リモートコントローラ２６を操作して、インターネット３２経由でコンテンツサーバ２８から取得したコンテンツ、又は何れも図示しないレコーダ及びＰＣ等に記録されているコンテンツをＴＶ２４に出力し、それによってユーザがコンテンツを視聴できるように構成されている。そして、コンテンツ視聴中に音声データを切替える際には、インターネット３２を介して音声データサーバ３０から視聴する音声データを取得する。
【００４６】
ＴＶ２４には、モニタ３４及びスピーカ３６が備えられている。なお、ヘッドセットは、ユーザがインターネット３２を介して他のユーザとコミュニケーションを取る際、及び映像コンテンツを見ながらインターネット３２を介して他ユーザと会話した音声データを作成する際に用いられる。
【００４７】
＜情報処理装置２２の構成＞
図２は情報処理装置２２の構成を示す機能ブロック図である。
【００４８】
図２を参照して、情報処理装置２２は、何れも図示しないＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータで構成され、データ取得部４０、コンテンツリスト取得部４２、音声データリスト取得部４４、コンテンツ取得部４６、音声データ取得部４８、映像データ処理部５０、音声データ処理部５２、コンテンツ選択部５４、音声データ選択部５６、リモートコントロール信号受信部５８、映像出力部６０、音声出力部６２及び再生位置取得部６４を含む。
【００４９】
データ取得部４０は、インターネット３２を介してコンテンツリスト、音声データリスト、映像コンテンツ及び音声データコンテンツをコンテンツサーバ２８及び音声データサーバ３０から取得する。さらに、データ取得部４０は、再生位置取得部６４から再生位置情報を受信した場合には、ユーザが選択した音声データの再生位置からの音声データをインターネット３２経由で音声データサーバ３０から取得する。
【００５０】
コンテンツリスト取得部４２は、コンテンツサーバ２８からユーザが選択可能なコンテンツリストをデータ取得部４０を介して取得する。
【００５１】
音声データリスト取得部４４は、音声データサーバ３０からユーザが選択可能な視聴コンテンツに対応した音声データリストをデータ取得部４０を介して取得する。
【００５２】
コンテンツ取得部４６は、コンテンツサーバ２８からコンテンツ選択部５４で選択されたコンテンツをデータ取得部４０を介して取得する。
【００５３】
音声データ取得部４８は、音声データサーバ３０から音声データ選択部５６で選択された音声データをデータ取得部４０を介して取得する。
【００５４】
映像データ処理部５０は、コンテンツ取得部４６が取得したコンテンツを処理し、この処理したコンテンツを映像出力部６０に送信する。
【００５５】
音声データ処理部５２は、音声データ取得部４８が取得した音声データを処理し、この処理した音声データを音声出力部６２に送信する。また、音声データ処理部５２は、音声データ切替時に切替えた音声の位置が無音と判断した場合には、一時的に映像と音声とを非同期にし、切替えた音声の有音部分を出力する。これについては、後で詳細に説明する。
【００５６】
コンテンツ選択部５４は、コンテンツリスト取得部４２で取得したコンテンツリストからユーザが選んだコンテンツ情報をコンテンツ取得部４６に送信すると共に、コンテンツリストを映像出力部６０に送信する。
【００５７】
音声データ選択部５６は、音声データリスト取得部４４で取得した音声データリストからユーザが選んだ音声データ情報を音声データ取得部４８に送信すると共に、音声データリストを映像出力部６０に送信する。
【００５８】
リモートコントロール信号受信部５８は、ユーザが選択したリモートコントローラ２６からの操作信号をコンテンツ選択部５４及び音声データ選択部５６に送信する。
【００５９】
映像出力部６０は、映像データ処理部５０が処理したデータを受信して、ＴＶ２４のモニタ３４に出力する。また、映像出力部６０は、コンテンツ選択部５４及び音声データ選択部５６から受信したリストをモニタ３４に表示させる。
【００６０】
音声出力部６２は、音声データ処理部５２が処理したデータを受信して、ＴＶ２４のスピーカ３６に出力する。
【００６１】
再生位置取得部６４は、音声データ切替えがあったときのコンテンツ再生位置情報をデータ取得部４０に送信する。また、再生位置取得部６４は、音声データの再生位置、コンテンツの再生位置を常時把握している。
【００６２】
（音声データ処理部５２の構成）
図３は音声データ処理部５２の構成を示す機能ブロック図である。
【００６３】
図３を参照して、音声データ処理部５２は、音声データが変更されたとき変更後の音声が無音であった場合には、そのデータの後から有音データを移動させ、そこから再生する機能を有しており、音声データ管理部７０、音声データ有無解析部７２、音声データ移動部７４、音声データ重なり検出部７６、有音データ区間検索部７８、無音データ区間検索部８０、無音データ区間総計計算部８２及びデータ区間比較部８４を含む。
【００６４】
音声データ管理部７０は、音声データ取得部４８から受信した音声データ管理を行なう。また、音声データ管理部７０は、受信したデータを、必要に応じて音声データ有無解析部７２、音声データ移動部７４、音声データ重なり検出部７６、有音データ区間検索部７８及び無音データ区間検索部８０の各処理部へデータを送信する。さらに、音声データ管理部７０は、上記音声データ有無解析部７２、音声データ移動部７４、音声データ重なり検出部７６、有音データ区間検索部７８及び無音データ区間検索部８０の各処理部での処理が終了した再生すべきデータを音声データ取得部４８及び音声出力部６２に送信する。
【００６５】
音声データ有無解析部７２は、音声データ管理部７０から受信した指定位置の音声データを解析して、その位置での音声の有無を判断する。この音声の有無の判断は、音量のしきい値を設定することで可能であり、音声データ有無解析部７２は、設定されたしきい値以下の音声は音声なしと判断し、それ以外の音声は音声ありと判断する。この判断結果は、音声データ管理部７０に送信される。このように、音声データ有無解析部７２は、音声有無判断機能を有している。
【００６６】
音声データ移動部７４は、音声データ管理部７０から指示された位置に当該指示された音声データを移動させる。
【００６７】
音声データ重なり検出部７６は、音声データ移動部７４によって移動されたデータが元の音声データとの重なりがあるか否かを判断する。元のデータとの重なりがあれば、音声データ重なり検出部７６は、移動したデータの位置の後に元のデータを移動する指示を音声データ管理部７０に送信する。
【００６８】
有音データ区間検索部７８は、音声データ管理部７０から受信した音声データの有音データ区間を検索する。この検索に関しては、その設定によっては設定された時間間隔以下の無音データ区間を無視して有音データ区間とすることもできる。有音データ区間検索部７８は、有音データ区間の情報（開始位置から終了位置又はその区間の時間長）を音声データ管理部７０及びデータ区間比較部８４に送信する。
【００６９】
無音データ区間検索部８０は、音声データ管理部７０から受信した音声データの無音データ区間を検索する。この検索に関しては、設定によっては設定された時間間隔以下の有音データ区間を無視して無音データ区間とすることもできる。無音データ区間検索部８０は、無音データ区間の情報（開始位置から終了位置又はその区間の時間長）を音声データ管理部７０、無音データ区間総計計算部８２及びデータ区間比較部８４に送信する。
【００７０】
無音データ区間総計計算部８２は、無音データ区間検索部８０から受信した無音データ区間の総合計時間を計算して、その時間の長さをデータ区間比較部８４に送信する。
【００７１】
データ区間比較部８４は、有音データ区間検索部７８から受信した有音データ区間の情報と無音データ区間総計計算部８２から受信した無音データ区間の情報と時間の長さを比較して、何れのデータ区間が長いかを判断し、その判断結果を音声データ管理部７０に送信する。
【００７２】
＜ソフトウェア構成＞
本実施の形態においては、有音データのみを再生位置に持ってくるようにプログラミングされている。詳細には、音声データの切替えの際に切替えた音声で再生される再生データが無音のときには、音声データの中から有音データ部分のみを再生位置に移動させ、有音データ再生後はコンテンツと音声との同期が一致するようにプログラミングされている。
【００７３】
このプログラムは、情報処理装置２２内のＲＯＭ等の記録媒体に記憶され、次に説明する情報処理装置２２の各処理部の機能を実現する。この機能の実現は、実質的にコンピュータである情報処理装置２２内のＣＰＵの命令に従って情報処理装置２２の各処理部が上記ＲＯＭに記憶されている上記プログラムを実行することによって達成される。また、このプログラムは、映像コンテンツと音声データとを同時に再生させるための動機処理を行うようにも構成されている。
【００７４】
図４は情報処理装置２２の情報処理プログラムの構造をフローチャート形式で示す図である。
【００７５】
図４を参照して、情報処理装置２２では、まず、音声データ選択部５６が音声データの切替えの有無を調べる（ステップＳ１００）。このとき、音声データの切替えがあれば、再生位置取得部６４が音声データ切替時のコンテンツの再生位置を取得する（ステップＳ１０２）。
【００７６】
次に、音声データ有無解析部７２は、再生位置の音声データの有無を判断する解析処理を行なう（ステップＳ１０４）。このとき、音声データがあれば（ステップＳ１０６においてＹＥＳ）、情報処理装置２２は、取得した音声データの位置（指定位置）から音声データを再生する（ステップＳ１０８）。その後、制御は終了する。他方、音声データがなければ（ステップＳ１０６においてＮＯ）、有音データ区間検索部７８が再生位置から近い過去にある１つ目の有音データ区間（図５においては（１）の区間）の時間を計算し、無音データ区間検索部８０が再生位置から未来にある全ての無音データ区間（図５においては（２）〜（５）の区間）の時間を計算し、無音データ区間総計計算部８２が計算した無音区間の総時間（コンテンツ終了時の区間は含ない。）を計算する（ステップＳ１１０）。その後、制御はステップＳ１１２に進む。
【００７７】
制御がステップＳ１１２に進むと、データ区間比較部８４が計算した有音データ区間の時間長と無音データ区間の時間長との長さの比較を行なう。このとき、無音データ区間より有音データ区間の方がその時間長が長ければ（ステップＳ１１４においてＹＥＳ）、データ管理部７０が有音データ区間の開始部分の一部を削除してその時間長を短く調整する（ステップＳ１２４）。その後、制御はステップＳ１１２に戻される。この処理は、無音データ区間の時間長より有音データ区間の時間長の方が短くなるまで繰返し実行される。他方、有音データ区間の時間長より無音データ区間の時間長の方が長ければ（ステップＳ１１４においてＮＯ）、無音データ区間検索部８０が再生位置から未来にある最初の有音データの開始位置（図５において（２））までの長さの計算（即ち、再生位置から最初の有音データまでの無音データ区間の長さの計算）を行なう（ステップＳ１１６）。
【００７８】
その後、データ区間比較手段が上記ステップＳ１１０で求めた有音データ区間の長さと上記ステップＳ１１６で求めた再生位置から最初の有音データまでの無音データ区間の長さとの比較を行なう（ステップＳ１１８）。このとき、有音データ区間の時間長よりも無音データ区間の時間長の方が長ければ（ステップＳ１２０においてＮＯ）、音声データ移動部７４がその有音データを再生位置の後に移動させる（ステップＳ１２２）。この移動後、情報処理装置２２は、指定位置から音声データを再生する（ステップＳ１０８）。その後、制御は終了する。他方、無音データ区間の時間長よりも有音データ区間の時間長の方が長ければ（ステップＳ１２０においてＹＥＳ）、音声データ移動部７４が有音データを再生位置の後に移動させる（ステップＳ１２６）。
【００７９】
ステップＳ１２６において音声データを移動させた後、音声データ重なり検出部７６は、移動させた有音データの再生終了位置が、移動させた有音データの次の有音データの再生開始位置より過去にありこれと重なるか否かを計算する（ステップＳ１２８）。このとき、移動した有音データの再生終了位置が、次の有音データの再生開始位置より過去にあって重なっている場合には（ステップＳ１３０においてＹＥＳ）、移動した有音データの再生終了位置が次の有音データの再生開始位置より過去にあるので、音声データ移動部７４は、次の有音データを移動させたデータの再生終了位置の後ろに移動させる（ステップＳ１３２）。この処理は、移動した有音データの再生終了位置が次の有音データの再生開始位置より未来にあるまで（即ち、重なりがなくなるまで）、繰返し実行される。他方、移動した有音データの再生終了位置が、次の有音データの再生開始位置より未来にあって重なっていない場合には（ステップＳ１３０においてＮＯ）、情報処理装置２２は、指定位置から音声データを再生する（ステップＳ１０８）。その後、制御は終了する。
【００８０】
（データ区間の時間長の比較処理）
図５はデータ区間の時間長の比較処理を図解的に説明するための図である。
【００８１】
図５においては、Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｄａｔａの黒塗り部分が音声（有音部分）を表しており、白塗り部分が音声なし（無音部分）を表している。（１）で示す箇所は、音声データ切替地点から過去にあり、切替地点から一番近い有音データ区間である。（２）で示す箇所は音声データ切替地点から未来にあり、切替え地点から一番近い無音区間である。（３）〜（５）で示す箇所も、２番目、３番目・・・とこの順で音声データ切替地点に近い無音データ区間である。
【００８２】
上記の（２）〜（５）までの無音区間を総計した時間が上記の（１）の有音区間より小さいと、当該（１）のデータを当該（２）〜（５）に入れることができる。具体的な処理としては、有音データ区間検索部７８が（１）の有音区間を抽出する。無音データ区間検索部８０と無音データ区間総計計算部８２とにより、（２）〜（５）の無音区間の合計を計算する。その有音データ区間と無音データ区間とを比較するデータ区間比較部８４により、どちらが大きいかを判断する。
【００８３】
（音声データ重なり検出時の音声データ移動処理）
図６はデータ重なり検出時のデータ移動処理を図解的に説明するための図である。
【００８４】
図６においては、図５と同様に、Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｄａｔａの黒塗り部分が音声（有音部分）を表しており、白塗り部分が音声なし（無音部分）を表している。
【００８５】
図６に示すように、（１）の有音データの再生開始位置をデータ切替位置に移動させる。移動させた（１）の終了位置より（２）の有音データの開始位置の方が過去の位置にあれば、当該（２）の有音データを上記（１）の終了位置の後に移動させる。移動させた（２）の終了位置より（３）の有音データの開始位置の方が過去の位置にあれば、当該（３）の有音データを上記（１）の終了位置の後に移動させる。このとき、移動させた（３）の終了位置より（４）の有音データの開始位置の方が未来にあるので、データ移動処理は行なわない。
【００８６】
以上のようにして、データの重なりを検出し、この検出したデータの移動処理を行なうことによって、一時的に映像コンテンツと音声データとが非同期を発生する。最後にデータ移動処理した有音部分の再生終了位置以降は、同期した映像コンテンツと音声データとを視聴することが可能となる。この移動処理が映像コンテンツと音声データとを同時に再生させるための同期処理である。
【００８７】
＜基本操作＞
図７は視聴するコンテンツを選択するシーンを示している。なお、コンテンツは、インターネット３２を介してコンテンツサーバ２８から取得できるが、ローカルのＰＣ、及び宅内のＤＶＤレコーダにあるコンテンツを選択してもよい。また、そのコンテンツをコンテンツリストに追加しても構わない。
【００８８】
図７においては、ＴＶ２４のモニタ３４にコンテンツリストが表示されている。コンテンツリストには、コンテンツのサムネイルとコンテンツのタイトルとが互いに関連付けて表示される。ユーザは、リモートコントローラ２６を操作することによって、コンテンツリストから視聴したいコンテンツ９０を選択し、次に選択したコンテンツに対応した音声データの選択をする。
【００８９】
図８は音声データを選択するシーンを示している。図８においては、ＴＶ２４のモニタ３４に視聴するコンテンツ１００のタイトルが表示され、その下方に視聴するコンテンツ１００に対応した音声データリストが表示されている。このとき、音声データリストとして、音声データのタイトル、音声データが作成された日時、及び音声データの作成者が互いに関連付けて表示される。なお、音声データが多数存在する場合、表示させる音声データを「友達が作ったもの」及び「過去に音声データを選択したことのある人」等といったように、ジャンルに分けて表示することも可能である。ユーザは、リモートコントローラ２６を操作することによって、音声データリストから視聴する音声データ１０２を選択する。
【００９０】
図９は利用シーンを示している。図９においては、ＴＶ２４のモニタ３４に、視聴コンテンツ１１０、視聴コンテンツ１１０のタイトル、及び視聴音声データ１１２のタイトルが表示されている。また、音声コメントは、視聴コンテンツの音声１１４と、選択した音声データの音声１１６，１１８とを表している。このように、ユーザは、コンテンツの映像及び音声、更には他の人が作成した音声データを再生して楽しむことができる。
【００９１】
図１０は音声データの切替え時のシーンを示す。図１０においては、ユーザが音声データの切替えを選択したときに、視聴コンテンツの音声データリスト１２０が取得され、これがＴＶ２４のモニタ３４に表示されている。この表示された音声データリスト１２０の中から、ユーザがリモートコントローラ２６を操作して選択した音声データの音声が再生される。この音声切替え時には、コンテンツの音声１３０よりも音声データの音声１３２，１３４を聞く必要があるので、ユーザが定めた一定の間、コンテンツの音声１３０が自動的に小さくされるか、又は停止される。
【００９２】
＜動作＞
情報処理装置２２においては、映像コンテンツに対応した音声データを切替える操作がなされると、音声データ処理部５２は、選択音声データの音声切替点の音声を解析し、有音の音声データを音声切替点に移動させて再生する。これにより、映像コンテンツは、とぎれなく再生を続け、移動音声データの再生の間、映像と音声とが非同期の状態となる。移動音声データの再生が終了すると、映像と選択音声データとが同期して再生される。
【００９３】
移動させる過去の有音データの時間長が再生位置の無音区間の時間長より長い場合には、データが重なってしまい再生できないため、音声データ処理部５２は、音声切替点より過去にある選択音声データの有音部分を移動音声データとして音声切替点に移動させたときに、当該移動音声データと重なる有音の音声データが存在すれば、その有音の音声データを重なり音声データとしてその再生開始位置を移動音声データの再生終了位置に移動させる。
【００９４】
上記のように、過去の有音データをコンテンツの再生位置に移動させるときに他のデータがあれば、そのデータを他の場所へ移動させなければならず、データ移動させる前に、まず、データが移動できるか否かの判断が必要になるので、音声データ処理部５２は、音声切替点から一定時間内にある無音部分の音声データを総計無音データとし、これと移動音声データとの時間の長さを比較して何れの方が長いかを判断する。この判断の結果、総計無音データの時間長の方が長ければ、移動音声データを無音部分に移動させる。
【００９５】
機器が発した音声がユーザに聞こえていなくとも、機器は有音と判断するとき、機器とユーザの判断が異なる。例えば、一瞬発生した音声（再生時間が極めて短い音声）等を有音と判断し再生しても、その音声は、ユーザにとって欲しい情報ではないことがある。また、有音の音声の再生中に、一瞬の無音があった場合、無音と判断しその部分を削除して有音部分を再生しても、その再生をユーザは不自然に感じることがある。それゆえに、音声データ処理部５２は、音量若しくは音声再生時間が一定のしきい値以下の有音部分の音声データを無音とみなす。例えば、１秒以下の有音のデータは無音のデータとみなすように設定すれば、不意に発生した音声等が無音データとみなされる。
【００９６】
音声切替時に切替えた方の音声の音が聞きたいが、切替選択していない方の音声が再生されていては切替えた方の音声が聞き取り難いので、音声データ処理部５２は、音声切替点から有音の音声データが再生されるときに、映像コンテンツに付随した音声を低音量にするか、又は停止する。
【００９７】
＜作用・効果＞
本実施の形態によると、以下の作用・効果を奏する。
【００９８】
（１）映像コンテンツに対応した音声データを選択又は切替える際に、映像コンテンツの再生位置に対応する選択音声データの再生位置を音声切替点とし、この音声切替点の音声が無音であることを条件として、選択音声データの有音の音声データが移動音声データとして再生位置に移動され、この移動音声データの再生終了後に、映像コンテンツ及び音声データの両者が同期するので、ユーザが音声を含む映像コンテンツを視聴中に、音声データを切替えた場合の利便性を向上させ得る。
【００９９】
（２）音声切替点より過去にある選択音声データの有音部分を移動音声データとして音声切替点に移動させたときに、当該移動音声データと重なる有音の音声データが存在すれば、その有音の音声データを重なり音声データとしてその再生開始位置を移動音声データの再生終了位置に移動させるので、未来の音声内容を聞かないで済む。その結果、ユーザは、未だ再生されていない映像コンテンツの内容部分を知ることがなくなる。また、重なり音声データの再生開始位置を過去からの移動音声データ（過去移動音声データ）の再生終了位置に移動させることにより、過去移動音声データの移動による重なり音声データの発生はなくなる。この移動によって、有音の音声データの重なりが再度発生すれば、過去移動音声データの再生終了位置に移動した重なり音声データが過去移動音声データとなり、このときに重なりが生じた有音の音声データが重なり音声データとなる。さらに、過去移動音声データの再生中のみ非同期が発生し、その再生が終了すると、映像コンテンツと選択音声データとが同期して再生される。したがって、移動させたい過去の有音データの時間長が長くとも、再生位置への移動が可能となる。
【０１００】
（３）音声切替点から一定時間内にある無音部分の音声データを総計無音データとし、これと移動音声データとの時間の長さを比較して何れの方が長いかを判断し、その判断の結果、総計無音データの時間長の方が長ければ、移動音声データが無音部分に移動されるので、移動させる有音データの移動の可否を移動させる前に判断することが可能となる。
【０１０１】
（４）音量若しくは音声再生時間が一定のしきい値以下の有音のデータは、無音のデータとみなされるので、ユーザに聞こえない無音部分をカットし、ユーザに聞こえる音声のみを提供することができ、また無音区間に発生する一瞬の雑音等をカットすることができる。その結果、ユーザの困惑は未然に防止される。
【０１０２】
（５）音声データの選択の際には、映像コンテンツの音声が再生され、さらには切替え前の音声データが再生されていることがあるが、選択音声データの移動音声データが再生される一定時間の間、映像コンテンツの音声のボリュームが小さく又は停止されるので、２種類の音声が再生されているときに、所望の音声を切替えた際に他の音声に遮られることなく切替えた音声を聞くことができる。その結果、ユーザは、移動音声データの音声が聞き取り易くなる。
【０１０３】
（６）過去の位置にある有音データ区間の検索の場合、有音データ区間検索部７８の処理目的は、過去のユーザ同士のひとかたまりの会話（有音データ区間）を再生位置に移動させるための検索であり、その有音データ区間には、会話と会話の間を含んでいることで会話のつながりがわかるため、多少の無音区間が存在しているほうが望ましい。よって、ユーザ同士のつながった会話には、多少の無音区間が存在する。そのため、過去の有音データ区間の検索に関しては、有音データ区間検索部７８の機能によって、短い無音データ区間を無視して、有音データ区間を検索することができる。他方、未来の位置にある無音データ区間の検索の場合、無音データ区間検索部８０の処理目的は、過去のユーザ同士のひとかたまりの会話（有音データ区間）を再生位置に移動させるために、未来の無音データ区間がどれくらい存在するかの検索であり、その無音データ区間には、有音データ区間を挿入するため、無音区間の間隔が大きければ大きいほど有音データをその無音区間に移動しやすい。よって、ユーザ同士の会話には、長短な無音区間が存在する。そのため、未来の無音データ区間の検索に関しては、無音データ区間検索部８０の機能によって、短い無音データ区間でも無音データ区間とし、検索することができる。このように、再生位置より過去は、短い無音データ区間を無視して有音データを検索し、再生位置より未来は短い無音データでも無音データとして検索することにより、過去のユーザ同士の会話のかたまりを効率的に未来に持っていくことが可能となり、ユーザは音声データの内容が分かり易くなる。
【０１０４】
以上のように、本システム２０によれば、ユーザが選択したコンテンツの映像と音声とを楽しむだけでなく、他のユーザ等が作成・提供した音声データをコンテンツに対応付けて再生することができるので、コンテンツの新たな楽しみ方をユーザに提供できる。
【０１０５】
[第２の実施の形態]
ユーザには、映像コンテンツを視聴しているときに、映像コンテンツのあるシーンに遭遇し、そのシーンに対して他の人がどのようなこと思っているか、又は話しているかを聞きたい欲求がある。
【０１０６】
かかる要求を満たすため、本実施の形態においては、情報処理装置２２に、指定範囲内の有音データを検索し、当該指定範囲内に有音データを有する音声データを抽出するためのシーン会話検索機能が付与されている。なお、その他の構成は第１の実施の形態と同様である。
【０１０７】
＜情報処理装置２２の構成＞
図１１は本発明の第２の実施の形態に係る情報処理装置２２の構成を示す機能ブロック図である。
【０１０８】
図１１を参照して、本実施の形態に係る情報処理装置２２は、データ取得部４０、コンテンツリスト取得部４２、音声データリスト取得部４４、コンテンツ取得部４６、音声データ取得部４８、映像データ処理部５０、音声データ処理部５２、コンテンツ選択部５４、音声データ選択部５６、リモートコントロール信号受信部５８、映像出力部６０、音声出力部６２及び再生位置取得部６４に加えて、シーン会話検索部２００を含む。
【０１０９】
音声データ取得部４８は、音声データ選択部５６で選択された音声データを音声データサーバ３０からデータ取得部４０を介して取得すると共に、シーン会話検索部２００から指定された範囲の指定された音声データを音声データサーバ３０からデータ取得部４０を介して取得する。
【０１１０】
リモートコントロール信号受信部５８は、ユーザが選択したリモートコントローラ２６からの操作信号をコンテンツ選択部５４、音声データ選択部５６及びシーン会話検索部２００に送信する。
【０１１１】
再生位置取得部６４は、音声データの切替えがあったときのコンテンツ再生位置情報をデータ取得部４０に送信すると共に、コンテンツ再生位置情報をシーン会話検索部２００に送信する。
【０１１２】
（音声データ処理部５２の構成）
図１２は音声データ処理部５２の構成を示す機能ブロック図である。
【０１１３】
図１２を参照して、音声データ処理部５２は、音声データが変更されたときに変更後の音声が無音であった場合には、そのデータの後から有音データを移動させ、そこから再生する機能と、音声データの指定時間範囲の音声の有無を判断し、指定時間範囲内の有音部分を出力する機能とを有する。この音声データ処理部５２には、第１の実施の形態と同様に、音声データ管理部７０、音声データ有無解析部７２、音声データ移動部７４、音声データ重なり検出部７６、有音データ区間検索部７８、無音データ区間検索部８０、無音データ区間総計計算部８２及びデータ区間比較部８４が含まれる。
【０１１４】
特に、本実施の形態においては、シーン会話検索時に指定範囲内にある有音データが音声データ管理部７０を介して音声データ選択部５６に送信される。
【０１１５】
＜ソフトウェア構成＞
本実施の形態では、特に、映像コンテンツのあるシーンに対するコメントを他の会話音声から聞けるようにプログラミングされている。詳細には、シーン会話検索時において、指定範囲内の有音データを検索し、指定範囲内に有音データを有する音声データを抽出するようにプログラミングされている。
【０１１６】
このシーン会話検索処理プログラムは、情報処理装置２２内のＲＯＭに記憶され、次に説明する情報処理装置２２のシーン会話検索処理機能を実現する。この機能の実現は、実質的にコンピュータである情報処理装置２２内のＣＰＵの命令に従って情報処理装置２２の所定の処理部が上記ＲＯＭに記憶されている上記プログラムを実行することによって達成される。
【０１１７】
図１３は情報処理装置２２のシーン会話検索処理プログラムの構造をフローチャート形式で示す図である。
【０１１８】
図１３を参照してシーン会話検索処理に当たり、まず、情報処理装置２２は、シーン会話検索を促すリモートコントローラ２６からのリモートコントロール信号の受信の有無を調べる（ステップＳ２００）。このとき、リモートコントロール信号受信部５８が上記シーン会話検索に関係するリモートコントロール信号を受信していれば、シーン会話検索部２００がコンテンツ再生位置取得部６４からコンテンツの再生位置を取得すると共に、ユーザが視聴しているコンテンツに対応した音声データリストを取得する（ステップＳ２０２）。その後、制御はステップＳ２０４に進む。
【０１１９】
制御がステップＳ２０４に進むと、情報処理装置２２内では、音声データリストにある指定時間の範囲内の音声データの取得を要求するために、指定時間の範囲内の情報と取得する音声データのリストとが音声データ取得部４８に送信される。その後、制御はステップＳ２０６に進む。ここに、上記「指定時間の範囲」とは、音声データから有音データを検索する時間の範囲であって、ユーザがシーン会話検索を実行してから指定時間に達するまでの範囲をいう。この指定時間に関しては、３秒間又は５秒間等のようにユーザが任意に設定することも可能である。
【０１２０】
制御がステップＳ２０６に進むと、情報処理装置２２内では、指定時間の範囲内の情報と音声データリストを受信した音声データ取得部４８によって指定された音声データがデータ取得部４０を介して音声データサーバ３０から取得され、これが音声データ処理部５２に送信される。その後、制御はステップＳ２０８に進む。
【０１２１】
制御がステップＳ２０８に進むと、音声データ処理部５２では、受信した音声データから会話音声毎に指定時間の範囲内に有音データがあるか否かが検索される。この検索の結果、図１４に示すように、指定時間の範囲内に有音データがあれば、その会話音声の情報がデータ管理部７０を介して音声データ選択部５６に送信され、ユーザにより、シーン会話検索してから指定時間以内に他の人の会話がある音声データを該当する音声データとして音声データリストが登録される、即ち会話音声の再生指示があると、登録された音声データリストがＴＶ２４のモニタ３４に表示される（ステップＳ２１０）。
【０１２２】
その後、ユーザのリモートコントローラ２６の操作によってモニタ３４に表示された音声データリストから会話音声が選択されると（ステップＳ２１２においてＹＥＳ）、音声データ処理部５２が当該選択された音声データの有音部分を音声出力部６２に送信する（ステップＳ２１４）。
【０１２３】
＜動作＞
情報処理装置２２を利用して、映像コンテンツを視聴中に気になるシーンに遭遇したときには、ユーザは、リモートコントローラ２６のシーン会話検索ボタンを押す。そうすると、情報処理装置２２は、そのリモートコントロール信号を受信した時点のシーンから一定時間内に有音データがある視聴コンテンツに対応した会話音声データを検索し、この検索された会話音声データのタイトルをＴＶ２４のモニタ３４に出力する。ユーザは、表示されたタイトルをリモートコントローラ２６で選択して再生すると、有音データの開始位置から会話音声が再生される。その結果、ユーザは、そのシーンについての他のユーザのコメント及び会話等を聞くことができる。
【０１２４】
＜作用・効果＞
本実施の形態によると、第１の実施の形態と同様の作用・効果を奏することに加えて、以下の作用・効果を奏する。
【０１２５】
シーン会話検索時においては、指定範囲内の有音データを検索することによって、この指定範囲内に有音データを有する音声データが抽出されるので、ユーザは、映像コンテンツを視聴しているときに気になるシーンに遭遇した場合に、そのシーンに近い位置にある会話音声を聞くことができ、気になるシーンに対して他の人がどのようなこと思っているか、又は話しているかを聞くことができる。
【０１２６】
[第３の実施の形態]
第１及び第２の実施の形態では、コンテンツの再生位置に依存せず、音声データの移動を行なっていたが、ユーザには、音声データの再生位置が移動した際に、コンテンツも連動して再生位置を移動させたい欲求もあり、また逆に、コンテンツの再生位置が移動した際に、音声データを連動して再生位置を移動させたい欲求もある。
【０１２７】
かかる要求を満たすため、本実施の形態においては、情報処理装置２２に、音声データの再生位置の移動の際に、音声データの再生位置に合わせて、コンテンツの再生位置を移動させると共に、コンテンツの再生位置が移動する際に、コンテンツの再生位置に合わせて、音声データの再生位置を移動させる、再生位置連動移動機能が付与されている。なお、その他の構成は第１の実施の形態と同様である。
【０１２８】
＜情報処理装置２２の構成＞
図１５は本発明の第３の実施の形態に係る情報処理装置２２の構成を示す機能ブロック図である。
【０１２９】
図１５を参照して、本実施の形態に係る情報処理装置２２は、図２とほぼ同様であり、データ取得部４０、コンテンツリスト取得部４２、音声データリスト取得部４４、コンテンツ取得部４６、音声データ取得部４８、映像データ処理部５０、音声データ処理部５２、コンテンツ選択部５４、音声データ選択部５６、リモートコントロール信号受信部５８、映像出力部６０、音声出力部６２及び再生位置取得部６４を含む。
【０１３０】
リモートコントロール信号受信部５８は、ユーザが選択したリモートコントローラ２６からの操作信号をコンテンツ選択部５４、音声データ選択部５６及び再生位置取得部６４に送信する。
【０１３１】
再生位置取得部６４は、リモートコントローラ２６からのコンテンツ位置操作信号の受信があったときに、移動指定位置のコンテンツ再生位置情報をデータ取得部４０に送信する。なお、コンテンツ位置操作信号とは、コンテンツの再生位置移動を指示する信号である。
【０１３２】
また、再生位置取得部６４は、リモートコントローラ２６からの音声データ位置操作信号の受信があったときに、移動指定位置の音声データ再生位置情報をデータ取得部４０に送信する。なお、音声データ位置操作信号とは、音声データの再生位置移動を指示する信号である。
【０１３３】
＜ソフトウェア構成＞
本実施の形態では、特に、映像コンテンツのあるシーンに対するコメントを他の会話音声から聞けるようにプログラミングされている。詳細には、音声データ及びコンテンツのうちどちらかの再生位置の移動の指示があれば、連動して、両方共の再生位置が変化するようにプログラムされている。
【０１３４】
図１６は情報処理装置２２の再生位置連動変化処理のプログラムの構造をフローチャート形式で示す図である。
【０１３５】
図１６を参照して、情報処理装置２２では、まず、リモートコントロール信号受信部５８が、会話音声データの再生位置移動の信号を受信したか否かの確認を行なう、又はコンテンツの再生位置移動のリモコン信号受信を受信したか否かの確認を行なう（ステップＳ３００）。このとき、それら何れかの信号の受信があれば、この受信信号に基づいて、再生位置取得部６４は、データ取得部４０に移動後の再生位置情報を送信し、サーバ２８，３０から指定位置のコンテンツ及び会話音声データの情報を取得し、移動後の位置からコンテンツ及び会話音声を再生する。
【０１３６】
＜動作＞
本情報処理装置２２において、映像コンテンツ又は音声データの移動をリモートコントローラ２６等で操作されると、映像コンテンツ及び音声データは、共に再生位置の移動を指示した位置から再生される。このとき、再生位置の移動後のコンテンツの再生位置又は音声データの再生位置を再生位置取得部６４が取得し、データ取得部４０が映像コンテンツ及び音声データ各々の再生位置からのデータを取得し、映像コンテンツ及び音声データが指示された再生位置から同期して再生されることになる。
【０１３７】
＜作用・効果＞
本実施の形態によると、特に以下の作用・効果を奏する。
【０１３８】
本来、映像コンテンツと音声データとは、対応付けられない。そのため、映像コンテンツの早送り及び巻き戻し等のトリックプレイ操作を行なえば、映像コンテンツのみの再生位置が移動し、音声データとのずれが生じる。しかしながら、映像コンテンツの早送り及び巻き戻し等のトリックプレイ操作によって生じる再生位置の移動の際に、移動後の再生位置を取得し、その再生位置に合わせて音声データも移動させることにより、映像コンテンツ及び音声データは、共に同じ再生位置から再生し、再生位置のずれがなく、ユーザは視聴できる。
【０１３９】
なお、本発明は上記実施の形態に限定されるものではない。
【０１４０】
（１）上記実施の形態においては、音量若しくは音声再生時間が一定のしきい値以下の有音のデータは、無音のデータとみなす例について記載した。しかし、本発明はそのような構成には限定されない。音声の無音時間が一定のしきい値以下の無音部分の音声データを有音とみなすように構成してもよい。この場合には、一瞬の無音区間も有音と同様に再生されるので、自然な会話を聞くことができる。
【０１４１】
（２）ユーザが作成した会話音声データには、無音区間があるため、コンテンツ再生中に会話音声データの再生が行なわれているかどうかが分からないことがある。それを解決するために、図１７に示すように、コンテンツ１１０が表示されているモニタ３４上に、「会話音声データ再生中２００」と表示するか、又は会話音声データの再生を意図する言葉及びマーク２０２等を表示又は点滅させればよい。これにより、ユーザに会話音声データが再生していることを知らせることができる。他方、無音の時には、会話音声データが再生されているかどうかが判断できないので、会話音声データが再生されているときに、無音であった場合は、図１８に示すように、コンテンツ１１０を再生しているモニタ３４上に「会話音声データ無音中３００」と表示するか、又は無音を意図する言葉及びマーク３０２等を表示又は点滅させればよい。これにより、ユーザに会話音声データが無音であることを知らせることができる。
【０１４２】
（３）ユーザが作成した会話音声データの終了が分からなかったり、コンテンツ再生中に、会話音声データの音が聞こえなくなったりすることがあるが、これは会話音声データが無音部分になったことが原因なのか、それとも会話音声データが終了してしまったことが原因なのかが分からない。それを解決するために、図１９に示すように、コンテンツ１１０が表示されているモニタ３４上に、「会話音声データが終了しました４００」と表示するか、又は会話音声データの終了を意図する言葉及びマーク４０２等を表示又は点滅させればよい。また、代替的に、会話音声データの終了合図としてブザー音等どを鳴らしても構わない、これらにより、ユーザに会話音声データが終了したこと、終了した位置を知らせることができる。
【０１４３】
（４）一般ユーザが作成した会話音声データの開始が分からないことがある、また、現在のコンテンツ再生位置及び会話音声データの存在場所がわからないことがある。コンテンツを選択し、会話音声データを選択し、再生させると、会話音声データの開始が無音でなければ、会話音声が出力されるが、必ずしもコンテンツの最初から会話が再生されるとは限らない。原因は、コンテンツの開始部分の会話音声データがないことであり、一般のユーザが作成した会話音声データなので、コンテンツに合わせて、すべて音声が記録されているわけではないためである。このような会話音声データを選択して再生した場合、ユーザには開始地点がわからず、いつ再生されるか分からなく不便である。それを解決するために、図２０に示すように、コンテンツ１１０が表示されているモニタ３４上に「まもなく再生を開始します５００」と表示するか、再生開始を意図する言葉及びマーク５０２等を表示又は点滅させたればよい。また、代替的に、「再生まであと１分です」と表示させても構わない。これらにより、あとどれくらいで会話が再生されるかをユーザは把握することができる。さらに、モニタの下部にバーを表示させ、現在のコンテンツ再生位置と会話音声データとがある位置を表示させれば、ユーザに現在位置及び会話音声データが存在する位置を知らせることができる。
【０１４４】
（５）上記実施の形態において、映像コンテンツと音声データを視聴中に音声データの切替えを行った時に、切替えた位置の音声が有音であった場合には、切替えられた音声データの位置から再生されたりするが、会話の途中からの再生では、会話の内容が理解できないことがある。そこで、音声データが切替えられた後の音声データの有音部分の最初の位置から再生させるようにすれば、会話の初めから聞くことができ、ユーザが途中から聞いて困惑することがなくなる。また、ユーザの利用シーンに応じて、音声データの切替え時の設定をユーザが予め設定してもよいし、又は切替え時に端末からポップアップで表示画面に表示されて、その時にユーザが選択してもよい。
【０１４５】
（６）上記実施の形態において、映像コンテンツと会話音声データの同期再生の設定は、ユーザが設定することでき、また同期、非同期の設定もユーザが設定することもできる。
【０１４６】
（７）上記実施の形態において、映像コンテンツと音声データを視聴中に音声データの切替えを行った時に、切替えた位置の音声が無音であった場合には、その再生位置の前後から有音データを移動させているが、この場合、再生位置前後の時間間隔が長い場合、有音データを移動させてもユーザが知りたい情報ではないことがある。そのため、情報処理装置では、再生位置からの時間間隔が長い場合には、その前後の有音データを移動させなくてもよいように設定するために、最大同期ずれ時間を設定することができるようにしてもよい。この最大同期ずれ時間は、ユーザが設定できるようにするのは好ましい。
【０１４７】
その他、本明細書に添付の特許請求の範囲内での種々の設計変更及び修正を加え得ることは勿論である。
【０１４８】
すなわち、本明細書で開示した実施の形態は単に例示であって、本発明は本明細書が上述した実施の形態に限定されるものではない。本発明の範囲は、本明細書の記載内容を参酌した上で、別紙の特許請求の範囲における請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【図面の簡単な説明】
【０１４９】
【図１】本発明の第１の実施の形態に係る情報装置が適用されるシステムの構成を簡略化して示す図である。
【図２】同情報処理装置の構成を示す機能ブロック図である。
【図３】音声データ処理部５２の構成を示す機能ブロック図である。
【図４】同情報処理装置の情報処理プログラムの構造をフローチャート形式で示す図である。
【図５】データ区間の時間長の比較処理を図解的に説明するための図である。
【図６】データ重なり検出時のデータ移動処理を図解的に説明するための図である。
【図７】視聴するコンテンツを選択するシーンの一例を示す図である。
【図８】音声データを選択するシーンの一例を示す図である。
【図９】利用シーンの一例を示す図である。
【図１０】音声データの切替え時のシーンの一例を示す図である。
【図１１】本発明の第２の実施の形態に係る情報処理装置の構成を示す機能ブロック図である。
【図１２】音声データ処理部の構成を示す機能ブロック図である。
【図１３】同情報処理装置のシーン会話検索処理プログラムの構造をフローチャート形式で示す図である。
【図１４】指定範囲内での有音データ検索処理を図解的に説明するための図である。
【図１５】本発明の第３の実施の形態に係る情報処理装置の構成を示す機能ブロック図である。
【図１６】同情報処理装置２２の再生位置連動変化処理のプログラムの構造をフローチャート形式で示す図である。
【図１７】会話音声データ再生中の画面表示の一例を示す図である。
【図１８】会話音声データ無音中の画面表示の一例を示す図である。
【図１９】会話音声データが終了したときの画面表示の一例を示す図である。
【図２０】まもなく再生を開始するときの画面表示の一例を示す図である。
【符号の説明】
【０１５０】
２０  システム
２２  情報処理装置
４０  データ取得部
４２  コンテンツリスト取得部
４４  音声データリスト取得部
４６  コンテンツ取得部
４８  音声データ取得部
５０  映像データ処理部
５２  音声データ処理部
５４  コンテンツ選択部
５６  音声データ選択部
５８  リモートコントロール信号受信部
６０  映像出力部
６２  音声出力部
７０  音声データ管理部
７２  音声データ有無解析部
７４  音声データ移動部
７６  音声データ重なり検出部
７８  有音データ区間検索部
８０  無音データ区間検索部
８２  無音データ区間総計計算部
８４  データ区間比較部
２００  シーン会話検索部
【図１】
2009253538.tif 000003
【図２】
2009253538.tif 000004
【図３】
2009253538.tif 000005
【図４】
2009253538.tif 000006
【図５】
2009253538.tif 000007
【図６】
2009253538.tif 000008
【図７】
2009253538.tif 000009
【図８】
2009253538.tif 000010
【図９】
2009253538.tif 000011
【図１０】
2009253538.tif 000012
【図１１】
2009253538.tif 000013
【図１２】
2009253538.tif 000014
【図１３】
2009253538.tif 000015
【図１４】
2009253538.tif 000016
【図１５】
2009253538.tif 000017
【図１６】
2009253538.tif 000018
【図１７】
2009253538.tif 000019
【図１８】
2009253538.tif 000020
【図１９】
2009253538.tif 000021
【図２０】
2009253538.tif 000022