(57)【要約】【課題】ユーザの意図を反映した、ユーザ好みの視聴を可能とする視聴方法、視聴端末及び視聴プログラムを提供する。【解決手段】視聴端末における視聴方法であって、視聴方法は、音声に同期した映像を表示し、映像に含まれる選択された領域又は位置を示す情報を取得するステップと、映像に含まれる選択された領域又は位置を示す情報に基づいて、映像における被写体を特定するステップと、特定された被写体に基づいて、音声をミキシングするステップと、を有する。【選択図】図１
2015142185.tif 000002
【特許請求の範囲】
【請求項１】
視聴端末における視聴方法であって、
音声に同期した映像を表示し、前記映像に含まれる選択された領域又は位置を示す情報を取得するステップと、
前記映像に含まれる選択された領域又は位置を示す情報に基づいて、前記映像における被写体を特定するステップと、
特定された前記被写体に基づいて、前記音声をミキシングするステップと、
を有する視聴方法。
【請求項２】
前記映像における被写体を特定するステップでは、前記被写体の位置を示す位置特定情報、又は、前記映像における前記被写体を同定するための画像識別情報を、保存部から取得し、取得した前記位置特定情報又は前記画像識別情報に基づいて、前記映像における前記被写体を特定する、請求項１に記載の視聴方法。
【請求項３】
前記映像における被写体を特定するステップでは、前記被写体の位置を示す位置特定情報と、前記映像における選択された被写体の位置を示す被写体選択情報と、に基づいて、前記映像における前記被写体を特定する、請求項１に記載の視聴方法。
【請求項４】
前記映像における被写体を特定するステップでは、特定された前記被写体と、前記映像における他の被写体とを、前記位置特定情報に基づいて関連付ける、請求項３に記載の視聴方法。
【請求項５】
前記音声をミキシングするステップでは、特定された前記被写体の音声と、特定された前記被写体に関連付けられた他の前記被写体の音声と、をミキシングする、請求項４に記載の視聴方法。
【請求項６】
前記音声をミキシングするステップでは、特定された移動する前記被写体の音声と、特定された移動する前記被写体に関連付けられた他の前記被写体の音声と、をミキシングする、請求項５に記載の視聴方法。
【請求項７】
前記音声をミキシングするステップでは、特定された前記被写体の音声と、所定条件に基づいて特定された他の前記被写体の音声と、をミキシングする、請求項１から請求項６のいずれか一項に記載の視聴方法。
【請求項８】
音声に同期した映像を表示し、前記映像に含まれる選択された領域又は位置を示す情報を取得する表示部と、
前記映像に含まれる選択された領域又は位置を示す情報に基づいて、前記映像における被写体を特定する認識部と、
特定された前記被写体に基づいて、前記音声をミキシングする音声ミキシング部と、
を備える視聴端末。
【請求項９】
請求項１から請求項７のいずれか一項に記載の視聴方法を、コンピュータに実行させるための視聴プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴方法、視聴端末及び視聴プログラムに関する。
【背景技術】
【０００２】
生体センサにより計測されたユーザの生体情報変化の状態から、番組に対するユーザの集中度を判定し、全ユーザについて集中度を統計した結果に基づいて、映像の配信制御を行う方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１１１１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の視聴方法では、映像や音声自体が制作者の意図のみが反映されたものになるため、ユーザは好みの視聴をすることができない、という問題があった。
【０００５】
上記事情に鑑み、本発明は、ユーザの意図を反映した、ユーザ好みの視聴を可能とする視聴方法、視聴端末及び視聴プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、視聴端末における視聴方法であって、音声に同期した映像を表示し、前記映像に含まれる選択された領域又は位置を示す情報を取得するステップと、前記映像に含まれる選択された領域又は位置を示す情報に基づいて、前記映像における被写体を特定するステップと、特定された前記被写体に基づいて、前記音声をミキシングするステップと、を有する視聴方法である。
【０００７】
本発明の一態様は、前記映像における被写体を特定するステップでは、前記被写体の位置を示す位置特定情報、又は、前記映像における前記被写体を同定するための画像識別情報を、保存部から取得し、取得した前記位置特定情報又は前記画像識別情報に基づいて、前記映像における前記被写体を特定する視聴方法である。
【０００８】
本発明の一態様は、前記映像における被写体を特定するステップでは、前記被写体の位置を示す位置特定情報と、前記映像における選択された被写体の位置を示す被写体選択情報と、に基づいて、前記映像における前記被写体を特定する視聴方法である。
【０００９】
本発明の一態様は、前記映像における被写体を特定するステップでは、特定された前記被写体と、前記映像における他の被写体とを、前記位置特定情報に基づいて関連付ける視聴方法である。
【００１０】
本発明の一態様は、前記音声をミキシングするステップでは、特定された前記被写体の音声と、特定された前記被写体に関連付けられた他の前記被写体の音声と、をミキシングする視聴方法である。
【００１１】
本発明の一態様は、前記音声をミキシングするステップでは、特定された移動する前記被写体の音声と、特定された移動する前記被写体に関連付けられた他の前記被写体の音声と、をミキシングする視聴方法である。
【００１２】
本発明の一態様は、前記音声をミキシングするステップでは、特定された前記被写体の音声と、所定条件に基づいて特定された他の前記被写体の音声と、をミキシングする視聴方法である。
【００１３】
本発明の一態様は、音声に同期した映像を表示し、前記映像に含まれる選択された領域又は位置を示す情報を取得する表示部と、前記映像に含まれる選択された領域又は位置を示す情報に基づいて、前記映像における被写体を特定する認識部と、特定された前記被写体に基づいて、前記音声をミキシングする音声ミキシング部と、を備える視聴端末である。
【００１４】
本発明の一態様は、視聴方法を、コンピュータに実行させるための視聴プログラムである。
【発明の効果】
【００１５】
本発明により、音声ミキシング部は、特定された被写体に基づいて、音声をミキシングする。これにより、視聴方法、視聴端末及び視聴プログラムでは、ユーザの意図を反映した、ユーザ好みの視聴が可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態における、視聴端末の構成例を示すブロック図である。
【図２】本発明の実施形態における、音声収録の第１例を示す図である。
【図３】本発明の実施形態における、音声収録の第２例を示す図である。
【図４】本発明の実施形態における、カメラの設置例を示す図である。
【図５】本発明の実施形態における、被写体の画像が入る領域の例を示す図である。
【図６】本発明の実施形態における、被写体を追跡する第１例を示す図である。
【図７】本発明の実施形態における、被写体を直接選択する第１例を示す図である。
【図８】本発明の実施形態における、被写体を追跡する第２例を示す図である。
【図９】本発明の実施形態における、注視領域を拡大する例を示す図である。
【図１０】本発明の実施形態における、被写体の画像の一部が入る領域を選択する例を示す図である。
【図１１】本発明の実施形態における、被写体を直接選択する第２例を示す図である。
【図１２】本発明の実施形態における、被写体を追跡する第３例を示す図である。
【図１３】本発明の実施形態における、再生開始から被写体を追跡する第１例の処理のフローを示す図である。
【図１４】本発明の実施形態における、再生開始から被写体を追跡する第２例の処理のフローを示す図である。
【図１５】本発明の実施形態における、再生開始から被写体を追跡する第３例の処理のフローを示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態の視聴方法、視聴端末及び視聴プログラムを、図面を参照して詳細に説明する。
図１は、本発明の実施形態における、視聴端末の構成例を示すブロック図である。視聴端末１は、再生操作部１０と、再生制御部１１と、表示部１２と、音源認識部１３と、保存部１４と、復号部１５と、音声ミキシング部１６と、ミキシング操作部１７と、同期部１８とを備える。
【００１８】
再生制御部１１と、音源認識部１３と、復号部１５と、音声ミキシング部１６と、同期部１８とのうち、少なくとも一部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサである。再生制御部１１と、音源認識部１３と、復号部１５と、音声ミキシング部１６と、同期部１８とのうち、少なくとも一部は、例えば、ＲＯＭ（Read Only Memory）などの記憶部から、ＲＡＭ（Random Access Memory）などの記憶部に展開されたアプリケーションプログラムを実行することにより機能するソフトウェア機能部である。なお、再生制御部１１と、音源認識部１３と、復号部１５と、音声ミキシング部１６と、同期部１８とのうち、少なくとも一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部でもよい。
【００１９】
再生操作部１０は、ユーザによる操作に応じて、再生するコンテンツ名の入力、再生の開始、又は、停止を制御する。
再生制御部１１は、表示部１２、音源認識部１３、保存部１４を制御する。これにより、再生制御部１１は、コンテンツの映像と音声を再生させることができる。
【００２０】
表示部１２は、映像と音声を再生する。表示部１２は、取得部（例えば、タッチパネル）を有してもよい。表示部１２は、取得部により、映像に含まれる選択された領域又は位置を示す情報を取得する。これにより、ユーザは、表示部１２に再生されている映像における視聴したい領域を自由に選択できる。
【００２１】
以下、選択された領域を「注視領域」という。注視領域は、位置や大きさに関係なく、自由に選択可能である。以下、注視領域を示す情報を「注視領域情報」という。注視領域情報には、注視領域の位置、大きさ、及び映像に関する情報が含まれている。ユーザは、表示部１２に再生されている映像における視聴したい被写体（例えば、人物）を直接選択することができる。
【００２２】
音源認識部１３は、音源としての被写体を特定する。例えば、音源認識部１３は、映像における被写体の位置を特定する。本実施例では、音源としての被写体は、人物の音声を集音するワイヤレスマイクが装着されている人物と、ステージ周辺の音声を集音する集音マイクとである。なお、音源としての被写体は、必ずしも人物や集音マイクである必要はない。
【００２３】
保存部１４は、人物の音声を集音するワイヤレスマイクからの音声データ（各人物音声データ）と、ステージ周辺の音声を集音する集音マイクとからの音声データ（各集音マイク音声データ）と、映像データと、画像識別情報と、位置特定情報と、注視領域情報と、自動注視領域情報と、ミキシング調整情報とを、コンテンツごとに保存する。これらの情報は、コンテンツ毎に符号化されていてもよい。図１では、保存部１４は、一例として、コンテンツ７０と、コンテンツ７１とを保存している。
【００２４】
画像識別情報は、映像における被写体を同定するための識別情報である。位置特定情報は、被写体を特定するための情報と、映像における被写体の位置を特定するための情報とが含まれている。位置特定情報は、例えば、座標で表現される。これらの情報は、音源としての被写体に装着されている位置センサから発信される。注視領域情報は、再生開始時に使用する情報であり、ユーザが視聴したい領域の位置、大きさ及び映像を示す情報である。自動注視領域情報は、視聴したい被写体をユーザが直接選択した場合に用いる注視領域情報である。ミキシング調整情報は、音源としての被写体の音声ミキシング要素の調整情報である。
【００２５】
保存部１４は、要求コンテンツを検索し、音声データ及び映像データを復号部１５に出力する。保存部１４は、要求コンテンツの画像識別情報、位置特定情報、注視領域情報、及び、自動注視領域情報を、音源認識部１３に出力する。保存部１４は、ミキシング調整情報を、音声ミキシング部１６に出力する。
【００２６】
復号部１５は、保存部１４から受け取った音声データ及び映像データを復号する。復号部１５は、音声データを音声ミキシング部１６に出力する。復号部１５は、映像データを、音源認識部１３に出力する。
音声ミキシング部１６は、音声にミキシング処理を施す。ミキシング処理の方法は、どのような方法でもよく、特定の方法に限定されない。
ミキシング操作部１７は、ミキシング処理するための設定操作を受け付ける。
同期部１８は、ミキシング処理された音声と映像とが各々に保持している再生時間情報に基づいて、音声と映像とをフレーム単位で同期させる。同期部１８は、同期させた音声と映像とを、表示部１２に出力する。
【００２７】
図２は、本発明の実施形態における、音声収録の第１例を示す図である。ワイヤレスマイク６０は、人物Ａの口の近傍（胸や、首の後ろなど）に装着される。ワイヤレスマイク６０は、人物Ａの音声を集音する。ワイヤレスマイク６１は、人物Ｂの口の近傍に装着される。ワイヤレスマイク６１は、人物Ｂの音声を集音する。ワイヤレスマイク６２は、人物Ｃの口の近傍に装着される。ワイヤレスマイク６２は、人物Ｃの音声を集音する。ワイヤレスマイク６３は、人物Ｄの口の近傍に装着される。ワイヤレスマイク６３は、人物Ｄの音声を集音する。
【００２８】
集音マイク３０、３１、３２、３３、３４（以下、「集音マイク３０〜３４」と表記する。）は、ステージ８０の前部、生演奏バンドの周辺に設置される。集音マイク３０〜３４は、曲が生演奏される場合、その生演奏による曲のメロディ、ステージ８０周辺の音声を集音する。位置センサ４０、４１、４２、４３、４４（以下、「位置センサ４０〜４４」と表記する。）は、現在位置を特定する情報（位置特定情報）を出力可能なセンサである。位置センサ４０〜４４は、集音マイク３０〜３４のそれぞれに装着されている。位置センサ５０、５１、５２、５３（以下、「位置センサ５０〜５３」と表記する。）は、人物Ａ〜Ｄのそれぞれに装着されている。位置特定情報は、音源としての被写体に装着された、位置センサ４０〜４４と、位置センサ５０〜５３とから発信される。
【００２９】
図３は、本発明の実施形態における、音声収録の第２例を示す図である。図３では、集音マイク３０〜３４は、ステージ８０の上部、生演奏バンドの上部に設置されている点が、図２に示す場合と異なる。集音マイク３０〜３４は、曲が生演奏される場合、その生演奏による曲のメロディ、ステージ８０周辺の音声を集音する。ワイヤレスマイク６０、６１、６２、６３（以下、「ワイヤレスマイク６０〜６３」と表記する。）と、位置センサ４０〜４４と、位置センサ５０〜５３とについては、図２に示す場合と同様である。
【００３０】
図４は、本発明の実施形態における、カメラの設置例を示す図である。カメラ２０は、客席の後方からステージ８０の全体が映像のフレームに入る様に撮影可能な位置に設置される。
図５は、本発明の実施形態における、被写体の画像が入る領域の例を示す図である。図５には、視聴している映像における選択された被写体である人物Ｄの画像が入る注視領域１００が示されている。ユーザは、視聴したい領域である注視領域１００の範囲を選択する場合、視聴している視聴端末１の表示部１２の画面上を手で触れることで、注視領域１００の範囲を直接指定してもよいし、マウス操作により注視領域１００の範囲を指定してもよい。
【００３１】
図６は、本発明の実施形態における、被写体を追跡する第１例を示す図である。図６では、ユーザは、表示部１２の画面上を手で触れることで、その画面上で人物Ｄの位置を手動で追いかけるものとする。図６には、ユーザが選択した人物Ｄに対する、手動による追いかけ再生が示されている。再生制御部１１は、視聴端末１の表示部１２の画面上で、被写体の動きを手動で追いかけながら、映像及び音声を再生する。図６では、人物Ｄの移動に応じて注視領域１００が移動したことにより、人物Ｄ以外に、人物Ｂ及びＣが注視領域１００に存在する映像が示されている。注視領域１００の移動は、視聴している視聴端末１の表示部１２の画面上を手で触れることで、注視領域１００の範囲を直接指定してもよいし、マウス操作により注視領域１００の範囲を指定してもよい。
【００３２】
図７は、本発明の実施形態における、被写体を直接選択する第１例を示す図である。図７では、視聴端末１の表示部１２の画面上で、ユーザの手やマウス操作により、被写体の画像上の１箇所に触ることにより、人物Ｄは直接選択される。この場合、注視領域１００の縦横サイズは、事前に設定されている。以下、事前に設定されている注視領域を、「自動注視領域情報」という。また、以下、映像における被写体の画像にユーザが触れた位置を示す情報を、「被写体選択情報」という。
【００３３】
図８は、本発明の実施形態における、被写体を追跡する第２例を示す図である。図８では、再生制御部１１は、図７でユーザが選択した人物Ｄの位置を、表示部１２の画面上で位置特定情報に基づいて追いかける。つまり、図８には、図７でユーザが選択した人物Ｄに対する、自動による追いかけ再生が示されている。被写体が直接選択された場合、再生制御部１１は、視聴端末１の表示部１２の画面上で、被写体の動きを自動で追いかけながら、映像及び音声を再生する。図８では、人物Ｄの移動に応じて注視領域１００が移動したことにより、人物Ｄ以外に、人物Ｂ及びＣが注視領域１００に存在する映像が示されている。
【００３４】
図９は、本発明の実施形態における、注視領域１００を拡大する例を示す図である。図９には、図６で選択された注視領域１００が拡大された場合が示されている。ユーザは、視聴端末１の表示部１２の画面上で、ユーザの手やマウス操作により、注視領域１００の拡大を指定することが可能である。
【００３５】
次に、注視領域１００における音源としての被写体（人物）を特定する方法を説明する。画像識別情報は、被写体の画像を識別する情報である。位置特定情報は、被写体を特定する情報と、画面における被写体が存在する位置を示す情報とを含む。注視領域情報は、注視領域の位置と、注視領域の縦横の大きさと、映像に関する情報とを含む。被写体選択情報は、画面に表示された映像における、直接選択された被写体の位置を示す情報である。
【００３６】
図５に示す場合、音源認識部１３は、画像識別情報又は位置特定情報と、注視領域情報とに基づいて、注視領域１００における被写体（人物Ｄ）を特定する。図６に示すように、注視領域１００における被写体（人物Ｄ、人物Ｂ、人物Ｃ）が複数の場合、音源認識部１３は、画像識別情報又は位置特定情報と、注視領域情報とに基づいて、個別に人物を特定する。
【００３７】
図７に示す場合、音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、直接指定された被写体（人物Ｄ）を特定する。図８に示すように、注視領域１００における被写体（人物Ｄ、人物Ｂ、人物Ｃ）が複数の場合、音源認識部１３は、画像識別情報又は位置特定情報と、注視領域情報とに基づいて、個別に人物を特定する。
【００３８】
図１０は、本発明の実施形態における、被写体の画像の一部が入る領域を選択する例を示す図である。音源としての被写体（人物Ａ〜Ｄ、集音マイク３０〜３４）の画像の一部でも注視領域１００に入っている場合、その被写体は、注視領域１００に存在するものとされる。図１０では、音源認識部１３は、注視領域１００における被写体（人物Ａ、人物Ｂ）を特定する。また、音源認識部１３は、注視領域１００における被写体（集音マイク３１、集音マイク３３）を特定する。
【００３９】
図１１は、本発明の実施形態における、被写体を直接選択する第２例を示す図である。図１１では、音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、直接指定された被写体である人物Ｄを特定する。
【００４０】
図１２は、本発明の実施形態における、被写体を追跡する第３例を示す図である。音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、移動する人物Ｄの周囲の人物Ａ〜Ｃを特定する。図１２では、音源認識部１３は、映像の真ん中に位置している人物Ｄに近い順が、人物Ｂ、人物Ｃ、人物Ａの順であると特定する。
【００４１】
次に、注視領域１００における音源としての被写体（集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを行う方法を説明する。
音源認識部１３は、画像識別情報又は位置特定情報に基づいて、全ての集音マイク３０〜３４を特定する。音源認識部１３は、注視領域１００における人物と集音マイクとの位置関係に基づいて、注視領域１００における人物に近い順に、各集音マイクを特定する。具体的には、以下のように人物と集音マイクとを関連付ける。なお、音源認識部１３は、距離が近い順以外に基づいて、人物Ａ〜Ｄと集音マイク３０〜３４とを関連付けてもよい。
【００４２】
図５に示す場合、音源認識部１３は、注視領域１００における被写体（人物Ｄ）に近い集音マイクの順番を、位置特定情報に基づいて、集音マイク３２、３４、３１、３３、３０の順と特定する。
図７に示す場合、音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、直接指定された被写体である人物Ｄに距離が近い集音マイクの順番を、集音マイク３２、３４、３１、３３、３０の順と特定する。
【００４３】
図６又は図８に示すように、被写体である人物Ｄ、人物Ｂ、人物Ｃの３人の画像が注視領域１００にある場合、音源認識部１３は、位置特定情報に基づいて、人物Ｄに近い集音マイクの順番を、集音マイク３１、３３、３４、３０、３２の順と特定する。また、音源認識部１３は、位置特定情報に基づいて、人物Ｂに近い集音マイクの順番を、集音マイク３１、３３、３０、３４、３２の順と特定する。また、音源認識部１３は、位置特定情報に基づいて、人物Ｃに近い集音マイクの順番を、集音マイク３４、３１、３３、３２、３０の順と特定する。
【００４４】
図１０に示すように、被写体である人物Ａ、人物Ｂの２人の画像が注視領域１００にある場合、音源認識部１３は、位置特定情報に基づいて、人物Ａに近い集音マイクの順番を、集音マイク３０、３３、３１、３４、３２と特定する。また、音源認識部１３は、位置特定情報に基づいて、人物Ｂに近い集音マイクの順番を、集音マイク３１、３３、３０、３４、３２と特定する。音源認識部１３は、音源としての被写体（人物、集音マイク）の一部が注視領域１００に入っている場合、注視領域に存在するものと判定する。
【００４５】
図１１に示すように、音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、直接指定された被写体である人物Ｄに近い集音マイクの順番を、集音マイク３２、３４、３１、３３、３０の順と特定する。
図１２に示すように、音源認識部１３は、被写体選択情報及び位置特定情報に基づいて、直接指定された被写体である人物Ｄに近い集音マイクの順番を、集音マイク３１、３３、３４、３０、３２の順と特定する。
【００４６】
次に、音声ミキシングの調整を説明する。
音声ミキシング部１６は、音声にミキシング処理を施す。音声ミキシング部１６は、音声ミキシングの調整要素の音量を変化させる。ミキシング処理の方法は、どのような方法でもよく、特定の方法に限定されない。例えば、音声ミキシング部１６は、ミキシング処理により、被写体の音声の調整要素である音色等を調整してもよい。音声ミキシング部１６は、他の調整要素を変化させてもよい。
【００４７】
音声ミキシング調整の例は、以下に示す、音声ミキシング調整の例（ｍｉｘ−１）〜（ｍｉｘ−６）に限定されるものではない。音声ミキシング調整の例（ｍｉｘ−１）〜（ｍｉｘ−６）では、ユーザは、ミキシング要素の調整を、ミキシング操作部１７を操作することにより設定できる。
【００４８】
＜音声ミキシング調整の第１例（ｍｉｘ−１）＞
音声ミキシングに用いられる集音マイクの数は複数でもよいが、音声ミキシング調整の第１例では、音声ミキシングに用いられる集音マイクの数は１台であるものとする。図５に示す注視領域１００における被写体（人物Ｄ）から一番近い集音マイク３２のみとする。なお、音声ミキシングに用いられる集音マイクは、必ずしも被写体から近い集音マイクでなくてもよい。
【００４９】
音声ミキシング部１６は、集音マイク３２の音量を下げる。音声ミキシング部１６は、被写体（人物Ｄ）の音声の音量を、そのまま変更しない。以上の設定により、ユーザは、映像に複数の被写体が居る中で、選択した人物Ｄを強調した視聴をすることができる。
【００５０】
＜音声ミキシング調整の第２例（ｍｉｘ−２）＞
追いかけ再生の例について説明する。図５に示す注視領域１００における人物Ｄが移動し、図６に示す注視領域１００に人物Ｄ、人物Ｂ、人物Ｃが含まれる。音声ミキシングに用いられる集音マイクの数は複数でもよいが、音声ミキシング調整の第２例では、音声ミキシングに用いられる集音マイクの数は１台であるものとする。
【００５１】
音源認識部１３は、人物Ｄに近い集音マイクを、集音マイク３１と特定する。音源認識部１３は、人物Ｂに近い集音マイク番を、集音マイク３１と特定する。音源認識部１３は、人物Ｃに近い集音マイクを、集音マイク３４と特定する。なお、音声ミキシングに用いられる集音マイクは、必ずしも被写体から近い集音マイクでなくてもよい。
【００５２】
音声ミキシング部１６は、これら集音マイク３１、３４の音量を下げる。つまり、音声ミキシング部１６は、人物Ｂと人物Ｃの音量を下げ、人物Ｄの音声の音量を、そのまま変更しない。以上の設定により、ユーザは、追いかけ再生でも、選択した人物Ｄを強調した視聴をすることができる。
【００５３】
＜音声ミキシング調整の第３例（ｍｉｘ−３）＞
音声ミキシングに用いられる集音マイクの数は何台でもよいが、音声ミキシング調整の第３例では、音声ミキシングに用いられる集音マイクの数は２台であるものとする。
【００５４】
図１０に示す場合、音源認識部１３は、人物Ａに近い集音マイクの順番を、集音マイク３０、３３の順と特定する。また、音源認識部１３は、人物Ｂに近い集音マイクの順番を、集音マイク３１、３３の順と特定する。なお、音声ミキシングに用いられる集音マイクは、必ずしも被写体から近い集音マイクでなくてもよい。
【００５５】
音声ミキシング部１６は、これら集音マイク３０、３１、３３の音量をそのままとする。また、図１０に示す、注視領域１００おける被写体（人物Ａ、人物Ｂ）の音声の音量を、そのまま変更しない。以上の設定により、ユーザは、複数の集音マイクの中でユーザ好みの集音マイクに特化した視聴をすることができる。
【００５６】
＜音声ミキシング調整の第４例（ｍｉｘ−４）＞
音声ミキシングに用いられる集音マイクの数は何台でもよいが、音声ミキシング調整の第４例では、音声ミキシングには、全ての集音マイクが用いられるのとする。音声ミキシング調整の第４例では、図５に示す全ての集音マイク３０〜３４が用いられる。全ての集音マイク３０〜３４に対して、ミキシング調整はされない。被写体全員（人物Ａ〜Ｄ）の音声に対しても、ミキシング調整はされない。音声ミキシング調整の第４例では、ミキシング要素の調整の設定値は、再生開始時に使用される。
【００５７】
＜音声ミキシング調整の第５例（ｍｉｘ−５）＞
音声ミキシングに用いられる集音マイクの数は複数でもよいが、音声ミキシング調整の第５例では、音声ミキシングに用いる集音マイクは、注視領域１００における各被写体（人物）に一番近い集音マイク（１台）とする。
【００５８】
人物Ｄが移動する前である図７に示す場合、音声ミキシング部１６は、注視領域１００における被写体（人物Ｄ）から一番近い集音マイク３２の音量を下げる。人物Ｄが移動した後である図８に示す場合、音声ミキシング部１６は、注視領域１００における被写体（人物Ｄ）から一番近い集音マイク３１の音量を下げる。人物Ｄが移動した後である図８に示す場合、音声ミキシング部１６は、注視領域１００における被写体（人物Ｂ）から一番近い集音マイク３１の音量を下げる。人物Ｄが移動した後である図８に示す場合、音声ミキシング部１６は、注視領域１００における被写体（人物Ｃ）から一番近い集音マイク３４の音量を下げる。
【００５９】
図７又は図８に示す場合、音声ミキシング部１６は、注視領域１００における被写体（人物Ｄ）の音量を変更しない。音声ミキシング部１６は、人物Ｄ以外の人物Ａ、Ｂ、Ｃの音量を下げる。以上の設定により、ユーザは、選択した人物Ｄを強調した視聴をすることができる。
【００６０】
＜音声ミキシング調整の第６例（ｍｉｘ−６）＞
音声ミキシングに用いられる集音マイクの数は何台でもよいが、音声ミキシング調整の第６例では、音声ミキシングには、全ての集音マイク３０〜３４が用いられるのとする。音声ミキシング部１６は、図１１又は図１２に示す全ての集音マイク３０〜３４の音量を下げる。音声ミキシング部１６は、図１１に示す被写体（人物Ｄ）の音量を変更しない。音声ミキシング部１６は、人物Ｄが移動した後である図１２に示す被写体（人物Ｄ）の音量を変更しない。音声ミキシング部１６は、人物Ｄに近い２人（人物Ｂ、人物Ｃ）の音量を下げる。以上の設定により、ユーザは、追いかけ再生において、ユーザが選択した人物Ｄのみを周囲の状況に合わせた強調した視聴をすることができる。
【００６１】
次に、視聴端末１の処理のフローを説明する。
図１３は、本発明の実施形態における、再生開始から被写体を追跡する第１例の処理のフローを示す図である。図１３には、再生開始から注視領域１００が選択された場合における、音声ミキシングを実行する処理フローの第１例が示されている。
ユーザは、視聴したいコンテンツ名を再生操作部１０に入力する。再生操作部１０は、再生制御部１１に、コンテンツ名を示す情報を出力する（ステップＳ１）。
再生制御部１１は、再生操作部１０からコンテンツ名を示す情報を受け取ると、コンテンツ名とコンテンツ再生開始の命令とを、保存部１４に送る（ステップＳ２）。
【００６２】
保存部１４は、再生制御部１１から受け取ったコンテンツ名を示す情報の音声データから、全ての音声データ（人物Ａ〜Ｄの音声データと、集音マイク３０〜３４の音声データ）と、映像データとを検索し、映像データ及び音声データを復号部１５に送る。また、保存部１４は、要求されたコンテンツの画像識別情報、位置特定情報、注視領域情報、及び、自動注視領域情報を、音源認識部１３へ送る。
【００６３】
注視領域情報は、注視領域１００の大きさを示す情報である。再生開始時の注視領域１００の大きさは、映像のフレーム全体の大きさである。保存部１４は、ミキシング調整情報を音声ミキシング部１６へ送る。ミキシング調整情報には、上記のミキシング調整の（ｍｉｘ−４）が記載されている（ステップＳ３）。
【００６４】
復号部１５は、全ての音声データ（人物Ａ〜Ｄの音声データと、集音マイク３０〜３４の音声データ）を復号し、音声を音声ミキシング部１６に出力する。復号部１５は、映像データを復号し、映像を音源認識部１３に出力する（ステップＳ４）。
音源認識部１３は、位置特定情報又は画像識別情報と、注視領域情報とに基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、この音源認識結果を音声ミキシング部１６に送る。音源認識部１３は、映像を同期部１８へ送る（ステップＳ５）。
【００６５】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、この音源認識結果を表示する（ステップＳ６）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を介して、音声ミキシングを調整させる。なお、ユーザは、ミキシング操作部１７を介した音声ミキシングの設定を、必ずしも毎回行う必要はない。本実施例では、再生開始時には、ユーザは、音声ミキシングの設定を行わないものとする（ステップＳ７）。
【００６６】
音声ミキシング部１６は、再生開始時に保存部１４から受け取ったミキシング調整情報（音声ミキシング調整の第４例ｍｉｘ−４）に基づいて、音声ミキシング調整については何もせずに、全ての音声（人物Ａ〜Ｄの音声、集音マイク３０〜３４の音声）をまとめた音声にして、同期部１８に送る（ステップＳ８）。
同期部１８は、ミキシング後の音声と映像とが各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像とを、表示部１２に送る（ステップＳ９）。
【００６７】
表示部１２は、要求コンテンツの映像及び音声を再生する（ステップＳ１０）。
本実施例では、ユーザは、映像における、図５に示す人物Ｄ（１人）の画像が入る視聴したい注視領域１００を選択する。ユーザが視聴したい領域である注視領域１００は、位置や大きさに関係なく自由に選択できる。注視領域１００の選択は、視聴端末１の表示部１２の画面上から、ユーザの手による直接指定やマウス操作により選択可能である。
【００６８】
表示部１２は、注視領域１００の情報を再生制御部１１に通知する。注視領域情報には、視聴端末１の表示部１２の画面上から、ユーザが新たに選択した注視領域１００の位置及び大きさを示す情報と、映像に関する情報とが含まれている（ステップＳ１１）。
再生制御部１１は、注視領域情報を音源認識部１３に通知する（ステップＳ１２）。
【００６９】
音源認識部１３は、再生制御部１１から通知された注視領域情報と、位置特定情報又は画像識別情報とに基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から新しく注視領域情報を受け取ったタイミングで、被写体を特定する。
【００７０】
音源認識部１３は、注視領域１００における被写体を人物Ｄと特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。さらに、音源認識部１３は、被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３２、３４、３１、３３、３０の順と特定する。音声ミキシング部に、この音源認識結果を音源認識部１３に送る（ステップＳ１３）。
【００７１】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、音源認識結果を表示する（ステップＳ１４）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を介して、音声ミキシング調整の第１例ｍｉｘ−１により音声ミキシングのパラメータを設定する。ミキシング操作部１７は、この音声ミキシングの設定結果を、音声ミキシング部１６に通知する（ステップＳ１５）。
【００７２】
音声ミキシング部１６は、ミキシング操作部１７から受け取った設定結果（音声ミキシング調整の第１例ｍｉｘ−１）に基づいて、ミキシングを実行する。このミキシングでは、音声ミキシング部１６は、注視領域１００における人物Ｄの音声は変更せずに、人物Ｄに一番近い集音マイク３２の音量を下げる。音声ミキシング部１６は、これら二つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ１６）。
【００７３】
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期された音声と映像とを、表示部１２に送る（ステップＳ１７）。
表示部１２は、ステップ１６でミキシングした音声と映像を再生する（ステップＳ１８）。
【００７４】
再生を停止させる場合、ユーザは、再生操作部１０を操作して、再生停止を示す情報を再生制御部１１に入力する。再生停止を示す情報を再生制御部１１へ送るステップＳ１９において、ユーザが別の領域の注視領域１００を選択する場合、表示部１２は、ステップＳ１１に進む。
再生制御部１１は、表示部１２、保存部１４、音源認識部１３に、実行停止を示す情報を送る。保存部１４は、実行停止を示す情報を受信した場合、復号部１５、音声ミキシング部１６、ミキシング操作部１７、同期部１８に、実行停止を示す情報を順次送る。これにより、再生は停止する（ステップＳ２０）。
【００７５】
次に、音声ミキシング処理フローの第２例（被写体手動追跡フロー）を説明する。音声ミキシング処理フローの第２例は、上記の音声ミキシングを実行する処理フローの第１例の続きである。
再生制御部１１は、人物Ｄの動きを追いかけて再生する。注視領域１００の移動は、視聴端末１の表示部１２の画面上から、ユーザの手による直接指定やマウス操作により選択できる。表示部１２は、注視領域１００の情報を、再生制御部１１に一定間隔で通知する。この注視領域情報には、注視領域１００の位置及び大きさを示す情報と、映像に関する情報とが含まれる（ステップＳ１１−２）。
【００７６】
再生制御部１１は、注視領域情報を音源認識部１３に通知する（ステップＳ１２−２）。
音源認識部１３は、再生制御部１１から通知された注視領域情報と、位置特定情報又は画像識別情報に基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から新しく注視領域情報を受け取ったタイミングで、被写体を特定する。
【００７７】
音源認識部１３は、図６に示す注視領域１００に被写体を、人物Ｄ、人物Ｂ、人物Ｃと特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３１、３３、３４、３０、３２の順と特定する。音源認識部１３は、被写体（人物Ｂ）に近い集音マイクの順番を、集音マイク３１、３３、３０、３４、３２の順と特定する。音源認識部１３は、被写体（人物Ｃ）に近い集音マイクの順番を、集音マイク３４、３１、３２、３３、３０の順と特定する。音源認識部１３は、この音源認識結果を音声ミキシング部１６に送る（ステップＳ１３−２）。
【００７８】
音声ミキシング部１６は、音源認識結果を音源認識部１３から受け取り、この音源認識結果を表示する（ステップＳ１４−２）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を介して、音声ミキシング調整の第２例ｍｉｘ−２により、音声ミキシングを調整する。ミキシング操作部１７は、この設定結果を音声ミキシング部１６に通知する（ステップＳ１５−２）。
【００７９】
音声ミキシング部１６は、ミキシング操作部１７から受け取った設定結果（ｍｉｘ−２）に基づいて、ミキシング（注視領域１００における人物Ｄの音声は変更せず、人物Ｂ、人物Ｃの音量を下げ、集音マイク３１及び３４の音量を下げる）を実行する。音声ミキシング部１６は、これら五つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ１６−２）。
【００８０】
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ１７−２）。
再生制御部１１は、ステップＳ１６−２でミキシングさせた音声と映像を再生させる（ステップＳ１８−２）。
再生を停止する場合、ユーザは、再生操作部１０を介して再生停止を示す情報を、再生制御部１１に送る（ステップＳ１９−２）。ユーザが別の領域の注視領域１００を選択する場合、表示部１２は、ステップＳ１１に進む。
再生制御部１１は、表示部１２、保存部１４、音源認識部１３に、実行停止を示す情報を送る。保存部１４は、実行停止を示す情報を受信した場合、復号部１５、音声ミキシング部１６、ミキシング操作部１７、同期部１８に、実行停止を示す情報を順次送る。これにより、再生が停止する（ステップＳ２０−２）。
【００８１】
次に、音声ミキシング処理フローの第３例を説明する。
ユーザは、映像における、図１０に示す人物Ａと人物Ｂの二人の画像が入る視聴したい領域を選択する。表示部１２は、映像における、選択された注視領域１００を示す情報を、再生制御部１１に通知する。この注視領域１００を示す情報は、注視領域情報である。注視領域情報には、注視領域１００の位置及び大きさを示す情報と、映像に関する情報とが含まれる（ステップＳ１１−３）。
【００８２】
再生制御部１１は、注視領域情報を音源認識部１３に通知する（ステップＳ１２−３）。
音源認識部１３は、再生制御部１１から通知された注視領域情報と、位置特定情報又は画像識別情報とに基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部から新しく注視領域情報を受け取ったタイミングで、被写体を特定する。
【００８３】
音源認識部１３は、図１０に示す注視領域１００における被写体を、人物Ａと人物Ｂとに特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。音源認識部１３は、人物Ａに近い集音マイクの順番を、集音マイク３０、３３、３１、３４、３２の順と特定する。音源認識部１３は、人物Ｂに近い集音マイクの順番を、集音マイク３１、３３、３０、３４、３２の順と特定する。音源認識部１３は、この音源認識結果を音声ミキシング部１６に送る（ステップＳ１３−３）。
【００８４】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、この結果を表示する（ステップ１４−３）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を操作することにより、音声ミキシング調整の第３例（ｍｉｘ−３）により音声ミキシングを調整させる。ミキシング操作部１７は、この設定結果を音声ミキシング部１６に通知する（ステップＳ１５−３）。
【００８５】
音声ミキシング部１６は、ミキシング操作部１７から受け取った設定結果（ｍｉｘ−３）に基づいて、ミキシング（注視領域１００における人物Ａと人物Ｂの二人の音声の音量は変更しない。集音マイク３０、３１、３３の音量は変更しない）を実行する。音声ミキシング部１６は、これら五つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ１６−３）。
【００８６】
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ１７−３）。
再生制御部１１は、ステップＳ１６−３でミキシングした音声と映像を再生させる（ステップＳ１８−３）。
【００８７】
再生を停止させる場合、ユーザは、再生操作部１０を操作して、再生停止を示す情報を再生制御部１１に入力する。再生操作部１０は、再生制御部１１に再生停止を示す情報を送る（ステップＳ１９−３）。ユーザが別の領域の注視領域１００を選択する場合、表示部１２は、ステップＳ１１に進む。
【００８８】
再生制御部１１は、表示部１２、保存部１４、音源認識部１３に、実行停止を示す情報を送る。保存部１４は、実行停止を示す情報を受信した場合、復号部１５、音声ミキシング部１６、ミキシング操作部１７、同期部１８に、実行停止を示す情報を順次送る。これにより、再生が停止する（ステップＳ２０−３）。
【００８９】
図１４は、本発明の実施形態における、再生開始から被写体を追跡する第２例の処理のフローを示す図である。再生開始から被写体を追跡する第２例は、被写体が直接選択され、その被写体を自動追跡するフローの例である。
【００９０】
再生開始で実行する処理（ステップＳ１−４からステップＳ１０−４）は、再生開始から被写体を追跡する第１例で説明したステップＳ１からステップＳ１０と同様である。
ユーザは、視聴端末１の表示部１２の画面上で、ユーザの手やマウス操作により、被写体である人物Ｄの１箇所に触れることにより、被写体を直接選択する。表示部１２は、画面上において映像における１箇所に触れられた被写体の位置を示す被写体選択情報を、再生制御部１１に送る（ステップＳ１１−４）。
【００９１】
再生制御部１１は、被写体選択情報を音源認識部１３に通知する（ステップＳ１２−４）。
音源認識部１３は、被写体選択情報を受け取った場合、自動注視領域情報を再生制御部１１へ送る（ステップＳ１３−４）。
再生制御部１１は、自動注視領域情報を表示部１２へ送る（ステップＳ１４−４）。
【００９２】
表示部１２は、被写体選択情報及び自動注視領域情報に基づいて、被写体の画像を中心に注視領域１００を決定する（ステップＳ１５−４）。
音源認識部１３は、再生制御部１１から通知された被写体選択情報及び位置特定情報に基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から被写体選択情報を受け取ったタイミングで、被写体を特定する。
【００９３】
音源認識部１３は、被写体を人物Ｄ（図７を参照）と特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。さらに、音源認識部１３は、被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３２、３４、３１、３３、３０の順と特定する。音源認識部１３は、この音源認識結果を音声ミキシング部１６に送る（ステップＳ１６−４）。
【００９４】
音声ミキシング部１６は、音源認識結果を音源認識部１３から受け取り、この音源認識結果を表示する（ステップＳ１７−４）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を介して、音声ミキシング調整の第５例（ｍｉｘ−５）により、音声ミキシングを調整する。ミキシング操作部１７は、この設定結果を音声ミキシング部１６に通知する（ステップＳ１８−４）。
【００９５】
音声ミキシング部１６は、ミキシング操作部１７から受け取った設定結果（ｍｉｘ−５）に基づいて、ミキシング（注視領域１００における人物Ｄの音声は変更せず、人物Ｄに一番近い集音マイク３２の音量を下げる）を実行する。音声ミキシング部１６は、これら二つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ１９−４）。
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ２０−４）。
【００９６】
再生制御部１１は、ステップＳ１９−４でミキシングした音声と映像を再生させる。映像が表示された表示部１２の画面上の１箇所にユーザが触れて、被写体を指定した場合、再生制御部１１は、被写体の追いかけ再生を実行する（図８を参照）。
表示部１２は、人物Ｄの移動に追随した注視領域１００を示す情報を、再生制御部１１に通知する。表示部１２は、注視領域１００を示す情報を、再生制御部１１に一定間隔で通知する。注視領域情報には、注視領域１００の位置及び大きさを示す情報と、映像に関する情報とが含まれている（ステップＳ２１−４）。
【００９７】
再生制御部１１は、注視領域情報を音源認識部１３に通知する（ステップＳ２２−４）。
音源認識部１３は、再生制御部１１から通知された注視領域情報と、位置特定情報又は画像識別情報とに基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から新しく注視領域情報を受け取ったタイミングで、被写体を特定する。
【００９８】
音源認識部１３は、図８に示す注視領域１００における被写体を、人物Ｄ、人物Ｂ、人物Ｃと特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。音源認識部１３は、被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３１、３３、３４、３０、３２の順と特定する。音源認識部１３は、被写体（人物Ｂ）に近い集音マイクの順番を、集音マイク３１、３３、３０、３４、３２の順と特定する。音源認識部１３は、被写体（人物Ｃ）に近い集音マイクの順番を、集音マイク３４、３１、３３、３２、３０の順と特定する。音源認識部１３は、この音源認識結果を、音声ミキシング部１６に送る（ステップＳ２３−４）。
【００９９】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、この結果を表示する（ステップＳ２４−４）。
ユーザは、ミキシング操作部１７を介して音声ミキシングの設定を、必ずしも毎回行う必要はない。音声ミキシング部１６は、前回の条件（音声ミキシング調整の第５例ｍｉｘ−５）に基づいて、音声ミキシングを実行してもよい。ミキシング操作部１７は、前回の条件（音声ミキシング調整の第５例ｍｉｘ−５）を、音声ミキシング部１６に通知する（ステップＳ２５−４）。
【０１００】
音声ミキシング部１６は、ミキシング操作部１７から受け取った前回の条件（ｍｉｘ−５）に基づいて、ミキシング（注視領域１００における人物Ｄの音声は変更せず、人物Ｂ、人物Ｃの音量を下げ、集音マイク３１、３４の音量を下げる）を実行する。音声ミキシング部１６は、これら五つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ２６−４）。
【０１０１】
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ２７−４）。
再生制御部１１は、ステップＳ２６−４でミキシングした音声と映像を再生させる（ステップＳ２８−４）。
再生を停止させる場合、ユーザは、再生操作部１０に再生停止を示す情報を入力する。再生操作部１０は、再生停止を示す情報を、再生制御部１１へ送る（ステップＳ２９−４）。ユーザが別の領域の注視領域１００を選択する場合、表示部１２は、ステップＳ１１に進む。
【０１０２】
再生制御部１１は、表示部１２、保存部１４、音源認識部１３に、実行停止を示す情報送る。保存部１４は、実行停止を示す情報を受信した場合、復号部１５、音声ミキシング部１６、ミキシング操作部１７、同期部１８に、実行停止を示す情報を順次送る。これにより、再生が停止する（ステップＳ３０−４）。
【０１０３】
図１５は、本発明の実施形態における、再生開始から被写体を追跡する第３例の処理のフローを示す図である。再生開始から被写体を追跡する第３例は、被写体が直接選択され、その被写体を自動追跡するフローの例である。
【０１０４】
再生開始で実行する処理（ステップＳ１−５からステップＳ１０−５）は、再生開始から被写体を追跡する第１例で説明したステップＳ１からステップＳ１０と同様である。
ユーザは、視聴端末１の表示部１２の画面上で、ユーザの手やマウス操作により、被写体である人物Ｄの１箇所に触れることにより、被写体を直接選択する。表示部１２は、画面上において、映像における１箇所に触れられた被写体の位置を示す被写体選択情報を、再生制御部１１に送る（ステップＳ１１−５）。
【０１０５】
再生制御部１１は、被写体選択情報を音源認識部１３に通知する（ステップ１２−５）。
音源認識部１３は、再生制御部１１から通知された被写体選択情報及び位置特定情報に基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から新しく被写体選択情報を受け取ったタイミングで、被写体を特定する。
【０１０６】
音源認識部１３は、図１１に示す直接選択された被写体を、人物Ｄと特定する。音源認識部１３は、全ての集音マイクを、集音マイク３０〜３４と特定する。音源認識部１３は、被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３２、３４、３１、３３、３０の順と特定する。音源認識部１３は、この音源認識結果を、音声ミキシング部１６に送る（ステップＳ１３−５）。
【０１０７】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、この結果を表示する（ステップＳ１４−５）。
ユーザは、音声ミキシング部１６に表示されている音源認識結果に基づいて、ミキシング操作部１７を介して、音声ミキシング調整の第６例（ｍｉｘ−６）に基づいて音声ミキシングを調整する。ミキシング操作部１７は、この設定結果を音声ミキシング部１６に通知する（ステップＳ１５−５）。
【０１０８】
音声ミキシング部１６は、ミキシング操作部１７から受け取った設定結果（ｍｉｘ−６）に基づいて、ミキシング（人物Ｄの音声は変更せず、全ての集音マイクの音量を下げる）を実行する。音声ミキシング部１６は、これら六つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ１６−５）。
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ１７−５）。
【０１０９】
再生制御部１１は、ステップＳ１６−５でミキシングした音声と映像を再生させる。ユーザが表示部１２の画面上の映像における１箇所に触れて、被写体を指定した場合、再生制御部１１は、ユーザからの明示の指示がなくても、すなわち自動で、被写体の追いかけ再生を実行する。図１２には、自動の追いかけ再生が示されている。
表示部１２は、人物Ｄの移動に追随した被写体選択情報を、再生制御部１１に通知する。表示部１２は、被写体選択情報を再生制御部１１に一定間隔で通知する（ステップＳ１８−５）。
【０１１０】
再生制御部１１は、被写体選択情報を音源認識部１３に通知する（ステップＳ１９−５）。
音源認識部１３は、再生制御部１１から通知された被写体選択情報及び位置特定情報に基づいて、音源としての被写体（人物と集音マイク）の特定と、被写体（人物）及び被写体（集音マイク）の関連付けとを実行する。音源認識部１３は、再生制御部１１から新しく被写体選択情報を受け取ったタイミングで、被写体を特定する。
【０１１１】
音源認識部１３は、図１２に示す全ての集音マイクを、集音マイク３０〜３４と特定する。さらに、音源認識部１３は、移動する被写体（人物Ｄ）に近い集音マイクの順番を、集音マイク３１、３３、３４、３０、３２の順と特定する。音源認識部１３は、映像の真ん中の人物Ｄに近い順番を、人物Ｂ、人物Ｃ、人物Ａの順と特定する。音源認識部１３は、この音源認識結果を音声ミキシング部１６に送る（ステップＳ２０−５）。
【０１１２】
音声ミキシング部１６は、音源認識部１３から音源認識結果を受け取り、この音源認識結果を表示する（ステップＳ２１−５）。
ユーザは、ミキシング操作部１７を介して音声ミキシングの設定を、必ずしも毎回行う必要はない。音声ミキシング部１６は、前回の条件（音声ミキシング調整の第６例ｍｉｘ−６）に基づいて、音声ミキシングを実行してもよい。ミキシング操作部１７は、前回の条件（音声ミキシング調整の第６例ｍｉｘ−６）を、音声ミキシング部１６に通知する（ステップＳ２２−５）。
【０１１３】
音声ミキシング部１６は、ミキシング操作部１７から受け取った前回の条件（ｍｉｘ−６）に基づいて、ミキシング（人物Ｄの音声は変更せず、人物Ｂ、人物Ｃの音量を下げ、全ての集音マイクの音量を下げる）を実行する。音声ミキシング部１６は、これら八つの音声を一つの音声にまとめて、同期部１８に送る（ステップＳ２３−５）。
同期部１８は、ミキシング後の音声と映像が各々に保持している再生時間に基づいて、フレーム単位で同期させた音声と映像を、表示部１２に送る（ステップＳ２４−５）。
【０１１４】
再生制御部１１は、ステップ２３−５でミキシングした音声と映像を再生させる（ステップＳ２５−５）。
再生を停止させる場合、ユーザは、再生操作部１０に再生停止を示す情報を入力する。再生操作部１０は、再生停止を示す情報を、再生制御部１１へ送る（ステップＳ２６−５）。ユーザが別の領域の注視領域１００を選択する場合、表示部１２は、ステップＳ１１に進む。
【０１１５】
再生制御部１１は、表示部１２、保存部１４、音源認識部１３に、実行停止を示す情報送る。保存部１４は、実行停止を示す情報を受信した場合、復号部１５、音声ミキシング部１６、ミキシング操作部１７、同期部１８に、実行停止を示す情報を順次送る。これにより、再生が停止する（ステップＳ２７−５）。
【０１１６】
以上により、本実施形態に係る視聴方法は、視聴端末１における視聴方法であって、音声に同期した映像を表示し、映像に含まれる注視領域１００又は位置を示す情報を取得するステップと、映像に含まれる注視領域１００又は位置を示す情報に基づいて、映像における被写体（例えば、人物）を特定するステップと、特定された被写体に基づいて、音声をミキシングするステップと、を有する。
【０１１７】
本実施形態に係る視聴端末１は、音声に同期した映像を表示し、映像に含まれる選択された領域又は位置を示す情報を取得する表示部１２と、映像に含まれる注視領域１００又は位置を示す情報に基づいて、映像における被写体（例えば、人物）を特定する音源認識部１３と、特定された被写体に基づいて、音声をミキシングする音声ミキシング部１６と、を備える。
【０１１８】
本実施形態に係る視聴プログラムは、コンピュータに、音声に同期した映像を表示し、映像に含まれる選択された領域又は位置を示す情報を取得する手順と、映像に含まれる選択された領域又は位置を示す情報に基づいて、映像における被写体を特定する手順と、特定された被写体に基づいて、音声をミキシングする手順と、を実行させる。
【０１１９】
この構成により、音声ミキシング部１６は、特定された被写体に基づいて、音声をミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムでは、ユーザの意図を反映した、ユーザ好みの視聴が可能となる。
【０１２０】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザが映像のフレーム全体の中から選択した人物の音声と、この選択された人物に位置が近い順に関連付けた結果に基づいて選択した集音マイクの音声と、をユーザの好みに合わせてミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザの意図を反映したユーザ好みの人物を強調した視聴を可能とする。
【０１２１】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザが映像のフレーム全体の中から選択した人物の音声と、映像のフレーム全体の中から選択した集音マイクの音声と、をユーザの好みに合わせてミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザの意図を反映したユーザ好みの人物を強調した視聴を可能とする。
【０１２２】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、移動する人物の音声と、その移動する人物に追随する人物の音声や集音マイクの音声と、をユーザの好みに合わせて選択し、選択した音声をミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザの意図を反映したユーザ好みの人物を強調した視聴を可能とする。
【０１２３】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、映像のフレーム全体の中から被写体（集音マイク）を選択し、選択した被写体（集音マイク）の音声をユーザの好みに合わせてミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザの意図を反映したユーザ好みの人物を強調した視聴を可能とする。
【０１２４】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、映像中の音源としての人物と集音マイクを、画像識別情報又は位置特定情報に基づいて個別に検出する。さらに、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、位置特定情報に基づいて、映像のフレーム全体の中からユーザが選択した人物と集音マイクが近い順に、人物と集音マイクを関連付ける。本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、この結果に基づいて集音マイクを選択し、選択した人物と集音マイクの音声とをミキシングする。これにより、本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、ユーザの好みに応じた映像視聴を実現することができる。
【０１２５】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、音源としての人物が移動する場合、移動する人物に、周囲の音源としての人物を追随させるために、移動する人物に位置が近い人物の順を位置特定情報に基づいて関連付ける。本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、移動する人物に近い順に関連付けた結果に基づいて、音声をミキシングする対象とする周囲の人物を選択する。
【０１２６】
本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、音源としての人物が移動する場合、移動する人物に、周囲の音源としての集音マイクを追随させるために、移動する人物に位置が近い集音マイクの順を位置特定情報に基づいて関連付ける。本実施形態に係る視聴方法、視聴端末１及び視聴プログラムは、移動する人物の音声と、その移動する人物に近い順に関連付けた結果とに基づいて選択した集音マイクの音声と、をミキシングする。
【０１２７】
本実施形態に係る視聴方法は、映像における被写体（例えば、人物、集音マイク）を特定するステップでは、音源認識部１３が、被写体の位置を示す位置特定情報、又は、映像における被写体を同定するための画像識別情報を、保存部１４から取得し、取得した位置特定情報又は画像識別情報に基づいて、映像における被写体を特定する。
【０１２８】
本実施形態に係る視聴方法は、映像における被写体（例えば、人物、集音マイク）を特定するステップでは、音源認識部１３が、被写体の位置を示す位置特定情報と、映像における選択された被写体の位置を示す被写体選択情報と、に基づいて、映像における被写体を特定する。
【０１２９】
本実施形態に係る視聴方法は、映像における被写体（例えば、人物、集音マイク）を特定するステップでは、音源認識部１３が、特定された被写体（例えば、人物）と、映像における他の被写体（例えば、集音マイク）とを、位置特定情報に基づいて関連付ける。
【０１３０】
本実施形態に係る視聴方法は、音声をミキシングするステップでは、音声ミキシング部１６が、特定された被写体の音声と、特定された被写体に関連付けられた他の被写体の音声と、をミキシングする。
本実施形態に係る視聴方法は、音声をミキシングするステップでは、音声ミキシング部１６が、特定された移動する被写体の音声と、特定された移動する被写体に関連付けられた他の被写体の音声と、をミキシングする（例えば、図６、図７、図８、図１２を参照）。
本実施形態に係る視聴方法は、音声をミキシングするステップでは、音声ミキシング部１６が、特定された被写体の音声と、所定条件に基づいて特定された他の被写体（例えば、ワイヤレスマイク、集音マイク）の音声と、をミキシングする。
【０１３１】
上述した実施形態における視聴端末１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【０１３２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１３３】
１…視聴端末，１０…再生操作部，１１…再生制御部，１２…表示部，１３…音源認識部，１４…保存部，１５…復号部，１６…音声ミキシング部，１７…ミキシング操作部，１８…同期部，２０…カメラ，３０…集音マイク，３１…集音マイク，３２…集音マイク，３３…集音マイク，３４…集音マイク，４０…位置センサ，４１…位置センサ，４２…位置センサ，４３…位置センサ，４４…位置センサ，５０…位置センサ，５１…位置センサ，５２…位置センサ，５３…位置センサ，６０…ワイヤレスマイク，６１…ワイヤレスマイク，６２…ワイヤレスマイク，６３…ワイヤレスマイク，７０…コンテンツ，７１…コンテンツ，８０…ステージ，１００…注視領域，Ａ…人物，Ｂ…人物，Ｃ…人物，Ｄ…人物
【図１】
2015142185.tif 000003
【図２】
2015142185.tif 000004
【図３】
2015142185.tif 000005
【図４】
2015142185.tif 000006
【図５】
2015142185.tif 000007
【図６】
2015142185.tif 000008
【図７】
2015142185.tif 000009
【図８】
2015142185.tif 000010
【図９】
2015142185.tif 000011
【図１０】
2015142185.tif 000012
【図１１】
2015142185.tif 000013
【図１２】
2015142185.tif 000014
【図１３】
2015142185.tif 000015
【図１４】
2015142185.tif 000016
【図１５】
2015142185.tif 000017