(57)【要約】【課題】視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させる。【解決手段】撮像装置から映像情報を取得する映像情報取得部と、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する制御部と、を備え、前記制御部は、前記第１の領域の拡大に応じて前記第１の領域音の増幅率または前記広範囲音の増幅率がどのように変化するかが異なる複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って前記混合を制御する、情報処理装置。【選択図】図２
2018137677.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から映像情報を取得する映像情報取得部と、
前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する制御部と、
を備え、
前記制御部は、前記第１の領域の拡大に応じて前記第１の領域音の増幅率または前記広範囲音の増幅率がどのように変化するかが異なる複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って前記混合を制御する、情報処理装置。
【請求項２】
前記複数の制御パターンの各々は、前記映像情報における前記第１の領域の拡大に応じて、前記第１の領域音の増幅率が大きくなる関係を示す、請求項１に記載の情報処理装置。
【請求項３】
前記複数の制御パターンの各々は、前記映像情報における前記第１の領域の拡大に応じて、前記広範囲音の増幅率が小さくなる関係を示す、請求項１または２に記載の情報処理装置。
【請求項４】
前記複数の制御パターンでは、前記第１の領域の拡大に対する、前記第１の領域音の増幅率の立ち上がり異なる、請求項２に記載の情報処理装置。
【請求項５】
前記制御部は、前記映像情報における前記第１の領域へのユーザの注目度を測定し、前記ユーザの注目度に基づいて、前記複数の制御パターンから前記制御パターンを選択する、請求項４に記載の情報処理装置。
【請求項６】
前記制御部は、前記ユーザの注目度が高いほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記ユーザの注目度が低いほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択する、請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、前記第１の領域における滞在人数を測定し、前記第１の領域における滞在人数に基づいて、前記複数の制御パターンから前記制御パターンを選択する、請求項４に記載の情報処理装置。
【請求項８】
前記制御部は、前記第１の領域における滞在人数が多いほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記第１の領域における滞在人数が少ないほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択する、請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記第１の領域における音情報の音圧を測定し、前記第１の領域における音情報の音圧に基づいて、前記複数の制御パターンから前記制御パターンを選択する、請求項４に記載の情報処理装置。
【請求項１０】
前記制御部は、前記第１の領域における音情報の音圧が大きいほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記第１の領域における音情報の音圧が小さいほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択する、請求項９に記載の情報処理装置。
【請求項１１】
前記制御部は、前記第１の領域における会話の有無を判定し、前記第１の領域における会話の有無に基づいて、前記複数の制御パターンから前記制御パターンを選択する、請求項４に記載の情報処理装置。
【請求項１２】
前記制御部は、前記第１の領域における会話が有る場合に、前記第１の領域における会話が無い場合に選択する制御パターンよりも、前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択する、請求項１１に記載の情報処理装置。
【請求項１３】
前記制御部は、前記映像情報における前記第１の領域の画質に基づいて、前記複数の制御パターンから前記制御パターンを選択する、請求項４に記載の情報処理装置。
【請求項１４】
前記制御部は、前記映像情報における前記第１の領域の画質が高画質であるほど、前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択する、請求項１３に記載の情報処理装置。
【請求項１５】
前記複数の制御パターンは、前記映像情報における第１の領域の大きさが閾値に達する前と後とで、前記第１の領域の所定量の拡大に応じた前記第１の領域音または前記広範囲音の増幅率の変化量が異なる制御パターンを含む、請求項１〜１４のいずれか一項に記載の情報処理装置。
【請求項１６】
前記制御部は、ユーザによる選択操作に基づき、前記第１の領域を設定する、請求項１〜１５のいずれか一項に記載の情報処理装置。
【請求項１７】
撮像装置から映像情報を取得することと、
複数の制御パターンから制御パターンを選択し、選択した制御パターンに従って、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御することと、
を含む、コンピュータにより実行される方法。
【請求項１８】
コンピュータを、
撮像装置から映像情報を取得する映像情報取得部と、
前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する制御部と、
を備え、
前記制御部は、複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って前記混合を制御する、情報処理装置として機能させるための、プログラム。
【請求項１９】
撮像装置と、複数の収音装置と、領域音抽出装置と、情報処理装置と、を備える情報処理システムであって、
前記領域音抽出装置は、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音を、前記複数の収音装置により収音された音から抽出し、
前記情報処理装置は、
複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って、前記第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、方法、プログラムおよび情報処理システムに関する。
【背景技術】
【０００２】
近年、情報通信技術の発達により、遠隔地の状況を伝達する技術が研究開発されるようになっている。具体的には、遠隔地の映像および音を配信するシステムがある。このようなシステムでは、視聴者が遠隔地にいるかのような臨場感を視聴者に与えることが望まれる。
【０００３】
臨場感を視聴者に与える方法として、視聴が所望される音以外の雑音を抑制することが考えられる。例えば、特許文献１では、マイクロホンアレーを用いて背景雑音の量を減衰させる収音装置に係る発明が開示されている。当該収音装置は、電話会議システムなどに活用されることが想定されている。
【０００４】
また、視聴者に臨場感を与えるためには、配信される映像と音とが位置について合致していることが望ましい。例えば、特許文献２では、監視区域の撮影により得られる画像および当該監視区域の音声を取得し、取得された画像の送信中に取得された音声を送信する画像監視装置に係る発明が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３５３５８号公報
【特許文献２】特開２０１０−２３３１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した発明に代表される従来技術では、臨場感が不足するおそれがあるという問題があった。例えば、特許文献１で開示される収音装置を用いた電話会議システムでは、常に局所的な音のみが配信されるため、視聴者が違和感を覚えるおそれがある。また、特許文献２で開示される画像監視装置では、監視区域全体の音が送信されるため、視聴者は監視区域の一部の音を局所的に聴くことが困難である。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能な、新規かつ改良された情報処理装置、方法、プログラムおよび情報処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、撮像装置から映像情報を取得する映像情報取得部と、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する制御部と、を備え、前記制御部は、前記第１の領域の拡大に応じて前記第１の領域音の増幅率または前記広範囲音の増幅率がどのように変化するかが異なる複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って前記混合を制御する、情報処理装置が提供される。
【０００９】
前記複数の制御パターンの各々は、前記映像情報における前記第１の領域の拡大に応じて、前記第１の領域音の増幅率が大きくなる関係を示してもよい。
【００１０】
前記複数の制御パターンの各々は、前記映像情報における前記第１の領域の拡大に応じて、前記広範囲音の増幅率が小さくなる関係を示してもよい。
【００１１】
前記複数の制御パターンでは、前記第１の領域の拡大に対する、前記第１の領域音の増幅率の立ち上がり異なってもよい。
【００１２】
前記制御部は、前記映像情報における前記第１の領域へのユーザの注目度を測定し、前記ユーザの注目度に基づいて、前記複数の制御パターンから前記制御パターンを選択してもよい。
【００１３】
前記制御部は、前記ユーザの注目度が高いほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記ユーザの注目度が低いほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択してもよい。
【００１４】
前記制御部は、前記第１の領域における滞在人数を測定し、前記第１の領域における滞在人数に基づいて、前記複数の制御パターンから前記制御パターンを選択してもよい。
【００１５】
前記制御部は、前記第１の領域における滞在人数が多いほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記第１の領域における滞在人数が少ないほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択してもよい。
【００１６】
前記制御部は、前記第１の領域における音情報の音圧を測定し、前記第１の領域における音情報の音圧に基づいて、前記複数の制御パターンから前記制御パターンを選択してもよい。
【００１７】
前記制御部は、前記第１の領域における音情報の音圧が大きいほど前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択し、前記第１の領域における音情報の音圧が小さいほど前記第１の領域音の増幅率の立ち上がりが緩やかな制御パターンを選択してもよい。
【００１８】
前記制御部は、前記第１の領域における会話の有無を判定し、前記第１の領域における会話の有無に基づいて、前記複数の制御パターンから前記制御パターンを選択してもよい。
【００１９】
前記制御部は、前記第１の領域における会話が有る場合に、前記第１の領域における会話が無い場合に選択する制御パターンよりも、前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択してもよい。
【００２０】
前記制御部は、前記映像情報における前記第１の領域の画質に基づいて、前記複数の制御パターンから前記制御パターンを選択してもよい。
【００２１】
前記制御部は、前記映像情報における前記第１の領域の画質が高画質であるほど、前記第１の領域音の増幅率の立ち上がりが急峻な制御パターンを選択してもよい。
【００２２】
前記複数の制御パターンは、前記映像情報における第１の領域の大きさが閾値に達する前と後とで、前記第１の領域の所定量の拡大に応じた前記第１の領域音または前記広範囲音の増幅率の変化量が異なる制御パターンを含んでもよい。
【００２３】
前記制御部は、ユーザによる選択操作に基づき、前記第１の領域を設定してもよい。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置から映像情報を取得することと、複数の制御パターンから制御パターンを選択し、選択した制御パターンに従って、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御することと、を含む、コンピュータにより実行される方法が提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像装置から映像情報を取得する映像情報取得部と、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する制御部と、を備え、前記制御部は、複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って前記混合を制御する、情報処理装置として機能させるための、プログラムが提供される。
【００２６】
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置と、複数の収音装置と、領域音抽出装置と、情報処理装置と、を備える情報処理システムであって、前記領域音抽出装置は、前記撮像装置により撮像された範囲に含まれる第１の領域から発せられた第１の領域音を、前記複数の収音装置により収音された音から抽出し、前記情報処理装置は、複数の制御パターンから制御パターンを選択し、選択された制御パターンに従って、前記第１の領域音および前記第１の領域よりも広い範囲から発せられた広範囲音の混合を制御する、情報処理システムが提供される。
【発明の効果】
【００２７】
以上説明したように本発明によれば、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能である。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係る情報処理システムの概要を説明するための図である。
【図２】本発明の一実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
【図３】本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。
【図４】本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。
【図５】本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。
【図６】本発明の一実施形態に係る情報処理システムにおける音制御のパターン例を示す図である。
【図７】本発明の一実施形態に係る情報処理システムにおけるターゲットが未選択である場合の処理の例を概念的に示す図である。
【図８】本発明の一実施形態に係る情報処理システムにおけるターゲットが選択された場合の処理の例を概念的に示す図である。
【図９】本発明の一実施形態に係る情報処理システムにおける映像が切り替えられた場合の処理の例を概念的に示す図である。
【図１０】本発明の一実施形態に係る情報処理システムにおける映像がさらに切り替えられた場合の処理の例を概念的に示す図である。
【図１１】本発明の一実施形態の第１の変形例に係る情報処理システムにおける音制御のパターン例を示す図である。
【図１２】本発明の一実施形態の第２の変形例に係る情報処理システムにおける音制御の別のパターン例を示す図である。
【図１３】本発明の一実施形態の第３の変形例に係る情報処理システムの処理の例を概念的に示す図である。
【図１４】応用例による音制御パターンを示す説明図である。
【図１５】ある音制御パターンによる広帯域音情報および目的エリア音情報の増幅率と目的エリアの面積の関係を示す説明図である。
【図１６】他の音制御パターンによる広帯域音情報および目的エリア音情報の増幅率と目的エリアの面積の関係を示す説明図である。
【図１７】各音制御パターンによる増幅率の変化量の具体値を示す説明図である
【図１８】映像のズーム倍率と目的エリア音情報の増幅率および広範囲音情報の増幅率の変化量との関係を示す音制御パターンの具体例を示す説明図である。
【図１９】仮想距離と目的エリア音情報の増幅率および広範囲音情報の増幅率の変化量との関係を示す音制御パターンの具体例を示す説明図である。
【図２０】本発明の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
【発明を実施するための形態】
【００２９】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３０】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて撮影装置４００Ａおよび撮影装置４００Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、撮影装置４００Ａおよび撮影装置４００Ｂを特に区別する必要が無い場合には、各撮影装置を単に撮影装置４００と称する。
【００３１】
＜１．本発明の一実施形態＞
本発明の一実施形態に係る情報処理システム１および当該情報処理システムの構成要素の１つである情報処理装置１００について説明する。
【００３２】
＜１．１．システムの概要＞
まず、図１を参照して、情報処理システム１の概要について説明する。図１は、本発明の一実施形態に係る情報処理システム１の概要を説明するための図である。
【００３３】
情報処理システム１は、情報処理装置１００、収音装置２００、エリア音生成装置３００、撮影装置４００およびメディア再生装置５００を備える。情報処理システム１では、収音装置２００および撮影装置４００が同一の空間に配置され、収音装置２００および撮影装置４００は当該空間で収音および撮影を行う。
【００３４】
ここで、情報処理システム１では、収音および撮影の対象となる空間（以下、対象空間とも称する。）が複数の領域（以下、エリアとも称する。）に分割される。例えば、対象空間は、図１に示したようなエリアＡ〜エリアＩに分割される。なお、収音装置２００は、当該エリアよりも広い範囲について収音する。
【００３５】
エリア音生成装置３００は、収音装置２００の収音により得られる音（以下、広範囲音とも称する。）情報に基づいて、各エリアにおいて知覚されると想定される音、または各エリアから発せられたと推定される音（以下、エリア音とも称する。）情報をエリア毎に生成する。例えば、エリア音生成装置３００は、収音装置２００Ａ〜２００Ｄなどから得られる広範囲音情報に基づいてエリアＡ〜エリアＩについてのエリア音情報をそれぞれ生成する。なお、エリア音の生成には、既存技術が用いられてよい。
【００３６】
そして、情報処理装置１００は、メディア再生装置５００に再生させる映像および音を制御する。具体的には、情報処理装置１００は、撮影装置４００を制御することによりメディア再生装置５００に映像情報を提供する。また、情報処理装置１００は、収音装置２００から得られた広範囲音情報およびエリア音生成装置３００から得られたエリア音情報の混合処理により得られる音情報（以下、混合音情報とも称する。）を生成し、生成された混合音情報をメディア再生装置５００に提供する。メディア再生装置５００は、提供された映像情報および混合音情報に基づいて映像および音を再生する。例えば、情報処理装置１００は、図１に示したようなエリアＥを中心としたズームイン制御を撮影装置４００Ａに指示する。撮影装置４００Ａは、指示に基づいて撮影により得られた映像から切り出された映像、または指示に基づいて光学系を制御することにより拡大された映像を映像情報としてメディア再生装置５００に提供する。また、情報処理装置１００は、映像に大きく映っているエリアＥについてのエリア音情報と広範囲音情報との混合処理により得られる混合音情報をメディア再生装置５００に提供する。
【００３７】
このように、情報処理システム１は、映像に合わせてエリア音と広範囲音との混合音を再生する。そのため、再生される映像において視聴者が聴きたい音であると想定される音（以下、所望音とも称する。）を明瞭化しながら当該所望音以外の音（以下、背景音とも称する。）を再生することができる。例えば、図１に示したように、メディア再生装置５００により再生される映像においてフォーカスされているエリアＥについてのエリア音（すなわち所望音）が再生されると共に、エリアＥ周辺の広範囲音（すなわち背景音）が再生される。そのため、エリアＥにおける「これどうですか」といった音声だけでなく、エリアＥに隣接するエリアＦにおける「こんにちは」という音声も視聴者の耳に入ってくることになり、視聴者があたかもエリアＥ付近にいるような臨場感を視聴者に与えることができる。
【００３８】
なお、図１では、収音装置２００および撮影装置４００が複数配置される例を説明したが、収音装置２００および撮影装置４００は単数であってもよい。
【００３９】
＜１．２．システムの構成＞
次に、図２を参照して、本発明の一実施形態に係る情報処理システム１の構成について説明する。図２は、本発明の一実施形態に係る情報処理システム１の概略的な機能構成の例を示すブロック図である。
【００４０】
図２に示したように、情報処理システム１は、情報処理装置１００、収音装置２００、エリア音生成装置３００、撮影装置４００およびメディア再生装置５００を備える。各装置は、通信を介して接続される。以下、各装置の機能について詳細に説明する。
【００４１】
［情報処理装置］
情報処理装置１００は、メディア制御部１０１および音混合部１０２を備える。なお、メディア制御部１０１および音混合部１０２は、通信部（図示せず。）を介して外部の装置から情報を受信したり、外部の装置へ情報を送信したりする。
【００４２】
メディア制御部１０１は、メディア再生装置５００に再生させる映像および音を制御する。具体的には、メディア制御部１０１は、撮影装置４００を制御することによりメディア再生装置５００に再生させる映像を制御する。例えば、メディア制御部１０１は、撮影有無、制御パラメタおよび配信有無などを示す映像制御情報を生成し、撮影装置４００に生成された映像制御情報を提供する。制御パラメタとしては、映像の一部を切り出すデジタルズームまたは映像を拡大もしくは縮小する光学ズームに係るズーム情報およびパンまたはチルトに係る撮影方向情報などがある。以下では、映像制御としてデジタルズームが行われる場合について説明する。
【００４３】
また、メディア制御部１０１は、撮影装置４００から取得される映像情報を用いて、メディア再生装置５００に再生させる音を制御する。具体的には、メディア制御部１０１は、映像情報取得部として、撮影装置４００から映像情報を取得し、音出力制御部として、映像情報に係る映像におけるエリアの表示態様に係る情報（以下、エリアクローズアップ指標とも称する。）に応じて、エリア音情報および広範囲音情報に基づく音出力に係る制御情報（以下、音制御情報とも称する。）を生成する。エリアクローズアップ指標としては、エリアの大きさを示す情報がある。また、音制御情報の生成に関わるエリアは、指定操作情報に基づいて特定される指定領域（以下、目的エリアとも称する。）ならびに目的エリアに応じて特定される領域（以下、第１近傍エリアとも称する。）およびエリアクローズアップ指標に応じて特定される領域（以下、第２近傍エリアとも称する。）がある。例えば、メディア制御部１０１は、目的エリア、第１近傍エリアまたは第２近傍エリアについてのエリア音情報および広範囲音情報に基づく音の混合に係る音制御情報を生成する。生成された音制御情報は、音混合部１０２に提供される。なお、以下では、第１近傍エリアおよび第２近傍エリアを区別しない場合には、第１近傍エリアおよび第２近傍エリアを単に近傍エリアとも称する。
【００４４】
さらに、図３〜図５および図６を参照して、音制御処理の例について説明する。図３〜図５は、本発明の一実施形態に係る情報処理システム１において再生される映像の例の各々をそれぞれ説明するための図である。図６は、本発明の一実施形態に係る情報処理システム１における音制御のパターン例を示す図である。
【００４５】
（音制御パターン１）
メディア制御部１０１はまず、目的エリアの設定を試みる。具体的には、メディア制御部１０１は、エリアの選択操作または映像情報に係る映像における物体の選択操作に基づいて目的エリアを設定する。例えば、メディア制御部１０１は、フォーカスのターゲットとなる映像上のエリアまたは物体の選択有無を判定する。図３の例では、ターゲットが未選択であるため、目的エリアは設定されない。なお、エリアまたは物体の選択操作情報は、メディア再生装置５００などの装置から提供されてよい。
【００４６】
目的エリアが設定されない場合、メディア制御部１０１は、第２近傍エリアを設定する。具体的には、メディア制御部１０１は、映像において面積が閾値以上であるエリアを第２近傍エリアとして設定する。例えば、図３に示したようなエリアＨおよびエリアＩが第２近傍エリアとして設定される。なお、映像における複数のエリアのうち相対的に面積が大きいエリアが第２近傍エリアとして設定されてもよい。このように、ターゲットが選択されていない場合は、映像についての仮想的な視聴位置（例えば撮影位置）が相対的に近いエリアのエリア音を混合することにより、映像に対する臨場感を視聴者に与えることができる。
【００４７】
そして、メディア制御部１０１は、目的エリアの設定有無に応じて、エリア音と広範囲音との混合にかかる音制御情報を生成する。音の混合に係る音制御情報としては、音量制御情報がある。例えば、メディア制御部１０１は、目的エリア（すなわちターゲット）が未選択であるため、図６にパターン１として示した音量増幅率で広範囲音および近傍エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、ターゲットが選択されていないため、広範囲音の音量増幅率が近傍エリア音よりも高く設定される。
【００４８】
なお、図６の例では、いずれかの音の音量が増幅され（音量増幅率が１以上である）、他の音の音量が減衰される（音量増幅率が１未満である）パターンについて説明したが、音量の相対関係が維持される範囲で全ての音の音量が増幅または減衰されてもよい。例えば、音制御パターン１について、広範囲音の音量増幅率が３．６で、近傍エリア音の音量増幅率が１．０に設定されもよい。また、音制御パターン１について、広範囲音の音量増幅率が０．９で、近傍エリア音の音量増幅率が０．２５に設定されてもよい。
【００４９】
（音制御パターン２）
目的エリアが設定される場合、メディア制御部１０１は、第１近傍エリアを設定する。例えば、エリアＥまたはエリアＥに位置する人がターゲットとして選択された場合、エリアＥが目的エリアとして設定される。そして、メディア制御部１０１は、図４に示したように、目的エリアであるエリアＥ以外のエリアであって映像における面積が閾値以上のエリアＦを第１近傍エリアとして設定する。
【００５０】
そして、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標に応じて、エリア音と広範囲音との混合に係る音制御情報を生成する。具体的には、メディア制御部１０１は、エリアクローズアップ指標に応じて、エリア音および広範囲音の音量の比率を制御する。詳細には、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標が小さいほど（すなわちクローズアップの程度が小さいほど）、広範囲音の比率を上げる。例えば、メディア制御部１０１は、エリアＥが目的エリア（すなわちターゲット）として選択されているため、映像におけるエリアＥの面積と第１閾値との関係を判定する。エリアＥの面積が第１閾値未満であると判定されると、メディア制御部１０１は、図６のパターン２に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、広範囲音、近傍エリア音、目的エリア音の順に音量増幅率が低くなるようにそれぞれの音量増幅率が設定される。このため、広範囲音が目的エリア音よりも大きく聴こえるため、視聴者に目的エリアを遠くに感じさせることができる。さらに、第１近傍エリア音が混合されることにより、混合音が層状になり、混合音に対する現実感を向上させることができる。また、第１近傍エリア音が広範囲音よりも小さく目的エリア音よりも大きく聴こえるため、第１近傍エリア音に対する現実感を視聴者に与えることができる。
【００５１】
（音制御パターン３）
また、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標が大きいほど（すなわちクローズアップの程度が大きいほど）、目的エリア音の比率を上げる。例えば、図５に示したように、映像における目的エリアＥの面積が第１閾値以上であると判定されると、メディア制御部１０１は、図６のパターン３に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、広範囲音、近傍エリア音、目的エリア音の順に音量増幅率が高くなるようにそれぞれの音量増幅率が設定される。このため、目的エリア音が広範囲音および第１近傍エリア音よりも大きく聴こえるため、視聴者に目的エリアを近くに感じさせることができる。また、第１近傍エリア音が目的エリア音よりも小さく広範囲音よりも大きく聴こえるため、第１近傍エリア音に対する現実感を視聴者に与えることができる。
【００５２】
なお、上記では、エリアの面積の第１閾値との比較結果に応じて音量増幅率が決定される例を説明したが、エリアの面積に係る数値に応じて音量増幅率が決定されてもよい。例えば、メディア制御部１０１は、エリアの面積の増加に比例して音量増幅率が増加するように制御してよい。
【００５３】
（音制御パターンの切り替え）
メディア制御部１０１は、状況に応じて音制御のパターンを切り替える。具体的には、メディア制御部１０１は、目的エリアの特定に応じて音制御情報を生成する。例えば、メディア制御部１０１は、目的エリアの有無の変化に応じて、図６に示したようなパターンのいずれかに対応する音制御情報を生成し、生成される音制御情報を音混合部１０２に提供する。これにより、音制御パターンを切り替えることができる。
【００５４】
また、メディア制御部１０１は、エリアクローズアップ指標の変化に応じて音制御情報を生成してもよい。例えば、メディア制御部１０１は、映像における目的エリアまたは近傍エリアの面積の変化に応じて、図６に示したようなパターンのいずれかに対応する音制御情報を生成し、生成される音制御情報を音混合部１０２に提供する。
【００５５】
以上、メディア制御部１０１の機能について説明した。続いて、音混合部１０２の機能について説明する。音混合部１０２は、メディア制御部１０１の指示に基づいて、広範囲音情報およびエリア音情報の混合処理を行う。具体的には、音混合部１０２は、メディア制御部１０１からの音制御御情報により指示される混合処理対象の音情報について指示される音量増幅率で混合処理を行い、混合音情報を生成する。例えば、音混合部１０２は、音制御情報の示すエリア音情報および広範囲音情報を取得し、取得されたエリア音情報に係る音と広範囲音情報に係る音とが音制御情報の示す音量増幅率に応じて混合させられた音に係る混合音情報を生成する。そして、音混合部１０２は、生成された混合音情報をメディア再生装置５００に提供する。なお、音混合部１０２は、エリア音または広範囲音をそのままメディア再生装置５００に提供してもよい。
【００５６】
［収音装置］
収音装置２００は、収音装置２００の周辺における音について収音する。具体的には、収音装置２００は、収音により音情報を生成する。例えば、収音装置２００は、マイクロホンまたはマイクロホンアレーである。
【００５７】
［エリア音生成装置］
エリア音生成装置３００は、音情報からエリア音情報を生成する。具体的には、エリア音生成装置３００は、収音装置２００から得られる広範囲音に基づいてエリア音情報を生成する。例えば、エリア音生成装置３００は、広範囲音から特定のエリアにおける音を抽出することによりエリア音情報を生成する。生成されたエリア音情報は、情報処理装置１００の音混合部１０２に提供される。
【００５８】
［撮影装置］
撮影装置４００は、撮影装置４００の周辺を撮影する。具体的には、撮影装置４００は、メディア制御部１０１の指示に基づいて、撮影および撮影により得られる映像情報の提供を行う。例えば、撮影装置４００は、メディア制御部１０１からの映像制御情報に基づいて、撮影装置４００が設置される空間を撮影し、撮影により得られる画像（静止画または動画）などの撮影情報をメディア再生装置５００に提供する。
【００５９】
［メディア再生装置］
メディア再生装置５００は、映像および音を再生する。具体的には、メディア再生装置５００は、撮影装置４００から提供される映像情報および情報処理装置１００の音混合部１０２から提供される混合音情報に基づいて映像および音を再生する。例えば、メディア再生装置５００は、音出力機能付きの表示装置である。なお、メディア再生装置５００は、音出力装置および表示装置などの複数の装置の集合体であってもよく、当該複数の装置の各々が独立して動作してもよい。
【００６０】
また、メディア再生装置５００は、入力装置として動作してもよい。具体的には、メディア再生装置５００は、ユーザの操作入力を受け付け、入力情報を生成する。例えば、メディア再生装置５００は、ユーザによるターゲットを指定する操作を受け付け、上述した指定操作情報を生成する。
【００６１】
＜１．３．システムの処理＞
次に、本発明の一実施形態に係る情報処理システム１の処理について説明する。ここでは、ターゲット選択および映像の各状況における処理の流れを図７〜図１０を参照してそれぞれ説明する。
【００６２】
（ターゲット未選択）
まず、図７を参照して、ターゲットが未選択である場合の処理について説明する。図７は、本発明の一実施形態に係る情報処理システム１におけるターゲットが未選択である場合の処理の例を概念的に示す図である。
【００６３】
収音装置２００は、継続的に広範囲音情報を音混合部１０２およびエリア音生成装置３００に送信する（ステップＳ６０１）。具体的には、収音装置２００は、収音により広範囲音情報を生成する。なお、音情報には、音情報を識別するための音ＩＤ（Identifier）が付与される。例えば、広範囲音情報には、audioWという音ＩＤが付与される。
【００６４】
エリア音生成装置３００は、広範囲音情報に基づいてエリア音情報を生成し（ステップＳ６０２）、生成されたエリア音情報を音混合部１０２に送信する（ステップＳ６０３）。具体的には、エリア音生成装置３００は、広範囲音情報からエリアＡ〜エリアＩについてのエリア音情報（音ＩＤ：audioA〜auidoI）をそれぞれ生成する。そして、エリア音生成装置３００は、生成されたエリア音情報を音混合部１０２に送信する。なお、エリア音生成装置３００は、音混合部１０２からの要求に応じてエリア音情報を送信してもよい。
【００６５】
メディア制御部１０１は、映像制御情報としての映像制御メッセージを撮影装置４００に送信する（ステップＳ６０４）。具体的には、メディア制御部１０１は、撮影の開始、映像配信の開始、ズーム率の１００％（すなわちズームなし）への設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。
【００６６】
撮影装置４００は、映像制御メッセージに基づいて動作し、映像情報をメディア制御部１０１に送信する（ステップＳ６０５）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影を開始し、撮影により得られた映像情報をメディア制御部１０１に送信する。なお、この時点ではメディア再生装置５００に映像情報が送信されないとしてもよい。
【００６７】
次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６０６）。具体的には、メディア制御部１０１は、視聴者により選択されるターゲットに基づいて目的エリアを設定する。ここでは、ターゲットが未選択であるため、目的エリアは設定されない。
【００６８】
また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６０７）。具体的には、メディア制御部１０１は、映像情報に基づいて近傍エリアを設定する。ここでは、目的エリアが設定されていないため、映像における面積が閾値以上であるエリアＨおよびエリアＩが第２近傍エリアとして設定される。
【００６９】
そして、メディア制御部１０１は、音制御情報としての音制御メッセージを音混合部１０２に通知する（ステップＳ６０８）。具体的には、メディア制御部１０１は、広範囲音情報および第２近傍エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、ターゲットが未選択すなわち目的エリアが未設定であるため、音制御パターン１が適用され、audioWの音量増幅率＝１．８、audioHおよびauidoIの音量増幅率＝０．５を示す音制御メッセージが通知される。
【００７０】
音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６０９）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率１．８で、audioHおよびaudioIの音情報をそれぞれ音量増幅率０．５で、混合処理し、混合音情報を生成する。
【００７１】
撮影装置４００は、映像情報をメディア再生装置５００に送信し（ステップＳ６１０）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６１１）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６１２）。
【００７２】
（ターゲット選択）
続いて、図８を参照して、ターゲットが選択された場合の処理について説明する。図８は、本発明の一実施形態に係る情報処理システム１におけるターゲットが選択された場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００７３】
メディア制御部１０１は、メディア再生装置５００などから指定操作情報を受信する（ステップＳ６２１）。具体的には、メディア再生装置５００は、ユーザによるターゲットの指定操作を受け付け、指定操作情報を生成する。そして、メディア再生装置５００は、生成された指定操作情報をメディア制御部１０１へ送信する。
【００７４】
次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６２２）。具体的には、メディア制御部１０１は、受信された指定操作情報からターゲットを特定する。次に、メディア制御部１０１は、特定されたターゲットがエリアである場合、当該エリアを目的エリアとして設定する。また、メディア制御部１０１は、特定されたターゲットが物体である場合、当該物体が位置するエリアを目的エリアとして設定する。ここでは、エリアＥが目的エリアとして設定される。
【００７５】
また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６２３）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、目的エリア以外のエリアであって、映像における面積が閾値以上であるエリアを第１近傍エリアとして設定する。ここでは、エリアＨおよびエリアＩが第１近傍エリアとして設定される。
【００７６】
そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６２４）。具体的には、メディア制御部１０１は、広範囲音情報、第１近傍エリア音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像におけるエリアＥの面積が第１閾値未満であるため、図６に示したパターン２が適用され、audioWの音量増幅率＝１．８、audioHおよびaudioIの音量増幅率＝０．５、audioEの音量増幅率０．２を示す音制御メッセージが通知される。
【００７７】
音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６２５）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率１．８で、audioHおよびaudioIの音情報を音量増幅率０．５で、audioEの音情報を音量増幅率０．２で、混合処理し、混合音情報を生成する。
【００７８】
そして、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信し（ステップＳ６２６）、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６２７）。
【００７９】
（映像の拡大）
続いて、図９を参照して、映像が切り替えられた場合の処理について説明する。図９は、本発明の一実施形態に係る情報処理システム１における映像が切り替えられた場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００８０】
メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信する（ステップＳ６４１）。具体的には、メディア再生装置５００は、ユーザによる映像のズーム操作を受け付け、受け付けられたズーム操作に係る映像操作情報を生成する。そして、メディア再生装置５００は、生成された映像操作情報をメディア制御部１０１へ送信する。
【００８１】
次に、メディア制御部１０１は、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ６４２）。具体的には、メディア制御部１０１は、映像配信の継続に加えて、受信された映像操作情報に応じてズーム位置およびズーム率１５０％の設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。
【００８２】
撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ６４３）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影により得られた映像を指示されたズーム位置を中心に切り出し、切り出された映像を１５０％のサイズに引き伸ばす。そして、撮影装置４００は、このような処理により得られた映像情報をメディア制御部１０１に送信する。
【００８３】
次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６４４）。具体的には、メディア制御部１０１は、受信された映像情報に基づいて目的エリアを更新する。例えば、メディア制御部１０１は、ズーム率の変更後に得られる映像情報に係る映像におけるターゲットを特定する。次に、メディア制御部１０１は、特定されたターゲットがエリアである場合、当該エリアを目的エリアとして設定する。また、メディア制御部１０１は、特定されたターゲットが物体である場合、当該物体が位置するエリアを目的エリアとして設定する。ここでは、エリアＥが引き続き目的エリアとして設定される。
【００８４】
また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６４５）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、第１近傍エリアを設定する。ここでは、映像のズームインによりエリアＨおよびエリアＩが第１近傍エリアから外れ、エリアＦが新たに第１近傍エリアに設定される。
【００８５】
そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６４６）。具体的には、メディア制御部１０１は、広範囲音情報、第１近傍エリア音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像のズームインにより映像におけるエリアＥの面積が第１閾値を超過したため、図６に示したパターン３が適用され、audioWの音量増幅率＝０．２、audioFの音量増幅率＝０．５、audioEの音量増幅率１．８を示す音制御メッセージが通知される。
【００８６】
音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６４７）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率０．２で、audioFの音情報を音量増幅率０．５で、audioEの音情報を音量増幅率１．８で、混合処理し、混合音情報を生成する。
【００８７】
そして、撮影装置４００は、映像操作情報による制御後に生成された映像情報をメディア再生装置５００に送信し（ステップＳ６４８）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６４９）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６５０）。
【００８８】
（更なる映像の拡大）
続いて、図１０を参照して、映像がさらに切り替えられた場合の処理について説明する。図１０は、本発明の一実施形態に係る情報処理システム１における映像がさらに切り替えられた場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【００８９】
メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信し（ステップＳ６６１）、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ６６２）。具体的には、メディア制御部１０１は、受信された映像操作情報に応じてズーム位置およびズーム率２００％の設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。
【００９０】
撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ６６３）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影により得られた映像を指示されたズーム位置を中心に切り出し、切り出された映像を２００％のサイズに引き伸ばす。そして、撮影装置４００は、このような処理により得られた映像情報をメディア制御部１０１に送信する。
【００９１】
次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６６４）。具体的には、メディア制御部１０１は、ズーム率２００％の映像におけるターゲットに基づいて目的エリアを設定する。ここでは、エリアＥが引き続き目的エリアとして設定される。
【００９２】
また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６６５）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、第１近傍エリアの設定を試みる。しかし、ここでは、映像のズームインにより映像における面積が閾値以上であるエリアであって、エリアＥ以外のエリアが存在しないため、第１近傍エリアは設定されない。
【００９３】
そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６６６）。具体的には、メディア制御部１０１は、広範囲音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像のズームインにより映像におけるエリアＥの面積が第１閾値を超過したため、図６に示したパターン３が適用され、audioWの音量増幅率＝０．２、audioEの音量増幅率１．８を示す音制御メッセージが通知される。
【００９４】
音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６６７）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率０．２で、audioEの音情報を音量増幅率１．８で、混合処理し、混合音情報を生成する。
【００９５】
そして、撮影装置４００は、映像操作情報による制御後に生成された映像情報をメディア再生装置５００に送信し（ステップＳ６６８）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６６９）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６７０）。
【００９６】
＜１．４．本発明の一実施形態のまとめ＞
このように、本発明の一実施形態によれば、情報処理装置１００は、特定の空間に係る映像情報を取得し、当該映像情報に係る映像における当該特定の空間における第１の領域の表示態様に係る情報に応じて、当該第１の領域に係る第１の音情報および当該特定の空間における第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する。
【００９７】
従来では、特定の領域の音以外の背景雑音を減衰させることにより当該特定の領域の音を明瞭化させる技術が用いられていた。しかし、当該技術では、視聴者には当該特定の領域の音のみが聴こえるため、臨場感を与えることが困難であった。
【００９８】
これに対し、本発明の一実施形態によれば、映像情報における第１の領域（エリア）の表示態様に応じて、第１の音情報（エリア音）と第２の音情報（広範囲音）とに基づく音出力が制御される。このため、局所的なエリア音だけでなくエリアよりも広い範囲における広範囲音を映像に応じて視聴者に提供することができる。それにより、視聴者はエリア音を聴き取りながらエリアよりも広い空間の雰囲気を感じることができる。従って、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能となる。
【００９９】
また、上記表示態様に係る情報は、上記第１の領域の大きさを示す情報を含む。このため、映像におけるエリアの大きさに応じてエリア音が制御されることにより、映像と音との関係性を視聴者に提示することができる。従って、映像および音に対する臨場感を向上させることが可能となる。
【０１００】
また、上記音出力に係る制御情報は、上記第１の音情報および上記第２の音情報に基づく音の混合に係る制御情報を含む。このため、エリア音および広範囲音を一体的な音として視聴者に提示することができる。従って、エリア音および広範囲音がそれぞれ独立して提示される場合に比べて臨場感を向上させることが可能となる。なお、上記実施形態のように、複数の第１の音情報（目的エリア音および近傍エリア音）と第２の音情報とが混合処理されてもよい。
【０１０１】
また、上記音の混合に係る制御情報は、上記第１の音情報および上記第２の音情報の音量制御情報を含む。このため、映像における特定のエリアの表示態様に応じて、エリア音および広範囲音の混合の程度を制御することができる。従って、例えば映像における目的エリアの面積が大きいほど、エリア音の音量増幅率を上げながら広範囲音の音量増幅率を下げることにより、当該目的エリアに近づいたような臨場感を視聴者に与えることが可能となる。
【０１０２】
また、上記第１の領域は、上記表示態様に係る情報に応じて特定される領域を含む。このため、例えば映像における面積が閾値よりも大きいエリアを第２近傍エリアとして設定し、第２近傍エリア音を混合させることができる。従って、目的エリアが設定されていない場合であっても、視聴者に仮想的に近いエリアについてのエリア音が混合され、再生されることにより、映像および音に対する臨場感を向上させることが可能となる。
【０１０３】
また、上記第１の領域は、指定操作情報に基づいて特定される指定領域を含む。このため、目的エリアをユーザの操作に基づいて決定することができる。従って、ユーザが視聴を所望するエリアの音をより確実に再生させることが可能となる。
【０１０４】
また、上記指定操作情報に係る操作は、上記第１の領域の選択操作または上記映像情報に係る映像における物体の選択操作を含む。このため、ユーザがエリアを認識している場合には、エリアが直接的に選択されることにより目的エリアの設定に齟齬が生じることを抑制できる。また、ユーザが映像上の物体を選択する場合には、ユーザはエリアを予め認識することなく目的エリアのエリア音を明瞭に聴くことができる。
【０１０５】
また、上記第１の領域は、上記指定領域に応じて特定される領域を含む。このため、例えば目的エリアの周辺エリアが近傍エリアとして設定されることにより、混合音の臨場感を向上させることが可能となる。
【０１０６】
また、上記音出力に係る制御情報は、上記指定領域の特定に応じて生成される。このため、目的エリアの設定に応じて再生される混合音が制御されることにより、ユーザの操作に対する混合音制御の応答性を向上させることができる。従って、ユーザの操作感を向上させることが可能となる。
【０１０７】
また、上記音出力に係る制御情報は、上記表示態様に係る情報の変化に応じて生成される。このため、エリアクローズアップ指標の変化に応じて混合音が制御されることにより、映像の切り替わりによる臨場感の低下を抑制することができる。
【０１０８】
また、上記第１の音情報は、上記第２の音情報からの抽出により生成される。このため、混合音に対する視聴者の違和感を抑制することができる。
【０１０９】
＜２．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
【０１１０】
（２−１．第１の変形例）
本発明の一実施形態の第１の変形例として、映像におけるエリアの表示態様に係る情報は、エリアの大きさを示す情報以外の他の情報であってもよい。具体的には、エリアクローズアップ指標は、映像情報に係るズーム情報であってもよい。例えば、メディア制御部１０１は、映像のズーム倍率に応じて音の混合を制御する。さらに、図１１を参照して、本変形例の処理について説明する。図１１は、本発明の一実施形態の第１の変形例に係る情報処理システム１における音制御のパターン例を示す図である。
【０１１１】
メディア制御部１０１は、映像のズーム倍率に応じて、エリア音および広範囲音の音量の比率を制御する。具体的には、メディア制御部１０１は、映像のズーム倍率が低いほど、広範囲音の比率を上げる（またはエリア音の比率を下げる）。例えば、メディア制御部１０１は、再生されている映像のズーム倍率が第１閾値未満であるかを判定する。ズーム倍率が閾値未満であると判定されると、メディア制御部１０１は、図１１のパターン４に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、ズーム倍率が低いほど、視聴者は目的エリアを遠くに感じると考えられるためである。
【０１１２】
また、メディア制御部１０１は、映像のズーム倍率が高いほど、目的エリア音の比率を上げる（または広範囲音の比率を下げる）。例えば、再生されている映像のズーム倍率が閾値以上であると判定されると、メディア制御部１０１は、図１１のパターン５に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、ズーム倍率が高いほど、視聴者は目的エリアを近くに感じると考えられるためである。
【０１１３】
このように、第１の変形例によれば、映像におけるエリアの表示態様に係る情報は、映像情報に係るズーム情報を含む。このため、映像を解析することなく、混合音の制御を行うことができる。従って、音制御処理にかかる処理負荷および処理速度を向上させることが可能となる。
【０１１４】
（２−２．第２の変形例）
また、エリアクローズアップ指標は、映像情報に係る映像についての仮想的な視聴位置と当該映像におけるエリアとの位置関係を示す情報であってもよい。例えば、メディア制御部１０１は、仮想的な視聴位置と目的エリアとの仮想距離に応じて音の混合を制御する。図１２は、本発明の一実施形態の第２の変形例に係る情報処理システム１における音制御の別のパターン例を示す図である。
【０１１５】
メディア制御部１０１は、仮想的な視聴位置と目的エリアとの仮想距離に応じて、エリア音および広範囲音の音量の比率を制御する。具体的には、メディア制御部１０１は、仮想距離が長いほど、広範囲音の比率を上げる。例えば、メディア制御部１０１はまず、映像の撮影位置と映像における目的エリアとの仮想距離を算出する。次いで、メディア制御部１０１は、算出された仮想距離が第１閾値超過であるかを判定する。仮想距離が閾値超過であると判定されると、メディア制御部１０１は、図１２のパターン６に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、仮想距離が長いほど、視聴者が目的エリアを遠くに感じると考えられるためである。
【０１１６】
また、メディア制御部１０１は、仮想距離が短いほど、目的エリア音の比率を上げる。例えば、算出された仮想距離が第１閾値以下あると判定されると、メディア制御部１０１は、図１２のパターン７に示した音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、仮想距離が短いほど、視聴者が目的エリアを近くに感じると考えられるためである。
【０１１７】
このように、第２の変形例によれば、映像におけるエリアの表示態様に係る情報は、映像情報に係る映像についての仮想的な視聴位置と映像情報に係る映像におけるエリアとの位置関係を示す情報を含む。このため、映像におけるエリアの大きさよりも正確な混合音の制御を行うことができる。従って、視聴者に与える臨場感をより高めることが可能となる。
【０１１８】
（２−３．第３の変形例）
本発明の一実施形態の第３の変形例として、エリア音と広範囲音との混合音は、映像情報の変更に応じて制御されてもよい。具体的には、メディア制御部１０１は、映像情報の提供元の変更に応じてエリア音情報および広範囲音情報に基づく音出力を制御する。例えば、メディア制御部１０１は、映像情報を配信させる撮影装置４００が切り替えられると、切り替え先の撮影装置４００から得られる映像情報に基づいて目的エリアまたは近傍エリアを設定する。そして、メディア制御部１０１は、設定された目的エリアまたは近傍エリアに応じて、エリア音情報および広範囲音情報の混合処理を行う。さらに、図１３を参照して、本変形例の処理について説明する。図１３は、本発明の一実施形態の第３の変形例に係る情報処理システム１の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。
【０１１９】
メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信し（ステップＳ７０１）、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ７０２、Ｓ７０３）。具体的には、メディア制御部１０１は、受信された映像操作情報が映像情報を配信する撮影装置４００の切り替え操作に係る情報である場合、切り替え元の撮影装置４００Ａに配信停止を指示する映像制御メッセージを送信する。また、メディア制御部１０１は、切り替え先の撮影装置４００Ｂに配信開始を指示する映像制御メッセージを送信する。
【０１２０】
撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ７０４）。具体的には、撮影装置４００Ｂは、受信された映像制御メッセージに基づいて、撮影を開始し、撮影により得られた映像情報をメディア制御部１０１に送信する。既に撮影を開始している場合には映像の配信のみが開始される。なお、撮影装置４００Ａは、受信された映像制御メッセージに基づいて映像の配信を停止する。さらに、撮影が停止させられてもよい。
【０１２１】
次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ７０５）。具体的には、メディア制御部１０１は、撮影装置４００Ｂから受信される映像情報と指定操作情報とに基づいて目的エリアを設定し直す。ここでは、エリアＥが目的エリアとして設定される。
【０１２２】
また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ７０６）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、撮影装置４００Ｂから受信された映像情報に基づいて第１近傍エリアの設定を試みる。ここでは、面積が閾値以上であるエリアがエリアＤであるため、エリアＤが第１近傍エリアとして設定される。
【０１２３】
そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知し（ステップＳ７０７）、音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ７０８）。
【０１２４】
その後、撮影装置４００Ａではなく撮影装置４００Ｂから映像情報がメディア再生装置５００に送信され（ステップＳ７０９）、音混合部１０２から混合音情報がメディア再生装置５００に送信される（ステップＳ７１０）。メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ７１１）。
【０１２５】
このように、第３の変形例によれば、音制御情報は、映像情報の変更に応じて生成される。このため、再生される映像自体が切り替えられた際にも切り替え後の映像に応じた混合音を視聴者に提示することができる。従って、映像および音に対する臨場感を継続させることが可能となる。なお、映像が切り替えられた場合に、ターゲットの選択状態は維持されてもよく、リセットされてもよい。
【０１２６】
（２−４．第４の変形例）
本発明の一実施形態の第４の変形例として、情報処理装置１００は、複数の広範囲音情報から選択される広範囲音情報を用いて混合処理を行ってもよい。具体的には、メディア制御部１０１は、音制御情報の生成に用いられるエリア音情報に応じて複数の広範囲音情報から当該音制御情報の生成に用いられる広範囲音情報を選択する。例えば、メディア制御部１０１は、目的エリアが設定される場合、目的エリアの近くに配置される収音装置２００により生成される広範囲音情報を選択し、選択される広範囲音情報を混合処理に用いる。また、目的エリアが設定されない場合、メディア制御部１０１は、第２近傍エリアの近くに配置される収音装置２００により生成される広範囲音情報を選択する。
【０１２７】
このように、第４の変形例によれば、情報処理装置１００は、音制御情報の生成に用いられるエリア音情報に応じて複数の広範囲音情報から当該音制御情報の生成に用いられる広範囲音情報を選択する。このため、エリア音に合った広範囲音が選択されることにより、混合音に対する視聴者の違和感を抑制し臨場感を向上させることができる。特に、情報処理システム１が適用される空間が広く複数の収音装置２００が設置される場合に、当該構成はより効果的である。なお、情報処理装置１００は、取得される全ての広範囲音情報を混合処理に用いてもよい。
【０１２８】
＜３．応用例＞
以上、本発明の一実施形態を説明した。上述した本発明の実施形態では、映像情報における目的エリアの面積が第１閾値を超えた時に、目的エリア音情報と広範囲音情報の混合比率が変化する。しかし、実空間でユーザが目的エリアに近づく場合、ユーザが目的エリアに近づくにつれて目的エリアの音が徐々に大きく聞こえるようになる。このため、応用例では、目的エリア音情報と広範囲音情報の混合比率の変化をユーザにより自然に感じさせるための工夫を提案する。
【０１２９】
（３−１．応用例による音制御パターン）
応用例によるメディア制御部１０１は、目的エリアの拡大に応じて目的エリア音の増幅率または広範囲音の増幅率がどのように変化するかが異なる複数の音制御パターンからいずれかの音制御パターンを選択し、選択された音制御パターンに従って音制御情報を生成する。例えば、メディア制御部１０１は、メディア再生装置５００のユーザによる目的エリアへの注目度を測定し、目的エリアへの注目度に基づいて音制御パターンを選択してもよい。以下、図１４を参照し、応用例による複数の音制御パターン、およびパターン選択の具体例を説明する。
【０１３０】
図１４は、応用例による音制御パターンを示す説明図である。図１４には、複数の音制御パターンとして、パターン１、パターン８およびパターン９を示している。メディア制御部１０１は、ターゲットが未選択である場合に、パターン１を選択する。
【０１３１】
また、メディア制御部１０１は、ターゲットが選択済みである場合、目的エリアへの注目度に応じて、異なるパターンを選択する。すなわち、メディア制御部１０１は、目的エリアへの注目度が小（注目度が閾値未満）である場合にはパターン８を選択し、目的エリアへの注目度が大（注目度が閾値以上）である場合にはパターン９を選択する。
【０１３２】
パターン８およびパターン９は、広帯域音情報の増幅率が「１．８−（目的エリアの面積増加に応じた値）」となり、目的エリア音情報の増幅率が「０．２＋（目的エリアの面積増加に応じた値）」となる点で共通する。すなわち、パターン８およびパターン９は、広帯域音情報の増幅率が目的エリアの面積増加に伴い減少し、目的エリア音情報の増幅率が目的エリアの面積増加に伴い増加する点で共通する。しかし、パターン８およびパターン９では、目的エリアの拡大に対する目的エリア音情報の増幅率の立ち上がりが異なる。以下、図１５および図１６を参照し、パターン８およびパターン９の相違を具体的に説明する。
【０１３３】
図１５は、パターン８による広帯域音情報および目的エリア音情報の増幅率と目的エリアの面積の関係を示す説明図である。図１５に示したように、パターン８では、目的エリア音情報および広範囲音情報の増幅率の変化特性が、目的エリアの面積が第２閾値未満であるか否かに応じて変化する。具体的には、目的エリアの面積が第２閾値未満である時の目的エリア音情報および広範囲音情報の増幅率の変化の方が、目的エリアの面積が第２閾値以上である時の目的エリア音情報および広範囲音情報の増幅率の変化よりも小さい。すなわち、パターン８では、目的エリアの面積の拡大に対する目的エリア音情報の立ち上がりが緩やかであり、目的エリアの面積の拡大に対する広範囲音情報の増幅率の立ち下がりも緩やかである。
【０１３４】
図１６は、パターン９による広帯域音情報および目的エリア音情報の増幅率と目的エリアの面積の関係を示す説明図である。図１６に示したように、パターン９でも、目的エリア音情報および広範囲音情報の増幅率の変化特性が、目的エリアの面積が第２閾値未満であるか否かに応じて変化する。なお、第２閾値は、パターン８とパターン９で異なる値であってもよい。
【０１３５】
また、パターン９においては、目的エリアの面積が第２閾値未満である時の目的エリア音情報および広範囲音情報の増幅率の変化の方が、目的エリアの面積が第２閾値以上である時の目的エリア音情報および広範囲音情報の増幅率の変化よりも大きい。すなわち、パターン９では、目的エリアの面積の拡大に対する目的エリア音情報の立ち上がりが急峻であり、目的エリアの面積の拡大に対する広範囲音情報の増幅率の立ち下がりも急峻である。
【０１３６】
このようなパターン８およびパターン９による増幅率の変化量の具体値は、例えば図１７に示すように整理される。
【０１３７】
上述したパターン８によると、目的エリアの面積が第２閾値に至る過程では、目的エリア音情報および広範囲音情報の増幅率が大きく変わらないため、相対的に広範囲音情報が良く聞こえる。一方、目的エリアの面積が第２閾値を超えてからは、目的エリア音情報の増幅率が急激に増加し、広範囲音情報の増幅率が急激に減少するので、目的エリア音情報が良く聞こえるようになる。すなわち、パターン８によれば、目的エリアがある程度拡大されるまで、比較的長い間にわたって広範囲音をユーザが聞くことが可能である。
【０１３８】
また、上述したパターン９によると、目的エリアの面積の増加に伴い目的エリア音情報の増幅率が急激に増加し、広範囲音情報の増幅率が急激に減少するので、ユーザは比較的早い段階で目的エリア音情報を聞くことが可能である。
【０１３９】
ここで、目的エリアに注目しているユーザは、目的エリア音情報を聞くことを望んでいる可能性が高い。そこで、応用例によるメディア制御部１０１は、ユーザの目的エリアへの注目度が「大」である場合にパターン９を選択することにより、目的エリアに注目するユーザに早期に目的エリア音情報を聞かせることが可能である。一方、目的エリアに注目していないユーザの注意は広範囲に向けられている可能性がある。そこで、応用例によるメディア制御部１０１は、ユーザの目的エリアへの注目度が「小」である場合にパターン８を選択してもよく、この場合、当該ユーザが広範囲音情報を聞き易くすることが可能である。
【０１４０】
なお、上記では、目的エリアの面積と第２閾値との比較結果に応じて音量増幅率の変化量が決定される例を説明したが、目的エリアの面積に応じて音量増幅率の変化量が決定されてもよい。例えば、メディア制御部１０１は、目的エリアの面積の増加に比例して音量増幅率の変化量が増加または減少するように制御してよい。
【０１４１】
また、メディア制御部１０１がユーザの注目度を測定する方法は特に限定されない。例えば、メディア制御部１０１は、視線を検知する装置からのユーザの視線検知結果を利用し、直近の特定時間内に目的エリアを向く視線が検知された時間または回数に基づいて上記注目度を測定してもよい。
【０１４２】
（３−２．システムの処理）
続いて、応用例によるシステムの処理の具体例を説明する。応用例と図７〜図１０を参照して説明した処理とでは、大枠の流れは共通するが、メディア制御部１０１が生成する音制御メッセージの内容が異なる。そこで、以下では、図７〜図１０の流れの中で応用例により生成される音制御メッセージの具体例を主に説明する。
【０１４３】
（ターゲット未選択）
図７を参照して説明したターゲットが未選択である場合の処理では、エリアＨおよびエリアＩが第２近傍エリアとして設定され（Ｓ６０７）、メディア制御部１０１は、図１４に示したパターン１に従って、audioWの音量増幅率＝１．８、audioHおよびauidoIの音量増幅率＝０．５を示す音制御メッセージを音混合部１０２に通知する（Ｓ６０８）。
【０１４４】
（ターゲット選択）
その後、図８に示したように目的エリアがエリアＥに設定されると（Ｓ６２２）、エリアＨおよびエリアＩが第１近傍エリアとして設定される（Ｓ６２３）。そして、メディア制御部１０１は、目的エリアの未拡大時の初期値として、audioWの音量増幅率＝１．８、audioHおよびaudioIの音量増幅率＝０．５、audioEの音量増幅率０．２を示す音制御メッセージを音混合部１０２に通知する（Ｓ６２４）。
【０１４５】
（映像の拡大）
その後、ユーザがエリアＥ（目的エリア）への注目度が低い状態において、図９に示したように映像情報におけるエリアＥの面積が１２０％に拡大されると（Ｓ６４３）、エリアＨおよびエリアＩが第１近傍エリアから外れ、エリアＦが新たに第１近傍エリアに設定される（Ｓ６４５）。そして、メディア制御部１０１は、図１４および図１７に示したパターン８を選択し、パターン８に従って音制御メッセージを生成する。ここで、第２閾値は１２０％である場合、メディア制御部１０１は、audioWの音量増幅率＝１．７８（１．８−０．０２）、audioFの音量増幅率＝０．５、audioEの音量増幅率０．２２（０．２＋０．０２）を示す音制御メッセージを生成し、当該音制御メッセージを音混合部１０２に通知する（Ｓ６４６）。
【０１４６】
さらに、ユーザがエリアＥへの注目度が低い状態において、映像情報におけるエリアＥの面積が１７０％に拡大されると、メディア制御部１０１は、引き続き図１４および図１７に示したパターン８に従って音制御メッセージを生成する。具体的には、メディア制御部１０１は、audioWの音量増幅率＝０．７８（１．７８−１．００）、audioFの音量増幅率＝０．５、audioEの音量増幅率１．２２（０．２２＋１．００）を示す音制御メッセージを生成し、当該音制御メッセージを音混合部１０２に通知する。
【０１４７】
（更なる映像の拡大）
その後、図１０に示したようにエリアＥの面積が２００％まで拡大されると（Ｓ６６３）、映像情報における面積が閾値以上であるエリアであって、エリアＥ以外のエリアが存在しないため、第１近傍エリアは設定されない。このため、メディア制御部１０１は、パターン８に従い、audioWの音量増幅率＝０．１８（０．７８−０．６）、audioEの音量増幅率１．８２（１．２２＋０．６）を示す音制御メッセージを生成し、当該音制御メッセージを音混合部１０２に通知する。
【０１４８】
（３−３．補足）
上記応用例では、目的エリアの拡大と目的エリア音情報の増幅率または広範囲音情報の増幅率との関係の一例として、目的エリアの面積の拡大に対する目的エリア音情報および広範囲音情報の増幅率の変化量を説明した。目的エリアの拡大と目的エリア音情報の増幅率または広範囲音情報の増幅率との関係の他の例として、「２−１．第１の変形例」および「２−２．第２の変形例」において説明したように、映像のズーム倍率または仮想距離と目的エリア音情報の増幅率および広範囲音情報の増幅率の変化量の関係を示す音制御パターンが用いられてもよい。
【０１４９】
図１８は、映像のズーム倍率と目的エリア音情報の増幅率および広範囲音情報の増幅率の変化量との関係を示す音制御パターンの具体例を示す説明図である。図１８に示した例では、目的エリアへの注目度が「小」である場合には目的エリア音情報の立ち上がりが緩やかなパターン１０が選択され、目的エリアへの注目度が「大」である場合には目的エリア音情報の立ち上がりが急峻なパターン１１が選択される。
【０１５０】
図１９は、仮想距離（仮想的な視聴位置と目的エリアとの距離）と目的エリア音情報の増幅率および広範囲音情報の増幅率の変化量との関係を示す音制御パターンの具体例を示す説明図である。図１９に示した例では、目的エリアへの注目度が「小」である場合には目的エリア音情報の立ち上がりが緩やかなパターン１２が選択され、目的エリアへの注目度が「大」である場合には目的エリア音情報の立ち上がりが急峻なパターン１３が選択される。
【０１５１】
また、上記では、メディア制御部１０１が目的エリアへのユーザの注目度に応じて音制御パターンを選択する例を説明したが、メディア制御部１０１は他の方法で音制御パターンを選択することも可能である。
【０１５２】
例えば、メディア制御部１０１は、目的エリアにおける会話の有無を判定し、目的エリアにおける会話の有無に基づいて音制御パターンを選択してもよい。具体的には、目的エリアにおいて会話がある場合、メディア制御部１０１は、目的エリアにおいて会話がない場合に選択する音制御パターンよりも、目的エリア音情報の立ち上がりが急峻な制御パターンを選択してもよい。目的エリアにおいて会話がある場合、メディア再生装置５００のユーザは当該会話に興味を持ち、当該会話を早く聞くことを望み得るので、上記構成によりユーザの所望する動作を実現することが可能となる。
【０１５３】
また、メディア制御部１０１は、メディア再生装置５００のユーザからの操作に応じて映像情報全体またはエリアごとの画質を設定する機能を有し、映像情報における目的エリアの画質に基づいて音制御パターンを選択してもよい。目的エリアへのユーザの注目度が高いほど、目的エリアが高画質に設定される可能性があるので、目的エリアへのユーザの注目度に代えて映像情報における目的エリアの画質に基づいて音制御パターンを選択する方法も有用である。
【０１５４】
また、メディア制御部１０１は、目的エリアにおける滞在人数を測定し、目的エリアにおける滞在人数に基づいて音制御パターンを選択してもよい。具体的には、メディア制御部１０１は、目的エリアにおける滞在人数が多いほど目的エリア音情報の立ち上がりが急峻な制御パターンを選択し、目的エリアにおける滞在人数が少ないほど目的エリア音情報の立ち上がりが緩やかな制御パターンを選択してもよい。目的エリアにおける滞在人数が多いほど、当該目的エリアにユーザが興味を持つ可能性が高いので、上記構成によりユーザの所望する動作が実現され得る。
【０１５５】
また、メディア制御部１０１は、目的エリアにおける音情報の音圧を測定し、目的エリアにおける音情報の音圧に基づいて音制御パターンを選択してもよい。具体的には、メディア制御部１０１は、目的エリアにおける音情報の音圧が大きいほど目的エリア音情報の立ち上がりが急峻な制御パターンを選択し、目的エリアにおける音情報の音圧が大きいほど小さいほど目的エリア音情報の立ち上がりが緩やかな制御パターンを選択してもよい。なお、目的エリアにおける音情報は、目的エリアから発せられる目的エリア音情報であってもよいし、目的エリアに到達する音情報であってもよい。
【０１５６】
＜４．ハードウェア構成＞
以上、本発明の実施形態および応用例を説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現され得る。
【０１５７】
図２０は、本発明の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図２０に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１３２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３６と、内部バス１３８と、入出力インターフェース１４０と、入力装置１４２と、出力装置１４４と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１４６と、ネットワークインターフェース１４８と、外部インターフェース１５０とを備える。
【０１５８】
ＣＰＵ１３２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１００内のメディア制御部１０１および音混合部１０２の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメタ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、情報処理装置１００内の記憶部の一部が実現される。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バス１３８により相互に接続されている。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６とソフトウェアとの協働により、メディア制御部１０１および音混合部１０２の機能が実現され得る。
【０１５９】
入力装置１４２は、ボタン、マイクロホン、スイッチおよびレバーなど情報を入力するための入力手段と、入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。入力装置１４２が操作されることにより、情報処理装置１００に対して各種のデータが入力されたり処理動作が指示されたりし得る。
【０１６０】
出力装置１４４は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置への出力を行う。さらに、出力装置１４４は、スピーカおよびヘッドホンなどの音声出力を行ってもよい。
【０１６１】
ＨＤＤ１４６は、データ格納用の装置である。ＨＤＤ１４６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ＨＤＤ１４６は、ＣＰＵ１３２が実行するプログラムおよび各種データを格納する。
【０１６２】
ネットワークインターフェース１４８は、ネットワークに接続するための通信デバイスで構成され得る。また、ネットワークインターフェース１４８は、有線による通信を行うワイヤー通信対応デバイスであるが、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信デバイスであっても、３ＧまたはＬＴＥ対応通信デバイスであってもよい。
【０１６３】
外部インターフェース１５０は、例えば、情報処理装置１００の外部の装置または周辺機器と接続するためのバスである。また、外部インターフェース１５０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）であってもよい。
【０１６４】
＜５．むすび＞
以上説明したように、本発明の実施形態によれば、局所的なエリア音だけでなくエリアよりも広い範囲における広範囲音を映像に応じて視聴者に提供することができる。それにより、視聴者はエリア音を聴き取りながらエリアよりも広い空間の雰囲気を感じることができる。従って、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能となる。
【０１６５】
また、本発明の実施形態の応用例によれば、目的エリアの拡大に伴う目的エリア音情報と広範囲音情報の混合比率の変化をユーザにより自然に感じさせることが可能である。さらに、目的エリアの面積の拡大に対する目的エリア音情報の立ち上がりが緩やかなパターン、および目的エリアの面積の拡大に対する目的エリア音情報の立ち上がりが急峻なパターンが選択的に用いられることにより、ユーザの所望する音情報をユーザが聞くことが可能となる。
【０１６６】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１６７】
例えば、上記実施形態では、エリアの大きさを示す情報が面積であるとしたが、本発明はかかる例に限定されない。例えば、エリアの大きさを示す情報は、エリアの全長、中心からの端部までの長さ、または半径（円の場合）などの情報であってもよい。
【０１６８】
また、上記実施形態では、撮影装置４００は、メディア制御部１０１により制御される例を説明したが、メディア制御部１０１以外によって制御されてもよい。その場合、メディア制御部１０１に、撮影装置４００の制御パラメタが通知されてもよい。
【０１６９】
また、上記実施形態では、エリア音情報および広範囲音情報が混合処理される例を説明したが、エリア音情報および広範囲音情報は独立して配信され、エリア音および広範囲音がそれぞれ別個の音出力装置から出力されてもよい。
【０１７０】
また、上記実施形態では、ズーム位置がユーザの操作により決定される例を説明したが、ズーム位置は固定であってもよい。例えば、ズーム位置は映像の中心またはその他の特定の位置に固定されてよい。
【０１７１】
また、上記実施形態では、指定操作情報および映像操作情報がユーザの操作に基づいて生成される例を説明したが、指定操作情報および映像操作情報はコンピュータによって生成されてもよい。例えば、指定操作情報または映像操作情報は、再生される映像における予めプログラムされたタイミングで生成され、メディア制御部１０１へ送信されてよい。
【０１７２】
また、上記では目的エリアの拡大に応じて、目的エリア音情報および広帯域音情報の双方の増幅率が変化する例を説明したが、目的エリアの拡大に応じて目的エリア音情報または広帯域音情報のいずれかの増幅率が変化してもよい。例えば、目的エリア音情報の増幅率が変わらなくても、広帯域音情報の増幅率が減少すれば、目的エリア音情報の音量比率が相対的に増加するので、ユーザは目的エリア音情報を聞き易くなる。同様に、広帯域音情報の増幅率が変わらなくても、目的エリア音情報の増幅率が増加すれば、目的エリア音情報の音量比率が相対的に増加するので、ユーザは目的エリア音情報を聞き易くなる。
【０１７３】
また、上記の実施形態の処理図に示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１７４】
また、情報処理装置１００に内蔵されるハードウェアに上述した情報処理装置１００の各機能構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。
【符号の説明】
【０１７５】
１００    情報処理装置
１０１    メディア制御部
１０２    音混合部
２００    収音装置
３００    エリア音生成装置
４００    撮影装置
５００    メディア再生装置
【図１】
2018137677.tif 000003
【図２】
2018137677.tif 000004
【図３】
2018137677.tif 000005
【図４】
2018137677.tif 000006
【図５】
2018137677.tif 000007
【図６】
2018137677.tif 000008
【図７】
2018137677.tif 000009
【図８】
2018137677.tif 000010
【図９】
2018137677.tif 000011
【図１０】
2018137677.tif 000012
【図１１】
2018137677.tif 000013
【図１２】
2018137677.tif 000014
【図１３】
2018137677.tif 000015
【図１４】
2018137677.tif 000016
【図１５】
2018137677.tif 000017
【図１６】
2018137677.tif 000018
【図１７】
2018137677.tif 000019
【図１８】
2018137677.tif 000020
【図１９】
2018137677.tif 000021
【図２０】
2018137677.tif 000022