(57)【特許請求の範囲】
【請求項１】
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
を備え、
前記制御部は、
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、
又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する
制御装置。
【請求項２】
前記環境音として、人の音声でない音が発生した状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
請求項１に記載の制御装置。
【請求項３】
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する
ステップを含む制御方法。
【請求項４】
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する制御部と
して、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、制御装置、制御方法、及び、プログラムに関し、特に、例えば、TV（テレビジョン受像機）等の、少なくとも音を出力する出力装置の音の出力を、適切に制御することができるようにする制御装置、制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、特許文献１には、周辺のノイズ情報を検出するとともに、周辺を撮影するカメラの画像から視聴者がいるかどうかを判定し、視聴者がいる場合には、ノイズ情報に基づいて、ノイズを抑制するTVが記載されている。
【０００３】
また、例えば、特許文献２には、コンテンツの音声信号に基づいてコンテンツ解析情報を生成するとともに、周辺の騒音に基づいて環境騒音解析情報を生成し、コンテンツ解析情報および環境騒音解析情報に基づいて、コンテンツの音声信号の音量を調整する記録再生装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2010-268284号公報
【特許文献２】特開2010-154388号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、TVの周囲で、話し声が聞こえる場合に、その話し声が、TVで番組を視聴しているユーザが発した音声ではないとき、すなわち、例えば、TVが置いてある部屋から出たところで、同居の家族等がしている電話の会話であるとき、その電話の会話は、番組を視聴しているユーザにとっては、ノイズであり、番組の音（音声）を聞き取りにくくする。したがって、この場合、TVにおいて、番組を視聴しているユーザが、番組の音を聞き取り易くなるように、TVの音の出力を調整すること、すなわち、例えば、TVの音量を増大させることが望ましい。
【０００６】
一方、TVの周囲で聞こえる話し声が、TVで番組を視聴しているユーザが発した音声であるときには、番組を視聴しているユーザ自体が発話をしているので、TVにおいて、番組を視聴しているユーザが、番組の音を聞き取り易くなるように、TVの音の出力を調整する必要はない。
【０００７】
以上のように、TVの周囲で、話し声が聞こえる場合であっても、TVにおいて、音の出力を調整することが適切であるときと、音の出力を調整しないことが適切であるときとがある。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、TV等の、少なくとも音を出力する出力装置の音の出力を、適切に制御することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の制御装置、又は、プログラムは、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部とを備え、前記制御部は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する制御装置、又は、制御装置として、コンピュータを機能させるためのプログラムである。
【００１０】
本技術の一側面の制御方法は、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御するステップを含む制御方法である。
【００１１】
以上のような一側面においては、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況が分析され、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力が制御され、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力が制御される。
【００１２】
なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術によれば、出力装置の音の出力を、適切に制御することができる。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用したTVの一実施の形態の構成例を示すブロック図である。
【図２】音出力制御部１４の構成例を示すブロック図である。
【図３】音出力制御部１４が行う処理を説明するフローチャートである。
【図４】音量／利得制御部３５が行う音出力制御の処理を説明するフローチャートである。
【図５】音量／利得制御部３５が行う音出力制御を説明する図である。
【図６】音調整キー操作反映／登録の処理を説明するフローチャートである。
【図７】復元処理を説明するフローチャートである。
【図８】復元処理を説明するフローチャートである。
【図９】音量／利得制御部３５が行う音出力制御の他の例を説明する図である。
【図１０】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
［本技術を適用したTVの一実施の形態］
【００１７】
図１は、本技術を適用したTVの一実施の形態の構成例を示すブロック図である。
【００１８】
図１において、TVは、少なくとも音を出力する出力装置の１つであり、チューナ１１、信号処理部１２、表示部１３、音出力制御部１４、スピーカ部１５、制御部１６、及び、操作部１７を有する。
【００１９】
チューナ１１には、図示せぬアンテナで受信されたテレビジョン放送信号のRF(Radio Frequency)信号が供給される。
【００２０】
チューナ１１は、そこに供給されるRF信号を検波、復調し、例えば、ユーザが操作部１７を操作することにより選択したチャンネルの番組のデータを得て、信号処理部１２に供給する。
【００２１】
信号処理部１２は、チューナ１１からの番組のデータに、デコードその他の必要な信号処理を施し、その結果得られる番組のビデオ（画像）データを、表示部１３に供給するともに、番組のオーディオ（音（音声））データを、スピーカ部１５に供給する。
【００２２】
表示部１３は、例えば、LCD(Liquid Crystal Display)や、有機EL(Electro Luminescence)等で構成され、信号処理部１２からのビデオデータに対応する番組の画像を表示する。
【００２３】
音出力制御部１４は、TVの周囲を撮影するとともに、TVの周囲の環境音を集音し、その結果得られるTVの周囲を撮影した撮影画像と、TVの周囲の環境音とに基づいて、TVの音の出力、すなわち、例えば、スピーカ部１５（のスピーカ１５Ｌ及び１５Ｒ）の音量等を制御する。
【００２４】
スピーカ部１５は、L(Left)チャンネルの音を出力するためのスピーカ１５Ｌと、R(Right)チャンネルの音を出力するためのスピーカ１５Ｒとを有し、音出力制御部１４の制御に従って、信号処理部１２からのオーディオデータに対応する番組の音を出力する。
【００２５】
制御部１６は、例えば、操作部１７の操作等に応じて、TVを構成する各ブロックを制御する。
【００２６】
操作部１７は、TVの筐体（TV本体）に設けられているボタンや、リモートコマンダ等であり、ユーザによって操作され、その操作に対応する操作信号を、制御部１６に供給する。
【００２７】
［音出力制御部１４の構成例］
【００２８】
図２は、図１の音出力制御部１４の構成例を示すブロック図である。
【００２９】
図２において、音出力制御部１４は、カメラ２１、マイク（マイクロフォン）群２２、制御部２３、及び、記憶部２４を有する。
【００３０】
カメラ２１は、TVの周囲（特に、例えば、表示部１３の表示画面と対向する側）を、所定のレートで撮影し、その結果得られる撮影画像を、制御部２３（の顔検出部３１）に供給する。
【００３１】
マイク群２２は、複数のマイクであり、TVの周囲の環境音を集音し、制御部２３（の音声判定部３３）に供給する。
【００３２】
制御部２３は、カメラ２１からのTVの周囲の撮影画像と、マイク群２２からのTVの周囲の環境音とに基づいて、スピーカ部１５のスピーカ１５Ｌ及び１５Ｒの音量等の、TVの音の出力を制御する。
【００３３】
すなわち、制御部２３は、顔検出部３１、顔情報取得部３２、音声判定部３３、状況分析部３４、音量／利得制御部３５、及び、スピーカ制御部３６を有する。
【００３４】
顔検出部３１は、カメラ２１から供給される撮影画像に映っている（人の）顔を検出し、その検出結果を表す顔検出情報を、顔情報取得部３２に供給する。
【００３５】
顔情報取得部３２は、顔検出部３１からの顔検出情報等に基づいて、撮影画像に映っている顔に関する顔情報を取得し、状況分析部３４に供給する。
【００３６】
すなわち、顔情報取得部３２は、顔検出情報から、例えば、撮影画像に映っている顔の位置（例えば、撮影画像上の位置）や数を、顔情報として認識する。
【００３７】
その他、顔情報取得部３２は、例えば、撮影画像に映っている顔の個人識別を行い、その顔が誰（の顔）であるのかを特定する情報や、その個人識別によって特定された人の年齢や性別等を、顔情報として取得することができる。例えば、家族の個人識別を行うのに必要な情報は、TVの初期設定時等に入力することができる。
【００３８】
音声判定部３３は、マイク群２２から供給される環境音の周波数解析等を行うことにより、その環境音のレベル（利得）や、環境音を発している音源の方向を検出するとともに、環境音が、人の音声であるか、人の音声以外の音（以下、非音声ともいう）であるかを判定する。
【００３９】
そして、音声判定部３３は、環境音のレベル、環境音を発している音源の方向、環境音が、音声、又は、非音声であることの判定結果を、環境音に関する環境音情報として、状況分析部３４に供給する。
【００４０】
状況分析部３４は、顔情報取得部３２からの、撮影画像から得られた顔情報と、音声判定部３３からの、環境音から得られた環境音情報とに基づいて、TVの周囲の状況を分析し、その分析の結果得られるTVの周囲の状況（以下、周囲状況ともいう）を、音量／利得制御部３５に供給する。
【００４１】
音量／利得制御部３５は、状況分析部３４からの周囲状況に応じて、スピーカ制御部３６を制御することにより、TVの音の出力、すなわち、例えば、スピーカ１５Ｌ及び１５Ｒの音量や、スピーカ１５Ｌ及び１５Ｒから出力される音の利得等を制御する。
【００４２】
なお、音量／利得制御部３５は、その他、ユーザによる操作部１７（図１）の操作に応じて、TVの音の出力を制御する。
【００４３】
すなわち、操作部１７としての本体のボタン（キー）、及び、リモートコマンダのボタンには、音量を増減するときに操作されるボリュームキーや、音をミュートするときに操作されるミュートキー等の、TVの音の出力を調整するときに操作される音調整キーが設けられている。
【００４４】
ユーザが、操作部１７の音調整キーを操作すると、制御部１６は、その音調整キーの操作に対応する操作信号であるボリューム操作信号を、音量／利得制御部３５に供給する。
【００４５】
音量／利得制御部３５は、状況分析部３４からの周囲状況の他、制御部１６（図１）から供給されるボリューム操作信号にも応じて、TVの音の出力を制御する。
【００４６】
その他、音量／利得制御部３５は、後述するように、記憶部２４に記憶された情報に応じて、TVの音の出力を制御することができる。
【００４７】
スピーカ制御部３６は、音量／利得制御部３５からの制御に従って、スピーカ１５Ｌ及び１５Ｒの音量を制御する。
【００４８】
なお、TVに、外部オーディオ機器が接続されており、その外部オーディオ機器のスピーカから、番組の音が出力される場合には、スピーカ制御部３６は、音量／利得制御部３５からの制御に従って、TVに接続された外部オーディオ機器のスピーカの音量を制御することができる。
【００４９】
記憶部２４は、制御部２３の動作上必要な情報を記憶する。
【００５０】
また、記憶部２４の一部の記憶領域は、マイク群２２で集音された環境音を一時記憶する環境音記憶部２４Ａになっている。
【００５１】
環境音記憶部２４Ａには、マイク群２２で集音された環境音が、制御部２３を介して供給される。環境音記憶部２４Ａは、マイク群２２からの環境音を記憶し、その記憶容量分の環境音を記憶すると、マイク群２２から新たに供給される環境音を、最も古い環境音に上書きする形で記憶する。
【００５２】
したがって、環境音記憶部２４Ａには、常時、所定の時間分（例えば、数十秒等）の最新の環境音が記憶される。
【００５３】
［音出力制御処理］
【００５４】
図３は、図２の音出力制御部１４が行う処理を説明するフローチャートである。
【００５５】
ステップＳ１１において、音出力制御部１４は、環境音情報と顔情報を収集して、処理は、ステップＳ１２に進む。
【００５６】
すなわち、カメラ２１において、TVの周囲が撮影され、その結果得られる撮影画像が、顔検出部３１に供給される。
【００５７】
顔検出部３１は、カメラ２１から供給される撮影画像に映っている顔を検出し、その検出結果を表す顔検出情報を、顔情報取得部３２に供給する。
【００５８】
顔情報取得部３２は、顔検出部３１からの顔検出情報等に基づいて、撮影画像に映っている顔に関する顔情報としての、例えば、撮影画像に映っている顔の位置や数等を取得し、状況分析部３４に供給する。
【００５９】
一方、マイク群２２において、TVの周囲の環境音が集音され、音声判定部３３に供給される。
【００６０】
音声判定部３３は、マイク群２２から供給される環境音のレベルや、環境音を発している音源の方向を検出するとともに、環境音が、音声であるか、非音声であるかを判定する。
【００６１】
そして、音声判定部３３は、環境音のレベル、環境音を発している音源の方向、環境音が、音声、又は、非音声であることの判定結果を、環境音情報として、状況分析部３４に供給する。
【００６２】
なお、マイク群２２で集音された環境音は、音声判定部３３に供給される他、上述したように、環境音記憶部２４Ａに供給されて一時記憶される。
【００６３】
ステップＳ１２では、状況分析部３４は、顔情報取得部３２からの顔情報と、音声判定部３３からの環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ１３に進む。
【００６４】
ステップＳ１３では、音量／利得制御部３５は、状況分析部３４からの周囲状況に応じて、スピーカ制御部３６を制御することにより、TVの音の出力、すなわち、例えば、スピーカ１５Ｌ及び１５Ｒの音量や、スピーカ１５Ｌ及び１５Ｒから出力される音の利得等を制御する音出力制御を行って、処理は、ステップＳ１４に進む。
【００６５】
ステップＳ１４では、音量／利得制御部３５が、操作部１７に設けられた、TVの音の出力を調整するときに操作される音調整キーがユーザによって操作されたかどうかを判定する。
【００６６】
ステップＳ１４において、音調整キーが操作されていないと判定された場合、処理は、ステップＳ１５をスキップして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００６７】
また、ステップＳ１４において、音調整キーが操作されたと判定された場合、すなわち、ユーザが音調整キーを操作し、その音調整キーの操作に対応するボリューム操作信号が、制御部１６（図１）から音量／利得制御部３５に供給された場合、処理は、ステップＳ１５に進み、音量／利得制御部３５は、音調整キーの操作を、TVの音の出力に反映し、その操作に関する操作情報を、記憶部２４に登録する（記憶させる）音調整キー操作反映／登録の処理を行って、処理は、ステップＳ１１に戻る。
【００６８】
ここで、ステップＳ１５において、音量／利得制御部３５が、音調整キーの操作を、TVの音の出力に反映するとは、音量／利得制御部３５が、音調整キーの操作（ボリューム操作信号）に従って、スピーカ制御部３６を制御することにより、TVの音の出力を制御することを意味する。
【００６９】
図４は、図３のステップＳ１３で、音量／利得制御部３５が行う、周囲状況に応じた音出力制御の処理を説明するフローチャートである。
【００７０】
ステップＳ２１において、音量／利得制御部３５は、周囲状況に基づいて、TVの周囲の環境音のレベルが、あらかじめ定められた閾値以上であるかどうかを判定する。
【００７１】
ステップＳ２１において、環境音のレベルが閾値以上でないと判定された場合、すなわち、TVの周囲に、番組の視聴の妨げとなるような環境音が発生していない場合、処理はリターンする。
【００７２】
また、ステップＳ２１において、環境音のレベルが閾値以上であると判定された場合、すなわち、TVの周囲に、番組の視聴の妨げとなるような環境音が発生している可能性がある場合、処理は、ステップＳ２２に進み、音量／利得制御部３５は、周囲状況に基づいて、レベルが閾値以上の環境音が、人の音声であるかどうかを判定する。
【００７３】
ステップＳ２２において、レベルが閾値以上の環境音（以下、大レベル環境音ともいう）が、人の音声であると判定された場合、処理は、ステップＳ２３に進み、音量／利得制御部３５は、周囲状況に基づいて、撮影画像から顔が検出されたかどうかを判定する。
【００７４】
ステップＳ２３において、撮影画像から顔が検出されていないと判定された場合、すなわち、TVの周囲で、人の話し声が聞こえるが、TVの周囲に、番組を視聴している人がいない状況である場合、処理は、ステップＳ２４に進み、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を減少させる音出力制御を行って、処理はリターンする。
【００７５】
すなわち、TVの周囲で、人の話し声が聞こえるが、TVの周囲に、人がいない状況としては、例えば、番組を視聴していたユーザに電話がかかってきて、ユーザが、TVから少し離れた位置で、電話をしている状況や、ユーザが、TV（カメラ２１）とはまったく違う方向にある部屋の方を向いて、その部屋にいる家族と話をしている状況等がある。
【００７６】
この場合、ユーザは、番組を視聴しておらず、また、TVが出力する番組の音声（音）は、ユーザがしている電話や話の妨げになるおそれがあるので、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を減少させる音出力制御を行う。これにより、TVが出力する音が、ユーザの電話や話の妨げになることを防止することができる。
【００７７】
なお、ステップＳ２４の処理を行うときの、スピーカ１５Ｌ及び１５Ｒの音量が、元々小さい場合、ステップＳ２４では、音量を調整する音出力制御を行わないことができる。
【００７８】
一方、ステップＳ２３において、撮影画像から顔が検出されたと判定された場合、すなわち、カメラ２１で撮影された撮影画像に、１人以上の顔が映っている場合、処理は、ステップＳ２５に進み、音量／利得制御部３５は、周囲状況に基づいて、例えば、TVを基準とする、音声である環境音を発している音源への方向と、顔が検出された位置への方向とが一致している（とみなせる）かどうかを判定する。
【００７９】
ステップＳ２５において、音声である環境音を発している音源の方向と、（1以上の顔のうちのいずれかの）顔が検出された位置の方向とが一致していると判定された場合、すなわち、ユーザが、番組を視聴しており、その番組を視聴しているユーザ自身が話をしている状況である場合、処理はリターンする。
【００８０】
ここで、ユーザが、番組を視聴しており、そのユーザが話をしている状況としては、例えば、番組を視聴しているユーザが、その番組について（他のユーザと）話をしている状況がある。
【００８１】
この場合、スピーカ１５Ｌ及び１５Ｒの音量は調整されない（そのまま維持される）。
【００８２】
また、ステップＳ２５において、音声である環境音を発している音源の方向と、顔が検出された位置の方向とが一致していないと判定された場合、すなわち、ユーザが、番組を視聴しており、TVの周囲で、そのユーザ以外の人による話し声が聞こえる状況である場合、処理は、ステップＳ２６に進み、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行って、処理はリターンする。
【００８３】
すなわち、ユーザが、番組を視聴しており、TVの周囲で、そのユーザ以外の人による話し声が聞こえる状況としては、番組を視聴しているユーザがいるのにもかかわらず、TVから少し離れた位置（撮影画像に映らない位置）で、番組を視聴していないユーザが騒いでいる状況がある。
【００８４】
この場合、番組を視聴せずに騒いでいるユーザの音声は、番組を視聴しているユーザによる番組の視聴の妨げになるおそれがあるので、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行う。これにより、番組を視聴しているユーザは、番組を視聴せずに騒いでいるユーザの音声に妨げられることなく、番組を視聴することができる。
【００８５】
すなわち、番組を視聴するのに妨げとなる、番組を視聴していないユーザの音声が発生した場合に、スピーカ１５Ｌ及び１５Ｒの音量が大に調整されるので、番組を視聴しているユーザは、番組を視聴していないユーザの音声の発生の前後で、同程度の聞きやすさで、番組を視聴することができる。
【００８６】
一方、ステップＳ２２において、レベルが閾値以上の環境音（大レベル環境音）が、人の音声でないと判定された場合、すなわち、大レベル環境音が、例えば、電話やインターフォンの呼び出し音等の非音声である場合、処理は、ステップＳ２７に進み、音量／利得制御部３５は、記憶部２４に登録（記憶）されている、後述する登録音の中に、非音声である環境音（大レベル環境音）と一致する（とみなせる）登録音があるかどうかを判定する。
【００８７】
ここで、ユーザが、操作部１７（図１）の音調整キーを操作し、音量／利得制御部３５が、その音調整キーの操作に従って、音出力制御を行った場合、後述するように、その音調整キーの操作に関する操作情報と、音調整キーが操作される直前の環境音とが対応付けられて、記憶部２４に登録される。
【００８８】
登録音とは、以上のように、操作情報と対応付けられて、記憶部２４に登録された環境音を意味する。
【００８９】
ステップＳ２７において、非音声である環境音と一致する登録音がないと判定された場合、処理は、ステップＳ２６に進み、音量／利得制御部３５は、非音声である環境音によって、ユーザの番組の視聴が妨げられないように、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行って、処理はリターンする。
【００９０】
また、ステップＳ２７において、非音声である環境音と一致する登録音があると判定された場合、処理は、ステップＳ２８に進み、音量／利得制御部３５は、記憶部２４から、非音声である環境音と一致する登録音と対応付けられている操作情報を読み出し、その操作情報（が表す音調整キーの操作）に従って、スピーカ１５Ｌ及び１５Ｒの音量を調整する音出力制御を行って、処理はリターンする。
【００９１】
以上のように、音出力制御部１４では、TVの周囲を撮影した撮影画像と、TVの周囲の環境音とに基づいて、TVの周囲状況が分析され、その周囲状況に応じて、TVの音の出力が制御されるので、音の出力を、適切に制御することができる。
【００９２】
すなわち、例えば、ユーザが番組を視聴しているTVの周囲で、話し声が聞こえる場合に、その話し声が、例えば、TVが置いてある部屋から出たところで、同居の家族等がしている電話の会話であるときには、図４のステップＳ２５において、音源の方向と、顔が検出された位置の方向とが一致していないと判定され、TVの音量が大に調整されるので、番組を視聴しているユーザが、同居の家族等がしている電話の会話によって、番組の視聴を妨げられることを防止することができる。
【００９３】
また、TVの周囲で聞こえる話し声が、TVで番組を視聴しているユーザが発した音声であるときには、図４のステップＳ２５において、音源の方向と、顔が検出された位置の方向とが一致していると判定され、TVの音量は調整されない（そのまま維持される）ので、ユーザが必要を感じていないのに、TVの音量が調整されることを防止することができる。
【００９４】
図５は、図２の音量／利得制御部３５が行う音出力制御を説明する図である。
【００９５】
音量／利得制御部３５は、図３及び図４で説明したように、TVの音量を調整する音出力制御を、TVの周囲状況に応じて行うが、音出力制御は、TVの周囲状況の他、（TVから）番組を視聴しているユーザまでの距離（視聴距離）や、番組を視聴しているユーザの個人識別の結果等にも応じて行うことができる。
【００９６】
すなわち、視聴距離が長い（所定の閾値以上である）場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、あらかじめ設定されたデフォルトの調整量よりも大にすること（音量をより大にすること）ができる。
【００９７】
また、視聴距離が短い（所定の閾値未満である）場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、デフォルトの調整量よりも小にすることができる。
【００９８】
さらに、番組を視聴しているユーザの個人識別の結果得られる、そのユーザの年齢が、例えば、80以上の高齢である場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、デフォルトの調整量よりも大にすることができる。なお、この場合、音量を増大させることに代えて（又は、音量を増大させるとともに）、高齢の方が聞き取りにくい周波数成分の利得を増大させることができる。
【００９９】
図６は、図３のステップＳ１５で、音量／利得制御部３５が行う、音調整キーの操作を、TVの音の出力に反映し、その操作に関する操作情報を、記憶部２４に登録する（記憶させる）音調整キー操作反映／登録の処理を説明するフローチャートである。
【０１００】
ステップＳ４１において、音量／利得制御部３５は、図３のステップＳ１４でユーザによって操作されたと判定された音調整キーの操作に応じて、音量を調整する音出力制御を行って、処理は、ステップＳ４２に進む。
【０１０１】
すなわち、例えば、ユーザが、音量を、２段階等だけ増大するような音調整キーの操作を行った場合には、音量／利得制御部３５は、その操作に応じて、音量を２段階だけ増大させる音出力制御を行う。
【０１０２】
ステップＳ４２では、音量／利得制御部３５は、最新の所定の時間分の環境音を記憶している環境音記憶部２４Ａから、音調整キーの操作がされる直前の一定時間分の環境音（以下、操作直前環境音ともいう）を読み出し、その操作直前環境音を分析して、処理は、ステップＳ４３に進む。
【０１０３】
ステップＳ４３では、音量／利得制御部３５は、操作直前環境音（の分析結果）を、登録音として、音調整キーの操作に関する操作情報と対応付けて、記憶部２４に登録して、処理はリターンする。
【０１０４】
ここで、音量／利得制御部３５では、図４のステップＳ２７及びＳ２８で説明したように、記憶部２４に登録されている登録音の中に、非音声である環境音（大レベル環境音）と一致する（とみなせる）登録音がある場合には、その登録音と対応付けられている操作情報に従った音量の調整が行われる。
【０１０５】
したがって、過去に、ある環境音が生じた直後に、ユーザが音調整キーを操作して音量を所定の調整量だけ調整したこと（ミュートを含む）がある場合には、その後、同様の環境音が生じると、ユーザが、音調整キーを操作しなくても、過去に行われたのと同様の音量の調整が行われる。
【０１０６】
すなわち、TVが、ユーザが行った音調整キーの操作を覚えているかのような、いわば学習機能を実現することができる。
【０１０７】
なお、音量／利得制御部３５において、図４のステップＳ２７及びＳ２８で説明したように、記憶部２４に登録されている、環境音と一致する登録音と対応付けられている操作情報に従った音量の調整が行われた場合には、その後、登録音と一致する環境音がなくなったときに、音量を、元に戻す調整を行うことができる。
【０１０８】
同様に、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で、音量の調整が行われた場合や、図６のステップＳ４１で、ユーザによる音調整キーの操作に応じた音量の調整が行われた場合も、周囲状況が、音量が調整される前の元の状況に戻った場合には、音量を、元に戻す調整の処理としての復元処理を行うことができる。
【０１０９】
図７は、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で調整された音量を、元に戻す復元処理を説明するフローチャートである。
【０１１０】
なお、図７の復元処理は、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で音量が調整されると開始される。
【０１１１】
また、記憶部２４（図２）では、状況分析部３４で得られる、一定期間分の最新の周囲状況が記憶されるとともに、その最新の周囲状況のうちの、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で音量が調整される原因となった大レベル環境音が発生する直前の周囲状況（大レベル環境音が発生する前の元の周囲状況）が、復元処理が終了するまで記憶されることとする。
【０１１２】
ステップＳ５１において、音出力制御部１４（図２）は、図３のステップＳ１１と同様に、顔情報取得部３２が、顔情報を収集するとともに、音声判定部３３が環境音情報を収集して、処理は、ステップＳ５２に進む。
【０１１３】
ステップＳ５２では、状況分析部３４が、図３のステップＳ１２と同様に、顔情報取得部３２で得られる顔情報と、音声判定部３３で得られる環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ５３に進む。
【０１１４】
ここで、図７のステップＳ５１及び５２の処理は、図３のステップＳ１１及びＳ１２の処理で代用することができる。
【０１１５】
ステップＳ５３では、音量／利得制御部３５は、状況判定部３４からの周囲状況に基づいて、図４のステップＳ２１でレベルが閾値以上であると判定された環境音（大レベル環境音）がなくなっているかどうかを判定する。
【０１１６】
ステップＳ５３において、大レベル環境音がなくなっていないと判定された場合、処理は、ステップＳ５１に戻る。
【０１１７】
また、ステップＳ５３において、大レベル環境音がなくなっていると判定された場合、処理は、ステップＳ５４に進み、音量／利得制御部３５は、状況判定部３４からの周囲状況が、レベルが閾値以上の環境音（大レベル環境音）が発生する前の、記憶部２４に記憶されている状況（元の状況）に戻ったかどうかを判定する。
【０１１８】
ステップＳ５４において、状況判定部３４からの周囲状況が、大レベル環境音が発生する前の元の状況に戻っていないと判定された場合、処理は、ステップＳ５１に戻る。
【０１１９】
また、ステップＳ５４において、状況判定部３４からの周囲状況が、大レベル環境音が発生する前の元の状況に戻ったと判定された場合、処理は、ステップＳ５５に進み、音量／利得制御部３５は、図４のステップＳ２４，Ｓ２６、又は、Ｓ２８で調整された音量を元に戻す音出力制御を行って、復元処理は終了する。
【０１２０】
なお、ユーザは、周囲状況が変化したことに起因して、音調整キーを操作することがある。ユーザが、周囲状況が変化したことに起因して、音調整キーを操作することにより、図６のステップＳ４１において、その音調整キーの操作に応じて、音量の調整が行われた場合においても、その後、周囲状況が、音量が調整される前の元の状況（変化前の状況）に戻ったときには、音量／利得制御部３５では、図７の復元処理と同様に音量を、元に戻すことができる。
【０１２１】
図８は、図６のステップＳ４１で調整された音量を、元に戻す復元処理を説明するフローチャートである。
【０１２２】
なお、図８の復元処理は、図６のステップＳ４１で音量が調整されると開始される。
【０１２３】
また、記憶部２４（図２）では、図７の場合と同様に、一定期間分の最新の周囲状況が記憶されるとともに、ユーザが、周囲状況が変化したことに起因して、音調整キーを操作した場合（周囲状況が変化した直後に、音調整キーが操作された場合）の、変化前の周囲状況が、最新の周囲状況から選択され、図８の復元処理が終了するまで記憶されることとする。
【０１２４】
ステップＳ６１において、音出力制御部１４（図２）は、図３のステップＳ１１と同様に、顔情報取得部３２が、顔情報を収集するとともに、音声判定部３３が環境音情報を収集して、処理は、ステップＳ６２に進む。
【０１２５】
ステップＳ６２では、状況分析部３４が、図３のステップＳ１２と同様に、顔情報取得部３２で得られる顔情報と、音声判定部３３で得られる環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ６３に進む。
【０１２６】
ここで、図８のステップＳ６１及び６２の処理は、図３のステップＳ１１及びＳ１２の処理で代用することができる。
【０１２７】
ステップＳ６３では、音量／利得制御部３５は、状況判定部３４からの周囲状況が、変化前の、記憶部２４に記憶されている状況（元の状況）に戻ったかどうかを判定する。
【０１２８】
ステップＳ６３において、状況判定部３４からの周囲状況が、元の状況に戻っていないと判定された場合、処理は、ステップＳ６１に戻る。
【０１２９】
また、ステップＳ６３において、状況判定部３４からの周囲状況が、元の状況に戻ったと判定された場合、処理は、ステップＳ６４に進み、音量／利得制御部３５は、図６のステップＳ４１で調整された音量を元に戻す音出力制御を行って、復元処理は終了する。
【０１３０】
図９は、図２の音量／利得制御部３５が行う音出力制御の他の例を説明する図である。
【０１３１】
環境音が、例えば、インターフォンや電話の呼び出し音であり、音声判定部３３において、環境音が非音声であると判定される（環境音の判定結果が、非音声になる）場合に、撮像画像から、顔が検出されなかったとき（撮像画像から検出された顔の数が0であるとき）には、TVの周囲の状況（周囲状況）としては、ユーザが、画像を見ずに、番組の音だけを聞いており、安定して番組の音を聞きたいと思っている状況が考えられる。
【０１３２】
この場合、音量／利得制御部３５では、音量を増大させる音出力制御を行うことができる。
【０１３３】
環境音が、上述のように、非音声である場合に、撮像画像から、顔が検出されたとき（撮像画像から検出された顔の数が1以上であるとき）には、TVの周囲状況としては、ユーザが、番組を視聴しており、安定して番組の音を聞きたいと思っている状況が考えられる。
【０１３４】
この場合も、音量／利得制御部３５では、音量を増大させる音出力制御を行うことができる。
【０１３５】
環境音が、例えば、人の会話等であり、音声判定部３３において、環境音が音声であると判定される（環境音の判定結果が、音声になる）場合に、撮像画像から、顔が検出されなかったとき（撮像画像から検出された顔の数が0であるとき）には、TVの周囲状況としては、ユーザが、番組を視聴しておらず、電話等で話をしている状況が考えられる。
【０１３６】
この場合、音量／利得制御部３５では、TVから出力される番組の音が、ユーザの話を妨げるのを防止するために、音量を減少させる音出力制御を行うことができる。
【０１３７】
環境音が、上述のように、音声である場合に、撮像画像から、顔が検出され（撮像画像から検出された顔の数が1以上であり）、かつ、環境音としての音声の音源の方向と、撮像画像から検出された（いずれかの）顔の位置の方向とが一致しているときには、TVの周囲状況としては、ユーザが、番組を視聴しながら、電話等で話をしている状況が考えられる。
【０１３８】
この場合、音量／利得制御部３５では、音量を調整せずに、そのまま維持すること、すなわち、音出力制御を行わないことができる。
【０１３９】
環境音が、上述のように、音声である場合に、撮像画像から、顔が検出され、かつ、環境音としての音声の音源の方向と、撮像画像から検出された顔の位置の方向とが（いずれも）一致していないときには、TVの周囲状況としては、番組を視聴しているユーザと、番組を視聴せずに（TVの方向を見ずに）話をしているユーザとが存在する状況が考えられる。
【０１４０】
この場合、音量／利得制御部３５では、番組を視聴しているユーザによる番組の視聴が、番組を視聴していないユーザが行っている話によって妨げられるのを防止するために、音量を増大させる音出力制御を行うことができる。
【０１４１】
また、環境音や撮像画像からの顔の検出に関係なく、夜間（として設定された時間帯）においては、例えば、TVが置いてある部屋の壁を越えて、他の部屋に音が届くのを防止するために、音量を減少させる音出力制御を行うことができる。
【０１４２】
なお、音量／利得制御部３５では、音量を減少、又は、増大させる音出力制御に代えて（あるいは、そのような音出力制御とともに）、番組の音の所定の周波数帯域の利得を、減少、又は、増大させる音出力制御を行うことができる。
【０１４３】
例えば、環境音が非音声である場合には、その非音声の周波数特性を解析することで、非音声において、利得が高い周波数帯域（以下、高利得帯域ともいう）を検出し、番組の音の高利得帯域の利得を増大させることにより、等価的に、ノイズとしての非音声のノイズキャンセリングを行うことができる。
【０１４４】
また、例えば、上述したように、夜間において、TVが置いてある部屋の壁を越えて、他の部屋に音が届くのを防止する場合には、番組の音の低域の利得を減少（抑制）させる音出力制御を行うことができる。
【０１４５】
なお、番組の音の各周波数成分の利得の調整の仕方は、例えば、ゲームモードやシアター（シネマ）モード等のTVのモードや、TVで表示（出力）されている番組としてのコンテンツのジャンル（例えば、スポーツ番組である等）によって変更することができる。
【０１４６】
［本技術を適用したコンピュータの説明］
【０１４７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１４８】
そこで、図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１４９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１５０】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５１】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１５２】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０１５３】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０１５４】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１５５】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１５６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１５７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１５８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５９】
すなわち、本技術は、TV以外の、少なくとも音を出力する出力装置に適用することができる。
【０１６０】
また、本実施の形態では、チューナ１１で受信された番組を処理の対象としたが、本技術では、チューナ１１で受信された番組の他、レコーダに録画されているコンテンツや、インターネット等のネットワーク上のサーバから提供されるコンテンツ等を、処理の対象とすることができる。
【０１６１】
さらに、図４のステップＳ２４やＳ２６において、音量の調整後に、ユーザが、その音量の調整を元に戻すように、音調整キーを操作した場合には、そのときの周囲状況を、記憶部２４に登録しておく（学習する）ことができる。そして、その後のステップＳ２４やＳ２６では、周囲状況が、記憶部２４に記憶された状況と一致する場合には、音量の調整を行わない（制限する）ことができる。
【０１６２】
また、図４のステップＳ２４や、Ｓ２６，Ｓ２８において、ユーザによる音調整キーの操作なしで、音量の調整がされる場合には、何らの告知もなく、音量の調整がされると、ユーザに違和感を感じさせることがあり得るので、音量の調整を行うメッセージを、表示部１３に表示すること（あるいは、スピーカ部１５から音声で出力すること）ができる。
【０１６３】
ここで、音量の調整を行うメッセージの表示（出力）のオンとオフとは、例えば、ユーザが操作部１７を操作することにより切り替えることができる。
【０１６４】
また、図６の音調整キー操作反映／登録の処理では、ステップＳ４３において、音調整キーの操作の操作情報を、その音調整キーの操作がされる直前の一定時間分の環境音（操作直前環境音）と対応付けて、記憶部２４に登録することとしたが、記憶部２４への操作情報の登録は、操作直前環境音の他、個人識別結果や、時間帯、TVに表示されている番組のソース（入力ソース）等と対応付けて行うことができる。
【０１６５】
例えば、音調整キーの操作の操作情報を、操作直前環境音、及び、個人識別結果等と対応付けて、記憶部２４に登録する場合には、個人識別結果等に基づいて、番組を視聴しているユーザを認識し、同一の操作直前環境音が発生した場合であっても、ユーザごとに異なる音調整キーの操作に応じた音量の調整を行うことができる。
【０１６６】
ここで、音調整キーの操作の操作情報を、操作直前環境音の他、個人識別結果や、時間帯、入力ソースと対応付けて、記憶部２４に登録する場合において、操作情報と対応付けられた新たな操作直前環境音等とすべて同一の操作直前環境音等が、記憶部２４に既に登録されているときには、その同一の操作直前環境音等に上書きする形で、新たな操作直前環境音等と、操作情報とのセットが、記憶部２４に登録される。
【０１６７】
なお、本技術は、以下のような構成をとることができる。
【０１６８】
［１］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
を備える制御装置。
［２］
前記環境音として、人の音声でない音が発生した状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
［１］に記載の制御装置。
［３］
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、前記制御部は、音量が減少するように、前記出力装置の音の出力を制御する
［１］又は［２］に記載の制御装置。
［４］
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
［１］ないし［３］のいずれかに記載の制御装置。
［５］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する
ステップを含む制御方法。
［６］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
して、コンピュータを機能させるためのプログラム。
【符号の説明】
【０１６９】
１１  チューナ，  １２  信号処理部，  １３  表示部，  １４  音出力制御部，  １５  スピーカ部，  １５Ｌ，１５Ｒ  スピーカ，  １６  制御部，  １７  操作部，  ２１  カメラ，  ２２  マイク群，  ２３  制御部，  ２４  記憶部，  ２４Ａ  環境音記憶部，  ３１  顔検出部，  ３２  顔情報取得部，  ３３  音声判定部，  ３４  状況分析部，  ３５  音量／利得制御部，  ３６  スピーカ制御部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0005910846.tif 000002
【図２】
0005910846.tif 000003
【図３】
0005910846.tif 000004
【図４】
0005910846.tif 000005
【図５】
0005910846.tif 000006
【図６】
0005910846.tif 000007
【図７】
0005910846.tif 000008
【図８】
0005910846.tif 000009
【図９】
0005910846.tif 000010
【図１０】
0005910846.tif 000011