(57)【要約】  聴取者の聴取位置が変化した場合であっても、柔軟にフィルタ係数の算出を行い、最適なフィルタ特性を得る。  音響再生装置１は、撮像部１６に設けられたカメラ１６１において観覧者の聴取空間を撮像し、このカメラ１６１において撮像された画像データに基づいて観覧者の聴取位置を検出する。そして、当該検出結果に基づいて信号処理部１３において信号処理を行う際のフィルタ係数を算出し、当該算出されたフィルタ係数により音響データに信号処理を施して、ＳＰアレイシステム２に出力する。また、観覧者の聴取位置の変化を検出し、当該変化に合わせてフィルタ係数を変更する。【特許請求の範囲】
【請求項１】
聴取空間内に配置された複数のスピーカにより音響信号を拡声させる音響再生装置であって、
前記音響信号を取得する取得手段と、
前記聴取空間内における聴取者の聴取位置を検出する検出手段と、
前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、
前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、
前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、
を具備することを特徴とする音響再生装置。
【請求項２】
前記複数のスピーカは、配置位置が予め固定されたスピーカアレイを構成し、
前記信号処理手段は、所定数の前記スピーカによって構成されるスピーカ群と同数に前記音響信号を分割した後、当該分割された音響信号の各々に対して信号処理を行い、
前記設定手段は、前記スピーカ群毎に前記再生条件を設定する
ことを特徴とする請求項１に記載の音響再生装置。
【請求項３】
前記検出手段は、前記聴取空間内をフレーム単位の画像として撮像するカメラを更に有し、
前記カメラにより撮像された画像に対応する画像データに基づいて前記聴取位置を検出することを特徴とする請求項１に記載の音響再生装置。
【請求項４】
前記検出手段は、前記フレーム内における前記聴取者の顔に対応した領域を特定し、当該顔に対応した領域を前記聴取位置として検出することを特徴とする請求項３に記載の音響再生装置。
【請求項５】
前記検出手段は、フレーム内の肌色の領域を特定し、当該領域を前記聴取者の顔に対応した領域と特定することを特徴とする請求項４に記載の音響再生装置。
【請求項６】
前記検出手段は、Ｃｒ値が１３３乃至１７３、且つ、Ｃｂ値が７７乃至１２７となっている画素を肌色の画素と特定し、当該画素が所定数以上集合した領域を前記肌色の領域と特定することを特徴とする請求項５に記載の音響再生装置。
【請求項７】
前記検出手段は、前記肌色の領域と、それ以外の領域とに分けて、前記各フレームに対応した画像データを２値化した後、前記聴取者の顔に対応した領域を特定することを特徴とする請求項５に記載の音響再生装置。
【請求項８】
前記検出手段は、前記画像データに基づき前記各フレーム間における前記聴取位置の変化を検出し、
前記設定手段は、前記検出された前記聴取位置の変化に応じて、随時、前記再生条件を変更することを特徴とする請求項３に記載の音響再生装置。
【請求項９】
前記検出手段は、前記聴取位置の変化に基づいて前記聴取者の移動速度を算出し、
前記取得手段は、前記移動速度に応じて取得する音響信号の内容を変化させることを特徴とする請求項８に記載の音響再生装置。
【請求項１０】
前記検出手段は、前記画像データに基づき前記聴取者が前記フレーム内に存在するか否かを検出し、
前記取得手段は、前記検出手段において前記聴取者が存在しているものと検出された場合にのみ前記音響信号を取得することを特徴とする請求項３に記載の音響再生装置。
【請求項１１】
前記信号処理手段は、同時に取得される同一もしくは異なる前記音響信号に対して、各々異なる信号処理を施すための複数のフィルタを有し、
前記検出手段は、前記フレーム内に複数の前記聴取者が写し出された場合に、前記画像データに基づき前記複数の聴取者の各々に対応する複数の聴取位置を検出し、
前記設定手段は、前記検出された複数の聴取位置の各々に基づいて前記信号処理手段の各フィルタにおけるフィルタ係数を設定することを特徴とする請求項３に記載の音響再生装置。
【請求項１２】
前記取得手段は、２チャンネル以上の前記音響信号を取得し、
前記設定手段は、前記検出された聴取位置に基づいて前記各チャネル毎の前記再生条件を設定することを特徴とする請求項１に記載の音響再生装置。
【請求項１３】
聴取空間内に配置された複数のスピーカと、前記スピーカにより音響信号を拡声させる音響再生装置と、を備え、
前記音響再生装置は、
前記音響信号を取得する取得手段と、
前記聴取空間内における聴取者の聴取位置を検出する検出手段と、
前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、
前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、
前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、
を具備することを特徴とする音響再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音響再生装置および音響再生システムに係り、特に直線配列もしくは平面配列型のスピーカ装置の指向性制御技術に関する。
【背景技術】
【０００２】
近年、特性が略均質な複数のスピーカユニット（以下、「スピーカ」を「ＳＰ」と略称する）を直線状、或いは、平面状に配置したＳＰアレイシステムを用いて、臨場感のある音場を再現する音響再生システムが各種提案されるに至っている（例えば特許文献１参照）。この音響再生システムにおいては、ＦＩＲ（Finite Impulse Response）フィルタ等の各種フィルタを搭載したＤＳＰ（Digital Signal Processor）を用いて、入力された音響データに信号処理を施し、各ＳＰユニットから拡声される音声の拡声タイミングや音圧レベル等の特性を変化させて、音声の指向性を制御し、もって最適な音場を実現する構成が採用されている。
【特許文献１】特開平５−０４１８９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記のような従来の音響再生システムにおいては、聴取者の聴取位置が変化すると、それに合わせて信号処理を行う際のフィルタ係数を変更しなければ拡声された音声の指向性を制御することができなくなる。そこで、従来の音響再生システムにおいては実際にＳＰから音声を拡声し、聴取位置に設置したマイクロホンを用いて拡声された音声を集音することによりフィルタ係数を変更する構成が採用されてきた。【０００４】
しかしながら、かかる方法は周囲の雑音環境等により影響を受け易く、雑音の生じやすい環境下に音響再生システムを設置してしまうとフィルタ係数を再設定できる機会も限られてしまい、勢い、ユーザの聴取位置の変化に合わせてフィルタ係数を変更することが困難となっていた。更に、マイクロホンによってユーザの聴取位置を把握するには、マイクロホンをユーザが常に装着する必要があり、現実的ではない。【０００５】
本願は以上説明した事情に鑑みてなされたものであり、その課題の一例としては、聴取者の聴取位置が変化した場合であっても柔軟にフィルタ係数の算出を行い、最適なフィルタ特性を得ることが可能な音響再生装置及び音響再生システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本願の一つの観点において請求項１に記載の音響再生装置は、聴取空間内に配置された複数のスピーカにより音響信号を拡声させる音響再生装置であって、前記音響信号を取得する取得手段と、前記聴取空間内における聴取者の聴取位置を検出する検出手段と、前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、を具備することを特徴とする。【０００７】
また、本願の他の観点において請求項１３に記載の音響再生システムは、聴取空間内に配置された複数のスピーカと、前記スピーカにより音響信号を拡声させる音響再生装置と、を備え、前記音響再生装置は、前記音響信号を取得する取得手段と、前記聴取空間内における聴取者の聴取位置を検出する検出手段と、前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、を具備することを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態における音響再生システムＳの構成を示すブロック図である。
【図２】同実施形態におけるＳＰアレイシステム２及びカメラ１６１の設置例を示す図である。
【図３】同実施形態における信号処理部１３の具体的な構成を示すブロック図である。
【図４】同実施形態においてシステム制御部１７が実行する処理を示すフローチャートである。
【図５】同実施形態においてシステム制御部１７が実行する処理を示すフローチャートである。
【図６】同実施形態においてシステム制御部１７が処理を実行することにより、現フレームの画像に生じる変化を示す概念図である。
【図７】同実施形態においてシステム制御部１７が実行するＳＰアレイシステム２の設定処理を示すフローチャートである。
【図８】聴取空間内のＳＰアレイシステム２及びカメラ１６１と、聴取者との関係の一例を示した図である。
【図９】同実施形態において指向性を制御する際の各ＳＰユニット２-ｋにて拡声される音波と遅延量の関係を示す図である。
【図１０】変形例１-４において５．１ｃｈの音響データに信号処理を施す場合の信号処理部１３の構成例を示す図である。
【図１１】第２実施形態における音響再生システムＳ２の構成を示すブロック図である。
【図１２】同実施形態においてシステム制御部１７が実行する処理を示すフローチャートである。
【図１３】同実施形態においてシステム制御部１７が実行する処理を示すフローチャートである。
【符号の説明】
【０００９】
Ｓ、Ｓ２・・・音響再生システム
１・・・音響再生装置
２・・・ＳＰアレイシステム
３・・・音源出力装置
【発明を実施するための最良の形態】
【００１０】
まず、本実施形態にかかる音響再生システムの具体的な説明に入る前に、本願の基になる基本発想について説明すると次のようになる。まず、従来の音響再生システムにおいてフィルタ係数の変更を困難にさせていた主たる要因が、各ＳＰユニットから拡声された音声を実際にマイクロホンにより集音しなければならなかった点にあるということである。このような方法を採用する場合、計測時の周囲環境（特に雑音）により計測結果に影響を受け易く、計測時において周囲環境に気を配る必要性があると共に、ユーザがマイクロホンを常に装着する必要性が生じてしまう。従って、柔軟簡易にフィルタ係数を変更するという観点からは、従来の音響再生システムのように音を用いてフィルタ係数を算出することは決して得策とは言えない。【００１１】
その一方、拡声された音声の指向性を制御し、適切な音場を再現するためには直接音を聴取位置に同時に到達させ、各ＳＰユニットにより拡声された音声の焦点を聴取位置に一致させることが必要となる。そして、かかる観点からは、各ＳＰユニットから聴取位置までの距離が最も重要なファクターとなり、この距離さえ算出することができれば容易にフィルタ係数を算出することが可能となるのである。【００１２】
そこで、本願の創作に際しては音を用いることなく聴取位置を特定可能な方法がないか模索し、この結果、１つの手法として画像処理技術に着目するに至ったのである。具体的には、カメラ等の撮像装置によって聴取空間を順次撮像し、この撮像された画像に基づき聴取者の聴取位置を特定して、フィルタ係数を算出する手法を採用することとした。これにより、測定環境に敏感な音声を用いることなくフィルタ係数を算出し、もって、最適なフィルタ特性を得ることが可能となるのである。【００１３】
なお、かかる画像処理技術に着目した方法論に関してはあくまでも一例であり、例えば、温度センサ等の各種センサを用いて聴取者の位置を特定し、当該特定された位置に基づいてフィルタ係数を算出することも、もちろん可能である。【００１４】
［１］第１実施形態
上記のごとき、柔軟簡易な方法により実現される音場制御技術は、例えば、美術館や博物館等の施設内において音声アナウンスを行う場合のように周囲の雑音レベルが高く、且つ、聴取位置が観覧客（すなわち、聴取者）の移動に伴って、逐次、変化するような場合に特にその有用性を発揮するものとなる。そこで、本実施形態においては、この種の施設内において観覧客に音声アナウンスを行う音響再生システムＳを例に説明を行うこととする。【００１５】
［１．１］第１実施形態の構成
まず、図１は本実施形態にかかる音響再生システムＳの構成を示すブロック図である。同図に示すように本実施形態にかかる音響再生システムＳは、音響再生装置１と、ＳＰアレイシステム２と、音源出力装置３と、を有し、音源出力装置３から供給される音響データに対して音響再生装置１において信号処理を施し、ＳＰアレイシステム２を用いて当該音響データに対応する音声を拡声する。【００１６】
このＳＰアレイシステム２は、性能等の特性が略均質な複数のＳＰユニット２-ｋ（ｋ＝１，２，・・・，ｎ）を、例えば、横一列に配置して構成され、各ＳＰユニット２-ｋは音響再生装置１によって駆動される。また、このＳＰアレイシステム２は、例えば、図２に示す設置例のように美術館等の施設内において観覧対象となる展示物Ｅ近辺に設置され、観覧客に対して当該展示物Ｅに関する解説等の音声アナウンスを拡声するために利用される。【００１７】
音源出力装置３は、例えば、ＣＤ（Compact disc）、ＤＶＤ（Digital Versatile Disc）などのメディア再生装置により構成され、ＣＤなどの音源を再生することにより、各展示物に関する音声アナウンスに対応した音響データを出力する。なお、音源出力装置３が出力する音響データのチャネル数（以下、「チャネル」と「ｃｈ」と略称する）については任意であるが、本実施形態において音源出力装置３はモノラルの音響データを出力するものとし、多ｃｈ音声に対応した音響データを取り扱う場合については、後に変形例として説明することとする。【００１８】
音響再生装置１は、音源出力装置３から出力された音響データに対して信号処理を施し、ＳＰアレイシステム２に出力する。かかる信号処理に際して、音響再生装置１は展示物Ｅが展示された実空間（以下、「聴取空間」という）を撮像し、観覧客の聴取位置を算出して、当該算出された聴取位置に基づいて信号処理を行う際のフィルタ係数を算出する。この結果、音響再生装置１において当該フィルタ係数に従った信号処理が音響データに施され、ＳＰアレイシステム２を構成する各ＳＰユニット２-ｋから拡声される直接音が聴取位置に同時に到達するように、拡声された音声の指向性が制御されることとなる。【００１９】
なお、ＳＰアレイシステム２により拡声された音声の焦点は観覧客の位置に一致させるようにしても良いが、本実施形態のように音声アナウンスを行うシステムにおいて音声の焦点を観覧客の位置に一致させてしまうと、あたかも、ユーザの目の前において音声アナウンスがなされているように聴取され、非常に違和感を与えることとなりかねないため、本実施形態においては観覧客から数十ｃｍ離れた位置に焦点を設ける構成を採用するものとする。【００２０】
以上のような機能を実現するため、本実施形態にかかる音響再生装置１は、操作部１１と、外部機器インターフェイス部１２と（以下、「インターフェイス」を「Ｉ／Ｆ」と略称する）、信号処理部１３と、Ｄ／Ａ（デジタル／アナログ）変換部１４と、アンプ部１５と、撮像部１６と、システム制御部１７と、画像記録部１８と、これら各要素間を相互接続するシステムバス１９と、を有している。【００２１】
操作部１１は、例えば、電源ボタン等の設けられた操作パネルから構成され、操作者により行われた操作に対応した操作信号をシステムバス１９に出力する。【００２２】
外部機器Ｉ／Ｆ部１２は、例えば、ＩＥＥＥ（the Institute of Electrical and Electronic Engineers）１３９４等の通信Ｉ／Ｆであり、外部機器を接続するための複数の接続端子を有している。本実施形態において、この接続端子には、外部機器として音源出力装置３が接続されており、音響再生装置１は、この外部機器Ｉ／Ｆ部１２を介して音源出力装置３とデータの授受を行う。【００２３】
信号処理部１３は、主としてＤＳＰ（Digital Signal Processor）により構成され、システム制御部１１により決定されたフィルタ係数に従い、外部機器Ｉ／Ｆ部１２から入力された音響データに信号処理を施して、Ｄ／Ａ変換部１４へと出力する。この信号処理部１３の具体的な構成を図３に示す。【００２４】
同図に示すように、本実施形態において信号処理部１３は、音響データ分割部１３１を有しており、この音響データ分割部１３１には、外部機器Ｉ／Ｆ部１２から供給される音響データが入力される。この入力された音響データは、音響データ分割部１３１において、ＳＰユニット２-ｋに対応する数（「ｎ」）に分割され（以下、この分割後の音響データを「ユニットデータ」という）、ユニットデータ毎に別個のパスを介して遅延処理部１３２の遅延フィルタ１３２１-ｋ（ｋ＝１，２，・・・，ｎ）に入力される。【００２５】
この遅延フィルタ１３２１-ｋは、入力音声の出力タイミングを遅延させるためのフィルタであり、システム制御部１７から入力されるフィルタ係数に従って、ユニットデータの出力タイミングを変更して、レベル調整部１３３のレベル調整フィルタ１３３１-ｋ（ｋ＝１，２，・・・，ｎ）に出力する。【００２６】
レベル調整フィルタ１３３１-ｋは、システム制御部１７から入力されるフィルタ係数に従って入力されたユニット信号の音圧レベルを調節するためのフィルタであり、レベル調整後のユニット信号をＤ／Ａ変換部１４に出力する。【００２７】
Ｄ／Ａ変換部１４は、例えば、ＳＰアレイシステム２を構成するＳＰユニット２-ｋ数に対応した数、すなわち、「ｎ」個のＤ／Ａ変換器を有しており、各々異なるパスを介して信号処理部１３から入力されるユニットデータに対してＤ／Ａ変換を施す（以下、このＤ／Ａ変換後のユニットデータを「ユニット信号」という）。そして、Ｄ／Ａ変換部１４は、このようにして得られたユニット信号を各々異なるパスを介してアンプ部１５に出力する。【００２８】
アンプ部１５は、ＳＰユニット２-ｋ数に対応する数（「ｎ」）の増幅器１５-ｋ（ｋ＝１，２，・・・，ｎ）を有しており、この増幅器１５-ｋにより、Ｄ／Ａ変換部１４から各々異なるパスを介して入力されたユニット信号のゲインを調節する。また、このアンプ部１５は出力端子を有しており、各増幅器１５-ｋによりゲインの調節されたユニット信号を各々異なるパスを介して対応するＳＰユニット２-ｋに出力する。【００２９】
なお、この出力端子の形式は任意であり、各ＳＰユニット２-ｋ毎に別個の接続コネクタを設けるようにしても良いし、１つの接続コネクタ内に複数の出力端子を設け、各ユニット信号を各々異なるパスを介してＳＰユニット２-ｋに出力するようにしても良い。【００３０】
次に、撮像部１６はカメラ１６１を有しており、このカメラ１６１によって撮像された画像に対応する画像データを生成してシステム制御部１７に出力する。なお、このシステム制御部１７に対する画像データの出力タイミングは任意であるが、本実施形態においては説明をより具体的なものとするため、撮像部１６にバッファメモリを設け、１フレーム分の画像データの生成が完了した時点でシステム制御部１７に転送する方法を採用するものとする。なお、また、カメラ１６１は、音響再生装置１と別体の構成としても良いし、音響再生装置１の内部に組み込んだ構成としても良く、その設置の一例としては、図２に示すＳＰアレイシステム２の中心部分に設置する方法が考えられる。【００３１】
次いで、システム制御部１７は、主としてＣＰＵ（Central Processing Unit）により構成され、音響再生装置１の各部を統括的に制御する。例えば、システム制御部１７は、撮像部１６から供給される画像データに基づいて聴取空間内における観覧客の聴取位置を算出する。そして、当該算出された聴取位置に基づいて信号処理を行う際のフィルタ係数を算出し、当該算出したフィルタ係数を信号処理部１３に出力する。この結果、信号処理部１３においては、遅延フィルタ１３２１-ｋ及びレベル調整フィルタ１３３１-ｋにおいて信号処理を行う際のフィルタ係数が変更され、各ユニットデータの出力タイミング及び音圧レベルの調整がなされることとなる。なお、このシステム制御部１７の実行する具体的な処理内容については、「動作」の項にて詳述する。【００３２】
画像記録部１８は、例えば、ＶＲＡＭ（video Random Access Memory）やＳＲＡＭ（Static Random Access Memory）から構成され、システム制御部１７が観覧客の聴取位置を算出する際のワークエリアとして用いられる。【００３３】
［１．２］第１実施形態の動作
次に、上記構成を有する本実施形態にかかる音響再生システムＳの具体的な動作について説明する。【００３４】
まず、音響再生システムＳにより観覧客に対する展示物Ｅを紹介する音声アナウンスを行うべく音響再生装置１及び音源出力装置３の電源をオンにする。すると、この電源オンをトリガとして、システム制御部１７は、図４及び図５に示す処理を開始する。【００３５】
この処理においてシステム制御部１７は、まず、背景画像の取得処理を実行する（ステップＳａ１）。この際、システム制御部１７は、撮像部１６に、例えば、３０フレーム／ｓｅｃ程度のフレームレートにて聴取空間の撮像を開始させるべく、撮像部１６に対して制御信号を出力する。この制御信号の入力をトリガとして、撮像部１６はカメラ１６１による聴取空間の撮像を開始し、各フレームに対応した画像データが取得される度に、順次、システム制御部１７に供給する状態に移行する。システム制御部１７は、このようにして、撮像部１６から供給された画像データに基づき背景画像に対応した画像データ（以下、「背景画像データ」という）を取得して、当該背景画像データを画像記録部１８に記録するのである。【００３６】
なお、この際、如何なるデータを背景画像データとするかは任意であり、例えば、撮像部１６から供給される画像データの内の所定フレームに対応したデータを背景画像データとして抽出するようにしても良い。但し、本実施形態においては、背景画像の正確性を確保するため、次の方法を採用するものとする。【００３７】
まず、システム制御部１７は、撮像部１６から供給される画像データを、所定時間（例えば、５秒間）分、順次バッファリングし、各フレームに対応した画素成分値を次の（式１）に代入する。
【数１】
2006057131.tif 000002
【００３８】
ここで、（式１）において「Ｔ」は総フレーム数を意味し、「image(x,y,t)」は”t”番目のフレーム内における座標(x,y)の画素成分値を意味している。従って、（式１）により算出される「ＤＢ(x,y)」は、”１”番目のフレームから”Ｔ”番目のフレームまでの画素成分値の平均値を意味しており、システム制御部１７は、この画素成分値「ＤＢ(x,y)」により表される画像データを背景画像データとして取り扱うのである。なお、画素成分値「image(x,y,t)」をＲＧＢ系による値とするか、ＹＣＣ系による値とするかは任意であり、撮像部１６から供給する画像データのフォーマットにより決定するようにすれば良い。【００３９】
このようにして、背景画像データの取得が完了すると、システム制御部１７は、外部機器Ｉ／Ｆ部１２を介して音源出力装置３に制御信号を出力し、音声アナウンスに対応した音響データの再生を開始させる（ステップＳａ２）。この結果、音源出力装置３において、例えば、ＣＤ等のメディアに記録されている音響データが読み出され、外部機器Ｉ／Ｆ部１２を介して、順次、信号処理部１３に供給される状態となる。【００４０】
かかる状態となると、外部機器Ｉ／Ｆ部１２から供給される音響データは、信号処理部１３においてユニットデータに分割されて信号処理が施された後、Ｄ／Ａ変換部１４においてＤ／Ａ変換されて、アンプ部１５において増幅されて、ＳＰアレイシステム２から順次出力される状態となる。なお、電源オンの時点におけるフィルタ係数としてどのような係数を設定するかは任意であり、デフォルトにて設定されるフィルタ係数を事前に設定しておくようにしても良い。【００４１】
次に、システム制御部１７は、撮像部１６から順次供給される画像データを監視し、現フレームに対応した画像データを取得する（ステップＳａ３）。具体的には、システム制御部１７は、撮像部１６から順次供給される画像データを取得し、現フレームに対応した画像データを画像記録部１８内のフレームバッファに展開していくのである。【００４２】
このようにして、現フレームに対応した画像データが取得されると、システム制御部１７は、上記（式１）において算出した背景画像データの画素成分値「ＤＢ(x,y)」を次の（式２）に代入し（ステップＳａ４）、この算出結果に基づいてカメラ１６１の画角内に観覧客が存在しているか否か、すなわち、観覧客がフレームインしているか否かを判定する状態となる（ステップＳａ５）。
【数２】
2006057131.tif 000003
【００４３】
ここで、この（式２）において右辺の「imageP(x,y)」は現フレームの画素成分値を意味している。一般に現フレームが背景画像と比較して変化していない場合、「imageP(x,y)」と「ＤＢ(x,y)」は、ほぼ等しい値をとりＤ(x,y)の値が小さくなるのに対して、例えば、観覧客がフレームインし、現フレームに変化が生じると、「imageP(x,y)」と「ＤＢ(x,y)」との間の差が大きくなり、Ｄ(x,y)の値が大きくなる。従って、「Ｄ(x,y)」は、現フレーム内に観覧客がフレームインしたか否かを判断する指標（以下、「エネルギー量」という）となり、この値が所定値を越えた場合には、フレーム内に観覧客がフレームインしたことが推測されることとなる。【００４４】
そこで、ステップＳａ５において、システム制御部１７は、この算出されたエネルギー量「Ｄ(x,y)」と閾値「thD」を比較し、エネルギー量「Ｄ(x,y)」が閾値「thD」を越えている場合に、現フレーム内に観覧客がフレームインしているものと判定する構成となっている（ステップＳａ５「ｙｅｓ」）。ここで、この判定において「ｎｏ」と判定した場合、システム制御部１７は、処理を終了するか否かを判定する状態となり（ステップＳａ１３）、「ｎｏ」と判定するとステップＳａ３を実行し、現フレームの次のフレームに対応した画像データを取得してステップＳａ４及びＳａ５の処理を繰り返すのに対して、ステップＳａ１３において「ｙｅｓ」と判定すると処理を終了することとなる。【００４５】
一方、ステップＳａ５において「ｙｅｓ」と判定した場合、システム制御部１７は、ステップＳａ６〜Ｓａ１０の処理を実行して、観覧客の顔の位置を特定する。この際の処理内容について、図６を参照しつつ、より詳細に説明することとする。なお、図６は、システム制御部１７が実行する処理により、現フレームの画像に生じる変化を示す概念図であり、同図においては肌色の領域を斜線により示している。【００４６】
まず、この際、システム制御部１７は現フレームｆに対応した画像データに基づいて肌色の領域の抽出処理を行う（ステップＳａ６）。一般に肌色を呈する画素に関してはＹＣＣ系の画素成分値において「Ｃｒ」＝１３３〜１７３且つ「Ｃｂ」＝７７〜１２７の間に分布することが知られている。従って、現フレームに対応する画像データ内において上記条件を満たす画素を特定することにより肌色領域を抽出することが可能となるのである。【００４７】
例えば、図６に示す例の場合、肌色の領域として観覧客の顔及び手の部分が抽出され、ｆ１のように肌色領域のみが抽出された画像（以下、「肌色抽出画像」という）が得られることとなる。なお、撮像部１６から供給される画像データがＲＧＢ系の画素成分値により示されるものである場合、（式３）を用いてＹＣＣ系の画素成分値に変換し、Ｃｒ、Ｃｂ値を取得することが必要となる。
【数３】
2006057131.tif 000004
【００４８】
以上の処理により、肌色抽出画像ｆ１が得られると、システム制御部１７は、例えば、肌色の画素に対応した画素成分値を全て”１”にすると共に、それ以外の画素に対応した画素成分値を全て”０”として、現フレームを２値化する（ステップＳａ７）。この結果、肌色抽出画像ｆ１は白黒で表現され、肌色領域のみが白、他の領域は全て黒に塗り潰された、２値化画像ｆ２に変換されることとなる。【００４９】
このようにして、現フレームの２値化が完了すると、システム制御部１７は、顔に対応した領域抽出用のリファレンス画像ｆ３を読み出す（ステップＳａ８）。なお、顔領域抽出用のリファレンス画像として如何なる画像を用いるかは、任意である。例えば、リファレンス画像ｆ３として人間の平均的な顔の大きさに対応した円形領域、或いは、楕円領域を想定し、当該領域内のみ”１”とした２値化画像を用いるようにすれば、現フレーム内の顔の領域を適切に判別することが可能となる。【００５０】
次いで、システム制御部１７は、現フレーム内に観覧客の顔がフレームインしているか否かを判定する（ステップＳａ９）。この際、システム制御部１７は、２値化画像ｆ２の”１”となっている領域と、リファレンス画像ｆ３との差分を算出し、リファレンス画像ｆ３内に設定されている円形領域の全領域での差分の平均値が所定の閾値以下（例えば、限りなく小さくなる）となるような領域が存在するか否かを検索する。そして、かかる領域が存在しない場合、システム制御部１７は、ステップＳａ９において「ｎｏ」と判定し、処理を終了するか否かを判定する状態となり（ステップＳａ１３）、「ｙｅｓ」と判定すると、処理を終了するのに対し、「ｎｏ」と判定すると、処理をステップＳａ３に戻して、新たなフレームの画像データを取得して、当該画像データに基づいて、再度、ステップＳａ４〜Ｓａ９の処理を実行する。【００５１】
これに対し、顔がフレームインしているものと判定した場合（ステップＳａ９「ｙｅｓ」）、システム制御部１７は、顔領域を特定するための座標（HX,HY）を算出する（ステップＳａ１０）。また、この際、顔に対応する領域が複数存在することがある。かかる場合に、システム制御部１７は、各領域毎に座標（HX,HY）を算出する。【００５２】
なお、如何なる位置を座標原点とするかについては任意である。また、座標（HX,HY）の算出方法についても任意であり、例えば、上記２値化画像ｆ２とリファレンス画像ｆ３とを比較し、両者の相関が最も高い位置に対応した座標値を（HX,HY）とするようにしても良い。【００５３】
次いで、システム制御部１７は、算出した座標（HX,HY）の前フレームからの変化量が所定値を越えているか否かを判定することにより（ステップＳａ１１）、観覧客が立ち止まったまま少し顔を動かしただけなのか、或いは、観覧客が移動しているのかを判定する。この判定に際して、システム制御部１７は、顔と認められる領域がフレーム内に幾つ存在するかによって、次のように処理を変更する。
＜顔と認められる領域が一つのみ存在する場合＞
この場合、システム制御部１７は、ステップＳａ１０において算出した座標（HX,HY）と前フレームに基づく処理において算出された座標（HX,HY）とを比較し、両座標の変化量（すなわち、フレーム上での距離）が所定値を越えているか否かを判定する。
＜顔と認められる領域が複数存在する場合＞
この場合、上述のように座標（HX,HY）は、複数算出されることとなるが、システム制御部１７は、この算出された座標（HX,HY）の内、前フレームに基づいて算出されている座標（HX,HY）からの変化量が少ない座標（HX,HY）を特定し、当該特定された座標（HX,HY）を基準として、変化量が所定値を越えているか否かを判定する。かかる方法を採用することにより、音声アナウンスの再生中に、突然、一人の観覧客に合わせられていた音像が、他の観覧客に合わせられてしまい、観覧客が違和感を覚える等の弊害を防止することが可能となる。【００５４】
そして、このステップＳａ１１において、「ｎｏ」と判定した場合、システム制御部１７は、ステップＳａ１２の処理を実行することなくステップＳａ１３の処理を実行し、このステップＳａ１３において「ｙｅｓ」と判定すると処理を終了する一方、「ｎｏ」と判定すると処理をステップＳａ３に戻し、次のフレームに対応した画像データに基づいて再度、ステップＳａ４〜Ｓａ１１の処理を繰り返す。【００５５】
これに対し、ステップＳａ１１において「ｙｅｓ」と判定した場合、システム制御部１７は、ＳＰアレイシステム２の設定処理を実行した後（ステップＳａ１２）、ステップＳａ１３の処理を実行し、このステップＳａ１３において「ｎｏ」と判定すると再度ステップＳａ３〜Ｓａ１３の処理を繰り返すのに対し、Ｓａ１３において「ｙｅｓ」と判定すると処理を終了する。【００５６】
ここで、ステップＳａ１２におけるＳＰアレイシステム２の設定処理について、図７及び図８を参照しつつ詳細に説明することとする。なお、図７は、この設定処理の処理内容を示すフローチャートであり、図８は、聴取空間におけるＳＰアレイシステム２及びカメラ１６１と、聴取者との関係を示した図である。【００５７】
このＳＰアレイシステム２の設定処理において、システム制御部１７は、まず、ステップＳａ１０において算出した座標（HX,HY）を聴取空間内における実座標（RHX,RHY,RHZ）に変換する（ステップＳａ１２-１）。この変換に際してシステム制御部１７は、次の方法により座標（HX,HY）を実座標（RHX,RHY,RHZ）に変換する。【００５８】
まず、図８に示すようにカメラ１６１からの距離を「ｄ」とした場合、実座標系における（RHZ）は、例えば、「ｄ」により表されるものとなる。また、例えば、カメラ１６１の水平方向（ｘ方向）の画角を「θ」、垂直方向（ｙ方向）の画角を「Φ」とした場合、当該画角内に映し出されている画像の実空間上での広さは、ｘ方向、ｙ方向に対して各々、
【数４】
2006057131.tif 000005
により表される。ここで、画角「θ」及び「Φ」は、カメラ１６１の製造時に決定可能なものであるため、聴取空間上での「ｄ」さえ特定できれば、フレーム上における座標（HX,HY）を聴取空間上の実座標（RHX,RHY,RHZ）に変換することが可能となるのである。なお、「ｄ」の特定方法については任意であり、例えば、
＜方法１＞
観覧客が立ち入ることのできる位置を事前に決め、当該位置にロープを張る等して距離「ｄ」の値を固定値とする方法や
＜方法２＞
距離「ｄ」を固定値とすることなく、カメラ１６１におけるフォーカシング状態に基づいてカメラ１６１から観覧客までの距離「ｄ」を算出する方法、
等を採用することが可能である。【００５９】
このようにして、実座標（RHX,RHY,RHZ）への変換が完了すると、システム制御部１７は、ＳＰアレイシステム２を構成する各ＳＰユニット２-ｋからステップＳａ１２-１において算出した実座標（RHX,RHY,RHZ）との距離を算出し（ステップＳａ１２-２）、当該算出結果に応じてフィルタ係数を算出する（ステップＳａ１２-３）。【００６０】
この際のシステム制御部１７における処理内容を図９を参照しつつ説明すると次のようになる。まず、実座標（RHX,RHY,RHZ）から、各ＳＰユニット２-ｋまでの距離を算出する。なお、この際の算出方法は任意であり、例えば、各ＳＰユニット２-ｋに対応した実空間上の座標値を予め設定しておき、当該座標から実座標（RHX,RHY,RHZ）との間の距離を算出するようにしても良い。【００６１】
そして、かかる距離の算出が完了すると、システム制御部１７は、最も距離の離れたＳＰユニット２-ｋ（図示の場合、ＳＰユニット２-１）と実座標（RHX,RHY,RHZ）の距離を「L」とした場合に、他のＳＰユニット２-ｋからの距離との差分「Δｌ-ｋ」を各ＳＰユニット２-ｋ毎に算出する。次に、システム制御部１７は、この算出結果を
【数５】
2006057131.tif 000006
（但し、「Ｃ」は音速）に代入し、各ユニットデータの遅延時間、すなわち、各ＳＰユニット２-ｋからの拡声する音声の遅延時間を算出する。また、この際、システム制御部１７は、算出した「Δｌ-ｋ」に基づき拡声された音声の減衰率を算出し、当該算出結果に基づいて各ユニットデータに対応した音圧レベルを決定する。【００６２】
そして、システム制御部１７は、ステップＳａ１２-３において算出したフィルタ係数を信号処理部１３に入力して、信号処理部１３において信号処理を行う際のフィルタ係数を変更し（ステップＳａ１２-４）、処理を終了する。かかる一連の処理が実行される結果、観覧客の移動に伴って、随時、信号処理部１３におけるフィルタ係数が変更され、この結果、音声の焦点が観覧客と展示物Ｅとの間に移動し、あたかも自身と展示品との間に音源が存在するかのごとく認識されることとなる。【００６３】
このようにして、本実施形態にかかる音響再生装置１は、聴取空間内に配置されたＳＰアレイシステム２により音響信号を拡声させる音響再生装置１であって、音響データを取得する外部機器Ｉ／Ｆ部１２と、聴取空間内における聴取者の聴取位置を検出するカメラ１６１を含む撮像部１６及びシステム制御部１７と、検出された聴取位置に対する指向性を制御するためのフィルタ係数を設定するシステム制御部１７と、設定されたフィルタ係数に基づいて音響データに信号処理を施す信号処理部１３と、信号処理の施された音響データに基づきＳＰアレイシステム２を駆動するＤ／Ａ変換部１４及びアンプ部１５とを具備する構成となっている。【００６４】
この構成により、システム制御部１７における処理により取得された聴取位置に基づいてフィルタ係数が決定され、当該フィルタ係数に基づいて音響信号に信号処理が施される。このため、聴取者の聴取位置が変化するような環境下においても、柔軟にフィルタ係数の算出を行い、常に最適なフィルタ特性を得ることが可能となる。【００６５】
また、上記構成においては、ＳＰアレイシステム２を用いる構成としているため、各ＳＰユニット２-ｋ毎の遅延時間等のフィルタ係数を算出し、当該フィルタ係数に基づいて信号処理を行うことにより、ＳＰアレイシステム２から出力される音声の指向性を精密に制御し、最適な音場制御を実現することが可能となる。【００６６】
特に本実施形態にかかる音響再生装置のように、カメラ１６１を用いて聴取空間内をフレーム単位の画像として撮像した場合、画像データに基づいて各フレーム内における聴取位置を正確に特定することが可能となり、フィルタ係数の算出精度の向上を図ることが可能となる。【００６７】
また、かかる構成においてフレーム内における聴取者の顔に対応した領域を特定し、当該顔に対応した領域を聴取位置として検出する方法を採用すれば、顔の周辺に音声の焦点を設けるようなフィルタ係数の算出も可能となる。【００６８】
また更に、フレーム内の肌色の領域を特定し、当該領域を前記聴取者の顔に対応した領域と特定する構成とすれば、聴取者の顔の位置を確実に特定することが可能となる。なお、この場合のＣｒ値及びＣｂ値は１３３乃至１７３（Ｃｒ値）及びが７７乃至１２７（Ｃｂ値）となることは、上述した通りである。【００６９】
更に、肌色の領域と、それ以外の領域とに分けて、各フレームに対応した画像データを２値化した場合、リファレンス画像ｆ３とのマッチング処理時における計算量を削減し、処理の高効率化及び短時間化が図れると共に、肌色領域の特定精度の向上をも図ることも可能となる。【００７０】
更にまた、本実施形態のごとく画像データに基づき各フレーム間における聴取位置の変化を検出し、検出された聴取位置の変化に応じて、随時、フィルタ係数を変更する構成とすれば、聴取者が移動しているような環境下においても、順次、焦点位置を変更し、最適な音場の再現を行うことが可能となる。【００７１】
なお、本実施形態においては、音声アナウンスを内容とする音響データを出力する場合について説明したが、音源出力装置３から出力する音響データの内容は、例えば、音楽や映画音声等、如何なるものであっても良い。【００７２】
また、本実施形態にかかる音響再生システムＳにおいては、上記ステップＳａ１２-３においてフィルタ係数を算出する方法を採用したが、例えば、ＳＰユニット２-ｋと実座標（RHX,RHY,RHZ）との距離の算出結果をフィルタ係数に変換するためのテーブルを設け、当該テーブルに基づいて、フィルタ係数を決定するようにしても良い。【００７３】
また更に、本実施形態においては、信号処理部１３にレベル調整部１３３を設け、フィルタリングを行うことにより、各ユニットデータの音圧レベルを変更する構成とした。しかし、音圧レベルの調節に関しては、アンプ部１５における増幅率を調整することにより変更する構成としても良い。【００７４】
更に、上記実施形態においてＳＰアレイシステム２はＳＰユニット２-ｋを横一列に配置した場合について説明したが、ＳＰユニット２-ｋを縦方向についても配列して、平面的にＳＰユニット２-ｋを配置したＳＰアレイシステム２を構成するようにしても良い。かかる方法を採用した場合、音声の焦点を３次元的に変更することが可能となる。【００７５】
更にまた、上記実施形態においては、１台のカメラ１６１により聴取空間を撮像する方法を採用していたが、複数のカメラにより聴取空間を撮像するようにしても良い。【００７６】
また、上記実施形態においては、複数の観覧客がフレームインした場合に一方の観覧客に音声の焦点を合わせる方法を採用していたが、かかる場合には、フレームの中心位置に音声の焦点を形成するようにしても良い。【００７７】
また更に、上記実施形態においては、ＳＰアレイシステム２を用いた場合について説明したが、フルレンジのスピーカを複数個利用する構成としても良い。この場合であっても、上記と同様の構成により同様の作用効果を奏することが可能となる。【００７８】
更に、上記第１実施形態においては、音響データ分割部１３１において音響データをＳＰアレイシステム２のＳＰユニット２-ｋ数に対応した数に分割し、当該分割して得られたユニットデータを遅延処理部１３２等において信号処理する構成を採用していた。しかし、必ずしも、全ＳＰユニット２-ｋ数のユニットデータに音響データを分割する必要はなく、複数のＳＰユニット２-ｋ毎にＳＰユニット群を構成し、音響データを分割する際にもＳＰユニット群毎に分割して、信号処理を行うようにしても良い。【００７９】
更にまた、上記第１実施形態においては、展示物Ｅの近傍にＳＰアレイシステム２及びカメラ１６１を配置した場合の例について説明した（図２及び図８）。しかし、カメラ１６１については、これに限らず、他の位置に設置するようにしても良い。例えば、カメラ１６１を部屋の上部に設置し、部屋の上部から聴取空間を撮像することにより、座標を算出して、当該算出された座標値に基づいてフィルタ係数を決定するようにすることも可能である。【００８０】
また、上記第１実施形態においては、カメラ１６１を用いて撮像された画像中において「Ｃｒ」＝１３３〜１７３且つ「Ｃｂ」＝７７〜１２７の間に分布する画素を肌色の領域として抽出する方法が採用されていた。しかし、この「Ｃｒ」、「Ｃｂ」の値を適切な値に設定することにより、例えば、人種の異なる聴取者の位置を特定するようにすることも可能である。【００８１】
［１．３］変形例
（１）変形例１-１
上記実施形態においては、フレーム毎に聴取者の位置の変化を検出し、フィルタ係数の変更を行う構成が採用されていた。しかし、フィルタ係数の変更は、例えば、音声アナウンスの区切りをもって行うようにしても良い。この方法を採用する場合、上記図５ステップＳａ１１の後、フィルタ係数の変更タイミングとなっているか否かを判定し、この判定において「ｎｏ」と判定した場合にはステップＳａ１２の処理を行うことなくステップＳａ１３の処理を行う一方、「ｙｅｓ」と判定した場合にはステップＳａ１２の処理を行うようにすれば良い。【００８２】
（２）変形例１-２
上記第１実施形態においては、単純にフレーム毎に２値化画像ｆ２を生成し、当該２値化画像ｆ２とリファレンス画像ｆ３とを比較して、観覧客の顔がフレームインしているか否かを判定する構成を採用していた。しかし、次のような方法を採用することにより、更に、顔領域の特定精度を向上させることが可能となる。【００８３】
まず、一般に人間の顔の領域は体の中で、最も上部に存在しているものと考えられる。よって、撮像される画像中において下側の領域に顔が存在している可能性は低いものと想定できる。そこで、各フレームに対応した画像を複数の領域に分割し、例えば、顔が写り込む可能性の高い領域と低い領域とに分けて各領域毎に重み付けを行う。そして、顔と判定される領域が複数存在する場合、当該重み付けに、従って、何れの領域を優先すべきかを決定するようにするのである。これにより、例えば、観覧客の持っている鞄が肌色を呈しているような場合であっても確実に顔の領域を特定することが可能となる。【００８４】
なお、この場合における領域分割の方法及び重み付けの方法については任意である。【００８５】
（３）変形例１-３
上記実施形態においてシステム制御部１７は、２値化画像ｆ２とリファレンス画像ｆ３を比較することにより観覧客の顔の領域を特定し、この顔に対応する領域に基づいて座標(HX,HY)を算出する方法を採用していた。これは、実際には顔がフレームインしていないにもかかわらず、当該領域が顔であるものと認識されて、フィルタ係数が変更されることを防止するためであった。【００８６】
しかし、フィルタ係数が変更されてしまうことを防止する必要性がない場合、次のような方法を採用することも可能である。すなわち、上記図４のステップＳａ８においてリファレンス画像ｆ３に基づいて顔と推定される領域を判別した結果、当該領域が存在しないものと判定した場合、ステップＳａ１３に処理を進めるのではなく、２値化画像ｆ２において「１」となっている画素が所定数以上集中している領域において最も上に存在している領域を顔として特定し、ステップＳａ１０においては当該領域に基づいて座標(HX,HY)を算出するのである。【００８７】
この方法を採用すればリファレンス画像ｆ３により定義される領域よりも顔の小さな観覧客についても確実に顔領域を特定することが可能となる。【００８８】
（４）変形例１-４
上記第１実施形態において音響再生システムＳは、美術館等の施設に設置される場合を例に説明を行ったが家庭用の音響再生システムにも上記方法を適用することが可能である。【００８９】
この場合、音響再生システムＳにおいて再生される音声は、上記実施形態のようにモノラルの音声ではなく、２ｃｈ或いは５．１ｃｈとされるのが通常である。このような多ｃｈの音響データに対して上記と同様の処理を行う場合、信号処理部１３の構成を図１０に示すようなものに変更することが必要となる。なお、図１０は、５．１ｃｈの音響データに対して信号処理を施す場合の構成例を示す図である。【００９０】
同図に示すように、かかる構成とした場合、音響データの各ｃｈに対応した成分毎（すなわち、フロントライト、フロントレフト、センター、サラウンドライト、サラウンドレフト、サブウーファー毎）に、音響データ分割部１３１ＦＲ、ＦＬ、Ｃ、ＳＲ、ＳＬ、ＳＷと、遅延処理部１３２ＦＲ、ＦＬ、Ｃ、ＳＲ、ＳＬ、ＳＷと、レベル調整部１３３ＦＲ、ＦＬ、Ｃ、ＳＲ、ＳＬ、ＳＷと、を設けることが必要となる。そして、信号処理部１３において信号処理を行う場合には、各ｃｈ毎に音響データを分割し、各ユニットデータ毎に遅延処理及び音圧レベルの調整を行うのである。【００９１】
また、この場合、信号処理部１３にはＳＰユニット２-ｋと同数の加算回路Ｐ-ｋ（１，２，・・・，ｎ）を設け、この加算回路Ｐ-ｋにおいて各ｃｈのユニットデータをＳＰユニット２-ｋ毎に加算する構成とすることが必要となる。かかる構成を採用することにより、各ｃｈの音響データに対して別個に遅延処理及び音圧レベルの調整が施された後、各ＳＰユニット２-ｋ毎に各ｃｈのユニットデータが加算されて、Ｄ／Ａ変換部１４に出力されることとなる。【００９２】
一方、このように信号処理部１３の構成が異なるため、上記図５ステップＳａ１２において実行する処理内容も変更することが必要となってくる。すなわち、システム制御部１７においてフィルタ係数を算出する際にも、各フィルタにおけるフィルタ係数を算出し、この算出した係数を信号処理部１３に入力することが必要となるのである。 【００９３】
なお、他の構成及び動作に関しては、上述した第１実施形態と同様であるため、詳細は省略する。【００９４】
このようにして、本変形例にかかる音響再生システムＳによれば、多ｃｈの音響データを再生するシステムを構築した場合であっても、聴取者の位置を画像から推定し、当該位置に音声の焦点を生成することが可能となり、例えば、家庭等において音響再生システムＳを利用する場合においても煩雑な測定作業を行うことなく信号処理時のフィルタ係数を変更することが可能となる。【００９５】
なお、上記変形例１-４においてカメラ１６１の設置位置については任意であり、ＳＰアレイシステム２の近傍に設置するようにしてもよいし、音響再生システムＳの設置されている部屋の上部にカメラ１６１を設置するようにしても良い。【００９６】
また、本変形例においては、次のような応用を行うことも可能である。【００９７】
まず、音響再生装置１に聴取位置の履歴を記録するためのメモリを設ける。そして、システム制御部１７が、実座標（RHX,RHY,RHZ）を算出した場合に、当該算出した実座標（RHX,RHY,RHZ）を履歴として、このメモリ上に記録しておくようにする。そして、聴取空間内に誰も聴取者がいないような場合に、聴取位置の履歴、すなわち、実座標（RHX,RHY,RHZ）の履歴に基づいて、平均的な聴取位置を統計的に算出し、当該位置を聴取位置としてフィルタ係数を算出し、当該算出されたフィルタ係数に基づいて信号処理を行うのである。また、この場合において、聴取位置の履歴の管理方法としては、実座標（RHX,RHY,RHZ）そのものを用いて、聴取位置を管理するのではなく、聴取空間内を幾つかの領域に分割し、各領域毎に履歴を管理するようにすることも可能である。具体的には、聴取位置とされた実座標（RHX,RHY,RHZ）の属する領域を履歴としてメモリに記録し、聴取空間内に誰も聴取者がいないような場合に、最も聴取位置として設定されていたことの多い領域を特定する。そして、当該領域において、例えば、所定の位置（例えば、中心点）を予め定めておき、当該位置を聴取位置としてフィルタ係数を算出するのである。【００９８】
かかる方法を採用した場合、聴取位置の履歴に基づいて自動的に聴取位置と仮定される位置を特定し、当該位置において最適な音場が再現されるように、自動的にフィルタ係数を設定することが可能となる。【００９９】
［２］第２実施形態
［２．１］第２実施形態の構成及び動作
図１１は、本実施形態にかかる音響再生システムＳ２の構成を示すブロック図である。なお、同図において上記図１と同様の要素については、図１と同様の符号を付してある。【０１００】
ここで、上記第１実施形態にかかる音響再生システムＳは、音響再生装置１の電源をオンにした時点で音声アナウンスの再生を開始し、その後、音声アナウンスの再生を継続する構成を採用していた。これに対して、本実施形態にかかる音響再生システムＳは、観覧客がフレームインした時点で音源出力装置３-ｌ（ｌ＝１，２，・・・，ｍ）に音響データの再生を開始させ、当該観覧客がフレームアウトした時点で音響データの再生を停止させる構成を採用している。また、この音響再生システムＳ２においては、複数の観覧客が同時にフレームインした場合に各観覧客に対して別個の音声アナウンスを行うと共に、各観覧客の聴取位置において最適な音場が再現されるように、音声の指向性が制御される。【０１０１】
かかる機能を実現するため、本実施形態にかかる音響再生装置１において外部機器Ｉ／Ｆ部１２には複数の接続端子が設けられており、複数の音源出力装置３-ｌが接続されている。これら複数の音源出力装置３-ｌにおける音響データの再生及び停止は、観覧客のフレームイン及びフレームアウトの検出結果に基づき音響再生装置１のシステム制御部１７によって制御される。また、各音源出力装置３-ｌから供給される音響データは、各々、別個のパスを介して信号処理部１３に入力されて、各々異なる信号処理が施された後、Ｄ／Ａ変換部１４に供給される。【０１０２】
このように本実施形態においては各音源出力装置３-ｌから供給される音響データに対して別個の信号処理を施すことが必要となるため、信号処理部１３は上記図３と異なる回路構成を有するものとなっている。具体的には、本実施形態において信号処理部１３は、上記図１０に示した構成のごとく、音源出力装置３-ｌに対応した数（すなわち、「ｍ」）の音響データ分割部１３１と、遅延処理部１３２と、レベル調整部１３３と、が設けられているのである。そして、各音源出力装置３-ｌから出力された音響データは、各々に対応した音響データ分割部１３１によってユニットデータへと分割され、信号処理が施された後、加算回路Ｐによって各ＳＰユニット２-ｋ毎に加算されて、Ｄ／Ａ変換部１４に出力される。【０１０３】
かかる構成を有する音響再生システムＳ２において、音響再生装置１の電源がオンとなるとシステム制御部１７は図１２及び図１３に示す処理を開始する。なお、図１２及び図１３は共にシステム制御部１７が実行する処理であり、これらの図において上述した図４及び図５と同様の処理については同様のステップ番号を付してある。【０１０４】
この処理においてシステム制御部１７は、上記図４に示す処理と同様に、まず、背景画像取得処理（ステップＳａ１）を実行し、背景画像データを生成した後、ステップＳａ３を実行して現フレームに対応した画像データを取得し、ステップＳａ４及びステップＳａ５して、観覧客が現フレーム内にフレームインしているか否かを判定する。【０１０５】
そして、この判定において「ｎｏ」と判定した場合、システム制御部１７は既に音源出力装置３-ｌにおいて音響データが再生されているか否かを判定して（ステップＳａ１０１）、「ｎｏ」と判定すると、そのまま処理をステップＳａ１３に移行するのに対して、「ｙｅｓ」と判定すると既に再生されている音響データを再生を停止した後（ステップＳａ１０２）、ステップＳａ１３に処理を移行する。この結果、例えば、観覧客が音声アナウンスの途中段階でフレームアウトすると音響データの再生が停止されることとなる。【０１０６】
一方、ステップＳａ５において「ｙｅｓ」と判定した場合、システム制御部１７はステップＳａ６〜Ｓａ９の処理を実行する。そして、このステップＳａ９において「ｎｏ」と判定した場合、システム制御部１７は、ステップＳａ１３の処理を実行する。【０１０７】
これに対して、ステップＳａ９において「ｙｅｓ」と判定した場合、システム制御部１７は、顔領域を特定するための座標（HX,HY）を算出する（ステップＳａ１０）。また、この際、顔に対応する領域が複数存在することがある。かかる場合に、システム制御部１７は、各領域毎に座標（HX,HY）を算出する。【０１０８】
次いで、システム制御部１７は、この算出した全ての座標（HX,HY）中にフレームインしたもの及びフレームアウトしたものが存在するか否かを判定する（ステップＳａ１０３）。この際、システム制御部１７は、ステップＳａ１０において算出した座標(HX,HY)中
に一つでも前フレーム中に存在していなかったものが存在する場合には、「ｙｅｓ」と判定する。【０１０９】
なお、この際、システム制御部１７がフレームイン、或いは、フレームアウトした座標(HX,HY)が存在するか否かを判定する方法は任意であるが、本実施形態においては次の方法を採用するものとして説明を行う。
＜判定方法＞
まず、フレーム間における座標値の変化量に閾値を設け、当該閾値の範囲内において変化した座標(HX,HY)を前フレームにおける座標(HX,HY)と対応付けて記録し、各座標(HX,HY)の変化状態の履歴を管理する。そして、各座標(HX,HY)が現フレームにおいてフレームアウトしたか否かを予測する。また、履歴管理されていない座標(HX,HY)についてはフレームインしたものとして取り扱う。【０１１０】
以上の処理を経て、ステップＳａ１０３において「ｙｅｓ」と判定した場合、システム制御部１７は、再生制御処理を実行する（ステップＳａ１０４）。具体的には、システム制御部１７は、新たにフレームインした座標(HX,HY)に対して音源出力装置３-ｌを割り振ると共に、信号処理部１３の音響データ分割部１３１を割り振り、この割り振った音源出力装置３-ｌに対して制御信号を出力し、音響データの再生をスタートさせる。また、フレームアウトした座標(HX,HY)が存在する場合、システム制御部１７は、当該座標(HX,HY)に対して割り振っていた音源出力装置３-ｌに対して制御信号を出力し、音響データの再生を停止させるのである。【０１１１】
このようにして、再生制御処理が完了すると、システム制御部１７はＳＰアレイシステム２の設定処理を実行した後（ステップＳａ１０５）、ステップＳａ１３の処理を実行する。この際、システム制御部１７は、各座標(HX,HY)毎にフィルタ係数を算出し、この算出したフィルタ係数を各々対応する遅延処理部１３２及びレベル調整部１３３に入力しフィルタ係数を変更させるのである。なお、他の点については、上記図７と同様である。【０１１２】
これに対して、ステップＳａ１０３において「ｎｏ」と判定すると、システム制御部１７は、再生制御処理（ステップＳａ１０４）を実行することなくステップＳａ１０５を実行した後、ステップＳａ１３の処理を実行する。このようにして、信号処理部１３におけるフィルタ係数が変更されることにより各観覧客の周辺に焦点が形成され、最適な音場が再現されることとなる。【０１１３】
このようにして、本実施形態にかかる音響再生システムＳ２においては、複数の観覧客がフレームインした場合であっても、各観覧客に対して適切な音場を提供することが可能となる。また、かかる構成を採用する場合、観覧客がフレームインしていない状態においては、音声アナウンスが停止されている状態となるため、消費電力を削減することも可能となる。【０１１４】
［２．２］第２実施形態の変形例
上記第２実施形態においては、各観覧客の移動速度については考慮していなかった。しかし、上記第２実施形態と同様の構成により各座標(HX,HY)の変化履歴を管理し、座標の移動速度を算出して、次のような制御を行うことも可能である。すなわち、座標(HX,HY)の移動速度が所定の閾値を越えているような場合に、当該座標(HX,HY)に対して割り振られている音源出力装置３における音響データの再生を停止する構成とするのである。かかる構成を採用した場合、例えば、展示物Ｅに対して興味を有していない、観覧客に対しては音声アナウンスを行わない等の制御を行うことも可能となる。【０１１５】
また、かかる方法を採用する場合、停止時間の長い観覧客に対しては、より詳細な内容の音声アナウンスを行うようにすることも可能である。
【図１】
2006057131.tif 000007
【図２】
2006057131.tif 000008
【図３】
2006057131.tif 000009
【図４】
2006057131.tif 000010
【図５】
2006057131.tif 000011
【図６】
2006057131.tif 000012
【図７】
2006057131.tif 000013
【図８】
2006057131.tif 000014
【図９】
2006057131.tif 000015
【図１０】
2006057131.tif 000016
【図１１】
2006057131.tif 000017
【図１２】
2006057131.tif 000018
【図１３】
2006057131.tif 000019
【手続補正書】
【提出日】平成18年8月25日(2006.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】請求の範囲
【請求項１】  聴取空間内に配置された複数のスピーカにより音響信号を拡声させる音響再生装置であって、
前記複数のスピーカは、配置位置が予め固定されたスピーカアレイを構成し、
前記音響信号を取得する取得手段と、
前記聴取空間内における聴取者の聴取位置を検出する検出手段と、
前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、
前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、
前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、
を具備することを特徴とする音響再生装置。
【請求項２】  前記信号処理手段は、所定数の前記スピーカによって構成されるスピーカ群と同数に前記音響信号を分割した後、当該分割された音響信号の各々に対して信号処理を行い、
前記設定手段は、前記スピーカ群毎に前記再生条件を設定する
ことを特徴とする請求項１に記載の音響再生装置。
【請求項３】  前記検出手段は、前記聴取空間内をフレーム単位の画像として撮像するカメラを更に有し、
前記カメラにより撮像された画像に対応する画像データに基づいて前記聴取位置を検出することを特徴とする請求項１に記載の音響再生装置。
【請求項４】  前記検出手段は、前記フレーム内における前記聴取者の顔に対応した領域を特定し、当該顔に対応した領域を前記聴取位置として検出することを特徴とする請求項３に記載の音響再生装置。
【請求項５】  前記検出手段は、フレーム内の肌色の領域を特定し、当該領域を前記聴取者の顔に対応した領域と特定することを特徴とする請求項４に記載の音響再生装置。
【請求項６】  前記検出手段は、Ｃｒ値が１３３乃至１７３、且つ、Ｃｂ値が７７乃至１２７となっている画素を肌色の画素と特定し、当該画素が所定数以上集合した領域を前記肌色の領域と特定することを特徴とする請求項５に記載の音響再生装置。
【請求項７】  前記検出手段は、前記肌色の領域と、それ以外の領域とに分けて、前記各フレームに対応した画像データを２値化した後、前記聴取者の顔に対応した領域を特定することを特徴とする請求項５に記載の音響再生装置。
【請求項８】  前記検出手段は、前記画像データに基づき前記各フレーム間における前記聴取位置の変化を検出し、
前記設定手段は、前記検出された前記聴取位置の変化に応じて、随時、前記再生条件を変更することを特徴とする請求項３に記載の音響再生装置。
【請求項９】  前記検出手段は、前記聴取位置の変化に基づいて前記聴取者の移動速度を算出し、
前記取得手段は、前記移動速度に応じて取得する音響信号の内容を変化させることを特徴とする請求項８に記載の音響再生装置。
【請求項１０】  前記検出手段は、前記画像データに基づき前記聴取者が前記フレーム内に存在するか否かを検出し、
前記取得手段は、前記検出手段において前記聴取者が存在しているものと検出された場合にのみ前記音響信号を取得することを特徴とする請求項３に記載の音響再生装置。
【請求項１１】  前記信号処理手段は、同時に取得される同一もしくは異なる前記音響信号に対して、各々異なる信号処理を施すための複数のフィルタを有し、
前記検出手段は、前記フレーム内に複数の前記聴取者が写し出された場合に、前記画像データに基づき前記複数の聴取者の各々に対応する複数の聴取位置を検出し、
前記設定手段は、前記検出された複数の聴取位置の各々に基づいて前記信号処理手段の各フィルタにおけるフィルタ係数を設定することを特徴とする請求項３に記載の音響再生装置。
【請求項１２】  前記取得手段は、２チャンネル以上の前記音響信号を取得し、
前記設定手段は、前記検出された聴取位置に基づいて前記各チャネル毎の前記再生条件を設定することを特徴とする請求項１に記載の音響再生装置。
【請求項１３】  聴取空間内に配置された複数のスピーカと、前記スピーカにより音響信号を拡声させる音響再生装置と、を備え、
前記複数のスピーカは、配置位置が予め固定されたスピーカアレイを構成し、
前記音響再生装置は、
前記音響信号を取得する取得手段と、
前記聴取空間内における聴取者の聴取位置を検出する検出手段と、
前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、
前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、
前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、
を具備することを特徴とする音響再生システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
するには、マイクロホンをユーザが常に装着する必要があり、現実的ではない。
［０００５］  本願は以上説明した事情に鑑みてなされたものであり、その課題の一例としては、聴取者の聴取位置が変化した場合であっても柔軟にフィルタ係数の算出を行い、最適なフィルタ特性を得ることが可能な音響再生装置及び音響再生システムを提供することを目的とする。
【課題を解決するための手段】
［０００６］  上述した課題を解決するため、本願の一つの観点において請求項１に記載の音響再生装置は、聴取空間内に配置された複数のスピーカにより音響信号を拡声させる音響再生装置であって、前記複数のスピーカは、配置位置が予め固定されたスピーカアレイを構成し、前記音響信号を取得する取得手段と、前記聴取空間内における聴取者の聴取位置を検出する検出手段と、前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、を具備することを特徴とする。
［０００７］  また、本願の他の観点において請求項１３に記載の音響再生システムは、聴取空間内に配置された複数のスピーカと、前記スピーカにより音響信号を拡声させる音響再生装置と、を備え、前記複数のスピーカは、配置位置が予め固定されたスピーカアレイを構成し、前記音響再生装置は、前記音響信号を取得する取得手段と、前記聴取空間内における聴取者の聴取位置を検出する検出手段と、前記検出された聴取位置に対する指向性を制御するための再生条件を設定する設定手段と、前記取得された音響信号に対して前記再生条件に基づく信号処理を施す信号処理手段と、前記信号処理の施された前記音響信号に基づき前記複数のスピーカを駆動する駆動手段と、を具備することを特徴とする。
【図面の簡単な説明】
［０００８］［図１］第１実施形態における音響再生システムＳの構成を示すブロック図である。
［図２］同実施形態におけるＳＰアレイシステム２及びカメラ１６１の設置例を示す図である。
［図３］同実施形態における信号処理部１３の具体的な構成を示すブロック図である。
［図４］同実施形態においてシステム制御部１７が実行する処理を示すフローチャート
【国際調査報告】
2006057131.tif 000020
2006057131.tif 000021
2006057131.tif 000022
2006057131.tif 000023
2006057131.tif 000024
2006057131.tif 000025
2006057131.tif 000026
2006057131.tif 000027