(57)【要約】【課題】正確な定位位置の指定を容易にする。【解決手段】音響装置１は、制御部４がライダ７から取得した点群情報に基づき生成した車室内の三次元空間画像を生成して取得し、定位位置の指定を受け付け可能なタッチパネル５から定位位置の指定を受け付けるために三次元空間画像を表示部６へ出力する。【選択図】図１
2019193108.tif 000002
【特許請求の範囲】
【請求項１】
複数スピーカから発せられる音により形成される所定空間内の音像を前記所定空間の特定位置に定位させる定位制御部を備える音響装置であって、
前記所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得部と、
前記特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得部が取得した前記三次元空間画像を表示部へ出力する出力部と、
を備えることを特徴とする音響装置。
【請求項２】
前記三次元空間画像は、逐次更新され、
前記出力部は、更新された前記三次元空間画像を出力することを特徴とする請求項１に記載の音響装置。
【請求項３】
前記取得部が取得した前記三次元空間画像内の人物を識別する識別部を更に備え、
前記出力部は、前記人物が識別された前記三次元空間画像を出力し、
前記受付部は、前記人物の指定が可能であり、
前記定位制御部は、前記受付部で前記人物が指定された場合は、指定された前記人物に対応する位置に前記音像を定位させる、
ことを特徴とする請求項１または２に記載の音響装置。
【請求項４】
前記識別部は、複数の前記三次元空間画像から前記人物の頭部の位置の変化を検出し、
前記定位制御部は、前記受付部で前記人物が指定された場合は、前記識別部で検出された前記頭部の位置の変化に基づいて前記頭部に前記音像の定位位置を追従させることを特徴とする請求項３に記載の音響装置。
【請求項５】
前記センサは、前記所定空間内に電磁波を出射して当該所定空間内の物体によって反射された電磁波を受信することで前記物体までの距離を測定可能となっていることを特徴とする請求項１から４のうちいずれか一項に記載の音響装置。
【請求項６】
前記音響装置は車両に設置され、前記所定空間は車室空間であることを特徴とする請求項請求項１から５のうちいずれか一項に記載の音響装置。
【請求項７】
所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得部と、
前記所定空間の特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得部が取得した前記三次元空間画像を表示する表示部と、
前記受付部で受け付けた前記特定位置を複数スピーカから発せられる音により形成される音像を定位させる位置の情報として出力する出力部と、
を備えることを特徴とする端末装置。
【請求項８】
複数スピーカから発せられる音により形成される所定空間内の音像を前記所定空間の特定位置に定位させる音響装置で実行される音響制御方法であって、
前記所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得工程と、
前記特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得工程で取得した前記三次元空間画像を表示部へ出力する出力工程と、
を含むことを特徴とする音響制御方法。
【請求項９】
請求項８に記載の音響制御方法を、コンピュータにより実行させることを特徴とする音響制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数スピーカから発せられる音により形成される所定空間内の音像を、その所定空間の特定位置に定位させる音響装置に関する。
【背景技術】
【０００２】
例えば車載のオーディオシステムにおいて、複数のスピーカ各々の出力に遅延時間差を与えることにより、音像の定位位置を制御することは既に知られている。
【０００３】
特許文献１には、定位位置受付ウインドウ３００のダッシュボード画像３５０上の位置入力に応じて定位位置の指定を受け付け、受け付けた定位位置に音像が定位するように各スピーカ３に出力するオーディオ信号の遅延時間を設定することが記載されている。また、定位位置の指定は車両水平方向のレイアウト画像である車内レイアウト画像８５０を表示して定位位置の指定を受け付けることも記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９６９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明の場合、２次元的な位置で定位位置を指定しているため、例えば、車両の幅方向、高さ方向、奥行き方向うち、１方向については指定ができず、正確な定位位置の指定が困難であった。
【０００６】
本発明が解決しようとする課題としては、正確な定位位置の指定を容易にすることが一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、複数スピーカから発せられる音により形成される所定空間内の音像を前記所定空間の特定位置に定位させる定位制御部を備える音響装置であって、前記所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得部と、前記特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得部が取得した前記三次元空間画像を表示部へ出力する出力部と、を備えることを特徴としている。
【０００８】
請求項７に記載の発明は、所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得部と、前記所定空間の特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得部が取得した前記三次元空間画像を表示する表示部と、前記受付部で受け付けた前記特定位置を複数スピーカから発せられる音により形成される音像を定位させる位置の情報として出力する出力部と、を備えることを特徴としている。
【０００９】
請求項８に記載の発明は、複数スピーカから発せられる音により形成される所定空間内の音像を前記所定空間の特定位置に定位させる音響装置で実行される音響制御方法であって、前記所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した前記所定空間の三次元空間画像を取得する取得工程と、前記特定位置の指定を受け付け可能な受付部から前記特定位置の指定を受け付けるために前記取得工程で取得した前記三次元空間画像を表示部へ出力する出力工程と、を含むことを特徴としている。
【００１０】
請求項９に記載の発明は、請求項８に記載の音響制御方法を、コンピュータにより実行させることを特徴としている。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施例にかかる音響装置を有するシステムの機能構成図である。
【図２】図１に示された音響装置の動作のフローチャートである。
【図３】三次元空間画像の例の図である。
【図４】図３に示された三次元空間画像について車室を横から見た視点で表示した図である。
【図５】図３に示された三次元空間画像について車室を前方から見た視点で表示した図である。
【図６】本発明の第２の実施例にかかる音響装置を有するシステムの機能構成図である。
【図７】図６に示された音響装置の動作のフローチャートである。
【図８】本発明の第３の実施例にかかる音響装置の動作を示したフローチャートである。
【図９】人物を識別して表示した例の図である。
【図１０】人物に追従する動作の説明図である。
【図１１】本発明の第４の実施例にかかる音響装置の動作を示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態にかかる音響装置を説明する。本発明の一実施形態にかかる音響装置は、取得部が所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した所定空間の三次元空間画像を取得し、出力部が特定位置の指定を受け付け可能な受付部から特定位置の指定を受け付けるために取得部が取得した三次元空間画像を表示部へ出力する。このようにすることにより、表示部に表示された三次元空間画像に基づいて音像を定位させる特定位置の指定が可能となり、所定空間を再現した三次元空間画像により正確な定位位置の指定を容易にすることができる。
【００１３】
また、三次元空間画像は、逐次更新され、出力部は、更新された三次元空間画像を出力するようにしてもよい。このようにすることにより、所定空間内における人物の出入りや位置の変化等に対応した三次元空間画像に基づいて特定位置の指定をすることができる。
【００１４】
また、取得部が取得した三次元空間画像内の人物を識別する識別部を更に備え、出力部は、人物が識別された三次元空間画像を出力し、受付部は、人物の指定が可能であり、定位制御部は、受付部で人物が指定された場合は、指定された人物に対応する位置に音像を定位させてもよい。このようにすることにより、例えば車両の車室内の座席に人物が着席していた場合は、その人物を指定することで、当該人物に対応する位置に音像を定位させることが可能となる。
【００１５】
また、識別部は、複数の三次元空間画像から人物の頭部の位置の変化を検出し、定位制御部は、受付部で人物が指定された場合は、識別部で検出された頭部の位置の変化に基づいて頭部に音像の定位位置を追従させるようにしてもよい。このようにすることにより、例えば顔の向きや座席の角度等が変化した場合であっても、それらに応じて音像の定位位置を追従させることができる。
【００１６】
また、センサは、所定空間内に電磁波を出射して当該所定空間内の物体によって反射された電磁波を受信することで物体までの距離を測定可能となっていてもよい。このようにすることにより、所謂ライダ（ＬｉＤＡＲ；Light Detection And Ranging）により取得された点群情報に基づいて三次元空間画像を生成することができる。
【００１７】
また、音響装置は車両に設置され、所定空間は車室空間であってもよい。このようにすることにより、車両の車室空間の音像を特定位置に定位させることができる。
【００１８】
また、本発明の一実施形態にかかる端末装置は、取得部が所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した所定空間の三次元空間画像を取得し、表示部が所定空間の特定位置の指定を受け付け可能な受付部から特定位置の指定を受け付けるために取得部が取得した三次元空間画像を表示する。そして、出力部が受付部で受け付けた特定位置を複数スピーカから発せられる音により形成される音像を定位させる位置の情報として出力する。このようにすることにより、表示部に表示された三次元空間画像に基づいて音像を定位させる特定位置の指定が可能となり、所定空間を再現した三次元空間画像により端末装置から正確な定位位置の指定を容易にすることができる。
【００１９】
また、本発明の一実施形態にかかる音響制御方法は、取得工程で所定空間の三次元情報を取得可能なセンサから取得した三次元情報に基づき生成した所定空間の三次元空間画像を取得し、出力工程で特定位置の指定を受け付け可能な受付部から特定位置の指定を受け付けるために取得部が取得した三次元空間画像を表示部へ出力する。このようにすることにより、表示部に表示された三次元空間画像に基づいて音像を定位させる特定位置の指定が可能となり、所定空間を再現した三次元空間画像により正確な定位位置の指定を容易にすることができる。
【００２０】
また、上述した音響制御方法を、コンピュータにより実行させてもよい。このようにすることにより、コンピュータを用いて、表示部に表示された三次元空間画像に基づいて音像を定位させる特定位置の指定が可能となり、正確な定位位置の指定を容易にすることができる。
【実施例１】
【００２１】
本発明の第１の実施例にかかる音響装置を図１〜図５を参照して説明する。音響装置１０は、例えば自動車等の車両に搭載されている。音響装置１０を有する音響システムの機能的構成を図１に示す。音響システムは、オーディオ機器１と、を遅延調整部２（２Ｒ、２Ｌ）と、スピーカ３（３Ｒ、３Ｌ）と、制御部４と、タッチパネル５と、表示部６と、ライダ７と、備えている。また、音響システムは、本実施例では、車両に搭載されて、所定の空間としての車室内の音響を制御する。
【００２２】
オーディオ機器１は、ＣＤプレイヤ、メモリーオーディオ、ラジオチューナ或いはストリーミング配信の受信装置などのユーザの聴取の目的となるオーディオ信号を出力する機器である。
【００２３】
遅延調整部２は、本実施例では、左チャンネル用の遅延調整部２Ｌと右チャンネル用の遅延調整部２Ｒからなる。遅延調整部２Ｌは、オーディオ機器１から左チャネルのスピーカ３Ｌに出力される左チャネルのオーディオ信号を設定された遅延時間だけ遅延させる。遅延調整部２Ｒは、オーディオ機器１から右チャネルのスピーカ３Ｒに出力される右チャネルオーディオ信号を設定された遅延時間だけ遅延させる。
【００２４】
制御部４は、生成部４１と、音像制御部４２と、を備えている。制御部４１は、例えばＣＰＵを有するマイクロコンピュータで構成されている。生成部４１と、音像制御部４２と、はＣＰＵで実行されるコンピュータプログラムの機能として実現すればよい。
【００２５】
生成部４１は、ライダ７が出力した点群情報に対して周知の方法によりポリゴン等によってモデリングをして三次元空間画像を生成する。即ち、制御部４は、点群情報に基づき三次元空間画像を生成して取得する取得部として機能する。また、生成部４１は、生成した三次元空間画像を表示部６に出力して表示部６に表示させる。即ち、制御部４（生成部４１）は、三次元空間画像を表示部６へ出力する出力部として機能する。
【００２６】
音像制御部４２は、タッチパネル５においてタッチされた位置座標を取得し、その位置座標に対応する三次元空間画像上の三次元座標（ｘ，ｙ，ｚ）を特定する。そして、特定された三次元座標に対応する現実の空間における位置にスピーカ３Ｌ、３Ｒから発せられる音により形成される音像を定位させるように遅延調整部２Ｌ、２Ｒの遅延量を調整して設定する。即ち、制御部４（音像制御部４２）は、スピーカ３Ｌ、３Ｒから発せられる音により形成される車室内の音像を特定位置に定位させる定位制御部として機能する。
【００２７】
タッチパネル５は、表示部６の表示面上に重ねるように配置されている。タッチパネル５は、例えば手指等で触れた位置の二次元座標が出力される周知の入力装置である。表示部６は、例えば液晶ディスプレイ等で構成されている。表示部６は、制御部４で生成された三次元空間画像等が表示される。なお、本実施例では、タッチパネル５は、表示部６の表示面上に重ねるように配置されているが、表示部６がダッシュボード上に配置され、タッチパッドとしてシフトレバーの近傍やステアリングホイール等に設けられているような、それぞれが分かれて配置されている形態であってもよい。
【００２８】
ライダ７は、所定空間として車室内あるいは車室内を走査できる位置に設置されている。ライダ７は、当該ライダ７が走査する周囲に存在する物体を認識するセンサであり、ＬｉＤＡＲ（Light Detection And Ranging）とも表記される。ライダ７は、レーザ光等の電磁波を照射してその電磁波の反射波（反射光）により、走査範囲に存在する物体までの方向と距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ７で認識された点群は三次元情報としての点群情報として出力される。
【００２９】
ライダ７は、１つに限らず、複数設置されていてもよい。ライダ７の数や設置位置は、例えば車両であれば、対象となる車室空間の大きさに応じて適宜定めればよい。
【００３０】
ここで、上述した遅延調整部２と、制御部４と、は本実施例にかかる音響装置１０として機能する。
【００３１】
次に、上述した構成の音響装置１０の動作（音響制御方法）について図２〜図５を参照して説明する。図２に示したフローチャートは制御部４で実行される。また、図２に示したフローチャートを制御部４が有するＣＰＵで実行するプログラムとして構成することで音響制御プログラムとすることができる。
【００３２】
まず、ステップＳ１１において、生成部４１は、点群情報をライダ７から取得する。次に、ステップＳ１２において、生成部４１は、上述したように、ライダ７から取得した点群情報に対して周知の方法によりポリゴン等によってモデリングをして三次元空間画像を生成する。ライダ７が複数ある場合は、複数の点群情報を合成して三次元空間画像を生成してもよい。三次元空間画像の例を図３に示す。図３は、車両の車室内を左前方斜め上方の視点から見た三次元空間画像である。図３に示したのは左前方斜め上方からの視点であるが、タッチパネル５からの操作により回転やズームイン、ズームアウト等、任意の視点に変更可能となっている。
【００３３】
次に、ステップＳ１３において、生成部４１は、ステップＳ１２で生成した三次元空間画像を表示部６に表示させる。
【００３４】
次に、ステップＳ１４において、音像制御部４２は、タッチパネル５から音像を定位させる特定位置（以下、単に定位位置という）の指定を取得する（受け付ける）。ここで、表示部６に表示された三次元空間画像から定位位置を示す座標位置の特定方法について説明する。図３に示したような視点の三次元空間画像において、例えば運転席の位置をタッチして指定したとしても、表示部６における表示は二次元であるので、そのままでは正確な三次元の座標（ｘ，ｙ，ｚ）を特定するのは困難である。そこで、本実施例では、まずは、図４に示したような車室を横から見た視点で表示して、ユーザにタッチパネル５をタッチさせることで、定位位置Ｐの車両の奥行き方向と高さ方向における位置を指定してもらい、次に、図５に示したような車室を前方から見た視点で表示して、ユーザにタッチパネル５をタッチさせることで、定位位置Ｐの車両の幅方向における位置をユーザに指定してもらう。このようにして、三次元空間画像における指定された定位位置の三次元の座標を特定する。
【００３５】
なお、図４と図５の表示順序は逆でもよい。図４と図５の表示順序は逆にした場合は、図５の表示において定位位置Ｐの車両の幅方向と高さ方向の位置をユーザに指定してもらい、続く図４の表示において定位位置Ｐの車両の奥行き方向の位置をユーザに指定してもらう。また、図４の表示後に図５を表示する際に、図４で指定した高さ方向に位置を表示させて図５における指定時に参照できるようにしてもよいし、図５の表示の際に定位位置Ｐの高さ方向の位置を再指定できるようにしてもよい。
【００３６】
さらには、車室を横から見た視点ではなく、上から見た視点であってもよい。要するに、車両の幅方向、高さ方向、奥行き方向のうち、少なくとも２つの方向にかかる位置が特定できればよい。
【００３７】
つまり、制御部４は、ステップＳ１３では、音像を定位させる特定位置の指定を受け付け可能なタッチパネル５（受付部）から定位位置の指定を受け付けるために、三次元空間画像を表示部６へ出力し、ステップＳ１４では、タッチパネル５から定位位置の指定を受け付けている。
【００３８】
次に、ステップＳ１５において、音像制御部４２は、ステップＳ１４で指定された定位位置に音像が定位するように遅延調整部２Ｌ、２Ｒをそれぞれ調整する。具体的には、車室内のスピーカ３Ｌ、３Ｒの配置位置は予め判明しているため、三次元空間画像におけるスピーカ３Ｌ、３Ｒの位置座標も判明している。そして、ステップＳ１４で指定された定位位置からスピーカ３Ｌまでの距離と、ステップＳ１４で指定された定位位置からスピーカ３Ｒまでの距離と、をそれぞれ互いの座標に基づいて求める。そして、求めた距離の短い方のスピーカ３からの出力を距離長い方のスピーカ３との距離の差分に応じて遅延させる。
【００３９】
次に、ステップＳ１６において、音像制御部４２は、例えば再調整の要否についてのメッセージ等を表示部６に表示させ、再調整が必要との入力がタッチパネル５からあった場合（ＹＥＳの場合）はステップＳ１７に進む。一方、再調整が不要との入力がタッチパネル５からあった場合（ＮＯの場合）はフローチャートを終了する。
【００４０】
次に、ステップＳ１７において、三次元空間画像の再生成が必要か否かを判断し、必要な場合（ＹＥＳの場合）はステップＳ１１に戻り、不要な場合（ＮＯの場合）はステップＳ１４に戻る。ステップＳ１７では、例えば表示部６に三次元空間画像の再生成が必要か表示してユーザに選択させる。ユーザが必要との選択をした場合はステップＳ１１に戻り再度三次元空間画像を生成する。ユーザが不要との選択をした場合はステップＳ１４に戻り定位位置の取得をする。このようにして、三次元空間画像は逐次更新され、必要に応じて更新された三次元空間画像が表示部６に出力される。
【００４１】
以上の説明から明らかなように、ステップＳ１２が取得工程、ステップＳ１３が出力工程として機能する。
【００４２】
なお、図２のフローチャートでは、三次元空間画像は逐次更新されていたが、一度生成し、その後は更新しないようにしてもよい。また、生成された三次元空間画像は、制御部４内のメモリ等に保存してもよい。また、保存先は制御部４内に限らず、例えば着脱自在なメモリーカード等であってもよいし、通信部等を備えて、外部サーバ等に送信して保存するようにしてもよい。外部サーバに保存した場合は、次回定位位置の指定を行う際は、ステップＳ１１、Ｓ１２を省略し、外部サーバから三次元空間画像を取得するステップを実行してからステップＳ１３以降を実行すればよい。
【００４３】
本実施例によれば、音響装置１は、制御部４がライダ７から取得した点群情報に基づき生成した車室内の三次元空間画像を生成して取得し、定位位置の指定を受け付け可能なタッチパネル５から定位位置の指定を受け付けるために三次元空間画像を表示部６へ出力する。このようにすることにより、表示部６に表示された三次元空間画像に基づいて音像を定位させる特定位置の指定が可能となり、車室空間を再現した三次元空間画像により正確な定位位置の指定を容易にすることができる。
【００４４】
また、三次元空間画像は、逐次更新され、制御部４は、更新された三次元空間画像を出力するようにしている。このようにすることにより、車室内における搭乗者の乗降等に対応した三次元空間画像に基づいて定位位置の指定をすることができる。
【実施例２】
【００４５】
次に、本発明の第２の実施例にかかる音響装置１０Ａを図６〜図７を参照して説明する。なお、前述した第１の実施例と同一部分には、同一符号を付して説明を省略する。
【００４６】
図６に本実施例にかかる音響装置１０Ａを有する音響システムの機能的構成を示す。音響システムは、車載機２０と、スピーカ３（３Ｌ、３Ｒ）と、ライダ７と、端末装置３０と、を有している。ここで、スピーカ３（３Ｌ、３Ｒ）及びライダ７は、第１の実施例と同様である。
【００４７】
車載機２０は、例えば車両に搭載されている。車載機２０は、図６に示したように、オーディオ機器１と、遅延調整部２（２Ｌ、２Ｒ）と、制御部４Ａと、通信部８と、を備えている。
【００４８】
オーディオ機器１及び遅延調整部２は、第１の実施例と同様である。制御部４Ａは、生成部４１Ａと、音像制御部４２Ａと、を備えている。
【００４９】
生成部４１Ａは、三次元空間画像を生成することは第１の実施例と同様であるが、生成した三次元空間画像は、通信部８を介して端末装置３０へ送信する点が第１の実施例と異なる。
【００５０】
音像制御部４２Ａは、算出された三次元座標に対応する現実の空間の位置にスピーカ３Ｌ、３Ｒから発せられる音により形成される音像を定位させるように遅延調整部２Ｌ、２Ｒの遅延量を調整することは第１の実施例と同様であるが、タッチパネル３３をタッチされた位置座標を端末装置３０から通信部８を介して取得し、その位置座標に対応する三次元空間画像上の三次元座標を特定する点が第１の実施例と異なる。
【００５１】
通信部８は、生成部４１Ａで生成された三次元空間画像を端末装置３０へ送信し、端末装置３０からタッチパネル３３をタッチされた位置座標を受信する。通信部８は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）或いは赤外線通信等の無線通信により端末装置３０と通信する。
【００５２】
端末装置３０は、例えばスマートフォン等の可搬性を有する電子機器である。端末装置３０は、通信部３１と、制御部３２と、タッチパネル３３と、表示部３４と、を備えている。
【００５３】
通信部３１は、タッチパネル３３をタッチされた位置座標を車載機２０へ送信し、車載機２０から生成部４１Ａで生成された三次元空間画像を受信する。
【００５４】
制御部３２は、端末装置３０の全体制御を司る。制御部３２は、通信部３１が受信した三次元空間画像を表示部３４に表示させ、タッチパネル３３でタッチされた位置座標を取得し通信部３１を介して車載機２０へ送信する。
【００５５】
タッチパネル３３は、表示部３４の表示面上に重ねるように配置されている。タッチパネル３３は、例えば手指等で触れた位置の二次元座標が出力される周知の入力装置である。表示部３４は、例えば液晶ディスプレイ等で構成されている。表示部３４は、制御部３２から出力された三次元空間画像等が表示される。
【００５６】
ここで、上述した遅延調整部２と、制御部４と、通信部８と、は本実施例にかかる音響装置１０Ａとして機能する。
【００５７】
また、端末装置３０の通信部３１は、ライダ７から取得した点群情報に基づき生成した車室内の三次元空間画像を取得する取得部と、タッチパネル３３で受け付けた特定位置を音像を定位させる位置の情報として出力する出力部と、して機能する。また、表示部３４は、車室内に音像を定位させる特定位置の指定を受け付け可能なタッチパネル３３から特定位置の指定を受け付けるために通信部３１が受信した三次元空間画像を表示する表示部として機能する。
【００５８】
次に、上述した構成の音響装置１０Ａの動作（音響制御方法）について図７を参照して説明する。図７に示したフローチャートは車載機２０の制御部４Ａと端末装置３０の制御部３２で実行される。
【００５９】
まず、車載機２０側の動作を説明する。ステップＳ２１において、制御部４Ａは、点群情報をライダ７から取得する。次に、ステップＳ２２において、制御部４Ａは、ライダ７から取得した点群情報に対して周知の方法により三次元空間画像を生成する。
【００６０】
次に、ステップＳ２３において、制御部４Ａは、端末装置３０から三次元空間画像の要求情報を受信したことにより三次元空間画像の要求があったか否かを判断し、要求がない場合（ＮＯの場合）はステップＳ２１へ戻り、要求あった場合（ＹＥＳの場合）はステップＳ２４において、生成部４１Ａで生成された三次元空間画像を通信部８に端末装置３０へ送信させる。ステップＳ２３において、要求がないとしてステップＳ２１へ戻った場合は再度点群情報を取得して（ステップＳ２１）、三次元空間画像を再生成する（ステップＳ２２）ことで逐次更新がされる。
【００６１】
次に、ステップＳ２５において、制御部４Ａは、端末装置３０から定位位置情報を通信部８を介して受信する。そして、ステップＳ２６において、制御部４Ａは、ステップＳ２４で受信した定位位置に音像が定位するように遅延調整部２Ｌ、２Ｒをそれぞれ調整してステップＳ２１へ戻る。調整方法は第１の実施例と同様である。
【００６２】
ステップＳ２１へ戻ると再度点群情報を取得して（ステップＳ２１）、三次元空間画像を再生成する（ステップＳ２２）ことで逐次更新される。そして、端末装置３０から再生成された三次元空間画像の要求情報がある場合はステップＳ２４以降が実行され、三次元空間画像の要求情報がない場合はステップＳ２１へ戻る。
【００６３】
次に、端末装置３０側の動作を説明する。ステップＳ３１において、制御部３２は、三次元空間画像の要求情報を通信部３１に車載機２０へ送信させる。次に、ステップＳ３２において、制御部３２は、三次元空間画像を車載機２０から通信部３１を介して受信する。
【００６４】
次に、ステップＳ３３において、制御部３２は、ステップＳ３２で受信した三次元空間画像を表示部３４に表示させる。
【００６５】
次に、ステップＳ３４において、制御部３２は、タッチパネル３３から音像の定位位置の指定を取得する（受け付ける）。定位位置の取得方法は第１の実施例と同様である。
【００６６】
次に、ステップＳ３５において、制御部３２は、ステップＳ３４で取得した定位位置を定位位置情報として通信部３１に車載機２０へ送信させる。
【００６７】
次に、ステップＳ３６において、制御部３２は、例えば再調整の要否についてのメッセージ等を表示部３４に表示させ、再調整が必要との入力がタッチパネル３３からあった場合（ＹＥＳの場合）はステップＳ３７に進む。一方、再調整が不要との入力がタッチパネル３３からあった場合（ＮＯの場合）はフローチャートを終了する。
【００６８】
次に、ステップＳ３７において、三次元空間画像の再生成が必要か否かを判断し、必要な場合（ＹＥＳの場合）はステップＳ３１に戻り、不要な場合（ＮＯの場合）はステップＳ３４に戻る。ステップＳ３７では、例えば表示部６に三次元空間画像の再生成が必要か表示してユーザに選択させる。ユーザが必要との選択をした場合はステップＳ３１に戻り再生成された三次元空間画像を要求する。ユーザが不要との選択をした場合はステップＳ３４に戻り定位位置の取得をする。
【００６９】
本実施例によれば、端末装置３０は、制御部３２がライダ７から取得した三次元情報に基づき生成した車室内の三次元空間画像を取得し、表示部３４が車室内の定位位置の指定を受け付け可能なタッチパネル３３から定位位置の指定を受け付けるために三次元空間画像を表示する。そして、通信部３１が定位位置情報を出力する。このようにすることにより、表示部３４に表示された三次元空間画像に基づいて音像を定位させる定位位置の指定が可能となり、端末装置３０から正確な定位位置の指定を容易にすることができる。
【００７０】
また、可搬性のある端末装置３０から定位位置の指定ができるので、車載機２０の設置位置に関わらず、定位位置を指定することができる。
【実施例３】
【００７１】
次に、本発明の第３の実施例にかかる音響装置１０を図８〜図１０を参照して説明する。なお、前述した第１、第２の実施例と同一部分には、同一符号を付して説明を省略する。
【００７２】
本実施例は、機能的構成は第１の実施例と同様であるが、音響装置１０の動作（音響制御方法）が一部異なる。本実施例にかかる音響装置１０の動作（音響制御方法）について図８を参照して説明する。図８に示したフローチャートは制御部４で実行される。
【００７３】
まず、ステップＳ４１において、生成部４１は、点群情報をライダ７から取得する。次に、ステップＳ４２において、生成部４１は、上述したように、ライダ７から取得した点群情報に対して三次元空間画像を生成する。
【００７４】
ステップＳ４２においては、生成部４１は、三次元空間画像を生成する際に、車室内にいる人物（搭乗者）を点群情報からオブジェクト認識等により認識し、三次元空間画像内で人物を識別して表示可能となっている。即ち、制御部４（生成部４１）が、三次元空間画像内の人物を識別する識別部として機能する。人物が識別された三次元空間画像の例を図９に示す。図９は、図６に人物を加えたものである。図９に示すように人物はそれぞれが識別できるように、例えば“Ａ”、“Ｂ”といったラベルが付与されている。なお、ラベルに代えてそれぞれ人物に異なる色や模様等を付加するようにしてもよい。
【００７５】
次に、ステップＳ４３において、生成部４１は、ステップＳ４２で生成した三次元空間画像を表示部６に表示させる。
【００７６】
次に、ステップＳ４４において、音像制御部４２は、タッチパネル５から音像を定位させる人物の指定を取得する（受け付ける）。例えば図８であれば、“Ａ”又は“Ｂ”のいずれかをタッチすることで人物を指定することとなる。なお、本実施例では人物のタッチする位置は頭部であっても胴体であっても定位位置は顔の正面中央（頭部）とする。この定位位置の位置座標は、三次元空間画像内の人物の位置に基づいて自動的に特定される。また、人物をタッチした場合に自動的に特定される定位位置は、顔の正面中央に限らず耳など他の位置であってもよい。あるいは、例えば胸部をタッチした場合は胸部を定位位置としてもよい。
【００７７】
次に、ステップＳ４５において、音像制御部４２は、ステップＳ４４で指定された人物の頭部に音像が定位するように遅延調整部２Ｌ、２Ｒをそれぞれ調整する。調整方法は第１の実施例と同様である。即ち、制御部４（音像制御部４２）は、人物が指定された場合は、指定された人物に対応する位置に音像を定位させる。
【００７８】
次に、ステップＳ４６において、生成部４１は、点群情報をライダ７から取得する。このステップＳ４６はステップＳ４７の判断のために行うものである。そして、ステップＳ４７において、追従位置に変化があるか否かを判断し、変化がある場合はステップＳ４５へ戻り、変化がない場合はステップＳ４６へ戻る。
【００７９】
ステップＳ４７の追従位置とは、ステップＳ４５で音像を定位させた人物の頭部である。これは、ステップＳ４６で取得した点群情報から生成された三次元空間画像における人物の頭部の位置が、ステップＳ４１又は前回実行したステップＳ４６で取得した人物の頭部の位置から変化していた場合は、頭部が動いたとして、頭部の動きに追従すべくステップＳ４５へ戻る。そして、ステップＳ４６で取得した点群情報から生成された三次元空間画像における人物の頭部の位置に音像を定位させる。
【００８０】
追従の例を図１０に示す。図１０は、座席に着席している人物が背もたれを倒して背もたれの角度を変化させた場合の例である。図１０場合、座席の角度を変化させたことにより頭部の位置が変化しことに追従して定位位置Ｐが定位位置Ｐ’に移動する。
【００８１】
一方、ステップＳ４６で取得した点群情報から生成された三次元空間画像における人物の頭部の位置が、ステップＳ４１又は前回実行したステップＳ４６で取得した人物の頭部の位置から変化していない場合は、頭部が動いていないとして、ステップＳ４５は実行せずに、ステップＳ４６で再度点群情報の取得を行う。
【００８２】
なお、本実施例において、ステップＳ４６で取得した点群情報に基づいて三次元空間画像を生成して（更新して）表示部６に表示させてもよい。
【００８３】
また、図８に示したフローチャートは、人物を指定した場合の動作であるが、例えば図９に示したような三次元空間画像において、“Ａ”と“Ｂ”の間に音像を定位させる場合は、第１の実施例の要領で行えばよい。つまり、タッチ位置（指定した位置）に応じて、人物をタッチした場合はステップＳ４４以降が実行され、人物以外をタッチした場合はステップＳ１４以降が実行されるようにしてもよい。
【００８４】
本実施例によれば、制御部４の生成部４１が、三次元空間画像内の人物を識別し、人物が識別された三次元空間画像を出力している。また、タッチパネル５は、人物の指定が可能であり、遅延調整部２は、タッチパネル５で人物が指定された場合は、指定された人物に対応する位置に音像を定位させている。このようにすることにより、例えば車両の車室内の座席に人物が着席していた場合は、その人物を指定することで、当該人物に対応する位置に音像を定位させることが可能となる。
【００８５】
また、制御部４は、複数の三次元空間画像から人物の頭部の位置の変化を検出し、遅延調整部２は、タッチパネル５で人物が指定された場合は、制御部４で検出された頭部の位置の変化に基づいて頭部に音像の定位位置を追従させるようにしている。このようにすることにより、例えば顔の向きや座席の角度等が変化した場合であっても、それらに応じて音像の定位位置を追従させることができる。
【実施例４】
【００８６】
次に、本発明の第４の実施例にかかる音響装置１０Ａを図１１を参照して説明する。なお、前述した第１〜第３の実施例と同一部分には、同一符号を付して説明を省略する。
【００８７】
本実施例は、機能的構成は第２の実施例と同様であるが、音響装置１０Ａの動作（音響制御方法）が一部異なる。本実施例にかかる音響装置１０Ａの動作（音響制御方法）について図１１を参照して説明する。図１１に示したフローチャートは車載機２０の制御部４Ａと端末装置３０の制御部３２で実行される。
【００８８】
まず、車載機２０側の動作を説明する。ステップＳ５１において、制御部４Ａは、点群情報をライダ７から取得する。次に、ステップＳ５２において、制御部４Ａは、周知の方法により三次元空間画像を生成する。なお、ステップＳ５２で生成される三次元空間画像は、第３の実施例と同様に人物を識別して表示可能となっている。
【００８９】
次に、ステップＳ５３において、制御部４Ａは、端末装置３０から三次元空間画像の要求情報を受信したことによる三次元空間画像の要求があったか否かを判断し、要求がない場合（ＮＯの場合）は本ステップで待機し、要求あった場合（ＹＥＳの場合）はステップＳ５４において、生成部４１Ａで生成された三次元空間画像を通信部８に端末装置３０へ送信させる。
【００９０】
次に、ステップＳ５５において、制御部４Ａは、端末装置３０から音像を定位させる人物の指定の情報である人物指定情報を受信する。次に、ステップＳ５５で受信した人物指定情報が示す人物の頭部に音像が定位するように遅延調整部２Ｌ、２Ｒをそれぞれ調整する。調整方法は第１、第３の実施例と同様である。
【００９１】
次に、ステップＳ５７において、生成部４１は、点群情報をライダ７から取得する。このステップＳ５７はステップＳ５８の判断のために行うものである。そして、ステップＳ５８において、追従位置に変化があるか否かを判断し、変化がある場合はステップＳ５６へ戻り、変化がない場合はステップＳ５７へ戻る。なお、ステップＳ５８の追従方法については、第３の実施例と同様である。
【００９２】
なお、本実施例においても、ステップＳ５７で取得した点群情報に基づいて三次元空間画像を生成して（更新して）表示部６に表示させてもよい。
【００９３】
次に、端末装置３０側の動作を説明する。ステップＳ６１において、制御部３２は、車載機２０に対して三次元空間画像の要求情報を通信部３１に送信させる。次に、ステップＳ６２において、車載機２０から三次元空間画像を通信部３１を介して受信する。
【００９４】
次に、ステップＳ６３において、制御部３２は、ステップＳ６２で受信した三次元空間画像を表示部３４に表示させる。
【００９５】
次に、ステップＳ６４において、制御部３２は、タッチパネル５から音像を定位させる人物の指定を取得する（受け付ける）。人物の指定の取得方法は第３の実施例と同様である。
【００９６】
次に、ステップＳ６５において、制御部３２は、ステップＳ３４で指定された人物を人物指定情報として車載機２０へ通信部３１に送信させる。
【００９７】
次に、ステップＳ６６において、制御部３２は、例えば再調整の要否についてのメッセージ等を表示部３４に表示させ、再調整が必要との入力がタッチパネル３３からあった場合（ＹＥＳの場合）はステップＳ６４に戻る。一方、再調整が不要との入力がタッチパネル３３からあった場合（ＮＯの場合）はフローチャートを終了する。
【００９８】
なお、本実施例においても、ステップＳ６６で再調整が必要との入力があった場合に三次元空間画像の再生成が必要か否かについて判断するようにしてもよい。
【００９９】
本実施例によれば、端末装置３０は、制御部３２がライダ７から取得した三次元情報に基づき生成した車室内の人物が識別された三次元空間画像を取得し、表示部３４が車室内の定位位置の指定を受け付け可能なタッチパネル３３から音像を定位させる人物の指定を受け付けるために三次元空間画像を表示する。そして、通信部３１が人物指定情報を出力する。このようにすることにより、例えば車両の車室内の座席に人物が着席していた場合は、端末装置３０からその人物を指定することで、当該人物に対応する位置に音像を定位させることが可能となる。
【０１００】
また、制御部４Ａは、複数の三次元空間画像から人物の頭部の位置の変化を検出し、遅延調整部２は、タッチパネル５で人物が指定された場合は、制御部４Ａで検出された頭部の位置の変化に基づいて頭部に音像の定位位置を追従させるようにしている。このようにすることにより、例えば顔の向きや座席の角度等が変化した場合であっても、それらに応じて音像の定位位置を追従させることができる。
【０１０１】
なお、上述した実施例は、センサとしてライダで説明したが他のセンサであってもよい。例えばステレオカメラ等三次元空間画像を生成するための三次元情報を取得することができるセンサであればよい。
【０１０２】
なお、上述した実施例は、所定空間として車両の車室で説明したが、車室に限らず、建物内の室内空間であってもよい。また、上述した実施例は、右チャンネルと左チャンネルの２チャンネルの音響システムで説明したが、４つのスピーカからなる４チャンネルの音響システム等複数のスピーカにより音像を定位させる音響システムで適用できる。
【０１０３】
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の音響装置を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【０１０４】
２               遅延調整部（定位制御部）
３               スピーカ
４               制御部（取得部、出力部、識別部）
４Ａ             制御部（取得部、識別部）
５               タッチパネル（受付部）
６               表示部
７               ライダ
８               通信部（出力部）
１０、１０Ａ     音響装置
２０             車載機
３０             端末装置
３１             通信部（取得部）
３２             制御部（出力部）
３３             タッチパネル（受付部）
３４             表示部
【図１】
2019193108.tif 000003
【図２】
2019193108.tif 000004
【図３】
2019193108.tif 000005
【図４】
2019193108.tif 000006
【図５】
2019193108.tif 000007
【図６】
2019193108.tif 000008
【図７】
2019193108.tif 000009
【図８】
2019193108.tif 000010
【図９】
2019193108.tif 000011
【図１０】
2019193108.tif 000012
【図１１】
2019193108.tif 000013