(57)【要約】  表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する表示制御部を有する表示制御装置である。図３
2019207959.tif 000002
【特許請求の範囲】
【請求項１】
表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する表示制御部を有する
表示制御装置。
【請求項２】
前記表示制御部は、前記音源の再生時間の経過と共に前記軌跡上を移動する移動マークを表示する
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記音源に含まれる音の強弱に応じて、前記移動マークの表示態様を変化させる
請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、前記音源に含まれる音の強弱に応じて、前記移動マークの大きさを変化させる
請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、複数の前記音源が存在する場合に、前記複数の音源に対応するそれぞれの軌跡を識別可能に表示する
請求項１に記載の表示制御装置。
【請求項６】
前記複数の音源のそれぞれに対応する軌跡の色、前記複数の音源のそれぞれに対応する軌跡の表示／非表示及び前記複数の音源のそれぞれに対する名称に関する設定が可能とされている
請求項５に記載の表示制御装置。
【請求項７】
前記表示制御部は、前記音源が再生される会場を表示する
請求項１に記載の表示制御装置。
【請求項８】
前記表示制御部は、前記会場における音の反射係数を表示する
請求項７に記載の表示制御装置。
【請求項９】
前記表示制御部は、前記音源に対する信号処理の効果が得られるエフェクティブエリアを表示する
請求項１に記載の表示制御装置。
【請求項１０】
前記表示制御部は、設定されたリスニングポジションに対応するリスニングエリアを表示する
請求項１に記載の表示制御装置。
【請求項１１】
前記表示制御部は、前記音源の所定の再生タイミングを示すマークを前記時間波形と並列的に表示し、且つ、前記再生タイミングで再生される音の前記空間内における再生箇所を示すマークを表示する
請求項１に記載の表示制御装置。
【請求項１２】
前記軌跡は、前記音源に対応して設定される複数のマークが接続されて成る
請求項１１に記載の表示制御装置。
【請求項１３】
前記表示制御部は、前記マークに対応する再生タイミングの時間及び前記再生箇所に対応する座標を表示する請求項１１に記載の表示制御装置。
【請求項１４】
前記マーク間を移動する移動マークの移動パターンが設定可能とされている
請求項１２に記載の表示制御装置。
【請求項１５】
前記マークに対するコメントが設定可能とされている
請求項１１に記載の表示制御装置。
【請求項１６】
前記表示制御部は、入力部に対する入力に応じて設定される軌跡を表示する
請求項１に記載の表示制御装置。
【請求項１７】
前記表示制御部は、所定の動画像における動体に対する認識結果に基づいて、前記軌跡を自動的に表示する
請求項１に記載の表示制御装置。
【請求項１８】
前記表示制御部による表示がオーサリング用のユーザインタフェースである
請求項１に記載の表示制御装置。
【請求項１９】
前記スピーカアレイは、波面合成処理された音声を再生する
請求項１に記載の表示制御装置。
【請求項２０】
表示部に、アレイスピーカの位置と、前記アレイスピーカから再生される複数の音声に対応する複数の再生エリアを表示する表示制御部を有し、
前記再生エリアの大きさが変更可能とされている
表示制御装置。
【請求項２１】
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法。
【請求項２２】
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
複数のスピーカユニットから成るアレイスピーカを用いて波面合成によって音場を再生する技術が提案されている（例えば、特許文献１を参照のこと）。係る技術を用いて、あたかも耳元に音源があるかのような演出（オブジェクトオーディオ等と称される）や、エリア毎に異なる音声を、隣接エリアで再生される音声と混ざらずに明瞭に再生する演出（オーディオパーティション等と称される）が可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１２８３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような分野では、映像や音声（以下、これらを総称して「コンテンツ」と適宜、称する）を制作するコンテンツ制作者が、意図するコンテンツを容易に作成、編集等できるツールを利用できることが望まれる。【０００５】
本開示は、例えば、コンテンツ制作者が、意図するコンテンツを容易に作成、編集等できるようにする表示制御装置、表示制御方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における音源の定位箇所の変化を示す軌跡とを表示する表示制御部を有する
表示制御装置である。【０００７】
本開示は、例えば、
表示部に、アレイスピーカの位置と、アレイスピーカから再生される複数の音声に対応する複数の再生エリアを表示する表示制御部を有し、
再生エリアの大きさが変更可能とされている
表示制御装置である。【０００８】
本開示は、例えば、
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法である。【０００９】
本開示は、例えば、
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法をコンピュータに実行させるプログラムである。
【発明の効果】
【００１０】
本開示の少なくとも一の実施の形態によれば、コンテンツ制作者が、意図するコンテンツを容易に作成、編集等できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る再生システムの構成例を示すブロック図である。
【図２】図２は、実施の形態に係るパーソナルコンピュータの構成例を示すブロック図である。
【図３】図３は、第１の実施の形態に係るＧＵＩの一例を説明するための図である。
【図４】図４は、第１の実施の形態に係るＧＵＩの一部拡大図である。
【図５】図５Ａは第１の実施の形態に係るＧＵＩの一部拡大図であり、図５Ｂはエフェクティブエリアの一例を説明するための図であり、図５Ｃはリスニングエリアの一例を説明するための図である。
【図６】図６は、変形例に係るＧＵＩを説明するための図である。
【図７】図７は、変形例に係るＧＵＩを説明するための図である。
【図８】図８は、変形例に係るＧＵＩを説明するための図である。
【図９】図９は、変形例に係るＧＵＩを説明するための図である。
【図１０】図１０は、変形例に係るＧＵＩを説明するための図である。
【図１１】図１１は、第２の実施の形態に係るＧＵＩの一例を説明するための図である。
【図１２】図１２は、音声再生エリアを実空間上に反映させる方法の一例を説明するための図である。
【図１３】図１３は、音声再生エリアを実空間上に反映させる他の方法を説明するための図である。
【図１４】図１４は、変形例を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜第１の実施の形態＞
＜第２の実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【００１３】
＜第１の実施の形態＞
［再生システムの構成例］
図１は、実施の形態に係る再生システム（再生システム１Ａ）の構成例を示す図である。再生システム１Ａは、表示制御装置の一例であるパーソナルコンピュータ１０と、再生装置２０とを有している。パーソナルコンピュータ１０は、コンテンツ制作者が、意図するコンテンツを容易に作成、編集等できる装置、より具体的には、再生装置２０から再生される音源の移動や配置に関する設計を行うオーサリング装置として機能する。なお、表示制御装置は、パーソナルコンピュータに限らず、タブレット型コンピュータ、ノート型パーソナルコンピュータ等であっても構わない。パーソナルコンピュータ１０及び再生装置２０に対して、少なくとも一つの音源に対応するデータ（以下、音源データ３０と適宜、称する）が入力される。
【００１４】
再生装置２０は、コンテンツを再生する再生装置である。再生装置２０は、外部とのインタフェースをとるインタフェース（Ｉ／Ｆ）２１と、信号処理部２２と、アレイスピーカ２３とを有している。アレイスピーカ２３は、複数（例えば、１９２個や２５６個）のスピーカユニットを有している。なお、アレイスピーカ２３は、個々のスピーカ装置が複数の箇所に配置されたものであっても良い。
【００１５】
再生システム１Ａの動作について概略的に説明する。パーソナルコンピュータ１０を用いて、コンテンツ制作に関するオーサリングが行われる。なお、オーサリングの際に使用されるＧＵＩ（Graphical User Interface）の詳細については後述する。パーソナルコンピュータ１０を使用したオーサリングにより、メタデータＭＤ（オーサリング結果ファイル）が生成される。このメタデータＭＤがＩ／Ｆ２１を介して再生装置２０に入力される。また、上述したように音源データ３０がＩ／Ｆ２１を介して再生装置２０に入力される。
【００１６】
信号処理部２２は、メタデータＭＤに基づいて、音源データ３０に対する処理を行う。メタデータＭＤに基づいて音源データ３０に対して行う信号処理としては、公知の信号処理を適用することができる。一例を挙げれば、所定の箇所に音源の音像を定位させる定位処理や、音源の再生レベルを調整する処理が挙げられる。信号処理部２２による信号処理が施された音源データ３０がアレイスピーカ２３に供給され、アレイスピーカ２３から再生される。このようにして、メタデータＭＤに基づく再生環境により、コンテンツが再生される。
【００１７】
［パーソナルコンピュータの構成例］
図２は、パーソナルコンピュータ１０の構成例を示すブロック図である。パーソナルコンピュータ１０は、例えば、制御部１０１と、Ｉ／Ｆ１０２と、通信部１０３と、表示部１０４と、入力部１０５と、記憶部１０６とを有している。
【００１８】
制御部１０１は、ＣＰＵ（Central Processing Unit）等から構成されており、図示しないＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）を有している。ＲＯＭには、ＣＰＵにより読み込まれ実行されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。制御部１０１は、後述するＧＵＩ等の表示部１０４に表示される内容を制御する表示制御部として機能する。
【００１９】
Ｉ／Ｆ１０２は、外部の装置とのインタフェースをとる。例えば、パーソナルコンピュータ１０により生成されたメタデータＭＤがＩ／Ｆ１０２を介して、再生装置２０に供給される。
【００２０】
通信部１０３は、パーソナルコンピュータ１０が他の装置と通信を行うための構成であり、アンテナ、変調／復調機能等、通信を行うために必要な機能を有するものである。通信部１０３を介して、パーソナルコンピュータ１０は、インターネット等のネットワークに接続可能とされている。
【００２１】
表示部１０４は、液晶ディスプレイ、有機ＥＬディスプレイなどから構成されるものである。表示部１０４には、後述するオーサリング用のＧＵＩが表示される。なお、表示部１０４がタッチスクリーンとして構成され、各種の入力を受付可能に構成されていても良い。
【００２２】
入力部１０５は、例えば、押下可能なボタン、スライドボタン等の物理的なボタンやキーボード、タッチスクリーン等であり、ユーザの操作入力を受け付ける構成を総称したものである。入力部１０５に対する入力がなされると、当該入力に応じた操作信号が生成されて制御部１０１に出力される。制御部１０１は、当該操作信号に対応した演算処理や表示制御等を実行する。入力部１０５を使用して、後述するＧＵＩにおける各種の設定がなされる。
【００２３】
記憶部１０６は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカード、ＵＳＢ(Universal Serial Bus)メモリなどである。記憶部１０６は、パーソナルコンピュータ１０に内蔵されたものでも良いし、パーソナルコンピュータ１０に着脱自在とされるものでも良いし、その両方であっても良い。
【００２４】
なお、パーソナルコンピュータ１０が上述した構成以外の構成を有していても良い。例えば、パーソナルコンピュータ１０がスピーカ装置等を有していても良い。
【００２５】
［ＧＵＩの一例］
（ＧＵＩにおける主な表示）
図３は、表示部１０４に表示されるＧＵＩの一例を示す図である。また、図４は、図３における参照符号ＡＡが付された箇所を拡大した図である。なお、以下の説明において、参照符号ＡＡが付された箇所を、オブジェクトマップと適宜、称する。オブジェクトマップは、メタデータＭＤに基づいてコンテンツが再生される実際の空間に対応するマップ（空間を上から見たＸ−Ｙ空間に対応するマップ）である。
【００２６】
図３及び図４を参照して、ＧＵＩの一例について詳細に説明する。オブジェクトマップには、アレイスピーカ２３の位置が表示される。例えば、オブジェクトマップの中央付近に、アレイスピーカ２３の位置として、水平方向に延びる点線が表示される。また、ユーザのリスニングポジションＬＰが表示される。リスニングポジションＬＰは、図示する１箇所に限定されることはなく、適宜、設定可能である。なお、アレイスピーカ２３の大きさや、ＧＵＩ上に表示される範囲等は、実際の再生場所を所定の縮尺で縮小して示したものである。
【００２７】
表示部１０４に表示されるＧＵＩは、少なくとも一の音源の時間波形の表示を含む。本実施の形態では、４つの音源（以下、オブジェクト音源と適宜、称する）の時間波形の表示が含まれる。図３に示すように、オブジェクト音源１の時間波形に関する表示３１、オブジェクト音源２の時間波形に関する表示３２、オブジェクト音源３の時間波形に関する表示３３、オブジェクト音源４の時間波形に関する表示３４が表示されている。時間波形に関する表示３１〜表示３４は、例えば、表示部１０４の下側に表示される。勿論、表示位置は、適宜、変更可能である。また、ＧＵＩは、時間波形に関する表示３１〜３４上を、再生時間の経過に伴って左側から右側に移動する垂直方向の再生ラインＰＬを含む。
【００２８】
なお、パーソナルコンピュータ１０は、オブジェクト音源１〜４を個別に、若しくは、同時に再生できるように構成されている。また、時間波形に関する表示３１〜３４は、例えば、パーソナルコンピュータ１０に入力された各オブジェクト音源を制御部１０１がＦＦＴ（Fast Fourier Transform）することにより取得するようにしても良いし、表示３１〜３４に対応する表示データをパーソナルコンピュータ１０に入力し、制御部１０１が入力された表示データを表示部１０４に表示するようにしても良い。
【００２９】
時間波形に関する表示の下に時間軸が表示される。例えば、時間波形に関する表示３２の下に時間軸ＬＮ３２ａが並列的に表示される。時間軸ＬＮ３２ａ上で、マーク（以下、キーフレームと適宜、称する）の設定が可能とされている。本実施の形態では、オブジェクト音源２の再生時間の経過に伴って、時間軸ＬＮ３２ａ上に５つのキーフレーム（キーフレームＫＦ１、ＫＦ２・・・ＫＦ５）が設定されている。時間軸ＬＮ３２ａのキーフレームＫＦ１〜ＫＦ５は、オブジェクト音源２の所定の再生タイミングに対応している。キーフレームＫＦ１〜ＫＦ５は、例えば、丸印により表示される。
【００３０】
更に、オブジェクトマップ上でキーフレームＫＦ１〜ＫＦ５の位置が設定可能とされている。図４に示すように、設定された位置にキーフレームＫＦ１〜ＫＦ５が表示される。対応関係をわかり易くするために、オブジェクトマップ上のキーフレームＫＦ１〜ＫＦ５も、時間軸ＬＮ３２ａ上のキーフレームＫＦ１〜ＫＦ５と同様の丸印により表示される。これにより、時間軸ＬＮ３２ａ上に付された所定のキーフレームＫＦの再生タイミングで再生されるオブジェクト音源２に対応する音を、再生空間におけるどの位置で再生するかを設定することができる。例えば、オブジェクト音源２のある再生箇所をリスニングポジションＬＰに居るユーザの近くで再生したい場合には、当該再生箇所にキーフレームＫＦを設定し、且つ、当該キーフレームＫＦをオブジェクトマップ上のリスニングポジションＬＰの近くに設定すれば良い。また、時間波形が表示されているので、オブジェクト音源の位置とオブジェクト音源の強弱の度合いとを考慮したオーサリングが容易となる。
【００３１】
本実施の形態では、各キーフレームＫＦ間を直線で接続することにより軌跡３８が設定され、設定された軌跡３８が自動的に表示される。従って、ユーザは、キーフレームＫＦを設定するだけで、軌跡３８を定義することができる。軌跡３８は、オブジェクト音源２の音像の定位箇所の変化を示す軌跡である。
【００３２】
本実施の形態に係るＧＵＩは、軌跡を移動する移動マーク（以下、カレントポジションと適宜、称する）を含む。例えば、軌跡３８上をカレントポジションＣＰが移動する。図３及び図４では、カレントポジションＣＰが黒丸により表示されている。勿論、他の形状（星形等）でカレントポジションＣＰが表示されても良い。カレントポジションＣＰは、再生タイミングに応じたオブジェクト音源２の音像定位位置を示している。従って、カレントポジションＣＰは、オブジェクト音源２の再生時間の経過に伴って軌跡３８上を移動する。
【００３３】
例えば、ユーザがパーソナルコンピュータ１０を使用してオブジェクト音源２を再生する。オブジェクト音源２の再生時間の経過に伴って、軌跡３８上をカレントポジションＣＰが移動する。係る表示により、ユーザは、再生空間内でどのように音源（より具体的には、当該音源に対応する音像の位置）が移動するかを視覚的に理解することができる。
【００３４】
本実施の形態では、カレントポジションＣＰは、各キーフレームＫＦ間を等速で移動するようにしている。例えば、キーフレームＫＦ１、ＫＦ２のそれぞれの再生タイミングの差分から、カレントポジションＣＰの移動時間が判別される。また、オブジェクトマップ上のキーフレームＫＦ１、ＫＦ２のそれぞれの位置からキーフレームＫＦ１、ＫＦ２間の距離が判別される。判別された移動時間と距離とに基づいて、カレントポジションＣＰの移動速度が自動で設定される。
【００３５】
なお、軌跡３８上を移動するカレントポジションＣＰの表示態様を、オブジェクト音源２の音の強弱に応じて変化させるようにしても良い。例えば、音が強い箇所（音のレベルが大きい箇所）は、カレントポジションＣＰの黒丸の大きさが大きくなるようにされ、音が弱い箇所（音のレベルが小さい箇所）は、カレントポジションＣＰの黒丸の大きさが小さくなるようにされる。カレントポジションＣＰの大きさを音の強弱とリンクさせることにより、ＧＵＩで音の強弱を示すレベルメータ等を表示させる必要がなくなり、表示スペースの有効活用を図ることができる。
【００３６】
ユースケースの一例として、オブジェクト音源２が「犬の走る音」である場合を想定する。図３及び図４に示す設定例では、リスニングポジションＬＰにいるユーザに対しては、犬の走る音が右側の遠くから近くに向かうように聞こえ、最終的に自身の左側を走り抜けるように、オブジェクト音源２が実際に再生される。
【００３７】
上述した説明では、オブジェクト音源２に関する表示例について説明したが、他のオブジェクト音源に関する表示も同様になされる。係る表示により、空間内にどのように音源が配置されているか視覚的に理解することができる。
【００３８】
（ＧＵＩにおける各種の設定に関する表示）
ところで、オブジェクト音源の数が多くなるほど、オブジェクトマップ上に示される軌跡が多くなり、どのオブジェクト音源に対応する軌跡なのかが識別しづらくなる虞がある。そこで、本実施の形態では、複数のオブジェクト音源のそれぞれに対応する軌跡を識別可能に表示する。
【００３９】
例えば、複数のオブジェクト音源のそれぞれに対応する軌跡の色を異なるようにする。本実施の形態では、軌跡の色を同じＧＵＩ上で設定可能としている。例えば、図３に示すように、「Ｃｏｌｏｒ」との文字が表示されている表示５１の箇所で、各オブジェクト音源に対応する色が設定可能とされている。オブジェクト音源に対応する色が設定されると、当該オブジェクト音源に対応する軌跡が設定された色で表示される。更に、本実施の形態では、オブジェクト音源の名称を設定可能としている。例えば、図３に示すように、「Ｎａｍｅ」との文字が表示されている表示５２の箇所で、各オブジェクト音源に対応する名称が設定可能とされている。また、オブジェクト音源に対応する軌跡の表示／非表示が設定可能とされていても良い。例えば、オブジェクト音源２に対応する軌跡３８のみをオブジェクトマップに表示させたい場合には、オブジェクト音源２に対応する軌跡３８のみを表示設定とし、他のオブジェクト音源に対応する軌跡を非表示設定とすれば良い。
【００４０】
以上、説明した設定を可能とし、設定に応じた制御部１０１による表示制御が行われることにより、オブジェクト音源が多数存在し、各オブジェクト音源に対応する軌跡を、限られた領域のオブジェクトマップ上に表示する場合でも、個々のオブジェクト音源若しくはオブジェクト音源に対応する軌跡の識別を容易とすることができる。
【００４１】
また、本実施の形態では、カレントポジションＣＰの移動パターンが設定可能とされている。例えば、表示５２の右側に位置する「Ｉｎｔｅｒｐｏｌａｔｉｏｎ」との文字が表示されている表示５３の箇所で、カレントポジションＣＰの移動パターンが設定可能とされている。本実施の形態では、カレントポジションＣＰの移動パターンとして、３種類の移動パターンが設定可能とされている。３種類のパターンは、例えば、「Ｌｉｎｅａｒ」、「Ｓｔｅｐ」、「Ｓｐｌｉｎｅ」とそれぞれ称されるパターンである。
【００４２】
「Ｌｉｎｅａｒ」と称されるパターンは、上述した、カレントポジションＣＰが各キーフレームＫＦ間を等速で移動するパターンである。「Ｓｔｅｐ」と称されるパターンは、カレントポジションＣＰがステップ状に移動するパターンである。例えば、キーフレームＫＦ１上に居るカレントポジションＣＰは、キーフレームＫＦ１に対応するオブジェクト音源２の再生タイミングが経過しても移動しない。そして、現在の再生時間が、キーフレームＫＦ２に対応するオブジェクト音源２の再生タイミングに達したときに、カレントポジションＣＰがキーフレームＫＦ１、ＫＦ２間を飛び越えるようにして移動する。「Ｓｐｌｉｎｅ」と称されるパターンは、各キーフレームＫＦ間を、カレントポジションＣＰが２次曲線を描くようにして移動するパターンである。
【００４３】
なお、各オブジェクト音源に対する設定は、設定対象のオブジェクト音源に対してカーソル５５を合わせて選択した後に行われる。図３では、オブジェクト音源２に対してカーソル５５が合わされた状態、つまり、オブジェクト音源２が選択された状態が示されている。この状態で、オブジェクト音源２に対応する軌跡の色、名前、オブジェクト音源２に対応する軌跡上を移動するカレントポジションＣＰの移動パターン等の設定が可能とされる。カーソル５５は、例えば、入力部１０５を用いて適宜、移動される。
【００４４】
（ＧＵＩにおけるその他の表示）
「キーフレームに関する情報の表示」
ＧＵＩにおけるその他の表示について説明する。上述したように、カーソル５５を適宜、移動させることにより、所定のオブジェクト音源を選択することができる。本実施の形態では、選択されたオブジェクト音源に対して設定されているキーフレームＫＦに関する情報を表示する。図３では、キーフレームＫＦに関する情報として、表示６１が示されている。例えば、キーフレームＫＦ１、ＫＦ２・・・ＫＦ５に関する情報の表示が、上から順に配置される。
【００４５】
表示６１は、キーフレームＫＦに対応する再生タイミング（再生時間）に関する表示６２と、キーフレームＫＦのオブジェクトマップ上のＸ−Ｙ座標に関する表示６３とを含む。また、各キーフレームＫＦに関する情報の表示の左側には、チェックボックスが示される表示６４が配置されている。表示６４における所定のチェックボックスをチェックすることにより、チェックされたチェックボックスに対応するキーフレームＫＦを選択することができる。図３では、キーフレームＫＦ３に対応するチェックボックスがチェックされた例、即ち、キーフレームＫＦ３が選択された例が示されている。なお、本実施の形態では、図４に示すように、選択されたキーフレームＫＦ３が他のキーフレームＫＦよりも強調して表示される。例えば、キーフレームＫＦ３が２重丸により強調して表示される。係る表示により、ユーザは、自身が選択したキーフレームＫＦのオブジェクトマップ上の位置を視覚的に容易に識別することができる。
【００４６】
また、本実施の形態では、各キーフレームＫＦにコメントを設定することが可能とされている。例えば、表示６３の右隣にコメントを設定するための表示６５が配置されている。ユーザは、キーフレームＫＦ１〜ＫＦ５の中から適宜なキーフレームＫＦを選択し、入力部１０５を使用して、選択したキーフレームＫＦに対するコメントを設定することができる。例えば、ある再生タイミングに、空間上のある特定の位置にオブジェクト音源を配置したいといった強い意思を持って設定したキーフレームＫＦにコメントを設定することが可能となる。そして、コンテンツの使用者にコメントに対応するコンテンツ製作者の意図を簡単に伝えることができる。また、キーフレームＫＦの管理をし易くすることができる。
【００４７】
「エフェクティブエリアの表示」
オブジェクトマップ上には、エフェクティブエリアＥＡが表示される。図５Ａは、オブジェクトマップ上のエフェクティブエリアＥＡの一例を含む図であり、図５Ｂは、図５Ａに含まれるエフェクティブエリアＥＡのみを抽出した示した図である。
【００４８】
パーソナルコンピュータ１０のＧＵＩ上でメタデータＭＤを生成した場合でも、再生装置２０側の信号処理部２２における信号処理で、定位処理等で用いられる係数は有限である。即ち、再生装置２０側における信号処理の効果が得られる範囲が有限となる。そこで、本実施の形態では、信号処理の効果が得られる範囲をエフェクティブエリアＥＡとして表示するようにしている。アレイスピーカ２３から波面合成により音が再生される場合には、波面合成が可能となるエリアがエフェクティブエリアＥＡとして表示される。係る表示により、ユーザは波面合成が可能であるエリアを視覚的に理解することができる。
【００４９】
「リスニングエリアの表示」
オブジェクトマップ上には、リスニングエリアＬＡが表示される。図５Ａは、オブジェクトマップ上のリスニングエリアＬＡの一例を含む図であり、図５Ｃは、図５Ａに含まれるリスニングエリアＬＡのみを抽出した示した図である。リスニングエリアＬＡは、あるリスニングポジションＬＰに対して、アレイスピーカ２３から再生された音が効果的に聞こえる範囲を示す。アレイスピーカ２３から波面合成により音が再生される場合には、リスニングエリアＬＡは、リスニングポジションＬＰの位置に対して波面合成が有効となるエリアを示す。リスニングエリアＬＡの形状、大きさ等は、オブジェクトマップ上で設定されるリスニングポジションＬＰに応じて変化する。係る表示により、ユーザは、リスニングポジションＬＰに対して波面合成が有効となるエリアを視覚的に理解することができる。なお、オブジェクトマップ上における軌跡とエフェクティブエリアＥＡやリスニングエリアＬＡとを識別可能に表示しても良い。なお、リスニングエリアＬＡ外で再生される音であっても実際上はユーザに聴取されるものの、ユーザが感じる定位感はリスニングエリアＬＡ内で再生される音に比べて薄れる。
【００５０】
［第１の実施の形態の変形例］
（第１の変形例）
上述したＧＵＩは、下記の変形が可能である。所定のキーフレームＫＦ間にその区間に対応するオブジェクト音源の時間波形を表示しても良い。例えば、図６に示すように、オブジェクトマップ上のキーフレームＫＦ４、ＫＦ５間に、キーフレームＫＦ４とキーフレームＫＦ５との区間に対応するオブジェクト音源２の時間波形６８が、軌跡３８に重畳して表示される。係る表示により、ユーザは、所定のキーフレームＫＦ間で再生される音のイメージを想起することができる。係る表示の、表示／非表示に関する設定が可能とされても良い。
【００５１】
（第２の変形例）
オブジェクト音源１〜４が実際に再生される会場の見取り図を、オブジェクトマップに表示しても良い。例えば、図７に示すように、オブジェクトマップの背景として、コンサートホールの見取り図が表示７１として表示される。係る表示により、ユーザは、実際の再生環境を意識しながらオブジェクト音源の配置等を行うことができ、また、実際の再生環境における物理的な配置に応じた音源の配置等を行うことができる。例えば、ユーザが、コンサートホールの通路を音（例えば、動物の走る音）が前方から後方に通り抜けるように再生したい場合には、オブジェクトマップ上のコンサートホールの通路に、キーフレームＫＦを設定したり、軌跡を設定すれば良い。
【００５２】
（第３の変形例）
上述したように、再生環境をオブジェクトマップ上に表示する場合には、物理的な配置だけではなく、音響的な再生環境をオブジェクトマップ上に表示しても良い。音響的な再生環境としては、例えば、コンサートホールの天井、床、壁等の反射係数である。反射係数の表示をオンにすると、図８に示すように、所定のコンサートホールにおける反射係数の分布に関する表示７２が表示される。係る表示により、反射係数を考慮したオーサリングが可能となる。例えば、ユーザは、反射係数が大きい箇所周辺で音が再生されないようにするためには、反射係数が大きい箇所周辺を音が通過しないような軌跡を設定すれば良い。このように、会場の見取り図や反射係数を参考にして、ユーザは、オブジェクト音源の配置等を設定することができる。なお、会場の見取り図のデータや、反射係数のデータはパーソナルコンピュータ１０の外部から取得される。例えば、パーソナルコンピュータ１０の通信部１０３によりネットワークに接続し、ネットワーク上のサーバ装置から会場の見取り図のデータや反射係数の分布を示すデータを取得することができる。
【００５３】
上述した説明では、キーフレームＫＦ間を直線により接続することで、軌跡３８が自動的に表示される例について説明したがこれに限定されるものではない。例えば、ユーザは、入力部１０５を使用して任意の軌跡を描くことができ、この入力に応じた軌跡が表示される。入力部１０５は、スタイラスペン、タッチパネル等が想定される。図９は、係る軌跡の一例である軌跡７５を示す図である。例えば、ユーザは、表示部１０４とは別のモニタに表示されている動画像（例えば、オブジェクト音源と同期して再生される動画像）に視点を向けながら、タッチパネルのような入力デバイス上にフリーハンドで軌跡を入力することができる。これにより、動画像に表示される動体に合わせた軌跡の付与を容易に行うことが可能となる。
【００５４】
動画像内の動体を画像認識により自動で認識し、認識結果に応じて、軌跡を自動で生成し表示するようにしても良い。例えば、あるオブジェクト音源が、猫が走る音である場合を想定する。図１０の右下に示すように、動画像内では、猫８１が道路８２を左上から右下にかけて走るものとする。なお、動画像は、ＧＵＩと共に表示されても良いし、ＧＵＩが表示される表示部１０４とは別の表示部に表示されても良いし、表示されなくても良い。
【００５５】
動画像内における動体（動被写体）である猫８１が公知の被写体検出処理により検出され、猫８１の動きが公知の動き検出処理により検出される。係る画像処理は、例えば、制御部１０１により行われる。制御部１０１は、認識結果に基づいて、軌跡を自動で生成し、表示する。例えば、設定されているリスニングポジションＬＰに対して、猫が走る音が左後方（左奥）から右前方に移動するように、軌跡８３が生成される。そして、生成された軌跡３８がオブジェクトマップ上に表示される。これにより、動画像に合わせたオブジェクト音源の軌跡を忠実に且つ簡単に作成することができる。
【００５６】
＜第２の実施の形態＞
第２の実施の形態は、波面合成を利用して、エリア毎に異なるコンテンツを、隣接するエリアで再生される音と混ざらないように再生する再生システムに対して、本開示を適用した例である。なお、第１の実施の形態と同一、同質の構成には、同一の参照符号を付す。また、第１の実施の形態で説明した事項は、特に断らない限り、第２の実施の形態に対しても適用することができる。
【００５７】
本例では、駅や飛行場で再生される案内に関する音声を、３つの言語（日本語、英語、中国語）で同時に再生する場合を想定する。図１１は、第２の実施の形態に係るＧＵＩの一例を示している。オブジェクトマップ上には、アレイスピーカ２３が表示される。アレイスピーカ２３から、音声の再生方向に対して３つの音声再生エリア（音声再生エリアＡＲ１、ＡＲ２、ＡＲ３）が、例えば矩形の枠で表示される。音声再生エリアＡＲ１は、例えば、日本語の音声案内が聞こえるエリアである。また、音声再生エリアＡＲ２は、例えば、英語の音声案内が聞こえるエリアである。また、音声再生エリアＡＲ３は、例えば、中国語の音声案内が聞こえるエリアである。音声再生エリアＡＲ１等は、音声案内が聴取可能な範囲を分割することで規定される音声分割エリアである。ユーザは、分割パターンを適宜、調整することにより、音声再生エリアＡＲ１等の大きさや形状を変化させることができる。これにより、ユーザは、エリア分割の様子を視覚的に理解することができる。また、音が再生される場所（例えば、外国人が多い観光地）に応じて、音声再生エリアＡＲ１等を適切に設定することができる。
【００５８】
設定された音声分割エリアが、再生装置２０にメタデータＭＤとして供給される。再生装置２０の信号処理部２２は、メタデータＭＤに従って、所定の信号処理（例えば、上述した特許文献に記載されている信号処理）を行う。これにより、メタデータＭＤに基づく音声分割エリアにおける音の再生が行われる。
【００５９】
なお、音声再生エリアＡＲ１、ＡＲ２、ＡＲ３を識別可能にするために、色を変更して表示等するようにしても良い。また、分割されるエリアは３つに限定されるものではなく、適宜、変更可能である。
【００６０】
再生装置２０側で、メタデータＭＤに記述されているエリア分割情報を読み込み、実空間上でエリア分割の様子が示されるようにしても良い。例えば、再生装置２０（別の装置でも良い）が天井に設けられたプロジェクタを有する。図１２に示すように、このプロジェクタ８５がエリア分割情報を読み込み、音声再生エリアＡＲ１、ＡＲ２、ＡＲ３のそれぞれに対応する色を床に投影する。係る処理により、ＧＵＩで設定された音声再生エリアＡＲ１等が実空間に反映されるので、エリア分割の様子が実空間で視覚的に認識可能となる。
【００６１】
また、図１３に示すように、アレイスピーカ２３上にＬＥＤ(Light Emitting Diode)アレイ８６を設け、ＬＥＤ(Light Emitting Diode)の発光色や点灯範囲を適宜、設定することにより実空間上で音声再生エリアＡＲ１等を反映しても良い。例えば、ＬＥＤの発光色が赤色（参照符号８６ａが付された箇所）の前方が音声再生エリアＡＲ１に対応し、赤色のＬＥＤの前にユーザが居ると当該ユーザに日本語による音声案内が聴取可能となる。なお、赤色のＬＥＤの箇所に対応するスピーカユニットだけでなく、他の色のＬＥＤの箇所に対応するスピーカユニットからも日本語の音声成分は適宜なレベルで再生される。
【００６２】
＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【００６３】
上述した実施の形態におけるＧＵＩにおいて、所定のＢＧＭ(Background Music)音源をアレイスピーカ２３の何れかのスピーカユニットにアサインすることが可能とされても良い。例えば、図１４に示すように、オブジェクトマップ上にアレイスピーカ２３を構成する個々のスピーカユニット２３ａが表示される。ユーザは、ＢＧＭ音源が再生されるスピーカユニット２３ａを選択することができる。選択されたスピーカユニット２３ａから、ＢＧＭ音源が一定のレベルで再生される。係る表示により、アレイスピーカ２３中のどのスピーカユニット２３ａからＢＧＭを出力するかをユーザが視覚的に理解することができる。
【００６４】
実施の形態で説明したＧＵＩにおける表示は、全てが必須のものである必要は無く、上述した表示のうちの一部がなくても良いし、その他の表示が追加されても良い。
【００６５】
第１の実施の形態で説明したＧＵＩに関する表示と、第２の実施の形態で説明したＧＵＩに関する表示とが切り替え可能とされても良い。
【００６６】
上述したＧＵＩが表示される表示部は、パーソナルコンピュータ１０が有する表示部とは別の表示部であっても良い。入力部についても同様である。また、上述した実施の形態において、複数のアレイスピーカがあっても良く、各アレイスピーカから同期して音声が再生されるようにしても良い。
【００６７】
上述した実施の形態で説明した構成は一例に過ぎず、これに限定されるものではない。本開示の趣旨を逸脱しない範囲で、構成の追加、削除等が行われて良いことは言うまでもない。本開示は、装置、方法、プログラム、システム等の任意の形態で実現することもできる。プログラムは、例えば、制御部が有するメモリや適宜な記録媒体に記憶され得る。
【００６８】
本開示は、以下の構成も採ることができる。
（１）
表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する表示制御部を有する
表示制御装置。
（２）
前記表示制御部は、前記音源の再生時間の経過と共に前記軌跡上を移動する移動マークを表示する
（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記音源に含まれる音の強弱に応じて、前記移動マークの表示態様を変化させる
（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記音源に含まれる音の強弱に応じて、前記移動マークの大きさを変化させる
（３）に記載の表示制御装置。
（５）
前記表示制御部は、複数の前記音源が存在する場合に、前記複数の音源に対応するそれぞれの軌跡を識別可能に表示する
（１）から（４）の何れかに記載の表示制御装置。
（６）
前記複数の音源のそれぞれに対応する軌跡の色、前記複数の音源のそれぞれに対応する軌跡の表示／非表示及び前記複数の音源のそれぞれに対する名称に関する設定が可能とされている
（５）に記載の表示制御装置。
（７）
前記表示制御部は、前記音源が再生される会場を表示する
（１）から（６）までの何れかに記載の表示制御装置。
（８）
前記表示制御部は、前記会場における音の反射係数を表示する
（７）に記載の表示制御装置。
（９）
前記表示制御部は、前記音源に対する信号処理の効果が得られるエフェクティブエリアを表示する
（１）から（８）までの何れかに記載の表示制御装置。
（１０）
前記表示制御部は、設定されたリスニングポジションに対応するリスニングエリアを表示する
（１）から（９）までの何れかに記載の表示制御装置。
（１１）
前記表示制御部は、前記音源の所定の再生タイミングを示すマークを前記時間波形と並列的に表示し、且つ、前記再生タイミングで再生される音の前記空間内における再生箇所を示すマークを表示する
（１）から（１０）までの何れかに記載の表示制御装置。
（１２）
前記軌跡は、前記音源に対応して設定される複数のマークが接続されて成る
（１１）に記載の表示制御装置。
（１３）
前記表示制御部は、前記マークに対応する再生タイミングの時間及び前記再生箇所に対応する座標を表示する（１１）又は（１２）に記載の表示制御装置。
（１４）
前記マーク間を移動する移動マークの移動パターンが設定可能とされている
（１２）に記載の表示制御装置。
（１５）
前記マークに対するコメントが設定可能とされている
（１１）から（１４）までの何れかに記載の表示制御装置。
（１６）
前記表示制御部は、入力部に対する入力に応じて設定される軌跡を表示する
（１）から（１５）までの何れかに記載の表示制御装置。
（１７）
前記表示制御部は、所定の動画像における動体に対する認識結果に基づいて、前記軌跡を自動的に表示する
（１）から（１５）までの何れかに記載の表示制御装置。
（１８）
前記表示制御部による表示がオーサリング用のユーザインタフェースである
（１）から（１７）までの何れかに記載の表示制御装置。
（１９）
前記スピーカアレイは、波面合成処理された音声を再生する
（１）から（１８）までの何れかに記載の表示制御装置。
（２０）
表示部に、アレイスピーカの位置と、前記アレイスピーカから再生される複数の音声に対応する複数の再生エリアを表示する表示制御部を有し、
前記再生エリアの大きさが変更可能とされている
表示制御装置。
（２１）
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法。
（２２）
表示制御部が、表示部に、アレイスピーカの位置と、少なくとも一つの音源に対応する時間波形と、所定の空間内における前記音源の定位箇所の変化を示す軌跡とを表示する
表示制御方法をコンピュータに実行させるプログラム。
【符号の説明】
【００６９】
１０・・・パーソナルコンピュータ、２０・・・再生装置、２２・・・信号処理部、２３・・・アレイスピーカ、３０・・・音源データ、１０１・・・制御部、１０４・・・表示部、１０５・・・入力部
【図１】
2019207959.tif 000003
【図２】
2019207959.tif 000004
【図３】
2019207959.tif 000005
【図４】
2019207959.tif 000006
【図５】
2019207959.tif 000007
【図６】
2019207959.tif 000008
【図７】
2019207959.tif 000009
【図８】
2019207959.tif 000010
【図９】
2019207959.tif 000011
【図１０】
2019207959.tif 000012
【図１１】
2019207959.tif 000013
【図１２】
2019207959.tif 000014
【図１３】
2019207959.tif 000015
【図１４】
2019207959.tif 000016
【国際調査報告】
2019207959.tif 000017
2019207959.tif 000018
2019207959.tif 000019
2019207959.tif 000020
2019207959.tif 000021
2019207959.tif 000022
2019207959.tif 000023
2019207959.tif 000024