(57)【要約】【課題】所定期間の音データに含まれる特定の音を強調する場合の違和感を抑制する。【解決手段】強調する対象音を含む音データにおける対象音の直接音の開始時刻及び終了時刻を決定し、音データに係る距離情報及び収音環境情報に基づいて間接音生成パラメータを取得し、取得した間接音生成パラメータを基に対象音の間接音を生成し、音データに対し、増幅した直接音及び生成した間接音をミックスするようにして、適切な間接音を付加し、所定期間の音データに含まれる特定の音を強調する場合の違和感を抑制する。【選択図】図１
2020201423.tif 000002
【特許請求の範囲】
【請求項１】
強調する対象音を含む音データにおける前記対象音の直接音の開始時刻及び終了時刻を決定する決定手段と、
前記音データに係る距離情報及び収音環境情報に基づいて、間接音生成パラメータを取得する取得手段と、
取得した前記間接音生成パラメータを基に、前記対象音の間接音を生成する生成手段と、
前記音データに対し、増幅した前記直接音及び生成した前記間接音をミックスするミックス手段とを有することを特徴とする信号処理装置。
【請求項２】
前記距離情報は、音源から聴取位置までの距離に係る情報であることを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記取得手段は、前記距離情報及び前記収音環境情報に基づいて、間接音生成パラメータ決定テーブルを参照し、前記間接音生成パラメータを取得することを特徴とする請求項１又は２記載の信号処理装置。
【請求項４】
複数の前記間接音生成パラメータ決定テーブルを有し、
前記取得手段は、設定に応じて参照する前記間接音生成パラメータ決定テーブルを切り替えることを特徴とする請求項３記載の信号処理装置。
【請求項５】
現実に即した前記間接音を生成するための第１の間接音生成パラメータ決定テーブルと、高臨場感な間接音を生成するための第２の間接音生成パラメータ決定テーブルとを有することを特徴とする請求項４記載の信号処理装置。
【請求項６】
前記ミックス手段は、生成した前記間接音を増幅した前記直接音に応じた音量で前記音データに付加することを特徴とする請求項１〜５の何れか１項に記載の信号処理装置。
【請求項７】
強調する対象音を含む音データにおける前記対象音の直接音の開始時刻及び終了時刻を決定する決定工程と、
前記音データに係る距離情報及び収音環境情報に基づいて、間接音生成パラメータを取得する取得工程と、
取得した前記間接音生成パラメータを基に、前記対象音の間接音を生成する生成工程と、
前記音データに対し、増幅した前記直接音及び生成した前記間接音をミックスするミックス工程とを有することを特徴とする信号処理方法。
【請求項８】
強調する対象音を含む音データにおける前記対象音の直接音の開始時刻及び終了時刻を決定する決定ステップと、
前記音データに係る距離情報及び収音環境情報に基づいて、間接音生成パラメータを取得する取得ステップと、
取得した前記間接音生成パラメータを基に、前記対象音の間接音を生成する生成ステップと、
前記音データに対し、増幅した前記直接音及び生成した前記間接音をミックスするミックスステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、及びプログラムに関する。
【背景技術】
【０００２】
サッカーの試合のような歓声音が大きいイベントのテレビ放送やラジオ放送等のオーディオミキシングにおいて、高い臨場感や迫力感を視聴者に感じさせるために、ボールのキック音のような競技音が大きな音で聞こえるような処理を施すことが考えられる。特許文献１には、競技場に設置されたマイクが特定の競技音を収音したときに、元の信号を増幅してミックスするミキシングシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１８−５０１７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、所定期間の音データに含まれる特定の音を強調する処理を行った場合に、違和感を生じさせてしまう虞がある。例えば、サッカーの試合においてマイクで収音した収音信号のうち、ボールのキック音などの特定の競技音が鳴っている区間のみを切り出して増幅することで競技音を強調する手法が考えられる。競技場が観客席に囲まれている場合、実際には競技場内で発生する音の残響（間接音）が響く。天井が閉まるタイプの競技場では、さらに間接音が大きく長く響くことになる。しかし、前述のように競技音が鳴っている区間のみを切り出して増幅しミックスすると、間接音が強調されず、実際の音を再現できない。一方、収音信号のうち間接音が響いている区間まで含めて切り出して増幅すると、その区間の歓声音も強調されてしまい、違和感が生じうる。
【０００５】
本発明は、このような課題に鑑みてなされたものであり、所定期間の音データに含まれる特定の音を強調する場合の違和感を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る信号処理装置は、強調する対象音を含む音データにおける前記対象音の直接音の開始時刻及び終了時刻を決定する決定手段と、前記音データに係る距離情報及び収音環境情報に基づいて、間接音生成パラメータを取得する取得手段と、取得した前記間接音生成パラメータを基に、前記対象音の間接音を生成する生成手段と、前記音データに対し、増幅した前記直接音及び生成した前記間接音をミックスするミックス手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、所定期間の音データに含まれる特定の音を強調する場合の違和感を抑制することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における信号処理装置の構成例を示す図である。
【図２】第１の実施形態における信号処理装置のハードウェア構成例を示す図である。
【図３】第１の実施形態における信号処理装置の処理例を示すフローチャートである。
【図４】第１の実施形態における信号処理を説明する図である。
【図５】第２の実施形態における信号処理装置の構成例を示す図である。
【図６】第２の実施形態における信号処理装置の処理例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における信号処理装置１００の構成例を示すブロック図である。信号処理装置１００は、音記憶部１０１、パラメータ記憶部１０２、間接音生成パラメータ決定テーブル１０３、対象音抽出部１０４、間接音生成部１０５、及びミックス部１０６を有する。
【００１１】
音記憶部１０１は、マイク等の収音装置で録音された録音信号（音データ）を記憶する。パラメータ記憶部１０２は、少なくとも音源から設定された聴取位置までの距離情報及び収音環境情報を記憶する。聴取位置は、信号処理装置１００により生成される音響信号の基準となる位置である。例えば、マイクにより収音が行われる収音領域内に仮想的な聴取位置が設定された場合、その聴取位置での音の聞こえ方を再現するような音響信号が信号処理装置１００により生成される。聴取位置はユーザ操作に応じて設定されてもよいし、信号処理装置１００により生成される音響信号と共に再生される映像の視点に対応するように設定されてもよい。収音環境情報は、競技場等の収音場所の広さや種類、屋根の有無等、音の響き方に関わる環境の情報を含む。なお、パラメータ記憶部１０２は、距離情報及び収音環境情報に加え、他の情報をさらに記憶するようにしてもよい。
【００１２】
間接音生成パラメータ決定テーブル１０３は、音源から聴取位置までの距離情報と収音環境情報とに基づいて、間接音生成に必要なパラメータを求めるためのテーブル情報を有する。間接音生成に必要なパラメータは、間接音持続時間、収音場所のサイズ（ルームサイズ）、間接音遅延時間、初期反射音量、及び初期反射後の反射音音量等を含む。
【００１３】
対象音抽出部１０４は、音記憶部１０１に記憶されている音データを基に、強調する対象音（例えば、競技音）の開始時刻と終了時刻とを決定する。なお、この開始時刻から終了時刻までの時間は、歓声音と共に音量を増幅したとしても視聴者に違和感を抱かせないほど短い時間になる。例えば、ボールのキック音であれば、選手の足とボールが当たった時に発生するインパクト音の直接音のみに対して、対象音の開始時刻と終了時刻とが決定される。開始時刻及び終了時刻の決定は、画像処理によって行ってもよいし、音声認識処理によって行ってもよい。また、ユーザーインタフェース等に表示された波形をユーザーが指定することを条件に決定されてもよい。
【００１４】
間接音生成部１０５は、音記憶部１０１に記憶されている音データ、対象音抽出部１０４により決定された対象音の開始時刻と終了時刻、及び間接音生成パラメータ決定テーブル１０３から取得した間接音生成パラメータに基づいて、対象音の間接音を生成する。
【００１５】
ミックス部１０６は、音記憶部１０１に記憶されている音データ、対象音抽出部１０４によって決定された対象音の開始時刻と終了時刻、及び間接音生成部１０５によって生成された間接音を基にミックスする。ミックス部１０６は、例えば、音記憶部１０１に記憶されている音データに対し、抽出された対象音の直接音部分のみ音量を増加し（増幅し）、更に間接音生成部１０５によって生成された対象音の間接音を増幅した直接音に応じた適切な音量で付加する。ただし、これに限らず、別の指針によって音のミックスがなされても構わない。
【００１６】
本実施形態における信号処理装置１００のハードウェア構成について、図２を用いて説明する。信号処理装置１００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ（インタフェース）２１７、及びバス２１８を有する。
【００１７】
ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて信号処理装置１００の全体を制御することで、図１に示す信号処理装置１００の各機能を実現する。なお、信号処理装置１００がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、音データなどの種々のデータを記憶する。
【００１８】
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザーが信号処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザーによる操作を受けて各種の指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１７は、信号処理装置１００の外部の装置との通信に用いられる。例えば、信号処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。また、例えば、信号処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、信号処理装置１００の各部をつないで情報を伝達する。
【００１９】
本実施形態では表示部２１５と操作部２１６が信号処理装置１００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が信号処理装置１００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２１１が、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作してもよい。
【００２０】
図３は、第１の実施形態における信号処理装置１００の処理例を示すフローチャートである。
ステップＳ３０１では、図４（ａ）に示すような、音記憶部１０１に記憶されている音データ４０１が取得される。
【００２１】
次に、ステップＳ３０２では、対象音抽出部１０４が、ステップＳ３０１において取得した音データについて、強調する対象音の開始時刻（対象音が発生した時刻）を決定する。本実施形態では、対象音の開始時刻の決定方法を問わない。対象音をボールのキック音とした場合の対象音の開始時刻の決定方法の一例として、画像処理によりボールが蹴られたことを検出して対象音の開始時刻を決定してもよい。また例えば、音データを解析して検出された特徴点（音のゲインが急増した部分など）に基づいて、対象音の開始時刻を決定してもよい。
【００２２】
続いて、ステップＳ３０３では、対象音抽出部１０４が、対象音の直接音の終了時刻を決定する。本実施形態では、対象音の直接音の終了時刻の決定方法を問わない。一例として、対象音をボールのキック音とした場合の対象音の終了時刻の決定方法としては、予め固定値（例えば０．１秒等）を定めておき、ステップＳ３０２において決定した対象音の開始時刻から固定値の時間経過した時刻を対象音の終了時刻としてもよい。また例えば、音データを解析して検出された特徴点（音のゲインが急減した部分など）に基づいて、対象音の終了時刻を決定してもよい。対象音抽出部１０４は、図４（ａ）に示したように対象音の開始時刻Ｔ１、及び終了時刻Ｔ２を決定した後、図４（ｂ）に示すように対象音の直接音４０２のみを切り出す。
【００２３】
次に、ステップＳ３０４では、間接音生成部１０５が、パラメータ記憶部１０２に記憶されている距離情報及び収音環境情報を取得する。
続いて、ステップＳ３０５では、間接音生成部１０５が、ステップＳ３０４において取得した距離情報と収音環境情報に基づいて間接音生成パラメータ決定テーブル１０３を参照し、間接音生成パラメータを取得する。
【００２４】
次に、ステップＳ３０６では、間接音生成部１０５が、対象音の直接音及びステップＳ３０５において取得した間接音生成パラメータを基に対象音の間接音を生成する。具体的には、間接音生成部１０５が、ステップＳ３０２、Ｓ３０３において決定された対象音の開始時刻から終了時刻までの音データを対象音の直接音として切り出す。そして、間接音生成部１０５が、切り出した対象音の直接音と、ステップＳ３０５において取得した間接音生成パラメータとに基づいて、対象音の間接音を生成する。このステップＳ３０６での処理により、図４（ｃ）に示すような対象音の間接音４０３が生成される。
【００２５】
次に、ステップＳ３０７では、ミックス部１０６が、音記憶部１０１に記憶されている音データと、ステップＳ３０２、Ｓ３０３において切り出された対象音の直接音と、ステップＳ３０６において生成された対象音の間接音をミックスする。例えば、ミックス部１０６が、音データに対し、切り出された対象音の直接音を増幅し、更に生成された対象音の間接音を増幅した直接音に応じた適切な音量で付加する。これにより、対象音の直接音を増幅させたうえで、間接音を付与し、自然な聴感のまま対象音を強調し目立たせることが可能になる。波形としては図４（ｄ）に示すように、対象音が増幅されたような形４０４になる。
【００２６】
単に対象音を切り出して増幅したのみでは間接音が小さいままであるので、そこだけ浮いたような聴感になってしまう。それに対して、本実施形態によれば、ステップＳ３０６で生成した間接音も含めてミックスすることにより、視聴者に違和感を抱かせることなく自然な聴感を保ったまま対象音を強調することが可能になり、臨場感や迫力感を自然な聴感で向上させることができる。
【００２７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、間接音生成パラメータ決定テーブルにより、距離情報と収音環境情報に適した間接音生成パラメータが生成される。しかし、必ずしも現実に即した間接音生成パラメータを生成する必要はなく、例えば映像等の高臨場感化を目指すにあたって、現実よりも大げさな響き等を付加することが考えられる。ユースケースによって、現実に即した間接音か、高臨場感な間接音かを選択する場合においても本発明は有効である。
【００２８】
図５は、第２の実施形態における信号処理装置５００の構成例を示すブロック図である。信号処理装置５００は、音記憶部５０１、パラメータ記憶部５０２、通常間接音生成パラメータ決定テーブル５０３、高臨場感間接音生成パラメータ決定テーブル５０４、対象音抽出部５０５、間接音生成部５０６、及びミックス部５０７を有する。音記憶部５０１、対象音抽出部５０５、間接音生成部５０６、及びミックス部５０７は、図１に示した第１の実施形態における音記憶部１０１、対象音抽出部１０４、間接音生成部１０５、及びミックス部１０６とそれぞれ同様であるので説明は省略する。
【００２９】
パラメータ記憶部５０２は、少なくとも音源から聴取位置までの距離情報、収音環境情報、及び間接音生成モード情報を記憶する。間接音生成モード情報は、例えばユーザーの選択によって設定される情報であり、通常の間接音か、高臨場感な間接音かを選択するための情報である。
【００３０】
通常間接音生成パラメータ決定テーブル５０３は、図１に示した第１の実施形態における間接音生成パラメータ決定テーブル１０３と同様である。通常間接音生成パラメータ決定テーブル５０３は、音源から聴取位置までの距離情報と収音環境情報とに基づいて、現実の響き方に即した間接音の生成に必要なパラメータを求めるためのテーブル情報を有する。
【００３１】
高臨場感間接音生成パラメータ決定テーブル５０４は、音源から聴取位置までの距離情報と収音環境情報とに基づいて、必ずしも現実の響き方に則さない、高臨場感な間接音の生成に必要なパラメータを求めるためのテーブル情報を有する。例としては、間接音持続時間やルームサイズの値が通常よりも大きいというようなことが考えられる。
【００３２】
通常間接音生成パラメータ決定テーブル５０３及び高臨場感間接音生成パラメータ決定テーブル５０４のうち、どちらのテーブルを用いて間接音が生成されるかは、パラメータ記憶部５０２が保持する間接音生成モード情報によって決定される。
なお、第２の実施形態における信号処理装置５００のハードウェア構成については、第１の実施形態における信号処理装置５００のハードウェア構成と同様であるので説明は省略する。
【００３３】
図６は、第２の実施形態における信号処理装置５００の処理例を示すフローチャートである。
ステップＳ６０１では、音記憶部５０１に記憶されている音データが取得される。
【００３４】
次に、ステップＳ６０２では、対象音抽出部５０５が、ステップＳ６０１において取得した音データについて、強調する対象音の開始時刻（対象音が発生した時刻）を決定する。
続いて、ステップＳ６０３では、対象音抽出部５０５が、対象音の直接音の終了時刻を決定する。
【００３５】
次に、ステップＳ６０４では、間接音生成部５０６が、パラメータ記憶部５０２に記憶されている距離情報及び収音環境情報を取得する。
続いて、ステップＳ６０５では、間接音生成部５０６が、パラメータ記憶部５０２に記憶されている間接音生成モード情報を取得する。
【００３６】
次に、ステップＳ６０６では、間接音生成部５０６が、ステップＳ６０５において取得した間接音生成モード情報に基づいて、通常の間接音を生成する通常モードであるか、高臨場感な間接音を生成する高臨場感モードであるかを判定する。通常モードであると間接音生成部５０６が判定した場合、処理はステップＳ６０７に進み、高臨場感モードであると間接音生成部５０６が判定した場合、処理はステップＳ６０８に進む。
【００３７】
ステップＳ６０７では、間接音生成部５０６が、ステップＳ６０４において取得した距離情報と収音環境情報に基づいて通常間接音生成パラメータ決定テーブル５０３を参照し、間接音生成パラメータを取得する。
ステップＳ６０８では、間接音生成部５０６が、ステップＳ６０４において取得した距離情報と収音環境情報に基づいて高臨場感間接音生成パラメータ決定テーブル５０４を参照し、間接音生成パラメータを取得する。
【００３８】
次に、ステップＳ６０９では、間接音生成部５０６が、対象音の直接音及び取得した間接音生成パラメータを基に対象音の間接音を生成する。具体的には、間接音生成部５０６が、ステップＳ６０２、Ｓ６０３において決定された対象音の開始時刻から終了時刻までの音データを対象音の直接音として切り出す。そして、間接音生成部５０６が、切り出した対象音の直接音と、ステップＳ６０７又はＳ６０８において取得した間接音生成パラメータとに基づいて、対象音の間接音を生成する。
【００３９】
次に、ステップＳ６１０では、ミックス部５０７が、音記憶部５０１に記憶されている音データと、ステップＳ６０２、Ｓ６０３において切り出された対象音の直接音と、ステップＳ６０９において生成された対象音の間接音をミックスする。例えば、ミックス部５０７が、音データに対し、切り出された対象音の直接音を増幅し、更に生成された対象音の間接音を増幅した直接音に応じた適切な音量で付加する。これにより、対象音の直接音を増幅させたうえで、増幅した直接音に対応した間接音を付与し、自然な聴感を損なうことなく対象音を強調し目立たせることが可能になる。
【００４０】
第２の実施形態によれば、生成した間接音も含めてミックスすることにより、視聴者に違和感を抱かせることなく自然な聴感を保ったまま対象音を強調することが可能になり、臨場感や迫力感を自然な聴感で向上させることができる。また、通常の間接音だけでなく、高臨場感な間接音を付与することも可能となり、視聴者の臨場感を向上させることができる。なお、前述した説明では、通常間接音生成パラメータ決定テーブル５０３及び高臨場感間接音生成パラメータ決定テーブル５０４の２つを有する例を示したが、３以上の複数の間接音生成パラメータ決定テーブルを有するようにしてもよい。
【００４１】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４３】
１００、５００：信号処理装置  １０１、５０１：音記憶部  １０２、５０２：パラメータ記憶部  １０３：間接音生成パラメータ決定テーブル  １０４、５０５：対象音抽出部  １０５、５０６：間接音生成部  １０６、５０７：ミックス部  ５０３：通常間接音生成パラメータ決定テーブル  ５０４：高臨場感間接音生成パラメータ決定テーブル
【図１】
2020201423.tif 000003
【図２】
2020201423.tif 000004
【図３】
2020201423.tif 000005
【図４】
2020201423.tif 000006
【図５】
2020201423.tif 000007
【図６】
2020201423.tif 000008