(57)【特許請求の範囲】
【請求項１】
収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの中から、外部から与えられる収音位置を含む収音エリアを選択する収音エリア選択部と、
Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートの中から、前記収音エリア選択部で選択された収音エリアに対するテンプレートを選択するミキシングテンプレート選択部と、
選択されたテンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部と、
補間処理部とを含み、
Rを2以上の整数の何れかとし、r=1,2,…,Rとし、各収音エリアには、その収音エリアの範囲を示すR個の収音エリア境界点rが設定され、前記テンプレートは収音エリア境界点r毎に設定されるものとし、
前記ミキシングテンプレート選択部は、前記収音エリア選択部で選択された収音エリアに対するテンプレートとして、複数の収音エリアに対応する複数の収音エリア境界点のテンプレートの中から、前記収音エリア選択部で選択された収音エリアのR個の収音エリア境界点のテンプレートを選択し、
前記補間処理部は、前記収音位置から、その収音位置を含む収音エリアのR個の収音エリア境界点までの距離に応じた値を重みとし、R個の収音エリア境界点のテンプレートを重み付け加算して補間後テンプレートを求め、
前記ミキシング部は、選択されたテンプレートに基づき求められた補間後テンプレートを用いて、Nチャネルの入力信号からMチャネルの出力信号を生成する、
ミキシング装置。
【請求項２】
カメラが配置され得る複数の想定位置の中から、外部から与えられる実際のカメラの位置に最も近い想定位置を選択するカメラ位置選択部と、
Nを1以上の整数の何れか、n=1,2,…,Nとし、各想定位置におけるNチャネルの入力信号
に対するボリューム値Vnと、Nチャネルの入力信号を、再生時に想定される視聴者の位置から見てどの方向に音を定位させたいかを示す方向情報DnとのN個の組(Vn,Dn)を1つのテンプレートとし、複数の想定位置に対応する複数のテンプレートの中から、前記カメラ位置選択部で選択された想定位置に対するテンプレートを選択するミキシングテンプレート選択部と、
選択されたテンプレートの方向情報と外部から与えられる実際のカメラの方向との角度差θを計算する角度差計算部と、
再生時に想定される視聴者の位置から見て前記角度差θを挟むように配置された最も角度狭い2個のスピーカs,tの、再生時に想定される視聴者の位置から見た配置角度φs,φtと、前記角度差θとに基づき、前記スピーカs,tの出力値に対する重みであるパンウェイトGs,Gtを求めるパンウェイト計算部と、
Mを1以上の整数の何れか、m=1,2,…,Mとし、選択されたテンプレートのN個のボリューム値VnにM個のパンウェイトを乗じ、N×M個のボリューム値Vn,mを求める乗算部と、
前記ボリューム値Vn,mに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む、
ミキシング装置。
【請求項３】
請求項２のミキシング装置であって、
補間処理部を含み、
Rを2以上の整数の何れかとし、r=1,2,…,Rとし、前記想定位置は、所定の範囲を持つカメラエリアからなり、そのカメラエリアの範囲を示すR個のカメラエリア境界点rが設定され、前記テンプレートはカメラエリア境界点r毎に設定されるものとし、
前記カメラ位置選択部は、外部から与えられる実際のカメラの位置を含むカメラエリアを、外部から与えられる実際のカメラの位置に最も近い想定位置として選択し、
前記補間処理部は、前記カメラの位置から、そのカメラの位置を含むカメラエリアのR個のカメラエリア境界点までの距離に応じた値を重みとし、R個のカメラエリア境界点のテンプレートを重み付け加算して補間後テンプレートを求め、
前記ミキシング部は、選択されたテンプレートに基づき求められた補間後テンプレートを用いて、Nチャネルの入力信号からMチャネルの出力信号を生成する、
ミキシング装置。
【請求項４】
収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの位置と外部から与えられる実際のカメラの位置との距離をそれぞれ計算する距離計算部と、
複数の収音エリアの位置と外部から与えられる実際のカメラの位置とを結んだ線の向きと、外部から与えられる実際のカメラの方向との角度差θをそれぞれ計算する角度計算部と、
収音エリアウェイトを前記距離が小さいほど大きく、かつ、前記角度差の絶対値が小さいほど大きく設定し、かつ、外部から与えられる実際のカメラのズーム量が大きいほど前記角度差が大きくなった場合の収音エリアウェイトが小さくなるように設定する収音エリアウェイト設定部と、
Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートが記憶されるミキシングテンプレート記憶部と、
収音エリア毎に、前記ボリューム値Vnmと前記収音エリアウェイトとの積の最大値を混合テンプレートとして求めるテンプレート混合部と、
前記混合テンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む、
ミキシング装置。
【請求項５】
収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアと外部から与えられる実際のカメラの位置との距離をそれぞれ計算する距離計算部と、
複数の収音エリアの位置と外部から与えられる実際のカメラの位置とを結んだ線の向きと、外部から与えられる実際のカメラの方向との角度差θをそれぞれ計算する角度計算部と、
収音エリアウェイトを前記距離が小さいほど大きく、かつ、前記角度差の絶対値が小さいほど大きく設定し、かつ、外部から与えられる実際のカメラのズーム量が大きいほど前記角度差が大きくなった場合の収音エリアウェイトが小さくなるように設定する収音エリアウェイト設定部と、
Nを1以上の整数の何れか、n=1,2,…,Nとし、各収音エリアに対するNチャネルの入力信号のN個のボリューム値Vnを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートが記憶されるミキシングテンプレート記憶部と、
再生時に想定される視聴者の位置から見て前記角度差θを挟むように配置された最も角度狭い2個のスピーカs,tの、再生時に想定される視聴者の位置から見た配置角度φs,φtと、前記角度差θとに基づき、前記スピーカs,tの出力値に対する重みであるパンウェイトGs,Gtを求めるパンウェイト計算部と、  Mを1以上の整数の何れか、m=1,2,…,Mとし、収音エリア毎の前記ボリューム値Vnと前記収音エリアウェイトとの積にM個のパンウェイトを乗じ、N×M個のボリューム値Vn,mを求める乗算部と、
前記ボリューム値Vn,mに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む、
ミキシング装置。
【請求項６】
請求項２または請求項３のミキシング装置と、請求項４または請求項５のミキシング装置とを含むミキシング装置であって、
外部から与えられる実際のカメラのズーム量に基づき、メイン音に乗算する係数とサラウンド音に乗算する係数を設定する音量制御部と、
請求項２または請求項３のミキシング装置のMチャネルの出力信号と前記サラウンド音に乗算する係数との積と、請求項４または請求項５のミキシング装置のMチャネルの出力信号と前記メイン音に乗算する係数との積との和を、チャネル毎に求める混合部とを含む、
ミキシング装置。
【請求項７】
収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの中から、外部から与えられる収音位置を含む収音エリアを選択する収音エリア選択ステップと、
Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートの中から、前記収音エリア選択ステップで選択された収音エリアに対するテンプレートを選択するミキシングテンプレート選択ステップと、
選択されたテンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシングステップと、
補間処理ステップとを含み、
Rを2以上の整数の何れかとし、r=1,2,…,Rとし、各収音エリアには、その収音エリアの範囲を示すR個の収音エリア境界点rが設定され、前記テンプレートは収音エリア境界点r毎に設定されるものとし、
前記ミキシングテンプレート選択ステップでは、前記収音エリア選択ステップで選択された収音エリアに対するテンプレートとして、複数の収音エリアに対応する複数の収音エリア境界点のテンプレートの中から、前記収音エリア選択ステップで選択された収音エリアのR個の収音エリア境界点のテンプレートを選択し、
前記補間処理ステップでは、前記収音位置から、その収音位置を含む収音エリアのR個の収音エリア境界点までの距離に応じた値を重みとし、R個の収音エリア境界点のテンプレートを重み付け加算して補間後テンプレートを求め、
前記ミキシングステップでは、選択されたテンプレートに基づき求められた補間後テンプレートを用いて、Nチャネルの入力信号からMチャネルの出力信号を生成する、
ミキシング方法。
【請求項８】
請求項１から請求項６の何れかのミキシング装置として、コンピュータを機能させるためのプログラム。
【請求項９】
請求項１から請求項６の何れかのミキシング装置として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、1チャネル以上の入力信号を1チャネル以上の出力信号にミキシングするミキシング装置、その方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
図１は、従来のミキシング装置の構成を示す（非特許文献１参照）。複数の音響信号を手動でミキシングする構成であり、映像の変化に合わせて、人手で各入出力チャネルのボリュームを調整し、パンの設定（音像の定位を変化させるための設定）をする。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「ミキシング・コンソール」、[on line]、[平成28年6月16日検索]、インターネット<URL:https://ja.wikipedia.org/wiki/%E3%83%9F%E3%82%AD%E3%82%B7%E3%83%B3%E3%82%B0%E3%83%BB%E3%82%B3%E3%83%B3%E3%82%BD%E3%83%BC%E3%83%AB>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、人手でミキシングを行う必要があり、人件費がかかるというコスト面の問題がある。
【０００５】
本発明は、収音位置、または、カメラの位置及びカメラの方向を与えることで、人手を使わずにミキシングを行うことを可能とするミキシング装置、その方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、ミキシング装置は、収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの中から、外部から与えられる収音位置を含む収音エリアを選択する収音エリア選択部と、Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートの中から、収音エリア選択部で選択された収音エリアに対するテンプレートを選択するミキシングテンプレート選択部と、選択されたテンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、ミキシング装置は、カメラが配置され得る複数の想定位置の中から、外部から与えられる実際のカメラの位置に最も近い想定位置を選択するカメラ位置選択部と、Nを1以上の整数の何れか、n=1,2,…,Nとし、各想定位置におけるNチャネルの入力信号に対するボリューム値Vnと、Nチャネルの入力信号を、再生時に想定される視聴者の位置から見てどの方向に音を定位させたいかを示す方向情報DnとのN個の組(Vn,Dn)を1つのテンプレートとし、複数の想定位置に対応する複数のテンプレートの中から、カメラ位置選択部で選択された想定位置に対するテンプレートを選択するミキシングテンプレート選択部と、選択されたテンプレートの方向情報と外部から与えられる実際のカメラの方向との角度差θを計算する角度差計算部と、再生時に想定される視聴者の位置から見て角度差θを挟むように配置された最も角度狭い2個のスピーカs,tの、再生時に想定される視聴者の位置から見た配置角度φs,φtと、角度差θとに基づき、スピーカs,tの出力値に対する重みであるパンウェイトGs,Gtを求めるパンウェイト計算部と、Mを1以上の整数の何れか、m=1,2,…,Mとし、選択されたテンプレートのN個のボリューム値VnにM個のパンウェイトを乗じ、N×M個のボリューム値Vn,mを求める乗算部と、ボリューム値Vn,mに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、ミキシング装置は、収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの位置と外部から与えられる実際のカメラの位置との距離をそれぞれ計算する距離計算部と、複数の収音エリアの位置と外部から与えられる実際のカメラの位置とを結んだ線の向きと、外部から与えられる実際のカメラの方向との角度差θをそれぞれ計算する角度計算部と、収音エリアウェイトを距離が小さいほど大きく、かつ、角度差の絶対値が小さいほど大きく設定し、かつ、外部から与えられる実際のカメラのズーム量が大きいほど角度差が大きくなった場合の収音エリアウェイトが小さくなるように設定する収音エリアウェイト設定部と、Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートが記憶されるミキシングテンプレート記憶部と、収音エリア毎に、ボリューム値Vnmと収音エリアウェイトとの積の最大値を混合テンプレートとして求めるテンプレート混合部と、混合テンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む。
【０００９】
上記の課題を解決するために、本発明の他の態様によれば、ミキシング装置は、収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアと外部から与えられる実際のカメラの位置との距離をそれぞれ計算する距離計算部と、複数の収音エリアの位置と外部から与えられる実際のカメラの位置とを結んだ線の向きと、外部から与えられる実際のカメラの方向との角度差θをそれぞれ計算する角度計算部と、収音エリアウェイトを距離が小さいほど大きく、かつ、角度差の絶対値が小さいほど大きく設定し、かつ、外部から与えられる実際のカメラのズーム量が大きいほど角度差が大きくなった場合の収音エリアウェイトが小さくなるように設定する収音エリアウェイト設定部と、Nを1以上の整数の何れか、n=1,2,…,Nとし、各収音エリアに対するNチャネルの入力信号のN個のボリューム値Vnを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートが記憶されるミキシングテンプレート記憶部と、再生時に想定される視聴者の位置から見て角度差θを挟むように配置された最も角度狭い2個のスピーカs,tの、再生時に想定される視聴者の位置から見た配置角度φs,φtと、角度差θとに基づき、スピーカs,tの出力値に対する重みであるパンウェイトGs,Gtを求めるパンウェイト計算部と、Mを1以上の整数の何れか、m=1,2,…,Mとし、収音エリア毎のボリューム値Vnと収音エリアウェイトとの積にM個のパンウェイトを乗じ、N×M個のボリューム値Vn,mを求める乗算部と、ボリューム値Vn,mに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシング部とを含む。
【００１０】
上記の課題を解決するために、本発明の他の態様によれば、ミキシング方法は、収音の対象となる空間が複数の収音エリアに分割されているものとし、複数の収音エリアの中から、外部から与えられる収音位置を含む収音エリアを選択する収音エリア選択ステップと、Nを1以上の整数の何れか、n=1,2,…,N、Mを1以上の整数の何れか、m=1,2,…,Mとし、各収音エリアに対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vnmを1つのテンプレートとし、複数の収音エリアに対応する複数のテンプレートの中から、収音エリア選択ステップで選択された収音エリアに対するテンプレートを選択するミキシングテンプレート選択ステップと、選択されたテンプレートに基づき、Nチャネルの入力信号からMチャネルの出力信号を生成するミキシングステップとを含む。
【発明の効果】
【００１１】
本発明によれば、収音位置、または、カメラの位置及びカメラの方向を与えることで、人手を使わずにミキシングを行うことを可能とするという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】従来技術に係るミキシング装置の機能ブロック図。
【図２】第一実施形態に係るミキシング装置の機能ブロック図。
【図３】第一実施形態に係るミキシング装置の処理フローの例を示す図。
【図４】収音エリアを説明するための図。
【図５】ミキシングテンプレートを説明するための図。
【図６】入出力間のボリューム値を説明するための図。
【図７】ミキシング部の機能ブロック図。
【図８】収音エリアを説明するための図。
【図９】第二実施形態に係るミキシング装置の機能ブロック図。
【図１０】第二実施形態に係るミキシング装置の処理フローの例を示す図。
【図１１】収音エリア及び補間処理を説明するための図。
【図１２】図１２Ａは収音エリアの変形例を説明するための図、図１２Ｂは収音エリアの変形例を説明するための図、図１２Ｃは収音エリアの変形例を説明するための図、図１２Ｄは収音エリアの変形例を説明するための図。
【図１３】第三実施形態に係るミキシング装置の機能ブロック図。
【図１４】第三実施形態に係るミキシング装置の処理フローの例を示す図。
【図１５】カメラ位置、カメラ方向を説明するための図。
【図１６】ミキシングテンプレートに含まれる方向情報を説明するための図。
【図１７】ミキシングテンプレートを説明するための図。
【図１８】パンウェイト設定部の機能ブロック図。
【図１９】パンウェイト計算部の処理内容を説明するための図。
【図２０】第四実施形態に係るミキシング装置の機能ブロック図。
【図２１】第四実施形態に係るミキシング装置の処理フローの例を示す図。
【図２２】カメラ位置、カメラ方向を説明するための図。
【図２３】カメラエリア及び補間処理を説明するための図。
【図２４】第五実施形態に係るミキシング装置の機能ブロック図。
【図２５】第五実施形態に係るミキシング装置の処理フローの例を示す図。
【図２６】角度差計算部、距離計算部の処理内容を説明するための図。
【図２７】ズーム量と収音エリアウェイトの関係を説明するための図。
【図２８】第六実施形態に係るミキシング装置の機能ブロック図。
【図２９】第六実施形態に係るミキシング装置の処理フローの例を示す図。
【図３０】ミキシングテンプレートを説明するための図。
【図３１】パンウェイト設定部の機能ブロック図。
【図３２】第七実施形態に係るミキシング装置の機能ブロック図。
【図３３】第七実施形態に係るミキシング装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１４】
＜第一実施形態＞
図２は第一実施形態に係るミキシング装置１００の機能ブロック図を、図２はその処理フローを示す。
【００１５】
ミキシング装置１００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられる収音位置(x,y)をもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Om(t)にミキシングし、Mチャネルの出力信号Om(t)を出力する。ただし、入力信号は１チャネル以上の信号であり、出力信号は１チャネル以上の信号である(N≧1、n=1,2,…,N、M≧1、m=1,2,…M)。Om(t)はｍチャネル目の出力信号を、In(t)はnチャネル目の出力信号を、tは離散時刻または連続の時刻を表す。N個の入力信号In(t)は、例えば、N個のマイクロホンでそれぞれ収音した収音信号である。M個の出力信号Om(t)は、例えば、M個のスピーカでそれぞれ再生される再生信号である。例えば、5.1サラウンド再生などの再生方式に適した再生信号である。
【００１６】
外部から与えられる収音位置(x,y)は、例えば視聴者が手動で設定したり、映像から見たい対象（スポーツ選手やボールなど）を自動で検出することで得られる。視聴者が手動で設定するシステムとしては、例えば、視聴者が自分で見たい収音位置(x,y)を指定して映像を切り替えることのできるシステム等が考えられる。また、例えば、収音の対象となる空間全体を映した画像(俯瞰図等)をタッチパネルに表示し、ミキシング装置１００の利用者が、収音したい位置をタッチすることで、収音位置(x,y)を指定する。
【００１７】
以下、各部の処理内容について説明する。ミキシング装置１００は、収音エリア位置情報記憶部１１０と、収音エリア選択部１２０と、ミキシングテンプレート記憶部１３０と、ミキシングテンプレート選択部１４０と、ミキシング部１５０とを含む。
【００１８】
＜収音エリア位置情報記憶部１１０、収音エリア選択部１２０＞
収音の対象となる空間としては、サッカー場等の競技場やライブ会場、教室、講堂等、様々な大きさや用途の空間を想定しうる。ここでは、収音の対象となる空間は、P×Q個の収音エリアに分割されているものとする。例えば、図４に示すとおりに、収音の対象となる空間の横方向をP分割、縦方向をQ分割して、P×Q個の収音エリアとする。
【００１９】
収音エリア位置情報記憶部１１０には、P×Q個の収音エリアの位置情報が記憶される。本実施形態では、位置情報として、横方向のP+1個の分割位置の座標値X0,X1,…,XPと、縦方向のQ+1個の分割位置の座標値Y0,Y1,…,YQとを用いる。
【００２０】
収音エリア選択部１２０は、収音位置(x,y)を入力とし、収音エリア位置情報記憶部１１０を参照して、P×Q個の収音エリアの中から、収音位置(x,y)を含む収音エリアを選択し（Ｓ１２０）、収音エリアを示す情報をミキシングテンプレート選択部１４０に出力する。
【００２１】
例えば、前述のように横方向をP分割、縦方向をQ分割して、P×Q個の収音エリアとしたときの、横方向の分割位置をXp（p＝0,1,2,…,P）、縦方向の分割位置をYq（q＝0,1,2,…,Q）としたときに、
【００２２】
【数１】
0006640662.tif 000002
【００２３】
の両方を満たすエリア番号((qtar-1)P+ptar)を収音エリアを示す情報として出力する。ptarは式(1)を満たす1,2,…,Pの何れかであり、qtarは式(1)を満たす1,2,…,Qの何れかである。ただし、この例ではエリア番号は、X0＜x≦X1、Y0＜y≦Y1の範囲のエリア番号を1として、横に順に番号をふっている。X1＜x≦X2、Y0＜y≦Y1の領域はエリア番号を2、X0＜x≦X1、Y1＜y≦Y2の領域はエリア番号をP+1となる。
【００２４】
＜ミキシングテンプレート記憶部１３０、ミキシングテンプレート選択部１４０＞
ミキシングテンプレート記憶部１３０には、各収音エリア((q-1)P+p)に対する全入出力間のボリューム値VpqnmがテンプレートTp,qとして記憶される。Vpqnmは、収音エリア((q-1)P+p)におけるmチャネル目の出力を計算する際にnチャネル目の入力に乗じるボリューム値を表す。各収音エリア((q-1)P+p)に対する全入出力間のボリューム値Vpqnmは、ミキシング処理を行う前にあらかじめ設定される。図５は、収音エリア((q-1)P+p)に対するテンプレートTp,qの例を示す。なお、
【００２５】
【数２】
0006640662.tif 000003
【００２６】
とする。mチャネル目の出力信号Om(t)を計算する際のnチャネル目の入力信号In(t)に乗じるボリューム値をVpqnmとして、n＝1,2,…,N、m=1,2,….Mのすべてのチャネルの組み合わせについてボリューム値Vpqnmが設定されている。ボリューム値Vpqnmは、例えば、入力チャネルの接続されているマイクロホンが、収音エリアに近い場合に大きな値となり、マイクロホンの指向性の向きが収音エリアの方向を向いている際に大きな値となるように設定される。また、ボリューム値Vpqnmは、例えば、利用者とスピーカとの位置関係において、出力チャネルの接続されているスピーカが、利用者から見た収音位置と近い場合に大きな値となるように設定される。例えば、図６の場合、収音位置(x,y)に近いマイクロホン１０−３、１０−４に対応するボリューム値Vpq3m,Vpq4mを大きな値となるように設定し、ディスプレイ３０の右側に収音位置(x,y)が映し出されてので、右側に配置されたスピーカ２０−２に対応するボリューム値Vpqn2を大きな値となるように設定する。
【００２７】
ミキシングテンプレート選択部１４０は、収音エリアを示す情報(本実施形態ではエリア番号((qtar-1)P+ptar))を入力とし、ミキシングテンプレート記憶部１３０に記憶された、P×Q個の収音エリア((q-1)P+p)に対応するP×Q個のテンプレートTp,qの中から、収音エリア選択部１２０で選択された収音エリア((qtar-1)P+ptar)に対するテンプレートTp_tar,q_tarを選択し（Ｓ１４０）、ミキシング部１５０へ出力する。なお、下付き添え字のA_Bは、ABを意味する。
【００２８】
＜ミキシング部１５０＞
ミキシング部１５０は、Nチャネルの入力信号In(t)と、テンプレートTp_tar,q_tarとを入力とし、Nチャネルの入力信号In(t)からMチャネルの出力信号Om(t)を生成し（Ｓ１５０）、ミキシング装置１００の出力値として出力する。
【００２９】
例えば、ｍチャネル目のミキシング部１５０−ｍは、次式のように、Nチャネルの入力信号In(t)に対して、ボリューム値Vp_tarq_tarnmを各々乗じてから総和をとり、ｍチャネル目の出力信号Om(t)を計算する。
【００３０】
【数３】
0006640662.tif 000004
【００３１】
図７はミキシング部１５０の機能ブロック図の例を示す。ミキシング部１５０は、M個の第mミキシング部１５０−ｍを含む。第mミキシング部１５０−ｍは、N個の乗算部１５１−ｎ−ｍと加算部１５２−ｍを含む。
【００３２】
N個の乗算部１５１−ｎ−ｍは、nチャネルの入力信号In(t)とボリューム値Vp_tarq_tarnmとを入力とし、その積
【００３３】
【数４】
0006640662.tif 000005
【００３４】
を求め、加算部１５２−ｍに出力する。
【００３５】
加算部１５２−ｍは、積の総和を求め、ｍチャネルの出力信号として出力する。
【００３６】
＜効果＞
以上の構成により、収音位置を指定することで、人手を使わずにミキシングを行うことを可能とし、人手を必要としない低コストでの運用を可能とする。
【００３７】
＜変形例＞
本実施形態では、各収音エリアは、矩形であるが(図４参照)、他の形状であってもよい。収音エリアはx方向及びy方向に連続して配置され、各収音エリアは、端部を除いて、x方向で他の二つの収音エリアと隣接し、y方向で他の二つの収音エリアと隣接すればよい。この条件を満たせば、各収音エリアはどのような形状であってもよい。なお、x方向とy方向とは二つの方向を含む2次元平面状において平行でなければよい。例えば、各収音エリアは、菱形や平行四辺形であってもよい。
【００３８】
また、本実施形態では、収音の対象となる空間が、全体として矩形であるが、他の形状であってもよい（図８参照）。例えば、図８の収音エリア１、Pが収音の対象となる空間に含まれない場合には、対応するミキシングテンプレートT1,1、TP,1を用意しなくともよい。また、本実施形態の図６の例では、収音の対象となる空間の外側にマイクロホンを配置しているが、内側に配置してもよい。例えば、ライブ会場等では、収音の対象となる空間の内側に主にマイクロホンを配置する。
【００３９】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００４０】
図９は第二実施形態に係るミキシング装置２００の機能ブロック図を、図１０はその処理フローを示す。
【００４１】
ミキシング装置２００は、収音エリア位置情報記憶部１１０と、収音エリア選択部１２０と、ミキシングテンプレート記憶部２３０と、ミキシングテンプレート選択部２４０と、補間処理部２６０と、ミキシング部１５０とを含む。なお、収音エリア位置情報記憶部１１０、収音エリア選択部１２０及びミキシング部１５０は、第一実施形態と同等であるので説明を省略する。
【００４２】
＜ミキシングテンプレート記憶部２３０、ミキシングテンプレート選択部２４０＞
ミキシングテンプレート記憶部２３０には、収音エリアの境界点(以下、収音エリア境界点ともいう)毎のミキシングテンプレートが記憶される。収音エリア境界点は、図１１に示すように、収音エリアの境界となっている点のことであり、横方向の分割位置Xpと縦方向の分割位置Yqとの交点である。本実施形態では、各収音エリア境界点に対するNチャネルの入力信号とMチャネルの出力信号との間のN×M個のボリューム値Vpqnm(p=0,1,2,…,P、q=0,1,2,…,Q)を1つのテンプレートTp,qとし、(P+1)(Q+1)個のテンプレートTp,qが記憶される。ボリューム値Vpqnmの設定方法は第一実施形態と同様である。
【００４３】
ミキシングテンプレート選択部２４０は、収音エリアを示す情報(本実施形態ではエリア番号((qtar-1)P+ptar))を入力とし、ミキシングテンプレート記憶部２３０に記憶された、(P+1)×(Q+1)個の収音エリア境界点(p,q)に対応するP×Q個のテンプレート(P+1)×(Q+1)の中から、収音エリア選択部１２０で選択された収音エリア((qtar-1)P+ptar)に対する4つの収音エリア境界点のテンプレートTp_tar-1,q_tar-1,Tp_tar-1,q_tar,Tp_tar,q_tar-1,Tp_tar,q_tarを選択し（Ｓ２４０）、補間処理部２６０へ出力する。
【００４４】
＜補間処理部２６０＞
補間処理部２６０は、収音位置(x,y)とテンプレートTp_tar-1,q_tar-1,Tp_tar-1,q_tar,Tp_tar,q_tar-1,Tp_tar,q_tarとを入力とし、収音位置(x,y)から4つの収音エリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)までの距離に応じた値を重みとし、4つの収音エリア境界点のテンプレートを重み付け加算して補間後テンプレートTp_tar,q_tarintを求め（Ｓ２６０）、ミキシング部１５０に出力する。
【００４５】
例えば、まず、補間処理部２６０は、収音エリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)から、収音位置(x,y)までの距離Dp_tar-1,q_tar-1、Dp_tar-1,q_tar、Dp_tar,q_tar-1、Dp_tar,q_tarをそれぞれ計算する(図１１参照)。例えば、距離Dp_tar,q_tarを次式で計算する。
【００４６】
【数５】
0006640662.tif 000006
【００４７】
次に、距離Dp_tar-1,q_tar-1、Dp_tar-1,q_tar、Dp_tar,q_tar-1、Dp_tar,q_tarを距離の総和(Dp_tar-1,q_tar-1+Dp_tar-1,q_tar+Dp_tar,q_tar-1+Dp_tar,q_tar)で割った値を重みとし、ミキシングテンプレートを混合する。例えば、収音エリア境界点(Xp_tar,Yq_tar)に対する重みWp_tar,q_tarは以下の式で計算される
【００４８】
【数６】
0006640662.tif 000007
【００４９】
各収音エリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)のミキシングテンプレートTp_tar-1,q_tar-1、Tp_tar-1,q_tar、Tp_tar,q_tar-1、Tp_tar,q_tarを重みWp_tar-1,q_tar-1、Wp_tar-1,q_tar、Wp_tar,q_tar-1、Wp_tar,q_tarを用いて混合し、収音位置に対するミキシングテンプレートTp_tar,q_tarincを合成する。
【００５０】
【数７】
0006640662.tif 000008
【００５１】
なお、各ボリューム値は以下のようになる。
【００５２】
【数８】
0006640662.tif 000009
【００５３】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。さらに、本実施形態によれば、収音位置に対するボリューム値を連続的に求めることができるので、収音位置が連続的に移動した際でも滑らかなボリューム値の変化となり、自然な再生音を作ることができる。
【００５４】
＜変形例＞
本実施形態では、収音エリアを矩形としているが、他の形状でもよい。例えば、図１２Ａのように収音エリアを線状とし、線の両端を収音エリア境界点としてもよいし、図１２Ｂのように収音エリアを六角形状とし、頂点を収音エリア境界点としてもよい。何れの方法であっても、収音位置から収音エリア境界点までの距離に応じた値を重みとすることで、本実施形態と同様の効果を得ることができる。要は、１つの収音エリアに対して２以上の収音エリア境界点を設定し、収音位置から収音エリア境界点までの距離に応じた値を重みとすればよい。
【００５５】
また、本実施形態では、収音エリアがx方向、y方向に連続して配置されているが、例えば、図１２Ｃのように収音エリアが複数の塊を成すように配置されてもよいし、図１２Ｄのように収音エリアが離れ離れに配置されてもよい。図１２Ｄのような場合、収音エリアを跨ぐ際に滑らかにボリューム値を変化させることはできないが、１つの収音エリアの中で、ボリューム値を連続的に変化させることはできる。なお、第一実施形態においても同様に図１２Ａ〜図１２Ｄのように収音エリアを設定してもよい。また、後述するカメラエリアについても同様である。
【００５６】
＜第三実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００５７】
図１３は第三実施形態に係るミキシング装置３００の機能ブロック図を、図１４はその処理フローを示す。
【００５８】
ミキシング装置３００は、カメラ位置情報記憶部３１０と、カメラ位置選択部３２０と、ミキシングテンプレート記憶部３３０と、ミキシングテンプレート選択部３４０と、パン設定部３６０と、ミキシング部１５０とを含む。なお、ミキシング部１５０は、第一実施形態と同等であるので説明を省略する。
【００５９】
ミキシング装置３００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)及びカメラ方向Dcをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Om(t)にミキシングし、Mチャネルの出力信号Om(t)を出力する。
【００６０】
外部から与えられるカメラ位置(xc,yc)及びカメラ方向Dcは、例えば視聴者が手動で設定したり、映像から見たい対象（スポーツ選手やボールなど）を自動で検出することで得られる。視聴者が手動で設定するシステムとしては、例えば、視聴者が自分で見たいカメラを指定して映像を切り替えることのできるシステム等が考えられる。図１５は、カメラが配置され得る想定位置と、実際のカメラの位置との例を示す。この例では、６台のカメラは配置され、視聴者が自分で見たいカメラを指定して切り替え、初期のカメラ及び切替後のカメラの位置及び方向を用いる。映像から見たい対象を自動で検出するシステムとしては、映像の取得元のカメラの位置及び方向を用いる。カメラの位置及び方向とは、カメラが固定されている場合には、予め設定してもよい。また、電子コンパス(地磁気センサ)やGPSを利用して取得してもよい。
【００６１】
以下、各部の処理内容を説明する。
【００６２】
＜カメラ位置情報記憶部３１０及びカメラ位置選択部３２０＞
収音の対象となる空間には、カメラが配置され得るP個の想定位置が設けられる。カメラ位置情報記憶部３１０には、P個の想定位置(xp,yp)が記憶される。例えば、想定位置は座標値で与えられる。
【００６３】
カメラ位置選択部３２０は、実際のカメラの位置(xc,yc)を入力とし、カメラ位置情報記憶部３１０を参照して、P個の想定位置(xp,yp)の中から、実際のカメラの位置(xc,yc)に最も近い想定位置を選択し（Ｓ３２０）、その位置(xtar,ytar)をミキシングテンプレート選択部３４０に出力する。例えば、
【００６４】
【数９】
0006640662.tif 000010
【００６５】
により、位置(xtar,ytar)を求める。
【００６６】
＜ミキシングテンプレート記憶部３３０及びミキシングテンプレート選択部３４０＞
ミキシングテンプレート記憶部３３０には、各想定位置(xp,yp)におけるNチャネルの入力信号に対するボリューム値Vpnと、Nチャネルの入力信号を、再生時に想定される視聴者の位置から見てどの方向に音を定位させたいかを示す方向情報Dpn(図１６参照)とのN個の組(Vpn,Dpn)を1つのテンプレートとして（図１７参照）、P個の想定位置(xp,yp)にそれぞれ対応するP個のテンプレートトTpが記憶される。Vpnは、想定位置(xp,yp)におけるnチャネル目の入力に乗じるボリューム値を表す。各想定位置(xp,yp)に対するボリューム値Vpnは、ミキシング処理を行う前にあらかじめ設定される。図１６は、想定位置(xp,yp)に対するテンプレートTpの例を示す。なお、
【００６７】
【数１０】
0006640662.tif 000011
【００６８】
とする。ボリューム値Vpnは、例えば、入力チャネルの接続されているマイクロホンが、想定位置(xp,yp)にDpn方向に向けて設置された(仮想的な)カメラで撮影している範囲に近い場合に大きな値となり、マイクロホンの指向性の向きが撮影している範囲を向いている際に大きな値となるように設定される。
【００６９】
ミキシングテンプレート選択部３４０は、想定位置(xtar,ytar)を入力とし、ミキシングテンプレート記憶部３３０に記憶された、P個の想定位置(xp,yp)に対応するP個のテンプレートTpの中から、カメラ位置選択部３２０で選択された想定位置(xtar,ytar)に対するテンプレートTtarを選択し（Ｓ３４０）、パン設定部３６０へ出力する。
【００７０】
＜パン設定部３６０＞
パン設定部３６０は、実際のカメラの方向Dcと想定位置(xtar,ytar)に対するテンプレートTtarとを入力とし、テンプレートTtarを方向Dcを用いて、各入出力のミキシングテンプレートのボリューム値Vnmに変換し（Ｓ３６０）、変換後のテンプレートTtarconをミキシング部１５０に出力する。
【００７１】
図１８は、パン設定部３６０の機能ブロック図の例を示す。パン設定部３６０は角度差計算部３６１と、パンウェイト計算部３６２と、乗算部３６３と、統合部３６４とを含む。
【００７２】
角度差計算部３６１は、テンプレートTtarに含まれる方向情報Dtarとカメラ方向Dcとを入力とし、角度差θ=Dtar-Dcを計算し（Ｓ３６１）、出力する。例えば、ミキシングテンプレートの方向情報Dtarが30度で、カメラ方向Dcが60度であった場合、-30度(330度)となる。これは、カメラが0度を向いていた際に30度方向に定位させたかった音を、カメラが60度を向いた時は-30度に定位させるということに対応する。
【００７３】
パンウェイト計算部３６２は、角度差θを入力とし、再生時に想定される視聴者の位置から見て角度差θを挟むように配置された最も角度狭い2個のスピーカs,tの、再生時に想定される視聴者の位置から見た配置角度φs,φtと、角度差θとに基づき、スピーカs,tの出力値に対する重みであるパンウェイトGs,Gtを求め、他のスピーカの出力値に対する重みであるパンウェイトを0とし、乗算部３６３に出力する。
【００７４】
例えば、パンウェイト計算部３６２は、角度差計算部３６１の出力である定位させたい方向（角度差θ）に合わせた各出力チャネルに対応したウェイトを出力する。例えば出力チャネル１が視聴者の位置から見て0度方向のスピーカに対応しているとする場合、視聴者の位置から見て0度方向に音を定位させたければ、出力チャネル１に対するウェイトを1.0とし、他のチャネルのウェイトを0.0とすればよい。また、例えば出力チャネル１が視聴者の位置から見て0度方向のスピーカに対応し、出力チャネル２が視聴者の位置から見て60度方向のスピーカに対応しているとする場合、視聴者の位置から見て30度方向に音を定位させたければ、出力チャネル１と出力チャネル２に対するウェイトを√2/2＝0.707とし、他のチャネルのウェイトを0.0とすればよい。このような関係を図で表せば図１９のようになる。一例を式で表せば以下となる。角度差計算部３６１の出力である定位させたい方向（角度差）θを挟むように配置された最も角度の狭いスピーカ対に対応したチャネルをs,tとし、そのスピーカの配置角度をφsとφtとする。s,tチャネル目の出力に対するパンウェイトは次式で計算される。
【００７５】
【数１１】
0006640662.tif 000012
【００７６】
それ以外の出力チャネルmのパンウェイトGmは0とする。m=1,2,…,M、ただし、m≠s,m≠tである。
【００７７】
乗算部３６３は、テンプレートTtarに含まれるN個のボリューム値Vtar,nと、M個のパンウェイトGs,Gt,Gmとを入力とし、N個のボリューム値Vtar,nにM個のパンウェイトGs,Gt,Gmを乗じ、N×M個のボリューム値Vn,s，Vn,t,Vn,mを求め、出力する。
Vn,s=Vtar,nGs
Vn,t=Vtar,nGt
Vn,m=Vtar,nGm
【００７８】
統合部３６４は、N×M個のボリューム値Vn,s，Vn,t,Vn,mを入力とし、1つのテンプレートに統合し、統合後のテンプレートTtarconをミキシング部１５０に出力する。
【００７９】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、このような構成により、カメラの位置と方向に合わせて、音のボリュームと音像定位を自動で操作することができる。
【００８０】
＜第四実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００８１】
図２０は第四実施形態に係るミキシング装置４００の機能ブロック図を、図２１はその処理フローを示す。
【００８２】
ミキシング装置４００は、カメラエリア位置情報記憶部４１０と、カメラエリア選択部４２０と、ミキシングテンプレート記憶部４３０と、ミキシングテンプレート選択部４４０と、パン設定部３６０と、ミキシング部１５０とを含む。なお、ミキシング部１５０は第一実施形態と同等であり、パン設定部３６０は第三実施形態と同等であるので説明を省略する。
【００８３】
ミキシング装置４００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)及びカメラ方向Dcをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Om(t)にミキシングし、Mチャネルの出力信号Om(t)を出力する。
【００８４】
＜カメラエリア位置情報記憶部４１０及びカメラエリア選択部４２０＞
カメラが配置され得る空間は、複数のカメラエリアに分割されている（図２２参照）。例えば、図２２に示す通り、競技場を囲むようにカメラが配置され得る空間が設けられ、カメラが配置され得る空間の横方向をP分割、縦方向をQ分割して、{2(P-1)＋2(Q-1)}個のカメラエリアとする。
【００８５】
カメラエリア位置情報記憶部４１０には、複数のカメラエリアの位置を示す情報が記憶される。例えば、カメラエリアの位置を示す情報は座標値で与えられ、横方向の分割位置の座標値X0,X1,…,XPと、縦方向の分割位置の座標値Y0,Y1,…,YQとを用いる。
【００８６】
カメラエリア選択部４２０は、実際のカメラの位置(xc,yc)を入力とし、カメラエリア位置情報記憶部４１０を参照して、複数のカメラエリアの中から、実際のカメラの位置(xc,yc)を含むカメラエリアを選択し（Ｓ４２０）、カメラエリアを示す情報をミキシングテンプレート選択部４４０に出力する。
【００８７】
例えば、前述のように横方向をP分割、縦方向をQ分割して、{2(P-1)＋2(Q-1)}個のカメラエリアとしたときの、横方向の分割位置をXp（p＝0,1,2,…,P）、縦方向の分割位置をYq（q＝0,1,2,…,Q）としたときに、
【００８８】
【数１２】
0006640662.tif 000013
【００８９】
の両方を満たすエリア番号((qtar-1)P+ptar)をカメラエリアを示す情報として出力する。ptarは式(41)を満たす0,1,2,…,Pの何れかであり、qtarは式(1)を満たす0,1,2,…,Qの何れかである。ただし、この例ではエリア番号は、X0＜xc≦X1、Y0＜yc≦Y1の範囲のエリア番号を１として、横に順に番号をふっている。X1＜xc≦X2、Y0＜yc≦Y1の領域はエリア番号を２、X0＜xc≦X1、Y1＜yc≦Y2の領域はエリア番号をP＋１となる。ただし、Y1＜yc≦YQ-1において、エリア番号(q-1)P+2〜qP-1を用いず、欠番とする(図２３参照)。
【００９０】
＜ミキシングテンプレート記憶部４３０、ミキシングテンプレート選択部４４０＞
ミキシングテンプレート記憶部４３０には、カメラエリアの境界点(以下、カメラエリア境界点ともいう)毎のミキシングテンプレートが記憶される。カメラエリア境界点は、図２３に示すように、カメラエリアの境界となっている点のことであり、横方向の分割位置Xpと縦方向の分割位置Yqとの交点である。本実施形態では、各カメラエリア境界点に対するNチャネルの入力信号のN個のボリューム値Vpqn(例えば、図２３の場合、q=0,1,Q-1,Qにおいてq=0,1,…,Q-1,Qであり、q=2,3,…,Q-2においてp=0,1,P-1,P)と、Nチャネルの入力信号を、再生時に想定される視聴者の位置から見てどの方向に音を定位させたいかを示す方向情報DpqnとのN個の組(Vpqn,Dpqn)を1つのテンプレートとして、カメラエリア境界点にそれぞれ対応する複数のテンプレートTp,qが記憶される。ボリューム値Vpqnの設定方法は第三実施形態と同様である。
【００９１】
ミキシングテンプレート選択部４４０は、カメラエリアを示す情報(本実施形態ではエリア番号((qtar-1)P+ptar))を入力とし、ミキシングテンプレート記憶部４３０に記憶された、複数のカメラエリア境界点(p,q)に対応する複数のテンプレートの中から、カメラエリア選択部４２０で選択されたカメラエリア((qtar-1)P+ptar)に対する4つのカメラエリア境界点のテンプレートTp_tar-1,q_tar-1,Tp_tar-1,q_tar,Tp_tar,q_tar-1,Tp_tar,q_tarを選択し（Ｓ４４０）、補間処理部４６０へ出力する。
【００９２】
＜補間処理部４６０＞
補間処理部４６０は、カメラ位置(xc,yc)とテンプレートTp_tar-1,q_tar-1,Tp_tar-1,q_tar,Tp_tar,q_tar-1,Tp_tar,q_tarとを入力とし、カメラ位置(xc,yc)から4つのカメラエリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)までの距離に応じた値を重みとし、4つのカメラエリア境界点のテンプレートを重み付け加算して補間後テンプレートTp_tar,q_tarintを求め（Ｓ４６０）、パン設定部３６０に出力する。
【００９３】
例えば、まず、補間処理部４６０は、カメラエリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)から、カメラ位置(xc,yc)までの距離Dp_tar-1,q_tar-1、Dp_tar-1,q_tar、Dp_tar,q_tar-1、Dp_tar,q_tarをそれぞれ計算する(図２３参照)。例えば、距離Dp_tar,q_tarを次式で計算する。
【００９４】
【数１３】
0006640662.tif 000014
【００９５】
次に、距離Dp_tar-1,q_tar-1、Dp_tar-1,q_tar、Dp_tar,q_tar-1、Dp_tar,q_tarを距離の総和(Dp_tar-1,q_tar-1+Dp_tar-1,q_tar+Dp_tar,q_tar-1+Dp_tar,q_tar)で割った値を重みとし、ミキシングテンプレートを混合する。例えば、カメラエリア境界点(Xp_tar,Yq_tar)に対する重みWp_tar,q_tarは以下の式で計算される。
【００９６】
【数１４】
0006640662.tif 000015
【００９７】
各カメラエリア境界点(Xp_tar-1,Yq_tar-1)、(Xp_tar-1,Yq_tar)、(Xp_tar,Yq_tar-1)、(Xp_tar,Yq_tar)のミキシングテンプレートTp_tar-1,q_tar-1、Tp_tar-1,q_tar、Tp_tar,q_tar-1、Tp_tar,q_tarを重みWp_tar-1,q_tar-1、Wp_tar-1,q_tar、Wp_tar,q_tar-1、Wp_tar,q_tarを用いて混合し、カメラ位置(xc,yc)に対するミキシングテンプレートTp_tar,q_tarincを合成する。
【００９８】
【数１５】
0006640662.tif 000016
【００９９】
なお、ミキシングテンプレートTp_tar,q_tarincに含まれる各ボリューム値、方向情報は以下のようになる。
【０１００】
【数１６】
0006640662.tif 000017
【０１０１】
＜効果＞
このような構成により、カメラ位置の連続的な変化に対し、滑らかにミキシングのボリュームを変化させることができ、カメラがカメラエリアを跨いで移動する場合でも自然な音を出力することができる。
【０１０２】
＜変形例＞
カメラエリアの設定については、第二実施形態の変形例の収音エリアと同様に様々エリア設定が可能である。
【０１０３】
＜第五実施形態＞
第一実施形態と異なる部分を中心に説明する。
【０１０４】
図２４は第五実施形態に係るミキシング装置５００の機能ブロック図を、図２５はその処理フローを示す。
【０１０５】
ミキシング装置５００は、収音エリア位置情報記憶部５１０と、角度計算部５２０と、距離計算部５３０と、収音エリアウェイト設定部５６０と、ミキシングテンプレート記憶部１３０と、テンプレート混合部５４０と、ミキシング部１５０とを含む。なお、ミキシングテンプレート記憶部１３０とミキシング部１５０は第一実施形態と同等であるので説明を省略する。
【０１０６】
ミキシング装置５００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)、カメラ方向Dc及びカメラのズーム量Zをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Om(t)にミキシングし、Mチャネルの出力信号Om(t)を出力する。
【０１０７】
以下、各部の処理内容を説明する。
【０１０８】
＜収音エリア位置情報記憶部５１０＞
収音エリア位置情報記憶部５１０は、複数の収音エリアの位置情報が記憶される。本実施形態では、収音エリアの位置情報として、収音エリアの重心位置を用いる。本実施形態では、収音の対象となる空間は、P個の収音エリアpに分割されるものとし、p=1,2,…,Pとし、収音エリアpの重心位置を(xp,yp)とする。
【０１０９】
＜角度計算部５２０＞
角度計算部５２０は、カメラの位置(xc,yc)、カメラの方向Dc、P個の収音エリアpの重心位置を(xp,yp)を入力とし、収音エリアpの位置(xp,yp)とカメラの位置(xc,yc)とを結んだ線の向きと、カメラの方向Dcとの角度差θpをそれぞれ計算し（Ｓ５２０）、収音エリアウェイト設定部５６０に出力する。図２６で示す角度差に相当する。
【０１１０】
収音エリアpとカメラ方向Dcの角度差θpは以下で計算される。
θp=Dc- Atan2((yp-yc),(xp-xc))    (51)
ただしAtan2(y,x)は、角度を返す関数であり、以下の解を返す関数である。
yc:正,xc:正の場合
tan-1(yc/xc)       （0〜90度の解）
yc:正,xc:負の場合
tan-1(yc/xc)       （90〜180度の解）
yc:負,xc:負の場合
tan-1(yc/xc)       （180〜270度の解）
yc:負,xc:正の場合
tan-1(yc/xc)       （270〜360度の解）
【０１１１】
＜距離計算部５３０＞
距離計算部５３０は、カメラの位置(xc,yc)、P個の収音エリアpの重心位置を(xp,yp)を入力とし、収音エリアpの位置(xp,yp)とカメラの位置(xc,yc)との距離Dpをそれぞれ計算し（Ｓ５３０）、収音エリアウェイト設定部５６０に出力する。図２６で示す距離に相当する。例えば、距離Dpは次式により計算される。
【０１１２】
【数１７】
0006640662.tif 000018
【０１１３】
＜収音エリアウェイト設定部５６０＞
収音エリアウェイト設定部５６０は、P個の角度差θp及び距離Dp、カメラのズーム量Zとを入力とし、ミキシングテンプレートTpに対する重みである収音エリアウェイトWpを設定し（Ｓ５６０）、テンプレート混合部５４０に出力する。
【０１１４】
収音エリアウェイト設定部５６０は、収音エリアウェイトWpを距離Dpが小さいほど大きく、かつ、角度差θpの絶対値が小さいほど大きく設定する。また、収音エリアウェイト設定部５６０は、カメラのズーム量Zが大きいほど角度差θpが大きくなった場合の収音エリアウェイトWpが小さくなるように設定する（図２７参照）。
【０１１５】
例えば、収音エリアpに対するウェイトWpは、ズーム量Z、収音エリアpとカメラ方向の角度差θp、収音エリアpとカメラ間の距離Dpと、あらかじめ設定される任意の正の定数α、βから、次式を用いて計算される。
Wp =β・cos(α・Z・θp)/Dp              -90度<α・Z・θp<90度
Wp =0                                    それ以外             (53)
【０１１６】
＜テンプレート混合部５４０＞
テンプレート混合部５４０は、P個の収音エリアウェイトWpとP個のテンプレートTpを入力とする。テンプレートTpは、
【０１１７】
【数１８】
0006640662.tif 000019
【０１１８】
である。テンプレート混合部５４０に含まれる乗算部５４１−ｐは、テンプレートTpに含まれるボリューム値Vpnmと収音エリアウェイトWpとの積VpnmWpを求め、最大値取得部５４２へ出力する。最大値取得部５４２は、テンプレートTp毎に計算したP個の積VpnmWpの中から入力チャネルnかつ出力チャネルmにおける最大値V(p_max)nmWp_maxを取得する。ただし、pmaxは、あるn,mにおいてVpnmWpを最大とする1,2,…,Pの何れかであって、n,m毎に異なる値である。全ての入力チャネルn及び出力チャネルm(n=1,2,…,N、m=1,2,…,N)について最大値V(p_max)nmWp_maxを求め、混合テンプレートTmaxとして求め（Ｓ５４０）、ミキシング部１５０に出力する。
【０１１９】
【数１９】
0006640662.tif 000020
【０１２０】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。さらに本実施形態によれば、カメラ位置、方向、ズームに対し、カメラに映る範囲の収音エリアに大きなウェイトをかけての音をミキシングすることができ、映像にマッチした音を出力することができる。
【０１２１】
＜第六実施形態＞
第五実施形態と異なる部分を中心に説明する。
【０１２２】
図２８は第六実施形態に係るミキシング装置６００の機能ブロック図を、図２９はその処理フローを示す。
【０１２３】
ミキシング装置６００は、収音エリア位置情報記憶部５１０と、角度計算部５２０と、距離計算部５３０と、収音エリアウェイト設定部５６０と、ミキシングテンプレート記憶部６３０と、テンプレート混合部６４０と、ミキシング部１５０とを含む。なお、収音エリア位置情報記憶部５１０と、角度計算部５２０と、距離計算部５３０と、収音エリアウェイト設定部５６０とは、第五実施形態と同等であり、ミキシング部１５０は第一実施形態と同等であるので説明を省略する。
【０１２４】
ミキシング装置６００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)、カメラ方向Dc及びカメラのズーム量Zをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Om(t)にミキシングし、Mチャネルの出力信号Om(t)を出力する。
【０１２５】
＜ミキシングテンプレート記憶部６３０＞
ミキシングテンプレート記憶部６３０には、各収音位置(xp,yp)(収音エリアpの重心位置に相当)におけるNチャネルの入力信号に対するボリューム値Vpnを1つのテンプレートとして（図３０参照）、P個の収音位置(xp,yp)にそれぞれ対応するP個のテンプレートトTpが記憶される。Vpnは、収音位置(xp,yp)におけるnチャネル目の入力に乗じるボリューム値を表す。各収音位置(xp,yp)に対するボリューム値Vpnは、ミキシング処理を行う前にあらかじめ設定される。図３０は、収音位置(xp,yp)に対するテンプレートTpの例を示す。なお、
【０１２６】
【数２０】
0006640662.tif 000021
【０１２７】
とする。ボリューム値Vpnは、例えば、入力チャネルの接続されているマイクロホンが、ある収音位置(xp,yp)近傍に設置されている場合に大きな値となり、マイクロホンの指向性の向きが収音位置(xp,yp)を向いている際に大きな値となるように設定される。
【０１２８】
＜テンプレート混合部５４０＞
テンプレート混合部５４０は、P個の収音エリアウェイトWpとP個のテンプレートTpを入力とする。テンプレート混合部５４０に含まれるP個の乗算部５４１−ｐは、それぞれテンプレートTpに含まれるボリューム値Vpnと収音エリアウェイトWpとの積VpnWpを求め、パン設定部６４３−ｐへ出力する。
【０１２９】
図３１は、パン設定部６４３−ｐの機能ブロック図を示す。第三実施形態のパン設定部３６０との違いは、実際のカメラの方向Dcと想定位置(xtar,ytar)とに代えて角度差θpを入力とし、角度差計算部３６１を有さない点である。また、テンプレートTpに代えて、TpWpを入力とする。
【０１３０】
【数２１】
0006640662.tif 000022
【０１３１】
また、パンウェイト計算部３６２では、角度差θに代えて、角度差θpを用いて同様の処理を行う。パン設定部６４３−ｐは、テンプレートTtarconに代えて、テンプレートTpconを出力する。
【０１３２】
最大値取得部５４２は、テンプレートTpcon毎に得られるP個の積VpnmWpGmの中から入力チャネルnかつ出力チャネルmにおける最大値V(p_max)nmWp_maxGmを取得する。ただし、pmaxは、あるn,mにおいてVpnmWpを最大とする1,2,…,Pの何れかであって、n,m毎に異なる値である。全ての入力チャネルn及び出力チャネルm(n=1,2,…,N、m=1,2,…,N)について最大値V(p_max)nmWp_maxGmを求め、混合テンプレートTmaxとして求め（Ｓ６４０）、ミキシング部１５０に出力する。
【０１３３】
＜効果＞
このような構成により、カメラ位置、方向、ズームに対し、カメラに映る範囲の収音エリアに大きなウェイトをかけての音をミキシングすることができ、左右の音像定位する映像にマッチした音を出力することができる。
【０１３４】
＜第七実施形態＞
図３１は第七実施形態に係るミキシング装置７００の機能ブロック図を、図３２はその処理フローを示す。
【０１３５】
本実施形態に係るミキシング装置７００は、主にセンター定位させるメイン音を、第五実施形態のミキシング装置５００または第六実施形態のミキシング装置６００で作り、主にサラウンド音として周囲に定位させるサラウンド音を、第三実施形態のミキシング装置３００または第四実施形態のミキシング装置４００で作り、カメラのズーム量Zに合わせて、混合比を変えて、メイン音とサラウンド音をチャネルごとにミキシングする。
【０１３６】
ミキシング装置５００またはミキシング装置６００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)、カメラ方向Dc及びカメラのズーム量Zをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Omain,m(t)にミキシングし、Mチャネルの出力信号Omain,m(t)を出力する。なお、ミキシング装置５００またはミキシング装置６００における処理をメイン音ミキシング処理（Ｓ５００またはＳ６００）ともいう。
【０１３７】
ミキシング装置３００またはミキシング装置４００は、Nチャネルの入力信号In(t)を入力とし、外部から与えられるカメラ位置(xc,yc)及びカメラ方向Dcをもとに、Nチャネルの入力信号In(t)をMチャネルの出力信号Osur,m(t)にミキシングし、Mチャネルの出力信号Osur,m(t)を出力する。なお、ミキシング装置３００またはミキシング装置４００における処理をサラウンド音ミキシング処理（Ｓ３００またはＳ４００）ともいう。
【０１３８】
＜音量制御部７１０＞
音量制御部７１０は、外部から与えられるカメラのズーム量Zを入力とし、ズーム量Zに基づきメイン音に乗算する係数αmainとサラウンド音に乗算する係数αsurを設定し（Ｓ７１０）、係数αmainをM個のメイン音乗算部７２１−ｍに出力し、係数αsurをM個のサラウンド音乗算部７２１−ｍに出力する。なお、ズーム量Zが大きいほど、メイン音に乗算する係数αmainを大きく設定し、サラウンド音に乗算する係数αsurを小さく設定する。係数はあらかじめ係数テーブルなどで設定される。例えば、0≦αmain≦１とし、αsur=1-αmainとしてもよい。
【０１３９】
＜混合部７４０＞
混合部７４０は、ミキシング装置５００または６００の出力信号Omain,m(t)の各チャネルに音量制御部７１０で設定されたメイン音に乗算する係数αmainをそれぞれ乗算し、ミキシング装置３００または４００の出力信号Osur,m(t)の各チャネルに音量制御部７１０で設定されたサラウンド音に乗算する係数αsurをそれぞれ乗算し、乗算した結果を、チャネルごとで加算し、本システムの出力信号とする。
【０１４０】
例えば、混合部７４０は、M個のメイン音乗算部７２１−ｍと、M個のサラウンド音乗算部７２２−ｍと、M個の加算部７３０−ｍとを含む。
【０１４１】
メイン音乗算部７２１−ｍは、出力信号Omain,m(t)と係数αmainを入力とし、出力信号Omain,m(t)と係数αmainとの積αmainOmain,m(t)を求め（Ｓ７２１）、加算部７３０−ｍに出力する。
【０１４２】
サラウンド音乗算部７２２−ｍは、出力信号Osur,m(t)と係数αsurを入力とし、出力信号Osur,m(t)と係数αsurとの積αsurOsur,m(t)を求め（Ｓ７２２）、加算部７３０−ｍに出力する。
【０１４３】
加算部７３０−ｍは、積αmainOmain,m(t)と積αsurOsur,m(t)とを入力とし、積αmainOmain,m(t)と積αsurOsur,m(t)との和αmainOmain,m(t)+αsurOsur,m(t)を求め（Ｓ７３０）、ミキシング装置７００の出力信号Om(t)(=αmainOmain,m(t)+αsurOsur,m(t))として出力する。
【０１４４】
＜効果＞
このような構成により、映像に合わせたメインの音と、サラウンド音を適切に合成でき、ズームに合わせて、適切なメイン音の大きさとサラウンド音の大きさに調整することができる。
【０１４５】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１４６】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１４７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１４８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１４９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１５０】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006640662.tif 000023
【図２】
0006640662.tif 000024
【図３】
0006640662.tif 000025
【図４】
0006640662.tif 000026
【図５】
0006640662.tif 000027
【図６】
0006640662.tif 000028
【図７】
0006640662.tif 000029
【図８】
0006640662.tif 000030
【図９】
0006640662.tif 000031
【図１０】
0006640662.tif 000032
【図１１】
0006640662.tif 000033
【図１２】
0006640662.tif 000034
【図１３】
0006640662.tif 000035
【図１４】
0006640662.tif 000036
【図１５】
0006640662.tif 000037
【図１６】
0006640662.tif 000038
【図１７】
0006640662.tif 000039
【図１８】
0006640662.tif 000040
【図１９】
0006640662.tif 000041
【図２０】
0006640662.tif 000042
【図２１】
0006640662.tif 000043
【図２２】
0006640662.tif 000044
【図２３】
0006640662.tif 000045
【図２４】
0006640662.tif 000046
【図２５】
0006640662.tif 000047
【図２６】
0006640662.tif 000048
【図２７】
0006640662.tif 000049
【図２８】
0006640662.tif 000050
【図２９】
0006640662.tif 000051
【図３０】
0006640662.tif 000052
【図３１】
0006640662.tif 000053
【図３２】
0006640662.tif 000054
【図３３】
0006640662.tif 000055