(57)【特許請求の範囲】
【請求項１】
被写体を撮影して動画像信号を取得する動画像取得手段と、
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システム。
【請求項２】
請求項１に記載された動画像音収録システムにおいて、
前記音強調手段は、前記撮影パラメータ取得手段により取得された前記情報から推定される撮影範囲の外側から到来する音を相対的に多く抑圧する、動画像音収録システム。
【請求項３】
請求項１に記載された動画像音収録システムにおいて、
前記位置関係を表す情報は、前記音取得手段に対する前記動画像取得手段の位置を表す情報である、動画像音収録システム。
【請求項４】
請求項１に記載された動画像音収録システムにおいて、
前記動きの状態を表す情報は、加速度および角加速度を表す情報である、動画像音収録システム。
【請求項５】
請求項１に記載された動画像音収録システムにおいて、
前記撮影パラメータ取得手段が前記撮影方向を表す情報の基準値および位置関係を表す情報の基準値を取得するまで、前記動画像取得手段の位置と向きの調整をガイドする表示を行う手段を有する、動画像音収録システム。
【請求項６】
被写体を撮影して動画像信号を取得する動画像取得手段と、
音を収録して音信号を取得する音取得手段と、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、
前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、
前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、
を有し、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録装置。
【請求項７】
動画像取得手段により取得された動画像信号、および音取得手段により取得された音信号をコンピュータにより処理する動画像音収録プログラムであって、
前記コンピュータを、
前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段、として機能させるための動画像音収録プログラムであって、
前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録プログラム。
【請求項８】
動画像取得手段が被写体を撮影して動画像信号を取得する動画像取得ステップと、
音を収録して音信号を取得する音取得ステップと、
前記動画像取得ステップにおける撮影の方向を表す情報、および前記動画像取得ステップにおける撮影の位置と前記音取得ステップにおける収録の位置との関係を表す情報を取得する撮影パラメータ取得ステップと、
前記撮影パラメータ取得ステップにより取得された前記情報に基づいて、前記音取得ステップにより取得する前記音信号のうち、所定の方向の音信号を強調する音強調ステップと、
前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得ステップと、
前記動画像取得ステップにより取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識ステップと、
を有し、
前記撮影パラメータ取得ステップは、前記装置状態取得ステップにより取得された情報を用いて、前記動画像取得ステップと前記音取得ステップとの位置関係を表す情報を取得し、前記基準点認識ステップにより合致していると判定され、かつ前記装置状態取得ステップにより生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像および音を収録する動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法に関する。
【背景技術】
【０００２】
ビデオカメラやスマートフォン（高機能携帯電話機）、タブレット端末、テレビ会議装置など、カメラとマイクを内蔵し、カメラによる動画像信号の取得と並行して、マイクによる音声信号の取得を行う機能を備えた機器（デバイス）がある。
【０００３】
しかし、これらの機器では、カメラで撮影した被写体とは無関係で不要な音声がマイクに混入してしまう問題がある。そこで、この問題に対処した装置として、動画像信号を取得するカメラと、音声信号を取得するマイクと、前記カメラで取得された動画像信号内における撮影対象者の位置と、前記カメラが撮影に用いるパラメータ情報（画角情報、焦点距離情報など）とに基づき、自端末に対する前記撮影対象者の相対位置を推定する推定手段と、前記相対位置に向けて、前記マイクの指向性を調整する調整手段と、を備えた携帯端末がある（特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この携帯端末には、カメラとマイクがどちらも同一の装置に内蔵され、その位置関係が変化しないという前提がある。したがって、カメラとマイクが別々の装置に備わっており、動画像信号あるいは音声信号を無線通信等でやり取りする場合、さらにそれぞれの装置を持って動かす場合などは、その位置関係が変動するため適応できないという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、その目的は、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得できるようにすることである。
【課題を解決するための手段】
【０００６】
本発明は、被写体を撮影して動画像信号を取得する動画像取得手段と、音を収録して音信号を取得する音取得手段と、前記動画像取得手段の撮影方向を表す情報、および前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得する撮影パラメータ取得手段と、前記撮影パラメータ取得手段により取得された前記情報に基づいて、前記音取得手段により取得する前記音信号のうち、所定の方向の音信号を強調する音強調手段と、前記動画像取得手段の動きの状態を表す情報を取得する装置状態取得手段と、前記動画像取得手段により取得された動画像信号から、空間内の所定の基準点の座標が画像上の所定の座標と合致しているか否かを判定する基準点認識手段と、を有し、前記撮影パラメータ取得手段は、前記装置状態取得手段により取得された情報を用いて、前記動画像取得手段と前記音取得手段との位置関係を表す情報を取得し、前記基準点認識手段により合致していると判定され、かつ前記装置状態取得手段により生成された動きの状態を表す情報が静止を表しているとき、撮影方向を表す情報の基準値、および位置関係を表す情報の基準値を取得する、動画像音収録システムである。
【発明の効果】
【０００７】
本発明によれば、動画像信号と、音信号とを同時に取得するときに、動画像信号を取得する位置と、音信号を取得する位置との関係が変化する場合でも、音信号を高精度に取得することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る動画像音声収録ステムの構成を示すブロック図である。
【図２】本発明の実施形態に係る動画像音声収録システムにおける撮影パラメータ情報および装置状態情報の関係について説明するための図である。
【図３】本発明の実施形態に係る動画像音声収録システムにおいて、音声収録装置に対する動画像撮影装置の位置および向きを所定の状態に調整する操作の流れの一例について説明するための図である。
【図４】本発明の実施形態に係る動画像音声収録システムが撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。
【図５】本発明の実施形態における動画像撮影装置の撮影方向と音声収録装置の指向性との対応関係について説明するための図である。
【図６】本発明の実施形態に係る動画像音声収録システムにおいて、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。
【図７】本発明の実施形態に係る動画像音声収録システムの動作を示すフローチャートである。
【図８】本発明の実施形態に係る動画像音声収録システムを実現するコンピュータシステムのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しつつ詳細に説明する。
〈動画像音声収録システム〉
図１は、本発明の実施形態に係る動画像音声収録システム１の構成を示すブロック図である。図示のように、本発明の実施形態に係る動画像音声収録システム（以下、本システム）１は、動画像撮影装置２と、音声収録装置３からなる。
【００１０】
動画像撮影装置２は被写体を撮影して動画像信号を取得する。音声収録装置３は音声を収録して音声信号（音声に対応する電気信号）を取得する。また、動画像撮影装置２は、自身が取得した動画像信号と、音声収録装置３が取得した音声信号とを結合して動画像音声信号を生成し、記憶する。
【００１１】
なお、音声収録装置３は、音声（人間の発声による音）を収録して音声信号を生成するだけでなく、周囲に他の音（物音、機械の動作音、騒音など）が存在するときは、それらの音に対応する電気信号も生成する。すなわち、音声収録装置３は、音声を含む全ての音を収録して、それらに対応する電気信号である音信号を生成する。したがって、厳密には「音声収録装置３」は「音収録装置３」、「動画像音声収録システム１」は「動画像音収録システム１」とすべきであるが、便宜上、本実施形態では「音声収録装置３」、「動画像音声収録システム１」とした。
【００１２】
動画像撮影装置２は、動画像撮影手段２１、基準点認識手段２２、装置状態取得手段２３、撮影パラメータ取得手段２４、送信手段２５、受信手段２６、動画像音声結合手段２７、および動画像音声記憶手段２８を備えている。ここで、基準点認識手段２２、撮影パラメータ取得手段２４、および動画像音声結合手段２７は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段２０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
【００１３】
また、音声収録装置３は、音声収録手段３１、音声強調手段３２、強調パラメータ制御手段３３、受信手段３４、および送信手段３５を備えている。ここで、音声強調手段３２および強調パラメータ制御手段３３は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する制御手段３０により構成される。すなわち、ＲＯＭに記憶されている動画像音声収録プログラムなどのコンピュータプログラムをＣＰＵがＲＡＭを作業エリアとして処理することにより実現される機能ブロックである。
【００１４】
《動画像撮影装置》
動画像撮影装置２における動画像撮影手段２１は、例えばカメラであり、被写体を撮影して動画像信号を取得する。動画像撮影手段２１は本発明に係る動画像取得手段として機能する。
【００１５】
基準点認識手段２２は、動画像音声収録システム１が動画像信号および音声信号の取得を開始するに先立ち、動画像撮影装置２と音声収録装置３とを所定の位置関係（以下、初期位置関係）に設定するための手段である。
【００１６】
より詳しくは、動画像信号により構成される画像上の音声収録装置３の位置（以下、動画像信号により構成される画像上の位置を画像座標という）が所定の位置であるか否かを認識し、その結果を基準点合致情報として出力する。基準点合致情報は、例えば音声収録装置３の画像座標が所定の位置である場合は“true”、所定の位置でない場合は“false”となる。認識には、例えばパターンマッチングなどの手法を用いる（詳細については図３を参照して後述する）。なお、基準点は複数あってもよく、その場合、全ての点がそれぞれの所定の座標にあるか否かを判定する。
【００１７】
装置状態取得手段２３は装置状態情報を取得する。装置状態情報とは、動画像撮影装置２の加速度や角加速度などである。装置状態情報は例えば、三次元空間内に設定したＸＹＺ直交座標におけるＸ軸方向の加速度ａX、Ｙ軸方向の加速度ａY、Ｚ軸に対する角加速度ωZ、からなる３つの値の組（ａX，ａY，ωZ）で表すことができる。ここで、Ｘ軸およびＹ軸を含む面が水平面であり、Ｚ軸は鉛直線である。これらの加速度や角加速度は、例えば加速度センサや角加速度センサを用いて取得することができる。
【００１８】
撮影パラメータ取得手段２４は動画像撮影装置２の撮影パラメータ情報を取得する。撮影パラメータ情報とは、例えば、動画像撮影装置２が前述した初期位置関係に設定された状態を原点（位置関係を表す情報の基準値）、および０度（撮影方向を表す情報の基準値）としたときの、現在の動画像撮影装置２の座標（位置関係を表す情報）、および角度（撮影方向を表す情報）である。
【００１９】
例えばこの情報は（Ｘ，Ｙ，θ）の３組の値で表すことが出来る。これらは、装置状態情報と、基準点認識手段２２の基準点合致情報から推定する。すなわち、装置状態情報を取得する時間間隔をΔｔ、前回推定した撮影パラメータ情報を（Ｘ0，Ｙ0，θ0）とすると、現在の撮影パラメータ情報は下記の式〔１〕〜式〔３〕により算出できる。
【００２０】
Ｘ＝Ｘ0＋ａXΔｔ2…式〔１〕
Ｙ＝Ｙ0＋ａYΔｔ2…式〔２〕
θ＝θ0＋ωZΔｔ2…式〔３〕
これらの式において、ａXΔｔ2、ａYΔｔ2、ωZΔｔ2は、それぞれ加速度ａX、加速度ａY、角加速度ωZの時間軸上の二重積分を表す。
【００２１】
ここで、初めの推定時の（Ｘ0，Ｙ0，θ0）については、基準点合致情報が“true”、かつ装置状態情報が静止、すなわち（ａX，ａY，ωZ）＝（０，０，０）の状態を基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）とし、そこから推定を始めるやり方がある。この場合、基準状態から、装置状態情報（ａX、ａY、ωZ）の時間軸上の二重積分を算出することで、動画像撮影装置２の現在の位置および撮影方向を表す撮影パラメータ情報を取得する。
【００２２】
図２は、撮影パラメータ情報と装置状態情報との関係について説明するための図である。ここで、図２Ａは撮影パラメータ情報を示し、図２Ｂは装置状態情報を示す。
【００２３】
図２Ａにおいて、（Ｘ，Ｙ，θ）＝（０，０，０）の点１０１は初期位置関係における動画像撮影装置２の撮影パラメータ情報を表し、（Ｘ，Ｙ，θ）＝（Ｘ1，Ｙ1，θ1）の点１０２は動画像撮影装置２の現在の撮影パラメータ情報を表す。また、矢印１０３は動画像撮影装置２の現在の撮影方向（θ1）を表す。また、（Ｘ，Ｙ，θ）＝（０，Ｙref，０）の点１００は初期位置関係における音声収録装置３に対する撮影パラメータ情報を表す。すなわち、初期位置関係では、動画像撮影装置２に対して、音声収録装置３がＹ軸方向（＝矢印１０３に示す撮影方向）にＹref離れた位置に存在することを表す。
【００２４】
図２Ｂにおいて、ａX，ａY，ωZは、任意の点１０５（Ｘ，Ｙ，θ）におけるＸ軸方向の加速度、Ｙ軸方向の加速度、Ｚ軸の周りの角加速度の向きを表す。
【００２５】
図１の説明に戻る。送信手段２５は撮影パラメータ情報を音声収録装置３へ送信する。通信方法は有線通信でも無線通信でもよい。受信手段２６は音声収録装置３で収録され、強調処理された音声信号（以下、強調音声信号）を受信する。この通信方法も有線通信でも無線通信でもよい。
【００２６】
動画像音声結合手段２７は、動画像撮影手段２１により取得された動画像信号と、受信手段２６により受信された強調音声信号とを結合し、関連付けられた動画像音声信号とする。動画像音声記憶手段２８は、例えばハードディスク、ソリッドステートディスク、ＳＤメモリなどからなり、動画像音声信号を記憶する。
【００２７】
《音声収録装置》
本発明に係る音取得手段としての音声収録手段３１は、例えばマイクアレイからなり、音声を収録して音声信号を生成する。音声強調手段３２は、音声信号から、任意の方向から来た音声を強調した強調音声信号を生成する。強調方法には、例えばマイクアレイによるビームフォーミングや、指向性の向きの異なるマイクの切り替えなどを用いる。マイクアレイによるビームフォーミングについては後に詳述する。
【００２８】
受信手段３４は動画像撮影装置２から撮影パラメータ情報を受信する。強調パラメータ制御手段３３は、受信手段３４により受信された撮影パラメータ情報に基づいて、音声強調手段３２の強調パラメータを制御する。この強調パラメータについては後に詳述する。送信手段３５は、音声強調手段３２により生成された強調音声信号を動画像撮影装置２へ送信する。
【００２９】
なお、この実施形態では、動画像撮影装置２側に動画像音声記憶手段２８があり、音声収録装置３からの音声信号を受信しているが、逆に、音声収録装置３側に動画像音声記憶手段を設けて、動画像撮影装置２からの動画像信号を受信するように構成することもできる。また、動画像音声記憶手段をさらに別の装置に設けてもよい。
【００３０】
また、この実施形態では、動画像音声信号を最終的に記憶しているが、例えばディスプレイやスピーカなどの出力手段を設けて、そこから出力してもよいし、テレビ会議のような用途でネットワークを介して他装置へ送信してもよい。
【００３１】
また、この実施形態では、動画像撮影装置２と音声収録装置３とが初期位置関係であることを認識した後は、音声収録装置３は動かず、動画像撮影装置２が動くことを前提としているため、装置状態取得手段２３を動画像撮影装置２３内に設けたが、音声収録装置３内にも装置状態取得手段を設けることで、音声収録装置３の装置状態情報を取得するように構成してもよい。このように構成すれば、音声収録装置３が動いても、動画像撮影装置２は撮影パラメータ情報を取得することができる。
【００３２】
〈撮影パラメータ情報の基準状態の取得〉
音声収録装置３に対する動画像撮影装置２の位置、および向きを所定の状態に調整する操作の流れの一例について図３を参照して説明する。ここでは、図３Ａに示すように、動画像撮影装置２をカメラ付きタブレット端末とし、音声収録装置３を動画像撮影装置２と無線通信可能なワイヤレスマイクとした。
【００３３】
この操作は第１〜第３の前提のもとで実行する。
第１の前提：音声収録装置３上の３点を基準点とする。ここでは、図３Ａに示すように、音声収録装置３に付けた３つの十字型のマーカーＰa、Ｐb、Ｐcの中心を基準点とした。
第２の前提：この３点を、所定の位置、所定の向きで動画像撮影装置２により撮影したときの画像座標をそれぞれ（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc）とする。
第３の前提：そのとき、音声収録装置３は静止していなければならない。
【００３４】
ユーザは撮影中の音声収録装置３の画像を見ながら、３つの基準点であるマーカーＰa、Ｐb、Ｐcの中心がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致するように動画像撮影装置２を動かす。このとき、確認用に撮影中の画像の（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）の点にガイドを表示することが好適である。ここでは、図３Ｂに示すように、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）を指示する矢印Ｐ1、Ｐ2、Ｐ3をディスプレイ２００に表示した。
【００３５】
ユーザが動画像撮影装置２を動かした結果、図３Ｃに示すように、撮影中の画像上の３つの基準点の座標がそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）に一致すると、基準点認識手段２２は基準点合致情報として“true”を出力する。
【００３６】
さらに、装置状態取得手段２３は、動画像撮影装置２の加速度および角加速度をセンサから取得し、装置状態情報を出力する。動画像撮影装置２が静止していれば装置状態情報は（０，０，０）を示す。
【００３７】
基準点合致情報として“true”を、装置状態情報として（０，０，０）を受け取った撮影パラメータ取得手段２４は、その時点の状態を、座標、角度計算のための基準状態とする。すなわち、撮影パラメータ情報：（Ｘ，Ｙ，θ）＝（０，０，０）とし、操作を終了する。
【００３８】
図４は、動画像音声収録システム１が撮影パラメータ情報の基準状態を取得する処理の流れを示すフローチャートである。
【００３９】
まず、動画像撮影手段２１が動画像信号を取得する(ステップＳ１)。次に、取得された動画像信号により構成される動画像上の基準点の画像座標（例えば図３ＢにおけるマーカーＰa、Ｐb、Ｐcの中心の画像座標（ｘa，ｙa）、（ｘb，ｙb）、（ｘc，ｙc））が所定の座標（例えば（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3））と一致しているか否かを基準点認識手段２２が判定する（ステップＳ２）。判定の結果、一致していれば（ステップＳ２：YES）、ステップＳ３へ進み、一致していなければ（ステップＳ２：NO）、ステップＳ１に戻る。
【００４０】
ステップＳ３では、装置状態取得手段２３が装置状態情報（ａX，ａY，ωZ）を取得する。次に、この装置状態情報が、動画像撮影装置２が静止していることを示しているか否か、すなわち（ａX，ａY，ωZ）＝（０，０，０）であるか否かを撮影パラメータ取得手段２４が判定する（ステップＳ４）。判定の結果、静止していることを示していれば（ステップＳ４：YES）、ステップＳ５へ進み、静止していることを示していなければ（ステップＳ４：NO）、ステップＳ１に戻る。
【００４１】
ステップＳ５では、撮影パラメータ取得手段２４が、現在の撮影パラメータ情報を基準状態に設定する。すなわち（ａX，ａY，ωZ）＝（０，０，０）のとき、動画像撮影装置２の撮影パラメータ情報（Ｘ，Ｙ，θ）として、基準状態、すなわち（Ｘ0，Ｙ0，θ0）＝（０，０，０）を設定する。この結果、例えば図３のマーカーＰa、Ｐb、Ｐcの中心が矢印Ｐ1、Ｐ2、Ｐ3の先端に一致し、かつ動画像撮影装置２が静止している時に、図２Ａの点１０１における撮影パラメータ情報が設定される。
【００４２】
〈動画像撮影装置の撮影方向と音声収録装置の指向性との関係〉
図５は、動画像音声収録システム１における動画像撮影装置２の撮影方向と音声収録装置３の指向性との対応関係について説明するための図である。
【００４３】
図５Ａは、動画像撮影手段２１の撮影方向が音声収録装置３に向かう方向１１１である状態を示している。この図において、ｐ，ｑ，ｒ，ｓはマイク（音声収録手段３１）を表している。すなわち、４つのマイクが正方形の頂点に配置されているといえる。
【００４４】
この状態では、音声収録装置３の指向性を、動画像撮影手段２１の中心に向いている方向にピーク値を有する指向性１２１、およびその反対の方向にピーク値を有する指向性１２２からなる双極性にする。
【００４５】
図５Ｂは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から反時計回りにθ回転した方向１１２に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から時計回りにφ回転した方向１１３にピーク値を有する指向性１２３からなる単極性にする。
【００４６】
図５Ｃは、動画像撮影手段２１の撮影方向が音声収録装置３へ向かう方向から時計回りにθ回転した方向１１４に向いている状態を示している。この状態では、音声収録装置３の指向性を、動画像撮影手段２１への方向から反時計回りにφ回転した方向１１５にピーク値を有する指向性１２４からなる単極性にする。
【００４７】
図５Ａ、図５Ｂ、図５Ｃに示すように、通常、注目している音源は動画像撮影手段２１の撮影方向１１１、１１２、１１４に位置すると考えられるため、音声収録装置３の指向性を１２２、１２３、１２４のように設定することにより、音源からの音を強調することができる。これらの指向性を実現するには、音声収録装置３の強調パラメータ制御手段３３が制御信号として、撮影方向情報θに応じて形成する指向性の種類（単極性か双極性か）と、その向きを示すφの値を音声強調手段３２に出力し、音声強調手段３２がその制御信号を基に指向性を形成することになる。
【００４８】
θとφとの関係を示すテーブルの一例を下記の表１に示す。ここで、θ＝０は図５Ａに示されている方向１１１、すなわち、動画像撮影手段２１の中心から音声収録装置３のマイクに向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。つまり、図５Ｂではθはほぼ−π／４であり、図５Ｃではθはほぼπ／４である。
【００４９】
【表１】
0006631193.tif 000002
【００５０】
また、表１において、φ=０は音声収録装置３から動画像撮影手段２１の中心に向かう方向、すなわちθ＝πの方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。
【００５１】
したがって、図５Ａ、図５Ｂ、図５Ｃと表１との関係は下記のようになる。
図５Ａ：「−π／６＜θ≦π／６」・・・「双極性、φ＝０」
図５Ｂ：「７π／６＜θ≦１１π／６」・・・「単極性、φ＝π／４」
図５Ｃ：「π／６＜θ≦５π／６」・・・「単極性、φ＝−π／４」
【００５２】
音声信号を強調する方法としては、マイクアレイによるビームフォーミングなどを用いる。例えば、φ方向に指向性を形成する場合、遅延和ビームフォーミングでは下記の式〔４〕で強調音声信号が得られる。
【００５３】
Ｙ(ω)＝ＷH(ω)ｚ(ω)  …式〔４〕
ここでωは音声信号のスペクトルの角周波数、Ｙは強調音声信号のスペクトル、ｚは入力音声信号のスペクトル、Ｗは強調のためのフィルタ係数、Ｈは複素共役転置を表す。ｚとＷはベクトル表現になっており、それぞれ、下記の式〔５〕、〔６〕で表される。
【００５４】
ｚ(ω)＝［Ｚ1(ω),・・・,ＺM(ω)］T  …式〔５〕
Ｗ(ω)＝［Ｗ1(ω),・・・,ＷM(ω)］T  …式〔６〕
ここで、Ｚの添え字はマイクの番号を表し、Ｍはマイクの個数である。また、Ｔは行列の転置を表す。
【００５５】
ここでＷの値は、各マイクの位置と強調したい音源の方向が同一平面状にあるとすると、次の式〔７〕のようになる。
Ｗm(ω)＝exp｛ｊ(ω/c)(ｘmsinφ＋ｙmcosφ)｝  …式〔７〕
ここで、ｃは音速、ｘm，ｙmはマイクの座標、φは強調したい音声信号の音源の方向である。
【００５６】
〈音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御〉
図６は、音声収録装置に対する動画像撮影装置の位置が変化する場合の音声収録装置の指向性の制御について説明するための図である。
【００５７】
この場合は例えば、音声収録装置３から見て、３６０度（２π）を８分割した領域ａ〜ｈのどこに動画像撮影装置２が位置するかで制御信号を切り替える。例えば図示のように動画像撮影装置２が領域ｃに位置する場合、下記の表２のように撮影方向θと制御信号（指向性の種類、向きφ）を設定する。
【００５８】
【表２】
0006631193.tif 000003
【００５９】
この表において、θ＝０は音声収録装置３から領域ｅの中心に向かう方向である。また、時計回りがθのプラス方向、反時計回りがθのマイナス方向である。また、φ＝０は音声収録装置３から領域ａの中心に向かう方向である。また、時計回りがφのプラス方向、反時計回りがφのマイナス方向である。
【００６０】
この表に示すデータを持つテーブルを領域毎に用意することで、音声収録装置３に対する動画像撮影装置２の方向が変化しても、適切な指向性を形成することができる。なお、動画像撮影装置２が領域ｃ以外の領域（以下、注目領域）に位置するときは、表２におけるθの範囲の値を領域ｃと注目領域との角度差を付加した値にすればよい。
【００６１】
なお、ここではφの値を４段階に変化させているが、例えばθの値に応じて連続的に変化させるなど、より多くの段階に変化させてもよい。
【００６２】
〈動画像音声収録システムの動作〉
図７は、動画像音声収録システム１の動作を示すフローチャートである。
【００６３】
まず、動画像撮影装置２では、装置状態取得手段２３が装置状態情報を取得する（ステップＳ１１）。次に、撮影パラメータ取得手段２４が、ステップＳ１で取得された装置状態情報から撮影パラメータ情報を推定する（ステップＳ１２）。このときの基準状態については図４に示した処理により設定済みのものを用いる。
【００６４】
次いで、送信手段２５が、ステップＳ２で推定された撮影パラメータ情報を音声収録装置３へ送信する（ステップＳ１３）。次に、動画像撮影手段２１が動画像信号を取得する（ステップＳ１４）。
【００６５】
音声収録装置３では、受信手段３４が撮影パラメータ情報を受信し（ステップＳ２１）、強調パラメータ制御手段３３が、ステップＳ２１で受信された撮影パラメータ情報に応じて、音声強調パラメータを制御する（ステップＳ２２）。
【００６６】
次に、音声収録手段３１が音声信号を取得し（ステップＳ２３）、音声強調手段３２が、ステップＳ２３で取得された音声信号をステップＳ２２で取得された音声強調パラメータに基づいて強調処理し、強調音声信号を取得する（ステップＳ２４）。次に、送信手段３５が、ステップＳ２４で取得された強調音声信号を動画像撮影装置２へ送信し、音声収録装置３側の処理を終える。
【００６７】
動画像撮影装置２では、受信手段２６が強調音声信号を受信し（ステップＳ１５）、動画像音声結合手段２７が、ステップ１４で取得された動画像信号と、ステップＳ１５で受信された強調音声信号を結合して、動画像音声信号を取得する（ステップＳ１６）。次に、動画像音声記憶手段２８が、ステップＳ１５で取得された動画像音声信号を記憶し（ステップＳ１７）、動画像撮影装置２側の処理を終える。
【００６８】
〈動画像音声収録システムを実現するコンピュータシステム〉
図８は、動画像撮影装置２および音声収録装置３を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
【００６９】
動画像撮影装置２および音声収録装置３は、図８に示すような汎用のコンピュータシステムにより実現することができる。このコンピュータシステムは、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、およびＩ／Ｆ（インタフェース）１５がバス１０を介して接続された構成を有し、Ｉ／Ｆ１５にはＬＣＤ（Liquid Crystal Display）などの表示部１６および操作部１７が接続されている。
【００７０】
ＣＰＵ１１は演算手段であり、コンピュータシステム全体の動作を制御する。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＲＡＭ１３は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１１が情報を処理する際の作業領域として用いられる。ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等が格納されている。Ｉ／Ｆ１５は、バスと各種のハードウェアやネットワーク等を接続し制御する。表示部１６は、ユーザがコンピュータシステムの状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザがコンピュータシステムに情報を入力するためのユーザインタフェースである。
【００７１】
以上詳細に説明したように、本発明の実施形態に係る動画像音声収録システム１には下記（１）〜（５）の特徴がある。
（１）音声収録手段３１に対する動画像撮影手段２１の位置、および動画像撮影手段２１の撮影方向を推定し、その推定結果に応じて、音声収録手段３１へ到来する音声の方向を特定し、音声収録手段３１の指向性を変化させるので、音声収録手段３１と動画像撮影手段２１との位置関係が変化する場合でも、良好な音声信号を取得することができる。
（２）動画像撮影手段２１の撮影方向の推定結果に応じて、撮影範囲の外側から到来する音を相対的に多く抑圧することができる。
（３）動画像撮影装置２の加速度および角加速度から、動画像撮影装置２の位置および撮影方向を推定することができる。
（４）音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を、位置および撮影方向の推定に利用することができる。
（５）ユーザシステム利用時に、音声収録手段３１に対する動画像撮影手段２１の基準位置、および動画像撮影手段２１の基準の撮影方向を得ることができる。
【００７２】
なお、以上説明した実施形態では、動画像撮影装置２と、音声収録装置３とが別々の装置であり、かつ動画像撮影装置２が動画像撮影手段（カメラ）２１を内蔵し、音声収録装置３が音声収録手段（マイク）３１を内蔵しているが、動画像撮影装置と音声収録装置とを１つの動画像音声収録装置とし、かつ動画像撮影手段、音声収録手段を装置と別に設けるように構成してもよい。
【符号の説明】
【００７３】
１…動画像音声収録システム、２…動画像撮影装置、３…音声収録装置、２１…動画像撮影手段、２２…基準点認識手段、２３…装置状態取得手段、２４…撮影パラメータ取得手段、３１…音声収録手段、３２…音声強調手段、３３…強調パラメータ制御手段。
【先行技術文献】
【特許文献】
【００７４】
【特許文献１】特開２０１１−４１０９６号公報
【図１】
0006631193.tif 000004
【図２】
0006631193.tif 000005
【図３】
0006631193.tif 000006
【図４】
0006631193.tif 000007
【図５】
0006631193.tif 000008
【図６】
0006631193.tif 000009
【図７】
0006631193.tif 000010
【図８】
0006631193.tif 000011