(57)【要約】【課題】映像と音声とを用いて精度良くプロファイルを生成する。【解決手段】所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手段と、前記所定の位置において集音された音声信号から、前記検出手段により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手段と、前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手段と、前記サンプルデータ選定手段により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手段とを有することにより上記課題を解決する。【選択図】図２
2015177490.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手段と、
前記所定の位置において集音された音声信号から、前記検出手段により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手段と、
前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手段と、
前記サンプルデータ選定手段により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手段とを有することを特徴とする映像音声処理システム。
【請求項２】
前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記到来方向が検出された音声信号が、前記映像信号に含まれる検出対象に対応するか推定し、推定結果に基づいて、前記映像信号に含まれる検出対象と、前記音声信号とを対応付ける対応付け手段を有することを特徴とする請求項１に記載の映像音声処理システム。
【請求項３】
前記サンプルデータ選定手段は、
前記音声信号のサンプルデータとして、前記音声信号の位置、方向、音声の開始又は終了時刻のうち少なくとも１つを用いて、前記検出対象の領域との相関が閾値より大きいサンプルデータを収集することを特徴とする請求項１又は２に記載の映像音声処理システム。
【請求項４】
前記サンプルデータ選定手段は、
前記映像信号のサンプルデータとして、前記映像信号に含まれる検出対象の位置、方向、動作の開始又は終了時刻の少なくとも１つにおいて、前記音声信号との相関が閾値より大きいサンプルデータを収集することを特徴とする請求項１乃至３のいずれか一項に記載の映像音声処理システム。
【請求項５】
前記検出手段は、
少なくとも１以上の画像サンプルの初期プロファイルを用いて画像マッチングすることにより、前記検出対象の領域を抽出することを特徴とする請求項１乃至４のいずれか一項に記載の映像音声処理システム。
【請求項６】
所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手段と、
前記所定の位置において集音された音声信号から、前記検出手段により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手段と、
前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手段と、
前記サンプルデータ選定手段により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手段とを有することを特徴とする情報処理装置。
【請求項７】
映像音声処理システムにより実行される映像音声処理方法であって、
所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手順と、
前記所定の位置において集音された音声信号から、前記検出手順により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手順と、
前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手順と、
前記サンプルデータ選定手順により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手順とを有することを特徴とする映像音声処理方法。
【請求項８】
コンピュータを、
所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手段、
前記所定の位置において集音された音声信号から、前記検出手段により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手段、
前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手段、及び、
前記サンプルデータ選定手段により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手段として機能させるための映像音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、映像音声処理システム、情報処理装置、映像音声処理方法、及び映像音声処理プログラムに関する。
【背景技術】
【０００２】
例えば、会議等で録音された音声情報をテキスト情報に変換することで議事録を生成する技術が知られている。このような技術では、会議中に誰がどの発言を行ったかを記憶すると共に、複数の会議参加ユーザが同時に発言した場合にも話者を特定し、精度良く音声を認識する技術が求められている。音声を精度良く認識するためには、予め個々のユーザが発する特徴を記憶する音声プロファイルを作成し、作成した音声プロファイルを指標として、音声情報のキャリブレーションを行ってテキスト情報に変換することが行われている。
【０００３】
また、会議の様子をカメラ等で撮影し、撮影された映像信号を用いて話者と音声とを対応付ける技術が知られている。例えばカメラ等で撮影された入力映像信号から映像オブジェクトを分離すると共に、入力音響信号から音響オブジェクトを分離し、映像オブジェクトと音響オブジェクトとの相関を求め、映像オブジェクトと音響オブジェクトとを対応付ける方法が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の手法では、入力映像信号から映像オブジェクトを抽出する処理と、入力音響信号から音響オブジェクトを抽出する処理とがそれぞれ独立に行われている。したがって、例えば映像信号や音声信号においてノイズやオクルージョン等が発生した場合には両者の適切な相関が得られず、オブジェクトの検出精度が低下してしまう。
【０００５】
１つの側面では、本発明は、映像と音声とを用いて精度良くプロファイルを生成することを目的とする。
【課題を解決するための手段】
【０００６】
一態様において、所定の位置で撮像された映像信号から、検出対象の領域を検出する検出手段と、前記所定の位置において集音された音声信号から、前記検出手段により検出された検出対象の領域に対応する前記検出対象ごとの音声信号に分離する音声信号分離手段と、前記検出対象の領域と、前記検出対象ごとの音声信号の到来方向とに基づいて、前記映像信号又は前記音声信号から、映像又は音声のプロファイルを生成するためのサンプルデータを選定するサンプルデータ選定手段と、前記サンプルデータ選定手段により選定された前記サンプルデータを用いて、映像又は音声のプロファイルを生成するプロファイル生成手段とを有する。
【発明の効果】
【０００７】
映像と音声とを用いて精度良くプロファイルを生成することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】映像音声処理システムの概略構成の一例を示す図である。
【図２】映像音声処理装置の機能構成の一例を示す図である。
【図３】映像音声処理装置のハードウェア構成の一例を示す図である。
【図４】プロファイル生成処理の流れを示すフローチャートである。
【図５】映像オブジェクトとの対応付け処理の流れを示すフローチャートである。
【図６】サンプルデータ選定処理の流れを示すフローチャートである。
【図７】映像オブジェクトとの対応付けを説明するための図である。
【図８】映像オブジェクト領域と推定領域の相関を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について詳細に説明する。
【００１０】
＜映像音声処理システム：概略構成＞
図１は、映像音声処理システムの概略構成の一例を示す図である。図１に示す映像音声処理システム１は、会議収録装置１０と、情報処理装置の一例である映像音声処理装置２０とを有する。図１に示す映像音声処理システム１は、例えば会議中の映像や音声を取得し、取得した情報を用いて精度良くプロファイルを生成する。
【００１１】
会議収録装置１０は、例えば会議室等の所定の位置に設置され、周囲の映像信号及び音声信号（音源信号）の収録を行う。なお、この映像信号と音声信号とは、時間情報に基づく対応付けがなされている（同期が取れている）ものとする。会議収録装置１０は、例えば広角カメラとマイクロフォンアレイ（以下、「マイクアレイ」という）とを備える。会議収録装置１０は、例えば広角カメラにより会議室等にいる会議参加者を撮影（撮像）して映像信号を生成し、例えばマイクアレイにより会議参加者が発言した音声を録音（集音）して、マルチチャンネルの音声信号を生成する。
【００１２】
会議収録装置１０のマイクアレイは、音源位置の特定を可能とするため、例えば複数のマイクが所定の間隔で放射上に配置されているものが望ましく、それぞれのマイクに収録された音声信号はそれぞれ独立に保存されると良い。なお、会議収録装置１０のカメラは、広角カメラに限定されるものではない。また、会議収録装置１０のマイクは、マイクアレイに限定されるものではない。
【００１３】
映像音声処理装置２０は、会議収録装置１０から得られる映像信号から検出対象としてのオブジェクト（例えば、会議参加者等の人物）の領域を検出し、マルチチャンネルの音声信号からオブジェクト（例えば、人物）ごとの音声信号を分離し、収録された映像信号又はマルチチャンネルの音声信号からサンプルデータを収集する。更に、映像音声処理装置２０は、収集された映像信号のサンプルデータ又は音声信号のサンプルデータを用いて映像又は音声のプロファイルを生成する。
【００１４】
映像音声処理装置２０は、例えば一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、サーバ等により実現され、特徴的な機能は、主にソフトウェア処理により提供される。映像音声処理装置２０は、例えば音声処理装置２１と、映像処理装置２２と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２３と、主記憶装置２４と、補助記憶装置２５とを有する。
【００１５】
音声処理装置２１は、信号線を介して、会議収録装置１０のマイクアレイ等で録音（集音）された音声信号を入力する。なお、マイクアレイ等からの音声入力インターフェースは、例えばミキサ等との間の接続仕様等に応じてＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェース等を用いることが可能であるが、これに限定されるものではない。
【００１６】
また、入力される音声信号は、複数のアナログ信号である場合がある。その場合、音声処理装置２１は、入力された複数のアナログ信号をＡ／Ｄ変換によりデジタルデータに変換し、変換されたデータを補助記憶装置２５に記憶する。
【００１７】
映像処理装置２２は、信号線を介して、会議収録装置１０の広角カメラ等で撮影（撮像）された映像信号を入力し、入力した映像信号を補助記憶装置２５に記憶する。なお、映像処理装置２２は、入力した映像信号がアナログ信号である場合には、アナログ信号をＡ／Ｄ変換によりデジタルデータに変換しても良い。
【００１８】
ＣＰＵ２３は、映像音声処理装置２０における各種処理を実行する。主記憶装置２４は、高速記憶装置であり、映像音声処理装置２０に電源が投入されると、補助記憶装置２５に格納されていたソフトウェアコードの全部又は１部がコピーされ、ＣＰＵ２３の制御に用いられる。
【００１９】
補助記憶装置２５は、ハードディスクやフラッシュメモリ、光ディスク等である。補助記憶装置２５には、本実施形態に必要なソフトウェアが格納される。なお、主記憶装置２４及び補助記憶装置２５は、１つの記憶装置として構成されていても良い。
【００２０】
上述した映像音声処理システム１の構成は、図１の例に限定されるものではなく、例えば、映像音声処理装置２０を、会議収録装置１０に組み込んだ構成としても良い。また、会議収録装置１０と、映像音声処理装置２０との間は、例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等に代表される通信ネットワークにより接続されていても良い。通信ネットワークは、有線でも無線でも良く、これらの組み合わせでも良い。
【００２１】
本実施形態では、例えば会議参加者の音声、人物映像をより正確に取得するために、音声プロファイル、映像プロファイルを自動で精度良く生成する。なお、マイクアレイを使うことで、特定の人の声を抽出することができるが、特定の音声信号を分離するだけで、個々の音声信号が誰の声なのかは分からない。
【００２２】
例えば、会議中に常に話者が特定の位置にいる場合は問題にならないが、例えば人が立ち上がってホワイトボードの前に行ったり、途中で人が入ってきて席を移動することも起こる。このような場合、従来の音声分離処理では話者の音声信号を分離することはできるが、どの音声信号が誰の音声信号なのかを判定することができない。
【００２３】
本実施形態では、例えば分離した音声信号に対して、映像信号からの情報を相補的に利用して音声プロファイルを生成する。また、本実施形態では、映像信号に対して、音声信号からの情報を相補的に利用して映像プロファイルを生成することも可能である。
【００２４】
＜映像音声処理装置＞
図２は、映像音声処理装置の機能構成の一例を示す図である。図２に示すように、映像音声処理装置２０は、音声信号分離手段３１と、検出手段の一例としてのオブジェクト検出手段３２と、プロファイル取得手段３３とを有する。
【００２５】
プロファイル取得手段３３は、初期画像プロファイル生成手段４０と、到来方向検出手段４１と、対応付け手段の一例としての映像オブジェクト対応付け手段４２と、サンプルデータ選定手段４３と、プロファイル生成手段４４とを有する。
【００２６】
音声信号分離手段３１は、会議収録装置１０のマイクアレイにより入力（集音）されたマルチチャンネルの音声信号を、検出対象の一例としてのオブジェクト（例えば、人物）ごとの音声信号に分離する処理を行う。オブジェクトごとの音声信号に分離する方法としては、例えばブラインド信号源分離（Ｂｌｉｎｄ  Ｓｏｕｒｃｅ  Ｓｅｐｅｒａｔｉｏｎ）や、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）等の手法を用いることが可能である。
【００２７】
ブラインド信号源分離は、例えば複数の未知の信号系列を未知の線形混合系で混合した複数の測定値系列を用いて、それぞれの音声信号に分離する。また、独立成分分析は、多変量解析手法の１つであり、入力された信号を独立性という基準から分析し、それぞれの音声信号に分離する。なお、分離する手法については、これに限定されるものではない。
【００２８】
オブジェクト検出手段３２は、例えば映像信号から検出対象としてのオブジェクトの領域を抽出する。オブジェクトの領域とは、例えば会議参加者の顔領域等であるが、これに限定されるものではなく、予め設定された物体等であっても良い。
【００２９】
オブジェクト検出手段３２は、例えば１以上の画像サンプルの初期画像プロファイルを用いて画像マッチングすることにより、オブジェクトの領域を抽出することが可能である。なお、上述したオブジェクトの領域は、例えば画像解析等により顔（又は物体）の特徴を抽出することで、オブジェクトの領域を抽出することが可能である。
【００３０】
プロファイル取得手段３３は、オブジェクトの領域と、オブジェクトごとの音声信号の到来方向とに基づいて、収録された映像又は音声からサンプルデータを収集し、収集されたサンプルデータの映像又は音声を用いて、映像プロファイル又は音声プロファイルを生成する。なお、音声プロファイルとは、例えば音響モデル（例えば、音の波形を集めたものや音の特徴量）等であり、映像プロファイルとは、例えば各個人（例えば会議参加者等）を検出するための識別情報等であるが、これに限定されるものではない。
【００３１】
初期画像プロファイル生成手段４０は、会議収録装置１０から得られる映像信号から各個人ごとの画像特徴量（例えば顔画像の特徴量）を取得し、取得した情報を初期画像のプロファイルとして生成する。
【００３２】
初期画像プロファイル生成手段４０は、顔画像の特徴取得方法として、例えばＨａａｒ−Ｌｉｋｅ等を用いることができるが、これに限定されるものではない。なお、Ｈａａｒ−ｌｉｋｅ特徴量は、例えば矩形領域の平均明度の差分値として求められるスカラ量であり、その値は明度勾配の強度を表している。
【００３３】
到来方向検出手段４１は、音声信号分離手段３１により分離されたオブジェクト（例えば、人物）ごとの音声信号について、例えば所定の位置における所定時間ごとの音の到来方向（音源方向）を検出する。
【００３４】
到来方向検出手段４１は、例えばマイクアレイにおいて各マイクに音が到達するまでの時間の差を利用することで音の到来方向を検出する。到来方向検出手段４１は、例えば、音声信号の位相差を算出することで、到来方向を検出することができるが、これに限定されるものではない。なお、算出方法の一例としては、特開２０１１−７１６８３号公報に記載されている内容を利用することが可能である。
【００３５】
映像オブジェクト対応付け手段４２は、到来方向検出手段４１により到来方向（音源方向）が検出された音声信号が、映像中のどのオブジェクト（検出対象）に対応するか推定し、推定結果に基づいて、映像オブジェクト（例えば映像内のオブジェクト）と音声オブジェクト（例えば、音声信号や音源方向）とを対応付ける。
【００３６】
映像オブジェクト対応付け手段４２は、会議収録装置１０の広角カメラによって撮影（撮像）される映像を、例えば３次元物体を投影平面に投影した映像と考え、音声信号の到来方向を投影平面に投影することによって、オブジェクトの推定位置を絞り込む。
【００３７】
また、映像オブジェクト対応付け手段４２は、推定位置に存在する映像内のオブジェクト（映像オブジェクト）を、初期画像プロファイル生成手段４０により生成された初期画像プロファイルを用いてパターンマッチングし、領域内のオブジェクト（例えば、特定の人物等）を検出する。
【００３８】
サンプルデータ選定手段４３は、会議収録装置１０から得られる映像信号や音声信号から、プロファイルを生成するためのサンプルデータ（サンプル映像信号やサンプル音声信号等）を選定する。
【００３９】
サンプルデータ選定手段４３は、例えば音声信号のサンプルデータとして、音声信号の位置、方向、及び音声の開始又は終了時刻のうち少なくとも１つを用いて、オブジェクトの領域との相関の高いサンプルデータを収集する。また、サンプルデータ選定手段４３は、例えば映像信号のサンプルデータとして、映像オブジェクトの位置、方向、及び動作の開始又は終了時刻のうち少なくとも１つを用いて、音声信号との相関の高いサンプルを収集する。
【００４０】
例えば、会議中の同一話者であれば、映像オブジェクトの位置や発話タイミングは、音声信号の位置や発話タイミングと相関があるはずである。したがって、サンプルデータ選定手段４３は、上述の条件を用いて検出精度を向上させることにより、良好なサンプル音声及び画像を同時に収集することが可能となる。
【００４１】
サンプルデータ選定手段４３は、例えばオブジェクトが１以上検出された場合に、顔画像のマッチング度（検出信頼度、類似度ともいう）に応じて、サンプルデータとして抽出するか判定する。
【００４２】
例えば、ある音源方向にＡさんとＢさんがいたとする。この場合、サンプルデータ選定手段４３は、ＡさんとＢさんの初期画像プロファイルに保存されている画像特徴量と、映像オブジェクトとして抽出されたＡさんの画像特徴量及びＢさんの画像特徴量とをマッチングし、類似度の高い方をサンプルデータとして対応付ける。
【００４３】
なお、本実施形態では、ＡさんもＢさんも画像特徴が類似していない場合（例えば、類似度が一定値以下の場合）は、サンプルデータとして抽出しないこととしても良い。
【００４４】
プロファイル生成手段４４は、サンプルデータ選定手段４３により得られるサンプルデータを用いて、個人単位（例えば会議参加者ごと）又は複数人単位で、映像又は音声のプロファイルを生成する。
【００４５】
なお、音声プロファイルを生成する場合には、対象となる個人（人物）の発話音声を蓄積していき、蓄積音声に基づいて音響モデルを生成するとともに、言語モデルを生成することが可能である。言語モデルは、音声的な処理で生じる曖昧性を解消する役割を果たし、高い認識精度を実現する。通常、言語モデルの学習には、デジタル化されたテキストを用いて、認識対象のドメインや発話スタイルに合致した大規模の学習データが必要とされる。
【００４６】
しかしながら、例えば「ベイズ推論を用いた連続音声からの言語モデル学習情報処理学会研究報告，ＳＬＰ，音声言語情報処理２０１０−ＳＬＰ−８２（１６），１−６，２０１０−０７−１５、ｈｔｔｐ：／／ｗｗｗ．ｐｈｏｎｔｒｏｎ．ｃｏｍ／ｐａｐｅｒ／ｎｅｕｂｉｇ１０ｓｌｐ８２．ｐｄｆ」に示すように、連続音声データと音響モデルとを用いて言語モデルと単語辞書とを学習できる手法を取り入れ、言語モデル学習を行うことも可能である。
【００４７】
＜ハードウェア構成＞
次に、上述した本実施形態に係る映像音声処理装置２０等のハードウェア構成例について図を用いて説明する。図３は、ハードウェア構成の一例を示す図である。
【００４８】
図３に示すように、コンピュータの一例である映像音声処理装置２０は、ＣＰＵ５０と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５２と、ＨＤＤ５３と、Ｉ／Ｆ部５４と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）５５と、操作部５６とを有する。
【００４９】
ＣＰＵ５０と、ＲＡＭ５１と、ＲＯＭ５２と、ＨＤＤ５３と、Ｉ／Ｆ部５４とは、バス５７を介して接続されている。また、Ｉ／Ｆ部５４に、ＬＣＤ５５と、操作部５６とが接続されている。
【００５０】
ＣＰＵ５０は、演算手段であり、映像音声処理装置２０全体の動作を制御する。ＲＡＭ５１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ５０が情報を処理する際の作業領域として用いられる。
【００５１】
ＲＯＭ５２は、読み出し可能な不揮発性の記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ５３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーションプログラム等が格納される。
【００５２】
Ｉ／Ｆ部５４は、各種ハードウェアやネットワーク等と接続する。ＬＣＤ５５は、例えば、本実施形態における各処理を実行するための各画面を表示するための表示部である。操作部５６は、例えばキーボード、マウス、各種ハードボタン、タッチパネル等であり、ユーザから入力される情報を受け付けるためのユーザインターフェースである。
【００５３】
上述したコンピュータのハードウェア構成において、ＲＯＭ５２やＨＤＤ５３、光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ５１に読み出され、ＣＰＵ５０が読み出されたプログラムにより演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組合せにより、本実施形態に係るシステムを構成する各装置の機能を実現することが可能となる。
【００５４】
＜プロファイル生成処理＞
図４は、プロファイル生成処理の流れを示すフローチャートである。図４に示すように、映像音声処理装置２０は、初期画像プロファイル生成手段４０により、プロファイルを作成したいユーザの少なくとも１以上の顔画像を取得し、各個人（人物）の画像特徴量を算出することで初期画像プロファイルを生成する（Ｓ１０）。ここで、画像特徴量としては、例えば上述したＨａａｒ−Ｌｉｋｅ等を用いることができるが、これに限定されるものではない。
【００５５】
Ｓ１０の処理では、例えば会議収録装置１０の広角カメラで、顔画像を撮影しても良い。画像から人物の顔領域を検出する方法としては、画像内を端から順番に走査（Ｗｉｎｄｏｗ走査）し、予め用意されたテンプレートとマッチングする方法が一般的であるが、始めに取得した画像に対して特徴化したものを初期画像プロファイルとして用いることが可能である。
【００５６】
なお、入力画像に対して初期画像プロファイルを用いて顔領域を検出する場合には、単純なマッチングではロバスト性に欠けるため、通常マッチング時の識別器を用いて判断する。例えば、サンプル画像を自動で収集し、最終的に得られた画像を用いて識別器を構成して初期画像プロファイルとすることも可能である。
【００５７】
次に、映像音声処理装置２０は、音声信号分離手段３１により、会議収録装置１０のマイクアレイから入力されたマルチチャンネルの音声信号を、複数の音声信号に分離する処理を行う（Ｓ１１）。
【００５８】
次に、映像音声処理装置２０は、到来方向検出手段４１により、Ｓ１１の処理で分離された音声信号のそれぞれについて、所定の位置における音の到来方向（音源方向）を検出する（Ｓ１２）。次に、映像音声処理装置２０は、映像オブジェクト対応付け手段４２より、Ｓ１１の処理で分離された音声信号が、映像中のどのオブジェクトに対応するか推定し、映像内のオブジェクト（映像オブジェクト）との対応付けを行う（Ｓ１３）。
【００５９】
次に、映像音声処理装置２０は、Ｓ１３の処理で、対象オブジェクトが１以上検出された場合には、サンプルデータ選定手段４３により、顔画像のマッチング度（検出信頼度）に応じてサンプルデータとして抽出するか判定する（サンプルデータを選定する）（Ｓ１４）。
【００６０】
次に、映像音声処理装置２０は、例えば広角カメラ等で撮影された映像の最後のフレームか判断し（Ｓ１５）、最後のフレームではないと判断した場合（Ｓ１５において、ＮＯ）、Ｓ１１の処理に戻り、処理を続ける。また、映像音声処理装置２０は、最後のフレームであると判断すると（Ｓ１５において、ＹＥＳ）、プロファイル生成手段４４により、例えば音声プロファイルを生成し（Ｓ１６）、処理を終了する。
【００６１】
上述したプロファイル生成処理は、例えば撮影された映像信号が終了するまで、サンプルデータの選定を行い、映像信号が終了した時点で、それまでに選定されたサンプルデータに基づいて音声プロファイルが生成される。なお、本実施形態におけるプロファイル生成処理は、これに限定されるものではなく、例えば映像プロファイルを生成しても良い。
【００６２】
＜映像オブジェクトとの対応付け＞
図５は、映像オブジェクトとの対応付け処理の流れを示すフローチャートである。なお、図５の処理では、上述した図４に示すＳ１３の処理を、映像と音声の解析結果を相補的に使って互いの検出精度を向上させる。
【００６３】
図５に示すように、映像オブジェクト対応付け手段４２は、到来方向検出手段４１から時刻ごとの音源方向（音の到来方向）を取得する（Ｓ２０）。到来方向検出手段４１は、上述したように会議収録装置１０から得られるマルチチャンネルの音声入力を解析し、時刻ごとに音の到来方向を推定する。音の到来方向を推定する上で必要となる音源定位（左右の耳に達する音の音圧や位相、時間等の差によって音源の位置が定位されること）の取得は、周知の一般的な手法を用いることが可能である。
【００６４】
次に、映像オブジェクト対応付け手段４２は、音源となる話者の存在範囲を推定する（Ｓ２１）。Ｓ２１の処理では、例えば検出された時刻ごとの音のピーク値のデータに基づいて、音の空間スペクトルのピークを会議全体、又は会議中の必要な区間に対して集積してヒストグラムデータを生成する。
【００６５】
また、Ｓ２１の処理では、生成したヒストグラムデータに対し、ｋ−ｍｅａｎｓ法等のクラスタリングを行う。クラスタ数は、例えば会議に参加している人数等とし、得られたクラスタ中心から適当な角度のマージンを持たせた空間を話者の存在範囲として推定することが可能となる。なお、Ｓ２１の処理については、これに限定されるものではない。
【００６６】
次に、映像オブジェクト対応付け手段４２は、Ｓ２０の処理で得られた音源方向と、Ｓ２１の処理で得られた話者の存在範囲の情報とに基づき、各時刻の話者の発話状態（どの話者が発話しているか）を推定する（Ｓ２２）。Ｓ２２の処理では、ある時刻において、空間スペクトルのピークがある話者の範囲に入っていれば、当該話者が発話していたものとして推定することができるが、これに限定されるものではない。
【００６７】
次に、映像オブジェクト対応付け手段４２は、発話が重畳している部分について発話分離を行い、目的話者に対する位置ベクトルを推定する（Ｓ２３）。次に、映像オブジェクト対応付け手段４２は、目的話者（音声信号）の位置ベクトルと映像オブジェクトの位置情報との相関度を計算する（Ｓ２４）。
【００６８】
Ｓ２４の処理では、Ｓ２３の処理で得られた目的話者の位置ベクトルを画像上の位置に変換するため、会議収録装置１０から得られた映像を、例えば３次元物体を投影平面に投影した映像と考え、目的話者の位置ベクトルをこの投影平面に投影し、推定領域を算出する。
【００６９】
また、映像オブジェクト対応付け手段４２は、パターンマッチングにより得られた映像オブジェクトの領域と、推定領域との相関を、Ａを推定領域、Ｂを事前に得られた映像オブジェクト領域として、相関度＝（Ａ∩Ｂ）／（Ａ∪Ｂ）」と定義する。
【００７０】
次に、映像オブジェクト対応付け手段４２は、映像オブジェクトの信頼度を算出し（Ｓ２５）、処理を終了する。Ｓ２５の処理では、Ｓ２４の処理で得られた相関度から、既に得られているオブジェクト信頼度Ｃｏｎｆとすると、ＡとＢの相関は、例えば、「ＡとＢの相関＝Ｃｏｎｆ×（Ａ∩Ｂ）／（Ａ∪Ｂ）」となる。
【００７１】
これにより、映像オブジェクトを映像信号に含まれる画像単独で検出するのではなく、音声信号の位置ベクトルと映像オブジェクトの位置情報との相関をみることで、検出されたオブジェクトの信頼度を算出し、オクルージョンやノイズ等に耐性のある検出が可能となる。
【００７２】
なお、本実施形態では、一旦映像オブジェクトと音源信号とが対応付けされたら、それ以降のフレームでは映像上で顔画像を追跡し、映像中のオブジェクトの位置や方向から音源方向を精度良く推定することが可能である。
【００７３】
例えば、映像から音声信号の到来のあるべき方向を事前に推定することが可能である。例えば３個以上のマイクを使用している場合、音源の到来方向を算出する際に始めから特定のチャンネルのペアから到来方向を算出すれば、効率的かつ精度良く音源の到来方向を抽出することが可能となる。また、本実施形態では、生成された音声プロファイルを使用して発話音声の確からしさを評価することも可能である。
【００７４】
なお、逆に、音声信号を利用して映像オブジェクトの検出精度を向上することも可能である。例えば、画像から話者Ａの顔を検出する際、「急激な照明変化（カメラ内部パラメータが自動で変更される場合も急激な照明変化には対応できない）」、「話者の顔の向き」、「遮蔽物」等の要因で検出精度が劣化することが知られている。
【００７５】
従来の画像追跡技術を用いれば、前フレーム情報を用いてカバーすることができるが、例えばフレーム中のどこかのタイミングで見失ってしまうと、追跡が中断してしまう場合がある。
【００７６】
したがって、本実施形態では、まず、音声信号から時刻毎の音源方向を推定し、音源となる話者の存在範囲を推定し、発話時間等の相関をみることで目的話者の位置ベクトルを推定する。音声信号から目的話者の発話を分離する処理自体は、例えば特開２００７−２３３２３９号公報等に記載のある従来手法を用いることが可能である。
【００７７】
＜サンプルデータ選定処理＞
図６は、サンプルデータ選定処理の流れを示すフローチャートである。図６（Ａ）は、音声のサンプルデータ収集処理の流れを示すフローチャートである。図６（Ａ）の例では、初期データとして、初期画像プロファイル生成手段４０等から得られる顔画像プロファイルが与えられている場合、音声プロファイルの初期データを生成する。
【００７８】
図６（Ａ）に示すように、サンプルデータ選定手段４３は、顔画像プロファイルとのマッチングにより、例えば対象人物の顔画像を示す映像オブジェクトを検出し、映像オブジェクトと対応付けされた音声信号を取得する（Ｓ３０）。
【００７９】
サンプルデータ選定手段４３は、映像オブジェクトと対応付けする際の相関（例えば図５のＳ２４の処理で得られた相関度）を取得し、相関が予め設定された閾値（第１の閾値）よりも高いか判断する（Ｓ３１）。サンプルデータ選定手段４３は、相関が閾値（Ｔｈ１）よりも高いと判断した場合（Ｓ３１において、ＹＥＳ）、サンプルデータとして採用し（Ｓ３２）、相関が閾値（Ｔｈ１）よりも高いと判断しなかった場合（Ｓ３１において、ＮＯ）、処理を終了する。
【００８０】
図６（Ｂ）は、映像のサンプルデータ収集処理の流れを示すフローチャートである。図６（Ｂ）に示すように、サンプルデータ選定手段４３は、初期画像プロファイル生成手段４０等から得られた顔画像プロファイルとのマッチングにより当人の顔画像を示す映像オブジェクトを取得する（Ｓ４０）。
【００８１】
サンプルデータ選定手段４３は、音声信号と対応付けする際の相関を取得して、相関が予め設定された閾値（第２の閾値）よりも高いか判断する（Ｓ４１）。サンプルデータ選定手段４３は、相関が閾値（Ｔｈ２）よりも高いと判断した場合（Ｓ４１において、ＹＥＳ）、ポジティブサンプルとして採用する（Ｓ４２）。
【００８２】
また、サンプルデータ選定手段４３は、相関が閾値（Ｔｈ２）よりも高いと判断しなかった場合（Ｓ４１において、ＮＯ）、ネガティブサンプルとして採用し（Ｓ４３）、処理を終了する。本実施形態では、ネガティブサンプルを利用することで、例えば誤検知する確率を下げることができる。例えばＡさんと、Ｂさんとを取り違える確率を下げることが可能である。
【００８３】
なお、上述した顔画像を示す映像オブジェクトを取得する際、対象となる個人の顔画像を蓄積していき、識別関数を構成し、この識別関数を用いて検出を行うことが可能である。具体的には、映像に含まれる画像を基準として、画像（画面）内をＷｉｎｄｏｗの端（角）から順番に走査し、各Ｗｉｎｄｏｗ内の特徴量を識別器に与え、識別器がＴＲＵＥかＦＡＬＳＥか判定する。ＴＲＵＥの場合、Ｗｉｎｄｏｗ内の画像が本人の顔画像である可能性が高いと判断する。
【００８４】
上述した識別器には、ＳＶＭ（サポート・ベクタ・マシン）等があり、これは「教師あり学習」と呼ばれ、予め画像サンプルをネガティブ（誤例）とポジティブ（正例）に分けて記録し、このサンプルを使用してネガティブとポジティブとを判別することが可能である。
【００８５】
＜映像オブジェクトとの対応付けについて＞
図７は、映像オブジェクトとの対応付けを説明するための図である。なお、図７は、図４のＳ１３の処理で、音声信号と映像オブジェクトとの対応付けを行うときに用いられる方法を説明するものである。
【００８６】
図７（Ａ）の例では、会議収録装置１０が有するカメラ（例えば、広角カメラ等）によって撮影される映像（カメラ撮影映像）に対し、検出されたオブジェクト（３次元物体）を投影平面に投影した例を示している。映像オブジェクト対応付け手段４２は、この投影平面に、図４のＳ１２の処理で得られた音源方向（音声信号の到来方向）を投影することで、撮影された映像の全領域から映像オブジェクトの推定位置（推定領域）を絞り込むことが可能となる。
【００８７】
また、映像オブジェクト対応付け手段４２は、推定した音源方向に一番近い映像オブジェクトを基準として、マイクアレイで取得した各音声とを音源を対応付ける。
【００８８】
図７（Ｂ）では、図７（Ａ）に示すようにカメラ撮影映像で話者Ａと話者Ｂとが正対したアングルの映像でなかった場合、話者Ａと話者Ｂの映像信号を変換して画面に正対したアングルの映像とした例を示している。
【００８９】
図７（Ｂ）に示すように人物（話者）の顔が画面に正対したアングルの映像に変換した映像を用いることで、顔の向きに対する制御（補正）を行ってから対応付けを行うことができるため、音源方向と映像オブジェクトとの対応付けを適切に行うことが可能となる。図７に示すように、映像信号を実世界の位置に変換し、音声信号の絶対方向の位置と比較することで音声信号と映像オブジェクトの対応付けを適切に行うことが可能となる。
【００９０】
＜映像オブジェクト領域と推定領域との相関について＞
図８は、映像オブジェクト領域と推定領域との相関を説明するための図である。なお、図８（Ａ）、図８（Ｂ）は、図５のＳ２４の処理で目的話者（音声信号）の位置ベクトルと映像オブジェクトの位置情報との相関度を求める方法を説明するための図である。
【００９１】
すなわち、図８（Ａ）、図８（Ｂ）に示すように、Ｓ２４の処理で算出された推定領域Ａと、パターンマッチングにより得られた映像オブジェクトの領域（事前に得られた映像オブジェクト領域Ｂ）とに基づき、音声信号の位置ベクトルと映像オブジェクトの位置情報との相関度を求める。
【００９２】
なお、図８（Ａ）は、Ａ∩Ｂの領域（斜線部分）を示し、図８（Ｂ）は、Ａ∪Ｂの領域（斜線部分）を示している。このとき、相関度は、「相関度＝（Ａ∩Ｂ）／（Ａ∪Ｂ）」と定義する。また、Ｓ２５の処理で映像オブジェクトの信頼度Ｃｏｎｆとすると、ＡとＢの相関は、「Ｃｏｎｆ×（Ａ∩Ｂ）／（Ａ∪Ｂ）」となる。
【００９３】
つまり、図８（Ａ）、図８（Ｂ）に示すように、推定領域と、事前に得られた映像オブジェクト領域の重なり領域が大きいほど、相関度が高くなる。したがって、相関度が予め設定された閾値（例えば、上述したＴｈ１、Ｔｈ２）より大きい場合に、サンプルデータとして選定し、選定したサンプルデータを用いて映像プロファイルや音声プロファイルを生成することが可能となる。
【００９４】
上述した実施形態によれば、映像と音声とを用いて精度良くプロファイルを生成することが可能となる。例えば、会議等の収録映像や音声から映像プロファイルや音声プロファイルを生成する際、映像内のオブジェクト（人物の顔）と音声内のオブジェクト（人物の話し声の音源）を相補的に検出する。これにより、映像、音声信号の一方でノイズやオクルージョンが発生していても、他方の情報に基づき検出を補正する。そのため、精度良くオブジェクトの検出することが可能となる。
【００９５】
また、本実施形態では、検出した映像内や音声内の各オブジェクト情報等から相関度に応じて最小限のサンプルデータ（サンプル画像信号やサンプル音声信号等）を選定し、そのサンプルデータを用いて効率良くプロファイルを生成する。これにより、例えば会議等の収録画像から画像及び音声プロファイルを生成する際、個人プロファイル作成に必要な画像サンプル及び音声サンプルのみを相補的に収集することで、自動で精度良くプロファイルを生成することが可能となる。
【００９６】
以上、開示の技術の好ましい実施形態について詳述したが、開示の技術に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００９７】
１  映像音声処理システム
１０  会議収録装置
２０  映像音声処理装置（情報処理装置の一例）
２１  音声処理装置
２２  映像処理装置
２３，５０  ＣＰＵ
２４  主記憶装置
２５  補助記憶装置
３１  音声信号分離手段
３２  オブジェクト検出手段（検出手段の一例）
３３  プロファイル取得手段
４０  初期画像プロファイル生成手段
４１  到来方向検出手段
４２  映像オブジェクト対応付け手段（対応付け手段の一例）
４３  サンプルデータ選定手段
４４  プロファイル生成手段
５１  ＲＡＭ
５２  ＲＯＭ
５３  ＨＤＤ
５４  Ｉ／Ｆ部
５５  ＬＣＤ
５６  操作部
５７  バス
【先行技術文献】
【特許文献】
【００９８】
【特許文献１】特開２０１１−７１６８４号公報
【図１】
2015177490.tif 000003
【図２】
2015177490.tif 000004
【図３】
2015177490.tif 000005
【図４】
2015177490.tif 000006
【図５】
2015177490.tif 000007
【図６】
2015177490.tif 000008
【図７】
2015177490.tif 000009
【図８】
2015177490.tif 000010