(57)【要約】【課題】、映像信号と音声信号との相対的なタイミングをより正確に調整する。【解決手段】映像音声処理装置は、映像信号および該映像信号に関連した音声信号を取得し、該映像信号に基づいて、映像フレーム毎に動きベクトルを検出し、該音声信号のピークのタイミングを検出し、該動きベクトルと、該音声信号のピークのタイミングに基づいて、該映像信号と該音声信号との相対的なタイミングを調整する。【選択図】図１
2017011619.tif 000002
【特許請求の範囲】
【請求項１】
映像信号および該映像信号に関連した音声信号を取得する取得手段と、
前記映像信号に基づいて、映像フレーム毎に動きベクトルを検出する第１の検出手段と、
前記音声信号のピークのタイミングを検出する第２の検出手段と、
前記動きベクトルと、前記音声信号のピークのタイミングに基づいて、前記映像信号と前記音声信号との相対的なタイミングを調整する調整手段と、
を有することを特徴とする映像音声処理装置。
【請求項２】
前記動きベクトルと、前記音声信号のピークのタイミングに基づいて、音が発生するタイミングにおける動きベクトルの方向を推定する推定手段を更に有し、
前記調整手段は、前記推定手段により推定された動きベクトルの方向にも基づいて、前記相対的なタイミングを調整することを特徴とする請求項１に記載の映像音声処理装置。
【請求項３】
前記調整手段は、前記音声信号のピークのタイミングを、該タイミングから所定の時間範囲内にあり、かつ、前記推定手段により推定された動きベクトルの方向を含む映像フレームのタイミングに合わせることにより前記相対的なタイミングを調整することを特徴とする請求項２に記載の映像音声処理装置。
【請求項４】
前記音声信号のピークが複数ある場合、前記第２の検出手段は、複数のピークのタイミングを検出し、
前記推定手段は、前記複数のピークのタイミングそれぞれから所定の時間範囲にある複数の映像フレームにおいて前記第１の検出手段により検出された複数の動きベクトルの方向に基づいて、前記音が発生するタイミングにおける動きベクトルの方向を推定することを特徴とする請求項２または３に記載の映像音声処理装置。
【請求項５】
前記推定手段は、複数の動きベクトルの方向を推定することを特徴とする請求項４に記載の映像音声処理装置。
【請求項６】
前記音声信号のピークが複数ある場合、前記調整手段は、該複数のピークのうち最大のレベルを有する最大ピークのタイミングを、該最大ピークのタイミングから所定の時間範囲内にあり、かつ、前記推定手段により推定された動きベクトルの方向を含む映像フレームのタイミングに合わせることを特徴とする請求項２から５のいずれか１項に記載の映像音声処理装置。
【請求項７】
前記最大ピークのレベルと、該最大ピークのタイミングを含む所定の時間範囲内における他のレベルの平均値との差は、所定のしきい値より大きいことを特徴とする請求項６に記載の映像音声処理装置。
【請求項８】
前記音声信号のピークが複数ある場合、前記調整手段は、前記複数のタイミングのそれぞれと、前記複数のタイミングそれぞれから所定の時間範囲内にあり、かつ、前記推定手段により推定された動きベクトルの方向を含む映像フレームのタイミングとの差が小さくなるように、前記相対的なタイミングを調整することを特徴とする請求項２から７のいずれか１項に記載の映像音声処理装置。
【請求項９】
前記調整手段により調整されたタイミングに基づいて前記映像信号と前記音声信号を合成する合成手段をさらに有することを特徴とする請求項１から８のいずれか１項に記載の映像音声処理装置。
【請求項１０】
映像信号および該映像信号に関連した音声信号を取得する取得工程と、
前記映像信号に基づいて、映像フレーム毎に動きベクトルを検出する第１の検出工程と、
前記音声信号のピークのタイミングを検出する第２の検出工程と、
前記動きベクトルと、前記音声信号のピークのタイミングに基づいて、前記映像信号と前記音声信号との相対的なタイミングを調整する調整工程と、
を有することを特徴とする映像音声処理方法。
【請求項１１】
コンピュータを、請求項１から９のいずれか１項に記載の映像音声処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号と音声信号とを同期させる技術に関する。
【背景技術】
【０００２】
リップシンクの分野において、映像信号と音声信号との時間のずれを補正する技術が提案されている。特許文献１には、映像信号から検出できる人物の動きベクトルから、人物の顎の上下動を検出し、動きベクトルの大きさにより唇が大きく動く特定の音の発生タイミングを検出する信号処理装置が記載されている。該信号処理装置は、たとえば、日本語において、「マ」「ミ」などの音声を検出し、人間の唇の動くタイミングと音声タイミングのずれ量を検出して、音声と映像のタイミングに合わせるように、そのずれを補正する。また、特許文献２には、動画像信号を解析して、被写体の動きの特徴量として、速度または加速度を抽出し、それらの結果に基づいて動画像信号と任意の音声信号を同期させる画像音声処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-260641号公報
【特許文献２】特開2013-162370号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１および特許文献２では、動きが発生するときに音が発生することが前提とされているが、動きが発生するときに必ず音も発生するとは限らない。すなわち、映像信号と音声信号との時間のずれを補正するために、動きベクトルの大きさだけに基づくのでは十分ではなく、映像信号と音声信号とをタイミングをより正確に合わせる上で、従来技術には改善の余地がある。
【０００５】
本発明は、上記課題に鑑みてなされてものであり、映像信号と音声信号との相対的なタイミングをより正確に調整することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の映像音声処理装置は以下の構成を有する。すなわち、映像信号および該映像信号に関連した音声信号を取得する取得手段と、前記映像信号に基づいて、映像フレーム毎に動きベクトルを検出する第１の検出手段と、前記音声信号のピークのタイミングを検出する第２の検出手段と、前記動きベクトルと、前記音声信号のピークのタイミングに基づいて、前記映像信号と前記音声信号との相対的なタイミングを調整する調整手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、映像信号と音声信号との相対的なタイミングをより正確に調整することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態の映像音声処理装置の機能構成の一例を示す図。
【図２】第１実施形態の映像音声処理装置のハードウェア構成の一例を示す図
【図３】第１実施形態による処理を実施前の映像信号と音声信号の関係を示す図。
【図４】第１実施形態による処理を実施後の映像信号と音声信号の関係を示す図。
【図５】第１実施形態の画像音声処理装置の動作を示すフローチャート。
【図６】第２実施形態の画像音声処理装置を示す構成図。
【図７】第２実施形態の画像音声処理装置の動作を示すフローチャート。
【図８】第２実施形態による処理を実施後の映像信号と音声信号の関係を示す図。
【発明を実施するための形態】
【０００９】
以下、音が発生したタイミングに対応して、物体の動きが検出された映像フレームに音声信号を合わせること可能とする技術を説明する。たとえば、ボールが階段で跳ねるシーンを撮影する場合を考える。このとき、ボールは時々刻々に動いているため、撮影により得られた連続フレームの全てから動きベクトルが検出できる。しかし、ボールが階段と接触するところで音は発生するが、ボールが階段と接触していなければ、音は発生しない。また、ボールが階段で跳ねると、一定の時間間隔でのみ跳ねる音が発生する。このようなことから、音声信号のピークをどこの映像フレームに合わせればいいのかを判断は、ボールの動きベクトルの情報に基づくのみでは、適切に為されないことがわかる。したがって、音声信号と映像信号の特徴量を解析して、音声信号における複数の音の発生タイミングと、映像信号の複数の動きの特徴を検出し、動きと音の発生タイミングとを複数個所で同時に合わせる必要がある。
【００１０】
以下、音声信号の音のレベルの起伏と、音が発生するタイミングにおける所定のオブジェクトの動きベクトルの方向とに基づいて、映像信号と音声信号の相対的なタイミングをより正確に調整する手法として、２つの実施形態を説明する。第１の実施形態として、最も音が大きいタイミングを映像フレームのタイミングを合わせる手法を説明する。また、第２の実施形態として、全体誤差が小さくなるように、音の発生タイミングを映像フレームのタイミングを合わせる手法を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
［第１の実施形態］
図１は、第１実施形態の画像音声処理装置の機能構成の一例を示す図である。本実施形態における映像音声処理装置１０は、撮像装置１０１から入力された映像情報（動画像）と録音装置１０２から入力された音声情報に対する処理を行う。
【００１２】
撮像装置１０１は、動く対象物に対する撮像を行い、映像信号を生成する。映像信号取得部１０３は、撮像装置１０１により生成された映像信号を受信する。録音装置１０２は、撮像装置１０１が撮像する対象物の動きに関連して発せられる音を記録し、音声信号を生成する。音声信号取得部１０４は、録音装置１０２により生成された音声信号を取得する。なお、撮像装置１０１と録音装置１０２は、別の装置であってもよいし、同じ装置に組み込まれていてもよい。
【００１３】
映像特徴量検出部１０６は、入力された映像信号から映像フレーム間の動きの特徴量（各映像フレームにおける動きベクトルなど）を取得する。音声特徴量検出部１０５は、入力された音声信号から、音の特徴量として、部分区間の音声信号のピークの位置を取得する。音声信号のピークの位置（すなわちタイミング）は、音の発生タイミングと考えられる。また、音声の部分区間のピークとは、音声信号の時系列で１つの最大ピークではなく、特定の時間間隔内の最大値を意味する。なお、音声の部分区間の間隔は、必ずしも固定ではない。
【００１４】
方向推定部１０７は、映像特徴量検出部１０６により取得された動きの特徴量（動きベクトル）と音声特徴量検出部１０５により取得された音声の部分区間のピークを入力として、音の発生タイミングにおける動きベクトルの方向を推定する。合成部１０８は、音声信号の最大ピークのタイミングを、該タイミングから所定の時間範囲内に存在し、かつ、方向推定部１０７により推定された動きベクトルの方向を有する映像フレームのタイミングに調整し、映像信号と音声信号とを合成する。映像出力部１０９は、合成部１０８から出力された、合成信号（音声を含む映像信号）を出力する。
【００１５】
図２は、本実施形態における映像音声処理装置のハードウェア構成の一例を示す図である。制御部２１は例えばＣＰＵ（Central Processing Unit）であり、各構成要素の動作を制御する。ＲＯＭ（Read Only Memory）２２は、制御命令つまりプログラムを格納する。ＲＡＭ（Random Access Memory）２３は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部２４は、外部の装置と通信するための制御を行う。出力部２５は、プログラムを実行することにより生成されたデータを外部に出力する。ユーザＩ／Ｆ（インタフェース）２６は、必要に応じてユーザの操作を受け付ける。
【００１６】
図３は、本実施形態による処理を実施前の映像信号と音声信号の関係を示す図である。図３では、ボールが階段から落ちていく場面を例としている。ボールは階段から落ちていく中で、階段に接触すると「ボーン」という音がする。しかし、跳ねて落ちていく動作を撮影すると、全ての映像フレームにおいて動きベクトルの検出ができるため、「ボーン」という音が発生するタイミングにおける動きベクトルの方向の検出が必要となる。
【００１７】
図３の上には映像フレーム３１〜３５が示され、下には音声信号が示される。映像フレーム３１〜３５のそれぞれには、ボールと階段が示され、ボールの動きベクトルも示されている。時間領域の音声信号には、ピーク３０１〜３０３が存在する。音声信号のピーク３０１と３０２の位置間と、音声信号のピーク２０２と２０３の位置間は、音声の部分区間である。音声の部分区間のピーク３０１〜３０３の位置は、音の発生タイミングである。音声の部分区間は、音声信号のピークの位置により決定される。また、映像フレームタイミング３０４〜３０８が、映像フレーム３１〜３５の中央の時間位置に示される。なお、映像フレームタイミング３０４〜３０８は、このような映像フレーム時間の中央に限定されない。
【００１８】
ここで、３つのピーク３０１〜３０３のタイミングを映像フレームタイミング３０４〜３０８の何れかに合わせるように調整する場合を考える。この場合、ピーク３０１とピーク３０３のタイミングはそれぞれ、該タイミングに時間的に近い映像フレームである映像フレーム３１と３５における映像フレームタイミング３０４と３０８に合わせることができる。一方、ピーク３０２のタイミングは、該タイミングに時間的に近い映像フレームが映像フレーム３４または映像フレーム３６であるから、映像フレームタイミング３０５または映像フレームタイミング３０６のいずれかに合わせることができる。しかしながら、映像フレーム３５ではボールは階段に接触していないため、実際には音は発生していない。もしピーク３０２のタイミングが映像フレームタイミング３０５に合わせられた場合、音が発生していないタイミングの映像フレームに合わせられてしまうことになる。
【００１９】
そこで本実施形態は、まず、方向推定部１０７は、複数の音声信号のピークのそれぞれのタイミングから時間的に最も近い（または所定の時間範囲内にある）各映像フレームにおいて検出された複数の動きベクトルの方向を比較する。たとえば、図３では、音声信号のピーク３０１〜３０３のタイミングから時間的に近い最も映像フレーム３４、３５、３８において検出された複数の動きベクトルの方向が比較対象である。方向推定部１０７は、映像フレーム３４、３５、３８におけるこれらの３つの動きベクトルの方向をヒストグラムで集計する。ヒストグラムから、音が発生するタイミングにおける動きベクトルの方向が推定される。
【００２０】
図３では、映像フレーム３４と映像フレーム３８における動きベクトルは、同じ（もしくは類似する）方向である。一方、映像フレーム３５における動きベクトルは、映像フレーム３４と映像フレーム３８における動きベクトルと異なる方向になっている。方向推定部１０７は、ヒストグラムから、映像フレーム３４と映像フレーム３８における動きベクトルを、「音の発生タイミングにおける動きベクトルの方向」と推定する。なお、ここで推定される「音の発生タイミングにおける動きベクトルの方向」は、特定の角度を有する一方向に限られず、所定の角度範囲に含まれる方向であってよい。
【００２１】
合成部１０８は、方向推定部１０７により推定された「音の発生タイミングにおける動きベクトルの方向」に基づいて、後述する処理により、音声信号のピークのタイミングを映像フレームタイミングに合わせる。これにより、映像信号と音声信号との相対的なタイミングが調整される。
【００２２】
次に、図４と図５を参照して、本実施形態における映像信号と音声信号のタイミングのずれを補正する処理について説明する。図４は、本実施形態による処理を実施後の映像信号と音声信号の関係を示す図である。図５は、第１実施形態による処理のフローチャートである。
【００２３】
ステップｓ５０１において、録音装置１０２から音声信号取得部１０４に音声信号が入力される。ステップｓ５０２において、撮像装置１０１から映像信号取得部１０３に映像信号が入力される。ステップｓ５０３において、音声信号取得部１０４と映像信号取得部１０３はそれぞれ、入力された音声信号と映像信号から時間領域の音声信号と映像信号（映像フレーム）を取得する。ステップｓ５０４では、映像特徴量検出部１０６は、映像信号取得部１０３により取得された映像信号に対して画像処理を行うことにより、特徴量として、映像信号の動きベクトルを映像フレーム毎に算出する。
【００２４】
ここで、動きベクトルの算出方法について説明する。本実施形態では、映像特徴量検出部１０６は、時間連続な画像列を用いて、ブロックマッチング法でフレーム間からマッチする箇所を探索することにより、動きベクトルを求める。動き検出を行う際に求められるマッチング評価関数は下記のように示される。
2017011619.tif 000003
ここで、ブロックサイズを m×n とし、 Ak(i,j) は現在フレーム（k）中の処理ブロックにおける座標 (i,j) の画素値、Ak-1(i+x,j+y) は前のフレーム（k-1）における座標 (i+x,j+y) の画素値である。
【００２５】
また、動きベクトルの角度は式（２）から計算される。
2017011619.tif 000004
【００２６】
映像特徴量検出部１０６は、評価関数（１）を用いてフレーム間の類似パッチ（サイズは m×n のブロックサイズ）を探索する。そして、映像特徴量検出部１０６は、フレーム間の類似パッチの位置変動を、動きとして判断する。映像特徴量検出部１０６は、前後フレーム間の物体の動きベクトルの方向を、前後フレーム間の物体の動き位置より判断することができる。
【００２７】
ステップｓ５０５において、音声特徴量検出部１０５は、時間領域の音声信号において、音声信号のピークと該ピークの位置（タイミング）を特定する。音声特徴量検出部１０５は、特定したピークの位置間を、音声の部分区間と決定する。音声信号が時系列に曲線で表されていた場合は、映像特徴量検出部１０６は、凸凹が変わる境目の点を変曲点計算し、一番大きい信号の位置をピークの位置と特定してもよい。
【００２８】
ステップｓ５０６において、方向推定部１０７は、各映像フレームにおける動きベクトルの方向と、音声信号のピーク位置に基づいて、音の発生タイミングにおける動きベクトルの方向を推定する。方向推定部１０７は、音声信号のピークのタイミングに時間的に最も近い、または所定の時間範囲内にある映像フレームの動きベクトルを複数抽出し、動きベクトルの方向のヒストグラムを取る。そして、方向推定部１０７は、ヒストグラムの値が最も多い動きベクトルの方向を、「音の発生タイミングにおける動きベクトルの方向」と推定する。音声のピークのタイミングから所定の時間範囲内にある映像フレームの動きベクトルが一つしか存在しない場合は、方向推定部１０７は、その動きベクトルの方向を、「音の発生タイミングにおける動きベクトルの方向」と推定してもよい。また、方向推定部１０７は、複数の方向を推定することも可能である。
【００２９】
ステップｓ５０７は、合成部１０８による、音声信号と映像信号との相対的なタイミングの調整、すなわち同期合わせのステップである。音声信号の最大のピークの位置は、大きい音が発生していると見ることができる。最も大きい音が発生しているときは、映像と音声とのタイミングがずれると映像と音声のずれが特に大きく感じられる。したがって、本実施形態では、まず、合成部１０８は、処理対象の映像フレームに対応する時系列の音声信号において、最も大きい音の発生するタイミング検出する。そして、合成部１０８は、この最も大きい音の発生するタイミングを、該タイミングから時間的に近く（所定の時間範囲内に存在し）、かつ、方向推定部１０７により推定された動きベクトルの方向を有する映像フレームのタイミングに調整する。さらに合成部１０８は、このようにタイミング調整により同期された音声信号と映像信号とを合成し、合成信号を生成する。ステップｓ５０８において、映像出力部１０９は、合成部１０８により合成された合成信号を出力する。
【００３０】
次に、図４を参照して、本実施形態による処理結果について説明する。図４の例では、上述したように、方向推定部１０７は、映像フレーム３４、３５、３８から、「音の発生タイミングにおける方向ベクトルの方向」を推定する。該方向は、映像フレーム３４、３８で検出された方向ベクトルの方向と同様の方向となる。また、図４において、最も大きい音声信号のピークはピーク３０３である。合成部１０８は、ピーク３０３のタイミングから時間的に近く、かつ、方向推定部１０７により推定された動きベクトルの方向を有する映像フレーム３８の映像フレームタイミング３０８に、ピーク３０３のタイミングを合わせる。この処理により、映像信号と音声信号のずれを緩和することができ、映像信号と音声信号とのタイミングのずれによるユーザが感じる違和感を低減することが可能となる。
【００３１】
このように、本実施形態における映像音声処理装置は、まず、映像信号について、「音の発生タイミングにおける動きベクトルの方向」を推定する。そして、映像音声処理装置は、最も大きい音声信号のピークのタイミングを、該タイミングの近隣の、「音の発声のタイミングにおける動きベクトルの方向」を有する映像フレームの映像フレームタイミングに合わせる処理を行う。これにより、映像信号と音声信号のずれが軽減された合成信号の生成および出力が可能となる。
【００３２】
［第２の実施形態］
図６は、第２の実施形態の画像音声処理装置の機能構成の一例を示す図である。以下、第１実施形態における画像音声処理装置との差異である、比較部６０１、第１の合成部６０２、および第２の合成部６０３について説明する。
【００３３】
比較部６０１は、音声特徴量検出部１０５において決定された各音声の部分区間において、ピークのレベルとピーク以外のレベルの平均値との差を、所定のしきい値と比較する。なお、ピーク以外のレベルは、ゼロに近いものではなく、所定のレベル以上のものを対象とし得る。一つの区間において差がしきい値より大きい場合、比較部５０８は、音声信号のピークによりかなり大きい音が発生していて、そのピークのタイミングに基づいて映像と音声との同期をできるだけ厳密に合わせる必要があると判断する。その場合、第１の合成部６０２は、第１の実施形態と同様に、最も大きい音声ピークのタイミングを、該タイミングの近隣に存在する、方向推定部１０７により推定された方向ベクトルの方向を有する映像フレームの映像フレームタイミングに調整する。なお、複数の音声の部分区間において、ピークとピーク以外の他のレベルの平均値との差がしきい値より大きい場合は、第１の合成部５０９は、複数の音声の部分区間間で最も大きいピークに対して上記処理を行ってもよい。また、この場合、第１の合成部５０９は、任意に決定したピークに対して上記処理を行ってもよい。
【００３４】
一方、全ての音声の部分区間において、差がしきい値より小さい場合、ピークとピーク以外は、同じようなレベルであると考えられる。このような場合、比較部は、各音声の部分区間におけるピークのタイミングを、平均誤差が小さくなるようにタイミング調整する必要があると判断する。第２の合成部６０３は、各音声の部分区間において、ピークのタイミングと該タイミングの近隣に存在する、方向推定部１０７により推定された方向ベクトルの方向を有する映像フレームの映像フレームタイミングとの差を求める。そして、第２の合成部６０３は、音声信号のタイミングを、この差の平均値の分動かすことによって調整する。
【００３５】
なお、第２の合成部６０３は、ピークのレベルとピーク以外のレベルの平均値との差の大きさに比例する重み付けを用いて、より高いピークのタイミングが、適切なタイミングにより近くなるように調整してもよい。また、複数の音声の部分区間において、ピークとピーク以外の他のレベルの平均値との差がしきい値より小さい区間が複数存在する場合は、第２の合成部６０３は、その中で最も大きいピークに対して第１の実施形態と同様の処理を行ってもよい。
【００３６】
図７は、第２実施形態のフローチャートを示している。ステップｓ７０１〜ステップｓ７０６、ｓ７１０の処理は、図５のステップｓ５０１〜ステップｓ５０６、ｓ５０８とそれぞれ同じであるため、説明を省略する。ステップｓ７０７は、比較部５０８は、ピークのレベルとピーク以外のレベルの平均値との差を、しきい値と比較する。差がしきい値より小さい場合（ｓ７０７のＹｅｓ）、処理はステップｓ７０８へ進む。ステップｓ７０８において、第２の合成部６０３は、上述のように、音声信号の複数のピークに基づくタイミングの調整を行う。一方、差がしきい値より大きい場合（ｓ７０７のＮｏ）、処理はステップｓ７０９へ進み、上述のように、音声信号の最大のピークに基づくタイミング調整を行う。この処理は、図５のステップｓ５０７の処理と同じである。
【００３７】
図８は、本実施形態による処理を実施後の映像信号と音声信号の関係を示す図である。図８は、各音声の部分区間において、ピークのレベルとピーク以外のレベルの平均値との差が、しきい値より小さい場合を示している。この場合、第２の合成部６０３の処理により、各ピーク３０１、３０２、３０３のタイミングと、映像フレームタイミング３０４、３０６、３０８との差がそれぞれ小さくなるように、音声信号のタイミングが調節される。
【００３８】
このように、本実施形態における映像音声処理装置は、音声信号のピークのレベルとピーク以外のレベルの平均値との差をしきい値と比較して、その比較結果に応じて、音声信号のタイミングを調整する。この処理により、音の大きさに応じて、編集対象の全映像フレームにおいて違和感ないように、音声タイミングを合わせることが可能となる。
【００３９】
なお、以上説明した種々の実施形態では動体（オブジェクト）が１つのボールである場合について述べた。しかしながら、映像に複数のオブジェクトが動いていることもあるため、動きベクトルが複数箇所で検出されることもある。このような場合には音声信号とタイミングを合わせるべきオブジェクトを手動、あるいは自動で特定してから上述の処理を行うようにしてもよい。
【００４０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４１】
１０  映像音声処理装置、１０１  撮像装置、１０２  録音装置、１０３  映像信号取得部、１０４  音声信号取得部、１０５  音声特徴量取得部、１０６  映像特徴量取得部、１０７  方向推定部、  １０８  合成部、  １０９  映像出力部
【図１】
2017011619.tif 000005
【図２】
2017011619.tif 000006
【図３】
2017011619.tif 000007
【図４】
2017011619.tif 000008
【図５】
2017011619.tif 000009
【図６】
2017011619.tif 000010
【図７】
2017011619.tif 000011
【図８】
2017011619.tif 000012