(57)【要約】【課題】視聴する者が画面上での音源を特定できるようにするために、画面上の被写体像と対応する音声の因果関係を明確にし、音声信号と映像信号の被写体像を同期させて伝送することを可能にする。【解決手段】映像信号から、音声を発する被写体像を識別するための識別子と、画面上の当該被写体像の位置を表す位置情報を生成する識別・位置生成手段と、この被写体像の識別子と位置情報を映像信号に付加する識別情報付加手段と、入力された音声信号の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、位置情報に基づいて、検出された音声信号を映像信号の被写体像の位置に多重化して出力する同期信号合成手段を備える。【選択図】図１
2007158396.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツ制作時に別々に作製された映像信号と、当該映像信号の画面上に登場する音声を発する被写体像のそれぞれと関連付けた識別子が付加されたそれぞれの音声信号とを同期させて利用装置に伝送する映像・音声同期伝送装置であって、
入力された映像信号から、音声を発する被写体像を識別するための識別子を表す識別信号を生成すると共に、画面上の当該被写体像の位置を表す位置情報を生成する識別・位置生成手段と、
生成された識別信号と位置情報を映像信号に付加する識別情報付加手段と、
映像信号に付加されている識別信号に基づいて、入力された音声信号の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、映像信号に付加されている位置情報に基づいて、検出された音声信号を映像信号の被写体像の位置に多重化してＡＶ多重信号として出力する同期信号合成手段とを備えたことを特徴とする映像・音声同期伝送装置。
【請求項２】
同期信号合成手段は、音声信号を映像信号の被写体像の位置に多重化する際に、当該音声信号を映像の画素単位または複数画素単位で多重化することを特徴とする請求項１記載の映像・音声同期伝送装置。
【請求項３】
映像コンテンツ制作時に別々に作製された映像信号と、当該映像信号の画面上に登場する音声を発する被写体像のそれぞれと関連付けた識別子が付加されたそれぞれの音声信号とを同期させて利用装置に伝送する映像・音声同期伝送装置であって、
入力された映像信号から、音声を発する被写体像を識別するための識別子を表す識別信号と当該被写体像の画面上の位置を表す位置情報とを生成する識別・位置生成手段と、
生成された識別信号を映像信号に付加する識別情報付加手段と、
前記識別・位置生成手段で生成された識別信号に基づいて、入力される音声信号の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、検出された音声信号に、前記識別・位置生成手段で生成された、当該被写体像の位置情報を多重化して音声多重信号として出力する音声信号多重手段とを備え、
前記識別情報付加手段からの映像信号と前記音声信号多重手段からの音声多重信号を別々にして伝送することを特徴とする映像・音声同期伝送装置。
【請求項４】
音声信号多重手段は、被写体像の位置情報を電子透かしデータとして音声信号に埋め込むようにしたことを特徴とする請求項３記載の映像・音声同期伝送装置。
【請求項５】
映像コンテンツ制作時に別々に作製された映像信号と、当該映像信号の画面上に登場する音声を発する被写体像のそれぞれと関連付けた識別子が付加されたそれぞれの音声信号とを同期させて利用装置に伝送する映像・音声同期伝送装置であって、
入力された映像信号から、音声を発する被写体像を識別するための識別子を表す識別信号と当該被写体像の画面上の位置を表す位置情報とを生成する識別・位置生成手段と、
生成された識別信号と位置情報を映像信号に付加する識別情報付加手段と、
前記識別情報付加手段からの映像信号に付加された識別信号に基づいて、入力される音声信号の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、検出された音声信号に付加された識別子を前記識別情報付加手段からの映像信号に電子透かしデータとして埋め込んで映像多重信号として出力する映像信号多重手段とを備え、
前記映像信号多重手段からの映像信号と前記入力された音声信号を別々にして伝送することを特徴とする映像・音声同期伝送装置。
【請求項６】
識別・位置生成手段は、入力される映像信号について、予め実際の被写体に付けられたマークを対応する被写体像から認識して当該マークに対応する被写体像を識別するための識別子からなる識別信号を生成し、また前記マークの位置から画面上の被写体像の位置を表す位置情報を生成する被写体認識手段としたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の映像・音声同期伝送装置。
【請求項７】
識別・位置生成手段は、入力される映像信号をモニタで再生し、その画面上にある音源となる被写体像に入力ペンを接触させることにより、当該被写体像を識別するための識別子からなる識別信号を生成すると共に、画面上の当該被写体像の位置を表す位置情報を生成する被写体識別データ生成手段としたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の映像・音声同期伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、別々に生成された映像信号と音声信号を伝送する際に被写体像とその音声を同期させて伝送する映像・音声同期伝送装置に関するものである。
【背景技術】
【０００２】
近年、劇場や映画館等において、大画面のスクリーンに映像信号に基づいた映像を投射して表示を行うようになって来ている。また、家庭用のＡＶシステムにおいても、フラットディスプレイ等で大画面化が進んで来ている。一方、このような大画面の映像に付随させる音声に関しては、臨場感を出すために、ステレオや５．１チャンネルサラウンド等の多チャンネルのスピーカを使用する方式が適用されて来た。例えば２チャンネルステレオ方式においては、テレビ番組で伝送される音声信号や記録媒体上に記録されている音声信号は２チャンネルそれぞれ別々に伝送または記録されており、各チャンネルを左右のスピーカで出力させることにより、平面的ではあるが左右の音の広がりを感じさせることを可能にしている。但し、画面に対する視聴者の位置に偏りがある場合には、左右いずれかのスピーカの音が支配的になってしまい、音の広がりをあまり感じられないということが起きる。これを改善するために、５．１チャンネルサラウンド方式では、正面、右前方、左前方、右後方、左後方にそれぞれ置くスピーカと通常正面に配置する低音出力用サブウーファースピーカの６スピーカによって、立体的で臨場感のある音声環境を実現している。
【０００３】
しかし、これらの方式は横方向の音の広がりを追求したもので、上下方向の音の広がりについてはあまり考慮されておらず、画面が非常に大きい映像表示システムに用いた場合には、画面上の音源（画面の中で音の出ている位置、音を発している被写体像の位置等）と実際の音源（スピーカ）とが分かれてしまい、映像に対して音声が不自然な位置再生となり、臨場感が損なわれるという問題があった。このような問題に対して、映像表示用のスクリーンの背面にマトリクス状に複数のスピーカを配置し、画面上の音源の位置と当該スピーカの位置とを一致させる制御手段を設けることによって、臨場感のある映像表示用スクリーンを提供する方法が提案されている（例えば、特許文献１参照）。但し、特許文献１では、記録媒体上に記録されている音声信号の再生にあたって、画面上の音源の位置を特定するための音声信号をどのように制御するかについては、詳細には開示していない。
【０００４】
一方、ＨＤＤ、ＤＶＤ等の記録媒体に蓄積するテレビ番組等の映像および音声信号を符号化する場合において、画面の中で特に注目される映像シーンや被写体に多くの情報量を割り当てることによって、決められた符号化レートを効率的に使い、視覚的な画質向上を図るようにする方法がある。この方法において、例えば着目点の一つとして人物検出を行う方法があるが、人物が複数いる場合には、それらに対する情報量の割り当てが分散してしまい、視覚的な画質向上があまり期待できなくなる。そのような場合に、特に音声を発している被写体を判別することが出来れば、画面内で情報量の割り当てを行う際に有用な情報になると考えられる。
【０００５】
【特許文献１】特開平２−２２４４９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているような大画面の映像表示システムにおける映像と音声の再生方法は、以上のように行われているが、次のような問題がある。テレビ番組等の映像、音声の同期方法に関して、一般的には映像信号はカメラ、音声信号はマイクを通じて別信号として取り出され、別信号のまま伝送路に多重化されている。この場合、大画面における音響システムで再生する場合や、画面内で効率的な情報量の割り当てを行う符号化制御において、画面上の被写体像と音声の因果関係が明確にならない状態が生じ、視聴する者が画面上での音源を特定できないという問題がある。
【０００７】
この発明は、上記問題点を解決するためになされたもので、視聴する者が画面上での音源を特定できるようにするために、画面上の被写体像と対応する音声の因果関係を明確にし、音声信号と映像信号の被写体像を同期させて伝送することを可能にする映像・音声同期伝送装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る映像・音声同期伝送装置は、映像コンテンツ制作時に別々に作製された映像信号と、当該映像信号の画面上に登場する音声を発する被写体像のそれぞれと関連付けた識別子が付加されたそれぞれの音声信号とを同期させて利用装置に伝送する映像・音声同期伝送装置であって、入力された映像信号から、音声を発する被写体像を識別するための識別子を表す識別信号を生成すると共に、画面上の当該被写体像の位置を表す位置情報を生成する識別・位置生成手段と、生成された識別信号と位置情報を映像信号に付加する識別情報付加手段と、映像信号に付加されている識別信号に基づいて、入力された音声信号の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、映像信号に付加されている位置情報に基づいて、検出された音声信号を映像信号の被写体像の位置に多重化してＡＶ多重信号として出力する同期信号合成手段とを備えたものである。
【発明の効果】
【０００９】
この発明によれば、大画面の映像表示システムで映像を表示する際に、ＡＶ合成信号から分離した音声信号を音響システムに与え、画面上での音源の位置情報を用いて、あたかも再生画面上の被写体像からその被写体像に対応する音声を発生させることに利用することができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による映像・音声同期伝送装置の機能構成を示すブロック図である。
まず、ここでは、テレビ番組等の収録時に音声を発する被写体（人物、動物等の音声を発するもの全て）とその被写体が発する音声との関連付けを行っておく。図２に示すように、例えば音声を発する被写体として３人の人物が存在する場合、その実際の被写体に、画像処理上で識別可能となるマークａ１，ａ２，ａ３を予め付けておく。このマークには、例えばバーコードや発光体等が用いられる。したがって、カメラから得られる映像信号１０１にはこのマークが付いた被写体像が含まれることになる。なお、カメラで駒取りして動画アニメーションを製作する場合の音声を発する部分に識別可能なマーク付けをすれば、上記被写体と同様に扱うことができる。
一方、図１に示すように、アフレコ時に、人物（被写体）対応別に設けたマイクから入力される音声信号（符号化されたデジタルデータ）１０４〜１０６には、各人物と各人物が発する音声信号とを一致させるための対応付けがされる。すなわち、マークａ１が付けられた被写体の音声信号１０４には識別子ｂ１を、マークａ２が付けられた被写体の音声信号１０５には識別子ｂ２を、マークａ３が付けられた被写体の音声信号１０６には識別子ｂ３を、それぞれ対応付けて付加しておく。
【００１１】
図１において、被写体認識部（識別・位置生成手段）１は、入力された映像信号（アナログ信号）１０１について、上記のように予め実際の被写体に付けられたマークを対応する被写体像から認識して、当該マークに対応する被写体像を識別するための識別子からなる識別信号１０２を生成すると共に、そのマークが画面上のどの位置にあるかを表す位置情報１０３を生成する手段である。ＡＤ変換・符号化部（識別情報付加手段）１０は、映像信号（アナログ信号）１０１をデジタル変換した後、所定の方法で符号化し、かつ識別信号１０と位置情報１０３を付加して映像信号（デジタルデータ）１１１として出力する手段である。同期信号合成部２は、被写体認識部１から入力される識別信号１０２と位置情報１０３に基づいて、入力された音声信号１０４〜１０６の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、映像信号に付加されている位置情報に基づいて、検出された音声信号を映像信号１１１の被写体像の位置に多重化してＡＶ多重信号として出力する手段である。
【００１２】
次に動作について説明する。
まず、被写体認識部１では、カメラから入力される映像信号（アナログ信号）１０１から、図２に示すような実際の被写体に付けられているマークを識別し、そのマークに対応した被写体像であることを表す識別子からなる識別信号１０２を生成する。この場合の被写体像の識別子はマイクから入力される音声信号の識別子と対応付けられて生成されるものとする。また、このとき被写体認識部１は、画面上のマークが付いている位置（またはマークが付いている被写体像の位置）を画素単位で表した位置情報（アドレス）１０３を生成する。また、カメラから入力される映像信号（アナログ信号）１０１は、ＡＤ変換・符号化部１０において、デジタル変換された後、所定の方法で符号化され、かつ識別信号１０と位置情報１０３が付加されて映像信号（デジタル信号）１１１として出力される。
【００１３】
同期信号合成部２には、映像信号１１１とマイクから入力されたアフレコ時の音声信号１０４〜１０６がそれぞれ別々に入力されている。同期信号合成部２では、まず映像信号１１１に付加されている識別信号１０２に基づいて、音声信号１０４〜１０６の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、映像の画素単位または複数画素単位に対応付けて抽出する。次に、同期信号合成部２では、識別信号１０２に対応する位置情報１０３が示すマークが付いている映像信号１１１の位置に、画素単位または複数画素単位に対応付けられた音声信号を多重化し、その信号をＡＶ多重信号１０７として出力する。
【００１４】
以上の映像信号と音声信号を多重化する方法を、画面上におけるイメージで表すと図３のようになる。すなわち、音声信号の音源となる画面上の被写体像の位置に、その被写体像と因果関係を持つ音声信号を画素単位または複数画素単位で割り当てて、映像信号に音声信号を多重化することになる。この場合、音声信号は固定レートではなくなる。
【００１５】
以上のように、この実施の形態１によれば、テレビ番組等の映像信号と音声信号について別々に伝送するのではなく、音源となる画面上の被写体像の位置に、その被写体像に対応する音声信号を画素または複数画素単位で割り当てることにより因果関係のある映像信号と音声信号とを完全同期をとって多重化しＡＶ合成信号として伝送するようにしている。したがって、大画面の映像表示システムで映像を表示する際に、ＡＶ合成信号から分離した音声信号を音響システムに与え、画面上での音源の位置情報（アドレス）を用いて、あたかも再生画面上の被写体像からその被写体像に対応する音声を発生させることに利用することができる。また、符号化する際には画面内での効率的な情報量の割り当てを実現することが可能となる。さらに、カメラで被写体を撮影する際に、被写体自身に画像処理上で識別できるマークを付け、それを認識することによって、音声信号の音源となる被写体の画面上の位置を確定することができるため、自動的にＡＶ合成信号を作成することが可能となる。
【００１６】
実施の形態２．
図４はこの発明の実施の形態２による映像・音声同期伝送装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態２の構成は、実施の形態１の同期信号合成部２の代わりに、音声信号多重部３を備えている。
音声信号多重部３は、被写体認識部（識別・位置生成手段）１から入力される被写体像の識別子からなる識別信号１０２とその被写体像の位置情報１０３に基づいて、カメラから入力された映像信号１０１に含まれる各被写体像と各被写体に対応させたアフレコ時のマイクから入力された音声信号１０４〜１０６とを関連付けて、音声信号に因果関係のある被写体像の識別子を多重化して音声多重信号１０８を生成し出力する手段である。なお、この実施の形態２の場合、ＡＤ変換・符号化部１０で映像信号１１１に付加されるのは識別信号だけでもよい。
【００１７】
次に、動作について説明する。
音声信号多重部３では、各被写体に対応させたアフレコ時のマイクからの音声信号１０４〜１０６が入力されると、まず被写体認識部１で生成された識別信号１０２に基づいて、音声信号１０４〜１０６の中から被写体像の識別子に対応する識別子を持つ音声信号を検出する。次に、検出した音声信号に、被写体像の識別子と被写体識別部１から得られるその被写体像の位置情報（アドレス）１０３を多重化して音声多重信号１０８として出力する。すなわち、各音声信号に対してその音源となる被写体像が画面上のどの位置にいるかの位置情報を多重するのである。このようにして生成された、各被写体像の位置情報（アドレス）を多重化した音声多重信号１０８は映像信号１１１とは別信号にして利用装置へ伝送される。
【００１８】
以上のように、この実施の形態２によれば、テレビ番組等の映像信号と音声信号を従来のように別信号として伝送するようにしているが、音声信号に画面上での音源の位置情報を多重化して送るようにしたので、大画面の映像表示システムで映像を表示する際に、音声信号を音響システムに与え、音声多重信号から検出した音源の位置情報を用いて、あたかも再生画面上の被写体像からその被写体像に対応する音声を発生させることに利用することができる。また、実施の形態１と同様に、符号化する際には画面内での効率的な情報量の割り当てを実現することが可能となる。
【００１９】
実施の形態３．
上記実施の形態２では、音声信号に対してその音源である被写体の画面上の被写体像の位置情報（アドレス）を多重して音声多重信号を生成しているが、音声多重信号を生成する場合に、電子透かし技術を用いて音声信号に位置情報（アドレス）を埋め込むようにしてもよい。この場合、図４における音声信号多重部３に、電子透かし技術によって画面上の被写体像の位置情報（アドレス）を埋め込む機能を持たせることになる。これによっても、実施の形態２と同様の効果を得ることができる。
【００２０】
実施の形態４．
図５はこの発明の実施の形態４による映像・音声同期伝送装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態４の構成は、実施の形態１の同期信号合成部２の代わりに、映像信号多重部４を備えている。
映像信号多重部４は、被写体認識部１から入力される識別信号１０２と位置情報１０３に基づいて、入力された音声信号１０４〜１０６の中から被写体像の識別子に対応する識別子を持つ音声信号を検出し、検出された音声信号に付加された識別子を前記識別情報付加手段からの映像信号１１１に電子透かしデータとして埋め込んで映像多重信号として出力する手段である。
【００２１】
次に、動作について説明する。
映像信号多重部４では、映像信号１１１が入力されると、その中に含まれる識別信号１０２に基づいて、入力される音声信号の中から被写体像の識別子に対応する識別子を持つマイクから入力された音声信号を検出する。次に、この検出された音声信号に付加された識別子を抽出して映像信号１１１に電子透かしデータとして埋め込んで映像多重信号１０９として出力する。映像信号多重部４で生成された映像多重信号１０９と各マイクの音声信号１０４〜１０６とは別々の信号として利用装置に対して伝送される。
【００２２】
以上のように、この実施の形態４によれば、テレビ番組等の映像信号と音声信号を従来のように別信号として伝送するようにしているが、画面上での音源の位置情報が付加された映像信号に、その音源に対応する音声信号の識別子を多重化して送るようにしたので、大画面の映像表示システムで映像を表示する際に、映像多重信号から検出した音源となる被写体像の位置情報を用いて、対応する音声信号を検出して音響システムに与え、あたかも再生画面上の被写体像からその被写体像に対応する音声を発生させることに利用することができる。また、符号化する際には画面内での効率的な情報量の割り当てを実現することが可能となる。
【００２３】
実施の形態５．
図６はこの発明の実施の形態５による映像・音声同期伝送装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態５の構成は、実施の形態１の被写体認識部１の代わりに、被写体識別データ生成部（識別・位置生成手段）５を備えている。
この実施の形態５の場合、音声を発する被写体（人物、動物等の音声を発するもの全て）とその被写体が発する音声との関連付けの方法が上記各実施の形態の場合と異なる。ここでは、カメラまたは映像記憶装置から入力される映像信号（アナログ）１１１の映像は、音声を発する被写体に対して、画像処理上で識別可能となるマークａ１，ａ２，ａ３が付けられていない通常の映像である。
被写体識別データ生成部５は、入力される映像信号１０１をモニタで再生し、その画面上にある音源となる被写体像に入力ペンを接触させることにより、当該被写体像を識別するための識別子からなる識別信号を生成すると共に、画面上の当該被写体像の位置を表す位置情報１０３を生成する手段である。
【００２４】
次に、動作について説明する。
カメラまたは映像記憶装置から映像信号１１１入力されると、被写体識別データ生成部５では、映像信号１１１をモニタで再生する。番組制作者がその画面上にある音源となる被写体像に入力ペンを接触させる。複数の被写体像がある場合には、被写体像毎に入力ペンの被写体像を特定するモードを切り替えたり、あるいは複数の人で異なるモードの入力ペンを用いて行う。このことにより、被写体識別データ生成部５では、その被写体像を表す識別子を発生させて識別信号１０２を生成する。また、この時、その被写体像が画面上のどの位置にあるかを表す位置情報１０３を生成して、識別信号１０２と共にＡＤ変換・符号化部１０に入力する。その後の処理は実施の形態１と同様である。
【００２５】
以上のように、この実施の形態５によれば、通常の映像信号を用いて、その画面上に存在する音源となる被写体像の識別信号と位置情報を生成するようにしたので、被写体自身にマーク付けしていない映像や外国から入手した映像コンテンツの音声吹き替えにも対応可能となる。また、上記各実施の形態で行っているように、被写体自身にマークを付ける方法を用いた場合には、被写体の遠近や向きに因りマークを認識できない場合が起こり得るが、この実施の形態５の場合は、被写体像の画面上に現れている部分に対して指定処理を行うため、手作業を伴うが、対象とする被写体を確実に特定する識別子を付与することが可能である。
なお、被写体識別データ生成部５を実施の形態２から実施の形態４のいずれか１つに適用しても、それぞれ同様な効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】この発明の実施の形態１による映像・音声同期伝送装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る被写体と音声を関連付ける方法を示す説明図である。
【図３】この発明の実施の形態１に係る画面上の特定された画像の映像信号とそれに対応する音声信号を多重する方法をイメージで示す説明図である。
【図４】この発明の実施の形態２による映像・音声同期伝送装置の機能構成を示すブロック図である。
【図５】この発明の実施の形態４による映像・音声同期伝送装置の機能構成を示すブロック図である。
【図６】この発明の実施の形態５による映像・音声同期伝送装置の機能構成を示すブロック図である。
【符号の説明】
【００２７】
１  被写体認識部、２  同期信号合成部、３  音声信号多重部、４  映像信号多重部、５  被写体識別データ生成部、１０  ＡＤ変換・符号化部。
【図１】
2007158396.tif 000003
【図２】
2007158396.tif 000004
【図３】
2007158396.tif 000005
【図４】
2007158396.tif 000006
【図５】
2007158396.tif 000007
【図６】
2007158396.tif 000008