(57)【要約】【課題】被写体側の音声を無線通信により得る場合でも、映像と音声とを合成する際に被写体側の音声が遅延することを防ぐこと。【解決手段】遅延バッファ２０３は、撮影した映像の映像データを一時的に格納する。遅延バッファ２０６は、集音した音声の音声データを一時的に格納する。音受信部２０８は、被写体側の音声集音用装置で集音した音声の音声データを受信する。制御信号処理部２０９は、撮影開始信号を送信してから被写体側の音声集音用装置が撮影開始信号に対する応答として送信した応答信号を受信するまでの時間である遅延時間を求める。合成部２１０は、遅延時間に基づいて、遅延バッファ２０３から映像データを読み出し、遅延バッファ２０６から音声データを読み出すとともに、音受信部２０８から音声データを読み出して、読み出した各データを合成する。【選択図】図２
2008258781.tif 000002
【特許請求の範囲】
【請求項１】
撮影した映像を映像データに変換する映像処理手段と、
前記撮影の際に通信相手が集音した音の音データを受信する受信手段と、
前記通信相手から前記音データが送信されてから前記受信手段で前記音データを受信するまでの時間である遅延時間だけ前記映像データを遅延させる遅延手段と、
前記受信手段で受信した前記音データと前記遅延手段で前記遅延時間だけ遅延させた前記映像データとを合成する合成手段と、
を具備する撮影装置。
【請求項２】
前記通信相手に対して前記撮影の開始を通知する撮影開始信号を送信する送信手段と、
前記送信手段で前記撮影開始信号を送信してから前記撮影開始信号の応答として前記通信相手から返信される応答信号を受信するまでの時間の半分の時間を前記遅延時間として求める遅延時間算出手段とを具備し、
前記遅延手段は、前記遅延時間算出手段で求めた前記遅延時間だけ前記映像データを遅延させる請求項１記載の撮影装置。
【請求項３】
前記受信手段で受信した前記撮影の開始を通知する撮影開始信号に対する応答である応答信号を送信する送信手段を具備し、
前記受信手段は、前記音データに加えて、前記撮影開始信号を受信するとともに、前記通信相手が前記撮影開始信号を送信してから前記通信相手が前記応答信号を受信するまでの時間の半分の時間である前記遅延時間の情報である遅延時間情報を受信し、
前記遅延手段は、受信した前記遅延時間情報の遅延時間だけ前記映像データを遅延させる請求項１記載の撮影装置。
【請求項４】
前記合成手段は、前記受信手段が前記遅延時間情報を受信した際に前記合成を開始する請求項３記載の撮影装置。
【請求項５】
通信相手に対して撮影の開始を通知する撮影開始信号を送信してから前記撮影開始信号の応答として前記通信相手から返信される応答信号を受信するまでの時間の半分の時間を遅延時間として求める遅延時間算出手段と、
前記撮影の際に集音した音を音データに変換する音処理手段と、
前記遅延時間算出手段で求めた前記遅延時間の情報である遅延時間情報及び前記音データを前記通信相手に送信する送信手段と、
を具備する通信端末装置。
【請求項６】
撮影装置が、撮影した映像を映像データに変換するステップと、
前記撮影の際に通信端末装置が集音した音の音データを前記通信端末装置から前記撮影装置に送信するステップと、
前記撮影装置が前記音データを受信するステップと、
前記通信端末装置から前記音データが送信されてから前記撮影装置が前記音データを受信するまでの時間である遅延時間だけ前記撮影装置が前記映像データを遅延させるステップと、
前記撮影装置が、受信した前記音データと前記遅延時間だけ遅延させた前記映像データとを合成するステップと、
を具備するデータ合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、通信端末装置及びデータ合成方法に関し、特に遠隔地の被写体側で集音した音と撮影者側で撮影した画像とを合成する撮影装置、通信端末装置及びデータ合成方法に関する。
【背景技術】
【０００２】
従来、撮影者と被写体との距離が遠い遠隔撮影の際に、撮影者側の撮影機器に対して、被写体側の携帯電話装置から音声を無線伝送するものが知られている（例えば、特許文献１）。
【０００３】
特許文献１では、ビデオカメラは、ビデオズームでの撮影範囲ではあるが集音できない遠隔地の被写体側と双方向による無線通信を行って、被写体側からの音声と撮影者側の音声とを記録するものである。即ち、特許文献１は、遠隔地側の被写体の携帯用電話装置と撮影者側の携帯用電話装置とが通話を行うとともに、通話した内容をビデオカメラ内のビデオテープに映像と共に記録するものである。
【特許文献１】特開平１１−７５２８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、撮影する側の機器は、被写体側で集音した音を無線通信により得るため、映像と音を合成する際に被写体側で集音した音が遅延するという問題がある。
【０００５】
本発明はかかる点に鑑みてなされたものであり、被写体側で集音した音を無線通信により得る場合でも、映像と音とを合成する際に被写体側で集音した音が遅延することを防ぐことができる撮影装置、通信端末装置及びデータ合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮影装置は、撮影した映像を映像データに変換する映像処理手段と、前記撮影の際に通信相手が集音した音の音データを受信する受信手段と、前記通信相手から前記音データが送信されてから前記受信手段で前記音データを受信するまでの時間である遅延時間だけ前記映像データを遅延させる遅延手段と、前記受信手段で受信した前記音データと前記遅延手段で前記遅延時間だけ遅延させた前記映像データとを合成する合成手段と、を具備する構成を採る。
【０００７】
本発明の通信端末装置は、通信相手に対して撮影の開始を通知する撮影開始信号を送信してから前記撮影開始信号の応答として前記通信相手から返信される応答信号を受信するまでの時間の半分の時間を遅延時間として求める遅延時間算出手段と、前記撮影の際に集音した音を音データに変換する音処理手段と、前記遅延時間算出手段で求めた前記遅延時間の情報である遅延時間情報及び前記音データを前記通信相手に送信する送信手段と、を具備する構成を採る。
【０００８】
本発明のデータ合成方法は、撮影装置が、撮影した映像を映像データに変換するステップと、前記撮影の際に通信端末装置が集音した音の音データを前記通信端末装置から前記撮影装置に送信するステップと、前記撮影装置が前記音データを受信するステップと、前記通信端末装置から前記音データが送信されてから前記撮影装置が前記音データを受信するまでの時間である遅延時間だけ前記撮影装置が前記映像データを遅延させるステップと、前記撮影装置が、受信した前記音データと前記遅延時間だけ遅延させた前記映像データとを合成するステップと、を具備するようにした。
【発明の効果】
【０００９】
本発明によれば、被写体側の音を無線通信により得る場合でも、映像と音とを合成する際に被写体側で集音した音が遅延することを防ぐことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮影システム１００を示す図である。
【００１２】
図１より、撮影システム１００は、撮影側の撮影装置１０２と被写体側の音集音用装置１０１から構成される。撮影側の撮影装置１０２のカメラは被写体を撮影し、撮影側の撮影装置１０２のマイクは撮影側の音を集音する。また、被写体側の音集音用装置１０１のマイクは被写体の音を集音する。そして、被写体側の音集音用装置１０１は、集音した音を逐次無線通信により撮影側の撮影装置１０２へ送信する。被写体側の音集音用装置１０１は、例えば携帯電話等の通信端末装置であり、撮影側の撮影装置１０２は、例えば通信機能付きのデジタルビデオカメラである。
【００１３】
次に、撮影側の撮影装置１０２の構成について、図２を用いて説明する。図２は、撮影側の撮影装置１０２の構成を示すブロック図である。
【００１４】
カメラ２０１は、被写体を撮影する。そして、カメラ２０１は、撮影した被写体の映像を映像処理部２０２へ出力する。
【００１５】
映像処理部２０２は、カメラ２０１から入力した映像をエンコード等して所定の映像データに変換する。そして、映像処理部２０２は、映像データを遅延バッファ２０３へ出力する。
【００１６】
遅延手段としての遅延バッファ２０３は、映像処理部２０２から入力した映像データを一時的に格納する。
【００１７】
マイク２０４は、撮影側の撮影装置１０２側の音を集音する。そして、マイク２０４は、集音した音を音処理部２０５へ出力する。ここで、マイク２０４が集音する音とは、音声または撮影側の撮影装置１０２の周囲で発生する音声以外の音等である。
【００１８】
音処理部２０５は、マイク２０４から入力した音を符号化等して所定の音データに変換する。そして、音処理部２０５は、音データを遅延バッファ２０６へ出力する。
【００１９】
遅延バッファ２０６は、音処理部２０５から入力した音データを一時的に格納する。
【００２０】
通信網２０７は、被写体側の音集音用装置１０１が集音した音データを無線により撮影側の撮影装置１０２へ伝送する。また、通信網２０７は、被写体側の音集音用装置１０１と撮影側の撮影装置１０２との間で送受信される制御信号を無線により伝送する。
【００２１】
音受信部２０８は、カメラ２０１が被写体側の音集音用装置１０１を撮影する際に被写体側の音集音用装置１０１が集音した音の音データを通信網２０７を介して受信する。そして、音受信部２０８は、受信した音データを無線周波数からベースバンド周波数にダウンコンバートするとともに復調して、復調した音データを合成部２１０へ出力する。ここで、音受信部２０８が受信する音データの音とは、音声または被写体側の音集音用装置１０１の周囲で発生する音声以外の音等である。
【００２２】
遅延時間算出手段としての制御信号処理部２０９は、図示しないアンテナ及び通信網２０７を介して、被写体側の音集音用装置１０１との間で制御信号を送受信することにより、被写体側の音集音用装置１０１が集音した音データが被写体側の音集音用装置１０１で送信されてから撮影側の撮影装置１０２が受信するまでの時間である遅延時間を求める。具体的には、制御信号処理部２０９は、カメラ２０１での撮影の開始を通知する撮影開始信号を、通信網２０７を介して被写体側の音集音用装置１０１に対して送信する。また、制御信号処理部２０９は、送信した撮影開始信号の応答である応答信号を受信する。そして、制御信号処理部２０９は、撮影開始信号を送信してから応答信号を受信するまでの時間に基づいて、遅延時間を求める。なお、遅延時間を求める方法については後述する。
【００２３】
合成部２１０は、制御信号処理部２０９で求めた遅延時間に基づいて、遅延バッファ２０３から映像データを読み出し、遅延バッファ２０６から音データを読み出すとともに、音受信部２０８から音データを読み出す。そして、合成部２１０は、読み出した各データを合成し、合成したデータを制御部２１１へ出力する。
【００２４】
制御部２１１は、合成部２１０から入力したデータを記録部２１２に記録させる。また、制御部２１１は、合成部２１０から入力した合成後の映像データを映像としてモニタ２１３へ表示させる。また、制御部２１１は、合成部２１０から入力した合成後の音データをスピーカ２１４から音として出力させる。また、制御部２１１は、制御信号処理部２０９における処理を制御する。
【００２５】
記録部２１２は、制御部２１１から入力した合成後のデータを記録する。
【００２６】
モニタ２１３は、制御部２１１から入力した合成後の映像データを映像として表示する。
【００２７】
スピーカ２１４は、制御部２１１から入力した合成後の音データを音として出力する。
【００２８】
次に、音データと映像データとを合成するデータ合成方法について、図３を用いて説明する。図３は、データ合成方法を示すシーケンス図である。なお、図３において、実線は制御信号を示し、破線は音データを示す。
【００２９】
最初に、撮影側の撮影装置１０２は、被写体側の音集音用装置１０１に対して、撮影開始信号を送信するとともに（ステップＳＴ３０１）、撮影側の撮影装置１０２のカメラ２０１は、撮影を開始する。
【００３０】
次に、被写体側の音集音用装置１０１は、撮影側の撮影装置１０２が撮影を開始してから遅延時間Ｔｄ後に撮影開始信号を受信する。そして、撮影開始信号を受信した被写体側の音集音用装置１０１は、集音を開始するとともに、撮影側の撮影装置１０２に対して、応答信号を送信する（ステップＳＴ３０２）。
【００３１】
さらに、被写体側の音集音用装置１０１は、被写体側の音集音用装置１０１に対して、集音した音の音データの送信を開始する（ステップＳＴ３０３）。
【００３２】
次に、撮影側の撮影装置１０２は、応答信号とともに音データを受信し、撮影側の撮影装置１０２の制御信号処理部２０９は、撮影開始信号の送信タイミング及び応答信号の受信タイミングに基づいて、遅延時間Ｔｄを求める。具体的には、制御信号処理部２０９は、ステップＳＴ３０１で撮影開始信号を送信してからステップＳＴ３０２で応答信号を受信するまでの時間２Ｔｄを求めて、求めた２Ｔｄに１／２を乗算して求めたＴｄを遅延時間とする。
【００３３】
次に、撮影側の撮影装置１０２の合成部２１０は、遅延バッファ２０３で遅延時間Ｔｄだけ遅延させた映像データを遅延バッファ２０３から読み出すとともに、遅延バッファ２０６で遅延時間Ｔｄだけ遅延させた音データを遅延バッファ２０６から読み出す。そして、合成部２１０は、音受信部２０８から入力した音データ、遅延バッファ２０３から読み出した映像データ、及び遅延バッファ２０６から読み出した音データを合成し、撮影側の撮影装置１０２の記録部２１２は、合成したデータを記憶する。
【００３４】
次に、撮影側の撮影装置１０２のカメラ２０１は、撮影を終了し、撮影側の撮影装置１０２の制御信号処理部２０９は、被写体側の音集音用装置１０１に対して、撮影終了信号を送信する（ステップＳＴ３０４）。
【００３５】
次に、撮影終了信号を受信した被写体側の音集音用装置１０１は、集音を終了する。
【００３６】
図４は、撮影側の撮影装置１０２における各データの処理のタイミングを示す図である。なお、図４において、横軸は時間である。
【００３７】
図４より、カメラ２０１は、撮影開始時刻ｔ１から、撮影した映像（ビデオトラック）の映像処理部２０２への出力を開始する。また、マイク２０４は、撮影開始時刻ｔ１から、集音した音（オーディオトラック）の音処理部２０５への出力を開始する。また、音受信部２０８は、撮影開始時刻ｔ１から時間２Ｔｄ経過後の時刻ｔ２に、被写体側の音集音用装置１０１で集音した音（オーディオトラック）データを受信し始める。さらに、合成部２１０は、時刻ｔ３において、データの合成を開始して合成データを生成する。
【００３８】
このように、本実施の形態１によれば、被写体側の音を無線通信により得る場合でも、映像と音とを合成する際に被写体側の音が遅延することを防ぐことができる。また、本実施の形態１によれば、撮影開始信号を用いて遅延時間を求めるので、遅延時間を求めるための新たな制御信号を送信する必要がなく、撮影側の撮影装置及び被写体側の音集音用装置の処理負荷が増大することを防ぐことができる。
【００３９】
（実施の形態２）
図５は、本発明の実施の形態２に係る撮影側の撮影装置５００の構成を示すブロック図である。
【００４０】
本実施の形態２に係る撮影側の撮影装置５００は、図２に示す実施の形態１に係る撮影側の撮影装置１０２において、図５に示すように、バッファ５０１を追加し、制御信号処理部２０９の代わりに制御信号処理部５０２を有する。なお、図５においては、図２と同一構成である部分には同一の符号を付してその説明は省略する。
【００４１】
通信網２０７は、後述する被写体側の音集音用装置６００が集音した音データを無線により撮影側の撮影装置５００へ伝送する。また、通信網２０７は、被写体側の音集音用装置６００と撮影側の撮影装置５００との間で送受信される制御信号を無線により伝送する。
【００４２】
音受信部２０８は、通信網２０７を介して被写体側の音集音用装置６００が集音した音データを受信する。そして、音受信部２０８は、受信した音データを無線周波数からベースバンド周波数にダウンコンバートするとともに復調して、復調した音データをバッファ５０１へ出力する。
【００４３】
バッファ５０１は、音受信部２０８から入力した音データを一時的に格納する。
【００４４】
制御信号処理部５０２は、図示しないアンテナ及び通信網２０７を介して、被写体側の音集音用装置６００との間で制御信号を送受信した後に、被写体側の音集音用装置６００で求めた遅延時間の情報である遅延時間情報を受信する。具体的には、制御信号処理部５０２は、カメラ２０１での撮影の開始を要求する撮影開始信号を、通信網２０７を介して被写体側の音集音用装置１０１から受信する。また、制御信号処理部５０２は、撮影開始信号を受信した際に、受信した撮影開始信号の応答である応答信号を送信する。さらに、制御信号処理部５０２は、受信した制御信号を無線周波数からベースバンド周波数にダウンコンバートするとともに復調して遅延時間の情報である遅延時間情報を抽出する。そして、制御信号処理部５０２は、合成部２１０に対して、遅延バッファ２０３から読み出した映像データ及び遅延バッファ２０６から読み出した音データと、バッファ５０１から読み出した音データとの間に、抽出した遅延時間情報の遅延時間が生じるように各データの読み出しを指示する。
【００４５】
合成部２１０は、制御信号処理部５０２の指示に従って、遅延バッファ２０３から映像データを読み出し、遅延バッファ２０６から音データを読み出すとともに、音受信部２０８から音データを読み出す。そして、合成部２１０は、読み出した各データを合成し、合成したデータを制御部２１１へ出力する。
【００４６】
次に、被写体側の音集音用装置６００の構成について、図６を用いて説明する。図６は、被写体側の音集音用装置６００の構成を示すブロック図である。
【００４７】
アンテナ６０１は、切替部６０２から入力した音データまたは制御信号を送信する。また、アンテナ６０１は、撮影側の撮影装置５００から送信された制御信号を受信して、受信した制御信号を切替部６０２へ出力する。
【００４８】
切替部６０２は、アンテナ６０１から入力した音データまたは制御信号を受信部６０３へ出力する。また、切替部６０２は、送信部６０４から入力した音データまたは制御信号をアンテナ６０１へ出力する。
【００４９】
受信部６０３は、切替部６０２から入力した制御信号を無線周波数からベースバンド周波数にダウンコンバートするとともに復調して、復調した制御信号を制御信号処理部６０５へ出力する。
【００５０】
送信部６０４は、制御信号処理部６０５から入力した制御信号、遅延時間情報生成部６０６から入力した遅延時間情報、または音処理部６０８から入力した音データを変調するとともに、ベースバンド周波数から無線周波数にアップコンバートして切替部６０２へ出力する。
【００５１】
遅延時間算出手段としての制御信号処理部６０５は、制御信号である撮影開始信号を生成して、生成した撮影開始信号を送信部６０４へ出力する。また、制御信号処理部６０５は、撮影開始信号を送信部６０４に出力してから受信部６０３から制御信号である応答信号が入力するまでの時間を計測して、計測した時間に基づいて遅延時間を求める。そして、制御信号処理部６０５は、求めた遅延時間を遅延時間情報生成部６０６へ出力する。
【００５２】
遅延時間情報生成部６０６は、制御信号処理部６０５から入力した遅延時間の情報である遅延時間情報を生成して、生成した遅延時間情報を送信部６０４へ出力する。
【００５３】
マイク６０７は、集音した音を音処理部６０８へ出力する。ここで、マイク６０７が集音する音とは、音声または被写体側の音集音用装置６００の周囲で発生する音声以外の音等である。
【００５４】
音処理部６０８は、マイク６０７から入力した音を音データに変換する。そして、音処理部６０８は、音データを送信部６０４へ出力する。
【００５５】
次に、音データと映像データとを合成するデータ合成方法について、図７を用いて説明する。図７は、データ合成方法を示すシーケンス図である。なお、図７において、実線は制御信号を示し、破線は音データを示す。
【００５６】
最初に、被写体側の音集音用装置６００は、撮影側の撮影装置５００に対して、撮影開始信号を送信する（ステップＳＴ７０１）。
【００５７】
撮影開始信号を受信した撮影側の撮影装置５００のカメラ２０１は、撮影を開始するとともに、撮影側の撮影装置５００は、被写体側の音集音用装置６００に対して、応答信号を送信する（ステップＳＴ７０２）。
【００５８】
また、被写体側の音集音用装置６００は、撮影開始信号を送信してから所定時間経過後に、マイク６０７で集音した音の音データの送信を開始する（ステップＳＴ７０３）。
【００５９】
次に、応答信号を受信した被写体側の音集音用装置６００の制御信号処理部６０５は、遅延時間Ｔｄを求める。具体的には、制御信号処理部６０５は、ステップＳＴ７０１で撮影開始信号を送信してからステップＳＴ７０２で応答信号を受信するまでの時間２Ｔｄを求めて、求めた２Ｔｄに１／２を乗算して求めたＴｄを遅延時間とする。
【００６０】
次に、被写体側の音集音用装置６００の遅延時間情報生成部６０６は、求めた遅延時間Ｔｄの遅延時間情報を生成する。
【００６１】
次に、被写体側の音集音用装置６００は、撮影側の撮影装置５００に対して、生成した遅延時間情報を送信する（ステップＳＴ７０４）。
【００６２】
次に、撮影側の撮影装置５００の合成部２１０は、遅延バッファ２０３で遅延時間Ｔｄだけ遅延させた映像データを遅延バッファ２０３から読み出すとともに、遅延バッファ２０６で遅延時間Ｔｄだけ遅延させた音データを遅延バッファ２０６から読み出す。そして、合成部２１０は、バッファ５０１から読み出した音データ、遅延バッファ２０３から読み出した映像データ、及び遅延バッファ２０６から読み出した音データを合成し、撮影側の撮影装置１０２の記録部２１２は、合成したデータを記憶する。
【００６３】
次に、被写体側の音集音用装置６００は、撮影側の撮影装置５００に対して、撮影終了信号を送信し（ステップＳＴ７０５）、撮影終了信号を受信した撮影側の撮影装置５００のカメラ２０１は、撮影を終了する。この際に、撮影側の撮影装置５００の合成部２１０は、撮影終了信号を受信した時刻から遅延時間Ｔｄだけ経過した時刻までに受信した音データを使用してデータの合成を行う。
【００６４】
このように、本実施の形態２によれば、被写体側の音を無線通信により得る場合でも、映像と音とを合成する際に被写体側の音が遅延することを防ぐことができる。また、本実施の形態２によれば、撮影開始信号を用いて遅延時間を求めるので、遅延時間を求めるための新たな制御信号を送信する必要がなく、撮影側の撮影装置及び被写体側の音集音用装置の処理負荷が増大することを防ぐことができる。
【００６５】
なお、上記実施の形態１及び実施の形態２において、遅延バッファを用いて映像データ及び音データを遅延させているが、これに限らず、映像処理部２０２から合成部２１０までの伝送路の長さ、及び音処理部２０５から合成部２１０までの伝送路の長さを調整する等して映像データ及び音データを遅延させても良い。
【産業上の利用可能性】
【００６６】
本発明にかかる撮影装置、通信端末装置及びデータ合成方法は、特に遠隔地の被写体側で集音した音と撮影者側で撮影した画像とを合成するのに好適である。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態１に係る撮影システムを示す図
【図２】本発明の実施の形態１に係る撮影側の撮影装置の構成を示すブロック図
【図３】本発明の実施の形態１に係るデータ合成方法を示すシーケンス図
【図４】本発明の実施の形態１に係る撮影側の撮影装置における各データの処理のタイミングを示す図
【図５】本発明の実施の形態２に係る撮影側の撮影装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る被写体側の音集音用装置の構成を示すブロック図
【図７】本発明の実施の形態２に係るデータ合成方法を示すシーケンス図
【符号の説明】
【００６８】
１０２  撮影側の撮影装置
２０１  カメラ
２０２  映像処理部
２０３、２０６  遅延バッファ
２０４  マイク
２０５  音処理部
２０７  通信網
２０８  音受信部
２０９  制御信号処理部
２１０  合成部
２１１  制御部
２１２  記録部
２１３  モニタ
２１４  スピーカ
【図１】
2008258781.tif 000003
【図２】
2008258781.tif 000004
【図３】
2008258781.tif 000005
【図４】
2008258781.tif 000006
【図５】
2008258781.tif 000007
【図６】
2008258781.tif 000008
【図７】
2008258781.tif 000009