(57)【要約】【課題】  送信側の機器において映像情報の符号化処理に要する時間が１フレーム周期を越えた場合でも、受信側の機器において映像フレームを再生する際のタイムラグを減らすことでリアルタイム性を確保した映像音声通信システムを提供する。【解決手段】  送信側の機器Ｂ（Ａ）の制御部Ｂ１（Ａ１）は、映像情報の符号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の符号化処理が完了するまでそのまま当該処理を継続させるとともに、当該符号化処理が完了するまでに要した期間中にキャプチャされた映像情報の内、１フレーム周期を越えた分の映像情報は廃棄するようにしている。【選択図】  図３
2005159660.tif 000002
【特許請求の範囲】
【請求項１】
送信側の機器は、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生する映像音声通信システムにおいて、
前記送信側の機器は、映像情報の符号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の符号化処理が完了するまでそのまま当該処理を継続させるとともに、当該符号化処理が完了するまでに要した期間中にキャプチャされた映像情報の内、１フレーム周期を越えた分の映像情報は廃棄する送信側タイムラグ修正手段を備えることを特徴とする映像音声通信システム。
【請求項２】
請求項１記載の映像音声通信システムにおいて、
前記送信側の機器は、前記送信側タイムラグ修正手段によって映像情報の符号化処理が１フレーム周期以上継続された場合には、その継続期間をフレーム遅延期間情報として映像フレームのヘッダに付加するフレーム遅延期間情報付加手段を備える一方、前記受信側の機器は、映像フレームのヘッダに付加されている前記フレーム遅延期間情報に基づいて、そのフレーム遅延期間分だけ映像情報の再生処理を繰り返す受信側タイムラグ修正手段を備えることを特徴とする映像音声通信システム。
【請求項３】
請求項１または請求項２記載の映像音声通信システムにおいて、
前記送信側の機器は、前記送信側タイムラグ修正手段による映像情報の符号化処理の完了後、引き続いてキャプチャされた映像情報をフレーム化する際のフレーム番号は、先に符号化処理が完了した映像情報の連番とし、また、音声情報をフレーム化する場合は、前記送信側タイムラグ修正手段による映像情報の符号化処理完了までに要した期間中に含まれる音声フレームを一つにまとめ、引き続いてキャプチャされた音声情報をフレーム化する場合に付されるフレーム番号は、前記一つにまとめた音声フレームに付されるフレーム番号の連番とする連番付加手段を備えることを特徴とする映像音声通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報と音声情報とを符号化して特定のフレームを形成し、パケット通信を行う映像音声通信システムに関するものである。
【背景技術】
【０００２】
従来の映像音声通信システムにおいては、送信側の機器では、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器では、フレーム番号を参照して受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生するようにしたものが提案されている（例えば、特許文献１参照）
【特許文献１】特開２００３−１８９３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来、このような映像音声通信システムにおいては、送信側の機器において映像情報を符号化処理する際に時間がかって１フレーム周期以上遅延して処理される場合がある。このような場合には、受信側で所定の映像情報を再生するタイミングにパケットが届いておらず、映像情報を再生でないことがあった。また、このような映像情報の符号化処理に遅延が生じると、受信側の機器において映像情報を再生する際、音声情報の再生タイミングとの整合性がとれなくなって、映像と音声とがちぐはぐとなり内容が理解できなくなるといった不都合を生じていた。
【０００４】
本発明は、上記の課題を解決するためになされたもので、送信側の機器において映像情報の符号化処理に要する時間が１フレーム周期を越えた場合でも、受信側の機器において映像フレームが再生時のタイムラグを減らしてリアルタイム性を確保することができ、しかも、音声情報との整合性をとることが可能な映像音声通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明にあっては、送信側の機器は、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、前記フレーム番号を参照して受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生する映像音声通信システムにおいて、次の構成を採用している。
【０００６】
すなわち、請求項１記載の発明に係る映像音声通信システムでは、送信側の機器は、映像情報の符号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の符号化処理が完了するまでそのまま当該処理を継続させるとともに、当該符号化処理が完了するまでに要した期間中にキャプチャされた映像情報の内、１フレーム周期を越えた分の映像情報は廃棄する送信側タイムラグ修正手段を備えることを特徴としている。
【０００７】
請求項２記載の発明に係る映像音声通信システムでは、請求項１記載の映像音声通信システムの構成において、送信側の機器は、前記送信側タイムラグ修正手段によって映像情報の符号化処理が１フレーム周期以上継続された場合には、その継続期間をフレーム遅延期間情報として映像フレームのヘッダに付加するフレーム遅延期間情報付加手段を備える一方、前記受信側の機器は、映像フレームのヘッダに付加されている前記フレーム遅延期間情報に基づいて、そのフレーム遅延期間分だけ映像情報の再生処理を繰り返す受信側タイムラグ修正手段を備えることを特徴としている。
【０００８】
請求項３記載の発明に係る映像音声通信システムでは、請求項１または請求項２記載の映像音声通信システムの構成において、送信側の機器は、前記送信側タイムラグ修正手段による映像情報の符号化処理の完了後、引き続いてキャプチャされた映像情報をフレーム化する際のフレーム番号は、先に符号化処理が完了した映像情報の連番とし、また、音声情報をフレーム化する場合は、前記送信側タイムラグ修正手段による映像情報の符号化処理完了までに要した期間中に含まれる音声フレームを一つにまとめ、引き続いてキャプチャされた音声情報をフレーム化する場合に付されるフレーム番号は、前記一つにまとめた音声フレームに付されるフレーム番号の連番とする連番付加手段を備えることを特徴としている。
【発明の効果】
【０００９】
請求項１記載の発明によれば、映像情報の符号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の符号化処理が完了するまでそのまま当該処理を継続させるとともに、当該符号化処理が完了するまでに要した期間中にキャプチャされた映像情報の内、１フレーム周期を越えた分の映像情報は廃棄するようにしているので、映像情報を送信してから再生されるまでの処理時間のタイムラグを減らすことができる。このため、映像情報のリアルタイム性を重視した映像情報の伝送を行うことが可能になる。
【００１０】
請求項２記載の発明によれば、送信側の機器で映像情報の符号化処理に要する時間が長くかかって１フレーム周期以上遅延した場合には、受信側の機器において、そのフレーム遅延期間分だけ映像情報の再生処理が繰り返されるため、映像情報が再生される際のタイムラグが減らされる。このため、映像情報のリアルタイム性を重視した映像情報の伝送を行うことが可能になる。
【００１１】
請求項３記載の発明によれば、受信側の機器において、受信した映像フレームと音声フレームのフレーム番号を一致させることができるため、映像情報と音声情報の整合性をとることができる。
【発明を実施するための最良の形態】
【００１２】
ここでは、本発明の映像音声通信システムを集合住宅用ホームオートメーションシステム（以下、マンションＨＡシステムという）に適用した場合を例にとって説明する。
【００１３】
図１はマンションＨＡシステムの構成を示すブロック図である。
【００１４】
この実施形態のマンションＨＡシステムは、各住戸に設置される住戸端末Ａ（ここではその内の一つのみを示す）と、マンションのロビーに設置されるカメラ付きのロビーインターホンＢとを備え、両者Ａ，Ｂ間が通信回線Ｌを介して互いに接続されている。
【００１５】
住戸端末Ａは、制御部Ａ１、インタフェイスＡ２、映像処理部Ａ３、表示部Ａ４、映像入力部Ａ５、音声処理部Ａ６、音声入出力部Ａ７、および操作部Ａ８を備えており、音声入出力部Ａ７や映像入力部Ａ５から入力された音声情報や映像情報をフレーム化したパケットをロビーインターホンＢに送信するとともに、ロビーインターホンＢから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。
【００１６】
ロビーインターホンＢは、制御部Ｂ１、インタフェイスＢ２、映像処理部Ｂ３、表示部Ｂ４、映像入力部Ｂ５、音声処理部Ｂ６、音声入出力部Ｂ７、および操作部Ｂ８を備えており、音声入出力部Ｂ７や映像入力部Ｂ５から入力された音声情報や映像情報をフレーム化したパケットを住戸端末Ａに送信するとともに、住戸端末Ａから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。
【００１７】
なお、上記の各制御部Ａ１，Ｂ１が特許請求の範囲における送信側タイムラグ修正手段、フレーム遅延期間情報付加手段、受信側タイムラグ修正手段、連番付加手段に対応している。
【００１８】
次に、上記構成において、例えばロビーインターホンＢを送信側の機器、住戸端末Ａを受信側の機器として、ロビーインターホンＢから住戸端末Ａに向けて映像情報と音声情報とを送信する場合の動作について説明する。なお、上記の場合とは逆に住戸端末ＡからロビーインターホンＢに映像情報と音声情報を送信する場合の動作も基本的に同じである。      
【００１９】
ロビーインターホンＢは、映像入力部Ｂ５で映像情報をキャプチャし、映像処理部Ｂ３でこの映像情報が符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。また、音声入出力部Ｂ７から入力された音声情報は、音声処理部Ｂ６で符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。その際、制御部Ｂ１は、同時期に発生した映像情報と音声情報には同一のフレーム番号を付与する。こうして所定の形式にフレーム化された映像情報と音声情報とは、制御部Ｂ１で共にパケット化されてインタフェイスから通信回線Ｌを介して住戸端末Ａに向けて送信される。
【００２０】
一方、住戸端末Ａは、ロビーインターホンＢから通信回線Ｌを介して送られてきた映像情報と音声情報の各パケットを共に受信すると、制御部Ａ１はこれらの情報をアンパケット化する。アンパケット化された映像情報は、映像処理部Ａ３で復号化され、表示部Ａ４に出力されて表示される。また、アンパケット化された音声情報は音声処理部Ａ６で復号化され音声入出力部Ａ７で出力再生される。
【００２１】
ここで、いま、ロビーインターホンＢにおいて、映像情報が１フレーム周期ごとに確実に符号化されて所定のフレーム形式に形成されており、また、通信回線Ｌに外来ノイズや信号減衰等によるパケットロスや伝送エラー等が何ら発生せずに正常にパケット通信が行われている場合、住戸端末Ａの制御部Ａ１は、図２に示すように、各パケットの映像フレームと音声フレームに付された各フレーム番号を参照してフレーム周期に同期して映像情報と音声情報とをアンパケット化するので、同じフレーム番号を有する映像情報と音声情報とが同じタイミングで再生されて両情報の整合性が保たれている。
【００２２】
一方、図３に示すように、ロビーインターホンＢにおいて、例えば映像入力部Ｂ５でキャプチャしたフレーム番号“１６”の映像情報を符号化する際、この符号化処理に要する時間が１フレーム周期で終了せずに２フレーム周期までかかる場合には、このフレーム番号“１６”の映像情報の符号化処理を１フレーム周期で終了させずに符号化が完了するまでそのまま継続させる。
【００２３】
その間、映像入力部Ｂ５ではフレーム番号“１７”の映像情報がキャプチャされるが、このフレーム番号“１７”の映像情報は符号化せずに廃棄される。また、符号化処理に２フレーム周期の期間を要したので、フレーム番号“１６”の映像フレームのヘッダには、符号化処理に２フレーム周期分の遅れがあることを示すフレーム遅延期間情報を付加する。
【００２４】
さらに、上記のようにフレーム番号“１７”の映像情報は廃棄されるが、映像入力部Ｂ５では映像情報が引き続いてキャプチャされている。この場合にキャプチャされた映像情報をフレームに形成する際のフレーム番号は、本来“１８”となるが、制御部Ｂ１はこれをフレーム番号“１７”に変更し、先に符号化処理が完了したフレーム番号“１６”の映像フレームの連番とする。以下、引き続いてキャプチャされる映像情報に対しても連番となるようにフレーム番号を割り振る。
【００２５】
また、音声入出力部Ｂ７でキャプチャされた音声情報を符号化してフレームに形成する場合、上記のフレーム番号“１６”の映像情報の符号化には２フレーム周期の期間がかかっているので、フレーム番号“１６”の映像情報の符号化処理完了までに要した期間中に含まれるフレーム番号“１６”，“１７”の音声フレームを一つにまとめてフレーム番号“１６”として送信する。音声フレームは映像フレームよりもデータ量がかなり少ないため、４フレーム分程度であればまとめて送信することが可能である。
【００２６】
引き続いて音声入出力部Ｂ７においてキャプチャされた音声情報をフレーム化する場合に付されるフレーム番号は、本来“１８”となるが、制御部Ｂ１はこれをフレーム番号“１７”に変更し、先に一つにまとめた音声フレームに付されるフレーム番号“１６”の連番とする。以下、引き続いてキャプチャされる音声情報に対しても連番となるようにフレーム番号を割り振る。
【００２７】
住戸端末Ａの制御部Ａ１は、パケットを受信すると、受信したパケットをフレーム周期に同期して映像フレームと音声フレームとに別々に分離する。そして、例えば受信したフレーム番号“１６”の映像フレームのヘッダに付加されているフレーム遅延期間情報に基づいて、２フレーム周期分の遅れがあることを把握し、このフレーム番号“１６”の映像フレームを復号化した後、フレーム遅延期間分だけその出力をホールドする。これにより、２フレーム周期の期間にわたってフレーム番号“１６”に対応する映像が再生される。これにより、映像情報が再生される際のタイムラグが減少される。
【００２８】
また、音声フレームに関しても、２フレーム周期分の音声情報が一つにまとめて送信されてくるので、これを受信して復号化したときには２フレーム周期の期間にわたってフレーム番号“１６”に対応した音声が再生される。このため、住戸端末Ａでは、映像フレームと音声フレームの再生タイミングを合わすことができるので、映像情報と音声情報の再生時の整合をとることができる。
【産業上の利用可能性】
【００２９】
なお、上記の実施形態では、映像音声通信システムをマンションＨＡシステムに適用した場合について説明したが、本発明はこれに限定されるものではなく、映像情報と音声情報とを共に通信ネットワークを介してリアルタイムで伝送する必要がある、例えばテレビ電話システムやテレビ会議システムなどの映像と音声のオン・デマンドの通信システムに対して広く適用することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態におけるマンションＨＡシステムの構成を示すブロック図である。
【図２】正常にパケット通信が行われている場合の映像情報と音声情報の通信手順を示すタイミングチャートである。
【図３】送信側の機器において映像情報の符号化処理が１フレーム周期以上遅延した場合の映像情報と音声情報の処理内容を示すタイミングチャートである。
【符号の説明】
【００３１】
Ａ    住戸端末
Ｂ    カメラ付きのロビーインターホン
Ｌ    通信回線
Ａ１，Ｂ１    制御部（送信側タイムラグ修正手段、フレーム遅延期間情報付加手段、受信側タイムラグ修正手段、連番付加手段）
【図１】
2005159660.tif 000003
【図２】
2005159660.tif 000004
【図３】
2005159660.tif 000005