(57)【要約】【課題】バッファリング量を超える最小のＲＴＰタイムスタンプを持つＲＴＰパケットを送信側で生成し送信することで、受信側のバッファリング量を最低限にし、受信側におけるＲＴＰパケットの滞留時間を削減し、送受信端末間の遅延を減らすことである。【解決手段】本発明の情報通信端末は、映像エンコーダ３、音声エンコーダ７、上記映像エンコーダ３及び音声エンコーダ７により符号化された映像フレーム及び音声フレームよりＲＴＰパケットを生成するＲＴＰパケット生成部４と、上記ＲＴＰパケットを送信する送信処理部８とを具備し、上記ＲＴＰパケットはタイムスタンプを有し、上記映像符号化手段及び音声符号化手段が、上記タイムスタンプが初めて所定のバッファリング量以上になる最小のタイムスタンプを有する上記映像及び音声フレームを送信するように符号化を行う。【選択図】      図１
2008017230.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームおよび音声フレームの少なくとも一方を符号化する符号化手段と、
上記符号化手段により符号化された映像フレーム又は音声フレームよりＲＴＰパケットを生成するＲＴＰパケット生成手段と、
上記ＲＴＰパケットを送信する送信手段と、
を具備し、上記ＲＴＰパケットはタイムスタンプを有しており、上記符号化手段は、上記タイムスタンプが初めて所定のバッファリング量以上になる最小のタイムスタンプを有する上記映像又は音声フレームを送信するように符号化を行うことを特徴とする情報通信端末。
【請求項２】
上記ＲＴＰパケットの送信開始から上記タイムスタンプが上記所定のバッファリング量を超えるまで、上記符号化手段に対してフレームスキップを禁止することを更に特徴とする請求項１に記載の情報通信端末。
【請求項３】
上記ＲＴＰパケットの送信開始から上記タイムスタンプが上記所定のバッファリング量を超えるまで、上記符号化手段に対して無音制御を停止することを更に特徴とする請求項１又は２に記載の情報通信端末。
【請求項４】
上記ＲＴＰパケットの送信開始から上記タイムスタンプが上記所定のバッファリング量を超えるまで、当該ＲＴＰパケットに含める音声フレームの数を減らすことを更に特徴とする請求項１乃至３のいずれかに記載の情報通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば映像や音声等のメディアデータをパケット化して送信する情報通信端末に関する。
【背景技術】
【０００２】
従来、映像や音声等のメディアデータを再生する側の装置では、これらメディアデータがＲＴＰパケットとして受信されると、図３（ａ）に示されるように、タイプスタンプの順にソートされて送信元毎にバッファリングされる。そして、受信済みのＲＴＰパケットのタイムスタンプの差が規定量（バッファリング量）以上になると再生が開始される。
【０００３】
即ち、図３（ｂ）に示される例では、バッファリング量が３となると再生が開始される。
【０００４】
ところで、受信したＲＴＰパケットがバッファから出力されるまでには、既にバッファに蓄積されているＲＴＰパケットが再生される必要がある為、その分の時間だけ伝送遅延（再生待ち時間）が生じる。即ち、例えば、図３（ｃ）に示される例では、図３（ｂ）に示したバッファリング量に基いて、再生待ち時間（＝３）が生じることになる。
【０００５】
このように、従来技術では、初めてバッファリング量以上となるＲＴＰパケットのタイムスタンプがその後の伝送遅延を決定している（例えば、非特許文献１参照）。
【非特許文献１】Colin Perkins著、小川晃通監訳、「マスタリングＴＣＰ／ＩＰ  ＲＴＰ編」、第１版、平成１６年４月１５日発行、オーム社、第６．６章、第１４５頁
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述したように、ＲＴＰパケットが一定のタイムスタンプ以上になるまでバッファリングしてから再生を開始する場合、フレームスキップによって、バッファリングが完了するＲＴＰパケットのタイムスタンプがバッファリング量より大きくなる場合がある（図４（ａ），（ｂ）参照）。このとき、両タイムスタンプの差だけＲＴＰパケットが受信側バッファで再生時刻になるまで待つ時間が延びるため、送受信端末間の映像音声の遅延が拡大する。さらに、低遅延が要求される通話においては会話が行い難くなる。
【０００７】
本発明の目的は、バッファリング量を超える最小のタイムスタンプを持つＲＴＰパケットを送信側で生成し送信することで、受信側のバッファリング量を最低限にし、受信側におけるＲＴＰパケットの滞留時間を削減し、送受信端末間の遅延を減らし、ひいては通話を行い易くすることである。
【課題を解決するための手段】
【０００８】
本発明の情報通信端末においては、映像フレームおよび音声フレームの少なくとも一方を符号化する符号化手段と、上記符号化手段により符号化された映像フレーム又は音声フレームよりＲＴＰパケットを生成するＲＴＰパケット生成手段と、上記ＲＴＰパケットを送信する送信手段とを具備し、上記ＲＴＰパケットはタイムスタンプを有しており、上記符号化手段は、上記タイムスタンプが初めて所定のバッファリング量以上になる最小のタイムスタンプを有する上記映像又は音声フレームを送信するように符号化を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、バッファリング量を超える最小のタイムスタンプを持つＲＴＰパケットを送信側で生成し送信することで、受信側のバッファリング量を最低限にし、受信側におけるＲＴＰパケットの滞留時間を削減し、送受信端末間の遅延を減らし、ひいては通話を行い易くする、情報通信端末を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【００１１】
図１には本発明の一実施の形態に係る情報通信端末１００の構成を示し説明する。
【００１２】
同図に示されるように、情報通信端末１００は、カメラ１、カメラ制御部２、映像符号化手段としての映像エンコーダ３、ＲＴＰパケット化手段としてのＲＴＰパケット化部４、マイク５、アナログ・デジタル・コンバータ（以下、ＡＤＣと称する）６、音声符号化手段としての音声エンコーダ７、送信手段としての送信処理部８を備える。
【００１３】
一方、受信側端末２００は、受信処理部９、ＲＴＰデパケット部１０、映像デコーダ１１、音声デコーダ１２、ＬＣＤ(Liquid Crystal Display)制御部１３、デジタル・アナログ・コンバータ(以下、ＤＡＣと称する)１４、ＬＣＤ１５、スピーカ１６を備える。
【００１４】
このような構成において、情報通信端末１００側では、先ずカメラ１は、固体撮像素子等により被写体を撮像して得た映像信号を後段のカメラ制御部２に送る。カメラ制御部２は、カメラ１を駆動制御すると共に当該カメラ１からの映像信号を映像エンコーダ３に送る。映像エンコーダ３は、この映像信号を１フレーム分キャプチャして映像フレームとし、当該映像フレームを符号化してバッファリングし、所定のタイミングでＲＴＰパケット化部４に送る。この映像エンコーダ３による符号化では、動き補償、直交変換、量子化、エントロピー符号化等の一般的なステップを踏むことは勿論である。
【００１５】
その一方、マイク５は、音声を収録し、音声信号をＡＤＣ６に送る。ＡＤＣ６は、このアナログの音声信号をデジタルの音声データに変換した後、音声エンコーダ７に送る。音声エンコーダ７は、この音声データを音声フレームとして符号化した後、所定のタイミングでＲＴＰパケット化部４に送る。
【００１６】
ＲＴＰパケット化部４では、この符号化された映像フレーム、音声フレームからＲＴＰパケットを生成する。ここで、ＲＴＰパケットは、ＲＴＰヘッダとＲＴＰペイロードから構成される。このＲＴＰヘッダには、例えばペイロードタイプやシーケンス番号、タイムスタンプが格納されており、ＲＴＰペイロードは符号化方式に固有のヘッダ情報を格納したペイロードヘッダとペイロードデータからなる。送信処理部８は、ＲＴＰパケットを受けると、当該ＲＴＰパケットを受信側端末２００に送信する。
【００１７】
一方、受信側端末２００では、受信処理部９がＲＴＰパケットを受信すると、ＲＴＰデパケット部１０にてデパケットされ、符号化された映像フレーム、音声フレームが映像デコーダ１１、音声デコーダ１２に送られる。映像デコーダ１１では、符号化された映像フレームが復号化され、映像信号はＬＣＤ制御部１３を介してＬＣＤ１５に出力され、当該ＬＣＤ１５にて映像が表示される。そして、音声デコーダ１２では、符号化された音声フレームが復号化され、音声データがＤＡＣ１４にてアナログ信号に変換された後、音声信号に基いてスピーカ１６を介して音声出力されることになる。
【００１８】
ここで、本実施の形態の特徴的な処理について更に詳細に説明する
この実施の形態では、特に、映像エンコーダ３、音声エンコーダ７が、初めてタイムスタンプがバッファリング量以上になるフレームを送信するように符号化を行う。
【００１９】
より詳細には、ＲＴＰパケットの送信開始からバッファリング量を超えるまで、映像エンコーダ３に対してフレームスキップを禁止する。これに加えて或いは代えて、ＲＴＰパケットの送信開始からバッファリング量を超えるまで、音声エンコーダ７に対して無音制御を停止する。これに加えて或いは代えて、ＲＴＰパケットの送信開始からバッファリング量を超えるまで、当該ＲＴＰパケットに含める音声フレームの数を減らす（例えば、最小値である１にする）。
【００２０】
そして、これらに加えて、更に以下の処理を行ってもよい。
【００２１】
即ち、バッファリングが完了するまでにＲＴＰパケットが伝送中に消失した場合に備えて、バッファリング量を超えてから一定時間経過するまで上記の処理を継続する。
【００２２】
或いは、ＲＴＰパケットの送信開始からバッファリング量以前のタイムスタンプを持つ映像フレームについては、映像フレームスキップを許可する。このとき、音声については無音制御を有効にし、ＲＴＰパケットの送信を行わなくてもよい。或いは、初めてバッファリング量以上になる音声フレームについては、ＲＴＰパケットを複数回送信する。
【００２３】
さらに、情報通信端末１００は、受信側のバッファリング量として以下の値を使用する。即ち、所定の規定値が予め設定されている場合には当該値を使用し、そのような規定値が設定されておらず双方向通信である場合には情報通信端末１００で受信を行う際のバッファリング量とし、これら以外の場合は一般的な設定値を適宜使用する。
【００２４】
以下、図２のフローチャートを参照して、本発明の一実施の形態に係る情報通信端末１００による一連の処理を詳細に説明する。尚、ここでは説明の便宜上、映像と音声の双方の処理を混在して示しているが、送信開始以降は映像と音声は独立に処理される。
【００２５】
処理を開始すると、ＲＴＰパケット化部４は、映像エンコーダ３に対してフレームスキップを禁止するよう制御を行い（ステップＳ１）、音声エンコーダ７に対して無音制御を停止するように制御を行う（ステップＳ２）。続いて、ＲＴＰパケット化部４は、ＲＴＰパケットに格納する音声フレーム数を減らすために最小値１に設定する（ステップＳ３）。
【００２６】
こうして送信を開始すると（ステップＳ４）、続いて、ＲＴＰパケット化部４は、映像（音声）エンコーダ３（７）から映像（音声）フレームを取得し（ステップＳ５）、今回取得した映像（音声）フレームの時刻と最初に取得した映像（音声）フレームの時間差が、初めて受信側のバッファリング時間以上になったか否かを判断する（ステップＳ６）。
【００２７】
このステップＳ６において、当該関係が成立していないと判断した場合にはステップＳ１１に移行し、一方、当該関係が成立していると判断した場合には、メディアデータの種別を判断し、当該種別に応じて処理を分岐する（ステップＳ７）。
【００２８】
映像である場合には、映像エンコーダ３に対してフレームスキップを許可し、ステップＳ１１に移行する（ステップＳ８）。一方、音声である場合には、音声エンコーダ７に対して無音制御を本来の規定値に設定し（ステップＳ９）、ＲＴＰパケット化部４におけるＲＴＰパケットに格納するフレーム数を本来の規定値に設定し、ステップＳ１１に移行する（ステップＳ１０）。こうして、ステップＳ１１では、ＲＴＰパケット化部４は、取得した映像（音声）フレームをＲＴＰパケット化し（ステップＳ１１）、送信処理部８を介してＲＴＰパケットを送信し（ステップＳ１２）、上記ステップＳ５に戻ることになる。
【００２９】
そして、各映像（音声）フレームに対して、上記処理を繰り返す。
【００３０】
尚、上記ステップＳ１において、最初に生成した映像フレームからの経過時間が、初めて受信側のバッファリング時間以上となるフレームを必ず生成するように、映像エンコーダ３を制御することとしてもよい。さらに、上記ステップＳ１において、最初に生成した音声フレームからの経過時間が、初めて受信側のバッファリング時間以上となるフレームを必ず生成するように、音声エンコーダ７を制御することとしてもよい。さらに、上記ステップＳ６において、受信側のバッファリング量が不明な場合は、自装置のバッファリング量又は他の規定値を代わりに使用することとしてもよいことは勿論である。
【００３１】
以上説明したように、本発明の一実施の形態に係る情報通信端末では、受信側でのバッファリング量を超える最小のＲＴＰタイムスタンプを持つＲＴＰパケットを送信側で生成し、受信側端末に送信するので、受信側のバッファリング量を最低限にし、受信側におけるＲＴＰパケットの滞留時間を削減し、送受信端末間の遅延を減らし、ひいては通話を行い易くすることができる。
【００３２】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施の形態に係る映像音声配信装置の構成を示す概念図である。
【図２】本発明の一実施の形態に係る映像音声配信装置による処理の流れを示すフローチャートである。
【図３】従来技術に係る受信側装置でＲＴＰパケットをバッファに蓄積する様子を示す概念図である。
【図４】従来技術に係る受信側装置でのＲＴＰパケットのバッファリングにて生ずる伝送遅延（即ち、再生待ち時間）を説明するための概念図である。
【符号の説明】
【００３４】
１…カメラ、２…カメラ制御部、３…映像エンコーダ、４…ＲＴＰパケット化部、５…マイク、６…ＡＤＣ、７…音声エンコーダ、８…送信処理部、９…受信処理部、１０…ＲＴＰデパケット部、１１…映像デコーダ、１２…音声デコーダ、１３…ＬＣＤ制御部、１４…ＤＡＣ、１５…ＬＣＤ、１６…スピーカ、１００…情報通信端末、２００…受信側端末。
【図１】
2008017230.tif 000003
【図２】
2008017230.tif 000004
【図３】
2008017230.tif 000005
【図４】
2008017230.tif 000006