(57)【要約】【課題】再生開始などの指示を送信装置に行ってから受信装置に映像が表示されるまでの遅延時間を、受信装置の状況やユーザの使用傾向に適応して低減すること。【解決手段】映像送信装置１において、トランスコーダ１６は入力した映像ストリームのトランスコード処理を行い、記録媒体１４に記録しておく。制御部１２は映像受信装置３から、再生開始時のビットレート情報やユーザからの操作指示の発生回数を取得する。制御部１２はトランスコーダ１６に対し、取得したビットレート情報または操作指示の発生回数に応じて、映像ストリームの先頭期間のビットレートを設定し、トランスコード処理を行う。【選択図】図１
2012054800.tif 000002
【特許請求の範囲】
【請求項１】
符号化した映像ストリームをネットワークを介して映像受信装置へ送信する映像送信装置において、
前記ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、
前記トランスコード処理された映像ストリームを記録する記録媒体と、
前記記録媒体に記録されている映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩ／Ｆと、
前記ネットワークを介して前記映像受信装置からの制御信号を受信し、前記トランスコーダのトランスコード処理を制御する制御部を備え、
該制御部は、前記受信した制御信号がデバイス記述であるとき、該デバイス記述に含まれる前記映像受信装置にて再生可能な映像ストリームのフォーマットと再生開始時のビットレートの情報を取得し、前記トランスコーダに対し、前記取得したフォーマットの情報に従い前記入力した映像ストリームのトランスコード処理を行わせるとともに、前記取得した再生開始時のビットレートの情報に合わせて前記映像ストリームの先頭期間のビットレートを設定することを特徴とした映像送信装置。
【請求項２】
請求項１に記載の映像送信装置において、
前記制御部は前記トランスコーダに対し、前記映像ストリームの先頭期間は、画面内符号化によるＩピクチャと順方向予測符号化によるＰピクチャのみの組み合わせ、あるいはＩピクチャのみで構成するように制御することを特徴とした映像送信装置。
【請求項３】
請求項１に記載の映像送信装置において、
前記制御部は、前記デバイス記述に含まれる再生開始時のビットレートの情報に代えて、前記デバイス記述に含まれる前記映像受信装置の画面解像度、最大輝度設定、コントラスト比のいずれかの情報を取得し、前記トランスコーダに対し、前記取得した情報に合わせて前記映像ストリームの先頭期間のビットレートを設定することを特徴とした映像送信装置。
【請求項４】
符号化した映像ストリームをネットワークを介して映像受信装置へ送信する映像送信装置において、
前記ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、
前記トランスコード処理された映像ストリームを記録する記録媒体と、
前記記録媒体に記録されている映像ストリームを前記ネットワークを介して前記映像受信装置へ送信するネットワークＩ／Ｆと、
前記ネットワークを介して前記映像受信装置からの制御信号を受信し、前記トランスコーダのトランスコード処理を制御する制御部を備え、
該制御部は、前記受信した制御信号がユーザの操作指示に基づくものであるとき、前記映像受信装置から受信した制御信号の発生回数を一定期間保持し、前記トランスコーダに対し、前記保持している制御信号の発生回数に応じて、前記入力した映像ストリームの先頭期間のビットレートを下げてトランスコード処理を行わせることを特徴とした映像送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化した映像ストリームをネットワークを介して映像受信装置へ送信する映像送信装置に関するものである。
【背景技術】
【０００２】
ビデオ機器に記録した映像をテレビにて再生する際、ビデオ機器から圧縮符号化した映像ストリームをテレビに送り、テレビ側で映像ストリームのデコードを行い表示する方式が用いられる。その際、ビデオ機器（送信装置）とテレビ（受信装置）の接続は直結による接続ではなく、他の機器と共通したネットワークを通じて行う接続形態とすることで、接続構成の多様性に富み使い勝手が向上する。このような形態は、ＤＬＮＡ（Digital Living Network Alliance）といった業界団体により標準化が進められており、今後の普及が予想される。
【０００３】
ビデオ機器からテレビへ映像ストリームを送る場合、テレビがデコード可能な映像ストリームの形式で出力を行わねばならない。例えばビデオ機器はＭＰＥＧ−４＿ＡＶＣ（ISO/IEC 14496-10）で記録を行い、テレビはＭＰＥＧ−２（ISO/IEC 13818-2）のデコードに対応しているときは、ビデオ機器はＭＰＥＧ−４＿ＡＶＣからＭＰＥＧ−２にトランスコードを行い、テレビに映像ストリームを送信する。また、他の機器と共通したネットワークバスを使用することから、映像ストリームの送受信においては他のデータの送受信による遅延の影響を受ける。すなわち、トランスコード処理に伴う遅延やネットワーク遅延に伴うデコード遅延により、ユーザがビデオ機器に対し再生開始や特殊再生（早送り・巻戻し）の指示を行ってからテレビに再生映像が表示されるまで、映像信号を専用線を用いて送信する方法に比べて遅延時間が大きくなるという問題がある。
【０００４】
これに関連する技術として、例えば特許文献１では、ユーザの操作が反映されて映像が更新されるまでに大きな遅延が生じることを課題とし、過去のユーザの視聴操作履歴を保持しておき、早送りや巻戻しなどの操作が行われた時点から数秒間については、現在再生に使用している再生データのトランスコード処理と平行して先読みデータを取得してトランスコード処理を行い、変換済みの先読みデータを作成して保存しておく構成としている。
【０００５】
また、例えば特許文献２では、映像コンテンツの配信開始時に映像が再生されるまでの待ち時間を短縮することを課題とし、映像コンテンツを最低限の画像品質しか保証されない基本レイヤと、基本レイヤのみをデコードした結果以上の画像品質を得ることができる拡張レイヤから構成し、映像コンテンツの配信開始時から基本レイヤの配信データ量が第１の目標量となるまでの間は、基本レイヤの配信ビットレートをそのエンコードビットレートよりも増大させ、その分、上位の拡張レイヤの配信ビットレートを減少させる構成としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２０６０３９号公報
【特許文献２】特開２０１０−２８５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
映像の再生開始時にネットワークを通じて映像ストリームを送受信する際、ストリームの表示に必要なビットレートを超えた大きな帯域を用いることで、表示するまでの遅延時間をある程度低減することができる。しかし、高画質の映像であるほどビットレートが高くなるため、表示は遅れることになる。逆に、ビットレートを下げることで表示を早めることができるが、画質が低下してしまう。画質と再生開始までの遅延はトレードオフの関係にあり、受信装置の状況やユーザの使用傾向によっていずれを優先させるかは異なり、一義的に条件を設定することは難しい。
【０００８】
前記特許文献１の技術は、データの先読みを行って画質を維持しつつ遅延を少なくするものであるが、ユーザの使用傾向や受信機の状況により、画質の維持よりもストリームの遅延を小さくすることを優先したい場合には対応できない。
【０００９】
前記特許文献２の技術は、階層符号化を用いて遅延を少なくする方法であり、ビデオ機器とテレビが階層符号化された映像ストリームのデコードに対応している必要がある。しかしながら、階層符号化された映像ストリームを用いた放送は実施されていないため、多くのテレビではこれに対応しておらず文献記載の技術を適用することはできない。
【００１０】
本発明は、上記課題を鑑み、再生開始などの指示をビデオ機器（送信装置）に行ってからテレビ（受信装置）に映像が表示されるまでの遅延時間を、受信装置の状況やユーザの使用傾向に適応して低減することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の映像送信装置は、ネットワークから入力した映像ストリームのトランスコード処理を行うトランスコーダと、トランスコード処理された映像ストリームを記録する記録媒体と、記録媒体に記録されている映像ストリームをネットワークを介して映像受信装置へ送信するネットワークＩ／Ｆと、ネットワークを介して映像受信装置からの制御信号を受信し、トランスコーダのトランスコード処理を制御する制御部を備える。制御部は、受信した制御信号がデバイス記述であるとき、デバイス記述に含まれる映像受信装置にて再生可能な映像ストリームのフォーマットと再生開始時のビットレートの情報を取得し、トランスコーダに対し、取得したフォーマットの情報に従い入力した映像ストリームのトランスコード処理を行わせるとともに、取得した再生開始時のビットレートの情報に合わせて映像ストリームの先頭期間のビットレートを設定する。
【００１２】
さらに制御部は、トランスコーダに対し、映像ストリームの先頭期間は、画面内符号化によるＩピクチャと順方向予測符号化によるＰピクチャのみの組み合わせ、あるいはＩピクチャのみで構成するように制御する。
【００１３】
あるいは制御部は、受信した制御信号がユーザの操作指示に基づくものであるとき、映像受信装置から受信した制御信号の発生回数を一定期間保持し、トランスコーダに対し、保持している制御信号の発生回数に応じて、入力した映像ストリームの先頭期間のビットレートを下げてトランスコード処理を行わせる。
【発明の効果】
【００１４】
本発明によれば、ユーザが再生開始などの指示をビデオ機器（送信装置）に行ってからテレビ（受信装置）に映像が表示されるまでの遅延時間は、受信装置の状況やユーザの使用傾向に適応して低減するので、ユーザにとって使い勝手がすぐれたものになる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における映像送信装置を含むストリーム送受信システムを示す概略図。
【図２】映像送信装置から映像受信装置へ映像ストリームを送信する手順を示すシーケンス図。
【図３】トランスコーダが行うトランスコード処理の手順を示すフローチャート。
【図４】トランスコード処理にて参照するＶＢＶモデルのバッファ量推移を示す図。
【図５】ストリームの先頭部分のトランスコードを行わない場合のＶＢＶの推移を示す図（比較例）。
【図６】実施例２においてビットレートを下げてトランスコードするときのＶＢＶの推移を示す図。
【図７】実施例３における映像送信装置を含むストリーム送受信システムを示す概略図。
【図８】実施例３においてトランスコーダが行うトランスコード処理の手順を示すフローチャート。
【図９】実施例４において一時停止したときの再生方法を示すシーケンス図。
【図１０】実施例５において特殊再生したときの再生方法を示すシーケンス図。
【図１１】実施例６における映像送信装置を含むストリーム送受信システムの概略図。
【図１２】実施例６におけるＶＢＶモデルのバッファ量推移を示す図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１７】
図１は、実施例１における映像送信装置を含むストリーム送受信システムを示す概略図である。
本実施例のシステムでは、映像送信装置１はネットワーク２を介して映像受信装置３と接続されている。映像送信装置１は映像ストリームを蓄積して送信するＤＬＮＡサーバが相当し、映像受信装置３は受信した映像ストリームをデコードして表示部に映像を表示するＤＬＮＡクライアントが相当する。ユーザは、映像受信装置３を操作して映像送信装置１から所望の映像コンテンツを入手し、これを視聴する。映像送信装置１は映像受信装置３から再生開始の制御信号を受けると、要求された映像ストリームを映像受信装置３に送信する。その際映像送信装置１は、映像受信装置３の仕様やユーザの操作傾向に合わせて映像ストリームをトランスコード処理し、映像送信装置１内の記録媒体１４に保持している構成としている。
【００１８】
映像送信装置１は、ネットワークＩ／Ｆ１１、制御部１２、バス１３、記録媒体１４、トランスコーダ１６を備える。
ネットワークＩ／Ｆ１１は、ネットワーク２から情報やデータを受け取り、制御部１２やトランスコーダ１６に供給するとともに、制御部１２や記録媒体１４が出力する情報やデータをネットワーク２に出力する。制御部１２は、ネットワーク２とネットワークＩ／Ｆ１１を通じて映像受信装置３が出力する制御信号を受け取り、制御信号に応じて記録媒体１４とトランスコーダ１６を制御する。バス１３は、制御部１２の出力する制御信号を記録媒体１４やトランスコーダ１６に供給する。
【００１９】
トランスコーダ１６は、ネットワーク２からネットワークＩ／Ｆ１１を経由して映像ストリームを得るとともに、制御部１２から映像受信装置３の仕様（デコーダとモニタの仕様）やユーザの操作傾向を得て、これらに応じたトランスコード処理を行い、記録媒体１４に出力する。本実施例では、映像ストリームをＭＰＥＧ−２にトランスコードする場合を例に説明するが、映像フォーマットはこれに限らず、ＭＰＥＧ−４＿ＡＶＣやＶＣ−１など任意の方式が可能である。
【００２０】
記録媒体１４は、トランスコーダ１６が出力する映像ストリームを記録する。また記録媒体１４は、制御部１２からファイル名とその再生開始時間を受け取ると、対応する映像ストリームを再生して、そのデータをネットワークＩ／Ｆ１１とネットワーク２を経由して映像受信装置３に出力する。
【００２１】
一方、映像受信装置３は、ネットワークＩ／Ｆ３１、制御部３２、バス３３、デコーダ３４、モニタ３５、操作部３６を備える。
ネットワークＩ／Ｆ３１は、ネットワーク２から情報やデータを受け取り、制御部３２やデコーダ３４に供給するとともに、制御部３２が出力する情報をネットワーク２に出力する。制御部３２は、ネットワーク２とネットワークＩ／Ｆ３１を通じて映像送信装置１が出力する制御信号を受け取り、また、操作部３６からユーザの操作指示を受け取る。制御部３２はこれらの制御信号に応じて、バス３３を介してデコーダ３４とモニタ３５を制御する。
【００２２】
デコーダ３４は、ネットワークＩ／Ｆ３１を経由して映像送信装置１からの映像ストリームを入力し、制御部３２からの制御信号に従いデコード処理を行う。デコード後の映像信号はモニタ３５に出力され、ユーザはその映像を視聴する。操作部３６は、ユーザが所望する映像コンテンツを選択し、またそれの再生操作を行うためのものである。
【００２３】
図２は、映像送信装置１から映像受信装置３へ映像ストリームを送信する手順を示すシーケンス図である。ここでは、映像送信装置１と映像受信装置３の互いの認識処理から、映像送信装置１から映像ストリームを出力するまでの手順（コマンド）を示す。
【００２４】
映像送信装置１および映像受信装置３は、ネットワーク２に接続した際互いの存在を認識することができない。このため映像送信装置１は、ネットワークに対し予め定めた時間間隔で通知コマンド（Ｃ１００）を送出する。映像受信装置３はネットワークから通知（Ｃ１００）を受け取ると、映像送信装置１のアドレスを得ることができ、映像送信装置１にデバイス発見（Ｃ１１０）を返す。映像送信装置１は、デバイス発見（Ｃ１１０）を受け取ることで映像受信装置３のアドレスを得ることができ、映像受信装置３のみに対しデータを送ることができる。
【００２５】
続いて映像受信装置３は、映像送信装置１にデバイス・サービス情報取得（Ｃ１２０）を出力し、デバイス・サービス情報（Ｃ１３０）を得る。デバイス・サービス情報（Ｃ１３０）には、映像送信装置１が提供するサービスの情報が記載され、映像ストリームを送信するサーバであることや、通信に用いるプロトコルの情報などが含まれている。これより映像受信装置３は、映像送信装置１が映像ストリームを送信するデバイスであることを認識する。
【００２６】
映像受信装置３は、デバイス記述（Ｃ１４０）を送信する。デバイス記述（Ｃ１４０）には、映像受信装置３の受信機能の仕様が記載され、デコーダ３４の仕様（再生可能な映像フォーマットの情報、再生開始時のビットレート情報）とモニタ３５の仕様（画面解像度、最大輝度設定、コントラスト比など）が含まれている。
【００２７】
ユーザは映像受信装置３の操作部３６から、映像送信装置１の保持する映像コンテンツを入手する操作をする。そのため映像受信装置３はコンテンツリスト取得（Ｃ１５０）を出力し、映像送信装置１からコンテンツリスト（Ｃ１６０）を受け取る。コンテンツリスト（Ｃ１６０）には、映像送信装置１が保持している映像ストリームのファイル名が記載されている。映像受信装置３はコンテンツリスト（Ｃ１６０）を受け取ると、モニタ３５にファイル名の一覧を表示する。
【００２８】
ユーザが、ファイル名の一覧から所望の映像ストリームを選択し再生の操作を行うと、映像受信装置３は再生開始（Ｃ１７０）を送信する。再生開始（Ｃ１７０）には、再生開始の命令、ファイル名、再生開始時間、再生時間が含まれている。ここでファイル名は、記録媒体１４に保持されている映像ストリームを特定するための情報である。再生開始時間は、特定された映像ストリームを再生開始する時間軸上の位置を示す。再生時間は、映像ストリームの再生を行う時間の長さである。
【００２９】
映像送信装置１は再生開始（Ｃ１７０）を受け取ると、ストリーム送信（Ｃ１８０）を行い要求された映像ストリームを出力する。映像受信装置３は映像ストリームを受信し、これをデコードし表示することで、ユーザは所望する映像コンテンツを視聴することができる。
【００３０】
図３は、映像送信装置１のトランスコーダ１６が行うトランスコード処理の手順を示すフローチャートである。映像送信装置１は前記図２におけるデバイス記述（Ｃ１４０）により、送信先となる映像受信装置３の仕様（デコーダ３４とモニタ３５の仕様）を入手している。そして、ネットワーク２から映像ストリームを受け取ると、映像受信装置３の仕様に合わせたトランスコード処理を実行し、記録媒体１４に記録する。以下、その手順を説明する。
【００３１】
Ｓ２００にて映像送信装置１は、映像受信装置３からデバイス記述（Ｃ１４０）を受け取り、デバイス記述（Ｃ１４０）に含まれるデコーダ３４とモニタ３５の仕様を取得する。Ｓ２１０にて、ネットワーク２から映像ストリームが入力すると、制御部１２はトランスコーダ１６に対しトランスコード処理を指示する。その際、映像受信装置３の仕様のうち、再生可能な映像フォーマットの情報と再生開始時のビットレート情報に合わせたトランスコード条件を設定する。
【００３２】
Ｓ２２０とＳ２４０において、制御部１２は、トランスコードする符号化方法を選択する。符号化方法としては、画面内符号化（Ｉピクチャ）、トランスコードするピクチャよりも再生時間が前のピクチャを参照して予測符号化を行う順方向予測符号化（Ｐピクチャ）、トランスコードするピクチャの再生時間の前後のピクチャを用いて予測符号化を行う双方向予測符号化（Ｂピクチャ）の３種類がある。Ｓ２２０では、Ｉピクチャかそれ以外かを選択し、Ｓ２４０では、後述するＶＢＶ（Video Buffer Verifier）値を確認しながらＰピクチャかＢピクチャかを選択する。
【００３３】
Ｓ２３０、Ｓ２５０、Ｓ２６０において、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャのトランスコード処理を行う。Ｓ２７０では、トランスコード処理を行った映像ストリームを記録媒体１４に記録する。なお、トランスコード処理後の映像ストリームを記録媒体１４へ記録するタイミングはこれに限らず、バッファメモリに一旦保持して任意のタイミングで記録媒体１４へ記録しても良い。Ｓ２８０では、入力した映像ストリームが全て処理を終了したかどうか判定し、終了していないときはＳ２１０に戻り、残りの映像ストリームについてトランスコード処理を繰り返す。
【００３４】
上記のフローチャートでは、トランスコード処理する映像ストリームはネットワーク２より入力するものとしたが、映像送信装置１にて放送波を受信し復調する復調回路を備え、復調回路から映像ストリームを取得するようにしてもよい。また、取得した映像ストリームをそのまま一時的に記録媒体１４に記録し、後でこれを読み出してトランスコード処理を行い再度記録媒体１４に記録するようにしても良い。
【００３５】
本実施例の映像送信装置１は、トランスコード済みの映像ストリームを記録媒体１４に保持している。そして、映像受信装置３から要求されたとき保持している映像ストリームを送信するので、送信時に行うトランスコード処理が不要となる。よって、映像受信装置３においては、映像コンテンツ要求から映像表示開始までの遅延時間を短縮することができる。
【００３６】
次に、トランスコーダ１６が行うトランスコード処理の具体例を説明する。符号化方法の選択において、Ｉピクチャの選択（Ｓ２２０）では、トランスコード開始時、もしくは予め定めた一定間隔でＩピクチャを選択する。Ｐピクチャ、Ｂピクチャの選択（Ｓ２４０）では、出力される映像ストリームが仮想的なデコーダによりバッファ量がどのように推移するかを示すＶＢＶ（Video Buffer Verifier）モデルを用いて行う。
【００３７】
図４は、トランスコード処理にて参照するＶＢＶモデルのバッファ量推移を示す図である。横軸は時間、縦軸はＶＢＶモデルのバッファ量を示し、図中の直線の勾配はビットレートに対応する。
符号ｔ０〜ｔ８は、仮想的なデコーダがピクチャをデコードし、表示するタイミングを示す。また、各タイミングにおけるピクチャ列Ｉ０、Ｐ１、Ｐ２・・・Ｂ８は符号化の種別と表示順番を示し、例えば、Ｉ０はＩピクチャの０番目（最初）に表示するピクチャであることを示す。
【００３８】
トランスコーダ１６は、映像受信装置３のデバイス記述（Ｃ１４０）に記載される再生開始時のビットレートに従い、最初のＩピクチャＩ０の符号量を定めてエンコードを開始する。ＶＢＶバッファのバッファ量が、最初のＩピクチャＩ０をデコードしても枯渇しないレベルａに到達したタイミングｔ０にて、最初のデコードが行われる。このｔ０の値を、ｖｂｖ＿ｄｅｌａｙ値としてピクチャヘッダに記録する。ｔ０の値はＤＴＳ（Decoding Time Stamp）値の作成にも用いられ、ＤＴＳ値は出力映像ストリームに付加される。以後、フレームレートに従いｔ１、ｔ２・・・と等間隔でデコードを行うものとし、各デコード位置にてＶＢＶバッファのバッファ量が各ピクチャをデコードしても枯渇しないようビットレートの調整を行う。
【００３９】
双方向予測を行うＢピクチャは、表示するピクチャの再生時間の前後のピクチャを用いて予測を行っているため、デコードの際はピクチャを並び替えて出力する。このため、タイミングｔ３〜ｔ４間でデコードしたＩピクチャＩ６はｔ４では表示されず、その後のタイミングｔ６にて表示される。一方、ＩピクチャとＰピクチャのみでエンコードした映像ストリームはデコード順に表示を行うことができるため、ｔ０でデコードしたＩピクチャＩ０を最初に表示でき、遅延を少なくできる。
【００４０】
本実施例では、出力映像ストリームの先頭部分（Ｉ０〜Ｐ３）はＩピクチャとＰピクチャのみで構成し、デバイス記述（Ｃ１４０）により定義される再生開始時のビットレートに従いエンコードを行っている。そして、ＶＢＶバッファのバッファ量が、Ｉ６およびＢ４をデコードしても枯渇しないレベルｂに達したタイミングｔ３から、Ｂピクチャを用いた符号化を開始している。
【００４１】
この符号化方法によれば、出力映像ストリームの先頭部分をＩピクチャとＰピクチャのみを用いて符号化することにより、映像の表示までの時間を早めることができる。また、最初のＩピクチャを再生開始時のビットレートに従いエンコードすることで、デコード開始点において必要とする映像ストリームのバッファ量ａの値を下げ、デコード開始までの時間ｔ０（ｖｂｖ＿ｄｅｌａｙ値）を短縮することができる。
【００４２】
またこの符号化方法では、ＶＢＶバッファの枯渇が起きないデータ量まで格納した段階でＢピクチャを用いた予測符号化を開始するようにしている。Ｂピクチャを用いて予測符号化することで画質は２ｄＢほど向上するため、再生開始直後を除き、Ｉ、Ｐピクチャだけでトランスコードした場合と比べ動画の画質を向上させることができる。
【００４３】
このように本実施例では、デジタル放送で用いられるＰピクチャ、Ｂピクチャの配列を好適に組み換えてトランスコードすることにより、映像送信装置１が出力する映像ストリームを映像受信装置３にて低遅延でデコード・表示することができる。
【００４４】
図５は比較例として示したもので、ストリームの先頭部分のトランスコードを行わない場合のＶＢＶの推移を示す図である。ここでは、表示するピクチャ列が、双方向予測符号化によるＢピクチャＢ０を先頭にＢ１、Ｂ２、Ｉ３・・・と続く場合を例とする。
【００４５】
先行して表示するＢ０をデコードするためには、Ｂ０が参照画像として使用するＩ３を先にデコードせねばならず、Ｂ０のデコードの前にＩ３のデコード処理が割り込んでくる。このため、先頭のピクチャＢ０をデコードして表示するタイミングｔ０（ｖｂｖ＿ｄｅｌａｙ値）は、Ｉ３のデコードに要するＶＢＶバッファ量がレベルａまで到達するまでの時間に、Ｂ０のデコードに要する最大１フレーム期間（毎秒３０フレームの場合３３ｍｓ）を加算した時間となる。
【００４６】
このような場合には前記図４の符号化方法を導入し、Ｉ６の前にＩ０〜Ｐ３のピクチャを付加する組み換えを行うことで、遅延時間を１フレーム期間（３３ｍｓ）程度短縮し、再生開始から表示までの動作レスポンスを改善することができる。
【００４７】
本実施例は、以下の変形例が可能である。
＜変形１＞上記例では、トランスコーダ１６は映像ストリームの先頭部分をＩピクチャとＰピクチャのみにトランスコードするとしたが、先頭部分をＩピクチャのみでトランスコードを行ってもよい。Ｉピクチャのみのトランスコードを行うことで、予測符号化の処理量が減るため、トランスコーダ１６の処理量が減り、トランスコードの速度を上げ最初のＩ０のピクチャ出力を早めることができる。
【００４８】
＜変形２＞上記例では、トランスコーダ１６は映像ストリームの全体に対しトランスコードするとしたが、入力する映像ストリームと映像受信装置３に送信する映像ストリームのフォーマットが等しく、かつ予測符号化方法が等しい場合には、ストリームの先頭部分のみトランスコードを行い、途中（例えば図４のレベルｂに達したタイミング）からはトランスコードを行わずに記録してもよい。映像ストリームの途中からトランスコードを省略することで、トランスコーダの処理負荷を下げることができる。例えば、映像送信装置に複数の映像ストリームが入力する場合でも、トランスコーダにて時分割処理することにより複数のストリームを記録媒体に記録することが可能になる。
【００４９】
＜変形３＞上記例では、トランスコーダは映像受信装置３のデバイス記述（Ｃ１４０）に含まれるデコーダ３４の仕様（再生開始時のビットレート情報）に合わせてトランスコードを行うものとした。これは一例であり、デバイス記述（Ｃ１４０）に含まれるモニタ３５の仕様をもとにトランスコードを行うこともできる。利用できる情報としては、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比などが挙げられる。
【００５０】
例えば（ａ）画面解像度について説明する。出力映像ストリームのビットレートは、モニタ３５の画面解像度の大きさに合わせて設定するのが好ましい。映像受信装置３にて映像表示する画面解像度に合わせてトランスコードすることで、必要以上のビットレートになることを抑え、ネットワークの伝送に伴う遅延を低減することができる。（ｂ）最大輝度設定、（ｃ）コントラスト比を利用する場合でも、同様の効果が得られる。
【実施例２】
【００５１】
前記実施例１では、映像送信装置におけるトランスコード処理は、映像ストリームの先頭部分の符号化（Ｉ、Ｐ、Ｂピクチャ）を組み換えるものとした。これに対し実施例２では、符号化の組み換えは行わず、量子化精度を下げてトランスコードを行う構成とする。量子化精度を下げることでビットレートも下がり、トランスコード処理やデコード処理の負担が軽減する。なお、映像送信装置の構成は実施例１（図１）と同様である。
【００５２】
図６は、本実施例におけるＶＢＶモデルのバッファ量推移を示す図である。ピクチャ列は図５と同じ配列を例に、その予測符号化の順序は変えずに量子化精度を下げることでビットレートを下げたものである。
【００５３】
ビットレートを下げることで、映像ストリームが持つａ点のバッファ量を下げることができ、最初のピクチャＢ０表示までの時間ｔ０を早めることができる。また、Ｂピクチャのデコード・表示を行う際には、参照するＩピクチャのデコードを先に実行せねばならない。例えば図４に示すストリームを表示する場合、タイミングｔ３〜ｔ４の期間で２ピクチャ（Ｐ３とＩ６）のデコードが必要となる。これに対しビットレートを下げてトランスコードすることで、１フレーム期間に２ピクチャをデコードせずにデコード映像を表示できる。
【００５４】
前記実施例１では、デバイス記述（Ｃ１４０）により再生開始時のビットレート情報を受け取り、これに合わせてビットレートを設定するとしたが、本実施例では、映像受信装置３が出力する制御信号（ユーザの操作指示）の発生頻度に応じてビットレートを設定する。以下、ユーザの操作傾向に合わせてビットレートを調整する具体例を説明する。
【００５５】
ユーザは視聴している映像から所望の部分を探すとき、早送りと再生を繰り返す操作を行うが、このような場合には、映像の画質よりも目的の映像部分を探すことが優先される。よって映像送信装置１は、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合には、画質を下げて動作レスポンスを上げることが望ましい。すなわち、トランスコードの際、映像ストリームの先頭部分（図４におけるｂ点のバッファ量に到達するまで期間）のビットレートをより低く割り当てるようにする。
【００５６】
このようなユーザの操作傾向については、映像受信装置３から受ける制御信号の発生回数を一定期間保持し、ユーザの操作履歴情報として取得しておく。そして制御信号の発生回数が多いほど、ユーザは動作レスポンスの向上を求めていると判断する。その場合には、デバイス記述（Ｃ１４０）に記載されるビットレート情報の値よりビットレートを下げてトランスコードする。
【００５７】
ユーザから以下の操作指示を受けた時も、同様に動作レスポンスの向上を求めていると判断して、ビットレートを下げてトランスコードする。
（１）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことにより、図４においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令が出た場合。
（２）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生時間よりも短い時間で次の再生命令が発行される場合。
（３）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことにより、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
【００５８】
本実施例によれば、ユーザの操作傾向をもとに再生開始時のビットレートを下げることで、ユーザに応じて操作レスポンスと画質のバランスを図ることができる。
【実施例３】
【００５９】
実施例３では、映像送信装置１はユーザから要求された映像ストリームを記録媒体から読み出し、トランスコード処理して映像受信装置３に送信するものである。すなわち記録媒体には、トランスコード処理前のストリームが保持されている。その際トランスコーダ１６は、映像受信装置３の仕様やユーザの操作傾向に合わせて映像ストリームをトランスコード処理する構成としている。
【００６０】
図７は、実施例３における映像送信装置を含むストリーム送受信システムを示す概略図である。システムの構成は実施例１（図１）を基本構成とし、相違する部分を中心に説明する。
映像送信装置１は、ネットワークＩ／Ｆ１１、制御部１２、バス１３、記録媒体１４、トランスコーダ１６の他に、スイッチ１５、スイッチ１７を設けている。制御部１２は映像受信装置３から制御信号を受け取り、記録媒体１４、スイッチ１５、トランスコーダ１６、スイッチ１７を制御する。記録媒体１４は複数の映像ストリームを保持しており、制御部１２からファイル名、再生開始時間を受け取ると、対応する映像ストリームのデータをスイッチ１５に出力する。
【００６１】
スイッチ１５は制御部１２からの制御信号により、記録媒体１４からの映像ストリームを、トランスコーダ１６もしくはスイッチ１７のいずれかに出力する。トランスコーダ１６は、スイッチ１５を通じて受け取った映像ストリームを、制御部１２からの制御信号に従いトランスコードしてスイッチ１７へ出力する。スイッチ１７は制御部１２からの制御信号により、スイッチ１５もしくはトランスコーダ１６が出力する映像ストリームを選択し、ネットワークＩ／Ｆ１１を通じて映像受信装置３に出力する。
【００６２】
映像送信装置１は映像受信装置３から再生開始の要求を受け取ると、要求された映像ストリームを記録媒体１４から読み出してトランスコード処理し、映像受信装置３に送信する。映像送信装置１が映像ストリームを出力するまでのシーケンスは、図２と同様であるため説明を省略する。
【００６３】
図８は、映像送信装置１のトランスコーダ１６が行うトランスコード処理の手順を示すフローチャートである。図２の再生開始（Ｃ１７０）を受け取り、ストリーム送信（Ｃ１８０）を行うまでのフローチャートである。前記図３と共通する部分は簡単に説明する。
【００６４】
映像送信装置１は再生開始コマンド（Ｃ１７０）を受け取ると、Ｓ３００にて制御部１２を用いて再生開始（Ｃ１７０）に含まれる再生開始の命令、ファイル名、再生開始時間、再生時間を分離する。制御部１２は記録媒体１４に対し、ファイル名と等しい映像ストリームを再生開始時間から出力するよう制御信号を出力する。またスイッチ１５、スイッチ１７に制御信号を送り、記録媒体１４の映像ストリームがトランスコーダ１６を通ってネットワークＩ／Ｆ１１から出力されるよう設定する。
【００６５】
Ｓ３１０にて記録媒体１４はストリームを読み出し、スイッチ１５に出力する。Ｓ３２０とＳ３４０で、制御部１２はトランスコードする符号化方法を決定する。符号化方法として画面内符号化（Ｉピクチャ）、順方向予測符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）の３種類がある。
【００６６】
Ｓ３３０、Ｓ３５０、Ｓ３６０にて、それぞれのピクチャのトランスコードを行い、Ｓ３７０で再生開始（Ｃ１７０）に含まれる再生時間の情報と比較し、再生が終了していないときはＳ３１０に戻り、映像ストリームを読み出す。
【００６７】
本実施例の符号化方法（Ｓ３２０とＳ３４０）は、実施例１と同様であり、図４のＶＢＶモデルの推移となるように実行する。すなわち、出力映像ストリームの先頭部分をＩピクチャ、Ｐピクチャを用いて予測符号化することにより、映像の表示までの時間ｔ０を早めることができる。また、最初のＩピクチャを再生開始時のビットレートに従いデコードすることで、映像ストリームのデコード開始を行うａ点の値を下げることができ、ｔ０の時間を早めることができる。さらに、ＶＢＶバッファの枯渇が起きないデータ量まで格納した段階でＢピクチャを用いた予測符号化に切り替えることにより、動画の画質は向上する。このように本実施例では、デジタル放送で用いられるＰピクチャ、Ｂピクチャの配列を好適に組み換えてトランスコードすることにより、映像送信装置１が出力する映像ストリームを映像受信装置３にて低遅延でデコード・表示することができる。
【００６８】
以下、本実施例の変形例を述べる。
上記例ではトランスコーダは記録映像ストリームの先頭部分をＩピクチャとＰピクチャにトランスコードするとしたが、先頭部分をＩピクチャのみでトランスコードを行ってもよい。
【００６９】
上記例ではトランスコーダは映像ストリームの全体に対しトランスコードするとしたが、記録している映像ストリームと出力映像ストリームのフォーマットが等しく、予測符号化方法も等しい場合、図４のｂ点のタイミングからトランスコードを行わずに出力してもよい。
【００７０】
上記例では、デバイス記述（Ｃ１４０）により再生開始時のビットレート情報を受け取るとしたが、映像受信装置３の情報として、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比のいずれかを受け取り、トランスコードをしてもよい。例えば映像受信装置３が表示する画面解像度に合わせてトランスコードすることで、映像ストリームの先頭部分のビットレートを下げ、ネットワークの伝送に伴う遅延を低減することができる。
【００７１】
さらに本実施例において、前記実施例２の手法を適用することができる。すなわち、図６に示すように、予測符号化の方法は変えずに量子化精度を下げてビットレートを下げてもよい。その際制御部１２は、実施例２で述べたように、ユーザから以下の操作を受け取った時、動作レスポンスの向上を求めていると判断して、映像ストリームの先頭部分ビットレートを低く割り当てる。
（１）ユーザが視聴している映像から望んでいる部分を探すとき、早送りと再生を繰り返すことにより、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合。
（２）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことで、図４においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令を出す場合。
（３）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生開始（Ｃ１７０）に含まれる再生時間よりも短い時間で次の再生命令を発行する場合。
（４）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことで、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
【００７２】
上記に示すユーザの操作傾向をもとに再生開始時のビットレートを下げることで、ユーザに応じて操作レスポンスと画質のバランスを図ることができる。
【実施例４】
【００７３】
実施例４は、映像受信装置で再生した映像を一時停止したときの画質向上を図るものである。装置構成は図７と同様であるため、説明を省略する。
【００７４】
図９は、実施例４において一時停止したときの再生方法を示すシーケンス図である。図２との同一部分（Ｃ１００〜Ｃ１８０）については同一番号を付して説明を省略する。
映像受信装置３が送信されたストリームを再生しているとき、ユーザが一時停止の操作を行ったとする。このとき映像受信装置３から映像送信装置１へ一時停止コマンド（Ｃ１７５）が出力される。一時停止（Ｃ１７５）は一時停止の命令と一時停止する時間の情報からなる。
【００７５】
制御部１２は一時停止（Ｃ１７５）を受け取り、再生中のファイル名と一時停止する時間を記録媒体１４に出力する。記録媒体１４は対応する映像ストリームを出力する。また制御部１２は、一時停止の命令、再生可能な映像ストリームのフォーマットをトランスコーダ１６に出力する。トランスコーダ１６は、映像ストリームをスイッチ１５を通じて受け取り、画面内符号化（Ｉピクチャ）を行い、得られた出力映像ストリームを静止画ストリーム（Ｃ１８５）として出力する。
【００７６】
順方向予測符号化（Ｐピクチャ）、双方向予測符号化（Ｂピクチャ）は、予測符号化を用いて低いビットレートでも画質が維持できる反面、予測誤差の累積のため画面内予測符号化に比べると画質が劣る。本実施例によれば、映像送信装置１から一時停止時の映像ストリームを画面内符号化して再送することで、一時停止時の画面の画質を向上させることが可能になる。
【実施例５】
【００７７】
実施例５は、早送り、巻戻しといった特殊再生時において、ユーザが指示を行ってから映像受信装置で特殊再生動作が行われるまでのレスポンスの向上を図ったものである。装置構成は図７と同様であるため、説明を省略する。
【００７８】
図１０は、実施例５において特殊再生（早送り）したときの再生方法を示すシーケンス図である。図２との同一部分（Ｃ１００〜Ｃ１８０）については同一番号を付して説明を省略する。
ユーザが早送りの操作を行うと、映像受信装置３は再生開始（Ｃ１７１〜Ｃ１７３）を出力する。再生開始（Ｃ１７１〜Ｃ１７３）は再生開始時間が例えば２秒ずつ異なっており、再生時間は例えば０．５秒を指定する。映像受信装置３は対応するストリーム送信（Ｃ１８１〜Ｃ１８３）を受け取り、ストリームの一部分を再生することで早送り映像を得る。
【００７９】
映像送信装置１は、予め定めた値より短い再生時間を含む再生開始命令を連続して受け取った場合、早送りの制御であると判断する。制御部１２はトランスコーダ１６に対し、ビットレートを下げてトランスコードするよう指示する。トランスコーダ１６は、指定されたビットレートに下げてトランスコードを行う。
【００８０】
本実施例によれば、早送り時にビットレートを下げてトランスコードすることにより、ネットワーク２による遅延を少なくし、ユーザが早送りの操作を行ってからのレスポンスを向上することができる。
【００８１】
上記例では早送りの場合について説明したが、巻戻しについても再生開始（Ｃ１７１〜Ｃ１７３）に含まれる再生開始時間の時間順が異なるだけであり、同様にビットレートを下げてトランスコードすることにより動作レスポンスを向上することができる。
【００８２】
トランスコーダはビットレートを下げてトランスコードする制御信号を受け取ったとき、映像の解像度を下げてトランスコードしてもよい。解像度を下げることにより、トランスコードの処理負荷、および映像受信装置のデコード処理の負荷を下げることができ、動作レスポンスを向上することができる。また、１画素あたりのビット量が増えるため、トランスコードした映像が量子化精度の不足により視認できるブロックノイズが発生する確率が減る。
【００８３】
また、トランスコーダはビットレートを下げてトランスコードする制御信号を受け取ったとき、通常の再生命令によるトランスコードと比べて、Ｉピクチャにビットが多く割り振られるようにトランスコードしてもよい。映像受信装置は特殊再生時、Ｉピクチャだけをデコードし表示し、残りのピクチャはデコードしない場合がある。Ｉピクチャにビットを多く割り当てることにより、出力映像ストリームのビットレートに対する画質を向上させることができる。
【実施例６】
【００８４】
実施例６は、ユーザの操作傾向により、映像送信装置１からネットワーク２へストリームを送信するときの帯域割当てを変更するものである。
【００８５】
図１１は、実施例６における映像送信装置を含むストリーム送受信システムの概略図である。システムの構成は図１を基本構成とし、映像送信装置１からトランスコーダ１６を省いたものである。
【００８６】
記録媒体１４は、制御部１２からファイル名、再生開始時間を受け取ると、対応する映像ストリームをネットワークＩ／Ｆ１１に出力する。その際、映像ストリームに対するトランスコード処理は行わない。映像送信装置１が映像受信装置３から再生開始の制御信号を受け取り、映像ストリームを出力するまでのシーケンスは、図２と同様であるため説明を省略する。
【００８７】
図１２は、実施例６におけるＶＢＶモデルのバッファ量推移を示す図である。本実施例ではトランスコーダを使用しないため、Ｉ０〜Ｂ３までの期間は、ネットワークＩ／Ｆ１１は映像ストリームが持つビットレートよりも高いネットワーク帯域を割り当ててネットワーク２に送信し、バッファのアンダフローが発生しないようにする。
【００８８】
ネットワークＩ／Ｆ１１は、映像受信装置３が出力する制御信号の発生頻度を用いて高いネットワーク帯域を割り当てる。制御部１２は、実施例２で述べたように以下の操作指示の発生回数を一定期間保持し、発生回数が多いほど、ネットワーク帯域を段階的に高く割り当てる。
（１）ユーザが視聴している映像から望んでいる部分を探すとき、早送りと再生を繰り返すことにより、再生開始命令と早送りの特殊再生の命令を短い間隔で受け取った場合。
（２）ユーザが再生開始が遅いと感じ、再生ボタンを複数回押すことにより、図１２においてデコーダ側で表示を行うｔ０の時間より前に複数回の再生開始命令が出た場合。
（３）ユーザが再生するストリームを選んでいるとき、ストリームの終端まで視聴せず、次の番組の再生を開始するため、再生開始（Ｃ１７０）に含まれる再生時間よりも短い時間で次の再生命令が発行される場合。
（４）ユーザが明示的にレスポンス向上を望んでおり、映像受信装置３にあるレスポンス向上の操作ボタンを押すことにより、デバイス記述（Ｃ１４０）に含まれる再生開始時のビットレート情報の値を更新した場合。
【００８９】
本実施例によれば、ユーザの操作傾向により再生開始時のネットワーク帯域が段階的に上がるため、ユーザに応じて操作レスポンスと画質のバランスを取ることができる。上記したユーザの操作指示の記録は一定期間後に破棄することで、高く割り当てたネットワーク帯域が保持されることはなく、映像送信装置１の出力がネットワークバスを常に占有してしまうことはない。
【００９０】
上記例では、ユーザの操作傾向により再生開始時のネットワーク帯域を段階的に上げるようにしたが、映像受信装置３の情報として、（ａ）画面解像度、（ｂ）最大輝度設定、（ｃ）コントラスト比のいずれかをデバイス記述（Ｃ１４０）から受け取り、再生開始時のネットワーク帯域を定めてもよい。
【００９１】
例えば映像受信装置３が表示する（ａ）画面解像度の場合を述べる。出力映像ストリームのビットレートは画面解像度の大きさに比例する。映像受信装置３が表示する画面解像度に合わせてネットワーク帯域を上げることで、映像受信装置に応じて表示までの遅延を低減することができる。（ｂ）最大輝度設定、（ｃ）コントラスト比についても同様の効果が得られる。
【００９２】
以上、本発明にかかる実施例１〜６を説明したが、各実施例は単独でも、あるいは適宜組み合わせても有効であることは言うまでもない。
【符号の説明】
【００９３】
１…映像送信装置、
２…ネットワーク、
３…映像受信装置、
１１…ネットワークＩ／Ｆ、
１２…制御部、
１３…バス、
１４…記録媒体、
１５…スイッチ、
１６…トランスコーダ、
１７…スイッチ、
３１…ネットワークＩ／Ｆ、
３２…制御部、
３３…バス、
３４…デコーダ、
３５…モニタ、
３６…操作部。
【図１】
2012054800.tif 000003
【図２】
2012054800.tif 000004
【図３】
2012054800.tif 000005
【図４】
2012054800.tif 000006
【図５】
2012054800.tif 000007
【図６】
2012054800.tif 000008
【図７】
2012054800.tif 000009
【図８】
2012054800.tif 000010
【図９】
2012054800.tif 000011
【図１０】
2012054800.tif 000012
【図１１】
2012054800.tif 000013
【図１２】
2012054800.tif 000014