(57)【要約】  【課題】  伝送途中でパケットの欠落が発生しても受信側での映像の再生停止を最小限にとどめるとともに、再生映像の品質を良好に保つことができる動画像データ伝送装置を提供する。  【解決手段】  映像フレームを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送装置１は、伝送路の往復遅延時間（ＲＴＴ）を測定するＲＴＴ測定部５０と、ＲＴＴ測定部５０にて測定されたＲＴＴに基づいて映像フレーム中の参照フレームを指定する参照先指定部４０と、参照先指定部４０にて指定された参照フレームを参照先として、映像フレームを符号化して動画像データを生成する符号化部２０と、符号化部２０にて生成された動画像データを伝送する伝送部３０と備えている。【選択図】図１
2011193415.tif 000002
【特許請求の範囲】
【請求項１】
映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送装置であって、
前記伝送路の往復遅延時間を測定する往復遅延時間測定部と、
前記往復遅延時間測定部にて測定された前記往復遅延時間に基づいて、参照先映像データを指定する参照先指定部と、
前記参照先指定部にて指定された前記参照先映像データを参照して、前記映像データを符号化して動画像データを生成する符号化部と、
前記符号化部にて生成された動画像データを伝送する伝送部と、
を備えたことを特徴とする動画像データ伝送装置。
【請求項２】
前記参照先指定部は、前記符号化部が符号化処理を行う映像データよりも前記往復遅延時間測定部で測定された前記往復遅延時間以上前の映像データを前記参照映像データとして指定する請求項１に記載の動画像データ伝送装置。
【請求項３】
前記参照先指定部は、前記符号化部において１の映像データに対する符号化処理に要する時間と前記往復遅延時間測定部で測定された前記往復遅延時間との合計時間以上前の映像データを前記参照映像データとして指定する請求項１に記載の動画像データ伝送装置。
【請求項４】
前記符号化部は、インター符号化を行う際に、前記参照先指定部にて指定された前記参照映像データを参照先として、前記符号化を行う請求項２または３に記載の動画像データ伝送装置。
【請求項５】
前記符号化部は、前記合計時間以上前の映像データの後にイントラ符号化された映像データがあるときは、該イントラ符号化された映像データを前記参照映像データとしてインター符号化を行う請求項４に記載の動画像データ伝送装置。
【請求項６】
伝送中の動画像データの欠落を検知し、欠落が検知された動画像データに対応する映像データを前記参照先指定部に通知する欠落検知部をさらに備える請求項１に記載の動画像データ伝送装置。
【請求項７】
前記参照先指定部は、前記欠落検知部から通知された前記欠落が検知された動画像データに対応する映像データを指定の対象から除外する請求項６に記載の動画像データ伝送装置。
【請求項８】
映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送方法であって、
前記伝送路の往復遅延時間を測定する往復遅延時間測定ステップと、
前記往復遅延時間測定ステップにて測定された前記往復遅延時間に基づいて、参照先映像データを指定する参照先指定ステップと、
前記参照先指定ステップにて指定された前記参照先映像データを参照して、前記映像データを符号化して動画像データを生成する符号化ステップと、
前記符号化ステップにて生成された動画像データを伝送する伝送ステップと、
を含むことを特徴とする動画像データ伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送装置および動画像データ伝送方法に関し、特に監視カメラ等の映像データから生成された動画像データの伝送に好適に用いられる動画像データ伝送装置および動画像データ伝送方法に関する。
【背景技術】
【０００２】
従来より、映像データを符号化して符号化データを生成し、この符号化データをパケット単位に分割して、伝送路を介して伝送する動画像データ伝送装置が知られている。受信側では、受信装置が符号化データを受信して、この符号化データを復号化することにより映像を再生する。以下、本明細書において、映像データを符号化して生成された符号化データを動画像データともいう。また、複数フレームの映像データを用いてフレーム間圧縮により映像データを符号化することをインター符号化またはフレーム間符号化といい、１フレームの映像データをフレーム内圧縮により符号化することをイントラ符号化またはフレーム内符号化という。
【０００３】
受信装置では、動画像データ伝送装置から伝送されたすべてのパケットを受信できるとは限らず、通信環境が不安定な状況では、受信側で受信できるパケットが欠落することがある。特に、無線通信により伝送を行う場合には、パケットの欠落は容易に起こりうる。
【０００４】
動画像データのパケットの欠落が生じると、受信側では完全な映像を再生できなくなる。特に、映像データの符号化においてインター符号化を行う場合には、受信側において１つのフレームが欠落すると、当該フレームの再生ができないだけでなく、他のフレームにおいても再生が不可能になったり、再生映像の品質が劣化したりする。
【０００５】
従来、このようなパケットの欠落による映像品質の劣化等の問題に対して、次のような伝送装置が提案されている（特許文献１を参照）。この伝送装置は、伝送中のパケットの欠落を検出し、欠落が検出されたパケットに含まれる符号化データが、インター符号化された符号化データであるか否かを判定する。そして、伝送装置は、インター符号化された符号化データのパケットが欠落したと判断した場合には、映像データをイントラ符号化する。この伝送装置によれば、パケットの欠落が発生した場合にも、再送パケットを伝送することなく、パケットの欠落に伴う再生映像品質の劣化を短時間で回復できる。
【０００６】
図６を参照して、この従来の伝送装置の動作を説明する。図６において、フレーム１は正常に再生されるが、フレーム２は伝送路においてパケットが欠落したため再生不可となる。また、このフレーム２を直接または間接的に用いてフレーム間圧縮されるフレーム３および４は映像品質が劣化する。
【０００７】
映像受信装置は、映像パケット受信部にてパケットの欠落が発生したことを検知すると、映像送信部に欠落通知を送信する。映像送信装置の映像符号化部は、映像パケット送信部を介して欠落通知を受けると、次に符号化する映像フレーム（フレーム５）については、イントラ符号化を行う。これにより、映像受信装置では、フレーム５からは、フレーム２の伝送中に生じたパケットの欠落の影響を受けることなく正常再生され、フレーム６は通常のインター符号化された映像フレームを用いて正常に映像を再生できる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３３３３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の動画像データ伝送装置においては、パケットの欠落を検出してからイントラ符号化データが到着するまでの間は、再生が長期間にわたり停止するか、または品質が劣化した映像しか表示できないという問題があった。
【００１０】
本発明は、従来の問題を解決するためになされたもので、伝送途中でパケットの欠落が発生しても受信側での映像の再生停止を最小限にとどめるとともに、再生映像の品質を良好に保つことができる動画像データ伝送装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の動画像データ伝送装置は、映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送装置であって、前記伝送路の往復遅延時間を測定する往復遅延時間測定部と、前記往復遅延時間測定部にて測定された前記往復遅延時間に基づいて、参照先映像データを指定する参照先指定部と、前記参照先指定部にて指定された前記参照先映像データを参照して、前記映像データを符号化して動画像データを生成する符号化部と、前記符号化部にて生成された動画像データを伝送する伝送部と備えた構成を有している。
【００１２】
この構成により、伝送路の往復遅延時間に基づいて映像データの符号化時の参照先を動的に変更できる。例えば、往復遅延時間が長いほど、より前の映像データを参照映像データとして指定できる。ここで、映像データは、１フレームの映像データであってもよいし、１フレームを複数のブロックに分割したときの１ブロックの映像データであってもよい。
【００１３】
また、本発明の動画像データ伝送装置において、前記参照先指定部は、前記符号化部が符号化処理を行う映像データよりも前記往復遅延時間測定部で測定された前記往復遅延時間以上前の映像データを前記参照映像データとして指定する。
【００１４】
この構成により、往復遅延時間を用いて適切な参照映像データを指定できる。
【００１５】
さらに、本発明の動画像データ伝送装置において、前記参照先指定部は、前記符号化部において１の映像データに対する符号化処理に要する時間と前記往復遅延時間測定部で測定された前記往復遅延時間との合計時間以上前の映像データを前記参照映像データとして指定する。
【００１６】
この構成により、符号化部の符号化処理に時間がかかる場合に、符号化処理の時間を往復遅延時間に足して参照映像データを決定できる。
【００１７】
さらに、本発明の動画像データ伝送装置において、前記符号化部は、インター符号化を行う際に、前記参照先指定部にて指定された前記参照映像データを参照先として、前記符号化を行う。
【００１８】
この構成により、インター符号化における参照映像データを動的に変更できる。
【００１９】
さらに、本発明の動画像データ伝送装置において、前記符号化部は、前記合計時間以上前の映像データの後にイントラ符号化された映像データがあるときは、該イントラ符号化された映像データを前記参照映像データとしてインター符号化を行う。
【００２０】
この構成により、前記符号化部は、往復遅延時間に関らず、イントラ符号化された映像データを優先的に参照先としてインター符号化を行うことができる。
【００２１】
さらに、本発明の動画像データ伝送装置は、さらに、伝送中の動画像データの欠落を検知し、欠落が検知された動画像データに対応する映像データを前記参照先指定部に通知する欠落検知部を備えている。
【００２２】
この構成により、参照先指定部は、動画像データの伝送中に欠落が生じた映像データを特定できる。
【００２３】
さらに、本発明の動画像データ伝送装置において、前記参照先指定部は、前記欠落検知部から通知された前記欠落が検知された動画像データに対応する映像データを指定の対象から除外する。
【００２４】
この構成により、前記参照先指定部において、動画像データの伝送中に欠落が生じた映像データを参照先映像データとして指定することを回避できる。
【００２５】
本発明の動画像データ伝送方法は、映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送方法であって、前記伝送路の往復遅延時間を測定する往復遅延時間測定ステップと、前記往復遅延時間測定ステップにて測定された前記往復遅延時間に基づいて、参照先映像データを指定する参照先指定ステップと、前記参照先指定ステップにて指定された前記参照先映像データを参照して、前記映像データを符号化して動画像データを生成する符号化ステップと、前記符号化ステップにて生成された動画像データを伝送する伝送ステップとを含んでいる。
【００２６】
この構成によっても、上記の動画像データ伝送装置と同様に、伝送路の往復遅延時間に基づいて映像データの符号化時の参照先を動的に変更できる。
【発明の効果】
【００２７】
本発明は、伝送路の往復遅延時間に基づいて映像データのインター符号化時の参照映像データを動的に変更することにより、伝送途中でパケットの欠落が発生しても受信側での再生映像の品質を良好に保つことができるという効果を有する動画像データ伝送装置を提供するものである。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における動画像データ伝送装置のブロック図
【図２】本発明の第１の実施の形態における動画像データ伝送装置の動作説明のためのフロー図
【図３】本発明の第２の実施の形態における動画像データ伝送装置のブロック図
【図４】本発明の第２の実施の形態の動画像データ伝送装置および受信装置の処理を示す図
【図５】本発明の第２の実施の形態における動画像データ伝送装置の動作説明のためのフロー図
【図６】従来の動画像データ伝送装置および受信装置の処理を示す図
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態の動画像データ伝送装置について、図面を用いて説明する。
【００３０】
（第１の実施の形態）
本発明の第１の実施の形態の動画像データ伝送装置を図１に示す。図１は、本発明の第１の実施の形態に係る動画像データ伝送装置の概略構成を示すブロック図である。同図において、本発明の実施の形態の動画像データ伝送装置１は、映像入力部１０、符号化部２０、伝送部３０、参照先指定部４０、およびＲＴＴ測定部５０を備える。
【００３１】
映像入力部１０は、映像が蓄積されている記憶装置（図示せず）や、撮影により映像を生成するカメラ（図示せず）などから映像データを取得する。映像入力部１０は、取得した映像データを１フレームずつ符号化部２０に出力する（以下、映像データのフレームを「映像フレーム」という）。符号化部２０は、映像入力部１０から受取った映像データを符号化するエンコーダである。
【００３２】
上述の如く符号化方式には、主に同一フレーム内で符号化するイントラ符号化と、他のフレームを参照先として符号化を行うインター符号化とがあるが、符号化部２０は、入力された映像データをインター符号化またはイントラ符号化により符号化する。符号化部２０は、符号化により生成した符号化データ、即ち動画像データを伝送部３０に渡す。伝送部３０は、動画像データの通信部であり、符号化部２０から受取った符号化データを伝送パケットに分割して、伝送する。
【００３３】
ＲＴＴ測定部５０は、伝送路の往復遅延時間（以下、「ＲＴＴ」（Ｒｏｕｎｄ  Ｔｒｉｐ  Ｔｉｍｅ）という）を測定する。ＲＴＴ測定部５０は、図示しない受信端末にＲＴＴ測定用のメッセージを送信する。ＲＴＴ測定部５０は、その送信から受信端末より応答を受信するまでの時間を測定し、この測定時間をＲＴＴとする。ＲＴＴ測定部５０は、測定したＲＴＴを参照先指定部４０へ通知する。
【００３４】
参照先指定部４０は、ＲＴＴ測定部５０から取得したＲＴＴに基づいて、符号化部２０で行うインター符号化の参照先のフレーム（以下、「参照フレーム」という）として指定する。符号化部２０において１秒間にＮフレームの映像データを符号化処理すると、このときのフレームレートは、Ｎｆｐｓとなる。ＲＴＴ測定部５０において測定されたＲＴＴをＲミリ秒とすると、参照先指定部４０は、（Ｒ×Ｎ÷１０００）フレーム以上前の入力画像を参照フレームとして指定する。但し、（Ｒ×Ｎ÷１０００）が端数の場合は切上げる。参照先指定部４０は、指定した参照フレームを符号化部２０に通知する。
【００３５】
符号化部２０は、参照先指定部４０で指定した参照フレームの映像データを取得する。符号化部２０は、インター符号化を行う際に、取得した参照フレームを参照先として符号化処理を行う。但し、符号化を行う映像フレームと参照フレームとの間にイントラ符号化を行った映像フレームがある場合は、そのイントラ符号化を行った映像フレームを参照フレームとする。
【００３６】
なお、ＲＴＴ測定部５０は、ある一定期間ごとにＲＴＴを測定し、その測定結果を参照先指定部４０に通知してよい。この場合、参照先指定部４０は、ＲＴＴ測定部５０から新たなＲＴＴが通知されるごとに、参照先フレームを何フレーム前のフレームとするかを決定する。また、ＲＴＴ測定部５０は、常にＲＴＴを測定して、符号化部２０が映像データに対して符号化を行うごとに、測定したＲＴＴを参照先指定部４０に通知してよい。この場合は、参照先指定部４０が、符号化部２０にて符号化を行うごとに、符号化部２０に参照フレームを指定する。
【００３７】
以上のように構成された動画像データ伝送装置について、以下動作を説明する。図２は、本実施の形態の動画像データ伝送装置の動作を示すフロー図である。動画像データ伝送装置１は、まず、ＲＴＴ測定部５０にて伝送路のＲＴＴを測定し、参照先指定部４０に通知する（ステップＳ２１）。次いで、符号化部２０に映像データがフレームごとに入力される（ステップＳ２２）。参照先指定部４０は、ステップＳ２１で測定されたＲＴＴに基づいて、インター符号化時に用いる参照フレームを求める（ステップＳ２３）。このとき、参照先指定部４０は、（Ｒ×Ｎ÷１０００）フレーム以上前に符号化された映像フレームを参照フレームとする。
【００３８】
続いて、参照先指定部４０は、参照フレームと符号化しようとする映像フレームとの間にイントラ符号化を行った映像フレームがあるかどうかを判断する（ステップＳ２４）、イントラ符号化を行っていた場合には（ステップＳ２４にてＹＥＳ）、ステップＳ２３にて求めた参照フレームではなく、そのイントラ符号化した映像フレームを参照フレームとして指定して、符号化部２０に通知する（ステップＳ２５）。参照フレームと符号化しようとする映像フレームとの間にイントラ符号化を行った映像フレームがない場合には（ステップＳ２４にてＮＯ）、ステップＳ２３にて求めた参照フレームをそのまま参照フレームとして指定して、符号化部２０に通知する（ステップＳ２６）。
【００３９】
符号化部２０は、ステップＳ２５またはステップＳ２６にて参照先指定部４０から参照フレームの指定を受けると、ステップＳ２２で入力された映像フレームのうちの参照フレームを参照して、符号化しようとする映像フレームに対してインター符号化を行い、動画像データを生成する（ステップＳ２７）。次に、伝送部３０は、動画像データを伝送パケットに変換して伝送路に送信する（ステップＳ２８）。
【００４０】
このように本実施形態の動画伝送装置によれば、画像のインター符号化を行う際の参照フレームとして、伝送路のＲＴＴよりも以前のフレームを参照先とすることで、伝送路でのパケット欠落の影響を少なくし、受信側での再生映像の品質を良好に保つことができるものである。
【００４１】
（第２の実施の形態）
次に、第２の実施の形態に係る動画像データ伝送装置について、図３を用いて説明する。図３は、本発明の第２の実施の形態に係る動画像データ伝送装置の概略構成を示すブロック図である。なお、以下では、主に第１の実施の形態と異なる部分について説明するものとし、同様の部分については、第１の実施の形態の動画像データ伝送装置１と同一の符号を付して、適宜説明を省略する。
【００４２】
本実施の形態の動画像データ伝送装置２が第１の実施の形態の動画像データ伝送装置１と異なる点は、伝送路の伝送パケットの欠落を検知するパケット欠落検知部６０を備える点である。パケット欠落検知部６０は、伝送路で欠落した伝送パケットに相当する映像データ（以下、「欠落データ」という）を特定する情報を取得して、それを参照先指定部４０に通知する。
【００４３】
参照先指定部４０は、パケット欠落検知部６０から通知された欠落データを含む映像フレームを参照フレームの対象から除外して、その欠落データを含む映像フレームよりも前の映像フレームを参照フレームとして指定する。欠落データを含む映像フレームが複数連続している場合には、欠落データを含むすべての映像フレームよりも前の映像フレームを参照フレームとして指定する。
【００４４】
図４は、本実施の形態の動画像データ伝送装置２および受信装置の処理を示す図である。図４を参照して、参照先指定部４０による参照フレームの指定を説明する。参照先指定部４０は、ＲＴＴ測定部５０にて測定されたＲＴＴがＴ１であるとすると、伝送中のパケット欠落がない通常時には、Ｔ１より時間間隔が大きく、かつ最近接の時点における映像フレームをインター符号化のための参照フレームとして指定する。参照先指定部４０は、例えば、時点Ｃの符号化のために、時点Ａにおける映像フレームを参照フレームとして指定する。
【００４５】
受信装置においてパケットの欠落が検知された場合は、受信装置は、動画像データ伝送装置２に、欠落が発生したことを通知する。動画像データ伝送装置２のパケット欠落検知部６０は、この通知を受けて、パケット欠落が発生したフレームを認識する。図４の例では、時点Ｃにおいて符号化した映像フレームのパケットに欠落が生じており、受信装置から動画像データ伝送装置２に、このパケットの欠落が通知されている。動画像データ伝送装置２の符号化部２０にてこのパケットの欠落を認識できるのが、時点Ｄと時点Ｅとの間の時点である。
【００４６】
ここで、時点Ｅでは、参照先指定部４０は、本来ならば時点Ｃの映像フレームを参照フレームとして指定するが、この時点Ｅの前に既に時点Ｃで生成された動画像データのパケットの欠落が通知されているので、参照先指定部４０は、時点Ｅでは、時点Ｃの映像フレームを除外して、それより前の時点Ｂの映像フレームを参照フレームとして指定する。こうすることで、受信側にて受信できていないフレームを参照する符号化データが生成されることを回避できる。なお、このように受信側にて受信できていないフレームを除外して参照フレームを指定できるのは、もともと参照先として、ＲＴＴ以上前の映像フレームを指定しているからである。
【００４７】
符号化部２０が符号化データを生成してから参照先指定部４０がパケット欠落の通知を受けるまでの時間は、ＲＴＴにほぼ等しい。従って、仮に、図４の例において、参照先指定部４０が、ＲＴＴ以下の前の映像フレームを参照フレームとしていた場合、即ち、１つ前の映像フレームを参照フレームとしていた場合には、時点Ｃで生成された動画像データのパケットの欠落の通知を受けるより前の時点Ｄにおいて、既に時点Ｃの映像フレームを参照してイントラ符号化により動画像データを生成して伝送してしまっているため、このようにして伝送した動画像データを受信側にて復号化する際には、参照すべきフレームがないことになってしまい、この時点Ｄにて生成した動画像データの再生がうまくできないことになる。
【００４８】
これに対して、本実施の形態の参照先指定部４０は、パケットの欠落が生じた映像フレームを参照したインター符号化を行う前に、そのパケットの欠落の通知を受けることができるので、上記のような不都合が生じない。
【００４９】
なお、インター符号化時の参照先を変更するフレームは、パケット欠落の通知を受けた後に最初に符号化を行うフレームには限られない。例えば、図４の例において、ＲＴＴが図４の通りであるとして、３つ前のフレームを参照してインター符号化を行っている場合には、パケット欠落の通知を受けた後の最初の符号化の際（時点Ｅ）には、通常通り３つ前のフレームである時点Ｂのフレームを参照フレームとしてインター符号化を行い、次の時点Ｆにおいて、本来参照フレームとして時点Ｃの映像フレームを指定すべきところを変更して、時点Ｃの映像フレームを除外して、時点Ｂの映像フレームを参照フレームとして指定すればよい。
【００５０】
即ち、参照先指定部４０は、ＲＴＴに基づいて決定される参照先が、パケット欠落検知部６０より通知されたパケットの欠落が生じているフレームであるときは、そのフレームを除外して参照フレームを指定する。なお、複数の連続するパケットについてパケット欠落の通知があった場合には、参照先指定部４０は、パケットが正常に送信された最後の映像フレームを参照フレームとして指定する。
【００５１】
このようなインター符号化によれば、パケットが欠落したとしても、その影響は欠落パケットにのみ影響し、他のフレームの再生には影響しないことになる。従って、パケット欠落による画像の停止を最小限にとどめることができるとともに、良好な画質の再生が可能となる。
【００５２】
図５は、本実施の形態の動画像データ伝送装置の動作を示すフローチャートである。動画像データ伝送装置２は、まず、ＲＴＴ測定部５０にて伝送路のＲＴＴを測定し、参照先指定部４０に通知する（ステップＳ５１）。次いで、符号化部２０に映像データがフレームごとに入力される（ステップＳ５２）。参照先指定部４０は、ステップＳ５１で測定されたＲＴＴに基づいて、インター符号化時に用いる参照フレームを求める（ステップＳ５３）。このとき、参照先指定部４０は、（Ｒ×Ｎ÷１０００）フレーム以上前に符号化された映像フレームを参照フレームとする。
【００５３】
続いて、参照先指定部４０は、参照フレームと符号化しようとする映像フレームとの間にイントラ符号化を行った映像フレームがあるかどうかを判断する（ステップＳ５４）。イントラ符号化を行っていた場合には（ステップＳ５４にてＹＥＳ）、ステップＳ５３にて求めた参照フレームではなく、そのイントラ符号化した映像フレームを参照フレームとする（ステップＳ５５）。
【００５４】
ステップＳ５５の次に、参照先指定部４０は、参照フレームが、パケット欠落検知部６０より通知されたパケット欠落に係るフレームであるか否かを判断する（ステップＳ５６）。また、ステップＳ５４にて参照フレームと符号化しようとする映像フレームとの間にイントラ符号化を行った映像フレームがない場合には（ステップＳ５４にてＮＯ）、直接ステップＳ５６に移行する。ステップＳ５３またはステップＳ５５にて決定された参照フレームが、パケット欠落通知６０より通知されたパケット欠落に係るフレームである場合には（ステップＳ５６でＹＥＳ）、参照先指定部４０は、パケット欠落に係るフレームよりも前のフレームを参照フレームとして指定して、符号化部２０に通知する（ステップＳ５７）。ステップＳ５３またはステップＳ５５にて決定された参照フレームが、パケット欠落通知６０より通知されたパケット欠落に係るフレームでない場合には（ステップＳ５６でＮＯ）、参照先指定部４０は、ステップＳ５３またはステップＳ５５にて決定された参照フレームをそのまま参照フレームとして指定して、符号化部２０に通知する（ステップＳ５８）。
【００５５】
符号化部２０は、ステップＳ５７またはステップＳ５８にて参照先指定部４０から参照フレームの指定を受けると、ステップＳ５２で入力された映像フレームのうちの参照フレームを参照して、符号化しようとする映像フレームに対してインター符号化を行い、動画像データを生成する（ステップＳ５９）。次に、伝送部３０は、動画像データを伝送パケットに変換して伝送路に送信する（ステップＳ６０）。
【００５６】
本実施の形態の動画像データ伝送装置２によれば、参照先指定部４０がＲＴＴ以上前の映像フレームを参照フレームとして指定するとともに、パケット欠落検知部６０にて、パケットの欠落の通知を受けたときに、パケットの欠落に係る映像フレームを除外して参照フレームを指定するので、受信側にて受信していないフレームを参照してインター符号化された動画像データを生成して伝送することを回避でき、受信側での再生映像の品質を向上できる。
【００５７】
以上、本発明の第１および第２の実施の形態を説明したが、本発明の実施の形態はこれらに限られない。
【００５８】
例えば、上記の実施の形態によれば、参照フレームとして、ＲＴＴ以上前の映像フレームを指定することで、パケットの欠落を検知した後に、そのパケット欠落に係るフレームを参照してインター符号化された動画像データを伝送することを回避できる。しかしながら、符号化部２０における符号化処理に時間がかかる場合には、パケット欠落の通知を受けた時点で、既に符号化部２０にてそのパケット欠落に係るフレームを参照したインター符号化を既に開始していることもある。そこで、参照先指定部４０は、符号化部２０において１の映像フレームに対する符号化処理に要する時間とＲＴＴとの合計時間以上前の映像フレームを参照フレームとして指定してよい。このようにすることで、参照先指定部４０にてパケットの欠落を認識した時点で、既に符号化部２０がその欠落したパケットに係る映像フレームを参照したインター符号化の処理を開始しているという事態を回避できる。
【００５９】
また、上記の実施の形態では、パケットの欠落を検知した後に、本来その欠落したパケットに係る映像フレームを参照してインター符号化するはずであった映像フレームについては、欠落したパケットに係る映像フレームよりも前の映像フレームを参照してインター符号化を行うこととしたが、本来欠落したパケットに係る映像フレームを参照してインター符号化するはずであった映像フレームについて、イントラ符号化を行ってもよい。
【００６０】
また、符号化部２０は、映像フレームを符号化する際に、１の映像フレームを複数のブロックに分けて、ブロックごとに映像データの符号化を行ってもよい。この場合には、参照先指定部４０は、あるブロックについてインター符号化を行う場合に、当該ブロックの参照先となるブロックを含む映像フレームが、ＲＴＴ以上前の時点で符号化されて伝送された映像フレームになるように参照フレームを指定する。
【００６１】
なお、本実施の形態の動画像データ伝送装置は、監視カメラで撮影された映像を符号化して伝送する装置として好適に用いられる。本発明の動画像データ伝送装置は、監視カメラで撮影された映像に限らず、動画像データを伝送する全てのシステムに適用可能である。
【産業上の利用可能性】
【００６２】
本発明は、伝送路の往復遅延時間に基づいて映像データのインター符号化時の参照映像データを動的に変更することにより、伝送途中でパケットの欠落が発生しても受信側での再生映像の品質を良好に保つことができるという優れた効果を有し、映像データを符号化して動画像データを生成して、伝送路を介して該動画像データを伝送する動画像データ伝送装置等として有用である。
【符号の説明】
【００６３】
１、２  動画像データ伝送装置
１０  映像入力部
２０  符号化部
３０  伝送部
４０  参照先指定部
５０  ＲＴＴ測定部
６０  パケット欠落検知部
【図１】
2011193415.tif 000003
【図２】
2011193415.tif 000004
【図３】
2011193415.tif 000005
【図４】
2011193415.tif 000006
【図５】
2011193415.tif 000007
【図６】
2011193415.tif 000008