(57)【要約】【課題】ＴＣＰによるストリーム型データ転送であってもスケーラブル符号化の特性が発揮され、リアルタイム性を確保することができる受信装置を提供する。【解決手段】受信部８１において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点を検出するフレーム検出部８５と、前記フレーム検出部８５において再生対象フレームのベースレイヤが揃った時点から予め定められたタイムアウト時間が経過した場合に、受信完了処理部８４にタイムアウト時間が経過したことを通知するタイマー部８６とを備え、前記受信完了処理部８４が、前記タイマー部８６からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを送信装置１０１に送信するように構成した。【選択図】図２
2014003371.tif 000002
【特許請求の範囲】
【請求項１】
映像データをストリーム型データ転送するデータ転送システムにおいて、送信装置から送信される送信映像パケットを受信する受信装置であって、
前記送信装置が、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備えたものであって、
前記受信装置が、
少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、
前記受信部において受信された送信映像パケットのレイヤをレイヤデータに基づいて識別するレイヤ識別部と、
前記受信部において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点を検出するフレーム検出部と、
前記ベースレイヤ受信完了時点から予め定められたタイムアウト時間が経過した場合に、前記受信完了処理部にタイムアウト時間が経過したことを通知するタイマー部とを備え、
前記受信完了処理部が、前記タイマー部からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されていることを特徴とする受信装置。
【請求項２】
前記タイムアウト時間が、再生対象フレームの再生タイミングよりも前に終了するように構成されている請求項１記載の受信装置。
【請求項３】
再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部を更に備え、
前記フレーム検出部が、前記ベースレイヤ受信完了時点と、優先拡張レイヤが揃った時点である優先拡張レイヤ受信完了時点とを検出するように構成されており、
前記タイマー部が、前記ベースレイヤ受信完了時点と前記優先拡張レイヤ受信完了時点のうち遅い方の時点からタイムアウト時間が経過した場合に前記受信完了処理部にタイムアウト時間が経過したことを通知するように構成されている請求項１又は２記載の受信装置。
【請求項４】
前記フレーム検出部が、前記受信部において受信された送信映像パケットを用いてベースレイヤ又は優先拡張レイヤの仮デコードを行い、仮デコードが成功した時点を前記ベースレイヤ受信完了時点又は前記優先拡張レイヤ到達時点とする請求項１乃至３いずれかに記載の受信装置。
【請求項５】
前記受信完了処理部が、前記ベースレイヤ受信完了時点又は前記優先拡張レイヤ受信完了時点のうち遅い方の時点において、受信されている送信映像パケットのシーケンス番号のうち最も大きい番号よりも小さいシーケンス番号を有する未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されている請求項１乃至４いずれかに記載の受信装置。
【請求項６】
映像データの映像特性を特定する映像特性特定部をさらに備え、
前記優先拡張レイヤ設定部が、前記映像特性特定部によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定するように構成された請求項３乃至５いずれかに記載の受信装置。
【請求項７】
映像データをストリーム型データ転送するデータ転送システムにおいて、送信装置から送信される送信映像パケットを受信する受信装置に用いられる受信装置用プログラムであって、
前記送信装置が、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備えたものであって、
前記受信装置用プログラムが、
少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、
前記受信部において受信された送信映像パケットのレイヤをレイヤデータに基づいて識別するレイヤ識別部と、
前記受信部において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点を検出するフレーム検出部と、
前記フレーム検出部において再生対象フレームのベースレイヤが揃った時点から予め定められたタイムアウト時間が経過した場合に、前記受信完了処理部にタイムアウト時間が経過したことを通知するタイマー部とを備え、
前記受信完了処理部が、前記タイマー部からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されていることを特徴とする受信装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データをストリーム型データ転送するデータ転送システムにおいて、送信装置から送信される送信映像パケットを受信する受信装置及び受信装置用プログラムに関するものである。
【背景技術】
【０００２】
例えばインターネット通信を介した映像データのデータ転送が行われる場合、ダウンロード型伝送方式ではなく、送信装置から受信装置側へデータ転送が行われている間に、並列して再生処理も行うストリーム型データ転送が用いられている。
【０００３】
このような映像データのストリーム型データ転送が行われる場合、回線状態や受信端末能力等に応じた送信映像結果が得られるように映像データをスケーラブル符号化した符号化映像データが用いられている。
【０００４】
スケーラブル符号化の一例としては、Ｈ．２６４ビデオコーデック規格内にあるＳＶＣ（Scalable Video Coding）が挙げられる。このコーデックのデータ構造は、図６に示すように必要最低限の動画要素で構成されるベースレイヤと、前記ベースレイヤと組み合わせることで映像品質を向上させることができる拡張レイヤとに分けることができる。
【０００５】
高信頼性チャネルである前記ベースレイヤに関しては、受信側において映像を再生するのに必須のデータ・ストリームであるため、ＦＥＣ（Forward Error Correction）等の冗長化等により高い信頼性で送受信される。
【０００６】
一方、低信頼性チャネルである前記拡張レイヤは、画像の高精細化に寄与する空間レイヤと、動画のフレームレート向上に寄与する時間レイヤと、画像のＳ／Ｎ比の向上に寄与するＳ／Ｎ比レイヤにさらに分かれる。
【０００７】
前記拡張レイヤに関しては例えばＦＥＣ処理等がかけられていないため、回線状況が悪くなると受信装置には届きにくくなる。受信装置においては、必須のベースレイヤに関しては必ず受信されているので、拡張レイヤのうち無事に送信装置から届いたものとベースレイヤとを組み合わせて適宜デコードすることにより、回線品質に見合った送信映像結果が得られる。
【０００８】
ところで、スケーラブル符号化された符号化映像データによるデータ転送を行う場合、特許文献１等に示されるように転送プロトコルとしては再送処理の行われない伝送方式であるＲＴＰ（Real Time Protocol）を用いることによって、データ転送の信頼性よりもリアルタイム性を優先させている。
【０００９】
なお、特許文献１では原則としては再送処理の行われないＲＴＰを転送プロトコルとして用いながらも一部のレイヤについては再送処理が行われるように構成したデータ転送システムが示されている。
【００１０】
しかしながら、動画等のストリーム型転送を行う場合においては、再送処理を行うことにより信頼性を保つＴＣＰが転送プロトコルとして用いられることもある。ＴＣＰによりスケーラブル符号化された符号化映像データを転送すると、受信装置において受信されなかった送信映像パケットがあった場合、未到達の全ての送信映像パケットについて再送処理が行われてしまう。このため、ＴＣＰにより、スケーラブル符号化されたデータの転送を行うと、最悪の場合動画再生だけを目的とするのであれば受信装置において未到達であっても構わない拡張レイヤの送信映像パケットまで確実に再送処理されてしまう。従って、動画再生時の品質は最高のものに固定できるものの、全ての送信映像パケットが受信されるまでの待機時間が生じるためリアルタイム性は損なわれてしまう。
【００１１】
つまり、ＴＣＰとスケーラブル符号化を単純に組み合わせただけでは回線品質に見合った画質を自動的に得ることができず、ＲＴＰとスケーラブル符号化を組み合わせた時のようなベストエフォート型の結果を得られない。従って、ＳＶＣの特性を発揮することができず、従来と同様に回線状態に応じたビットレートのエンコードをそれぞれ行うもしくは、複数のエンコード済みの動画データを用意しなくてはならなくなる。
【００１２】
また、特許文献２のデータ転送システムは、送信装置は送信した送信映像パケットについて受信装置から受信完了パケットを受信しない限り、再送処理を繰り返すように構成されている場合を前提として、受信装置のみの構成でベースレイヤについては受信装置において確実に受信されるようにするとともに、その他の拡張レイヤについては受信できなかったものは一律に再送されないように構成されている。
【００１３】
より具体的には、前記受信装置はベースレイヤについて受信されなかったものについては通常通り受信完了パケットを送信装置に送信しないようにするとともに、拡張レイヤのうち受信できなかったものについては、実際には受信していない状態でも受信完了パケットを送信装置に送信することで、拡張レイヤについては再送処理を強制的に打ち切るように構成されている。
【００１４】
しかしながら、このような受信装置では、受信装置において受信できなかった拡張レイヤの送信映像バケットが１つでもあった場合、その拡張レイヤの再送処理が打ち切られてしまうので、回線状態が悪くなった場合、拡張レイヤについてはほとんどデコードできず、実質的にベースレイヤのみを送信しているのと同じ状態になってしまう場合があり得る。
【００１５】
言い換えると、このような受信装置では、回線状態によらずに例えばベースレイヤともう一つの優先拡張レイヤを最低限保護して動画再生を行いたいという要求があったとしても優先拡張レイヤを保護することができず、ユーザの画質等の好みを反映しながらベストエフォート型のサービスを提供することができない。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特許３７５７８５７号公報
【特許文献２】特開平９−３０７５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
そこで、本発明は上述したような問題を鑑みてなされたものであり、ＴＣＰによるストリーム型データ転送であってもスケーラブル符号化の特性が発揮され、ベストエフォート型の映像データの転送を可能とするとともに、リアルタイム性を確保しつつベースレイヤ以外の拡張レイヤの一部を保護することができる受信装置及び受信装置用プログラムを提供することを目的とする。言い換えると、本発明はサーバ等の送信装置が再送機能を有しているものの、どのレイヤについて再送するかを設定するための構成を有していなくても、クライアントである受信装置側の構成のみで、ベースレイヤと拡張レイヤの一部を保護しつつベストエフォート型のサービスを受けられるようにすることを目的とするものである。
【課題を解決するための手段】
【００１８】
すなわち、本発明は、映像データをストリーム型データ転送するデータ転送システムにおいて、送信装置から送信される送信映像パケットを受信する受信装置であって、前記送信装置が、ベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶する映像データ記憶部と、符号化映像データと対応するレイヤデータをともに格納した送信映像パケットを生成して、前記受信装置へとパケット送信する送出部と、前記受信装置において受信された送信映像パケットを示す受信完了パケットを当該受信装置から受信するものであり、受信完了パケットを前記受信装置から受信していない送信映像パケットを前記送出部に再送させる再送処理部とを備えたものであることを前提とする。
【００１９】
そして、前記受信装置が、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、前記受信部において受信された送信映像パケットのレイヤをレイヤデータに基づいて識別するレイヤ識別部と、前記受信部において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点を検出するフレーム検出部と、前記ベースレイヤ受信完了時点から予め定められたタイムアウト時間が経過した場合に、前記受信完了処理部にタイムアウト時間が経過したことを通知するタイマー部とを備え、前記受信完了処理部が、前記タイマー部からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されていることを特徴とする。
【００２０】
このようなものであれば、前記受信完了処理部が、前記タイマー部からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されているので、ＴＣＰ等の再送処理を有する転送プロトコルによりデータ転送を行う場合であっても、回線状況が悪い場合でもベースレイヤだけは再送処理により確実に受信するとともに、その他の拡張レイヤについては再送処理を打ち切ることができる。
【００２１】
しかも、この拡張レイヤの再送処理の打ち切りは、前記ベースレイヤ受信完了時点からタイムアウト時間経過後に行われるように構成されているので、少なくともタイムアウト時間経過までの間は、未受信の拡張レイヤについても再送処理を行って保護することができる。
【００２２】
つまり、本発明の受信装置は受信されなかった拡張レイヤについて一律に受信完了パケットを送信して送信装置による再送処理を打ち切るのではなく、タイムアウト時間という猶予期間が設けられていることにより、拡張レイヤの一部についても保護することが可能となっている。
【００２３】
一方、回線状況がよい場合には全ての拡張レイヤが前記受信装置において受信されて、最高品質での再生が可能となる。
【００２４】
これらのことから、本発明によれば、送信装置に特に特別な構成がなかったとしても受信装置のみの構成によって、ＴＣＰのような再送処理のある転送プロトコルでも回線状況に応じた画質の動画再生が可能となり、ベストエフォート型のサービスを提供できる。しかも、ベースレイヤだけでなく拡張レイヤの一部についても保護するといったユーザの画質に対する要求を反映したベストエフォート型のサービスにすることができる。
【００２５】
拡張レイヤの一部についてもベースレイヤと同様に保護できるようにしつつ、動画再生のリアルタイム性を損なわないようにするには、前記タイムアウト時間が、再生対象フレームの再生タイミングよりも前に終了するように構成されていればよい。
【００２６】
拡張レイヤの一部を優先拡張レイヤとして保護し、優先拡張レイヤが確実に受信されるようにするには、再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部を更に備え、前記フレーム検出部が、前記ベースレイヤ受信完了時点と、優先拡張レイヤが揃った時点である優先拡張レイヤ受信完了時点とを検出するように構成されており、前記タイマー部が、前記ベースレイヤ受信完了時点と前記優先拡張レイヤ受信完了時点のうち遅い方の時点からタイムアウト時間が経過した場合に前記受信完了処理部にタイムアウト時間が経過したことを通知するように構成されていればよい。このようなものであれば、ベースレイヤと優先拡張レイヤについては再送処理により保護されて、前記受信装置に受信されるとともに、タイムアウト時間経過時に受信されていない拡張レイヤについては再送処理を打ち切り、回線の状況に合わせた動画再生が可能となる。
【００２７】
送信装置から特別なデータを送信してもらわなくても、受信装置の構成だけでベースレイヤや優先拡張レイヤが受信完了しているかどうかを検出できるようにするには、前記フレーム検出部が、前記受信部において受信された送信映像パケットを用いてベースレイヤ又は優先拡張レイヤの仮デコードを行い、仮デコードが成功した時点を前記ベースレイヤ受信完了時点又は前記優先拡張レイヤ到達時点とするように構成されていればよい。
【００２８】
前記送信装置から送信映像パケットの詳細なリスト等が受信装置に送信されていなくても、受信装置だけの簡単な構成でベースレイヤ及び優先拡張レイヤ以外のデータについて再送処理を打ち切ることができるようにするには、前記受信完了処理部が、前記ベースレイヤ受信完了時点又は前記優先拡張レイヤ受信完了時点のうち遅い方の時点において、受信されている送信映像パケットのシーケンス番号のうち最も大きい番号よりも小さいシーケンス番号を有する未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されていればよい。
【００２９】
既存の受信装置に対して、本発明の受信装置としての機能を付加し、動画再生時にベストエフォート型の結果を得られ鵜ようにするには、少なくとも前記受信部において受信された送信映像パケットを示す受信完了パケットを前記送信装置に送信する受信完了処理部と、前記受信部において受信された送信映像パケットのレイヤをレイヤデータに基づいて識別するレイヤ識別部と、前記受信部において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点を検出するフレーム検出部と、前記フレーム検出部において再生対象フレームのベースレイヤが揃った時点から予め定められたタイムアウト時間が経過した場合に、前記受信完了処理部にタイムアウト時間が経過したことを通知するタイマー部とを備え、前記受信完了処理部が、前記タイマー部からタイムアウト時間が経過したことが通知された場合に未受信の送信映像パケットについて受信完了パケットを前記送信装置に送信するように構成されていることを特徴とする受信装置用プログラムを既存の受信装置にインストールすればよい。
【発明の効果】
【００３０】
このように本発明のデータ転送システム等によれば、ＴＣＰによるストリーム型データ転送であっても回線状態が悪い場合には所望の拡張レイヤのみを確実に受信装置に到達するようにし、回線状態に応じた品質での動画再生が可能となる。また、優先拡張レイヤが映像データに記録されているコンテンツ映像の内容に応じて決められているので、ベストエフォート型の映像データの転送を可能とするとともに、リアルタイム性を確保しつつ動画データの記録しているコンテンツ映像の特性に合った高品質の動画再生を可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施形態に係るデータ転送システムの模式的機器構成図。
【図２】同実施形態におけるデータ転送システムの機能ブロック図。
【図３】同実施形態における送信処理部及び受信処理部の詳細について示す機能ブロック図。
【図４】同実施形態におけるタイマー部の動作について示すグラフ。
【図５】同実施形態の受信装置の動作を示すフローチャート。
【図６】スケーラブル符号化された映像データのデータ構造を示す模式図。
【発明を実施するための形態】
【００３２】
本発明の第１実施形態について図面を参照しながら説明する。
【００３３】
本実施形態の受信装置１００は、送信装置１０１と対になって映像データをストリーム型転送するためのデータ転送システムを構成するものである。
【００３４】
前記送信装置１０１及び前記受信装置１００は、図１に示すようにＣＰＵ１１、メモリ１２、ＨＤＤやフラッシュメモリ１４、通信インターフェース１５、入出力機器１６等を備えたいわゆるコンピュータであって、メモリ１２に格納されているプログラムをＣＰＵ１１が実行することにより、各種機能を発揮するものである。また前記送信装置１０１と前記受信装置１００はインターネット等のネットワークにより情報のやり取りを行い、ネットワーク上における転送プロトコルとしてはＲＴＰではなくＴＣＰが用いられている。
【００３５】
前記送信装置１０１は上記列挙したもの以外に撮影用のカメラ１３を更に具備しており、撮影された映像データをスケーラブル符号化したうえで前記受信装置１００へと送信するように構成してある。そして、前記送信装置１０１は、図２の機能ブロック図に示すように少なくとも、映像符号化部３、符号化制御部２、映像データ記憶部４、送信処理部７、としての機能を発揮するように構成してある。
【００３６】
一方、前記受信装置１００は前記送信装置１０１から送信された送信映像パケットのうち当該受信装置１００に正常に届かなかった、あるいは、誤りがあるものについて再送させるかどうかを判断し、必要なものについては再送させた上でスケーラブル符号化された映像データをデコード（復号）して動画を再生するものである。すなわち、前記受信装置１００は、図２に示すように少なくとも映像特性特定部５、優先拡張レイヤ設定部６、受信処理部８、映像復号部９としての機能を発揮するように構成してある。
【００３７】
次に上述した各部の構成及び、映像データのスケーラブル符号化、パケットの送受信における動作等について詳述する。
【００３８】
まず、前記送信装置１０１について説明する。
【００３９】
前記映像符号化部３は、例えば、Ｈ．２６４ビデオコーデック規格内にあるＳＶＣにより、前記カメラ１３によって撮像された映像データをスケーラブル符号化するように構成してある。より具体的には、前記映像符号化部３は、映像データを必要最低限の動画要素で構成されるベースレイヤと、前記ベースレイヤと組み合わせることで映像品質を向上させることができる拡張レイヤとからなる符号化映像データにするものである。
【００４０】
前記符号化制御部２は、どのレイヤをどれだけの階層に分割して前記映像符号化部３が映像データのスケーラブル符号化を行うかを制御するものである。本実施形態では、拡張レイヤはさらに３つの階層に分割するように制御し、拡張レイヤは画像の高精細化に寄与する空間レイヤと、画像のフレームレート向上に寄与する時間レイヤと、画像のＳ／Ｎ比の向上に寄与するＳ／Ｎ比レイヤとから構成される。ベースレイヤとこれらの拡張レイヤを適宜組み合わせた上でデコードすることにより、所望の品質態様の動画再生が実現される。
【００４１】
前記映像データ記憶部４は、前記映像符号化部３において符号化されたベースレイヤと拡張レイヤからなる符号化映像データ及び符号化映像データのレイヤを示すレイヤデータを対にして記憶するものである。
【００４２】
前記送信処理部７は、符号化映像データを前記受信装置１００にパケット送信するものであるとともに、原則的には前記受信装置１００から送信される受信完了パケットが受信されていない送信映像パケットを全て再送するように構成してあるものである。
【００４３】
より具体的には、前記送信処理部７は図３に示すようにレイヤ認識部７１、送出部７２、再送処理部７３、とから構成してある。
【００４４】
前記レイヤ認識部７１は、前記映像データ記憶部４から取得した符号化映像データとそのレイヤを示すレイヤデータとを受け取り、受け取った符号化映像データがどのレイヤのデータであるかをレイヤデータに基づいて認識するものである。
【００４５】
前記送出部７２は、前記レイヤ識別部８２において認識された符号化映像データと対応するレイヤデータともに格納した送信映像パケットを生成して、前記受信装置１００へとパケット送信するように構成してある。そして、前記レイヤ認識部７１におけるレイヤ認識に基づいて、パケット送信時においてシーケンスのどの部分がベースレイヤ、時間レイヤ、空間レイヤ、Ｓ／Ｎ比レイヤを含む送信映像パケットであるかについてのシーケンス情報を前記再送処理部７３に記憶させている。
【００４６】
前記再送処理部７３は、前記受信装置１００において受信された送信映像パケットを示す受信完了パケットを当該受信装置１００から受信するものであり、前記送出部７２が送信映像パケットを送信してから所定時間内に受信完了パケットを前記受信装置１００から受信していない送信映像パケットを前記送出部７２に再送させるように構成してある。
【００４７】
より具体的には前記送信装置１０１は、後述する受信完了処理部８から受信完了パケットを受信していない送信映像パケットについては全て再送処理を行うように構成してある。すなわち、前記送信装置１０１には、ベースレイヤ及び優先拡張レイヤ以外の拡張レイヤについて再送処理を打ち切る等の機能は有していない。
【００４８】
次に前記受信装置１００について説明する。前記受信装置１００は、図２に示すように映像特性特定部５、優先拡張レイヤ設定部６、受信処理部８、映像復号部９とからなる。
【００４９】
前記映像特性特定部５は、前記映像符号化部３において映像データがスケーラブル符号化される際の動きベクトル情報に基づいて映像データに記録されているコンテンツ映像の動きの激しさを特定して構成映像データの映像特性を特定するものである。また、この映像特性特定部５は、映像データのメタデータに格納されているコンテンツ映像のジャンル等にも基づいて映像特性を特定している。例えば、ジャンルがスポーツ等であれば、コンテンツ映像の動きが激しいものであると特定する。さらに、この映像特性特定部５は、映像データがスケーラブル符号化される際に高周波成分が所定値以上発生している場合には、コンテンツ映像に多くの細かな描写が含まれているものと特定する。
【００５０】
前記優先拡張レイヤ設定部６は、前記映像特性特定部５において特定されたコンテンツ映像の動きの激しさ、ノイズ成分の多さ、解像度等に基づいて時間レイヤ、空間レイヤ、Ｓ／Ｎ比レイヤのいずれを優先拡張レイヤにするか、あるいは、どのような重み付けで各拡張レイヤに対して再送処理や後述するＦＥＣ処理が行われるようにするかについて設定するものである。例えば、前述したように映像コンテンツのジャンルがスポーツ等の動きの激しいものであると特定されている場合には、前記優先拡張レイヤ設定部６は、動画再生時におけるフレームレートが所定値以上に保たれるように時間レイヤを優先拡張レイヤとして設定する。また、その他のジャンルの動画であって動きがそれほど激しくなく、細かな描写が多く含まれている高解像度のコンテンツ映像の場合には、前記優先拡張レイヤ設定部６は、空間レイヤを優先拡張レイヤとして設定する。さらに、ノイズ成分の多いコンテンツ映像の場合には、Ｓ／Ｎ比レイヤを優先拡張レイヤとして設定する。
【００５１】
前記受信処理部８は、図３に示すように受信部８１、レイヤ識別部８２、ＦＥＣ部８３、受信完了処理部８４、フレーム検出部８５、タイマー部８６とからなるものであり、前記送信装置１０１から送信された送信映像パケットを受け付け、回線状態等により届かなかった送信映像パケットや壊れており修復不可能な送信映像パケットのうちベースレイヤと優先拡張レイヤに設定された拡張レイヤの送信映像パケットのみを再送させるように構成してある。また、前記映像復号部９では、前記受信処理部８において受信された送信映像パケット及び前記ＦＥＣ部８３において修復された送信映像パケットに基づいて使用できるレイヤを全て用いてデコードが行われる。前記受信部８１で受信されるデータは、少なくともベースレイヤと優先拡張レイヤを含むものであり、これらを組み合わせてデコードが行われる。例えば回線状況がよい場合等には、前記映像復号部９では優先拡張レイヤ以外の拡張レイヤのデータも組み合わせてデコードが行われ、さらに高品質の動画再生が行われるように構成してある。
【００５２】
前記受信部８１は、前記送出部７２からシーケンス番号とともに各送信映像パケットを受信するものである。
【００５３】
前記レイヤ認識部７１は、前記受信部８１において受信された送信映像パケットに格納されている符号化映像データのレイヤをレイヤデータに基づいて識別するものである。このレイヤ認識部７１において受信した送信映像パケットの損傷や欠落があることが分かった場合には、前記ＦＥＣ部８３においてＦＥＣ処理が試みられる。ここで、修復された符号化映像データは前記映像復号部９に送られて動画再生のために用いられる。
【００５４】
前記受信完了処理部８４は、前記受信部８１において受信された送信映像パケットを示す受信完了パケットを前記送信装置１０１に送信し、再送処理部７３が再送処理を開始しないようにするものである。また、前記受信完了処理部８４は、受信された送信映像パケットのうち前記ＦＥＣ部８３において誤り訂正できなかった送信映像パケットについては再送処理が開始されるように受信完了パケットを前記送信装置１０１に送信しない。さらにこの受信完了処理部８４は、後述するフレーム検出部８５及びタイマー部８６の動作に合わせて、未受信の送信映像パケットについて再送処理が打ち切られるようにダミーの受信完了パケットを送信装置１０１に対して送信するように構成してある。さらなる詳細な動作については後述する。
【００５５】
前記フレーム検出部８５は、ある再生対象フレームの再生タイミングよりも前の時点において前記受信部８１において受信された送信映像パケットにより再生対象フレームのベースレイヤが揃った時点であるベースレイヤ受信完了時点と、優先拡張レイヤが揃った時点である優先拡張レイヤ受信完了時点とを検出するものである。
【００５６】
より具体的には前記フレーム検出部８５は、前記受信部８１に受信された複数の送信映像パケットによりベースレイヤ及び優先拡張レイヤの仮デコードを行い、仮デコードが成功した時点を持ってベースレイヤ受信完了時点及び優先拡張レイヤ受信完了時点を検出するように構成してある。
【００５７】
前記タイマー部８６は、前記ベースレイヤ受信完了時点と前記優先拡張レイヤ受信完了時点のうち遅い方の時点からタイムアウト時間が経過した場合に前記受信完了処理部にタイムアウト時間が経過したことを通知するように構成してある。
【００５８】
そして、前記受信完了処理部８４は、前記タイマー部８６からタイムアウト時間が経過したことを通知された場合に、未受信の送信映像パケットについて送信装置１０１における再送処理が打ち切られるようにダミーの受信完了パケットを送信するように構成してある。この際、前記受信完了処理部８４は、受信されている送信映像パケットのシーケンス番号のうち最も大きい番号よりも小さいシーケンス番号を有する未受信の送信映像パケットについて受信完了パケットを前記送信装置１０１に送信するように構成してある。
【００５９】
このようにして、ベースレイヤと優先拡張レイヤ以外の拡張レイヤのうち、再生対象フレームの再生タイミングまでに受信できなかったものについては、再送処理を打ち切ることで動画再生のリアルタイム性を保つようにしてある。また、前記受信完了処理部８４が前記フレーム検出部８５及び前記タイマー部８６の動作に合わせて再送処理の打ち切りを行うようにしてあるので、保護されているベースレイヤと優先拡張レイヤについては必ず受信して動画再生に用いることができる。さらに、前記ベースレイヤ受信完了時点又は前記優先拡張レイヤ受信完了時点のうち遅い方からタイムアウト時間までの間は、他の拡張レイヤについても受信完了パケットが送信されないので、送信装置１０１に再送処理を継続させることができる。従って、回線状況によっては他の拡張レイヤも揃い動画再生に使える場合もあるし、タイムアウト時間までに送信映像パケットが揃わず再送処理が打ち切られることにより他の拡張レイヤについては動画再生に使われない場合もある。すなわち、保護されているベースレイヤと優先拡張レイヤによりユーザの好みや動画特性にあった最低限の映像品質は保つことができるとともに、他の拡張レイヤについては回線状況に応じて使用されるかどうかが変化させたベストエフォート型のサービスにすることができる。
【００６０】
次にこのように構成された受信装置１００のある再生対象フレームについて送信映像パケットを受信する際の動作について説明する。
【００６１】
まず、図４（ａ）に示すようにある再生対象フレームにおいて再生タイミングまでに最初にベースフレームが揃い、その後、優先拡張レイヤが揃う場合について説明する。なお、図４（ａ）において、再生タイミングの前にあるタイムアウト時間が経過するまでは、前記受信処理部８４は実際に受信された送信映像パケットの受信完了パケットのみを送信装置１０１に送信するように構成してあるので、タイムアウト時間経過までは受信されていないものについては前記送信装置１０１から自動的に再送処理が行われている。
【００６２】
図５のフローチャートに示すように、前記受信部８１において再生対象フレームの送信映像パケットの受信が開始されると（ステップＳ１）、前記フレーム検出部８５は、すでに受信しており、前記レイヤ識別部８２においてベースレイヤであると識別されている送信映像パケットをすべて用いて仮エンコードが成功するかどうかを試みる（ステップＳ２）。
【００６３】
受信部８１においてすでに受信された送信映像パケットによりベースレイヤの仮エンコードが成功した場合には、前記フレーム検出部８５はその時点をベースレイヤ受信完了時点として検出する。
【００６４】
さらに、前記フレーム検出部８５は、前記受信部８１においてすでに受信されており、前記レイヤ識別部８２において優先拡張レイヤであると識別されている送信映像パケットをすべて用いて優先拡張レイヤの仮デコードを試みる（ステップＳ３）。
【００６５】
ここで、仮デコードが成功しない場合には、前記フレーム検出部８５は、再送処理等によって新たなに受信される送信映像パケットを加えて優先拡張レイヤの仮デコードが成功するまで繰り返す（ステップＳ４）。
【００６６】
優先拡張レイヤの仮デコードが成功した時点を前記フレーム検出部８５は、優先拡張レイヤ受信完了時点として検出し、この時点から前記タイマー部８６はカウントを開始する（ステップＳ５）。
【００６７】
前記タイマー部８６は、優先拡張レイヤ受信完了時点からタイムアウト時間が経過した場合に前記受信完了処理部にそのことを通知し（ステップＳ６）、前記受信完了処理部は、その通知をもって未受信の送信映像パケットのうち受信されているシーケンス番号で最も大きい番号よりも小さいシーケンス番号を有するものについてダミーの受信完了パケットを送信装置１０１に送信する（ステップＳ７）。
【００６８】
次に図４（ｂ）に示すように再生タイミングまでの間に優先拡張レイヤが先に揃い、そのあとでベースレイヤが揃う場合について説明する。
【００６９】
図５のフローチャートの左半分に示すように、受信部８１においてすでに受信された送信映像パケットにより優先拡張レイヤの仮エンコードが成功した場合には、前記フレーム検出部８５はその時点を優先拡張レイヤ受信完了時点として検出する（ステップＳ８）。なお、ベースレイヤ及び優先拡張レイヤのいずれも仮エンコードが成功しない場合には、新たに受信部８１において受信された送信映像パケットを加えて、さらに各レイヤの仮エンコードを前記フレーム検出部８５は試みる（ステップＳ９）。
【００７０】
さらに、前記フレーム検出部８５は、前記受信部８１においてすでに受信されており、前記レイヤ識別部８２においてベースレイヤであると識別されている送信映像パケットをすべて用いてベースレイヤの仮デコードを試みる（ステップＳ１０）。
【００７１】
ここで、仮デコードが成功しない場合には、前記フレーム検出部８５は、再送処理等によって新たに受信される送信映像パケットを加えてベースレイヤの仮デコードが成功するまで繰り返す（ステップＳ１１）。
【００７２】
ベースレイヤの仮デコードが成功した時点を前記フレーム検出部８５は、ベースレイヤ受信完了時点として検出し、この時点から前記タイマー部８６はカウントを開始する（ステップＳ５）。
【００７３】
前記タイマー部８６は、ベースレイヤ受信完了時点からタイムアウト時間が経過した場合に前記受信完了処理部にそのことを通知し（ステップＳ６）、前記受信完了処理部は、その通知をもって未受信の送信映像パケットのうち受信されているシーケンス番号で最も大きい番号よりも小さいシーケンス番号を有するものについてダミーの受信完了パケットを送信装置１０１に送信する（ステップＳ７）。
【００７４】
このように受信装置１００が動作するによって、受信完了の順番にかかわりなく少なくともベースレイヤ及び優先拡張レイヤが揃った状態において未受信の拡張レイヤについてダミーの受信完了パケットが送信されることになる。つまり、ダミーの受信完了パケットにより前記送信装置１０１による再送処理が強制的に打ち切られても、ベースレイヤと優先拡張レイヤは常に確保された状態になり、所望の映像品質を確保しながらリアルタイム性を損なうことがない。
【００７５】
また、その他の拡張レイヤについてもタイムアウト時間までは再送処理が続けられるので回線状態によっては再生タイミングまでに揃うこともあり、回線状況に応じてさらなる映像品質の向上も期待できる。
【００７６】
言い換えると、このように本実施形態の受信装置１００は回線状態が良い場合には全ての拡張レイヤが揃った高品質の動画再生ができる一方、回線状態が悪い場合には、一部の拡張レイヤは欠落して品質は低下するもののベースレイヤと優先拡張レイヤを確保しつつリアルタイム性は確保された動画再生が可能となる。つまり、ＴＣＰのような再送処理が前提となった転送プロトコルと、スケーラブル符号化の組み合わせであっても、回線状況に応じた画質の動画再生が可能となり、ベストエフォート型のサービスを提供できる。
【００７７】
さらに、前記受信装置１００が、映像データの映像特性を特定する映像特性特定部５と、前記映像特性特定部５によって特定された映像特性に基づいて再送されるべき拡張レイヤである優先拡張レイヤを設定する優先拡張レイヤ設定部６とを備えているので、映像データの映像特性に応じた拡張レイヤが再送することができ、回線状況によらずに、常にコンテンツ映像にあった拡張レイヤとベースレイヤを組み合わせた動画再生ができる。
【００７８】
すなわち、回線状態ではなく、まずコンテンツ映像の特性に合わせて優先する拡張レイヤが設定されるので、常に映像データごとに適した拡張レイヤの送信を保護することができ、動画再生時の品質を従来よりも高めることができる。
【００７９】
次に本発明の第２実施形態について説明する。
【００８０】
第１実施形態では、前記受信完了処理部８４はベースレイヤと優先拡張レイヤの両方が揃った時点からタイムアウト時間を経過した場合に再送処理を打ち切るように構成していたが、第２実施形態では、優先拡張レイヤが揃ったかどうかにかかわりなく、ベースレイヤが揃った時点であるベースレイヤ受信完了時点からタイムアウト時間経過後には未受信の送信映像パケットに対するダミーの受信完了パケットを送信するように構成してある。
【００８１】
より具体的には、前記フレーム検出部８５は、ベースフレームについてのみ仮エンコードが成功するか試行するように構成してあり、前記タイマー部８６はベースレイヤ受信完了時点から常にカウントを開始し、前記受信完了処理部８４にタイムアウト時間経過を通知するように構成してある。
【００８２】
このような第２実施形態であれば、ベースフレームについては保護することができ、最低限の映像品質でリアルタイム性は確保することができる。さらに、タイムアウト時間が経過するまでは、拡張レイヤの再送処理を前記送信装置１０１は継続するので、回線状況によっては、拡張レイヤが揃う可能性も高めることができる。つまり、回線状況と映像品質を連動させたベストエフォート型の結果を第２実施形態の受信装置１００でも得ることができる。
【００８３】
その他の実施形態について説明する。
【００８４】
前記実施形態では、前記優先拡張レイヤ設定部は、１つの拡張レイヤのみを優先拡張レイヤに設定していたが、例えば複数の拡張レイヤを優先拡張レイヤに設定するものであってもよい。また、当該優先拡張レイヤ設定部が、特定された動画特性に応じて各拡張レイヤの優先度について重み付けを行うように構成してもよい。
【００８５】
前記実施形態では、カメラから撮像された映像データを前記映像符号化部において逐次スケーラブル符号化していたが、予めスケーラブル符号化された符号化データを映像データ記憶部に記憶しておいたものを受信装置へと送信するようにしてもよい。
【００８６】
また、受信端末の受信能力たとえば解像度など、そもそも受信端末がVGA(640x480)レベルの表示解像度能力のディスプレイを有した端末である場合には、たとえ送信映像ソース解像度がフルHD（1920x1080）の解像度の空間拡張レイヤデータを送信しても十分に生かせない。加えて、受信機の有するデコーダのデコード能力が720P（1280x720）までしかサポートしていないにもかかわらず、フルHD（1920x1080）の解像度の空間拡張レイヤデータを送信しても十分に生かせないため、あらかじめ受信端末と送信端末とのネゴシエーションにより受信端末の最大解像度やビットレートなどの能力交換を実施しておき、送信端末はその能力以下の映像となるようにあらかじめ拡張レイヤデータを間引いて送信してもよい。これまで述べた手法は本制限を加えた場合においてもその機能を十分生かすことが可能である。
【００８７】
また、上述した各部を既存の送信装置及び受信装置に新たなプログラムとしてインストールして本発明の機能を実現するようにしても構わない。前記映像符号化部におけるスケーラブル符号化は前記実施形態に示したものに限られない。例えば、拡張レイヤの階層をさらに多数に分割しても構わない。
【００８８】
その他、本発明の趣旨に反しない限りにおいて様々な変形や実施形態の組み合わせを行っても構わない。
【符号の説明】
【００８９】
２００    ：データ転送システム
１００    ：受信装置
１０１    ：送信装置
２        ：符号化制御部
３        ：映像符号化部
４        ：映像データ記憶部
５        ：映像特性特定部
６        ：優先拡張レイヤ設定部
７        ：送信処理部
８        ：受信処理部
９        ：映像復号部
７１      ：レイヤ認識部
７２      ：送出部
７３      ：再送処理部
８１      ：受信部
８２      ：レイヤ識別部
８３      ：ＦＥＣ部
８４      ：受信完了処理部
８５      ：フレーム検出部
８６      ：タイマー部
【図１】
2014003371.tif 000003
【図２】
2014003371.tif 000004
【図３】
2014003371.tif 000005
【図４】
2014003371.tif 000006
【図５】
2014003371.tif 000007
【図６】
2014003371.tif 000008