(57)【要約】【課題】映像を構成するフレームの一部が欠損したとしても映像品質を高く保つことができる映像配信システムを提供する。【解決手段】フレーム単位で映像データを送受信する映像データ配信システムにおいて，フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，分類された映像成分の輝度情報を色相情報に先立って受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える送信機から，映像データを受信する受信機であって，送信機より受信した映像成分について，輝度情報が欠損していた場合，当該輝度情報のみの再送を送信機に要求する再送要求手段と，輝度情報の欠損が含まれるフレームを破棄するフレーム破棄手段と，映像成分の欠損が色相情報だけである場合，当該欠損を含むフレームを再生対象とする手段とを備える受信機。【選択図】図２
2012100187.tif 000002
【特許請求の範囲】
【請求項１】
送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機であって，
フレームを構成する映像成分を視覚的影響度の強弱に応じて複数の種類に分類する映像成分分類手段と，
分類された映像成分を視覚的影響度の強いものから順次受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
を備える送信機。
【請求項２】
送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機であって，
フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，
分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
を備える送信機。
【請求項３】
フレーム単位で映像データを送受信する映像データ配信システムにおいて，
フレームを構成する映像成分を視覚的影響度の強弱に応じて複数の種類に分類する映像成分分類手段と，
分類された映像成分を視覚的影響度の強いものから順次受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
を備える送信機から，前記映像データを受信する受信機であって，
前記送信機より受信した映像成分について，所定の視覚的影響度よりも強い映像成分が欠損していた場合，当該映像成分のみの再送を前記送信機に要求する再送要求手段と，
前記所定の視覚的影響度よりも強い映像成分の欠損が含まれるフレームを破棄するフレーム破棄手段と，
映像成分の欠損が前記所定の視覚的影響度よりも弱いものだけである場合，当該欠損を含むフレームを再生対象とする手段と，
を備える受信機。
【請求項４】
フレーム単位で映像データを送受信する映像データ配信システムにおいて，
フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，
分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
を備える送信機から，前記映像データを受信する受信機であって，
前記送信機より受信した映像成分について，輝度情報が欠損していた場合，当該輝度情報のみの再送を前記送信機に要求する再送要求手段と，
輝度情報の欠損が含まれるフレームを破棄するフレーム破棄手段と，
映像成分の欠損が色相情報だけである場合，当該欠損を含むフレームを再生対象とする手段と，
を備える受信機。
【請求項５】
送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機を，
フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，
分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
して機能させるためのプログラム。
【請求項６】
フレーム単位で映像データを送受信する映像データ配信システムにおいて，
フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，
分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，
受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段と，
を備える送信機から，前記映像データを受信する受信機を，
前記送信機より受信した映像成分について，輝度情報が欠損していた場合，当該輝度情報のみの再送を前記送信機に要求する再送要求手段と，
輝度情報の欠損が含まれるフレームを破棄するフレーム破棄手段と，
映像成分の欠損が色相情報だけである場合，当該欠損を含むフレームを再生対象とする手段と，
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はネットワークを介した映像配信システムおよびその方法に関する。
【背景技術】
【０００２】
ネットワークを通じて，送信機に接続された映像ソースから取得された映像を，受信機に接続されたモニタなどの出力装置に配信する映像配信システムが実用化されている。一般に配信される映像は伝送レートを小さく抑えるため符号化されており，代表的なものとしてＭＰＥＧ方式やＭｏｔｉｏｎ―ＪＰＥＧ方式などが利用されている。Ｍｏｔｉｏｎ―ＪＰＥＧを利用する場合，送信機は映像を構成する各フレームをＪＰＥＧアルゴリズムを用いて圧縮し，これを受信機に向けて送信する。一方，受信機は，圧縮された映像フレームを受信し，これを映像データに変換（デコード）してモニタなどの映像出力装置に出力する。
【０００３】
ところで上記した映像配信システムは，ネットワーク上に映像データを流しているため，何らかの事由で映像データを含むパケットが伝送路上で欠損することがある。このような問題に対し，従来は，受信した映像データを構成するパケットの欠損を受信装置が検出すると，欠損の発生した映像フレームを破棄したり，必要に応じて送信機にパケットの再送要求をすることにより対処していた。しかし，このような手段では，必要な映像フレームレートを満たすことが容易ではなく，結果として出力映像の乱れを引き起こす場合があった。特に，特許文献１にて開示されているように，フレームの一部の欠損を検出した場合に，そのフレーム全体を欠損と扱うことは，フレームレートの低下を引き起こす大きな要因となっていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１１１９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上の点に鑑み，本発明では，映像を構成するフレームの一部が欠損したとしても映像品質を高く保つことができる映像配信システムを開示する。
【課題を解決するための手段】
【０００６】
本発明にかかる第１の形態は，送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機であって，フレームを構成する映像成分を視覚的影響度の強弱に応じて複数の種類に分類する映像成分分類手段と，分類された映像成分を視覚的影響度の強いものから順次受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える。
【０００７】
本発明にかかる第２の形態は，送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機であって，フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える。
【０００８】
本発明にかかる第３の形態は，フレーム単位で映像データを送受信する映像データ配信システムにおいて，フレームを構成する映像成分を視覚的影響度の強弱に応じて複数の種類に分類する映像成分分類手段と，分類された映像成分を視覚的影響度の強いものから順次受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える送信機から，映像データを受信する受信機であって，送信機より受信した映像成分について，所定の視覚的影響度よりも強い映像成分が欠損していた場合，当該映像成分のみの再送を送信機に要求する再送要求手段と，所定の視覚的影響度よりも強い映像成分の欠損が含まれるフレームを破棄するフレーム破棄手段と，映像成分の欠損が所定の視覚的影響度よりも弱いものだけである場合，当該欠損を含むフレームを再生対象とする手段とを備える。
【０００９】
本発明にかかる第４の形態は，フレーム単位で映像データを送受信する映像データ配信システムにおいて，フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える送信機から，映像データを受信する受信機であって，送信機より受信した映像成分について，輝度情報が欠損していた場合，当該輝度情報のみの再送を送信機に要求する再送要求手段と，
輝度情報の欠損が含まれるフレームを破棄するフレーム破棄手段と，映像成分の欠損が色相情報だけである場合，当該欠損を含むフレームを再生対象とする手段とを備える。
【００１０】
本発明にかかる第５の形態は，送信機から受信機に向けて映像データをフレーム単位で送信する映像データ配信システムにおける送信機を，フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段として機能させるためのプログラム。
【００１１】
本発明にかかる第６の形態は，フレーム単位で映像データを送受信する映像データ配信システムにおいて，フレームを構成する映像成分を輝度情報および色相情報に分類する映像成分分類手段と，分類された映像成分の輝度情報を，色相情報に先立って受信機に向けて送信する送信手段と，受信機からの要求に応じて，既に送信した映像成分を再度送信する再送手段とを備える送信機から，映像データを受信する受信機を，送信機より受信した映像成分について，輝度情報が欠損していた場合，当該輝度情報のみの再送を送信機に要求する再送要求手段と，輝度情報の欠損が含まれるフレームを破棄するフレーム破棄手段と，映像成分の欠損が色相情報だけである場合，当該欠損を含むフレームを再生対象とする手段として機能させるためのプログラム。
【発明の効果】
【００１２】
本発明によると，視覚的に影響の強い映像成分（例えば輝度情報）が優先的に送信機より送信されるので，たとえネットワーク上でパケットの欠損が生じても，その影響を限定的なものに抑制することができる。これは，優先的に送信されるパケットほど，欠損時の再送に充てる時間をより多く確保できるためである。
さらに，受信機は，映像成分の一部が欠損，具体的には，視覚的に影響の少ない映像成分（例えば色相情報）が欠損していたとしても当該フレームを破棄しないので，映像品質の劣化およびフレームレートの低下を抑制することができる。
【発明を実施するための形態】
【００１３】
以下では図面を参照し本発明に係る実施例を説明する。
［実施例１］
［システム全体図］
【００１４】
図１は本発明にかかるシステム全体図である。送信機１０１と受信機１０３とがネットワーク接続されている。さらに，送信機１０１は，映像ソースであるＰＣ１０５とＶＧＡなどのケーブルにて接続されており，受信機１０３は映像出力装置であるモニタ１０７とＶＧＡなどのケーブルにて接続されている。本発明の映像配信システムは，ＰＣ１０５から出力された映像データを，送信機１０１が各受信機１０３に向かって送信し，映像データを受信した受信機１０３が，当該データをモニタ１０７に出力するものである。
【００１５】
［送信機のブロック図］
図２は送信機１０１のブロック図である。ＰＣ１０５より受信した映像データは映像受信手段２０１が受信し，次いで符号化手段２０３に送られる。符号化手段２０３は，受信した映像データを所定の符号化形式により符号化し，フレーム単位の映像データとして映像データ記憶手段２０５に記憶させる。なお，本実施例において符号化形式はＪＰＧＥ２０００とする。ＪＰＥＧ２０００により符号化された映像データは，フレーム単位であると共に，各フレームは以下に示す３種類の映像成分により構成されている。
【００１６】
ＪＰＥＧ２０００において映像データはコードストリームデータと呼ばれ，このコードストリームデータは，輝度情報（Ｙ），色相情報１（Ｃｒ），色相情報２（Ｃｂ）の３つの映像成分によって構成されており，これらはフレーム毎に存在する。１フレーム中の映像データは図５（ａ）に記載の形式となっている。具体的には，輝度情報（Ｙ），色相情報１（Ｃｒ），色相情報２（Ｃｂ）の３種類の映像成分からなるコンポーネントにより構成されている。一般に，１フレーム中には複数のコンポーネントが存在し，本実施例では４つとしている。なお，それぞれの情報の添え字は，大きくなるにつれて高解像度になっていることを意味している。たとえば，Ｙ１は最も解像度が低い輝度情報であり，Ｙ４は最も解像度が高い輝度情報である。
【００１７】
ところで，１つのコードストリーム，すなわち１枚の映像フレームにおいて輝度情報と色相情報とは等価なものである。つまり，それぞれの情報量には差異がない。しかし，人間の視覚にとって，輝度情報と色相情報は必ずしも等価なものではなく，一般に，全体のイメージを左右する輝度情報を支配的なものとして捉える傾向にある。同様のことが解像度にも当てはまり，輝度情報および色相情報ともに低解像度の情報になるほどその傾向が強くなる。つまり，人間の視覚に対する各情報の影響度は，輝度情報＞色相情報，かつ低解像度情報＞高解像度情報となる。本発明ではこの視覚に対する影響度を考慮した映像配信を行う。
【００１８】
説明を図２のブロック図に戻す。映像データ検出手段２０７は，映像データ記憶手段２０５に映像データが記憶されているかどうかを検出する手段である。この検出はフレーム単位で行われる。具体的には，１枚のフレームを構成するすべての映像成分（図５（ａ）のＹ１〜Ｃｂ４）がそろった時点である。
【００１９】
映像成分並べ替え手段２０９は，図５（ａ）に示す，検出されたフレームの各映像成分を所定の順序に並べ替える。図５（ｂ）は並べ替えた後の図である。図から明らかな通り，輝度情報に関する映像成分をまとめて前方に配置し，色相情報がその後に続いている。さらに，それぞれの情報の内部では，低解像度情報が前方に，高解像度情報が後方に配置される。こうする理由は，上述したとおり，輝度情報が色相情報に比して，且つ，低解像度情報が高解像度情報に比して人間の視覚的影響度が強く，これらの映像成分を優先的に送信するためである。
【００２０】
この並べ替えの処理が本発明のポイントである。後述するように，本発明の映像配信システムはネットワークでパケットの損失が発生した場合，その再送を行うものである。映像成分の並べ替えによって視覚的に影響の強いデータを優先的に送信することは，たとえこのようなデータに欠損が生じても，データを再送する時間をより多く確保できることにつながる。これが結果として再生映像品質の向上に貢献するわけである。
【００２１】
映像データ送信手段２１３は，並べ替えられた映像データをネットワーク送受信手段２１５を介して受信機１０３に送信する手段である。ネットワークに送信される映像データの単位は，前述した映像成分ではなく，図５（ｃ）に示すように，ネットワークパケット単位にて送信される。
再送制御手段２１１は，受信機１０３からのパケット再送要求を受信した場合に，該当パケットを受信機１０３に向け送信する手段である。
【００２２】
［フローチャート１］
以下では上述した機能がどのような順序で動作するかを説明する。
図３に示す通り，送信機１０１は，映像送信タスクと再送タスクの２つのタスクから構成されている。
【００２３】
まずは映像送信タスクについて説明する。
ステップ３０１にて，映像データ検出手段２０７は，映像データ記憶手段２０５に映像データが記憶されているかどうかを確認し，映像データを検出すれば，処理が次のステップに進み，そうでなければ検出処理を繰り返し行う。
ステップ３０３にて，映像成分並べ替え手段２０９は，記憶されている映像データの映像成分（輝度情報および色相情報）を図５（ｂ）にて説明したように，輝度情報かつ低解像度情報を前方に，色相情報かつ高解像度情報を後方に配置し並べ替える。
ステップ３０５にて，映像データ送信手段２１３は，映像配信システムの満たすべきフレームレート（例えば３０ｆｐｓなど）に基づく所定のタイミングで，並べ替えられた映像データのパケットを受信機１０３に向けて送信する。
【００２４】
次いで，再送タスクについて説明する。
ステップ３５１にて，再送制御手段２１１は，受信機１０３より再送要求を受信したかどうかを判定し，受信していれば処理がステップ３５３に進み，そうでなければ受信判定処理を繰り返す。ステップ３５３にて，再送制御手段２１１は，受信機１０３より要求のあったパケットを映像データ送信手段２１３経由で受信機１０３に向けて送信する。
【００２５】
［受信機のブロック図］
図４は受信機１０３のブロック図である。映像データ受信手段４０３は，ネットワーク送受信手段４０１を通じて送信機１０１より送信された映像データを受信し，これを映像データ記憶手段４０５に記憶させる。映像データ記憶手段４０５に記憶された映像データは，映像成分並べ替え手段４１１が映像成分をデコードに適した元の順序に並べ替える。すなわち，図５（ｂ）の状態で受信した映像データを図５（ａ）の状態に並べ替える。デコード手段４０７は，並べ替えられた映像データを所定のタイミングでデコードし，デコードされた映像データは映像出力手段４０９によってモニタに出力される。
【００２６】
フレーム破棄手段４１３は，映像データ記憶手段４０５に記憶された映像データをフレーム単位で破棄する手段である。図６（ａ）に示すように，本発明では，受信した映像データの各映像成分に対し，所定量の欠損を許容している。図によれば，Ｙ１〜Ｃｂ１までを欠損許容不可データとし，Ｃｒ２〜Ｃｂ４を欠損許容データとしている。前述したように，輝度情報であるＹは色相情報よりも視覚的影響度が強く，さらに低解像度のものほどその傾向が強い。すなわち，視覚的に影響の強い映像成分は必須とし，比較的影響の少ない色相情報や，より高解像度な情報は欠損を許容することにしている。
【００２７】
こうする理由は，本発明が映像配信システムにかかるものであることに関連している。従来技術では，映像成分の一部，例えば色相情報のＣｒ５が欠損した場合，その映像成分が含まれるフレーム全体を欠損する処理としていた。これは映像品質を最優先に考慮する場合には有効であるが，映像配信システムのように映像の連続性が重視されるような環境においては，一部が欠損しても，所定の映像品質が維持されているフレームならば，これを再生させる方が，視覚的には自然に見えることが多いと考えられるため，本発明ではフレーム内における欠損を許容することとしている。つまり，視覚的に影響度が弱い映像成分の欠損を許容している。
【００２８】
一方で，視覚的に影響の強い映像成分の欠損は，その映像品質低下が著しく，無理に再生させると，不自然な映像となることから，フレーム自体を破棄することとした。これが，フレーム破棄手段４１３の役割である。すなわち，欠損許容不可データが欠損していた場合に，当該データの含まれるフレームを映像データ記憶手段４０５より破棄する。
【００２９】
欠損データ検出手段４１５は，送信機１０１より送信された映像データの欠損を検出する。具体的には，図６（ｂ）に示すように，ネットワークパケット単位での欠損となる。図では，ネットワークパケット２および４が欠損した例を示している。再送要求送信手段４１７は，検出された欠損データが欠損許容データか欠損許容不可データかを判定し，不可のデータであるならば，送信機１０１へ再送の要求をする。一方，欠損許容データが欠損していた場合は，再送要求は行なわれず，情報量ゼロの画像情報に置き換えられる。
【００３０】
図７（ａ）は，送信機１０１の再送制御手段２１１から再送されたネットワークパケットにより欠損データの補完が成功した場合，図７（ｂ）は補完が失敗した場合を示している。補完が失敗する場合の例としては，送信機１０１への再送要求が届かなかった場合や，再送パケットがさらに欠損した場合，およびフレームレートに依存する再生タイミングに再送パケットの到着が間に合わなかった場合などがある。最終的に補完が成功しなかった場合には，フレーム破棄手段４１３により当該フレームは破棄されることとなる。これは，上述したように再送要求送信手段４１７は，欠損許容不可データしか再送の要求をしないからである。
【００３１】
デコード手段４０７は，フレームレートを満たすための所定のタイミングに基づいて，映像データ記憶手段４０５から映像データを読み出しデコードする。デコードされた映像データは映像出力手段４０９がモニタに出力する。
【００３２】
［総括］
以上説明したように，本発明によると，視覚的に影響の強い映像成分（例えば輝度情報）が優先的に送信機より送信されるので，たとえネットワーク上でパケットの欠損が生じても，その影響を限定的なものに抑制することができる。これは，優先的に送信されるパケットほど，欠損時の再送に充てる時間をより多く確保できるためである。
さらに，受信機は，映像成分の一部が欠損，具体的には，視覚的に影響の少ない映像成分（例えば色相情報）が欠損していたとしても当該フレームを破棄しないので，映像品質の劣化およびフレームレートの低下を抑制することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明のシステム全体図
【図２】送信機のブロック図
【図３】送信機のフロー
【図４】受信機のブロック図
【図５】フレーム中の映像成分
【図６】欠損許容データと許容不可データ
【図７】欠損データの再送による補完
【符号の説明】
【００３４】
２０９  映像成分並べ替え手段
２１１  再送制御手段
４１３  フレーム破棄手段
４１５  欠損データ検出手段
４１７  再送要求送信手段
【図１】
2012100187.tif 000003
【図２】
2012100187.tif 000004
【図３】
2012100187.tif 000005
【図４】
2012100187.tif 000006
【図５】
2012100187.tif 000007
【図６】
2012100187.tif 000008
【図７】
2012100187.tif 000009