(57)【要約】【課題】伝送路で生じたエラー画像を、送信側に特殊な仕組みを用意することなく、不自然にならない補間を実現することが可能な動画データ受信装置を提供すること。【解決手段】符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量を用いて文字やバーコードやＱＲコード等の自然画像で無い領域を検出する領域検出手段と、前記領域検出手段の検出結果に応じて前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを含んで動画データ受信装置を構成する。【選択図】図１
2006196959.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量を用いて文字やバーコードやＱＲコード等の自然画像で無い領域を検出する領域検出手段と、前記領域検出手段の検出結果に応じて前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを有することを特徴とする動画データ受信装置。
【請求項２】
前記復号手段によって復号された画像を１フレーム分保存するフレーム保存手段を持ち、前記領域分割手段は、フレーム保存手段によって保存されている画像データを使用し、補間処理切り替え手段による切り替えは、１フレーム前の画像を基に検出された前記領域検出手段の検出結果を用いて行うことを特徴とする請求項１記載の動画データ受信装置。
【請求項３】
前記補間処理切り替え手段は、自然画像でない領域の補間方法として、補間する領域の周囲にマッチングする領域を、前フレームの画像データから探索して補間する補間方法を選択することを特徴とする請求項２記載の動画データ受信装置。
【請求項４】
エラーした領域に対して送信側に再送信要求を送る再送信要求手段を持ち、前記補間処理切り替え手段は、自然画像でない領域に対しては、再送信要求手段による再送信要求を選択し、その他の領域は前記補間処理手段による画像補間処理を選択することを特徴とする請求項２記載の動画データ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像情報をリアルタイムに受信して復号する動画像受信復号装置において、伝送システムにおけるデータ誤りや欠落等に起因した画像品質の低下を受信装置で改善する機能を持つ動画データ受信装置に関する。
【背景技術】
【０００２】
インターネット等のネットワークシステムを利用して、動画像をリアルタイムに伝送するためのアプリケーションプロトコルとして、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）がある。ＲＴＰでリアルタイムに低遅延でデータを伝送するためには、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）を用いるのが一般的である。ＵＤＰでは、ネットワーク上で起きるパケットデータの欠落、遅延による廃棄、順序逆転等について関知しないため、アプリケーションにその処理を任せられる。動画像伝送においてデータの欠落や廃棄が起きた場合は、受信装置側で画像の時間的・空間的な類似性等を利用して補間処理が行われる（例えば、特許文献１参照）。
【０００３】
ＵＤＰ上で廃棄されたパケットを、受信装置側の画像処理で補間処理するだけでは画質が低下するため、冗長度を上げて多少のエラーを訂正可能なＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）と、データ再送要求処理であるＡＲＱ（Ａｕｔｏ  Ｒｅｐｅａｔ  ｒｅＱｕｅｓｔ）を動的に切り替えて制御するシステムも提案されている（例えば、特許文献２参照）。
【０００４】
又、画像を領域分割し、領域毎に階層符号化の解像度を変えて伝送することにより、パケット廃棄による画像劣化を低減するシステムも提案されている（例えば、特許文献３参照）。
【０００５】
【特許文献１】特開平０７−１１１６５４号公報（第５〜６頁、図１）
【特許文献２】特開２００３−１７９５８０号公報（第１９〜２１頁、図１４）
【特許文献３】特開２００４−０９６３０９号公報（第５〜７頁、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来例では、文字やバーコードやＱＲコード等の自然画像で無い画像に対しても、風景等の自然画像と同様のアルゴリズムで処理されるため、例えば同じフレーム内の隣接したブロックからの補間が選択されると、人間の目からは明らかに誤りと分かる補間が行われる場合がある。又、特許文献３の例では、画像の領域毎に符号化方法を変化させる方法が採られているが、この方法は送信機器側で符号化処理を領域毎に切り替える特殊処理が必要なため、一般的なコンテンツ送信サーバーからの画像データ受信の際には適用できないという問題点がある。
【０００７】
本発明は上記技術的課題に鑑みてなされたもので、その目的とする処は、リアルタイム伝送される動画像データを表示する動画データ受信装置において、伝送路で生じたエラー画像を、送信側に特殊な仕組みを用意することなく、不自然にならない補間を実現することが可能な動画データ受信装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１記載の発明において、符号化された動画像データを受信する受信手段と、受信データの通信路上でのエラーを検出するエラー検出手段と、エラー検出手段で検出されたエラー位置の画像データを補間する画像補間手段と、受信データを復号化する復号手段と、復号化された画像を領域分割する領域分割手段と、分割された領域ごとに特徴量を算出する特徴量算出手段と、算出された特徴量を用いて文字やバーコードやＱＲコード等の自然画像で無い領域を検出する領域検出手段と、前記領域検出手段の検出結果に応じて前記画像補間手段での補間方法を切り替える補間処理切り替え手段とを含んで動画データ受信装置を構成したことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、前記復号手段によって復号された画像を１フレーム分保存するフレーム保存手段を持ち、前記領域分割手段は、フレーム保存手段によって保存されている画像データを使用し、補間処理切り替え手段による切り替えは、１フレーム前の画像を基に検出された前記領域検出手段の検出結果を用いて行うことを特徴とする。
【００１０】
請求項３記載の発明は、請求項２記載の発明において、前記補間処理切り替え手段は、自然画像でない領域の補間方法として、補間する領域の周囲にマッチングする領域を、前フレームの画像データから探索して補間する補間方法を選択することを特徴とする。
【００１１】
請求項４記載の発明は、請求項２記載の発明において、エラーした領域に対して送信側に再送信要求を送る再送信要求手段を持ち、前記補間処理切り替え手段は、自然画像でない領域に対しては、再送信要求手段による再送信要求を選択し、その他の領域は前記補間処理手段による画像補間処理を選択することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、リアルタイム伝送される動画像データを表示する動画データ受信装置において、伝送路で生じたエラー画像を、送信側に特殊な仕組みを用意することなく、不自然にならない補間を実現することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１４】
＜実施の形態１＞
図１は本発明の実施の形態１に係る動画データ受信装置の概略構成を示すブロック図である。
【００１５】
図１において、１００は無線接続された通信インターフェースであり、リアルタイムに送信されてくる符号化された動画像データを受信する。ここでの動画像データは、ＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  ４）規格によって圧縮され、ＵＤＰを用いたＲＴＰのパケットとして送信されてくるものとする。又、通信データは、パケットエラー等に対応するエラー訂正手法として、ＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）が使用され、多少のパケットエラー等は訂正が可能である。このＦＥＣによるエラー訂正及び付加されている冗長データの削除を行うのがＦＥＣデコード処理部１１０である。ＦＥＣデコード処理部１１０の出力は、画像デコード処理部１３０に送られると共に、エラー検出部１２０にも送られる。エラー検出部１２０では、ＦＥＣデコード処理部１１０でエラー訂正し切れなかったエラーを検出する。ここでのエラーは、通信路上でのデータ破壊以外に、遅延時間が規定よりも長過ぎるものも含む。
【００１６】
画像デコード処理部１３０では、ＭＰＥＧ４圧縮された画像データをデコードする。デコードされた結果は、現フレームバッファ１４０に逐次格納される。このとき、付属情報として、動きベクトルデータも同時に書き込まれる。現フレームバッファ１４０の内容は、次のフレームのデータのデコードが開始される前に、前フレームバッファ１５０にコピーされる。
【００１７】
領域判定部１６０は、前フレームバッファ１５０の内容に基づいてブロック分割した領域毎に次のフレームでエラーとなったときの補間方法を決定し、補間方法テーブル１７０に書き込む。領域判定部１６０の詳細な処理については、図を用いて後述する。
【００１８】
画像補間処理部１８０は、エラー検出部１２０からエラー位置情報を受け取り、補間方法テーブルの該当位置の情報に従って現フレーム１４０及び前フレーム１５０の内容を用いて補間処理を行い、現フレーム１４０の該当位置に書き込む。画像補間処理部１８０の詳細な処理については、図を用いて後述する。
【００１９】
画像デコード処理部１３０によるデコード及び画像補間処理部１８０による補間処理が終了した後、現フレームバッファ１４０の内容が表示制御部１９０によって表示パネル１９１に表示される。
【００２０】
図２は領域判定部１６０の内部構成を表した図である。又、図３は実際の画像及び処理結果を示す図である。
【００２１】
ブロック切り出し部２００では、前フレームバッファ１５０の画像をブロックに切り出しながら読み出す。この分割ブロックの単位は、ＭＰＥＧ４における処理単位であるマクロブロックよりも大きく設定されている。ブロック切り出し部２００で切り出した様子を、図３の（ａ）に示す。図３の（ａ）において、ブロック３０，３１，３２，３３の順に読み出されていく。
【００２２】
ブロック切り出し部２００で切り出されたデータは、コントラスト算出部２１０、ランレングス計測部２２０に送られ、特徴量が算出される。
【００２３】
コントラスト算出部２１０では、ブロックを更に小領域に分割し、小領域内の最大濃度差を累積していく処理を行う。
【００２４】
ランレングス計測部２２０では、同一色の連続するランレングスを、縦・横・斜め方向で計測する。
【００２５】
ブロック分類部２３０では、コントラスト算出部２１０、ランレングス計測部２２０の情報を基にコントラストが高く、又、短いランが多数ある領域を文字領域と判定し、「１」を出力し、コントラストが低い領域を重要性の低い目立たない領域と判定して「３」を出力し、その他の領域に対しては「２」を出力し、補間テーブル１７０の該当位置に書き込む。この判定結果の例を図３の（ｂ）に示す。
【００２６】
図４は画像補間部１８０の内部構成を表した図である。
【００２７】
動きベクトル算出部４００では、エラー検出部１２０からエラー位置情報を受け取り、その位置情報を基に現フレームバッファ１４０からエラー位置周辺のエラーしていないマクロブロックの動きベクトル情報を読み取り、エラー位置の動きベクトルを算出する。動きベクトルの算出は、周囲の動きベクトルの重み付き平均を取ることで行う。
【００２８】
マッチング検索部４１０では、動きベクトル算出部４００で算出された動きベクトルを元に、現フレームバッファ１４０内のエラー位置周辺の画像データと、前フレームバッファ１５０内の動きベクトルで示される位置周辺の画像を比較し、最も類似度が高い位置を探索する。
【００２９】
セレクタ４２０は、補間方法テーブル１７０における、エラー位置の含まれるブロックの補間方法選択情報を示す値に応じて、「３」の場合はエラー検出部１２０からのエラー位置情報、「２」の場合は動きベクトル算出部４００からの位置情報、「１」の場合はマッチング探索部からの位置情報が選択される。又、この補間方法選択情報を示す値に応じて、「３」の時は動きベクトル算出部４００とマッチング検索部４１０がディセーブルされ、「２」の時はマッチング検索部４１０がディセーブルされる。
【００３０】
ブロック転送部４３０では、セレクタ４２０から出力される位置情報に応じて、前フレームバッファ１５０から画像データが読み出され、現フレームデータ１４０の該当エラー位置に書き込む。
【００３１】
この結果、重要性の低い目立たない領域「３」では、エラー位置と同じ位置、通常の領域「２」では、算出された動きベクトルで示される位置、文字領域「１」では、算出された動きベクトル周辺でマッチング処理によって検出された位置の前フレームバッファ１５０の画像で補間処理が行われる。
【００３２】
＜実施の形態２＞
本実施の形態は、実施の形態１と比較して、再送要求処理部５００が追加されている。この再送要求処理部５００は、補間方法テーブル１７０における、エラー位置の含まれるブロックの補間方法選択情報を示す値に応じて、文字領域「１」の場合は、送信機器に対してエラー情報の再送要求を行う。このとき、実施の形態１同様、画像補間部１８０による補間も同時に行われ、再送されたデータが、表示制御部１９０の表示タイミングに間に合う場合には、再送されたデータに置き換えられる。
【００３３】
本実施の形態では、再送処理をエラー情報の再送要求を文字領域「１」に含まれる場合に限定することにより、補間によって違和感の起き易い領域のエラーを低減することができる。
【００３４】
＜その他の実施形態＞
上記実施の形態で説明した動画データ受信装置では、動画像はＭＰＥＧ４で圧縮されているものとしたが、ＭＰＥＧ２、Ｈ．２６４、ＭｏｔｉｏｎＪＰＥＧ等、他の圧縮形式を用いた場合にも同様の効果が得られる。
【００３５】
又、動画データの通信手段としては無線による通信としているが、有線接続や、光接続等による通信としても良く、通信のプロトコルもＲＴＰ、ＵＤＰに限定されるものではない。
【００３６】
画像補間処理に関しても、周囲のデータの周波数成分から補間する方法等、様々な方式が知られており、本発明の効果を損なうことなく、他の補間方式に置き換えることも可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る動画データ受信装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態１に係る動画データ受信装置の領域判定手段の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る動画データ受信装置の領域判定処理結果の例を示す図である。
【図４】本発明の実施の形態１に係る動画データ受信装置の画像補間手段の構成を示すブロック図である。
【図５】本発明の実施の形態２に係る動画データ受信装置の概略構成を示すブロック図である。
【符号の説明】
【００３８】
１００  通信部
１１０  ＦＥＣデコード処理部
１２０  エラー検出部
１３０  画像デコード部
１５０  前フレームバッファ
１６０  領域判定部
１７０  補間方法テーブル
１８０  画像補間処理部
２００  ブロック切り出し部
２１０，２２０  特徴量算出部
２３０  領域検出部
４１０  マッチング探索部
４２０  補間方法切り替え部
５００  再送要求部
【図１】
2006196959.tif 000003
【図２】
2006196959.tif 000004
【図３】
2006196959.tif 000005
【図４】
2006196959.tif 000006
【図５】
2006196959.tif 000007