(57)【要約】【課題】  ビットレートが高く保たれた映像データを受信し、受信側のバッファメモリを大きくすることなく、違和感のないストリーミング映像をユーザが視聴可能な映像処理装置を提供する。【解決手段】  第１フレーム（Ｉフレーム）と、第２フレーム（差分フレーム）と、を含む映像データをパケットとして受信するデータ受信部（ＲＦ受信部１００）と、前記パケットに含まれるエラーを検出するパケットデータエラー検出部（２３０）と、映像データを復号する復号部（映像音声データ抽出部２２０）と、前記復号された映像データに対する補正処理を行う補正処理部（３１０）と、を備え、前記補正処理部は、検出された前記パケットデータエラーの内容に基づいて、空間フィルタを用いた２次的補完、及び時間軸処理による時間軸補完を組み合わせて実行することを特徴とする映像処理装置を提供する。【選択図】  図１
2016034069.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームの画像を含む映像データであって、フレーム内予測により符号化された第１フレームと、フレーム間予測により符号化された第２フレームと、を含む映像データをパケットとして受信するデータ受信部と、
前記パケットに含まれるデータ送受信時のエラーをパケットデータエラーとして検出するパケットデータエラー検出部と、
前記パケットに基づいて映像データを復号する復号部と、
前記復号された映像データに対する補正処理を行う補正処理部と、を備え、
前記補正処理部は、検出された前記パケットデータエラーの内容に基づいて、空間フィルタを用いた２次的補完、及び時間軸処理による時間軸補完を組み合わせて実行する
ことを特徴とする映像処理装置。
【請求項２】
前記補正処理部は、処理対象のフレームの画像について検出された前記パケットデータエラーの大きさが所定の閾値よりも大きい場合には、該フレームの直前のフレームの画像を、該フレームの画像とする
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記補正処理部はさらに、前記データ受信部が受信した前記パケットの時系列的な順序の入れ替え度合いを参照して、前記２次的補完及び前記時間軸補完を選択的に実行する
ことを特徴とする請求項１の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、映像データを受信して処理する映像処理装置に関する。
【背景技術】
【０００２】
近年、スマートフォンなどで表示されている画像を映像データとして無線ＬＡＮ等の無線ネットワーク通信で送信して、受信装置側で、スマートフォンなどで表示された画像と同じ画像を表示する映像送受信システムがある。このようなシステムでは、映像データの送受信時のパケットのロス、またはデータ遅延などにより、映像及び音声の欠落または遅延が生じることがある。このとき、送受信する映像データのビットレートを送受信路の状態に合わせて調整したとしても、突発的なパケットロスまたはデータ遅延により、映像データの一部が欠落してしまうことは避けがたい。このような環境において、できるだけ映像データの欠落を防止するために、受信装置のデータバッファのサイズを大きくしたり、または送受信される映像データのビットレートを下げたりする方法が採用されている。しかし、上記のようなシステムでは、データの信頼性を担保しない代わりにリアルタイム性を要求するアプリケーションに適したＵＤＰを使用されることが多いが、この場合、平均的なビットレートは確保されているものの一時的に通信状態が悪化した場合に、データの欠落が発生することがある。このような場合に、安定した無線通信が行われないことに起因するデータの欠落に対しては、データのビットレートを落とすことにより対処することが多い。
【０００３】
ところで、特許文献１には、映像再生装置において、高解像度の画像の欠落部を、対応する低画像度の画像から補完し、電波が弱いなどの場合でも高品質（高画像度）の映像の再生を維持できる技術について開示されている。特許文献２には、ストリームデータから画像処理対象フレームとして取り出すフレームを、フレーム間の不連続状態を検出することで一意に決定する画像処理装置について開示されている。特許文献３には、複数の部分領域に分割した画像に対して、多くの隣り合う画素が他のブロックに属する画素となるような相補的パターンに基づいて補正可能なデータの符号パターン化方法について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２９６２８５号公報
【特許文献２】特開２０１０−２４６０４２号公報
【特許文献３】特表２００１−５２１３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のようなデータの欠落が発生する場合に、ビットレートを一律に落としてしまうと、常にビットレートの低い、低品質の画像を視聴することになる。また、通信環境に合わせて動的にビットレートを変更する方法も採用可能であるが、受信側でどのようなエラー状態になっているかを送信側に伝達する必要があり、レスポンスよくビットレートを変更することに課題がある。
【０００６】
また、データを再送することで信頼性を担保するＴＣＰでの通信であれば、受信側のデータバッファを大きくすることで、通信状態の揺らぎには対応できるため、一般的にはこの方法が採用されることがある。しかし、この方法では、受信側のデータバッファを大きくすれば、その分遅延が大きくなり、またメモリの容量を大きくする必要があるため、上記システムのようなＵＤＰ通信でのストリーミングには対応できない。
【０００７】
そこで、ＵＤＰ通信におけるストリーミングでのエラーに対して、ビットレートを高く保ったままデータの送受信を行い、かつバッファメモリを大きくせずに、ユーザに違和感を与えないストリーミングでの映像の再生が求められる。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するために次のような手段を採る。なお、以下の説明において、発明の理解を容易にするために図面中の符号等を括弧書きで付記するが、本発明の各構成要素はこれらの付記したものに限定されるものではなく、当業者が技術的に理解しうる範囲にまで広く解釈されるべきものである。
【０００９】
本発明の手段１は、
複数のフレームの画像を含む映像データであって、フレーム内予測により符号化された第１フレームと、フレーム間予測により符号化された第２フレームと、を含む映像データをパケットとして受信するデータ受信部（ＲＦ受信部１００）と、
前記パケットに含まれるデータ送受信時のエラーをパケットデータエラーとして検出するパケットデータエラー検出部（２３０）と、
前記パケットに基づいて映像データを復号する復号部（映像音声データ抽出部２２０）と、
前記復号された映像データに対する補正処理を行う補正処理部（３１０）と、を備え、
前記補正処理部は、検出された前記パケットデータエラーの内容に基づいて、空間フィルタを用いた２次的補完（空間フィルタによる補正）、及び時間軸処理による時間軸補完（時間軸補正）を組み合わせて実行する
ことを特徴とする映像処理装置である。
【００１０】
上記構成の映像処理装置によれば、映像のビットレートを高く保ったままデータの送信を行い、かつ受信側のバッファメモリのサイズを大きくすることなく、受信側の映像処理装置で補正処理を行うことで、ユーザからは違和感のないストリーミングでの映像再生を実行することが可能となる。
【００１１】
本発明の手段２は、
前記補正処理部（３１０）は、処理対象のフレームの画像について検出された前記パケットデータエラーの大きさが所定の閾値よりも大きい場合には、該フレームの直前のフレームの画像を、該フレームの画像とする
ことを特徴とする手段１の映像処理装置である。
【００１２】
上記構成の映像処理装置によれば、受信したパケットに対応するフレームの画像が多くのエラーを含んでいた場合には、直前のフレームの画像を利用することによる補完を行うことで、映像視聴時にユーザが違和感を持つことを防止することができる。
【００１３】
本発明の手段３は、
前記補正処理部（３１０）はさらに、前記データ受信部が受信した前記パケットの時系列的な順序の入れ替え度合いを参照して、前記２次的補完及び前記時間軸補完を選択的に実行する
ことを特徴とする手段１の映像処理装置である。
【００１４】
上記構成の映像処理装置によれば、映像データを構成するパケットを複数の通信路から受信するなどして、受信したパケットの順序が大きくずれているような場合であっても、映像データに対する補正処理を適切に実行することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】映像処理装置の構成例を示す図。
【図２】パケットデータエラー検出部の構成例を示す図。
【図３】補正処理部の構成例を示す図。
【図４】補正処理の内容の具体例を示す表。
【発明を実施するための形態】
【００１６】
本発明に係る実施形態について、以下の構成に従って図面を参照しながら具体的に説明する。ただし、以下で説明する実施形態はあくまで本発明の一例にすぎず、本発明の技術的範囲を限定的に解釈させるものではない。なお、各図面において、同一の構成要素には同一の符号を付しており、その説明を省略する場合がある。
１．実施形態
（１）映像処理装置の構成例
（２）動作例
２．補足事項
３．本発明の特徴
【００１７】
＜１．実施形態＞
本発明の実施形態について、図１乃至図４を参照しながら説明する。
【００１８】
＜（１）映像処理装置の構成例＞
図１は、本実施形態の映像処理装置の構成例を示す図である。図１に示すように、本実施形態の映像処理装置は、ＲＦ受信部１００、ネットワークプロセッサ２００、グラフィックプロセッサ３００、音声再生部４００、及びディスプレイ部５００を含んで構成される。ネットワークプロセッサ２００は、パケット受信処理部２１０、映像音声データ抽出部２２０、及びパケットデータエラー検出部２３０を含んで構成される。グラフィックプロセッサ３００は、補正処理部３１０、フレームバッファ３２０、及びビデオ信号生成部３３０を含んで構成される。本実施形態で特徴的な構成は、パケットデータエラー検出部２３０及び補正処理部３１０である。
【００１９】
＜ＲＦ受信部１００＞
ＲＦ受信部１００は、外部機器から送信された映像データ（音声データを含む）を、パケットとして、ＲＦ（高周波）信号による無線通信により受信するよう構成される。このパケットは、映像データを所定のデータサイズに細分化して送信するためのデータである。ＲＦ受信部１００は、受信したパケットをパケット受信処理部２１０に出力する。
【００２０】
＜パケット受信処理部２１０＞
パケット受信処理部２１０は、ＲＦ受信部１００から入力されたパケットを、必要に応じて時間軸の順番に並べ替え、時間軸の順番に並べられたパケットのデータを、映像音声データ抽出部２２０及びパケットデータエラー検出部２３０に出力するよう構成される。なお、入力されたパケットが既に時間軸に整列している場合には、特に処理することなく、映像音声データ抽出部２２０及びパケットデータエラー検出部２３０にパケットを出力する。
【００２１】
＜映像音声データ抽出部２２０＞
映像音声データ抽出部２２０は、入力されたパケットから映像データと音声データとを抽出し、音声データを音声再生部４００に出力し、映像データを補正処理部３１０に出力するよう構成される。
【００２２】
＜パケットデータエラー検出部２３０＞
パケットデータエラー検出部２３０は、入力されたパケットが対応するフレームの画像にエラーを、パケットデータエラーとして検出するよう構成される。より具体的には、パケットデータエラー検出部２３０は、パケットの欠落状態として、エラーで欠落する（不足する）データのサイズ、及び欠落頻度を検出する。
【００２３】
図２は、パケットデータエラー検出部２３０の構成例を示す図である。パケットデータエラー検出部２３０は、映像音声データ抽出部２３１、欠落サイズ検出部２３２、及び欠落間隔検出部２３３を含んで構成される。
【００２４】
＜映像音声データ抽出部２３１＞
映像音声データ抽出部２３１は、上述の映像音声データ抽出部２２０と同様の構成であるが、パケットに含まれる映像データについてのフレームサイズとブロックサイズとの情報を取得し、取得したフレームサイズとブロックサイズとの情報を欠落サイズ検出部２３２及び欠落間隔検出部２３３に出力するよう構成される。
【００２５】
＜欠落サイズ検出部２３２＞
欠落サイズ検出部２３２は、映像音声データ抽出部２３１から入力されたフレームサイズとブロックサイズとの情報、及びパケットに基づいて、パケットに発生するデータの欠落サイズ（大きさ）を検出するよう構成される。すなわち、欠落サイズとは、映像に含まれるフレーム画像においてデータが認識されない画素数（割合）ともいえる。欠落サイズ検出部２３２は、検出されたデータの欠落サイズに関する情報を、補正処理部３１０に出力する。
【００２６】
＜欠落間隔検出部２３３＞
欠落間隔検出部２３３は、映像音声データ抽出部２３１から入力されたフレームサイズとブロックサイズとの情報、及びパケットに基づいて、パケットに発生するデータの欠落の時間間隔を欠落頻度として検出するよう構成される。なお、このデータ欠落の時間間隔は、フレーム画像におけるデータの欠落間隔ともいえる。欠落間隔検出部２３３は、検出されたデータの欠落頻度に関する情報を、補正処理部３１０に出力する。
【００２７】
＜補正処理部３１０＞
グラフィックプロセッサ３００に含まれる補正処理部３１０は、映像音声データ抽出部２２０から入力された映像データ、及びパケットデータエラー検出部２３０から入力された、パケットデータエラーを示す欠落サイズ及び欠落頻度に関する情報に基づいて、映像データに対する補正処理を実行するよう構成される。補正処理を実行された映像データは、ビデオ信号生成部３３０に出力される。補正処理の具体的内容については後述する。
【００２８】
＜フレームバッファ３２０＞
フレームバッファ３２０は、補正処理部３１０における補正処理に必要な、補正処理部３１０から入力された映像データに含まれるフレームの画像を、必要となる画面分記憶するよう構成される。フレームバッファ３２０は、補正処理部３１０に対して、記憶している画像を出力するよう構成される。
【００２９】
＜ビデオ信号生成部３３０＞
ビデオ信号生成部３３０は、補正処理部３１０から入力された映像データに基づいてディスプレイ部５００で表示するためのビデオ信号に変換し、ディスプレイ部５００に出力するよう構成される。
【００３０】
＜音声再生部４００＞
音声再生部４００は、ネットワークプロセッサ２００の映像音声データ抽出部２２０から入力された音声データに基づいて、スピーカーから音声を出力するよう構成される。
【００３１】
＜ディスプレイ部５００＞
ディスプレイ部５００は、グラフィックプロセッサ３００のビデオ信号生成部３３０から入力された映像データに基づいて映像を表示するよう構成される。
【００３２】
＜（２）動作例＞
次に、図１に示す映像処理装置において実行される映像再生処理について説明する。本実施形態の映像再生処理では、補正処理部３１０で実行される映像データの補正処理に特徴があるため、この補正処理について特に具体的に説明する。
【００３３】
ＲＦ受信部１００が映像データ（音声データを含む）をパケットの形式で受信すると、ＲＦ１００は、このパケットをパケット受信処理部２１０に出力する。パケット受信処理部２１０は、このパケットが時間軸の順に入力されない場合には、パケットを時間軸の順序に整理して、映像音声データ抽出部２２０及びパケットデータエラー検出部２３０に出力する。映像音声データ抽出部は、このパケットから映像データと音声データをそれぞれ抽出し、映像データを補正処理部３１０に、音声データを音声再生部４００に、それぞれ出力する。
【００３４】
パケットデータエラー検出部２３０は、入力されたパケットに含まれるエラーを、データの欠落として検出する。これらのパケットデータのエラーは、主に、外部機器からＲＦ受信部１００に映像データのパケットが送信される通信路で発生する。
【００３５】
より具体的には、パケットデータエラー検出部２３０の映像音声データ抽出部２３１は、入力されたパケットから映像データを抽出し、この映像データのフレームサイズ、及びブロックサイズに関する情報を欠落サイズ検出部２３２、及び欠落間隔検出部２３３に出力する。欠落サイズ検出部２３２は、入力された、パケットと、フレームサイズ及びブロックサイズに関する情報とに基づいて、映像データの欠落サイズを検出する。一方、欠落間隔検出部２３３は、入力された、パケットと、フレームサイズ及びブロックサイズに関する情報に基づいて、映像データの欠落頻度を検出する。検出された欠落サイズ及び欠落頻度に関する情報は、補正処理部３１０に出力される。
【００３６】
補正処理部３１０は、映像音声データ抽出部２２０から入力された映像データ、及びパケットデータエラー検出部２３０から入力された、パケットデータエラーを示す欠落サイズ及び欠落頻度に関する情報に基づいて、映像データに対する補正処理を実行する。以下、具体的な補正処理について説明する。
【００３７】
映像データの補正処理では、欠落したデータが、Ｉフレームのデータか、ＢフレームまたはＰフレームのデータかに基づいて、空間フィルタ適用による補正処理、及び時間軸処理が行われる。なお、Ｉフレームとはフレーム内予測によって再生されるフレームであり、フレーム全体の画像データを含む。Ｂフレーム及びＰフレームは、動き補償フレーム間予測により再生されるフレームであり、フレーム全体の画像データは含まない。Ｂフレーム及びＰフレームは、映像データの差分情報を含むため、差分フレームと総称されることがある。
【００３８】
図４は、補正処理部３１０で、パケットデータエラーの内容に基づいて行われる補正処理のそれぞれの場合分けを示す表である。
【００３９】
補正処理の対象のフレームがＩフレームである場合、以下の判定を行う。
（１−ａ）パケットデータの欠落サイズが、Ｉフレームが占めるサイズより大きく、かつ欠落頻度が所定の閾値（Ｒ１）よりも高い場合には、Ｉフレーム自体を再生できず、また、このＩフレームの前後の差分フレームについても欠落が発生している可能性が高い。
（１−ｂ）パケットデータの欠落サイズが、Ｉフレームが占めるサイズより大きいが、欠落頻度が所定の閾値（Ｒ１）よりも低い場合には、Ｉフレーム自体を再生できないが、このＩフレームの前後の差分フレームについての欠落は小さい。
（１−ｃ）パケットデータの欠落サイズは、Ｉフレームが占めるサイズより小さくかつ所定の閾値（Ｐ）よりも大きく、欠落頻度が所定の閾値（Ｒ１）よりも高い場合には、Ｉフレーム自体は大きなデータ欠落があり、前後の差分フレームもデータの欠落がある。
（１−ｄ）パケットデータの欠落サイズは、Ｉフレームが占めるサイズより小さくかつ所定の閾値（Ｐ）よりも大きく、欠落頻度が所定の閾値（Ｒ１）よりも低い場合には、Ｉフレーム自体は大きなデータ欠落があるが、前後の差分フレームのデータの欠落は少ない。
（１−ｅ）パケットデータの欠落がほぼ検出されない場合（所定の閾値（Ｐ）よりも小さい場合）には、Ｉフレームの欠落がなく、通常再生が可能である。
【００４０】
また、補正処理の対象のフレームが差分フレーム（ＢフレームまたはＰフレーム）である場合、以下の判定を行う。
（２−ａ）パケットデータの欠落サイズが所定の閾値１（Ｑ１）より大きく、かつ欠落頻度が所定の閾値（Ｒ２）よりも高い場合には、差分フレーム自体が欠落しており、前後のフレームデータも大きく欠落している。
（２−ｂ）パケットデータの欠落サイズが所定の閾値１（Ｑ１）より大きいが、欠落頻度が所定の閾値（Ｒ２）よりも低い場合には、差分フレーム自体が欠落しているが、前後のフレームデータは欠落が小さい。
（２−ｃ）パケットデータの欠落サイズが所定の範囲（閾値１（Ｑ１）より小さく閾値２（Ｑ０）より大きい）であり、欠落頻度が所定の閾値（Ｒ２）よりも高い場合には、差分フレーム自体は欠落が小さいが、前後のフレームデータも同様に欠落を生じている。
（２−ｃ）パケットデータの欠落サイズが所定の範囲（閾値１（Ｑ１）より小さく閾値２（Ｑ０）より大きい）であり、欠落頻度が所定の閾値（Ｒ２）よりも低い場合には、差分フレーム自体は欠落が小さく、前後のフレームデータの欠落も少ない。
（２−ｃ）パケットデータの欠落サイズがほとんどない場合（所定の閾値２（Ｑ０）より小さい場合）には、差分フレーム自体の欠落がなく、通常再生が可能である。
【００４１】
上記の判定は、現在処理中の画像データ、または過去処理された画像データの情報に基づいて行われる。また、上記の判定には、パケットデータエラー検出部２３０から入力された、パケットデータの欠落頻度、及び欠落サイズに関する情報が用いられる。
【００４２】
なお、パケットデータエラー検出部２３０で行われるパケットデータの欠落の検出は、パケット受信処理部２１０で行われるパケットの順序の入れ替えの度合いが反映される。すなわち、パケットの順序の入れ替え度合が高く、時系列で分断されたパケットデータが、それぞれのパケットデータが対応するフレームサイズの一定割合以上の大きさに相当する遅延を超えた場合には、この遅延したパケットデータは欠落したものとして処理がなされる。これにより、無線通信で発生したパケットデータの順序が前後する場合であっても、適切にパケットデータエラーの検出が行われる。
【００４３】
上記の判定における各閾値Ｐ、Ｑ１、Ｑ０、Ｒ１及びＲ２は、それぞれ以下のように決定される。
【００４４】
閾値Ｐは、Ｉフレームの画像サイズ、及び圧縮符号化のブロックサイズによって変化するが、例えばＨ．２６４の場合のマクロブロックサイズ１６×１６などのサイズよりも大きな領域が欠落しているような状態を基準とするため、１６×１６の領域分の画像データに相当するデータ量に、ヘッダなどのデータ量を加算した値として決定する。
【００４５】
閾値Ｑ１は、例えばＨ．２６４の場合には、上記の閾値Ｐと同様のマクロブロックサイズを基準とする。または、単位ブロックサイズである８×８または４×４などの、閾値Ｐよりも小さいサイズを基準としてデータパケットサイズを決定してもよい。
【００４６】
閾値Ｑ０は、差分フレームに対応したデータパケットの欠落が全くないか、またはほとんどない状態を指すので、４×４のブロックサイズよりも小さいデータに対応するデータ量として決定される。
【００４７】
閾値Ｒ１及びＲ２は、データ欠落の頻度を示す閾値である。例えば、１ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）分のデータパケットの集合の中に発生する欠落の事象発生間隔の時間平均の逆数を欠落頻度ｙとしたときに、ｍ個のＩフレームを構成するデータパケットの伝送時間に相当する値を閾値Ｒ１、ｎ個の差分フレームを構成するデータパケットの伝送時間に相当する値を閾値Ｒ２とする。ｍおよびｎは、１以上の値で任意に決定されるが、標準的には２程度の値を採用し、映像データのコンテンツの種類、動きの頻度、及び画質（ビットレート）などにより変化させてもよい。
【００４８】
次に、空間フィルタに関する処理について説明する。空間フィルタに関する処理は、空間フィルタサイズ決定部３１３で空間フィルタのサイズが決定され、決定されたサイズの空間フィルタと、予め空間フィルタ行列記憶部３１２で記憶された空間フィルタ行列とを用いて、空間フィルタ処理部３１１で空間フィルタの適用処理が行われる。
【００４９】
空間フィルタのサイズは、欠落サイズｘの増加関数で示されるｆ（ｘ）、またはｇ（ｘ）に基づいて決定されるか、∞のサイズとして与えられる。ここで、ｆ（ｘ）とｇ（ｘ）とは、ｆ（ｘ）＞＞ｇ（ｘ）となる関係を有する。ｇ（ｘ）は、ｘの増加に伴って増加する、サイズ１〜３程度の変域をもつ空間フィルタであり、平滑化された値、または中間値を用いる。ｆ（ｘ）は、欠落サイズｘに依存してｇ（ｘ）よりも大きな変域をもつ関数であり、例えば、Ｈ．２６４のブロックサイズが１６×１６であれば、その半分の８×８の１辺の値８のように、ｇ（ｘ）に比例して十分大きな画素サイズを対象とする。なお、空間フィルタのサイズは、映像の解像度によって変化させるのが好ましい。
【００５０】
次に、時間軸補正の処理について説明する。時間軸補正の処理は、演算部３１４によるパケットデータエラーの欠落頻度に基づく演算を利用して、時間軸フィルタ３１５で処理される。
【００５１】
時間軸補正値としての増加関数Ｔ（ｙ）及びＳ（ｙ）では、それぞれ欠落頻度ｙを元に、時間軸方向に何フレーム前のフレームのデータを補正演算に利用するかのフレーム数を示す値を得る。時間軸補正値が０のとき、補正処理のフレーム以外のフレームのデータは利用しないことを示す。また、Ｔｍａｘ及びＳｍａｘは、それぞれＧＯＰの長さを元にして決定されるＴ（ｙ）及びＳ（ｙ）の最大値を示す。例えば、Ｔｍａｘ＝４とすれば、Ｉフレーム４フレーム分のデータを元に処理することを意味し、Ｓｍａｘ＝３であれば差分フレーム３フレーム分のデータを元に処理することを意味する。
【００５２】
時間軸補正は、欠落データの対応する画像部分に対して、前フレームのデータを用いて穴埋めするよう適用する方法を採用してもよい。また、この穴埋め処理後の画像データを、さらに時間軸方向のディジタルフィルタにより処理する方法を採用してもよい。
【００５３】
ここで、空間フィルタとして線形フィルタを用いた場合の、補正処理の演算結果を示す。フレームｔにおける、時間軸処理後のデータＶｔは、以下のように、空間フィルタ処理後のデータＵｔから得られる。なお、中間値フィルタのような関数フィルタによりＵｔを求めてもよい。
【数１】
2016034069.tif 000003
【００５４】
ここで、空間フィルタ処理後のデータＵｔは、以下の数式により求められる。
【数２】
2016034069.tif 000004
【００５５】
上記の補正処理では、図４に示すように、補正対象のデータの種類、及びパケットデータの欠落サイズ及び欠落頻度に応じて決定される、空間フィルタ適用処理、及び時間軸処理を用いて行われることで、上記の、補正処理後のデータＶｔが得られる。このデータＶｔは、補正処理部３１０からビデオ信号生成部３３０に出力される。ビデオ信号生成部は、このデータをディスプレイ部５００で表示されるビデオ信号に変換し、ディスプレイ部５００に出力する。
【００５６】
ここで、図４に示されたパケットの欠落サイズ及び欠落頻度に基づく判定に応じて決定される空間フィルタ、及び時間軸処理の内容を簡単に説明する。
【００５７】
判定結果の分類が（１−ａ）の場合：空間フィルタのサイズは∞、時間軸補正にはＴｍａｘが適用される。
判定結果の分類が（１−ｂ）の場合：空間フィルタのサイズは∞、時間軸補正にはＴｍａｘが適用される。
判定結果の分類が（１−ｃ）の場合：空間フィルタのサイズはｆ（ｘ）、時間軸補正にはＴ（ｙ）が適用される。
判定結果の分類が（１−ｄ）の場合：空間フィルタのサイズはｆ（ｘ）、時間軸補正にはＴ（ｙ）が適用される。
判定結果の分類が（１−ｅ）の場合：空間フィルタのサイズはｇ（ｘ）、時間軸補正には０が適用される。
判定結果の分類が（２−ａ）の場合：空間フィルタのサイズは∞、時間軸補正にはＳｍａｘが適用される。
判定結果の分類が（２−ｂ）の場合：空間フィルタのサイズは∞、時間軸補正にはＳｍａｘが適用される。
判定結果の分類が（２−ｃ）の場合：空間フィルタのサイズはｆ（ｘ）、時間軸補正にはＳ（ｙ）が適用される。
判定結果の分類が（２−ｄ）の場合：空間フィルタのサイズはｆ（ｘ）、時間軸補正にはＳ（ｙ）が適用される。
判定結果の分類が（２−ｅ）の場合：空間フィルタのサイズはｇ（ｘ）、時間軸補正には０が適用される。
【００５８】
上記処理によって、ＲＦ受信部１００で受信したパケットにエラーが含まれていたとしても、同じパケットのデータを再度受信しなおすことなく、受信側装置である映像処理装置で画像処理を行うことにより、ユーザは違和感のない映像を視聴することが可能となる。
【００５９】
＜２．補足事項＞
以上、本発明の実施形態についての具体的な説明を行った。上記説明は、あくまで一実施形態としての説明であって、本発明の範囲はこの一実施形態に留まらず、当業者が把握可能な範囲にまで広く解釈されるものである。
【００６０】
上記実施形態では、パケットがＲＦ受信部１００で受信される例について説明したが、無線ＬＡＮやその他の無線通信により受信されてもよい。また、本発明は通信路でデータの伝送エラーが発生しやすい無線通信での映像データの送受信を想定しているが、例えばデータの伝送エラーが発生しやすい有線通信に適用することも可能である。
【００６１】
実施形態では、ネットワークプロセッサ２００とグラフィックプロセッサ３００とを含む構成について説明したが、これらのプロセッサは１つのプロセッサ（例えばＤＳＰ）などの要素として構成されてもよい。
【００６２】
＜３．本発明の特徴＞
以上、説明したような構成の画像処理装置は、以下のような特徴を備える。
【００６３】
まず、本発明の映像処理装置は、複数のフレームの画像を含む映像データであって、フレーム内予測により符号化された第１フレームと、フレーム間予測により符号化された第２フレームと、を含む映像データをパケットとして受信するデータ受信部（ＲＦ受信部１００）と、パケットに含まれるデータ送受信時のエラーをパケットデータエラーとして検出するパケットデータエラー検出部（２３０）と、パケットに基づいて映像データを復号する復号部（映像音声データ抽出部２２０）と、復号された映像データに対する補正処理を行う補正処理部（３１０）と、を備え、補正処理部は、検出された前記パケットデータエラーの内容に基づいて、空間フィルタを用いた２次的補完、及び時間軸処理による時間軸補完を組み合わせて実行することを特徴とする。
【００６４】
上記構成の映像処理装置によれば、映像のビットレートを高く保ったままデータの送信を行い、かつ受信側のバッファメモリのサイズを大きくすることなく、ユーザからは違和感のないストリーミングでの映像再生を実行することが可能となる。
【００６５】
また、本発明の映像処理装置では、補正処理部（３１０）は、処理対象のフレームの画像について検出されたパケットデータエラーの大きさが所定の閾値よりも大きい場合には、該フレームの直前のフレームの画像を、該フレームの画像とすることを特徴とする。
【００６６】
上記構成の映像処理装置によれば、受信したパケットに対応するフレームの画像が多くのエラーを含んでいた場合には、直前のフレームの画像を利用することによる補完を行うことで、映像視聴時にユーザが違和感を持つことを防止することができる。
【００６７】
また、本発明の映像処理装置では、補正処理部（３１０）はさらに、データ受信部が受信したパケットの時系列的な順序の入れ替え度合いを参照して、２次的補完及び時間軸補完を選択的に実行することを特徴とする。
【００６８】
上記構成の映像処理装置によれば、映像データを構成するパケットを複数の通信路から受信する場合であって、受信したパケットの順序が大きくずれているような場合であっても、映像データに対する補正処理を適切に実行することが可能となる。
【産業上の利用可能性】
【００６９】
本発明は、パケットとして受信した映像データに基づいて所定の処理を行った上で表示させる映像処理装置に関する。
【符号の説明】
【００７０】
１００…受信部
２００…ネットワークプロセッサ
２１０…パケット受信処理部
２２０…映像音声データ抽出部
２３０…パケットデータエラー検出部
２３１…映像音声データ抽出部
２３２…欠落サイズ検出部
２３３…欠落間隔検出部
３００…グラフィックプロセッサ
３１０…補正処理部
３１１…空間フィルタ処理部
３１２…空間フィルタ行列記憶部
３１３…空間フィルタサイズ決定部
３１４…演算部
３１５…時間軸フィルタ
３２０…フレームバッファ
３３０…ビデオ信号生成部
４００…音声再生部
５００…ディスプレイ部
【図１】
2016034069.tif 000005
【図２】
2016034069.tif 000006
【図３】
2016034069.tif 000007
【図４】
2016034069.tif 000008