(57)【要約】【課題】  動画像伝送において、符号化器側へのフィードバック信号や符号化器側で制御の工夫を設けることなく、画像伝送による画質劣化からの復帰を早めて高画質化を図る。【解決手段】  外部の機器と情報の通信をする手段と、到着した符号化情報と過去の情報から復号する手段と前記復号手段が参照する過去の情報を記録する手段と、前記通信手段で受信する情報の遅延を検出する手段と、遅延情報の到着を検出する手段と、遅延情報で参照する情報を修正する手段を有することを特徴とする画像処理装置。【選択図】  図１
2007060532.tif 000002
【特許請求の範囲】
【請求項１】
外部の機器と情報の通信をする手段と、
到着した符号化情報と過去の情報から復号する手段と、
前記復号手段が参照する過去の情報を記録する手段と、
前記通信手段で受信する情報の遅延を検出する手段と、
遅延情報の到着を検出する手段と、
遅延情報で参照する情報を修正する手段を有することを特徴とする画像処理装置。
【請求項２】
前記情報の遅延を検出する手段は、復号の異常検出を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
表示用に記録する手段をさらに備え、
遅延情報で表示用に記録した情報を修正することを特徴とする請求項１記載の画像処理装置。
【請求項４】
復号された情報の差分情報を記録する手段をさらに備え、該差分情報で復号した情報を修正することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記復号異常検出時に補間する手段と、
補間した情報を記録する手段をさらに備え、
遅延情報で補間した情報を修正することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記補間手段がフレーム間補間することを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像伝送におけるデータ遅延に起因した画像品質の低下を改善する装置に関する。
【背景技術】
【０００２】
近年、テレビ電話システム、テレビ会議システムまたは、ビデオオンデマンド（Video On Demand）システムといった、ネットワークを介して動画像信号を伝送するシステムが普及しつつあり、これに伴い、動画像符号化方法の国際標準化作業も進められている。動画像符号化方法には、フレーム内符号化と、前後のフレームの時間的な相関性を利用して圧縮するフレーム間符号化があり、両方を併用するものと、フレーム内符号化のみを使用するものの2種類に分類する事ができる。両方を併用する方式として代表的なものは、ITU-T勧告H.263やISO国際標準MPEG-2などがあり、リアルタイム動画通信や蓄積などに利用されている。図2に時間順にフレームを並べて符号化の様子を示す。MPEG-2では、図2のように定期的にフレーム内符号化（Iフレーム1および10）を行い、その間でフレーム間符号化（Pフレーム 2〜9、11、12）を行う。フレーム間符号化では、図2のように過去と将来のフレームを参照画像として予測符号化を行う。一方、フレーム内符号化のみを利用するものとしては、ISO国際標準JPEG（Joint Photographic Coding Group）などの静止画像符号化方式を連続利用したMotion JPEGなどがあり、各フレームにおいてフレーム内符号化を行う。
【０００３】
フレーム間符号化を利用した符号化方式では、前後のフレームを参照して符号化を行うため、正しく復号するためには当該フレームだけでなく参照するフレームも正しく伝送されている必要がある。しかし、伝送路の混雑などの要因によってパケット到着の遅延が発生するため、復号できないフレームが発生する。図3にパケット遅延により復号ができないフレームが発生した際の復号誤りの様子を示す。パケット遅延が発生したフレーム6は正しく復号できないため、画像が大きく劣化する。さらに、その後のフレーム7〜9は、正しく伝送できたにも関わらず、参照画像が劣化しているため正しく復号できずに画像劣化が続き、フレーム内符号化を行う（フレーム10）まで伝播してしまう。
【０００４】
画像伝送による画質劣化からの復帰を早める技術として以下の（１）〜（３）に示すものが提案されている。
【０００５】
（１）復号器で正常に復号できた画像をACK信号として符号化器側に送信し、符号化を行う際には復号器側で正常に復号できた最新の画像を参照画像とする技術が知られている（特許文献１参照）。
【０００６】
（２）復号器で正常に復号できたかどうかを符号化器側に伝える方式として正常に復号できた時に送信するACK方式、正常に復号できなかった際に送信するNACK方式どちらにするかを復号器側で切替えることを可能とする技術が知られている（特許文献２参照）。
【０００７】
（３）パケットロスが起きた際に、復号器側では1フレーム前の同位置の画像で置き換えておき、符号化器側へ復号異常領域情報を送り、符号化器側では画像を遡って復号器側と同様の置き換え処理を施して参照画像を修正する技術が知られている。（特許文献３参照）。
【特許文献１】特開平１０−１９１３５６号公報
【特許文献２】特開平１１−３１７９４７号公報
【特許文献３】特開２０００−１１５７８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の方法では、上記特許文献１〜３いずれの場合も復号器側から符号化器側へ何らかのフィードバックの信号を送信し、符号化器側の参照画像を修正してやることで画像伝送による画質劣化からの復帰を早めている。そのため、符号器側でフィードバックの信号に応じた制御のしくみが必要となる。また、フィードバックの信号が届くまでに行われた符号化データはもう一度符号化をしなおすことになり、フィードバック信号の送信とあわせて符号化データ修正処理による遅延が生じてしまう。また、符号化器側で処理を行うためにマルチキャストの場合に個別の復号器側に対する処理を行うことができない。
【０００９】
そこで、本発明ではこのような課題を解決し、画像伝送による画質劣化からの復帰を早めることことを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を解決するために本発明の画像処理装置は以下の構成からなる。
すなわち、
外部の機器と情報の通信をする手段と、
到着した符号化情報と過去の情報から復号する手段と、
前記復号手段が参照する過去の情報を記録する手段と、
前記通信手段で受信する情報の遅延を検出する手段と、
遅延情報の到着を検出する手段と、
遅延情報で参照する情報を修正する手段を有することを特徴とする画像処理装置。
【発明の効果】
【００１１】
本発明によれば、マルチキャストの場合にも個別の復号器側に対応可能である画質劣化からの早期復帰方法により、動画像伝送における高画質化を図ることが可能となる。
【発明を実施するための最良の形態】
【００１２】
（第１の実施形態）
以下、添付図面を参照して、本発明に係る好適な実施例を詳細に説明する。
【００１３】
本実施形態の装置は、伝送路を介して符号化器から受信した画像データを復号し、表示を行う画像処理装置である。パケットの遅延が発生した場合に、表示には遅延した領域を補間して表示し、遅延したパケットが到着すると参照画像用バッファ内の画像を置き換えて参照時には正しいデータを参照できるよう構成する。
【００１４】
＜画像処理装置の構成＞
図１のブロック図を用いて、本実施形態の画像処理装置の構成を説明する。図１において、本実施形態の画像処理装置は、データ受信部101、復号部102、表示用記録部103、出力部104、参照画像記録部105、復号異常検知部106、補間部107、遅延パケット制御部108、参照画像修正部109から構成される。
【００１５】
データ受信部101は、無線LANあるいは、有線LANあるいは公衆回線用の通信モジュールであり、符号化された動画像データを符号化器からRTPなどのプロトコルを用いて受信する。受信した符号化データとデータに多重化されているフレーム番号およびブロック番号を復号部102に渡す。復号部102は、ある特定のフォーマット、例えばMPEG-2などで符号化されたデータを復号するものであり、復号データを表示用記録部103および参照画像記録部105へ渡す。遅延パケット制御部108より遅延パケットの処理であることを示す遅延パケット受信信号を受けた際には参照画像修正部109へ復号データとフレーム番号およびブロック番号を渡す。ただし、復号に際してパケット単位で復号できるものとする。表示用記録部103は復号器102より受け取った復号データを記録する。出力部104は、表示用記録部103に記録されたデータを出力画像のタイミング制御など表示装置の処理可能な状態にして表示装置に出力する。参照画像記録部105は、復号部102がフレーム間復号の際に参照するフレームの画像データを記録するものである。復号異常検知部106は復号部102を常に監視し、復号したデータのブロック番号に欠落があると復号異常であると判断して復号異常検知信号とフレーム番号およびブロック番号を遅延パケット制御部108へ渡す。また、復号異常のあったフレーム番号およびブロック番号を検出して補間部107に渡す。補間部107は、復号異常検知部106から復号異常のあったフレーム番号とブロック番号を受けると、表示用記録部103および参照画像記録部105に記録された画像データを例えば上下の画像を用いて補間するなどの補間を行い、表示用記録部103および参照画像記録部105内のデータを補正するものである。遅延パケット制御部108はCPUで実装し、データ受信部101に届いたデータのヘッダ解析などの通信処理を行う。また、復号異常検知部106より復号異常検知信号とフレーム番号、ブロック番号を受け取り、そのフレーム番号、ブロック番号の遅延したパケットが到着すると復号部102に遅延パケットの処理であることを示す遅延パケット受信信号を渡す。同時に参照画像修正部109に遅延パケット受信信号と遅延パケットのフレーム番号およびブロック番号を渡す。参照画像修正部109は、遅延パケット制御部108から遅延パケット受信信号とフレーム番号およびブロック番号を受け取ると、フレーム番号とブロック番号から参照画像記録部105内の記録するアドレスを生成し、復号部102より復号データを受け取るとそのアドレスに受信した復号データを記録して参照画像記録部105内の補間して生成されている画像を正しい画像に修正する。
【００１６】
＜遅延パケット制御部の説明＞
図4は、CPUで実装する図１の遅延パケット制御部108のフローチャートである。図4（a）が通常時のフローであり、図4（b）が復号異常検知信号による割込み処理が発生した際のフローである。
【００１７】
まず、通常時の動作にについて図4（a）を用いて説明する。S101でデータを受信したことを検知するとS102で受信したデータからヘッダ部とペイロード部を分離し、ヘッダ部を抽出する。S103で抽出したヘッダ部からフレーム番号とブロック番号を検出する。S104で検出したフレーム番号とブロック番号が復号異常領域のフレーム番号とブロック番号であればS105で遅延パケット受信信号を復号部、参照画像修正部へ送信する。S106でデータ受信が終了であれば動作を終了し、データ受信が終了でなければS102へ戻る。次に、つく号異常を検知して割り込み処理が発生した時の動作について図4（b）を用いて説明する。S201で復号異常検知信号を受信するとS202で復号異常したフレーム番号とブロック番号を復号異常検知部より受信する。S203で受信したフレーム番号とブロック番号を内部のバッファに格納する。
【００１８】
＜画像処理装置の動作＞
上記構成の画像処理装置の通常時、遅延パケット発生時、遅延したパケット到着時における動作について以下に説明する。
【００１９】
通常時は、データ受信部101でデータを受信すると、復号部102で受信データを復号する。復号データを参照画像記録部105および表示用記録部103に渡し、表示用記録部103のデータを出力部104により表示装置に出力する。
【００２０】
遅延パケット発生時には、データ受信部101でデータを受信すると、復号部102で受信データを復号する。復号時には復号異常検知部106が復号部102を常に監視し、復号したデータのブロック番号の欠落を検知して復号異常検知信号とフレーム番号およびブロック番号を遅延パケット制御部108へ渡す。同時に復号異常のあったフレーム番号およびブロック番号を補間部107に渡す。復号データが参照画像記録部105および表示用記録部103に渡されると、補間部107では参照画像記録部105および表示用記録部103内のデータの復号異常領域を補間する。補間を施して画像が生成されると出力部104により表示装置に出力する。
【００２１】
遅延したパケット到着時には、データ受信部101でデータを受信すると、遅延パケット制御部で到着したパケットが遅延したパケットであることを検知し、復号部102および参照画像修正部109に遅延パケット到着信号を送信する。遅延したデータは復号部102で復号すると、参照画像修正部109に渡され、参照画像記録部105のデータを修正する。
【００２２】
以上説明した処理を行うことで、参照される画像においてパケット遅延が起こった場合にも、符号化器側へのフィードバックや符号化器側での工夫をすることもないため、マルチキャストの場合にも個別の復号器側に対応可能な画質劣化からの早期復帰方法により動画像伝送における高画質化を図ることが可能となる。
【００２３】
本実施例ではMPEG-2の動画像を例にとって説明をしたが、フレーム内符号化を使用したMotion JPEGにおいても遅延した領域の補間処理に前フレームを参照して補間する場合には本発明を適用することにより同様の効果を得ることができる。
【００２４】
実施例では参照画像のみを修正する例について説明したが、タイミング的に間に合うようであれば出力部の表示画像についても修正してもよい。この場合、表示用記録部のデータを修正すれば表示リフレッシュ時に修正される。
【００２５】
（第２の実施形態）
前述の実施形態では、遅延したパケットが到着した場合の処理について説明したが、参照画像が参照画像記録部に残っていることを前提としている。そのため、複数フレーム以上パケットの遅延が起こった場合に正しい画像に戻すには遅延パケットが発生した画像から遅延パケットが到着するまでに届くデータを全て残しておかなければ対応できない。そこで、複数の参照フレーム分パケットの遅延が起こった場合も1フレーム分の容量の差分データを持つことで対応可能な画像処理装置について説明する。
【００２６】
図5は、本実施形態の画像処理装置の構成を示すブロック図である。同図は第１の実施形態の図1とほぼ同様であるので、同一の要素には同じ番号を付し、説明は省略する。本実施形態においてはさらに補間領域参照検出部301、差分データ演算部302、差分データ記録部303をもつものとする。
【００２７】
補間領域参照検出部301は、参照画像の復号時に復号異常領域のフレーム番号およびブロック番号を復号異常検知部106より受け取る。受け取った復号異常領域を参照して復号するかどうか復号部102を常に監視し、復号異常領域を参照して復号した領域を検出する。検出した領域の差分データを復号部102より受け取ると差分データ演算部302に渡す。また、復号異常領域のフレーム番号およびブロック番号のデータの処理を検知すると、差分データ演算部302に画像修正信号を送る。差分データ演算部302は、受け取ったデータの領域の差分データが差分データ記録部303になければ、差分データ記録部303に記録する。差分データ記録部303に受け取ったデータ領域の差分データがすでにある場合には記録されているデータに加算してその累積和を記録する。補間領域参照検出部301より画像修正信号を受けると復号部102から受け取るデータと差分データ記録部303のデータより現在の正しい画像を生成し、参照画像修正部109に渡す。現在の正しい画像を生成して参照画像修正部109に渡すと差分データ記録部303の使用した差分データは消去する。
【００２８】
図6に示したN番目のフレームにおいてパケット遅延が発生した場合の画像劣化を例にとって説明する。N番目のフレームで遅延した領域の正しいデータをA、（N+1）番目のフレームにおいてN番目のフレームで遅延した領域を参照している領域の正しいデータをB、（N+2）番目のフレームにおいて遅延した領域を参照している領域をさらに参照している領域の正しいデータをCとする。このときのAとBの差分データをa、BとCの差分データをbとする。これよりB=A+a、C=B+bであり、N番目のフレームで遅延した領域を補間して表示したデータをXとすると、（N+1）番目、（N+2）番目の表示したデータはY=X+a、Z=Y+bとなる。（N+1）番目のフレームの処理をする際には、前のフレームで補間したAの領域を参照した差分データは記録されていないので、参照画像記録部105へ渡すのとは別に差分データaを差分データ記録部303に渡す。（N+2）番目のフレームを処理する際には、既に補間したAの領域を参照した差分データが記録されているので、参照画像記録部105へ渡すのとは別に差分データbをそのまま差分データ記録部303に渡すのではなく、差分データ記録部303に保存されている差分データaに加算してa+bを差分データ記録部303に渡す。ここで、C=A+a+ｂであるため、N番目のフレームの遅延したパケットが届き、正しいデータAを得ると、差分データ記録部303に保存されているデータa+bを利用して（N+2）番目のフレームの正しいデータC=A+a+ｂを得ることができる。さらに遅延があった場合には差分データ記録部303に保存されている差分データに処理中のフレームの差分データを累積して加算していくことにより遅延したパケットの到着時に正しいデータを得ることができる。
【００２９】
これにより、複数の参照フレーム分パケットの遅延が起きた場合にも復号異常領域の差分データの累積和を記録しておくことにより、遅延したフレーム数分の差分データを持つのではなく、1フレーム分の容量の差分データを持つことで前述の実施形態と同様の効果を得ることができる。
【００３０】
（第３の実施形態）
前述の実施形態では、複数の参照フレーム分パケットの遅延が起こった場合も対応可能にする画像処理装置について説明したが、復号異常領域の差分データの累積和を保存するのではなく、パケットの遅延が起こったフレームの補間したデータを保存することにより実現する画像処理装置について説明する。
【００３１】
図7は、本実施形態の画像処理装置の構成を示すブロック図である。同図は第２の実施形態の図5とほぼ同様であるので、同一の要素には同じ番号を付し、説明は省略する。
【００３２】
本実施形態においては、図5の参照画像修正部109、差分データ演算部302、差分データ記録部303を持たず、補間データ記録部401および補間データ演算部402を持つものとする。
【００３３】
補間部107は補間したデータを補間データ記録部401へ渡す機能を前述の実施形態での機能にあわせて持ち、補間したデータは補間データ記録部401で記録する。補間領域参照検出部301では、補間領域を参照しているフレーム番号およびブロック番号を検出し、参照画像記録部105で記録されているデータのものを補間データ記録部401に記録する。補間データ演算部402は、遅延パケット制御部から遅延パケット受信信号を受け取ると、補間データ記録部401に保存されたデータと遅延パケットのデータから演算して正しいデータを生成し、参照画像記録部105に記録する。演算については、前述の実施形態と同様に図6に示したN番目のフレームにおいてパケット遅延が発生した場合の画像劣化を例にとって以下に説明する。N番目のフレームで遅延した領域の正しいデータをA、（N+1）番目のフレームにおいてN番目のフレームで遅延した領域を参照している領域正しいデータをB、（N+2）番目のフレームにおいて遅延した領域を参照している領域をさらに参照している領域の正しいデータをCとする。このときのAとBの差分データをa、BとCの差分データをbとする。これよりB=A+a、C=B+bであり、N番目のフレームで遅延した領域を補間して表示したデータをXとすると、（N+1）番目、（N+2）番目の表示したデータはY=X+a、Z=Y+bとなる。N番目のフレームの処理をする際に参照画像記録部105へ渡すのとは別に補間したデータXを補間データ記録部401に渡す。ここで、Z=X+a+bであり、N番目のフレームの遅延したパケットが到着して正しいデータAを得ると、補間データ記録部302に保存されているデータXと参照画像記録部105に保存されているデータZを利用してN番目と（N+2）番目のフレームの差分データa+b=Z-Xを得ることができる。これより遅延パケットのデータAおよびN番目と（N+2）番目のフレームの差分データa+bが求まるので正しいデータC=A+a+ｂを得ることができる。現在の正しい画像を参照画像記録部105に記録すると補間データ記録部401の使用した補間データは消去する。
【００３４】
これにより、複数の参照フレーム分パケットの遅延が起きた場合にも復号異常領域の補間したデータを保存しておくことにより、前述の実施形態と同様の効果を得ることができる。
【００３５】
以上の説明におけるプログラムを格納する記憶媒体としては、ROM、フロッピー（登録商標）ディスク、CD-ROM、ハードディスク、メモリカード、光磁気ディスクなどを用いることができる。また、本発明に係わるプログラムを格納した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【図面の簡単な説明】
【００３６】
【図１】第１の実施形態における画像処理装置の概略構成を示すブロック図。
【図２】従来例であるMPEG-2符号化におけるフレーム間符号化の概念図。
【図３】従来例であるMPEG-2における伝送エラーが発生した場合の説明図。
【図４】第１の実施形態における遅延パケット制御部のフローチャート。
【図５】第２の実施形態における画像処理装置の概略構成を示すブロック図。
【図６】N番目のフレームにおいてパケット遅延が発生した場合の画像劣化の例。
【図７】第３の実施形態における画像処理装置の概略構成を示すブロック図。
【符号の説明】
【００３７】
101  データ受信部
102  復号部
103  表示用記録部
104  出力部
105  参照画像記録部
106  復号異常検知部
107  補間部
108  遅延パケット制御部
109  参照画像修正部
301  補間領域参照検出部
302  差分データ演算部
303  差分データ記録部
401  補間データ記録部
402  補間データ演算部
【図１】
2007060532.tif 000003
【図２】
2007060532.tif 000004
【図３】
2007060532.tif 000005
【図４】
2007060532.tif 000006
【図５】
2007060532.tif 000007
【図６】
2007060532.tif 000008
【図７】
2007060532.tif 000009