(57)【要約】      （修正有）【課題】動画像を符号化する場合に、動画像の特徴量と目標符号量からイントラ符号化ブロックを適用する領域の幅を設定することで、目標符号量を守りながらイントラ符号化ブロックを適用する領域を広げる符号化装置を提供する。【解決手段】動画像をフレーム内符号化とフレーム間符号化とを切り替えて符号化する符号化装置において、フレーム内の一部領域をリフレッシュ領域としてフレーム内符号化して、直前までのフレームで発生した誤りを隠蔽補償するリフレッシュ動作を制御するリフレッシュ制御部を備え、前記リフレッシュ制御部は、フレーム毎にリフレッシュ領域の位置および範囲を設定するように制御する。【選択図】図１
2011233991.tif 000002
【特許請求の範囲】
【請求項１】
動画像をフレーム内符号化とフレーム間符号化とを切り替えて符号化する符号化装置において、
フレーム内の一部領域をリフレッシュ領域としてフレーム内符号化して、直前までのフレームで発生した誤りを補償するリフレッシュ動作を制御するリフレッシュ制御部を備え、
前記リフレッシュ制御部は、
フレーム毎にリフレッシュ領域の位置および範囲を設定するように制御すること、
を特徴とする符号化装置。
【請求項２】
請求項１記載の符号化装置において、前記リフレッシュ制御部は、
符号化対象フレーム、あるいは当該フレームより過去のフレーム、あるいは当該フレームより未来のフレームの画素情報の特徴量を算出し、
算出された当該フレームの符号量が記憶部から取得された目標符号量より小さくなるように当該フレームのリフレッシュ領域の位置および範囲を設定すること、
を特徴とする符号化装置。
【請求項３】
請求項２記載の符号化装置において、
前記リフレッシュ制御部は、
フレームを水平方向の領域に分割し、
各領域においてフレームの画素情報の特徴量と当該領域の特徴量の一方あるいは両方を算出し、算出された当該特徴量が記憶部から取得された目標符号量より小さくなるように、当該フレームにおける当該領域のリフレッシュ領域の位置および範囲を設定すること、
を特徴とする符号化装置。
【請求項４】
請求項２記載の符号化装置において、
前記リフレッシュ制御部は、
フレームを水平方向の領域に分割し、
各領域においてリフレッシュ領域の開始位置が異なるように設定する、
ことを特徴とする符号化装置。
【請求項５】
請求項２記載の符号化装置において、
前記リフレッシュ制御部は、
フレームを垂直方向の領域に分割し、
各領域においてリフレッシュ処理を行う、
ことを特徴とする符号化装置。
【請求項６】
請求項５記載の符号化装置において、
前記リフレッシュ制御部は、
フレームを垂直方向に二分割し、フレーム左側を第一の領域、右側を第二の領域として、
第一の領域のリフレッシュ開始位置をフレーム左端の位置として、
第二の領域のリフレッシュ開始位置をフレーム右端からリフレッシュ領域の範囲だけ左の位置として、
後続のフレームにおいて、
第一の領域のリフレッシュ開始位置を、前のフレームの第一の領域のリフレッシュ開始位置からリフレッシュ領域の範囲だけ右の位置として、
第二の領域のリフレッシュ開始位置を、前のフレームの第二の領域のリフレッシュ開始位置からリフレッシュ領域の範囲だけ左の位置と設定する、
ことを特徴とする符号化装置。
【請求項７】
請求項２〜６のいずれか１項に記載の符号化装置において、
前記リフレッシュ制御部は、
リフレッシュ領域の範囲の最小値、あるいは最大値を設定すること、
を特徴とする符号化装置。
【請求項８】
請求項２〜６のいずれか１項に記載の符号化装置において、
前記リフレッシュ制御部は、
フレームの画素情報の特徴量として、フレームの画素値の分散を用いること、
を特徴とする符号化装置。
【請求項９】
動画像をフレーム内符号化とフレーム間符号化とを切り替えて符号化する符号化方法において、
フレーム内の一部領域をリフレッシュ領域としてフレーム内符号化して、直前までのフレームで発生した誤りを補償するリフレッシュ動作を行い、
フレーム毎にリフレッシュ領域の位置および範囲を設定するように制御すること、
を特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化装置および符号化方法に関する。
【背景技術】
【０００２】
動き補償予測を用いて圧縮符号化された動画像は、伝送路でデータに欠損あるいは誤りが発生すると、デコード側の動き補償に誤りが発生する。発生した動き補償誤りを復帰させるために、定期的なフレーム内符号化、すなわちイントラ符号化によってリフレッシュを行う手法がある。
【０００３】
特許文献１では、画面内の垂直方向にイントラ符号化ブロックを並べ、フレームが進むにつれて、イントラ符号化ブロックを水平方向に移動することで、リフレッシュを行う手法が提示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−３２２２６６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来手法では一定幅のイントラ符号化ブロックの領域が巡回するため、イントラ符号化ブロックが画面内を一巡するまでに時間がかかっていた。そのため、伝送路でエラーが発生してから、画面全体が復帰するまでにかかる時間が長いという問題があった。画面全体が復帰するまでに時間がかかると、動画像伝送において、画面が表示されない時間が長くなり、ユーザの利便性が低下してしまうことが懸念される。
【０００６】
一方で、リフレッシュ時間を短縮するために、イントラ符号化ブロックを適用する領域の幅を広げると、フレーム間符号化よりもフレーム内符号化の方がより多くの符号量を必要とするため、局所的な符号量が増大することが懸念される。局所的な符号量の増大は発生符号量に局所的なばらつきを生じ、例えば、一定レートでの伝送において遅延時間を増大させるといった問題がある。
【課題を解決するための手段】
【０００７】
そこで、本発明では、符号化装置が動画像を符号化する場合に、動画像の特徴量と目標符号量からイントラ符号化ブロックを適用する領域の幅を設定することで、目標符号量を守りながら、イントラ符号化ブロックを適用する領域を広げる。
【発明の効果】
【０００８】
本発明による符号化装置では、イントラ符号化ブロックの適用領域の設定によって、イントラ符号化ブロックを適用する領域を広げても符号量が増大しない場合は、イントラ符号化ブロックが画面内を一巡するまでにかかる時間、すなわちリフレッシュ時間の短縮できる。これによって、伝送路に一時的にエラーが発生した場合でも、従来手法と比較して、より短時間でリフレッシュ動作を完了し、画面全体を復帰できる。
【図面の簡単な説明】
【０００９】
【図１】符号化装置の構成図の例である
【図２】リフレッシュの基本動作を示す図の例である
【図３】実施例１における、リフレッシュ幅を適切に設定してリフレッシュを行うことを示す図の例である
【図４】実施例２における、画像を水平方向の複数領域に分割して、領域毎にリフレッシュ幅を設定してリフレッシュを行うことを示す図の例である。
【図５】実施例３における、画像を水平方向の複数領域に分割して、領域毎にリフレッシュ開始位置を設定してリフレッシュを行うことを示す図の例である。
【図６】実施例４における、画像を垂直方向の複数領域に分割して、領域毎にリフレッシュ動作を行うことを示す図の例である。
【図７】実施例５における、画像を垂直方向の二領域に分割して、左側の領域は左からリフレッシュを、右側の領域は右からリフレッシュを行うことを示す図の例である。
【図８】実施例１における、リフレッシュ制御の動作フローチャートを示す図の例である。
【発明を実施するための形態】
【実施例１】
【００１０】
以下、図面を参照しながら本発明の実施例について説明する。図１は符号化装置の構成図の例である。
【００１１】
画像入力部１０１は符号化する画像を入力し、符号化対象画像として出力する。画像は所定の大きさのブロック、即ちマクロブロックに分割して処理する。減算器１０２は画像入力１０１と予測画像との差分を出力する。スイッチ１０３は画像入力１０１からの出力と減算器１０２からの出力のどちらか一方を選択して出力する。ＤＣＴ／量子化部１０４はスイッチ１０３からの出力を直交変換し、直交変換係数を量子化して出力する。可変長符号化部１０５はＤＣＴ／量子化部１０４の出力を可変長符号化して出力する。
【００１２】
逆量子化／ＩＤＣＴ部１０６はＤＣＴ／量子化部１０４の出力を逆量子化し、逆直交変換して出力する。バッファメモリ１０７は逆量子化／ＩＤＣＴ部１０６の出力を一時的に記憶する。動き予測部１０８は画像入力１０１とバッファメモリ１０７から動きベクトルを予測して出力する。動き補償部１０９は動き予測部１０８が予測した動きベクトルからバッファメモリ１０７の画像の動き補償を行った予測画像を出力する。
【００１３】
符号化制御部１１０は画像入力１０１の出力と減算器１０２の出力とを比較して、どちらの方が符号化効率が高いかを判定し、判定結果を出力する。リフレッシュ制御部１１１は、メモリ１１３に格納されたパラメータと比較し、画像入力１０１がリフレッシュ条件を満たすか否かを判定し、判定結果を出力する。ＯＲ回路１１２は符号化制御部１１０とリフレッシュ制御部１１１との出力のＯＲを出力する。スイッチ１０３はＯＲ回路１１２の出力によってスイッチを切り替える。
【００１４】
符号化制御部１１０は、画像入力１０１の出力の方が符号化効率が高いと判定した場合、当該マクロブロックをイントラマクロブロックとして符号化すると判定する。逆に、符号化制御部１１０は、減算器１０２の出力の方が符号化効率が高いと判定した場合、当該マクロブロックをインターマクロブロックとして符号化すると判定する。
【００１５】
リフレッシュ制御部１１１は、リフレッシュ条件を満たすと判定した場合、当該マクロブロックをイントラマクロブロックとして符号化すると判定する。逆に、リフレッシュ制御部１１１は、リフレッシュ条件を満たさないと判定した場合、当該マクロブロックをインターマクロブロックとして符号化すると判定する。
【００１６】
スイッチの切り替えによって、画像入力１０１の出力を選択した場合（つまり図１でスイッチ１０３が上の端子に接続されている場合）、当該マクロブロックはイントラマクロブロックと呼ぶ。また、減算器１０２の出力を選択した場合（つまり図１でスイッチ１０３が下の端子に接続されている場合）、インターマクロブロックと呼ぶ。ＯＲ回路１１２の出力は、符号化制御部１１０またはリフレッシュ制御部１１１が当該マクロブロックをイントラマクロブロックとして符号化すると判定した場合に、スイッチ１０３を画像入力１０１側に切り替え、符号化制御部１１０とリフレッシュ制御部１１１の双方が共に、当該マクロブロックをインターマクロブロックとして符号化すると判定した場合に、スイッチ１０３を減算器１０２側に切り替える。
【００１７】
画像入力部１０１、減算器１０２、スイッチ１０３、ＤＣＴ／量子化部１０４、可変長符号化部１０５、逆量子化／ＩＤＣＴ部１０６、バッファメモリ１０７、動き予測部１０８、動き補償部１０９、符号化制御部１１０、リフレッシュ制御部１１１、ＯＲ回路１１２、メモリ１１３は、集積回路などによりハードウェアで実現される。
【００１８】
また、上記処理部等の処理はソフトウェアで実現することもできる。この場合はメモリに格納された、画像入力プログラム１０１、減算器プログラム１０２、スイッチプログラム１０３、ＤＣＴ／量子化プログラム１０４、可変長符号化プログラム１０５、逆量子化／ＩＤＣＴプログラム１０６、バッファメモリプログラム１０７、動き予測プログラム１０８、動き補償プログラム１０９、符号化制御プログラム１１０、リフレッシュ制御プログラム１１１、ＯＲ回路プログラム１１２、メモリプログラム１１３などの各種プログラムを、図示しないプロセッサが実行することで各処理を行う。
【００１９】
また、上記処理部の一部を集積回路などのハードウェアで実現し、一部をソフトウェアで実現することもできる。  次に、リフレッシュ制御部１１１の基本的な動作について図２を用いて説明する。
リフレッシュ制御部１１１は、第一のフレームにおいて、処理マクロブロックの水平位置がリフレッシュ開始位置（Ｐ（１））より右側、かつ、Ｐ（１）にリフレッシュ幅（Ｗ）を加えた位置より左側にあるとき、当該マクロブロックをイントラマクロブロックとして扱い、リフレッシュ条件を満たすとする判定結果を出力する。逆に、処理マクロブロックの水平位置がＰ（１）よりも左側、あるいは、Ｐ（１）にＷを加えた位置より右側にあるとき、リフレッシュ条件を満たさないとする判定結果を出力する。
【００２０】
リフレッシュ制御部１１１は、第一のフレームの処理を終え、第二のフレームを処理する際に、Ｐ（１）を更新する。例えば、Ｐ（１）にＷを加えＰ（２）とすることで、次にリフレッシュする領域を右側にＷだけずらすことができる。第二のフレームにおいても第一のフレームと同様に、処理マクロブロックの水平位置がリフレッシュ開始位置（Ｐ（２））より右側、かつ、Ｐ（２）にリフレッシュ幅（Ｗ）を加えた位置より左側にあるとき、当該マクロブロックをイントラマクロブロックとして扱い、リフレッシュ条件を満たすとする判定結果を出力する。逆に、処理マクロブロックの水平位置がＰ（２）よりも左側、あるいは、Ｐ（２）にＷを加えた位置より右側にあるとき、リフレッシュ条件を満たさないとする判定結果を出力する。
【００２１】
第二のフレームでＰ（２）より左側の領域は、第一のフレームのリフレッシュ領域であり、第二のフレームではリフレッシュ済みとして扱う。リフレッシュ済み領域は、イントラマクロブロックとして符号化されているため、第一のフレーム以前で伝送エラーが発生していても、誤ったデコードをすることがない。以降、フレームが進み、第Ｎのフレームにおいて、全ての領域がリフレッシュ済み、あるいはリフレッシュ領域になると、リフレッシュが完了したことになる。以上が、リフレッシュ処理の基本的な動作である。
【００２２】
リフレッシュ処理時間とは、伝送エラーが発生した直後のフレームから数えて、全てのフレームがリフレッシュされるまでの時間である。例えば、入力画像幅がＬ、リフレッシュ幅がＷ、リフレッシュ位置Ｐ（ｉ＋１）をＰ（ｉ＋１）＝Ｐ（ｉ）＋Ｗとする。伝送エラーが発生した直後のフレームのリフレッシュ位置が画面左端、すなわちＰ＝０の場合、リフレッシュ処理時間Ｔ（ａ）は最小になり、Ｔ（ａ）＝Ｌ／Ｗである。また、伝送エラーが発生した直後のフレームのリフレッシュ位置が画面左端からＷだけ右、すなわちＰ＝Ｗの場合、リフレッシュ処理時間は最大になり、Ｔ（ａ）＝（２Ｌ−Ｗ）／Ｗである。
【００２３】
本実施例のリフレッシュ制御部１１１がリフレッシュ処理時間を短縮するために行う処理について、図３を用いて説明する。
【００２４】
リフレッシュ制御部１１１は、第一のフレームにおいて、処理マクロブロックの水平位置がリフレッシュ開始位置（Ｐ（１））より右側、かつ、Ｐ（１）にリフレッシュ幅（Ｗ（１））を加えた位置より左側にあるとき、当該マクロブロックをイントラマクロブロックとして扱い、リフレッシュ条件を満たすとする判定結果を出力する。逆に、処理マクロブロックの水平位置がＰ（１）よりも左側、あるいは、Ｐ（１）にＷ（１）を加えた位置より右側にあるとき、リフレッシュ条件を満たさないとする判定結果を出力する。
【００２５】
リフレッシュ制御部１１１は、第一のフレームの処理を終え、第二のフレームを処理する際に、Ｐ（１）を更新する。例えば、Ｐ（１）にＷ（１）を加えＰ（２）とすることで、次にリフレッシュする領域を右側にＷ（１）だけずらすことができる。さらに、Ｗ（２）を更新する。例えば、入力画像の画素情報から特徴量を抽出し、所定の計算を行った上で、適切なＷ（２）を設定する。Ｗ（２）の計算方法については、第二のフレームのリフレッシュ領域をイントラマクロブロックとして処理しても当該フレームの符号量が目標符号量以下になるように計算する方法がある。
【００２６】
目標符号量等のパラメータはメモリ１１３に格納されており、リフレッシュ制御部１１１が取得し、計算されたフレームの符合量と比較する。もしくはパラメータは図示しない入力部により、ユーザから入力される。
【００２７】
例えば、特徴量として第一のフレームの画素値の分散値を取得し、この分散値がメモリ１１３に格納されたパラメータである目標分散値より低い場合は、リフレッシュ制御部１１１は、平易な画像であるため符号化に要するデータ量が少なくて済むと見なし、Ｗ（２）を広くする。逆に、第一のフレームの画素値の分散値が、メモリ１１３に格納されたパラメータである目標分散値より高い場合は、リフレッシュ制御部１１１は、複雑な画像であるため符号化に要するデータ量が多くかかると見なし、Ｗ（２）を狭くする。これによって、目標符号量の範囲内でＷ（２）を広げることができる。
【００２８】
図８を用いてリフレッシュ制御部１１１の動作フローチャートを説明する。リフレッシュ制御部１１１はｉフレーム目の画像が入力されると（Ｓ８０２）、ｉフレーム目のリフレッシュ幅Ｗ（ｉ）を設定し（Ｓ８０３）、ｉフレーム目のリフレッシュ開始位置Ｐ（ｉ）を設定する（Ｓ８０４）。次に、リフレッシュ制御部１１１は、現在処理しているマクロブロックがリフレッシュ領域内にあるか否かを判断し（Ｓ８０５）、リフレッシュ領域内にある場合はイントラマクロブロックであるとする判定結果を出力する（Ｓ８０６）。リフレッシュ領域にない場合はインターマクロブロックであるとする判定結果を出力する（Ｓ８０７）。
【００２９】
その後、リフレッシュ制御部１１１は、当該マクロブロックがフレームの終端であるか否かを判断し（Ｓ８０８）、フレームの終端でない場合は次のマクロブロックを選択し（Ｓ８０９）、Ｓ８０５に処理を戻す。当該マクロブロックがフレーム終端である場合は、リフレッシュ制御部１１１は、次のフレームを選択し（Ｓ８１０）、Ｓ８０２に処理を戻す。
【００３０】
この方法によれば、当該マクロブロックがイントラマクロブロックであっても、例えば、画像が平易で符号化に要するデータ量が少なくて済むときは、リフレッシュ幅を広げることができることを示している。これによって、リフレッシュ時間を短縮することができる。
逆に、当該マクロブロックがイントラマクロブロックであると、例えば、画像が複雑で符号化に要するデータ量が多く要するときは、リフレッシュ幅を狭めることができることを示している。これによって設定ビットレートを守ることができる。
【００３１】
また、この場合に、リフレッシュ幅は最小値あるいは最大値を設定しておくこともできる。最小値を設定することで、所定の時間以内に必ずリフレッシュを完了することができる。最大値を設定することで、局所的な符号量のばらつきを抑えて遅延量を制御できる。リフレッシュ幅の最小値、最大値はメモリに格納されている、もしくは図示しない入力部がユーザから値の入力を受け付ける。
以降、フレームが進み、第Ｎのフレームにおいて、全ての領域がリフレッシュ済み、あるいはリフレッシュ領域になると、リフレッシュが完了したことになる。
【００３２】
本実施例の方法によれば、リフレッシュ処理時間Ｔ（ｂ）は、Ｌ／（（Ｗ（１）＋Ｗ（２）＋・・・＋Ｗ（Ｎ））／Ｎ）になる。したがって、リフレッシュ幅Ｗ（Ｘ）の区間１〜Ｎにおける平均がＷより大きい場合に、Ｔ（ｂ）＜Ｔ（ａ）となるため、リフレッシュ時間を短縮することができる。
【００３３】
逆に、リフレッシュ幅Ｗ（Ｘ）の区間１〜Ｎにおける平均がＷより小さい場合は、Ｔ（ｂ）＞Ｔ（ａ）となるため、リフレッシュ時間が増大してしまうことになるが、リフレッシュ幅の最小値を設定することでこれを防止できる。例えば、リフレッシュ幅の最小値をＷにすることで、リフレッシュ幅Ｗ（Ｘ）の区間１〜Ｎにおける平均は、Ｗと同じか、Ｗより大きくなるため、Ｔ（ｂ）＜＝Ｔ（ａ）となるため、リフレッシュ時間はＴ（ａ）より増大することはない。
【００３４】
本実施例によれば、リフレッシュ幅を広げることで、リフレッシュ時間を短縮し、すみやかに画面を復帰することができる。
例えば、入力画像のフレーム内画素相関が高い場合、イントラマクロブロックで符号化しても目標符号量を満たすことができる。このような場合に、リフレッシュ領域を広くする。逆に入力画像のフレーム内画素相関が低い場合、リフレッシュ領域を狭くする。入力画像の性質によって、リフレッシュ領域をフレーム毎に設定することで、目標符号量を満たしつつ、リフレッシュ時間を短縮することができる。
【００３５】
本実施例ではリフレッシュ方向について左から右への例で説明したが、右から左の方向でリフレッシュを行っても良い。
本実施例ではリフレッシュ領域の形状を縦長のマクロブロックの集合としたが、横長のマクロブロックの集合を上下方向に移動してリフレッシュしても良い。
【実施例２】
【００３６】
以下、図面を参照しながら本発明の実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
本実施例のリフレッシュ制御部１１１がリフレッシュ処理時間を短縮するために行う処理について、図４を用いて説明する。
【００３７】
リフレッシュ制御部１１１は入力画像を水平方向に分割してリフレッシュ領域の設定を行う。例えば、入力画像を水平方向に四分割し、上から順に第一の領域、第二の領域、第三の領域、第四の領域とする。第一のフレームにおいて、領域毎にリフレッシュ幅を設定する。例えば、リフレッシュ制御部１１１は、領域毎に特徴量を抽出し、所定の計算を行った上で、適切なリフレッシュ幅を設定する。
【００３８】
領域毎に特徴量が異なる場合は、異なるリフレッシュ幅を設定することになる。したがって、各処理マクロブロックにおいて、処理マクロブロックの垂直位置によって、リフレッシュ幅が異なることになる。例えば、図４の第一のフレームでは第一の領域と第四の領域がリフレッシュ幅が狭く、第二の領域はそれよりも広く、第三の領域が一番広い。
【００３９】
第二のフレーム以降においても、領域毎にリフレッシュ幅を設定することができる。領域毎にリフレッシュ幅が異なるため、一部の領域だけが先にリフレッシュを完了する場合がある。例えば、第三のフレームでは第一の領域と第四の領域では未リフレッシュ領域があるにもかかわらず、第二の領域と第三の領域は全てリフレッシュ済み、あるいはリフレッシュ領域である。これは、第二の領域や第三の領域はリフレッシュ幅を広くして符号化しても、目標符号量を守ることができるので、リフレッシュ幅を広くして符号化を行ったために、第一の領域や第四の領域と比較して、リフレッシュ時間が短縮できていることを示している。
【００４０】
本実施例によれば、領域毎にリフレッシュ幅を設定することで、領域別にリフレッシュ時間を短縮することができる。例えば、入力画像全体で見た場合にフレーム内画素相関が低くても、領域毎に見るとフレーム内画素相関が高い領域とフレーム内画素相関が低い箇所がある場合に、フレーム内画素相関が高い領域に関してはリフレッシュ幅を広げて、できるだけリフレッシュ時間を短縮することができる。本実施例は、実施例１と組み合わせて、フレーム毎にリフレッシュ幅を変更することもできる。本実施例と実施例１を組み合わせることによって、より精密なリフレッシュ制御が実現できる。
【００４１】
本実施例では、分割数を四分割としたが、これ以外の分割数で分割しても良い。
【実施例３】
【００４２】
以下、図面を参照しながら本発明の実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
本実施例のリフレッシュ制御部１１１がリフレッシュ処理時間を短縮するために行う処理について、図５を用いて説明する。
【００４３】
リフレッシュ制御部１１１は実施例２と同様に、入力画像を水平方向に分割してリフレッシュ領域の設定を行う。例えば、入力画像を水平方向に四分割し、上から順に第一の領域、第二の領域、第三の領域、第四の領域とする。リフレッシュ制御部１１１は第一のフレームにおいて、領域毎にリフレッシュ開始位置を水平方向にずらす。第一のフレームにおいて、同一領域においてリフレッシュ開始位置よりも左側に未リフレッシュ領域がある場合、第二のフレームでは第一のフレームでリフレッシュ領域であった領域が第一のフレームの未リフレッシュ領域を参照画像として動き補償し、画像が乱れてしまう可能性がある。そのため、第二のフレームでは第一のフレームでリフレッシュ領域であった領域は、完全にリフレッシュされていない、中間リフレッシュ領域と呼ぶ。
【００４４】
リフレッシュ開始位置にリフレッシュ幅を加えた領域が、入力画像の右端からはみ出る場合は、はみ出した幅だけ、入力画面の左端からリフレッシュ領域として扱う。このとき、第一のフレームではみ出した領域は、第二のフレームでは第一のフレームの未リフレッシュ領域を参照しないため、リフレッシュされていることが保証される。そのため、第一のフレームではみ出した領域は完全リフレッシュ領域になる。
【００４５】
第Ｎのフレームのように、画面全体が完全リフレッシュ済み領域またはリフレッシュ領域になったとき、リフレッシュが完了する。また、第Ｎ’のフレームのように、画面全体が中間リフレッシュ済み領域または完全リフレッシュ済み領域またはリフレッシュ領域になったときは、中間リフレッシュ済みの領域は、再度乱れを生じる可能性はあるものの、ユーザに対して早い段階で一定品質の復帰画像を提示できるというメリットがある。
【００４６】
本実施例によれば、リフレッシュ開始位置をずらすことで、リフレッシュ領域が水平方向に広く分布することになるため、水平方向のリフレッシュ範囲が広がる。これによって、広範囲のリフレッシュが可能になり、水平方向に見た場合に領域によってリフレッシュが著しく遅れてしまうことを防止し、ユーザに対していち早く画面全体の概要を提示することができる。
【００４７】
本実施例と実施例１あるいは実施例２とを組み合わせることによって、より精密なリフレッシュ制御が実現できる。
本実施例では、分割数を四分割としたが、これ以外の分割数で分割しても良い。
【実施例４】
【００４８】
以下、図面を参照しながら本発明の実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
本実施例のリフレッシュ制御部１１１がリフレッシュ処理時間を短縮するために行う処理について、図６を用いて説明する。
【００４９】
リフレッシュ制御部１１１は入力画像を垂直方向に分割してリフレッシュ領域の設定を行う。例えば、リフレッシュ制御部１１１は、入力画像を水平方向に四分割し、左から順に第一の領域、第二の領域、第三の領域、第四の領域とする。垂直方向に分割しているため、リフレッシュ開始位置が各領域で異なる。各領域は実施例１と同様に、リフレッシュ制御部１１１は、第二のフレームではリフレッシュ開始位置をリフレッシュ幅だけ右側に移動する。
【００５０】
このとき、第二の領域以降は、第一のフレームでリフレッシュ領域であった領域が、第二のフレームにおいて第一のフレームの未リフレッシュ領域を参照する可能性があるため、第二のフレームが乱れる場合がある。従ってこの領域は中間リフレッシュ領域になる。第一の領域でリフレッシュされた領域は完全リフレッシュ済み領域となる。
【００５１】
本実施例によれば、完全リフレッシュ済み領域あるいは中間リフレッシュ済み領域が水平方向に広く分布することになるため、一つのフレームでリフレッシュできる領域が広くなる。水平方向の分割をさらに多くすることで、より広い範囲でのリフレッシュが可能になる。これによって、水平方向に見た場合に右側の領域のリフレッシュが著しく遅れてしまうことを防止できる。
【００５２】
本実施例と実施例１あるいは実施例２とを組み合わせることによって、より精密なリフレッシュ制御が実現できる。
本実施例では、分割数を四分割としたが、これ以外の分割数で分割しても良い。
【実施例５】
【００５３】
以下、図面を参照しながら本発明の実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
本実施例のリフレッシュ制御部１１１がリフレッシュ処理時間を短縮するために行う処理について、図７を用いて説明する。
【００５４】
リフレッシュ制御部１１１は入力画像を垂直方向に二分割してリフレッシュ領域の設定を行う。例えば、入力画像を水平方向に二分割し、左から順に第一の領域、第二の領域とする。第一の領域は実施例１と同様に、第一のフレームにおいてリフレッシュ開始位置（Ｐ（１，１））を左端から始める。第二の領域は、第一のフレームにおいてリフレッシュ開始位置（Ｐ（１，２））を画像入力右端から、リフレッシュ幅分（Ｗ）だけ左側に移動した場所とする。
【００５５】
第二のフレームでは、第一の領域は実施例１と同様に、リフレッシュ開始位置をＷだけ右に移動する。第二の領域はリフレッシュ開始位置をＷだけ左に移動する。第一のフレームで第一の領域のリフレッシュ領域だった領域は、第二のフレームでは完全リフレッシュ済み領域となる。第一のフレームで第二の領域のリフレッシュ領域だった領域は、第二のフレームでは第一のフレームの未リフレッシュ領域を参照しないように動き予測の範囲を制限することで、完全リフレッシュ済み領域となる。画面全体が完全リフレッシュ済み領域またはリフレッシュ領域になったとき、リフレッシュが完了する。
【００５６】
本実施例によれば、複数領域に分割してリフレッシュを行った場合であっても、リフレッシュ領域は全て完全リフレッシュ領域であるため、一度のリフレッシュで画面全体が完全にリフレッシュされる。そのため、実施例４のように画像途中からリフレッシュを開始する場合と比べてリフレッシュ時間を短縮することができる。また、複数領域に分割して、左端と右端の双方からリフレッシュを行うため、水平方向に見た場合に右側の領域のリフレッシュが遅れてしまうことを防止できる
本実施例と実施例１あるいは実施例２とを組み合わせることによって、より精密なリフレッシュ制御が実現できる。
本実施例では、分割数を二分割としたが、これ以外の分割数で分割しても良い。
【００５７】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００５８】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００５９】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００６０】
１０１  画像入力部
１０２  減算器
１０３  スイッチ
１０４  ＤＣＴ／量子化部
１０５  可変長符号部
１０６  逆量子化／ＩＤＣＴ部
１０７  バッファメモリ
１０８  動き予測部
１０９  動き補償部
１１０  符号化制御部
１１１  リフレッシュ制御部
１１２  ＯＲ回路部
１１３  メモリ
【図１】
2011233991.tif 000003
【図２】
2011233991.tif 000004
【図３】
2011233991.tif 000005
【図４】
2011233991.tif 000006
【図５】
2011233991.tif 000007
【図６】
2011233991.tif 000008
【図７】
2011233991.tif 000009
【図８】
2011233991.tif 000010