(57)【要約】      （修正有）【課題】表示ストリーム技術を向上させることができる符号化方法を提供する。【解決手段】符号化方法は、符号化器を用いて画像を示す画像データブロックを符号化する方法であって、符号化器によって、画像の第１領域と画像の第２領域を定義する段階と、符号化器によって、基本ビットを含む第１ビット数を第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を第２領域の符号化に割り当てる段階と、を含む。第１領域の第１画素数と第２領域の第２画素数の合計は前記画像の総画素数と同一であり、第１ビット数と第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、第２領域は第１領域より大きい画素当りのビット数で符号化する。【選択図】図３
2020022164.tif 000002
【特許請求の範囲】
【請求項１】
符号化器を用いて画像を示す画像データブロックを符号化する方法であって、
前記符号化器によって、前記画像の第１領域と前記画像の第２領域を定義する段階と、
前記符号化器によって、基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当てる段階と
を含み、
前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、
前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、
前記第２領域は前記第１領域より大きい画素当りのビット数で符号化する、
符号化方法。
【請求項２】
前記第２領域は表示装置上で前記画像を見る使用者の視線固定点に対応する高解像度領域を含み、
前記第１領域は前記視線固定点の外側にある低解像度領域を含む、
請求項１に記載の符号化方法。
【請求項３】
前記符号化器によって、前記画像の第３領域を定義する段階をさらに含み、
前記第３領域は前記第１領域より大きい画素当りのビット数で符号化し、前記第２領域より小さい画素当りのビット数で符号化する、
請求項１に記載の符号化方法。
【請求項４】
前記符号化器によって、ブロック当りの画素数を求める段階と、
前記符号化器によって、前記画像の現在ブロックを受信する段階と、
前記符号化器によって、前記現在ブロックの量子化パラメータを決定する段階と、
前記符号化器によって、前記現在ブロックを前記量子化パラメータで符号化する段階と、
前記符号化器によって、符号化される前記画像の残りの画素数を更新する段階と、
前記符号化器によって、前記残りの画素の符号化のための残りのビット数を更新する段階と
をさらに含む、請求項３に記載の符号化方法。
【請求項５】
前記符号化器によって、符号化される前記画像の前記残りの画素数、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数、および符号化される前記第２領域の残りの画素数に基づいてブロック当りの割り当てられた基本ビット数を決定する段階をさらに含む、請求項４に記載の符号化方法。
【請求項６】
前記現在ブロックが前記第２領域に属する場合、前記符号化器によって、前記第２領域画素数およびブロック当りの強化ビット数に基づいて、前記現在ブロックの符号化に使用可能な残りの強化ビット数を計算する段階をさらに含み、
前記ブロック当りの強化ビット数は前記第２領域のブロック当りの目標ビットと前記第１領域のブロック当りの目標ビットとの差を示す、
請求項５に記載の符号化方法。
【請求項７】
前記符号化器によって、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数と前記残りの強化ビット数との差を計算する段階と、
前記符号化器によって、前記画像の前記残りの画素数および前記差に基づいて前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数を計算する段階と、
をさらに含む、請求項６に記載の符号化方法。
【請求項８】
前記符号化器によって、前記画像の前記現在ブロックが前記第２領域内であれば、前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数と前記ブロック当りの強化ビット数の合計に基づいて前記現在ブロックの符号化のためのブロック当りの割り当てられた総ビット数を計算する段階をさらに含む、請求項７に記載の符号化方法。
【請求項９】
前記現在ブロックの前記量子化パラメータは、前記現在ブロック直前に符号化されたブロックの量子化パラメータ、前記現在ブロックの直前のブロックを符号化することに用いたビット数、および前記現在ブロックに割り当てられたビット数に基づいて決定し、
前記画像の前記現在ブロックが前記第１領域内であれば、前記現在ブロックに割り当てられたビット数は前記第１領域のブロック当りの割り当てられた基本ビットであり、
前記画像の前記現在ブロックが前記第２領域内であれば、前記現在ブロックに割り当てられたビット数は、前記第２領域のブロック当りの割り当てられた総ビット数である、
請求項８に記載の符号化方法。
【請求項１０】
画像データをバッファリングするメモリと、
前記メモリを制御するプロセッサーと、
を含み、
前記プロセッサーは、
前記画像の第１領域と前記画像の第２領域を定義し、
符号化器によって、基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当て、
前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、
前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、
前記第２領域は前記第１領域より大きい画素当りのビット数で符号化される、
画像データ符号化器。
【請求項１１】
前記第２領域は表示装置上で前記画像を見る使用者の視線固定点に対応する高解像度領域を含み、
前記第１領域は前記視線固定点の外側にある低解像度領域を含む、
請求項１０に記載の画像データ符号化器。
【請求項１２】
前記プロセッサーは前記画像の第３領域を定義し、
前記第３領域は前記第１領域より大きい画素当りのビット数で符号化され、前記第２領域より小さい画素当りのビット数で符号化される、
請求項１０に記載の画像データ符号化器。
【請求項１３】
前記プロセッサーは、ブロック当りの画素数を求め、
前記画像の現在ブロックを受信し、
前記現在ブロックの量子化パラメータを決定し、
前記現在ブロックを前記量子化パラメータで符号化し、
符号化される前記画像の残りの画素数を更新し、
前記残りの画素の符号化のための残りのビット数を更新する、
請求項１２に記載の画像データ符号化器。
【請求項１４】
前記プロセッサーは、符号化される前記画像の前記残りの画素数、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数、そして符号化される前記第２領域の残りの画素数に基づいてブロック当りの割り当てられた基本ビット数を決定する、請求項１３に記載の画像データ符号化器。
【請求項１５】
前記プロセッサーは、前記現在ブロックが前記第２領域に属する場合、前記第２領域画素数およびブロック当りの強化ビット数に基づいて、前記現在ブロックの符号化に使用可能な残りの強化ビット数を計算し、
前記ブロック当りの強化ビット数は前記第２領域のブロック当りの目標ビットと前記第１領域のブロック当りの目標ビットとの差を示す、
請求項１４に記載の画像データ符号化器。
【請求項１６】
前記プロセッサーは、
前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数と前記残りの強化ビット数との差を計算し、
前記画像の前記残りの画素数および前記差に基づいて前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数を計算する、
請求項１５に記載の画像データ符号化器。
【請求項１７】
前記プロセッサーは、前記画像の前記現在ブロックが前記第２領域内であれば、前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数と前記ブロック当りの強化ビット数の合計に基づいて前記現在ブロックの符号化のためのブロック当りの割り当てられた総ビット数を計算する、
請求項１６に記載の画像データ符号化器。
【請求項１８】
前記現在ブロックの前記量子化パラメータは前記現在ブロック直前に符号化されたブロックの量子化パラメータ、前記現在ブロックの直前のブロックを符号化することに用いたビット数、そして前記現在ブロックに割り当てられたビット数に基づいて決定し、
前記画像の前記現在ブロックが前記第１領域内であれば、前記現在ブロックに割り当てられたビット数は前記第１領域のブロック当りの割り当てられた基本ビットであり、
前記画像の前記現在ブロックが前記第２領域内であれば、前記現在ブロックに割り当てられたビット数は前記第２領域のブロック当りの割り当てられた総ビット数である、
請求項１７に記載の画像データ符号化器。
【請求項１９】
画像データを符号化し、前記画像データをバッファリングするメモリと前記メモリを制御するプロセッサーを含む画像データ符号化器のための非一時的コンピュータ読み取り可能媒体であって、
前記プロセッサーにより遂行されると画像データ符号化方法を遂行することをコンピュータに実行させるためのプログラムであって、
前記画像データ符号化方法は、
前記画像の第１領域と前記画像の第２領域を定義する段階と、
基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当てる段階と
を含み、
前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、
前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、
前記第２領域は前記第１領域より大きい画素当りのビット数で符号化されることをコンピュータに実行させるためのプログラムを記録した、
コンピュータ読み取り可能な記録媒体。
【請求項２０】
前記画像データ符号化方法は、前記画像の第３領域を定義する段階をさらに含み、
前記第３領域は前記第１領域より大きい画素当りのビット数で符号化され、前記第２領域より小さい画素当りのビット数で符号化されることをコンピュータに実行させるためのプログラムを記録した、請求項１９に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示圧縮に関し、特に画像データを符号化する方法、これを遂行する符号化器および非一時的コンピュータ読み取り可能媒体に関する。
【０００２】
本出願は、２０１８年８月１日に米国特許庁に出願した米国特許出願番号第６２／７１３，４６４号を優先権主張し、ここに引用することによってこの出願の全体内容を本願に含む。
【背景技術】
【０００３】
表示装置技術が発達することに伴い、表示装置の画像を生成するデータの解像度が大幅に改善された。表示装置技術と関連した画素帯域幅が持続的に増加することによって、特にモバイル表示装置と仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ：ＶＲ）表示装置の場合、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄ  Ａｓｓｏｃｉａｔｉｏｎ）はＤＳＣ（Ｄｉｓｐｌａｙ  Ｓｔｒｅａｍ  Ｃｏｍｐｒｅｓｓｉｏｎ）に比べて計算が複雑でありながらも、高い圧縮率を支援する表示ストリームコーデック（ｄｉｓｐｌａｙ  ｓｔｒｅａｍ  ｃｏｄｅｃ）用ＣｆＴ（Ｃａｌｌ  ｆｏｒ  Ｔｅｃｈｎｏｌｏｇｉｅｓ）を発表した。
【０００４】
表示圧縮（ｄｉｓｐｌａｙ  ｃｏｍｐｒｅｓｓｉｏｎ）は、より高い解像度データを既存の表示リンク帯域幅（例：ＶＥＳＡが規格化したＤＳＣおよびＶＤＣ−Ｍ）を通じて伝送できるようにする。ＶＥＳＡによって、いわゆるＶＤＣ−Ｍ（ＶＥＳＡ  Ｄｉｓｐｌａｙ  Ｃｏｄｅｃ  ｆｏｒ  Ｍｏｂｉｌｅ）というモバイル／スマートフォン表示装置用の新しい表示インターフェース圧縮規格が開発された。ＶＤＣ−Ｍは、新しい表示圧縮規格として、ＤＳＣ（Ｄｉｓｐｌａｙ  Ｓｔｒｅａｍ  Ｃｏｍｐｒｅｓｓｉｏｎ）規格と同一の視覚情報損失がない品質を維持しながらも、ＤＳＣ規格より高い圧縮率を目標とし、このようにするためには難易度が高まる。
【０００５】
画像／映像（ｉｍａｇｅ／ｖｉｄｅｏ）規格（例：ＪＰＥＧ２０００およびＨＥＶＣ規格）に比べて表示圧縮符号化器（ｃｏｄｅｒｓ／ｅｎｃｏｄｅｒｓ）（例：ＤＳＣ、ＶＤＣ−Ｍ）は一般に軽く、視覚的損失がない性能を発揮する。ＤＳＣおよびＶＤＣ−Ｍは、固定比率（ｆｉｘｅｄ  ｒａｔｅ）符号化器であり、２４ビット色源（ｃｏｌｏｒ  ｓｏｕｒｃｅ）に対して各々画素当りの８ビットと６ビットまで圧縮率を低めることができる。例えば、ＶＤＣ−Ｍは、固定比率表示ストリームコーデックであり、これによって固定ビットレートを有し、ＲＧＢ  ４：４：４源（ｓｏｕｒｃｅ）に対して画素当りの６ビットまで圧縮率を低めることができる。ＶＤＣ−Ｍは、８×２画素ブロックを有するブロック基盤コーデックである。
【０００６】
ＶＲヘッドセットの視野（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ：ＦＯＶ）は、例えば、水平および垂直方向にそれぞれ１５０度および１３５度程度である。しかし、人間の目の固有特性により人間は１５０×１３５度の全体視野を均一に感知することができない。
【０００７】
例えば、人間の目の網膜にある小さい陥没部を黄斑（ｆｏｖｅａ）といい、そこが視覚的に最も敏感である。網膜錐状体が特にこの部分に密集しているため、人間の目の視野中心がこの部分に焦点が当てられている。したがって、人間知覚が最も良い（または解像度が最も高い）領域は黄斑で覆われた領域に該当する。黄斑に対応する視野はほぼ＋／−３度程度であろう。
【０００８】
本背景技術で説明した内容は、本発明の実施例に対する理解を助けるためのものに過ぎず、本発明を実現する過程で得た技術的な情報を含むことができる。したがって、前述した内容中で従来技術でない部分があり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする課題は、一般に表示装置技術を向上することにあり、特に表示ストリーム圧縮を向上させることによって例えば仮想現実技術を向上することにある。
【課題を解決するための手段】
【００１０】
本発明の一実施例による符号化方法は、符号化器を用いて画像を示す画像データブロックを符号化する方法であって、前記符号化器によって、前記画像の第１領域と前記画像の第２領域を定義する段階、そして前記符号化器によって、基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当てる段階を含み、前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、前記第２領域は前記第１領域より大きい画素当りのビット数で符号化する。
【００１１】
前記第２領域は表示装置上で前記画像を見る使用者の視線固定点に対応する高解像度領域を含み、前記第１領域は前記視線固定点の外側にある低解像度領域を含むことができる。
【００１２】
前記符号化器によって、前記画像の第３領域を定義する段階をさらに含み、前記第３領域は前記第１領域より大きい画素当りのビット数で符号化し、前記第２領域より小さい画素当りのビット数で符号化することができる。
【００１３】
前記符号化器によって、ブロック当りの画素数を求める段階、前記符号化器によって、前記画像の現在ブロックを受信する段階、前記符号化器によって、前記現在ブロックの量子化パラメータを決定する段階、前記符号化器によって、前記現在ブロックを前記量子化パラメータで符号化する段階、前記符号化器によって、符号化される前記画像の残りの画素数を更新する段階、そして前記符号化器によって、前記残りの画素の符号化のための残りのビット数を更新する段階をさらに含むことができる。
【００１４】
前記符号化器によって、符号化される前記画像の前記残りの画素数、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数、そして符号化される前記第２領域の残りの画素数に基づいてブロック当りの割り当てられた基本ビット数を決定する段階をさらに含むことができる。
【００１５】
前記現在ブロックが前記第２領域に属する場合、前記符号化器によって、前記第２領域画素数およびブロック当りの強化ビット数に基づいて、前記現在ブロックの符号化に使用可能な残りの強化ビット数を計算する段階をさらに含み、前記ブロック当りの強化ビット数は前記第２領域のブロック当りの目標ビットと前記第１領域のブロック当りの目標ビットとの差を示すことができる。
【００１６】
前記符号化器によって、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数と前記残りの強化ビット数との差を計算する段階、そして前記符号化器によって、前記画像の前記残りの画素数および前記差に基づいて前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数を計算する段階をさらに含むことができる。
【００１７】
前記符号化器によって、前記画像の前記現在ブロックが前記第２領域内であれば、前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数と前記ブロック当りの強化ビット数の合計に基づいて前記現在ブロックの符号化のためのブロック当りの割り当てられた総ビット数を計算する段階をさらに含むことができる。
【００１８】
前記現在ブロックの前記量子化パラメータは、前記現在ブロック直前に符号化されたブロックの量子化パラメータ、前記現在ブロックの直前ブロックを符号化することに用いたビット数、そして前記現在ブロックに割り当てられたビット数に基づいて決定し、前記画像の前記現在ブロックが前記第１領域内であれば、前記現在ブロックに割り当てられたビット数は前記第１領域のブロック当りの割り当てられた基本ビットであり、前記画像の前記現在ブロックが前記第２領域内であれば、前記現在ブロックに割り当てられたビット数は前記第２領域のブロック当りの割り当てられた総ビット数でありうる。
【００１９】
本発明の他の実施例による画像データ符号化器は、画像データをバッファリングするメモリ、そして前記メモリを制御するプロセッサーを含み、前記プロセッサーは、前記画像の第１領域と前記画像の第２領域を定義し、前記符号化器によって、基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当て、前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、前記第２領域は前記第１領域より大きい画素当りのビット数で符号化される。
【００２０】
前記第２領域は表示装置上で前記画像を見る使用者の視線固定点に対応する高解像度領域を含み、前記第１領域は前記視線固定点の外側にある低解像度領域を含むことができる。
【００２１】
前記プロセッサーは前記画像の第３領域を定義し、前記第３領域は前記第１領域より大きい画素当りのビット数で符号化され、前記第２領域より小さい画素当りのビット数で符号化されてもよい。
【００２２】
前記プロセッサーは、ブロック当りの画素数を求め、前記画像の現在ブロックを受信し、前記現在ブロックの量子化パラメータを決定し、前記現在ブロックを前記量子化パラメータで符号化し、符号化される前記画像の残りの画素数を更新し、前記残りの画素の符号化のための残りのビット数を更新することができる。
【００２３】
前記プロセッサーは、符号化される前記画像の前記残りの画素数、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数、そして符号化される前記第２領域の残りの画素数に基づいてブロック当りの割り当てられた基本ビット数を決定することができる。
【００２４】
前記プロセッサーは、前記現在ブロックが前記第２領域に属する場合、前記第２領域画素数およびブロック当りの強化ビット数に基づいて、前記現在ブロックの符号化に使用可能な残りの強化ビット数を計算し、前記ブロック当りの強化ビット数は前記第２領域のブロック当りの目標ビットと前記第１領域のブロック当りの目標ビットとの差を示すことができる。
【００２５】
前記プロセッサーは、前記画像の前記残りの画素の符号化に使用可能な前記残りのビット数と前記残りの強化ビット数との差を計算し、前記画像の前記残りの画素数および前記差に基づいて前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数を計算することができる。
【００２６】
前記プロセッサーは、前記画像の前記現在ブロックが前記第２領域内であれば、前記第１領域および前記第２領域のブロック当りの割り当てられた基本ビット数と前記ブロック当りの強化ビット数の合計に基づいて前記現在ブロックの符号化のためのブロック当りの割り当てられた総ビット数を計算することができる。
【００２７】
前記現在ブロックの前記量子化パラメータは前記現在ブロック直前に符号化されたブロックの量子化パラメータ、前記現在ブロックの直前ブロックを符号化することに用いたビット数、そして前記現在ブロックに割り当てられたビット数に基づいて決定し、前記画像の前記現在ブロックが前記第１領域内であれば、前記現在ブロックに割り当てられたビット数は前記第１領域のブロック当りの割り当てられた基本ビットであり、前記画像の前記現在ブロックが前記第２領域内であれば、前記現在ブロックに割り当てられたビット数は前記第２領域のブロック当りの割り当てられた総ビット数でありうる。
【００２８】
本発明の他の実施例による非一時的コンピュータ読み取り可能媒体は、画像データを符号化し、前記画像データをバッファリングするメモリと前記メモリを制御するプロセッサーを含む画像データ符号化器のための非一時的コンピュータ読み取り可能媒体であって、前記プロセッサーにより遂行されると画像データ符号化方法を遂行するインストラクションが保存されており、前記画像データ符号化方法は、前記画像の第１領域と前記画像の第２領域を定義する段階、そして基本ビットを含む第１ビット数を前記第１領域の符号化に割り当て、基本ビットと強化ビットを含む第２ビット数を前記第２領域の符号化に割り当てる段階を含み、前記第１領域の第１画素数と前記第２領域の第２画素数の合計は前記画像の総画素数と同一であり、前記第１ビット数と前記第２ビット数の合計は全ての画素を符号化するための総ビット数と同一であり、前記第２領域は前記第１領域より大きい画素当りのビット数で符号化される。
【００２９】
前記画像データ符号化方法は、前記画像の第３領域を定義する段階をさらに含み、前記第３領域は前記第１領域より大きい画素当りのビット数で符号化され、前記第２領域より小さい画素当りのビット数で符号化されてもよい。
【発明の効果】
【００３０】
したがって、本発明の実施例によるコーデックまたは符号化器は、互いに異なる解像度領域を定め、該当する領域により画像ブロックにビットを異なるように割り当て、ブロック符号化後に使用可能な残りを更新することによって画像データ圧縮方法を向上させることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施例による互いに異なる解像度を有する互いに異なる解像度領域を含む画像の例を示したものである。
【図２】本発明の一実施例による表示ストリームの圧縮過程で多様なビット数をブロックに割り当てる方法を示したフローチャートである。
【図３】本発明の一実施例による互いに異なる解像度領域を有する画像と多重解像度明暗法の概念図を示す。
【図４】本発明の一実施例による表示ストリームの圧縮過程で多様な解像度領域のブロックに多様なビット数を割り当てる方法を示したフローチャートである。
【図５】本発明の一実施例により互いに異なる解像度を有する４個の解像度領域を有する表示装置の画像を示す。
【図６】本発明の一実施例による表示ストリームの圧縮過程で多様な解像度領域の複数のブロック（つまり、３以上の領域）に多様なビット数を割り当てる方法を示したフローチャートである。
【発明を実施するための形態】
【００３２】
前述したように、人間の目の知覚が視野の中心からから外縁に至るまで均一なものではない。帯域幅を減らすためには、表示される画像データが使用者に如何に認知されるのかにより画像データを圧縮することが有用である。つまり、帯域幅を減らすためには、画像の中心に対応する画像データより外縁に対応する画像データを圧縮することが有用である。
【００３３】
また、表示画面の表示解像度が持続的に高まるが、データを機器プロセッサー（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）から表示装置に運搬する内部リンクの帯域幅は同一の比率で増えなかった。
【００３４】
したがって、例えば仮想現実ヘッドセットのような機器の表示画面に互いに異なる水準の解像度を有する領域を実現することによってシステムを向上させることに有用である。
【００３５】
図１は、本発明の一実施例による互いに異なる解像度を有する互いに異なる解像度領域を含む画像の例を示したものである。
【００３６】
図１を参照すると、例えば仮想現実ヘッドセットの表示装置のような表示装置の画像１００が図示されている。画像１００はＮ×Ｍ（Ｎ、Ｍは整数）画素を含むことができる。ここで「画像（ｉｍａｇｅ）」という表現を使用しているが、この表現は「映像スライス（ｓｌｉｃｅ  ｏｆ  ａｎ  ｉｍａｇｅ）」（または映像の一部）にも同一に使用可能であることを理解できる。つまり、ここでは映像を圧縮すると説明しているが、当該説明は映像スライスを圧縮することにも使用可能であることを理解できるはずである。
【００３７】
本発明の実施例では、表示される画像１００に対して多重解像度明暗法（ｍｕｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ  ｓｈａｄｉｎｇ）を用いて人間知覚を反映する。つまり、画像１００は多重解像度明暗法を実現して人間の視野に対応する人間知覚の差を反映する。したがって、人間の視力が視野の全領域にわたって均一ではないため、視覚的品質も画像１００全体にわたって均一ではない。
【００３８】
例えば、人間知覚が非常に敏感なところに対応する領域（例えば、人間の目の黄斑に該当する表示装置の領域）内の画像１００の高解像度領域１１０に、より高い解像度を使用することができる。一例を挙げると、高解像度領域１１０は視覚的に損失のない領域でありうる［例えば、高解像度領域１１０は圧縮していない表示画像データまたは損失のない圧縮率で圧縮した表示画像データを表示することもできる］。また、より少なく敏感な領域に対応する表示装置画像１００の低解像度領域１３０（例えば人間視野の外縁側領域に対応する表示装置領域）には低い解像度を使用することができる。
【００３９】
表示装置画像１００の高解像度領域１１０と低解像度領域１３０の間には中間解像度を有する一つまたは二つ以上の互いに異なる中間解像度領域１２０を設けて画像１００の中心から端部に知覚が順調に移転できるようにする（例えば図５参照）。つまり、本実施例の表示装置は高解像度領域１１０と低解像度領域１３０解像度の中間水準の解像度を有する一つの中間解像度領域１２０を有しているが、他の実施例ではこれに限定されない。他の実施例によれば、互いに異なる解像度水準（例えば多様な中間解像度水準）を有する複数の層または領域を設けて仮想現実ヘッドセット使用者の知覚が低解像度領域１３０から高解像度領域１１０に自然に移ることができるようにする。
【００４０】
図１に示した多様な高解像度領域１１０、中間解像度領域１２０、および低解像度領域１３０は一例に過ぎない。他の実施例によれば、分析および試験を経て（例えば仮想現実ヘッドセットレンズで補正した後に）領域の数、位置および模様を決定することができる。例えば他の実施例によれば、図１の画像１００には高解像度、中間解像度、低解像度領域１１０、１２０、１３０が長方形であるが、多様な高解像度、中間解像度、低解像度領域が円形や楕円形であってもよく、不連続であってもよい。
【００４１】
したがって、画像のブロックはそれらが位置する領域の解像度水準により互いに異なるように符号化されてもよく、表示装置は多重解像度明暗法に基づいて多重解像度仮想現実圧縮を使用することができる。例えば、表示装置を含む仮想現実ヘッドセット使用者の予想人間知覚敏感度水準により互いに異なる高解像度領域１１０、中間解像度領域１２０、および低解像度領域１３０にそれぞれのビットを割り当てることができる（例えばより高い解像度を有する領域により大きい画素当りのビット数またはブロック当りのビット数を割り当てることができる）。しかし、表示コーデックの符号化器は、一般にメモリ制限のため、画像圧縮開始前にイメージ全体を分析することができない。つまり、符号化器は一般にまだ受信していない互いに異なる画像ブロックの特性に対する事前知識を有せず、それらのブロックを受信した後に分析する。
【００４２】
ＶＤＣ−Ｍでの単一解像度比率制御の場合、総数Ｐ個の画素とその画素に割り当てられた総Ｂ個のビット数（Ｐ、Ｂは整数）を有する画像１００があるとすれば、本発明の実施例ではブロック（例えば８×２画素ブロック）当りのビット数を如何に配分または割り当てて品質を向上させるまたは最大化するのかを次のとおり決定することができる。つまり、特定画素ブロックに他のブロックより大きいビット数が付与されるため、そして画像１００圧縮を開始する前に多様なブロックにビットが如何に割り当てられるのかは一般に知らないため（例えば画像データがＶＤＣ−Ｍ符号化器などの圧縮装置に入力される時に画素ブロックが直列に圧縮されるため）、本実施例では画像圧縮が進行される時、ビットの割り当てをどのようにするのかを多重解像度明暗法により決定する方法を以下に提示する。
【００４３】
（例えばそれぞれ１６画素を含み、８×２画素に配列された）各画素ブロックに対して、画像［例えば図１の画像１００］の残り（ｒｅｍａｉｎｉｎｇ）または使用可能な（ａｖａｉｌａｂｌｅ）ビット「Ｂr」に基づいて、そして画像１００の残りの画素「Ｐｒ」に基づいて「ｂｉｔｓＡｌｌｏｃａｔｅｄ」（例えばそのブロックに割り当てられたビット数、またはブロック当りの平均ビット数）を決定または計算することができる。次に提示する例では、表示ストリームの第１ブロックに対して、Ｂr＝Ｂ、そしてＰr＝Ｐである。そのブロックが１６画素に該当すれば、各ブロックに対して割り当てられる平均ビット数は数式１のように計算することができる。
【数１】
2020022164.tif 000003
【００４４】
したがって、数式１によれば、残りのビットを残りの画素に均分することができる（例えば各ブロックに同一のビット数を割り当てることができる）。これは次のブロックの複雑度（ｃｏｍｐｌｅｘｉｔｙ）を知らない場合（例えば圧縮されるブロックの圧縮率を知らない場合）には受け入れ可能な戦略、ひいては最も良い戦略でありうる。
【００４５】
しかし、画像１００は互いに異なる領域で多様な水準の複雑度（ｃｏｍｐｌｅｘｉｔｙ）またはテクスチャ（ｔｅｘｔｕｒｅ）を有することができるため、圧縮処理が進行される時に互いに異なるブロックに割り当てられるビット数を変化させることが有用である。つまり、圧縮処理が進行する時、平均圧縮率に基づいてｂｉｔｓＡｌｌｏｃａｔｅｄを調節することが有用である。
【００４６】
したがって、数式１で決定したｂｉｔｓＡｌｌｏｃａｔｅｄに基づいて、隣接した他の画素ブロック（例えば現在ブロックの領域に位置する以前のブロック）に対する現在画素ブロックの複雑度を推定することができる。複雑度尺度は数式２を用いて以前のブロックの量子化パラメータ値（ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ）（「ｐｒｅｖ  Ｂｌｏｃｋ  ＱＰ」）に基づいて現在ブロックのＱＰ値（「ｃｕｒＢｌｏｃｋＱＰ」）を決定または計算することに用いることができる。
【数２】
2020022164.tif 000004
【００４７】
数式２で、δＱＰは現在ブロックの複雑度が隣接した以前のブロックより大きければ正数であり、現在ブロックが隣接した以前のブロックより少なく複雑であれば負数であり、現在ブロックと以前のブロックの複雑度が同一または類似していれば０でありうる。
【００４８】
各ブロックに対して絶えずに複雑度を計算することによって、そしてδＱＰに基づいてｃｕｒＢｌｏｃｋＱＰを調節することによって、画像１００に割り当てられた総ビット数（「Ｂ」）を超えるビット数を使用せず、そして画像１００の処理完了時の残りのビット（「Ｂr」）を多く残さずに画像１００を処理することができる。つまり、本実施例による処理の残りと関連して、数式２は過度に多いかまたは少ないビットが画像１００の処理に使用されないようにすることができる。
【００４９】
したがって、「ｃｕｒＢｌｏｃｋＱＰ」を計算することに使用可能な、決定されたＱＰにより現在ブロックに割り当てられたビット数は、残りのブロックに割り当てられた平均ビット数（例えば「ｂｉｔｓＡｌｌｏｃａｔｅｄ」）より多いかまたは少なく調節されてもよい。ＱＰが高まることによって、画像に対応するステップの大きさ（ｓｔｅｐ  ｓｉｚｅ）も画像歪曲と共に増加するが、対応するビットレートは減少する。
【００５０】
（例えばｃｕｒＢｌｏｃｋＱＰに基づいて）現在ブロックに割り当てられたビット数が一旦決定されると、現在ブロックを符号化し、現在ブロックを符号化することに使用された実際ビット数を画像１００の残りのビットから引いて残りのビット数（「Ｂｒ」）を更新することができる。その後、次のブロックに対して前述した第１および第２の動作を繰り返すことができる。
【００５１】
上記で説明した内容を整理した図２のフローチャートは、本発明の一実施例による表示ストリームの圧縮過程で多様なビット数をブロックに割り当てる方法を示したフローチャートである。
【００５２】
図２を参照すると、段階（Ｓ２１０）で本実施例による符号化器は画像の残りのビット数と画像にある残りの画素数に基づいてブロック当りの割り当てられるビット数（例えばその画像に対するブロック当り平均ビット数）を（例えば数式１により）決定することができる。
【００５３】
しかし、「ｂｉｔｓＡｌｌｏｃａｔｅｄ」を決定する時、２個の大きい整数の間の浮動少数点計算（ｆｌｏａｔｉｎｇ  ｐｏｉｎｔ  ｃａｌｃｕｌａｔｉｏｎ）が伴うことがある点を有意しなければならない。また、残りの画素数（Ｐｒ）が画素ブロックを処理し、符号化することによって変化するため、「ｂｉｔｓＡｌｌｏｃａｔｅｄ」を予め計算することは非現実的でありうる。このような浮動少数点計算を避けるために、固定少数点除算器（ｆｉｘｅｄ−ｐｏｉｎｔ  ｄｉｖｉｄｅｒ）を用いて「ｂｉｔｓＡｌｌｏｃａｔｅｄ」を計算することができる。また、固定少数点目標率近似値（ｆｉｘｅｄ  ｐｏｉｎｔ  ｔａｒｇｅｔ  ｒａｔｅ  ａｐｐｒｏｘｉｍａｔｉｏｎ）を決定した後に、２次ＬＵＴを用いて目標率近似値を調節することができる。これに加えて、「ｂｉｔｓＡｌｌｏｃａｔｅｄ」を計算するための割算動作を避けるためにビットシフト（ｂｉｔｓｈｉｆｔｉｎｇ）を用いることができる。
【００５４】
例えば、各画素ブロックに対して、画像または映像スライスに残っているビット数（Ｂ）と画素数（Ｐ）に基づいてブロック当りの目標ビットレート（ｔａｒｇｅｔ  ｂｉｔ  ｒａｔｅ  ｐｅｒ  ｂｌｏｃｋ）（ＴＲｉｄｅａｌ）を更新する。したがって、ブロック当り１６画素があると
2020022164.tif 000005
である。浮動少数点計算を避けるために、
2020022164.tif 000006
のような固定少数点近似法を用いる。
【００５５】
したがって、数式の分母（Ｐ）は
2020022164.tif 000007
に変換することができる。そうすると、
2020022164.tif 000008
であり、
2020022164.tif 000009
に対するＬＵＴの関数
2020022164.tif 000010
はＬＵＴに保存することができる。
【００５６】
また、（例えば予測によって）スライスの第１行（ｆｉｒｓｔ  ｌｉｎｅ  ｏｆ  ａｓｌｉｃｅ：ＦＬＳ）の品質が有用であるため、ＦＬＳに対するＴＲ0にオフセットパラメータを追加することができる。したがって、
2020022164.tif 000011
、ここでδFLSは画像または映像スライスの第１行内のブロックらに余分のビットを割り当て、
2020022164.tif 000012
＝１６・２＝３２となる。
【００５７】
段階（Ｓ２２０）で、符号化器は少なくとも一つの隣接ブロックの量子化パラメータに基づいて符号化器が圧縮のために受信した現在ブロックの量子化パラメータを決定することができる。一実施例によれば、少なくとも一つの隣接ブロックは現在ブロック直前に符号化されたブロックである。現在ブロックの量子化パラメータは
2020022164.tif 000013
で求める。
【００５８】
段階（Ｓ２３０）で、符号化器は決定された現在ブロックの量子化パラメータに基づいて現在ブロックを符号化するビット数を決定することができる（例えば符号化器はｃｕｒＢｌｏｃｋＱＰに基づいて現在ブロックを符号化することができる）。その後、段階（Ｓ２４０）で、符号化器は決定されたＱＰで現在ブロックを符号化することができ、当該ブロックを復号器に伝送することができる。
【００５９】
段階（Ｓ２５０）で、符号化器は圧縮される画像の残りの画素数に基づいて画像を圧縮することに用いる残りのビット数を更新する（例えば符号化器はＢｒとＰｒを更新することができる）。
【００６０】
段階（Ｓ２６０）で、符号化器は圧縮される次の画素ブロックを受信することができ、画像１００の最後のブロックを符号化する時まで段階（Ｓ２１０）に戻ることができる。それ以上残ったブロックがなければ符号化器は段階（Ｓ２７０）で画像圧縮を終えることができる。
【００６１】
従来の場合には、単一解像度圧縮に対して、ＶＤＣ−Ｍ比率制御が画像の与えられた部分にあるブロックの量子化パラメータに基づいてビットを割り当てる。したがって、複雑な部分（例えばよりテクスチャのある自然画像に対応する領域など圧縮率が低い画像領域）にあるブロックにはより多くのビットが割り当てられることができ、均一または平坦な部分［例えば画像１００の品質を大きく犠牲させずに高い比率で圧縮可能なコンピュータ生成領域または自然領域］にあるブロックにはより少ないビットが割り当てられる。
【００６２】
これとは異なり、本実施例によれば、多重解像度圧縮の場合には、符号化器が低解像度領域１３０のブロックより高解像度領域１１０のブロックにビットをより多く割り当てることができる。例えば、中間解像度領域１２０および低解像度領域１３０にはビットを少なく割り当て、高解像度領域１１０にはより多くのビットを割り当てて高品質を維持することができ、低解像度領域１３０より中間解像度領域１２０にビットをより多く割り当てることができる。
【００６３】
総Ｐ個の画素を有する画像１００があり、符号化器が画像１００を符号化することに総数Ｂ個のビット数を使用することができれば、本発明の実施例では互いに異なる高解像度領域１１０、中間解像度領域１２０、および低解像度領域１３０に対する品質差に基づいて現在画素ブロックに使用可能なビットを適切に互いに異なるように割り当てることができ、一つ以上の高解像度領域１１０、中間解像度領域１２０、および低解像度領域１３０内での複雑度差に基づいてそのように割り当てることもできる。
【００６４】
図３は、本発明の一実施例による互いに異なる解像度領域を有する画像と多重解像度明暗法の概念を示す。
【００６５】
図３を参照すると、本実施例による多重解像度明暗法では人間知覚の差が視野の互いに異なる領域に対応するため（例えば視野の中心に対応する領域はより高い視力に対応し、視線固定領域または高解像度領域に対応することができるため）、人間知覚の差を反映することができ、それに基づいて符号化器のビットレートを選択的に配分することができる。説明を簡単にするために、本実施例の表示画像３００はただ二つの互いに異なる解像度領域［例えば高解像度領域３１０および低解像度領域３３０］のみを含む。しかし、本実施例は追加的な解像度領域［例えば図１に示した画像１００の中間解像度領域１２０または後述する図５に示した画像５００の中間解像度領域５２０、５２５］に拡張され得る。実施例で高解像度および中間解像度領域は強化領域（ｅｎｈａｎｃｅｄ  ｒｅｇｉｏｎｓ）ともいえる。
【００６６】
本実施例では、そして後述する数式に対する説明の便宜のために、低解像度領域３３０は「領域１」とし、高解像度領域３１０は「領域０」という。処理過程で、画像３００のこのような領域３１０、３３０はビットマスク（ｂｉｔｍａｓｋ）に定義されてもよいが、一つの領域はビットマスクのある値（例えば１の値）に定義され、他の領域はビットマスクの他の値（例えば０の値）に定義されてもよい。
【００６７】
与えられた領域［例えば「領域ｉ」（ｉは領域に対応する整数として、本実施例ではｉ＝１または０）］に割り当てられたブロック当りのビットは「ｂｉ」である。本実施例によれば、数式３に示したように高解像度領域３１０（つまり、領域０）に対するブロック当りのビット数（ｂ０）は低解像度領域３３０（つまり、領域１）に対するブロック当りのビット数（ｂ１）より大きい。
【数３】
2020022164.tif 000014
【００６８】
領域ｉにある画素数は「Ｐi」である。画像にある画素の総数（Ｐ）は各領域にある画素数（Ｐｉ）の合計である。つまり、数式４に示したように本実施例で画像３００の総画素数（Ｐ）は高解像度領域３１０にある画素数（Ｐ０）と低解像度領域３３０にある画素数（Ｐ１）の合計である。
【数４】
2020022164.tif 000015
【００６９】
これと同様に、領域ｉの符号化のために割り当てられたビット数はＢiである。Ｂiは領域ｉに対するブロック当りのビット（ｂｉ）にその領域の総画素数（Ｐｉ）をブロック当りの画素数（この例で８×２画素ブロックに対してブロック当り１６）で割った値をかけたものである。これは数式５で表現することができる。
【数５】
2020022164.tif 000016
【００７０】
したがって、この例で、画像３００を符号化することに割り当てられた総ビット数（Ｂ）は低解像度領域３３０に対する総ビット数（「Ｂ１」）と高解像度領域３１０に対する総ビット数（「Ｂ０」）の合計である。数式４と類似する方式で、全体画像３００に対する総ビット数（Ｂ）は数式６で表現することができる。
【数６】
2020022164.tif 000017
【００７１】
本実施例は高解像度領域３１０に対するブロック当りのビットをブロック当りの「基本ビット（ｂａｓｅ  ｂｉｔ）」とブロック当りの「強化ビット（ｅｎｈａｎｃｅｍｅｎｔ  ｂｉｔｓ）」に区分することによって新しい解法を提示する。低解像度領域３３０のブロックには強化ビットが割り当てられないため、高解像度領域３１０にある各ブロックの基本ビットは低解像度領域３３０に使用可能なブロック当りのビットと同一であろう（例えばｂ1と同一であろう）。つまり、総ビット数（Ｂ）は全体画像［例えば領域３１０、３３０の全て］に対する基本ビットと強化領域［例えば画像３００の高解像度領域３１０］のみのための強化ビットに区分されるだろう。
【００７２】
したがって、高解像度領域３１０に割り当てられた総ビット数（Ｂ０）は数式７で表現することができる。
【数７】
2020022164.tif 000018
【００７３】
ここで
2020022164.tif 000019
項は基本ビットとし、二つの領域３１０、３３０の全てに対するブロック当りのビットに該当する。
2020022164.tif 000020
項は強化ビットとし、高解像度領域３１０に割り当てられる。使用可能な強化ビット数は、高解像度領域３１０のブロックに対する「ブロック当りの強化ビット」を計算することに用いることができる。二つの領域３１０、３３０が同一のブロック当りの基本ビット数を用いるため、ブロック当りの強化ビット数は高解像度領域３１０のブロック当りの目標ビット数と低解像度領域３３０のブロック当りの目標ビット数の差［つまり、（ｂ０−ｂ１）］に該当する。一実施例によれば、ブロック当りの強化ビットは固定された数字である。
【００７４】
一例を挙げると、画像３００の大きさが１６０×１６０画素（つまり、Ｐ＝１６０２）であり、高解像度領域３１０の大きさが３２×３２画素（つまり、Ｐ０＝３２２）である場合には、前記の数式によれば、高解像度領域３１０のブロック当りのビットは８５である［つまり、ｂ０＝８５、画素当りビット（「ｂｐｐ０」）＝５．３１２５であり、画像３００の各画素が８ビットを用いて表現されると仮定すれば１．５：１の圧縮率に該当する］。また、この例で、低解像度領域３３０に対するブロック当りのビットは１６である［つまり、ｂ１＝１６、そしてｂｐｐ１＝１．０であり、画像３００の各画素が８ビットを用いて表現されると仮定すれば、８：１の圧縮率に該当する］。
【００７５】
したがって、上記の数式７を用いることによって、高解像度領域３１０に対する総ビット数（Ｂ０）は５，４４０ビットであり、これは高解像度領域３１０の１，０２４基本ビットと４，４１６強化ビットの合計である。また、この例で、上記の数式６によれば、全体画像３００に使用可能な総ビット数は３０，０１６ビットであり、この中２５，６００個の基本ビットは高解像度領域３１０および低解像度領域３３０を含む全体画像３００に均等に分配され、４，４１６個の強化ビットは高解像度領域３１０にのみ使用される。
【００７６】
強化ビットは不足し得るため、本実施例では符号化処理過程で残った使用可能な強化ビット数を追跡する。したがって、高解像度領域３１０および低解像度領域３３０に対するブロック当りのｂｉｔｓＡｌｌｏｃａｔｅｄを次のとおり決定することができる。
【００７７】
ブロック当りの割り当てられた基本ビット数は、高解像度領域３１０および低解像度領域３３０を含む全体画像３００に対して決定することができる。ブロック当りの割り当てられた基本ビット数は、低解像度領域に対するビット当りの割り当てビット数［例えば後述する（ｂｉｔｓＡｌｌｏｃａｔｅｄ）１］と同一でありうる。画像３００に割り当てられた総ビット数から強化ビット
2020022164.tif 000021
を引いた値は（例えばＶＤＣ−Ｍ単一解像度の場合と同じ方式で）全体画像３００の複雑度に基づいて全体画像３００に配分する。
【００７８】
高解像度領域３１０に対しては、ブロック当りの基本ビットにブロック当りの強化ビットを加えて高解像度領域３１０に対してブロック当りの割り当てられた総ビット数を決定することができる（つまり、ブロック当りの基本ビットおよびブロック当りの強化ビットの全てということができる）。したがって、追加的な強化ビット（例えば基本ビットが割り当てられた後に残ったビット）は高解像度領域３１０に割り当てられてもよく、これは一般に画質を向上させることができる。
【００７９】
本実施例による多重解像度明暗法は、強化ビット
2020022164.tif 000022
に対する依存性により符号化される画像３００内に残っている高解像度領域３１０の残りの画素ブロックを継続して追跡するという点でＶＤＣ−Ｍ単一解像度と区別され得る。高解像度領域３１０の全てのブロックが符号化されると、
2020022164.tif 000023
になる。
【００８０】
本実施例によれば、符号化器は次のとおりビットを符号化することができる。
【００８１】
各ブロックのｂｉｔｓＡｌｌｏｃａｔｅｄは、画像３００の残りのビット（つまり、数式１のＢｒ）に基づいて、画像３００の残りの画素（つまり、数式１のＰｒ）に基づいて、そして画像３００内にある高解像度領域３１０（Ｐ０ｒ）の残りの画素に基づいて絶えずに更新されてもよい。したがって、各画素ブロックが８×２（つまり、ブロック当り１６画素）であれば、低解像度領域３３０に対するブロック当りのｂｉｔｓＡｌｌｏｃａｔｅｄ数は「（ｂｉｔｓＡｌｌｏｃａｔｅｄ）１」と記載し、数式８で表現することができる。
【数８】
2020022164.tif 000024
項は、高解像度領域３１０に対する総強化ビット数と類似するが、混同してはならないもので、高解像度領域３１０に使用可能な残りの強化ビットを示す。「ｂ０＝ｂ１」であればこの項は０になる（例えばこの項は単一解像度である場合には無くなる）。
【００８２】
高解像度領域３１０のブロックに対しては、ブロック当りの割り当てられたビット［「（ｂｉｔｓＡｌｌｏｃａｔｅｄ）0」］を、数式９を用いて決定する。
【数９】
2020022164.tif 000025
【００８３】
ここで（ｂ0−ｂ1）は低解像度領域３３０のブロック当りの割り当てられたビットに対する高解像度領域３１０に割り当て可能なブロック当りの強化ビットを示すことができる  （例えば低解像度領域３３０は基本ビットのみで符号化されるため、全体画像３００に対してブロック当りの割り当てられた基本ビットは（ｂｉｔｓＡｌｌｏｃａｔｅｄ）1でありうる）。
【００８４】
ＶＤＣ−Ｍ比率制御で行うように、符号化器が受信した符号化される現在ブロックのＱＰ値は決定された（ｂｉｔｓＡｌｌｏｃａｔｅｄ）1および隣接ブロックに対する現在ブロックの複雑度に基づいて決定され得る。
【００８５】
上記で説明した内容を整理した図４は、本発明の一実施例による表示ストリームの圧縮過程で多様な解像度領域のブロックに多様なビット数を割り当てる方法を示したフローチャートである。
【００８６】
図４を参照すると、段階（Ｓ４００）で、本実施例による符号化器は全体画像の基本ビット数を決定することができる［例えば符号化器は
2020022164.tif 000026
を決定することができる］。
【００８７】
段階（Ｓ４０５）で、符号化器は高解像度領域に対してのみ強化ビット数を決定することができる［例えば符号化器は
2020022164.tif 000027
を決定することができる］。
【００８８】
段階（Ｓ４１０）で、符号化器は低解像度領域と高解像度領域の全てに対してブロック当りの割り当てられる基本ビット数を決定することができ［例えば符号化器は
2020022164.tif 000028
を決定することができ］、これは全ての残りのブロックに対して割り当てられた基本ビット数と同一でありうる。
【００８９】
段階（Ｓ４１５）で、符号化器はブロック当りの割り当てられた基本ビット数を高解像度領域に対してブロック当りの割り当てられた強化ビット数に加えることによって高解像度領域に対してブロック当りの割り当てられた総ビット数を決定することができる［例えば符号化器は
2020022164.tif 000029
を決定することができる）。
【００９０】
段階（Ｓ４２０）で、符号化器は以前に符号化された一つ以上の隣接ブロックの量子化パラメータに基づいて現在ブロックの量子化パラメータを決定することができる［例えば符号化器は
2020022164.tif 000030
を決定することができる。
【００９１】
段階（Ｓ４３０）で、符号化器は現在ブロックの量子化パラメータに基づいて現在ブロックのビット数を決定することができる。その後、段階（Ｓ４４０）で、符号化器はＱＰで現在ブロックを符号化することによって使用されていない残りのビットのプール（ｐｏｏｌ）でビットを除去することができ、現在ブロックを復号器に伝送することができる。
【００９２】
段階（Ｓ４５０）で、符号化器は残りのビット数、画像の残りの画素数および高解像度領域の残りの画素数を更新することができる。
【００９３】
段階（Ｓ４６０）で、符号化器は圧縮される次の画素ブロックを受信することができ、画像３００の最後のブロックを符号化する時まで段階（Ｓ４１０）に戻ることができる。それ以上残ったブロックがなければ符号化器は段階（Ｓ４７０）で画像圧縮を終えることができる。
【００９４】
図５は、本発明の一実施例により互いに異なる解像度を有する４個の解像度領域を有する表示装置の画像を示す。
【００９５】
図５を参照すると、本発明の実施例は、前述したように、Ｒ個（Ｒは整数であり、この例では４）の領域を有する表示装置に適用可能に変更されてもよい。本実施例の画像５００は高解像度領域５１０、低解像度領域５３０および２個の中間解像度領域５２０、５２５を有する。
【００９６】
本実施例によれば、前記で説明した数式３は次の数式１０のように与えられた領域である「領域ｉ」に対するブロック当りのビット「」を表現するものに変わることができる。
【数１０】
2020022164.tif 000031
【００９７】
上記で説明した数式４は、次の数式１１のように画像５００にある総画素数（Ｐ）を表現するものに変わることができる。
【数１１】
2020022164.tif 000032
【００９８】
これと同様に、上記で説明した数式６は、次の数式１２のように画像５００に割り当てられた総ビット数（Ｂ）を表現するものに変わることができる。
【数１２】
2020022164.tif 000033
【００９９】
したがって、上記で説明した数式７は、次の数式１３のように領域ｉの総ビット「Ｂｉ」を表現するものに変わることができる。
【数１３】
2020022164.tif 000034
【０１００】
ここで、画像５００の全ての領域５１０、５２０、５２５、５３０に割り当てられる基本ビットは
2020022164.tif 000035
で表現されてもよく、低解像度領域５３０を除いた残りの領域５１０、５２０、５２５に割り当てられる強化ビットは
2020022164.tif 000036
で表現されてもよい。
【０１０１】
このような数式を用いて、各領域ｉ（ｉ≠Ｒ−１）を基本ビットと強化ビットに分離することによって前述した実施例をより多くの領域に拡張することができる。
【０１０２】
各ブロックに対して、画像５００を符号化するための残りのビット（Ｂｒ）、画像５００にある残りの画素（Ｐｒ）、そして領域０、１、…Ｒ−２にそれぞれ位置する残りの画素
2020022164.tif 000037
に基づいてｂｉｔｓＡｌｌｏｃａｔｅｄ（大きさ８×２）を更新することができる。
【０１０３】
したがって、上記で説明した数式８は、次の数式１４のようにブロック当りの割り当てられた基本ビット数を表現するものに変わることができる。
【数１４】
2020022164.tif 000038
【０１０４】
領域Ｒ−１［つまり、低解像度領域５３０］にあるブロックに対して、ブロック当りの割り当てられたビットは（ｂｉｔｓＡｌｌｏｃａｔｅｄ）R-1と同一なものに設定する。つまり、全ての領域に対して割り当てられたブロック当りの基本ビットは、ブロック当りのビット低解像度領域５３０に対して割り当てられた全てのブロック当りのビットと同一でありうる。
【０１０５】
低解像度領域５３０以外の領域５１０、５２０、５２５［例えば領域ｉ（ｉ≠Ｒ−１）］に対するブロック当りの強化ビットは数式９を次の数式１５に変わることによって決定され得る。
【数１５】
2020022164.tif 000039
【０１０６】
ここで、各強化領域ｉ（ｉ≠Ｒ−１）内にあるブロックに対応するブロック当りの強化ビットは（ｂｉ−ｂＲ−１）で表現されてもよい。
【０１０７】
（例えばＶＤＣ−Ｍ比率制御で行うように）符号化器が符号化する現在ブロックのＱＰ値は決定された（ｂｉｔｓＡｌｌｏｃａｔｅｄ）1および隣接ブロックに対する現在ブロックの複雑度に基づいて決定されてもよい。図４を参考にして上記で説明した例と非常に類似するように、符号化器は続いて決定された複雑度に基づいて現在ブロックにＱＰを割り当てることができ、現在ブロックを符号化して送信することができ、残りの基本ビット数と残りの強化ビット数を更新することができる。符号化器は続いて次のブロックに移動する。
【０１０８】
上記で説明した内容を整理した図６は、本発明の一実施例による表示ストリームの圧縮過程で多様な解像度領域の複数のブロック（つまり、３以上の領域）に多様なビット数を割り当てる方法を示したフローチャートである。
【０１０９】
図６を参照すると、段階（Ｓ６００）で、本実施例による符号化器は全体画像の基本ビット数を決定することができる［例えば符号化器は
2020022164.tif 000040
を決定することができる］。
【０１１０】
段階（Ｓ６０５）で、符号化器は低解像度領域以外の領域に対して強化ビット数を決定することができる［例えば符号化器は
2020022164.tif 000041
を決定することができる］。
【０１１１】
段階（Ｓ６１０）で、符号化器は低解像度領域と高解像度領域の全てに対してブロック当りの割り当てられる基本ビット数を決定することができる［例えば符号化器は
2020022164.tif 000042
を決定することができる］。
【０１１２】
段階（Ｓ６１５）で、符号化器は強化領域に対してブロック当りの割り当てられた平均強化ビット数と同一でありうる、低解像度領域以外の領域それぞれに対してブロック当りの割り当てられた総ビット数を決定することができる［例えば符号化器は
2020022164.tif 000043
を決定することができる］。
【０１１３】
段階（Ｓ６２０）で、符号化器は以前に符号化した、現在ブロックに隣接した一つ以上のブロックの以前に決定された量子化パラメータに基づいて現在ブロックの量子化パラメータを決定することができる［例えば符号化器は
2020022164.tif 000044
を決定することができる。
【０１１４】
段階（Ｓ６３０）で、符号化器は決定された量子化パラメータに基づいて、そして現在ブロックが位置する解像度領域に基づいて現在ブロックの符号化のためのビット数を決定することができる。その後、段階（Ｓ６４０）で、符号化器は決定されたＱＰで現在ブロックを符号化することができ、符号化されたブロックを復号器に伝送することができる。
【０１１５】
段階（Ｓ６５０）で、符号化器は残りのビット数、画像の残りの画素数および低解像度領域以外の各領域の残りの画素数を更新することができる。
【０１１６】
段階（Ｓ６６０）で、符号化器は圧縮される次の画素ブロックを受信することができ、画像５００の最後のブロックを符号化する時まで段階（Ｓ６１０）に戻ることができる。それ以上残ったブロックがなければ符号化器は段階（Ｓ６７０）で画像圧縮を終えることができる。
【０１１７】
前述した例によれば、視線固定点（ｆｉｘａｔｉｏｎ  ｐｏｉｎｔ）（例えば使用者の焦点に対応する画像の地点）は画像の中心にあるものとみなすことができる。しかし、目の動きのため、視線固定点が画像中心に対応しないこともある。したがって、本発明の実施例は視線固定点が画像の中心にない場合にも同一に適用することができる。後者の場合、高解像度、中間解像度および低解像度領域が選択された視線固定点により互いに異なるように定義されてもよく、提示した技術は同一に適用されてもよい。
【０１１８】
また、本発明の実施例は、大きさＮｘＭのブロック基盤解法を用いる全ての固定比率コーデック（ｆｉｘｅｄ  ｒａｔｅ  ｃｏｄｅｃ）に適用可能である。例えば、本発明の実施例は、比率バッファー（ｒａｔｅ  ｂｕｆｆｅｒ）を有するか、または有しないコーデックに適用可能である。コーデックが比率バッファーを含むと、決定されたブロック当りの（ｂｉｔｓＡｌｌｏｃａｔｅｄ）1は符号化器のバッファーがどれくらい満たされているかまたは空いているかにより［例えばバッファーの状態により、またはバッファー充満度（ｂｕｆｆｅｒ  ｆｕｌｌｎｅｓｓ）により］さらに調節されてもよい。つまり、上記で説明したＱＰ値を決定する前に、次の数式１６に示したようにブロック当りのビット「ｂｉｔｓＡｌｌｏｃａｔｅｄ」を「バッファー充満度（ｂｕｆｆｅｒ  ｆｕｌｌｎｅｓｓ）」値により調節することができる。
【数１６】
2020022164.tif 000045
【０１１９】
ここでバッファー充満度（ＢＦ）は、符号化器バッファー内にあるビット数を示す抽象的な値であり、δ（ＢＦ）はＢＦの関数（例えば単調減少関数）であるオフセット値である。一実施例によれば、δ（ＢＦ）は高解像度領域または強化領域を除いた全ての領域に対して０でありうる。他の実施例によれば、δ（ＢＦ）は低解像度領域に対してのみ０でありうる。
【０１２０】
したがって、ここで説明する実施例により設計したコーデックの制限に基づいて、符号化器はバッファーがある程度満たされているかを続いて判断することができる。バッファーが比較的に満たされている状態であれば［例えばオーバーフローエラー（ｏｖｅｒｆｌｏｗ  ｅｒｒｏｒ）を起こす状態に近ければ］、符号化器はＱＰを高めてビットレートを低めることができる。これと同様に、バッファーが比較的に空いた状態であれば、符号化器はＱＰを低めてビットレートを高めることができる。
【０１２１】
したがって、符号化器は互いに異なるブロック当りのビット数を互いに異なる領域に賢明に割り当てて互いに異なる解像度水準を有する互いに異なる領域を実現しつつ、画像を符号化することに使用可能なビットを使用し、画像の最後のブロックを符号化する前に使用可能なビットを全部使わずに画像を符号化することができる。以上より、上記で説明した実施例を用いることにより、表示ストリーム技術を向上させることができる。
【０１２２】
本発明の概念、およびこれを達成する方法の要旨については、発明の詳細な説明と添付した図面を通じて容易に理解することができる。本発明は多様な異なる形態において実現することができ、ここで説明する実施例に限定されない。このような実施例を提供することによって発明の詳細な説明が十分かつ豊富になり、発明の多様な側面と特徴を当業者に十分に示すことができる。したがって、当業者が本発明の多様な側面と特徴を完全に理解することに不要な過程、装置、技術などは説明を省略することができる。特別な説明がない限り、図面と明細書全体にわたって同一の図面符号は同一の構成要素を示し、これによって説明を省略する。また、説明を明確にするために、実施例の説明と関係がない部分は示さないこともある。図面において部分、層、領域などは明瞭な理解のために誇張して示されることもある。
【０１２３】
ここでは実施例の図式的な構造および／または中間構造を示す断面図を参考として多様な実施例について説明する。図示した模様は、例えば製造技術および／または許容誤差により多様に変更または変化可能である。また、ここに記載した特定構造または機能に対する説明は本発明の概念による実施例について説明するための例示に過ぎない。したがって、ここに記載した実施例は例示した領域の特定模様に限定されるのではなく、例えば製造方法による模様の変化も含むものと解釈することができる。したがって、図面に図示した領域の模様は本質的に概略的なもので、装置で領域の実際模様を示そうとするものではなく、その模様に限定しようとするものでもない。これに加えて、当業者であれば本発明の要旨または範囲を逸脱せずに前記で説明した実施例を互いに異なる多様な方法で変更または変化させることができることはもちろんである。
【０１２４】
詳細な説明で多様な実施例に対する十分な説明を提供するために、様々な条件を特定する。しかし、このような特定条件またはこれと同等な条件がない場合にも実施例を実現することができるということは自明である。これとは異なり、既に知られている構造および装置は多様な実施例が不必要に曖昧になることを避けるためにブロック図で示す。
【０１２５】
明細書で使用された用語は、特定の実施例を説明する目的で使用するに過ぎず、本発明を制限しようとするものではない。また、本実施例において、数を特に言及しなければ単数または複数の場合を全て含む。ある特徴、段階、動作、部分、成分などを「含む」という表現は、当該部分以外に他の特徴、段階、動作、部分、成分なども含むことができるということを意味する。「および／または」という表現は、羅列されたものの中で一つまたはそれ以上の全ての組み合わせを含む。
【０１２６】
特定の実施例を異なるように実現する場合、特定のプロセス順序が説明した順序と変わってもよい。例えば、連続して実行するものと説明した二つのプロセスを同時にまたは説明した順序と反対に実行することもできる。
【０１２７】
本発明の実施例により説明した電子、電気装置および／または他の関連装置または部分は適切なハードウェア、ファームウエア（例：応用注文型集積回路）、ソフトウェアまたはこれらの組み合わせを用いて実現することができる。例えば、これら装置の多様な構成要素を一つの集積回路チップに形成することもでき、互いに異なる集積回路チップに実現することもできる。また、これら装置の多様な構成要素を可撓性印刷回路フィルム、テープキャリアパッケージ（ＴＣＰ：ｔａｐｅ  ｃａｒｒｉｅｒ  ｐａｃｋａｇｅ）、印刷回路基板などに実現したり一つの基板上に形成することができる。また、これら装置の多様な構成要素をここで説明した多様な機能を遂行するためにコンピュータプログラム命令を実行し、他のシステム要素と相互作用する一つ以上のコンピュータ装置内にある一つ以上のプロセッサーで実行され得るプロセスまたはスレッド（ｔｈｒｅａｄ）でありうる。コンピュータプログラム命令は、ラム（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）などの標準メモリ装置を使用するコンピュータ装置に実現されたメモリに保存されてもよい。それだけでなく、当業者は本発明の実施例の概念と範囲を逸脱することなく、多様なコンピュータ装置の機能を一つのコンピュータ装置に結合または統合したり、特定のコンピュータ装置の機能を一つ以上の他のコンピュータ装置に分散することもできる。
【０１２８】
特別な言及がない限り、本明細書で使用する（技術的、科学的用語を含む）全ての用語は本発明が属する技術分野における当業者が一般に知っているものと同一の意味を有している。一般に使用される辞書に定義された用語などの用語は関連技術分野および／または本明細書での意味と一致する意味を有していると解釈し、ここで明示しない限り、理想的なまたは過度に厳しい意味に解釈してはならない。
【０１２９】
以上で特定の用語を用いて実施例について説明し、このような用語は一般的な意味で説明のための目的で使用したものに解釈され、限定の目的で使用したものに解釈してはならない。例えば、特別な言及がない限り、特定の実施例と関連して説明した特徴、特性および／または構成要素を単独で使用したり、他の実施例と関連して説明した特徴、特性および／または構成要素と結合して使用できることは出願当時の当業者に明確である。したがって、特許請求の範囲およびそれに内在された機能的な等価物で提示する本発明の要旨と範囲を逸脱せずに形態と詳細を多様に変化させることができることは当業者であれば理解できる。
【符号の説明】
【０１３０】
１００、３００、５００：画像
１１０、３１０、５１０：高解像度領域
１２０、５２０、５２５：中間解像度領域
１３０、３３０、５３０：高解像度領域
【図１】
2020022164.tif 000046
【図２】
2020022164.tif 000047
【図３】
2020022164.tif 000048
【図４】
2020022164.tif 000049
【図５】
2020022164.tif 000050
【図６】
2020022164.tif 000051