(57)【要約】【課題】  ターゲット圧縮率と云う固定の圧縮率を定めて符号化を行うシステムにおいて、画像データに関わらず固定の圧縮率で符号化すると、画像データによっては画質劣化の影響が顕著に見られる場合があり、出力画質が安定しないと云う問題がある。符号化による画質劣化の影響が顕著に現れないように、圧縮率と画像品質の両方を加味しながら符号化を行う（符号化パラメータを調整する）システムを提供する。【解決手段】  符号化されたデータが符号化による画質劣化の影響を受けても所望の画質を達成しているかを判断する“画質判定手段”を、追加する構成とする。【選択図】  図１
2007158816.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する“画像データ入力手段”と、入力された画像データを分割する“画像データ分割手段”と、分割された画像データを符号化する“符号化手段”と、符号化されたデータが圧縮率を達成しているかを判断する“圧縮率判定手段”と、符号化されたデータを蓄積する“符号データ蓄積手段”と、符号データを画像データに戻す“伸張手段”と、画像データを出力する“画像データ出力手段”を具備する画像処理装置に於いて、
符号化による画質劣化の影響を受けても画質を達成しているかを判断する“画質判定手段”を追加することにより、画像データを符号化したときの圧縮率だけでなく、符号化したときの画質劣化の影響も保障することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ページスプール機能を有するプリンタシステム、サーバー機能を有するマルチファンクションプリンタ（ＭＦＰ）／ＦＡＸシステムなど、符号化を伴う静止画像データのストレージを行う上での、データハンドリングに関する。
【背景技術】
【０００２】
静止画像データのストレージは、“記憶媒体のメモリ容量削減”、“ストレージ容量の拡大”を目的として、画像データに符号化圧縮を施す場合が多い。本発明の主なターゲットであるプリンタシステムでは、ページスプール用メモリのデータフォーマットに符号化データを利用することが多い。このメモリは、出力用データの速度変換や電子ソート機能の実現など、メモリに依存した処理にも利用されることから、最低必要となるストレージ容量が決まっている。よって、必要とする所望の圧縮率（以下、ターゲット圧縮率）に合わせて、画像データを符号化しなければならない。ターゲット圧縮率は、そのシステムの画像品質（高圧縮になると画質劣化大）とコスト（大メモリ容量になるとコスト高）との兼ね合いにより決められており、ターゲット圧縮率よりも圧縮率が大きくなることも小さくなることも良くない。つまり、多少のマージンは確保したとしても、ターゲット圧縮率に等しく符号化することが必須である。
【０００３】
ＬＺＷやＰＮＧのような可逆方式は、画質劣化が生じない符号化方式であるが、問題点もある。例えば、“画像によって大きく圧縮率が変化する”、“圧縮率に限界がある”、“圧縮率の調整が殆ど不可能である”など、ターゲット圧縮率に等しく符号化する仕様には不向きである。一定した圧縮率を必要とする画像処理システムに於いては、通常は、圧縮率が任意に調節できるＪＰＥＧのような非可逆方式が利用される。
【０００４】
非可逆方式は、一般的にユーザー可変の符号化パラメータが準備されており、圧縮率が調整できるようにしてある。（JPEGで云うとQ-Table（量子化テーブル））非可逆方式とは云え、同じ符号化パラメータを利用しても、画像データが変わると圧縮率が変わってしまう。そのため、ターゲット圧縮率に等しく符号化するには、パラメータを変えつつ試行を繰り返すことで、画像データに適切なパラメータを探索する必要がある。符号化処理を何度も繰り返すことは、場合によっては処理時間が非常に長くなる。この問題に対して、適切な符号化パラメータを効率良く探索する方法が、解決策として考案されている。（例えば、特許文献１）
【０００５】
また、非可逆方式にて画像データを符号化すると、画質劣化が生じる。この問題に対して、次のような解決策が考案されている。（例えば、特許文献２参照のこと）画像データをブロックなどの小区画に分割し、属性データ（画像の特性を識別する）を利用して各小区画の属性を識別し、ターゲット圧縮率を小区画毎に切り換える。このことにより、符号化による画質劣化の影響を受けやすい領域はターゲット圧縮率を上げ、受けにくい領域はターゲット圧縮率を下げる、と云うような、同じ画像フレーム内で符号量の調整が行える。つまり、画像フレーム全体としてのターゲット圧縮率を変えることはできないが、画像データの冗長な部分を有効に利用することで、画質劣化を緩和することができる。例えば、符号化による画質劣化の影響を受けやすい文字領域は、ターゲット圧縮率を低めに設定する。また、影響を受けにくい写真領域は、ターゲット圧縮率を高めに設定するなど、考案されている方法は多岐に渡る。
【０００６】
以上のように、画像データを符号化して蓄積する画像処理システムでは、ターゲット圧縮率に等しく符号化すると云うことも重要であるが、符号化による画質劣化を抑制することも重要視されていることが判る。これより、符号化を伴う静止画像データのストレージに関して、画像品質とコストとのバランスを考慮したデータハンドリング技術を背景として、本発明の説明を行う。
【特許文献１】特開２００４−１９４１５６号公報
【特許文献２】特許第３２１１５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
背景技術にあるように、ターゲット圧縮率と云う固定された圧縮率にて符号化を行うシステムは、一定した枚数の画像データが常にストレージされることが保障され、安定したパフォーマンスを発揮できるメリットがある。しかし、画像データに関わらず固定の圧縮率で符号化すると、画像データによっては画質劣化の影響が顕著に見られる場合があり、出力画質が安定しないと云う問題がある。特に、文字や線画などのシャープな画質が要求される場合は、画質劣化の影響が大きい。ターゲット圧縮率を定めて符号化を行うシステムは、既存の技術としていくつか挙げられるが、圧縮率を保障するものはあっても、画質を保障するものは現在のところ見当たらない。
【０００８】
よって、符号化による画質劣化の影響が顕著に現れないように、圧縮率と画像品質の両方を加味しながら符号化を行う（符号化パラメータを調整する）システムを考案することが、本発明が解決しようとする課題である。
【課題を解決するための手段】
【０００９】
画像データを入力する“画像データ入力手段”と、入力された画像データを分割する“画像データ分割手段”と、分割された画像データを符号化する“符号化手段”と、符号化されたデータが所望の圧縮率を達成しているかを判断する“圧縮率判定手段”と、符号化されたデータを蓄積する“符号データ蓄積手段”と、符号データを画像データに戻す“伸張手段”と、画像データを出力する“画像データ出力手段”を具備する画像処理装置に於いて、
符号化されたデータが符号化による画質劣化の影響を受けても所望の画質を達成しているかを判断する“画質判定手段”を、追加することを特徴とした、請求項１記載の画像処理装置を提供することを、課題を解決するための手段とする。
【発明の効果】
【００１０】
本発明の画像処理装置は、ターゲット圧縮率が達成されているかどうかと云うことに加えて、必要最低限の画像品質が保たれているかどうかと云うことも、符号化の際のパラメータ決定条件に追加する。画像データを符号化したデータの圧縮率がターゲット圧縮率を達成しているかを判定し、更に、符号化による画質劣化の影響を受けても、予め設定した最低限必要とする画像品質を維持しているかを判定し、何れも達成していることを確認しながら符号化を行う。このことで、符号化が原因となり、画質劣化の影響が顕著に現れ、出力画質が安定しないと云う問題を解決した、画像処理装置を提供することができる。
【００１１】
また、本発明の画像処理装置は、ハードウェアとソフトウェアの何れに於いても、従来の画像処理装置からの変更点は少なく、実施する上での障害は少ない。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１３】
ホスト(ＰＣ)とプリンタ装置、それらを接続するネットワークを含めたプリンタシステムにて、プリンタ装置がプリント動作を行う様子を説明する。
【００１４】
図１上部のイラストは、プリントシステムの全体イメージであり、“ホスト(ＰＣ)１００”と“本発明の画像処理装置(プリンタ装置)１２０”が、“ネットワーク１１０”を経由して接続されていることを表している。図１下部のブロック図は、プリント動作の処理フローである。“ホスト１００“にてユーザーによる“プリント動作スタート１０１”のアクションが発生してから、“ネットワーク１１０”を経由して画像データが転送され、“本発明の画像処理装置１２０”にて“プロット出力１２９“が開始されるまで、を表している。
【００１５】
本発明の画像処理装置の従来技術と異なる部分は、“本発明の画像処理装置１２０”の“ＰａｇｅＳｐｏｏｌ１２７”である。この部分は、画像データ（ビットマップデータ）や属性データ（画像特性を識別する）をページメモリにストレージすることを行い、ページスプールと呼ばれる。
【００１６】
第一に、プリンタ装置に於いて、ページスプールが必要な理由を説明する。ページスプールが行われる理由は多くあるが、その一つである高速両面印字（プロット）を取り上げ、ページスプールの必要性を説明する。
【００１７】
（高速両面印字（プロット）の説明）
プリンタ装置では、複数枚の画像出力メディア（定形ペーパー）への両面プロットを高速で行うために、ホストから転送されてくる画像データ順にプロット出力せずに、ペーパーのハンドリングを機械構造的に工夫して、プロット出力の順序を並び替える場合が多い。しかし、ホストから転送されてくる画像データの順序は替えられないことから、プロット出力順序を並べ替えるには、ページスプールすることが必要である。
【００１８】
図２は、画像データが“ホストから転送される順序”と“プロット出力の順序”が同じである場合を比較している。ホストから転送される画像データをダイレクトにプロット出力しているので、ページスプールを行う必要がない。“ブランク”と表記しているところは、データが受け取れないのでホストを待たせている状態、“※枚目裏返し（※は数字）”と記載しているところは、プロット出力するペーパーの表面と裏面をひっくり返す動作をしている状態、のことである。但し、ホストからのデータとプロット出力するデータの転送速度は通常異なり、その違いを吸収する速度変換バッファなるメモリは必要であるが、主旨である画像データストレージという意味とは異なるので、今回の説明では考えないでおく。
【００１９】
図３は、プロッタの出力速度を最大限に利用して、高速の両面プロットを実現しようと試み、ペーパーのハンドリングを機械構造的に工夫した装置に於いて、画像データが“ホストから転送される順序”と“プロット出力の順序”を比較している。図２では、“※枚目裏返し”の動作をしている最中はプロット出力を行わず、ホストからのデータ転送も待たせている。図３は、このプロット出力がブランク状態になっている期間も、無駄なくプロット出力させるために、“※枚目裏返し”の動作をしている最中も、別のペーパーにプロット出力できるように、プロット出力の順序を並べ替えている。このことで、“ホストから転送される順序と”プロット出力の順序“が異なってしまい、ページスプールを行う必要がある。このプロット出力の順序では、最低でも１ページ分のメモリを搭載したページスプールを行う必要がある。
【００２０】
図４は、参考までに、この装置のページメモリが１ページ分であった場合について、ページメモリの内容を時系列に記載している。
【００２１】
第二に、図１を利用して、動作フローを時系列に説明する。この動作フローは、本発明の画像処理装置と従来技術ともに同じであり、一般的なプリント動作である。本発明の画像処理装置が従来技術と異なる部分である“ＰａｇｅＳｐｏｏｌ１２７”については、従来技術を比較して説明するために後述する。ここでは単にページスプールを行うとして扱い、ブラックボックスとしておく。
【００２２】
（プリント動作のフロー説明）
ｉ）最初に、“ホスト１００”がアイドリング状態にあるとき、ユーザーにより“プリント動作スタート１０１”のアクションが発生したと仮定する。
【００２３】
ii）“ホスト１００”は、“ＰＤＬ１０２”にて、出力画像情報をプリンタ言語(ＰＤＬ)で表現したデータを生成する。これはＰＤＬデータと呼び、画像情報をオブジェクトに分解し、それらオブジェクトの原稿位置や前後関係などを言語化したものである。画像データをプロット出力するには、画像データをラスタ形式のビットマップデータに変換する必要があるが、データ転送効率の関係からＰＤＬデータをネットワークに転送する機種がある。このことは、ホスト外の画像処理装置にてデータ変換処理を行わせ、ホスト負荷を軽減させる効果も兼ねている。本実施例の画像処理装置も含まれるが、特に業務用のハイエンドプリンタに多く見られる。
【００２４】
iii）“ホスト１００”は、生成されたＰＤＬデータを“メモリ１０３”に一旦蓄積したあと、“ネットワークＩ／Ｆ１０４”にてネットワークへ送信する。
iv）“ＰＤＬ転送１１１”は、“ホスト１００”から送信されたＰＤＬデータが、“ネットワーク１１０”を経由して、“本発明の画像処理装置１２０”へ転送されることを表している。
【００２５】
ｖ）“本発明の画像処理装置１２０”は、ネットワークから転送されてきたＰＤＬデータを“ネットワークＩ／Ｆ１２１“にて受信し、”メモリ１２２“に一旦蓄積する。
【００２６】
vi）“本発明の画像処理装置１２０”は、蓄積したＰＤＬデータを”ＤＬＧ１２３“にてディスプレイリストに変換し、”メモリ１２４“に蓄積する。ディスプレイリストとは、プロット出力するために必要なビットマップデータを生成するための中間フォーマットであり、レンダリングする画像パターンやレンダリングする順序などを記載する。
【００２７】
vii）“本発明の画像処理装置１２０”は、蓄積したディスプレイリストを“ＲＩＰ１２５”にて、ビットマップデータに変換（レンダリング）し、“メモリ１２６”に蓄積する。レンダリングは、ディスプレイリストに記載されている画像パターンを、ラスタ形式の画像データとしてメモリ上に展開、複数ある場合は順番に上書きして展開することで、オブジェクトの前後関係も考慮したビットマップデータ（画像データ）を生成する。また、画像データの特性情報を画素単位で保持している属性データという付加データもここで生成され、ビットマップデータ同様に“メモリ１２６”に蓄積する。属性データは、色変換や中間調処理などの画質に関わる画像処理で利用される。
【００２８】
viii）“本発明の画像処理装置１２０”は、蓄積したビットマップデータ（画像データ）と属性データを“ＰａｇｅＳｐｏｏｌ１２７”にて、ページスプールする。本発明の画像処理装置の特徴は、この部分に関することである。後述にて従来技術と比較して説明するために、ここでは単にページスプールを行うとしておく。
【００２９】
ix）“本発明の画像処理装置１２０”は、ページスプール後のビットマップデータ（画像データ）に“画像処理１２８”を行う。
【００３０】
画像処理について、実施例を一つ挙げて説明する。図５は、実施例として挙げる画像処理の内部処理フローである。“フィルタ５０２”にて、入力するＲＧＢの画像データにフィルタ処理をする。フィルタ処理とは、画像データの周波数を変調させる事で、画像のエッジ部分を強調したり、画像全体を平滑化したりする。また、フィルタ強度や強調するか平滑化するかの切り換えを、画像特性を識別する属性データを利用して、画像領域毎に逐次行う場合がある。例えば、テキスト領域であれば画像を強調して文字をシャープに再現させ、イメージ領域であれば画像を平滑化して写真をスムーズに再現させる。画像のエッジ部分とは、画像データの輝度が急峻に変化する部分であり、文字や線画の輪郭部分などがそれに相当する。“色変換５０３”にて、ＲＧＢ空間の画像データを、ＣＭＹＫ空間の画像データに変換する。“γ補正５０４”にて、画像データにγ補正する。実際に画像出力を行うプロッタは、入力画像データのディジタル値の大きさに正比例する出力濃度が得られず、歪のあるγ特性となっている。このγ特性の歪を補正する。“中間調処理５０５”にて、画像データを量子化する。画像データのディジタル値の階調数に比べて、プロッタ出力の階調数が少ないので、画像データに量子化を行う。量子化された画像データは、プロットデータとして出力する。
ｘ）“本発明の画像処理装置１２０”は、画像処理が終わると“プロット出力１２９”の動作を開始する。
【００３１】
第三に、プリント動作のフロー説明で敢えて省略した、図１の“ＰａｇｅＳｐｏｏｌ１２７”について、“従来技術の画像処理装置”と“本発明の画像処理装置”のページスプールを説明する。始めに“従来技術の画像処理装置”、次に“本発明の画像処理装置”を説明する。
【００３２】
（従来技術の画像処理装置のページスプール）
図６は、従来技術の画像処理装置でのページスプールの内部処理フローである。図６を利用して説明する。
【００３３】
ｉ）“画像データ入力手段６０１”から画像データが入力されると、“画像データ分割手段６０２”は、図８のように画像フレームを横帯状（バンド）に画像データを分割する。
【００３４】
ii）“符号化手段６０３”は、分割された画像データを非可逆方式で符号化する。背景技術の説明にて紹介したが、プリンタ装置に最低必要なページスプールする画像データの枚数は決まっており、画像データに行う圧縮率（ターゲット圧縮率）も決まっている。そのため、圧縮率を調整する必要があることから、非可逆方式の符号化が行われる。非可逆方式の符号化は、符号化パラメータにより圧縮率が調整できるようになっている。圧縮率が高くなると画質劣化が大きくなり、圧縮率が低くなると画質劣化が小さくなる。ターゲット圧縮率を達成し、より画質劣化が少なくなるような最適な符号化パラメータを決定するには、符号化パラメータを変更しながら、繰り返し符号化を行うことで決定する。よって、圧縮率の低い符号化パラメータ（画質劣化が少ない）から順に使用するようにする。符号化方式の具体的な実施例としてJPEGを取り上げ、後述の“非可逆JPEGの説明”にて説明する。
【００３５】
iii）“圧縮率判定手段６０４”は、符号化されたデータの圧縮効率を定量化する圧縮率（＝画像データ量（オリジナル画像データ量）／符号データ量）を算出し、ターゲット圧縮率を達成していることを確認する。ターゲット圧縮率を達成できている場合は、そのまま次の工程へ進む。達成できていない場合は、“符号化手段６０３”の符号化パラメータを、圧縮率が高くなるように設定し直し、“符号化手段６０３”にて画像データを符号化するところからやり直す（以下、リトライする）。図６で云うと“圧縮率判定手段６０４”から“符号化手段６０３”への破線矢印のパスとなる。このリトライする動作を繰り返すことにより、符号化パラメータを決定する。
【００３６】
ターゲット圧縮率は、画像データをページメモリ内に収めるために必要な圧縮率のことであるが、ターゲット圧縮率を達成しなければシステムは破綻する。プリンタ装置のターゲット圧縮率は、コストと画質のトレードオフにより決定される。コストを重視してページメモリの容量を削減すると、ターゲット圧縮率が高くなり画質が悪くなる。逆に、画質を重視してターゲット圧縮率は低くして画質を良くすると、必要となるページメモリ容量が増大してコストが高くなる。画質劣化の無い可逆方式は、エントロピー以上の圧縮率は見込めないし、実際に必要なターゲット圧縮率はそれよりも高い場合が多い。更に、可逆方式は画像データによって圧縮率が大きく変化し、圧縮率を調整することも殆ど不可能である。よって、可逆方式の符号化のみでターゲット圧縮率を達成させることは不可能であり、必ず非可逆方式の符号化が必要である。
【００３７】
iv）“符号データ蓄積手段６０６”は、“符号化手段６０３”にて符号化されたデータを蓄積する。
【００３８】
ｖ）“伸張手段６０７”は、“符号化手段６０３”により符号化されたデータを伸張して画像データに戻し、“画像データ出力手段６０８”へ画像データを出力する。
【００３９】
（本発明の画像処理装置のページスプール）
図７は、本発明の画像処理装置でのページスプールの内部処理フローである。図７を利用して説明する。
【００４０】
i）“画像データ入力手段７０１”から画像データが入力されると、従来技術の画像処理装置同様に、“画像データ分割手段７０２”は、図８のように画像フレームを横帯状（バンド）に画像データを分割する。
【００４１】
ii）“符号化手段７０３”は、従来技術の画像処理装置同様に、分割された画像データを非可逆方式で符号化する。符号化方式の具体的な実施例としてJPEGを取り上げ、後述の“非可逆JPEGの説明”にて説明する。圧縮率を調整する符号化パラメータは、最も圧縮率の低いもの（画質は最も高い）から試行し、徐々に圧縮率が高いものに切り換えながらリトライを行う。
【００４２】
iii）“圧縮率判定手段７０４”は、従来技術の画像処理装置同様に、符号化されたデータの圧縮率を算出し、ターゲット圧縮率を達成していることを確認する。ターゲット圧縮率を達成できている場合は、そのまま次の工程へ進む。達成できていない場合は、“符号化手段７０３”の符号化パラメータを、圧縮率が高くなるように設定し直し、“符号化手段７０３”にて画像データを符号化するところからやり直す（以下、リトライする）。図７で云うと“圧縮率判定手段７０４”から“符号化手段７０３”への破線矢印のパスとなる。このリトライする動作を繰り返すことにより、符号化パラメータを決定する。
【００４３】
iv）“画質判定手段７０５”は、“圧縮率判定手段７０４”を経た“符号化手段７０３”にて符号化されたデータと、“画像データ分割手段７０２”からの符号化されていないオリジナルの画像データとを比較し、符号化による画質劣化の影響を定量化し、予め設定している最低限必要な画像品質を維持していることを確認する。必要な画像品質を達成できている場合は、そのまま次の工程へ進む。達成できていない場合は、“符号化手段７０３”の符号化パラメータを、圧縮率が低くなるよう（画質劣化が少なくなるよう）に設定し直し、“符号化手段７０３”にて画像データを符号化するところからやり直す（以下、リトライする）。図７で云うと“画質判定手段７０５”から“符号化手段７０３”への破線矢印のパスとなる。このリトライする動作を繰り返すことにより、符号化パラメータを決定する。
【００４４】
画質判定手段について、実施例を一つ挙げて説明する。図１０は、図７の“画質判定手段７０５”の実施例として挙げる画質判定手段の内部フローである。“符号データ入力１００２”からの符号データを、“伸張１００３”にて画像データに伸張する。“Ｓ／Ｎ比算出１００４”にて、“画像データ入力１００１”からのオリジナルの画像データと、“伸張１００３”にて伸張された画像データとのＳ／Ｎ比を算出する。この実施例では、“画質判定１００５”に、最低限必要な画質をＳ／Ｎ比の単位であるｄｂ値にて定量的に設定し、算出したＳ／Ｎ比と比較することで画質判定を行う。“符号データ出力１００６”から出力される符号データは、伸張した画像データを再度符号化するのではなく、元々の符号データを出力する。
【００４５】
iii）の“圧縮率判定手段７０４”とiv）の“画質判定手段７０５”の説明は相反する場合がある。“符号化手段７０３”は、圧縮率が低い符号化パラメータから順に試行するので、リトライする毎に圧縮率は高くなり画質は低下する傾向にある。“圧縮率判定手段７０４”の判定は、最初に試行する最も圧縮率の低いパラメータはNGとなり（最初からOKの場合もある）、リトライする毎に徐々に圧縮率が高くなり、やがてターゲット圧縮率を越えた時点でOKとなる。一方、“画質判定手段７０５”の判定は、最初に試行する最も圧縮率の低いパラメータはOKとなり（最初からNGの場合もある）、リトライする毎に徐々に画像品質が低下し、最低限必要な画像品質よりも低くなった時点でNGとなる。これら圧縮率と画像品質の２つの判定が両立する場合は良いが、“符号化手段７０３”が徐々に圧縮率を高めていく過程で、“圧縮率判定手段７０４”がOKとなる前に、“画質判定手段７０５”が最低限必要な画質を維持できずにNGとなる場合もありうる。図９は、圧縮率と画質の関係をグラフ化し、ターゲット圧縮率と最低限必要な画質の境界線を記入したものである。図９の“グラフ９０１”は、ターゲット圧縮率と最低限必要な画質が両立可能な場合を表しており、楕円で囲んである部分が両立するところである。逆に、図９の“グラフ９０２”は、ターゲット圧縮率と最低限必要な画質の両立が不可能な場合を表している。この場合は、予め圧縮率と画質の何れを重視するかの優先順位を付けておき、圧縮率を優先する場合はターゲット圧縮率を達成させ、画質を優先する場合は最低限必要な画質を達成させる。“グラフ９０２”で云うと、円で囲んである部分の何れかにする。
【００４６】
vi）“符号データ蓄積手段７０６”は、“符号化手段７０３”にて符号化されたデータを蓄積する。
【００４７】
vii）“伸張手段７０７”は、“符号化手段７０３”により符号化されたデータを伸張して画像データに戻し、“画像データ出力手段７０８”へ画像データを出力する。
【００４８】
（非可逆ＪＰＥＧの説明）
ＪＰＥＧは、図１１のように、前段の“モデル化部１１０２”と後段の“符号化部１１０３”の２段に分かれている。前段のモデル化部は、画像データをＤＣＴにて周波数分解し、冗長な周波数帯域を量子化することで、データ圧縮を行う。後段の符号化部は、更にこのデータをHuffman符号・算術符号と云ったエントロピー符号化を行い、データ圧縮を行う。何れも独立してデータ圧縮が行える符号化手法である。
【００４９】
先ず、モデル化部の説明をする。図１２は、ＪＰＥＧのモデル化部の内部処理をブロック化している。
【００５０】
“ＲＧＢ → ＹＣＣ変換１２０２”にて、入力する画像データのフォーマットを、ＲＧＢからＹＣｂＣｒに変換する。ＹＣｂＣｒは、輝度Ｙと色差ＣｂとＣｒを分解して表現する。具体的な変換式は次のように表される。
【００５１】
Ｙ   =   0.29900×Ｒ＋0.58700×Ｇ＋0.11400×Ｂ
Ｃｂ = −0.16874×Ｒ−0.33126×Ｇ＋0.50000×Ｂ＋0x80
Ｃｒ =   0.50000×Ｒ−0.41869×Ｇ−0.08131×Ｂ＋0x80
※ 0≦Ｒ≦0xFF、0≦  Ｇ≦0xFF、0≦  Ｂ≦0xFF
0≦Ｙ≦0xFF、0≦Ｃｂ≦0xFF、0≦Ｃｒ≦0xFF
“サンプリング１２０３”にて、図１３のように、先ず、８×８画素単位のブロックに画像データを分割する。ＪＰＥＧはこのブロック単位で符号化を行う。次に、ブロック単位で、画像データの色差成分であるＣｂＣｒに対して、サンプリング（間引き処理）を行う。色差成分は輝度成分に比べて、画質劣化に対する人間の視覚感度が低く、データをサンプリングしても比較的影響が少ないとされている。図１４の“１４０１”は、ＹＣｂＣｒの各コンポーネントのデータ量が均等であることを表しており、サンプリング前のデータを指している。“１４０２”は、Ｙ成分はそのままで、ＣｂＣｒ成分を１／２にサンプリングしたデータであり、ＣｂＣｒ成分の各データ量が１／４になっていることが判る。“１４０３”は、Ｙ成分はそのままで、ＣｂＣｒ成分を１／４にサンプリングしたデータであり、ＣｂＣｒ成分の各データ量が１／１６になっていることが判る。
【００５２】
“ＤＣＴ１２０４”にて、ブロック単位で画像データにＤＣＴを行い、サブサンプリングする。ＤＣＴとは、直交変換の一種である離散コサイン変換であり、画像データを周波数成分に分解して表す。具体的な変換式は次のように表される。
F(u,v)=1/4C(u)C(v)Σ(i=0-7)Σ(j=0-7)Ｘ(i,j)cos((2i+1)uπ/16)cos((2i+1)uπ/16)
C(u)C(v) = 1/root(2) (u=v=0) 、1 (otherwise)
ブロック単位にＤＣＴを施されサブサンプリングされた画像データは、図１５のように４つの周波数成分に分解される。“１５０１”は８×８画素ブロックのＤＣＴを施される前の画像データを表している。一番小さな四角形が位置画素を示している。“１５０２”は、ＤＣＴが施されサブサンプリング後のデータを表している。ＬＬ、ＨＬ、ＬＨ、ＬＬと４領域に分解されることが判る。Ｌ文字は低周波成分、Ｈ文字は高周波成分を意味している。ＬＬとかＨＬのように○×となっているのは、○の部分の文字は横方向、×の部分の文字は縦方向のＤＣＴ変換を行ったと云う意味である。
【００５３】
“量子化１２０５”にて、ブロック単位で図１５の“１５０２”のように変換されたデータを、量子化することで画像データの圧縮を行う。ＬＬ成分の量子化階調を削減すれば低周波成分の画像が劣化し、ＨＨ成分の量子化階調を削減すれば高周波成分の画像が劣化する。一般的には、高周波成分は低周波成分に比べて、画質劣化に対するに人間の視覚感覚が低く、データを量子化しても比較的影響が少ないとされている。図１６にあるのが量子化テーブル（Q-Tableとも云う）と云われる、ブロック内各ビットの量子化の程度を決定するパラメータである。各ビットのデータを、それぞれ対応する量子化テーブル値で割ることで量子化する。“量子化テーブル１６０１”に比べ“１６０２”の方が全体的に数値が大きい。つまり、画像データを大きな数値で割り、量子化階調数が少なくなるので、圧縮率が大きくなる。その反面、画質劣化も大きくなる。この量子化テーブルにより、JPEGは圧縮率と画像品質のトレードオフを調整することが可能となっている。
【００５４】
次に、符号化部の説明をする。JPEGの基本仕様では、符号化部のエントロピー符号化はHuffman符号を行う。
【００５５】
Huffman符号は、出現頻度を考慮して文字に符号を割り当てる。文字列“ＡＡＡＢＣＡＡＡＢＤ”の各文字の出現頻度は、図１７の“出現頻度表１７０１”のようになる。Huffman符号では、出現頻度の低い文字からbitを割り当てる。出現頻度の低い２つを探し、０と１に割り振る。先ずは、CとDに、０と１を割り当てる。（図１７の出現頻度表１７０２参照）CとDの出現頻度は合わせて２であり、CとDは出現回数２のCDと云う組として扱う。次に、出現回数が低いのは、BとCDであり、BとCDに、０と１を割り当てる。（図１７の出現頻度表１７０３参照）ここで、BCDを１つの組として扱い、最後に、AとBCDに０と１を割り当てる。（図１７の出現頻度表１７０４参照）以上が、Huffman符号のbit割り当ての例である。
【００５６】
また、図１８の“出現頻度の木１１０１”のような“木”を利用しても、同様の結果が得られる。左の枝に０、右の枝に１、を割り当てて符号bitを決定すると、図１８の“枝へのbit割り当て１１０２”のようになる。これを利用して“ＡＡＡＢＣＡＡＡＢＤ”の文字列を符号化すると、“０００１０１１００００１０１１１”という符号になる。
【００５７】
JPEGのオプションでは、Huffman符号に換わって圧縮率の高い算術符号を利用しても良いが、権利化の問題があることからHuffman符号を利用する方が一般的である。
【図面の簡単な説明】
【００５８】
【図１】本発明の画像処理装置の実施例。
【図２】ページスプールを行わない場合のプロット出力の順序。
【図３】ページスプールを行う場合のプロット出力の順序。
【図４】ページメモリの内容。
【図５】画像処理構成図。
【図６】従来技術の画像処理装置の符号化器と伸張器の処理フロー。
【図７】本発明の画像処理装置の符号化器と伸張器の処理フロー。
【図８】画像フレームの横帯状（バンド）分割イメージ。
【図９】ターゲット圧縮率と最低限必要な画質の関係説明図。
【図１０】画質判定手段の説明図。
【図１１】ＪＰＥＧ構成図。
【図１２】ＪＰＥＧのモデル化部の内部処理ブロック図。
【図１３】画像フレームのブロック分割イメージ。
【図１４】ＹＣｂＣｒサンプリング説明図。
【図１５】ＤＣＴ説明図。
【図１６】ＪＰＥＧの量子化テーブル(Q-Table)説明図。
【図１７】Huffman符号の実施例を説明する出現頻度表。
【図１８】Huffman符号の実施例を説明する符号木、及び、そのビットアサイン方法。
【図１】
2007158816.tif 000003
【図２】
2007158816.tif 000004
【図３】
2007158816.tif 000005
【図４】
2007158816.tif 000006
【図５】
2007158816.tif 000007
【図６】
2007158816.tif 000008
【図７】
2007158816.tif 000009
【図８】
2007158816.tif 000010
【図９】
2007158816.tif 000011
【図１０】
2007158816.tif 000012
【図１１】
2007158816.tif 000013
【図１２】
2007158816.tif 000014
【図１３】
2007158816.tif 000015
【図１４】
2007158816.tif 000016
【図１５】
2007158816.tif 000017
【図１６】
2007158816.tif 000018
【図１７】
2007158816.tif 000019
【図１８】
2007158816.tif 000020