(57)【要約】【課題】ビデオ・アーティストがビデオ画像品質を最高にできると共に、必要とするビット・レート又はファイル・サイズを最小化にできるように、圧縮されたイメージ信号を観察できるモニタを提供する。【解決手段】ブロック・パーサ２６が圧縮されたイメージ信号を複数のイメージと各イメージ内でビット・シーケンスが表すピクセルのブロックとに分解し、ビット・カウンタ２８が各ビット・シーケンス内のビットをカウントし、対応するビット・カウント値を発生する。カウント色変換器３０がビット・カウント値をこのビット・カウント値を表す色及び輝度の値に変換する。表示モニタ３２が色及び輝度の値を領域マッピングされた表示として表示器２４に表する。【選択図】      図４
2006020311.tif 000002
【特許請求の範囲】
【請求項１】
圧縮されたイメージ信号のビット・バジェットのモニタであって、
上記圧縮されたイメージ信号を、複数のイメージと、各イメージ内でビット・シーケンスが表すピクセルのブロックとに分解する手段と、
各ビット・シーケンス内のビットをカウントし、対応するビット・カウント値を発生する手段と、
上記ビット・カウント値を、このビット・カウント値を表す色及び輝度の値に変換する手段と、
上記色及び輝度の値を領域マッピングされた表示として表す手段と
を具えた圧縮イメージ用ビット・バジェット・モニタ。
【請求項２】
上記領域マッピングされた表示は、表示イメージの各ブロックのアウトラインから成り、
このアウトラインは、上記ブロックに対応する上記色及び輝度の値により表されることを特徴とする請求項１の圧縮イメージ用ビット・バジェット・モニタ。
【請求項３】
上記領域マッピングされた表示は、表示イメージの各ブロック用の複数の充填アウトラインから成り、
この充填アウトラインは、上記ブロックに対応する上記色及び輝度の値により充填されていることを特徴とする請求項１の圧縮イメージ用ビット・バジェット・モニタ。
【請求項４】
ビデオ信号を圧縮して、上記圧縮されたイメージ信号を発生する手段と、
上記圧縮されたイメージ信号を逆圧縮して逆圧縮イメージ信号を発生する手段と、
上記逆圧縮イメージ信号を表示する手段とを具え、
上記圧縮イメージ信号用にビデオ圧縮品質トレインを形成することを特徴とする請求項１の圧縮イメージ用ビット・バジェット・モニタ。
【請求項５】
ビデオ信号を圧縮して、上記圧縮されたイメージ信号を形成する手段を更に具え、
上記ビデオ信号用にビデオ圧縮率エスティメータを設けることを特徴とする請求項１の圧縮イメージ用ビット・バジェット・モニタ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にイメージ圧縮に関し、特に、所定のファイル・サイズ又は所定の伝送ビット・レートにイメージを美的に最適化させるのに用いる領域マッピングされた圧縮イメージのビット・バジェット・モニタに関する。
【背景技術】
【０００２】
ビデオ信号のフレームの如きイメージ（画像）を圧縮して、小さなファイル・サイズに適合させるか、又は、ビデオ信号の伝送期間中のビット・レートを下げている。損失が伴う圧縮により、ファイル・サイズ又はビット・レートを大幅に低下できるが、逆圧縮（圧縮された信号を圧縮されない信号に戻す操作）の際にイメージ品質がいくらか劣化する。最新のビデオ・イメージ圧縮器は、非常に良好に作用するが、ファイル・サイズを縮小したり、同じビット・レートのパイプ（経路）を介してビデオ・ストリームを更に送ったりする必要が常にある。これが圧縮器の限界を下げる。芸術家は、彼らの使用する媒体の限界で常にイメージを処理しようとしてきた。例えば、ビデオにおいて、ダイナミック・レンジは、描写できる特定のシーンの最も明るい領域と最も暗い領域との間に限定されている。ビデオの芸術家、即ち、ビデオ・アーティストは、そのシーンの明るさを調整する際の助けに波形モニタを用いて、そのダイナミック・レンジを最大限に利用した。シーンのある領域がそのシーンにとって重要ではないが、そのシーンの重要な部分が限定されたダイナミック・レンジ内に設定されていれば、重要な領域を優先して、重要でない領域を露出過度や露出不足にした。ビデオ信号の圧縮により、コンテンツ（内容）に新たな制限を与えて、それをあるファイル・サイズに首尾よく変換したり、所望の伝送ビット・レートを実現したりした。
【０００３】
現時点では、品質を最高にしたり、ビット・レートを最小にしたりするツールは、非常に限定されている。通常、経験により品質を最大にしたり、ビット・レートを低下させたりしている。ビデオ・アーティストは、ＭＰＥＧアナライザを用いて、ブロック情報を検査することにより必要な情報を得ることができるが、これには時間がかかるので、芸術家の仕事には適さない。非圧縮のビデオ・ファイルをある大きさのファイル・サイズにする典型的な方法では、ビデオ・アーティストが圧縮対象のビデオ信号を圧縮器に入力し、この圧縮器からの圧縮された出力を逆圧縮し、逆圧縮した出力を評価用モニタ表示によりテストした。経験の浅いビデオ・アーティストは、逆圧縮した出力結果に満足しなくても、その出力をそのまま用いるかもしれない。熟練したビデオ・アーティストは、出力結果に満足しない場合、ビデオ圧縮過程に関する知識を用いて、問題の原因が何かを推測し、入力ビデオを再度調整して、テストに戻る。ビデオ・アーティストを満足させる結果が得られるまで、この調整及びテストのシーケンスを繰り返す。ここでは、調整が推測に基づいているため、この手順は効率的ではなく、その結果は最適なものからかけ離れている。
【０００４】
【特許文献１】特開２０００−３３３０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、ビデオ・アーティストがビデオ画像品質を最適に最高にできると共に、必要とするビット・レート又はファイル・サイズを最小化できるシステムが望まれている。
【課題を解決するための手段】
【０００６】
本発明は、圧縮されたイメージ信号のビット・バジェットのモニタであって；圧縮されたイメージ信号を、複数のイメージと、各イメージ内でビット・シーケンスが表すピクセルのブロックとに分解する手段（２６／４２、４４）と；各ビット・シーケンス内のビットをカウントし、対応するビット・カウント値を発生する手段（２８／４８）と；ビット・カウント値を、このビット・カウント値を表す色及び輝度の値に変換する手段（３０）と；色及び輝度の値を領域マッピングされた表示として表す手段（３２、２４）とを具えている。なお、括弧内の参照符号は、実施例との対応関係を単に示すものであり、また、ビット・バジェットとは、利用可能なビット量（ビット・レートやファイル・サイズ）をいう。
【発明の効果】
【０００７】
よって、本発明は、圧縮ビデオ信号（圧縮されたビデオ信号）用の領域マッピングされた圧縮イメージ・ビット・バジェット・モニタを提供するものである。このモニタは、ピクセルの複数ブロックに分解されたビデオ信号のフレームを表示する。なお、ビット・シーケンスが各ブロックを表す。各ビット・シーケンスのビットがカウント（計数）されて、色及び輝度の値に変換されるビット・カウント値を発生する。色及び輝度の値を用いて、領域マッピングされた表示（領域単位で配置された表示）を表す。表示されたフレームの各ブロックは、関連した色及び輝度の値に応じてそのアウトラインが描かれたり、その代わりに、アウトラインが関連した色及び輝度の値で充填されたりする。また、領域マッピングされた表示は、充填された（埋まった）又は「フラットな」ブロック形式のカーソルや、このカーソルが表すブロック用の関連した係数配列を含んでもよい。
【発明を実施するための最良の形態】
【０００８】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細な説明から明らかになろう。
【実施例】
【０００９】
図１は、本発明によるビット・バジェット・モニタを含むビデオ圧縮品質系のブロック図である。ビデオ圧縮品質系（チェーン）１０は、圧縮対象のビデオを発生するビデオ・ソース１２を有する。ビデオ・ソース１２からのビデオ信号は、ビデオ効果及び変更（変調）段１４に供給され、ビデオ・アーティストがビデオを操作又は調整して、所望の出力ビデオ信号を発生する。この所望出力ビデオ信号は、標準のビデオ圧縮器１６に供給され、圧縮されたビデオ（圧縮ビデオ）出力信号を発生する。この圧縮ビデオ出力信号は、標準のビデオ逆圧縮器１８に供給され、所望出力ビデオ信号を劣化した状態で回復させ（非圧縮状態にし）、評価用ビデオ・モニタの表示器２０に表示させる。今までのところ、表現されているものは、標準のビデオ圧縮品質系であり、従来技術では、ビデオ・アーティストは、繰り返しの調整及びテストのシーケンスにおいて「推測」を行いながら、ビデオ・イメージが満足いくまで、評価用モニタ表示器２０の表示を観察した。本発明は、この標準のビデオ圧縮のビデオ品質系に、領域マッピングされた圧縮イメージのビット・バジェット・モニタ２２を追加し、圧縮ビデオ出力を処理して、その結果をビット・バジェット・モニタの表示器２４に表示している。ビット・バジェット・モニタ２２は、その関連モニタ表示器２４に、ビデオ・イメージ内における種々の領域の関連ビット使用状況を示す。よって、ビデオ・アーティストは、ビデオ・イメージのどの領域がビット・バジェットまでを使用しているかを観察して、より良好な「推測」が可能となり、最適な解決に達するのにより少ない繰り返しでよく、最適化が迅速になる。
【００１０】
本発明を理解するために、ビデオ圧縮の一般形式に用いるブロック・エンコードを簡単に説明する。ビデオ圧縮器１６において、ビデオを複数フレーム、即ち、複数の個別のイメージに分解し、これらイメージを画像要素、即ち、ピクセルのブロックに分解する。これらピクセルのブロックを分析し、典型的には、離散コサイン変換（ＤＣＴ：discrete cosine transform）関数を用いて、ビット・シーケンスをピクセルの各ブロックにエンコードする。可変長エンコーダ（ＶＬＥ：variable length encoder）は、その結果の係数を量子化し、処理する。ビット・シーケンスは、例えばビデオ信号内における動画イメージ用の運動ベクトルの如き多くの情報を含んでいるが、このビデオ・シーケンスは、ピクセルのブロックをエンコードしたものである。ビット・バジェット・モニタ２２は、ピクセルの各ブロックをエンコードするビットの数をカウントし、これらを領域マッピングされた表示としてバジェット・モニタ表示器２４に表示してビデオ・アーティストに伝える。
【００１１】
図２は、ビデオからのフレームを示し、これは、評価用ビデオ・モニタ表示器２０の表示上に現れる。図３は、ビット・バジェット・モニタ表示器２４に表示される同じフレームを示す。
【００１２】
図４は、本発明によるビット・バジェット・モニタ２２のブロック図である。この図４に示すように、圧縮されたビデオ（圧縮ビデオ）入力がブロック・パーサ２６に供給され、このブロック・パーサ２６が圧縮ビデオ入力内の各フレームの各ブロックにおけるビット・シーケンスを解析して判断する。ブロック・パーサ２６からの各ビット・シーケンスは、ビット・カウンタ２８に入力し、ピクセルの各ブロックにおけるビット数をカウントする。ビット・カウンタ２８からの各ブロックにおけるビットのカウント値を変換器３０に入力して、ビットのカウント値を、色及び輝度などの理解可能な形式にマッピングする（割り当てる）。これら色及び輝度の値を表示モニタ３２内の領域マッピングされた表示メモリに蓄積する。これら色及び輝度がモニタ表示器２４の対応する領域内に現れてビデオ・アーティストに知らせる。なお、この対応する領域とは、それが導出されたフレームのブロックである。
【００１３】
図３において、特定ブロックをエンコードするビットの数は、そのブロックのアウトラインを表す色及び輝度に変換される。各ブロックは、それ自体の色及び輝度により１ピクセル幅で組み立てられ、分割された境界は、隣接する両方のブロックからの情報を示す。よって、ビデオ・アーティストは、画像のどの領域が最も多いビットを用いているかを容易に確かめることができる。この情報の値を指摘するために、図３において、帽子の羽に対応する領域で太いアウトラインで示す領域が、美的には一層重要である顔よりもよりも多くのビットを用いていることに留意されたい。図３に示したのと異なる他の形式を用いてもよい。これら他の形式には、例えば、グレー・スケールや、ブロック全体を色及び輝度で充填する（埋める）表示などがある。ビット使用量に関する色輝度情報をどのように解釈するかをビデオ・アーティストに伝えるキー（手がかり）がある。ビット使用量をマッピングする一例は次のようになる。
赤：ビット使用量／３で、限界が２５５
緑：ビット使用量／２で、限界が１２８
青：ビット使用量／８で、限界が２５５
なお、計算した値が夫々の色の値を示す。
【００１４】
キーは、ゼロから最大使用量までのビット使用量のスケールであり、その結果の色が表示器上で頂部から底部に又は一方の側から他方の側に対応するビット数に応じてグラフ的に表示されることである。例えば、キーは、２５６ビットにて明るい緑に達するまで黒から緑にステップ毎に増加して、黄色を介して赤に進み、紫になる。ビット使用量がゼロならば、緑が０／２＝０で、赤が０／３＝０で、青が０／８＝０となって、総てのコンポーネントがゼロなので、色が黒である。ブロック又はキー・セグメントにおけるビット使用量が１２８の場合、緑が１２８／２＝６４で、赤が１２８／３＝４２で、青が１２８／８＝１６となり、暗い緑になる。ビット利用量が５１２の場合、青が５１２／２であるが限界の１２８となり、赤が５１２／３＝１７０で、青が５１２／８＝６４で、赤いオレンジになる。
【００１５】
相対スケールと同様に絶対スケールを用いてもよい。同じ圧縮器１６により異なるファイル・サイズを表す絶対スケールは、異なる圧縮器の設定又は異なるビット・レートの結果であるが、各設定における実際のビット使用量を示し、各設定に応じて異なる。これとは対照的に、相対スケール表示は、ビデオ・フレーム又はイメージの種々の領域における相対的なビット使用量を表し、これが異なる圧縮器の設定により変化したか否かを示す。例として、イメージの相対ビット使用量が異なる圧縮器設定によりわずかに変化し、絶対ビット使用量が大幅に変化すると、相対ビット使用量が影響されないことを示す。何れの場合においても、より大きいビット使用量は、イメージのある部分が他の部分よりも大きいことが明らかである。ビット使用量は、ビデオ・アーティストが関心のあることかもしれないし、関心のないことかもしれない。図３のイメージに対するビデオ・アーティストは、美的に顔の方がより重要なので、羽ではなく顔にもっと多くのビットを望むかもしれない。
【００１６】
図５は、本発明のビット・バジェット・モニタを用いるビデオ圧縮率エスティメータ（推定器）３４のブロック図である。カメラの如きビデオ・ソース３６からのビデオ信号が標準ビデオ圧縮器１６に供給され、ピクセルのブロックのビット・シーケンスがビット・バジェット・モニタ２２に供給され、ビット・バジェット・モニタ表示器２４で表示される。このビデオ圧縮率エスティメータ３４を普通に用いることにより、ビデオを作成した後に圧縮をするが、ビデオ・アーティストはできるだけ圧縮することを望む。図３の場合、ビデオ・アーティストは、モデルに羽を取るように依頼するかもしれない。ソートにはごくわずかの優先順位があり、複雑なビデオを撮影する際にクロス・カラー効果が生じるので、出演者にストライプや白黒チェックの衣類を着ないように依頼するのが一般的であるのと同様である。
【００１７】
図６（Ａ）は、評価用モニタに表示されたシーンの画像であり、図６（Ｂ）は、本発明によるビット・バジェット・モニタにより領域マッピングされた表示であり、図６（Ａ）と同じシーンである。評価用モニタ表示器２０（その表示が図６（Ａ））及びビット・バジェット・モニタ表示器２４（その表示が図６（Ｂ））に船の画像が示されている。ビット・バジェット・モニタ表示器２４の画像は、ブロックのアウトラインの色を、１ブロック当たりのビットのレンジに相関させるスケールを含んでいる。空が海と同様に１ブロック当たりに多くのビットを有しているようにも考えられるが、このシーンにおいて、実際には、海が１ブロック当たり一層多くのビットを用いている。ここでは、海の領域のブロックが明るい緑のアウトラインで示され、空の領域のブロックが黒のアウトラインで示されている。ビデオ・アーティストは、海に多くのビットを用いているのが不適切で、海のビット使用量を減らす何らかの方法がないかと知りたいと感じるかもしれない。また、海を空よりもよりカラフルにして、より多くのビットを使用したいと思うかもしれない。この場合、ビット・バジェット・モニタ２４をルミナンス・コンポーネントのみ又はクロマ・コンポーネントのみに適用してもよい。ビットのほとんどをルミナンスに用いてクロマには用いないことが直ちに明らかになるので、色又はクロマ情報を調整することによっては問題が解決しないだろう。
【００１８】
更に説明すれば、図７に示すように、ビデオ・アーティストは、表示上でグレイ又は「フラット」ブロックとして示されるカーソル３８を呼び出すことができ、そのブロック用の対応ＤＣＴ係数配列４０を表示できる。空の中心における領域又はブロック用に、海の中心の領域用に、海岸線の中心の領域用に、及びより詳細な岸の領域用に、ＤＣＴ係数配列４０を調べることにより、各領域のＤＣＴ係数の使用が識別できる。ビデオ・アーティストは、空よりも海が多くのＤＣＴ係数を用いていることが判るので、海に対して空間フィルタを用いて、そのビット使用量を減らそうと判断ができる。この場合、海は美的には重要でないためである。図８は、同じ船のシーンを表し、境界線４２は、このシーンを空間フィルタ処理する領域（海の大部分）と空間フィルタ処理しない領域に分ける。
【００１９】
図９は、本発明により空間フィルタとして作用する係数配列の図である。この図９に黒（太い右上がりの斜線）で示すように、総ての係数をゼロにすることにより、空間フィルタを実現できる。なお、ここでは、グレイ（細い右下がりの斜線）で示す第１行及び第１列のブロックを除く。これは、適切でないかもしれないが、この例には役立つ。これは、図７に示す係数配列４０と比較する際、海からの情報内容が大幅に減ることが容易に判るためである。その結果、イメージの海の部分が劣化するが、それは美的には依然受容可能である。ＪＰＥＧイメージ・ファイル用の特定例において、オリジナルの画像イメージが２９Ｋバイトから１９Ｋバイトに減らすことができる。同じ空間フィルタをイメージ全体に適用すると、イメージの美的品質にひどい劣化が生じ、これは受容できない。よって、ビット・バジェット・モニタは、ビデオ・アーティストが空間フィルタ処理に対して正しい選択をできるようにする。
【００２０】
ブロック・コード化した圧縮器に関して上述したが、この領域マッピングしたビット使用表示は、ウェーブレット圧縮器又はジップ圧縮器の如くブロック・コード化しない圧縮器にも使用できる。その一例を図１０に示すが、これは、ＧＩＦイメージ・ファイル・フォーマットを対象としている。この圧縮技術は、ＬＺＷと呼ばれており、ディクショナリ（辞書）に基づく圧縮技法である。圧縮対象のイメージをスキャンして、ディクショナリを発生する。ここでは、コードが、入力ファイルのストリングを表す。このストリングは、ファイル内のどこかで繰り返しを行う。圧縮されたデータ・ストリームは、ストリングを識別するコードで全体的に構成されている。このコードとディクショナリとがオリジナルのファイルよりも小さいと、このファイルは圧縮されたことになる。かかるイメージ用に単位ブロック当たりのビット使用量を求めるために、圧縮されたＧＩＦファイル（又はストリーム）４１からのデータは、ディクショナリ抽出器４３及びディクショナリ４４に供給される。ディクショナリ４４からの出力は、デコードされたデータであり、このデータにより、コード・ビット・カウント及びブロック割り当ての信号を発生する。また、デコードされたデータは、ブロック４６でデコードされたイメージになる。ここで、イメージ空間は、複数のブロックに分割される。各ブロックは、分離ブロック・アキュムレータ４８に割り当てられる。これは、ブロック・コード化圧縮技法において任意であるが、適切なブロック・サイズを選択できる。ＧＩＦファイル又は圧縮ビット・ストリーム４１からのデータを読出して逆圧縮するので、即ち、コードを読出して、ディクショナリ４４内でルックアップ・テーブル技法（ブロック４１からのデータと、ブロック４４の出力との対応関係の表を用いた技法）を用いるので、ブロックに対して読出した各コードに用いるビットの数をアキュムレータ４８で加算して、デコード対象のデータを処理する。イメージのデコード処理が完了すると、アキュムレーション（累積）したブロックのカウント値をアキュムレータ４８からカウント色変換器３０に送る。この変換器３０により変換された色値と、ブロック４６からのデコードされたイメージとを領域マッピングされた表示モニタ３２の表示メモリに送る。そして、表示メモリの内容をビット・バジェット・モニタ表示器２４に表示する。
【００２１】
上述の如く、本発明の領域マッピングされた圧縮イメージ用ビット・バジェット・モニタは、イメージからのピクセルのブロックを表す圧縮イメージの各ビット・シーケンスのビットをカウントし、この結果のビット使用量のデータを適切な表示器に表示する。この表示の際、イメージの各ブロックの色及び輝度の値、又はグレー・スケール値を用いる。
【図面の簡単な説明】
【００２２】
【図１】本発明によるビット・バジェット・モニタを含むビデオ圧縮品質系のブロック図である。
【図２】従来の評価用モニタで表示されるイメージの画像である。
【図３】本発明によるビット・バジェット・モニタで表示される図２のイメージの画像である。
【図４】本発明によるビット・バジェット・モニタのブロック図である。
【図５】本発明によるビット・バジェット・モニタを用いるビデオ圧縮率エスティメータのブロック図である。
【図６（Ａ）】評価用モニタに表示されたシーンの画像である。
【図６（Ｂ）】本発明によるビット・バジェット・モニタに領域マッピングにより表示された図６（Ａ）と同じシーンである。
【図７】図６の領域マッピングされたシーンの画像であり、カーソル及び関連した係数配列を表示している。
【図８】図６のシーンを示す画像であり、本発明により空間フィルタを適用する領域を示している。
【図９】本発明により空間フィルタとして作用する係数配列の図である。
【図１０】非ブロック・コード化圧縮器用の本発明によるビット・バジェット・モニタの他の実施例のブロック図である。
【符号の説明】
【００２３】
１０  ビデオ圧縮品質系
１２  ビデオ・ソース
１４  ビデオ効果及び変更段
１６  ビデオ圧縮器
１８  ビデオ逆圧縮器
２０  評価用ビデオ・モニタ表示器
２２  ビット・バジェット・モニタ
２４  ビット・バジェット・モニタ表示器
２６  ブロック・パーサ
２８  ビット・カウンタ
３０  カウント色変換器
３２  表示モニタ（表示メモリ）
３４  ビデオ圧縮率エスティメータ
３６  ビデオ・ソース
４１  圧縮されたＧＩＦファイル
４３  ディクショナリ抽出器
４４  ディクショナリ
４６  デコードされたイメージ
４８  ブロック・アキュムレータ
【図１】
2006020311.tif 000003
【図２】
2006020311.tif 000004
【図３】
2006020311.tif 000005
【図４】
2006020311.tif 000006
【図５】
2006020311.tif 000007
【図６（Ａ）】
2006020311.tif 000008
【図６（Ｂ）】
2006020311.tif 000009
【図７】
2006020311.tif 000010
【図８】
2006020311.tif 000011
【図９】
2006020311.tif 000012
【図１０】
2006020311.tif 000013