(57)【特許請求の範囲】
【請求項１】
Ｙ信号、Ｖ信号及びＵ信号を含むデジタル動画像信号を入力する入力手段と、
前記入力手段に入力される動画像信号をフレーム単位で格納するフレームメモリと、
前記フレームメモリに格納される画像信号を４×４のブロックに分割し、Ｙ信号のブロックに対しては該ブロック内の４×４の信号から１個以上の信号を間引きする圧縮のみを行い、Ｖ信号及びＵ信号の各ブロックに対しては該ブロック内の４×４の信号を平均化する圧縮のみを行う圧縮手段と
を有する画像処理システム。
【請求項２】
さらに、前記圧縮手段で圧縮された画像信号を外部に送信する通信インタフェースを有する請求項１記載の画像処理システム。
【請求項３】
前記通信インタフェースは、ＵＳＢ通信インタフェースである請求項２記載の画像処理システム。
【請求項４】
前記圧縮手段は、Ｙ信号のブロック内の４×４の信号から４個の信号を間引く請求項１〜３のいずれかに記載の画像処理システム。
【請求項５】
前記圧縮手段は、Ｙ信号のブロック内の４×４の信号から各行について１画素ずつ又は各列について１画素ずつ間引く請求項４記載の画像処理システム。
【請求項６】
前記通信インタフェースは、前記圧縮手段が間引く信号の数又は位置を前記圧縮した信号と共に外部に送信する請求項２又は３記載の画像処理システム。
【請求項７】
前記圧縮手段は、前記圧縮された信号に対してさらにＤＰＣＭ及びハフマン符号化を行う請求項１〜６のいずれかに記載の画像処理システム。
【請求項８】
さらに、前記圧縮手段により圧縮された画像信号を伸張する伸張手段と、前記伸張手段により伸張された画像信号を表示する表示手段とを有する請求項１〜７のいずれかに記載の画像処理システム。
【請求項９】
Ｙ信号、Ｖ信号及びＵ信号を含むデジタル動画像信号が４×４のブロック単位で圧縮された圧縮信号であって、Ｙ信号は間引きのみによって圧縮され、Ｖ信号及びＵ信号は平均化のみによって圧縮された圧縮信号を入力する入力手段と、
前記Ｙ信号、Ｖ信号及びＵ信号の圧縮信号を伸張する伸張手段と、
前記伸張手段により伸張された画像信号の表示を指示する表示指示手段と
を有する画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特にデジタル動画像処理技術に関する。
【０００２】
【従来の技術】
動画の圧縮方法として、米国インテル社及び米国マイクロソフト社が提唱するＹＶＵ９がある。ＹＶＵ９は、パーソナルコンピュータにおける動画圧縮技術として標準化されつつある。
【０００３】
ＹＶＵ９の圧縮方法を説明する。１フレームの画像信号は、Ｙ信号（輝度信号）とＶ信号（色信号）とＵ信号（色信号）とからなる。ＹＶＵ信号は、ＰＡＬ方式のビデオ信号である。Ｖ信号は（Ｒ−Ｙ）信号に相当し、Ｕ信号は（Ｂ−Ｙ）信号に相当する。ここで、Ｒ信号は赤色信号であり、Ｂ信号は青色信号である。
【０００４】
圧縮は、１フレームの画像（例えば３２０×２４０画素）を４×４画素のブロックに分割し、ブロック単位で処理を行う。
【０００５】
図８（Ａ）〜（Ｃ）は、ＹＶＵ９（ｐａｃｋｅｄ）の圧縮方法を示す。以下、ＹＶＵ９（ｐａｃｋｅｄ）を、単にＹＶＵ９という。
【０００６】
図８（Ａ）に示すように、Ｙ信号については、４×４のＹ信号Ｓ１をそのままＹ信号Ｓ２とする。すなわち、Ｙ信号は、画像の解像度に大きな影響を及ぼすので圧縮を行わない。
【０００７】
図８（Ｂ）に示すように、Ｖ信号については、４×４のＶ信号Ｓ１の平均値Ｖｍを圧縮信号Ｓ２とする。
【０００８】
図８（Ｃ）に示すように、Ｕ信号については、４×４のＵ信号Ｓ１の平均値Ｕｍを圧縮信号Ｓ２とする。
【０００９】
以上の処理は、１ブロックについての処理である。これと同様の処理を、１フレーム内の各ブロックについて行う。さらに、各フレームについて処理を行い、動画の処理を行う。
【００１０】
【発明が解決しようとする課題】
次世代のパーソナルコンピュータには、ＵＳＢ（universal serial bus) 及びＩＥＥＥ１３９４規格の２種類のシリアルデジタル通信インタフェースが搭載される予定である。ＵＳＢは、転送レートが比較的低速（１．５Ｍビット／秒又は１２Ｍビット／秒）である。ＩＥＥＥ１３９４は、転送レートが比較的高速（１００Ｍ、２００Ｍ又は４００Ｍビット／秒）である。
【００１１】
これらの通信インタフェースを用いて、パーソナルコンピュータで動画の処理を行いたいとの要求がある。ＩＥＥＥ１３９４は、高速通信を行うためのものである。ＩＥＥＥ１３９４の通信量が多くなると、ＩＥＥＥ１３９４を用いても実質的な通信レートは低くなってしまう。したがって、ＩＥＥＥ１３９４は頻繁に使用すべきでなく、可能な限りＵＳＢにより通信を行うことが好ましい。
【００１２】
上記のＹＶＵ９により圧縮した画像信号もＵＳＢで通信することが好ましい。しかし、ＹＶＵ９は圧縮率が比較的低いので、１フレームのデータ量は多くなってしまう。その結果、通信可能な時間当たりのコマ数（フレーム数）が少なくなってしまう。表示装置には、わずか約１２〜１３コマ／秒しか表示することができない。
【００１３】
テレビジョン方式の動画は、３０コマ／秒である。ＹＶＵ９を用いた動画は、テレビジョン方式に比べてコマ数が少ないので、動画の動きがスムーズではなく、動画としての画質が悪くなる。
【００１４】
動画の圧縮方法として、ＹＶＵ９の他、ＭＰＥＧ（moving picture experts group）等がある。ＭＰＥＧは、高画質を保ちながら圧縮率を高くすることができるが、圧縮処理のための演算量が膨大である。ＭＰＥＧの圧縮を行うには、高性能なＤＳＰ（digital signal processor）又は大規模なハードウエアを必要とし、コストが向上する。
【００１５】
本発明の目的は、高画質を維持しかつ圧縮率を高くして、低速の通信インタフェースで通信することができる画像処理システムを提供することである。
【００１６】
本発明の目的は、圧縮率を高くしかつ演算量を少なくして、低コストで画像信号を処理することができる画像処理システムを提供することである。
【００１７】
【課題を解決するための手段】
本発明の一観点によれば、画像処理システムは、Ｙ信号、Ｖ信号及びＵ信号を含むデジタル動画像信号を入力する入力手段と、前記入力手段に入力される動画像信号をフレーム単位で格納するフレームメモリと、前記フレームメモリに格納される画像信号を４×４のブロックに分割し、Ｙ信号のブロックに対しては該ブロック内の４×４の信号から１個以上の信号を間引きする圧縮のみを行い、Ｖ信号及びＵ信号の各ブロックに対しては該ブロック内の４×４の信号を平均化する圧縮のみを行う圧縮手段とを有する。
【００１８】
Ｖ信号及びＵ信号のみならず、Ｙ信号についてもデータ量を減らすことにより、動画像信号の圧縮率を高くすることができる。
【００１９】
【発明の実施の形態】
図１は、本発明の実施例による画像信号処理システムの構成を示すブロック図である。
【００２０】
周辺機器１とコンピュータ１１は、通信ケーブルで接続されている。周辺機器１は、ビデオソース２、フレームメモリ３、メモリコントローラ４、圧縮処理部５及び通信手段６を有する。
【００２１】
ビデオソース２は、ビデオ信号（動画像信号）の供給源であり、例えば固体撮像素子又は記憶装置（ビデオデッキ又はコンパクトディスク（ＣＤ）プレーヤ）である。
【００２２】
ビデオソース２が固体撮像素子の場合には、周辺機器１はＣＣＤカメラである。固体撮像素子２は、動画を撮像し、画像信号ＤＹＶＵを生成する。撮像された動画がＲＧＢ信号等である場合には、ＹＶＵ信号に変換し、画像信号ＤＹＶＵを生成する。画像信号ＤＹＶＵは、例えば３０コマ／秒の動画のＹＶＵ信号である。
【００２３】
メモリコントローラ４は、ビデオソース２から受けた画像信号ＤＹＶＵをフレーム単位でフレームメモリ３に書き込む。フレームメモリ３は、ＤＲＡＭ又はビデオＲＡＭ（ＶＲＡＭ）である。１フレームは、例えば３２０×２４０画素（ＣＩＦサイズ）である。
【００２４】
図２に示すように、１フレームの画像信号ＤＹＶＵは、Ｙ信号ＤＹ、Ｖ信号ＤＶ、Ｕ信号ＤＵからなる。各信号ＤＹ、ＤＶ、ＤＵは、３２０×２４０のデータを有する。
【００２５】
メモリコントローラ４は、フレームメモリ３に記憶されている１フレームの画像信号ＤＹＶＵの中の１ブロックＳ１（図２）を読み出し、圧縮処理部５に供給する。１ブロックＳ１は、４×４画素である。
【００２６】
画像信号ＤＹ，ＤＶ，ＤＵの各ブロックＳ１が圧縮処理部５に供給される。その後、次のブロックが供給される。図２に示すように、ブロックの順番は、ラスタスキャンと同じであり、１フレームの左上から右上に順次移動する。右端まで移動すると、一段下に下がり、左端から右端に向けて順次移動する。同様にして、ブロックの移動を行い、右下のブロックが最終ブロックとなる。
【００２７】
圧縮処理部５は、ＹＶＵ圧縮処理、ＤＰＣＭ（differential pulse code modulation）及びハフマン符号化を順に行う。ＹＶＵ圧縮処理は、ブロック単位でＹＶＵ９と同様にＶ信号及びＵ信号の圧縮を行い、さらにＹ信号についても圧縮を行う。ＹＶＵ圧縮処理のみでは圧縮率が低いので、さらに公知のＤＰＣＭ及びハフマン符号化を行うことにより、データ量を減らし、３０コマ／秒の処理を可能にする。ＹＶＵ圧縮処理の詳細は、後に図３（Ａ）〜（Ｃ）を参照しながら説明する。
【００２８】
通信手段６は、圧縮処理部５で圧縮された信号を外部に送信する。周辺機器１の通信手段６とコンピュータ１１の通信手段１２は、通信ケーブルで接続されている。通信手段６及び１２は、例えばＵＳＢ通信インタフェースであり、１２Ｍビット／秒の転送レートを有する。圧縮処理部５で高圧縮を行うことにより、３０コマ／秒の通信が可能になる。
【００２９】
コンピュータ１１は、通信手段１２、伸張処理部１３及び表示装置１４を有する。コンピュータ１１は、例えばパーソナルコンピュータである。ほとんどのパーソナルコンピュータ１１がＵＳＢ通信インタフェース１２を標準装備することが予想されるので、ＵＳＢ通信インタフェース１２を使用することの利点は大きい。通信手段１２は、受信した圧縮信号Ｓ２を伸張処理部１３に供給する。
【００３０】
伸張処理部１３は、画像信号Ｓ２の伸張を行う。具体的には、圧縮処理部５で行ったＹＶＵ圧縮処理、ＤＰＣＭ及びハフマン符号化に対応する各伸張処理を行う。ＹＶＵ圧縮処理に対応するＹＶＵ伸張処理の詳細は、後に図４を参照しながら説明する。
【００３１】
伸張処理部１３は、伸張した画像信号Ｓ３を表示装置１４に供給する。表示装置１４には、３０コマ／秒の動画を表示することができる。この３０コマ／秒の動画は、ＹＶＵ９による動画よりもコマ数が多く、画質を向上させることができる。なお、表示装置１４は、パーソナルコンピュータ１１の外付けのものであってもよい。
【００３２】
以上の処理は１フレーム内の各ブロックについて行い、さらに各フレームについて処理を行うことにより動画を処理する。
【００３３】
図３（Ａ）〜（Ｃ）は、図１の圧縮処理部５で行うＹＶＵ圧縮処理を示す。
図３（Ａ）は、Ｙ信号の圧縮処理を示す。Ｙ信号Ｓ１は、４×４の１ブロックの原画像信号である。ＹＶＵ９ではＹ信号についての圧縮処理を行わないが、本実施例では第２列の４画素の信号Ｙ02，Ｙ12，Ｙ22，Ｙ32を間引き、圧縮信号Ｓ２を生成する。ここで、信号Ｙnmは、ｎ行ｍ列のＹ信号を示す。１ブロックのデータ量は、１６個から１２個に減る。
【００３４】
図３（Ｂ）は、Ｖ信号の圧縮処理を示す。Ｖ信号Ｓ１は、４×４の１ブロックの原画像信号である。本実施例では、ＹＶＵ９と同様に、４×４のＶ信号Ｓ１を平均化し、平均Ｖ信号Ｖｍを圧縮信号Ｓ２として生成する。１ブロックのデータ量は、１６個から１個に減る。
【００３５】
図３（Ｃ）は、Ｕ信号の圧縮処理を示す。Ｕ信号Ｓ１は、４×４の１ブロックの原画像信号である。本実施例では、ＹＶＵ９と同様に、４×４のＵ信号Ｓ１を平均化し、平均Ｕ信号Ｕｍを圧縮信号Ｓ２として生成する。１ブロックのデータ量は、１６個から１個に減る。
【００３６】
上記のＹ信号、Ｖ信号、Ｕ信号は、例えば“Ｖｍ，Ｕｍ，Ｙ00，Ｙ01，Ｙ03，Ｙ10，Ｙ11，Ｙ13，Ｙ20，Ｙ21，Ｙ23，Ｙ30，Ｙ31，Ｙ33”の順で並ぶ。すなわち、Ｙ信号についてはブロック内でラスタスキャンの順番で並ぶ。
【００３７】
ＹＶＵ圧縮処理を行った後、ＤＰＣＭ及びハフマン符号化を行い、圧縮信号を生成する。圧縮信号は、ＵＳＢ通信インタフェースを介して送信される。
【００３８】
図４は、図１の伸張処理部１３で行うＹＶＵ伸張処理を示す。
圧縮信号Ｓ２は、上記の圧縮処理部５で圧縮された画像信号である。伸張処理部１３は、圧縮信号Ｓ２のうち間引かれた第２列のデータを補間して、伸張信号Ｓ３を生成する。補間データｙ02、ｙ12、ｙ22、ｙ32は、次式により左右２画素の平均化処理により求める。
【００３９】
ｙ02＝（Ｙ01＋Ｙ03）／２
ｙ12＝（Ｙ11＋Ｙ13）／２
ｙ22＝（Ｙ21＋Ｙ23）／２
ｙ32＝（Ｙ31＋Ｙ33）／２
【００４０】
上記のように、Ｙ信号の並びは、Ｙ01とＹ03、Ｙ11とＹ13、Ｙ21とＹ23、Ｙ31とＹ33がそれぞれ隣接するデータであるので、上記の補間処理を高速かつ容易に行うことができる。
【００４１】
Ｖ信号の伸張は、例えば４×４の伸張データの値を全て平均化Ｖ信号Ｖｍの値にすることができる。Ｕ信号の伸張も同様に、例えば４×４の伸張データの値を全て平均化Ｕ信号Ｕｍの値にすることができる。
【００４２】
ＹＶＵ圧縮処理は、Ｙ信号のデータ量をブロック当たり１６個から１２個に減らすことができる。すなわち、本実施例によるＹＶＵ圧縮処理は、ＹＶＵ９に比べ、データ量を約１２／１６にすることができる。
【００４３】
上記のＹＶＵ圧縮処理だけでは１２Ｍビット／秒のＵＳＢ通信インタフェースを用いて３０コマ／秒の動画を通信することができない。ＹＶＵ圧縮処理された画像信号に対して、さらにＤＰＣＭ及びハフマン符号化を行うことにより、さらに圧縮率を高め、データ量を減らす。ＤＰＣＭ及びハフマン符号化は、可逆式符号化であるので、これらの符号化により画質が劣化することはない。
【００４４】
上記の３つの符号化処理を行うことによりデータ量を少なくすることができ、ＵＳＢ通信インタフェースにおいて３０コマ／秒の動画を通信することができる。
【００４５】
それに対し、ＹＶＵ９のみを行った場合には、約１２〜１３コマ／秒の動画を通信することができ、ＹＶＵ９、ＤＰＣＭ及びハフマン符号化を行った場合には、約２０コマ／秒の動画を通信することができる。
【００４６】
本実施例によれば、３０コマ／秒の動画処理を可能にし、コマ数を多くすることができるので、画質を向上させることができる。テレビジョン方式と同じく３０コマ／秒で動画を表示し、高画質を維持できることの利点は大きい。
【００４７】
また、圧縮された信号は、左右２画素の平均化処理により伸張することができるので、画質の劣化が少なく、高画質を維持することができる。１フレーム（静止画）としての画質はＹＶＵ９に比べてわずかに落ちるが、コマ数が増えるので動画としての画質が向上する。人間の視覚によれば、静止画としての画質がわずかに落ちても、コマ数が増えれば、全体として画質が向上したと感じる。
【００４８】
図５（Ａ）〜（Ｄ）は、図３（Ａ）に示すＹ信号の圧縮処理の他の方法を示す。図３（Ａ）では第２列の４画素を間引いたが、その他の画素を間引いてもよい。例えば、各行について第２列又は第３列のいずれかの画素を間引く。すなわち、各行で１画素を間引き、１ブロック内で４画素を間引く。この場合、１つの行で２画素以上間引くと、左右２画素の平均化処理による補間が困難になるので、各行について１画素の間引きが好ましい。
【００４９】
間引く画素数は、１画素以上であればよいが、少なすぎると圧縮率が低くなり、多すぎると画質が劣化するので、１〜４画素が好ましく、４画素がより好ましい。
【００５０】
図６（Ａ）〜（Ｃ）は、Ｙ信号の圧縮処理のさらに他の処理を示す。各列について第２行又は第３行のいずれかの画素を間引く。すなわち、各列で１画素を間引き、１ブロック内で４画素を間引く。この場合は、上下２画素の平均化処理により補間することができる。
【００５１】
図７（Ａ）は、Ｙ信号の圧縮処理のさらに他の処理を示す。第３列の４画素を間引いてもよい。この場合、図７（Ｂ）に示すように、ブロック信号Ｓ３とその右隣のブロック信号Ｓ３’を用いて伸張を行う。具体的には、補間データｙ03、ｙ13、ｙ23、ｙ33は、次式により求める。信号Ｙ04、Ｙ14、Ｙ24、Ｙ34は、隣のブロック信号Ｓ３’の信号である。
【００５２】
ｙ03＝（Ｙ02＋Ｙ04）／２
ｙ13＝（Ｙ12＋Ｙ14）／２
ｙ23＝（Ｙ22＋Ｙ24）／２
ｙ33＝（Ｙ32＋Ｙ34）／２
【００５３】
第３列と同様に、第０列、第０行、第３行の画素を間引いてもよい。間引く画素の組み合わせは種々のものを採用することができる。
【００５４】
間引く画素の数又は位置は自由に設定することができるが、それらの情報は圧縮処理部５と伸張処理部１３において共通に保持する必要がある。例えば、圧縮処理部５及び伸張処理部１３が、それらの情報を固定値として予め保持していてもよい。また、周辺装置１からコンピュータ１１に圧縮信号Ｓ２を送信する際に、それらの情報をヘッダ内に付加して圧縮信号Ｓ２と共に送信してもよい。これらの情報を送信すれば、間引く画素数又は画素位置を可変にすることができる。
【００５５】
以上のように、比較的低い転送レートのＵＳＢ通信インタフェースを用いて、時間当たりのコマ数が多い動画を通信することができる。コマ数が多ければ、動画としての画質が向上する。通信インタフェースは、ＵＳＢの他、ＲＳ−２３２Ｃ又はＩＲＤＡ（赤外線による無線通信）等でもよい。また、通信インターフェースは、シリアル通信が好ましいが、パラレル通信でもよい。
【００５６】
また、ＭＰＥＧによれば高圧縮を行うことができるが、圧縮処理のための演算量が膨大であるため、高性能なＤＳＰや大規模なハードウエアを必要とし、コストが向上する。本実施例によれば、間引き又は２画素平均化処理等の簡単な演算のみで圧縮及び伸張を行えるので、ハードウエア量を少なくし、コストを下げることができる。
【００５７】
また、本実施例は、ＹＶＵ９と同様にＹＶＵ信号を４×４のブロック単位で処理するので、圧縮前及び伸張後はＹＶＵ９と同様の処理が可能であり、標準化されつつあるＹＶＵ９の資源を活用できる利点がある。
【００５８】
なお、１フレームの画像サイズや伸張方法は上記の実施例に限定されず変更してもよい。また、ＤＰＣＭ及びハフマン符号化の他に、他の符号化方法を用いてもよい。
【００５９】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、Ｖ信号及びＵ信号のみならず、Ｙ信号についてもデータ量を減らすことにより、動画像信号の圧縮率を高くすることができる。圧縮率を高くすれば、低い転送レートの通信インタフェースでも通信することができる。また、Ｙ信号は間引きにより圧縮するので演算が簡単であり、ハードウエア量を少なくし、コストを下げることができる。
【図面の簡単な説明】
【図１】本発明の実施例による画像処理システムの構成を示すブロック図である。
【図２】１フレームの画像信号を示す概略図である。
【図３】図３（Ａ）はＹ信号の圧縮方法を示し、図３（Ｂ）はＶ信号の圧縮方法を示し、図３（Ｃ）はＵ信号の圧縮方法を示す図である。
【図４】伸張方法を示す図である。
【図５】図５（Ａ）〜（Ｄ）はＹ信号の他の圧縮方法を示す図である。
【図６】図６（Ａ）〜（Ｃ）はＹ信号のさらに他の圧縮方法を示す図である。
【図７】図７（Ａ）はＹ信号のさらに他の圧縮方法を示し、図７（Ｂ）はその伸張方法を示す図である。
【図８】ＹＶＵ９による圧縮方法を示す図である。
【符号の説明】
１  周辺機器
２  ビデオソース
３  フレームメモリ
４  メモリコントローラ
５  圧縮処理部
６  通信手段
１１  コンピュータ
１２  通信手段
１３  伸張処理部
１４  表示装置
Ｓ１  原画像信号
Ｓ２  圧縮信号
Ｓ３  伸張信号
【図１】
0003795672.tif 000002
【図２】
0003795672.tif 000003
【図３】
0003795672.tif 000004
【図４】
0003795672.tif 000005
【図５】
0003795672.tif 000006
【図６】
0003795672.tif 000007
【図７】
0003795672.tif 000008
【図８】
0003795672.tif 000009