(57)【要約】【課題】画像データを圧縮しメモリに書込み、メモリから読み出したデータを伸張することで、メモリにアクセスする数を削減し、有効に使用できるバンド幅を増加することは出来る。しかし、画像データを処理するＬＳＩなどでは、メモリにアクセスする処理は１系統とは限らないため、複数のアクセスが介在する。このとき１系統だけ上記の処理を行っても、メモリアクセス数の削減の効果は少なく、更なる削減効果を得ることはできない。また、メモリにアクセスする画像処理は、例えばＦＩＦＯ的にリニアにアクセスする処理や、ランダムにアクセスする処理にも対応する必要がある。【解決手段】本発明では、画像データを圧縮伸張する圧縮伸張部を、画像処理を行う複数の制御部を調停する調停部と、制御部との間に、各々配置し、且つ、前記圧縮伸張可逆圧縮伸張方式と、非可逆圧縮伸張方式の回路を備え、機能により圧縮方式を切り替え可能とした装置を提供する。【選択図】  図１
2009290389.tif 000002
【特許請求の範囲】
【請求項１】
画像データをメモリに書き込むまたは、メモリに書き込まれた画像データを読み出す画像処理装置において、
前記メモリに書き込む第１の画像データを、可逆圧縮方式で圧縮し前記メモリに書き込み、前記圧縮した画像データを前記メモリから読み出し、前記可逆伸張方式で伸張する第１の圧縮伸張処理手段と、
前記メモリに書き込む第２の画像データを、非可逆圧縮方式で圧縮し前記メモリに書き込み、前記圧縮した画像データを前記メモリから読み出し、前記非可逆伸張方式で伸張する第２の圧縮伸張処理手段と、を具備し、
圧縮伸張処理による画像データの劣化が許容できない画像処理には前記第１の圧縮伸張処理手段を用い、圧縮伸張処理による画像データの劣化が許容できる画像処理には前記第２の圧縮伸張処理手段を用いること
を特徴とした画像処理装置。
【請求項２】
画像データをメモリに書き込むまたは、メモリに書き込まれた画像データを読み出す画像処理装置において、
少なくとも第１及び第２の画像処理を行う画像処理部と、
前記第１及び第２の画像処理部からのメモリへの書込みまたは読み出しを調停する調停部と、
前記調停部からの信号により、メモリを制御するメモリ制御部と、
メモリ制御部に接続されたメモリと、
少なくとも第１及び第２の圧縮伸張部と、を具備し、
前記第１及び第２の画像処理部と、前記調停部の間に第１及び第２の圧縮伸張部を配したことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第１及び第２の圧縮伸張部は、可逆圧縮伸張方式と非可逆圧縮伸張方式の双方の圧縮伸張方式に対応し、第１及び第２の画像処理部の処理方法に応じて切り替え可能としたこと、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第１及び第２の圧縮伸張部は、可逆圧縮伸張方式と非可逆圧縮伸張方式のどちらか一方を停止することを可能としたこと、
を特徴とする画像処理装置。
【請求項５】
画像データをメモリに書き込むまたは、メモリに書き込まれた画像データを読み出す画像処理装置において、
画像データを圧縮するエンコーダと、
前記エンコーダの前段で画像データを処理する第１の画像処理部と、
前記エンコーダの後段で画像データを処理する第２の画像処理部と、
前記エンコーダと前記第１及び第２の画像処理部からのメモリへの書込みまたは読み出しを調停する調停部と、
前記調停部からの信号により、メモリを制御するメモリ制御部と、
前記メモリ制御部に接続されたメモリと、
第１、第２及び第３の圧縮伸張部と、を具備し、
前記第１の画像処理部と、前記調停部の間に第１の圧縮伸張部を配し、
前記第２の画像処理部と、前記調停部の間に第２の圧縮伸張部を配し、
前記エンコーダと、前記調停部の間に第３の圧縮伸張部を配したこと、
を特徴とする画像処理装置。
【請求項６】
画像データを外部バスに書き込むまたは、外部バスに書き込まれた画像データを読み出す画像処理装置において、
第１及び第２の画像処理を行う画像処理部と、
外部バスと、
前記第１及び第２の画像処理部からの前記外部バスへの書込みまたは読み出しを調停する調停部と、
前記調停部からの信号により、前記外部バスを制御する外部バス制御部と、
前記外部バス制御部に接続された前記外部バスと、
第１及び第２の圧縮伸張部と、を具備し、
前記第１及び第２の画像処理部と、前記調停部の間に前記第１及び第２の圧縮伸張部を配したこと、
を特徴とする画像処理装置。
【請求項７】
画像データを外部バスに書き込むまたは、外部バスに書き込まれた画像データを読み出す画像処理装置において、
画像データを圧縮するエンコーダと、
前記エンコーダの前段で画像データを処理する第１の画像処理部と、
前記エンコーダの後段で画像データを処理する第２の画像処理部と、
前記エンコーダと前記第１及び第２の画像処理部からの外部バスへの書込みまたは読み出しを調停する調停部と、
調停部からの信号により、外部バスを制御する外部バス制御部と
前記外部バス制御部に接続された外部バスと、
第１、第２及び第３の圧縮伸張部と、をからなり、
前記第１の画像処理部と、前記調停部の間に第１の圧縮伸張部を配し、
前記第２の画像処理部と、前記調停部の間に第２の圧縮伸張部を配し、
前記エンコーダと、前記調停部の間に第３の圧縮伸張部を配したこと、
を特徴とする画像処理装置。
【請求項８】
請求項５または請求項７に記載の画像処理装置において、
前記第１の圧縮伸張部は、画像データを可逆圧縮伸張方式で圧縮または伸張し、
前記第２及び第３の圧縮伸張部は、画像データを非可逆圧縮伸張方式で圧縮または伸張すること、
を特徴とする画像処理装置。
【請求項９】
請求項１、４、５または請求項６に記載の画像処理装置において、
第１及び第２の圧縮伸張部で一度に処理される単位を、前記メモリへ書き込みまたは読み出しする最小単位としたこと、
を特徴とする画像処理装置。
【請求項１０】
請求項２、５、６または請求項７に記載の画像処理装置において、
第１及び第２の圧縮伸張部で一度に処理される単位内で画像データの順番を並び替え、圧縮処理若しくは伸張処理を施すこと、
を特徴とする画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置において、
画像データの順番を輝度データと、色差データに並び替え、圧縮処理若しくは伸張処理を施すこと
を特徴とする画像処理装置。
【請求項１２】
請求項２及び請求項５に記載の画像処理装置において、
前記第１及び第３の圧縮伸張部を、
前記メモリに対してランダムアクセスする時には非可逆圧縮伸張方式とし、
前記メモリに対してリニアアクセスする時に可逆圧縮伸張方式としたこと、
を特徴とする画像処理装置。
【請求項１３】
請求項６及び請求項７に記載の画像処理装置において、
前記第１及び第３の圧縮伸張部を、
前記外部バスに対してランダムアクセスする時には非可逆圧縮伸張方式とし、
前記外部バスに対してリニアアクセスする時に可逆圧縮伸張方式としたこと、
を特徴とする画像処理装置。
【請求項１４】
請求項２、５、６及び請求項７に記載の画像処理装置において、
前記第１及び第３の圧縮伸張部を、可逆圧縮伸張方式とした場合において、初回の圧縮処理を行った後、一定期間次の画像データが入力されない場合には、メモリに書込みを行い、圧縮による応答時間に規定を有したこと、
を特徴とする画像処理装置。
【請求項１５】
請求項６及び請求項７に記載の画像処理装置において、
前記外部バスがＰＣＩバスであること、
を特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関する。例えば、動画像若しくは静止画像などをダイナミックランダムアクセスメモリ（ＤＲＡＭ）に代表されるような、メモリにアクセスする処理を必要とする画像処理システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開平１０−３０１８４１号公報（特許文献１）がある。該公報には、「［課題］メモリアクセスの際のデータバンド幅の向上が必要とされているが、一方ではメモリＬＳＩの外部インタフェースとメモリバスの高速化は電気設計上の困難に直面している。そこで、高速化技術に頼らない別の方法で実効的なデータバンド幅の向上を実現するメモリＬＳＩ技術を提供する。［解決手段］圧縮・伸長機能付きメモリＬＳＩ１は内部に圧縮伸長部１３を搭載して構成されている。この構成において、圧縮伸長部１３のデータ圧縮器１４を用いてメモリ部１２に対する圧縮リードを行い、データ伸長器１５を用いてメモリ部１２に対する圧縮ライトを行う。［効果］物理的なデータバンド幅が従来と同等の場合でも、実効的にはより大きなデータバンド幅を実現することができる。」（要約）と記載されている。
【０００３】
また、特開２００７−２１４８１３号公報（特許文献２）がある。該公報には、「［課題］画素データの量子化ビット数が８ビットを超え１６ビット未満の画像データを効率的に圧縮符号化する。［解決手段］画素データをＬＳＢ側の８ビットとＬＳＢ側の８ビットを除くＭＳＢ側のビットとに分離する。ＬＳＢ側ビットは、ＤＰＣＭとハフマン符号化により圧縮する。ＭＳＢ側ビットは、隣接する画素によるＭＳＢ側ビットの例えば１バイト分を単位として、ＭＳＢ側ビット単位のランレングス処理を行い、処理できたら、１バイト単位のランレングス処理を行う。ＭＳＢ側ビット単位のランレングス処理は、１バイト内の全てのＭＳＢ側ビットが一致する場合のみ行う。ラン数は画素データの量子化ビット数により固定的なので、出力しない。ＬＳＢ側ビットとＭＳＢ側ビットとで夫々適切な符号化ができ、効率的に圧縮符号化がなされ、ＬＳＢ側ビットおよびＭＳＢ側ビットの処理を並列的に行うことで、処理が高速化される。」（要約）と記載されている。
【０００４】
また、特開２００７−２１４８１４（特許文献３）がある。該公報には、「［課題］画素データの量子化ビット数が８ビットを超え１６ビット未満の画像データが圧縮符号化されたデータを復号化する。［解決手段］量子化ビット数が８ビットを超え１６ビット未満の画素データがＬＳＢ側の８ビットからなる第１の部分と、第１の部分を除いたＭＳＢ側のビットからなる第２の部分とに分離された、第１の部分に対して可逆的な第１の圧縮符号化が行われた第１の圧縮符号化データと、第２の部分に対して第１の圧縮符号化とは異なる可逆的な第２の圧縮符号化が行われた第２の圧縮符号化データとからなる圧縮符号化データに対し、第１及び第２の圧縮符号化データを夫々復号化し、第１の圧縮符号化データが復号化された第１の復号化データと、第２の圧縮符号化データが復号化された、第１の復号化データと画素データが対応する対応する第２の復号化データとを統合して出力する。」（要約）と記載されている。
【０００５】
【特許文献１】特開平１０−３０１８４１号公報
【特許文献２】特開２００７−２１４８１３号公報
【特許文献３】特開２００７−２１４８１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
近年、デジタル画像処理は、放送のＨＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）化、デジタルビデオカメラのセンサの画素数増化に伴い、画像処理に用いる画素数は年々増加している。
【０００７】
これらの画像信号の処理には、例えば映像中のノイズを除去するノイズ除去処理や、ハードディスクドライブ装置（以後ＨＤＤと略す）や光ディスクドライブ装置（以後ＤＶＤと略す）などの記録媒体に一定のビットレートで記録するために圧縮を施す圧縮処理や、画面上に操作画面や番組情報を表示する描画処理などがあり、これらの処理は共通して、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ  以後ＳＤＲＡＭと略す）などのメモリに一旦画像データを書き込むことが必要となる。
【０００８】
ＨＤ化に伴い、このメモリへのアクセスが過多になってきており、消費電力や製品のコストアップに繋がる課題がある。
【０００９】
特許文献１においては、メモリ集積回路並びにこれを用いた主記憶システム及びグラフィクスメモリシステムに関し、特にＤＲＡＭに代表されるような、コンピュータシステムの中で主記憶システムやグラフィクスメモリシステムを構成するために用いられる大容量の半導体メモリＬＳＩ（大規模集積回路）に関し、物理的なデータバンド幅が従来と同等の場合でも、実効的にはより大きなデータバンド幅を実現することができる発明が開示されている。
【００１０】
また、取り扱う画像データのビット幅が８ｂｉｔ以上となった場合にＭＳＢ側の８ｂｉｔとＬＳＢ側の８ｂｉｔに分けて圧縮、伸張を行う発明が開示されている。
【００１１】
前記特許文献１、２及び３は画像データを圧縮しメモリに書込み、メモリから読み出したデータを伸張することで、メモリにアクセスする数を削減し、有効に使用できるバンド幅を増加することは出来る。
【００１２】
しかし、画像データを処理するＬＳＩなどは、メモリにアクセスする処理が１系統とは限らないため、複数のアクセスが介在する。このとき１系統だけ上記の処理を行っても、メモリアクセス数の削減効果は少なく、更なる削減効果を得ることはできない。
【００１３】
また、メモリにアクセスする画像処理は、例えばＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）的にメモリのアドレスに対して、リニアにアクセスする処理や、ランダムにアクセスする処理にも対応する必要がある。
【課題を解決するための手段】
【００１４】
そこで、例えば、上記課題を解決するため、画像データを圧縮伸張する圧縮伸張部を、画像処理を行う複数の制御部を調停する調停部と、制御部との間に、各々配置し、且つ、前記圧縮伸張方式を、可逆圧縮伸張方式と、非可逆圧縮伸張方式の回路を備え、機能により圧縮伸張方式を切り替え可能とした装置を提供する。
【００１５】
詳細には、特許請求の範囲に記載の発明により解決される。
【発明の効果】
【００１６】
本発明により、例えば、情報量が大きい画像データにおいても、メモリへのアクセス数を削減できバンド幅を有効に活用できるため、消費電力を低減した画像処理装置を提供できる。
【００１７】
また、例えば、バンド幅を削減し且つ、ランダムアクセスが可能となるため、画像処理をより多く使用した機能を搭載でき、使い勝手を向上した画像処理装置が提供できる。
【００１８】
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を用いて、実施例を説明する。
【実施例１】
【００２０】
本発明の好適な一実施例として、画像処理装置の構成及び動作の説明をする。
【００２１】
図１を用いて実施例の構成を説明する。
図１中の画像処理部００１，００４，００７，０１０は、例えば、画像データとして、各々８ｂｉｔに量子化された輝度信号と色差信号などのベースバンドの信号をフレーム単位で処理するために例えば、ＳＤＲＡＭへの書込みまたは読出しが必要となる処理部であり、前記のベースバンド信号が入力部００２、００８を介し、圧縮部００３、００９に入力される。
【００２２】
また、出力部００５、０１１を介し、伸張部００６，０１２にて伸張処理を施されたベースバンド信号が画像処理部００４、０１０に供給される。前記圧縮部００３、００９また、前記伸張部００６、００９は調停部０１３により、選択された順番にメモリ制御部０１４を介して、接続部０１５に接続された外部メモリ０１６に、書込みまたは読み出し処理を行う構成となる。前記圧縮部００３と前記伸張部００６では、圧縮と伸張は対に考え、圧縮部００３で圧縮した画像データを伸張部００６で伸張可能とする。
【００２３】
図２は前記圧縮部００３、００９の具体的な例を示し、圧縮伸張前後の画像データを、全く同じとする可逆性のアルゴリズムと、圧縮伸張後の画像データに若干の劣化が生じる、非可逆性のアルゴリズムを切り替える構成を示す。
【００２４】
入力部２０１から画像データが入力され、入力部２０５からの供給された信号により、可逆圧縮部２０２と非可逆圧縮部２０３のどちらか一方をセレクタ２０４で選択し、圧縮した画像データを出力部２０６から出力する構成である。
【００２５】
図３は前記伸張部００６、０１２の具体的な例を示し、前記圧縮部と同じく可逆性のアルゴリズムと、非可逆性のアルゴリズムを切り替える構成を示す。
【００２６】
入力部３０１から圧縮画像データが入力され、入力部３０５からの供給された信号により、可逆伸張部３０２と非可逆伸張部３０３のどちらか一方をセレクタ３０４で選択し、伸張した画像データを出力部３０６から出力する構成である。
【００２７】
図４及び図５は圧縮伸張部の選択信号により、例えば可逆圧縮部２０２が選択されている場合は選択されていない非可逆圧縮部２０３の動作を完全に停止させ、消費電力を削減させた例を示す。図５に示す伸張部においても同様の効果が得られる。
【００２８】
図６は、圧縮部により画像データが圧縮されＳＤＲＡＭに書き込まれるまでの動作フローを示した図である。
【００２９】
ここでは、画像処理部００１から画像データが入力され、圧縮部００３にて圧縮した画像データを伸張部００６にて伸張する経路について説明するが、画像処理部００７と圧縮部００９と伸張部０１２についての経路も同様である。
【００３０】
まず最初に、画像処理部００１、圧縮部００３、調停部０１３を初期化する（Ｓ１０１，Ｓ２０１，Ｓ３０１）。ここでは、各部に対して例えば、ＣＰＵなどにより、リセット処理や動作モードを設定するレジスタの値を設定する。
【００３１】
まず、画像処理部００１が、圧縮部００３に対して、書込み要求を発行する（Ｓ１０２）。圧縮部００３は画像処理部００１からの書込み要求を受け付け、画像処理部００１に対してデータ転送許可を発行する（Ｓ２０２）。画像処理部００１は、データ転送許可が発行されると、例えば６４バイト（以後Ｂと略す）単位で画像データを出力する（Ｓ１０３）。圧縮部００３は、画像処理部００１からの画像データを、初期化時に設定された動作モードに従い、可逆方式の圧縮もしくは非可逆方式の圧縮を行う（Ｓ２０３）。圧縮部００３は、圧縮した画像データを調停部０１３に対して、例えば６４Ｂ単位で転送する構成とする。前記圧縮した画像データと、次に圧縮する画像データとの加算で６４Ｂにパッキング可能であるか否かを判定し（Ｓ２０４）、可能であれば、再度画像処理部００１に対してデータ転送許可を発行する（Ｓ２０５）。画像処理部００１は再度画像データを出力するため、仮想的にＳＤＲＡＭに対しては２回アクセスしたことになる（Ｓ１０４）。
【００３２】
判定結果が不可の状態、つまりＳＤＲＡＭへの書込み分のデータが充填されれば、調停部０１３に対して書き込み要求を発行する（Ｓ２０７）。調停部０１３は、圧縮部００３からの転送要求に対して、受付が可能か否かを判定し（Ｓ３０２）、ＳＤＲＡＭへの書込みが不可能な場合は、ＳＤＲＡＭへの書込みが可能になるまで転送要求を待たせるか、もしくは転送要求をキューイングし、可能な場合は、圧縮部００３に対してデータ転送許可を発行する（Ｓ３０３）。
【００３３】
圧縮部００３は、調停部０１３からのデータ転送許可の発行を受け、圧縮した書込みデータを調停部０１３に対して出力し、調停部０１３、メモリ制御部０１４により、ＳＤＲＡＭに対しては１回のアクセスで書込みが行われる。
【００３４】
上記例は、圧縮部００３の圧縮率を１／２に設定した場合であるが、圧縮率は１／２以外の値に設定しても、ＳＤＲＡＭへの書込み回数を削減できる効果が得られる。
【００３５】
次に圧縮され書き込まれた画像データを外部メモリ０１６から読み出し伸張する処理につき説明する。
【００３６】
図７は、圧縮部により画像データが圧縮されＳＤＲＡＭに書き込まれたデータを、伸張部により伸張し、伸張した画像データを画像処理部に供給するまでの動作フローを示した図である。
【００３７】
圧縮時と同様に、最初に画像処理部００４、伸張部００６、調停部０１３を初期化する（Ｓ４０１，Ｓ４０１，Ｓ４０１）。ここでは、各部に対して例えば、ＣＰＵなどにより、リセット処理や動作モードを設定するレジスタの値を設定する。但し、調停部０１３については、圧縮時に初期化しているのであれば、ここで再度行わなくとも構わない。
【００３８】
まず、画像処理部００４が、伸張部００６に対して、読み出し要求を発行する（Ｓ４０２）。伸張部００６は画像処理部００４からの読み出し要求を受け付け、伸張部００６内に伸張処理中の画像データが存在しているか否かを判定し（Ｓ５０２）、画像データが無い場合は、調停部０１４に対して読み出し要求を発行する（Ｓ５０３）。画像データが存在する場合は、調停部０１４に対して、転送要求は発行しない。調停部０１３は、伸張部００６からの読み出し要求を検出すると、外部メモリ０１６への読み出しが不可能な場合は、外部メモリ０１６への読み出しが可能になるまで読み出し要求を待たせるか、もしくは読み出し要求をキューイングし（Ｓ６０２）、可能な場合は、読み出し処理を実行し（Ｓ６０３）、伸張部００６に対して、データ転送許可を発行し（Ｓ６０４）、メモリ制御部０１４を介して、データ転送を発行する（Ｓ６０５）。伸張部００６は、調停部０１３から受信した圧縮画像データに対して、伸張処理を施す（Ｓ５０４）。伸張部００６は、伸張した画像データが、画像処理部００４に対して、１回当たりにデータ転送する単位分に達しているか否かを判定し（Ｓ５０５）、未だ不足が生じている場合は、再度伸張処理を実行し（Ｓ５０６）、転送可能なサイズ分がある場合は、画像処理部００４に対してデータ転送許可を発行する（Ｓ５０７）。
【００３９】
続けて、伸張された画像データを画像処理部００４に転送する（Ｓ５０８）。画像処理部００４は、画像データを受信し（Ｓ４０３）、画像処理部００４特有の処理を施し（Ｓ４０４）、必要に応じて、再度伸張部に対して、読み出し要求を発行する（Ｓ４０５）。伸張部００６は、処理としては、再度伸張処理中の画像データの有無を確認し（Ｓ５０２）、まだ伸張後のデータがある為、転送サイズ判定（Ｓ５０４）に進み、さらに１回当たりのデータ転送する単位分があることにより、データ転送許可の発行（Ｓ５０７）と、データ転送が行われる（Ｓ５０８）。
【００４０】
外部メモリ０１６からは圧縮画像データを１回のアクセスで済ませ、伸張部００６で元の画像データに伸張し、画像処理部００４に対して、２回のアクセスで転送する構成となる。
【００４１】
上記例は、圧縮率を１／２に設定した場合であり、圧縮率は１／２以外の値に設定しても、外部メモリ０１６への読み出しを回数削減できる効果を得ることができる。
【００４２】
図８は、前記画像処理部００１の画像データの処理を示す概念図である。
【００４３】
圧縮部００３の入力には、１回の書き込み要求に対して、データのサイズを例えば６４Ｂとし転送する。この値は、例えばＳＤＲＡＭの１回のコマンドに対してアクセス可能なバーストサイズにしておくと各種の画像処理部に親和性が取りやすくなる。圧縮部００３は、例えば圧縮率１／２で圧縮し、３２Ｂのデータとする。メモリへの書き込むサイズは、前記バーストサイズの６４Ｂとなる。  従って、バーストサイズになるまでアクセスを行わない為、次の圧縮部への画像データが入力され、圧縮した３２Ｂの画像データがそろったところで、メモリに書込みが行われる。
【００４４】
メモリからの読み出し時は、１バースト読出しを行った時点で、伸張処理を行う。圧縮率が１／２の場合は、６４Ｂの圧縮画像データを３２Ｂの２回に分けて伸張処理を施し、６４Ｂ単位で画像処理部に転送する。この構成により、ＳＤＲＡＭなどのメモリに対してのアクセス数を削減できる。
【００４５】
前記画像処理部００１、００４は具体的には、フレーム間でのノイズ除去回路や、入力画像データの垂直ライン数と水平画素の有効サイズを縮小または拡大するようなスケーリング処理や、操作画面などの描画処理や、記録媒体に所望時間内に記録するために画質のビットレートを変換する処理などが考えられるがこれに限定したものではない。
【００４６】
図９は、圧縮部に入力される画像データの一実施例を示す図である。ベースバンドの画像データの場合は、輝度信号と色差信号の２種類が考えられ、１回のバースト中に輝度信号と色差信号が混在することが考えられる。圧縮を行う場合は、相関性があるデータ間で処理するほど高効率である。１回のバースト内に輝度と色差が例えば入れ子状態になったデータを圧縮すると、輝度信号と色差信号との間で相関性を取る為圧縮効率が悪くなる傾向とである。
【００４７】
前記傾向を回避するように、バースト内で例えば、輝度のみと色差のみに分けて圧縮を行うことにより相関性を高めることができ圧縮効率を上げることができる。並び替えた後の処理は、輝度と色差を並列に処理してもよいし、輝度、色差もしくは色差、輝度の順に処理しても同じ効果が得ることが出来る。また輝度と色差信号以外にも、ＲＧＢ信号においても並び替えによる効果を得ることはできる。
【００４８】
図１０は、別々に分かれていた圧縮部と伸張部を共通化し圧縮伸張部０２１、０２３とした実施例であり、図１の構成と同一の効果が得ることが出来る。
【００４９】
また、画像処理部０２０、０２２が圧縮処理と伸張処理を排他的に処理する制限を付けることにより、別の効果として圧縮伸張部０２１、０２３の回路規模を削減することが可能となる。
【００５０】
前記圧縮伸張部につき、具体的な圧縮伸張方式は、例えば、予測符号化、周波数変換、量子化、ランレングス符号化、エントロピー符号化、算術符号化、ユニバーサル符号化などの組み合わせで構成することができるが、本発明は圧縮伸張方式については特に限定するものではない。
【実施例２】
【００５１】
図１１は、画像処理部につき具体化した一実施例である。
同一の機能を持つ部分に関しては、同一符号を付し説明を省略する。
【００５２】
第１の画像処理部０２０は、例えばノイズ除去回路であり、入力された画像データをメモリ０１６に書込み、フレーム相関を利用してノイズ成分を除去する。
【００５３】
次に第２の画像処理部として、エンコーダ０２４を配し、ノイズ除去した画像データをメモリ０１６に書込み、順次画像データをメモリ０１６から読み出しエンコード処理をして、符号化データを生成する。
【００５４】
第３の画像処理としては、デコーダ０２６を配し、エンコードした符号データを画像データにデコードする。
【００５５】
第４の画像処理としては、デコードした画像データを、例えばサムネイル画面に縮小して貼り付け処理をする。
【００５６】
このような処理を行うシステム内において、エンコード０２４で符号化するまでの間は、圧縮伸張部０２１、０２５により圧縮することにより、データの劣化を起こすことは画質自体の劣化に繋がる為、好ましくない。従って、圧縮方式としては、可逆方式の圧縮を行い、画質劣化はなく、かつ圧縮効果もえることができる構成とする。
【００５７】
また、デコード後の画像処理０２２でのデコード画面の縮小化においては、多少の画質の劣化が生じても影響が少ない。そのため、高効率な圧縮方式にバンド幅のマージンを確保することにより、描画の高速処理を行うことができる。従って、圧縮方式としては非可逆圧縮を用いる構成とする。
【００５８】
このように用途に合せて、可逆方式と非可逆方式とを切り替えて処理することにより、メモリへのアクセス数の削減効果と画質の品質も保ちつつ、高速処理を行うことが可能となる。
【実施例３】
【００５９】
図１２は、ＳＤＲＡＭなどの外部メモリの代わりとして、例えばＰＣＩバスなどの外部バスに対して適用した実施例である。同一の機能を持つ部分に関しては、同一符号を付し説明を省略する。
【００６０】
調停部０１３に接続するメモリ制御部０１４の代わりとして、外部バス制御部０３０を用い、外部バス０３２に接続部０３１を介して接続した構成である。前記構成により、ＳＤＲＡＭなどのメモリ以外のＰＣＩバスなどにおいても、同様にアクセス数を削減することが可能となる。
【００６１】
従って、外部バス０３２に接続された画像処理部０３３とのデータ通信にマージンができることにより、さらに多くの情報量を通信可能となる。
【実施例４】
【００６２】
図１３は、本実施例を用いた第１の製品実用例を示す。
【００６３】
本実施例は、アナログやデジタルのテレビ放送を受信しデコードした画面を表示する、また、受信した番組をＨＤＤや光ディスクドライブ装置ＤＶＤなどの記録媒体に符号化し記録する、また、既に記録してある番組をＨＤＤやＤＶＤなどの記録媒体から読み出し、デコードした画面を表示する場合に有効である。同一の機能を持つ部分に関しては、同一符号を付し説明を省略する。
【００６４】
たとえば放送用衛星などの中継局からの電波が入力されチューナ部４０１で、ＲＦ帯域の電波はＩＦ帯域（Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｒｅｑｕｅｎｃｙ）に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調部４０２に出力する。  復調部４０２は、チューナ部４０１から入力されたビットストリームに伝送のために施された変調操作を復調し、伝送途中で発生した符合の誤りを検出し、さらには訂正した後、デマルチプレクサ部４０３に出力する。
【００６５】
デマルチプレクサ部４０３は、伝送暗号の解除を行った後、プログラムが多重化されている１トランスポンダ周波数を選択し、この選択した１トランスポンダ内のビットストリームを１プログラムのオーディオとビデオのパケットに分離化する。
【００６６】
デコード装置４０５では前記ビデオとオーディオのストリームをデコードし、デコードした画像データを表示部４１０に供給する。  また、記録媒体部４０９にコンテンツを記録するため、エンコード装置４０７において圧縮率を変更したストリームとして、記録媒体インターフェース部４０８を介して記録媒体部４０９に記録される。またデマルチプレクサ４０３からのストリームを直接記録しても構わない。
【００６７】
本構成の各部はユーザインタフェース部４０４から入力された動作命令に基づき、全体制御ＣＰＵ部４０６から制御される。
【００６８】
この構成において、ＳＤＲＡＭなどのメモリ０１６に対して、各部から書込み、読み出し処理が行われる経路に画像処理装置１００を配置する。
【００６９】
これにより、メモリ０１６に対してのアクセス全てに、圧縮効果を得ることができ、そのままの状態で用いれば、アクセス回数を削減でき消費電力を削減できる。
【００７０】
また、圧縮により空いたメモリのアクセス数を他のアプリケーションに割り当てることができる。
【実施例５】
【００７１】
図１４は、本実施例を用いた第２の製品実用例を示す。
【００７２】
本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツなどを入力し、ＨＤＤや光磁気ディスクなどの記録媒体に符号化し，符号化レートを変えて保存する場合に有効である。同一の機能を持つ部分に関しては、同一符号を付し説明を省略する。
【００７３】
例えば、ＣＭＯＳやＣＣＤなどのセンサから構成される撮像部４１３が撮像した画像データをベースバンドの画像データに変換し、ノイズ除去部４１４で、ベースバンドの画像データを例えばフレーム相関を使用して、映像データ内のノイズ成分を除去し、画郭調整部４１５で、ノイズ成分を除去した画像データの有効画素領域を拡大もしくは縮小して、エンコーダ４０７に供給する構成になっている。
【００７４】
この構成においても、画像処理装置１００を各部とメモリ０１６の間に配置することにより、メモリアクセス数を削減することができる。
【００７５】
また、エンコード装置４０７の前段の、撮像部４１３、ノイズ除去部４１４、画郭調整部４１５においては圧縮方式を可逆方式とすることで画質の品質を保ちつつ、圧縮によるメモリへのアクセス数の削減効果を得ることができる。
【００７６】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【産業上の利用可能性】
【００７７】
本発明は、例えば、ベースバンドの画像を制御するシステムに適用することができる。
【図面の簡単な説明】
【００７８】
【図１】実施例１のブロック図
【図２】実施例１の圧縮部の１例を示すブロック図
【図３】実施例１の伸張部の１例を示すブロック図
【図４】実施例１の圧縮部の１例を示すブロック図
【図５】実施例１の伸張部の１例を示すブロック図
【図６】実施例１の圧縮処理のフロー図
【図７】実施例１の伸張処理のフロー図
【図８】実施例１の圧縮伸張処理の概念図
【図９】実施例１の入力画像データを示すブロック図
【図１０】実施例１のブロック図
【図１１】実施例２のブロック図
【図１２】実施例３のブロック図
【図１３】実施例４のブロック図
【図１４】実施例５のブロック図
【符号の説明】
【００７９】
００１、００４、００７、０１０、０２０、０２２、０３３…画像処理部，
００２、００８、２０１、２０５、３０１、３０５、０２７…入力部，
００３、００９、２００、…圧縮部，
００５、０１１、２０６、３０６、０２９…出力部，
００６、０１２、３００…伸張部，
０１３…調停部，
０１４…メモリ制御部，
０１５、０３１…接続部，
０１６…メモリ，
１００…画像処理装置，
２０２…可逆圧縮部，
２０３…非可逆圧縮部，
２０４、３０４…セレクタ，
３０２…可逆伸張部，
３０３…非可逆伸張部，
０２１、０２３、０２５、０２８…圧縮伸張部，
０２４、４０７…エンコーダ，
０２６、４０５…デコーダ，
０３０…外部バス制御部，
０３２…外部バス，
４０１…チューナー部，
４０２…復調部，
４０３…デマルチプレクサ，
４０４…ユーザーインタフェース部，
４０６…全体制御ＣＰＵ部，
４０８…記録媒体インタフェース部，
４０９…記録媒体部，
４１０…表示部，
４１３…撮像部，
４１４…ノイズ除去部，
４１５…画郭調整部
【図１】
2009290389.tif 000003
【図２】
2009290389.tif 000004
【図３】
2009290389.tif 000005
【図４】
2009290389.tif 000006
【図５】
2009290389.tif 000007
【図６】
2009290389.tif 000008
【図７】
2009290389.tif 000009
【図８】
2009290389.tif 000010
【図９】
2009290389.tif 000011
【図１０】
2009290389.tif 000012
【図１１】
2009290389.tif 000013
【図１２】
2009290389.tif 000014
【図１３】
2009290389.tif 000015
【図１４】
2009290389.tif 000016