(57)【要約】【課題】  消費電力を低減させるために、例えばLSI間のデータ通信を行うパスなどのメモリ以外のアクセスに対しても、扱う画素の階調や、動作周波数が増加している為、消費電力を下げる必要がある。【解決手段】  デジタル画像データを連続した伝送クロックにあわせて、第１の画像処理部から第２の画像処理部に伝送する画像処理方法において、該第１の画像処理部で該デジタル画像データを圧縮し、該第２の画像処理部で該圧縮したデジタル画像データを伸張し、該第１の画像処理部でデジタル画像データを圧縮したことにより生じるデジタル画像データを伝送する必要がない期間は、伝送クロックを停止させ、間欠的にデジタル画像データを伝送することを特徴とした画像処理方法。【選択図】  図３
2010130391.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データを連続した伝送クロックにあわせて、第１の画像処理部から第２の画像処理部に伝送する画像処理方法において、
該第１の画像処理部で該デジタル画像データを圧縮し、
該第２の画像処理部で該圧縮したデジタル画像データを伸張し、
該第１の画像処理部で該デジタル画像データを圧縮したことにより生じるデジタル画像データを伝送する必要がない期間は、該伝送クロックを停止させ、間欠的にデジタル画像データを伝送することを特徴とした画像処理方法。
【請求項２】
デジタル画像データを連続した伝送クロックにあわせて
第１の画像処理部から第２の画像処理部に伝送する画像処理方法において、
該第１の画像処理部で該デジタル画像データを圧縮し、
該第２の画像処理部で該圧縮したデジタル画像データを伸張し、
該第１の画像処理部で生成した基準信号を該第２の画像処理部に供給し、
該第１の画像処理部で該デジタル画像データを圧縮したことにより生じるデジタル画像データを伝送する必要がない期間は、該伝送クロックを停止させ、間欠的にデジタル画像データを伝送するとともに、該基準信号は連続的に伝送し、該第１の画像処理部と該第２の画像処理部とで同期がとれた制御をすることを特徴とした画像処理方法。
【請求項３】
デジタル画像データを連続した伝送クロックにあわせて、第１の画像処理部から第２の画像処理部に伝送する画像処理装置において、
該第１の画像処理部は該デジタル画像データを圧縮する手段を有し、
該第２の画像処理部は該圧縮したデジタル画像データを伸張する手段を有し、
該第１の画像処理部で該デジタル画像データを圧縮したことにより生じるデジタル画像データを伝送する必要がない期間は、該伝送クロックを停止させ、間欠的にデジタル画像データを伝送するように制御する制御手段を有することを特徴とした画像処理装置。
【請求項４】
デジタル画像データを連続した伝送クロックにあわせて、第１の画像処理部から第２の画像処理部に伝送する画像処理装置において、
該第１の画像処理部は、該デジタル画像データを圧縮する手段と、基準信号を生成して該第２の画像処理部に供給する手段とを有し、
該第２の画像処理部は該圧縮したデジタル画像データを伸張する手段を有し、
該第１の画像処理部で該デジタル画像データを圧縮したことにより生じるデジタル画像データを伝送する必要がない期間は、該伝送クロックを停止させ、間欠的にデジタル画像データを伝送するとともに、該基準信号は連続的に伝送し、該第１の画像処理部と該第２の画像処理部とで同期がとれた制御をする制御手段を有することを特徴とした画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
第１及び、または第２の画像処理部を集積回路としたことを特徴とする画像処理装置。
【請求項６】
請求項１及び請求項２に記載の画像処理方法において、
デジタル画像データの圧縮及び伸張を可逆圧縮伸張方法と非可逆圧縮伸張方法とを切替可能な構成としたことを特徴とする画像処理方法。
【請求項７】
請求項３及び請求項４に記載の画像処理装置において、
圧縮及び伸張方式を可逆圧縮伸張方式と非可逆圧縮伸張方式とを切替可能な構成としたことを特徴とする画像処理装置。
【請求項８】
画像データを処理する第１の画像処理部と、
該第１の画像処理部で処理された画像データを処理する第２の画像処理部と、
該第１の画像処理部と該第２の画像処理部と間に位置し、該第１の画像処理部から該第２の画像処理部へ伝送される画像データを圧縮する圧縮部と、
該圧縮部と該第２の画像処理部と間に位置し、該第１の画像処理部から該第２の画像処理部へ伝送される画像データであって該圧縮部にて圧縮された画像データを伸張する伸張部と、
伝送クロックを生成する伝送クロック生成部と、
該伝送クロック生成部が生成した伝送クロックにあわせて、該第１の画像処理部から該第２の画像処理部へ、該圧縮部による圧縮および該伸張部による伸張をしながら、画像データを間欠的に伝送するよう制御し、かつ、該間欠的な伝送において画像データを伝送していない期間に、伝送クロックを停止するように制御する制御部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に関する。例えば、ベースバンド画像データの伝送処理に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００６−３０３６９０号公報（特許文献１）がある。該公報には「［課題］画像データを圧縮する際に、高効率でありながら、画質を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率・帯域・記憶に要する容量を保証でき、また、ランダムアクセス性を損うことのない画像信号処理装置およびその方法、並びにカメラシステムを提供する。［解決手段］データ信号処理部１５が画像メモリ１７とのインターフェース部分に帯域保証圧縮伸長部２００を備えており、画像データを上位側ビットと下位側ビットに分割し、分割部分毎に所定の圧縮方式を適用して圧縮処理を行うことにより、メモリバス帯域を保証しながら、画質の劣化を損わず、処理に時間がかかりすぎず、１パスに近い処理が行え、ワーストケースでの圧縮率、帯域、記憶に要する容量を備え、しかもランダムアクセス性を確保している。」と記載されている（要約）。
【０００３】
【特許文献１】特開２００６−３０３６９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、デジタルスチルカメラ，カムコーダ，カメラ付き携帯電話などの携帯型の撮像機器で処理されるデジタル画像信号は、センサの高画素化に伴い画素数が増加の傾向にある。
【０００５】
これらは携帯機器として用いられバッテリーで動作することが多いため、長時間の撮影が可能になるように消費電力を抑える必要がある。しかし、取り扱う画素数の増加は、画像信号を処理する集積回路の動作速度の高速化や、取り扱うバス幅の増加を伴うため、消費電力に対しては増加させてしまう傾向となる。
【０００６】
前記特許文献１により、メモリへのアクセス量を削減することができ、集積回路とメモリ間で生じる消費電力を低減する効果を得ることができる。しかし、サイクル数を低減することはできるが、メモリの駆動クロックは、常に発振したままとなる。消費電力をさらに低減させるために、例えばLSI間のデータ通信を行うパスなどのメモリ以外のアクセスに対しても、扱う画素の階調や、動作周波数が増加している為、適用する場合が考えられる。しかし、このようなLSI間は常に駆動クロックを送信しており、消費電力を下げる効果が少ない。
【０００７】
本発明では、消費電力を低減した画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は、特許請求の範囲に記載の発明により解決される。
【発明の効果】
【０００９】
本発明により、消費電力を低減した画像処理方法及び画像処理装置を提供することができる。例えば、情報量が大きい画像データを伝送することにより発生する消費電力の増加を低減することを可能とした画像処理方法及び、画像処理装置が提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面により説明する。
【実施例１】
【００１１】
本発明の好適な一実施例として、画像処理装置の構成及び動作の説明をする。
【００１２】
図１を用いて実施例の構成を説明する。
図１中の画像処理部100は、図示していない例えば、CMOSやCCDなどのセンサから構成される撮像部で撮像した画像データの処理を行う。具体的には、画像処理部101と圧縮部102と出力端子103から構成され、画像処理部101は、撮像部からの信号をベースバンドの画像データに変換し、ノイズ除去などの画像処理を行う。圧縮部102は、前記画像処理部101から出力された画像データに対して、圧縮処理を施す。出力端子103は、図示はしていないが具体的には、例えば12bitの輝度信号、12bitの色差信号、1bitの伝送クロックで構成される。図１中の画像処理部200は、例えば、画像データを動画像の符号化技術である、MPEG2（ISO/IEC 13813-2, International Standard）や、H.264（ITE/ISO 14496-10/H.264AVC）／AVC（Advanced Video Coding）などの高圧縮処理を施し、光ディスク、磁気ディスク、大容量メモリなどの記録媒体へ記録したり、若しくは記録媒体に記録した圧縮データを読出し、デコード処理した後に画像データを出画するまでの処理を行う。具体的には、入力端子201に、前記画像処理部100の出力端子103が接続され、圧縮された画像データと伝送クロックが供給される。伸張部202では、圧縮された画像データに対して伸張処理を施し、伸張された画像データを画像処理部203で所望な処理を行う。
【００１３】
図２は、圧縮部102のアルゴリズムの一例を示す図である。
例えば、デジタル化された輝度信号または、色差信号の各々に対して、離散コサイン変換(Discrete Cosine Transform)をかけ各周波数成分ごとに予め決められたビット数に収まるまで量子化をかける。予め決められたビット数は例えば、元のビット数に対して、25％以内になるように制御する。圧縮されてできた75％の期間においては、駆動クロックを停止させる。このアルゴリズムと圧縮率については、一実施例であり同様な効果をもつものであれば、特別に限定するものではない。
【００１４】
図３は、本実施例の動作概要を示す図である。
図中(1),(2)が画像処理部100の出力端子103から出力される画像データを示し、(1)は、圧縮部102が無い構成か、もしくは画像データに対して圧縮をかけない場合を示しており、(2)は、圧縮部102で圧縮処理を施した場合を示す。(2)中の白抜きになっている期間は、画像データが圧縮されたことによりできた有効なデータが転送されない期間を示す。(2)は、画像処理部101から出力された元の画像データに対して、T1秒後を要して、1/2に圧縮処理された例を示す。図中(3)は、画像データが圧縮処理された前後の期間を拡大した図である。画像データが圧縮されない場合は、駆動クロックは全期間において連続して発振している。これに対して、画像データを圧縮した場合は、圧縮する単位毎に1/2の空き時間が存在する。圧縮単位は、例えば16画素、64画素、256画素などの画素単位でも、水平期間、フィールド、フレームといった期間としても構わないが回路規模、遅延時間を考慮すると画素単位がより好ましい。上記の画像データが圧縮されたことにより、伝送するデータ量が削減されているため、この期間の駆動クロックは停止することができる。図中(4)は画像処理部200の伸張部202の出力を示す。伸張部202により、圧縮された画像データが伸張され、画像データが画像処理部101から出力されてから、T2秒後に図中(1)の画像データとほぼ同等に復元できる。この構成により、例えば画像処理部100と画像処理部200を集積回路で構成した場合、駆動クロックと画像データピンが、固定されるため内部回路も動作が停止し消費電力を低減できる。
【００１５】
また、上記の画像データが圧縮されたことにより、伝送するデータ量が削減されている期間について、クロックを停止することなく、圧縮した画像データを送る構成とすることで、2倍の画像データを送信することができる。例えば、同じ周波数のクロックで2倍の画像データを送信できる為、画像処理部100及び、画像処理部200の消費電力を削減することができる。
【００１６】
図４は圧縮部102、図５は伸張部202の構成を示す一実施例であり、圧縮伸張方法を、可逆圧縮伸張方式と非可逆圧縮伸張方式を切替可能としている。入力端子401には画像データが入力され、可逆圧縮部403と非可逆圧縮部404の双方に供給される。入力端子402には圧縮方式を選択する信号が供給される。入力端子402によりセレクタ405を選択し、出力端子406から圧縮データを出力する構成となる。同様に、伸張部202は圧縮された画像データが入力端子501に供給され、可逆伸張部503と非可逆伸張部504の双方に供給される。入力端子502には伸張方式を選択する信号が供給される。ここは圧縮方式と同じ方式が選択される。入力端子502により設定された伸張部の出力をセレクタ505により選択し、伸張データを出力端子506から出力する構成となる。
【００１７】
この構成により、例えば多少の画質劣化が許容される処理においては、非可逆圧縮で圧縮をかけ、電力の低減に寄与し、画質劣化が許容されない処理においては、可逆圧縮をかけ、非可逆と比較した場合は電力の低減効果は少なくなるが画質がよい処理を行うことが可能となる。また、使用していない方式の回路の駆動クロックを停止させることが可能となり、両方式を搭載したことによる回路規模の増加に伴う電力の低減も可能となる。
また、可逆圧縮伸張と非可逆圧縮伸張を別の構成としたが、処理が共通な箇所について共用化した構成としても問題ない。
【実施例２】
【００１８】
次に、画像データとは別に基準信号を、第１の画像処理部100から第2の画像処理部200に供給し、2つの異なる画像処理部間で、同期の取れた信号処理を行う一実施例について説明する。
【００１９】
図６は、基準信号生成部104、205を各々の画像処理部に内蔵し、基準信号を画像処理部100の出力端子105から画像処理部200の入力端子204に供給する構成を示した図である。基準信号とは、画像データを表示する為の垂直及び水平同期信号や、1st/2ndフィールドを示すフィールド信号などが考えられる。
【００２０】
図７は、本実施例の動作概要を示す図である。図中(1)の画像データは、圧縮部102が無い構成か、もしくは画像データに対して圧縮をかけない場合を示しており、(2)は、圧縮部102で圧縮処理を施した場合を示す。
【００２１】
画像データは例えば12bitの輝度信号と色差信号であり、基準信号は、フィールド信号を示しており、1stフィールドの場合は「0」を示し、2ndフィールドの場合は「1」を示す。
(2)中の白抜きになっている期間は、画像データが圧縮されたことによりできた有効なデータが転送されない期間を示す。
【００２２】
この基準信号は、画像処理部100内にある基準信号生成器104により生成され、画像処理部101の制御タイミングを決定する用途に用いられるとともに出力端子105から出力される。基準信号は、圧縮された期間においても駆動クロックにより動作している。画像処理部200は、入力端子204から供給される基準信号により、基準信号生成部205をリセットすることにより、入力端子201からの駆動クロックが停止していたとしても、画像処理部100とのタイミングを復元することが可能となる。
【００２３】
その結果、画像処理部203は、伸張部202からの出力される画像データと画像処理部101から出力される画像データとの図中(1)の輝度信号A，色差信号Bと図中(4)の輝度信号Aと色差信号Bとの位相関係がT2時間だけ遅延した関係を維持した処理が可能となる。次の図中(1)C,Dと図中(4)C,Dも同様な処理ができる。基準信号は駆動クロックにて常に動作してはいるが、１ピンのみでかつ、データの変化が動作周波数に対して十分低い為、電力低減の効果も同様に得ることができる。
【実施例３】
【００２４】
次に、画像処理部100と画像処理部200の駆動クロックを共通にし、同期化された構成についての一実施例について図８を用いて説明する。
300は例えば水晶発振器などから構成される駆動クロックを生成するクロック生成器であり、ここで生成されたクロックが画像処理部100と画像処理部200の双方に供給される。
画像処理部100から出力端子103,105経由で、画像処理部200に供給される画像データ、基準信号、駆動クロックはこのクロック生成器300を原発振として、逓倍もしくは分周したクロックで動作しているため、画像処理部100と画像処理部200は、完全に同期した構成となり、画像処理部200は、画像処理部100からの画像データに対して、同期が取れた処理を行うことができる。
【００２５】
従って、画像データを伝送する際にジッタを発生しない構成を実現できる。
【実施例４】
【００２６】
図９は、本実施例を用いた第１の製品実用例を示す。
本実施例は、例えばカメラなどの撮像素子からの画像データや、外部からデジタル画像コンテンツを入力し、ハードディスクドライブ装置(以後HDDと略す)や光ディスクドライブ装置（以後DVDと略す）やフラッシュメモリなどの記録媒体に符号化し、符号化レートを変えて保存する場合に有効である。例えば、撮像処理装置600と記録再生装置700からなる構成とする。CMOSやCCDなどのセンサから構成される撮像部601により、撮像した画像データをベースバンドの画像データに変換し、ノイズ除去部602で、ベースバンドの画像データを例えばフレーム相関を使用して、映像データ内のノイズ成分を除去し、画郭調整部603で、ノイズ成分を除去した画像データの有効画素領域を拡大もしくは縮小して、圧縮部100で圧縮した画像データを記録再生装置700に伝送する。記録再生装置700では、撮像処理装置600から伝送される画像データを入力した初段に伸張部200を配置する。
この構成で、撮像処理装置600と記録再生装置700との画像データの送信量が低減でき、駆動クロックを停止することにより消費電力の低減を行うことができる。
【００２７】
本実施例が2つの装置から構成された例としたが、1つの装置内での画像データの伝送パスに適用しても構わない。
【実施例５】
【００２８】
図１０は、本実施例を用いた第2の製品実用例を示す。
本実施例は、アナログやデジタルのテレビ放送を受信しデコードした画面を表示する、また、受信した番組をHDDやDVDなどの記録媒体に符号化し記録する、また、既に記録してある番組をHDDやDVDなどの記録媒体から読み出し、デコードした画面を表示する場合に有効である。
【００２９】
例えば、放送を受信する受信装置900と、液晶ディスプレイや、プラズマディスプレイなどで表示する画像のフレームレートなどを制御する表示処理装置800から構成される。
同一の機能を持つ部分に関しては、同一符号を付し説明を省略する。
【００３０】
受信装置900は、たとえば放送用衛星などの中継局からの電波が入力されチューナ部901で、ＲＦ帯域の電波はＩＦ帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調部902に出力する。
復調部902は、チューナ部901から入力されたビットストリームに伝送のために施された変調操作を復調し伝送途中で発生した符合の誤りを検出しさらには訂正した後、デマルチプレクサ部903に出力する。デマルチプレクサ部903は、伝送暗号の解除を行った後、プログラムが多重化されている１トランスポンダ周波数を選択し、この選択した１トランスポンダ内のビットストリームを１プログラムのオーディオとビデオのパケットに分離化する。デコード装置905では前記ビデオとオーディオのストリームをデコードし、デコードした画像データを表示部800に供給する。
【００３１】
また、記録媒体部909にコンテンツを記録するため、エンコード装置907において圧縮率を変更したストリームとして、記録媒体インターフェース部908
を介して記録媒体部909に記録される。またデマルチプレクサ903からのストリームを直接記録しても構わない。
【００３２】
本構成の各部はユーザインタフェース部904から入力された動作命令に基づき、全体制御CPU部906から制御される。
デコードした画像データは、圧縮部100を介して、表示装置800に供給される。
表示装置800は、受信装置900から出力される圧縮された画像データを、初段で伸張部200を配置し、伸張した画像データを表示部803に出力する。
【００３３】
この構成により、受信装置900と表示装置800との画像データの送信量を低減できるため、消費電力の低減が実現できる。
【００３４】
本実施例が2つの装置から構成された例としたが、1つの装置内での画像データの伝送パスに適用しても構わない。
【産業上の利用可能性】
【００３５】
例えば、ベースバンドの画像を伝送するシステムに適用できる。
【図面の簡単な説明】
【００３６】
【図１】実施例１のブロック図
【図２】実施例１の圧縮部の1例を示す概念図
【図３】実施例１の伸張部の1例を示すブロック図
【図４】実施例１の圧縮部の1例を示すブロック図
【図５】実施例１の伸張部の1例を示すブロック図
【図６】実施例２のブロック図
【図７】実施例２の圧縮部の1例を示す概念図
【図８】実施例３のブロック図
【図９】実施例４のブロック図
【図１０】実施例５のブロック図
【符号の説明】
【００３７】
101・・画像処理部
102・・圧縮部
202・・伸張部
203・・画像処理部
【図１】
2010130391.tif 000003
【図２】
2010130391.tif 000004
【図３】
2010130391.tif 000005
【図４】
2010130391.tif 000006
【図５】
2010130391.tif 000007
【図６】
2010130391.tif 000008
【図７】
2010130391.tif 000009
【図８】
2010130391.tif 000010
【図９】
2010130391.tif 000011
【図１０】
2010130391.tif 000012