(57)【要約】【課題】改良画像データ処理方法および装置。【解決手段】画像データのストリームから1つのヘッダを生成する方法および装置が提供される。画像データ・ストリームから画像データの第1フレームがグラフィックズ・コントローラに受信され、グラフィックス・コントローラがヘッダを生成する。ヘッダは次にグラフィックス・コントローラのメモリのバッファに格納される。その後、画像データの第1フレームの符号化された画像データおよび後続画像データ・フレームがバッファ内でヘッダからオフセットして格納される。その後、プロセッサが符号化された画像データを復号化する際、プロセッサが画像データの第1フレームおよび符号化された画像データを有するバッファの内容を取り出す。【選択図】図１
2006203889.tif 000002
【特許請求の範囲】
【請求項１】
画像データを処理する方法で
画像データの第1フレームのヘッダ情報を生成するステップで、ヘッダ情報は第1記憶位置における第1バッファのおよび対応する第2記憶位置における第2バッファに格納されるステップと、
画像データのフレームを符号化し、圧縮画像データとして第3記憶位置における第1バッファに格納するステップと、
復号化のために第1バッファから格納されたヘッダ情報および圧縮画像データを送信するステップで、後続の圧縮画像データはヘッダ情報を生成せずに第3記憶位置の第1バッファまたは対応する第4記憶位置の第2バッファのいずれかに格納され、送信は格納されたヘッダ情報および後続の圧縮画像データを含むこと、
を含む方法。
【請求項２】
さらに第1記憶位置の開始アドレスから第3記憶位置をオフセットし、対応する第2記憶位置の開始アドレスから対応する第4記憶位置をオフセットすることを含む請求項１に記載される方法。
【請求項３】
画像データの第1フレームのヘッダ情報を生成することが、さらに画像データの第2フレームのヘッダ情報生成を排除することができる請求項１に記載される方法。
【請求項４】
ヘッダ情報の生成を排除することが、さらにヘッダ情報の生成をディスエーブルすることを含む請求項３に記載される方法。
【請求項５】
ヘッダ情報の生成をディスエーブルすることが、さらにコーデックへの信号をディスエーブルすることを含む。請求項４に記載される方法。
【請求項６】
画像データを符号化する方法で
画像データの第1フレームを受信するステップと、
画像データの第1フレームのヘッダ情報を生成するステップと、
符号化された画像データとして画像データの第1フレームおよびヘッダ情報の双方を第1バッファに格納するステップと、
ヘッダ情報の生成をディスエーブルし、それにより画像データの後続フレームをヘッダ情報の生成なしに格納するステップと、
を含む方法。
【請求項７】
さらに画像データの第1フレームに対するヘッダ情報および符号化された画像データの双方を第1バッファから送信することを含む、請求項６に記載される方法。
【請求項８】
さらに画像データの後続フレームの符号化された画像をヘッダ情報なしで第2バッファから送信することを含む請求項６に記載される方法。
【請求項９】
画像データの格納が、さらに画像データの第1フレームを圧縮して符号化された画像データを作成することを含む請求項６に記載される方法。
【請求項１０】
送信が、さらにヘッダ情報なしの符号化された画像データを第1バッファおよび第2バッファの間で格納を交互させることを含む請求項８に記載される方法。
【請求項１１】
画像データを処理するためのグラフィックス・コントローラで
画像データの第1フレームを受信し、圧縮するように構成された画像データ・エンコーダ、
画像データに結合し、第1バッファと第2バッファを有するメモリで、生成された画像データの第1フレームのヘッダ情報が第1バッファおよび第2バッファの第1部分に格納されるメモリ、および
第1バッファおよび第2バッファのオフセット部分で、第1バッファのオフセット部分は第1バッファの第1部分に隣接し、第2バッファのオフセット部分は第2バッファの第1部分に隣接しており、画像データのフレームの生成ヘッダ情報なしの画像データの圧縮フレームを含むオフセット部分、
を含むグラフィックス・コントローラ。
【請求項１２】
第1バッファのオフセット部分が第1バッファの第1部分に連結している、請求項１１に記載されるグラフィックス・コントローラ。
【請求項１３】
第2バッファのオフセット部分が第2バッファの第1部分に連結している、請求項１１に記載されるグラフィックス・コントローラ。
【請求項１４】
さらに生成されたヘッダ情報を第1バッファおよび第2バッファに複写することができるロジックを含む、請求項１１に記載されるグラフィックス・コントローラ。
【請求項１５】
生成されたヘッダ情報を第1バッファおよび第2バッファに複写することができるロジックが、さらに第1バッファおよび第2バッファの開始アドレスを特定することができるロジックを含む請求項１４に記載されるグラフィックス・コントローラ。
【請求項１６】
第1バッファおよび第2バッファの開始アドレスを特定することができるロジックが、さらに開始アドレスからオフセット・アドレスを判断することができるロジックを含む請求項１５に記載されるグラフィックス・コントローラ。
【請求項１７】
オフセット・アドレスがオフセット部分の開始アドレスを特定する、請求項１６に記載されるグラフィックス・コントローラ。
【請求項１８】
画像データ・エンコーダが、さらに画像データを復号化することができる画像データ・デコーダを含む請求項１１に記載されるグラフィックス・コントローラ。
【請求項１９】
生成されたヘッダ情報および画像データの圧縮された第1フレームを送信することができる送信ロジックをさらに含む、請求項１１に記載されるグライックス・コントローラ。
【請求項２０】
生成されたヘッダ情報および画像データの圧縮された第1フレームを送信することができる送信ロジックが、さらにアクセスするために第1バッファまたは第2バッファのいずれかを特定することができるアクセス・ロジックを含む請求項１９に記載されるグラフィックス・コントローラ。
【請求項２１】
画像データの第1フレームの生成されたヘッダ情報および画像データの圧縮された第2フレームを送信することができる送信ロジックをさらに含む、請求項１１に記載されるグラフィックス・コントローラ。
【請求項２２】
画像データの第1フレームの生成されたヘッダ情報および画像データの圧縮された第2フレームを送信することができる送信ロジックが、さらにアクセスするために第1バッファまたは第2バッファのいずれかを特定することができるアクセス・ロジックを含む、請求項２１に記載されるグラフィックス・コントローラ。
【請求項２３】
コンピュータ読み取り可能な媒体に具現化された、画像データを処理するためのコンピュータ・プログラムで
画像データの第1フレームのヘッダ情報を生成するための命令で、ヘッダ情報は第1記憶位置における第1バッファおよび対応する第2記憶位置における第2バッファに格納されるもの、
圧縮画像データとして第3記憶位置における第1バッファに格納するために画像データのフレームを符号化するための命令、および
格納されたヘッダ情報および圧縮画像データを復号化用に第1バッファから送信するための命令で、ここで後続の圧縮画像データはヘッダ情報を生成することなしに第3記憶位置における第1バッファまたは対応する第4記憶位置における第2バッファに格納され、送信は格納されたヘッダ情報および後続する圧縮データを含むもの、
を含むコンピュータ・プログラム。
【請求項２４】
さらに第1記憶位置の開始アドレスから第3記憶位置をオフセットし、対応する第2記憶位置の開始アドレスから対応する第4記憶位置をオフセットするための命令を含む、請求項２３に記載されるコンピュータ・プログラム。
【請求項２５】
画像データの第1フレームのヘッダ情報を生成するための命令が、さらに画像データの第2フレームのヘッダ情報生成を排除することができる命令を含む請求項２３に記載されるコンピュータ・プログラム。
【請求項２６】
ヘッダ情報生成を排除することができる命令が、さらにヘッダ情報の生成をディスエーブルする命令を含む請求項２５に記載されるコンピュータ・プログラム。
【請求項２７】
ヘッダ情報の生成をディスエーブルする命令が、さらにコーデックへの信号をディスエーブルする命令を含む請求項２６に記載されるコンピュータ・プログラム。
【請求項２８】
電子装置がより効率的に画像データを処理するための方法で
画像データを圧縮するために適用する圧縮パラメータを設定するステップと、
圧縮パラメータを装置の画像取り込みセンサおよびグラフィックス・エンジンを同時に送信するステップと、
圧縮パラメータを定義するヘッダを含むことなく画像取り込みセンサから圧縮画像データのデータ単位をグラフィックス・エンジンに転送し、グラフィックス・エンジンの圧縮パラメータを通してデータ単位を復号化するステップと、
を含む方法。
【請求項２９】
圧縮パラメータを装置の画像取り込みセンサおよびグラフィックス・エンジンに同時に送信するステップが、装置を初期化した後量子化テーブルに結び付く値およびハフマン・テーブルに結び付く値を画像取り込みセンサおよびグラフィックス・エンジンに送信することを含む請求項２８に記載される方法。
【請求項３０】
画像取り込みセンサが相補型金属酸化膜半導体（ＣＭＯＳ）センサで、圧縮パラメータはJoint Photographic Experts Group（ＪＰＥＧ）圧縮規格に関連し、第1データ単位はヘッダなしのＪＰＥＧデータのパケットである請求項２８に記載される方法。
【請求項３１】
装置を通して効率的に取り込み画像データを処理する方法で
取り込み画像データを圧縮するステップと、
画像取り込みセンサに結び付いたロジックにより、圧縮された取り込み画像データの第1データ単位にヘッダ情報を付加するステップと、
圧縮された取り込み画像データの第1データ単位をグラフィックス・コントローラに送信するステップと、
圧縮された取り込み画像データの後続データ単位をヘッダ情報なしにグラフィックス・コントローラに送信するステップと、
ヘッダ情報から圧縮パラメータを抜き出すステップと、
圧縮パラメータをグラフィックス・コントローラに結び付いたメモリに格納するステップと
圧縮パラメータを用いて第1データ単位および後続データ単位を複合化するステップと
を含む方法。
【請求項３２】
画像取り込みセンサに結び付いたロジックにより、圧縮された取り込み画像データの第1データ単位にヘッダ情報を付加するステップが、圧縮パラメータとして量子化値およびハフマン値を定義することを含む請求項３１に記載される方法。
【請求項３３】
取り込み画像データを圧縮するステップが、取り込み画像データをJoint Photographic Experts Group（ＪＰＥＧ）フォーマットに変換することを含む請求項３１に記載される方法。
【請求項３４】
画像取り込み装置で
取り込み画像データを圧縮できる画像取り込みセンサ、および
装置の初期化後、画像取り込みセンサに圧縮パラメータをプログラムするように構成されたグラフィックス・コントローラで、さらにグラフィックス・コントローラの復号化モジュールに圧縮パラメータをロードし、それにより画像取り込みセンサが圧縮された取り込み画像データをヘッダ情報なしで送信することを可能にするように構成されたグラフィックス・コントローラ、
を含む装置。
【請求項３５】
復号化モジュールがJoint Photographic Experts Group（ＪＰＥＧ）デコーダである請求項３４に記載される装置。
【請求項３６】
画像取り込みセンサが相補型金属酸化膜半導体（ＣＭＯＳ）センサで、装置がカメラ機能付きの携帯電話である請求項３４に記載される装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関わり、より具体的には画像データのストリームに対し生成されるヘッダ情報量を削減することにより画像データ処理の改良を図るものである。
【背景技術】
【０００２】
画像データの処理には画像データを受信し、その画像データに関わるヘッダ情報を生成することが含まれる。例えばヘッダ情報は画像データの圧縮に関する情報を含むことができる。
【０００３】
【特許文献１】米国特許出願公開第2003/0163209号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
カメラが画像をフレームとして捕らえる場合、画像データ処理エンジンは画像データの１フレームを符号化し、画像データ獲得後ヘッダ情報を生成するかもしれない。しかし画像データ処理エンジンが画像データのフレームを迅速に符号化できない場合、画像データ処理エンジンと通信するプロセッサに対し川下の遅延を起こす可能性がある。例えばプロセッサは画像処理エンジンが画像データを符号化するのと同じ速さでしか復号化できない。  デスクトップ・コンピュータでは通常1つ以上の画像処理エンジンを有し、大量の画像データをバッファできる大容量のメモリを有するのでこのような遅延は無視し得るかもしれない。しかしデバイスによって遅延は無視できないものである。具体的には小容量メモリおよび限られた電池容量などの制約により、携帯手持ち型デバイスなどの装置の操作中最小の遅延が要求されるかもしれない。さらにこれらの制約がない装置でも現行符号化率のために川下で処理遅延がある可能性がある。
【０００５】
従って画像データの符号化および復号化の処理時間を向上させるために限られた演算リソースを有する装置において画像データ処理を改良する方法および装置が必要となる。
【０００６】
おおまかに言って本発明は画像データ・ストリームの符号化率を改良するための改良画像データ処理用の方法および装置である。本発明はプロセス、装置、またはデバイスなど多数の方法で実施することができることは理解されよう。以下に本発明の創見に富む実施形態をいくつか説明する。
【課題を解決するための手段】
【０００７】
画像データ処理方法の一実施形態は画像データの第1フレームのヘッダ情報を生成することを含む。ヘッダ情報は第1記憶位置における第1バッファに、および第2記憶位置における第2バッファに格納される。方法はさらに圧縮画像データとして第3記憶位置における第1バッファに格納するために画像データのフレームを符号化することを含む。さらに方法は続く圧縮画像データがヘッダ情報を生成せずして第3記憶位置における第1バッファまたは対応する第4記憶位置における第2バッファに格納されるように、格納されたヘッダ情報および圧縮画像データを復号化すべく第1バッファから送信することを含む。送信は格納されたヘッダ情報および続く圧縮画像データを含む。
画像データを符号化する方法の一実施形態で、方法は画像データの第1フレームを受信し、画像データの第1フレームのヘッダ情報を生成することを含む。方法はさらに符号化画像データとしての画像データの第1フレームおよびヘッダ情報を第1バッファに格納することを含む。さらに方法はヘッダ情報の生成をディスエーブルすることにより続く画像データの各フレーム をヘッダ情報の生成なしに格納することを含む。
【０００８】
画像データ処理用のグラフィックス・コントローラの一実施形態において、グラフィックス・コントローラは画像データの第1フレームを受信し圧縮する画像データ・エンコーダを含む。グラフィックス・コントローラは画像データ・ エンコーダに結合したメモリを含む。メモリは第1バッファおよび第2バッファを有し、画像データの第1フレームの生成ヘッダ情報は第1バッファおよび第2バッファの第1部分に格納される。さらにグラフィックス・コントローラは第1バッファおよび第2バッファのオフセット部分を含む。第1バッファのオフセット部分は第1バッファの第1部分に隣接しており、第2バッファのオフセット部分は第2バッファの第1部分に隣接している。オフセット部分は後続画像データ・フレームの生成ヘッダ情報なしの圧縮された後続画像データ・フレームを含む。
【０００９】
画像データ処理用のコンピュータ読み取り可能な媒体に具現化されるコンピュータ・プログラムの一実施形態で、コンピュータ・プログラムは画像データの第1フレームのヘッダ情報を生成するための命令を含む。ヘッダ情報は第1記憶位置における第1バッファおよび対応する第2記憶位置における第2バッファに格納される。さらにコンピュータ・プログラムは画像データのフレームを第3記憶位置における第1バッファに圧縮画像データとして格納するために画像データのフレームを符号化するための命令を含む。加えてコンピュータ・プログラムは格納されたヘッダ情報および圧縮画像データを復号化するために 第1バッファから送信するための命令を含む。後続圧縮画像データはヘッダ情報を生成せずして第3記憶位置における第1バッファまたは対応する第4記憶位置における第2バッファに格納される。送信には格納されたヘッダ情報および後続圧縮画像データが含まれる。
【００１０】
電子装置がより効率的に画像データを処理できるようにする方法の一実施形態で、方法は画像データを圧縮するために適用される圧縮パラメータの設定から開始される。方法は圧縮パラメータを装置の画像取り込みセンサおよびグラフィックス・エンジンに同時に送信し、圧縮パラメータを定義するヘッダを含まずして圧縮画像データのデータ単位を画像取り込みセンサからグラフィックス・エンジンに転送することを含む。方法はさらにグラフィックス・エンジンに圧縮パラメータによるデータ単位の復号化を含む。
【００１１】
取り込まれた画像データを装置により効率的に処理する方法において、方法は取り込まれた画像データを圧縮することで開始される。画像取り込みセンサに対応するロジックにより圧縮された取り込み画像データの第1データ単位にヘッダが付け加えられる。圧縮された取り込み画像データの第1データ単位はグラフィックス・コントローラに送信され、圧縮された取り込み画像データの後続データ単位はヘッダ情報なしでグラフィックス・コントローラに送信される。第1データ単位のヘッダ情報から圧縮パラメータが抽出され、グラフィックス・コントローラに対応するメモリに格納される。第1データ単位および後続のデータ単位は圧縮パラメータを用いて復号化される。
【００１２】
画像取り込み装置において、装置は取り込み画像データを圧縮できる画像取り込みセンサを含む。装置を初期化した際に圧縮パラメータを用いて画像取り込みセンサをプログラムするように構成されたグラフィックス・コントローラが含まれる。グラフィックス・コントローラはさらに圧縮パラメータをグラフィックス・コントローラのデコード・モジュールにロードするように構成され、これにより画像取り込みセンサは圧縮された取り込み画像データをヘッダ情報なしに送信することができる。
【００１３】
本発明の他の実施形態は発明の原理を例示する添付図面と併せて以下の詳細な説明により明らかにされる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
【００１５】
［実施形態１］
以下の実施形態は改良画像データ処理の方法および装置を説明する。例えば、比較的小容量メモリを有する電池式装置のようにリソースが限定されるモバイル機器は以下に説明する実施形態により画像データの符号化率を減らすことにより電力消費および処理の遅延を削減することができる。本明細書に説明される実施形態は1つのヘッダを生成し、それ以降はさらにヘッダ情報を生成することなく画像データの複数のフレームを処理する。このように生成されるヘッダ情報を減らすことにより、代表的実施形態は画像データ処理用の符号化率を改良することができる。本明細書で説明される実施形態はモバイル機器に関連して説明されるが、 他の実施形態は改良された画像データ処理用の任意の装置を含むことができる。しかし本発明はこれら具体的な細部の一部またはすべてなしでも実施できることが当業者には明らかであろう。その他、本発明を不必要に不明瞭にしないために周知のプロセス操作は詳しく説明されていない。
【００１６】
図１は本発明の一実施形態による、1つのヘッダを生成し画像データを符号化するタイミング図である。改良画像データ処理の典型的実施形態はカメラの垂直的同期（VSYNC）100における連続的なカメラの画像データ250のストリームを処理することを含む。時間-A 120でヘッダ-1 210 が符号化開始155で生成される。ヘッダ-1 210 は符号化される画像データに関する情報を含む。例えば情報は画像データのフレームのサイズを含むことができる。時間-B 125において、画像データの第1フレームが処理され、ヘッダ-1 210に対応する符号化画像データ-2 230が生成される。次に時間-C 130において、画像データの第2フレームが処理され、ヘッダ-1 210に対応する符号化画像データ-2 230が生成される。時間-D 135において、画像データの第3フレームが処理され、ヘッダ-1 210に対応する符号化画像データ-3 240が生成される。  その後、１つのVSYNC 100クロック・サイクル中、画像データの各フレームはヘッダ-1 210に対応して符号化される。  他の実施形態では、画像データ・ストリームの初めにヘッダ情報が1つのみ生成される限り、改良された画像データ処理を提供する他の方法も可能である。このように11により近い符号化率が実現される。
【００１７】
圧縮画像データは符号化後多くの適当なフォーマットを有し得ることが理解されよう。代表的なフォーマットはJoint Photographic Experts Group（ＪＰＥＧ）、画像交換フォーマット（ＧＩＦ）、ポータブル・ネットワーク・グラフィックス（ＰＮＧ）、 タグイメージ・ファイル形式（ＴＩＦＦ），およびビットマップ・グラフィックス（ＢＭＰ）等々、を含む。 代表的実施形態により、図２は任意の適当なフォーマットを有する画像データを処理する装置300を示す。装置300は携帯電話、デジタル・カメラ、携帯端末（ＰＤＡ）などのモバイル機器，またはその他画像処理能力を有するモバイル機器であって良い。よって、装置300はさらにコピー機、ファクス機、汎用コンピュータ、または特定の目的で使用されるコンピュータ、等々、でも良い。
【００１８】
装置300はコントローラ310、プロセッサ370、および画像取り込み装置380を含む。他の代表的実施形態で、画像取り込み装置380は装置300に外付きであっても良い。代表的画像取り込み装置は電荷結合素子および相補型金属酸化膜半導体センサを含む。コントローラ310、プロセッサ370、および画像取り込み装置380は互いに結合され、画像取り込み装置380からコントローラ310に画像データを伝搬する。しかし図２に示される接続は例示的で、画像データが装置300を通って伝搬する限り他の接続でも良い。
【００１９】
さらに別の実施形態で、装置300は画像取り込み装置380から画像データを受信しないかもしれない。例えば、当業者であれば装置が約11の符号化率を達成できさえすればどの発信元からでも画像データを受信できることが分かるであろう。
【００２０】
画像データはコントローラ310のメモリ330で処理され、そこに格納される。その後プロセッサ370はメモリ330から符号化された画像データを取り出してコントローラ310に格納された画像データを復号化する。格納画像データを復号化するために、プロセッサ370はカメラの連続的画像データの処理中に生成されたヘッダ-1 210 （図１）などのヘッダ情報を使用する。コントローラ310の中にはプロセッサ・インタフェース320、メモリ330、コーデック340、リサイザ350、および画像取り込み装置インタフェース360がある。プロセッサ・インタフェース320はプロセッサ370と符号化画像データを格納するメモリ330とのインタフェースをする。従って、プロセッサ370がメモリ330に格納された符号化画像データを取り出す際、プロセッサ・インタフェース320はメモリ330へのアクセスを仲介する。
【００２１】
メモリ330はコーデック340が生成した符号化画像データを受信する。一実施形態で、コーデック340は画像データのフレームのヘッダ情報を生成し、画像データのフレームを符号化することのできるコーダ／デコーダである。別の実施形態で、コーデック340は画像データのフレームを圧縮し復元するように構成された圧縮／復元エンジンでも良い。さらに別の実施形態で、エンコーダ／デコーダは画像データの圧縮フレームを作成する機能を含む。かくして代表的な一実施形態で、コーデック340は画像データのフレームをＪＰＥＧとして符号化する。しかしコーデック340はメモリ330に格納するために符号化画像データの任意のグラフィックス形式を作成することができる。他の代表的実施形態で、コーデック340はヘッダ情報を生成し画像データのフレームを符号化する限り復号化機能のないエンコーダでも良い。
【００２２】
コーデック340に結合したリサイザ350は画像データのトリミングや拡大縮小を行なう。従ってリサイザ350は画像データのフレームをコーデック340に提供する。画像データのフレームはピクセルのアレーで、ピクセルは任意のカラー・スキームを表すことができる。代表的なカラー・スキームはRGB888で、これはピクセルの各カラー値を8ビットで表している。他の実施形態では、ピクセルが画像データのフレームとしてまとめられる限り他のカラー・スキームも可能である。画像取り込み装置インタフェース360はリサイザ350に結合され、画像取り込み装置380からの画像データストリームを管理する機能を有する。上述のように、画像取り込み装置インタフェース360は任意の適当な発信元から画像データ・ストリームを受信することができる。
【００２３】
画像データのストリームはメモリ330に格納できる画像データのフレームを含む。メモリはバッファを含み、バッファはメモリ・アドレスで整理される特定可能な記憶位置を有する。メモリ・アドレスは画像データのフレームを格納できる記憶位置の開始および終了アドレスを特定する。このように代表的な実施形態で、コーデック340が時間-A 120の間に画像データの第1フレームに対するヘッダ-1 210（図１）を生成すると、ヘッダ-1 210はメモリ330の特定可能なメモリ・アドレスに格納される。ヘッダ-1 210の生成後、コーデック340は画像データの後続フレームに対しさらにヘッダ情報を生成しない。
【００２４】
代表的な実施形態でコーデック340は、コーデック340に対する信号（図示せず）がディスエーブルされたためそれ以上のヘッダ情報を生成しなくなる。例えば、信号はコーデック340がヘッダ情報を生成すべきか否かを示すことができる。イネーブルされると信号はコーデック340がヘッダ情報を生成すべきことを示すことができる。ディスエーブルされると信号がないことはコーデック340がヘッダ情報を生成すべきでないことを示す。当業者であれば別の実施形態ではヘッダ情報を生成すべきでないことを示すイネーブル信号を含むことができることが理解できよう。従って、ディスエーブル信号はヘッダ情報を生成すべきことを示す。このようにコーデック340にヘッダ情報の生成を停止させる任意の適当な方法が可能である。
【００２５】
図３は本発明の一実施形態による、2つのバッファを有するメモリ330を示す図である。メモリ330はバッファ-1 410およびバッファ-2 440を含む。他の実施形態で、メモリ330は適当な数のバッファを含み得ることが理解されよう。図１のヘッダ-1 210 は図３の第1記憶位置420においてバッファ-1 410に格納することができる。次に図１の符号化画像データ-1 220が図３の第2記憶位置430においてバッファ-1 410        に格納される。第1記憶位置420および第2記憶位置430はメモリ・アドレスによって特定されることが理解されよう。以降、コーデック340のヘッダ情報を生成する機能がディスエーブルされているのでコーデック340は符号化画像データに対するヘッダ情報を生成することなく後続する画像データのフレームを符号化する。このように、画像データの第2フレームについては、符号化画像データ-2 230 が記憶位置450におけるバッファ-2 440 に格納される。
【００２６】
ヘッダおよび符号化画像データがバッファ-1 410に格納されるや否や図２のプロセッサ370 はバッファ-1 410の内容を復号化のために取り出すことができる。このように、図２のコントローラ310は画像データ生成されたヘッダ情報および画像データの第1フレームを圧縮したものである符号化画像データを送信することができるロジックを含む。プロセッサによって格納された図１のヘッダ-1 210 のような生成されたヘッダ情報は、後続の復号化画像データに対する対応ヘッダ情報を削除するために、プロセッサによって再使用される。例えば、コーデックによって符号化された画像データの第3フレームおよび画像データの後続フレームは対応するヘッダ情報を有しない。このように、図４は本発明の一実施形態による、ヘッダ情報なしの画像データを格納する2つのバッファを有するメモリ330を示す図である。具体的には、符号化された画像データ-1の送信後、バッファ-1 410は符号化された画像データ-3を複合の記憶位置に格納することができる。複合記憶位置は図３の第1記憶位置420および第2記憶位置 430を含む。同様に、図２のプロセッサ370が符号化画像データ-2をバッファ-2 440 から取り出すと、記憶位置450は画像データ-4を記憶位置450に格納するのに利用できる。
【００２７】
符号化されたデータ・ストリームに対し1つだけヘッダが生成される別の代表的実施形態で、ヘッダ情報および符号化された画像データ双方がバッファに格納される。図５Ａは本発明の一実施形態による、2つのバッファを有するメモリを示す図である。バッファ-1 510およびバッファ-2 540に加え、メモリ330はフラグ・レジスタ520を含む。コーデック340はフラグ・レジスタ520と通信する。フラグ・レジスタ520は両バッファと通信する。両バッファも直接接続されていることができる。図５Ａに示される接続は単に例示的で、バッファおよびコーデック340との間に通信パスが存在する限り任意の構成が可能であることが理解されよう。
【００２８】
さらに図５Ａに関し、フラグ・レジスタ520は符号化画像データがバッファに格納されていることを示し得るアクセス・ロジックを含む。このように、図２のプロセッサ370がバッファの内容を取り出す際、フラグ・レジスタ520は符号化画像データを含むバッファを特定することができる。画像データの第1フレームがコーデック340に到着すると、コーデックはヘッダ#1を生成する。ヘッダ#1は記憶位置515において開始アドレス500に始まる第1バッファ-1 510に格納される。同様にヘッダ#1はさらに対応する第2記憶位置525において開始アドレス500に始まるバッファ-2 540に格納される。
【００２９】
コーデック340は次に符号化画像データ-1を生成し、これは図５Ａで第3記憶位置におけるバッファ-1 510に格納される。第3記憶位置の開始アドレスはヘッダ情報サイズと同等の、開始アドレス500からのオフセットである。符号化画像データ-1の格納後、フラグ・レジスタ520はバッファ-1の内容を取り出せることを示す。
【００３０】
データの取り出しを許すため、コーデック340の送信ロジックはヘッダ情報および符号化画像データを図２のプロセッサ370に送信する機能がある。ヘッダ#1が第1記憶位置515に格納されているため、プロセッサがバッファ-1 510の内容を取り出す際プロセッサはヘッダ情報を格納することなく符号化画像データを復号化することができる。同様に、プロセッサがバッファ-2 540の内容を取り出す際、ヘッダ#1が第2記憶位置525に格納されているため、プロセッサは再度ヘッダ情報を格納することなく符号化画像データを復号化することができる。
【００３１】
後続する画像データのフレームに対し、コーデック340はヘッダ情報を生成することを避ける。このように、画像データの第2フレームがコーデック340に到着すると、符号化画像データ-2は利用可能なバッファに格納される。符号化画像データの後続フレームを格納する例は図５Ｂに例示され、同図は本発明の一実施形態による、オフセットが有る2つのバッファを有するメモリを示す図である。具体的には、符号化画像データ-2が第4記憶位置550におけるバッファ-2 540に格納される。フラグ・レジスタ520は次にバッファ-2 540の内容の取り出しが可能であることを示す。取り出し中、画像データの第3フレームが符号化され、利用可能になった第3記憶位置530のオフセット・アドレス580に格納される。このように、符号化画像データは第3記憶位置530または第4記憶位置550において、オフセット・アドレス580で特定される対応記憶位置に格納される。後続するデータはバッファ内に現在格納されているデータを取り出した後、同様の方法で格納することができる。
【００３２】
図６は本発明の一実施形態による画像データ処理方法のフローチャート図である。以下の操作は特定の順序で説明され、例示されるが、操作はこの特定順序に限定されるべきではない。例えば操作は個々に、または並列式コンピュータ・システムにおいて実行される操作のように平行して実行することができる。さらに操作を実行するためにコンピュータ読み取り可能な媒体に体化されたコンピュータ・プログラムの命令も可能である。
【００３３】
具体的に、図６の方法は操作610でグラフィックス・コントローラが画像データのフレームを受信すると開始される。グラフィックス・コントローラは生成されたヘッダ情報を格納し、符号化された画像データをヘッダ情報に連結させる機能を有するロジックを含む。組み合わされたヘッダ情報と符号化画像データはグラフィックス・コントローラのメモリのバッファに格納される。ここで、操作620においてグラフィックス・コントローラのロジックはヘッダ生成がディスエーブルされていない限り、ヘッダ情報を含み画像データを符号化する。次に操作630においてグラフィックス・コントローラは符号化された画像データをメモリのバッファに格納する。さらに符号化するフレームがない場合、操作640において方法は終了する。
【００３４】
さらに画像データの追加フレームがある場合、操作650においてグラフィックス・コントローラは画像データの別のフレームを受信する。ヘッダ生成がディスエーブルされている場合、次に操作660において方法は操作620に戻る。しかしヘッダ生成がディスエーブルされていない場合、操作670においてヘッダ生成がグラフィックス・コントローラのエンコーダにおいてディスエーブルされる。このように、画像データの第1フレーム以降、後続する画像データのフレームはヘッダ情報が生成されない。
【００３５】
図７は本発明の一実施形態による別の画像データ処理方法のフローチャート図である。グラフィックス・コントローラのバッファに符号化された画像データを格納した後に、操作710においてグラフィックス・コントローラに接続されたプロセッサはヘッダ情報をバッファから取り出すことができる。操作720においてプロセッサはヘッダ情報をプロセッサのレジスタまたは他の格納場所に格納することができる。プロセッサはさらに操作730において符号化された画像データを取り出す。その後操作740において、プロセッサはバッファ内容の取り出しを終了するか判断する。取り出しが終了しない場合、操作730においてプロセッサは別のバッファ の符号化画像データを取り出す。2つのバッファ間を交互することにより、グラフィックス・コントローラが間断なく画像データのフレームを符号化し格納する間、プロセッサは間断なく符号化された画像データを取り出すことができる。
【００３６】
図８は本発明の別の実施形態による、オフセットを有するバッファにおける画像データ処理方法のフローチャート図である。操作810においてグラフィックス・コントローラは画像データの第1フレームを受信する。次に操作815において、図２のグラフィックス・コントローラのコーデックのようなエンコーダがヘッダ情報を含み画像データの第1フレームを符号化する。続いて操作820において、コーデックは含まれるロジックによりヘッダ情報をすべてのバッファに格納する。このロジックは格納用にヘッダ情報を複写し、バッファの開始アドレスを特定する機能を有する。
【００３７】
操作825において、グラフィックス・コントローラは符号化された画像データをバッファに格納する。一実施形態では符号化画像データの格納を達成するために、前述のロジックはバッファの開始アドレスからオフセット・アドレスを判断する機能を有する。これにより符号化画像データは、図５Ａおよび５Ｂに関し例示されたごとくオフセット部分の先頭がオフセット・アドレスにより特定されるようにオフセット部分に格納される。
【００３８】
操作830においてグラフィックス・コントローラが画像データはもうないと判断した場合、方法は終了する。あるいはまた操作 835においてグラフィックス・コントローラは画像データの後続フレームに対しヘッダ情報の生成がディスエーブルされているか判断する。ヘッダ情報の生成がディスエーブルされている場合、方法は操作845に進む。そうでない場合、操作840においてグラフィックス・コントローラはグラフィックス・コントローラにおけるエンコーダ内のヘッダ情報をディスエーブルする。操作845においてグラフィックス・コントローラはオフセットを判断するか決める。一実施形態で、オフセットは画像データの第1フレームから生成されたヘッダ情報のサイズに等しい。オフセットが判断されていない場合、操作850においてグラフィックス・コントローラは符号化画像データの格納に使用されるオフセット部分の開始アドレスを特定するためにオフセットを判断する。その後方法は操作855に進む。オフセットが操作845で判断された場合、 方法は操作855に進み、グラフィックス・コントローラが画像データのフレームを受信する。操作860においてエンコーダは画像データのフレームを符号化し、操作825において符号化された画像データを格納する。方法は次に上述を繰り返す。
【００３９】
図９は本発明の別の実施形態による、オフセットを有するバッファにおける別の画像データ処理方法のフローチャート図である。具体的に、グラフィックス・コントローラは画像データの第1フレームのヘッダ情報を既に含むバッファのオフセット部分に符号化画像データを格納する機能を有する。かくして、プロセッサがバッファの内容を取り出す際、各バッファは画像データの第1フレームのヘッダ情報および符号化された画像データを含んでいる。従って、復号化の際プロセッサは図７で説明されたようにヘッダ情報を格納する必要がない。
【００４０】
操作910においてプロセッサはバッファからヘッダ情報および符号化画像データを取り出す。代表的な実施形態において、ヘッダ情報は図８でグラフィックス・コントローラが受信した画像データの第1フレームから生成されたヘッダ情報である。次に、操作920でプロセッサが取り出しを終了すると方法が終了する。そうでない場合プロセッサはバッファ間を交互してヘッダ情報および符号化画像データを取り出す。
【００４１】
上記実施形態は画像処理機構の符号化面を検討しているが、本発明はさらに復号化面に広げることができることが理解されよう。画像取り込みセンサが例えば3メガピクセル以上といったより多くの情報を取り込むことができるようになるにつれ、画像取り込みセンサは情報を圧縮することができる。これにより、特にリソースが限定されている装置において、情報は画像取り込みセンサからグラフィックス・プロセッサに効率的に転送されることができる。
【００４２】
例えば、モバイル通信メーカはカメラ機能付きの手持ち式電子装置で画像取り込みセンサが画像を圧縮してモバイル・グラフィックス・エンジン（ＭＧＥ）に転送するものを開発している。画像の圧縮にしばしば使用される圧縮フォーマットはＪＰＥＧ標準規格である。JPEG標準規格はデータの各ブロックに対するヘッダおよび実際の符号化データで構成される。従ってグラフィックス・プロセッサのＪＰＥＧデコーダはヘッダを復号化し、各ＪＰＥＧデータ単位間で値が変化していないにも拘わらず、量子化テーブルおよびハフマン・テーブルを更新しなければならない。より効率的に圧縮データを復号化するためにグラフィックス処理チップに画像センサのプログラム化と同時に量子化テーブルおよびハフマン・テーブルに対する圧縮パラメータをプログラムすることができる。
【００４３】
図１０は本発明の一実施形態による、復号化のために画像データをグラフィックス・コントローラに転送するように構成された画像取り込みセンサを有する携帯電子装置を示す簡単な系統図である。電子装置940はマイクロプロセッサ954と通信するグラフィックス・コントローラ952と通信する。画像取り込みセンサ950は初期化されるとグラフィックス・コントローラ952を通して量子化テーブルおよびハフマン・テーブルの値をプログラムされることが理解されよう。つまり、マイクロプロセッサ954は量子化テーブルおよびハフマン・テーブルの値を最初にグラフィックス・コントローラ952を通して画像取り込みセンサ950に転送することができる。一実施形態で、グラフィックス・コントローラ952は量子化テーブルの値を抜き出し、これらの値をグラフィックス・コントローラに結び付いた量子化テーブルにロードする。同様に、グラフィックス・コントローラはハフマン・コードの値を抜き出し、これらの値をグラフィックス・コントローラに結び付いたハフマン・テーブルに格納する。従って、グラフィックス・コントローラ952は必要な圧縮パラメータ、即ち量子化値およびハフマン・テーブル値、を有するため、画像取り込みセンサ950からの圧縮データには圧縮パラメータを有するヘッダ情報が含まれる必要がない。このように、グラフィックス・コントローラに送信されるすべてのデータについて、装置940への電源が切られず、またはテーブル、即ち圧縮パラメータ、が変更されない限りデータの各ブロックに対しヘッダは必要ない。
【００４４】
別の実施形態では、画像取り込みセンサ950をプログラムする際に圧縮パラメータをプログラムする代わりに、画像取り込みセンサからグラフィックス・コントローラ952に送信される画像データの第1フレームとともに転送することができる。ここで、画像取り込みセンサからグラフィックス・コントローラに送信される画像データの第1データ単位にヘッダを付けるために回路を画像取り込みセンサ950内に含むことができる。以降、回路は後続のデータ・ブロックにヘッダを加えない。グラフィックス・コントローラ952は次に圧縮パラメータを抜き出し、つまり第1ヘッダからの圧縮パラメータを量子化テーブルおよびハフマン・テーブルに挿入し、これら圧縮パラメータを用いて圧縮画像データを復号化する。
【００４５】
図１１は本発明の一実施形態による、電子装置がより効率的に画像データを処理することを可能にする方法を示すフローチャート図である。方法は操作960で開始され、画像データを圧縮するための圧縮パラメータが設定される。例えば、ＪＰＥＧ圧縮データの場合はここで量子化およびハフマン・テーブルの値が特定される。方法は次に操作962に進み、圧縮パラメータは画像取り込みセンサおよびグラフィックス・エンジンに同時に送信される。図１０について説明された通り、画像取り込みセンサはグラフィックス・コントローラを通してプログラムされる。従って、グラフィックス・コントローラは画像取り込みセンサをプログラムするのに使用される圧縮パラメータを抜き出すように構成することができ、これによりヘッダとともに圧縮パラメータを画像取り込みセンサからグラフィックス・コントローラに送信する必要性を排除する。
【００４６】
図１１の方法は次に操作964に進み、圧縮画像データの1つのデータ単位が、圧縮パラメータを定義するヘッダを含まずに画像取り込みセンサからグラフィックス・エンジンに転送される。上述のように、画像取り込みセンサのプログラミングの際に圧縮パラメータを抜き出すことにより、画像センサからグラフィックス・コントローラに転送される後続データにヘッダを含ませる必要性がなくなる。方法は次に操作966に進み、データ単位はグラフィックス・エンジンの圧縮パラメータにより復号化される。ここで抜き出され、グラフィックス・コントローラに格納された圧縮パラメータがデータ単位の復号化に使用される。従って、グラフィックス・コントローラが受信するデータ単位毎に量子化テーブルおよびハフマン・テーブルを抜き出し、再プログラムする必要がない。画像取り込みセンサからグラフィックス・コントローラに転送される各データ単位にヘッダを加える必要を排除することにより、画像データ用により多くの帯域幅が利用でき、グラフィックス・コントローラの電力消費が削減され、ＪＰＥＧの復号化時間が短縮されることが理解されよう。
【００４７】
画像取り込みセンサをプログラムする際にグラフィックス・コントローラのテーブルに圧縮パラメータを挿入する代わりに、ＪＰＥＧのデータ・ストリームの第1データ単位に付けられたヘッダと共にデータを送信することができる。以降、圧縮パラメータが変更され、または装置の電源をオフにしない限りデータはヘッダ無しで送信される。図１０に関連して上述のように、この実施形態を達成するために画像取り込みセンサ内に含まれる回路を組み入れることができる。
【００４８】
本発明のロジックはソフトウェアまたはハードウェアの実施形態を含むことが理解されよう。さらに、本発明の実施形態は手持ち式装置、マイクプロセッサ・システム、マイクロプロセッサ・ベースのまたはプログラマブルな消費者用エレクトロニクス、ミニコンピュータ、メーンフレーム・コンピュータ等々、コンピュータ・システムの各種構成において実施できる。発明はまた有線または無線ネットワークで結ばれる遠隔処理装置によりタスクが実行される分散型コンピュータ環境においても実施できる。
【００４９】
上記実施形態を念頭に、本発明はコンピュータ・システムに格納されるデータに係わる各種のコンピュータ実行操作を用いることができることが理解されよう。これらの操作は物理量を物理的に操作する必要があるものである。必ずしもではないが、通常これらの量は格納、移転、組み合わせ、比較、およびその他の方法で操作される電気または磁気信号の形を取る。
【００５０】
本明細書に説明され、発明の一部を形成する操作のいずれも有用な機械操作である。発明はさらにこれらの操作を実行する装置または機器に関わる。機器は必要な目的用に特別に構成されることができ、または機器はコンピュータ内に格納されるコンピュータ・プログラムにより選択的に活用または構成される汎用コンピュータでも良い。特に、各種汎用機器を本明細書の教示に従って書かれたプログラムを用いて使用することができ、または必要な操作を行うためにより専門的な機器を制作する方が便利かもしれない。
【００５１】
発明はまたコンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして実施することができる。コンピュータ読み取り可能な媒体とは後にコンピュータ・システムにより読み取れるデータを格納することができるデータ記憶装置である。コンピュータ読み取り可能な媒体はコンピュータ・コードが包含される電磁搬送波も含む。コンピュータ読み取り可能な媒体の例にはハード・ドライブ、ネットワーク接続記憶装置（ＮＡＳ）、読み取り専用メモリ、ランダムアクセス・メモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびにその他光学的および非光学的データ記憶装置を含む。またコンピュータ読み取り可能な媒体はコンピュータ読み取り可能なコードが分散された形で格納され実行されるようにネットワーク結合のコンピュータ・システム上に分散されても良い。
【００５２】
前記の発明は明瞭な理解を図るためかなり詳細に説明されたが、添付請求項の範囲内で一定の変更および修正を実施することは可能であることは明らかであろう。従って、本実施形態は例示とみなされるもので限定するものではなく、発明はここで叙述された詳細に限定されるものではなく、添付請求項の範囲および同等内容において修正できるものである。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態による、1つのヘッダを生成し画像データを符号化するタイミング図。
【図２】本発明の一実施形態による、画像データ処理用の装置。
【図３】本発明の一実施形態による、2つのバッファを有するメモリ。
【図４】本発明の一実施形態による、ヘッダ情報なしの画像データを格納する2つのバッファを有するメモリ。
【図５Ａ】本発明の一実施形態による、2つのバッファを有するメモリ。
【図５Ｂ】本発明の一実施形態による、オフセットが有る2つのバッファを有するメモリ。
【図６】本発明の一実施形態による画像データ処理方法のフローチャート。
【図７】本発明の一実施形態による別の画像データ処理方法のフローチャート。
【図８】本発明の別の実施形態による、オフセットを有するバッファにおける画像データ処理方法のフローチャート図。
【図９】本発明の別の実施形態による、オフセットを有するバッファにおける別の画像データ処理方法のフローチャート図。
【図１０】本発明の一実施形態による、復号化のために画像データをグラフィックス・コントローラに転送するように構成された画像取り込みセンサを有する携帯電子装置を示す簡単な系統図。
【図１１】本発明の一実施形態による、電子装置がより効率的に画像データを処理することを可能にする方法を示すフローチャート図。
【符号の説明】
【００５４】
155  開始−符号化
210  ヘッダ−１
220  符号化画像データ−１
230  符号化画像データ−２
240  符号化画像データ−３
250  符号化データ
300  装置
310  コントローラ
320  プロセッサ・インタフェース
330  メモリ
330  メモリ
330  メモリ
340  コーデック
340  コーデック
340  コーデック
350  リサイザ
360  画像取り込み装置インタフェース
370  プロセッサ
380  画像取り込み装置
410  バッファ−１
410  バッファ−１
420  ヘッダ＃１
430  符号化画像データ−１
440  バッファ−２
440  バッファ−２
450  符号化画像データ−２
450  符号化画像データ−３
500  開始アドレス
505  オフセット
505  オフセット
510  バッファ−１
510  バッファ−１
515  ヘッダ＃１
515  ヘッダ＃１
520  フラグ・レジスタ
520  フラグ・レジスタ
525  ヘッダ＃１
525  ベッダ＃１
530  符号化画像データ−１
530  符号化画像データ−３
540  バッファ−２
540  バッファ−２
550  符号化画像データ−２
580  オフセット・アドレス
950  画像取り込みセンサ
952  グラフィックス・コントローラ
954  マイクロプロセッサ
【図１】
2006203889.tif 000003
【図２】
2006203889.tif 000004
【図３】
2006203889.tif 000005
【図４】
2006203889.tif 000006
【図５Ａ】
2006203889.tif 000007
【図５Ｂ】
2006203889.tif 000008
【図６】
2006203889.tif 000009
【図７】
2006203889.tif 000010
【図８】
2006203889.tif 000011
【図９】
2006203889.tif 000012
【図１０】
2006203889.tif 000013
【図１１】
2006203889.tif 000014