(57)【要約】      （修正有）【課題】画像処理装置において、圧縮ファイルを高速に処理する。【解決手段】現像処理、変倍処理、ラスタブロック変換、圧縮処理等を行う際に短冊に分割スキャンして画像処理する。圧縮処理では、分割単位で任意のリスタートマーカを出力し、ストリームの並び替えを行って圧縮ファイルを作成する。垂直方向に処理を分割しないので、各処理の垂直ディレイラインの再充填が不要なため高速に処理できる。【選択図】図１
2006121174.tif 000002
【特許請求の範囲】
【請求項１】
画像データを蓄積する蓄積手段と、前記蓄積手段からデータを読み出す第１の転送手段と、前記第１の転送手段から読み出されたデータに画像処理を施し、所定の画像データとして出力する画像処理手段と、前記画像処理手段の出力を圧縮する圧縮手段と、前記圧縮手段の出力を前記蓄積手段に転送する第２の転送手段と、を有し、
前記第１の転送手段は、一画面の画像データを短冊状に分割して読み出すことを特徴とする画像処理装置。
【請求項２】
前記圧縮手段は、分割位置情報をもとに任意のリスタートマーカを付加することができることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記圧縮手段の前に、前記画像処理手段の出力を変倍する変倍手段と、さらに前記変倍手段の出力をブロックスキャンに変換するラスタブロック変換手段を有することを特徴とする請求項１乃至２のいずれか１つに記載の画像処理装置。
【請求項４】
前記画像処理手段の出力の短冊の水平サイズをHa、前記変倍手段の出力の短冊の水平サイズをHb、変倍率をb/aとするとき、Haがaの倍数かつHbが16の倍数になるようなHaで分割することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記圧縮手段は、分割位置情報をもとに各短冊の終わりでリスタートマーカをリセットすることを特徴とする請求項１に記載の画像圧縮処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置において、１画面の画像をタイル等の複数の小イメージに分割して圧縮、管理することでメモリを削減し、画像処理のスループットを向上するための提案がなされている。(特許文献１参照)
【特許文献１】特開２００２−２６２０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、デジタルカメラ等の画像処理装置を考えた場合、前記の提案は圧縮データをファイルとして蓄積するための考慮や、圧縮以外の画像処理との組み合わせにおいて最適なイメージ分割に対する考慮がなされていない。
【０００４】
本発明は上記を鑑みてなされたものであり、複数の小イメージに分割して圧縮、管理する際に、撮像データから圧縮データファイルを作成するまでの圧縮以外の画像処理を考慮した最適な小イメージ分割を行うことによって、より高速に効率よく処理する画像処理装置を提供するものである。
【課題を解決するための手段】
【０００５】
請求項１によれば画像データを蓄積する蓄積手段、蓄積手段からデータを読み出す第１の転送手段、第１の転送手段から読み出されたデータを画像処理しYUV、RGB等の画像データとして出力する画像処理手段、画像処理手段の出力を圧縮する圧縮手段、圧縮手段の出力を蓄積手段に転送する第２の転送手段を有し、第１の転送手段は、一画面の画像データを短冊状に分割して読み出すことを特徴とする。
【０００６】
請求項２によればさらに前記圧縮手段は、分割位置情報をもとに任意のリスタートマーカを付加することができることを特徴とする。
【０００７】
請求項３によればさらに前記圧縮手段の前に、前記画像処理手段の出力を変倍する変倍手段、および変倍手段の出力をブロックスキャンに変換するラスタブロック変換手段を有することを特徴とする。
【０００８】
請求項４によればさらに前記画像処理手段の出力の短冊の水平サイズをHa、前記変倍手段の出力の短冊の水平サイズをHb、変倍率をb/aとするとき、Haがaの倍数かつHbが16の倍数になるようなHaで分割することを特徴とする。
【０００９】
また、請求項５によれば一画面の画像データを短冊状に分割してスキャンし、ひとつの短冊の終わりで圧縮履歴をリセットすることを特徴とする。
【発明の効果】
【００１０】
請求項１によれば、短冊状に分割して処理することにより画像処理の垂直不連続が少ないため、垂直ディレイラインのデータ再充填が少なくてすみ高速な処理ができる。
【００１１】
また請求項２によれば、短冊状に分割して処理された圧縮データを並び替えることによって画像データ、フォーマットとして正常な圧縮データを作成することができる。
【００１２】
また請求項４、５によれば、変倍処理時にも短冊状に分割して処理することにより高速な処理ができる。
【００１３】
また請求項６(実施例２）によれば、短冊毎に再生時に処理をリセットできるので短冊を部分的に伸張する場合など高速に伸張できる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の第１の実施例であり、１０１はレンズ等の光学系、１０２はCCD等のセンサ、１０３はセンサ１０２出力をサンプリングしデジタルデータに変換するためのAD変換器、１０５はDRAM等のメモリ、１０４はAD変換器１０３の出力データをDRAM１０５に転送するための第３のダイレクトメモリアクセスコントローラ(以下第３DMAC）、１０６はDRAM１０５上のデータを読み出し次段へ転送するための第１のDMAC、１０７は複数のディレイラインを有し第１DMAC１０６から読み出されたセンサデータに対しフィルタリング、色変換等を行ってYUVデータとして出力する画像処理回路、１０８は画像処理回路１０７のYUV出力に対して水平方向、および垂直方向に変倍可能な変倍回路、１０９は変倍回路１０８の出力をラスタブロック変換するためのラスタブロック変換回路、１１０はラスタブロック変換されたデータをJPEG等で圧縮する圧縮回路、１１１は圧縮データをDRAM１０５へ転送するための第２のDMAC、１１３はメモリカード等の圧縮データファイルを記録するための媒体、１１２は媒体１１３とDRAM１０５のデータ転送を司る媒体インタフェース回路、１１４はシステム全体を統括するシステムコントロールである。図示はしていないが、システムコントロール１１４は各ブロックの処理パラメータを設定し、滞りなく一連の処理が行われるよう制御する。また図１においては第３DMAC１０４、第１DMAC１０６、第２DMAC１１１、インタフェース回路１１２とDRAM１０５は直結しているように記載しているが、これは概念図であり実際にはアービタ、メモリインタフェース回路等が仲介し、DRAM１０５との間は一つのバスとして構成される。
【００１５】
次にjpegファイルを作成するまでの分割処理動作について述べる。図２は分割処理例の概念図であって、図２(a)は画像処理107出力の分割イメージであり、水平方向Haピクセルごとに均等に４分割されている。図２(b)は変倍回路１０８で変倍されラスタブロック変換回路１０９でブロックに変換された出力の分割イメージであり、水平方向にHbピクセルごとに垂直方向に８ピクセルごとに均等に分割されている。また黒い四角印は圧縮時のリスタートマーカ挿入位置である。図２(c)はDRAM上の圧縮データの分割イメージであり、左がわの数字は(b)の分割領域番号を、RSTはリスタートマーカを、斜線は無効領域をあらわしている。まず、センサ１０２から読み出されたデータはAD変換器１０３でデジタルデータに変換され、第３DMAC１０４によってDRAM１０５に転送される。センサデータはDRAM105上にセンサイメージ通りにリニアなアドレスで蓄積されるものとする。DRAM１０５に転送されたセンサデータは第１DMAC１０６により読み出され画像処理１０７に転送されるが、その際に図２(a)のように読み出されるように第１DMAC１０６に設定する。すなわち、垂直には分割しない短冊のように領域０，１，２，３の順番で進み各領域はラスタスキャンされる。画像処理１０７は垂直方向の成分を処理するための複数のディレイラインを有しているので図２(a)のように垂直に分割しない形のほうが効率が良く処理が早い。また実際には垂直、水平ともフィルタリングのための余分画素を必要とするので図２(a)よりも大きな領域を画像処理１０７に入力することになる。例えば図２(a)の領域０から１へ移るときに、画像処理１０７の垂直ディレイラインへデータを再充填する必要がある。画像処理１０７はセンサデータをYUVデータに変換し図２(a)のように出力する。次に変倍回路１０８で水平、垂直ともｂ／ａに変倍することを考える。このとき変倍回路１０８の出力は各分割領域の水平ピクセル数をＨｂとするとＨｂ＝（ｂ／ａ）＊Ｈａとなる。Ｈａをaの倍数とすることでＨｂは整数となる。また例えばYUV422形式の場合はＨｂは16の倍数となることが必要である。変倍回路１０８の出力はラスタブロック変換１０９で８ｘ８のブロックスキャンで並び替えられる。したがって、図２(a)の領域０は垂直８ピクセル、水平Hbピクセルの領域に分割され、さらに８ｘ８の領域に分割され図２(b)のようになる。図２(b)のそれぞれの小イメージ領域のスキャン順に番号を振っている。簡略のためここでは垂直を10分割する例について述べている。ラスタブロック変換１０９でブロックスキャンで並び替えられた画像データは圧縮回路１１０でJPEGデータに圧縮される。この際SOI等JPEG固有のヘッダ情報やリスタートマーカ等も挿入される。圧縮回路１１０の出力であるJPEGストリームは、第2DMAC１１１によってDRAM１０５に転送され図２(c)のようなメモリマップでDRAM１０５に蓄積される。このとき圧縮回路１１０は、水平方向の分割数をHn、全イメージに対する分割領域の位置を(x,y)で表現する時、FFD0からFFD7で表現されるリスタートマーカの下一桁の値を、以下の計算式で決定する。
【００１６】
mod( Hn * y + x, 8 )
例えば、図２(b)の分割番号１１では、(x,y)=(1,1)となり8のmodは５となりFFD5すなわちRST5が挿入される。ただし領域３９は画像の最後となるのでリスタートマーカは付加されず、エンドオブイメージマーカ(EOI)が付加される。また、第2DMAC１１１は図２(c)の各分割領域のスタートポインタと各分割領域のコード長を管理する。jpegデータのコード長は可変長でるため、図２(c)の各分割領域は圧縮回路１１０に設定されるQテーブルの値から推定されるコード長に対して余裕をもって確保し、各領域のスタートポインタを構造体等の形でDRAM１０５等に記憶する。そしてひとつの分割領域の有効データ領域の終わりすなわちリスタートマーカを検出したらその分割領域のコード長として同じ構造体に記憶し、次のスタートポインタをロードする。構造体によって管理されるjpegストリームの分割領域のメモリマッピングは、短冊方向の処理順ではなくて最終的なjpegストリーム順で確保する。すなわち領域０，１０，２０，３０，１，…の順でマップすることによりリスタートマーカは、RST0,1,2,3,4,…の本来のjpegフォーマットの順番に並び替えられる。インタフェース回路１１２は、構造体情報を元に図２(c)の先頭番地から各分割領域の無効領域を無視、カットして有効領域のみを媒体１１３へと転送する、このとき転送に先立ってシステムコントロール１１４は撮影条件等のヘッダを別途作成し、インタフェース回路１１２を介して媒体１１３に転送しておく。
【００１７】
本実施例では水平方向を均等に分割できるものとして考えたが、均等に分割できない場合は例えば右端の分割領域だけＨｂ’＝（ｂ／ａ）＊Ｈａ’なるＨａ’、Ｈｂ’を考えれば良い。
【００１８】
図３は本発明の第２の実施例の概念図である。図３(a),(b)については図２(a),(b)とほぼ同様である。図３(c)では、分割は行わない。すなわち無効領域は存在せず、ストリームの並び替えも行われない。ここで図３(b),(c)の各短冊領域の最後の位置にリスタートマーカを挿入している。これは必須ではないが、あったほうが短冊毎に処理をリセットでき再生時の自由度が増す。例えば必要な部分のみを高速に伸長するなど可能になるので良い。図３(c)のデータをインタフェース回路１１２は媒体へと転送する、このとき転送に先立ってシステムコントロール１１４は撮影条件等のヘッダを別途作成し、インタフェース回路１１２を介して媒体１１３に転送しておく。ただしこのjpegデータは短冊方向にスキャンした特殊なjpegデータなので、一般のjpegビューアで再生するとつぎはぎがおかしな画像となり正しく再生できない。このデータを正しく再生するためには、リスターとまーかとして短冊分割で処理したことを示すフラグ、および水平分割ピクセル数をヘッダ情報としてjpegファイルに付加する必要がある。再生時には、短冊分割で処理したことを示すフラグを確認し、短冊分割で処理した画像の場合は水平分割ピクセル数、および標準ヘッダに含まれる画像の垂直サイズから、伸張した画像データを短冊順に並び替えて表示する。
【００１９】
本第２の実施例では水平方向を均等に分割できるものとして考えたが、均等に分割できない場合は例えば右端の分割領域だけＨｂ’＝（ｂ／ａ）＊Ｈａ’なるＨａ’，Ｈｂ’を考えれば良い。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例のブロック図。
【図２】分割処理の概念図。
【図３】第２の実施例の概念図。
【符号の説明】
【００２１】
１０１  レンズ等の光学系
１０２  センサ
１０３  AD変換器
１０４  第３のDMAC
１０５  DRAM
１０６  第１のDMAC
１０７  画像処理回路
１０８  変倍回路
１０９  ラスタブロック変換回路
１１０  圧縮回路
１１１  第２のDMAC
１１２  インタフェース回路
１１３  媒体
１１４  システムコントロール
【図１】
2006121174.tif 000003
【図２】
2006121174.tif 000004
【図３】
2006121174.tif 000005