(57)【要約】前処理段階のためにＲＡＷ画像を格納するメモリモジュールを有する画像化アーキテクチャ。前処理ブロックから出力されるＲＡＷ画像は、メモリモジュールに格納される前に、圧縮部によって圧縮される。さらに、メモリ中のＲＡＷ画像は、必要または要求に応じて何度も前処理を受ける。格納された画像を取り出すために、および画像を前処理ブロックに提供する前に取り出した画像を解凍するために、解凍部がメモリモジュールに協働するように接続される。この画像化アーキテクチャによれば、メモリモジュール、解凍部、前処理ブロック、圧縮部によって形成されたループによって、画像を複数回前処理することができる。画像化アーキテクチャは、表示または送信のために画像データをさらに処理するためのメイン処理部および後処理部に接続できる。【選択図】図３
2010515326.tif 000002
【特許請求の範囲】
【請求項１】
画像データを前処理するための方法であって、
画像をメモリモジュールに格納すること；
前処理モジュールを前記メモリモジュールに接続して処理ループを形成すること、ただし前記前処理モジュールの動作は複数の前処理パラメータセットに関連付けられている、前記形成すること；
前記前処理モジュールが前記画像を複数回前処理できるように、該画像を、前記ループを経由して、前記メモリモジュールから前記前処理モジュールへ送ること、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記送ること；
を含む、方法。
【請求項２】
前記画像を前記メモリモジュールに格納する前に、圧縮された画像を供給するべく前記画像を圧縮すること；
前記圧縮された画像を前記メモリモジュールから取り出すこと；
前記画像を前記前処理モジュールに送る前に、前記取り出した画像を解凍すること；
をさらに含む、請求項１に記載の方法。
【請求項３】
前記メモリモジュールに格納された前記画像はＲＡＷ画像を含む、請求項１に記載の方法。
【請求項４】
前記ループによる前記前処理とは異なるメモリ内処理において前記画像をさらに前処理することをさらに含む、請求項１に記載の方法。
【請求項５】
少なくとも画像を格納するためのメモリモジュールと；
ループを形成するべく前記メモリモジュールに接続される前処理モジュールであって、前記前処理モジュールは、その動作が複数の前処理パラメータセットに関連付けられ、前記ループは、前記前処理モジュールが前記画像を複数回処理できるように、該画像が、該ループを経由して、前記メモリモジュールから前記前処理モジュールへ送られるように形成され、前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記前処理モジュールと；
を備える、画像前処理モジュール。
【請求項６】
前記画像を前記メモリモジュールに格納する前に前記画像を圧縮するべく前記メモリモジュールに協働するように接続される圧縮部と；
前記画像を前記前処理モジュールに送る前に前記画像を解凍するべく前記前処理部に協働するように接続される解凍部と；
をさらに備える、請求項５に記載のモジュール。
【請求項７】
メモリ内処理において前記画像をさらに前処理するために、前記メモリモジュールに接続される別の前処理モジュールをさらに備える、請求項５に記載のモジュール。
【請求項８】
供給された画像の前処理に使用する画像処理アーキテクチャであって、
圧縮された画像を提供するべく、前記供給された画像を圧縮するように構成される圧縮モジュール；
前記圧縮された画像を格納するためのメモリモジュール；
解凍された画像を提供するべく、前記格納された画像を、前記メモリモジュールから取り出すように構成される解凍モジュール；
前記解凍された画像を受けとるように解凍モジュールに接続される前処理モジュール；
を備え、前記圧縮モジュール，前記メモリモジュール，前記解凍モジュール，および前記前処理モジュールは、ループを形成するように配置され、前記前処理モジュールは、該前処理モジュールが前記格納された画像を複数回前処理しうるように、その動作が複数の前処理パラメータセットに関連付けられ、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、画像処理アーキテクチャ。
【請求項９】
前記供給された画像が、前記前処理モジュールにおいて複数回圧縮、格納、復号、処理された後に、該供給された画像をさらに処理するために、前記前処理モジュールに協働するように接続される更なる処理モジュールをさらに備える、請求項８に記載の画像処理アーキテクチャ。
【請求項１０】
前記更なる処理には、カラーフィルタアレイ補間およびホワイトバランス処理が含まれる、請求項９に記載の画像処理アーキテクチャ。
【請求項１１】
前記解凍モジュールは、前記供給された画像を受け取ると共に、該受け取った画像をそのまま前記前処理モジュールに送るようにバイパスモジュールから制御されうるように構成され、前記前処理モジュールは、前記解凍モジュールから送られてきた前記画像をそのまま前記圧縮モジュールに送信するように、バイパスモジュールから制御されうるように構成され、それによって前記圧縮モジュールが、前記供給された画像をそのまま圧縮できるようにされる、請求項８に記載の画像処理アーキテクチャ。
【請求項１２】
画像を取得するためのメカニズムと、
前記画像を格納するためのメモリモジュールと、
前記メモリモジュールに接続されてループを形成する前処理モジュールであって、前記前処理モジュールは、その動作が複数の前処理パラメータセットに関連付けられ、前記ループは、前記前処理モジュールが前記画像を複数回前処理できるように、該画像が、該ループを経由して、前記メモリモジュールから前記前処理モジュールへと送られるように形成され、前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる前処理モジュールと、
を備える、撮影装置。
【請求項１３】
前記画像を前記メモリモジュールに格納する前に、前記画像を圧縮するために、前記メモリモジュールに協働するように接続される圧縮部と、
前記画像を前記前処理モジュールに送る前に、前記画像を解凍するために、前記前処理部に協働するように接続される解凍部と、
をさらに備える、請求項１２に記載の撮影装置。
【請求項１４】
前記メカニズムは前記画像を撮影するための画像センサを備える、請求項１２に記載の撮影装置。
【請求項１５】
前記画像センサ上にイメージを形成するための撮像光学素子をさらに備える、請求項１４に記載の撮影装置。
【請求項１６】
前記メカニズムは、前記画像の画像データを受信するための受信機を備える、請求項１２に記載の撮影装置。
【請求項１７】
前記前処理モジュールは、前処理されたデータを提供するように構成され、
前記前処理されたデータを受け取るように前記前処理部に接続されるメイン処理モジュールをさらに備える、
請求項１２に記載の撮影装置。
【請求項１８】
前記メイン処理モジュールは、さらに処理された画像データを提供するように構成され、
前記さらに処理された画像データを処理するように前記メイン処理モジュールに接続される後処理モジュールをさらに備える、
請求項１７に記載の撮影装置。
【請求項１９】
前記後処理モジュールは、後処理された画像データを提供するように構成され、
前記後処理された画像データを受け取るように前記後処理モジュールに接続されるディスプレイをさらに備える、
請求項１８に記載の撮影装置。
【請求項２０】
前記後処理モジュールは、後処理された画像データを提供するように構成され、
送信するために、前記後処理された画像データを受け取るように前記後処理モジュールに接続される送信モジュールをさらに備える、
請求項１８に記載の撮影装置。
【請求項２１】
前記メイン処理モジュールは、さらに処理された画像データを提供するように構成され、
送信するために、前記さらに処理された画像データを受け取るように前記主要モジュールに接続される送信モジュールをさらに備える、
請求項１７に記載の撮影装置。
【請求項２２】
前記供給された画像が、前記前処理モジュールにおいて複数回圧縮、格納、解凍、および処理された後に、前記供給された画像をさらに処理するために、前記前処理モジュールに協働するように接続される、更なる処理モジュール、
をさらに備える、請求項１２に記載の撮影装置。
【請求項２３】
デジタルカメラを備える、請求項１２に記載の撮影装置。
【請求項２４】
携帯電話機を備える、請求項１２に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画撮影およびビデオ撮影に関し、より具体的には、静止画撮影およびビデオ撮影における前処理段階に関する。
【発明の背景】
【０００２】
スチルカメラまたはビデオカメラで使用する画像処理は、画像再構成、符号化、およびリアルタイムカメラ制御から成る。典型的には、画像再構成は、図１に示すように、前処理段階、メイン処理段階、後処理段階に分けられる。さらに、図２に示すように、前処理ブロックとメイン処理ブロックとの間にメモリモジュールが介在するように構成し、追加の前処理を、メモリ内処理（memory to memory operation）としてソフトウェアによって行なわれるようにしてもよい。
【０００３】
前処理の役割は、メイン処理段階のための異なるセンサを規格化（normalize）することである。リアルタイム機能は、撮像シーンの変化状態に適合させるために使用される。自動露出等のリアルタイム機能は、画像からの（統計）情報を必要とする。他のリアルタイム機能は、オートホワイトバランスおよびオートフォーカスを含む。画像からの統計情報は、通常、ハードウェア統計ブロックで収集される。リアルタイム機能は、一般的にソフトウェアブロックによって実行され、種々のパラメータをメイン処理段階に提供する。また、リアルタイム機能ブロックは、種々のパラメータまたは制御を画像センサに直接供給してもよく、メイン処理を介して供給してもよい。
【０００４】
前処理は、カメラセンサが撮影した元々のＲＡＷ画像を、メイン処理段階または統計収集段階において使用可能な形式に変化させるために必要な多種多様の処理段階を含む。前処理段階の出力は、依然としてＲＡＷフォーマットである。前処理の例として、シェーディング補正、画素落ち補正、暗電流除去、画素線形化、ノイズ低減、および緑色不均衡フィルタリング（green imbalance filtering）が挙げられる。これらの前処理段階は、メイン処理段階または統計収集段階の前にカメラセンサまたは画像処理部における別々のブロックにおいて実行される。ＲＡＷ画像の処理において、前処理は、１回のみ実行される。画像統計は、撮影制御の目的のためにＲＡＷ画像から収集される。典型的な撮影制御のうち、自動露出制御、オートフォーカス制御、およびオートホワイトバランス制御は、アルゴリズムの分析部分および合成部分において、いくつかの統計を必要とする。他の制御には、自動輝度制御および自動コントラスト制御が含まれる。統計は、ヒストグラム、ブロック平均広域フィルタ、帯域フィルタの和の形式で収集できる。典型的には、メイン処理には、カラーフィルタアレイ補間（color filter array interpolation; CFAI）およびホワイトバランス（white balance; WB）が含まれる。ＷＢおよびＣＦＡＩの前に実行される全ての処理段階は、通常、前処理段階と呼ばれる。メイン処理は、観察者に提示することが可能な形式に、ＲＡＷ画像を変化させる。画像の表示および印刷は、このような形式のうちの２つである。メイン処理には、色空間変換、非線形化（ガンマ補正）、画像鮮明化、幾何学的歪み補正、彩度抑制、ディザリング、画像スケーリング等の他の処理が含まれてもよい。これらの動作における機能の大部分は、後処理機能と呼ばれることもできる。また、後処理は、画像クロッピングも含んでもよい。画像クロッピングならびに画像スケーリングは、前処理機能としても実装できる。後処理機能は、ハードウェアでもソフトウェアでも実行することができる。
【０００５】
カメラにおける画素のサイズが小さくなればなるほど、多くの前処理段階が必要とされうる。画像の前処理におけるこの必要性を満たすために、および今後の必要性を予測するために、新しい画像化アーキテクチャを提供することが有利であり、かつ望ましい。
【発明の概要】
【０００６】
本発明により提供される画像化アーキテクチャにおいては、メモリモジュールが、前処理段階のためにＲＡＷ画像を格納するために使用される。より具体的には、前処理ブロック出力されるＲＡＷ画像は、画像がメモリモジュールに格納される前に、圧縮部によって圧縮される。さらに、メモリにおけるＲＡＷ画像は、必要または要求に応じて、何度も前処理を受ける。したがって、解凍部は、格納された画像を取り出して前記前処理ブロックに提供する前に、取り出した画像を解凍するべくメモリモジュールに協働するように接続される。本発明に従う画像化アーキテクチャによれば、メモリモジュール、解凍部、前処理ブロック、および圧縮部によって形成されたループによって、画像が、複数回前処理されることが可能になる。この実施形態において、メモリモジュールは２つのポートを有し、一方のポートは圧縮部に接続されて、圧縮された画像データを受け取ることを可能にし、別のポートは解凍部に接続されて、解凍部が格納された画像を取り出すことを可能にする。解凍部は、前処理ブロックの前に位置し、圧縮部は、前処理ブロックの後に位置する。
【０００７】
本発明の別の実施形態において、メモリモジュールは４つのポートを有し、そのうち２つのポートが前処理ブロックの前に位置する圧縮／解凍モジュールに接続され、他方の２つのポートは前処理ブロックの後に位置する別の圧縮／解凍モジュールに接続される。本発明の一実施形態によると、前処理段階は、ハードウェアブロックによって実行できる。ハードウェア前処理を複数回実行することによって、電力消費および性能を高いレベルに維持しつつ、ソフトウェアソリューションの利益を享受することが可能になる。
【０００８】
したがって、本発明の第１の捉え方は、画像データを前処理するための方法である。この方法は、画像をメモリモジュールに格納すること；前処理モジュールを前記メモリモジュールに接続して処理ループを形成すること、ただし前記前処理モジュールの動作は複数の前処理パラメータセットに関連付けられている、前記形成すること；前記前処理モジュールが前記画像を複数回前処理できるように、該画像を、前記ループを経由して、前記メモリモジュールから前記前処理モジュールへ送ること、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記送ること；を含む。
【０００９】
前記方法は、画像をメモリモジュールに格納する前に、圧縮された画像を提供するべく画像を圧縮すること；圧縮された画像をメモリモジュールから取り出すこと；画像を前処理モジュールに送る前に、取り出した画像を解凍すること；をさらに含む。
【００１０】
本発明の第２の捉え方は、画像前処理モジュールである。この画像前処理モジュールは、少なくとも画像を格納するためのメモリモジュールと；ループを形成するべく前記メモリモジュールに接続される前処理部であって、前記前処理部は、その動作が複数の前処理パラメータセットに関連付けられ、前記ループは、前記前処理モジュールが前記画像を複数回処理できるように、該画像が、該ループを経由して、前記メモリモジュールから前記前処理部へ送られるように形成され、前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記前処理部と；を備える。
【００１１】
前記画像前処理モジュールは、画像をメモリモジュールに格納する前に画像を圧縮するべく前記メモリモジュールに協働するように接続される圧縮部と、画像を前処理モジュールに送る前に画像を解凍するべく前処理部に協働するように接続される解凍部とをさらに備える。
【００１２】
本発明の第３の捉え方は、供給された画像の前処理に使用する画像処理アーキテクチャである。このアーキテクチャは、圧縮された画像を提供するべく、前記供給された画像を圧縮するように構成される圧縮モジュール；前記圧縮された画像を格納するためのメモリモジュール；解凍された画像を提供するべく、前記格納された画像を、前記メモリモジュールから取り出すように構成される解凍モジュール；前記解凍された画像を受けとるように解凍モジュールに接続される前処理モジュール；を備え、前記圧縮モジュール，前記メモリモジュール，前記解凍モジュール，および前記前処理モジュールは、ループを形成するように配置される。
【００１３】
前記前処理モジュールは、該前処理モジュールが前記格納された画像を複数回前処理しうるように、その動作が複数の前処理パラメータセットに関連付けられ、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる。
【００１４】
前記解凍モジュールは、前記供給された画像を受け取ると共に、該受け取った画像をそのまま前記前処理モジュールに送るようにバイパスモジュールから制御されうるように構成され、前記前処理モジュールは、前記解凍モジュールから送られてきた前記画像をそのまま前記圧縮モジュールに送信するように、バイパスモジュールから制御されうるように構成され、それによって前記圧縮モジュールが、前記供給された画像をそのまま圧縮できるようにされる。
【００１５】
前記アーキテクチャは、供給された画像が、前処理モジュールにおいて複数回圧縮、格納、解凍、および処理された後に、供給された画像をさらに処理するために、前処理モジュールに協働するように接続される、更なる処理モジュールをさらに備え、更なる処理には、カラーフィルタ補間およびホワイトバランス処理が含まれる。
【００１６】
本発明の第４の捉え方は、画像を取得するためのメカニズムと、画像を格納するためのメモリモジュールと、上述の前処理モジュールと、供給された画像が、前処理モジュールにおいて複数回圧縮、格納、解凍、処理された後に前記画像をさらに処理する、前処理モジュールに協働するように接続された更なる処理モジュールとを備える、撮影装置である。
【００１７】
本発明の一実施形態において、前記メカニズムは、画像を撮影するための画像センサと、画像センサ上に画像を形成するための撮像光学素子とを備える。
【００１８】
本発明の別の実施形態において、前記メカニズムは、画像の画像データを受信するための受信機を備える。
【００１９】
本発明によると、前記撮影装置は、例えば、画像がディスプレイに表示可能になるように、または印刷用に転送可能になるように、画像データを後処理するための後処理モジュールを備えてもよい。したがって、前記撮影装置は、処理された画像データを送信するための送信機を備えてもよい。
【００２０】
前記撮影装置は、デジタルカメラ、携帯電話機、携帯情報端末、通信装置、またはその同等物であることができる。
【図面の簡単な説明】
【００２１】
【図１】従来技術による画像化アーキテクチャを示す。
【図２】別に設けられたメモリモジュールを有する従来技術による画像化アーキテクチャを示す。
【図３】本発明の一実施形態に従う画像化アーキテクチャを示す。
【図４】本発明の異なる実施形態に従う別の画像化アーキテクチャを示す。
【図５】本発明の一実施形態に従う画像処理の方法を示すフローチャートである。
【図６】本発明に従う画像化アーキテクチャを有する画像撮影装置を示すブロック図である。
【発明を実施するための形態】
【００２２】
本発明は、画像データループを使用してＲＡＷ画像を同一の前処理ブロックによって何度か前処理してから、当該前処理された画像をメイン処理ブロックに提供するような方法および画像アーキテクチャを提供する。前処理ブロックはハードウェアモジュールであることが有利である。前処理ブロックによる処理が１回毎に異なるパラメータセットにより遂行されるように、前処理のパラメータセットを選択することができる。例えば、あるパラメータセットは、シェーディング補正のためのものであり、別のセットは画素落ち補正のためのものである。他のパラメータセットは、暗電流除去や画素線形化、ノイズ低減、緑色不均衡フィルタリングのためのパラメータを含んでもよい。別のパラメータセットは、物理的温度や色温度、レンズ位置に依存するパラメータを含んでもよい。
【００２３】
本発明の一実施形態に従う画像化アーキテクチャを図３に示す。図示されるように、本アーキテクチャは、第１の圧縮／解凍モジュール２０および第２の圧縮／解凍モジュール４０間に位置するハードウェア前処理ブロック３０を備える。第１の圧縮／解凍モジュール２０は、画像センサ１０からＲＡＷ画像を受け取る。メモリモジュール５０は、その２つのポートが第１の圧縮／解凍モジュール２０に接続され、その別の２つのポートが第２の圧縮／解凍モジュール４０に接続される。メモリモジュール５０はＲＡＷ画像を格納する（好ましくは圧縮形式のＲＡＷ画像を格納する）ために使用される。
【００２４】
メモリモジュール５０や第１の圧縮／解凍モジュール２０、前処理モジュール３０、第２の圧縮／解凍モジュール４０は、前処理部ブロックにおいてＲＡＷ画像を複数回前処理できるように、画像処理ループ５２を形成する。前処理が実行される度に、異なる前処理パラメータセットが使用されてもよい。しかし、必要な場合、または望ましい場合は、２回以上の実行を同一のパラメータセットで行うようにしてもよい。前処理が複数回行われた後、当該前処理されたＲＡＷ画像は、更なる処理のためにメイン処理モジュール７０に送られる。メイン処理モジュールにおける処理には、典型的には、カラーフィルタアレイ補間（color filter array interpolation; CFAI）およびホワイトバランス（white balance; WB）が含まれる。画像統計ブロック６０を使用して、撮影制御の目的のためにＲＡＷ画像から画像統計を収集する。画像制御には、自動露出制御、オートフォーカス制御、オートホワイトバランス制御等が含まれ得る。メイン処理段階の後、処理された画像データは、処理された画像を表示または印刷可能にするように、後処理ブロック７４に送られる。図３に示す画像化アーキテクチャにおいて、ＲＡＷ画像は、前処理前にメモリに入力されてもよい。圧縮部／解凍部ブロック２０や４０は、画像データを非圧縮形式でメモリモジュール５０に格納可能にするように、バイパスモジュールを有してもよいことに留意されたい。さらに、圧縮や解凍は、前処理段階を含むか否かにかかわらず、画像のより小さい範囲に別々に適用できる。
【００２５】
また、追加の前処理が、メモリ内処理（memory to memory operation）としてソフトウェアブロック３８によって行なわれることができる。
【００２６】
本発明の別の実施形態によると、画像化アーキテクチャにおけるメモリモジュール５０にはポートが２つしかない。図４に示すように、一方のポートは、解凍モジュール２２に接続され、他方のポートは、圧縮モジュール４２に接続される。解凍モジュール２２は、前処理モジュール３２の前に位置するが、圧縮モジュール４２は、前処理モジュール３２の後に位置する。解凍モジュール２２、前処理モジュール３２、および圧縮モジュール４２の各々は、バイパスモジュールを含む。したがって、ＲＡＷ画像が最初に画像センサ１０から受信されると、解凍モジュール３２および前処理モジュール３２は、バイパスモジュールとして設定される。メモリモジュール５０に対するメモリバスの負荷を低下させるため、ＲＡＷ画像は、メモリモジュール５０に格納される前に、圧縮モジュール４２によって圧縮される。圧縮された画像は、メモリモジュール５０から複数回読み取り可能であり、解凍モジュール２２によって解凍できる。次に、解凍された画像は、選択されたパラメータセットで、前処理モジュール３２によって処理される。更なる前処理が要求または必要とされる場合、処理された画像は、再び圧縮モジュール４２によって圧縮され、圧縮された画像は、メモリモジュール５０に格納される。前処理が完了すると、前処理モジュール３２が最終実行において前処理した（解凍された）画像は、圧縮モジュール４２がバイパスモジュールに設定されることにより、メイン処理モジュール７０へと直接送られる。
【００２７】
図３に示す画像化アーキテクチャでは、画像センサ１０から受信した画像は、圧縮／解凍モジュール２０において圧縮され、前処理モジュール３０および圧縮／解凍モジュール４０を通過せずに、最初の実行においてメモリモジュール５０に直接格納されることができる。後続の実行において、格納された画像は、メモリモジュール５０から取り出され、画像を前処理モジュール３０に送る前に、圧縮／解凍モジュール２０によって解凍できる。前処理モジュール３０による前処理の後に、画像は、圧縮されてから格納される。前処理が完了すると、圧縮された画像は、メモリモジュール５０から読み出され、メイン処理モジュール７０に送られる前に、圧縮部／解凍部４０によって解凍されることができる。代替的に、圧縮／解凍モジュール４０は、前処理モジュール３０が最終実行において前処理した画像が、メイン処理モジュール７０に直接送ることが可能になるように、バイパスモジュールも有する。
【００２８】
画像統計モジュール６０によって収集された画像統計は、データベース８０に格納できる。図３および図４に示すように、リアルタイム機能ブロック９０は、画像統計モジュール６０および／または記憶装置８０に協働するように接続され、それによってリアルタイム機能が、記憶装置８０からのデータを使用可能になり、または画像統計ブロック６０から直接データを使用可能になる。自動露出等のリアルタイム機能は、画像からの（統計）情報を必要とする。他のリアルタイム機能には、オートホワイトバランスおよびオートフォーカスが含まれる。画像からの統計情報は、通常、ハードウェア統計ブロックで収集される。リアルタイム機能は、種々のパラメータをメイン処理に提供するために、典型的には、ソフトウェアブロックによって実行される。
【００２９】
メモリモジュールに格納された画像は、全体的にだけでなく部分的にも前処理できることに留意されたい。例えば、最初は、画像全体が前処理され、メモリモジュールに格納すべく圧縮される。格納された画像は部分に分割され、その部分は、画像統計ブロックがサブ画像統計を収集可能になるように、画像統計ブロックによって別々に処理される。また、格納された画像は、画像ブロックにも分割できる。画像全体または特定の画像ブロックのみが、画素落ち補正目的のために複数回前処理される。各実行において、新しいルックアップテーブルが前処理ブロックにロードされ、必要なパラメータセットが提供される。ルックアップテーブルは、前処理モジュール内部に設けられることができる。各ルックアップテーブルは、１００また１０００個の位置や補正を有していてもよい。画像に多数の欠陥が存在する場合、異なる欠陥画素位置が各実行において補正されるように、画像の異なる領域を前処理することが有益でありうる。ルックアップ値は、例えば、他のメモリからダウンロードできる。同様に、例えばシェーディング補正のために前処理ブロックを介して画像が処理される場合、関連のパラメータセットおよびアルゴリズムが前処理ブロックに提供される。
【００３０】
画像の圧縮／解凍は、メモリ使用量を改善するが、システムの必須部分ではないことに留意されたい。圧縮および解凍は、前処理段階を含むか否かにかかわらず、画像のより小さい範囲に別々に適用できる。さらに、小さな画像データ（スライス／ブロック）を、圧縮されていない形式としてメモリに格納し、ハードウェアまたはソフトウェア前処理段階を、画像データを何度も圧縮したり解凍したりせずに行なうようにすることができる。
【００３１】
本発明により提供されうる利点は以下を含む。
【００３２】
Ａ）ＲＡＷ画像に使用するメモリの減少
・  所要の帯域幅の減少。
・  メモリバスにおけるアクティビティの減少。
・  所要の記憶領域の減少。これは小型のメモリチップを使用可能とする。
・  解像度のより高いセンサが使用可能になること。
【００３３】
Ｂ）リアルタイムの不必要性
・  所要の帯域幅の減少。
・  より高い解像度のセンサおよびより高速なインターフェースが使用可能になること。
・  ストライプ、スライス、またはブロックとして画像が処理可能になること。
・  画像クロックおよび処理部クロックの同期の必要性がないこと。
・  画像の受信または画像の処理が、他のものよりも高速に行なわれることが可能になること。
【００３４】
Ｃ）多相前処理および統計計算
・  更なるハードウェアを追加しなくても、統計がより正確になること。
・  より簡略化されたハードウェアで、様々な画像部分に対して画像処理を改善できること。したがって、複数回の実行処理という構成により、前処理ブロックを小型化することができ、ルックアップテーブルのサイズも小さくできる。
【００３５】
Ｄ）繰り返しに中に画像の同一部分を異なる方式で処理する可能性
・  スライス／ストライプ／ブロック処理。
・  サブ画像毎に調節される最適化パラメータによるサブ画像処理。
【００３６】
Ｅ）より低い電力消費で、より高速かつ高品質の処理
・  ハードウェアパイプラインの利用が可能になること。
・  新しい前処理アルゴリズム、メイン処理アルゴリズム、または後処理アルゴリズムを使用する可能性を可能にすること。
・  前処理ハードウェアブロックが、マルチパスアプローチにおける必要性に適合するように構成できること。例えば、光が混じり合う条件において、異なる部分の画像に対しては異なるホワイトバランス利得を得るようにすることができる。
【００３７】
画像符号化において、圧縮された画像は、ハードウェアによって復号可能であり、また、ライン毎にメモリモジュールから処理できる。したがって、総メモリ消費は少なくなる。
【００３８】
概して、本発明は、図５に示すように、画像データを前処理するための方法を提供する。この方法は、ＲＡＷ画像をメモリモジュールに格納すること；前処理モジュールを前記メモリモジュールに接続して処理ループを形成すること、ただし前記前処理モジュールの動作は複数の前処理パラメータセットに関連付けられている、前記形成すること；前記前処理モジュールが前記画像を複数回前処理できるように、該画像を、前記ループを経由して、前記メモリモジュールから前記前処理モジュールへ送ること、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記送ること；を含む。
【００３９】
この方法は、前記画像を前記メモリモジュールに格納する前に、圧縮された画像を供給するべく前記画像を圧縮すること；前記圧縮された画像を前記メモリモジュールから取り出すこと；前記画像を前記前処理モジュールに送る前に、前記取り出した画像を解凍すること；をさらに含む。
【００４０】
従って、本発明は、圧縮された画像を提供するべく、ＲＡＷ画像を圧縮するように構成される圧縮モジュール；前記圧縮された画像を格納するためのメモリモジュール；解凍された画像を提供するべく、前記格納された画像を、前記メモリモジュールから取り出すように構成される解凍モジュール；前記解凍された画像を受けとるように解凍モジュールに接続される前処理モジュール；を備え、前記圧縮モジュール，前記メモリモジュール，前記解凍モジュール，および前記前処理モジュールは、ループを形成するように配置され、前記前処理モジュールは、該前処理モジュールが前記格納された画像を複数回前処理しうるように、その動作が複数の前処理パラメータセットに関連付けられ、ただし前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、画像処理アーキテクチャを提供する。
【００４１】
また、上記アーキテクチャは、ＲＡＷ画像が前処理モジュールにおいて複数回圧縮、格納、解凍、および処理された後に、供給された画像をさらに処理するために、前処理モジュールに協働するように接続されるメイン処理モジュールも備える。
【００４２】
上記画像処理アーキテクチャおよび方法は、図６に示すように、撮影装置に使用できる。図６に示すように、撮影装置１００は、処理するためのＲＡＷ画像データを取得する画像取得ブロック５を備える。画像取得ブロック５は、ＲＡＷ画像データを前処理ループ５２に提供するために、画像形成および撮影用の光学素子ならびにセンサを含んでもよい。画像取得ブロック５は、ＲＡＷ画像データを遠隔ソースまたは接続ソースから受信するための受信機を有するだけでもよい。受信されたＲＡＷ画像データは、圧縮された形式であるかもしれず、圧縮されていない形式であるかもしれない。撮影装置１００は、上述のように、メイン処理ブロック７０、リアルタイム機能ブロック９０、記憶装置ユニット８０を含む画像統計ブロック６０をさらに備える。また、撮影装置１００は、画像データをディスプレイ９８に提供するために、後処理ブロック７４も含んでもよい。代替的に、処理された画像データは、送信機１２０を介して、別の装置またはネットワーク構成要素に送られることが出来る。
【００４３】
以上、本発明について、本発明の１つ以上の実施形態に関して説明したが、その形式および詳細における前述のおよび種々の他の変更、省略、および逸脱は、本発明の範囲を逸脱することなく加えられてもよいことを理解されたい。
【図１】
2010515326.tif 000003
【図２】
2010515326.tif 000004
【図３】
2010515326.tif 000005
【図４】
2010515326.tif 000006
【図５】
2010515326.tif 000007
【図６】
2010515326.tif 000008
【手続補正書】
【提出日】平成21年6月25日(2009.6.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＲＡＷ画像データをメモリモジュールに格納すること；
前記ＲＡＷ画像データを複数回前処理するべく、該ＲＡＷ画像データを、ループを経由して、前記メモリモジュールから前処理モジュールへ送ること、ただし前記前処理モジュールは複数の前処理パラメータにアクセスするように構成され、前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、前記送ること；
を含む、方法。
【請求項２】
前記ＲＡＷ画像データを前記メモリモジュールに格納する前に、圧縮された画像を供給するべく前記ＲＡＷ画像データを圧縮すること；
前記圧縮された画像を前記メモリモジュールから取り出すこと；
前記ＲＡＷ画像データを前記前処理モジュールに送る前に、前記取り出した画像を解凍すること；
をさらに含む、請求項１に記載の方法。
【請求項３】
前記ループによる前記前処理とは異なるメモリ内処理において前記画像をさらに前処理することをさらに含む、請求項１又は２に記載の方法。
【請求項４】
圧縮されたＲＡＷ画像データを受け取り格納するように構成され、第１のポート及び前記第１のポートとは異なる第２のポートとを備えるメモリモジュールと；
前記第１のポートを介して前記メモリモジュールから前記圧縮されたＲＡＷ画像データを読み出し、解凍された画像データを得るべく前記読み出したデータを解凍し、前処理された画像データを得るべく前記解凍された画像データを前処理し、前記前処理された画像データを前記第２のポートを介して前記メモリモジュールへと送ることを繰り返すことにより、前記ＲＡＷ画像データを複数回前処理するように構成される前処理部と；
を備える装置。
【請求項５】
前記前処理された画像データを前記メモリモジュールに送る前に前記前処理された画像データを圧縮するべく前記前処理部に協働するように接続される圧縮部と；
前記解凍を行うべく前記前処理部に協働するように接続される解凍部と；
をさらに備える、請求項４に記載の装置。
【請求項６】
メモリ内処理によって前記圧縮されたＲＡＷ画像データをさらに前処理するために、前記メモリモジュールに接続される別の前処理モジュールをさらに備える、請求項５に記載の装置。
【請求項７】
圧縮されたＲＡＷ画像データを格納し、第１のポート及び前記第１のポートとは異なる第２のポートとを備えるメモリモジュール；
解凍された画像データを提供するべく、前記格納された圧縮画像データを、前記第１のポートを介して前記メモリモジュールから取り出すように構成される解凍モジュール；
前記解凍モジュールに接続して前記解凍された画像データを受けとると共に、前処理された画像データを提供すべく、該解凍された画像データを前処理するように構成される前処理モジュール；
前記前処理モジュールに接続され、前記前処理された画像データを圧縮すると共に、前記圧縮した前処理済みデータを前記第２のポート経由で前記メモリモジュールへと送信する圧縮モジュール；を備え、前記前処理モジュールが前記ＲＡＷ画像データを複数回前処理することを可能とすべく、前記圧縮モジュール，前記メモリモジュール，前記解凍モジュール，および前記前処理モジュールは、ループを形成するように構成される、画像処理アーキテクチャ。
【請求項８】
前記前処理モジュールにおいて複数回処理した後に、前記ＲＡＷ画像データをさらに処理するための、前記前処理モジュールに協働するように接続される更なる処理モジュールをさらに備える、請求項７に記載の画像処理アーキテクチャ。
【請求項９】
前記更なる処理には、カラーフィルタアレイ補間およびホワイトバランス処理が含まれる、請求項８に記載の画像処理アーキテクチャ。
【請求項１０】
前記解凍モジュール及び前記前処理モジュールは、前記画像を受け取ると共に該受け取った画像をそのまま前記圧縮モジュールに送信するバイパスモードで動作しうるように構成され、それによって前記圧縮モジュールが、前記メモリモジュールに前記圧縮されたＲＡＷ画像データを提供しうるようにされる、請求項９に記載の画像処理アーキテクチャ。
【請求項１１】
画像を取得するためのメカニズムと、
前記画像のＲＡＷ画像データが圧縮されたものを格納するためのメモリモジュールと、
前記第１のポートを介して前記メモリモジュールから前記圧縮されたＲＡＷ画像データを読み出し、解凍された画像データを得るべく前記読み出したデータを解凍し、前処理された画像データを得るべく前記解凍された画像データを前処理し、前記前処理された画像データを前記第２のポートを介して前記メモリモジュールへと送ることを繰り返すことにより、前記ＲＡＷ画像データを複数回前処理するように構成される前処理部と；
を備える、撮影装置。
【請求項１２】
前記前処理された画像データを前記メモリモジュールに送る前に前記前処理された画像データを圧縮するべく前記前処理部に協働するように接続される圧縮部と；
前記解凍を行うべく前記前処理部に協働するように接続される解凍部と；
をさらに備える、請求項１１に記載の撮影装置。
【請求項１３】
前記メカニズムは前記画像を撮影するための画像センサを備える、請求項１１又は１２に記載の撮影装置。
【請求項１４】
前記画像センサ上にイメージを形成するための撮像光学素子をさらに備える、請求項１３に記載の撮影装置。
【請求項１５】
前記メカニズムは、前記画像の画像データを受信するための受信機を備える、請求項１１から１４のいずれかに記載の撮影装置。
【請求項１６】
前記前処理モジュールは、前処理されたデータを提供するように構成され、
前記前処理されたデータを受け取るように前記前処理部に接続されるメイン処理モジュールをさらに備える、
請求項１１から１５のいずれかに記載の撮影装置。
【請求項１７】
前記メイン処理モジュールは、さらに処理された画像データを提供するように構成され、
前記さらに処理された画像データを処理するように前記メイン処理モジュールに接続される後処理モジュールをさらに備える、
請求項１６に記載の撮影装置。
【請求項１８】
前記後処理モジュールは、後処理された画像データを提供するように構成され、
前記後処理された画像データを受け取るように前記後処理モジュールに接続されるディスプレイをさらに備える、
請求項１７に記載の撮影装置。
【請求項１９】
前記後処理モジュールは、後処理された画像データを提供するように構成され、
送信するために、前記後処理された画像データを受け取るように前記後処理モジュールに接続される送信モジュールをさらに備える、
請求項１７又は１８に記載の撮影装置。
【請求項２０】
前記メイン処理モジュールは、さらに処理された画像データを提供するように構成され、
送信するために、前記さらに処理された画像データを受け取るように前記主要モジュールに接続される送信モジュールをさらに備える、
請求項１６から１９のいずれかに記載の撮影装置。
【請求項２１】
前記ＲＡＷ画像データを前記前処理モジュールで複数回処理した後に、前記ＲＡＷ画像データをさらに処理するための、前記前処理モジュールに協働するように接続される、更なる処理モジュール、
をさらに備える、請求項１１から２０のいずれかに記載の撮影装置。
【請求項２２】
デジタルカメラとして構成される、請求項１１から２１のいずれかに記載の撮影装置。
【請求項２３】
携帯電話機として構成される、請求項１１から２１のいずれかに記載の撮影装置。
【請求項２４】
前記前処理部は、前記解凍された画像データを前処理するために複数の前処理パラメータセットにアクセスするように構成され、ここで前記複数回のうちの少なくともいくつかの前処理に使用される前記パラメータセットは、前記複数回のうちの他の前処理に使用される前記パラメータセットとは異なる、請求項４から６のいずれかに記載の装置。
【国際調査報告】
2010515326.tif 000009
2010515326.tif 000010
2010515326.tif 000011