(57)【要約】【課題】画質を優先した画像処理と、消費電力を抑えることを優先した画像処理とのいずれかを、選択して行う。【解決手段】イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、イメージセンサから得られた画像信号に基づいて補正信号を生成する前処理回路と、画像信号を、補正信号を用いて補正し、かつ、輝度信号及び色差信号に変換する信号処理回路と、制御ブロックとを備える。制御ブロックは、信号処理回路に与えられる画像のフレームよりも前のフレームの画像に基づく補正信号が信号処理回路で用いられるようにする第１の処理と、イメージセンサから得られた画像信号を外部メモリに格納させ、格納された画像が読み出されて信号処理回路に与えられるようにし、かつ、この画像と同一のフレームの画像に基づく補正信号が信号処理回路で用いられるようにする第２の処理とのうちのいずれかを行う。【選択図】      図１
2004289375.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、
前記イメージセンサから得られた画像信号に基づいて、これを補正するための補正信号を生成して出力する前処理回路と、
前記イメージセンサから得られた画像信号を、前記補正信号を用いて補正し、かつ、輝度信号及び色差信号に変換して出力する信号処理回路と、
前記信号処理回路に与えられる画像のフレームよりも前のフレームの画像に基づいて生成された前記補正信号が前記信号処理回路で用いられるようにする第１の処理と、前記イメージセンサから得られた画像信号を当該画像処理装置の外部に設けられた外部メモリに格納させ、格納された画像が読み出されて前記信号処理回路に与えられるようにし、かつ、この画像と同一のフレームの画像に基づいて生成された前記補正信号が前記信号処理回路で用いられるようにする第２の処理とのうちのいずれかを行う制御ブロックとを備える
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御ブロックが前記第１及び第２の処理のうちのいずれを行うべきかを判断し、前記制御ブロックに指示を行う判断部を更に備える
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記補正信号は、
黒レベル補正信号及びホワイトバランス補正信号のうちの少なくとも一方である
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
内部メモリを更に備え、
前記信号処理回路は、
前記第１の処理が行われる場合には、前記内部メモリを用いて処理を行うものであり、
前記判断部は、
前記第１の処理が行われる場合には、前記外部メモリが消費する電力を低下させるように制御する信号を出力するものである
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記外部メモリは、
当該画像処理装置に着脱可能なように構成されているものである
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記信号処理回路は、
前記輝度信号及び色差信号に基づいて画像の圧縮符号化を更に行い、得られた符号を出力するものである
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置と、
前記画像処理装置に画像信号を出力するイメージセンサと、
前記画像処理装置が出力する符号を記録媒体に書き込む記録装置とを備えるカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力された信号を処理して出力する画像処理装置に関する。
【０００２】
【従来の技術】
イメージセンサとしてＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイス等を用いたデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラ等のデジタル式のカメラにおいては、イメージセンサから読み出された画像信号に対して画像処理装置が画像処理を行い、その結果を表示装置や記録装置に出力する。画像処理としては、黒レベルの補正やホワイトバランスの補正等が行われる。
【０００３】
図３は、従来のカメラの構成の例を示すブロック図である。図３において、イメージセンサ９１２からライン単位で読み出された画像信号は、ＡＤ変換器（ＡＤＣ）９１３でデジタル信号に変換され、前処理回路９２６及び信号処理回路９２８に与えられる。前処理回路９２６は、入力された画像信号に基づいて補正信号を生成し、信号処理回路９２８に出力する。前処理回路９２６は、１フレーム分の画像信号が入力されると、初めてそのフレームの画像に基づく補正信号を出力することができる。したがって、信号処理回路９２８は、処理対象の画像を、そのフレームよりも１フレーム前の画像に基づく補正信号を用いて補正することになる。
【０００４】
このような図３のカメラによると、被写体が大きく動いた場合等には、適切な補正ができないので、処理後の画像の画質が低くなることがある。そこで、この点を改善した、次のようなカメラも知られている。
【０００５】
図４は、従来のカメラの構成の他の例を示すブロック図である（例えば、ほぼ同様のものが特許文献１に開示されている）。図４において、イメージセンサ９１２からライン単位で読み出された画像信号は、ＡＤ変換器９１３でデジタル信号に変換され、前処理回路９２６に与えられる他、バッファメモリ９２４に格納される。前処理回路９２６は、図３の場合と同様に、入力された画像信号に基づいて補正信号を生成し、信号処理回路９２８に出力する。信号処理回路９２８は、バッファメモリ９２４に格納された画像を、格納されて始めてから１フレーム分の時間が経過後に、読み出し始める。
【０００６】
図４のカメラによると、信号処理回路９２８は、処理対象の画像を、この画像に基づく補正信号を用いて補正することになるので、高画質の画像を得ることができる。
【０００７】
【特許文献１】
特開平３−７４９８０号公報（第４図）
【０００８】
【発明が解決しようとする課題】
しかし、画像を一旦格納するためにバッファメモリを用いると、消費電力が増大する。また、バッファメモリは画像処理装置の外部に外部メモリとして接続されることが多く、消費電力が大きい。これらの点は、電池を電源として用いることが多い携帯型のカメラにおいては大きな問題となる。そこで、必要な場合にのみ、バッファメモリを用いた処理を行うようにすることが望まれている。
【０００９】
また、システム全体のコスト削減のために、外部メモリを備えないようにすることがある。近年、画像処理装置の開発コストを低減させることが強く要求されるようになってきており、１種類の画像処理装置を外部メモリを備えるシステム及び外部メモリを備えないシステムのいずれにも用いることができるようにすることが望まれている。
【００１０】
本発明は、画質を優先した画像処理と、消費電力を抑えることを優先した画像処理とのいずれかを、必要に応じて選択して行うことができる画像処理装置を提供することを目的とする。また、本発明は、多くのシステムにおいて用いることができる、汎用性が高い画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記課題を解決するため、請求項１の発明が講じた手段は、イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、前記イメージセンサから得られた画像信号に基づいて、これを補正するための補正信号を生成して出力する前処理回路と、前記イメージセンサから得られた画像信号を、前記補正信号を用いて補正し、かつ、輝度信号及び色差信号に変換して出力する信号処理回路と、前記信号処理回路に与えられる画像のフレームよりも前のフレームの画像に基づいて生成された前記補正信号が前記信号処理回路で用いられるようにする第１の処理と、前記イメージセンサから得られた画像信号を当該画像処理装置の外部に設けられた外部メモリに格納させ、格納された画像が読み出されて前記信号処理回路に与えられるようにし、かつ、この画像と同一のフレームの画像に基づいて生成された前記補正信号が前記信号処理回路で用いられるようにする第２の処理とのうちのいずれかを行う制御ブロックとを備えるものである。
【００１２】
請求項１の発明によると、外部メモリを使わない処理と、信号処理回路において、処理対象の画像を、これと同一の画像に基づいて生成された補正信号を用いて補正する処理とを使い分けることができる。したがって、状況に応じて適切な処理を行うことができる。また、外部メモリの有無にかかわらず動作する画像処理装置を提供することができる。
【００１３】
請求項２の発明は、請求項１に記載の画像処理装置において、前記制御ブロックが前記第１及び第２の処理のうちのいずれを行うべきかを判断し、前記制御ブロックに指示を行う判断部を更に備えるものである。
【００１４】
請求項２の発明によると、消費電力を低減させる必要があると判断した場合には第１の処理を行うように、画質を高くする必要があると判断した場合には第２の処理を行うように、制御ブロックに指示を行うことができるので、状況に応じて適切な処理が行われるようにすることができる。
【００１５】
請求項３の発明では、請求項１に記載の画像処理装置において、前記補正信号は、黒レベル補正信号及びホワイトバランス補正信号のうちの少なくとも一方であることを特徴とする。
【００１６】
請求項４の発明は、請求項１に記載の画像処理装置において、内部メモリを更に備え、前記信号処理回路は、前記第１の処理が行われる場合には、前記内部メモリを用いて処理を行うものであり、前記判断部は、前記第１の処理が行われる場合には、前記外部メモリが消費する電力を低下させるように制御する信号を出力するものである。
【００１７】
請求項４の発明によると、動作させる必要がない外部メモリで消費する電力を抑えることができる。
【００１８】
請求項５の発明では、請求項１に記載の画像処理装置において、前記外部メモリは、当該画像処理装置に着脱可能なように構成されているものである。
【００１９】
請求項５の発明によると、外部メモリを用いて高画質処理を可能にすることと、外部メモリを備えずに低コスト化を図ることとのいずれかを容易に選択することができる。
【００２０】
請求項６の発明では、請求項１に記載の画像処理装置において、前記信号処理回路は、前記輝度信号及び色差信号に基づいて画像の圧縮符号化を更に行い、得られた符号を出力するものである。
【００２１】
請求項６の発明によると、記録や転送のために適した、画像が圧縮された符号を得ることができる。
【００２２】
請求項７の発明は、カメラとして、請求項６に記載の画像処理装置と、前記画像処理装置に画像信号を出力するイメージセンサと、前記画像処理装置が出力する符号を記録媒体に書き込む記録装置とを備えるものである。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２４】
図１は、本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。図１のカメラは、例えばデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラである。図１のカメラは、画像処理装置１００と、イメージセンサ１２と、ＡＤ変換器（ＡＤＣ）１３と、記録装置１４と、表示装置１５と、外部メモリ１６と、電源回路１７とを備えている。また、画像処理装置１００は、制御ブロック２２と、外部メモリ制御回路２４と、前処理回路２６と、信号処理回路２８と、判断部３２と、内部メモリ３４と、出力部３６とを備えている。判断部３２は、例えばＣＰＵである。
【００２５】
イメージセンサ１２は、例えばＣＣＤやＣＭＯＳ撮像デバイスである。イメージセンサ１２は、画像信号をＡＤ変換器１３に出力する。ＡＤ変換器１３は、入力された信号をデジタル信号に変換して、制御ブロック２２に出力する。
【００２６】
外部メモリ１６は、フレームメモリとして用いられ、画像処理装置１００において処理対象とする画像の最大のものを１画面以上格納することができる容量を有しているものとする。外部メモリ１６は、画像処理装置１００に着脱可能に構成されている。電源回路１７は、判断部３２の指示に従って、外部メモリ１６に電力を供給している。
【００２７】
制御ブロック２２は、判断部３２の指示に従って、入力された画像信号を外部メモリ制御回路２４、前処理回路２６、及び信号処理回路２８に出力し、更に、外部メモリ制御回路２４の動作を制御する。外部メモリ制御回路２４は、制御ブロック２２、前処理回路２６、及び信号処理回路２８のそれぞれと、外部メモリ１６との間における画像信号の転送を制御する。
【００２８】
前処理回路２６は、制御ブロック２２又は外部メモリ制御回路２４から受け取った画像信号に基づいて、補正信号として黒レベル補正信号（ＯＢ信号）及びホワイトバランス補正信号（ＡＷＢ信号）のうちの少なくとも一方を生成して、信号処理回路２８に出力する。
【００２９】
信号処理回路２８は、制御ブロック２２又は外部メモリ制御回路２４から受け取った画像信号に対して、前処理回路２６から受け取った補正信号を用いた補正処理を行い、更に輝度信号及び色差信号（以下では、これらをＹＣ信号と称する）への変換を行って、出力部３６に出力する。補正処理としては、具体的には、画像信号から黒レベル補正信号を差し引く処理と、ホワイトバランス補正信号に応じて色を補正する処理とを行う。
【００３０】
また、信号処理回路２８は、記録すべき画像に対しては、更にＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｉｍａｇｅ  ｃｏｄｉｎｇ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）方式による圧縮符号化を行い、得られたＪＰＥＧ符号を出力部３６に出力する。信号処理回路２８は、内部メモリ３４又は外部メモリ１６を用いて処理を行うことができる。
【００３１】
判断部３２は、状況に応じて制御ブロック２２が行うべき処理を選択し、選択された処理を行うように制御ブロック２２に指示を行う。内部メモリ３４は、画像を行を単位として格納するラインメモリである。
【００３２】
出力部３６は、バッファを有し、信号処理回路２８の出力を、記録装置１４における記録媒体への書き込み、及び表示装置１５における表示に適した形式の信号に変換して出力する、インタフェースとして動作する。出力部３６は、ＪＰＥＧ符号、及びＹＣ信号を必要に応じて変換して、それぞれを記録装置１４及び表示装置１５に出力する。記録装置１４は、入力されたＪＰＥＧ符号をメモリカード等の記録媒体に書き込む。表示装置１５は、入力されたＹＣ信号を表示する。
【００３３】
図２（ａ）は、図１の画像処理装置において、外部メモリ１６を用いない場合の動作を示すタイミングチャートである。図２（ｂ）は、図１の画像処理装置において、外部メモリ１６を用いる場合の動作を示すタイミングチャートである。ここでは、ｎ番目（ｎは整数）のフレームの画像を記録する場合について説明する。
【００３４】
図２（ａ）の場合は、制御ブロック２２は、信号処理回路２８に、この回路に与えられるｎ番目のフレームの画像（図では、画像（ｎ）と表記する）よりも前のｎ−１番目のフレームの画像に基づいて生成された補正信号（図では、補正信号（ｎ−１）と表記する）を与える処理（第１の処理）を行う。
【００３５】
すなわち、ｎ−１番目のフレームの画像を表す画像信号が入力されると、制御ブロック２２は、判断部３２の指示に従って、これを前処理回路２６及び信号処理回路２８に出力する。すると、前処理回路２６は、入力されたｎ−１番目のフレームの画像に基づいて、補正信号（ＯＢ信号及びＡＷＢ信号）の生成を開始する。このフレームの画像の入力が終了すると、前処理回路２６は、生成した補正信号を信号処理回路２８に出力する。
【００３６】
ｎ−１番目のフレームの画像の入力が終了すると、制御ブロック２２には、ｎ番目のフレームの画像が入力される。制御ブロック２２は、判断部３２の指示に従って、これを前処理回路２６及び信号処理回路２８に出力する。信号処理回路２８は、前処理回路２６が出力する、ｎ−１番目のフレームの画像に基づく補正信号を用いて、ｎ番目のフレームの画像について、補正処理とＹＣ信号の生成とを開始し、得られたＹＣ信号を順次、出力部３６に出力する。また、信号処理回路２８は、必要に応じて、ＹＣ信号に基づいてＪＰＥＧ方式によるｎ番目のフレームの画像に対する圧縮符号化を行い、得られた結果を順次、出力部３６に出力する。
【００３７】
このように、図２（ａ）の場合、外部メモリ１６を用いないので、消費電力を抑えることを優先した画像処理を行うことができる。また、イメージセンサから出力された、ｎ番目のフレームの画像を表す画像信号がすぐに信号処理回路２８で処理されるので、このフレームの画像が遅れなく表示装置に表示されるようにすることができ、被写体を追跡しやすいという点では有利である。
【００３８】
しかし、信号処理回路２８に与えられるｎ番目のフレームの画像は、ｎ−１番目のフレームの画像に基づいて生成された補正信号を用いて補正される。したがって、ｎ番目のフレームの画像とｎ−１番目のフレームの画像との間に大きな違いがあると、補正信号が適切なものとならず、得られる画像の画質が低下する可能性がある。
【００３９】
一方、図２（ｂ）の場合は、制御ブロック２２は、信号処理回路２８に、この回路に与えられるｎ番目のフレームの画像と同一の画像に基づいて生成された補正信号を与える処理（第２の処理）を行う。
【００４０】
すなわち、ｎ番目のフレームの画像を表す画像信号が入力されると、制御ブロック２２は、判断部３２の指示に従って、これを前処理回路２６出力するとともに、外部メモリ１６に格納させる。すると、前処理回路２６は、入力されたｎ番目のフレームの画像に基づいて、補正信号の生成を開始する。このフレームの画像の入力が終了すると、前処理回路２６は、生成した補正信号を信号処理回路２８に出力する。
【００４１】
その後、制御ブロック２２は、外部メモリ１６からｎ番目のフレームの画像を読み出して信号処理回路２８に与える。信号処理回路２８は、前処理回路２６が出力する、ｎ番目のフレームの画像に基づく補正信号を用いて、ｎ番目のフレームの画像について、補正処理とＹＣ信号の生成とを開始し、得られたＹＣ信号を順次、出力部３６に出力する。また、信号処理回路２８は、必要に応じてｎ番目のフレームの画像を圧縮符号化し、出力部３６に出力する。
【００４２】
このように、図２（ｂ）の場合、ｎ番目のフレームの画像は、このフレームの画像に基づく補正信号を用いて補正される。常に適切な補正信号が得られるので、高画質の画像を得ることができ、画質を優先した画像処理を行うことができる。
【００４３】
しかし、イメージセンサから出力された、ｎ番目のフレームの画像を表す画像信号が外部メモリ１６に格納され、１フレーム分の時間が経過してから信号処理回路２８で処理されるので、表示装置に表示される画像に遅れが生じる。
【００４４】
なお、外部メモリ１６が画像処理装置１００に接続されていない場合には、制御ブロック２２は、第１の処理を行うように構成されている。
【００４５】
次に、判断部３２の動作について説明する。判断部３２は、第１の処理によって行われる消費電力を抑えることを優先した画像処理と、第２の処理によって行われる画質を優先した画像処理とのいずれかを、必要に応じて選択し、選択された処理を行うように制御ブロック２２に指示をする。
【００４６】
例えば、図１のカメラが電池で駆動されている場合において、判断部３２は、電池の残量を検知する回路から電池の残量を示す信号ＢＴを受けているとする。電池の残量が所定の値以下である場合には、判断部３２は、消費電力を低減させる必要があると判断し、第１の処理を行うように制御ブロック２２に指示をする。
【００４７】
また、設定された動作モードに応じて処理を選択してもよい。例えば、判断部３２は、動作モードを示す信号ＭＳを受けており、信号ＭＳが低画質モードに設定されていることを示す場合には第１の処理を行うように、高画質モードに設定されていることを示す場合には第２の処理を行うように、制御ブロック２２に指示をする。
【００４８】
また、過去のＯＢ信号又はＡＷＢ信号等の補正信号に基づいて処理を選択してもよい。例えば、現在までの所定の長さの期間において、ＯＢ信号やＡＷＢ信号の値の変化が所定の値以内である場合には、処理対象のフレームの画像に基づく補正信号と、その前のフレームの画像に基づく補正信号との間には大きな差はないと考えられる。このような場合には、判断部３２は、第１の処理を行うように制御ブロック２２に指示をして、消費電力を抑えることができる。
【００４９】
これに対して、現在までの所定の長さの期間において、ＯＢ信号やＡＷＢ信号の値の変化が所定の値を越えている場合や、現在までの所定の長さの期間におけるこれらの信号の値が得られていない場合（例えば、起動してすぐに撮影する場合）には、判断部３２は、第２の処理を行うように制御ブロック２２に指示をする。
【００５０】
また、判断部３２は、ＯＢ信号又はＡＷＢ信号等の補正信号に基づく評価関数に応じて、第１及び第２の処理のうちのいずれを行うように制御ブロック２２に指示をするかを判断するようにしてもよい。
【００５１】
また、第１の処理が行われる場合には、判断部３２は、外部メモリ１６が消費する電力を低下させるように制御する制御信号ＭＰを電源回路１７に出力するようにしてもよい。制御信号ＭＰを受けると、電源回路１７は、外部メモリ１６に対する電力の供給を停止する。この場合、信号処理回路２８は、外部メモリ１６を用いず、内部メモリ３４を用いて処理を行うようにする。すると、消費する電力を低下させることができ、また、内部メモリ３４のみを用いるので、信号処理回路２８における処理の速度を向上させることができる。
【００５２】
また、判断部３２が制御信号ＭＰを出力すると、外部メモリ１６に与えるクロックの周波数を低下させるような回路を備えることとしてもよい。この場合にも、外部メモリ１６が消費する電力を低下させることができる。
【００５３】
また、外部メモリ１６が自身で消費する電力を低下させる機能を有していて、判断部３２が、消費電力を低下させるように制御する信号を外部メモリ１６に対して、直接又は外部メモリ制御回路２４を介して、出力するように構成されていてもよい。
【００５４】
【発明の効果】
以上のように、本発明によると、画質を優先した画像処理と、消費電力を抑えることを優先した画像処理とを必要に応じて使い分けることができる画像処理装置を得ることができる。また、外部メモリの有無にかかわらず動作することができるので、多くのシステムにおいて用いることができる、汎用性が高い画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。
【図２】（ａ）は、図１の画像処理装置において、外部メモリを用いない場合の動作を示すタイミングチャートである。
（ｂ）は、図１の画像処理装置において、外部メモリを用いる場合の動作を示すタイミングチャートである。
【図３】従来のカメラの構成の例を示すブロック図である。
【図４】従来のカメラの構成の他の例を示すブロック図である。
【符号の説明】
１２  イメージセンサ
１３  ＡＤ変換器
１４  記録装置
１５  表示装置
１６  外部メモリ
１７  電源回路
２２  制御ブロック
２４  外部メモリ制御回路
２６  前処理回路
２８  信号処理回路
３２  判断部
３４  内部メモリ
３６  出力部
１００  画像処理装置
【図１】
2004289375.tif 000003
【図２】
2004289375.tif 000004
【図３】
2004289375.tif 000005
【図４】
2004289375.tif 000006