(57)【要約】 【課題】  固体撮像素子から得られた色信号を圧縮処理するまでの工程において、省電力化と小型化を図ることのできる輝度・色差信号生成装置等を提供することを目的とするものである。【解決手段】  複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する手段と、任意の画素に係る複数の前記色信号から、画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する手段と、輝度信号及び色差信号を生成する画素を注目画素として設定する手段とにより、省電力化と小型化を図ることのできる輝度・色差信号生成装置等を提供する。【選択図】  図１          
2005278025.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、該画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、 
任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、
該輝度信号及び色差信号を生成する画素を注目画素として設定する設定手段と、
を有することを特徴とする輝度・色差信号生成装置。
【請求項２】
前記設定手段は、前記注目画素を、前記色属性として緑に係る色信号を出力する画素に設定することを特徴とする請求項１に記載された輝度・色差信号生成装置。                                             
【請求項３】
前記輝度・色差信号生成手段は、前記輝度信号と、１つの色差信号のみを生成することを特徴とする請求項１または請求項２に記載された輝度・色差信号生成装置。
【請求項４】
前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記注目画素が前記固体撮像素子上で奇数行に位置するときは、前記輝度信号と第１の色差信号を、偶数行に位置するときは、前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする請求項３に記載された輝度・色差信号生成装置。
【請求項５】
前記輝度・色差信号生成手段は、前記注目画素に係る前記色フィルタの色属性に応じて、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする請求項１に記載された輝度・色差信号生成装置。
【請求項６】
前記輝度・色差信号生成手段は、前記注目画素に係る前記色属性が緑のときは輝度信号を生成し、赤のときは第１の色差信号を生成し、青のときは前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする請求項５に記載された輝度・色差信号生成装置。
【請求項７】
複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、
任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、
前記固体撮像素子上の特定行、又は、特定列に属する画素を、前記輝度信号及び色差信号を生成する注目画素として設定する設定手段と、
を有することを特徴とする輝度・色差信号生成装置。
【請求項８】
前記設定手段は、前記特定行とする行または、特定列とする列を一定パターンに従って設定することを特徴とする請求項７に記載された輝度・色差信号生成装置。
【請求項９】
前記輝度・色差信号生成手段は、前記特定行、または、前記特定列ごとに、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする請求項７に記載された輝度・色差信号生成装置。
【請求項１０】
前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記特定行が奇数行のときは前記輝度信号と第１の色差信号を、偶数行のときは前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を夫々生成し、または、前記特定列が奇数列のときは前記輝度信号と第１の色差信号を、偶数列のときは前記輝度信号と前記第1の色差信号とは異なる第２の色差信号を夫々生成することを特徴とする請求項７に記載された輝度・色差信号生成装置。
【請求項１１】
処理対象の異なる複数の前記輝度・色差信号生成手段と、
前記複数の輝度・色差信号生成手段から対応する輝度・色差信号生成手段を選択する選択手段と、
を更に有することを特徴とする請求項１または請求項７に記載された輝度・色差信号生成装置。
【請求項１２】
前記補間手段は、前記任意の画素の近傍に位置する画素の色信号から、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を演算することを特徴とする請求項１または請求項７に記載された輝度・色差信号生成装置。
【請求項１３】
請求項１または請求項７に記載された輝度・色差信号生成装置と、
前記輝度・色差信号生成装置から出力される輝度信号及び色差信号に対して、各信号ごとにブロック単位で空間周波数成分を算出する周波数変換手段と、
前記空間周波数成分を量子化する量子化手段と、
量子化された前記空間周波数成分を符号化する符号化手段と、
を備える画像圧縮部と、
を有することを特徴とする画像圧縮装置。
【請求項１４】
請求項１３に記載の画像圧縮装置と、
前記画像圧縮装置からの出力から、前記量子化された空間周波数成分を復号化する復号化手段と、
復号化された前記空間周波数成分を逆量子化する逆量子化手段と、
逆量子化された前記空間周波数成分に基づいて、前記ブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段と、
を備える画像伸長部と、
前記画像伸長部から出力される前記輝度信号、色差信号を外部機器が要求する出力フォーマットに変換するフォーマット変換手段と、
を有することを特徴とする画像処理システム。
【請求項１５】
前記フォーマット変換手段は、前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、
前記画像信号生成手段からの前記色信号に対して、前記注目画素以外の画素に係る色信号を補間処理する色信号生成手段と、
を有することを特徴とする請求項１４に記載された画像処理システム。
【請求項１６】
前記フォーマット変換手段は、前記輝度信号及び色差信号から、前記注目画素以外の画素に係る輝度信号及び色差信号を補間する輝度・色差信号補間手段と、
前記輝度・色差信号補間手段からの前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、
を有することを特徴とする請求項１４に記載された画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色信号から輝度信号、色差信号を生成処理する輝度・色差信号生成装置、色信号から生成された輝度信号、色差信号を圧縮処理する画像圧縮装置、及び色信号から生成された輝度信号、色差信号の圧縮、伸長、及び再生処理を行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な輝度・色差信号生成装置、画像圧縮装置、及び画像処理システムに関する。
【背景技術】
【０００２】
従来の一般的な画像処理システムは、図１２に示すように、撮像装置１０１に、被写体からの光を受光し、受光量に応じた色信号を出力する固体撮像素子が備えられており、固体撮像素子からの色信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置１０２の処理を介して転送される。画像データ圧縮装置１０２は、入力された画像データに対してＪＰＥＧ（Joint  Photograhic  ExpertGroup）や、ＭＰＥＧ（Moving  Picture  ExpertGroup）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。
【０００３】
ところで、固体撮像素子を単板式であると仮定すると、従来の撮像装置１０１においては、画像データ圧縮装置１０２での圧縮処理による画像データの劣化を軽減するために、撮像によって得られた色信号を補間処理によって、色信号の総数に対して信号の総数が３倍になる色信号Ｒ（赤）、Ｇ（緑）、Ｂ（青）に変換し、その後、これらの色信号に対して色空間変換処理を施すことによって、画像データ圧縮装置１０２への入力信号である輝度信号Ｙ、色差信号Ｕ、Ｖを生成していた。
【０００４】
そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置１０３は、規格に基づいた伸長処理を行い、得られた輝度信号Ｙ、色差信号Ｕ、Ｖに対して画像再生装置１０４は、色空間変換処理の逆演算によって、これらの信号を色信号Ｒ、Ｇ、Ｂに変換して画像として表示していた。
【０００５】
以下、このような撮像装置１０１と、撮像装置１０１から出力される画像データを圧縮処理する画像データ圧縮装置１０２と、画像データ圧縮装置１０２から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置１０３と、画像再生装置１０４からなる画像処理システムについて、更に詳細に説明する。
【０００６】
撮像装置１０１の前段部２０１は、図１３に示すように、色フィルタ２０１１と、固体撮像素子２０１２と、補間処理手段２０１３と、輝度・色差信号生成手段２０１４とを備えている。色フィルタ２０１１は、例えば図２（Ａ）に示すように、Ｒ、Ｇ、Ｂの各色フィルタがベイヤ配列されており、被写体からの光が色フィルタ２０１１を介して固体撮像素子２０１２に入射するように固体撮像素子２０１２の前面に貼付されている。
【０００７】
固体撮像素子２０１２は、色フィルタ２０１１を介して被写体からの光を受光し、受光量に応じた色信号を出力するものであり、色フィルタ２０１１の各色フィルタに対応した複数の受光素子を備えている。固体撮像素子２０１２からの出力は色信号として補間処理手段２０１３に入力される。
【０００８】
補間処理手段２０１３は、固体撮像素子２０１２から出力された色信号に基づいて、各画素ごとに補間処理を行い、色信号Ｒ、Ｇ、Ｂを生成する回路であり、色信号Ｒ、Ｇ、Ｂは、輝度・色差信号生成手段２０１４に入力される。輝度・色差信号生成手段２０１４は、補間処理手段２０１３から出力された色信号Ｒ、Ｇ、Ｂに基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものである。これら輝度信号Ｙ、色差信号Ｕ、Ｖは画像データとして、画像圧縮部２０２に入力される。
【０００９】
画像圧縮部２０２は、図１３に示すように、周波数変換手段２０２１と、量子化手段２０２２と、符号化手段２０２３とを備えている。周波数変換手段２０２１は、所定のブロック内の輝度信号Ｙ、色差信号Ｕ、Ｖに対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、１ブロックは、輝度信号Ｙ、色差信号Ｕ、Ｖのそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を１ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分に変換される。空間周波数成分は、量子化手段２０２２に入力される。
【００１０】
量子化手段２０２２は、周波数変換手段２０２１から出力された空間周波数成分に対して、量子化を施すものであり、量子化手段２０２２から出力される量子化された空間周波数成分は、符号化手段２０２３へ入力される。符号化手段２０２３は、量子化手段２０２２から出力される量子化された空間周波数成分に対して、符号データを形成するものである。例えば、ＪＰＥＧの規格では、量子化手段２０２２から出力される量子化された空間周波数成分に対して、ランレングス符号化、ハフマン符号化処理が施される。符号データは、画像伸長部２０３に入力される。
【００１１】
画像伸長部２０３は、図１３に示すように、復号化手段２０３１と、逆量子化手段２０３２と、逆周波数変換手段２０３３とを備えている。画像伸長部２０３は、画像圧縮部２０２で施した圧縮処理に対応した伸長処理を施すもので、輝度信号Ｙ、色差信号Ｕ、Ｖを出力する。例えば、ＪＰＥＧの規格では、ハフマン復号化、ランレングス復号化、逆量子化、逆ＤＣＴが施される。画像伸長部２０３から出力される輝度信号Ｙ、色差信号Ｕ、Ｖは、後段部２０４に入力される。
【００１２】
後段部２０４は、図１３に示すように、色信号生成手段２０４１を備えている。色信号生成手段２０４１は、画像伸長部２０３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに基づいて、色信号Ｒ、Ｇ、Ｂを生成するものである。
【００１３】
このように、従来の画像処理システムでは、固体撮像素子から得られた色信号から、各画素ごとの補間処理によって色信号Ｒ、Ｇ、Ｂを生成し、色信号Ｒ、Ｇ、Ｂから、色空間変換処理によって、輝度信号Ｙ、色差信号Ｕ、Ｖを生成しているため、処理データ量が多く、且つ多くの処理を必要としていた。したがって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、色信号Ｒ、Ｇ、Ｂ、及び輝度信号Ｙ、色差信号Ｕ、Ｖを保持する手段が必要であったため、小型化が困難であった。
【００１４】
このような撮像信号処理に関連して、単板式の撮像素子から出力されたベイヤ配列の色信号Ｒ、Ｇ、Ｂを、色信号ごとに分離し、分離された色信号Ｒ、Ｇ、Ｂを、圧縮手段による画質劣化が少なくなるように補間処理し、補間処理された色信号Ｒ、Ｇ、Ｂを圧縮する撮像信号処理手法について開示がなされている（例えば、特許文献１参照。）。
【特許文献１】特開平４−２８４０８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、この撮像信号処理手法においても、補間処理を行ってから圧縮処理を行うため、圧縮処理する際には、やはり処理データ量が増加してしまうという問題は解消できていない。
【００１６】
そこで、本発明は、上述の問題点に鑑みてなされたものであり、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを、処理データを低減して省電力で行うことによって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程において、省電力化と小型化を図ることのできる輝度・色差信号生成装置、画像圧縮装置、及び画像処理システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１７】
本発明は、上述の課題を解決するために、以下の手段を提案している。
請求項１に係る発明は、複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、該画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、該輝度信号及び色差信号を生成する画素を注目画素として設定する設定手段とを有することを特徴とする輝度・色差信号生成装置を提案している。
【００１８】
この発明によれば、輝度信号及び色差信号を生成する画素を注目画素として、注目画素に係る複数の色信号から、輝度信号、色差信号の生成処理を行う。これにより、固体撮像素子から得られる色信号から輝度信号、色差信号を生成処理するときに扱う信号数を少なくすることができるため、省電力化、及び、小型化を図った輝度・色差信号生成装置を実現することができる。
【００１９】
請求項２に係る発明は、請求項１に記載された輝度・色差信号生成装置において、前記設定手段は、前記注目画素を、前記色属性として緑に係る色信号を出力する画素に設定することを特徴とする輝度・色差信号生成装置を提案している。
【００２０】
この発明によれば、固体撮像素子の前面に緑の色フィルタが貼付された座標位置から得られる信号と同座標位置に輝度信号、色差信号が生成されるように処理を行う。これにより、他色の色フィルタが貼付された座標位置から得られる信号と比べ、比較的輝度信号成分と相関性が強い緑の信号を、補間処理で生成された信号ではなく固体撮像素子から得られる信号をそのまま使用して生成することができるので、輝度信号の劣化を抑えることができる。
【００２１】
請求項３に係る発明は、請求項１または請求項２に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記輝度信号と、１つの色差信号のみを生成することを特徴とする輝度・色差信号生成装置を提案している。
【００２２】
この発明によれば、一般的に、圧縮による画質の劣化が少ないといわれる輝度信号と第1の色差信号と前記第１の色差信号とは異なる第２の色差信号との割合が２：１：１で生成されるので、画質の劣化を抑えることができる。
【００２３】
請求項４に係る発明は、請求項３に記載された輝度・色差信号生成装置において、前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記注目画素が前記固体撮像素子上で奇数行に位置するときは、前記輝度信号と第１の色差信号を、偶数行に位置するときは、前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする輝度・色差信号生成装置を提案している。
【００２４】
この発明によれば、ベイヤ配列の色フィルタが貼付された固体撮像素子の座標位置において、１行おきに輝度信号と第1の色差信号、及び、輝度信号と前記第1の色差信号とは異なる第２の色差信号の生成処理を行う。これにより、固体撮像素子の座標位置において、位置的に等間隔に輝度信号、色差信号が生成されるので、周辺信号との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。
【００２５】
請求項５に係る発明は、請求項１に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記注目画素に係る前記色フィルタの色属性に応じて、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、所定の色配列を有する色フィルタの色の種類ごとに生成される信号が決定するため、生成する輝度信号、色差信号の信号数を制御することができる。
【００２６】
請求項６に係る発明は、請求項５に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記注目画素に係る前記色属性が緑のときは輝度信号を生成し、赤のときは第１の色差信号を生成し、青のときは前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする輝度・色差信号生成装置を提案している。
【００２７】
この発明によれば、固体撮像素子の前面に貼付された色フィルタが緑の場合は、その座標位置から得られる信号と、同座標位置に輝度信号が生成されるように処理を行い、固体撮像素子の前面に貼付された色フィルタが赤の場合は、他色信号と比べ、赤と比較的相関性の強い第1の色差信号の生成処理を行い、固体撮像素子の前面に貼付された色フィルタが青の場合は、他色信号と比べ、青と比較的相関性の強い前記第1の色差信号とは異なる第２の色差信号の生成処理を行う。これにより、生成される輝度信号、色差信号に対して、比較的相関性が強い信号を、補間処理で生成された信号ではなく、固体撮像素子から得られる信号をそのまま使用して輝度信号、色差信号を生成することができるため、輝度信号、色差信号の劣化を抑えることができる。
【００２８】
請求項７に係る発明は、複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、前記固体撮像素子上の特定行、又は、特定列に属する画素を、前記輝度信号及び色差信号を生成する注目画素として設定する設定手段とを有することを特徴とする輝度・色差信号生成装置を提案している。
【００２９】
この発明によれば、固体撮像素子上の座標位置における特定行または特定列から得られる信号を注目画素として、注目画素と、固体撮像素子上において同座標位置に輝度信号、色差信号が生成されるよう処理を行う。これにより、固体撮像素子から得られる色信号から輝度信号、色差信号を生成処理するときに扱う信号数を少なくすることができるので、省電力化、及び、小型化を図った輝度・色差信号生成装置を実現することができる。また、固体撮像素子上の座標位置に対して、縦・横に整列されて輝度信号、色差信号が生成されるので、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。
【００３０】
請求項８に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記設定手段は、前記特定行とする行または、特定列とする列を一定パターンに従って設定することを特徴とする輝度・色差信号生成装置を提案している。
【００３１】
この発明によれば、一定の規則に従って輝度信号、色差信号が生成されるので、扱う信号数を制御でき、また、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。
【００３２】
請求項９に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記特定行、または、前記特定列ごとに、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、固体撮像素子の座標位置において、特定行、または、特定列ごとに生成される信号が決定するので、生成する輝度信号、色差信号の信号数を制御することができる。
【００３３】
請求項１０に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記特定行が奇数行のときは前記輝度信号と第１の色差信号を、偶数行のときは前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を夫々生成し、または、前記特定列が奇数列のときは前記輝度信号と第１の色差信号を、偶数列のときは前記輝度信号と前記第1の色差信号とは異なる第２の色差信号を夫々生成することを特徴とする輝度・色差信号生成装置を提案している。
【００３４】
この発明によれば、ベイヤ配列の色フィルタが貼付された固体撮像素子の座標位置において、１行おきに、または、１列おきに、輝度信号と一方の色差信号、及び、輝度信号と他方の色差信号の生成処理を行う。これにより、固体撮像素子の座標位置において、位置的に等間隔に輝度信号、色差信号が生成されるので、周辺信号との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。
【００３５】
請求項１１に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置において、処理対象の異なる複数の前記輝度・色差信号生成手段と、前記複数の輝度・色差信号生成手段から対応する輝度・色差信号生成手段を選択する選択手段とを更に有することを特徴とする輝度・色差信号生成装置を提案している。
【００３６】
この発明によれば、選択手段により、最適な輝度・色差信号生成手段を選択して、選択された輝度・色差信号生成手段により、輝度信号、色差信号を生成する。これにより、処理対象の異なる輝度・色差信号生成手段を、用途により、最適な輝度・色差信号生成手段を選択することができるので、画質の向上、高速処理、省電力化等を実現できる。
【００３７】
請求項１２に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置において、前記補間手段は、前記任意の画素の近傍に位置する画素の色信号から、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を演算することを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、補間演算する際に、注目画素の近傍信号しか使用しないため、必要とするメモリを少なくすることができる。
【００３８】
請求項１３に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置と、
前記輝度・色差信号生成装置から出力される輝度信号及び色差信号に対して、各信号ごとにブロック単位で空間周波数成分を算出する周波数変換手段と、前記空間周波数成分を量子化する量子化手段と、量子化された前記空間周波数成分を符号化する符号化手段と、を備える画像圧縮部とを有することを特徴とする画像圧縮装置を提案している。
この発明によれば、輝度・色差信号生成装置で生成された輝度信号、色差信号を圧縮処理することができる。
【００３９】
請求項１４に係る発明は、請求項１３に記載の画像圧縮装置と、前記画像圧縮装置からの出力から、前記量子化された空間周波数成分を復号化する復号化手段と、復号化された前記空間周波数成分を逆量子化する逆量子化手段と、逆量子化された前記空間周波数成分に基づいて、前記ブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段と、を備える画像伸長部と、前記画像伸長部から出力される前記輝度信号、色差信号を外部機器が要求する出力フォーマットに変換するフォーマット変換手段とを有することを特徴とする画像処理システムを提案している。
この発明によれば、画像圧縮装置で圧縮処理された輝度信号、色差信号を伸長処理し、外部機器が要求する出力フォーマットに変換することができる。
【００４０】
請求項１５に係る発明は、請求項１４に記載された画像処理システムにおいて、前記フォーマット変換手段は、前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、前記画像信号生成手段からの前記色信号に対して、前記注目画素以外の画素に係る色信号を補間処理する色信号生成手段とを有することを特徴とする画像処理システムを提案している。
【００４１】
この発明によれば、固体撮像素子から得られる色信号から、色信号変換、補間処理と、この順の過程を経て、固体撮像素子の座標サイズと同サイズのカラー画像信号を、得ることができる。
【００４２】
請求項１６に係る発明は、請求項１４に記載された画像処理システムにおいて、前記フォーマット変換手段は、前記輝度信号及び色差信号から、前記注目画素以外の画素に係る輝度信号及び色差信号を補間する輝度・色差信号補間手段と、前記輝度・色差信号補間手段からの前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段とを有することを特徴とする画像処理システムを提案している。
【００４３】
この発明によれば、固体撮像素子から得られる色信号から、補間処理、色信号変換と、この順の過程を経て、固体撮像素子の座標サイズと同サイズのカラー画像信号を得ることができる。
【発明の効果】
【００４４】
本発明によれば、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを、処理データを低減して省電力で行うことによって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程において、省電力化と小型化を図ることのできる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施例に係る画像処理システムについて図１から図１２を参照して詳細に説明する。
【実施例１】
【００４６】
本発明の第１の実施例に係る画像処理システムは、図１に示すように、色フィルタ１１と、単板式の固体撮像素子１２と、設定手段１３と、補間手段１４と、輝度・色差信号生成手段１５とからなる前段部１と、周波数変換手段２１と、量子化手段２２と、符号化手段２３とからなる画像圧縮部２と、復号化手段３１と、逆量子化手段３２と、逆周波数変換手段３３とからなる画像伸長部３と、画像信号生成手段４１と色信号生成手段４２からなる後段部４とから構成されている。
【００４７】
前段部１は、光を受光して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものであり、前述のように、色フィルタ１１と、固体撮像素子１２と、設定手段１３と、補間手段１４と、輝度・色差信号生成手段１５とから構成されている。色フィルタ１１としては、例えば、図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタがベイヤ配列された原色フィルタが用いられており、被写体からの光が色フィルタを介して固体撮像素子１２に入射するように、固体撮像素子１２の前面に設置されている。
【００４８】
なお、前記色フィルタ１１としては、図２の（Ｂ）に示すような補色フィルタであってもよい。固体撮像素子１２は、色フィルタ１１を介して被写体からの光を受光し、その受光量に応じた色信号を出力するものであり、色フィルタ１１に対応した複数の受光素子を備えている。設定手段１３は、輝度信号及び色差信号を生成する画素を設定する。なお、設定方法については後述する。
【００４９】
補間手段１４は、設定手段１３からの設定に基づいて、固体撮像素子１２から出力される色信号と、固体撮像素子の同座標位置における色信号とは異なる色の信号とを、補間処理して生成する。なお、補間処理方法については後述する。輝度・色差信号生成手段１５は、補間手段１４から出力される信号から、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。なお、輝度信号Ｙ、色差信号Ｕ、Ｖの生成方法については後述する。以上のようにして生成された輝度信号Ｙ、色差信号Ｕ、Ｖは、画像圧縮部２に入力される。
【００５０】
次に、画像圧縮部２、及び画像伸長部３の処理動作について説明する。
画像圧縮部２、及び画像伸長部３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、輝度信号Ｙ、色差信号Ｖ、Ｕは、図３の（Ａ）、（Ｂ）、（Ｃ）に示すように、各々の信号ごとに水平８信号×垂直８信号を単位としてブロック化され、前記ブロックごとに画像圧縮部２による圧縮処理が行われる。
【００５１】
画像圧縮部２は、前段部１で生成された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、符号データを生成するものであり、前述のように、周波数変換手段２１と、量子化手段２２と、符号化手段２３とから構成されている。周波数変換手段２１は、離散コサイン変換を行い、空間周波数成分に変換する。量子化手段２２は、前記周波数変換手段２１から出力された空間周波数成分に対して、量子化を行う。
【００５２】
符号化手段２３は、前記量子化手段２２から出力された量子化された空間周波数成分に対して、ランレングス符号化、及びハフマン符号化を行い、符号データを生成する。以上のようにして画像圧縮部２で生成された符号データは、メモリ等に記録して保存され、あるいは受信側へ伝送される。そして、保存、又は伝送された符号データは、画像伸長部３に入力される。
【００５３】
画像伸長部３は、画像圧縮部２で圧縮された符号データに対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものであり、前述のように、復号化手段３１と、逆量子化手段３２と、逆周波数変換手段３３とから構成されている。復号化手段３１は、ハフマン復号化、及びランレングス復号化を行い、復号化処理をする。逆量子化手段３２は、前記復号化手段３１から出力された空間周波数成分に対して、逆量子化を行う。
【００５４】
逆周波数変換手段３３は、逆量子化手段３２から出力された逆量子化された空間周波数成分に対して、逆離散コサイン変換を行い、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。以上のようにして画像伸長部３で生成された輝度信号Ｙ、色差信号Ｕ、Ｖは、後段部４に入力される。後段部４は、画像伸長部３で伸長された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像信号を生成するものであり、前述のように、画像信号生成手段４１と色信号生成手段４２とから構成されている。
【００５５】
画像処理生成手段４１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、前段部１の設定手段１３、補間手段１４及び輝度・色差信号生成手段１５における処理に対応させて、各信号ごとに補間処理を行って画像信号を生成する。色差信号生成手段４２は、画像処理生成手段４１から出力された画像信号に対して、色空間変換処理を行い、色信号Ｒ、Ｇ、Ｂの画像信号を生成する。以上のようにして後段部４で生成された画像信号は、画像再生装置等で画像として再生される。なお、この後段部４の信号処理については後述する。
【００５６】
次に、本実施例における設定手段１３と、補間手段１４と、輝度色差信号生成手段１５の動作について、詳細に説明する。
一般に、色信号Ｒ、Ｇ、Ｂから輝度信号Ｙ、色差信号Ｕ、Ｖを算出する式は、[数１]で表される。
【００５７】
【数１】
2005278025.tif 000003
【００５８】
図４は、固体撮像素子１２の受光面を模式的に示した図であり、同図中のＲ、Ｇ、Ｂは、それぞれベイヤ配列の原色フィルタからなる色フィルタ１１を透過した光を受光する画素を示している。ここで、以降での説明の理解をしやすくするため、次のような定義付けを行う。すなわち、同図における左上隅の画素Ｇの座標を（１，１）としたとき、この画素Ｇから垂直方向にＸ、水平方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡＸＹで、表すことにする。
【００５９】
本発明においては、上記構成の色フィルタ１１を備えた固体撮像素子１２から出力される色信号に対して、以下のような原理に基づいて輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。すなわち、設定手段１３では、固体撮像素子１２において、緑に係る色信号が得られる画素の輝度信号Ｙ、及び、色差信号Ｕ、Ｖを生成するということを補間手段１４に設定する。
【００６０】
補間手段１４では、図４における座標（２，２）の画素Ｇ22を注目画素とし、その注目画素と同座標位置における画素Ｒ22を、同色で注目画素の周辺画素である座標（２，１）、（２，３）の画素Ｒ21、Ｒ23を用いて求め、画素Ｂ22を、同色で注目画素の周辺画素である座標（１，２）、（３，２）の画素Ｂ12、Ｂ32を用いて求める。
【００６１】
また、輝度色差信号生成手段１５では、注目画素Ｇ22と、補間手段１４で生成された画素Ｒ22と画素Ｂ22を用いて、輝度信号Ｙ22、色差信号Ｖ22を生成する。補間手段１４及び輝度色差信号生成手段１５で行う輝度信号Ｙ22、色差信号Ｖ22を生成する式は、図４における画素Ｒ21、Ｒ23、Ｇ22、Ｂ12、Ｂ32を用いて、[数２]で表される。
【００６２】
【数２】
2005278025.tif 000004
【００６３】
[数２]式において、（Ｒ21＋Ｒ23）/ ２、Ｇ22、（Ｂ12＋Ｂ32）/ ２ が、それぞれ、画素Ｒ22、Ｇ22、Ｂ22の値に相当し、補間手段１４からの出力になる。また、輝度信号Ｙ22、色差信号Ｖ22が、輝度色差信号生成手段１５からの出力となる。ここでは、便宜上のため、補間手段１４の処理と、輝度色差信号生成手段１５の処理を表す式を、[数２]のように、まとめて示した。補間手段１４の出力を画素Ｒ22、Ｇ22、Ｂ22として一旦保持し、その保持した値を使用して、輝度信号Ｙ、色差信号Ｕ、Ｖを求めても構わない。以下、補間手段１４の処理と、輝度色差信号生成手段１５の処理を表す式は、まとめて示す。
【００６４】
補間手段１４は、座標（３，３）の画素Ｇ33を注目画素とし、同様にして、画素Ｒ33を、座標（２，３）、（４，３）の画素Ｒ23、Ｒ43を用いて求め、画素Ｂ33を、座標（３，２）、（３，４）の画素Ｂ32、Ｂ34を用いて求める。そして、輝度色差信号生成手段１５は、注目画素Ｇ33と、求めた画素Ｒ33と画素Ｂ33を用いて、輝度信号Ｙ33、色差信号Ｕ33を生成する。輝度信号Ｙ33、色差信号Ｕ33を生成する式は、図４における画素Ｒ23、Ｒ43、Ｇ33、Ｂ32、Ｂ34を用いて、[数３]で表される。
【００６５】
【数３】
2005278025.tif 000005
【００６６】
[数３]式において、（Ｒ23＋Ｒ43）/ ２、Ｇ33、（Ｂ32＋Ｂ34）/ ２ が、それぞれ、画素Ｒ33、Ｇ33、Ｂ33の値に相当する。このように、全てのＧの画素を注目画素として、注目画素に対する輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。
【００６７】
上記手法によると、全てのＧの画素と同座標位置に対して、画素Ｇが奇数行（Ｘが奇数）のときは輝度信号Ｙと色差信号Ｕが、画素Ｇが偶数行（Ｘが偶数）のときは輝度信号Ｙと色差信号Ｖが生成されるため、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれる輝度信号Ｙ、色差信号Ｕ、Ｖが２：１：１の割合で生成される。つまり、従来の色信号の各画素ごとに補間処理を行った後に、輝度信号Ｙと色差信号Ｕ、Ｖを生成する場合に比べ、１／３のデータ数となる。
【００６８】
上記のように、注目画素を画素Ｇとすることで、輝度情報を比較的多く含むＧの画素を固体撮像素子１２から出力される色信号としてそのまま使用することができる。一般的に、輝度信号のほうが、色差信号よりも画質劣化の要因に深く関わるため、補間して注目画素の画素値を求め、その値から輝度信号Ｙを生成するよりも、固体撮像素子１２から出力される色信号を使用して輝度信号Ｙを生成した方が、生成される輝度信号Ｙの精度は高くなる。したがって、データ数削減による画質の劣化を抑えることができる。
【００６９】
また、ベイヤ配列の特性により、注目画素と同座標位置のＲとＢの画素を、比較的簡易な演算で求めることができ、図５に示すように、加算器５と１bitシフタ６のみの回路構成で実現することができる。例えば、画素Ｒ22の値を求めたいときには、ＩＮＤＡＴＡ１にＲ21、ＩＮＤＡＴＡ２にＲ23が、画素Ｂ22の値を求めたいときには、ＩＮＤＡＴＡ１にＢ12、ＩＮＤＡＴＡ２にＢ32が入力される。
【００７０】
上記説明においては、注目画素Ｇと同座標位置のＲとＢの画素を、２つの同色最近傍画素を使用して生成させたが、２つの画素のみならず、周辺画素に位置情報による重み付けを行うことで生成させても構わない。また、上記説明においては、Ｇの画素を注目画素とし、[数２]、[数３]のように、輝度信号Ｙ、色差信号Ｕ、Ｖを生成したが、データ数を制御するために、全ての注目画素Ｇに対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成したり、輝度信号Ｙのみを生成したりと、任意に、生成する要素を決めても構わない。
【００７１】
例えば、図４における座標（２，２）の画素Ｇ22を注目画素とし、その注目画素と同座標位置における輝度信号Ｙ22、色差信号Ｕ22、Ｖ22を生成する式は、図４における画素Ｒ21、Ｒ23、Ｇ22、Ｂ12、Ｂ32を用いて、[数４]で表される。
【００７２】
【数４】
2005278025.tif 000006
【００７３】
さらに、上記手法においては、固体撮像素子１２から出力される色信号における全てのＧの画素を注目画素として、注目画素と同座標位置における輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものを示した。これに対して、注目画素をＲとＢの画素、又はＲの画素のみといったように、固体撮像素子１２から出力される色信号に対して、どの色の要素を注目画素とするかを、任意に、設定しても構わない。
【００７４】
例えば、注目画素をＲとＢの画素とした場合、図４における座標（２，３）と（３，２）の座標位置における輝度信号Ｙ、色差信号Ｕ、Ｖを生成する式は、[数５]、[数６]で表される。
【００７５】
【数５】
2005278025.tif 000007
【数６】
2005278025.tif 000008
【００７６】
[数５]において、Ｒ23、（Ｇ13＋Ｇ22＋Ｇ24＋Ｇ33）/ ４、（Ｂ12＋Ｂ14＋Ｂ32＋B34）/ ４ が、それぞれ、画素Ｒ23、Ｇ23、Ｂ23の値に相当し、[数６]において、（Ｒ21＋Ｒ23＋Ｒ41＋Ｒ43）/ ４、（Ｇ22＋Ｇ31＋Ｇ33＋Ｇ42）/ ４、Ｂ32が、それぞれ、画素Ｒ32、Ｇ32、Ｂ32の値に相当する。
【００７７】
このように、全てのＲとＢの画素を注目画素として、注目画素に対する輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。
【００７８】
上記手法によると、注目画素がＲの画素のときに、輝度信号Ｙと色差信号Ｕ、注目画素がＢの画素のときに、輝度信号Ｙと色差信号Ｖを生成するため、注目画素をＧの画素としたときと同様に、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、Ｙ、Ｕ、Ｖが２：１：１の割合で生成される。
【００７９】
上記のように、注目画素を画素Ｒ、及びＢとすることで、色差信号Ｕを生成するときに、比較的に相関の強いＲの画素を、色差信号Ｖを生成するときに、比較的に相関の強いＢの画素を用いて処理を行うため、固体撮像素子１２から出力される色信号をそのまま使用することができる。したがって、注目画素を画素Ｇとするときと比べ、輝度情報に比べ比較的色情報が画質に影響するような画像に対しては、画質の劣化を抑えることができる。
【００８０】
なお、色フィルタとして、原色フィルタの代わりに補色フィルタを用いたときも、図６に示すように、原色フィルタと同様の定義付けを行って、輝度信号Ｙ、色差信号Ｕ、Ｖを補色フィルタ上の画素Ｃｙ、Ｍｇ、Ｙｅ、Ｇを用いて生成することができる。
【００８１】
上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、固体撮像素子から出力される色信号に基づいて、特定色の画素に対してのみ補間処理を行うため、従来のように、各画素ごとに補間処理をして画像信号を生成する補間処理手段を必要としない。したがって、前段部より出力されるデータ数が少ないため、圧縮処理に要する時間を削減できる。またこれにより、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。
【００８２】
次に、このような設定手段１３、補間手段１４及び輝度・色差信号生成手段１５に対応した処理を行わせる後段部４の処理動作について、詳細に説明する。
後段部４は、画像伸長部３で伸長処理された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像信号を生成処理するものであり、先に述べたとおり、画像信号生成手段４１と色信号生成手段４２とから構成されている。
【００８３】
画像信号生成手段４１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、前段部１の設定手段１３、補間手段１４及び輝度・色差信号生成手段１５の処理に対応させて、補間処理を行い、図７の（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号を生成する。ここで、以降での説明の理解をしやすくするため、図４に示した原色フィルタと同様の定義付けを、図７の（Ａ）、（Ｂ）、（Ｃ）に対しても行う。
【００８４】
画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖは、このまま画像信号として、そのまま使用できる。しかし、画像伸長部３から出力される信号のデータ数は、図７の（Ａ）、（Ｂ）、（Ｃ）に対して、輝度信号Ｙが１／２、色差信号Ｕ、Ｖが１／４になり、本来予期される固体撮像素子１２から出力される色信号により、生成される画像信号の解像度より小さくなってしまう。
【００８５】
そこで、画像伸長部３から出力される輝度信号Ｙ、色差信号Ｕ、Ｖから、図７の（Ａ）、（Ｂ）、（Ｃ）の欠落データを補間する。例えば、図７の（Ａ）、（Ｂ）、（Ｃ）における座標（２，２）、（２，３）、（３，２）、（３，３）の輝度信号Ｙ22、Ｙ23、Ｙ32、Ｙ33、色差信号Ｕ22、Ｕ23、Ｕ32、Ｕ33、及びＶ22、Ｖ23、Ｖ32、Ｖ33は、画像伸長部３から出力される[数２]、[数３]で生成される輝度信号Ｙ22、Ｙ33、色差信号U33、Ｖ22、及びその他画像伸長部３より出力される輝度信号Ｙ、色差信号Ｕ、Ｖを用いて、[数７]で表される。
【００８６】
【数７】
2005278025.tif 000009
【００８７】
このように、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、欠落データを補間する処理を行うことで、図７の（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号の一形態であるＹＵＶ空間の画像信号を生成することができる。
【００８８】
色信号生成手段４２は、画像信号生成手段４１から出力された図７の（Ａ）、（Ｂ）、（Ｃ）に示す画像信号に対して、色空間変換を行い、色信号Ｒ、Ｇ、Ｂを生成する。
輝度信号Ｙ、色差信号Ｕ、Ｖから色信号Ｒ、Ｇ、Ｂを算出する式は、一般に、[数１]の逆演算になり、[数８]で表される。
【００８９】
【数８】
2005278025.tif 000010
【００９０】
図７の（Ａ）、（Ｂ）、（Ｃ）に示した画像信号生成手段４１から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、各画素ごとに[数８]を実行することで、画像信号の一形態であるＲＧＢ空間の画像信号を生成することができる。以上のようにして生成された画像信号は、画像再生装置等の外部機器で画像として再生される。
【００９１】
なお、図１に示した構成の後段部４では、図７の（Ａ）、（Ｂ）、（Ｃ）に示したＹＵＶ空間の画像からＲＧＢ空間の画像信号に変換を行って、画像信号生成手段４１から出力されるＹＵＶ空間の画像信号をそのまま画像信号として扱い、画像再生装置等で画像として再生しても構わない。すなわち、後段部は、出力画像信号を利用する外部機器が要求する出力フォーマットに対応させた画像信号を出力させればよいことになる。したがって、後段部は、フォーマット変換手段と称することもできる。
【００９２】
上記後段部４の構成においては、画像信号生成手段４１により、輝度信号Ｙ、色差信号Ｕ、Ｖから画像信号の一形態であるＹＵＶ空間の画像信号を生成し、色信号生成手段４２により、画像信号の一形態であるＲＧＢ空間の画像信号を生成していたが、図８に示すように、画像信号生成手段と色信号生成手段の配置を入れ替えて後段部を構成しても構わない。
【００９３】
このように構成した後段部７においては、色信号生成手段７１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、図４に示すように、ベイヤ配列の色信号Ｒ、Ｇ、Ｂを生成する。次いで、画像信号生成手段７２は、色信号生成手段７１から出力されたベイヤ配列の色信号Ｒ、Ｇ、Ｂに対し、欠落データを補間する補間処理を行うことで、画像信号の一形態であるＲＧＢ空間の画像信号を生成する。以上のようにして生成された画像信号は、図１に示した後段部４からの画像信号と同様に、画像再生装置等で画像として再生される。
【実施例２】
【００９４】
次に、第２の実施例について説明する。
図９は、本発明の第２の実施例に係る画像処理システムの概略構成を示すブロック図である。第１の実施例と同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる部分についてのみ説明する。本実施例は、設定手段１１１、補間手段１１２、及び輝度・色差信号生成手段１１３の処理に特徴がある。
【００９５】
本実施例における設定手段１１１は、固体撮像素子１２において、赤、緑、青に係る色信号が得られる画素、すなわち全ての画素の輝度信号、または、色差信号の生成を補間手段１４に設定する。
【００９６】
本実施例における補間手段１１２は、設定手段１１１の設定に基づいて、固体撮像素子１２から出力される色信号から、補間処理を行い、図１０（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号を生成する。ここで、以降での説明の理解をしやすくするため、図４に示した原色フィルタと同様の定義付けを、図１０の（Ａ）、（Ｂ）、（Ｃ）に対しても行う。例えば、図１０の（Ａ）、（Ｂ）、（Ｃ）における座標（２，２）、（２，３）、（３，２）、（３，３）の色信号Ｒ22、Ｒ23、Ｒ32、Ｒ33、Ｇ22、Ｇ23、Ｇ32、Ｇ33、及びＢ22、Ｂ23、Ｂ32、Ｂ33を算出する式は、図４における画素Ｒ、Ｇ、Ｂを用いて、[数９]で表される。
【００９７】
【数９】
2005278025.tif 000011
【００９８】
このように、固体撮像素子１２から出力される色信号から、各色ごとに欠落データを補間処理することにより、画像信号の一形態であるＲＧＢ空間の画像信号を生成することができる。
【００９９】
本実施例における輝度・色差信号生成手段１１３は、補間手段１１２から出力された画像信号から、以下のような原理に基づいて輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。すなわち、図１０（Ｂ）における画素Ｇ22と、図１０（Ａ）、（Ｃ）における画素Ｇ22と同じ座標である画素Ｒ22、Ｂ22を用いて、輝度信号Ｙ22を求める。続いて、図１０（Ａ）における画素Ｒ23と、図１０（Ｂ）、（Ｃ）における画素Ｒ23と同じ座標である画素Ｇ23、Ｂ23を用いて、色差信号Ｕ23を求める。さらに、図１０（Ｃ）における画素Ｂ32と、図１０（Ａ）、（Ｂ）における画素Ｂ32と同じ座標である画素Ｒ32、Ｇ32を用いて、色差信号Ｖ32を求める。輝度信号Ｙ22、色差信号Ｕ23、Ｖ32を生成する式は、図１０（Ａ）、（Ｂ）、（Ｃ）における色信号Ｒ、Ｇ、Ｂを用いて、[数１０]で表される。
【０１００】
【数１０】
2005278025.tif 000012
【０１０１】
このように、補間手段１１２から出力された画像信号に対して、同座標上の色信号から、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。
【０１０２】
上記手法によると、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙが、Ｒの画素のときは色差信号Ｕが、Ｂの画素のときは色差信号Ｖが生成されるため、実施例１同様、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれるＹ、Ｕ、Ｖが２：１：１の割合で生成される。
【０１０３】
上記のように、輝度信号Ｙを生成するときにはＧの画素を、色差信号Ｕを生成するときはＲの画素を、色差信号Ｖを生成するときにはＢの画素を用いて処理を行うため、固体撮像素子１２から出力される色信号をそのまま使用することができる。[数１]からもわかるように、輝度信号Ｙは色信号Ｇと、色差信号Ｕは色信号Ｒと、色差信号Ｖは色信号Ｂと、他色信号と比べて相関が強いため、その相関が強い画素を、固体撮像素子１２から出力される周辺の同色色信号から補間して算出した値を使用するよりも、固体撮像素子１２から出力される色信号を使用して、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成した方が、生成される輝度信号Ｙ、色差信号Ｕ、Ｖの精度は高くなる。したがって、データ数削減による画質の劣化を抑えることができる。
【０１０４】
上記説明においては、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙを、Ｒの画素のときは色差信号Ｕを、Ｂの画素のときは色差信号Ｖを生成していたが、画質劣化の低減のためや、演算を簡略化のために、これら固体撮像素子１２から出力される色信号の色信号の種類と、生成される信号の種類の対応関係を変更しても構わない。
【０１０５】
また、上記説明においては、固体撮像素子１２から出力される色信号の各色信号に対して、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成するという１対１の関係が成り立っていたが、例えば、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙと色差信号Ｕを、といったように、固体撮像素子１２から出力される色信号の各色信号ごとに生成する信号の要素を複数決めても構わない。
【０１０６】
上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、前段部より出力されるデータ数が少ないので、圧縮処理に要する時間を削減でき、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。
【実施例３】
【０１０７】
次に、第３の実施例について説明する。
図１１は、本発明の第３の実施例に係る画像処理システムの概略構成を示すブロック図である。第１の実施例と同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる部分についてのみ説明する。本実施例は、選択手段２１１、設定手段２１２、設定手段２１３、補間手段２１４、補間手段２１５、輝度・色差信号生成手段２１６、及び輝度・色差信号生成手段２１７の処理に特徴がある。
【０１０８】
本実施例における選択手段２１１は、色フィルタ１１を構成する各色フィルタの配置に基づいて、固体撮像素子１２から出力される色信号を、高画質化や省電力化といったような用途によって、補間手段２１４あるいは、補間手段２１５のいずれに入力するのかを選択する。また、本実施例における設定手段２１２は、固体撮像素子１２上において、偶数行の画素の輝度信号、及び、色差信号の生成を補間手段２１４に設定する。
【０１０９】
本実施例における補間手段２１４及び輝度・色差信号生成手段２１６は、選択手段２１１から出力される色信号から、設定手段２１２の設定に基づき、以下のような原理で、輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。
【０１１０】
すなわち、補間手段２１４は、図４における偶数行（Ｘが偶数）に注目して、その座標位置における色信号Ｒ、Ｇ、Ｂの欠落データを補間処理により生成し、輝度・色差信号生成手段２１６は、補間手段２１４からの出力である同座標上の固体撮像素子１２から出力される色信号、及び補間処理して生成した色信号Ｒ、Ｇ、Ｂを用いて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。
【０１１１】
例えば、図４における座標（２，２）、（２，３）の輝度信号Ｙ22、Ｙ23、色差信号Ｕ23、Ｖ22を生成する式は、図４における画素Ｒ21、Ｒ23、Ｇ13、Ｇ22、Ｇ24、Ｇ33、Ｂ12、Ｂ14、Ｂ32、Ｂ34を用いて、[数１１]で表される。
【０１１２】
【数１１】
2005278025.tif 000013
【０１１３】
[数１１]において、（Ｒ21＋Ｒ23）/ ２、Ｇ22、（Ｂ12＋Ｂ32）/ ２、Ｒ23、（Ｇ13＋Ｇ22＋Ｇ24＋Ｇ33）/ ４、（Ｂ12＋Ｂ14＋Ｂ32＋Ｂ34）/ ４ が、それぞれ、画素Ｒ22、Ｇ22、Ｂ22、Ｒ23、Ｇ23、Ｂ23、の値に相当し、補間手段２１４からの出力となる。また、輝度信号Ｙ22、Ｙ23、色差信号Ｕ23、Ｖ22が、輝度・色差信号生成手段２１６からの出力となる。
【０１１４】
このように、図４における偶数行においてのみ、各色信号ごとの欠落データを補間処理し、偶数行における各画素ごとに輝度信号Ｙと色差信号Ｕ、又はＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。
【０１１５】
上記手法によると、図４における偶数行に対して、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙと色差信号Ｖが、Ｒの画素のときは輝度信号Ｙと色差信号Ｕが生成されるため、実施例１と同様に、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれるＹ、Ｕ、Ｖが２：１：１の割合で生成される。
【０１１６】
上記のように、実施例１では、図４の座標に対して、輝度信号Ｙ、色差信号Ｕ、Ｖは斜めに生成されていたが、本実施例では、図４の偶数行に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成させることにより、輝度信号Ｙ、色差信号Ｕ、Ｖが直線上に並ぶように生成される。したがって、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理した場合に、画質の劣化を抑えることができる。
【０１１７】
上記説明においては、図４における偶数行（Ｘが偶数）に注目して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成していたが、奇数行（Ｘが奇数）に注目して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成しても構わない。
【０１１８】
本実施例における設定手段２１３は、固体撮像素子１２上において、偶数列の画素の輝度信号、及び、色差信号の生成を補間手段２１５に設定する。本実施例における補間手段２１５及び輝度・色差信号生成手段２１７は、選択手段２１１から出力される色信号から、設定手段２１３の設定に基づき、以下のような原理で、輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。
【０１１９】
すなわち、補間手段２１５は、図４における偶数列（Ｙが偶数）に注目して、その座標位置における色信号Ｒ、Ｇ、Ｂの欠落データを補間処理して生成する。輝度・色差信号生成手段２１７は、補間手段２１５からの出力である同座標上の固体撮像素子１２から出力される色信号、及び補間処理して生成した色信号Ｒ、Ｇ、Ｂを用いて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。
【０１２０】
例えば、図４における座標（２，２）、（３，２）の輝度信号Ｙ22、Ｙ32、色差信号Ｕ22、Ｖ32を生成する式は、図４における画素Ｒ21、Ｒ23、Ｒ41、Ｒ43、Ｇ22、Ｇ31、Ｇ33、Ｇ42、Ｂ12、Ｂ32を用いて、[数１２]で表される。
【０１２１】
【数１２】
2005278025.tif 000014
【０１２２】
[数１２]において、（Ｒ21＋Ｒ23）/ ２、Ｇ22、（Ｂ12＋Ｂ32）/ ２、（Ｒ21＋Ｒ23＋Ｒ41＋Ｒ43）/ ４、（Ｇ13＋Ｇ22＋Ｇ24＋Ｇ33）/ ４、Ｂ32 が、それぞれ、画素Ｒ22、Ｇ22、Ｂ22、Ｒ32、Ｇ32、Ｂ32、の値に相当し、補間手段２１５からの出力になる。また、輝度信号Ｙ22、Ｙ32、色差信号Ｕ22、Ｖ32が、輝度・色差信号生成手段２１７からの出力となる。
【０１２３】
このように、図４における偶数列においてのみ、各色信号ごとの欠落データを補間処理し、偶数列における各画素ごとに輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、輝度・色差信号生成手段２１７と同様の輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができ、輝度・色差信号生成手段２１７と同様に、画質の劣化を抑えることができる。
【０１２４】
上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、実施例１で得られる効果と同様に、固体撮像素子から出力される色信号に基づいて、全画素に対して、各画素ごとに補間処理を行って、画像信号を生成する補間処理手段を必要としない。したがって、前段部より出力されるデータ数が少ないため、圧縮処理に要する時間を削減でき、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。
【０１２５】
また、上記前段部の構成によれば、選択手段２１１により、固体撮像素子１２から出力される色信号を入力する補間手段を、任意に選択することができるので、例えば、入力画像に対して、比較的横成分が多いときには、補間手段２１４を選択し、縦成分が多いときには、補間手段２１５を選択するといったように、画像の特徴によって、選択する補間手段を決定することによって、画質の劣化を防ぐことができる。
【０１２６】
以上、図面を参照して本発明の実施例について詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１２７】
【図１】第１の実施例に係る画像処理システムのブロック図である。
【図２】原色フィルタ、補色フィルタを示す図である。
【図３】画像圧縮の対象を例示した図である。
【図４】固体撮像素子の受光面を模式的に示した図である。
【図５】着目画素の値を算出する回路の構成を示す図である。
【図６】補色フィルタを用いた場合の概念図である。
【図７】第１の実施例において、補間処理された画像信号を示す図である。
【図８】第１の実施例の変形例を示す図である。
【図９】第２の実施例に係る画像処理システムのブロック図である。
【図１０】第２の実施例において、補間処理された画像信号を示す図である。
【図１１】第３の実施例に係る画像処理システムのブロック図である。
【図１２】従来の画像処理システムのブロック図である。
【図１３】従来の画像処理システムの構成図である。
【符号の説明】
【０１２８】
１、２０１・・・前段部、２、２０２・・・画像圧縮部、３、２０３・・・画像伸長部、４、７、２０４・・・後段部、５・・・加算器、６・・・１ｂｉｔシフタ、１１、２０１１・・・色フィルタ、１２、２０１２・・・固体撮像素子、１３、１１１、２１２、２１３・・・設定手段、１４、１１２、２１４、２１５・・・補間手段、１５、１１３、２１６、２１７、２０１４・・・輝度・色差信号生成手段、２１、２０２１・・・周波数変換手段、２２、２０２２・・・量子化手段、２３、２０２３・・・符号化手段、３１、２０３１・・・復号化手段、３２、２０３２・・・逆量子化手段、３３、２０３３・・・逆周波数変換手段、４１、７２・・・画像信号生成手段、４２、７１、２０４１・・・色信号生成手段、１０１・・・撮像装置、１０２・・・画像データ圧縮装置、１０３・・・画像データ伸長装置、１０４・・・画像再生装置、２１１・・・選択手段、２０１３・・・補間処理手段
【図１】
2005278025.tif 000015
【図２】
2005278025.tif 000016
【図３】
2005278025.tif 000017
【図４】
2005278025.tif 000018
【図５】
2005278025.tif 000019
【図６】
2005278025.tif 000020
【図７】
2005278025.tif 000021
【図８】
2005278025.tif 000022
【図９】
2005278025.tif 000023
【図１０】
2005278025.tif 000024
【図１１】
2005278025.tif 000025
【図１２】
2005278025.tif 000026
【図１３】
2005278025.tif 000027