(57)【特許請求の範囲】
【請求項１】
複数のカラー成分が混在する所定の画素数の画像信号を同一色の画像信号成分により構成される単位ブロックの集合に並べ替える画素並べ替え手段と、
上記画素並べ替え手段により並べ替えられた画像信号を上記単位ブロック毎に固定長符号化する固定長符号化手段と、
上記固定長符号化手段により固定長符号化された画像信号を格納する符号化メモリと、
上記符号化メモリに記憶された固定長符号の所定の符号成分を参照し、固定長符号を復号することなく該符号成分が示す特徴量を用いて所定の画像処理を行う信号処理手段と
を備え、
上記信号処理手段は、固定長符号のうち量子化符号の少なくとも一部を用いて撮像手段から入力される画像の画素補間を行う
ことを特徴とする画像処理装置。
【請求項２】
上記信号処理手段は、画素補間法として線形補間法を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記信号処理手段は、画素補間法として単純補間法を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記信号処理手段は、固定長符号のうちブロック内の階調幅を示す階調幅符号を用い、当該階調幅符号が所定のしきい値より小さいブロックに対しては画素補間法として単純補間法を用いると共に、当該階調幅符号が所定のしきい値より大きいブロックに対しては画素補間法として線形補間法または投影法を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記信号処理手段から出力される信号処理された固定長符号化信号を入力して、固定長復号化対象の符号化ブロックを構成する各画素の量子化符号に対する復号値を演算し、各復号値に対応する色変換後の復号値に変換して、色変換後の復号値に対応する復号化された画素値を格納してなる量子化復号テーブルを参照して復号化された画素値に変換して色変換／固定長復号化処理された画像信号を出力する色変換／固定長復号化手段をさらに備えたことを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
上記色変換／固定長復号化手段は、入力値に対応する色変換値を格納してなるルックアップテーブルを参照して各復号値に対応する色変換後の復号値に変換することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記色変換／固定長復号化手段は、色変換マトリクス演算に基づいて各復号値に対応する色変換後の復号値に変換することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
上記色変換／固定長復号化手段は、色空間座標変換を行うことにより色変換後の復号値を得ることを特徴とする請求項５に記載の画像処理装置。
【請求項９】
上記信号処理手段は、固定長符号化ブロック内の少なくとも一部に対しては復号化せずに固定長符号の量子化符号に対して直接フィルタリング処理を行うフィルタ処理手段を有することを特徴とする請求項１ないし８のいずれかに記載の画像処理装置。
【請求項１０】
上記フィルタ処理手段は、固定長符号における階調幅を表す符号が所定のしきい値より大きい固定長符号化ブロックに対してのみ選択的に高域通過フィルタリング処理を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
上記フィルタ処理手段は、固定長符号における階調幅を表す符号が所定のしきい値より小さい固定長符号化ブロックに対してのみ選択的に低域通過フィルタリング処理を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
上記フィルタ処理手段は、予め複数のフィルタ強度係数を保持し、固定長符号における階調幅を表す符号値に従って適応的にフィルタ強度係数を切り替え使用することを特徴とする請求項９に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数のカラー信号が混在して出力される所定の画素数の出力信号を符号化して圧縮し、メモリに記憶せしめる画像処理装置に関するもので、とりわけ連写が可能な撮像装置に適用するものである。
【０００２】
【従来の技術】
従来から、単版または単管の撮像装置に赤色（以下、Ｒと略記する）、緑色（以下、Ｇと略記する）、青色（以下、Ｂと略記する）の３色のカラーフィルタを設けて３色のカラー画像信号を得る静止画像撮像装置が用いられている。
【０００３】
従来の撮像装置に適用される画像処理装置ついて図面を参照しながら説明する。図３１は、例えば、特開平７−９５５０７号公報に開示された従来の連写可能な撮像装置に適用される画像処理装置を示すブロック図である。図３１において、１はレンズ及びフィルタなどで構成され被写体からの光学信号を集光させる光学系、２は光学系１からの入射光をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）などの撮像素子である。
【０００４】
また、３は撮像素子２より出力される画像信号に対し利得制御等を行うＡＧＣ（Auto Gain Control）回路、４はアナログ電気信号をデジタル電気信号に変換するＡ／Ｄ変換回路、５はＡ／Ｄ変換回路４から得られるデジタル画像信号に対しγ補正処理及び白補正処理を施すγ補正／白補正処理回路、６はγ補正処理及び白補正処理を施された画像信号を一旦保存するためのフレームメモリ、７はフレームメモリへ６のアクセスを制御するフレームメモリコントローラである。
【０００５】
また、８はデジタル信号をアナログ信号に変換するＤ／Ａ変換回路、９はコンポジットビデオ信号を生成するエンコーダ、１０はＤ／Ａ変換回路８及びエンコーダ９を含み外部ディスプレイに接続可能なアダプタ部、１１はフレームメモリ６に格納した画像データに対して隣接画素間で補間処理を行う補間処理回路、１２は補間処理回路１１で補間処理を施された画像データを一時記憶するバッファメモリ、１３はバッファメモリ１２へのアクセス制御を行うバッファメモリコントローラ、１４は撮像素子２の長方形形状の画素に対応して形成された画像データを正方形形状の画素に対応する画像データに変換するスクウェアライジング処理回路、１５はスクウェアライジング処理回路１４からの出力画像データを一時記憶するバッファメモリ、１６はバッファメモリ１５へのアクセス制御を行うバッファメモリコントローラである。
【０００６】
さらに、１７は画像データの圧縮及び伸長処理を行う圧縮伸長回路、１８は圧縮伸長回路１７にて圧縮された画像データを記憶する着脱可能のメモリカード、１９はメモリカード１８へのアクセス制御を行うカードインタフェース、２０は大容量の二次記憶媒体として光磁気ディスクを着脱可能の光磁気ディスク装置、２１は光磁気ディスク装置２０へのアクセス制御を行う光磁気ディスクインタフェース、２２はＳＣＳＩ（Small Computer System Interface）インタフェース、２３は画像データの出力先として光磁気ディスク装置２０及びＳＣＳＩインタフェース２２を切り替え可能なスイッチ、２４は撮像装置が連写モードで撮影を行う際画像の一時記憶に使用されるＳＲＡＭ（Static Random Access Memory）である。
【０００７】
次に、単写時の動作について説明する。光学系１からの入射光として撮像素子２において光電変換された画像信号は、アナログ電気信号としてＡＧＣ回路３において利得制御が行われ適正な信号レベルに調整される。ＡＧＣ回路３から出力される信号はＡ／Ｄ変換回路４においてデジタル信号に変換される。γ補正／白補正処理回路５ではこの画像データを入力して所望の階調特性に変換し、変換された画像データはフレームメモリコントローラ７の制御によりフレームメモリ６に格納される。フレームメモリ６に格納された画像データはアダプタ部１０においてコンポジットビデオ信号に変換され、アダプタ部１０に接続された図示しない液晶ディスプレイ等に表示される。
【０００８】
一方、撮影された画像データはフレームメモリ６から読み出され、補間処理回路１１において隣接する画素間で補間処理を実行することにより、画像の視覚上の解像度及び色再現性を改善する。従来例では、長方形形状の撮像素子を使用するとともに正方形形状の発光素子を用いたディスプレイモニタ等への画像表示を考慮しており、補間処理後の画像データに対してスクウェアライジング処理回路１４においてスクウェアライジング処理が施される。スクウェアライジング処理は画像の縦横寸法比を維持したまま画素密度を変換するものであり、一種の解像度変換処理である。そのため、スクウェアライジング処理回路１４におけるデータ入出力転送レートの相違を吸収するために、スクウェアライジング処理回路１４の前後にタイミング吸収用のバッファメモリ１２及び１５を配置する。
【０００９】
バッファメモリ１５に記憶される画像データは、圧縮伸長回路１７において例えば国際標準化されているＪＰＥＧ（Joint Photographic Experts Group）方式の画像圧縮処理が施された後、メモリカードインタフェース１９を介してメモリカード１８に蓄積される。また、圧縮伸長回路１７からの出力データは、スイッチ２３を介してユーザの指定する光磁気ディスク装置２０またはＳＣＳＩインタフェース２２に転送される。光磁気ディスク装置２０は、一般的にメモリカード１８に比べて記録速度が劣る反面、大容量の記憶が可能である。また、ＳＣＳＩインタフェース２２に転送された画像データは、図示しないコンピュータへ転送することが前提である。
【００１０】
次に、連写時の動作について説明する。連写時の各信号処理部での動作は基本的には単写時と同様であるが、十分に高速な連写速度を得ようとした場合、メモリカード１８及び光磁気ディスク装置２０へのデータ書き込み速度が律速段階となり約２秒間隔でしか連写ができない。従って、従来例では、撮影後の画像データをフレームメモリ６から一旦ＳＲＡＭ２４に移動しておき、次のフレームの撮影動作中にＳＲＡＭ２４上に記憶され以前の撮影データに対して同時並列的に信号処理を施し、見かけの撮影速度を向上させている。
【００１１】
【発明が解決しようとする課題】
上述したような従来の画像処理装置では、連写機能を実現するために撮像後の画像データ一画面分を一時記憶するための付加メモリ（ＳＲＡＭ２４）が必要であり、装置が高価格になるという課題があった。
【００１２】
また、十分に高速な連写速度を確保するために撮像及び各信号処理手段を同時並列的に行うように構成しているため、信号処理をＣＰＵ上のソフトウェアで実現することが処理速度の上で困難であり、装置の小型化及び低価格化に限界があった。
【００１３】
この発明は、前述した問題点を解決するためになされたもので、高速な連写機能を小型かつ低価格な装置で実現することができる画像処理装置を得ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明に係る画像処理装置は、複数のカラー成分が混在する所定の画素数の画像信号を同一色の画像信号成分により構成される単位ブロックの集合に並べ替える画素並べ替え手段と、上記画素並べ替え手段により並べ替えられた画像信号を上記単位ブロック毎に固定長符号化する固定長符号化手段と、上記固定長符号化手段により固定長符号化された画像信号を格納する符号化メモリと、上記符号化メモリに記憶された固定長符号の所定の符号成分を参照し、固定長符号を復号することなく該符号成分が示す特徴量を用いて所定の画像処理を行う信号処理手段とを備え、上記信号処理手段は、固定長符号のうち量子化符号の少なくとも一部を用いて撮像手段から入力される画像の画素補間を行うことを特徴とするものである。
【００１６】
また、上記信号処理手段は、画素補間法として線形補間法を用いることを特徴とするものである。
【００１７】
また、上記信号処理手段は、画素補間法として単純補間法を用いることを特徴とするものである。
【００１８】
また、上記信号処理手段は、固定長符号のうちブロック内の階調幅を示す階調幅符号を用い、当該階調幅符号が所定のしきい値より小さいブロックに対しては画素補間法として単純補間法を用いると共に、当該階調幅符号が所定のしきい値より大きいブロックに対しては画素補間法として線形補間法または投影法を用いることを特徴とするものである。
【００１９】
また、上記信号処理手段から出力される信号処理された固定長符号化信号を入力して、固定長復号化対象の符号化ブロックを構成する各画素の量子化符号に対する復号値を演算し、各復号値に対応する色変換後の復号値に変換して、色変換後の復号値に対応する復号化された画素値を格納してなる量子化復号テーブルを参照して復号化された画素値に変換して色変換／固定長復号化処理された画像信号を出力する色変換／固定長復号化手段をさらに備えたことを特徴とするものである。
【００２０】
また、上記色変換／固定長復号化手段は、入力値に対応する色変換値を格納してなるルックアップテーブルを参照して各復号値に対応する色変換後の復号値に変換することを特徴とするものである。
【００２１】
また、上記色変換／固定長復号化手段は、色変換マトリクス演算に基づいて各復号値に対応する色変換後の復号値に変換することを特徴とするものである。
【００２２】
また、上記色変換／固定長復号化手段は、色空間座標変換を行うことにより色変換後の復号値を得ることを特徴とするものである。
【００２３】
また、上記信号処理手段は、固定長符号化ブロック内の少なくとも一部に対しては復号化せずに固定長符号の量子化符号に対して直接フィルタリング処理を行うフィルタ処理手段を有することを特徴とするものである。
【００２４】
また、上記フィルタ処理手段は、固定長符号における階調幅を表す符号が所定のしきい値より大きい固定長符号化ブロックに対してのみ選択的に高域通過フィルタリング処理を行うことを特徴とするものである。
【００２５】
また、上記フィルタ処理手段は、固定長符号における階調幅を表す符号が所定のしきい値より小さい固定長符号化ブロックに対してのみ選択的に低域通過フィルタリング処理を行うことを特徴とするものである。
【００２６】
さらに、上記フィルタ処理手段は、予め複数のフィルタ強度係数を保持し、固定長符号における階調幅を表す符号値に従って適応的にフィルタ強度係数を切り替え使用することを特徴とするものである。
【００２７】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図について説明する。実施の形態１では、各受光素子が正方形形状で構成される単板の撮像素子とＲ、Ｇ、Ｂの原色カラーフィルタを備えた、複数枚の画像を連写可能なデジタルスチルカメラとして構成した場合について説明する。図１はこの発明の実施の形態１に係る画像処理装置の全体構成を示すブロック図である。
【００２８】
図１において、図３１に示す従来例と同一部分は同一符号を付してその説明は省略する。新たな符号として、２５は撮像した画像の画素配列を並べ替える画素並べ替え手段であり、複数のカラー成分が混在する所定の画素数の画像信号を同一色の画像信号成分により構成される単位ブロックの集合に並べ替える。２６は画素並べ替え手段２５で並べ替えられた画素を所定ブロック毎に固定長符号化する固定長符号化手段である。
【００２９】
また、２７は固定長符号化手段２６で符号化された複数画面分の画像符号化データを一時蓄積する符号メモリ、２８はγ補正処理、白補正処理及び画素補間処理等のデジタル信号処理を行う信号処理手段であり、符号化メモリ２７に記憶された固定長符号の所定の符号成分を参照し、固定長符号を復号することなく該符号成分が示す特徴量を用いて所定の画像処理を行う。２９は信号処理手段２８によって画像処理を施された画像符号化信号を復号する固定長復号化手段、３０は固定長復号化された画像信号を撮像した画素並び順に戻す画素逆並べ替え手段である。
【００３０】
次に、この実施の形態１の動作について説明する。光学系１を通して集光された被写体の光学的な画像情報は、撮像素子２によってアナログ電気信号に光電変換される。図２は撮像素子２として単板撮像素子の撮像光入射面側に塗布形成されたカラーフィルタのカラー配列を示す図であり、各撮像素子上にＧ及びＲが交互に配列する行とＢ及びＧが交互に配列する行が１行おきに繰り返しており、縦横２画素づつの４画素でカラー配列パターンの最小単位を構成している。各色用フィルタは光学系１から入射する画像情報のうち該当する色信号の光のみを透過する特性を有している。
【００３１】
撮像素子２によってアナログ電気信号に変換された画像信号は、ＡＧＣ回路３で適切な利得制御が行われた後、Ａ／Ｄ変換回路４でデジタル信号に変換される。図２の画素配列で順次次段のプロセスに画像信号が転送されるが、固定長符号化手段２６において一旦画像を固定長符号化する。固定長符号化アルゴリズムとしては例えば４×４画素を１単位とするブロック毎に隣接画素情報の冗長性を排除する符号化法を行うものを用いる。
【００３２】
この場合、図２の画素配列では隣接する画素位置には同じ色の画素が存在しないため、画素並べ替え手段２５によって同色画素をブロック化する。図３は画素並べ替え手段２５により図２の画素配列が並べ替えられた結果を示す図である。並べ替えは８×８画素単位に行い各色４×４画素を単位ブロックとしてブロック化する。図３の（ａ）から（ｂ）に並べ替えられた後の画像信号は、図３（ｂ）に示すように、ブロックの左上方向のアドレスと右下方向のアドレスにＧ成分が集められて配列され、左下方向のアドレスにＢ成分、右上方向のアドレスにＲ成分が集められて配列される。
【００３３】
次に、上記固定長符号化手段２６における画像符号化方法について説明する。図４は画素並べ替え手段２５により並べ替えられた単位ブロック内のカラー画像信号を固定長符号化手段２６で符号化する場合のアドレスを示す図である。すなわち、図４は縦横４画素分ずつの同一カラーの画像信号の塊である単位ブロックのうち縦方向ｍ行横方向ｎ列（ｍ、ｎは０＜ｍ、ｎ≦４の自然数）のアドレスの画像信号に後述する量子化レベルを付すことを表している。
【００３４】
また、図５は画素並べ替え手段２５により並べ替えられ固定長符号化手段２６により各画素の画像信号の強度を階層化（量子化）する量子化レベルを表している。図５において、Ｌmin は図４に示す４×４画素の単位ブロックにおける画像信号強度中の最小値、Ｌmax は同じく画像信号強度中の最大値、Ｐ１は最大値Ｌmax と最小値Ｌmin との間を８等分した下から８分の１の値、Ｐ２は上から８分の１の値、Ｑ１はＬmin 以上Ｐ１以下の信号強度を有する画素の平均値、Ｑ８はＬmax 以下Ｐ２より大きい信号強度の画素の平均値である。
【００３５】
また、ＬＤは単位ブロック内の階調幅指標であり、Ｑ８−Ｑ１に等しく、単位ブロック内の画像の濃淡変化の度合いを示す特徴量として用いられ、ＬＤ値が大きいほどブロック内の濃淡変化が激しく、すなわち、その単位ブロック内にエッジ（輪郭）が存在することを示す。Ｌ１〜Ｌ７は階調幅指標ＬＤを８等分した値を小さい方から並べたものである。ＬＡは単位ブロック内の特徴量としての画像データ平均値レベルであり、（Ｑ１＋Ｑ８）／２に等しい。φｉｊｋは画素毎の量子化レベルを表し、単位ブロック内の画像の濃淡分布を検出するための特徴量となる。
【００３６】
さらに、図６及び図７はこの実施の形態１に係る固定長符号化手段２６による符号化手順を示すフローチャートである。以下、このフローチャートを参照しながら符号化手順を説明する。まず、固定長符号化手段２６は、図６に示すフローチャートにおいて、画素並べ替え手段２５により図３の（ｂ）のように並べ替えられた単位ブロック内の画像データを読み込む（ステップＳＴ１）。次に、読み込んだ４×４画素分の画像データの信号強度を演算し、以下の各式に従って順次Ｐ１、Ｐ２、Ｑ１、Ｑ８、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求める（ステップＳＴ２〜ステップＳＴ１３）。
【００３７】
Ｐ１＝（Ｌmax ＋７Ｌmin ）／８
Ｐ２＝（７Ｌmax ＋Ｌmin ）／８
Ｑ１＝Ａｖｅ（Ｘmn≦Ｐ１）
Ｑ２＝Ａｖｅ（Ｘmn＞Ｐ２）
ＬＡ＝（Ｑ１＋Ｑ８）／２
ＬＤ＝Ｑ８−Ｑ１
Ｌ１＝ＬＡ−３ＬＤ／８
Ｌ２＝ＬＡ−ＬＤ／４
Ｌ３＝ＬＡ−ＬＤ／８
Ｌ５＝ＬＡ＋ＬＤ／８
Ｌ６＝ＬＡ＋ＬＤ／４
Ｌ７＝ＬＡ＋３ＬＤ／８
なお、Ｑ１の式はＬmin 以上Ｐ１以下の信号強度を持つ画素の平均値を求めることを意味し、Ｑ８の式はＬmax 以下Ｐ２より大きい信号強度を持つ画素の平均値を求めることを意味する。
【００３８】
このようにして、順次Ｐ１、Ｐ２、Ｑ１、Ｑ８、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求めた後、固定長符号化手段２６は、図７に示すフローチャートに移行して、ｎ＝１、ｍ＝１とおいて（ステップＳＴ１４、１５）、この時のアドレス（ｍ，ｎ）の画素の信号強度（以後、画素値と称する）Ｘmn（すなわち画素値Ｘ１１）がＬ１以下であるか否かを判断する（ステップＳＴ１６）。
【００３９】
画素値Ｘ１１がＬ１以下である場合には、この画素値の量子化レベルφｉｊｋを２進数の０００と設定する（ステップＳＴ１７）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００４０】
ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００４１】
画素値ＸmnがＬ１より大きい場合には、Ｌ２以下であるか否かを判別し（ステップＳＴ１８）、が措置ＸmnがＬ２以下である場合は、この画素の量子化レベルφｉｊｋを２進数の００１と設定する（ステップＳＴ１９）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合には、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００４２】
以下、同様に、画素値がＬ１〜Ｌ２間、Ｌ２〜Ｌ３間、Ｌ３〜ＬＡ間、ＬＡ〜Ｌ５間、Ｌ５〜Ｌ６間、Ｌ６〜Ｌ７間のいずれの値を有するかを判別し（ステップＳＴ１６、ＳＴ１８、ＳＴ２０、ＳＴ２２、ＳＴ２４、ＳＴ２６、ＳＴ２８）、その値に応じてそれぞれ量子化レベルφｉｊｋ＝０００、００１、０１０、０１１、１００、１０１、１１０、１１１を当該画素に割り振る（ステップＳＴ１７、ＳＴ１９、ＳＴ２１、ＳＴ２３、ＳＴ２５、ＳＴ２７、ＳＴ２９）。
【００４３】
このようにして、同一単位ブロック内の全画素に量子化レベルを割り振って符号化を終了する。単位ブロックの符号化データは、ＬＡ、ＬＤ、各画素毎のφｉｊｋである。これらの処理は、画面全体に対して単位ブロック数分繰り返す。Ａ／Ｄ変換回路４からのデジタル信号が１画素あたり１０ビットである場合（ビット詰めしない場合２バイト相当）、固定長符号化による画像圧縮率は１０／３２である。
【００４４】
このように同色画素の画素のみで構成されたブロック毎に固定長符号化手段２６において固定長符号化が行われ、画像データ量の低減が施された上で符号メモリ２７に蓄積される。単写撮影時においては、符号化メモリ２７から読み出された符号化信号に対して後段の信号処理手段２８で各符号の持つ特徴量を使用して画像処理が施される。
【００４５】
次に、信号処理手段２８における固定長符号化状態での信号処理の例として、従来例を構成するデジタル信号処理であるγ補正／白補正処理及び画素補間処理を例にとって説明する。従来例では撮像素子に長方形形状のものを用いるとともにコンピュータ等への表示などを考慮してデジタル信号処理としてスクウェアライジング処理を実施していた。しかし、今日ではデジタルスチルカメラ等を構成する撮像素子は正方形形状のものが主流になっており、実施の形態１においても一般的な正方形形状の撮像素子を使用している。従って、従来例との対比の中で、図３１に示すスクウェアライジング回路１４及びスクウェアライジング処理に伴うデータ転送レート変更のために使用していたバッファメモリ１２及び１５とそれぞれのバッファメモリコントローラ１３及び１６は、実施の形態１においては不要である。
【００４６】
以上を考慮して、実施の形態１における信号処理手段２８としてγ補正／白補正処理及び画素補間処理を例にとって説明する。まず、信号処理手段２８における固定長符号化信号を使用したγ補正処理について説明する。γ補正処理は、入力信号の階調特性に対して例えば図９に示すような異なる階調特性を持たせるものである。図９の（ａ）に示すグラフは入力信号の階調特性がそのままリニアに維持される場合を示し、図９の（ｂ）に示すグラフは入力信号に対して信号レベルの小さい領域に対して出力階調を多く割り当てることで、画像中の比較的暗い部分に含まれる画像情報を良好に再現できる特徴がある。
【００４７】
従来、最も簡便なγ補正処理方法としては、ルックアップテーブル（ＬＵＴ：Look Up Table）に入出力信号レベルの対応関係を記述しておくものが挙げられる。図１０にはルックアップテーブルＬＵＴの一例を示している。信号処理手段２８のγ補正処理では入力信号値が指し示す値を参照アドレスとしてルックアップテーブルＬＵＴから変換値としてデータ内容をロードする。例えば、入力信号レベルが１０ビットの００１である場合、ルックアップテーブルＬＵＴの先頭アドレス＋００１のアドレスを参照し、変換値０００をロードする。
【００４８】
実施の形態１の固定長符号信号に対しても、このルックアップテーブルＬＵＴを使用したγ補正処理が実行可能である。すなわち、固定長符号におけるブロック内平均値ＬＡを参照アドレスとしてγ変換後の値ＬＡ´をルックアップテーブルＬＵＴからロードすることにより、該当ブロックに含まれる１６画素すべてが後述する固定長復号化手段２９における復号化処理によってγ補正されたことと等価になる。
【００４９】
これは実施の形態１における固定長符号化手段２６による符号の一つであるＬＡ値が図５に示すように各ブロック内における画像データの平均値レベルを表しており、ＬＡ値が該当ブロックにおける画像の平均値レベルという一つの特徴量を用いることが可能なことによる。そのため、固定長復号化動作が画素毎の信号レベル変換を兼ねることになり、従来に比べて。小規模の追加負荷で機能を実現することができる。
【００５０】
次に、信号処理手段２８における白補正処理について説明する。図１１は白補正処理を示す概念図である。単板撮像素子に使用するカラーフィルタは一般的に感度特性が同一でない。図１１の（ａ）は例えばある撮像素子で得られる信号の帯域特性を示しており、Ｇに比べＲ、Ｂの感度が劣っている。これらのカラーフィルタを通して撮影した画像は、本来白色である被写体が緑色を帯びた色になる。また、撮影時の条件として、太陽光のもとで撮影する場合と室内の蛍光燈下で撮影した場合など、基準光の色温度によっても撮影された画像信号の信号特性は異なってくる。これらに対応し被写体における白色を良好な白色で再現するために白補正処理を行う。
【００５１】
一般的に、白補正処理は、Ｒ、Ｇ、Ｂ各信号に対して画面内の所定領域のヒストグラムをとり、Ｇ信号のレベルの最も大きい領域を白色光であると仮定して図１１の（ｂ）に示すように他の信号のダイナミックレンジを変換する。具体的には、画像中の所定領域の画素をサンプリングし、Ｇ信号特性から白色であると推定される信号を抽出する。この周辺のＲ色及びＢ色は本来白色でＧ色信号と同等のレベルを示していると仮定し、Ｒ色及びＢ色信号に対する補正係数ｗｒ及びｗｂを算出する。続いてＲ及びＢの全画素に対して、信号レベルは線形であるという特徴を利用して下式に従って線形変換を実施することで白補正処理を行う。
【００５２】
Ｒ´＝ｗｒ×Ｒ
Ｂ´＝ｗｂ×Ｂ
実施の形態１において固定長符号化信号を用いて白補正処理を行うことが同様に可能である。上記一般的なアルゴリズムにおいてヒストグラムをとる際に、ブロック毎の平均値であるＬＡ値をそのまま使用することで１６画素分の信号レベル値が加算されたことと等価になる。従来例と同様の手順でＲのＬＡ値であるＬＡ（Ｒ）及びＢのＬＡ値であるＬＡ（Ｂ）に対して補正係数ｗｌａｒ及びｗｌａｂを算出し、下式に従って全ＬＡ値に対して白補正を行う。
【００５３】
ＬＡ（Ｒ）´＝ｗｌａｒ×ＬＡ（Ｒ）
ＬＡ（Ｂ）´＝ｗｌａｂ×ＬＡ（Ｂ）
従来の白補正処理においては、白補正係数を全画素に対して掛けていたため、処理負荷が重かったが、実施の形態１における固定長符号化手段２６による符号の一つであるＬＡ値がブロック内の平均値レベルを表しているため、ＬＡ値を該当ブロックにおける画像の平均値レベルという一つの特徴量として用いることが可能になる。そのため、固定長復号化動作が画素毎の白補正を兼ねることになり、従来に比べて小規模の追加処理で機能を実現することができる。
【００５４】
次に、信号処理手段２８における画素補間処理について説明する。図１２は撮像素子２に図２のようなカラーフィルタを形成し撮像した場合の一般的な画素補間処理方法を示す図である。Ｇ色カラーフィルタを透過して撮像された画素の画素値はＧ色成分しか持たないため、周辺画素値を元にＲ色及びＢ色を線形補間法により算出する。
【００５５】
例えば、図１２の（ａ）は、カラーフィルタのＲ及びＢ画素の位置にＧ色を補間する方法を示している。Ｒ及びＢ画素位置は８近傍画素のうち対角の４画素に必ずＧ色が存在する。従って、Ｒ画素位置におけるＧ成分Ｒ（Ｇ）及びＢ画素位置におけるＧ成分Ｂ（Ｇ）は下式に従って演算することで求める。
【００５６】
Ｒ（Ｇ）＝（Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３２）／４
Ｂ（Ｇ）＝（Ｇ１２＋Ｇ２１＋Ｇ２３＋Ｇ３２）／４
また、図１２の（ｂ）からＧ画素におけるＲ成分Ｇ（Ｒ）及びＢ画素におけるＲ成分Ｂ（Ｒ）が図左から対応する下式で求められる。
【００５７】
Ｂ（Ｒ）＝（Ｒ１１＋Ｒ１３＋Ｒ３１＋Ｒ３３）／４
Ｇ（Ｒ）＝（Ｒ１２＋Ｒ３２）／２
または  Ｇ（Ｒ）＝（Ｒ２１＋Ｒ２３）／２
また、図１２の（ｃ）からＲ画素におけるＢ成分Ｒ（Ｂ）及びＧ画素におけるＢ成分Ｇ（Ｂ）が図左から対応する下式で求められる。
【００５８】
Ｒ（Ｂ）＝（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）／４
Ｇ（Ｂ）＝（Ｂ１２＋Ｂ３２）／２
または  Ｇ（Ｂ）＝（Ｂ２１＋Ｂ２３）／２
【００５９】
以上のような線形補間法アルゴリズムに当てはめて、実施の形態１に示す固定長符号化信号を用いた画素補間処理について説明する。
図１３は固定長符号化状態の各信号とこれらが画素並べ替え手段２５及び固定長符号化手段２６での処理前の段階における画素配置との位置関係を示す図である。図１３において、（ａ）は符号メモリ２７における固定長符号化信号を示しており、４×４画素からなるブロック単位にそれぞれブロック内平均値ＬＡｉ及び階調幅指標ＬＤｉ（但し、ｉ＝｛１，２，３，４｝）及び量子化符号φｘｙ（但し、ｘ，ｙは（ａ）に示す画素の座標値）が割り当てられている。
【００６０】
図１３の（ａ）に示す各画素を元の撮像素子に対応した画素配置に並べた場合、図１３の（ｂ）に示すようになる。  固定長符号化信号に対して補間処理を実施する場合の画素配置は図１３の（ａ）の状態であるが、便宜上図１３の（ｂ）に基づいて説明を行う。これらの画素配置の変更は符号化メモリ２７にアクセスする際のアドレス順が変化するのみであるので、同等である。図１４は固定長符号化信号に対する補間方法を示す図である。図１３の（ｂ）に示す８×８画素内の各画素において、図１４に示す各補間対象画素を含む３×３画素の領域として確保できる範囲、すなわちＲ及びＢに関しては８×８画素ブロックの外周１画素分を除く６×６画素を処理対象画素とした範囲が、Ｇに関しては４×８画素ブロックの外周１画素分を除く２×６画素分が、従来と同一の線形補間法が適用できる。
【００６１】
例えば、φ２３（ｘ＝２，ｙ＝３の場合）におけるＧ成分補間では、注目画素はＢ画素であり、図１４の（ａ）に示す左の補間手順が該当する。ここでは、注目画素の上下左右の４近傍画素φ２２、φ１３、φ３３、φ２４がＧ画素であり、これらは共通の（ＬＡ，ＬＤ）＝（ＬＡ１，ＬＤ１）を有している。従って、注目画素のＧ成分の符号化信号は下式によって求められる。なお、ＬＡ（Ｔ）、ＬＤ（Ｔ）は注目画素におけるＬＡ値及びＬＤ値である。
【００６２】
ＬＡ（Ｔ）＝ＬＡ１
ＬＤ（Ｔ）＝ＬＤ１
φ２３＝［（φ２２＋φ１３＋φ３３＋φ２４）／４］
（ただし、［］は括弧内の値の小数点以下切捨てを表す）
【００６３】
上式を用いた画素補間方法は、図５に示すように同一ブロック内におけるφ値がブロック内の各画素における信号レベル分布と等価であるという特徴を用いており、φ値がブロック内における画素の一つの特徴量であると言える。すなわち、本方式による補間によって生成された画素値は固定長復号化手段２９における復号化動作により、実際の画素値に変換される。
【００６４】
また、上記以外の画素に対して補間を実施する場合、補間対象画素が同一の（ＬＡ，ＬＤ）を持つ範囲の境界線上に存在する。これらの場合、図１５、図１６及び図１７に示す同一（ＬＡ，ＬＤ）条件下のみの周辺画素参照方法を用いることで、近傍値を用いた線形補間を行うことができる。この方法を用いる場合、従来方式を適用したブロック間をまたぐ線形補間に比較してミクロレベルでは補間される画素値は異なってくるが、元来、線形補間法は低域通過フィルタを通すことで画像をぼかして空白画素値を埋めるものであり、マクロレベルで見た画像は遜色ない画質が得られる。
【００６５】
このようにして得られた全画素の全色に相当する固定長符号化信号は、補間前の撮像素子に対応した符号列に追加されて後段のプロセスに転送される。補間によって固定長符号化信号の総量は９／４に増加するが、固定長復号化された画像データに対して画素補間を実施した場合と同等の量であり、以前符号化されていない状態に比べ１０／３２のデータ量を維持している。以上のように、固定長符号化信号を用いて従来と同等の処理効果を有するデジタル信号処理を実現することが可能である。
【００６６】
次に固定長復号化手段２９における画像復号化方法について図について説明する。図８は固定長復号化手段２９の動作を示すフローチャートである。以下、このフローチャートを参照しながら固定長復号化手段２９の固定長復号化動作を説明する。固定長復号化動作が開始されると、固定長復号化手段２９は、まず、縦方向座標値ｎを１に設定し（ステップＳＴ４０）、横方向座標値ｍを１に設定する（ステップＳＴ４１）。すなわち、ステップＳＴ４０及びステップＳＴ４１の動作によってある単位ブロック中の座標値（１，１）のアドレスが指定される。
【００６７】
次に、固定長復号化手段２９は、指定したアドレスの量子化レベルΦｉｊｋがいくつであるか判定し（ステップＳＴ４２、ＳＴ４４、ＳＴ４６、ＳＴ４８、ＳＴ５０、ＳＴ５２、ＳＴ５４）、判定した各量子化レベルΦｉｊｋに応じて平均値レベルＬＡと階調幅指標ＬＤとに基づいてその画素の信号強度Ｙｍｎ（座標値（１，１）の画素であるならばＹ１１）を求める（ステップＳＴ４３、ＳＴ４５、ＳＴ４７、ＳＴ４９、ＳＴ５１、ＳＴ５３、ＳＴ５５、ＳＴ５６）。
【００６８】
各ステップにおいて平均値レベルＬＡと階調幅指標値ＬＤとから信号強度Ｙｍｎを求めるには、それぞれ次の演算式に従う。
Ｙｍｎ＝ＬＡ−ＬＤ／２              （ステップＳＴ４３）
Ｙｍｎ＝ＬＡ−５ＬＤ／１４          （ステップＳＴ４５）
Ｙｍｎ＝ＬＡ−３ＬＤ／１４          （ステップＳＴ４７）
Ｙｍｎ＝ＬＡ−ＬＤ／１４            （ステップＳＴ４９）
Ｙｍｎ＝ＬＡ＋ＬＤ／１４            （ステップＳＴ５１）
Ｙｍｎ＝ＬＡ＋３ＬＤ／１４          （ステップＳＴ５３）
Ｙｍｎ＝ＬＡ＋５ＬＤ／１４          （ステップＳＴ５５）
Ｙｍｎ＝ＬＡ＋ＬＤ／２              （ステップＳＴ５６）
【００６９】
画素（１，１）の信号強度を求めたら、次に横方向に画素を１つ移動し（ステップＳＴ５７、ＳＴ５８）、同一の手順で画素（２，１）の信号強度を復号化する（ステップＳＴ４２〜ＳＴ５６）。このように単位ブロック内の最上段の画素について信号強度を復号化した後（ステップＳＴ５８）、縦方向の座標値を1だけインクリメントし（ステップＳＴ５９）、次の段の画素について同様にして信号強度を復号化する（ステップＳＴ４２〜ＳＴ５８）。このようにして単位ブロック内の全画素について信号強度を復号化して（ステップＳＴ４１〜ＳＴ６０）、復号化動作を終了する。
【００７０】
次に、画素逆並べ替え手段３０では、固定長復号化手段２９により復号化されたデータに、画素並べ替え手段２５で並べ替えたデータの逆の並べ替え処理を施して画素信号を走査線方向に読み出したときと同一の順序で並べ替え、フレームメモリ６に記憶される。
【００７１】
フレームメモリ６上の画像データは、アダプタ部１０のＤ／Ａ変換回路８及びエンコーダ９によりコンポジットビデオ信号に変換され、図示しない液晶ディスプレイに表示されるとともに、圧縮／伸長回路１７によりＪＰＥＧ方式等の画像圧縮が施されカードインタフェース１９を介してメモリカード１８等の二次記憶媒体に蓄積され単写動作が完了する。
【００７２】
また、連写撮影時は、撮影した画像が固定長符号化手段２６で固定長符号化され符号メモリ２７に蓄積された段階で次の撮像動作に入る。こうして所定の連写枚数分の撮像から固定長符号化までの処理を繰り返し実行し、順次符号メモリ２７に追加蓄積する。所定の連写枚数分の撮影動作が完了すると、符号メモリ２７に蓄積された連写枚数分の画像符号化データを１枚目から順次読み出し、上述の単写の場合と同様の流れで表示及びメモリカード１８への書き込みを行う。
【００７３】
以上のように、実施の形態１では、単板の撮像素子及び単板の撮像素子を備えた連写が可能なデジタルスチルカメラとして説明を行ったが、この限りでなく、光学系１、撮像素子２、ＡＧＣ回路３及びＡ／Ｄ変換回路４を外部接続する形態とした画像処理装置として構成してもよい。
【００７４】
また、実施の形態１では、コンピュータ等の他の画像機器とのデータ互換性を維持する目的で、固定長符号化された画像信号を固定長復号化手段２９において一旦復号化し、ＪＰＥＧ方式などの汎用の圧縮／伸長手段１７で再度符号化する構成を用いたが、この限りでなく、画像データベース装置等のローカルシステム内で実現する場合など、信号処理手段２８にて処理された固定長符号化信号を直接二次記憶に保存する形態でもよい。なお、この場合、二次記憶に記憶された複数の画像データは固定長符号として保存されているため、画像データのアドレス管理が容易に行えることから、二次記憶に記憶された画像に対して新たに付加的な画像処理を実行することが可能という新たな効果がある。
【００７５】
この実施の形態１に示した画像処理装置は、撮像から固定長符号化及び符号メモリ２７への書き込みまでを例えば電子回路で構成することにより、連写動作の高速性を維持することが可能である。また、これにより、後段の処理は連写速度と切り離して設計可能であるため、ＣＰＵ上のソフトウェアとして構成することにより、シャッタチャンスを逃すことのない撮像装置を低価格かつ小型に構成することが可能になる。
【００７６】
また、以上のようにデジタル信号処理をブロック毎の代表値を使用して行うことで、全画素に対して所定の処理を行う場合に比べてメモリアクセスや演算回数を１／１６に低減できるため、処理が高速に行えるとともに、従来電子回路でしか実現できなかった連写機能の実現がＣＰＵ上のソフトウェアで安価に現実的な処理速度で実現可能になる。
【００７７】
また、画像処理装置及び撮像装置を構成するにあたり、内部のデジタル信号処理時に固定長符号化信号を流通させることにより、各処理のテンポラリで使用する画像メモリを最小限に抑えると共に電子回路で構成した場合のデータ信号線を最小限に減少させることが可能になり、装置コストの低価格化及び装置の小型化が可能になる。
【００７８】
実施の形態２．
以下、実施の形態２を図について説明する。実施の形態２では、実施の形態１と同様に、カラーフィルタを備えた正方形形状の単板撮像素子を使用する連写可能なデジタルスチルカメラとして実現した場合について説明する。実施の形態２の全体構成を示すブロック図は実施の形態１と同様に図１を使用する。
【００７９】
図１８は実施の形態２における信号処理手段２８の内部構成を示したブロック図である。図１８において、３１はγ補正／白補正手段、３２は固定長符号化手段２６で符号化されγ補正／白補正手段３１でγ補正及び白補正が施された固定長符号化信号の一部を復号化する第二の固定長復号化手段、３３は第二の固定長復号化手段３２において復号化された画像信号の一部を保持するバッファメモリ、３４はバッファメモリ３３の入出力を管理するバッファメモリコントローラ、３５は第二の固定長復号化手段３２で復号化された一部の画像信号とγ補正／白補正手段３１から送出される残りの固定長符号化信号から画素補間処理を実行する画素補間手段である。
【００８０】
次に、動作について説明する。被写体の撮像から画像信号を固定長符号化信号に変換し符号化メモリ２７に記憶するまでの一連の動作は実施の形態１と同等である。以下に実施の形態２の特徴的である信号処理手段２８の動作について説明する。
【００８１】
図１８に示す信号処理手段２８内では、符号化メモリ２７に蓄積された固定長符号化信号を読み出し、γ補正／白補正手段３１にて実施の形態１と同様なγ補正処理及び白補正処理が施され、第二の固定長復号化手段３２に入力される。
【００８２】
第二の固定長復号化手段３２では、図１３の（ｂ）に示す８×８画素からなる単位符号化ブロック群の周辺部に位置する符号化信号のみを選択的に復号化する。すなわち、これらの対象信号は、実施の形態１で図１５、図１６及び図１７に示した補間処理の実施対象である画素と同一である。例えば、図１３の（ｂ）に示した符号化ブロック群について復号化される固定長符号化信号は、φ１１〜φ１８、φ２１〜φ２８、φｘ１（ｘ＝｛３，４，５，６｝）、φｘ２（ｘ＝｛３，４，５，６｝）、φｘ７（ｘ＝｛３，４，５，６｝）、φｘ８（ｘ＝｛３，４，５，６｝）、φ７１〜φ７８、φ８１〜φ８８の量子化符号にて対応される４８画素である。復号化された画像信号はバッファメモリ３３に一時記憶される。
【００８３】
バッファメモリ３３は、２ライン分の固定長符号化信号に含まれる復号化信号を固定長符号化信号で２ライン分（すなわち符号化前の原信号で８ライン分）を個別に格納可能な構成になっており、バッファメモリコントローラ３４が電子回路にて構成される場合はトグルスイッチ等にて入力バンク切り替え可能な構成に、また、バッファメモリコントローラ３４がＣＰＵ上のソフトウェアで構成される場合は、バッファメモリバンクの先頭アドレスを切り替え使用可能な構成になっている。
【００８４】
実際の補間処理手順について図１９を元に説明する。入力信号としては前述の復号化信号及び復号化されていない固定長符号化信号から内部の画像アドレス管理により選択処理を行う。始めに、処理対象画素が画像一画面の周囲部分に該当するか否か判定する（ステップＳＴ６１）。周囲部分に該当する場合は、隣接画素の存在に制限があるため特異処理として図１５、図１６及び図１７に示した補間方法を用いて補間処理を行う（ステップＳＴ６２）。
【００８５】
周囲部分でない場合、該当画素が符号化ブロック境界に位置する画素であるか否か判定する（ステップＳＴ６３）。ここで、処理対象画素は符号化ブロック境界に位置する画素でないと判定された場合、図１４に示す方法で補間処理を実行する（ステップＳＴ６４）。また、符号化ブロック境界に位置する画素であると判定された場合、第二の固定長復号化手段３２によって復号化された画像信号を使用して従来例と同様の線形補間法を用いて補間処理を行う（ステップＳＴ６５）。
【００８６】
このようにして、信号処理手段２８における全ての処理を施された画像信号のうち、第二の固定長復号化手段３２において復号化されていない画素は後段の固定長復号化手段２９において復号化が実行される。また、第二の固定長復号化手段３２における復号化が行われている画素は固定長復号化手段２９における復号化は行われない。このようにして得られるＲ、Ｇ、Ｂ全色分の復号された信号を備えた全画面分の画像データは実施の形態１と同様に画素逆並べ替え手段３０において元の撮像位置に対応した画素配列に並べ替えられた後、画面表示あるいは二次記憶媒体への画像蓄積が実施される。
【００８７】
上述した実施の形態１においては、信号処理手段２８における画素補間処理の際に全ての固定長符号化信号を復号化せずに画素補間処理を行ったが、この実施の形態２の構成ではブロック境界に位置する画素については第二の復号化手段３２によって選択的に復号化が施されており、従来の線形補間法による画素補間が可能である。従って、ブロック境界部分における補間画素値がミクロレベルで従来法と一致させることができる。
【００８８】
また、この実施の形態２においては、第二の固定長復号化手段３２において復号化された画像信号は固定長復号化手段２９を無処理で通過する構成にしたが、この限りでなく、信号処理手段２８内の画素補間手段３５の後段に第二の固定長符号化手段を設け再度符号化した後、固定長復号化手段２９との間に他の固定長符号化信号に対する画像信号処理を行う構成にしてもよい。
【００８９】
以上のように、実施の形態２によれば、信号処理手段２８で処理する際に、処理結果としての画質を劣化させることのない装置を最小限のバッファメモリの付加により安価に実現することが可能になる。
【００９０】
実施の形態３．
以下、実施の形態３を図について説明する。実施の形態３における全体構成を示すブロック図は図１であり、カラーフィルタを備えた正方形形状の単板撮像素子を使用した連写可能なデジタルスチルカメラとして構成している。
【００９１】
実施の形態３における実施の形態１及び実施の形態２に対する差異は、信号処理手段２８における画素補間方法にある。実施の形態３における画素補間方法として単純補間法を使用する。単純補間法は線形補間法に比べて処理後の画質は劣るが処理手順が簡易に構成できるという特徴がある。一般的な単純補間法を画像の解像度変換処理として実行する場合の処理方法を図２０に示す。図２０より、例えば画像を３×３倍の画素数に変換する際、単純補間法では元の画素をｘ方向及びｙ方向に繰り返し挿入することで処理が行われる。単純補間法では、新規の画素を生成する際に一切の演算を行わないため処理が簡易である。以下に、固定長符号化信号に対する単純補間法による画素補間処理の内容について記述する。
【００９２】
信号処理手段２８における画素補間方法に係る補間アルゴリズムの概念を図２１、図２２及び図２３に示す。各図は補間対象画素が符号化ブロックの周囲部分に存在する場合と非周囲部分に存在する場合を示しており、線形補間法の説明に用いた図１５〜図１７に対応している。これらの図では、補間規則の優先順位として、（１）左方向（２）上方向にある近傍画素から優先的に順次補間することとしている。
【００９３】
この実施の形態３における画像処理装置においては、信号処理手段２８における画素補間方法として単純補間法を用いた構成とし、全ての固定長符号化信号に対して復号化を行わずに画素補間処理を施す構成としたが、この限りでなく、例えば実施の形態２に示す構成とし符号化ブロックの境界位置に存在する処理対象画素に対しては復号化処理を行い原画像信号に対する単純補間処理を施す構成としてもよい。
【００９４】
以上のように、画像処理装置を構成することによって、画素補間処理に要する回路規模を低減または処理速度を向上することができるため、例えば液晶表示デバイス等を目視しながらの撮影構図の調整時等、高速に連続表示しながらシーンの概要を理解する機能などを低価格かつ小型の装置で提供することが可能になる。
【００９５】
実施の形態４．
以下、実施の形態４を図について説明する。実施の形態４における全体構成を示すブロック図はで図１あり、カラーフィルタを備えた正方形形状の単板撮像素子を使用した連写可能なデジタルスチルカメラとして構成している。
【００９６】
実施の形態４における実施の形態１との差異は、信号処理手段２８の画素補間方法である。図２４に実施の形態４における画素補間処理のフローチャートを示し、これを元に動作について説明する。
【００９７】
まず、処理対象画素の符号化信号中階調幅指標値ＬＤと所定のしきい値ＴＨ１とを比較する（ステップＳＴ６６）。ここで、ＬＤ値は符号化ブロック内で最大画素値と最小画素値の差分を取ることにより求めていることから、ＬＤ値が所定の値より大きい場合処理対象画素を含む符号化ブロック内に少なくとも画像のエッジ成分が含まれていると判断できる。この場合、処理対象画素は線形補間法（または投影法）を用いることで滑らかなエッジ画像の再現を行う（ステップＳＴ６７）。また、ＬＤ値がしきい値ＴＨ１よりも小さい場合、処理対象画素を含む符号化ブロックにはエッジ画像が含まれていないと判断し、高速な単純補間法による画素補間を実施する（ステップＳＴ６８）。
【００９８】
以上のように、実施の形態４によれば、画素補間処理実行時の解像性において比較的画質変化が目立ち易いエッジ画像を含むブロックを高画質の線形補間法で補間し、画質変化の目立ち難い階調変化の緩やかな領域に高速な単純補間法で補間することにより、固定長符号化信号に対して処理速度と画質を両立した画素補間処理が実行可能である。
【００９９】
実施の形態５．
次に、実施の形態５を図について説明する。図２５は実施の形態５における画像処理装置の全体構成を示すブロック図である。図２５において、図１に示す実施の形態１と同一部分は同一符号を付してその説明は省略する。新たな符号として、３６は固定長復号化時に色変換を同時に実行する色変換／固定長復号化手段である。また、図２６は１０ビットＬＵＴ及び量子化復号テーブルを有する実施の形態５における色変換／固定長復号化手段３６の動作を説明する概念図であり、図２７は実施の形態５の色変換／固定長復号化手段３６における処理手順を示すフローチャートである。
【０１００】
次に、動作について説明する。被写体の撮像から固定長符号化手段２６による画像信号符号化及び信号処理手段２８までの動作は、実施の形態１と同様である。信号処理手段２８では、γ補正処理、白補正処理、画素補間処理等が行われる。信号処理された一画面分のＲ、Ｇ、Ｂ全色成分が補間生成された固定長符号化信号は、色変換／固定長復号化手段３６に逐次入力される。
【０１０１】
以下、図２７を元にある符号化ブロックの色変換／固定長復号化処理の手順を説明する。固定長復号化対象の符号化ブロックにおいて、ＬＡ値及びＬＤ値を用いて各量子化符号に対する復号値Ｙ（φ）を演算する（ステップＳＴ７０）。次に図２６に示す第一の信号レベル変換手段として形成されている色変換用１０ビットＬＵＴからステップＳＴ７０で算出した各復号値を元に色変換後の値を参照し、第二の信号レベル変換手段として形成されている量子化復号テーブルの各量子化符号に該当する領域に格納する（ステップＳＴ７１）。
【０１０２】
次に符号化ブロック内の実際の固定長復号化処理を行う。ここでは、処理開始時に初期値として（１，１）を設定される符号化ブロック内の画素アドレス（ｍ，ｎ）により制御し順次復号化を進める（ステップＳＴ７２及び７３）。始めに、該当画素における量子化符号がφ０００であるか否かを判定する（ステップＳＴ７４）。ここでφ０００である場合、量子化復号テーブルのφ０００を示すアドレスを参照し実際の色変換後の復号値Ｙ´（φ０００）をロードする（ステップＳＴ７５）。
【０１０３】
以後、処理対象画素における量子化符号がφｉｊｋであるか否かをｉｊｋに関して順次判定を行い、該当する復号テーブルアドレスから色変換後の復号値Ｙ´（φｉｊｋ）をロードする（ステップＳＴ７６〜ＳＴ８８）。こうして、ある画素における量子化符号に対する色変換後の復号値が確定した後、処理対象画素アドレスを順次ずらしながら該当ブロックの復号化を実行する（ステップＳＴ８９〜ＳＴ９２）。以上の処理を、全色の一画面分の符号化ブロックに対して行うことにより、一画面分の画像信号全てを復号化することができる。以上のように、色変換／固定長復号化処理された画像信号は、後段の表示あるいは二次記憶のために送出される。
【０１０４】
以上のように、実施の形態５によれば、従来画面内の全ての画素に対して色変換処理を施す必要があったが、符号化ブロックを構成する１６画素のうち８段階の量子化符号毎に色変換処理を実行すればよく、また１０ビットＬＵＴの作成は撮像装置の電源投入時やユーザによる撮影モードの変更時に一度実行すればよいため、各撮影動作時の色変換処理に伴うメモリ参照等の処理規模が１／２に減少するため、高速に処理可能である。
【０１０５】
実施の形態６．
次に、実施の形態６を図について説明する。実施の形態６における画像処理装置の全体構成を示すブロック図は実施の形態５と同様に図２５であり、実施の形態５との差異は色変換／固定長復号化手段３６における色変換方式及びそれに伴う固定長復号化手順である。図２８は実施の形態６の色変換／固定長復号化手段３６における処理手順を示すフローチャートである。
【０１０６】
実施の形態６においては、色変換／固定長復号化手段３６における色変換方式としてマトリクス演算方式を用いる。実施の形態５に示したＬＵＴ参照方式に比較して、マトリクス演算方式は処理時間を要する反面高精度の色変換が可能でありテーブルメモリも不要であるという特徴を有している。下式に一般的なマトリクス演算による色変換式を示す。なお、ｃｒｓ（(ｒ，ｓ)={１，２，３｝）は色変換係数であり、マトリクス変換により色空間座標の変換が可能である。
【０１０７】
【数１】
0004330042.tif 000002
【０１０８】
次に、動作について説明する。被写体の撮像から固定長符号化手段２６による画像信号符号化及び信号処理手段２８までの動作は、実施の形態１と同様である。信号処理手段２８では、γ補正処理、白補正処理、画素補間処理等が行われる。信号処理された一画面分のＲ、Ｇ、Ｂ全色成分が補間生成された固定長符号化信号は、色変換／固定長復号化手段３６に逐次入力される。
【０１０９】
以下、図２８を元にある符号化ブロックの色変換／固定長復号化処理の手順を説明する。固定長復号化対象の符号化ブロックの所定色成分において、ＬＡ値及びＬＤ値を用いて各量子化符号に対する復号値Ｙ（φ）を演算する（ステップＳＴ９５）。これらを対象の符号化ブロックに対してＲ、Ｇ、Ｂ全色成分に対して実行する（ステップＳＴ９６）。次に、ステップＳＴ９６で算出した全色の量子化信号に対する各復号値からマトリクス変換によって色変換後の復号値を算出する（ステップＳＴ９７）。
【０１１０】
次に符号化ブロック内の実際の固定長復号化処理を行う。ここでは、処理開始時に初期値として（１，１）を設定される符号化ブロック内の画素アドレス（ｍ，ｎ）により制御し順次復号化を進める（ステップＳＴ９８及び９９）。始めに、該当画素における量子化符号がφ０００であるか否かを判定する（ステップＳＴ１００）。ここでφ０００である場合、量子化復号テーブルのφ０００を示すアドレスを参照し実際の色変換後の復号値Ｙ´（φ０００）をロードする（ステップＳＴ１０１）。
【０１１１】
以後、処理対象画素における量子化符号がφｉｊｋであるか否かをｉｊｋに関して順次判定を行い、該当する復号テーブルアドレスから色変換後の復号値Ｙ´（φｉｊｋ）をロードする（ステップＳＴ１０２〜ＳＴ１１４）。ステップＳＴ９８からステップＳＴ１１８までの復号化処理を終了した後、Ｒ、Ｇ、Ｂ全色分の処理が終了したか否かを判断する（ステップＳＴ１１９）。ここで、全色分が終了したと判断された場合、該当ブロックに対する全色成分の復号化が完了し、次のブロックに対する同様の処理に移行する。以上の処理を、全色の一画面分の符号化ブロックに対して行うことにより、一画面分の画像信号全てを復号することができる。
【０１１２】
以上のように、実施の形態６によれば、固定長符号化信号に対し高精度な色変換処理を少ない演算回数で行うことが可能であり、撮影画像の高画質化を高速に実行することができる。また、ＬＵＴを用いる方式に比べて色変換処理用メモリを低減できるため、装置の小型化及び低価格化に寄与することが可能である。
【０１１３】
実施の形態７．
次に、実施の形態７を図について説明する。実施の形態７における画像処理装置の全体構成を示すブロック図は実施の形態５と同様に図２５であり、実施の形態５との差異は色変換／固定長復号化手段３６における色変換方式及びそれに伴う固定長復号化手順である。また、実施の形態７における実施の形態６との差異は、色変換／固定長符号化手段３６における色変換手段であり、実施の形態７においては、固定長復号化された画像信号に対し色空間座標変換を行うところにある。
【０１１４】
実施の形態７においては、色変換／固定長復号化手段３６において輝度／色差系座標空間への座標変換を行う。具体的には下式を用いてＹＵＶ座標系への変換を行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝０．５６４×（Ｂ−Ｙ）
Ｖ＝０．７１３×（Ｒ−Ｙ）
【０１１５】
従って、具体的な動作としては、図２８におけるステップＳＴ９７における演算の実行ステップに上記演算式を実行し予め８段階の量子化符号にそれぞれ対応した（Ｙ，Ｕ，Ｖ）値を演算・保持しておき、各画素のφｉｊｋ分類により各画素におけるＹＵＶ値をロードする。
【０１１６】
以上のように、実施の形態７によれば、後段の圧縮伸長回路あるいはＲＧＢ系とは異なる色空間座標上で付加的な画像処理を行う際に、ＲＧＢ系の固定長符号化信号から直接目的の色空間座標系に座標変換が可能であるため、高速処理が実現できる。
【０１１７】
また、従来の色空間座標変換においては、画素毎に変換処理を行う必要があったが、固定長復号化処理と同時に実行することで量子化符号毎の変換で実現でき、１６画素分の変換が８回の演算付加で実現でき、変換精度を維持したまま高速変換が可能である。
【０１１８】
なお、実施の形態７においては、変換する色空間座標としてＹＵＶ空間を例にとって説明したが、この限りでなく、表示用ビデオ出力形式であるＹＣｒＣｂ空間などＲＧＢ系入力から変換可能な色空間であれば同様な構成が実現可能である。
【０１１９】
実施の形態８．
次に、実施の形態８を図について説明する。実施の形態８における全体構成を示すブロック図は図１である。実施の形態８における特徴的な動作を行う信号処理手段２８の構成を図２９に示す。図２８において、新たな符号として、３７は画素補間手段３５で補間処理を施された、符号化ブロックの周囲部分は復号化され非周囲部分は固定長符号化信号の状態を維持した画像信号を入力し、所定のフィルタリング処理を行うフィルタ処理手段であり、固定長符号化ブロック内の少なくとも一部に対しては復号化せずに固定長符号の量子化符号に対して直接フィルタリング処理する。
【０１２０】
次に、動作について説明する。被写体を撮像した画像信号は、画素補間手段３５まで実施の形態２と同様の手順で処理が施される。画素補間手段３５から出力される画像信号は、固定長符号化ブロックの境界部分に関してはＲＧＢ系の原信号として、それ以外の部分は固定長符号化信号としてフィルタ処理手段３７に入力される。
【０１２１】
例えば、フィルタ処理手段として、３×３画素のアクティブフィルタを用いる場合について説明する。３×３画素のアクティブフィルタの対象となる画素を図３０の（ａ）に示す。図に示す各画素に対するフィルタ係数をｋ（ｕ，ｖ）（（ｕ，ｖ）はマトリクス内の画素アドレスを示す）とおくと、注目画素Ｄ（ｘ，ｙ）に対して８近傍の参照画素を下式のように用いることでフィルタ処理を実行する。但し、Σは各（ｕ，ｖ）に対する括弧内の各演算結果の総和を示し、３×３画素内の注目画素を除く画素に対する全ての演算を含んでいるものとする。
【０１２２】
【数２】
0004330042.tif 000003
【０１２３】
ここで、注目画素の８近傍におけるフィルタ係数が正値の場合、構成されるフィルタは高域通過フィルタをなし、負値の場合は低域通過フィルタをなす。また、各係数値を調整することでフィルタ強度を可変に構成することができる。図３０の（ｂ）には高域通過フィルタ形成時のフィルタ係数の一例を、図３０の（ｃ）には低域通過フィルタ形成時のフィルタ係数の一例を示す。これらのフィルタ係数のセットを予め複数用意しておき、ユーザの指定等で好みのフィルタリング処理を選択できる。
【０１２４】
フィルタ処理手段３７に例えば上記のようなフィルタを構成しておいた場合、画素補間手段３５から入力される画像信号に対してフィルタ処理を施すことが可能である。すなわち、画素補間手段３５における参照マトリクスサイズは上記フィルタ処理手段３７と同じ３×３画素からなっており、符号化ブロック境界に対しては従来と同様の画像信号に対するフィルタ処理を施すことが可能である。  また、入力画像信号が符号化ブロックの境界部分に該当しない場合、入力される画像信号は固定長符号化信号であり、下式に従ってフィルタ処理を構成することができる。
【０１２５】
【数３】
0004330042.tif 000004
【０１２６】
ここで［］は演算結果を量子化符号に合わせるための３ビット化処理を示し、演算結果の小数点以下の切り捨てあるいは四捨五入、量子化符号値の取りうる範囲への補正（例えばφ´（ｘ，ｙ）＞１１１の場合φ´（ｘ，ｙ）＝１１１に、φ´（ｘ，ｙ）＜０００の場合φ´（ｘ，ｙ）＝０００に補正する）を意味する。
【０１２７】
以上のように、実施の形態８によれば、固定長符号化信号の状態で画像に対してデジタルフィルタを施すことが可能になる。また、実施の形態８では、フィルタ処理手段３７として３×３画素マトリクスからなるアクティブフィルタを構成するようにしたが、この限りでなく、例えば５×５画素あるいは７×７画素など画素補間手段３５から入力される固定長復号化済みの画像信号の範囲を超えるように構成することが可能である。
【０１２８】
この場合、符号化ブロックの境界領域に対するフィルタ処理に必要な画素のうち、復号化済みの画像信号と符号状態の画像信号が混在することになるが、フィルタ処理手段３７の前段において、フィルタ処理に必要な複合化済みの画像信号を得るために第三の固定長復号化手段を設けることで、符号化ブロックの周囲部分に対するフィルタ処理を復号化済み画素に対して統一的に実施することができる。また、実施の形態８においては、フィルタ処理手段としてアクティブフィルタを設ける構成を例にとって説明したが、この限りでなく、所望の固定式のフィルタとしてもよい。
【０１２９】
実施の形態９．
次に、実施の形態９を図について説明する。実施の形態９における全体構成を示すブロック図は図１である。実施の形態９における特徴的な動作を行う信号処理手段２８の構成は図２９であり実施の形態８と同様である。実施の形態８との差異は、フィルタ処理手段３７におけるフィルタ処理条件の設定にある。すなわち、実施の形態８におけるフィルタ処理手段３７において、下式に従ってフィルタ処理を実施する。
【０１３０】
【数４】
0004330042.tif 000005
【０１３１】
ここで、ＴＨ２は所定のしきい値、ｋ（ｕ，ｖ）は８近傍のフィルタ係数の符号が負であるフィルタ係数、ｋ´（ｕ，ｖ）は８近傍のフィルタ係数の符号が正であるフィルタ係数を示している。
【０１３２】
以上のように、実施の形態９によれば、画像信号のうち少なくとも一部を固定長符号化信号の状態で維持し、かつ固定長符号を有効に活用することで画像の各領域の特性に適合させたフィルタ処理を実現することができる。これは、例えば画像中のエッジ部分は高域通過フィルタでシャープな再現を行い、すなわち、固定長符号における階調幅を表す符号が所定のしきい値より大きい固定長符号化ブロックに対してのみ選択的に高域通過フィルタリング処理を行い、階調変化の緩やかな部分は撮像系あるいはアナログ信号処理に伴い発生するノイズ除去のために低域通過フィルタを施す、すなわち固定長符号における階調幅を表す符号が所定のしきい値より小さい固定長符号化ブロックに対してのみ選択的に低域通過フィルタリング処理を行うなどアダプティブなフィルタ処理が実現できることである。
【０１３３】
また、実施の形態９では、フィルタ処理手段として高域通過フィルタと低域通過フィルタをアダプティブに形成可能な構成として説明を行ったが、この限りでなく、高域通過フィルタとフィルタ処理なし、低域通過フィルタとフィルタ処理なしなど、撮像系あるいはアナログ信号処理系の信号特性に応じて階調幅指標値ＬＤを元に自由に組み合わせることができるのは言うまでもない。
【０１３４】
例えば、上記しきい値及びそれに伴い変更されるフィルタ係数を複数段階用いる場合について説明する。すなわち、フィルタ処理手段３７において、下式に従ってフィルタ処理を実施する。
【０１３５】
【数５】
0004330042.tif 000006
【０１３６】
ここで、ＴＨｗ（ｗ＝｛２，３，…，ｗ｝）は所定のしきい値（ＴＨｗ＜ＴＨｗ−１）、ｋｗ（ｕ，ｖ）は８近傍のフィルタ係数を示している。
【０１３７】
このように、複数段階のフィルタ係数をアダプティブに切り替え使用することで、すなわち、予め複数のフィルタ強度係数を保持し、固定長符号における階調幅を表す符号値に従って適応的にフィルタ強度係数を切り替え使用することで、各符号化ブロックの持つＬＤ値で表される画像特性に対して、動的に木目細やかな高画質化処理を施すことが可能である。
【０１３８】
以上の実施の形態においては、デジタル信号処理手段として電子回路を用いて構成することも、制御用ＣＰＵ上のソフトウェアとして構成することも可能である。また、この場合、符号メモリ２７はＣＰＵの外部メモリとして構成可能なだけでなく、大容量メモリ内蔵型のＣＰＵを用いる場合にはＣＰＵ内蔵メモリとして構成するようにしても同様の効果が得られる。
【０１３９】
【発明の効果】
以上のように、この発明によれば、複数のカラー成分が混在する所定の画素数の画像信号を同一色の画像信号成分により構成される単位ブロックの集合に並べ替える画素並べ替え手段と、該画素並べ替え手段により並べ替えられた画像信号を上記単位ブロック毎に固定長符号化する固定長符号化手段と、該固定長符号化手段により固定長符号化された画像信号を格納する符号化メモリと、符号化メモリに記憶される固定長符号の所定の符号成分を参照し、固定長符号を復号することなく該符号成分が示す特徴量を用いて所定の画像処理を行う信号処理手段を備えたことにより、高速に信号処理を行えるほか、画像記憶用メモリ、それに伴うメモリ制御回路及び画像データを処理間で送受するための信号線のビット幅を削減することが可能で、ひいては装置を小型かつ低価格に実現できるという効果がある。
【０１４０】
また、信号処理手段により、上記各符号化ブロック内の量子化符号の少なくとも一部を用いて該撮像手段から入力される画像の画素補間を行うようにしたことにより、上記種々の効果を維持しながら画素補間処理を従来法と同程度に高精度に実現できるという効果がある。
【０１４１】
また、信号処理手段により、画素補間法として線形補間法を用いるようにしたことにより、上記種々の効果を維持しながら良好な画質を実現できるという効果がある。
【０１４２】
また、信号処理手段により、画素補間法として単純補間法を用いるようにしたことにより、画素補間処理がより高速に実現でき、液晶ディスプレイ等にリアルタイムに撮影画像を提示することが可能で、上記種々の効果を維持しながら使用者の利便性を向上させることができるという効果がある。
【０１４３】
また、信号処理手段により、固定長符号のうちブロック内の階調幅を示す階調幅符号を用い、階調幅符号が所定のしきい値より小さいブロックに対しては画素補間法として単純補間法を用いると共に、大きいブロックに対しては線形補間法または投影法を用いるようにしたことにより、画素補間処理の高速性と処理後の画像品質を両立することができるという効果がある。
【０１４４】
また、信号処理手段から出力される固定長符号化信号を入力して、固定長復号化対象の符号化ブロックを構成する各画素の量子化符号に対する復号値を演算し、各復号値に対応する色変換後の復号値を得て、色変換後の復号値に対応する復号化された画素値を格納してなる量子化復号テーブルを参照して復号化された画素値に変換して色変換／固定長復号化処理された画像信号を出力する色変換／固定長復号化手段をさらに備えたので、上記種々の効果を維持しながら、高速階調変換処理を実現できるという効果がある。
【０１４５】
また、色変換／固定長復号化手段は、入力値に対応する色変換値を格納してなるルックアップテーブルを参照して各復号値に対応する色変換後の復号値に変換するようにしたので、上記種々の効果を維持しながら、高速の色変換処理を実現できるという効果がある。
【０１４６】
また、色変換／固定長復号化手段は、色変換マトリクス演算に基づいて各復号値に対応する色変換後の復号値に変換するようにしたので、上記種々の効果を維持しながら高精度の色変換処理を実現できるという効果がある。
【０１４７】
また、色変換／固定長復号化手段は、色空間座標変換に基づいて各復号値に対応する色変換後の復号値に変換するようにしたので、二次記憶あるいは表示のための色空間座標変換を高速かつ高精度に実現できるという効果がある。
【０１４８】
また、信号処理手段に、各ブロック内の少なくとも一部に対しては固定長符号の量子化符号に対して直接フィルタリング処理を行うフィルタ処理手段を備えるようにすることにより、上記種々の効果を維持しながら使用者の好みに合わせた任意のアクティブフィルタ処理を高速かつ高画質に実現できるという効果がある。
【０１４９】
また、上記フィルタ処理手段において固定長符号における階調幅を表す符号が所定のしきい値より大きいブロックに対してのみ選択的に高域通過フィルタリング処理を行うように構成することにより、上記種々の効果を維持しながら先鋭性の高い画像を提供することができるという効果がある。
【０１５０】
また、上記フィルタ処理手段において固定長符号における階調幅を表す符号が所定のしきい値より小さいブロックに対してのみ選択的に低域通過フィルタリング処理を行うように構成することにより、上記種々の効果を維持しながらノイズの目立たない高画質の画像を提供することができるという効果がある。
【０１５１】
さらに、予め複数のフィルタ強度係数を保持し、固定長符号における階調幅を表す符号に従って適用的にフィルタ強度係数を切り替え使用するようにしたので、かく符号化ブロックの持つ階調幅の値で表される画像特性に対して動的に木目細かな高画質化処理を施すことができる。
【図面の簡単な説明】
【図１】  実施の形態１に係る画像処理装置の全体構成を示すブロック図である。
【図２】  実施の形態１に係るＣＣＤの色フィルタ配列を示す図である。
【図３】  実施の形態１に係る画素並べ替え順を示す図である。
【図４】  実施の形態１に係る画素並べ替え手段により並べ替えられた単位ブロック内のカラー画像信号を固定長符号化手段で符号化する場合のアドレスを示す図である。
【図５】  実施の形態１に係る画素並べ替え手段により各画素の画像信号の強度を階層化する量子化レベルを表す図である。
【図６】  実施の形態１に係る符号化手順を示す図である。
【図７】  実施の形態１に係る符号化手順を示す図である。
【図８】  実施の形態１に係る復号化手順を示す図である。
【図９】  実施の形態１に係るγ変換処理の原理を示す図である。
【図１０】  実施の形態１に係るγ変換処理を実行するＬＵＴを示す図である。
【図１１】  実施の形態１に係る白補正処理の原理を示す図である。
【図１２】  実施の形態1に係る線形補間法を用いた画素補間処理に使用する参照画素位置を示す図である。
【図１３】  実施の形態１に係る画素並べ替え手段で並べ替えられた画素配置と本来の撮像時の画素位置の相関を示す図である。
【図１４】  実施の形態１に係る画素補間手段における参照画素を示す図である。
【図１５】  実施の形態１に係る画素補間手段における参照画素を示す図である。
【図１６】  実施の形態１に係る画素補間手段における参照画素を示す図である。
【図１７】  実施の形態１に係る画素補間手段における参照画素を示す図である。
【図１８】  実施の形態２に係る信号処理手段の構成を示すブロック図である。
【図１９】  実施の形態２に係る画素補間方法のタイミングチャートを示す図である。
【図２０】  実施の形態３に係る単純補間法の原理を示す図である。
【図２１】  実施の形態３に係る画素補間手段における参照画素を示す図である。
【図２２】  実施の形態３に係る画素補間手段における参照画素を示す図である。
【図２３】  実施の形態３に係る画素補間手段における参照画素を示す図である。
【図２４】  実施の形態４に係る画素補間手段におけるフローチャートを示す図である。
【図２５】  実施の形態５に係る撮像装置の全体構成を示すブロック図である。
【図２６】  実施の形態５に係る色変換方法を示す図である。
【図２７】  実施の形態５に係る色変換／固定長復号化手段におけるフローチャートを示す図である。
【図２８】  実施の形態６に係る色変換／固定長復号化手段におけるフローチャートを示す図である。
【図２９】  実施の形態８に係る信号処理手段の構成を示すブロック図である。
【図３０】  実施の形態８に係るアクティブフィルタの動作を説明する概念図である。
【図３１】  従来の撮像装置の全体構成を示すブロック図である。
【符号の説明】
２５  画素並べ替え手段、２６  固定長符号化手段、２７  符号化メモリ、２８  信号処理手段、２９  固定長復号化手段、３５  画素補間手段、３６  色変換／固定長復号化手段、３７  フィルタ処理手段。
【図１】
0004330042.tif 000007
【図２】
0004330042.tif 000008
【図３】
0004330042.tif 000009
【図４】
0004330042.tif 000010
【図５】
0004330042.tif 000011
【図６】
0004330042.tif 000012
【図７】
0004330042.tif 000013
【図８】
0004330042.tif 000014
【図９】
0004330042.tif 000015
【図１０】
0004330042.tif 000016
【図１１】
0004330042.tif 000017
【図１２】
0004330042.tif 000018
【図１３】
0004330042.tif 000019
【図１４】
0004330042.tif 000020
【図１５】
0004330042.tif 000021
【図１６】
0004330042.tif 000022
【図１７】
0004330042.tif 000023
【図１８】
0004330042.tif 000024
【図１９】
0004330042.tif 000025
【図２０】
0004330042.tif 000026
【図２１】
0004330042.tif 000027
【図２２】
0004330042.tif 000028
【図２３】
0004330042.tif 000029
【図２４】
0004330042.tif 000030
【図２５】
0004330042.tif 000031
【図２６】
0004330042.tif 000032
【図２７】
0004330042.tif 000033
【図２８】
0004330042.tif 000034
【図２９】
0004330042.tif 000035
【図３０】
0004330042.tif 000036
【図３１】
0004330042.tif 000037