(57)【特許請求の範囲】
【請求項１】
被読取物を読み取り、平面上の複数の光電変換素子のそれぞれに複数種類のスペクトル分布を持つ色フィルタを取り付けた画像読取手段から出力された複数の色信号と、前記複数の光電変換素子と前記色フィルタとの関係を示す色配置情報と、前記色フィルタのスペクトル分布情報とを外部へ出力する画像信号処理方法。
【請求項２】
請求項１記載の画像信号処理方法において、
前記複数の色信号は、前記画像読取手段の構造に依存した１画素に１種類の色信号である画像信号処理方法。
【請求項３】
平面上の複数の光電変換素子に複数種類のスペクトル分布のフィルタ手段を有し、被読取物を読み取って複数の色信号を出力するセンサと、
前記センサにて読み取られた複数の色信号をＡＤ変換するＡＤ変換器と、
前記ＡＤ変換された複数の色信号を符号化する符号化回路と、
前記符号化された複数の色信号を格納するメモリと、
前記符号化された複数の色信号を復号化する復号化回路と、
前記復号化された１画素あたり１種類の色信号が複数入力され、前記入力された色信号とは異なる１画素あたり少なくとも１種類の色信号を複数出力する色信号変換回路とを有し、
前記色信号変換回路は、前記複数の色信号においてエッジ部の検出を行い、前記エッジ部に位置する画素を検出するエッジ検出回路を有し、非エッジ部では隣接画素の異なる種類の色信号を組み合わせることで複数の色信号を生成し、エッジ部では周辺領域の色信号を用いて複数種類の色信号を生成する画像信号処理装置。
【請求項４】
請求項３記載の画像信号処理装置において、
前記エッジ検出回路は、複数種類の色信号の組合わせた差分ベクトル算出手段と、予め定めたしきい値と比較する比較器とを有する画像信号処理装置。
【請求項５】
平面上の複数の光電変換素子のそれぞれに複数種類のスペクトル分布の何れかを持つ色フィルタを有し、被読取物を読み取って複数の色信号を出力するセンサと、
前記センサにて読み取られた複数の色信号をＡＤ変換するＡＤ変換器と、
前記ＡＤ変換された複数の色信号を符号化する符号化回路と、
前記符号化された複数の色信号を格納するメモリと、
前記メモリに格納された複数の色信号と、前記複数の光電変換素子と前記色フィルタとの関係を示す色配置情報とを外部装置へ伝送する伝送部とを有する入力装置と、
前記入力装置の伝送部から伝送された複数の色信号を復号化する復号化回路と、
前記復号化された複数の色信号を、前記色信号とは異なる複数の色信号に変換する色信号変換回路と、
前記変換された複数の色信号を表示または印刷する印字部とを有する出力装置とを備え、
前記色信号変換回路は、１画素あたり１種類の色信号が入力され、前記入力された色信号とは異なる１画素あたり少なくとも１種類の色信号を出力し、前記複数の色信号においてエッジ部の検出を行い、前記エッジ部に位置する画素を検出するエッジ検出回路を有し、非エッジ部では隣接画素の異なる種類の色信号を組み合わせることで複数の色信号を生成し、エッジ部では周辺領域の色信号を用いて複数種類の色信号を生成する画像信号処理システム。
【請求項６】
請求項５記載の画像信号処理システムにおいて、
前記エッジ検出回路は、複数種類の色信号の組合わせた差分ベクトル算出手段と、予め定めたしきい値と比較する比較器とを有する画像信号処理システム。
【請求項７】
請求項６記載の画像信号処理システムにおいて、
前記差分ベクトル算出手段は、差分符号化方式を用いた復号化手順で発生する差分信号を用いて差分ベクトルを算出する画像信号処理システム。
【請求項８】
請求項５記載の画像信号処理システムにおいて、
前記符号化回路と前記復号化回路は、差分符号化方式の符号化，復号化の処理を行う画像信号処理システム。
【発明の詳細な説明】
技術分野
本発明は画像処理装置に係り、特にカラー画像信号を入力，圧縮，蓄積，色変換，表示などの信号処理を実行する装置に関する。
背景技術
画像入力装置の代表機器としてデジタルカメラが普及しており、この技術については例えばオーム社発行の雑誌「エレクトロニクス」第４３巻１月号（１９９８）の特集記事として掲載されている。デジタルカメラ等に用いられている単板型のＣＣＤセンサは、フォトダイオードとコンデンサの組合わせから構成される光電変換素子を画素の単位として、一つの基板上に複数画素を配列することで、平面に投影された光の分布を電気信号に変換する。カラー画像を入力する場合には、ｓ種類の色フィルタ，ダイクロイックミラーなどの手段を利用することで、ｓ種類のスペクトル分布の異なる色信号を作り出す。ＣＣＤセンサを複数個利用してｓ種類の色信号を入力する装置構成としては、例えば、ｓ個のＣＣＤセンサのそれぞれに異なる色フィルタを配置することで、ｓ個のＣＣＤセンサのそれぞれがｓ種類の色信号を撮像できる。
一方、単板型のＣＣＤセンサを利用してｓ種類の色信号を入力する装置構成としては、ｓ種類の色フィルタを各画素（光電変換素子）に取り付けることで、ｓ種類の色信号を撮像できる。ＣＣＤセンサで撮像した色信号を用いて各画素にｓ種類の色信号を生成する信号変換手段として、ＣＣＤセンサから出力されるアナログ信号の段階で処理するための専用の信号処理ＬＳＩが製造販売されている。こうしてカラーセンサで入力した色信号を、例えばＹＣ信号（輝度Ｙと色差信号ＣｒとＣｂ）に変換したのちに、メモリ記憶、あるいは外部出力する。
ここでＹＣ信号を含む色信号のデータフォーマットは、テレビジョン放送機器の標準化で定められた方式があり、国際機関ＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）の勧告として、例えばＲＥＣＯＭＭＥＮＤＡＴＩＯＮ  ＩＴＵ−Ｒ  ＢＴ．６０１−５−「ＳＴＵＤＩＯ  ＥＮＣＯＤＩＮＧ  ＰＡＲＡＭＥＴＥＲＳ  ＯＦ  ＤＩＧＩＴＡＬ  ＴＥＬＥＶＩＳＩＯＮ  ＦＯＲ  ＳＴＡＮＤＡＲＤ  ４：３  ＡＮＤ  ＷＩＤＥ−ＳＣＲＥＥＮ  １６：９」に制定されている。それによれば、まず色信号の規定と画像サイズの規定があり、その画素数に対応した色信号の設定が決められている。その一例として、色信号は輝度Ｙと色差信号ＣｒとＣｂの３種類（ｓ＝３）であり、色差信号は画素数と同じ、あるいは画素数よりも少ないサブサンプリングできるようになっている。つまり画素数４個について、Ｙ４個，Ｃｒ４個，Ｃｂ４個というフォーマットでも良く、あるいはＹ４個，Ｃｒ１個，Ｃｂ１個というフォーマットを設定することもできる。これらの規定をまとめれば、放送画面を構成する画素数が前提にあり、それに基づき色信号を規定していることになる。
また一般に「サンプリング定理」と呼ばれる原理に基づき、サンプリング周波数ｆｓａｍｐｌｅと出力色信号の周波数ｆｃｏｌｏｒの関係が（ｆｓａｍｐｌｅ／２）＞ｆｃｏｌｏｒを満たさないと、折り返し周波数と呼ばれる劣化成分が発生することが知られている。したがって色信号の変換などを実行したあとに、周波数フィルタ手段を用意する。
色信号フォーマットの考え方は、カラー画像の圧縮方式として知られているＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）で規定している色信号フォーマットにも踏襲されている。この場合は、画面を構成する画素数は任意に設定できるが、この画素と色信号の対応関係は前記テレビジョンの場合と同じ設定方法を採用している。
また、単板型のカラーセンサの解像度を向上させるための技術として、１９９８年度電子情報通信学会総合大会予稿集Ｄ−１１−８７の田村，的場「単板カラーＣＣＤ入力による高精細画素補間法」（１９９８年３月）に記載されている。
画像データは、その利用目的に応じて色種類の変換が行われ、プリンタの場合では、入力信号をＣＭＹ（シアン，マゼンタ，イエロ）などの色信号に変換して、インク量の制御信号として利用する。従来、この色変換を実行するには、あらかじめ用意した変換式あるいは変換表などに基づいて信号処理する。そして、入力装置の機器特性に依存しないで色の再現性を実現するために、ＩＣＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｌｏｒ  Ｃｏｎｓｏｒｔｉｕｍ）が定めたＩＣＣ仕様書が知られている。
発明の開示
上記従来技術は、カラー画像などの画像信号の取扱いにおいて、入力機器および出力機器の特性になるべく依存しないことを目的に、信号変換を行っている。そして、例えば標準的な信号フォーマットとして、変換処理した結果である画像信号を利用している。
しかし、画面を構成する画素と色信号は、前記したカラーＣＣＤセンサの構造に依存するものである。このセンサ出力信号を、画素と色信号のフォーマットに合わせ込むためには、信号変換手段が不可欠となり、さらにデータ量が増加する問題が生じる。具体例をあげれば、例えばＲＧＢフィルタを用いた単板型ＣＣＤセンサでは、センサ出力信号は１画素についてＲＧＢフィルタのいずれか１種類の色信号で構成されている。これをフォーマットに基づき、１画素をＹ，Ｃｒ，Ｃｂ信号で表すためには、色信号の変換手段が不可欠であり、さらにデータ量が３倍に増加することになる。さらに、この信号変換手段を、センサ出力のアナログ信号の段階で実行するならば、隣接する画素の信号関係を考慮することが困難であり、例えば解像度低下などの問題が生じることがある。
さらに画素毎のｓ種類の色信号を生成してから符号化処理を行う手順のため、処理時間がかかる。また上記例では３倍に増加した色信号に対して符号化処理することになり、符号化データが十分削減できないという問題点がある。
また上記の文献、１９９８年度電子情報通信学会総合大会予稿集Ｄ−１１−８７の田村，的場「単板カラーＣＣＤ入力による高精細画素補間法」（１９９８年３月）による解像度向上技術は、あらかじめ定めたパターンを用いたマッチング処理と、演算式に基づいた信号処理であり、画像信号の特性を十分に活用していないため、例えばエッジ部分の色ずれなどを考慮したものではない。
また、折り返し周波数の発生を防ぐために周波数フィルタを用意した場合は、その特性によっては本来の信号も劣化させる場合がある。また周波数フィルタ手段は、アナログ回路あるいはデジタル回路で構成されるが、望まれる周波数特性を実現するための回路構成は様々な方式が提案され、特性の良い信号処理を実現するためには回路規模の増大をもたらしている。
また入力装置から出力装置まで伝送する色信号は、例えば標準的なフォーマットに合わせるために信号変換を繰り返すならば、信号劣化の要因となる。前記したＩＣＣ仕様書に基づく色変換処理においても、画素の並びは考慮されておらず、１画素は複数種類の色信号で構成されていることが前提になっている。このため、色の再現性を実現するための標準方式を実行する前の処理段階において、上記に述べた信号変換の誤差の発生，処理時間，エッジ部の色ずれなどの問題が生じる場合がある。
本発明の目的の１つは、画像情報に対応する色信号のデータ量を削減でき、簡易な構成で処理時間が短縮できるデータフォーマットまたは、それを用いた画像処理システムを提供することである。
また他の目的は、高画質なカラー画像の信号処理、画像表示あるいは記録が可能な画像再生装置を提供することである。
上記目的を解決するために本発明は、被読取物を読み取り、平面上の複数の光電変換素子に複数種類のスペクトル分布のフィルタ手段を取り付けた読取手段から出力された複数の色信号と、複数の光電変換素子と複数種類の色フィルタとの関係を示す色配置情報とをデータフォーマットとして外部へ出力する構成とする。
また、被読取物を読み取り、平面上の複数の光電変換素子に複数種類のスペクトル分布のフィルタ手段を取り付けた読取手段から複数の色信号を出力し、その複数の色信号をＡＤ変換してアナログ信号を出力し、アナログ信号を符号化して符号化された色信号を出力し、符号化された色信号をメモリに格納し、格納された複数の色信号と、複数の光電変換素子と複数種類の色フィルタとの関係を示す色配置情報とを伝送部により外部へ伝送する構成とする。
また、平面上の複数の光電変換素子に複数種類のスペクトル分布のフィルタ手段を有し、被読取物を読み取って複数の色信号を出力するセンサと、センサにて読み取られた複数の色信号をＡＤ変換するＡＤ変換器と、ＡＤ変換された複数の色信号を符号化する符号化回路と、符号化された複数の色信号を格納するメモリと、メモリに格納された複数の色信号と、複数の光電変換素子と複数種類の色フィルタとの関係を示す色配置情報とを外部装置へ伝送する伝送部とを有する入力装置と、入力装置の伝送部から伝送された複数の色信号を復号化する復号化回路と、復号化された複数の色信号を、色信号とは異なる複数の色信号に変換する色信号変換回路と、変換された複数の色信号を表示または印刷する印字部とを有する出力装置とを備える構成とする。
また、色信号変換回路は、１画素あたり１種類の色信号が入力され、前記入力された色信号とは異なる１画素あたり少なくとも１種類の色信号を出力する構成とする。
このような構成により、画像情報に対応する色信号のデータ量を削減でき、簡易な構成で処理時間が短縮できるデータフォーマットを有する画像信号処理方法及び装置または、それを用いた画像信号処理システムを提供できる。また高画質なカラー画像の信号処理、画像表示あるいは記録が可能な画像再生装置を提供できる。
発明を実施するための最良の形態
以下、本発明の画像信号処理装置の一実施例を図面を参照して説明する。
第１図（ａ）は本発明の画像処理システムの一構成例を示している。画像読取手段のカラーセンサ１０により文書，図面，風景等の被読取物をアナログ信号として画像情報が入力され、それに対応する複数の色信号をＡＤ変換器１１でデジタル信号に変換し、変換されたデジタル信号をメモリ１２に記憶する。メモリ１２から読み出された色信号を色信号変換回路１３で入力された色信号とは異なる色信号に変換し、その変換された色信号を外部装置である出力装置１４、例えばプリンタ，ＦＡＸ等に出力される。メモリ１２の後に伝送部を用いたり、色信号変換回路１３の後に伝送部を設けて出力側の外部装置へ伝送することもできる。
また、同図（ｂ）に示すように、上記システム構成に画像信号のデータ量削減を目的とした符号化回路１５，復号化回路１６を組み合わせてメモリ１２の前後に配置することもできる。
ここで本発明の特長は、１画素がｔ（ｔ≧１）種類で構成された色信号が出力装置１４へ入力されるために、カラーセンサ１０により読み出されてから色信号変換回路１３に入力されるまで、１画素，１種類の色信号で動作する回路構成を提供することで、高速で高画質の画像データを出力するあるいは再現することである。
いわゆる単板型のカラーセンサ１０は、平面内に並べられた複数の光電変換素子のそれぞれに規則正しくｓ（ｓ≧３）種類の色フィルタを配置して色信号を読み取る構成である。例えば、ＣＣＤセンサは、各画素が受ける光の量をフォトダイオードとコンデンサの組み合わせによって電荷量に変換したのち、順番に読み出すことで平面内の画素の信号を出力する。またＭＯＳセンサも同様にフォトダイオードで光電変換したのち、スイッチング素子によって順番に信号を読み出す構造になっている。これらの順番にしたがって信号出力する回路は、センサ素子と同一基板上に実装されている場合が多く、本発明はその回路方式と動作を限定するものではない。
なお、２次元平面の画像信号を作成するためには、光電変換素子を２次元に配置した平面型センサを用いる方式と、光電変換素子を１次元に配置したラインセンサを対象物に対して相対移動させる方式があるが、本発明はこれらの読み取り方式を限定するものではない。
以下の説明では、色フィルタのスペクトル分布特性に基づく信号を色信号、それぞれの光電変換素子に相当する単位を画素、読み出される画素の集合を画像、と呼ぶことにする。画像を構成する画素の色信号はカラーセンサの光電変換素子から読み出されたｓ種類の色信号で表される。
単板型のカラーＣＣＤセンサは、光電変換素子のそれぞれにｓ種類のスペクトル分布を持つ色フィルタを規則的に配置しているため、１画素あたり１種類の色信号である。ｓ個の画素を組み合わせることでｓ種類の色信号を生成することができる。色フィルタのスペクトル分布は、例えばＲＧＢ（赤緑青）、あるいはＣＭＹ（シアン，マゼンタ，イエロ）などが使われる。単板型のカラーＣＣＤセンサの画素に取り付ける色フィルタの配置は、例えば第２図に示すようにできる。色フィルタの配置がベイヤ型の場合、縦２画素と横２画素の計４画素の中に、Ｒ（赤）フィルタを持つ画素が１個、Ｇ（緑）フィルタを持つ画素が２個、Ｂ（青）フィルタを持つ画素が１個を配置するパターンとなっている。これらの画素の色信号を読み出すことで、１画素あたり１種類の色信号を持つカラー画像データを入力することができる。これらの配置パターンは、センサ自体の設計時に定まるものであり、したがって読み出した各画素の色信号が前記ｓ種類のいずれに該当するかは設計仕様書などから判断できる特性である。本発明は、これらの位置関係の情報を利用する。
なお、撮影対象からの光線をセンサ表面に焦点を結ぶための光学系が必要であるが、本発明において特に制約はない。また、光学系の歪み、センサの画素毎の感度特性などを補正することもできる。
このようにしてカラーセンサ１０から読み出した色信号は、この時点では画素について一つの色信号しか備わっておらず、第４図に示すようにセンサの画素と色フィルタの配置関係によって定まることになる。したがってこのまま色信号を出力すると、例えば白と黒の撮影対象を入力しても、ＲＧＢ色フィルタの配置に基づく画素ごとに、それぞれＲＧＢ色信号が出力される。例えばＩＴＵ−Ｒの定める規格ＩＴＵ−Ｒ  ＢＴ．６０１−５が色信号として輝度Ｙ，色差信号Ｃｒ，Ｃｂを利用するように、第５図に示すように一つの画素をｓ種類（ＲＧＢ，ＣＭＹなどの場合にはｓ＝３）の色信号で表現するならば色信号は３倍のデータ量に増えることになる。また、この色信号変換の方法は、アナログ回路，デジタル回路などで実行して、またセンサの配置によって定まるサンプリング周波数ｆｓａｍｐｌｅと色信号の持つ周波数成分ｆｃｏｌｏｒの関係が、サンプリング定理（ｆｓａｍｐｌｅ／２）＞ｆｃｏｌｏｒを満足するように、入力した色信号の周波数制限を行っている。
本発明は、カラーＣＣＤセンサ等の入力装置の色フィルタの配置情報と、色フィルタの特性情報（例えばスペクトル分布、あるいはＲＧＢなどの色種類）を利用することで、高速処理と画質の向上を実現することが特徴である。このため、入力装置と出力装置１４間のデータフォーマットの中に、上記した入力装置の色フィルタの配置情報と色フィルタの特性情報を含めておくことで、色信号処理において１つの画素について１つの色信号を利用した信号処理を実行できる。また、符号化回路１５は、画素について１つの色信号を符号化対象とすることで、データ量の削減を行うことができる。符号化方式に特に制約を設けるものではないが、差分符号化に基づく方式（例えば勧告ＩＴＵ−Ｔ  Ｔ．８１に記載のＪＰＥＧロスレスモード、あるいはＩＴＵ−Ｔ  Ｔ．８７に記載のロスレス圧縮方式）などを利用することができる。差分符号化は、隣接する同種類の色信号との差分値を算出した後、符号語に置き換える手順である。そして、メモリから格納されている符号データを読み出して復号することで、１つの画素について１つの色信号を再生することができる。また、符号化方式として差分符号化を利用することで、符号データから求められる差分信号を利用した信号処理を行うことができる。
この処理タイミングを第６図に示す。カラーセンサ１０の色フィルタ配置に基づき、ライン毎に入力する色信号が異なる。例えば第５図に示したようなＲＧＢの原色ベイヤ配列の場合には、第１ラインはＲＧＲＧ…、第ｉ＋１ラインはＧＢＧＢ…の順番で色信号が入力するため、この色信号の入力タイミングに合わせて符号化処理を行い、メモリ１２に蓄積する。さらにメモリ１２に蓄積した色信号を読み出す場合は、上記と同様の手順でメモリ１２から符号データを読み出して、復号化回路１６で１画素を１種類の色信号に復元する。そして色信号変換回路１３を用いて、出力装置１５への出力信号として、色信号を利用して１画素あたりｔ種類の色信号を作成する。例えば、画素あたりシアン，マゼンタ，イエロ，ブラックのインクを利用するプリンタでは、ｔ＝４となる。
ここでＶＧＡと呼ばれる画像サイズ（６４０×４８０画素）の色信号を入力した場合の具体的な数値例を示す。従来方式では、入力時点で１画素あたりＲＧＢ３種類の色信号に変換した後に、ＪＰＥＧ方式（勧告ＩＴＵ−Ｔ  Ｔ．８１）で５分の１にデータ圧縮するならば、データ量は６４０×４８０×３×（１／５）＝１８４，３２０となる。一方本発明では、１画素あたり色フィルタに依存する１種類の色信号で表し、差分符号化方式で３分の２にデータ圧縮するならば、６４０×４８０×１×（２／３）＝２０４，８００となる。このようにデータ量において両者はほぼ同等である。本発明では、信号処理の負荷が少なく、簡易な回路構成で高速処理を実現できる。従来方式ではＪＰＥＧ方式を実現するために専用ＬＳＩを採用する場合が多いが、本発明では回路の簡易化に伴い装置構成を小型化でき、さらに省電力を実現できる。
以下、具体的な回路構成と処理手順を示す。
第７図を用いて、本発明を適用したデジタルカメラとプリンタからなる画像信号処理システムの一実施例とその信号処理手順について説明する。
本実施例は、デジタルカメラ１８とプリンタ１９が直結している装置構成を想定して、プリンタ内部の回路が実行する場合の構成及び信号処理手順を示す。
デジタルカメラ１８の機能は、被写体を画像信号として単板型カラーＣＣＤ等のカラーセンサ１０により取り込み、取り込んだアナログ信号をＡＤ変換器１１でデジタル信号に変換し、そのデジタル信号を符号化回路１５にて符号化され、符号化された信号をメモリ１２に蓄積し、メモリ１２から読み出した信号を外部装置（例えばプリンタ１９）へ転送すること、また必要であればＡＤ変換器１１で変換されたデジタル信号やメモリ１２から読み出した符号化された信号をモニタ信号変換回路２１により、モニタ２２用信号に変換され、モニタ２２に出力して表示させるなどである。
一方プリンタ１９の機能は、印刷しようとする外部装置から受け取った画像信号を印字するために、その画像信号を復号化回路１６にて復元し、復元された信号を色信号変換回路１３を用いて色信号，解像度，信号レベルの変換を行い、変換された信号に基づいて、印字装置２５内の印写プロセスにて印字することなどである。
上記機能を実現する装置構成と処理手順を詳細に説明する。
メモリ１２に蓄積する画像信号は、カラーセンサの色フィルタの種類に依存する画素毎に１種類の色信号である。メモリ１２から読み出して、外部出力する色信号も、画素毎に１種類である。モニタ２２の表示画面における１画素は１種類の色信号しか表示できないため、メモリ１２から読み出した画素毎に１種類の色信号を、表示のための色信号として利用できる。ここで、モニタの画素数が、メモリ蓄積されている画素数よりも少ない場合には、モニタ信号変換回路２１を用いてサブサンプリングなどの適当な方式で画素数を合わせ込むことができる。
そのモニタ信号変換回路２１の一実施例を第８図（ａ）に示す。
モニタ信号変換回路２１は、第８図（ａ）のような装置構成を用いて、モニタ２２の表示タイミングにしたがってメモリ１２を読み出すためのアドレス信号をアドレス生成回路２３にて生成し、メモリ１２から色信号を読み出す。この表示タイミングは、ＣＲＴを例にとれば水平同期信号，垂直同期信号などである。メモリ１２に蓄積するデータが符号データの場合には、復号化回路１６を用いて色信号を復元する。そして、色信号変換回路１３を用いて、モニタ２２の利用する色信号（例えばＲＧＢ）に変換した後、モニタ２２へ出力する。このように色信号を符号データに変換することでデータ量を削減することができる。
例えば第８図（ｂ）に示すような符号化回路１５と復号化回路１６の構成で、同種類の色信号を持つ隣接画素との差分を算出して符号データに変換する。ここで符号化回路１５において、信号バッファ８１は差分算出回路８０で利用する比較信号を蓄積するためのメモリであり、符号データはあらかじめ変換表８２に設定しておくことで高速処理できる。一方、符号データを復号する復号化回路１６は、符号データに対応した差分値を変換表８３から検索し、差分値の比較信号を信号バッファ８４から読み出して、両者の信号を差分演算回路８５で値を演算することで色信号を得ることが出来る。このように簡単な手順であるので、メモリ記憶内容の確認あるいは撮影状況確認のため、液晶ディスプレーなどにモニタ表示を行う色信号を表示速度に同期して復号することも実現できる。メモリ１２は、上記モニタ表示用の信号読み出しと、カラーセンサからの色信号のメモリ書き込みをタイミング調整しながら実行することで、両者のメモリアクセスの待ち時間を解消することができる。あるいはモニタ表示用の色信号はメモリ１２をバイパスして伝達することもできる。
符号データに変換することで、メモリ蓄積の効率が向上すると共に、外部機器への出力データ数を削減することができる。例えば、ケーブル接続によるデータ転送を行う場合には、符号データを利用することで転送時間の短縮を実現できる。モニタ表示する場合には、色信号を表示速度と同期して復号することで、ビットマップデータを保存するためのメモリが不要となる。また、差分信号を利用した信号処理（エッジ強調，拡大縮小など）を行うことで、高速で簡易な装置構成を実現できる。
プリンタ１９は、色信号の符号データを受け取り、復号化回路１６を用いて色信号を復元する。ここで、受信と共に印字出力するプリンタ構造である場合には、画像全体の符号データを蓄積しておく必要が無い。あるいは、デジタルカメラからの符号データの転送を、プリンタの印字動作に同期して出力することもできる。このようにして受信、あるいはメモリ蓄積した符号データを用いて、解像度変換を行う。符号データは変換表を用いて差分データに変換する。
カラーセンサ１０とモニタ２２間における画素数と色信号の合わせ込みを行うための変換ルールは、それぞれの色フィルタの配置を考慮に入れて設定する。両者間の色信号の変換は、簡易な演算式に基づく回路構成で実現することができる。
カラーセンサ１０，モニタ２２などには、それぞれの色信号の配置情報を外部装置から予め読み出し手順を定めておき、その手順に応じて読み出すことのできる記憶回路を内蔵しておくことで、カラーセンサ１０，モニタ２２などの入力装置，出力装置の種類を変更しても、それぞれの装置の特性を読み出すことができ、読み出した情報に基づき、信号処理手順を切り替えることができる。
次に、カラー単板型ＣＣＤセンサを用いて画素毎に一つの色信号を入力した場合に、画素毎にＲＧＢ信号などの複数種類への信号拡大の方法と一装置構成について説明する。
さらに、この色信号を利用したエッジ検出，拡大縮小などの信号処理について説明する。
（１）色信号の変換
まず、カラー単板型ＣＣＤセンサを用いて画素毎に一つの色信号を入力した場合に、画素毎にＲＧＢ信号などの複数種類への信号変換の方法と装置構成を述べる。ここで述べる処理手順は、隣接する画素の色信号の配置パタンを利用して新たな信号を生成するものであり、従来の周波数フィルタを利用する場合と異なり、サンプリング定理に基づく折り返し周波数の影響を受けることがないのがメリットの一つである。
まず画素単位に信号処理を実行する手順を説明する。
第９Ａ図は、撮影対象の色信号を予め設定できる場合の処理手順の一例を示している。
予め色信号が分かる場合としては、撮影対象が定型文書などの特定位置に特定の文字図形が書き込まれている場合などがある。あるいは、予め撮影対象の出現色の統計を算出することでもよい。そして、例えば撮影対象が白黒の文書画像を、カラーセンサ１０で入力する場合を説明する。カラーセンサ１０のＲＧＢ色フィルタの配置に基づき、入力した画像信号のそれぞれはＲＧＢのスペクトル分布に基づく色信号となっている。しかし、ここで出力したいのは白黒文書の画像信号であるために、それぞれの色信号を白黒信号に変換する。この変換処理には、ＲＧＢのそれぞれによって変換の特性が異なるために、例えば予め作成した変換表を利用することができる。この変換表は、センサからのＲＧＢ信号を入力して、白黒信号を出力するような変換特性カーブとして、予め測定したデータに基づき作成することができる。さらに出力信号が白黒２値信号でよい場合には、カラーセンサ１０からのＲＧＢ信号について、白か黒を判定するためのしきい値を用意すればよい。
さらに撮影対象が白地の紙に書かれた赤い文字図形の場合を説明する。この場合でも、それぞれの色信号の振幅値が異なるだけで色信号として取り込むことができ、例えば変換表を用いて赤信号を出力することができる。ここで、文字図形の赤色と、Ｒ色フィルタのスペクトル分布特性がまったく一致している場合には、Ｒ色信号として白地と文字図形の区別はつかなくなるが、印刷用のインク素材とフィルタ素材は異なる特性を持つことから、きわめてまれなケースである。さらに、撮影対象を照明する複数種類のスペクトル分布を持つ光源を用意して、光源を切り替えながら複数種類の画像データを撮影することで、上記の問題の発生確率をさらに低減することができる。
また、隣接する画素の異なる色信号を用いて、画素の並びの平滑化（輪郭のスムージング）処理と組み合わせることで、文字図形の読み取り信号の画質を向上させることができる。上記は、予め出現する色信号が分かっている場合に適した信号処理手順を示した。これによって、単板型センサの全ての画素についてＲＧＢの色信号を算出できることから、高い解像度を実現できるメリットがある。例えば１００万画素のカラーセンサを用いて撮像した場合に、１００万画素のすべてを使った色信号を出力できることになる。
上記説明では、いわゆる単板型カラーセンサを例にとって説明したが、複数のセンサを組み合わせた画像入力装置にも適用できる。例えば３種類の色信号ＲＧＢのセンサから出力される色信号を、画素位置の一致する色信号ＲＧＢを組み合わせることによって、各画素がＲＧＢ信号を持つようにできる。このためには、各センサの画素位置が一致、もしくは一定の規則に基づくように組み立てる必要がある。しかし本発明を利用すれば、例えば３種類の色信号ＲＧＢのそれぞれにセンサを割り当てる３板型の画像入力装置において、各色信号を入力するセンサの画素の位置が不一致であっても、各センサの位置関係（すなわち位置ずれ）が分かっているならば、隣接する画素の色信号を用いて信号を再生することができる。各センサの画素位置が一致するように組み立てる必要がないため、製造コスト低減の効果と、高い解像度の色信号を再生できるメリットがある。そして別のメリットとして、それぞれのセンサの画素位置が一致しないように組み立てることで、本発明の信号処理手順を用いて各画素の色信号を再生して、解像度の向上を実現できる。例えば１００万画素のカラーセンサを３枚使う撮影装置であれば、各センサの画素位置がずれるように組み立てることで、３００万画素に相当する色信号を再生することができる。
次に出現する色信号が多数含まれる自然画像などについて、色信号の変換について説明する。例えば、自然画像などを撮影対象とする場合には、画素ごとに信号変化しているようであるが、微小領域について見れば、特定の色信号を持つ領域の組み合わせと捉えることができる。つまり、微小な面積についての簡易なモデルとして、エッジ部によって区切られた２つの色信号の領域を考えることができる。このような領域分割のモデルに基づく信号処理手順を以下に説明する。
まず、第９Ｂ図に信号の変化成分であるエッジ信号を利用した色信号変換手順を示す。
（ｓ９−１）開始。ここでは説明のために対象画像を白黒信号であるとする。
（ｓ９−２）第９Ｂ図（ａ）のような白黒画像信号を入力する。ここでは画面の１部分を示す縦横それぞれ８画素の領域を示し、図中の数字は白黒画像信号の色信号値とする。
（ｓ９−３）白黒画像信号に対して、隣接画素間で色信号値が２以上の変化する場合に、その画素間にエッジがあると判断してエッジ検出をしている（第９Ｂ図（ｂ）参照）。
（ｓ９−４）第９Ｂ図（ｂ）に示すように上記検出したエッジ部の周辺には色信号値が比較的平坦な（変化が少ない）周辺領域があり、その色信号値（信号値８と信号値１）を抽出する。一方、前記周辺領域に挟まれているエッジ部に位置する色信号は、両側の周辺領域の色信号値の中間レベルである。
（ｓ９−５）エッジ部に位置する色信号値を、周辺領域の色信号値で置きかえる（第９Ｂ図（ｃ）参照）ことにより、撮像系の特性を補正する。第９Ｂ図（ｃ）中では、エッジ部に位置して色信号値が４以上の画素については色信号値８、エッジ部に位置して色信号値が４より小さい画素については色信号値１で置換えた例を示している。
（ｓ９−６）上記手順で得られた色信号値を出力する。
（ｓ９−７）終了。画面のサイズが大きい場合には画面全体について上記手順を実行することができる。あるいは、画面全体を縦横それぞれ８画素程度の複数の領域に分割して、各分割領域について上記手順を実行していくこともできる。
次に、第１０図を用いて、カラー画像の場合について、エッジ信号を利用した色信号変換手順を説明する。
（ｓ１０−１）開始。カラーセンサの色フィルタ配置は、第１０図（ａ）に示すようにＲＧＢのベイヤ型に基づくとする。
（ｓ１０−２）画像信号を入力する。画面の１部分を示す縦横それぞれ８画素の領域を第１０図（ｂ）に示し、図中の数字は色フィルタの配置位置に相当する色信号値とする。
（ｓ１０−３）第１０図（ｂ）に示すように隣接画素間で色信号値が２以上に変化する場合に、その画素間にエッジがあると判断してエッジ検出する。
（ｓ１０−４）検出されたエッジの周辺領域の色信号を抽出する。隣接する画素の色種類を組み合わせて、平坦部の色信号が（Ｒ，Ｇ，Ｂ）＝（８，８，８）、および（Ｒ，Ｇ，Ｂ）＝（１，１，１）であるとする。
（ｓ１０−５）エッジ部に位置する画素については、周辺領域の色信号を用いて置きかえて変換することにする（第１０図（ｃ）参照）。エッジ部に位置する画素について隣接する色信号を組み合わせるだけならば、例えば（Ｒ，Ｇ，Ｂ）＝（８，１，１）のような本来存在しない色信号が生成されてしまうことから色信号の劣化が発生する。第１０図（ｃ）中では、エッジ部が４以上であれば（Ｒ，Ｇ，Ｂ）＝（８，８，８）、それ以外は（Ｒ，Ｇ，Ｂ）＝（１，１，１）で置き換えた例を示している。このような色信号変換処理によって、エッジ部の色再現性を向上させ、解像度を高めることができる。
（ｓ１０−６）上記手順で得られた色信号値を出力する。単板型のカラーセンサを用いながら、複数カラーセンサを用いた場合と同様の性能を実現できる。
（ｓ１０−７）終了。画面のサイズが大きい場合には画面全体について上記手順を実行することができる。あるいは、画面全体を縦横それぞれ８画素程度の複数の領域に分割して、各分割領域について上記手順を実行していくこともできる。
例えばデジタルカメラなどの撮像装置に内蔵あるいは組み合わせることで、高い解像度の撮像データを得ることが出来る。また、これらの信号処理はプログラムで作成し、信号処理プロセッサを用いたソフト処理で実行することもできる。
上記は、注目画素の隣接にあるＲＧＢ信号を観察して比率を求めたうえで、注目画素の持つ色信号を用いて、残る色信号の値を算出するものである。手順を以下に整理する。
（手順１）センサのＲＧＢ色配置に基づきＲＧＢ信号の組合わせブロックを設定する。ＲＧＢベイヤ型配列の場合には、ブロックにＲ信号を１画素、Ｇ信号を２画素、Ｂ信号を１画素の計４画素とするブロック形状を採用することができる。
（手順２）例えば注目画素とするＲ信号と、隣接する複数のＲ信号との統計的な処理（例えば最大最小値の測定）を行う。そして、注目画素周辺で一定値以上の信号変化がある場合には、注目画素と隣接画素の領域内にエッジがあると判断する。さらに注目画素と隣接画素の位置関係からエッジの位置を測定することもできる。同様の処理をＧ，Ｂ信号についても行う。ＲＧＢ信号のいずれかで測定したエッジの有無、および位置関係の結果を、全ての色信号について共通に利用できる。
（手順３）注目画素周辺のエッジ部を含まないＲ信号の平均値を算出する。注目画素の近辺にエッジがあると判断した場合には、エッジを含まない領域の隣接画素のＲ信号を利用する。一方、エッジがないと判断する場合には、注目画素のＲ信号および隣接画素のＲ信号を利用する。同様の処理をＧ，Ｂ信号についても行う。こうして、注目画素を含む周辺領域（もしくはブロック）のＲＧＢ信号の平均比率を算出できる。
（手順４）注目画素の色信号に比率を掛け合わせることでＲＧＢ信号を算出する。注目画素がＲ信号であっても、上記手順でＲＧＢ信号の比率が算出できているので、比率をＲ信号に掛け合わせることで、ＧおよびＢ信号を算出できる。なお、注目画素がエッジの真上に位置する場合には、画素の色信号は、エッジに隣接する領域の色信号の平均値を利用するなどの、別の手順を利用することもできる。
撮影対象が白黒画像であるとあらかじめ分かる場合にはＲＧＢ信号の比率が一定であることから、上記手順におけるエッジ周辺領域の色信号値を求める代わりに（Ｒ：Ｇ：Ｂ）＝（１：１：１）と設定すれば良い。また同様に、出現する色の種類が、白，黒，赤，青などの限定数であるとあらかじめ分かる場合には、色信号の比率（Ｒ：Ｇ：Ｂ）をあらかじめ設定しておき、注目画素周辺の色信号の分布を用いていずれかを選択することができる。オフィス内で使われる多くの文書類は、限定種類の色で印刷されていることから、上記手順を用いることで高い解像度の色信号を生成することが出来る。これによって、単板型カラーＣＣＤセンサを使ったデジタルカメラなどの画像入力装置を用いて、高精細な画像入力を実現できることは大きなメリットである。
次に操作者の選択手順を含めた色信号変換処理手順を第１１図に整理する。
（ｓ１１−１）開始。
（ｓ１１−２）例えばパソコンのアプリケーションソフト（例えばワードプロセッサ，表計算ソフトなど）で画像生成する場合、あるいは操作者がスキャナを用いて特定種類の文書（文献，帳票など）を読み取る場合などのように、画像信号に含まれる色信号の種類があらかじめ限定できる場合には、あらかじめ色信号を候補色として用意しておくことができる。この場合には、前記第９図，第１０図で示したようなエッジ周辺領域の色信号を検出しなくても良く、候補色のなかから最も近い色信号を選択して利用することができる。
（ｓ１０−３）アプリケーションソフトが用意する候補色のほかに、操作者が設定する色信号を利用して画像データを生成する場合には、設定された色信号を利用することができる。
（ｓ１０−４）プリスキャンによる色信号の設定。入力した画像信号を用いて、画面全体について出現する色種類の統計値（例えばヒストグラムなど）を算出して、出現頻度の高い色種類を候補色として利用することができる。
（ｓ１０−５）一方、第９Ｂ図，第１０図で示したように、エッジ検出結果に基づきエッジ部周辺領域の色信号を検出して利用することが出来る。
（ｓ１０−６）上記ステップ（ｓ１０−２）（ｓ１０−３）（ｓ１０−４）（ｓ１０−５）のいずれかの方法で設定した色信号を用いて、各画素の色信号を設定する。
（ｓ１０−５）終了
上記手順において、隣接する画素を組み合わせてｓ種類の色信号生成する場合に、画素の組み合わせ方の設定が必要になる。ＲＧＢベイヤ型の場合には、第１２図に示すような隣接する複数画素の組み合わせ（ブロック）を作ることができる。信号振幅の少ない画像領域においては第１２図に示す（１）〜（８）のいずれの組み合わせを利用してもほぼ同じ色信号値となる。
また、第１３図に示すような処理手順を利用することができる。ここではＲＧＢフィルタを使うセンサを用いて入力した画像信号の処理手順について説明するが、色フィルタの種類に依存するものではない。
開始：
（手順１）画像を複数画素の組み合わせからなるブロックに分割して、ブロック単位の信号処理を行う。ブロックは第１４図に示すように、Ｒ，Ｇ，Ｂを複数含む領域として設定する。
（手順２）ブロック内で、隣接する同一種類の色信号の変化を測定して、変化の大きさを用いてエッジの有無を検出する。
（手順３）ブロック内にエッジがなければ、手順７へ進む。エッジ部があれば次の手順４へ進む。
（手順４）ブロック内に出現する代表的な色信号を算出する。このために、色信号の統計値を測定してグループ分けを行う。エッジ部に位置する色信号は上記の算出からはずしても良い。代表色は２種類，４種類などに設定することが出来る。
（手順５）ブロック内の各画素について、最も誤差の少ない代表色ベクトルを選択して画素の色ベクトルとして設定する。エッジ部の画素についても代表色ベクトルのいずれかで置きかえることで、色ずれのない色信号が生成できる。
（手順６）必要に応じて、エッジ部に位置する画素については、エッジ部の両側に位置する代表色ベクトルから算出する中間色を用いておきかえることで、エッジ部のスムージング処理を行う。これによって、視覚的な滑らかさをエッジ部において実現することができる。
（手順７）次のブロックがある場合には、手順（ｂ）から繰り返す。
終了：
こうして、入力した画像信号は１画素について１種類の色信号で構成されていたが、上記手順によって、各画素についてＲＧＢの組み合わせから成る色信号を設定できる。上記手順４のグループ分けは、色信号の値と画素の隣接関係を利用してブロック内の代表色を設定するものである。このための手順の一例を、ＲＧＢ信号の場合について示す。
開始：
（手順１）隣接するＲＧＢ信号の組み合わせで色ベクトルを作る。ここで第１２図に示すような画素の組み合わせで、隣接するＲＧＢ色信号を画素毎にずらして複数回利用しながら色ベクトルを作る。色ベクトルの長さと方向の変化の大きさによって、エッジ位置を画素単位で検出することができる。例えば、第１２図に示す画素の組み合わせ（１）と（２）をブロック上左端に適用した場合には、Ｇ信号の画素位置のみが異なることになるが、両者で色ベクトルが異なる場合には両者のＧ信号に変化があることが検出できる。このようなエッジ検出は、前記した色信号毎のエッジ検出に置き換えて利用することもできる。
（手順２）ブロック内の全ての色ベクトルについての平均ベクトルを算出して、これをしきい値にして、二つのグループ分けをする。ＲＧＢ色空間上の信号処理として言い換えるならば、第１４図に示すようなＲＧＢ空間上に分布する色ベクトルを、ＲＧＢ信号の平均値で作られるしきい平面でグループ分けすることである。４種類の代表色を算出する場合には、それぞれのグループについて、同様の手順で再グループ分けをする
（手順３）各グループの平均ベクトルを算出して、代表色ベクトルとする。ここで、グループ内の端部（上限あるいは下限部分）に位置する色ベクトルを平均算出からはずすことで、ノイズ除去することもできる。また、あらかじめ登録してある出現色候補のなかから、最も誤差の少ない候補を選択して、候補の色ベクトルで置き換えることもできる。
（手順４）上記手順を、次のブロックについて実行する。
終了：
次に第１５図（Ａ），第１５図（Ｂ）を用いて本発明のエッジ検出回路３０を含む色信号変換回路１３の一動作例について説明する。第１５図（Ａ）は、メモリ１２に蓄積されている色信号をエッジ検出回路３０を用いてエッジ部に位置する画素を検出する。一方第１５図（Ｂ）は、メモリ１２に差分符号化方式による符号データが蓄積されている場合の構成であり、差分符号化による符号データを部分復号化回路３１を用いて差分信号に変換する。ここで部分復号化という意味は、復号処理を完全に実行するならば画像信号を再生できるが、本装置構成では隣接画素間の差分信号の再生までにとどめるためである。そして、差分信号をエッジ信号として利用することでエッジ部に位置する画素を検出することができる。
第１５図（Ａ）あるいは第１５図（Ｂ）によって求めたエッジ部に位置する画素をエッジメモリ３２に蓄積する。このようにして画像信号に含まれるエッジ部を検出できることから、前記に説明した手順に基づいて、エッジ周辺色信号抽出回路３３を用いて実行し、その結果をエッジ周辺色信号メモリ３４に一時的に蓄積し、色信号を用いて色信号設定回路３５で色信号の設定を実行する。
カラー画像におけるエッジの意味を第１６図（Ａ），（Ｂ）に図示する。複数の色信号で作られるカラー画像についてエッジ検出するには、それぞれの色信号に独立にエッジ検出を行うこともできるが、色信号の組合わせで表される色空間上の信号変化としてエッジ検出することもできる。色空間上でエッジ検出するには、色空間上の画素の信号変化を測定して、信号変化の大きさをしきい値と比較することで検出できる。これに対して、それぞれの色信号で独立した信号変化を検出した場合には、エッジ有無および位置の検出結果にばらつきが生じる場合があるが、本発明ではこのような問題を解決できる。
なお、上記のようにエッジ部は、差分値を利用して検出できるものであり、したがってエッジ検出と差分値算出とは同様の意味で利用できる。
第１５図（Ｂ）の部分復号化回路３１は符号データを最終的な色信号にまで復元すること無く、復号手順の途中で算出できる差分値を出力するものであり、差分符号化を利用している場合には簡易な回路で実現できる。こうして、エッジ検出回路３０および部分復号化回路３１は、同一の意味のエッジ検出結果を出力することが出来る。このエッジ検出手順は、対象とする画面全体に対して実行することで、検出結果をエッジメモリ３２に蓄積しておくことができる。このエッジメモリ３２の内容を参照しながら、再度メモリ１２から色信号を読み出して、色信号変換回路１３で色信号変換を実行できる。
まずエッジ検出の動作について説明する。エッジとは、例えば白地に文字図形が書かれたような画像において、白から黒に変化する画素の位置を示す。白黒画像であれば、隣接する画素の信号レベルの差分を算出すれば、信号変化の大きな部分にはエッジ領域があると判断できる。
それに対して、入力するＲＧＢカラー画像は、一つの画素に１種類の色信号で作られているとするならば、隣接する画素の信号は異なる種類の色信号を持つ。一つの方法は、別の方法として、第１４図に示したＲＧＢ色信号からなるブロックを利用することができる。ブロック内のＲＧＢ信号を組み合わせるならば、座標軸に持つ色空間の座標点で表すことができる。ブロックの形状は、センサのＲＧＢ色信号の配置型に基づき設定する。均一な色信号の領域では、ブロック形状を変えて画素の組み合わせを変えても、組み合わせたＲＧＢ色信号は変化しない。一方、注目画素を含むブロック形状を変化させた場合にエッジ検出結果が異なる場合には、注目画素の位置にエッジがあると判断する。そして注目画素を移動しながら上記エッジ検出動作を実行していくことで、画面全体についてエッジを検出できる。
次に第１６図（Ａ）に、エッジ検出のための差分信号の作り方の一例を示す。各画素がＲＧＢ信号を持つ場合には、平面上における注目画素ｘと隣接画素ａ，ｂ，ｃの色信号を用いることで、差分ベクトルΔｊ（Ｒ，Ｇ，Ｂ）は、注目画素ｘを中心にして、周辺にある隣接画素ｊ（ｊ＝ａ，ｂ，ｃ…）との信号値の差とする。また、一つの画素に１種類の色信号で作られている場合には、前記第１４図に示した複数種類のブロック形状を利用して、異なるブロック形状間の差分ベクトルΔｊ（Ｒ，Ｇ，Ｂ）を算出することができる。
この差分値Δｊは、第１６図（Ｂ）に示すようにＲＧＢ色空間上のベクトルで表すことができる。隣接画素ｊに対応した差分ベクトルΔｊ（Ｒ，Ｇ，Ｂ）は次式のように色信号の各成分から算出できる。
Δｊ（Ｒ，Ｇ，Ｂ）＝（（Ｒｘ−Ｒｊ）、（Ｇｘ−Ｇｊ）、（Ｂｘ−Ｂｊ））
なお、同様にして隣接画素間の差分ベクトルΔｊを算出することも出来る。上記は、色信号を成分に持つベクトルであったが、色空間上の座標点間を結ぶ長さで表すこともできる。長さに関係する数値を、ベクトルの長さの２乗で表すことも、ベクトルの成分において一番大きな値を持つ信号を差分として表すこともできる。これらを式で表せば、
Δｊ＝ＳＱＲＴ（（Ｒｘ−Ｒｊ）＾２＋（Ｇｘ−Ｇｊ）＾２＋（Ｂｘ
−Ｂｊ）＾２）
Δｊ＝ＭＡＸ（（Ｒｘ−Ｒｊ）、（Ｇｘ−Ｇｊ）、（Ｂｘ−Ｂｊ））
あるいは、色信号から明るさ成分を取り出して表すこともできる。例えば、
Δｊ＝（Ｒｘ−Ｒｊ）＋（Ｇｘ−Ｇｊ）＋（Ｂｘ−Ｂｊ）
Δｊ＝信号Ｌ＊（国際照明学会ＣＩＥが定める均等色空間の明るさ信号）
ここで、演算子「＾」は２乗、「ＳＱＲＴ」は平方根、「ＭＡＸ」は最大値抽出を示す。
このように算出した差分ベクトルΔを、しきい値と比較することで、注目画素がエッジ部に位置するか否かを判定できる。
ところで、センサで読み取りに使う複数の色フィルタのスペクトル分布が完全分離していない場合には、読み取った色信号がスペクトル上で相互に重なり部分を持つことになる。このような場合には、以下に示すような色信号補正を行うことで、解像度向上を実現することができる。例えば、ＲＧＢフィルタを利用して赤色の対象物を読み取っても、Ｒ信号だけでなく、Ｇ，Ｂ信号も変化する。また白色の対象物を読み込む場合には、全ての色信号の値が振幅する。この信号振幅は、読み取る対象、色フィルタ，センサ自体の感度特性に基づき定まるものである。ここで、読み取る対象物の色をあらかじめ特定することで、上記の色信号の感度を利用して、それぞれの色信号を補正することができる。
次に第１７図に色信号の補正を変換テーブルを用いて実行する回路構成例を示す。この回路は、例えばＡＤ変換器１１の直後に配置して、色信号の補正を実行することが出来る。信号変換の原理は、入力信号を変換信号の振幅値で正規化することである。入力したＲＧＢ信号を、白黒信号に変換する場合を示す。ＲＧＢ色空間上の白黒信号の最小値と最大値の座標点を（Ｒ０，Ｇ０，Ｂ０）（Ｒ１，Ｇ１，Ｂ１）とすれば、ＲＧＢに関する入力信号Ｐ（Ｒ），Ｐ（Ｇ），Ｐ（Ｂ）について、次式で変換結果を算出することができる。
Ｐ（Ｒ′）＝（Ｐ（Ｒ）−Ｒ０）／（Ｒ１−Ｒ０）×２５５
Ｐ（Ｇ′）＝（Ｐ（Ｇ）−Ｇ０）／（Ｇ１−Ｇ０）×２５５
Ｐ（Ｂ′）＝（Ｐ（Ｂ）−Ｂ０）／（Ｂ１−Ｂ０）×２５５
上式の信号変換の原理は、入力信号を変換信号の振幅値で正規化することである。
しかし色信号にはガンマ特性などの非線形な特性を持つ場合が多く、また演算処理の高速化を実現するために、変換テーブルを用いて実行することができる。
測定結果に基づいて変換テーブルの内容を切り替え、もしくは書き換えていくことで、補正処理を高速に実行できる。この測定のために第１５図（Ｂ）のエッジ周辺色信号抽出回路３３およびエッジ周辺色信号メモリ３４とを組み合わせて回路を構成することができる。そして、例えば白黒文字を読み取る場合には、単板型カラーセンサの持つすべての画素の白黒読み取りに利用できる。この変換のための係数は、画面全体で利用することもできるが、各画素に独立した係数を持たせることもできる。そしてセンサの各画素の感度のばらつきと、上記色信号の振幅補正を同時に処理することもできる。
同様の手順を用いて、色信号をサブサンプリングした画像データを対象に信号処理を行い、高精細な画像データを生成することも出来る。これは、例えばＪＰＥＧ圧縮方式による（Ｙ，Ｃｒ，Ｃｂ）信号が異なるサンプリングレートで構成されているような画像データの高精細化に適用できる。ここでＹは明るさを表す輝度信号、ＣｒとＣｂは色差信号を表している。
例えば、Ｙ信号とＣｒ，Ｃｂ信号が４：１：１の比率でサンプリングされている場合に、上記手順を利用してのサンプリングレート４：４：４の高精細画像を作成することができる。
（２）エッジ強調
画像信号を対象にした信号処理には、解像度変換，平滑化，エッジ強調，スムージングなどがある。これらの信号処理は、隣接する画素の色信号を色空間上で信号処理するという捉え方から、差分信号を利用して一括処理することも出来る。第１８図には、エッジ部の信号特性を入力するエッジ検出結果に基づき、平滑化，エッジ強調，スムージングなどの信号処理を選択する実施例を示す。
そして、差分の大きさに基づいて、下記のように信号処理の内容を選択する。
・差分Δ≦閾値１の場合：平滑化回路を選択する
・差分Δ＞閾値２の場合：エッジ強調回路を選択する
・差分Δ＞閾値３の場合：スムージング回路を選択する
上記エッジ判定の特徴は、画素のＲＧＢ色信号の組み合わせで差分Δを判定することである。これがＲＧＢ色信号を別々に判定を行うならば、色信号毎に判定位置にずれが生じる場合がある。これに対して本発明では、ずれのないエッジの判定結果を得ることができる。
このように、検出した差分値Δ、あるいはエッジ位置などの判定結果を用いて、従来は目的が異なるとして別々に実行していた信号処理の多くが、一括した信号処理で実現できる。
上記手順を第１９図に示す回路構成に適用した一実施例について以下説明する。
しきい値、拡大縮小率などを設定しておく設定値レジスタ５１，拡大縮小率に基づく補間係数算出回路５２，エッジ判定回路５３，平滑化回路５４，エッジ強調回路５５，スムージング回路５６，処理結果を選択する選択回路５７から構成する。エッジ判定回路５３が設定値レジスタ５１の内容を参照しながら上記判定式を実行し、平滑化回路５４，エッジ強調回路５５，スムージング回路５６の演算結果を選択回路５７を用いて選択出力する。ＲＧＢ信号の差分値を入力して、信号処理を行った差分値を出力する。具体的な信号処理内容を以下で説明する。
エッジ強調処理は、エッジ検出位置において濃淡の変化を増幅することで、視覚的な見えを良くすることを目的として従来から広く使われている手法である。
画素毎の１種類の色信号を用いてエッジ強調をする処理手順と回路構成について示す。
画像に含まれるエッジは、第２０図（Ａ），（Ｂ）に示すように色空間上のベクトルとしてエッジを検出することができる。エッジ検出結果は、色の異なる領域の遷移部を示す信号となる。各領域の色をＲＧＢ色空間上で表すならば、エッジ部は各領域間を結ぶベクトル上の座標点で表すことができる。ここで、ベクトル長さを調整することで、微分フィルタ、あるいは積分フィルタに相当する処理結果を得ることが出来る。上記に基づき図中の注目画素ｘの位置をずらすことが差分ベクトルの長さを変更することに相当する。具体的な信号処理は、それぞれの色信号の差分値に、ベクトル長さの変更に相当する係数をかけることである。この方式では、ＲＧＢ色信号間の色ずれが生じないメリットがある。
（３）拡大縮小処理
拡大縮小は、原画の画素信号から、倍率にあわせて設定した画素位置の信号を算出するものである。ここでは、デジカメで撮像した画像データをプリンタで印刷する構成を例に取り、プリンタの解像度に合わせて印刷するために画素数を増加させること、すなわち拡大処理について説明する。拡大処理の原理は、第２１図（Ａ），（Ｂ）に示すように倍率により定まる新たな補間画素Ｚの位置と色信号値の算出を行うことである。倍率は、水平方向と垂直方向に同値を設定することも、任意に変動設定することもできる。新たな画素の色信号値の算出は、隣接する画素の信号差分値から補間処理によって算出できる。この補間処理をＲＧＢ色空間上で表すならば、色空間上の座標点を結ぶベクトルを、倍率に基づき分割して新たな座標点を算出することに相当する。新たな補間画素Ｚの座標点は、ＲＧＢ色信号についてそれぞれ独立した比例分配演算で求めることができる。
このような補間処理は、隣接する画素の色信号，設定された拡大縮小率、新たに設定する画素の位置情報（第２１図（Ａ）中のＸ１，Ｘ２，Ｙ１，Ｙ２）などを用いて実行できる。
本発明では、拡大処理を行う画像データの色信号を利用して、上記補間処理を行うに先立ってエッジ位置の検出を行うことで、補間処理の方法あるいは手段を切り替えることが出来る。本発明では色信号の配置情報を利用することで、エッジ位置を画素単位の精度で検出できる。例えば、文字図形の輪郭部と写真画像を同一の補間方法で拡大処理を実行することは、必ずしも好ましい画質結果が得られない。これに対して、本発明では補間処理の切り替えが精度良く実行でき、補間結果の画質を向上させることが出来る。
拡大倍率に基づき新たに作成する画素がエッジ部に位置しなければ、補間画素の色信号を隣接する画素の色信号から比例分配演算で求める。一方、エッジ部に位置する場合には、前記した第１２図，第１３図に示すような手順を用いて、画素が属するエッジ部周辺の色領域の色信号から画素の色信号を設定する。
このように本発明によれば、入力装置と出力装置の色配置情報と画素数を利用することで、画像データのエッジ部の傾きを保存したまま、拡大縮小（画素数の増減）を実行することができる。エッジ部の輪郭形状を維持したまま、拡大縮小（画素数の増減）を実行することができる。
次に色再現向上の色信号変換について以下説明する。デジタルカメラの基本構成は、複数種類の色フィルタと光電変換素子から構成されていることから、撮影対象物体および照明光の波長特性を入力することができれば、忠実な色再現を行うための情報を得ることができる。また、カラー画像の入力時に、３種以上のスペクトル分布を持つ色フィルタを利用することもできる。例えば６種類の色フィルタを用いて高い色再現特性を実現するには、単板型センサの光電変換素子に規則的に６種類の色フィルタを配置することになり、同一色種類の画素の間隔が大きくなる。例えば６種類の色信号を組み合わせるには、平面的に配置された６画素の出力信号を組み合わせることになり、解像度の劣化が問題となる。本発明を用いることで、高い解像度と色再現性を実現できる。
そこで、第２２図（Ａ），（Ｂ）に示すように、デジタルカメラに固有の色フィルタと光電変換素子の特性をあらかじめ測定し、内部のメモリに記憶しておく手段を用意することで、デジタルカメラのスペクトル分布に相当する特性値を準備しておくことができる。第２２図（Ａ）に示すようにカラーセンサ読み取り画素を、画像信号入力エリアと、基準信号入力エリアに分割設定する。基準信号入力エリアには、入力光のスペクトル分布を測定するための複数の色フィルタを配置することで、一種の分光光度計としての動作を実現する。さらに、デジタルカメラを用いて測定する時点において、内部の温度などの特性変動を測定するセンサを設けることもできる。
特性変動を測定する手段の一構成例を第２２図（Ｂ）を用いて説明する。
まずデジタルカメラの基本要素であるＣＣＤセンサ１０と、そのＣＣＤセンサ１０からの色信号デジタル信号に変換するＡＤ変換器１１と、特性変動測定時と実際の撮影時で信号切り替えをするスイッチ６０と、測定結果を保存するメモリ６１と、そのメモリ６１において、メモリ６１に記憶された測定結果に基づき補正処理を行う補正回路６２とを備えた構成とする。
また、測定時に安定した測定環境を用意するために、光路上に基準色プレートを設置する。基準色プレートは、撮影時には不要であるため、レンズ外側のシャッタ、あるいは絞りなどと兼用することも出来る。例えば、レンズ外側のシャッタ裏面を白色塗装しておき、内部に備える照明手段を用いてシャッタ裏面を照明し、反射光をセンサで読み込むことができる。あるいは、別途用意した基準色プレートをレンズ外側に密着させて、シャッタを開いた状態で内部照明手段を用いて照明し、反射光をセンサで読み込むことができる。
上記手段による測定結果を、機器固有の特性値と組み合わせることで、信号補正のための補正係数を算出し、実際の撮影時に入力する画像信号の補正を実行することができる。
上記のような信号補正回路を組み込んだデジタルカメラの一構成図を第２３図に示す。全体動作を制御する制御回路１７は、例えばプログラムで動作するマイクロプロセッサで構成する。外部への信号出力は、外部ＩＦ２４を用いたデジタル出力と、モニタ信号変換回路２１を用いたビデオ信号などの複数種類とすることができる。この構成の各要素については既に説明した通り、１画素について１種類の色信号で動作実行することで、高速処理と、高い色再現を実現できる。ここで図中の信号補正回路２６には、前記した回路を組み込むことができる。符号化回路１５によるデータ圧縮には、例えば差分符号化等を利用することで、簡易な装置構成で高速に実行することができるうえに、差分信号を利用した画像処理を行うこともできる。
次に第２４図に本発明の画像処理システムにおいて、入力装置のデジタルカメラ１８と出力装置のプリンタ１９間のデジタル出力のデータフォーマットの一実施例を示す。
データフォーマットの中には、少なくとも第３図で示したようなカラーセンサの色フィルタの配置情報と、色フィルタのスペクトル分布情報を付加する。画像信号は、センサの構造に依存した１画素について１種類の色信号とする。そしてＲ信号，Ｇ信号，Ｂ信号と、同データフォーマットの中にあるカラーセンサの色フィルタの配置情報を利用することで、Ｒ信号，Ｇ信号，Ｂ信号のそれぞれが示す画素の位置を確定することができる。こうして、このデータフォーマットを利用することで、カラーセンサの各画素の出力と同等の色信号を再生利用することができる。
このため、このデータフォーマットを受け取る出力装置側において、出力装置の特性に合わせた高い色再現のための信号処理を実現できる。例えばプリンタであれば、受け取った色信号からインク印刷のための色信号に変換することが不可欠であるが、プリンタの使う現像剤（インク，トナーなど）のスペクトル情報と、受け取った色信号のスペクトル情報を用いて、高い精度の色信号の変換を実現できる。また、色フィルタの配置情報から、解像度変換，エッジ強調などの色信号変換を実現することもできる。また、次に説明するように、色フィルタの配置情報と、表示装置の色信号の配置関係を組み合わせることで、解像度と色再現性の高い表示を実現できる。また、画像データの伝送に先立って、機器特性の通知を行うことができる。そして、画像データを送受する機器間で機器特性を確認したうえで、画像データの伝送を開始する。このような手順は、データ伝送する装置間で情報授受のプロトコルを設定しておくことで実現できる。
また、接続するシステムあるいは機器構成が確定している場合は、上記の色フィルタの配置情報、あるいは表示装置の色信号の配置などの情報を予め設定しておくことで、通知などをすることなく、解像度と色再現性のための信号処理を実行することができる。
上記説明では、色信号は、ＲＧＢとしたが、ＣＭＹなどの他の色信号を利用できることは言うまでもなく、色信号の種類ｓを任意に設定できる。また、情報授受のプロトコルを用いるならば、色フィルタの配置情報と、画像信号は同一のデータフォーマットに合せることなく、別々のデータフォーマットとして伝送することもできる。また、入力装置に比べて出力装置の信号処理の能力が十分でなく、画素数あるいは色変換などを入力装置が実行した方が、全体としての処理速度が向上するような場合には、出力装置の色配置情報を入力装置に伝送し、この情報に基づいて信号変換した結果を出力装置へ伝送することもできる。
次にカラー画像の表示装置について説明する。
一般にカラーＬＣＤなどの平面型ディスプレーは、ＲＧＢなどの色を発光・透過・反射などする画素を２次元的に並べて、各画素の信号レベルを制御することでカラー画像を表示するため、一つの画素は１種類の色信号しか表示できない。一方、単板型カラーＣＣＤセンサは一つの画素は１種類の色信号を入力する。
このように一つの画素は１種類の色信号を扱う、カラー画像の入力装置と表示装置を組み合わせる場合には、両者間では色信号の種類，画素数，色の配置などの変換を行うことで、従来にないメリットを実現できる。またパソコンなどで画像データを生成する場合には、画像表示装置の機器特性に応じて、実際の表示に利用する画素の色信号のみを生成することで、伝送，蓄積，信号処理などの負荷を軽減することもできる。
本発明は、第２５図に示すように、入力装置９０と出力装置９２の両者が、平面内に色配置する装置構成である場合の一実施例を示す。入力装置９０は、撮像して入力する画像データは、水平画素数Ｈｉｎ，垂直画素数Ｖｉｎ，ＣＭＹ色フィルタを用いた色配置とする。一方、表示装置は、水平画素数Ｈｏｕｔ，垂直画素数Ｖｏｕｔ，ＲＧＢ色フィルタを用いた色配置とする。この装置構成で撮像した画像データを表示装置の画面いっぱいに表示するには、画素数の変換と、色信号の変換が不可欠である。このため変換装置９１は、入力装置９０の色配置情報と、出力装置９２の色配置情報を取り込み、両者の情報を利用して画素数の変換のための演算（Ｈｉｎ→Ｈｏｕｔ，Ｖｉｎ→Ｖｏｕｔ）、および色変換（ＣＭＹ→ＲＧＢ）のための演算を実行する。つまり両者間で実行する画素数および色の変換処理は、それぞれ１回でよい。
これに対して、例えばテレビジョン信号のような標準信号を利用するならば、両者の装置とも相手の装置の特性を考慮する必要はないが、画素数と色信号の変換を行う手段が入力装置及び出力装置の両方に不可欠となる。このように本発明は、相手装置の特性を利用することで、装置構成の簡易化を実現できるメリットがある。
また、表示装置へ出力する色信号は第２６図に示すように、表示装置の色フィルタの配置に基づき、１画素あたり１色の信号を出力する。したがって画素数と色の変換処理は、出力装置の画素の配置に同期して、表示に必要とする色信号を演算出力すればよい。例えば、１画面全体ではＲＧＢ３色の表示装置であるが、図中のように第ＮラインはＲ信号とＧ信号を交互に表示する。したがって出力するＲ信号とＧ信号のタイミングに合わせて、Ｒ信号とＧ信号の変換処理を実行すれば良い。同様にして第Ｎ＋１ラインでは、Ｇ信号とＢ信号の変換処理を行って交互に出力する。これに対してテレビジョン信号のような標準信号を利用するならば、各画素について３種類の色信号を用いた変換処理を実行しなければならない。このように本発明は、出力する色信号についてのみ演算を行えばよいから、装置構成の簡易化を実現できるメリットがある。
次に、画像入力装置および画像表示装置の両者の機器特性を利用した信号変換（画素数，色信号の種類など）を実行する具体的な信号処理例として、第２７図に示す回路構成を用いて、入力画像に対する色種類の変換，拡大縮小を組み合わせた信号処理手段の一動作例を説明する。
信号処理の実行に先立って、入力装置および表示装置に内蔵する機器特性レジスタおよび通知手段によって、機器特性（画素数，色信号の種類，色フィルタの分光特性、など）の通知を受けて、信号変換装置内の情報レジスタへ記憶することができる。全体の信号処理は、補間係数に基づいてアドレス生成回路１２１が設定する対象画素について実行する。そして、処理対象とする入力信号がエッジ部に位置するか否かをエッジ検出回路１２０で判定して切り替える。
以下に第２７図及びその手順を示した第２８図を用いて本発明の入出力装置間の信号処理手順の一実施例を説明する。
開始：
（手順１）カラー画像の入力装置と表示装置から、それぞれの色信号の種類，画素数，色の配置に関する情報を受信して、レジスタ１１１，１１２に設定記憶する。
（手順２）レジスタ１１１，１１２の内容を参照して、色変換回路，拡大縮小処理の補間係数設定回路１１３の演算ルールを設定する。
（手順３）入力装置（例えばＣＣＤセンサを用いたカメラなど）あるいは入力データを蓄積した色信号バッファ１１５から、処理順序に従った画素の色信号を入力して、前記設定した演算ルールに基づく演算処理を実行する。補間係数に基づく平滑部補間回路１３０，エッジ部補間回路１３１はエッジ検出回路１２０で検出されたエッジ部に対して、入力信号がエッジ部に位置するか否かで異なる信号処理を行い、画質を向上させることができる。また色変換回路１３２，エッジ部色変換回路１３３も、入力する対象画素のエッジ部に対する位置関係によって異なる信号処理を実行することができる。また、エッジ部に位置する画素については、スムージング回路１３４を利用して滑らかな画像信号を生成することができる。これらのエッジ部であるか否かは、選択回路１３５によって選択して出力する。尚、上記演算処理の開始および終了タイミングは装置構成によって異なるが、例えば操作者の指示を利用することが出来る。
（手順４）演算処理によって求められた画素の色信号を、出力装置あるいは一時蓄積メモリに出力する。
（手順５）上記手順を、処理順序にしたがって繰り返す。終了タイミングは装置構成によって異なるが、例えば１画面に含まれる全ての画素の演算終了時点を、利用することが出来る。
終了：
こうして、カラー画像の入力装置と表示装置を組み合わせた信号処理装置において、入力装置の色フィルタの配置情報と表示装置の色信号の配置関係等を利用した信号処理を実行することで、解像度と色再現性の高い表示を実現できる。
なお文字図形などのエッジ部の解像度を向上させるためのスムージング処理は、例えば第２９図に示すような表示画素の周辺部に、入力信号には含まれていない画素の信号を生成することで、なめらかな表示を実現できる。スムージングのための補間信号は、色の種類に関わらず周辺部の信号レベルによってきめることができる。例えば、隣接する画素はＲ信号であっても、補間画素はＧ信号とすることができる。画素単位でみれば、入力信号に含まれない色信号であるが、隣接画素の発光と組み合わされる面積的な階調再現特性として視覚的な平滑表示の効果がある。装置構成としては、第３０図に示すようなスムージング回路１３４に、周辺画素の信号に基づく変換表を用意して、表示装置の特性に基づき変換表の内容を設定しておくことでスムージングの効果を実現できる。変換表の内容は、表示装置の画素ピッチ（解像度），色配置，階調再現レベルなどの情報に基づき、表示装置の表示動作に先立って設定することが出来る。
上記回路の動作は、入力装置の色配置などの情報が不明の場合にも、表示装置単体の特性向上方式として利用することもできる。また、入力信号がパソコン表示信号（ＶＧＡ，ＸＧＡなどの表示形式）、あるいはテレビ信号（デジタルテレビのＭＰＥＧ圧縮形式など）などの形式が分かっている場合にも、これらの表示信号の特性を利用することができる。例えばＭＰＥＧ圧縮されたカラー画像信号は、画面を構成する画素数，色信号の種類，信号振幅、含まれる周波数成分などをあらかじめ判断することができる。
このようなカラー画像信号をカラー表示装置で出力するにも、前記したような色信号の変換，解像度（画素数）の変換などが必要になる場合があり、本発明を利用するならば入力信号と出力装置の特性変換を効率よく実現できると共に、高い画質で表示することができる。
また上記手順は、液晶表示装置のほかに、カラーＣＲＴ，微小反射鏡を組み合わせた投影型の表示装置などに適用できる。さらには、様々な印字原理に基づくプリンタ装置などにも、インクあるいはトナーの配置位置とドットサイズの算出に適用することができる。
画像情報に対応する色信号のデータ量を削減でき、簡易な構成で処理時間が短縮できるデータフォーマットまたは、それを用いた画像処理システムを提供できる。また高画質なカラー画像の信号処理、画像表示あるいは記録が可能な画像再生装置を提供できる。
産業上の利用可能性
以上のように、本発明にかかる画像信号処理方法及び装置並びにシステムは、簡易構成で高画質、高速処理を行う場合に適してる画像信号処理方法及び装置または、それを用いた画像信号処理システムに関する。
【図面の簡単な説明】
第１図は、本発明にかかる画像信号処理システムの一概略を示した図である。
第２図に、本発明のカラーセンサの色フィルタ配置の一例を示した図である。
第３図は、本発明の入力装置，出力装置間のデータフォーマットの内容の一例を示した図である。
第４図は、本発明のカラーセンサの読み取り信号の一例を示した図である。
第５図は、本発明のカラーセンサの読み取り信号の色信号処理の一例を示した図である。
第６図は、本発明のカラーセンサ信号の処理タイミングチャートの一例を示した図である。
第７図は、本発明の画像信号処理システムの一実施例を示した図である。
第８図は、本発明のモニタ信号変換回路の一構成例を示した図である。
第９図は、本発明のエッジ部の色信号処理の一実施例を示す図である。
第１０図は、本発明のエッジ部の色信号処理の他の実施例を示す図である。
第１１図は、本発明のエッジ部の色信号処理手順のフローチャートを示した図である。
第１２図は、本発明の色信号の組合わせ構成例を示した図である。
第１３図は、本発明の色信号設定手順のフローチャートを示した図である。
第１４図は、本発明の色信号のブロック圧縮方式の原理を説明する図である。
第１５図は、本発明のエッジ部の色信号処理手順の一例を示す図である。
第１６図は、本発明の色空間上の差分ベクトルの原理を説明する図である。
第１７図は、本発明の色信号感度補正回路の一実施例を示した図である。
第１８図は、本発明の画像信号処理フローチャートを示す図である。
第１９図は、本発明の色信号補正回路の一実施例を示した図である。
第２０図は、本発明の差分ベクトルを用いたエッジ強調の原理を説明する図である。
第２１図は、本発明の拡大処理の一例を説明する図である。
第２２図は、本発明の色信号の基準信号を用いた補正回路の一構成例を示した図である。
第２３図は、本発明の画像信号処理装置にデジタルカメラを用いた一構成例を示した図である。
第２４図は、本発明のデータフォーマットの一構成例を示した図である。
第２５図は、本発明のカラー画像の入力装置と出力装置の組合わせ一構成図である。
第２６図は、本発明の表示装置の画素構成を説明する図である。
第２７図は、本発明の拡大・色変換の一実施例を示した図である。
第２８図は、第２７図の処理手順の一例を示した図である。
第２９図は、本発明のスムージング表示の動作を説明する図である。
第３０図は、本発明のスムージング回路の一実施例を示した図である。
【図１】
0004308473.tif 000002
【図２】
0004308473.tif 000003
【図３】
0004308473.tif 000004
【図４】
0004308473.tif 000005
【図５】
0004308473.tif 000006
【図６】
0004308473.tif 000007
【図７】
0004308473.tif 000008
【図８】
0004308473.tif 000009
【図９Ａ】
0004308473.tif 000010
【図９Ｂ】
0004308473.tif 000011
【図１０】
0004308473.tif 000012
【図１１】
0004308473.tif 000013
【図１２】
0004308473.tif 000014
【図１３】
0004308473.tif 000015
【図１４】
0004308473.tif 000016
【図１５】
0004308473.tif 000017
【図１６】
0004308473.tif 000018
【図１７】
0004308473.tif 000019
【図１８】
0004308473.tif 000020
【図１９】
0004308473.tif 000021
【図２０】
0004308473.tif 000022
【図２１】
0004308473.tif 000023
【図２２】
0004308473.tif 000024
【図２３】
0004308473.tif 000025
【図２４】
0004308473.tif 000026
【図２５】
0004308473.tif 000027
【図２６】
0004308473.tif 000028
【図２７】
0004308473.tif 000029
【図２８】
0004308473.tif 000030
【図２９】
0004308473.tif 000031
【図３０】
0004308473.tif 000032