(57)【特許請求の範囲】
【請求項１】
固体撮像素子の映像信号から画像を復元する画像復元装置であって、
上記固体撮像素子の映像信号から背景色を推定する背景色推定手段と、
上記固体撮像素子の映像信号から所定サイズの局所領域を抽出する抽出手段と、
上記背景色推定手段から推定された背景色に基づき上記局所領域内の映像信号を背景とその他の画像とに分離する分離手段と、
上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元する欠落色復元手段と、
を具備することを特徴とする画像復元装置。
【請求項２】
上記欠落色復元手段は、上記分離手段によりその他の画像とされた場合には上記局所領域内のその他とされた領域の平均化された映像信号により欠落する色信号を復元することを特徴とする請求項１に記載の画像復元装置。
【請求項３】
上記その他の画像は急峻なエッジ部からなる画像であることを特徴とする請求項１に記載の画像復元装置。
【請求項４】
上記背景色推定手段は、上記固体撮像素子の映像信号から縮小サイズの欠落する色信号のない映像信号を生成し、上記縮小サイズの欠落する色信号のない映像信号から輝度信号を生成し、上記輝度信号の範囲に応じて上記縮小サイズの欠落する色信号のない映像信号から背景色を推定することを特徴とする請求項１に記載の画像復元装置。
【請求項５】
上記抽出手段から抽出された局所領域内の急峻なエッジ部からなる画像の色を推定する急峻なエッジ部からなる画像の色推定手段を更に具備し、
上記分離手段は、上記背景色推定手段から推定された背景色と上記急峻なエッジ部からなる画像の色推定手段から推定された上記急峻なエッジ部からなる画像の色に基づき上記局所領域内の映像信号を背景と急峻なエッジ部からなる画像とに分離することを特徴とする請求項１に記載の画像復元装置。
【請求項６】
上記欠落色復元手段は、上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元し、上記分離手段により急峻なエッジ部からなる画像とされた場合には上記急峻なエッジ部からなる画像の色により欠落する色信号を復元することを特徴とする請求項５に記載の画像復元装置。
【請求項７】
上記急峻なエッジ部からなる画像は文字画像であることを特徴とする請求項３乃至６の何れかに記載の画像復元装置。
【請求項８】
上記急峻なエッジ部からなる画像は複数種類の色からなることを特徴とする請求項３乃至７の何れかに記載の画像復元装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いた電子スチルカメラ及びそれを一構成要素とする電子スチルカメラシステムにおいて、複数種類の色からなる文字画像のように急峻なエッジ部からなる画像を高精細に可読性に優れた画像に復元する画像復元装置に関する。また、そのような画像復元装置の適用される電子スチルカメラ及び電子スチルカメラシステムに関する。
【０００２】
【従来の技術】
近年、安価かつ軽量な単板式固体撮像素子（ＣＣＤ）を用いた電子スチルカメラが普及している。このような単板式固体撮像素子では、一枚の撮像素子から被写体の色情報を得るために、受光面上に色フィルタをモザイク状に配置している。
【０００３】
例えば、図１０の（Ｂ）は、一般的に用いられているシアン（Ｃｙ），マゼンタ（Ｍｇ），黄（Ｙｅ），緑（Ｇ）の補色モザイクフィルタの配置を示す図である。同図において、偶数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹe,n ，Ｙe,n+1 、色差信号をＣe,n ，Ｃe,n+1 とし、また同様に、奇数フィールドのｎラインとｎ＋１ラインに対応する輝度信号をＹo,n ，Ｙo,n+1 、色差信号をＣo,n ，Ｃo,n+1 とすると、これらの信号は、次式で示される。
【０００４】
Ｙo,n ＝Ｙo,n+1 ＝Ｙe,n ＝Ｙe,n+1 ＝２Ｒ＋３Ｇ＋２Ｂ      …(1)
Ｃo,n ＝Ｃe,n ＝２Ｒ−Ｇ                                  …(2)
Ｃo,n+1 ＝Ｃe,n+1 ＝２Ｂ−Ｇ                              …(3)
ただし、Ｃｙ，Ｍｇ，Ｙｅは、Ｇ及び赤（Ｒ），青（Ｂ）により次式で示される。
【０００５】
Ｃｙ＝Ｇ＋Ｂ                                              …(4)
Ｍｇ＝Ｒ＋Ｂ                                              …(5)
Ｙｅ＝Ｒ＋Ｇ                                              …(6)
【０００６】
【発明が解決しようとする課題】
上記（１）式で示されるように、輝度信号は、偶数、奇数フィールドの全ラインで生成される。これに対し、上記（２）式及び（３）式で示されるように、二つの色差信号は、１ラインごとにしか生成されない。このため、従来は、線形補間により、この欠落するラインを補っている。そしてこの後、マトリックス演算を行うことで、Ｒ，Ｇ，Ｂの三原色を得ることができる。
【０００７】
しかしながら、このような方法では、色差信号は輝度信号に対して１／２の情報量しかなく、エッジ部に色モワレと呼ばれる偽信号が発生する。このため、文字画像のように急峻なエッジ部からなる画像を撮像する場合には、可読性が大幅に低減することになる。
【０００８】
また、このような問題は、二板式固体撮像素子を用いた電子スチルカメラにおいても同様に発生する。
【０００９】
本発明は、上記の点に鑑みてなされたもので、固体撮像素子を用いた電子スチルカメラ及びそれを一構成要素とする電子スチルカメラシステムにおいて、複数種類の色からなる文字画像のように急峻なエッジ部からなる画像を高精細に可読性に優れた画像に復元可能な画像復元装置を提供し、以ってそのような画像復元装置を備えることにより、急峻なエッジ部からなる画像を高精細に可読性に優れた画像に復元可能な電子スチルカメラ及び電子スチルカメラシステムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載の画像復元装置は、固体撮像素子の映像信号から画像を復元する画像復元装置であって、上記固体撮像素子の映像信号から背景色を推定する背景色推定手段と、上記固体撮像素子の映像信号から所定サイズの局所領域を抽出する抽出手段と、上記背景色推定手段から推定された背景色に基づき上記局所領域内の映像信号を背景とその他の画像とに分離する分離手段と、上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元する欠落色復元手段と、を備えることを特徴とする。
【００１３】
即ち、請求項１に記載の画像復元装置によれば、背景色推定手段にて、固体撮像素子の映像信号から背景色を推定し、また、固体撮像素子の映像信号から所定サイズの局所領域を抽出する抽出手段によって抽出された上記局所領域内の映像信号を、分離手段によって、上記背景色推定手段から推定された背景色に基づいて背景とその他の画像とに分離する。そして、この分離手段により背景とされた場合には、欠落色復元手段は、上記背景色により欠落する色信号を復元する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態にかかる電子スチルカメラシステムの構成を示す図で、本実施の形態にかかる電子スチルカメラシステムは、汎用画像復元機能を持つ電子スチルカメラ１０と、該電子スチルカメラ１０と適宜接続される、文字画像復元機能及びプリンタ出力機能を持つアダプタ１２とにより構成される。
【００２０】
ここで、電子スチルカメラ１０においては、レンズ系１４及びローパスフィルタ１６を透過した被写体像が単板式のＣＣＤ１８へ導かれる。該ＣＣＤ１８の出力画像信号は、Ａ／Ｄ変換回路２０及び色分離回路２２を介して、プロセス回路２４，２６，２８へ接続されている。これらプロセス回路２４，２６，２８の出力信号は、マトリックス回路３０を介して、Ｒ信号用バッファ３２，Ｇ信号用バッファ３４，Ｂ信号用バッファ３６へ転送される。Ｒ信号用バッファ３２，Ｇ信号用バッファ３４，Ｂ信号用バッファ３６の各出力信号は、メモリカードなどの出力部３８へ転送される。
【００２１】
この出力部３８からの信号は、接続されたアダプタ１２に転送される。この場合、アダプタ１２は、電子スチルカメラ１０の例えば裏蓋部に取り付けられて、互いの接続端子部を当接することで信号の授受を行うようなものであっても良いし、パーソナルコンピュータにアプリケーションソフトウェアの形で提供されて、電子スチルカメラ１０の所定の出力端子とシリアルケーブルやパラレルケーブルによりパーソナルコンピュータのインタフェース部と接続することで信号の授受を行うものであっても良い。さらには、後者の場合、電子スチルカメラ１０の出力部３８をメモリカード等の取り外し可能な記憶媒体とすれば、パーソナルコンピュータに設けたその記憶媒体用のドライブ装置を介して、信号の授受を行うような構成とすることも可能である。
【００２２】
アダプタ１２においては、電子スチルカメラ１０の出力部３８からの信号は、処理切換部４０によって、文字画像復元部４２を介して又は直接、プリンタ出力部４４へ選択的に転送される。
【００２３】
また、電子スチルカメラ１０のＣＣＤ１８には、クロックジェネレータ４６からのクロック信号に基づいてＣＣＤ駆動回路４８で発生される駆動信号が与えられるようになっている。そして、マイクロコンピュータなどの制御部５０は、電子スチルカメラ１０内の出力部３８及びクロックジェネレータ４６、アダプタ１２内の処理切換部４０、文字画像復元部４２、及びプリンタ出力部４４へ接続され、それら各部を制御する。
【００２４】
次に、このような構成の電子スチルカメラシステムにおける信号の流れを説明する。なお、図１中の矢印は信号の流れ方向を示し、太線は映像信号を、細線は制御信号をそれぞれ示すものとする。
【００２５】
電子スチルカメラ１０には、レンズ系１４とローパスフィルタ１６を介して単板式のＣＣＤ１８が配置されている。ここで、ＣＣＤ１８は、例えば、図２の（Ａ）に示されるＲＧＢ原色型のフィルタ配置を持つＣＣＤである。このＣＣＤ１８は、クロックジェネレータ４６からのクロック信号に基づくＣＣＤ駆動回路４８からの駆動信号によって駆動されて、被写体像を撮像する。このＣＣＤ１８からの映像信号は、Ａ／Ｄ変換回路２０にてディジタル化された後、公知の色分離回路２２、プロセス回路２４，２６，２８、及びマトリックス回路３０を介して、欠落画素が補間された三板状態のＲＧＢ信号に変換され、Ｒ信号用バッファ３２，Ｇ信号用バッファ３４，及びＢ信号用バッファ３６に色信号ごとに保存される。これら各色信号用バッファ３２，３４，３６内の色信号は、制御部５０の制御に基づいて出力部３８へ転送される。
【００２６】
電子スチルカメラ１０の出力部３８からの三板状態のＲＧＢ信号は、アダプタ１２において処理切換部４０を介して、文字画像復元部４２又はプリンタ出力部４４へ転送される。この切換は、例えば文字モード／一般画像モードなどの図示しない手動のモード切換スイッチなどにより、外部から制御部５０へ伝達された指示に応じて行われるものとする。
【００２７】
文字画像復元部４２は、予め定められた少数の色、例えば赤，青，緑，シアン，マゼンタ，黄，黒の７色からなる色文字を、より可読性の高い画像へ回復する処理を行うもので、その詳細は後述する。この文字画像復元部４２によってより可読性の高い画像へ回復されたＲＧＢ信号は、プリンタ出力部４４へ出力される。
【００２８】
図２の（Ａ）は、図１のＣＣＤ１８におけるフィルタ配置の具体的構成の一例を示す。ここでは、２×２画素サイズの基本配置があり、この基本配置が反復的に繰り返されてＣＣＤ上の全画素を充填する構造となっている。本実施の形態では、ＲＧＢの３信号の出現頻度は、１：２：１になるよう設定されている。
【００２９】
図３は、アダプタ１２内の文字画像復元部４２の基本構成を示す図である。なお、同図中の記号ａａは欠落する色信号が補間された三板状態の映像信号、ｂｂは背景色推定信号、ｃｃは局所領域内における単板状態の映像信号（各色別）、ｄｄは局所領域内における各色信号の最大値及び最小値、ｅｅは判定用テーブルの内容を示す信号、ｆｆは局所領域内の文字色及び欠落色算出方法を示す信号、ｇｇは欠落する色信号が復元された三板状態の文字画像の映像信号、をそれぞれ示している。
【００３０】
しかして、電子スチルカメラの制御部５０の制御に基づいて処理切換部４０によって該文字画像復元部４２に切換えられたとき、出力部３８からの全信号は、背景色推定部５２に転送される。この背景色推定部５２では、所定の輝度範囲内にある領域のＲ，Ｇ，Ｂ各色信号の平均値（ＲB ，ＧB ，ＢB ）を算出し、これを背景色として文字色判定部Ａ１００へ転送する。
【００３１】
この背景色の算出の後、再び制御部５０の制御に基づいて上記処理切換部４０は、上記出力部３８からの全信号を局所領域抽出部５６に転送する。この局所領域抽出部５６では、上記制御部５０の制御に基づいて所定サイズ、例えば８×８サイズの矩形領域を重複なしで順次抽出してＲ信号用ブロックバッファ５８，Ｇ信号用ブロックバッファ６０，Ｂ信号用ブロックバッファ６２へ転送する。このとき、転送される信号は、図２の（Ａ）に示されるＣＣＤのフィルタ配置に基づき、単板状態に変換されて転送される。各信号用ブロックバッファ５８，６０，６２内の色信号は、Ｒ信号用最大最小算出部６４，Ｇ信号用最大最小算出部６６，Ｂ信号用最大最小算出部６８に転送され、各色信号ごとの最大値（Ｒmax ，Ｇmax ，Ｂmax ）と最小値（Ｒmin ，Ｇmin ，Ｂmin ）が算出されて、それらの結果が上記文字色判定部Ａ１００へ転送される。
【００３２】
文字色判定部Ａ１００では、局所領域内のＲ，Ｇ，Ｂ各色信号の分布範囲ΔＲ，ΔＧ，ΔＢを求める。
【００３３】
ΔＲ＝Ｒmax −Ｒmin 
ΔＧ＝Ｇmax −Ｇmin                                       …(7)
ΔＢ＝Ｂmax −Ｂmin 
こうして求めた分布範囲ΔＲ，ΔＧ，ΔＢが、上記背景色ＲB ，ＧB ，ＢB の１／２以上の場合、その色信号に関するフラグＲ＿flag，Ｇ＿flag，Ｂ＿flagをＯＮにし、他の場合はＯＦＦにする。
【００３４】
0003974988.tif 000002
次に、文字色判定部Ａ１００は、図４に示すような判定用テーブル７０に基づいて、各色信号に関するフラグから局所領域内の文字色を求める。なお、全てのフラグがＯＦＦになる場合は、文字が存在せず背景色のみで局所領域が満たされていると判断する。
【００３５】
こうして文字色が定まると、欠落する色信号を算出する方法が定まる。而して、文字色判定部Ａ１００は、局所領域の文字色の判定結果を切換部Ａ１０２へ転送する。切換部Ａ１０２は、上記制御部５０の制御に基づいて、上記Ｒ信号用ブロックバッファ５８，Ｇ信号用ブロックバッファ６０，Ｂ信号用ブロックバッファ６２内の単板状態の色信号を、上記文字色判定部Ａ１００からの判定結果が背景色のときは背景復元部７４へ、その他の場合は欠落色復元部Ａ１０４へ転送する。
【００３６】
背景復元部７４では、上記背景色推定部５２から背景色（ＲB ，ＧB ，ＢB ）を受け取り、これに基づき欠落する色信号を充填する。一方、欠落色復元部Ａ１０４では、上記文字色判定部Ａ１００から欠落する色信号の算出法を、また上記背景色推定部５２から背景色をそれぞれ受け取り、これらに基づいて欠落する色信号を算出する。
【００３７】
これら背景復元部７４又は欠落色復元部Ａ１０４によって欠落する色信号が復元され三板状態になったＲ，Ｇ，Ｂ各色信号は、プリンタ出力部４４へ出力される。
【００３８】
ここで、上記背景色推定部５２における背景色推定動作を図５に示すフローチャートを参照して、さらに説明する。なお、この図中、変数ＲB ，ＧB ，ＢB は背景色を、Count は有効な矩形領域（局所領域）の総数を表すものとする。
【００３９】
即ち、先ず、出力部３８からの全信号を読み込み（ステップＳ１０）、各変数ＲB ，ＧB ，ＢB ，Count をそれぞれ「０」に初期化する（ステップＳ１２）。そして、画像を走査して（ステップＳ１４）、所定サイズ、例えば８×８サイズの矩形領域を重複無しで順次抽出する（ステップＳ１６）。
【００４０】
次に、抽出された矩形領域内のＲ，Ｇ，Ｂ各色信号の平均値Ｒav，Ｇav，Ｂavを算出し（ステップＳ１８）、また、その矩形領域内の平均輝度Ｙを、
Ｙ＝０．３Ｒav＋０．６Ｇav＋０．１Ｂav
により算出する（ステップＳ２０）。
【００４１】
そして、上記算出した平均輝度Ｙが所定の範囲内にあるかどうかを、下限閾値Ｔｈ１と上限閾値Ｔｈ２にて判断する（ステップＳ２２）。これらの閾値は、例えば、扱う信号が８ビットレベル（０〜２５５）ならばＴｈ１＝１０，Ｔｈ２＝２３０などを用いる。
【００４２】
算出した平均輝度Ｙが上記閾値範囲内でない場合には、全画面の走査が終了したかを判断し（ステップＳ２４）、まだであれば、上記ステップＳ１４に戻って、次の矩形領域に対して上記処理を繰り返す。
【００４３】
これに対して、算出した平均輝度Ｙが上記閾値範囲内であるときには、次に、変数ＲB ，ＧB ，ＢB に各色信号の平均値Ｒav，Ｇav，Ｂavを積算し（ステップＳ２６）、また変数Count を「１」増分する（ステップＳ２８）。その後、上記ステップＳ２４に進み、全画面の走査が終了したかを判断する。
【００４４】
こうして、全画面の走査が終了したならば、次に、有効な矩形領域の数を示す変数Count により、有効矩形領域数が所定の数Ｔｈ３、例えばＴｈ３＝１０を上回っているかどうかを判断する（ステップＳ３０）。その結果、所定数Ｔｈ３を上回っている場合には、変数ＲB ，ＧB ，ＢB を変数Count で除算することで背景色を算出し（ステップＳ３２）、また、上回っていない場合には、基準となる背景色、例えば扱う信号が８ビットレベルならば、白に該当する「２５５」を変数ＲB ，ＧB ，ＢB に代入する（ステップＳ３４）。そして、上記ステップＳ３２又はＳ３４で設定された背景色ＲB ，ＧB ，ＢB を、推定した背景色として出力する（ステップＳ３６）。
【００４５】
上記のように、複数の色からなる文字画像に関して存在する色信号から欠落する色信号を回復するため、従来の線形補間処理で生じていたエッジ部のぼけや偽色の発生を回避することができ、可読性の良い文字画像を生成することができる。また、この処理はテーブルの参照による単純な演算で実行できるため、低コストで高速な処理が可能となる。さらに、本実施の形態は、電子スチルカメラ自体を改良する必要がないため、汎用性の高いものとなる。
【００４６】
なお、本実施の形態では、ＣＣＤの色フィルタに図２の（Ａ）に示される配置を用いているが、これに限定される必要はなく、任意の配置に対して処理を行うことも可能である。また、使用する文字色に関しても図４に示す７色に限定する必要はなく、任意の色を登録することが可能である。さらに、局所領域が重複しないように処理を行っているが、処理時間が問題にならないならば１画素間隔で重複するように処理をし、結果を加算平均することでより性能を向上させることも可能である。
【００４７】
［第２の実施の形態］
次に、本発明の第２の実施の形態を説明する。本第２の実施の形態にかかる電子スチルカメラシステムの構成は、ＣＣＤ１８に用いられるフィルタ配置と、文字画像復元部４２の構成とを除き、上記第１の実施の形態と同様である。
【００４８】
即ち、本第２の実施の形態においては、文字画像復元部４２では、処理切換部４０を介して入力された各色信号に対して背景色を算出後、この背景色と各色信号の差を計算することで色信号を背景とその他に分離し、これをもとに画像を回復する処理がなされて、プリンタ出力部４４へ出力される。
【００４９】
図６は、本実施の形態における文字画像復元部４２の構成を示す図であり、上記第１の実施の形態と同様のものには、同じ参照番号を付してある。なお、同図において、記号ｈｈは局所領域内における背景色との差を示す信号（各色別）を示しており、また、ｍｍは局所領域内の背景でない色（非背景色）の推定信号を示している。
【００５０】
即ち、処理切換部４０は、制御部５０の制御に基づき出力部３８からの全信号を背景色推定部５２に転送する。背景色推定部５２では、背景色（ＲB ，ＧB ，ＢB ）を推定する。背景色の推定方法は、例えば第１の実施の形態（図５）などを用いる。そして、推定された背景色をＲ信号用背景色成分差計算部７８，Ｇ信号用背景色成分差計算部８０，Ｂ信号用背景色成分差計算部８２へ転送する。
【００５１】
こうして背景色が算出された後、制御部５０の制御に基づき再び処理切換部４０は局所領域抽出部５６に信号を転送する。局所領域抽出部５６では、制御部５０の制御に基づき所定サイズ、例えば８×８サイズの矩形領域を重複無しで順次抽出してＲ信号用ブロックバッファ５８，Ｇ信号用ブロックバッファ６０，Ｂ信号用ブロックバッファ６２へ転送する。このとき、転送される信号は、図２の（Ｂ）に示されるＣＣＤのフィルタ配置に基づき、単板状態に変換されて転送される。各信号用ブロックバッファ５８，６０，６２内の色信号は、Ｒ信号用背景色成分差計算部７８，Ｇ信号用背景色成分差計算部８０，Ｂ信号用背景色成分差計算部８２に転送される。
【００５２】
各信号用背景色成分差計算部７８，８０，８２では、背景色（ＲB ，ＧB ，ＢB ）と局所領域内の各色信号との差が計算され、それらの結果が切換部Ｂ１０６へ転送される。
【００５３】
切換部Ｂ１０６では、各信号用背景色成分差計算部７８，８０，８２から転送された背景色と色信号との差から、局所領域内に背景以外の部分が存在するか否かを調べる。局所領域内の全ての色信号について背景色との差が所定値、例えば「１６」より小さければ、背景以外の部分は存在しないとして背景色を、それ以外の場合は背景以外の部分が存在するとして非背景色（ＲN ，ＧN ，ＢN ）を決定する。また切換部Ｂ１０６は、制御部５０の制御に基づき、各色信号用ブロックバッファ５８，６０，６２内の単板状態の色信号を、上記にて決定した色が背景色のときは背景復元部７４へ、非背景色の場合は欠落色復元部Ｂ１０８へ転送する。
【００５４】
背景復元部７４では、背景色推定部５２から背景色（ＲB ，ＧB ，ＢB ）を受け取り、これに基づき欠落する色信号を充填する。
【００５５】
一方、欠落色復元部Ｂ１０８では、切換部Ｂ１０６から局所領域内の非背景色（ＲN ，ＧN ，ＢN ）を、また背景色推定部５２から背景色（ＲB ，ＧB ，ＢB ）を受け取り、これに基づき欠落する色信号を算出する。なお、この欠落する色信号の算出は、例えば単板状態の色信号からそれが背景か否かを判断し、欠落部分をその判断結果に対応した色信号に回復する、などである。
【００５６】
具体的には、単板状態のＲ信号Ｒ’から欠落しているＧ信号Ｇ’及びＢ信号Ｂ’を回復する場合、Ｒ信号Ｒ’が背景か否かを判断する基準として、Ｒ信号Ｒ’と非背景色ＲN の絶対差ＲNs及びＲ信号Ｒ’と背景色ＲB の絶対差ＲBsをそれぞれ次式のように計算する。
【００５７】
ＲNs＝｜Ｒ’−ＲN ｜
ＲBs＝｜Ｒ’−ＲB ｜                                      …(9)
そして、絶対差ＲNsと絶対差ＲBsの大きさを比較することで、次式のように欠落しているＧ信号Ｇ’及びＢ信号Ｂ’を回復する。
【００５８】
if  （ＲNs≦ＲBs）  then  Ｇ’＝ＧN     Ｂ’＝ＢN 
else                      Ｇ’＝ＧB     Ｂ’＝ＢB         …(10)
こうして、欠落する色信号が復元され三板状態になった各色信号は、プリンタ出力部４４へ出力される。
【００５９】
図２の（Ｂ）は、本実施の形態におけるＣＣＤ１８のフィルタ配置の具体的構成の一例を示す。ここでは、４×４画素サイズの基本配置があり、この基本配置が反復的に繰り返されてＣＣＤ上の全画素を充填する構造となっている。本実施の形態では、ＲＧＢの３信号の出現頻度は３：１０：３になるよう設定されている。
【００６０】
図７は、各色信号の背景色成分差計算部７８，８０，８２から切換部Ｂ１０６で非背景色（ＲN ，ＧN ，ＢN ）を決定するまでの処理のフローチャートである。本フローチャートは、各色信号のブロックバッファ５８，６０，６２に矩形領域の画像が単板状態で読み込まれてから開始される。なお、図７では、簡略化のため、点線で囲まれた部分に相当する処理（ステップＳ４４乃至Ｓ５４）として、Ｒ信号の場合のみ記述しているが、読み込まれた色信号がＧ信号又はＢ信号の場合は、これらＲ信号で記述されている箇所をＧ信号又はＢ信号に変更して同様の処理を行うものである。よって、以下の説明では、これらステップＳ４４乃至Ｓ５４については、各色信号を一括して取り扱う。
【００６１】
即ち、先ず、各変数を「０」に初期化する（ステップＳ４０）。ここで、初期化されるものは、背景色と色信号の差を表す変数（ＲS ，ＧS ，ＢS ）、この変数（ＲS ，ＧS ，ＢS ）の最大値を表す変数（ＲSmax，ＧSmax，ＢSmax）、非背景色（ＲN ，ＧN ，ＢN ）、及び上記変数（ＲS ，ＧS ，ＢS ）が一定値以上となる部分の個数を数えるカウンタを表す変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）である。
【００６２】
その後、矩形領域（局所領域）内の画像を走査して（ステップＳ４２）、矩形領域内の対象となる色信号（Ｒ’，Ｇ’，Ｂ’）を読み込む（ステップＳ４４）。そして、読み込まれた色信号（Ｒ’，Ｇ’，Ｂ’）に対応する背景色（ＲB ，ＧB ，ＢB ）との差を算出し、変数（ＲS ，ＧS ，ＢS ）に格納する（ステップＳ４６）。ここで、この算出された変数（ＲS ，ＧS ，ＢS ）の絶対値が前回までの差から算出された差の最大値（ＲSmax，ＧSmax，ＢSmax）の絶対値より大きいか否かを判断する（ステップＳ４８）。変数（ＲS ，ＧS ，ＢS ）の絶対値が最大値（ＲSmax，ＧSmax，ＢSmax）の絶対値より小さければ後述するステップＳ５２に進み、大きい場合には、差の最大値（ＲSmax，ＧSmax，ＢSmax）に変数（ＲS ，ＧS ，ＢS ）を代入して最大値の更新を行った後（ステップＳ５０）、次のステップＳ５２に進む。
【００６３】
ステップＳ５２では、上記算出された変数（ＲS ，ＧS ，ＢS ）の絶対値が一定値Ｔｈ３１、例えばＴｈ３１＝１６以上であるか否かを判断する。そして、変数（ＲS ，ＧS ，ＢS ）の絶対値がこの一定値Ｔｈ３１よりも小さければ後述するステップＳ５６に進み、一定値Ｔｈ３１以上であれば、変数（ＲS ，ＧS ，ＢS ）を非背景色と判断し、読み込まれた色信号（Ｒ’，Ｇ’，Ｂ’）を非背景色（ＲN ，ＧN ，ＢN ）に加算し、また同時に、カウンタ用の変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）を「１」増分した後（ステップＳ５４）、次のステップＳ５６に進む。
【００６４】
ステップＳ５６では、矩形領域の走査が終了したか否かを判断する。まだ走査が終了していない場合には、上記ステップＳ４２に戻る。
【００６５】
而して、矩形領域の走査が終了したならば、次に、カウンタ用の変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が全て「０」であるか否かを判断する（ステップＳ５８）。これら変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が全て「０」である場合には、矩形領域には背景以外の部分は存在しないと判断し、背景色（ＲB ，ＧB ，ＢB ）を非背景色（ＲN ，ＧN ，ＢN ）に代入する（ステップＳ６０）。そして、この非背景色（ＲN ，ＧN ，ＢN ）を出力する（ステップＳ６２）。
【００６６】
一方、上記ステップＳ５８において、変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が全て「０」ではないと判断された場合には、次に、各色信号におけるカウンタ用の変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が「０」であるか否かを判断する（ステップＳ６４）。各色信号について変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が「０」である場合には、背景色との差の最大値（ＲSmax，ＧSmax，ＢSmax）をとる色信号が非背景色を表すと判断し、最大値（ＲSmax，ＧSmax，ＢSmax）に背景色（ＲB ，ＧB ，ＢB ）を加算することで非背景色（ＲN ，ＧN ，ＢN ）を算出する（ステップＳ６６）。また、各色信号について変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）が「０」でない場合には、非背景色と判断された色信号が加算された変数（ＲN ，ＧN ，ＢN ）をカウンタ用の変数（Ｒ＿Ｃ，Ｇ＿Ｃ，Ｂ＿Ｃ）で除算することで、非背景色（ＲN ，ＧN ，ＢN ）を算出する（ステップＳ６８）。そして、上記ステップＳ６２に進んで、ステップＳ６６又はＳ６８で算出された非背景色（ＲN ，ＧN ，ＢN ）を出力する。
【００６７】
上記のように、複数の色からなる文字画像に関して、推定された背景色と映像信号の差をとることで背景以外の部分（文字を含む）を一括して欠落する色信号を復元するため、任意の種類の色からなる文字画像を高精度に復元できる。また、本実施の形態は、簡単な構成で実現できるため、高速化及び低コスト化が可能になる。さらに、本実施の形態は、電子スチルカメラ自体を改良する必要がないため、汎用性の高いものとなる。
【００６８】
なお、本実施の形態では、ＣＣＤの色フィルタに図２の（Ｂ）に示される配置を用いているが、これに限定される必要はなく、例えば図２の（Ａ）など任意の配置に対して処理を行うことも可能である。また、欠落色の回復には背景色及び局所領域内の色信号と背景色の差を用いることで図４に示す判定用テーブルのように色信号の線形な関係を利用して処理することも可能である。さらに、局所領域が重複しないように処理を行っているが、処理時間が問題にならないならば、１画素間隔で重複するように処理をし、結果を加算平均することでより性能を向上させることも可能である。
【００６９】
［第３の実施の形態］
次に、本発明の第３の実施の形態を説明する。本実施の形態にかかる電子スチルカメラは、上記第１及び第２の実施の形態でアダプタ１２内に構成していた機能を、電子スチルカメラ内に構成した例である。
【００７０】
図８は、本第３の実施の形態にかかる電子スチルカメラの構成を示す図で、前述の第１の実施の形態と同様の構成には同一の参照番号を付してある。
【００７１】
即ち、レンズ系１４及びローパスフィルタ１６を透過した入力画像は、ＣＣＤ１８へ導かれ、Ａ／Ｄ変換回路２０に供給されている。Ａ／Ｄ変換回路２０の出力信号は、処理切換部４０を介して、文字画像復元部４２又は汎用画像復元部８４へ転送される。文字画像復元部４２及び汎用画像復元部８４の出力信号は、出力部３８へ転送される。また、ＣＣＤ１８には、クロックジェネレータ４６の信号が、ＣＣＤ駆動回路４８を介して駆動信号として供給されている。マイクロコンピュータなどの制御部５０は、処理切換部４０，文字画像復元部４２，出力部３８，クロックジェネレータ４６，及び汎用画像復元部８４へ接続されている。
ここで、このような構成における信号の流れを説明する。即ち、レンズ系１４とローパスフィルタ１６を介して単板式のＣＣＤ１８が配置されている。ＣＣＤ１８は、例えば図２の（Ａ）や図２の（Ｂ）に示されるＲＧＢ原色型のフィルタ配置を持つＣＣＤである。ＣＣＤ１８からの映像信号は、Ａ／Ｄ変換回路２０にてディジタル化される。また、ＣＣＤ１８には、クロックジェネレータ４６に基づいて駆動信号を発生するＣＣＤ駆動回路４８が接続されている。Ａ／Ｄ変換回路２０からの単板状態の映像信号は、制御部５０の制御に基づき処理切換部４０を介して、文字画像復元部４２又は汎用画像復元部８４へ転送される。この切換は、文字モード／一般画像モードなどの図示しない手動の切換スイッチなどにより外部から制御部５０へ伝達されるものとする。文字画像復元部４２では、複数色からなる色文字を、より可読性の高い画像へ回復する処理がなされて出力部３８へ出力される。一方、汎用画像復元部８４では、公知の補間処理（例えば、線形補間）により欠落する色信号が補間された後、出力部３８へ出力される。
【００７２】
図９は、本実施の形態における文字画像復元部４２のブロック構成図であり、上記第１の実施の形態と同様のものには、同じ参照番号を付してある。なお、同図において、記号ｉｉは単板状態の映像信号を、ｊｊはヒストグラムの分布を示す信号（各色別）を、ｋｋはヒストグラムのピークとなる色信号を示す信号（各色別）を、そしてｌｌは局所領域内の文字色を示す信号を、それぞれ示している。
【００７３】
処理切換部４０は、制御部５０の制御に基づきＡ／Ｄ変換回路２０からの単板状態の映像信号を背景色推定部Ｃ１１０に転送する。背景色推定部Ｃ１１０では、例えば図２の（Ａ）に示されるフィルタ配置が２×２画素サイズの反復から成立していることに基づき、２×２サイズごとにＲＧＢデータを算出することで、三板状態の映像信号を生成する。この三板状態の映像信号は、単板状態の映像信号の１／２×１／２サイズになる。この後は、前述の第１の実施の形態と同様に、所定の輝度範囲内にある領域のＲ，Ｇ，Ｂ各色信号の平均値を算出することで背景色（ＲB ，ＧB ，ＢB ）を推定し、その推定した背景色を文字色判定部Ｃ１１２へ転送する。
【００７４】
背景色が転送された後、制御部５０の制御に基づき再び処理切換部４０は局所領域抽出部Ｃ１１４に信号を転送する。局所領域抽出部Ｃ１１４では、制御部５０の制御に基づき所定サイズ、例えば８×８サイズの矩形領域に関して、図２の（Ａ）に示されるフィルタ配置に基づき、ＲＧＢ信号ごとに分離してＲ信号用ブロックバッファ５８，Ｇ信号用ブロックバッファ６０，Ｂ信号用ブロックバッファ６２へ転送する。各信号用ブロックバッファ５８，６０，６２内の色信号は、Ｒ信号用ヒストグラム生成部８６，Ｇ信号用ヒストグラム生成部８８，Ｂ信号用ヒストグラム生成部９０に転送され、各色信号ごとの分布が算出される。各信号の分布は、Ｒ信号文字色成分検出部９２，Ｇ信号文字色成分検出部９４，Ｂ信号文字色成分検出部９６に転送され、分布のピークとなる色信号が検出されて、これが文字色判定部Ｃ１１２へ転送される。
【００７５】
文字色判定部Ｃ１１２では、各色信号の分布のピークとなる色信号と背景色（ＲB ，ＧB ，ＢB ）とを参照することにより、局所領域内の文字色（ＲT ，ＧT ，ＢT ）を決定する。そして、文字色が定まると、文字色判定部Ｃ１１２は、局所領域の文字色（ＲT ，ＧT ，ＢT ）を切換部Ｃ１１６へ転送する。
【００７６】
切換部Ｃ１１６は、制御部５０の制御に基づき各信号用ブロックバッファ５８，６０，６２内の単板状態の色信号を、文字色判定部Ｃ１１２からの結果が背景色のときは背景復元部７４へ、その他の場合は欠落色復元部Ｃ１１８へ転送する。背景復元部７４では、背景色推定部Ｃ１１０から背景色（ＲB ，ＧB ，ＢB ）を受け取り、これに基づき欠落する色信号を充填する。一方、欠落色復元部Ｃ１１８では、文字色判定部Ｃ１１２から局所領域内の文字色（ＲT ，ＧT ，ＢT ）を、背景色推定部Ｃ１１０から背景色（ＲB ，ＧB ，ＢB ）をそれぞれ受け取り、これらに基づいて欠落する色信号を算出する。
【００７７】
欠落する色信号の算出方法には、色信号間の関係を利用する。局所領域内に文字と背景が存在する場合、二つの色信号（Ｓ1 ，Ｓ2 ）についてそれぞれ分布を求めると、その関係は図１０の（Ａ）に示すように、それぞれ二つの濃度値に収束する。この状態から文字色と背景色の組み合わせは４通り考えられるが、背景色に関しては事前に算出されているので、その背景色の組み合わせは一意に決定できる（図１０の（Ａ）では、（Ｓ1B，Ｓ2B）を背景色としている）。よって、文字色の組み合わせも決まる（図１０の（Ａ）では（Ｓ1T，Ｓ2T）を文字色としている）。この関係から、単板状態の色信号が背景と文字のどちらに属するかを見れば、欠落する色信号はその結果に対応した色信号として回復することができる。
【００７８】
こうして、欠落する色信号が復元され三板状態になったＲ，Ｇ，Ｂ各色信号は、出力部３８へ出力される。
【００７９】
図１１は、各色信号のヒストグラム生成部８６，８８，９０から文字色判定部Ｃ１１２で文字色（ＲT ，ＧT ，ＢT ）を出力するまでの処理のフローチャートを示している。このフローチャートの動作は、各色信号のブロックバッファ５８，６０，６２に矩形領域（局所領域）の画像が単板状態で読み込まれてから開始される。
【００８０】
即ち先ず、各変数を「０」に初期化する（ステップＳ７０）。ここでは、ヒストグラムの度数を表す配列（ＲH []，ＧH []，ＢH []）、ピーク値をとる画素値を表す配列（ＲL []，ＧL []，ＢL []）、及びその個数を数えるカウンタを表す変数（ＲL ＿Ｃ，ＧL ＿Ｃ，ＢL ＿Ｃ）が使われる。配列（ＲH []，ＧH []，ＢH []）のサイズは、信号のレベルによる間隔の設定に依存し、例えば信号が８ビットレベル（０〜２５５）の場合、間隔を「１６」にすれば各配列のサイズは「２５６／１６＝１６」となる。
【００８１】
次に、矩形領域内の各色信号に対応するヒストグラム（ＲH []，ＧH []，ＢH []）を作成し（ステップＳ７２）、この各色信号のヒストグラムから、度数が所定値以上、例えば８×８サイズの矩形領域であればＲ信号及びＢ信号について「５」以上、Ｇ信号について「１０」以上となる部分をピーク値として検出する。そして、ピーク値に対応する画素値（例えばその範囲の中央値など）を変数（ＲL []，ＧL []，ＢL []）に、ピーク値の個数を変数（ＲL ＿Ｃ，ＧL ＿Ｃ，ＢL ＿Ｃ）にそれぞれ格納する（ステップＳ７４）。その具体例として、Ｒ信号のヒストグラムのピーク値に対応する画素値の状態を図１２に示す。
【００８２】
次に、ここで、各色信号のピーク値の個数（＝変数（ＲL ＿Ｃ，ＧL ＿Ｃ，ＢL ＿Ｃ））が「２」以下かどうかを調べる（ステップＳ７６）。その個数が「２」以下である場合は、背景色推定部Ｃ１１０より推定された背景色（ＲB ，ＧB ，ＢB ）とピーク値を示す変数（ＲL []，ＧL []，ＢL []）を参照することで、矩形領域内の文字色（ＲT ，ＧT ，ＢT ）を決定する（ステップＳ７８）。ここでは、背景色との差が大きい変数を文字色と定義する。
【００８３】
例えば、ピーク値の個数が「２」の場合は、背景色の輝度信号と変数（ＲL []，ＧL []，ＢL []）の輝度信号を算出し比較して絶対差が大きい変数を文字色とする。また、ピーク値の個数が「１」の場合は、変数と背景色の輝度信号の絶対差が所定値、例えば「１５」以内ならば背景色を文字色とし、そうでなければ変数を文字色とする。ピーク値の個数が「０」の場合は、ヒストグラム（ＲH []，ＧH []，ＢH []）の平均値や中央値に関して輝度信号を算出してピーク値の個数が「１」の場合と同様の処理を行う。このような方法により、矩形領域内の文字色（ＲT ，ＧT ，ＢT ）を決定する。
【００８４】
そして、こうして決定した文字色（ＲT ，ＧT ，ＢT ）を出力して（ステップＳ８０）、この動作を終了する。
【００８５】
一方、上記ステップＳ７６において、各色信号のピーク値の個数が「２」以下ではないと判断された場合には、対象としている矩形領域内の回復処理を行わず、対象を次の矩形領域に移動するように制御して（ステップＳ８２）、この動作を終了する。
【００８６】
図１３は、背景色推定部Ｃ１１０の処理動作のフローチャートである。ここで、変数ＲB ，ＧB ，ＢB は背景色を、Count は有効三板画素の総数を、Ｃ＿bwは白色三板画素の総数を示す。
【００８７】
即ち先ず、Ａ／Ｄ変換回路２０から転送される単板状態の映像信号を読み込み（ステップＳ９０）、変数ＲB ，ＧB ，ＢB ，Count ，及びＣ＿bwを「０」に初期化する（ステップＳ９２）。
【００８８】
その後、画像を走査して（ステップＳ９４）、単板ＣＣＤのフィルタの配列サイズ、例えば図２の（Ａ）に示す２×２サイズの矩形領域を重複無しで順次抽出する（ステップＳ９６）。このとき読み込まれる色信号をそれぞれＲ，Ｇ１，Ｇ２，Ｂとし、以後総称して単板データと呼ぶ。
【００８９】
次に、単板データの情報から三板状態における１画素の色成分Ｒ’，Ｇ’，Ｂ’を算出する（ステップＳ９８）。これを以後総称して三板データと呼ぶ。単板ＣＣＤのフィルタ配列サイズが例えば図２の（Ａ）に示す２×２サイズであれば、三板データは次式から算出される。
【００９０】
Ｒ’＝Ｒ
Ｇ’＝（Ｇ１＋Ｇ２）／２                                  …(11)
Ｂ’＝Ｂ
次に、この三板データを用いて、輝度信号Ｙを、
Ｙ＝０．３Ｒ’＋０．６Ｇ’＋０．１Ｂ’
として算出する（ステップＳ１００）。
【００９１】
そしてここで、輝度信号Ｙが所定の範囲内にあるかどうかを、下限閾値Ｔｈ１と上限閾値Ｔｈ２にて判断する（ステップＳ１０２）。この閾値としては、例えば扱う信号が８ビットレベル（０〜２５５）ならばＴｈ１＝１０，Ｔｈ２＝２３０などを用いる。
【００９２】
輝度信号Ｙがこの範囲内ならば、変数ＲB ，ＧB ，ＢB に三板データの各色信号Ｒ’，Ｇ’，Ｂ’を積算し（ステップＳ１０４）、変数Count を「１」増分した後（ステップＳ１０６）、全画面の走査が終了したかを判断する（ステップＳ１０８）。まだ、全画面の走査が終了していない場合には、上記ステップＳ９４に戻る。
【００９３】
一方、上記ステップＳ１０２において、輝度信号Ｙが上記所定の範囲内にないと判断された場合には、さらに、輝度信号Ｙが上記上限閾値Ｔｈ２以上かどうかを判断する（ステップＳ１１０）。輝度信号Ｙが上限閾値Ｔｈ２以上でない場合には、上記ステップＳ１０８に進み、上限閾値Ｔｈ２以上の場合には、変数Ｃ＿bwを「１」増分した後（ステップＳ１１２）、上記ステップＳ１０８に進む。
【００９４】
こうして、上記ステップＳ１０８で全画面の走査が終了したと判断されたならば、次に、有効三板データ数Count が所定の数Ｔｈ３、例えばＴｈ３＝１０を上回っているかどうかを判断する（ステップＳ１１４）。上回っている場合には、変数ＲB ，ＧB ，ＢB を変数Count で除算することで、背景色を算出し（ステップＳ１１６）、この算出した背景色ＲB ，ＧB ，ＢB を出力する（ステップＳ１１８）。
【００９５】
これに対して、上記ステップＳ１１４において所定の数Ｔｈ３を上回っていないと判断された場合には、さらに、白色三板データ数Ｃ＿bwが上記所定の数Ｔｈ３を上回っているかどうかを判断し（ステップＳ１２０）、上回っている場合は、例えば扱う信号が８ビットレベルならば白に該当する値「２５５」を変数ＲB ，ＧB ，ＢB に代入し（ステップＳ１２２）、また上回っていない場合には、黒に該当する値「０」を変数ＲB ，ＧB ，ＢB に代入して（ステップＳ１２４）、上記ステップＳ１１８で背景色ＲB ，ＧB ，ＢB を出力する。
【００９６】
上記のように、複数の色からなる文字画像に関して、局所領域ごとに単板状態の映像信号から各色成分のヒストグラムを作成し、この分布のピーク値となる映像信号を用いて文字色を推定するため、任意の種類の色からなる文字画像を復元できる。また、ヒストグラムのピーク値となる映像信号をもとに文字と背景それぞれに対応する部分の欠落する色信号を回復するため、ノイズの影響を極力抑えて高精度に文字画像を復元できる。
【００９７】
なお、本実施の形態では、ＣＣＤの色フィルタに図２の（Ａ）に示される配置を用いているが、これに限定される必要はなく、例えば図２の（Ｂ）など任意の配置に対して処理を行うことも可能である。また、局所領域が重複しないように処理を行っているが、処理時間が問題にならないならば１画素間隔で重複するように処理をし、結果を加算平均することでより性能を向上させることも可能である。さらに、本実施の形態では、文字画像の復元として単板状態の映像信号から背景色と文字色をそれぞれ推定して欠落色を復元する処理を行っているが、上記第２の実施の形態の如く、背景色を推定した後に単板状態の映像信号と参照することで欠落色を復元するといった処理も可能である。
【００９８】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことはもちろんである。例えば、上記実施の形態では、固体撮像素子として単板ＣＣＤを例に説明したが、本発明は、二板ＣＣＤにも同様に適用可能である。
【００９９】
ここで、本発明の要旨をまとめると以下のようになる。
【０１００】
（１）  単板又は二板式固体撮像素子の映像信号から複数種類の色からなる文字画像を復元する文字画像復元装置であって、
上記固体撮像素子の映像信号から背景色を推定する背景色推定手段と、
上記固体撮像素子の映像信号から所定サイズの局所領域を抽出する抽出手段と、
上記抽出手段から抽出された局所領域内の文字色を推定する文字色推定手段と、
上記背景色推定手段から推定された背景色と上記文字色推定手段から推定された文字色に基づき上記局所領域内の映像信号を背景と文字とに分離する分離手段と、
上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元し、上記分離手段により文字とされた場合には上記文字色により欠落する色信号を復元する欠落色復元手段と、
を具備することを特徴とする文字画像復元装置。
【０１０１】
この構成に関する実施の形態は、第１の実施の形態が対応するもので、文字画像を復元する方法としては、与えられた映像信号から背景色を推定し、また、与えられた映像信号を局所領域に分割して、各局所領域ごとに文字色を推定し、各局所領域ごとに背景と文字とに分離を行い、背景色の場合は推定された背景色から、文字の場合は推定された文字色から欠落する色信号を復元する方法を含む。背景色を推定する方法としては、与えられた映像信号に基づき輝度信号を生成し、輝度信号が所定の範囲内にある領域内の映像信号から背景色を推定する方法を含む。また、文字色を推定する方法としては、与えられた映像信号から局所領域の最大・最小値の分布範囲及び背景色及び文字色が登録された文字色テーブルから文字色を推定する方法を含む。
【０１０２】
例えば、図３に示す文字画像復元部４２では、与えられた映像信号が文字画像である場合、背景色推定部５２にて映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部５６にて映像信号を局所領域に分割し且つ単板状態に変換し、Ｒ信号用最大最小算出部６４，Ｇ信号用最大最小算出部６６，Ｂ信号用最大最小算出部６８にて各局所領域ごとの最大・最小範囲を算出して、文字色判定部Ａ１００と判定用テーブル７０にて最大・最小範囲と背景色から文字色を推定し、背景復元部７４と欠落色復元部Ａ１０４にて文字画像を復元する。
【０１０３】
即ち、与えられた映像信号を文字画像の場合のみ再度復元処理する。復元処理は、まず所定の輝度範囲内にある映像信号から背景色を求める。次に、映像信号を単板状態に戻し、且つ所定サイズの局所領域に分割して、各局所領域ごとに文字色を求める。文字色は、信号の最大最小の分布形態と背景色と予め登録しておいた文字色テーブルとを比較することで決定される。背景色と文字色が定まると、各局所領域ごとに背景部と文字部に分離されて、欠落する色信号が復元される。
【０１０４】
このように、予め登録された文字色に基づき局所領域ごとに文字色を推定し、その後、背景色又は文字色の２種類の色しか存在しないものとして欠落する色信号を復元するため、従来の線形補間で復元する場合に生ずるエッジ部の偽色が低減され可読性の良い文字画像を生成することができる。また、文字色の推定は、予め登録されたテーブルとの参照により行われるため処理が高速に行われ、電子スチルカメラ自体を改良する必要がないため汎用性が高い。
【０１０５】
また、この（１）の構成に関する実施の形態は、第３の実施の形態も対応する。文字画像を復元する方法としては、単板状態の映像信号から背景色を推定し、単板状態の映像信号を局所領域に分割して、各局所領域ごとに文字色を推定し、各局所領域ごとに背景と文字とに分離を行い、背景色の場合は推定された背景色から、文字の場合は推定された文字色から欠落する色信号を復元する方法を含む。背景色を推定する方法としては、単板状態の映像信号から縮小サイズの欠落する色信号のない映像信号を生成し、縮小サイズの映像信号に基づき輝度信号を生成し、輝度信号が所定の範囲内にある領域内の映像信号から背景色を推定する方法を含む。また、文字色を推定する方法としては、単板状態の映像信号から局所領域のヒストグラムを生成しヒストグラムのピーク値をとる映像信号及び背景色から文字色を推定する方法を含む。
【０１０６】
例えば、図９に示す文字画像復元部４２では、与えられた映像信号が文字画像である場合、背景色推定部Ｃ１１０にて縮小サイズの映像信号を生成後、映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部Ｃ１１４にて映像信号を局所領域に分割し、Ｒ信号用ヒストグラム生成部８６，Ｇ信号用ヒストグラム生成部８８，Ｂ信号用ヒストグラム生成部９０にて各局所領域ごとのヒストグラムを生成して、Ｒ信号文字色成分検出部９２，Ｇ信号文字色成分検出部９４，Ｂ信号文字色成分検出部９６にてヒストグラムのピーク値をとる映像信号を検出し、文字色判定部Ｃ１１２にてピーク値の映像信号と背景色から文字色を推定し、背景復元部７４と欠落色復元部Ｃ１１８にて文字画像を復元する。
【０１０７】
即ち、背景色推定のために単板状態の映像信号（文字画像に対応する）を、欠落信号のない縮小サイズの映像信号に変換後、所定の輝度範囲内にある縮小サイズの映像信号から背景色を求める。次に、単板状態の映像信号を所定サイズの局所領域に分割して、各局所領域ごとに文字色を求める。文字色は、各色信号ごとにヒストグラムを生成してそのピーク値をとる映像信号と背景色とを比較することで決定される。背景色と文字色が定まると、各局所領域ごとに背景部と文字部に分離されて欠落する色信号が復元される。
【０１０８】
このように、局所領域ごとに映像信号のヒストグラムを生成し、そのピーク値となる映像信号を用いて文字色を推定するため、任意の種類の色からなる文字画像を復元できる。また、映像信号のヒストグラムから推定された文字色及び背景色で欠落する色信号を復元するため、ノイズの影響を極力抑えて高精度に文字画像を復元できる。
【０１０９】
（２）  単板又は二板式固体撮像素子の映像信号から複数種類の色からなる文字画像を復元する文字画像復元装置であって、
上記固体撮像素子の映像信号から背景色を推定する背景色推定手段と、
上記固体撮像素子の映像信号から所定サイズの局所領域を抽出する抽出手段と、
上記背景色推定手段から推定された背景色に基づき上記局所領域内の映像信号を背景とその他に分離する分離手段と、
上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元し、その他とされた場合には上記局所領域内のその他とされた領域の平均化された映像信号により欠落する色信号を復元する欠落色復元手段と、
を具備することを特徴とする文字画像復元装置。
【０１１０】
この構成に関する実施の形態は、第２の実施の形態が対応するもので、文字画像を復元する方法としては、与えられた映像信号から背景色を推定し、また、与えられた映像信号を局所領域に分割して、各局所領域ごとに背景とその他とに分離を行い、背景色の場合は推定された背景色から、その他の場合は局所領域内のその他とされた領域の平均化された映像信号から欠落する色信号を復元する方法を含む。
【０１１１】
例えば、図６に示す文字画像復元部４２では、文字画像に対応する映像信号が与えられたとき、背景色推定部５２にて映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部５６にて映像信号を局所領域に分割し且つ単板状態に変換し、Ｒ信号用背景色成分差計算部７８，Ｇ信号用背景色成分差計算部８０，Ｂ信号用背景色成分差計算部８２にて各局所領域ごとの映像信号と背景色の差を算出して、切換部Ｂ１０６にて局所領域を背景色とその他に分離し、その他とされた領域の平均化された映像信号を算出して、背景復元部７４と欠落色復元部Ｂ１０８にて文字画像を復元する。
【０１１２】
即ち、文字画像の復元処理は、まず所定の輝度範囲内にある映像信号から背景色を求める。次に、映像信号を単板状態に戻し、且つ所定サイズの局所領域に分割して、各局所領域ごとに映像信号と背景色の差を求め、各局所領域ごとに背景とその他とに分離する。そして背景は背景色により、またその他は局所領域内でその他とされた領域に関して平均化された映像信号により欠落する色信号が復元される。
【０１１３】
このように、推定された背景色と映像信号の差をとることで背景以外の部分（文字を含む）を一括して欠落する色信号を復元するため、任意の種類の色からなる文字画像を高精度に復元できる。また、このような構成の文字画像復元装置は、構成が簡単になり高速化及び低コスト化が可能になる。さらに、この文字画像復元装置は、電子スチルカメラ本体とは独立した形で構成することができるので、電子スチルカメラ自体を改良する必要がないため汎用性が高い。
【０１１４】
（３）  単板又は二板式固体撮像素子を用いた電子スチルカメラ及び後処理装置からなる電子スチルカメラシステムにおいて、
上記固体撮像素子の映像信号から欠落する色信号を、補間により復元する汎用画像復元手段と、
上記汎用画像復元手段により復元された映像信号から複数種類の色からなる文字画像を、上記補間とは異なる文字画像に適した復元方法により復元する文字画像復元手段と、
上記汎用画像復元手段により復元された映像信号を上記文字画像復元手段に伝送する伝送手段と、
を具備し、
少なくとも上記文字画像復元手段を上記後処理装置内に構成したことを特徴とする電子スチルカメラシステム。
【０１１５】
この構成に関する実施の形態は、図１乃至図５に示される第１の実施の形態が対応する。ここで、汎用画像復元手段は、図１に示される色分離回路２２、プロセス回路２４，２６，２８、及びマトリックス回路３０が該当する。また、文字画像復元手段は、図１の文字画像復元部４２が該当する。文字画像を復元する方法としては、汎用画像復元手段からの映像信号から背景色を推定し、汎用画像復元手段からの映像信号を局所領域に分割して、各局所領域ごとに文字色を推定し、各局所領域ごとに背景と文字とに分離を行い、背景色の場合は推定された背景色から文字の場合は推定された文字色から欠落する色信号を復元する方法を含む。背景色を推定する方法としては、汎用画像復元手段からの映像信号に基づき輝度信号を生成し、輝度信号が所定の範囲内にある領域内の映像信号から背景色を推定する方法を含む。また、文字色を推定する方法としては、汎用画像復元手段からの映像信号から局所領域の最大・最小値の分布範囲及び背景色及び文字色が登録された文字色テーブルから文字色を推定する方法を含む。そして、構成伝送手段は、図１に示される処理切換部４０が該当する。
【０１１６】
この構成の電子スチルカメラシステムの好ましい適用例は、図１に示す単板ＣＣＤ１８からの映像信号をＡ／Ｄ変換回路２０，色分離回路２２，プロセス回路２４，２６，２８，マトリックス回路３０にて欠落する色信号を復元して保存し、処理切換部４０にて映像信号が文字画像である場合のみ図３に示す文字画像復元部４２へ転送され、背景色推定部５２にて映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部５６にて映像信号を局所領域に分割しかつ単板状態に変換し、Ｒ信号用最大最小算出部６４，Ｇ信号用最大最小算出部６６，Ｂ信号用最大最小算出部６８にて各局所領域ごとの最大・最小範囲を算出して、文字色判定部Ａ１００と判定用テーブル７０にて最大・最小範囲と背景色から文字色を推定し、背景復元部７４と欠落色復元部Ａ１０４にて文字画像を復元する電子スチルカメラシステムである。
【０１１７】
即ち、汎用画像復元手段からの映像信号を文字画像の場合のみ再度復元処理する。復元処理は、まず所定の輝度範囲内にある映像信号から背景色を求める。次に、映像信号を単板状態に戻し、且つ所定サイズの局所領域に分割して、各局所領域ごとに文字色を求める。文字色は、信号の最大最小の分布形態と背景色と予め登録しておいた文字色テーブルとを比較することで決定される。背景色と文字色が定まると、各局所領域ごとに背景部と文字部に分離されて欠落する色信号が復元される。
【０１１８】
文字画像復元手段は、予め登録された文字色に基づき局所領域ごとに文字色を推定する。その後、背景色又は文字色の２種類の色しか存在しないものとして欠落する色信号を復元するため、従来の線形補間で復元する場合に生ずるエッジ部の偽色が低減され可読性のよい文字画像を生成することができる。また、文字色の推定は予め登録されたテーブルとの参照により行われるため処理が高速に行われ、電子スチルカメラ自体を改良する必要がないため汎用性が高い。
【０１１９】
また、上記構成に関する実施の形態は、図１と、図２、図６及び図７に示される第２の実施の形態が対応する。構成汎用画像復元手段、構成文字画像復元手段、及び構成伝送手段、並びに背景色を推定する方法は上記のとおりである。文字画像を復元する方法としては、汎用画像復元手段からの映像信号から背景色を推定し、汎用画像復元手段からの映像信号を局所領域に分割して、各局所領域ごとに背景とその他とに分離を行い、背景色の場合は推定された背景色からその他の場合は局所領域内のその他とされた領域の平均化された映像信号から欠落する色信号を復元する方法を含む。
【０１２０】
この構成の電子スチルカメラシステムの好ましい適用例は、図１に示す単板ＣＣＤ１８からの映像信号をＡ／Ｄ変換回路２０，色分離回路２２，プロセス回路２４，２６，２８，マトリックス回路３０にて欠落する色信号を復元して保存し、処理切換部４０にて映像信号が文字画像である場合のみ図６に示す文字画像復元部４２へ転送され、背景色推定部５２にて映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部５６にて映像信号を局所領域に分割しかつ単板状態に変換し、Ｒ信号用背景色成分差計算部７８，Ｇ信号用背景色成分差計算部８０，Ｂ信号用背景色成分差計算部８２にて各局所領域ごとの映像信号と背景色の差を算出して、切換部Ｂ１０６にて局所領域を背景色とその他に分離し、その他とされた領域の平均化された映像信号を算出して、背景復元部７４と欠落色復元部Ｂ１０８にて文字画像を復元する電子スチルカメラシステムである。
【０１２１】
即ち、汎用画像復元手段からの映像信号を文字画像の場合のみ再度復元処理する。復元処理は、まず所定の輝度範囲内にある映像信号から背景色を求める。次に、映像信号を単板状態に戻し、且つ所定サイズの局所領域に分割して、各局所領域ごとに映像信号と背景色の差を求め、各局所領域ごとに背景とその他とに分離する。そして背景は背景色により、またその他は局所領域内でその他とされた領域に関して平均化された映像信号により欠落する色信号が復元される。
【０１２２】
文字画像復元手段は、推定された背景色と映像信号の差をとることで背景以外の部分（文字を含む）を一括して欠落する色信号を復元するため、任意の種類の色からなる文字画像を高精度に復元できる。また、文字画像復元手段は構成が簡単になり高速化及び低コスト化が可能になる。さらに、文字画像復元手段は電子スチルカメラ本体とは独立した形で構成することができ、電子スチルカメラ自体を改良する必要がないため汎用性が高い。
【０１２３】
（４）  単板又は二板式固体撮像素子を用いた電子スチルカメラにおいて、
上記固体撮像素子の映像信号から欠落する色信号を、補間により復元する汎用画像復元手段と、
上記固体撮像素子の映像信号から複数種類の色からなる文字画像を、上記補間とは異なる文字画像に適した復元方法により復元する文字画像復元手段と、
上記汎用画像復元手段と上記文字画像復元手段とを切り換える処理切換手段と、
を具備することを特徴とする電子スチルカメラ。
【０１２４】
この構成に関する実施の形態は、図８乃至図１３に示される第３の実施の形態が対応する。汎用画像復元手段は、図８に示される汎用画像復元部８４が該当する。文字画像復元手段は、図８の文字画像復元部４２が該当する。文字画像を復元する方法としては、単板状態の映像信号から背景色を推定し、単板状態の映像信号を局所領域に分割して、各局所領域ごとに文字色を推定し、各局所領域ごとに背景と文字とに分離を行い、背景色の場合は推定された背景色から、文字の場合は推定された文字色から欠落する色信号を復元する方法を含む。背景色を推定する方法としては、単板状態の映像信号から縮小サイズの欠落する色信号のない映像信号を生成し、縮小サイズの映像信号に基づき輝度信号を生成し、輝度信号が所定の範囲内にある領域内の映像信号から背景色を推定する方法を含む。また、文字色を推定する方法としては、単板状態の映像信号から局所領域のヒストグラムを生成しヒストグラムのピーク値をとる映像信号及び背景色から文字色を推定する方法を含む。そして、処理切換手段は、図８に示される処理切換部４０が該当する。
【０１２５】
この構成の電子スチルカメラの好ましい適用例は、図８に示す単板ＣＣＤ１８からの映像信号をＡ／Ｄ変換回路２０を経由して処理切換部４０に転送し、処理切換部４０にて映像信号が文字画像である場合のみ図９に示す文字画像復元部４２へ転送され、背景色推定部Ｃ１１０にて縮小サイズの映像信号を生成後、映像信号全体から所定の輝度範囲内にある映像信号を平均化することで背景色を推定し、局所領域抽出部Ｃ１１４にて映像信号を局所領域に分割し、Ｒ信号用ヒストグラム生成部８６，Ｇ信号用ヒストグラム生成部８８，Ｂ信号用ヒストグラム生成部９０にて各局所領域ごとのヒストグラムを生成して、Ｒ信号文字色成分検出部９２，Ｇ信号文字色成分検出部９４，Ｂ信号文字色成分検出部９６にてヒストグラムのピーク値をとる映像信号を検出し、文字色判定部Ｃ１１２にてピーク値の映像信号と背景色から文字色を推定し、背景復元部７４と欠落色復元部Ｃ１１８にて文字画像を復元する電子スチルカメラである。
【０１２６】
即ち、単板状態の映像信号を一般画像と文字画像とに分けて復元処理する。文字画像の復元処理は、まず背景色推定のために単板状態の映像信号を欠落信号のない縮小サイズの映像信号に変換後、所定の輝度範囲内にある縮小サイズの映像信号から背景色を求める。次に、単板状態の映像信号を所定サイズの局所領域に分割して、各局所領域ごとに文字色を求める。文字色は、各色信号ごとにヒストグラムを生成してそのピーク値をとる映像信号と背景色とを比較することで決定される。背景色と文字色が定まると、各局所領域ごとに背景部と文字部に分離されて欠落する色信号が復元される。
【０１２７】
文字画像復元手段は、局所領域ごとに映像信号のヒストグラムを生成しそのピーク値となる映像信号を用いて文字色を推定するため、任意の種類の色からなる文字画像を復元できる。また、映像信号のヒストグラムから推定された文字色及び背景色で欠落する色信号を復元するため、ノイズの影響を極力抑えて高精度に文字画像を復元できる。
【０１２８】
（５）  上記文字画像復元手段は、
上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号から背景色を推定する背景色推定手段と、
上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号から所定サイズの局所領域を抽出する抽出手段と、
上記背景色推定手段から推定された背景色に基づき上記局所領域内の映像信号を背景とその他に分離する分離手段と、
上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元し、その他とされた場合には上記局所領域内のその他とされた領域の平均化された映像信号により欠落する色信号を復元する欠落色復元手段と、
から成ることを特徴とする（３）に記載の電子スチルカメラシステム又は（４）に記載の電子スチルカメラ。
【０１２９】
このような構成によれば、上記（１）において説明したように、任意の種類の色からなる文字画像を高精度に復元し、且つ安価な電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１３０】
（６）  上記文字画像復元手段は、
上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号から背景色を推定する背景色推定手段と、
上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号から所定サイズの局所領域を抽出する抽出手段と、
上記抽出手段から抽出された局所領域内の文字色を推定する文字色推定手段と、
上記背景色推定手段から推定された背景色と上記文字色推定手段から推定された文字色に基づき上記局所領域内の映像信号を背景と文字とに分離する分離手段と、
上記分離手段により背景とされた場合には上記背景色により欠落する色信号を復元し、上記分離手段により文字とされた場合には上記文字色により欠落する色信号を復元する欠落色復元手段と、
から成ることを特徴とする（３）に記載の電子スチルカメラシステム又は（４）に記載の電子スチルカメラ。
【０１３１】
このような構成によれば、上記（２）において説明したように、任意の種類の色からなる文字画像をノイズの影響を排除し高精度に復元する電子スチルカメラシステム及び電子スチルカメラを提供することができる。また、限定された種類の色からなる文字画像を高速に復元する電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１３２】
（７）  上記背景色推定手段は、上記固体撮像素子の映像信号から縮小サイズの欠落する色信号のない映像信号を生成し、上記縮小サイズの欠落する色信号のない映像信号から輝度信号を生成し、上記輝度信号の範囲に応じて上記縮小サイズの欠落する色信号のない映像信号から背景色を推定することを特徴とする（１）又は（２）に記載の文字画像復元装置又は、（５）又は（６）に記載の電子スチルカメラシステム及び電子スチルカメラ。
【０１３３】
即ち、このような構成によれば、任意の種類の色からなる文字画像を高精度に復元し、且つ安価な文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。また、任意の種類の色からなる文字画像をノイズの影響を排除し高精度に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。さらに、限定された種類の色からなる文字画像を高速に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１３４】
（８）  上記背景色推定手段は、上記汎用画像復元手段の欠落する色信号が復元された映像信号から輝度信号を生成し、上記輝度信号の範囲に応じて上記欠落する色信号が復元された映像信号から背景色を推定することを特徴とする（１）又は（２）に記載の文字画像復元装置又は、（５）又は（６）に記載の電子スチルカメラシステム及び電子スチルカメラ。
【０１３５】
即ち、このような構成によれば、任意の種類の色からなる文字画像を高精度に復元し、且つ安価な文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。また、任意の種類の色からなる文字画像をノイズの影響を排除し高精度に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。さらに、限定された種類の色からなる文字画像を高速に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１３６】
（９）  上記文字色推定手段は、上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号からヒストグラムを生成し上記ヒストグラムのピーク値をとる映像信号及び上記背景色推定手段から推定された背景色から文字色を推定することを特徴とする（１）に記載の文字画像復元装置又は（６）に記載の電子スチルカメラシステム及び電子スチルカメラ。
【０１３７】
即ち、このような構成によれば、任意の種類の色からなる文字画像をノイズの影響を排除し高精度に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１３８】
（１０）  上記文字色推定手段は、上記固体撮像素子の映像信号又は上記汎用画像復元手段により復元された映像信号から最大・最小値を算出して上記最大・最小値の分布範囲及び上記背景色推定手段から推定された背景色及び予め登録された文字色テーブルに基づき文字色を推定することを特徴とする（１）に記載の文字画像復元装置又は（６）に記載の電子スチルカメラシステム及び電子スチルカメラ。
【０１３９】
即ち、このような構成によれば、限定された種類の色からなる文字画像を高速に復元する文字画像復元装置又は電子スチルカメラシステム及び電子スチルカメラを提供することができる。
【０１４０】
【発明の効果】
以上詳述したように、本発明によれば、固体撮像素子を用いた電子スチルカメラ及びそれを一構成要素とする電子スチルカメラシステムにおいて、複数種類の色からなる文字画像のように急峻なエッジ部からなる画像を高精細に可読性に優れた画像に復元可能な画像復元装置を提供し、以ってそのような画像復元装置を備えることにより、急峻なエッジ部からなる画像を高精細に可読性に優れた画像に復元可能な電子スチルカメラ及び電子スチルカメラシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる電子スチルカメラシステムのブロック構成図である。
【図２】（Ａ）は第１の実施の形態における単板ＣＣＤのフィルタ配置図であり、（Ｂ）は第２の実施の形態における単板ＣＣＤのフィルタ配置図である。
【図３】第１の実施の形態における文字画像復元部のブロック構成図である。
【図４】判定用テーブルの内容を示す図である。
【図５】第１の実施の形態における背景色推定動作のフローチャートである。
【図６】本発明の第２の実施の形態における文字画像復元部のブロック構成図である。
【図７】第２の実施の形態における非背景色決定動作のフローチャートである。
【図８】本発明の第３の実施の形態にかかる電子スチルカメラのブロック構成図である。
【図９】第３の実施の形態における文字画像復元部のブロック構成図である。
【図１０】（Ａ）は局所領域内における色信号間の相関関係を説明するための図であり、（Ｂ）は従来の単板式固体撮像素子のフィルタ配置の説明図である。
【図１１】第３の実施の形態における文字色推定動作のフローチャートである。
【図１２】ヒストグラムのピーク値に対応する画素値の状態を示す図である。
【図１３】第３の実施の形態における背景色推定動作のフローチャートである。
【符号の説明】
１０  電子スチルカメラ
１２  アダプタ
１８  ＣＣＤ
２０  Ａ／Ｄ変換回路
２２  色分離回路
２４，２６，２８  プロセス回路
３０  マトリックス回路
３２，３４，３６  Ｒ信号用，Ｇ信号用，Ｂ信号用バッファ
３８  出力部
４０  処理切換部
４２  文字画像復元部
４４  プリンタ出力部
４６  クロックジェネレータ
４８  ＣＣＤ駆動回路
５０  制御部
５２  背景色推定部
５６  局所領域抽出部
５８，６０，６２  Ｒ信号用，Ｇ信号用，Ｂ信号用ブロックバッファ
６４，６６，６８  Ｒ信号用，Ｇ信号用，Ｂ信号用最大最小算出部
７０  判定用テーブル
７４  背景復元部
７８，８０，８２  Ｒ信号用，Ｇ信号用，Ｂ信号用背景色成分差計算部
８４  汎用画像復元部
８６，８８，９０  Ｒ信号用，Ｇ信号用，Ｂ信号用ヒストグラム生成部
９２，９４，９６  Ｒ信号，Ｇ信号，Ｂ信号文字色成分検出部
１００  文字色判定部Ａ
１０２  切換部Ａ
１０４  欠落色復元部Ａ
１０６  切換部Ｂ
１０８  欠落色復元部Ｂ
１１０  背景色推定部Ｃ
１１２  文字色判定部Ｃ
１１４  局所領域抽出部Ｃ
１１６  切換部Ｃ
１１８  欠落色復元部Ｃ
【図１】
0003974988.tif 000003
【図２】
0003974988.tif 000004
【図３】
0003974988.tif 000005
【図４】
0003974988.tif 000006
【図５】
0003974988.tif 000007
【図６】
0003974988.tif 000008
【図７】
0003974988.tif 000009
【図８】
0003974988.tif 000010
【図９】
0003974988.tif 000011
【図１０】
0003974988.tif 000012
【図１１】
0003974988.tif 000013
【図１２】
0003974988.tif 000014
【図１３】
0003974988.tif 000015