(57)【要約】【課題】算出された輝度情報による画像にモアレが生じにくい画像処理装置等を提供する。【解決手段】予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部１２１と、取得された縮小画像情報を第１の配列位置に当てはめたときに、縮小画像情報を第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき輝度算出点における輝度情報を算出する処理を行う輝度情報算出部１２２と、を備えることを特徴とする画像処理部１２。【選択図】図６
2015039153.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、
前記縮小画像情報取得部により取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の配列位置は、複数の色成分をベイヤー配列により配列させた場合の配列位置であり、
前記第２の配列位置は、前記ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する４個の同色の画素を中心部に縮小したときに生ずるベイヤー配列による配列位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度情報算出部は、４つの前記輝度算出点における前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記輝度情報算出部は、４つの前記輝度算出点における前記縮小画像情報を線形補間する処理を行う数式において複数の色成分のいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式を用いることで、前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
ドット配列により情報を表す画像が印刷された媒体から当該画像を読み取る読み取り手段と、
前記読み取り手段により読み取られた画像に対して画像処理を行い、当該画像の輝度情報を算出する画像処理手段と、
前記画像処理手段により算出された前記輝度情報に基づいて前記ドット配列を検出する検出手段と、
を備え、
前記画像処理手段は、
予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、
前記縮小画像情報取得部により取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、
を備えることを特徴とする画像読み取り装置。
【請求項６】
コンピュータに、
予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、
取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像読み取り装置、プログラムに関する。
【背景技術】
【０００２】
従来、撮像素子により取得された画像情報を縮小し、縮小画像情報として出力する画像読み取り装置が知られている。
【０００３】
特許文献１では、ディジタルカメラは、固体撮像素子において受光素子に蓄積した各色属性の信号電荷をラインメモリまで転送し、メモリから読み出した信号電荷を水平転送レジスタで同色同士水平混合を行して水平間引きし、これにより、完全市松パターンと異ならせてしまう色属性の信号電荷に対して電極に分けた電極の内、電極と信号線を接続させ、電極にだけ信号電荷を読み出す信号を供給して電極と接続された所定の列の信号電荷を間引きし、この間引きした信号電荷の水平混合に対応する信号電荷をそのままに読み出す固体撮像装置が開示されている。
【０００４】
また特許文献２では、５×５の画素ブロックを単位画素ブロックとし、単位画素ブロックのａ行ａ列目の出力として画素配列の１，３，５行目の１，３，５列目の画素情報を加算して出力し、次いで単位画素ブロックのａ行ｂ列目の出力として画素配列の１，３，５行目の６，８，１０列目の画素情報を加算して出力し、以下同様に最終列または最終列付近まで加算して出力し、しかる後、単位画素ブロックのｂ行ａ列目の出力として画素配列の６，８，１０行目の１，３，５列目の画素情報を加算して出力し、以下同様の操作を繰り返して間引き加算しながら、任意の全画素を読み出すようにする固体撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２６４８４４号公報
【特許文献２】特開２００４−２６６３６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
縮小画像情報を基にして輝度情報を算出する場合、輝度情報による画像にモアレが生じにくいことが望ましい。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、前記縮小画像情報取得部により取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、を備えることを特徴とする画像処理装置である。
請求項２に記載の発明は、前記第１の配列位置は、複数の色成分をベイヤー配列により配列させた場合の配列位置であり、前記第２の配列位置は、前記ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する４個の同色の画素を中心部に縮小したときに生ずるベイヤー配列による配列位置であることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記輝度情報算出部は、４つの前記輝度算出点における前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記輝度情報算出部は、４つの前記輝度算出点における前記縮小画像情報を線形補間する処理を行う数式において複数の色成分のいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式を用いることで、前記縮小画像情報を線形補間する処理と前記輝度情報を算出する処理とをまとめて行うことを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、ドット配列により情報を表す画像が印刷された媒体から当該画像を読み取る読み取り手段と、前記読み取り手段により読み取られた画像に対して画像処理を行い、当該画像の輝度情報を算出する画像処理手段と、前記画像処理手段により算出された前記輝度情報に基づいて前記ドット配列を検出する検出手段と、を備え、前記画像処理手段は、予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する縮小画像情報取得部と、前記縮小画像情報取得部により取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う輝度情報算出部と、を備えることを特徴とする画像読み取り装置である。
請求項６に記載の発明は、コンピュータに、予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、取得された前記縮小画像情報を前記第１の配列位置に当てはめたときに、当該縮小画像情報を当該第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき当該輝度算出点における輝度情報を算出する処理を行う機能と、を実現させるプログラムである。
【発明の効果】
【０００８】
請求項１の発明によれば、本構成を採用しない場合に比較して、算出された輝度情報による画像にモアレが生じにくい画像処理装置を提供することができる。
請求項２の発明は、本構成を採用しない場合に比較して、輝度算出点の設定がより容易になる。
請求項３の発明は、本構成を採用しない場合に比較して、輝度情報の算出時間を短縮することができる。
請求項４の発明は、本構成を採用しない場合に比較して、輝度情報の算出時間をさらに短縮することができる。
請求項５の発明は、本構成を採用しない場合に比較して、ドット配列の検出の精度がより向上する画像読み取り装置を提供することができる。
請求項６の発明は、本構成を採用しない場合に比較して、算出された輝度情報による画像にモアレが生じにくくする機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００９】
【図１】９Ｃｎ方式における単位符号パターンの一例を示した図である。
【図２】９Ｃｎ方式における単位符号パターンの他の例を示した図である。
【図３】９Ｃ２方式における単位符号パターンとパターン値の対応を示した図である。
【図４】９Ｃ２方式における同期パターンの例を示した図である。
【図５】符号ブロックの一例を示したものである。
【図６】画像読み取り装置の構成例を示したブロック図である。
【図７】ペンデバイスの機構を示した図である。
【図８】コンピュータのハードウェア構成を示した図である。
【図９】カラーフィルタの配列について説明した図である。
【図１０】（ａ）〜（ｃ）は、ＣＣＤやＣＭＯＳで得られた画像情報を縮小する方法について説明した図である。
【図１１】（ａ）は、縮小後におけるＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第２の配列位置）を縮小前のＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第１の配列位置）に当てはめた場合を示した図である。（ｂ）は、図１１（ａ）に示すＲ、Ｇｂ、Ｇｒ、Ｂの配列を等間隔に配列するように補間した場合の例である。
【図１２】（ａ）〜（ｄ）は、画像処理部が行う処理の概念図である。
【図１３】（ａ）は、第１の配列配置において、Ｒ、Ｇ、Ｂの画像情報を補間し、輝度情報を算出する位置を示した図である。（ｂ）は、図１３（ａ）うち４つの輝度算出点を抽出した図である。
【図１４】データＶ１、Ｖ２、Ｖ３、Ｖ４の位置を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【００１１】
＜符号パターンの説明＞
まず、読み込む符号画像を構成する符号パターンについて説明する。
本実施の形態では、ｍ（ｍ≧３）箇所から選択したｎ（１≦ｎ＜ｍ）箇所に単位画像を配置してなるパターン画像（以下、「単位符号パターン」という）によってｍＣｎ（＝ｍ！／｛（ｍ−ｎ）！×ｎ！｝）通りの情報を表現する。つまり、１つの単位画像を情報に対応させるのではなく、複数の単位画像を情報に対応させている。仮に１つの単位画像を情報に対応させたとすると、単位画像が欠損したり、ノイズが加わったりした場合に、誤った情報を表現してしまうという欠点がある。これに対して、例えば２つの単位画像を情報に対応させたとすると、単位画像が１つであったり３つであったりした場合に、容易に誤りであることが分かる。更に、１つの単位画像で１ビット、又は、高々２ビットを表現する方法では、情報を表現するパターンと視覚的に似たパターンで、情報パターンの読出しを制御する同期パターンを表現することができない。このようなことから、本実施の形態では、上記のような符号化方式を採用している。以下では、このような符号化方式をｍＣｎ方式と称する。
ここで、単位画像としては、如何なる形状のものを用いてもよい。本実施の形態では、単位画像の一例としてドット画像（以下、単に「ドット」という）を用いるが、例えば、斜線パターン等、他の形状の画像であってもよい。
【００１２】
図１に、ｍＣｎ方式における単位符号パターンの例を示す。
図では、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図１は、縦３ドット、横３ドットの合計９ドットを配置可能な領域を設けた例を示しており、（ａ）は、ドット配置可能な領域に２ドットを配置する９Ｃ２方式における単位符号パターンであり、（ｂ）は、ドット配置可能な領域に３ドットを配置する９Ｃ３方式における単位符号パターンである。
【００１３】
図１で配置されるドット（黒色の領域）は、あくまで情報表現のためのドットであり、画像を構成する最小単位であるドット（図１の最小の四角）とは必ずしも一致しない。本実施の形態において、「ドット」というときは前者のドットを指し、後者のドットは「ピクセル」と呼ぶことにすれば、ドットは、６００ｄｐｉにおける２ピクセル×２ピクセルの大きさを有することになる。６００ｄｐｉにおける１ピクセルの大きさは０．０４２３ｍｍなので、ドットの一辺は、８４．６μｍ（＝０．０４２３ｍｍ×２）である。ドットは、大きくなればなるほど目に付きやすくなるため、できるだけ小さいほうが好ましい。ところが、あまり小さくすると、プリンタで印刷できなくなってしまう。そこで、ドットの大きさとして、５０μｍより大きく１００μｍより小さい上記の値を採用している。但し、上記の値８４．６μｍは、あくまで計算上の数値であり、実際に印刷されたトナー像では１００μｍ程度になる。
【００１４】
また、図２（ａ）〜（ｂ）に、単位符号パターンの他の例を示す。なおこの図では、ドット間の空白を省略している。
図２（ａ）は、図１（ａ）に示した９Ｃ２方式における全ての単位符号パターンを示している。９Ｃ２方式では、これらの単位符号パターンを用いて、３６（＝９Ｃ２）通りの情報を表現する。また、図２（ｂ）は、図１（ｂ）に示した９Ｃ３方式における全ての単位符号パターンを示している。９Ｃ３方式では、これらの単位符号パターンを用いて、８４（＝９Ｃ３）通りの情報を表現する。
【００１５】
なお単位符号パターンは、ｍ＝９の場合に限定されるものではなく、ｍの値として、例えば、４、１６等の値を採用してもよい。また、ｎの値も１≦ｎ＜ｍを満たしていれば如何なる値を採用してもよい。
また、ｍの値としては、平方数（整数の２乗）だけでなく、異なる２つの整数の積を採用してもよい。つまり、ドットを配置可能な領域は、３ドット×３ドットを配置する場合のような正方形の領域に限らず、３ドット×４ドットを配置する場合のような長方形の領域であってもよい。なお本実施の形態において、長方形とは、隣り合う２辺の長さが等しくない矩形のことをいうものとする。
【００１６】
ところで、ｍＣｎ方式における全ての単位符号パターンには、各単位符号パターンを識別するための番号であるパターン値が付されている。
【００１７】
図３に、９Ｃ２方式における単位符号パターンとパターン値との対応を示す。９Ｃ２方式における単位符号パターンは３６個であるので、パターン値としては０〜３５が用いられる。但し、図３に示した対応はあくまで一例であり、どの単位符号パターンにどのパターン値を割り当ててもよい。なお９Ｃ３方式については、図示しないが、各単位符号パターンに０〜８３のパターン値が付されることになる。
【００１８】
このように、ｍ箇所からｎ箇所を選択することでｍＣｎ種類の単位符号パターンを用意しているが、本実施の形態では、これらの単位符号パターンのうち、特定のパターンを情報パターンとして利用し、残りを同期パターンとして利用する。ここで、情報パターンとは、媒体に埋め込む情報を表現するパターンである。また、同期パターンとは、媒体に印刷された情報パターンを取り出すために用いられるパターンである。例えば、情報パターンの位置を特定したり、画像の回転を検出したりするために用いられる。なお媒体としては、画像を印刷することが可能であれば、如何なるものを用いてもよい。紙が代表例なので、以下では媒体を紙として説明するが、金属、プラスチック、繊維等であってもよい。
【００１９】
ここで、同期パターンについて説明する。
図４は、９Ｃ２方式における同期パターンの例である。このようにｍＣｎ方式におけるｍが平方数である場合は、画像の回転の検出のために４種類の単位符号パターンを同期パターンとして用意する必要がある。ここでは、パターン値３２の単位符号パターンを正立した同期パターンとしている。また、パターン値３３の単位符号パターンを右に９０度回転した同期パターン、パターン値３４の単位符号パターンを右に１８０度回転した同期パターン、パターン値３５の単位符号パターンを右に２７０度回転した同期パターンとしている。この場合、３６種類の単位符号パターンからこの４種類の同期パターンを除いた残りを情報パターンとし、５ビットの情報を表現するとよい。但し、３６種類の単位符号パターンの情報パターンと同期パターンへの振り分け方は、これには限らない。例えば、４種類で１組を構成する同期パターンの組を５つ用意し、残りの１６種類の情報パターンで４ビットの情報を表現してもよい。
【００２０】
なお図示しないが、ｍＣｎにおけるｍが異なる２つの整数の積である場合は、画像の回転の検出のために２種類の単位符号パターンを同期パターンとして用意すればよい。例えば、縦３ドット×横４ドットを配置可能な領域が検出されるべきなのに、縦４ドット×横３ドットを配置可能な領域が検出された場合は、その時点で画像が９０度又は２７０度回転していることが分かるからである。
【００２１】
次に、このような符号パターンを配置して識別情報と座標情報を表現する方法を述べる。
まず、上述した単位符号パターンから構成される符号ブロックについて説明する。
図５は、符号ブロックの一例を示したものである。図では、９Ｃ２方式における単位符号パターンを使用していることも同時に示している。即ち、３６種類の単位符号パターンを、例えば、同期パターンとして使用する４パターンと、情報パターンとして使用する３２パターンとに分け、各パターンをレイアウトに従って配置する。
図では、レイアウトとして、３ドット×３ドットを配置可能な領域（以下、「ブロック」という）を５個×５個の２５個並べたものを採用している。そして、この２５個のブロックのうち、左上の１ブロックに同期パターンを配置している。また、同期パターンの右の４ブロックに紙面上のＸ方向の座標を特定するＸ座標情報を表す情報パターンを配置し、同期パターンの下の４ブロックに紙面上のＹ方向の座標を特定するＹ座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた１６ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。
なお９Ｃ２方式における単位符号パターンはあくまで例であり、図の左下に示すように、９Ｃ３方式における単位符号パターンを使用してもよい。
【００２２】
＜画像読み取り装置の説明＞
次に、紙面に形成された符号画像を読み取って出力する画像読み取り装置１０について説明する。
図６は、画像読み取り装置１０の構成例を示したブロック図である。
図示するように、画像読み取り装置１０は、画像読み取り部１１と、画像処理部１２と、ドット配列検出部１３と、単位符号パターン検出部１４と、復号部１５と、情報出力部１６とを備える。
【００２３】
画像読み取り部１１は、ドット配列により情報を表す画像が印刷された紙面から画像を読み取る読み取り手段として機能する。画像読み取り部１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて、紙面に印刷された符号画像を読み取る。画像読み取り部１１については、後で詳しく説明を行う。
【００２４】
画像処理部１２は、画像読み取り部１１により読み取られた画像に対して画像処理を行い、画像の輝度情報を算出する画像処理手段として機能する。画像処理部１２については、後で詳しく説明を行う。
【００２５】
ドット配列検出部１３は、画像処理部１２により算出された輝度情報を基づいてドット配列を検出する検出手段として機能する。ドット配列検出部１３は、読み取った符号画像からドットを検出し、ドットの位置を参照して、ドット配列を生成する。なお符号画像からのドット検出の前処理として、読み取った画像に含まれるノイズを除去するための処理も行う。
【００２６】
単位符号パターン検出部１４は、ドット配列から各単位符号パターンの種類を検出する。
復号部１５は、単位符号パターン検出部１４で検出した単位符号パターンの種類から、識別情報、Ｘ座標情報、Ｙ座標情報を復号する。
情報出力部１６は、復号部１５で復号した識別情報、Ｘ座標情報、Ｙ座標情報を出力する。
【００２７】
次に、本実施の形態における画像読み取り装置１０の具体的なハードウェア構成について説明する。
まず、画像読み取り装置１０を実現するペンデバイス６０について説明する。
図７は、ペンデバイス６０の機構を示した図である。
図示するように、ペンデバイス６０は、ペン全体の動作を制御する制御回路６１を備える。
そして、制御回路６１には、ペンデバイス６０による筆記動作をペンチップ６９に加わる圧力によって検出する圧力センサ６２が接続されている。また、媒体上に赤外光を照射する赤外ＬＥＤ６３と、画像を入力する赤外ＣＭＯＳ６４も接続されている。更に、識別情報及び座標情報を記憶するための情報メモリ６５と、外部装置と通信するための通信回路６６と、ペンを駆動するためのバッテリ６７と、ペンの識別情報（ペンＩＤ）を記憶するペンＩＤメモリ６８も接続されている。
【００２８】
なお図６に示した画像読み取り部１１は、例えば、図７の赤外ＣＭＯＳ６４にて実現される。また、画像処理部１２、ドット配列検出部１３、単位符号パターン検出部１４、復号部１５、情報出力部１６は、例えば、図７の制御回路６１にて実現される。
【００２９】
また、画像読み取り装置１０にて実現される処理は、例えば、汎用のコンピュータで実現してもよい。そこで、かかる処理をコンピュータ９０で実現するものとし、コンピュータ９０のハードウェア構成について説明する。
【００３０】
図８は、コンピュータ９０のハードウェア構成を示した図である。
図示するように、コンピュータ９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９０は、外部との通信を行うための通信Ｉ／Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。
【００３１】
＜画像読み取り部の説明＞
次に画像読み取り部１１についてさらに詳しく説明する。
画像読み取り部１１は、上述の通り撮像素子として、例えば、ＣＣＤやＣＭＯＳを使用している。そしてこのＣＣＤやＣＭＯＳが、紙面から反射された光を検出し、紙面に印刷された符号画像を読み取る。このときＣＣＤやＣＭＯＳは光の強度しか検出できないため、色を検出するためには、カラーフィルタをＣＣＤやＣＭＯＳの前に並べ、このカラーフィルタを通過した光を検出する必要がある。このカラーフィルタは、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色を使用するのが一般的である。
【００３２】
図９は、カラーフィルタの配列について説明した図である。
図示するカラーフィルタは、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のそれぞれのカラーフィルタが、いわゆるベイヤー配列により配列したものである。そしてＣＣＤやＣＭＯＳの一画素毎に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタの何れかが配置される。
【００３３】
ベイヤー配列では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが、市松模様状（チェック柄の模様状）に配列する。また赤色（Ｒ）と青色（Ｂ）のカラーフィルタに対し、緑色（Ｇ）のカラーフィルタは数として２倍存在する。図９では、赤色（Ｒ）のカラーフィルタをＲ、青色（Ｂ）のカラーフィルタをＢとして図示するともに、緑色（Ｇ）のカラーフィルタを便宜上ＧｂとＧｒに分けて図示している。また図９の場合、図中縦方向にＭ個のカラーフィルタが配列し、図中横方向にＮ個のカラーフィルタが配列するものとする。即ち、このカラーフィルタは、Ｍ行×Ｎ列の画素に対応するＲ、Ｇｂ、Ｇｒ、Ｂのカラーフィルタがベイヤー配列で配列したものである。
【００３４】
またこのときカラーフィルタのそれぞれにＣＣＤやＣＭＯＳの一画素が対応しているため、ＣＣＤやＣＭＯＳにより得られる画像情報も、ベイヤー配列による配列位置（第１の配列位置）に位置するＲ、Ｇｂ、Ｇｒ、Ｂの画素の画像情報として得られる。
【００３５】
ここで画像読み取り部１１から出力される画像情報は、処理速度や転送速度の高速化、ダイナミックレンジの拡大のために縮小された縮小画像情報として出力されることが多い。
【００３６】
図１０（ａ）〜（ｃ）は、ＣＣＤやＣＭＯＳで得られた画像情報を縮小する方法について説明した図である。
図１０（ａ）は、図９で示したベイヤー配列で配列するカラーフィルタと同じものである。また図１０（ｂ）は、図１０（ａ）で示したＲのカラーフィルタに位置する画素から得られた画像情報を縮小する方法を概念的に示している。
【００３７】
図１０（ｂ）に示すように、この縮小方法では、まず市松模様状に配列するＲの画素について、行方向および列方向に隣接する４個の画素を抽出する。そしてこの４個の画素の画像情報を加算する。さらにこの加算後の画像情報を縮小画像情報とし、さらにその縮小画像情報が得られる位置として４個の画素の中心部の位置を設定する。
【００３８】
図１０（ｂ）では、Ｒの画素について説明を行ったが、この処理は、他のＧｂ、Ｇｒ、Ｂの画素についても同様に行われる。つまりここでは、ベイヤー配列により市松模様状に配列する複数の色成分について、行方向および列方向に隣接する４個の同色の画素を中心部に縮小する処理を行う。
【００３９】
図１０（ｃ）は、縮小画像情報におけるＲ、Ｇｂ、Ｇｒ、Ｂの配列について示している。この縮小方法では、画像情報がＭ行×Ｎ列の画素によるものから、Ｍ／２行×Ｎ／２列の画素によるものに縮小される。即ち、画素数は１／４になる。なおこの縮小後におけるＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第２の配列位置）についても、本実施の形態では、ベイヤー配列となる。
【００４０】
しかしながらこの縮小方法では、縮小後におけるＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第２の配列位置）を縮小前のＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第１の配列位置）に当てはめたときにＲ、Ｇｂ、Ｇｒ、Ｂのそれぞれが等間隔に配列しない問題が生ずる。
【００４１】
図１１（ａ）は、縮小後におけるＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第２の配列位置）を縮小前のＲ、Ｇｂ、Ｇｒ、Ｂの配列位置（第１の配列位置）に当てはめた場合を示した図である。
図示するように第２の配列位置におけるＲ、Ｇｂ、Ｇｒ、Ｂは、４行×４列の画素領域の中央に集まり、それが４行×４列の画素領域毎に行方向および列方向に繰り返し配列する。
【００４２】
そしてこのようにＲ、Ｇｂ、Ｇｒ、Ｂのそれぞれが等間隔に配列せず、配列に偏りが生じることにより、縮小後の画像情報により生成される画像にモアレが生じることがある。そのためこの画像により輝度情報を生成し、この輝度情報に基づきドット配列検出部１３によるドット配列の検出、単位符号パターン検出部１４による各単位符号パターンの種類の検出、および復号部１５による識別情報、Ｘ座標情報、Ｙ座標情報の復号を行う処理において、支障が生じ、復号に失敗することがある。
【００４３】
よってＲ、Ｇｂ、Ｇｒ、Ｂの画像情報の配列を図１１（ａ）に示すような偏った配列とせず、例えば、図１１（ｂ）の「○」の位置に示すように等間隔に配列するように補間し、さらにこの補間した画像情報から輝度情報を生成する必要がある。
そこで本実施の形態では、画像処理部１２を設け、画像処理部１２にて補間および輝度情報を生成する処理を行い、上記問題の抑制を図っている。
【００４４】
＜画像処理部の説明＞
図６に示すように画像処理部１２は、縮小画像情報を取得する縮小画像情報取得部１２１と、縮小画像情報取得部１２１により取得された縮小画像情報から輝度情報を算出する輝度情報算出部１２２とを備える。
【００４５】
図１２（ａ）〜（ｄ）は、画像処理部１２が行う処理の概念図である。
まず縮小画像情報取得部１２１が、図１２（ａ）で示すように縮小した後の画像情報である図１２（ｂ）で示す縮小画像情報を取得する。
そして輝度情報算出部１２２が、図１２（ｃ）に示すように、図１２（ｂ）においてＲ、Ｇｂ、Ｇｒ、Ｂ各々の画像情報が存在しない画素においてもＲ、Ｇ、Ｂ毎に補間を行い、縮小後の画素のそれぞれについてＲ、Ｇ、Ｂの画像情報を算出する。この具体的な算出方法については後述する。
さらに輝度情報算出部１２２が、図１２（ｄ）に示すように図１２（ｃ）のＲ、Ｇ、Ｂの画像情報からそれぞれに画素毎に輝度情報Ｙを算出、生成する。
【００４６】
図１３（ａ）は、第１の配列配置において、Ｒ、Ｇ、Ｂの画像情報を補間し、輝度情報を算出する位置を示した図である。実際には、この位置は、円形で示した箇所の中心点となる。なおこれは図１１（ｂ）と同様の図である。なおこれらの点を本実施の形態では、以後、輝度算出点と言う。これらの輝度算出点は、このように等間隔となるように配置される。
【００４７】
そして図１３（ｂ）は、図１３（ａ）うち４つの輝度算出点を抽出した図である。この本実施の形態では、この４つの輝度算出点における縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行う。
【００４８】
本実施の形態では、以後、この４つの輝度算出点を図示するようにα、β、γ、δと言う。また図１３（ｂ）において図中縦方向および横方向について４画素分の長さを１とする。
そして以下の算出方法により、縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行う。
【００４９】
＜画像処理部で行う具体的な処理の説明＞
まず縮小画像情報を補間する数式を下記数１式に挙げる。
数１式は、縮小画像情報を線形補間するのに使用する数式である。数１式は、図１４に示すように、データＶ１、Ｖ２、Ｖ３、Ｖ４があり、その中でデータＶ１の位置とデータＶ２の位置に対しｐ：１−ｐに位置するとともに、データＶ１の位置とデータＶ３の位置に対しｑ：１−ｑに位置するｘについての線形補間値Ｖを、関数ｆ（Ｖ，ｐ，ｑ）を使用して求める数式である。数１式によりデータＶ１、Ｖ２、Ｖ３、Ｖ４から線形補間値Ｖを求めることができる。
【００５０】
【数１】
2015039153.tif 000003
【００５１】
また輝度情報を算出する数式を下記数２式に挙げる。
数２式により、Ｒの値、Ｇの値、Ｂの値から輝度情報であるｇ（Ｒ，Ｇ，Ｂ）を、係数θ、η、ψを使用して求めることができる。
【００５２】
【数２】
2015039153.tif 000004
【００５３】
そして下記数３式のうち第１行目の式は、数１式を適用し、図１３（ｂ）の輝度算出点αにおいてＲ、Ｇｒ、Ｇｂ、Ｂの縮小画像情報を線形補間するための数式である。さらに数２式を適用し、輝度算出点αにおける輝度情報を求めるための数式である。ここでＲαは、輝度算出点αにおけるＲの線形補間値を示す。同様にしてＧｒαは、輝度算出点αにおけるＧｒの線形補間値を示し、Ｇｂαは、輝度算出点αにおけるＧｂの線形補間値を示し、Ｂαは、輝度算出点αにおけるＢの線形補間値を示す。さらにＹαは、輝度算出点αにおける輝度情報である。
ここで、１／８、３／８等の値は、数１式に示したように輝度算出点αとＲ、Ｇｒ、Ｇｂ、Ｂの画素との距離を示す。
【００５４】
同様にして数３式のうち他の第２行目〜第４行目に記載した式は、輝度算出点αの替わりに、それぞれ輝度算出点β、輝度算出点γ、輝度算出点δついての数式である。
【００５５】
【数３】
2015039153.tif 000005
【００５６】
また下記数４式は、４つの数３式をまとめて記述した式である。ここでＹ’、Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’は、それぞれ後述する数９式で示す４行１列の行列である。またＫ、Ｌ、Ｍ、Ｎは、それぞれ後述する数１０式で示す４行４列の行列である。この行列Ｋは、縮小画像情報を線形補間する処理を行う数式である上記数３式において、Ｒについての係数をまとめた行列である。また同様にして、行列Ｌは、縮小画像情報を線形補間する処理を行う数式である上記数３式において、Ｇｒについての係数をまとめた行列であり、行列Ｍは、縮小画像情報を線形補間する処理を行う数式である上記数３式において、Ｇｂについての係数をまとめた行列であり、行列Ｎは、縮小画像情報を線形補間する処理を行う数式である上記数３式において、Ｂについての係数をまとめた行列である。
【００５７】
【数４】
2015039153.tif 000006
【００５８】
そして数４式は、下記数５式に変形を行うことができる。ここでＲ”、Ｇｂ”、Ｇｒ”、Ｂ”は、それぞれ後述する数１１式で示すものとなる。
【００５９】
【数５】
2015039153.tif 000007
【００６０】
数５式によれば、Ｙ’で表される輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδのそれぞれが、１つの数式により一度にまとめて算出することができる。つまり４つの輝度算出点において、縮小画像情報を線形補間する処理と輝度情報を算出する処理とをまとめて行うことができる。
【００６１】
なお数５式は、さらに変形が可能である。
即ち、数５式から下記数６式、数７式、数８式に順に変形を行うことができる。
【００６２】
【数６】
2015039153.tif 000008
【００６３】
【数７】
2015039153.tif 000009
【００６４】
【数８】
2015039153.tif 000010
【００６５】
ここで数６式におけるＰ１３、Ｐ２４、Ｐ１２、Ｐ３４、Ｐ１４、Ｐ２３は、それぞれ後述する数１２式で示す４行４列の行列である。
また数７式におけるＲ’”、Ｇｂ’”、Ｇｒ’”、Ｂ’”は、後述する数１３式で示す行列式である。
さらに数８式におけるＰ１３＊Ｐ２４＊Ｋ−Ｋ、Ｐ１２＊Ｐ３４＊Ｋ−Ｋ、Ｐ１４＊Ｐ２３＊Ｋ−Ｋは、それぞれ後述する数１４式で示す４行４列の行列である。
【００６６】
ここで上述したように行列Ｋは、縮小画像情報を線形補間する処理を行う数式である上記３式において、Ｒについての係数をまとめた行列である。そして数８式の第１項は、この行列Ｋを、他色にも適用させた項である。つまりこの項は、行列ＫとＲ’”、Ｇｂ’”、Ｇｒ’”、Ｂ’”の和を乗算する計算を行っている。数５式を参照すると、Ｇｂ”、Ｇｒ”、Ｂ”にはそれぞれ行列Ｌ、Ｍ、Ｎが乗算されていたが、数５式から数８式へ変形する課程において、行列Ｋを、他色にも適用させている。
【００６７】
これは、行列Ｋのみならず、他の行列Ｌ、Ｍ、Ｎについても可能な変形である。よって数８式によれば、４つの輝度算出点α、β、γ、δにおける縮小画像情報を線形補間する処理を行う数式である数３式においてＲ、Ｇｒ、ＧｂおよびＢのいずれか一色についての係数をまとめた行列を、他色にも適用させた項を含む数式であると言うことができる。
【００６８】
【数９】
2015039153.tif 000011
【００６９】
【数１０】
2015039153.tif 000012
【００７０】
【数１１】
2015039153.tif 000013
【００７１】
【数１２】
2015039153.tif 000014
【００７２】
【数１３】
2015039153.tif 000015
【００７３】
【数１４】
2015039153.tif 000016
【００７４】
＜具体的な計算方法の説明＞
上述したように数５式によれば、Ｙ’で表される輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδのそれぞれが、１つの数式により一度にまとめて算出することができる。これにより輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδの算出が簡単となる。また本実施の形態では、数８式を使用することで、輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδの算出がさらに簡単となり、算出時間を短縮することができる。
そこで、以下に数５式を使用した場合と、数８式を使用した場合との計算方法を比較する説明を行う。
【００７５】
まず数５式により計算をする場合について説明する。ただし説明をわかりやすくするため、数５式を、いったん下記数１５式に変形した場合で説明を行う。
【００７６】
【数１５】
2015039153.tif 000017
【００７７】
ここで数１５式におけるＫ’、Ｌ’、Ｍ’、Ｎ’を、それぞれ下記数１６式で示す。
【００７８】
【数１６】
2015039153.tif 000018
【００７９】
つまりＫ’、Ｌ’、Ｍ’、Ｎ’は、Ｋ、Ｌ、Ｍ、Ｎに定数を乗算したものである。そしてＫ、Ｌ、Ｍ、Ｎは、４行４列の行列であるため、Ｋ’、Ｌ’、Ｍ’、Ｎ’も同様に４行４列の行列となる。またＲ’、Ｇｂ’、Ｇｒ’、Ｂ’は、数９式に示す通り、４行１列の行列となる。
そのため数１５式の第１項のＫ’＊Ｒ’を行う計算において、乗算は、４×４＝１６回行う必要がある。これは、数１５式の第２項、第３項、第４項の計算を行う場合も同様であるので、数１５式全体の計算を行うのには、１６回×４＝６４回の乗算を行う必要がある。つまりＹ’で表される輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδを求めるのに数１５式を使用した場合、６４回の乗算を行う必要がある。
【００８０】
次に数８式を使用して計算をする場合について説明する。
数８式の第１項において、Ｒ’”、Ｇｂ’”、Ｇｒ’”、Ｂ’”は、数１３式に示され、これは、下記数１７式とすることもできる。
【００８１】
【数１７】
2015039153.tif 000019
【００８２】
ここでＰ１３、Ｐ２４、Ｐ１２、Ｐ３４、Ｐ１４、Ｐ２３は、シフト操作を行う行列であるので、実質的に定数である。またθ、η、ψも定数である。つまりＲ’”、Ｇｂ’”、Ｇｒ’”、Ｂ’”は、Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’に定数を乗算したものである。
Ｒ’、Ｇｂ’、Ｇｒ’、Ｂ’は、数９式に示す通り、４行１列の行列となる。そのため数１７式の第１項のＲ’”を行う計算において、乗算は、４回行う必要がある。これは、Ｇｂ’”、Ｇｒ’”、Ｂ’”についても同様であるので、数１７式全体の計算を行うのには、４回×４＝１６回の乗算を行う必要がある。そしてその結果は、４行１列の行列となる。これをここでは、便宜上Ａとする。
よって、数８式の第１項の計算は、ＫとＡの乗算となり、下記数１８式で表される。
【００８３】
【数１８】
2015039153.tif 000020
【００８４】
なお数１８式においてＡで示した４行１列の行列の要素を便宜上ａ、ｂ、ｃ、ｄとしている。
この計算において、必要となる乗算は、通常４回×４＝１６回行う必要がある。ただし行列の要素が同じ箇所がある関係上、７ｂ×７ｃを７（ｂ＋ｃ）へ、また１５ｂ×１５ｃを１５（ｂ＋ｃ）とすることができ、そのためそれぞれ２回の乗算を１回とすることができる。さらにｅで表した２１ａ＋５ｄの計算が２回あるため、これにより４回の乗算を２回とすることができる。結局数１８式全体では、乗算は、３回＋２回＋２回＋３回＋２回＝１２回ですむ。
【００８５】
数８式の第２項におけるＰ１３＊Ｐ２４＊Ｋ−Ｋ、第３項におけるＰ１２＊Ｐ３４＊Ｋ−Ｋ、第４項におけるＰ１４＊Ｐ２３＊Ｋ−Ｋについては、下記数１９式で表される４行４列の行列となる。
【００８６】
【数１９】
2015039153.tif 000021
【００８７】
よって数８式の第２項は、数１７式で説明した事項を加えると、下記数２０式となる。
【００８８】
【数２０】
2015039153.tif 000022
【００８９】
このとき計算結果となる４行１列の行列の要素をｆ、ｇ、−ｆ、−ｇとして示している。
そしてｆ、ｇ（−ｆ、−ｇ）を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ２回ですむ。よって数２０式で示した数８式の第２項に必要な乗算は、２回＋２回＝４回ですむ。
【００９０】
また数８式の第３項は、数１７式で説明した事項を加えると、下記数２１式となる。
【００９１】
【数２１】
2015039153.tif 000023
【００９２】
このとき計算結果となる４行１列の行列の要素をｍ、−ｍ、ｎ、−ｎとして示している。
そしてｍ、ｎ（−ｍ、ｎ）を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ２回ですむ。よって数２１式で示した数８式の第３項に必要な乗算は、２回＋２回＝４回ですむ。
【００９３】
さらに数８式の第４項は、数１７式で説明した事項を加えると、下記数２２式となる。
【００９４】
【数２２】
2015039153.tif 000024
【００９５】
このとき計算結果となる４行１列の行列の要素をｐ、ｑ、−ｑ、−ｐとして示している。
そしてｐ、ｑ（−ｐ、ｑ）を計算するためには、行列の要素が同じ箇所がある関係上、乗算は、それぞれ３回および１回ですむ。よって数２２式で示した数８式の第３項に必要な乗算は、３回＋１回＝４回ですむ。
【００９６】
つまり数８式の第２項〜第４項を算出するために必要な乗算の数は、４回×３＝１２回である。
【００９７】
まとめると数８式を算出するために必要な乗算の数は、１６回＋１２回＋１２回＝４０回となる。
この乗算の数は、数５式（数１５式）を使用した場合の６４回に比較して、大きく減少している。
即ち、数５式（数１５式）を使用する場合より、数８式を使用した場合の方が、輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδの算出がさらに簡単となり、算出時間を短縮することができる。
このように乗算の数が減少するのは、数８式の第１項として、行列Ｋを、他色にも適用させた項を作成した効果である。そしてこのようにすることで、数１８式や数１９式で見るように４行４列の行列の要素として絶対値が同じものが多くなる。そのため乗算の数を減らすことができる。
【００９８】
また数５式（数１５式）や数８式の何れを使用する場合でも、Ｙ’で表される輝度情報Ｙα、Ｙβ、Ｙγ、Ｙδについては、第１の配列において等間隔となる輝度算出点において算出される輝度の情報となる。よってこの方法により算出された輝度情報は、配列に偏りがないため、輝度情報から構成される画像にモアレが生じることが少ない。よって画像読み取り装置１０（図６参照）においても復号に失敗することが少なくなる。
【００９９】
なお以上詳述した説明では、画像処理部１２は、画像読み取り装置１０の一部であったが、これに限られるものではなく、画像処理装置として単独でも使用することができる。
また以上詳述した説明では、画像処理部１２により生成された輝度情報は、ドット配列検出部１３においてドットを検出するために用いたがこれに限られるものではない。例えば、ＯＣＲ（Optical Character Reader）の中にこの画像処理部１２を設け、得られた輝度情報を基に、前もって記憶されたパターンとの照合により輝度情報に含まれる文字を特定するようにしてもよい。またはバーコード読み取り装置野中に画像処理部１２を設け、得られた輝度情報を基に、ＱＲコード（登録商標）等のパターン認識を行ってもよい。また他に画像縮小を行うために用いたり、輝度信号と色差信号の分離に用いることもできる。
【０１００】
＜プログラムの説明＞
また以上説明した画像処理部１２が行う処理は、図７で説明したようなペンデバイス６０や図８で説明したようなコンピュータ９０において、アプリケーション等の各種ソフトウェアとして実現することもできる。
【０１０１】
よって画像処理部１２が行う処理は、コンピュータに、予め定められた第１の配列位置に位置する複数の色成分の画像情報を縮小することで生成され、縮小することで第２の配列位置に位置するようになった複数の色成分の画像情報である縮小画像情報を取得する機能と、取得された縮小画像情報を第１の配列位置に当てはめたときに、縮小画像情報を第１の配列位置において等間隔となる輝度算出点に線形補間する処理を行うとともに、線形補間したそれぞれの画像情報に基づき輝度算出点における輝度情報を算出する処理を行う機能と、を実現させるプログラムとして捉えることができる。
【０１０２】
なお本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【符号の説明】
【０１０３】
１０…画像読み取り装置、１１…画像読み取り部、１２…画像処理部、１３…ドット配列検出部、１４…単位符号パターン検出部、１５…復号部、１６…情報出力部、１２１…縮小画像情報取得部、１２２…輝度情報算出部
【図１】
2015039153.tif 000025
【図２】
2015039153.tif 000026
【図３】
2015039153.tif 000027
【図４】
2015039153.tif 000028
【図５】
2015039153.tif 000029
【図６】
2015039153.tif 000030
【図７】
2015039153.tif 000031
【図８】
2015039153.tif 000032
【図９】
2015039153.tif 000033
【図１０】
2015039153.tif 000034
【図１１】
2015039153.tif 000035
【図１２】
2015039153.tif 000036
【図１３】
2015039153.tif 000037
【図１４】
2015039153.tif 000038