(57)【要約】【課題】シンボルや文字を精度良く認識することができる撮像装置及び携帯機器を提供する。【解決手段】ＣＰＵ１４は、画像メモリ１５に記憶されたフレーム単位の画像データに基づいて、カラー画像を表示させるためのＲＧＢデータ、ＹＵＶデータ、ＮＴＳＣ方式の映像信号などを生成する。この場合、ＣＰＵ１４は、画像メモリ１５から取り出した画像データのうち、特定色画素の一部を含む画素からの出力信号を用いる。また、ＣＰＵ１４は、画像メモリ１５に記憶されたフレーム単位の画像データから輝度信号を抽出し、抽出した輝度信号を所定の輝度閾値により二値化し、二値化した二値化画像に基づいて、文字認識やシンボル認識を行う。この場合、ＣＰＵ１４は、画像メモリ１５から取り出した画像データのうち、白色画素としてのＷ画素からの出力信号を用いる。【選択図】図１
2010109863.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子上に複数の特定色のカラーフィルタをそれぞれの素子単位で配設した特定色画素を有する撮像素子を備える撮像装置において、
前記カラーフィルタを配設していない白色画素と、
少なくとも前記特定色画素の一部を含む画素からの出力信号を用いて、撮像対象のカラー画像を表示する表示手段と、
前記白色画素からの出力信号を用いて、撮像対象の単色画像に含まれる情報を抽出する抽出手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記単色画像を二値化する二値化手段を備え、
前記抽出手段は、
前記二値化手段で二値化した二値化画像に基づいて、撮像対象中の文字情報を抽出するように構成してあることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記単色画像を二値化する二値化手段を備え、
前記抽出手段は、
前記二値化手段で二値化した二値化画像に基づいて、撮像対象中の二次元コードに含まれる情報を抽出するように構成してあることを特徴とする請求項１に記載の撮像装置。
【請求項４】
白色画素と第１色の特定色画素とが交互にその長手方向に配設された複数の第１画素ラインと、
前記白色画素の前記第１画素ライン上の位置に対応する位置に設けられた第２色の特定色画素と、前記第１色の特定色画素の前記第１画素ライン上の位置に対応する位置に設けられた白色画素とが交互にその長手方向に配設された複数の第２画素ラインと
を備え、
前記表示手段は、
前記第１画素ライン及び第２画素ラインの画素からの出力信号を用いて、撮像対象のカラー画像を表示するように構成してあり、
前記抽出手段は、
前記第１画素ライン及び第２画素ラインの画素のうち白色画素からの出力信号を用いて、情報を抽出するように構成してあることを特徴とする請求項１から請求項３までのいずれか１項に記載の撮像装置。
【請求項５】
前記第１画素ライン及び第２画素ラインの画素からの出力信号の出力先を前記表示手段又は前記抽出手段のいずれかに切り替える切替手段を備え、
該切替手段は、
出力先を撮像画像のフレーム単位で交互に切り替えるように構成してあることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記表示手段は、
前記単色画像よりも画像サイズの小さいカラー画像を表示するように構成してあることを特徴とする請求項１から請求項５までのいずれか１項に記載の撮像装置。
【請求項７】
前記複数の特定色は、赤色、緑色及び青色又はこれらの補色であることを特徴とする請求項１から請求項６までのいずれか１項に記載の撮像装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の撮像装置を備えることを特徴とする携帯機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像を撮像する機能及び二次元コード等のシンボル認識機能や文字認識機能を有する撮像装置及び該撮像装置を備える携帯機器に関する。
【背景技術】
【０００２】
近年急速に普及した携帯電話機等の携帯機器には小型カメラを搭載したものが多く商品化されている。このような小型カメラの多くは、通常のカラー画像を撮像する機能に加えて、バーコードやＱＲコード（登録商標）等の二次元コードのようなシンボルを認識する機能や文字情報を認識する機能などが搭載されている。
【０００３】
小型カメラはＣＣＤやＣＭＯＳなどの撮像素子を備え、カラー撮影画像は、例えば、ベイヤー配列されたＲ画素、Ｇ画素、Ｂ画素それぞれから出力される輝度情報からなるベイヤーデータをＲＧＢ信号やＹＵＶ信号に変換する信号処理を経て出力される。
【０００４】
そして、上述のようなシンボル認識機能や文字認識を有するカメラは、従来、シンボルの認識や文字の認識を行う場合でも、通常のカラー撮影を行う場合と同様に撮像したカラー撮像画像を用いて認識処理が行われていた。
【０００５】
一方で、ＱＲコードやバーコードを認識する場合には、Ｒ画素、Ｇ画素、Ｂ画素のうちの特定の画素、例えば、Ｇ画素から出力される信号のみを使用して認識処理を行う撮像装置が開示されている（特許文献１、２参照）。
【０００６】
また、低照度下での色再現性に優れた映像信号を得るための、ＲＧＢ画素に加えて白色画素を用いた固体撮像素子が開示されている（特許文献３参照）。
【特許文献１】特開２００５−２８６５３６号公報
【特許文献２】特開２００６−１９５９６１号公報
【特許文献３】特開２００８−２２５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の特許文献１〜３の技術を用いてカラー画像を撮像するカメラで、バーコードやＱＲコードのようなシンボルの認識や文字認識をも行う場合、精度良く認識することができないという問題がある。
【０００８】
例えば、低照度の環境下では、明部と暗部との信号レベルの差が小さいため、明暗の判別が困難となる。また、ベイヤー配列のＲＧＢ画素を有する撮像素子の場合、ある画素（Ｒ、Ｇ、Ｂのいずれか）における出力信号は、その画素の周辺の画素から色を補間する必要があり、出力信号はローパスフィルタを通したことと同等になり、さらに明暗のレベル差を小さくする要因となっている。また、シンボルの認識や文字認識を行う場合に、ユーザが撮像対象に焦点を合わせて撮像するときに、焦点が合っていないことや撮像範囲内撮像対象全体が入っていないことがある。さらに、撮像素子から出力される信号のフレームレートが遅く、認識処理を行うまでに比較的長い時間を要し、これらの要因がシンボル認識や文字認識の認識率の低下の主な要因となっている。
【０００９】
以下、ベイヤー配列の撮像素子からの出力信号によりシンボル認識や文字認識を行う例について説明する。図９は従来の原色型ベイヤー配列の撮像素子の一例を示す説明図である。図９に示すように、原色型ベイヤー配列では、１画素に１つの波長領域にしか感度を有していないため、周辺画素により補間して全可視波長領域にする必要がある。図９（ａ）は中心画素が４３６ｎｍ付近の波長の光に対し感度を有するＢ画素の場合を示し、図９（ｂ）は中心画素が５４６ｎｍ付近の波長の光に対し感度を有し、水平方向（横方向）にＢ画素と隣接するＧｂ画素の場合を示し、図９（ｃ）は中心画素が５４６ｎｍ付近に感度を有し、水平方向（横方向）にＲ画素と隣接するＧｒ画素の場合を示し、図９（ｄ）は中心画素が７００ｎｍ付近の波長の光に感度を有するＲ画素の場合を示し、それぞれの場合において、３×３画素の周辺画素により補間を行う。
【００１０】
図９（ａ）の場合、Ｒ値、Ｇ値、Ｂ値それぞれは、Ｒ＝（Ｒ１+Ｒ２+Ｒ３+Ｒ４）／４、Ｇ＝（Ｇ１+Ｇ２+Ｇ３+Ｇ４）／４、Ｂ＝Ｂ１により求めることができる。
【００１１】
また、図９（ｂ）の場合、Ｒ値、Ｇ値、Ｂ値それぞれは、Ｒ＝（Ｒ１+Ｒ２）／２、Ｇ＝Ｇ３、Ｂ＝（Ｂ１+Ｂ２）／２により求めることができる。
【００１２】
また、図９（ｃ）の場合、Ｒ値、Ｇ値、Ｂ値それぞれは、Ｒ＝（Ｒ１+Ｒ２）／２、Ｇ＝Ｇ３、Ｂ＝（Ｂ１+Ｂ２）／２により求めることができる。
【００１３】
また、図９（ｄ）の場合、Ｒ値、Ｇ値、Ｂ値それぞれは、Ｒ＝Ｒ１、Ｇ＝（Ｇ１+Ｇ２+Ｇ３+Ｇ４）／４、Ｂ＝（Ｂ１+Ｂ２+Ｂ３+Ｂ４）／４により求めることができる。
【００１４】
この各画素で求めたＲＧＢ値をＹＵＶ値（輝度と色差）へ変換する場合には、Ｙ＝  ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ、Ｕ＝−０．１４７×Ｒ−０．２８９×Ｇ＋０．４３６×Ｂ、Ｖ＝  ０．６１５×Ｒ−０．５１５×Ｇ−０．１００×Ｂにより求めることができる。
【００１５】
シンボル認識処理や文字認識処理では、明部と暗部とが、例えば、「１」、「０」データによって表わされるので、認識処理には、上述の式で求めた輝度値Ｙに対して所定の閾値で二値化し、取得したデータが明部であるか暗部であるかの判定を行う。従って、撮像素子から出力されたベイヤーデータをＲＧＢに変換する過程において、上下左右１画素の周辺画素を使用した補間により、ローパスフィルタを施した状態と同様になり、明部と暗部とのレベル差を一層小さくすることになり、シンボルや文字を精度良く認識することができない。
【００１６】
本発明は斯かる事情に鑑みてなされたものであり、シンボルや文字を精度良く認識することができる撮像装置及び該撮像装置を備える携帯機器を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る撮像装置は、複数の光電変換素子上に複数の特定色のカラーフィルタをそれぞれの素子単位で配設した特定色画素を有する撮像素子を備える撮像装置において、前記カラーフィルタを配設していない白色画素と、少なくとも前記特定色画素の一部を含む画素からの出力信号を用いて、撮像対象のカラー画像を表示する表示手段と、前記白色画素からの出力信号を用いて、撮像対象の単色画像に含まれる情報を抽出する抽出手段とを備えることを特徴とする。
【００１８】
本発明に係る撮像装置は、前記単色画像を二値化する二値化手段を備え、前記抽出手段は、前記二値化手段で二値化した二値化画像に基づいて、撮像対象中の文字情報を抽出するように構成してあることを特徴とする。
【００１９】
本発明に係る撮像装置は、前記単色画像を二値化する二値化手段を備え、前記抽出手段は、前記二値化手段で二値化した二値化画像に基づいて、撮像対象中の二次元コードに含まれる情報を抽出するように構成してあることを特徴とする。
【００２０】
本発明に係る撮像装置は、白色画素と第１色の特定色画素とが交互にその長手方向に配設された複数の第１画素ラインと、前記白色画素の前記第１画素ライン上の位置に対応する位置に設けられた第２色の特定色画素と、前記第１色の特定色画素の前記第１画素ライン上の位置に対応する位置に設けられた白色画素とが交互にその長手方向に配設された複数の第２画素ラインとを備え、前記表示手段は、前記第１画素ライン及び第２画素ラインの画素からの出力信号を用いて、撮像対象のカラー画像を表示するように構成してあり、前記抽出手段は、前記第１画素ライン及び第２画素ラインの画素のうち白色画素からの出力信号を用いて、情報を抽出するように構成してあることを特徴とする。
【００２１】
本発明に係る撮像装置は、前記第１画素ライン及び第２画素ラインの画素からの出力信号の出力先を前記表示手段又は前記抽出手段のいずれかに切り替える切替手段を備え、該切替手段は、出力先を撮像画像のフレーム単位で交互に切り替えるように構成してあることを特徴とする。
【００２２】
本発明に係る撮像装置は、前記表示手段は、前記単色画像よりも画像サイズの小さいカラー画像を表示するように構成してあることを特徴とする。
【００２３】
本発明に係る撮像装置は、前記複数の特定色は、赤色、緑色及び青色又はこれらの補色であることを特徴とする。
【００２４】
本発明に係る携帯機器は、前述の発明のいずれか１つに係る撮像装置を備えることを特徴とする。
【００２５】
本発明にあっては、カラーフィルタを配設していない白色画素と、少なくとも特定色画素の一部を含む画素からの出力信号を用いて撮像対象のカラー画像を表示する表示手段と、白色画素からの出力信号を用いて撮像対象の単色画像に含まれる情報を抽出する抽出手段とを備える。単色画像に含まれる情報は、例えば、ＱＲコードやバーコード等の二次元コードに含まれる情報や文字情報などである。すなわち、シンボルの認識や文字認識には、カラーフィルタを配設していない白色画素からの出力信号をそのまま用いることにより、周辺画素を用いた補間処理を行う必要がなく、また、カラーフィルタを設けていないので、ＲＧＢ画素を用いる場合に比べて、高感度な撮像が可能となり、精度良くシンボルや文字の認識を行うことができる。また、撮像対象のカラー画像を表示することができるので、ユーザは表示されたカラー画像を見ながら撮像対象の焦点を合わせることや、撮像範囲内に撮像対象全体が入るように調整することができ、シンボルや文字の認識率をさらに高めることができる。
【００２６】
本発明にあっては、白色画素からの出力信号による単色画像を二値化し、二値化した二値化画像に基づいて、撮像対象中の文字情報を抽出する。これにより、ＲＧＢ画素を用いる場合に比べて、精度良く文字を認識することができる。
【００２７】
本発明にあっては、白色画素からの出力信号による単色画像を二値化し、二値化した二値化画像に基づいて、撮像対象中の二次元コード（例えば、バーコードやＱＲコードなどのシンボル）に含まれる情報を抽出する。これにより、ＲＧＢ画素を用いる場合に比べて、精度良くシンボルを認識することができる。
【００２８】
本発明にあっては、白色画素と第１色の特定色画素とが交互にその長手方向に配設された複数の第１画素ラインと、白色画素の第１画素ライン上の位置に対応する位置に設けられた第２色の特定色画素と、第１色の特定色画素の第１画素ライン上の位置に対応する位置に設けられた白色画素とが交互にその長手方向に配設された複数の第２画素ラインとを備える。そして、第１画素ライン及び第２画素ラインの画素からの出力信号を用いて、撮像対象のカラー画像を表示するとともに、第１画素ライン及び第２画素ラインの画素のうち白色画素からの出力信号を用いて撮像対象の単色画像に含まれる情報を抽出する。例えば、第１色をＲ、第２色をＢとし、第１画素ラインは、Ｗ画素、Ｒ画素、Ｗ画素、Ｒ画素…とライン方向に沿って配設してあり、第２画素ラインは、Ｂ画素、Ｗ画素、Ｂ画素、Ｗ画素…とライン方向に沿って配設してあるとする。この場合、撮像対象の単色画像に含まれる情報を抽出するためには、Ｗ画素からの出力信号を用いる。そして、カラー画像を表示するためには、Ｗ画素、Ｒ画素及びＢ画素からの出力信号を用いる。この場合、Ｇ値は、Ｇ＝（Ｗ−ｊ×Ｒ−ｋ×Ｂ）／ｌにより求めることができる。ただし、ｊ、ｋ、ｌは所定の定数である。これにより、カラー画像を表示する場合も情報を抽出する場合も、同じ画素ラインを用いることができ、例えば、カラー画像を取得するためのカラー撮像モードと文字やシンボルを認識するためのモノクロ撮像モードなどのように、撮像モードを変える必要がなく簡便な構成で実現することができ、かつ出力信号の制御も簡素化することができる。
【００２９】
本発明にあっては、第１画素ライン及び第２画素ラインの画素からの出力信号の出力先を前記表示手段又は前記抽出手段のいずれかに、撮像画像のフレーム単位で交互に切り替える。例えば、１つ目のフレームをカラー表示のための表示画像とし、２つ目のフレームを文字やシンボルの認識用の単色画像とする。あるいは、１つ目のフレームをカラー表示のための表示画像とし、２つ目及び３つ目の連続する２つのフレームを文字やシンボルの認識用の単色画像とする。これにより、ユーザが撮像対象を確認することができるとともに、文字やシンボルの認識率を高めることができる。
【００３０】
本発明にあっては、表示手段は、単色画像よりも画像サイズの小さいカラー画像を表示する。これにより、ユーザにとって撮像対象を確認するのに必要なサイズのカラー画像を表示することができ、表示に要する時間を短縮して、ユーザが感じるリアルタイム性を向上させることができる。
【００３１】
本発明にあっては、複数の特定色は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）又はこれらの補色（例えば、Ｙ、Ｍ、Ｃ）である。そして、白色画素をＷとすると、カラー画像は、例えば、ＲＧＢ、ＲＧＷ、ＧＢＷ、ＲＢＷの画素からの出力信号を用いることができ、シンボルや文字認識などの情報を抽出は、Ｗ画素からの出力信号を用いることができる。
【００３２】
本発明にあっては、携帯機器は、上述の撮像装置を備える。これにより、カラー画像の撮像機能に加えて、シンボルや文字を精度良く認識することができる機能を備えた携帯機器を提供することができる。
【発明の効果】
【００３３】
本発明によれば、シンボルや文字を精度良く認識することができる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本発明に係る撮像装置を備える携帯機器としての携帯電話機１００の要部構成の一例を示すブロック図である。携帯電話機１００は、外部からの入射光を結像する為のレンズを含む光学系１０、光学系１０を通過した光を光量に対応した電気信号に変換するための撮像素子１１、撮像素子１１から出力されたアナログ電気信号をデジタルデータ（画像データ）へと変換するＡＦＥ（アナログフロントエンド）１２、撮像素子１１とＡＦＥ１２を制御し、ＡＦＥ１２から出力された画像データに所定の処理を行う信号処理部１３、信号処理部１３の動作を制御するＣＰＵ１４、画像データを撮像画像のフレーム単位に記憶するための画像メモリ１５、液晶ディスプレイ等の表示部１６、ＣＰＵ１４と信号処理部１３、画像メモリ１５及び表示部１６との間でデータを授受するためのデータバス２０などを備えている。
【００３５】
信号処理部１３は、例えば、シェーディング補正処理、ガンマ補正処理などの各種処理を行う。
【００３６】
ＣＰＵ１４は、画像メモリ１５に記憶されたフレーム単位の画像データに基づいて、カラー画像を表示させるためのＲＧＢデータ、ＹＵＶデータ、ＮＴＳＣ方式の映像信号などを生成する。この場合、ＣＰＵ１４は、画像メモリ１５から取り出した画像データのうち、後述するように、特定色画素の一部を含む（後述のＷ画素を含む場合もある）画素からの出力信号（画素ラインのデータ）を用いる。
【００３７】
ＣＰＵ１４は、画像メモリ１５に記憶されたフレーム単位の画像データから輝度信号を抽出し、抽出した輝度信号を所定の輝度閾値により二値化し、二値化した二値化画像に基づいて、文字情報の抽出（文字認識）及び／又はＱＲコード（登録商標）やバーコード等の二次元コード（シンボル）に含まれる情報の抽出（シンボルの認識）を行う。この場合、ＣＰＵ１４は、画像メモリ１５から取り出した画像データのうち、後述の白色画素としてのＷ画素からの出力信号（画素ラインのデータ）を用いる。
【００３８】
また、ＣＰＵ１４は、画像メモリ１５に記憶されたフレーム単位の画像データをフレーム単位に、カラー画像の表示処理又はシンボル認識や文字認識等の認識処理のいずれに用いるかを切り替えるための切替手段としての機能を有する。
【００３９】
図２は本実施の形態の撮像素子１１の要部構成を示す説明図である。撮像素子１１は、面状に配設された複数の光電変換素子を備えている。光電変換素子上に複数の特定色としての赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタ（波長選択フィルタ）をそれぞれの画素単位で配設してある。赤色のカラーフィルタは、赤色の波長域（７００ｎｍ付近）の光に対して高い感度を有し、赤色の光のみを光電変換素子へ透過し、光電変換素子とともにＲ画素を構成する。同様に、緑色のカラーフィルタは、緑色の波長域（５４６ｎｍ付近）の光に対して高い感度を有し、緑色の光のみを光電変換素子へ透過し、光電変換素子とともにＧ画素を構成する。また、青色のカラーフィルタは、青色の波長域（４３６ｎｍ付近）の光に対して高い感度を有し、青色の光のみを光電変換素子へ透過し、光電変換素子とともにＢ画素を構成する。上述のＲ画素、Ｇ画素、Ｂ画素は、特定色画素である。なお、Ｒ、Ｇ、Ｂのカラーフィルタに代えて、これらの補色（例えば、Ｙ、Ｍ、Ｃ）のカラーフィルタでもよい。
【００４０】
さらに、撮像素子１１は、上述のカラーフィルタを配設していない白色画素としてのＷ画素を有する。すなわち、Ｗ画素は、すべての可視領域の光に対して高い感度を有し、また、赤色の波長域の光に対してＲ画素よりも、緑色の波長域の光に対してＧ画素よりも、青色の波長域の光に対してＢ画素よりも高い感度を有する。Ｗ画素は、上部に波長選択フィルタが無いため、可視領域の光を良好なＳ／Ｎで検出することができる。
【００４１】
また、波長の違いは検出することができないものの、ある波長域にピークがあるスペクトルを有する入射光であれば色鮮やかな撮像対象（カラフルな被写体）であっても明部、暗部の差を高感度で識別することができる。通常のモノクロシンボル認識、文字認識と言えば白黒の対象物であるが、カラフルな単色の撮像対象であっても認識することができる。本実施の形態では、ある特定の色のシンボルもモノクロシンボルとしており、例えば、緑のＱＲコードなどであっても、上述のＷ画素の緑色（Ｇ）の光に対する感度は、Ｇ画素の感度より良いため、Ｇ画素を使用したモノクロシンボル認識よりも高い認識率を実現することができる。
【００４２】
また、Ｗ画素から出力される信号は輝度信号であるため、通常の原色型ベイヤー配列の場合に行われる色補間処理を施さなくてもシンボル認識や文字認識が可能になる。従って、現状の課題である補間処理によるローパスフィルタの影響を無くすことができる。
【００４３】
図３は本実施の形態の撮像素子１１の画素の配列の一例を示す説明図である。図中、Ｗ、Ｒ、Ｇ、Ｂは、それぞれ上述したＷ画素、Ｒ画素、Ｇ画素、Ｂ画素を示す。なお、図３は撮像素子１１を構成する画素の一部を示している。ラインａ（第１画素ライン）は、ライン方向（横方向、水平方向）に沿って、Ｗ画素、Ｒ画素、Ｗ画素、Ｒ画素…の２つの画素を交互に配設している。また、ラインｂは、ライン方向（横方向、水平方向）に沿って、Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素…の２つの画素を交互に配設してあり、ラインｃは、ライン方向（横方向、水平方向）に沿って、Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素…の２つの画素を交互に配設している。ラインｄ（第２画素ライン）は、ライン方向（横方向、水平方向）に沿って、Ｂ画素、Ｗ画素、Ｂ画素、Ｗ画素…の２つの画素を交互に配設している。この場合、ラインｄのＢ画素は、ラインａのＷ画素のライン上の位置に対応する位置に設けられている。また、ラインｄのＷ画素は、ラインａのＲ画素のライン上の位置に対応する位置に設けられている。そして、ラインａ〜ｄが縦方向（垂直方向、ライン方向に直交する方向）に沿って繰り返し配置されている。
【００４４】
Ｗ画素、Ｒ画素、Ｇ画素、Ｂ画素で構成された撮像素子１１からの出力信号は、ＣＰＵ１４の制御の元、フレーム単位に画像データとして画像メモリ１５に一旦記憶される。ＣＰＵ１４は、一旦記憶された画像データを画像メモリ１５から取り出して、カラー画像の表示処理及びシンボル認識や文字認識等の認識処理を行う。
【００４５】
ラインｂ、ｃ、ｂ（あるいは、ラインｃ、ｂ、ｃ）を取り出した場合、各ラインにより構成される画素は、ベイヤー配列となっている。
【００４６】
ＣＰＵ１４は、撮像素子１１の上述の各ラインのうち、第１画素ラインとしてのラインａのデータ、第２画素ラインとしてのラインｄのデータをそれぞれ取り出し、各ラインの画素からの出力信号を用いて、カラー画像を表示するためのカラー画像データ、及びシンボル認識又は文字認識のための単色画像データを生成する。以下、本実施の形態の画素構成によりカラー画像データ及び単色画像データの生成方法について説明する。
【００４７】
図４は本実施の形態の画素構成の一例を示す説明図である。図４に示すように、本実施の形態の画素構成は、第１画素ラインとしてのラインａ、第２画素ラインとしてのラインｄにより構成され、ラインａ、ｄがこの順で繰り返された構成となっており、Ｗ画素、Ｒ画素及びＢ画素で構成されている。すなわち、第１画素ラインとしてのラインａと第２画素ラインとしてのラインｄとが、交互にライン方向と直交する方向に沿って配置した構成となっている。また、図４では、簡略化のため４×４画素のブロックのみを示している。
【００４８】
図５は本実施の形態の画素構成の３×３画素の画素ブロックを示す説明図である。図５に示す画素ブロックは、図４に示す画素構成から３×３画素を取り出したものである。図５（ａ）は中心画素がＢ画素の場合を示し、図５（ｂ）は中心画素がＷ画素であり、ライン方向（横方向）にＢ画素と隣接するＷｂ画素の場合を示し、図５（ｃ）は中心画素がＷ画素であって、ライン方向（横方向）にＲ画素と隣接するＷｒ画素の場合を示し、図５（ｄ）は中心画素がＲ画素の場合を示す。
【００４９】
図５（ａ）の場合には、中心画素におけるＲ値、Ｗ値及びＢ値はそれぞれ、Ｒ＝（Ｒ１+Ｒ２+Ｒ３+Ｒ４）／４、Ｗ＝（Ｗ１+Ｗ２+Ｗ３+Ｗ４）／４、Ｂ＝Ｂ１により求めることができる。                          （１８）
【００５０】
また、図５（ｂ）の場合には、中心画素におけるＲ値、Ｗ値及びＢ値はそれぞれ、Ｒ＝（Ｒ１+Ｒ２）／２、Ｗ＝Ｗ３、Ｂ＝（Ｂ１+Ｂ２）／２により求めることができる。
【００５１】
また、図５（ｃ）の場合には、中心画素におけるＲ値、Ｗ値及びＢ値はそれぞれ、Ｒ＝（Ｒ１+Ｒ２）／２、Ｗ＝Ｗ３、Ｂ＝（Ｂ１+Ｂ２）／２により求めることができる。
【００５２】
また、図５（ｄ）の場合には、中心画素におけるＲ値、Ｗ値及びＢ値はそれぞれ、Ｒ＝Ｒ１、Ｗ＝（Ｗ１+Ｗ２+Ｗ３+Ｗ４）／４、Ｂ＝（Ｂ１+Ｂ２+Ｂ３+Ｂ４）／４により求めることができる。
【００５３】
すなわち、単色画像の画像データは、上述の各Ｗ値により得ることができる。また、上述のＷ値は輝度値であるので、Ｇ＝（Ｗ−jＲ−kＢ）／ｌによりＧ値（３原色の緑色）を求めることができる。ここで、Ｗ、Ｒ、ＢはそれぞれＷ画素、Ｒ画素、Ｂ画素からの出力値であり、また、ｊ、ｋ、ｌは所定の定数である。
【００５４】
さらに、Ｗ値、Ｒ値、Ｂ値を用いて色差信号Ｕ、Ｖそれぞれを、Ｕ＝０．４９２×（Ｂ−Ｗ）、Ｖ＝０．８７７×（Ｒ−Ｗ）により求めることができる。
【００５５】
単色画像の画像データを用いて、ＱＲコードやバーコード等の二次元コードに含まれる情報を抽出（シンボル認識）することができ、あるいは文字情報を抽出（文字認識）することができる。すなわち、シンボルの認識や文字認識には、カラーフィルタを配設していないＷ画素からの出力信号をそのまま用いることにより、周辺画素を用いた補間処理を行う必要がなく、また、カラーフィルタを設けていないので、ＲＧＢ画素を用いる場合に比べて、高感度な撮像が可能となり、精度良くシンボルや文字の認識を行うことができる。
【００５６】
特に、Ｗ画素からの出力信号による単色画像を二値化し、二値化した二値化画像に基づいて、撮像対象中の文字情報を抽出することにより、ＲＧＢ画素を用いる場合に比べて、精度良く文字を認識することができる。
【００５７】
また、Ｗ画素からの出力信号による単色画像を二値化し、二値化した二値化画像に基づいて、撮像対象中の二次元コード（例えば、バーコードやＱＲコードなどのシンボル）に含まれる情報を抽出することにより、ＲＧＢ画素を用いる場合に比べて、精度良くシンボルを認識することができる。
【００５８】
また、上述のとおり、Ｗ、Ｒ、Ｂ値からＧ値を求めることができるので、撮像対象のカラー画像を表示することができ、ユーザは表示されたカラー画像を見ながら撮像対象の焦点を合わることや、撮像範囲内に撮像対象全体が入るように調整することができ、シンボルや文字の認識率をさらに高めることができる。
【００５９】
このように、撮像対象の単色画像に含まれる情報を抽出するためには、Ｗ画素からの出力信号を用いることができる。また、カラー画像を表示するためには、Ｗ画素、Ｒ画素及びＢ画素からの出力信号を用いることができる。これにより、カラー画像を表示する場合もシンボルの認識や文字認識などの情報を抽出する場合も、同じ画素ラインを用いることができ、例えば、カラー画像を取得するためのカラー撮像モードと文字やシンボルを認識するためのモノクロ撮像モードなどのように、撮像モードを変える必要がなく簡便な構成で実現することができ、かつ出力信号の制御も簡素化することができる。
【００６０】
上述の例では、Ｇ画素をＷ画素で置き換えた構成であるが、Ｂ画素あるいはＲ画素をＷ画素で置き換える構成でもよい。また、他の方式の撮像素子（例えば、補色型撮像素子）の一部をＷ画素で置き換える構成でもよい。
【００６１】
カラー画像データを生成する場合、上述のラインａ、ラインｄのデータを用いる代わりに、別の画素ラインのデータを用いることもできる。図６はカラー画像データを生成するための画素構成の一例を示す説明図である。図６に示すように、カラー画像データを生成する場合に、ラインｂ、ラインｃ、がこの順で繰り返された構成となっており、Ｒ画素、Ｇ画素及びＢ画素で構成されている。また、図６では、簡略化のため４×４画素のブロックのみを示している。
【００６２】
この構成の場合、シンボル認識や文字認識のためには、図４に示すように、ラインａ、ラインｄのＷ画素からの出力信号により単色画像データを生成する。一方、カラー画像の表示のためには、図６に示すように、ラインｂ、ラインｃからの出力信号によりカラー画像データを生成する。これにより、カラー画像の表示に対しては、従来と同じ画素構成とし、従来と同じアルゴリズムで処理することができる。
【００６３】
なお、Ｗ画素を含む画素構成であっても、カラー画像表示に多くの領域のデータを必要とする場合がある。図７はＷ画素を含むＲＧＢ画素構成の例を示す説明図である。図７に示すような画素構成では、Ｗ画素からの出力信号を用いてシンボル認識や文字認識を行うことができるものの、画素ラインがＷ画素とＲ画素との組み合わせ、あるいは、Ｇ画素とＢ画素との組み合わせであるため、例えば、１ライン置きにデータを取り出す（読み出す）場合には、色情報を得ることができない。すなわち、Ｇ画素とＢ画素との読み出しの場合には、Ｒ画素の成分が欠落し、Ｗ画素とＲ画素との読み出しの場合には、Ｇ画素及びＢ画素の成分分離をすることができない。そのため、４個の波長領域（Ｗ画素、Ｇ画素、Ｂ  画素、Ｒ画素）のうちカラー画像表示には、少なくとも３つの領域（例えば、ラインｅ、ｆ、ｇ）の情報が必要となる。この点、図３の例では、このような問題はない。
【００６４】
次に、カラー画像の表示処理とシンボル認識や文字認識等の認識処理とのタイミングについて説明する。シンボルの認識時や文字認識時においても、認識対象（撮像対象）が撮像範囲内に入っているかの確認、あるいは、認識対象の焦点が合っているかの確認などを行うために、認識対象を撮像して表示する必要がある。表示される画像は、ユーザが実際に見ている認識対象（被写体）通りのカラー画像でないと、ユーザは戸惑いや違和感を覚えることになる。そこで、シンボルの認識や文字認識には、二値化された単色画像を用い、画像の表示には通常のカメラモードと同様のカラー画像を表示する必要あり、表示処理と認識処理とのデータの切り替えを行う。
【００６５】
また、シンボルの認識や文字認識の認識率を向上させるためには、１フレーム当たりの認識率を向上させる方法、認識処理に用いるフレーム数を増加させる方法、ユーザの操作性を向上させる方法などがある。
【００６６】
ユーザの操作性を向上させることで認識率を高めるには、例えば、認識対象（被写体）を表示部に表示しながら、認識処理を行う方法がある。認識対象をカラー画像で表示させることにより、認識対象の焦点が合っているか、あるいは、認識対象が撮像範囲内に正しく入っているかなどを容易に確認することができる。なお、仮に認識対象が、白黒などの無彩色であったとしても、撮像範囲内にどのような認識対象が入っているかを容易に確認することができるよう、表示はカラー画像にすることが好ましい。
【００６７】
図８は表示処理と認識処理の関係を示すタイミングチャートである。図８において、上段は撮像素子１１からの出力信号（画像データ）であり、中段は表示部１６に出力された表示信号（表示画像）、下段はシンボル認識や文字認識の認識信号（認識画像、単色画像）を示す。図８に示すように、１フレーム単位で出力される出力信号に対して、フレーム単位で表示画像と認識画像とに切り替える。これにより、ユーザは撮像対象（被写体、認識対象）を確認することができるとともに、文字やシンボルの認識率を高めることができる。
【００６８】
なお、図８の例では、フレーム単位に表示信号と認識信号とを交互に切り替える例であったが、これに限定されるものではない。出力信号の出力先を撮像画像のフレーム単位で交互に切り替える方法としては、１つ目のフレームをカラー表示のための表示画像とし、２つ目のフレームを文字やシンボルの認識用の単色画像とするだけでなく、１つ目のフレームをカラー表示のための表示画像とし、２つ目及び３つ目の連続する２つのフレームを文字やシンボルの認識用の単色画像とすることもできる。これにより、認識フレームの数を増やし、認識時間を短くすることが可能となり、認識率が向上する。
【００６９】
また、フレーム単位に出力先を交互に切り替えるのではなく、フレーム単位の出力信号を同時に表示信号（表示画像）と認識信号（認識画像）とすることもできる。
【００７０】
また、通常、シンボル認識や文字認識に使用する画素数に対し、表示部にて表示できる画像サイズは小さいため、シンボル認識や文字認識には撮像素子１１からＷ画素からの出力信号のみを使用し、表示部１６に表示する場合には、更に画像サイズが小さく、表示部１６で表示するのに必要な画像サイズにすることで、撮像素子１１から出力するフレーム数を増やし、認識時間の短縮と表示によってユーザが感じるリアルタイム性の向上を図ることも可能である。
【００７１】
以上説明したように、本発明によれば、シンボルの認識や文字認識には、カラーフィルタを設けていない白色画素（Ｗ画素）からの出力信号をそのまま用いることで従来のような周辺画素を用いた補間処理を行う必要がなく、また、カラーフィルタを設けていないので、ＲＧＢ画素を用いる場合に比べて、高感度な撮像が可能となり、精度良くシンボルや文字の認識を行うことができる。また、撮像対象のカラー画像を表示することができるので、ユーザは表示されたカラー画像を見ながら撮像対象の焦点を合わることや、撮像範囲内に撮像対象全体が入るように調整することができ、シンボルや文字の認識率をさらに高めることができる。
【００７２】
上述の実施の形態では、携帯電話機を一例として挙げて説明したが、本発明に係る撮像装置は、携帯電話機に限定適用されるものではなく、カメラを装備する携帯機器であれば適用することができる。これにより、カラー画像の撮像機能に加えて、シンボルや文字を精度良く認識することができる機能を備えた携帯機器を提供することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る撮像装置を備える携帯機器としての携帯電話機の要部構成の一例を示すブロック図である。
【図２】本実施の形態の撮像素子の要部構成を示す説明図である。
【図３】本実施の形態の撮像素子の画素の配列の一例を示す説明図である。
【図４】本実施の形態の画素構成の一例を示す説明図である。
【図５】本実施の形態の画素構成の３×３画素の画素ブロックを示す説明図である。
【図６】カラー画像データを生成するための画素構成の一例を示す説明図である。
【図７】Ｗ画素を含むＲＧＢ画素構成の例を示す説明図である。
【図８】表示処理と認識処理の関係を示すタイミングチャートである。
【図９】従来の原色型ベイヤー配列の撮像素子の一例を示す説明図である。
【符号の説明】
【００７４】
１０  光学系
１１  撮像素子
１２  ＡＦＥ
１３  信号処理部
１４  ＣＰＵ
１５  画像メモリ
１６  表示部
【図１】
2010109863.tif 000003
【図２】
2010109863.tif 000004
【図３】
2010109863.tif 000005
【図４】
2010109863.tif 000006
【図５】
2010109863.tif 000007
【図６】
2010109863.tif 000008
【図７】
2010109863.tif 000009
【図８】
2010109863.tif 000010
【図９】
2010109863.tif 000011