(57)【要約】【課題】対象となる物体の色彩に係らず高い精度をもって物体を認識できる物体認識装置を提供する。【解決手段】装置は、同一の物体を撮像してなる画像として、可視光画像と赤外光画像とを取得する。装置は、赤外光画像から物体の撮像領域を決定する。装置は、決定された撮像領域に相当する画像領域を、可視光画像から切り出す。装置は、切り出された画像領域の画像に基づき物体を認識する。【選択図】      図４
2016033694.tif 000002
【特許請求の範囲】
【請求項１】
物体を撮像してなる可視光画像を取得する可視光画像取得手段と、
前記物体を撮像してなる赤外光画像を取得する赤外光取得手段と、
前記赤外光画像から前記物体の撮像領域を決定する決定手段と、
前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す切出手段と、
前記切出手段により切り出された前記画像領域の画像に基づき前記物体を認識する認識手段と、
を具備したことを特徴とする物体認識装置。
【請求項２】
前記赤外光画像に写し出されている物体を検出する検出手段、
をさらに具備し、
前記決定手段は、前記検出手段により検出された前記物体の輪郭を囲う矩形状の領域を前記物体の撮像領域として決定する、
ことを特徴とする請求項１記載の物体認識装置。
【請求項３】
物体を撮像してなる可視光画像を取得する可視光画像取得手段と、
前記物体を撮像してなる赤外光画像を取得する赤外光取得手段と、
前記可視光画像に写し出されている物体を検出する第１の検出手段と、
前記赤外光画像に写し出されている物体を検出する第２の検出手段と、
前記第１の検出手段により前記物体が検出された場合には前記可視光画像から前記物体の撮像領域を決定し、前記第２の検出手段により前記物体が検出された場合には前記赤外光画像から前記物体の撮像領域を決定する決定手段と、
前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す切出手段と、
前記切出手段により切り出された前記画像領域の画像に基づき前記物体を認識する認識手段と、
を具備したことを特徴とする物体認識装置。
【請求項４】
撮像レンズと、この撮像レンズを介して入射する光を受光する撮像素子と、前記撮像レンズと前記撮像素子との間に介在し、可視光が透過する可視光用画素フィルタと赤外光のみが透過する赤外光用画素フィルタとを各画素に対応してマトリクス状に配列してなる光学フィルタとを備えた撮像部、
をさらに具備し、
前記可視光画像取得手段及び前記赤外光取得手段は、前記撮像素子の出力により前記可視光画像及び前記赤外光画像を取得することを特徴とする請求項１乃至３のうちいずれか１に記載の物体認識装置。
【請求項５】
撮像レンズと、この撮像レンズを介して入射する光を受光する第１及び第２の撮像素子と、前記撮像レンズと前記第１及び第２の撮像素子との間に介在し、可視光を前記第１の撮像素子に導き赤外光を前記第２の撮像素子に導く光切替部とを備えた撮像部、
をさらに具備し、
前記可視光画像取得手段は、前記第１の撮像素子の出力により前記可視光画像を取得し、前記赤外光取得手段は、前記第２の撮像素子の出力により前記赤外光画像を取得することを特徴とする請求項１乃至３のうちいずれか１に記載の物体認識装置。
【請求項６】
可視光領域から赤外光領域までの波長の光を発光する光源、
をさらに具備したことを特徴とする請求項１乃至５のうちいずれか１に記載の物体認識装置。
【請求項７】
コンピュータに、
物体を撮像してなる可視光画像を取得する機能、
前記物体を撮像してなる赤外光画像を取得する機能、
前記赤外光画像から前記物体の撮像領域を決定する機能、
前記可視光画像から前記決定された撮像領域に相当する画像領域を切り出す機能、及び
前記切り出された前記画像領域の画像に基づき前記物体を認識する機能、
を実現させるための物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮影画像から物体（オブジェクト）を認識する物体認識装置及びコンピュータを当該物体認識装置として機能させるための物体認識プログラムに関する。
【背景技術】
【０００２】
ＣＣＤカメラ等で撮影された画像からその画像に写し出されている物体（オブジェクト）を認識する技術が知られている。この技術を用いた物体認識装置は、先ず撮影画像から物体が写し出されている領域を輝度の違い（コントラスト）により特定し、その特定した領域内の部分画像を切り出す。次に物体認識装置は、この切出した部分画像を解析して、色合い、模様等の特徴量を抽出する。物体認識装置は、この特徴量を物体の外観特徴量とみなす。そして物体認識装置は、この外観特徴量を認識辞書に登録されている各種物体の特徴量データと照合して、特徴量の類似度を算出する。物体認識装置は、類似度が最も高い特徴量データを有する物体を、撮影画像に写し出されている物体として認識する。
【０００３】
近年、このような物体認識装置の技術を店舗会計システム（ＰＯＳシステム）のスキャナ装置に適用して、顧客が買い上げる商品を認識する提案がなされている。
【０００４】
しかしながら、対象となる物体がナスやアボカドのように可視光の反射率が低い暗い色（黒，濃紺等）をしていた場合、撮影画像に写し出された物体とその背景（黒）との間に輝度差がなくなる。輝度差がなくなると、物体認識装置は、撮影画像から物体が写し出されている領域を正しく切出すことができなくなる。物体が写し出されている領域を正しく切出せないと、物体の正確な表面特徴量を抽出できない。このため、物体認識装置の認識精度が低下する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０６９０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態が解決しようとする課題は、対象となる物体の色彩に係らず高い精度をもって物体を認識できる物体認識装置を提供しようとするものである。
【課題を解決するための手段】
【０００７】
一実施形態において、物体認識装置は、可視光画像取得手段と、赤外光取得手段と、決定手段と、切出手段と、認識手段とを備える。可視光画像取得手段は、物体を撮像してなる可視光画像を取得する。赤外光取得手段は、前記物体を撮像してなる赤外光画像を取得する。決定手段は、前記赤外光画像から前記物体の撮像領域を決定する。切出手段は、前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す。認識手段は、前記切出手段により切り出された前記画像領域の画像に基づき前記物体を認識する。
【図面の簡単な説明】
【０００８】
【図１】一実施形態である店舗会計システムの外観図。
【図２】店舗会計システムを構成するスキャナ装置の要部構成を示すブロック図。
【図３】認識辞書ファイルのデータ構造を示す模式図。
【図４】撮像部と画像処理部との具体的構成を示すブロック図。
【図５】光学フィルタの要部構成を示す模式図。
【図６】撮像部の他の実施形態を示すブロック図。
【図７】物体認識プログラムに従いＣＰＵが実行する情報処理手順の要部を示す流れ図。
【図８】認識対象となる物体の表面で反射する光の反射スペクトルを示す図。
【図９】物体認識プログラムに従いＣＰＵが実行する情報処理手順の他の実施形態を示す流れ図。
【発明を実施するための形態】
【０００９】
以下、物体認識装置の実施形態について、図面を用いて説明する。この実施形態は、スーパーマーケットのチェックアウトカウンタに立設される縦型のスキャナ装置１０（図１を参照）に、物体、つまりは商品を認識する機能を適用した場合である。
【００１０】
（第１の実施形態）
図１は、スーパーマーケットに構築される店舗会計システム１の外観図である。店舗会計システム１は、登録部としてのスキャナ装置１０と、決済部としてのＰＯＳ（Point Of Sales）端末２０とを含む。スキャナ装置１０は、チェックアウトカウンタ２の上に取り付けられる。ＰＯＳ端末２０は、レジ台３の上にドロワ４を挟んで設置される。スキャナ装置１０とＰＯＳ端末２０とは、通信ケーブル７（図２を参照）によって電気的に接続される。
【００１１】
スキャナ装置１０は、商品の登録に必要なデバイスとしてキーボード１１、タッチパネル１２及び客用表示器１３を備える。これらの表示・操作デバイスは、スキャナ装置１０の本体を構成する薄型矩形形状のハウジング１０Ａに取り付けられる。
【００１２】
ハウジング１０Ａには、撮像手段としての撮像部１４が内蔵される。また、矩形状の読取窓１０Ｂが、ハウジング１０Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１０Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを介してＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、撮像部１４はＣＣＤ撮像素子を用いたエリアイメージセンサに限定されない。例えば、CMOS(complementary metal oxide semiconductor)イメージセンサであってもよい。
【００１３】
ＰＯＳ端末２０は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用表示器２３及びレシートプリンタ２４を備える。これらのデバイスを備えたＰＯＳ端末２０は周知なので、ここでの説明は省略する。
【００１４】
チェックアウトカウンタ２は、顧客通路に沿って設置される。レジ台３は、チェックアウトカウンタ２の一方の端部の手前側に、チェックアウトカウンタ２に対して略垂直に置かれる。そして、このチェックアウトカウンタ２の手前側とレジ台３の手前側とが、オペレータである会計担当の店員（キャッシャ）のスペースとなり、その反対側が顧客通路となる。顧客は、チェックアウトカウンタ２のレジ台３が設けられた側とは反対側の端部からレジ台３が設けられた側の端部へとチェックアウトカウンタ２に沿って移動して、会計を行う。
【００１５】
チェックアウトカウンタ２の略中央には、スキャナ装置１０のハウジング１０Ａが立設される。そしてこのハウジング１０Ａに、キーボード１１、タッチパネル１２及び読取窓１０Ｂがそれぞれキャッシャのスペース側に向けて取り付けられ、客用表示器１３が顧客通路側に向けて取り付けられる。
【００１６】
チェックアウトカウンタ２のスキャナ装置１０を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ５を置くためのスペースとなる。また、下流側の荷受面は、スキャナ装置１０により登録された商品Ｍを入れるための買物カゴ６を置くためのスペースとなる。
【００１７】
図２は、スキャナ装置１０の要部をその周辺部の構成とともに示すブロック図である。スキャナ装置１０は、前述したキーボード１１、タッチパネル１２、客用表示器１３以外に、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、通信インターフェース１０４、画像処理部１０５及び光源コントローラ１０６を含む。そしてスキャナ装置１０は、ＣＰＵ１０１と、ＲＯＭ１０２、ＲＡＭ１０３、通信インターフェース１０４画像処理部１０５及び光源コントローラ１０６とを、アドレスバス，データバス等のバスライン１０７で接続する。またスキャナ装置１０は、図示しない入出力回路を介して、キーボード１１、タッチパネル１２及び客用表示器１３をバスライン１０７に接続する。
【００１８】
ＣＰＵ１０１は、コンピュータの中枢部分に相当する。ＣＰＵ１０１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１０としての各種の機能を実現するべく各部を制御する。
【００１９】
ＲＯＭ１０２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１０２は、ＣＰＵ１０１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。
【００２０】
ＲＡＭ１０３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０３は、ＣＰＵ１０１が処理を実行する上で必要なデータを記憶する。またＲＡＭ１０３は、ＣＰＵ１０１によって情報が適宜書き換えられるワークエリアとしても利用される。
【００２１】
通信インターフェース１０４は、通信ケーブル７を介して接続されるＰＯＳ端末２０との間で、所定のプロトコルに従いデータ信号を送受信する。
【００２２】
ＰＯＳ端末２０は、商品データファイル８と認識辞書ファイル９とを備える。商品データファイル８は、店舗で販売される各商品に対して予め設定された固有の商品コードに関連付けて、商品名、単価等の商品データを保存する。
【００２３】
認識辞書ファイル９は、図３に示すように、スキャナ装置１０で認識を行う各種商品の前記商品コードに関連付けて、商品名と特徴量データとを保存する。特徴量データは、商品の形状、表面の色合い、模様、凹凸状況等のような商品の標準的な外観の特徴量を商品毎にパラメータ化したものである。立体である商品は、カメラで撮影する方向により表面の特徴量が異なる。このため認識辞書ファイル９は、１つの商品に対し、撮影角度が異なる複数の基準画像からそれぞれ作成された複数の特徴量データを保存する。
【００２４】
商品データファイル８と認識辞書ファイル９は、補助記憶デバイスに保存される。補助記憶デバイスは、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）などである。補助記憶デバイスは、ＰＯＳ端末２０に内蔵されていてもよいし、外付けされていてもよい。
【００２５】
光源コントローラ１０６は、可視光領域から赤外光領域までを含む波長の光を発光する光源１５のオン，オフをＣＣＤ撮像素子の撮像タイミングと同期して制御する。光源１５は、撮像部１４に含まれる。
【００２６】
撮像部１４は、可視光から赤外光までの波長領域の光を受光する。そして撮像部１４は、受光した光成分から、可視光に対応したＲＧＢ三原色の画素信号に基づく可視光画像（ＲＧＢ画像：カラー画像）を取り込む。また撮像部１４は、赤外光に対応したＩＲ画素信号に基づく赤外光画像（ＩＲ画像）を取り込む。画像処理部１０５は、撮像部１４で撮影された可視光画像と赤外光画像とを処理する。
【００２７】
図４は、撮像部１４と画像処理部１０５との具体的構成を示すブロック図である。撮像部１４は、撮像レンズ１４１と、光学フィルタ１４２と、ＣＣＤ撮像素子（エリアイメージセンサ）１４３とを含む。
【００２８】
光学フィルタ１４２は、図５に示すように、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタ及びＩＲ画素フィルタの４種類の画素フィルタをマトリクス状に配置したものである。具体的には、１行目、３行目、…の奇数行目には、１列目から順にＧ画素フィルタとＲ画素フィルタとが交互に配列され、２行目、４行目、…の偶数行目には、１列目から順にＢ画素フィルタとＩＲ画素フィルタとが交互に配列される。これらの画素フィルタは、それぞれ撮像素子に撮像される画像の一つの画素に対応する。
【００２９】
Ｒ画素フィルタは、７００ｎｍ前後にカットオフ周波数を持つ。すなわちＲ画素フィルタは、可視光波長領域の青色光から赤色光までの波長の光を透過させる。Ｇ画素フィルタは、６００ｎｍ前後にカットオフ周波数を持つ。すなわちＧ画素フィルタは、可視光波長領域の青色光から緑色光までの波長の光を透過させる。Ｂ画素フィルタは、５００ｎｍ前後にカットオフ周波数を持つ。すなわちＢ画素フィルタは、可視光波長領域の青色光の波長の光を透過させる。ＩＲ画素フィルタは、７００ｎｍ以上の近赤外光を含む赤外光のみを透過させる。
【００３０】
このような構成の光学フィルタ１４２を、撮像レンズ１４１とＣＣＤ撮像素子１４３との間に介在させることにより、ＣＣＤ撮像素子１４３は、Ｒ画素フィルタ、Ｇ画素フィルタ及びＢ画素フィルタに対応した画素で形成されるＲＧＢ三原色の可視光画像を取り込むことができる（可視光取得手段）。またＣＣＤ撮像素子１４３は、ＩＲ画素フィルタに対応した画素で形成される赤外光画像を取り込むことができる（赤外光取得手段）。このように、撮像部１４は、同一サイズのフレーム画像である可視光画像と赤外光画像との両方を、単一のＣＣＤ撮像素子１４３によって取り込む構造を有する。
【００３１】
画像処理部１０５は、ＩＲ画像記憶手段１５０１、ＲＧＢ画像記憶手段１５０２、検出手段１５０３、決定手段１５０４、切出し手段１５０５及び認識手段１５０６としての機能を有する。ＩＲ画像記憶手段１５０１は、ＣＣＤ撮像素子１４３によって取り込まれた赤外光画像を記憶する。ＲＧＢ画像記憶手段１５０２は、ＣＣＤ撮像素子１４３により取り込まれた可視光画像を記憶する。検出手段１５０３は、赤外光画像からその画像に写し出されている物体を検出する。決定手段１５０４は、検出手段１５０３によって検出された物体を囲う矩形の領域を決定する。切出し手段１５０５は、可視光画像から、決定手段１５０４によって決定された領域を切り出す。認識手段１５０６は、切出し手段１５０５によって切り出された画像から物体（商品）を認識する。
【００３２】
これら画像処理部１０５の各手段１０５１〜１０５６は、ＲＯＭ１０２に格納された物体認識プログラムに従い情報処理を実行するＣＰＵ１０１によって実現される。  
図７は、物体認識プログラムに従いＣＰＵ１０１が実行する情報処理の手順を示す流れ図である。ＣＰＵ１０１は、撮像部１４によって１フレームの画像が撮像される毎に処理を開始する。なお、図７に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な手順の処理を適宜に利用できる。
【００３３】
先ずＣＰＵ１０１は、Act１として、ＣＣＤ撮像素子１４３によって取り込まれた可視光画像を可視光画像メモリに格納する（可視光画像記憶手段１５０２）。またＣＰＵ１０１は、Act２として、ＣＣＤ撮像素子１４３によって取り込まれた赤外光画像を赤外光画像メモリに格納する（赤外光画像記憶手段１５０１）。可視光画像メモリ及び赤外光画像メモリは、いずれもＲＡＭ１０３に形成される。なお、Act１の処理とAct２の処理との手順はこれに限定されない。先にAct１の処理を実行し、続いてAct２の処理を実行してもよい。
【００３４】
次にＣＰＵ１０１は、Act３として赤外光画像メモリに格納される赤外光画像を読み込む。そしてＣＰＵ１０１は、Act４としてこの赤外光画像からその画像に写し出されている物体を検出する（検出手段１５０３）。赤外光画像からの物体の検出は、物体画像と背景画像との輝度差（コントラスト）に基づき行う。
【００３５】
図８は、標準の光源に対し、認識対象となる物体の表面で反射する光の反射スペクトルを示す。同図Ａは、物体が黒紫色をしたナスであった場合の反射スペクトルである。同図Ｂは、物体が濃い緑色をしたアボカドであった場合の反射スペクトルである。同図Ｃは、物体が緑色をしたホウレンソウであった場合の反射スペクトルである。
【００３６】
図８のＡ，Ｂに示すように、表面の色が背景色である黒に近く、可視光域での反射率が低いナスやアボカドのような物体でも、近赤外域である７５０ｎｍ前後では反射率が高くなる。また、図８のＣに示すように、可視光域でも反射するホウレンソウのような物体の場合も、近赤外域である７５０ｎｍ前後での反射率は高い。反射率が高ければ、背景画像との輝度差が大きくなる。したがって、赤外光画像を用いることで、可視画像では検出できない物体も検出することができる。また、可視光画像から検出が可能な物体についても、赤外光画像から検出できる。すなわち、赤外光画像からその画像に写し出されている物体を検出することによって、物体の検出率が向上する。
【００３７】
ＣＰＵ１０１は、Act５として赤外光画像から物体を検出できたか否かを確認する。例えば赤外光画像に物体が写し出されておらず、物体を検出できない場合（Act５にてＮＯ）、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００３８】
物体を検出できた場合には（Act５にてＹＥＳ）、ＣＰＵ１０１は、Act６としてその物体を囲う矩形の領域を、切出し領域として決定する（決定手段１５０４）。切出し領域を決定したならば、ＣＰＵ１０１は、Act７として可視光画像メモリに格納される可視光画像を読み込む。そしてＣＰＵ１０１は、Act８としてこの可視光画像から切出し領域として決定された領域と同一領域の画像を切り出す（切出し手段１５０５）。
【００３９】
ＣＰＵ１０１は、Act９として可視光画像から切り出した画像に基づき、その画像に写し出されている物体（商品）を認識する（認識手段１５０６）。  
すなわちＣＰＵ１０１は、先ず、切り出した画像のデータから物体の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。ＣＰＵ１０１は、抽出した外観特徴量を、ＲＡＭ１０３の特徴量エリアに書き込む。
【００４０】
外観特徴量を抽出し終えたならば、ＣＰＵ１０１は、通信インターフェース１０４を介してＰＯＳ端末２０の認識辞書ファイル９にアクセスする。そしてＣＰＵ１０１は、認識辞書ファイル９からデータ（商品コード，商品名、特徴量データ）を１商品ずつ読み込む。
【００４１】
認識辞書ファイル９のデータを読み込む毎に、ＣＰＵ１０１は、特徴量エリアに記憶する外観特徴量のデータが、当該認識辞書データに含まれる特徴量データに対してどの程度類似しているかを、例えばハミング距離で示す類似度によって算出する。そしてＣＰＵ１０１は、類似度が所定の基準閾値よりも高いか否かを確認する。基準閾値は、候補として残すべき商品の類似度の下限である。類似度が基準閾値より高いレベルにある場合、ＣＰＵ１０１は、当該認識辞書データの商品コード及び商品名と、算出された類似度とを、ＲＡＭ１０３に形成された候補エリアに格納する。
【００４２】
ＣＰＵ１０１は、認識辞書ファイル９に保存されている各商品の認識辞書データに対して上記の処理を実行する。そして、未処理の認識辞書データが存在しないことを確認したならば、ＣＰＵ１０１は認識処理を終了する。
【００４３】
認識処理を終了すると、ＣＰＵ１０１は、Act１０にて候補エリアにデータ（商品コード、商品名、類似度）が格納されているか否かを確認する。データが格納されていない場合（Act１０にてＮＯ）、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００４４】
データが格納されていた場合には（Act１０にてＹＥＳ）、ＣＰＵ１０１は、Act１１としてこの候補エリアのデータを出力する。具体的にはＣＰＵ１０１は、類似度の高い順に商品名を並べた候補リストを作成する。そしてＣＰＵ１０１は、この候補リストをタッチパネル１２に表示させる。ここで、タッチパネル１２に対するタッチ操作によりリストからいずれかの商品が選択されると、ＣＰＵ１０１は、この商品の商品コードを登録商品のコードとして確定する。そしてＣＰＵ１０１は、この登録商品のコードを、通信インターフェース１０４を介してＰＯＳ端末２０に送信する。なお、類似度が基準閾値よりも十分に高い確定閾値を超える場合には、ＣＰＵ１０１は、その類似度に対応した商品コードを登録商品のコードとして確定し、ＰＯＳ端末２０に送信してもよい。この場合、候補リストは作成されない。以上で、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００４５】
因みに、商品コードを受信したＰＯＳ端末２０のプロセッサは、その商品コードで商品データファイル８を検索して商品名，単価などの商品データを読み出す。そしてプロセッサは、この商品データに基づいて商品販売データの登録処理を実行する。この登録処理については周知なので、ここでの説明は省略する。
【００４６】
このような構成のスキャナ装置１０においては、オペレータが読取窓１０Ｂに商品Ｍを翳すと、撮像部１４によってこの商品Ｍを含む画像が撮像される。このとき撮像部１４では、可視光に対応したＲＧＢ三原色の画素信号に基づく可視光画像と、赤外光に対応したＩＲ画素信号に基づく赤外光画像とが、同一サイズのフレーム画像として取り込まれる。
【００４７】
スキャナ装置１０では、赤外光画像からその画像に写し出されている物体が検出される。図８を用いて説明したように、可視光域での反射率が低いナスやアボカドのような物体でも、赤外光画像であれば物体と背景との間の輝度差が大きくなる。このため、赤外光画像から物体（商品）を検出することによって、物体（商品）の検出率が向上する。
【００４８】
赤外光画像からその画像に写し出されている商品を検出できたならば、スキャナ装置１０では、その商品を囲う矩形の領域が切出し領域として決定される。こうして、切出し領域が決定されたならば、スキャナ装置１０では、可視光画像から切出し領域として決定された領域と同一領域の画像が切出される。そして、この可視光画像から切り出した画像に基づき、その画像に写し出されている商品が認識される。
【００４９】
このように本実施形態によれば、赤外光画像からその画像に写し出されている物体を検出し、物体認識のための切出し領域を決定するので、可視光域での反射率が低いナスやアボカドのような物体でも、認識率を高めることができる。
【００５０】
（第２の実施形態）
第１の実施形態では、撮像部１４を、同一サイズのフレーム画像である可視光画像と赤外光画像との両方を、単一のＣＣＤ撮像素子１４３によって取り込む構造とした。撮像部１４は、この構造のものに限定されるものではない。
【００５１】
撮像部１４の他の実施形態（第２の実施形態）を図６に示す。第２の実施形態における撮像部１４は、撮像レンズ１４１と、第１のＣＣＤ撮像素子（エリアイメージセンサ）１４４と、第２のＣＣＤ撮像素子（エリアイメージセンサ）１４５と、ダイクロイックミラー１４６とを含む。撮像レンズ１４１は、第１のＣＣＤ撮像素子１４４及び第２のＣＣＤ撮像素子１４５は、第１の実施形態における撮像レンズ１４１及びＣＣＤ撮像素子１４３と同様である。
【００５２】
ダイクロイックミラー１４６は、撮像レンズ１４１を介して入射した光のうち、赤外光の波長の光を反射し、その他の波長の光を透過する。第１のＣＣＤ撮像素子１４４は、ダイクロイックミラー１４６を透過した光を受光する。したがって、第１のＣＣＤ撮像素子１４４は、ＲＧＢ三原色の可視光画像を取り込むことができる（可視光取得手段）。第２のＣＣＤ撮像素子１４５は、ダイクロイックミラー１４６で反射した光を受光する。したがって、第２のＣＣＤ撮像素子１４５は、赤外光画像を取り込むことができる（赤外光取得手段）。
【００５３】
第１のＣＣＤ撮像素子１４４によって取り込まれた可視光画像は、ＲＧＢ画像記憶手段１５０２によって可視光画像メモリに格納される。第２のＣＣＤ撮像素子１４５によって取り込まれた赤外光画像は、ＩＲ画像記憶手段１５０１によって赤外光画像メモリに格納される。
【００５４】
（第３の実施形態）
物体認識プログラムに従いＣＰＵ１４１が実行する情報処理手順は、図７の流れ図に示す手順に限定されるものではない。図９は、物体認識プログラムに従いＣＰＵ１４１が実行する情報処理手順の他の実施形態（第３の実施形態）を示す流れ図である。
【００５５】
第３の実施形態では、先ずＣＰＵ１０１は、Act２１として、ＣＣＤ撮像素子１４３（または第１のＣＣＤ撮像素子１４４）によって取り込まれた可視光画像を可視光画像メモリに格納する。またＣＰＵ１０１は、Act２２として、ＣＣＤ撮像素子１４３（または第２のＣＣＤ撮像素子１４５）によって取り込まれた赤外光画像を赤外光画像メモリに格納する。なお、Act２１の処理とAct２２の処理との手順はこれに限定されない。先にAct２１の処理を実行し、続いてAct２２の処理を実行してもよい。
【００５６】
次にＣＰＵ１０１は、Act２３として可視光画像メモリに格納される可視光画像を読み込む。そしてＣＰＵ１０１は、Act２４としてこの可視光画像からその画像に写し出されている物体を検出する（第１の検出手段）。可視光画像からの物体の検出は、物体画像と背景画像との輝度差（コントラスト）に基づき行う。
【００５７】
ＣＰＵ１０１は、Act２５として可視光画像から物体を検出できたか否かを確認する。物体を検出できた場合（Act２５にてＹＥＳ）、ＣＰＵ１０１は、Act２６としてその物体を囲う矩形の領域を、切出し領域として決定する（決定手段１５０４）。切出し領域を決定したならば、ＣＰＵ１０１は、Act２７として可視光画像から切出し領域として決定された領域と同一領域の画像を切り出す（切出し手段１５０５）。ＣＰＵ１０１は、Act２８として可視光画像から切り出した画像に基づき、その画像に写し出されている物体（商品）を認識する（認識手段１５０６）。
【００５８】
一方、可視光画像から物体を検出できなかった場合（Act２５にてＮＯ）、ＣＰＵ１０１は、Act３１として赤外光画像メモリに格納される赤外光画像を読み込む。そしてＣＰＵ１０１は、Act３２としてこの赤外光画像からその画像に写し出されている物体を検出する（第２の検出手段）。赤外光画像からの物体の検出は、物体画像と背景画像との輝度差（コントラスト）に基づき行う。
【００５９】
ＣＰＵ１０１は、Act３３として赤外光画像から物体を検出できたか否かを確認する。例えば赤外光画像に物体が写し出されておらず、物体を検出できない場合（Act３３にてＮＯ）、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００６０】
物体を検出できた場合には（Act３３にてＹＥＳ）、ＣＰＵ１０１は、Act３４としてその物体を囲う矩形の領域を、切出し領域として決定する（決定手段１５０４）。切出し領域を決定したならば、ＣＰＵ１０１は、Act３５として可視光画像メモリに格納される可視光画像を読み込む。そしてＣＰＵ１０１は、Act２７の処理に進み、可視光画像から切出し領域として決定された領域と同一領域の画像を切り出す（切出し手段１５０５）。ＣＰＵ１０１は、Act２８として可視光画像から切り出した画像に基づき、その画像に写し出されている物体（商品）を認識する（認識手段１５０６）。
【００６１】
認識処理を終了すると、ＣＰＵ１０１は、Act２９にて候補エリアにデータ（商品コード、商品名、類似度）が格納されているか否かを確認する。データが格納されていない場合（Act２９にてＮＯ）、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００６２】
データが格納されていた場合には（Act２９にてＹＥＳ）、ＣＰＵ１０１は、第１の実施形態のAct１１の処理と同様に、Act３０としてこの候補エリアのデータを出力する。以上で、ＣＰＵ１０１は、この１フレームの画像に対する情報処理を終了する。
【００６３】
このような構成の第３の実施形態においても、第１の実施形態と同様に対象となる物体（商品）の色彩に係らず高い精度をもって物体（商品）を認識できるスキャナ装置１０を提供できるものである。
【００６４】
なお、本発明は、前記実施形態に限定されるものではない。  
例えば前記各実施形態は、読取窓１０Ｂに翳された商品を認識するためのスキャナ装置１０を例示したが、本発明を実施可能な機器はスキャナ装置に限定されるものではない。商品以外の物体を認識する装置にも、本実施形態の物体認識技術を適用できるものである。
【００６５】
また、前記各実施形態では、認識辞書ファイル９をＰＯＳ端末２０の側に設けたが、スキャナ装置１０が備えた記憶デバイスに認識辞書ファイル９を保存してもよい。
【００６６】
また、第２の実施形態において、ダイクロイックミラー１４６の代わりに、このミラーと同様の機能を有するプリズム（ダイクロイックプリズム）を用いてもよい。図４及び図６に示す撮像部は一例であり、同一フレームの可視光画像と赤外光画像とを取得できる構造であれば、本実施形態に適用可能であるのは言うまでもない。
【００６７】
また、第３の実施形態では、先に可視光画像を読込み物体検出を行い、検出不可の場合に赤外光画像を読み込んで物体検出を行ったが、画像の読込み順序を逆にしてもよい。すなわち、先に赤外光画像を読込み物体検出を行い、検出不可の場合に可視光画像を読み込んで物体検出を行ってもよい。
【００６８】
なお、物体認識装置の譲渡は一般に、物体認識プログラム等のプログラムがＲＯＭに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された物体認識プログラム等がユーザなどの操作に応じて書き込まれてもよい。物体認識プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００６９】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１…スキャナ装置、９…認識辞書ファイル、１４…撮像部、２０…ＰＯＳ端末、１０１…ＣＰＵ、１０５…画像処理部、１４２…光学フィルタ、１４３，１４４，１４５…ＣＣＤ撮像素子、１４６…ダイクロイックミラー、１５０１…赤外光画像記憶手段、１５０２…可視光画像記憶手段、１５０３…検出手段、１５０４…決定手段、１５０５…切出し手段、１５０６…認識手段。
【図１】
2016033694.tif 000003
【図２】
2016033694.tif 000004
【図３】
2016033694.tif 000005
【図４】
2016033694.tif 000006
【図５】
2016033694.tif 000007
【図６】
2016033694.tif 000008
【図７】
2016033694.tif 000009
【図８】
2016033694.tif 000010
【図９】
2016033694.tif 000011
【手続補正書】
【提出日】平成27年2月6日(2015.2.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体を撮像する撮像部で受光した光成分から可視光に対応した画素信号に基づく可視光画像を取り込み記憶する可視光画像記憶手段と、
前記物体を撮像する前記撮像部で受光した光成分から赤外光に対応した画素信号に基づく赤外光画像を取り込み記憶する赤外光画像記憶手段と、
前記赤外光画像から前記物体の撮像領域を決定する決定手段と、
前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す切出し手段と、
前記切出し手段により切り出された前記画像領域の画像に基づき前記物体を認識する認識手段と、
を具備したことを特徴とする物体認識装置。
【請求項２】
前記赤外光画像に写し出されている物体を検出する検出手段、
をさらに具備し、
前記決定手段は、前記検出手段により検出された前記物体の輪郭を囲う矩形状の領域を前記物体の撮像領域として決定する、
ことを特徴とする請求項１記載の物体認識装置。
【請求項３】
物体を撮像する撮像部で受光した光成分から可視光に対応した画素信号に基づく可視光画像を取り込み記憶する可視光画像記憶手段と、
前記物体を撮像する前記撮像部で受光した光成分から赤外光に対応した画素信号に基づく赤外光画像を取り込み記憶する赤外光画像記憶手段と、
前記可視光画像に写し出されている物体を検出する第１の検出手段と、
前記赤外光画像に写し出されている物体を検出する第２の検出手段と、
前記第１の検出手段により前記物体が検出された場合には前記可視光画像から前記物体の撮像領域を決定し、前記第２の検出手段により前記物体が検出された場合には前記赤外光画像から前記物体の撮像領域を決定する決定手段と、
前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す切出し手段と、
前記切出し手段により切り出された前記画像領域の画像に基づき前記物体を認識する認識手段と、
を具備したことを特徴とする物体認識装置。
【請求項４】
前記撮像部は、撮像レンズと、この撮像レンズを介して入射する光を受光する撮像素子と、前記撮像レンズと前記撮像素子との間に介在し、可視光が透過する可視光用画素フィルタと赤外光のみが透過する赤外光用画素フィルタとを各画素に対応してマトリクス状に配列してなる光学フィルタとを備え、
前記可視光画像記憶手段は、前記可視光用画素フィルタを透過した可視光に対応した画素信号に基づく可視光画像を取り込み記憶し、前記赤外光画像記憶手段は、前記赤外光用画素フィルタを透過した赤外光に対応した画素信号に基づく赤外光画像を取り込み記憶することを特徴とする請求項１乃至３のうちいずれか１に記載の物体認識装置。
【請求項５】
前記撮像部は、撮像レンズと、この撮像レンズを介して入射する光を受光する第１及び第２の撮像素子と、前記撮像レンズと前記第１及び第２の撮像素子との間に介在し、可視光を前記第１の撮像素子に導き赤外光を前記第２の撮像素子に導く光切替部とを備え、
前記可視光画像記憶手段は、前記第１の撮像素子で受光した可視光に対応した画素信号に基づく可視光画像を取り込み記憶し、前記赤外光画像記憶手段は、前記第２の撮像素子で受光した赤外光に対応した画素信号に基づく赤外光画像を取り込み記憶することを特徴とする請求項１乃至３のうちいずれか１に記載の物体認識装置。
【請求項６】
可視光領域から赤外光領域までの波長の光を発光する光源、
をさらに具備したことを特徴とする請求項１乃至５のうちいずれか１に記載の物体認識装置。
【請求項７】
コンピュータに、
物体を撮像し受光した光成分から可視光に対応した画素信号に基づく可視光画像を取り込み記憶する機能、
前記物体を受光した光成分から可視光に対応した画素信号に基づく赤外光画像を取り込み記憶する機能、
前記赤外光画像から前記物体の撮像領域を決定する機能、
前記可視光画像から前記決定された撮像領域に相当する画像領域を切り出す機能、及び
前記切り出された前記画像領域の画像に基づき前記物体を認識する機能、
を実現させるための物体認識プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
一実施形態において、物体認識装置は、可視光画像記憶手段と、赤外光画像記憶手段と、決定手段と、切出し手段と、認識手段とを備える。可視光画像記憶手段は、物体を撮像する撮像部で受光した光成分から可視光に対応した画素信号に基づく可視光画像を取り込み記憶する。赤外光画像記憶手段は、前記物体を撮像する撮像部で受光した光成分から赤外光に対応した画素信号に基づく赤外光画像を取り込み記憶する。決定手段は、前記赤外光画像から前記物体の撮像領域を決定する。切出し手段は、前記可視光画像から前記決定手段により決定された撮像領域に相当する画像領域を切り出す。認識手段は、前記切出手段により切り出された前記画像領域の画像に基づき前記物体を認識する。