(57)【特許請求の範囲】
【請求項１】
撮像部で撮像される被写体に照明光を照射する光源と、
前記照明光の光量が第１の光量となるデフォルトの照明モードと前記照明光の光量が前記第１の光量よりも少ない非デフォルトの照明モードとを切り替える切替手段と、
前記デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させ、撮像された画像の輝度が規定よりも高いとき、前記切替手段により前記非デフォルトの照明モードに切り替えて、この非デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させ、撮像後、前記切替手段により前記デフォルトの照明モードに切り替えて、このデフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させる撮像制御手段と、
前記撮像部で撮像された画像を記憶部に格納する格納手段と、
前記記憶部に格納された画像毎に、その画像を撮影したときの前記照明モードを識別する識別手段と、
この識別手段により前記デフォルトの照明モードで撮像されたと識別された画像を選択する選択手段と、
この選択手段により選択された画像を表示部に表示させる表示制御手段と、
前記記憶部に格納された画像からその画像に映し出されている商品を認識する認識手段と、
を具備したことを特徴とする商品認識装置。
【請求項２】
前記格納手段は、前記画像の所定の画素に対応したデータを、当該画像を撮影したときの前記照明モードを示すデータに置換して前記記憶部に格納し、
前記識別手段は、前記所定の画素に対応したデータに基づいて前記照明モードを識別することを特徴とする請求項１記載の商品認識装置。
【請求項３】
前記切替手段は、前記非デフォルトの撮影モードとして、前記照明光の光量が前記第１の光量よりも少ない第２の光量の第１の非デフォルトの照明モードと、前記第２の光量よりも少ない第３の光量の第２の非デフォルトの照明モードとを切替可能であり、
前記撮像制御手段は、前記デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させ、撮像された画像の輝度が規定よりも高いとき、前記切替手段により前記第１の非デフォルトの照明モードに切り替えて、この非デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させ、撮像された画像の輝度が規定よりも高いとき、前記切替手段により前記第２の非デフォルトの照明モードに切り替えて、この非デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像し、撮像後、前記切替手段により前記デフォルトの照明モードに切り替えて、このデフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させる、ことを特徴とする請求項１または２記載の商品認識装置。
【請求項４】
前記認識手段は、前記画像に映し出されている商品の外観特徴量を抽出し、この外観特徴量に基づいて前記商品を認識することを特徴とする請求項１乃至３のうちいずれか１に記載の商品認識装置。
【請求項５】
コンピュータに、
被写体を照射する光源の光量が第１の光量となるデフォルトの照明モードと前記光量が前記第１の光量よりも少ない非デフォルトの照明モードとを切り替える機能と、
前記デフォルトの照明モードで前記光源を制御して撮像部で前記被写体を撮像させ、撮像された画像の輝度が規定よりも高いとき、前記非デフォルトの照明モードに切り替えて、この非デフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させ、撮像後、前記デフォルトの照明モードに切り替えて、このデフォルトの照明モードで前記光源を制御して前記撮像部で前記被写体を撮像させる機能と、
前記撮像部で撮像され、記憶部に格納された画像毎に、その画像を撮影したときの前記照明モードを識別する機能と、
前記デフォルトの照明モードで撮像された画像を選択する機能と、
選択された画像を表示部に表示させる機能と、
前記記憶部に格納された画像からその画像に映し出されている商品を認識する機能と、
を実現させるための商品認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮像部で撮像された画像に基づいて商品を認識する商品認識装置、及び、コンピュータを当該商品認識装置として機能させるための商品認識プログラムに関する。
【背景技術】
【０００２】
撮像部で撮像された画像から商品を認識する技術がある。その一例として、商品を撮像した画像からその商品に付されているバーコード等のコードシンボルを読み取り、当該商品を認識する技術がある。別の例として、商品を撮像した画像からその商品の外観特徴量を抽出し、この特徴量のデータに基づいて当該商品を認識する技術もある。
【０００３】
これらの商品認識装置は、いずれも撮像に必要な明るさを確保するために、被写体である商品に対して照明光を照射する。ただ、画像の輝度が高すぎると、商品認識装置は、商品を認識できない。そこで商品認識装置は、撮像された画像の輝度を求め、所定の輝度を超える毎に一時的に照明光の光量を低減させる。このように、商品認識装置は、画像毎にダイナミックに輝度を調整して、認識率を向上させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７４２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この種の商品認識装置は、通常、読取窓を有しており、この読取窓に翳された商品を撮像部で撮像して認識する。そこで、商品が読取窓に正しく翳されているかをユーザに確認させるために、商品認識装置は、表示部に撮像部で撮像されている画像を動画としてリアルタイムに表示させる。
【０００６】
しかしながら、従来の商品認識装置は、撮像部で撮像された商品の画像をそのまま動画として表示させていたため、被写体である商品が変わらなくても画像の輝度が高速で切り替わることで動画の画面がちらつき、ユーザが不快に感じるおそれがあった。
【０００７】
一実施形態が解決しようとする課題は、撮像部で撮像される画像の輝度をダイナミックに調整しつつも、その画像が動画として表示される表示部の画面のちらつきを防止できる商品認識装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
一実施形態において、商品認識装置は、光源と切替手段と撮像制御手段と格納手段と識別手段と選択手段と表示制御手段と認識手段とを備える。光源は、撮像部で撮像される被写体に照明光を照射する。切替手段は、照明光の光量が第１の光量となるデフォルトの照明モードと照明光の光量が第１の光量よりも少ない非デフォルトの照明モードとを切り替える。撮像制御手段は、デフォルトの照明モードで光源を制御して撮像部で被写体を撮像させ、撮像された画像の輝度が規定よりも高いとき、切替手段により非デフォルトの照明モードに切り替えて、この非デフォルトの照明モードで光源を制御して撮像部で被写体を撮像させ、撮像後、切替手段によりデフォルトの照明モードに切り替えて、このデフォルトの照明モードで光源を制御して撮像部で被写体を撮像させる。格納手段は、撮像部で撮像された画像を記憶部に格納する。識別手段は、記憶部に格納された画像毎に、その画像を撮影したときの照明モードを識別する。選択手段は、識別手段によりデフォルトの照明モードで撮像されたと識別された画像を選択する。表示制御手段は、選択手段により選択された画像を表示部に表示させる。認識手段は、記憶部に格納された画像からその画像に映し出されている商品を認識する。
【図面の簡単な説明】
【０００９】
【図１】一実施形態である店舗会計システムの外観図。
【図２】スキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。
【図３】スキャナ装置が有する商品認識機能を示すブロック図。
【図４】撮像信号ＴＰと照明モード別発光信号ＥＭＡ，ＥＭＢ，ＥＭＣとの関係を示すタイミング図。
【図５】画像メモリに格納されるフレーム画像を示す模式図。
【図６】照明モード／識別コードの変換テーブルを示す模式図。
【図７】撮像コントローラの制御手順を示す流れ図。
【図８】タッチパネルに表示される画像領域の一例を示す模式図。
【図９】スキャナ装置のＣＰＵが商品認識プログラムに従い実行する情報処理の手順を示す流れ図。
【発明を実施するための形態】
【００１０】
以下、商品認識装置の実施形態について、図面を用いて説明する。  
なお、本実施形態は、商品を撮像した画像からその商品の外観特徴量を抽出し、この特徴量のデータに基づいて当該商品を認識するスキャナ装置に適用した場合である。
【００１１】
図１は、前記スキャナ装置を用いた店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を挟んで設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル８（図２を参照）によって電気的に接続される。
【００１２】
スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。
【００１３】
ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、ＣＣＤ撮像素子に限定されない。例えばCMOS(complementary metal oxide semiconductor)を用いたものであってもよい。
【００１４】
ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。
【００１５】
会計カウンタ３は、顧客通路３Ａに沿って配置される。レジ台４は、顧客通路３Ａの顧客移動方向である矢印Ｅの方向に対して下流側の会計カウンタ３の端部の顧客通路３Ａとは反対側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３とレジ台４とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース３Ｂとなる。
【００１６】
会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路３Ａ側を向いてハウジング１Ａに取り付けられる。
【００１７】
会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。
【００１８】
図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、撮像コントローラ１０４及び接続インターフェース１０５を含む。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、撮像コントローラ１０４及び接続インターフェース１０５は、バスライン１０６に接続される。また前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３も、入出力回路（不図示）を介してバスライン１０６に接続される。
【００１９】
ＣＰＵ１０１は、コンピュータの中枢部分に相当する。ＣＰＵ１０１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１としての各種の機能を実現するべく各部を制御する。
【００２０】
ＲＯＭ１０２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１０２は、ＣＰＵ１０１が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラムが含まれる。
【００２１】
ＲＡＭ１０３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を行う際のワークエリアとしても利用される。
【００２２】
撮像コントローラ１０４は、前記撮像部１４及びこの撮像部１４に付随する照明用光源１５を制御する。照明用光源１５は、撮像部１４によって撮像される被写体に照明光を照射する。
【００２３】
接続インターフェース１０５は、通信ケーブル８を介して、後述するＰＯＳ端末２の接続インターフェース２０７と接続される。この接続により、スキャナ装置１とＰＯＳ端末２とは電気的に接続される。
【００２４】
タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。
【００２５】
ＰＯＳ端末２も、ＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。
【００２６】
ＣＰＵ２０１は、コンピュータの中枢部分に相当する。ＣＰＵ２０１は、オペレーティングシステムやアプリケーションプログラムに従って、ＰＯＳ端末２としての各種の機能を実現するべく各部を制御する。
【００２７】
ＲＯＭ２０３は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２０３は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ２０３は、ＣＰＵ２０１が各種の処理を実行する上で必要なデータを記憶する場合もある。
【００２８】
ＲＡＭ２０４は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２０４は、ＣＰＵ２０１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ２０４は、ＣＰＵ２０１が各種の処理を行う際のワークエリアとしても利用される。
【００２９】
補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０等のデータファイルを保存する。
【００３０】
認識辞書ファイル３０には、商品ＩＤ、商品名及び特徴量データを含む認識辞書レコードが複数格納される。商品ＩＤは、各商品を個々に識別するための一意のコードである。商品名は、対応する商品ＩＤによって特定される商品の名称である。特徴量データは、対応する商品ＩＤで識別される商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量をパラメータで表わしたものである。
【００３１】
通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。
【００３２】
接続インターフェース２０７は、通信ケーブル８を介して、スキャナ装置１の接続インターフェース１０５と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１から情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１のキーボード１１、タッチパネル１２及び客用ディスプレイ１３との間でデータ信号を送受信する。一方、スキャナ装置１は、この接続により、ＰＯＳ端末２の補助記憶部２０５に保存されているデータファイルにアクセスする。
【００３３】
図３は、スキャナ装置１が有する商品認識機能を示すブロック図である。スキャナ装置１は、切替手段４１、格納手段４２、識別手段５１、選択手段５２、制御手段５３及び認識手段５４の各手段により、商品認識機能を実現する。各手段のうち、切替手段４１及び格納手段４２は、撮像コントローラ１０４によって実現される。
【００３４】
切替手段４１は、撮像部１４で撮像される画像の撮像条件として予め設定された照明モードを切り替える手段である。本実施形態では、照明モードとして、撮像時における照明光の光量が第１の光量となる照明モードＡと、上記第１の光量よりも少ない第２の光量となる照明モードＢと、上記第２の光量よりもさらに少ない第３の光量となる照明モードＣとを設定する。
【００３５】
図４は、撮像部１４に対して撮像を指示する撮像信号ＴＰと、光源１５に対して照明光の照射を指示する照明モード別の発光信号ＥＭＡ，ＥＭＢ，ＥＭＣとの関係を示すタイミング図である。撮像コントローラ１０４は、所定の周期毎（例えば、１／３０秒毎）に時間幅Ｔの撮像信号ＴＰを撮像部１４に出力する。撮像部１４では、撮像信号ＴＰが入力されている間、撮像領域の画像が撮像レンズを通ってＣＣＤ撮像素子に結像し、フレーム画像となって撮像コントローラ１０４に出力される。
【００３６】
また撮像コントローラ１０４は、撮像信号ＴＰと同じ時間幅Ｔで同一周期の発光信号ＥＭＡを、照明モードＡ，Ｂ，Ｃに応じて光源１５に出力する。すなわち撮像コントローラ１０４は、照明モードＡのときには撮像信号ＴＰよりも時間ｔ１だけ遅延させて出力し、照明モードＢのときには撮像信号ＴＰよりも時間ｔ２（ｔ１＜ｔ２）だけ遅延させて出力し、照明モードＣのときには撮像信号ＴＰよりも時間ｔ３（ｔ１＜ｔ２＜ｔ３）だけ遅延させて出力する。
【００３７】
かくして、照明モードＡのときには、撮像部１４では、撮像信号ＴＰと発光信号ＥＭＡとが重複している期間Ｔ１において照明光が照射された画像が撮像される。同様に、照明モードＢが選択されている場合には、撮像信号ＴＰと発光信号ＥＭＢとが重複している期間Ｔ２において照明光が照射された画像が撮像される。照明モードＣが選択されている場合には、撮像信号ＴＰと発光信号ＥＭＣとが重複している期間Ｔ３において照明光が照射された画像が撮像される。
【００３８】
図４に示すように、照明モードＡのときの重複期間Ｔ１と比べて、照明モードＢのときの重複期間Ｔ２は短く、照明モードＣの重複期間Ｔ３はさらに短い。したがって、照明モードＡと照明モードＢとを比較した場合には、照明モードＢのときの方が照明モードＡのときよりも撮像時間における照明光の光量が少なくなり、照明モードＣのときにはさらに少なくなる。その結果、撮像部１４で撮像される画像の輝度は、照明モードＢのときには照明モードＡのときよりも低くなり、照明モードＣのときにはさらに低くなる。
【００３９】
なお、発光信号ＥＭＡ，ＥＭＢ，ＥＭＣの時間幅は、撮像信号ＴＰの時間幅Ｔと等しくなくてもよい。この時間幅は、少なくとも照明モードＡのときの重複期間Ｔ１よりも長ければ、時間幅Ｔ以下であってもよい。
【００４０】
格納手段４２は、撮像部１４で撮像された画像をフレーム毎に、記憶部である画像メモリ６０に格納する手段である。画像メモリ６０は、ＲＡＭ１０３上に形成される。本実施形態において、１フレームの画像は、図５に示すように、ＳＸＧＡ（１２８０ドット×１０２４ライン）の解像度を有する。撮像コントローラ１０４は、このフレーム画像の左上に位置する１ピクセルｐ１１のデータ（８bit）を、当該画像の撮影条件である照明モードを識別可能な識別コードに置換してから、画像メモリ６０に格納する。
【００４１】
具体的には、撮像コントローラ１０４は、図６に示すように、照明モードＡ，Ｂ及びＣ別に、２ビットの識別コード“００”，“０１”及び“１０”が設定された変換テーブル７０を備える。そして撮像コントローラ１０４は、照明モードＡで撮像されたフレーム画像に対しては、ピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“００”に置換してから画像メモリ６０に格納する。同様に、照明モードＢで撮像されたフレーム画像に対しては、ピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“０１”に置換してから画像メモリ６０に格納し、照明モードＣで撮像されたフレーム画像に対しては、ピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“１０”に置換してから画像メモリ６０に格納する。
【００４２】
図７は、撮像コントローラ１０４の制御手順を示す流れ図である。この手順は、ＣＰＵ１０１から撮像オン信号が供給されると開始し、撮像オフ信号が供給されると停止する。なお、撮像オン信号及び撮像オフ信号については後述する。
【００４３】
ＣＰＵ１０１から撮像オン信号が供給されると、撮像コントローラ１０４は、照明モードＡを選択する（Act１：切替手段４１）。そして撮像コントローラ１０４は、照明モードＡで設定されたタイミングで、撮像部１４と光源１５とに対して、撮像信号ＴＰと発光信号ＥＭＡとをそれぞれ出力する（Act２）。
【００４４】
これにより、撮像部１４で撮像されたフレーム画像が撮像コントローラ１０４に送られてくるので、撮像コントローラ１０４は、当該フレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“００”に置換する（Act３）。そして撮像コントローラ１０４は、識別コード“００”を含むフレーム画像を、画像メモリ６０に格納する（Act４：格納手段４２）。
【００４５】
また撮像コントローラ１０４は、当該フレーム画像の輝度が高いか否かを、例えば当該画像に含まれる白画素の数が規定数ｂｒを超えるか否かによって判断する（Act５）。ここで規定数ｂｒは、ＳＸＧＡの解像度を有するフレーム画像の総画素数（１２８０×１０２４）の１／６４とする。ＳＸＧＡの解像度を有するフレーム画像において、総画素数の１／６４以上が白画素のとき、この画像は、明るい部分の階調の情報が得られない、いわゆる白飛びとなる可能性がある。
【００４６】
当該フレーム画像の輝度が高くないと判定された場合（Act５にてＮＯ）、撮像コントローラ１０４は、Act１の処理に戻る。すなわち撮像コントローラ１０４は、照明モードＡに対して設定されたタイミングで、撮像信号ＴＰと発光信号ＥＭＡとを出力する。そして撮像コントローラ１０４は、撮像部１４で撮像されたフレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“００”に置換した後、このフレーム画像を、画像メモリ６０に格納する（Act２，３，４）。
【００４７】
これに対し、当該フレーム画像の輝度が高いと判定された場合には（Act５にてＹＥＳ）、撮像コントローラ１０４は、照明モードＢを選択する（Act６：切替手段４１）。そして撮像コントローラ１０４は、照明モードＢに対して設定されたタイミングで、撮像部１４と光源１５とに対して、撮像信号ＴＰと発光信号ＥＭＢとをそれぞれ出力する（Act７）。
【００４８】
これにより、撮像部１４で撮像されたフレーム画像が撮像コントローラ１０４に送られてくるので、撮像コントローラ１０４は、当該フレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“０１”に置換する（Act８）。そして撮像コントローラ１０４は、識別コード“０１”を含むフレーム画像を、画像メモリ６０に格納する（Act９：格納手段４２）。
【００４９】
また撮像コントローラ１０４は、当該フレーム画像の輝度が高いか否かを、Act５の処理と同様に判断する（Act１０）。当該フレーム画像の輝度が高くない場合（Act１０にてＮＯ）、撮像コントローラ１０４は、Act１の処理に戻る。すなわち撮像コントローラ１０４は、照明モードＡを選択し、この照明モードＡに対して設定されたタイミングで、撮像信号ＴＰと発光信号ＥＭＡとを出力する。そして撮像コントローラ１０４は、撮像部１４で撮像されたフレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“００”に置換した後、このフレーム画像を、画像メモリ６０に格納する（Act２，３，４）。
【００５０】
これに対し、依然として当該フレーム画像の輝度が高い場合には（Act１０にてＹＥＳ）、撮像コントローラ１０４は、照明モードＣを選択する（Act１１：切替手段４１）。そして撮像コントローラ１０４は、照明モードＣに対して設定されたタイミングで、撮像部１４と光源１５とに対して、撮像信号ＴＰと発光信号ＥＭＣとをそれぞれ出力する（Act１２）。
【００５１】
これにより、撮像部１４で撮像されたフレーム画像が撮像コントローラ１０４に送られてくるので、撮像コントローラ１０４は、当該フレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“１０”に置換する（Act１３）。そして撮像コントローラ１０４は、識別コード“１０”を含むフレーム画像を、画像メモリ６０に格納する（Act１４：格納手段４２）。
【００５２】
しかる後、撮像コントローラ１０４は、Act１の処理に戻る。すなわち撮像コントローラ１０４は、照明モードＡを選択し、この照明モードＡに対して設定されたタイミングで、撮像信号ＴＰと発光信号ＥＭＡとを出力する。そして撮像コントローラ１０４は、撮像部１４で撮像されたフレーム画像のピクセルｐ１１の８ビットデータのうち下２ビットを識別コード“００”に置換した後、このフレーム画像を、画像メモリ６０に格納する（Act２，３，４）。
【００５３】
このように撮像コントローラ１０４は、照明モードＡをデフォルト（通常モード）とする。そして、照明モードＡで撮像されたフレーム画像の輝度が高いと判定された場合、撮像コントローラ１０４は、次のフレーム画像に対する撮像条件を照明モードＢに切り替える。その結果、照明モードＢで撮像されたフレーム画像の輝度が高くないと判定された場合には、撮像コントローラ１０４は、次のフレーム画像に対する撮像条件を照明モードＡに戻す。
【００５４】
これに対し、照明モードＢで撮像されたフレーム画像の輝度が依然として高いと判定された場合には、撮像コントローラ１０４は、次のフレーム画像に対する撮像条件を照明モードＣに切り替える。この場合には、照明モードＣで撮像されたフレーム画像の輝度の高低に拘らず、撮像コントローラ１０４は、次のフレーム画像に対する撮像条件を照明モードＡに戻す。
【００５５】
したがって、画像メモリ６０には、少なくとも３回に１回は照明モードＡの撮像条件で撮像されたフレーム画像が取り込まれる。ここで、各フレーム画像の左上の１ピクセルｐ１１は、当該画像が撮像されたときの照明モードを示す識別コードに置換されている。
【００５６】
図３において、識別手段５１、選択手段５２、制御手段５３及び認識手段５４は、ＣＰＵ１０１によって実現される。
【００５７】
識別手段５１は、画像メモリ６０に格納されたフレーム画像毎に、その画像の撮像条件を識別する手段である。すなわちＣＰＵ１０１は、画像メモリ６０から取得したフレーム画像からピクセルＰ１１の８ビットデータを取得する。そしてこの８ビットデータのうち下２ビットが“００”であるとき、ＣＰＵ１０１は、当該フレーム画像の撮像条件が照明モードＡであると識別する。同様に、ＣＰＵ１０１は、ピクセルＰ１１の８ビットデータのうち下２ビットが“０１”であるときには当該フレーム画像の撮像条件が照明モードＢであると識別し、“１０”であるときには当該フレーム画像の撮像条件が照明モードＣであると識別する。
【００５８】
選択手段５２は、撮像部１４において、所定の撮像条件で撮像された画像を選択する手段である。本実施形態では、選択手段５２は、照明モードＡで撮像された画像を選択する。
【００５９】
制御手段５３は、選択手段５２により選択された画像を表示部（タッチパネル１２のディスプレイ１２ａ）に表示させる手段である。すなわちＣＰＵ１０１は、タッチパネル１２の画面上に画像領域７１（図８を参照）を形成する。そしてＣＰＵ１０１は、この画像領域７１内に、選択手段５２で選択された画像を順次表示させる。
【００６０】
画像領域７１の一例を図８に示す。画像領域７１は、商取引の登録明細画面７２の上に重ねて表示される。登録明細画面７２は、ＰＯＳ端末２において作成される。ＰＯＳ端末２のＣＰＵ２０１は、接続インターフェース２０７を介して登録明細画面７２のデータをスキャナ装置１に送り込み、ディスプレイ１２ａに表示させる。
【００６１】
認識手段５４は、画像メモリ６０に格納された画像からその画像に映し出されている商品を認識する手段であり、抽出手段５４１、算出手段５４２、出力手段５４３及び確定手段５４４を含む。
【００６２】
図９は、ＣＰＵ１０１が商品認識プログラムに従い実行する情報処理の手順を示す流れ図である。商品認識プログラムが起動すると、ＣＰＵ１０１は、この流れ図に示す手順の処理を開始する。先ずＣＰＵ１０１は、ディスプレイ１２ａに画像領域７１を表示させる（Act２１）。次いでＣＰＵ１０１は、撮像コントローラ１０４に対して撮像オン信号を出力する（Act２２）。
【００６３】
この撮像オン信号により、撮像コントローラ１０４では図７の流れ図に示した手順の処理が実行されるので、ＣＰＵ１０１は、画像メモリ６０からフレーム画像を撮像順に取り込む（Act２３）。ＣＰＵ１０１は、取り込んだフレーム画像が照明モードＡで撮像された画像であるか否かを判定する（Act２４：識別手段５１）。照明モードＡで撮像された画像である場合（Act２４にてＹＥＳ：選択手段５２）、ＣＰＵ１０１は、この画像を画像領域７１に表示させる（Act２５：制御手段５３）。これに対し、照明モードＡで撮像された画像でない場合、すなわち照明モードＢあるいは照明モードＣで撮像された画像の場合には（Act２４にてＮＯ：選択手段５２）、ＣＰＵ１０１は、この画像を画像領域７１に表示させない。
【００６４】
ＣＰＵ１０１は、取り込んだフレーム画像に商品Ｍが撮像されているか否かを確認する（Act２６）。具体的にはＣＰＵ１０１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１０１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１０１は、その輪郭内の画像を商品Ｍとみなす。
【００６５】
フレーム画像に商品Ｍが撮像されていない場合（Act２６にてＮＯ）、ＣＰＵ１１１は、Act２３の処理に戻る。すなわちＣＰＵ１０１は、画像メモリ２６から次のフレーム画像を取り込む。そして、このフレーム画像が照明モードＡで撮像された画像の場合には、画像領域７１に表示させる（Act２５）。またＣＰＵ１０１は、このフレーム画像に商品Ｍが撮像されているか否かを確認する（Act２６）。
【００６６】
フレーム画像に商品Ｍが撮像されていた場合（Act２６にてＹＥＳ）、ＣＰＵ１０１は、そのフレーム画像から商品画像を切り出す（Act２７）。そしてＣＰＵ１０１は、この商品画像から商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（Act２８：抽出手段５４１）。
【００６７】
ＣＰＵ１０１は、商品Ｍの外観特徴量を、認識辞書ファイル３０に保存されている各商品の特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、辞書登録されている商品毎に算出する（Act２９：算出手段５４２）。そしてＣＰＵ１０１は、類似度の大きい順に例えば５番目までの商品を認識商品候補として選択可能にタッチパネル１２に出力する（Act３０：出力手段５４３）。
【００６８】
ＣＰＵ１０１は、認識商品候補のなかから登録商品が確定されるか否かを判定する（Act３１）。キーボード１１またはタッチパネル１２の操作入力により、認識商品候補の中から１品目が選択されると、ＣＰＵ１０１は、その品目を客が買い上げる商品として確定する。もしくはＣＰＵ１０１は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する（確定手段５４４）。
【００６９】
登録商品が確定されないと（Act３１にてＮＯ）、ＣＰＵ１０１は、Act２３の処理に戻る。
【００７０】
登録商品が確定された場合には（Act３１にてＹＥＳ）、ＣＰＵ１０１は、この商品の情報をＰＯＳ端末２に出力する（Act３２）。これによりＰＯＳ端末２では、確定された商品の販売データが売上登録され、この商品の名称、単価、数量及び金額が登録明細画面７２に表示される。
【００７１】
ＣＰＵ１０１は、終了指令の有無を判断する（Act３３）。例えば、キーボード１１の合計キーが入力されて、１商取引の商品登録終了が宣言されると、ＣＰＵ１０１は、終了指令有りと認定する。終了指令がない場合（Act３３にてＮＯ）、ＣＰＵ１０１は、Act２３の処理に戻る。
【００７２】
終了指令がある場合には（Act３３にてＹＥＳ）、ＣＰＵ１０１は、撮像オフ信号を撮像コントローラ１０４に対して出力する（Act３４）。またＣＰＵ１０１は、画像領域７１を消去する（Act３５）。以上で、商品認識プログラムは終了する。
【００７３】
上述したように、スキャナ装置１は、撮像部１４での撮像条件として、撮像時における照明光の光量が第１の光量となる照明モードＡと、第１の光量よりも少ない第２の光量となる照明モードＢと、第２の光量よりもさらに少ない第３の光量となる照明モードＣとを有している。そして、撮像コントローラ１０４は、撮像部１４で画像が撮像される毎にその画像の輝度を求め、規定の輝度より高い場合に、現時点の照明モードよりも光量の少ないモードに一次的に切り替えて次の画像を撮像するようにしている。このようにスキャナ装置１は、読取窓１Ｂに翳された商品を撮像する際にダイナミックに画像の輝度を調整するので、商品の認識率を高く維持できる。
【００７４】
かかるスキャナ装置１において、タッチパネル１２の画面上には、画像領域７１が形成されており、この画像領域７１内に撮像部１４で撮像された画像が動画としてリアルタイムで表示される。ただし、ＣＰＵ１０１は、撮像部１４で撮像された画像のうち、照明モードＡで撮像された画像を選択して画像領域７１に表示させる。照明モードＢまたはＣで撮像された画像は、画像領域７１に表示させない。
【００７５】
したがって、画像領域７１には照明モードＡで撮像された画像、すなわち撮影時の照明光量が第１の光量の画像だけが表示される。その結果、被写体である商品が変わらなくても画像の輝度が高速で切り替わって画面がちらつくというような事象は起こり得ず、この事象による不快感をユーザが感じることはない。
【００７６】
因みに、スキャナ装置１では、少なくとも３フレームのうちの１フレームは照明モードＡの画像となる。ここで、１フレームの撮像周期が［１／３０］秒であるとすると、遅くとも［１／１０］秒間隔で表示画像は次の画像に切り替わる。したがって、照明モードＡで撮像された画像だけを選択しても、画像領域７１に表示される画像は、動画として違和感のないものとなる。
【００７７】
なお、本発明は、前記実施形態に限定されるものではない。  
例えば前記実施形態では、商品を撮像した画像からその商品の外観特徴量を抽出し、この特徴量のデータに基づいて当該商品を認識する商品認識装置（スキャナ装置１）に本発明を適用した場合を例示した。本発明の適用対象は、これに限定されるものではない。例えば、商品を撮像した画像からその商品に付されているバーコード等のコードシンボルを読み取り、当該商品を認識する商品認識装置に対しても、本発明を同様に適用することができる。
【００７８】
また、前記実施形態では、画像の撮像条件として撮像時における照明光の照射時間を調整する照明モードを例示した。撮像条件は、これに限定されるものではない。例えば、撮像時における照明光の強度を調整することで、画像の輝度を変化させてもよい。あるいは、撮像部１４におけるシャッタの時間を調整することで、画像の輝度を変化させてもよい。
【００７９】
また、前記実施形態では、画像の所定の画素に対応したデータを当該画像の撮像条件である照明モードの識別コードに置換することで、画像の撮像条件を識別可能とした。撮像条件を識別可能にする手段は、これに限定されるものではない。例えば、画像のフレーム毎に撮像条件を識別するためのデータを付加することで、識別可能としてもよい。
【００８０】
なお、商品認識装置の譲渡は一般に、商品認識プログラム等のプログラムがＲＯＭに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された商品認識プログラム等がユーザなどの操作に応じて書き込まれてもよい。商品認識プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００８１】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８２】
１…スキャナ装置、２…ＰＯＳ端末、１２…タッチパネル、１４…撮像部、１５…光源、３０…認識辞書ファイル、１０１…ＣＰＵ、１０４…撮像コントローラ。
【図１】
0005640112.tif 000002
【図２】
0005640112.tif 000003
【図３】
0005640112.tif 000004
【図４】
0005640112.tif 000005
【図５】
0005640112.tif 000006
【図６】
0005640112.tif 000007
【図７】
0005640112.tif 000008
【図８】
0005640112.tif 000009
【図９】
0005640112.tif 000010