(57)【要約】【課題】オペレータが離れている状態においては、通常の起動状態と比べると電力消費量を節約することができる商品販売データ処理装置およびプログラムを提供する。【解決手段】商品販売データ処理装置は、商品読取装置が出力した商品を特定する情報を用いて当該商品の売上登録を行う売上登録手段と、少なくとも前記売上登録にかかる情報をオペレータに向けて表示する表示デバイスと、前記商品読取装置から一定距離以上離れて設けられ、前記表示デバイスの表示面に対向する方向に対して前記一定距離内にオペレータが存在することを検知した場合に検知信号を出力するセンサと、前記センサから検知信号が入力している場合に前記表示デバイスをオンにし、前記センサから検知信号が入力していない場合に前記表示デバイスをオフにする表示制御手段と、を備える。【選択図】図２
2015125479.tif 000002
【特許請求の範囲】
【請求項１】
商品読取装置が出力した商品を特定する情報を用いて当該商品の売上登録を行う売上登録手段と、
少なくとも前記売上登録にかかる情報をオペレータに向けて表示する表示デバイスと、
前記商品読取装置から一定距離以上離れて設けられ、前記表示デバイスの表示面に対向する方向に対して前記一定距離内にオペレータが存在することを検知した場合に検知信号を出力するセンサと、
前記センサから検知信号が入力している場合に前記表示デバイスをオンにし、前記センサから検知信号が入力していない場合に前記表示デバイスをオフにする表示制御手段と、
を備えることを特徴とする商品販売データ処理装置。
【請求項２】
前記センサは、前記商品読取装置から一定距離以上離れて設けられている、
ことを特徴とする請求項１記載の商品販売データ処理装置。
【請求項３】
前記センサは、前記表示デバイスの下方に備えられている、
ことを特徴とする請求項１または２記載の商品販売データ処理装置。
【請求項４】
前記センサは、直接反射型の赤外線センサである、
ことを特徴とする請求項１ないし３の何れか一記載の商品販売データ処理装置。
【請求項５】
前記表示制御手段は、前記センサから検知信号が入力していない場合には、メモリ以外の給電を行わずに待機状態に入る、
ことを特徴とする請求項１ないし４の何れか一記載の商品販売データ処理装置。
【請求項６】
コンピュータを、
商品読取装置が出力した商品を特定する情報を用いて当該商品の売上登録を行う売上登録手段と、
前記商品読取装置から一定距離以上離れて設けられていて少なくとも前記売上登録にかかる情報をオペレータに向けて表示する表示デバイスの表示面に対向する方向に対して前記一定距離内にオペレータが存在することを検知した場合に検知信号を出力するセンサから検知信号が入力している場合に前記表示デバイスをオンにし、前記センサから検知信号が入力していない場合に前記表示デバイスをオフにする表示制御手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品販売データ処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来、商品読取装置が出力した商品を特定する情報（コード情報や一般物体認識した情報など）を用いて当該商品の売上登録を行うＰＯＳ（Point  Of  Sales）端末等においては、オペレータ用の表示デバイスや顧客用の表示デバイスを備えている。
【０００３】
ところで、従来のＰＯＳ端末によれば、電源がオン状態では、オペレータによる操作／非操作に関わらずオペレータ用の表示デバイスや顧客用の表示デバイスを常時駆動している為、無駄な電気を消費している。
【０００４】
また、従来のＰＯＳ端末によれば、動作状態から休止状態に移行する場合、オペレータのキー操作などにより休止モードに変更しなければならず、オペレータにとって手間が掛かるものとなっている。そのため、休止モードに変更するための面倒な操作を行わずに、オペレータがＰＯＳ端末から一時的に離れる事態が生じている。このようにオペレータが休止モードに変更せずにＰＯＳ端末から一時的に離れてしまった場合、客によるＰＯＳ端末の不正操作が容易にできてしまう、という問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、オペレータが離れている状態においては、通常の起動状態と比べると電力消費量を節約することができる商品販売データ処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の商品販売データ処理装置は、商品読取装置が出力した商品を特定する情報を用いて当該商品の売上登録を行う売上登録手段と、少なくとも前記売上登録にかかる情報をオペレータに向けて表示する表示デバイスと、前記商品読取装置から一定距離以上離れて設けられ、前記表示デバイスの表示面に対向する方向に対して前記一定距離内にオペレータが存在することを検知した場合に検知信号を出力するセンサと、前記センサから検知信号が入力している場合に前記表示デバイスをオンにし、前記センサから検知信号が入力していない場合に前記表示デバイスをオフにする表示制御手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。
【図２】図２は、ＰＯＳ端末の一部を拡大して示す斜視図である。
【図３】図３は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図４】図４は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図５】図５は、ＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。
【図６】図６は、商品の検出の一例を示す概念図である。
【図７】図７は、商品読取装置の動作の一例を示すフローチャートである。
【図８】図８は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、商品販売データ処理装置およびプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、商品販売データ処理装置およびプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、商品販売データ処理装置として、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末への適用例である。
【０００９】
図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行う商品販売データ処理装置であるＰＯＳ（Point  Of  Sales）端末１１とを備える。
【００１０】
ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１１】
ここで、図２はＰＯＳ端末１１の一部を拡大して示す斜視図である。図２に示すように、ＰＯＳ端末１１は、オペレータの所在を検知するためのセンサ２７を、表示デバイス２３の下方に備えている。センサ２７は、指向性が高く、静止検知が可能な、直接反射型の赤外線センサである。本実施形態のセンサ２７の検知距離は、表示デバイス２３の表示面２３ａに対向する方向に対して、例えば８０ｃｍ以内に規定されている。
【００１２】
すなわち、オペレータがＰＯＳ端末１１を操作している場合（例えば、キーボード２２や表示デバイス２３などを操作している場合）には、センサ２７は、オペレータの所在を検知することができる。また、オペレータが表示デバイス２３の表示面２３ａに対向する方向に８０ｃｍ以上離れた場合には、センサ２７は、オペレータの所在を検知することができなくなる。
【００１３】
ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。
【００１４】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。
【００１５】
このような商品読取装置１０１は、商品読取部１１０（図３参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図３参照）を配置している。
【００１６】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図３参照）は商品Ｇを撮像する。
【００１７】
商品読取装置１０１では、ＰＬＵファイルＦ１（図４参照）を参照し、撮像部１６４により撮像された画像に含まれる商品Ｇを、商品Ｇに添付されたバーコードやＱＲコード（登録商標）等のコード情報の読み取り、又は一般物体認識により特定する（詳細は後述する）。次いで、商品読取装置１０１では、特定した商品Ｇの確認や、個数などの入力を受け付ける画面を表示・操作部１０４に表示し、確認の入力が受け付けられた商品Ｇの商品ＩＤ、入力された個数などの情報をＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤ、個数等の情報に基づき、商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。
【００１８】
ここで、商品読取装置１０１は、ＰＯＳ端末１１の表示デバイス２３の下方に備えられたセンサ２７から、表示デバイス２３の表示面２３ａに対向する方向に例えば８０ｃｍ以上離れた位置に設置されている。このような位置に商品読取装置１０１を設置することにより、オペレータが商品読取装置１０１を操作している場合には、オペレータが表示デバイス２３の表示面２３ａに対向する方向に８０ｃｍ以上離れた場合に位置することになるので、センサ２７がオペレータの所在を検知することはない。
【００１９】
図３は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central  Processing  Unit）６１に、ＲＯＭ（Read  Only  Memory）６２とＲＡＭ（Random  Access  Memory）６３とがバス接続されて構成されている。
【００２０】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４、センサ２７がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００２１】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。
【００２２】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard  Disk  Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。
【００２３】
なお、ＰＯＳ端末１１のＣＰＵ６１を動作させるプログラムＰＲは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００２４】
また、ＰＯＳ端末１１のＣＰＵ６１を動作させるプログラムＰＲを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、ＰＯＳ端末１１のＣＰＵ６１を動作させるプログラムＰＲをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００２５】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録にかかる情報と、その商品Ｇの画像との関連付けが設定された商品ファイルである。
【００２６】
図４は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像（基準画像）とを、その商品Ｇの商品情報として格納するファイルである。尚、商品画像は、類似度の判定に用いられる商品の撮像画像（写真）である。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。
【００２７】
なお、ＰＬＵファイルＦ１のデータ構成は図４の例に限らず、例えば、商品画像から読み取られる色合いや表面の凹凸状況等の特徴量を、各商品について格納する形態としてもよい。
【００２８】
図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。
【００２９】
さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。
【００３０】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５、計時部１６６が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００３１】
撮像部１６４は、ＣＣＤ（Charged  Coupled  Device）撮像素子やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）撮像素子などのカラーイメージセンサであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像をカラーで行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。
【００３２】
音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。計時部１６６は、ＲＴＣ（Real  Time  Clock）等であり、ＣＰＵ１６１の制御の下で時刻を計時する。
【００３３】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。
【００３４】
次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図５を参照して説明する。
【００３５】
図５は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図５に示すように、商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２が格納するプログラムを実行することにより、画像取込部５１、商品検出部５２、コード読取部５３、オブジェクト認識部５４、モード切替部５５、入力受付部５６、情報出力部５７としての機能を備える。
【００３６】
また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、プログラムＰＲを実行することにより、売上登録部６１１、表示制御部６１２としての機能を備える。
【００３７】
画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたカラーのフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００３８】
商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ｇの写り込みを検出する。なお、商品Ｇを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ｇの輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品Ｇを把持していることから、商品Ｇの写り込みを検出する。
【００３９】
図６は、商品Ｇの検出の一例を示す概念図である。図６に示すように、画像取込部５１は、直近のフレーム画像Ｇ１０、Ｇ２０同士を比較し、輝度階調の差分から何も撮像していないフレーム画像Ｇ１０と、商品Ｇや店員の手Ｈ等の何らかの物体の写り込みがあるフレーム画像Ｇ２０とを識別する。次いで、画像取込部５１は、何らかの物体の写り込みが識別されたフレーム画像Ｇ２０について、上述した輪郭線の抽出や肌色領域の検出などの画像処理を行うことで、商品Ｇの検出を行う。
【００４０】
コード読取部５３は、画像取込部５１により取り込まれたフレーム画像をもとに、撮像部１６４において撮像された商品Ｇに添付されているバーコードや二次元コード（例えばＱＲコード（登録商標））等のコード情報をデコードして読み取る。この読み取られたコード情報をもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、コード読取部５３は、ＲＡＭ１６３に保存されたフレーム画像を読み出して、パターンマッチング技術によるバーコードの検出や、所定のファインダパターンから二次元コードの検出を行う。次いで、コード読取部５３は、検出されたバーコードや二次元コードから、商品コード（商品ＩＤ）等の商品Ｇの商品情報を読み取る。次いで、コード読取部５３は、ＰＬＵファイルＦ１を参照して読み取った商品情報（例えば商品コード）に該当する商品Ｇを特定する。
【００４１】
オブジェクト認識部５４は、画像取込部５１により取り込まれたフレーム画像をもとに、撮像部１６４において撮像された商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。この読み取られた特徴量をもとに、ＰＬＵファイルＦ１を参照することで撮像された商品Ｇが特定される。具体的には、オブジェクト認識部５４は、ＲＡＭ１６３に保存されたフレーム画像を読み出して、商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。例えば、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ｇを検出する。
【００４２】
なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。
【００４３】
次いで、オブジェクト認識部５４は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、オブジェクト認識部５４は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。
【００４４】
また、オブジェクト認識部５４は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の画像から、その登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。次いで、オブジェクト認識部５４は、ＰＬＵファイルＦ１の商品の中で、算出した類似度がもっとも高い商品を、撮像された商品Ｇとして特定する。
【００４５】
このように画像中に含まれる物体を認識するオブジェクト認識は一般物体認識（generic  object  recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井  啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６  [平成２２年８月１０日検索]，インターネット<URL：http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
【００４６】
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie  Shottonら，“Semantic  Texton  Forests  for  Image  Categorization  and  Segmentation”，[平成２２年８月１０日検索]，インターネット<URL：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
【００４７】
なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
【００４８】
類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。
【００４９】
ここで、オブジェクト認識部５４のオブジェクト認識により商品Ｇが特定できる場合とは、上述した類似度が所定の閾値を超える商品がＰＬＵファイルＦ１より見つかった場合を指すものとする。例えば、類似度を相対評価として算出する場合に、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとする。また、オブジェクト認識ができたと判定する閾値は０．５とする。撮像された商品Ｇに対する商品ＧＡの類似度が０．６、商品ＧＢの類似度が０．１、商品ＧＣの類似度が０．１、商品ＧＤの類似度が０．１、商品ＧＥの類似度が０．１等である場合は、商品ＧＡの類似度が閾値を超えていることから、オブジェクト認識部５４によるオブジェクト認識ができたものとする。また、撮像された商品Ｇに対する商品ＧＡの類似度が０．４、商品ＧＢの類似度が０．２、商品ＧＣの類似度が０．２、商品ＧＤの類似度が０．１、商品ＧＥの類似度が０．１等である場合は、商品ＧＡの類似度が閾値を超えていないことから、オブジェクト認識部５４によるオブジェクト認識ができなかったものとする。
【００５０】
モード切替部５５は、コード読取部５３により商品Ｇを特定する第１の読取処理を行う動作モード（コード読取モード）と、オブジェクト認識部５４により商品Ｇを特定する第２の読取処理を行う動作モード（オブジェクト認識モード）とを切り替える。具体的には、モード切替部５５は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇを商品検出部５２が検出したことに応じて、予め設定された所定の時間内は、コード読取モードに切り替えることでコード読取部５３により商品Ｇを特定させる。そして、所定の時間内において、コード読取部５３により商品Ｇの特定ができない場合、モード切替部５５は、オブジェクト認識モードに切り替えることでオブジェクト認識部５４により商品Ｇを特定させる。
【００５１】
ここで、モード切替部５５がコード読取部５３による第１の読取処理を行うコード読取モードからオブジェクト認識部５４による第２の読取処理を行うオブジェクト認識モードへ切り替える時間については、予めＲＯＭ１６２等に設定されており、例えば複数のフレーム画像からコード情報の読み取りを試みるために、数百ｍｓｅｃ程度で設定される。より具体的には、撮像部１６４において３０ｆｐｓで撮像されている場合には、１０フレーム程度のフレーム画像からコード情報の読み取りを試みるために、３４０ｍｓｅｃ程度の値が設定される。なお、上述した切替えの設定については、時間だけでなく、フレーム数で設定してもよい。具体的には、所定のフレーム数（例えば１０フレーム）のフレーム画像からコード情報の読み取りができずに、コード読取部５３による商品Ｇの特定ができない場合には、オブジェクト認識モードに切り替える構成であってもよい。
【００５２】
入力受付部５６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば情報出力部５７は、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇの確認画面を表示デバイス１０６に表示させ、その確認画面に対する選択操作に基づいて、特定された商品Ｇの売上登録を行うことの入力操作（確認操作）をキーボード１０７で受け付ける。この情報出力部５７が受け付けた確認操作は、情報出力部５７によりＰＯＳ端末１１に通知される。また、入力受付部５６は、商品Ｇの売上登録を行うことの確認操作の後、売上登録を行う商品Ｇの個数の入力を受け付ける操作画面を表示デバイス１０６に表示させ、個数の入力操作をキーボード１０７で受け付ける。この入力受付部５６が受け付けた個数は、情報出力部５７によりＰＯＳ端末１１に通知される。ＰＯＳ端末１１では、確認操作、個数の通知を受信して、売上登録部６１１における売上登録を行う。
【００５３】
情報出力部５７は、上述のようにして確認操作が行われた商品Ｇについて、その商品を示す情報（例えば、商品ＩＤや商品名等）や個数を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。情報出力部５７がＰＯＳ端末１１に出力する情報としては、コード読取部５３やオブジェクト認識部５４により特定された商品Ｇをもとに、情報出力部５７がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知してもよい。
【００５４】
ＰＯＳ端末１１の売上登録部６１１は、売上登録手段として機能するものであって、情報出力部５７から出力された商品ＩＤ、売上登録を行う個数、値引き額や値引き率等のサービス情報に基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、個数とともに売上マスタファイル等に記録して売上登録を行う。
【００５５】
ＰＯＳ端末１１の表示制御部６１２は、表示制御手段として機能するものであって、センサ２７から検知信号が入力している場合に表示デバイス２３および顧客用表示デバイス２４をオンにし、センサ２７から検知信号が入力していない場合に表示デバイス２３および顧客用表示デバイス２４をオフにする。
【００５６】
なお、ＰＯＳ端末１１の表示制御部６１２は、センサ２７から検知信号が入力していない場合には、メモリ（ＲＯＭ６２やＲＡＭ６３）以外の給電を行わずに待機状態に入るようにしても良い。
【００５７】
次に、チェックアウトシステム１の動作について詳細に説明する。先ず、商品読取装置１０１の動作について説明する。図７は、商品読取装置１０１の動作の一例を示すフローチャートである。
【００５８】
図７に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部５１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。次いで、画像取込部５１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像の取り込みを開始する（ステップＳ１２）。次いで、モード切替部５５は、コード読取部５３により商品Ｇを特定する第１の読取処理を行うコード読取モードに動作モードを切り替える（ステップＳ１３）。
【００５９】
次いで、ＣＰＵ１６１は、画像取込部５１により取り込まれたフレーム画像から商品検出部５２が商品Ｇを検知したか否かを判定する（ステップＳ１４）。ここで、商品Ｇを検知していない場合（ステップＳ１４：Ｎｏ）、ＣＰＵ１６１は処理を待機する。画像取込部５１により取り込まれたフレーム画像から商品Ｇが検知された場合（ステップＳ１４：Ｙｅｓ）、ＣＰＵ１６１は、計時部１６６による計時を開始して予め設定された一定時間内にコード読取部５３によりコード情報がデコードされて、商品Ｇが特定できたか否かを判定する（ステップＳ１５）。
【００６０】
計時部１６６により一定時間を計時してタイムアウトし、一定時間内においてコード読取部５３により商品Ｇが特定できない場合（ステップＳ１５：Ｎｏ）、モード切替部５５は、オブジェクト認識部５４により商品Ｇを特定する第２の読取処理を行うオブジェクト認識モードに動作モードを切り替える（ステップＳ１６）。
【００６１】
したがって、商品読取装置１０１では、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇを商品検出部５２が検出したことに応じて、一定時間内はコード読取モードに切り替えることでコード読取部５３により商品Ｇの特定が行われ、一定時間内に商品Ｇの特定ができない場合、オブジェクト認識モードに切り替えることでオブジェクト認識部５４により商品Ｇの特定が行われることとなる。このため、商品読取装置１０１では、コード情報の読み取りとともに、オブジェクト認識が行われることがないことから、コード読取部５３、又はオブジェクト認識部５４における処理速度を低減させることなく、商品Ｇを特定できる。また、コード読取部５３により一定時間内に商品Ｇの特定ができない場合にオブジェクト認識モードに切り替えられるため、コード情報の読み取りにより商品Ｇの特定が行われた後にオブジェクト認識が行われることがなく、効率的に商品Ｇを特定できる。
【００６２】
例えば、図６に例示したフレーム画像Ｇ２０において、商品Ｇに添付されたバーコード等が映り込んでいる場合は、オブジェクト認識部５４による商品Ｇの特定を行うことなく、コード読取部５３によりバーコードのデコードが行われて、商品Ｇが特定されることとなる。また、図６に例示したフレーム画像Ｇ２０において、商品Ｇに添付されたバーコード等が映り込んでいない場合（例えばバーコードが読取窓１０３に向けられていない場合）は、コード読取部５３により一定時間内に商品Ｇの特定ができないこととなる。このようにコード読取部５３により一定時間内に商品Ｇの特定ができない場合は、オブジェクト認識モードに切り替えられることから、商品Ｇに添付されたバーコード等の写り込みに関係なく、オブジェクト認識部５４により商品Ｇを特定することができる。
【００６３】
ステップＳ１６に次いで、ＣＰＵ１６１は、計時部１６６による計時を開始して予め設定された一定時間内にオブジェクト認識部５４によりオブジェクト認識が行われて、商品Ｇが特定できたか否かを判定する（ステップＳ１７）。
【００６４】
計時部１６６により一定時間を計時してタイムアウトし、一定時間内においてオブジェクト認識部５４のオブジェクト認識で商品Ｇが特定できない場合（ステップＳ１７：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１３へ処理を戻す。これにより、モード切替部５５は、オブジェクト認識モードからコード読取モードに動作モードを切り替える（ステップＳ１３）。このように、コード読取部５３及びオブジェクト認識部５４で商品Ｇの特定ができない場合は、読取窓１０３へ向けられた商品Ｇの特定ができなかったものとして、コード読取モードに動作モードを切り替えて、商品Ｇの検知前に処理を戻す。したがって、処理の負荷が大きいオブジェクト認識部５４については、商品Ｇの特定に必要とする時にのみ動作させるようにする。
【００６５】
計時部１６６により一定時間を計時している間にコード読取部５３、又はオブジェクト認識部５４により商品Ｇが特定できた場合（ステップＳ１５：Ｙｅｓ、ステップＳ１７：Ｙｅｓ）、入力受付部５６は、ＰＬＵファイルＦ１を参照して特定した商品Ｇを示す情報（商品名、商品画像）等の読み取り結果を表示デバイス１０６に表示する（ステップＳ１８）。次いで、入力受付部５６は、売上登録を行う商品Ｇの確認やその個数の入力をキーボード１０７より受け付ける（ステップＳ１９）。次いで、情報出力部５７は、ステップＳ１９において確認された商品Ｇについての商品ＩＤや、ステップＳ１９で受け付けた個数をＰＯＳ端末１１に出力する（ステップＳ２０）。
【００６６】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２１）。業務を継続する場合（ステップＳ２１：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１３へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ２１：Ｙｅｓ）、画像取込部５１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２２）、処理を終了する。
【００６７】
なお、上述した商品読取装置１０１のフローチャートでは、ステップＳ１５、ステップＳ１７において、一定時間内にコード情報のデコードができたか否か、又は一定時間内にオブジェクト認識ができたか否かを判定する構成を例示した。しかしながら、上記判定は、時間だけでなく、フレーム数であってもよい。具体的には、所定のフレーム数（例えば１０フレーム）のフレーム画像からコード情報の読み取りができたか否かを判定してもよい。同様に、所定のフレーム数（例えば３フレーム）のフレーム画像からオブジェクト認識ができたか否かを判定してもよい。フレーム画像の状態（例えば映り込んだ商品Ｇのぶれ）によっては、コード情報の読み取りやオブジェクト認識に処理時間を要する場合があり、判定までに処理ができるフレーム数にばらつきが生じることがある。したがって、所定のフレーム数でコード情報のデコードができたか否か、又は所定のフレーム数でオブジェクト認識ができたか否かを判定することで、判定までに処理するフレーム数を一定にすることができる。
【００６８】
また、ＣＰＵ１６１は、読取処理の切替えに応じて表示デバイス１０６における表示画面上の表示を異ならせるようにしてもよい。具体的には、動作モードがコード読取モードである場合は、商品Ｇに添付されているコード情報の読取処理中である旨を表示画面上に表示する。次いで、コード読取モードからオブジェクト認識モードに動作モードが切り替わった場合は、オブジェクト認識中である旨を表示画面上に表示する。このように現在の動作モードを表示画面上に表示させることで、現在、読取処理がコード情報の読み取り、又はオブジェクト認識による読み取りのいずれで行なっているかを操作者に対して報知できる。このような報知をすることで、例えばコード情報の読み取り中である旨の表示が出ている場合は、コード情報を読取窓１０３に翳すように操作者に対して促すことができる。また、オブジェクト認識中である旨の表示が出ている場合は、読取窓１０３に無理にコード情報を翳す必要がないことを操作者に把握させることができる。また、上述した商品読取装置１０１のフローチャートでは、先にコード読取モードに切り替え、次にオブジェクト認識モードに切り替える構成を例示した。しかしながら、コード読取モード、オブジェクト認識モードの切り替え順は特に限定するものではない。例えば、ステップＳ１３、ステップＳ１６の処理を交換して上述した順序とは逆の順序で切り替えてもよい。
【００６９】
次に、ＰＯＳ端末１１の動作について説明する。図８は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。
【００７０】
オペレータが商品読取装置１０１を操作して商品登録業務を行なっている場合には、オペレータが表示デバイス２３の表示面２３ａに対向する方向に８０ｃｍ以上離れた場合に位置することになるので、センサ２７がオペレータの所在を検知することはない。
【００７１】
したがって、オペレータが商品読取装置１０１を操作して商品登録業務を行なっている場合には、ＣＰＵ６１は、センサ２７から検知信号は入力していないので、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４をオフした状態にしている。すなわち、この場合、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４の表示が消えている。
【００７２】
このように、オペレータがＰＯＳ端末１１の前に居ない場合には、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４をオフした状態にしておくことにより、無駄な電気を削減し、省エネ対応することができる。
【００７３】
また、オペレータがＰＯＳ端末１１の前に居ない場合、オペレータが居ないことを感知したセンサ２７からの信号でＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４を自動で消すことにより、ＰＯＳ端末１１が休止状態であることを客に知らせることができる。
【００７４】
そして、商品読取装置１０１の操作による登録業務が終了し、オペレータが向きを変えて８０ｃｍ離れたＰＯＳ端末１１の前に立つと、センサ２７はオペレータの所在を検知する。
【００７５】
ＣＰＵ６１（表示制御部６１２）は、センサ２７から検知信号を入力すると（ステップＳ３１：Ｙｅｓ）、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４をオンした状態にする（ステップＳ３２）。すなわち、商品読取装置１０１の操作による登録業務が終了し、オペレータが向きを変えてＰＯＳ端末１１の前に立つと、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４が表示される。
【００７６】
このようにセンサ２７でオペレータがＰＯＳ端末１１の前に居るか居ないかを検知し、そのセンサ２７からの信号でＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４を自動でオン、オフさせることにより、オペレータがＰＯＳ端末１１を操作する時間を削減することができる。
【００７７】
また、ＣＰＵ６１は、商品読取装置１０１が図７のステップＳ２０で出力した、商品Ｇの商品ＩＤとその個数とを受信する（ステップＳ３３）。
【００７８】
その後、オペレータによるキーボード２２の操作指示に応じて売上登録処理が開始されると、ＣＰＵ６１（売上登録部６１１）は、ステップＳ３３で受信した商品ＩＤ、個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ３４）。
【００７９】
続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録処理の終了の有無を判定する（ステップＳ３５）。売上登録処理を継続する場合（ステップＳ３５：Ｎｏ）、ＣＰＵ６１は、ステップＳ３４へ再び戻り売上登録処理を継続させる。
【００８０】
一方、ＣＰＵ６１は、売上登録処理を終了する場合（ステップＳ３５：Ｙｅｓ）、センサ２７から検知信号が入力されているか否かを判定する（ステップＳ３６）。
【００８１】
次の客の買上商品についての商品登録業務を行なうべくオペレータが商品読取装置１０１に移動した場合や、オペレータがＰＯＳ端末１１から離れる場合には、センサ２７からの検知信号の入力がなくなるので（ステップＳ３６：Ｎｏ）、ＣＰＵ６１（表示制御部６１２）は、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４をオフした状態にし（ステップＳ３７）、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４の表示を消して、ステップＳ３１に戻る。
【００８２】
一方、センサ２７からの検知信号の入力がある場合には（ステップＳ３６：Ｙｅｓ）、ＣＰＵ６１（表示制御部６１２）は、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４をオンした状態にしたまま、ステップＳ３３に戻る。
【００８３】
このようにオペレータがＰＯＳ端末１１から離れる場合、センサ２７がオペレータが居なくなったことを検知し、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４の表示を自動で消すようにしたことにより、客が安易にＰＯＳ端末１１にアクセスし、ＰＯＳ端末１１を不正操作することを防止することができる。
【００８４】
なお、本実施形態においては、センサ２７がオペレータを検知して検知信号をＣＰＵ６１に入力している場合にのみ、ＰＯＳ端末１１の表示デバイス２３および顧客用表示デバイス２４を表示するようにしたが、これに限るものではない。例えば、センサ２７がオペレータを検知して検知信号をＣＰＵ６１に入力している場合にのみ、スリープモード（省電力の待機電源モード）に切り替えて、メモリ以外の給電を可能な限り行わず、待機状態に入るようにしても良い。これにより、ＰＯＳ端末１１はセンサ２７によってオペレータを検知している状態のみ操作が可能であり、センサ２７によってオペレータを検知していない状態では、通常の起動状態と比べると電力消費量を節約することができる。
【００８５】
このように、実施形態のＰＯＳ端末１１によれば、オペレータがＰＯＳ端末１１から離れている状態において、通常の起動状態と比べると電力消費量を節約することができる。
【００８６】
また、実施形態のＰＯＳ端末１１によれば、オペレータがＰＯＳ端末１１から離れている場合、客が安易にＰＯＳ端末１１にアクセスし、ＰＯＳ端末１１を不正操作することを防止することができる。
【００８７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
１１      商品販売データ処理装置
２７      センサ
６１１    売上登録手段
６１２    表示制御手段
【先行技術文献】
【特許文献】
【００８９】
【特許文献１】特開２０１３−１５６９３８号公報
【図１】
2015125479.tif 000003
【図２】
2015125479.tif 000004
【図３】
2015125479.tif 000005
【図４】
2015125479.tif 000006
【図５】
2015125479.tif 000007
【図６】
2015125479.tif 000008
【図７】
2015125479.tif 000009
【図８】
2015125479.tif 000010