(57)【要約】【課題】  商品のサイズを考慮した、より精度の高い商品識別を可能とする。【解決手段】  実施形態の商品読取装置は、撮像部、抽出手段、測定手段、判定手段および識別手段を含む。撮像部は、商品を撮像する。抽出手段は、撮像部で撮像された商品の画像から当該商品の外観特徴量を抽出する。測定手段は、撮像部から商品までの距離を測定する。判定手段は、測定手段により測定された距離と、画像の中での商品の大きさとに基づいて商品のサイズを判定する。識別手段は、抽出手段により抽出された外観特徴量と、判定手段により判定されたサイズとに基づいて商品を識別する。【選択図】      図２
2015138349.tif 000002
【特許請求の範囲】
【請求項１】
商品を撮像する撮像部と、
前記撮像部で撮像された前記商品の画像から当該商品のサイズ以外の外観特徴量を抽出する抽出手段と、
前記撮像部から前記商品までの距離を測定する測定手段と、
前記測定手段により測定された前記距離と、前記画像の中での前記商品の大きさとに基づいて前記商品のサイズを判定する判定手段と、
前記抽出手段により抽出された前記外観特徴量と、前記判定手段により判定された前記サイズとに基づいて前記商品を識別する識別手段とを具備したことを特徴とする商品読取装置。
【請求項２】
前記識別手段は、前記外観特徴量に基づいて前記商品を識別し、これにより複数の商品の候補が識別された場合には、それら複数の候補から前記サイズに基づいて１つを選択することで前記商品を識別することを特徴とする請求項１に記載の商品読取装置。
【請求項３】
商品を撮像する撮像部と、
前記撮像部から前記商品までの距離を測定する測定手段と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出するもので、前記測定手段により測定された前記距離と、前記撮像部により撮像された前記画像の中での前記商品の大きさとに基づいて前記商品のサイズを前記外観特徴量として少なくとも抽出する抽出手段と、
前記抽出手段により抽出された前記外観特徴量に基づいて前記商品を識別する識別手段とを具備したことを特徴とする商品読取装置。
【請求項４】
商品を撮像する撮像部と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
前記撮像部からこの撮像部で撮像された前記商品までの距離を測定する測定手段と、
前記測定手段により測定された前記距離と、前記画像の中での前記商品の大きさとに基づいて前記撮像部で撮像された前記商品のサイズを判定する判定手段と、
前記抽出手段により抽出された前記外観特徴量と、前記判定手段により判定された前記サイズとに基づいて前記商品を識別する識別手段と、
前記識別手段により識別された商品を買い上げ商品の１つとして、商品の買い上げに関わる所定のデータ処理を行う処理手段とを具備したことを特徴とする販売データ処理装置。
【請求項５】
商品を撮像する撮像部と、
前記撮像部から前記商品までの距離を測定する測定手段と、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出するもので、前記測定手段により測定された前記距離と、前記撮像部により撮像された前記画像の中での前記商品の大きさとに基づいて前記商品のサイズを前記外観特徴量として少なくとも抽出する抽出手段と、
前記抽出手段により抽出された前記外観特徴量に基づいて前記商品を識別する識別手段と、
前記識別手段により識別された商品を買い上げ商品の１つとして、商品の買い上げに関わる所定のデータ処理を行う処理手段とを具備したことを特徴とする販売データ処理装置。
【請求項６】
商品を撮像する撮像部と、前記撮像部から前記商品までの距離を測定する測定手段とを備えた商品読取装置を制御するためのコンピュータを、
前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
前記測定手段により測定された前記距離と前記画像の中での前記商品の大きさとに基づいて前記商品のサイズを判定する判定手段と、
前記抽出手段により抽出された前記外観特徴量と前記判定手段により判定された前記サイズとに基づいて前記商品を識別する識別手段として機能させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品読取装置、販売データ処理装置および制御プログラムに関する。
【背景技術】
【０００２】
撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像から物体の外観特徴量を抽出し、認識辞書に登録されている物体毎の基準特徴量と照合して、類似度を算出する。そして、類似度が最も高くなる基準特徴量に対応する物体を、撮像部で撮像された物体として認識する。近年、このような物体認識技術を小売店の会計システム（ＰＯＳシステム）に適用して、顧客が買い上げる商品を認識する提案がなされている。
【０００３】
物体認識技術を用いて買い上げ商品を認識する商品読取装置では、店員または買い物客が読取窓の前に翳した商品を、読取窓を介して撮像部で撮像する構成とされる。読取窓に対して商品が翳される位置は不定であり、撮像部から商品までの距離も様々に変化してしまう。
【０００４】
撮像部から商品までの距離が変化すると、撮像部で撮像された画像における商品のサイズが変化する。つまり、撮像部で撮像された画像における商品のサイズは見かけのサイズであり、外観特徴量としては利用できない。
【０００５】
このため、似た外観でサイズの異なる商品どうしを精度良く区別して商品を識別することが困難であった。
【０００６】
このような事情から、商品のサイズを考慮した、より精度の高い商品識別が行えることが望まれていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−２２７４８０号公報
【特許文献２】特開２０１２−２４３６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、商品のサイズを考慮した、より精度の高い商品識別を可能とすることができる商品読取装置、販売データ処理装置および制御プログラムを提供することである。
【課題を解決するための手段】
【０００９】
実施形態の商品読取装置は、撮像部、抽出手段、測定手段、判定手段および識別手段を含む。撮像部は、商品を撮像する。抽出手段は、撮像部で撮像された商品の画像から当該商品の外観特徴量を抽出する。測定手段は、撮像部から商品までの距離を測定する。判定手段は、測定手段により測定された距離と、画像の中での商品の大きさとに基づいて商品のサイズを判定する。識別手段は、抽出手段により抽出された外観特徴量と、判定手段により判定されたサイズとに基づいて商品を識別する。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る店舗会計システムの外観図。
【図２】図１に示す店舗会計システムにおける電気的要素のブロック図。
【図３】図２中の距離センサのブロック図。
【図４】距離−面積テーブルの構造を模式的に示す図。
【図５】第１の実施形態における商品読取処理のフローチャート。
【図６】第２の実施形態における商品読取処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下実施の形態の一例を図面を用いて説明する。なお、本実施の形態では、商品読取装置の機能を備えた販売データ処理装置の一例として、スーパーマーケット等の店舗に設けられた会計カウンタに設置される店舗会計システムについて説明する。
【００１２】
図１は本実施形態に係る店舗会計システムの外観図である。
【００１３】
この店舗会計システムは、商品読取装置１００およびＰＯＳ（point of sales）端末２００を含む。商品読取装置１００は、会計カウンタ３００の上に取り付けられる。ＰＯＳ端末２００は、レジ台４００に載置されたドロワ５００の上に設置される。商品読取装置１００とＰＯＳ端末２００とは、図示しない通信ケーブルにより電気的に接続される。ドロワ５００に代えて、自動釣銭機が設置される場合もある。
【００１４】
商品読取装置１００は、ハウジング１０１、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４および撮像部１０５を含む。
【００１５】
ハウジング１０１は、平型の箱状をなし、会計カウンタ３００の上に立つ。ハウジング１０１は、上端においてキーボード１０２、タッチパネル１０３、客用ディスプレイ１０４を支持し、側面において撮像部１０５を支持する。
【００１６】
撮像部１０５は、読取窓１０５ａを有するとともに、撮像デバイスを内蔵し、読取窓１０５ａの前にオペレータにより翳される商品（オブジェクト）を、読取窓１０５ａを介して撮像デバイスにより撮像する。また撮像部１０５は、測距窓１０５ｂを有するとともに、距離センサを内蔵し、上記商品までの距離を測定する。読取窓１０５ａおよび撮像デバイスは、撮像方向を変化させるためにチルト可能に支持されている。
【００１７】
ＰＯＳ端末２００は、ハウジング２０１、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５を含む。
【００１８】
ハウジング２０１は、キーボード２０２をその一部を外部に露出する状態で支持し、オペレータ用ディスプレイ２０３および客用ディスプレイ２０４を外部に位置する状態で支持し、プリンタ２０５を内部にて支持する。
【００１９】
会計カウンタ３００は、細長い天板３００ａを含む。会計カウンタ３００は、天板の長手方向に沿った顧客通路（図１における奥側）とオペレータスペース（図１における手前側）とを分ける。ハウジング１０１は、キーボード１０２、タッチパネル１０３および読取窓１０５ａはそれぞれオペレータスペース側に向け、客用ディスプレイ１０４は顧客通路側に向ける状態で、天板３００ａの長手方向の略中央に位置する。天板３００ａの上面は、商品読取装置１００を挟んで顧客移動方向の上流側の領域と下流側の領域とに分かれる。上流側の領域は、買物客が購入しようとする商品のうちの売上登録が済んでいない商品を置くためのスペースとして使用される。下流側の領域は、売上登録が済んだ商品を置くためのスペースとして使用される。
【００２０】
レジ台４００は、顧客通路における顧客の移動方向に対して下流側の会計カウンタ３００の端部に並ぶようにオペレータスペース側に位置する。
【００２１】
図２は図１に示す店舗会計システムにおける電気的要素のブロック図である。なお、図２に示される要素のうちで図１に示されるのと同一の要素には図１と同一の符号を付する。
【００２２】
商品読取装置１００は電気的要素として、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４のほかに、撮像デバイス１０５ｃ、距離センサ１０５ｄ、ＣＰＵ（central processing unit）１０６、ＲＯＭ（read-only memory）１０７、ＲＡＭ（random-access memory）１０８、ＰＯＳ端末インタフェース（ＰＯＳ端末Ｉ／Ｆ）１０９および通信システム１１０を含む。なお、アドレスバスおよびデータバスなどを含んだバスラインと、シリアルバスまたはパラレルバスと、バスラインとシリアルバスまたはパラレルバスとの間でのデータ伝送を仲介するインタフェース回路とを含み、キーボード１０２、タッチパネル１０３、客用ディスプレイ１０４、距離センサ１０５ｄ、撮像デバイス１０５ｃ、距離センサ１０５ｄ、ＣＰＵ１０６、ＲＯＭ１０７、ＲＡＭ１０８およびＰＯＳ端末インタフェース１０９を互いに接続する。
【００２３】
キーボード１０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
【００２４】
タッチパネル１０３は、例えばＬＣＤ（liquid crystal display）などの表示デバイスと、この表示デバイスの表示画面に重ねて配置された透明な二次元タッチセンサとを含む。タッチパネル１０３は、ＣＰＵ１０６の制御の下に任意の画像を表示デバイスにおいて表示する。タッチパネル１０３は、表示デバイスの表示画面におけるオペレータのタッチ位置を二次元タッチセンサにて検出し、そのタッチ位置を表す座標データを出力する。タッチパネル１０３は、オペレータに対して提示するべき各種の情報を表した画像を表示し、オペレータの操作を入力する。
【００２５】
客用ディスプレイ１０４は、ＣＰＵ１０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ１０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ１０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
【００２６】
撮像デバイス１０５ｃは、撮像部１０５に属する。撮像デバイス１０５ｃは、図示しない撮像レンズとともに撮像部１０５に含まれる。撮像デバイス１０５ｃは、エリアイメージセンサであるＣＣＤ（charge coupled device）撮像素子とその駆動回路とを含む。撮像レンズは、撮像領域の画像をＣＣＤ撮像素子に結像する。撮像領域とは、読取窓１０５ａから撮像レンズを通してＣＣＤ撮像素子のエリアに結像する領域を指す。撮像デバイス１０５ｃは、撮像領域の画像（フレーム画像）を表すフレームデータを一定の時間間隔で取得し、当該フレームデータを出力する。
【００２７】
距離センサ１０５ｄは、撮像部１０５に属する。距離センサ１０５ｄは、読取窓１０５ａの前にオペレータにより翳される商品までの距離を、測距窓１０５ｂを介して測定する。距離センサ１０５ｄとしては、周知のさまざまなタイプのデバイスを用いることが可能であるが、一例としてはレーザ距離計が好適である。距離センサ１０５ｄは、測定手段の一例である。
【００２８】
図３は距離センサ１０５ｄのブロック図である。
【００２９】
距離センサ１０５ｄは、発振器３０１、ダイオード３０２、ハーフミラー３０３、受光器３０４、受光レンズ３０５、受光器３０６および演算部３０７を含む。
【００３０】
発振器３０１は、所定周波数のクロック信号を発振し、ダイオード３０２および演算部３０７に供給する。
【００３１】
ダイオード３０２は、クロック信号に同期して間欠的にレーザ光を発する。これによりダイオード３０２は、レーザ光の点滅によりなるレーザ信号を出力する。
【００３２】
ハーフミラー３０３は、レーザ信号の一部を透過し、他の一部を受光器３０４に向けて反射する。
【００３３】
受光器３０４は、ハーフミラー３０３で反射されて入射したレーザ信号を受けて、そのレーザ信号の光強度に応じた振幅の電気信号（以下、基準信号と称する）を演算部３０７へと出力する。
【００３４】
受光レンズ３０５は、商品Ｍで反射したレーザ信号を受光器３０６に入射させる。
【００３５】
受光器３０６は、受光レンズ３０５を介して入射したレーザ信号を受けて、そのレーザ信号の光強度に応じた振幅の電気信号（以下、測定信号と称する）を演算部３０７へと出力する。
【００３６】
演算部３０７は、クロック信号と基準信号との比較により、ダイオード３０２が送信したレーザ信号が受光器３０４で受けられるまでの遅延時間を基準時間として算出する。演算部３０７は、クロック信号と測定信号との比較により、ダイオード３０２が送信したレーザ光が商品Ｍにより反射されて受光器３０６で受けられるまでの遅延時間を測定時間として算出する。そして演算部３０７は、基準時間と測定時間との比較により、ダイオード３０２から商品Ｍまでの距離を算出する。演算部３０７は、ダイオード３０２から商品Ｍまでの距離を測定値として出力しても良いし、ダイオード３０２との位置関係が既知である基準位置から商品Ｍまでの距離を、ダイオード３０２から商品Ｍまでの距離と上記の位置関係とに基づいて算出し、この距離を測定値として出力しても良い。
【００３７】
商品Ｍが図３中の左側に位置する第１の状態Ｍ１におけるダイオード３０２から受光器３０５までの光路と、商品Ｍが図３中の右側に位置する第２の状態Ｍ２におけるダイオード３０２から受光器３０５までの光路とでは、第２の状態Ｍ２における光路の方が長くなる。このため、測定時間は、第２の状態Ｍ２が第１の状態Ｍ１よりも大きくなることにより、第２の状態Ｍ２の測定値が大きくなる。
【００３８】
ここで、図２を参照しての説明に戻る。
【００３９】
ＣＰＵ１０６は、コンピュータの中枢部分に相当する。ＣＰＵ１０６は、ＲＯＭ１０７に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、商品読取装置１００としての各種の動作を実現するべく商品読取装置１００の各要素を制御する。
【００４０】
ＲＯＭ１０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１０７は、上記のオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムを記憶する。またＲＯＭ１０７は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する場合もある。
【００４１】
ＲＯＭ１０７に記憶されるアプリケーションプログラムには、後述する商品読取処理に関して記述した制御プログラムを含む。なお、商品読取装置１００の譲渡は、一般的に制御プログラムがＲＯＭ１０７に記憶された状態にて行われる。商品読取装置１００にＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ハードディスクドライブ、あるいはＳＳＤ（solid state drive）などの補助記憶デバイスを設けて、この補助記憶デバイスに制御プログラムを記憶した状態にて商品読取装置１００の譲渡がなされても良い。しかし、制御プログラムがＲＯＭ１０７や補助記憶デバイスに記憶されない状態で商品読取装置１００が譲渡されるとともに、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して制御プログラムが譲渡され、この制御プログラムが上記の別途に譲渡された商品読取装置１００の補助記憶デバイスに書き込まれても良い。
【００４２】
ＲＯＭ１０７が記憶するデータの１つは、距離−面積テーブル１０７ａである。
【００４３】
図４は距離−面積テーブル１０７ａの構造を模式的に示す図である。
【００４４】
距離−面積テーブル１０７ａは、複数の距離のそれぞれに関連付けて画素面積を記述している。
【００４５】
距離としては、読取可能範囲内に位置する商品について距離センサ１０５ｄで得られる測定値の範囲内の数値が記述される。なお読取可能範囲は、オブジェクト認識により商品を認識できるような適切な画像を撮像デバイス１０５ｃにより撮像できる範囲である。
【００４６】
画素面積としては、関連付けられた距離に商品が位置する場合において、撮像デバイス１０５ｃにより撮像された画像の１画素当たりで表される商品の面積の値が記述される。撮像部１０５により撮像される画像の解像度は、その被写体までの距離が長くなるほど低下することは広く知られたことである。つまり、１画素当たりで表される被写体の面積は、被写体までの距離が長くなるほど大きくなる。そして、１画素当たりで表される被写体の面積は、撮像部１０５の特性と被写体までの距離とに基づいて一意に定まる。そこで撮像部１０５の特性と、撮像部１０５と距離センサ１０５ｄとの位置関係とに基づき、関連付けられる距離が距離センサ１０５ｄで測定される時の１画素当たりで表される商品の面積の値を予め求めて、画像面積として記述しておく。
【００４７】
ここで、図２を参照しての説明に戻る。
【００４８】
ＲＡＭ１０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ１０８は、ＣＰＵ１０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。
【００４９】
ＰＯＳ端末インタフェース１０９は、ＰＯＳ端末２００とＣＰＵ１０６とのデータの授受を仲介する。ＰＯＳ端末インタフェース１０９としては、例えばＵＳＢ規格またはＲＳ−２３２Ｃ規格に準拠した周知のデバイスを利用できる。
【００５０】
ＰＯＳ端末２００は電気的要素として、キーボード２０２、オペレータ用ディスプレイ２０３、客用ディスプレイ２０４およびプリンタ２０５のほかに、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、読取装置インタフェース（読取装置Ｉ／Ｆ）２１０、ドロワインタフェース（ドロワＩ／Ｆ）２１１、通信デバイス２１２および通信システム２１３を含む。なお、通信システム２１３は、アドレスバスおよびデータバスなどを含んだバスラインと、シリアルバスまたはパラレルバスと、バスラインとシリアルバスまたはパラレルバスとの間でのデータ伝送を仲介するインタフェース回路とを含み、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、補助記憶ユニット２０９、読取装置インタフェース２１０、ドロワインタフェース２１１および通信デバイス２１２を互いに接続する。
【００５１】
キーボード２０２は、複数のキースイッチを含み、これらのキースイッチに対するオペレータによる操作の内容を表したコマンドを出力する。
【００５２】
オペレータ用ディスプレイ２０３は、ＣＰＵ２０６の制御の下に任意の画像を表示する。オペレータ用ディスプレイ２０３は、オペレータに対して提示するべき各種の画像を表示するために利用される。オペレータ用ディスプレイ２０３としては、例えばＬＣＤが利用できる。
【００５３】
客用ディスプレイ２０４は、ＣＰＵ２０６の制御の下に任意の文字列または画像を表示する。客用ディスプレイ２０４は、客に対して提示するべき各種の文字列や画像を表示するために利用される。客用ディスプレイ２０４としては、例えば蛍光管表示器またはＬＣＤが利用できる。
【００５４】
プリンタ２０５は、ＣＰＵ２０６の制御の下に、取引の内容を表したレシート画像をレシート用紙に対してプリントする。プリンタ２０５としては、周知の各種方式の既存のプリンタが利用できる。プリンタ２０５は、例えばサーマルプリンタである。
【００５５】
ＣＰＵ２０６は、コンピュータの中枢部分に相当する。ＣＰＵ２０６は、ＲＯＭ２０７に記憶されたオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムに基づいて、ＰＯＳ端末２００としての各種の動作を実現するべく各部を制御する。
【００５６】
ＲＯＭ２０７は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２０７は、上記のオペレーティングシステム、ミドルウェアおよびアプリケーションプログラムを記憶する。またＲＯＭ２０７は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する場合もある。
【００５７】
ＲＡＭ２０８は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で参照するデータを記憶する。さらにＲＡＭ２０８は、ＣＰＵ２０６が各種の処理を行う上で一時的に使用するデータを記憶しておく、いわゆるワークエリアとして利用される。ＲＡＭ２０８の記憶領域の一部は、売上登録された商品についての情報を管理するための商品リストエリアとして使用される。
【００５８】
補助記憶ユニット２０９は、上記コンピュータの補助記憶部分に相当する。例えばハードディスクドライブやＳＳＤなどであり、ＣＰＵ２０６が各種の処理を行う上で使用するデータや、ＣＰＵ２０６での処理によって生成されたデータを保存する。補助記憶ユニット２０９は、上記のミドルウェアおよびアプリケーションプログラムを記憶する場合もある。補助記憶ユニット２０９が記憶するデータの１つは、認識辞書ファイルである。認識辞書ファイルには、商品ＩＤ、商品名および特徴量データを含む認識辞書データが複数格納される。商品ＩＤは、各商品を個々に識別するための一意のコードである。商品名は、同じ認識辞書データに含まれる商品ＩＤによって特定される商品の名称である。特徴量データは、同じ認識辞書データに含まれる商品ＩＤで識別される商品の外観の特徴（外観形状、色合い、模様、凹凸具合等）を表す数値（特徴量）の集合である。
【００５９】
読取装置インタフェース２１０は、商品読取装置１００とＣＰＵ２０６とのデータの授受を仲介する。読取装置インタフェース２１０としては、ＰＯＳ端末インタフェース１０９が準拠する規格に準拠した周知のデバイスを利用できる。
【００６０】
ドロワインタフェース２１１は、ＣＰＵ２０６からドロワ開放が指示されたことに応じてドロワ５００を開放させるための駆動信号をドロワ５００に対して出力する。
【００６１】
通信デバイス２１２は、通信ネットワーク６００を介してサーバ７００と通信する。通信デバイス２１２としては、例えば既存のＬＡＮ通信デバイスを適用できる。
【００６２】
次に以上のように構成された店舗会計システムの動作を、商品読取装置１００の動作を中心に説明する。商品読取装置１００と同種の既存の装置が備える機能を商品読取装置１００も備えるが、その機能に関わる動作の説明は省略する。またＰＯＳ端末２００は、それと同種の既存の装置が備える機能を備えるが、その機能に関わる動作の説明は省略する。
【００６３】
（第１の実施形態）
図５は第１の実施形態における商品読取処理のフローチャートである。
【００６４】
商品読取装置１００が通常の動作状態にあるとき、ＣＰＵ１０６は図５に示す商品読取処理を繰り返し実行する。なお、商品読取処理の実行間隔は、商品読取装置１００の設計者などによって任意に定められて良い。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。
【００６５】
Ａｃｔ１においてＣＰＵ１０６は、オブジェクト認識処理の実行条件が成立しているか否かを確認する。実行条件は、例えば、オブジェクト認識による商品読取が有効に設定されていて、かつ撮像デバイス１０５ｃで得られたフレーム画像からオブジェクトに相当する画像を抽出可能であることとする。実行条件は、例えば商品読取装置１００の設計者またはユーザにより任意に定められて良い。ＣＰＵ１０６は、実行条件が成立していないためにＮＯと判定したならば、例えばバーコード認識などによる商品読取などのための他の処理へと移行する。ＣＰＵ１０６は、実行条件が成立しているためにＹＥＳと判定したならば、Ａｃｔ２へと進む。
【００６６】
Ａｃｔ２においてＣＰＵ１０６は、オブジェクト認識処理を実行する。つまりＣＰＵ１０６は、撮像デバイス１０５ｃで得られた最新のフレーム画像から商品の外観特徴量を抽出する。つまりＣＰＵ１０６は、抽出手段として機能する。ＣＰＵ１０６は続いて、上記の抽出した外観特徴量を、補助記憶ユニット２０９に記憶された認識辞書に登録されている商品毎の基準特徴量と照合して、類似度を算出する。そしてＣＰＵ１０６は、類似度が最も高くなる基準特徴量に対応する商品を、撮像部で撮像された商品として認識する。このオブジェクト認識処理については、例えば特開２０１３−８９０９０号公報に開示されているような周知の技術を利用できる。なお、このオブジェクト認識処理においては、商品のサイズに関する特徴量を考慮しない。このため、同種のものに関してサイズ区分の必要がある商品については、同種の異なるサイズの商品のそれぞれが候補として認識される可能性がある。例えば、ＭサイズとＬサイズとで販売単価が異なる「りんご」の場合、「りんご（Ｍ）」と「りんご（Ｌ）」とのいずれであるのかを認識する必要があるが、オブジェクト認識処理においては「りんご（Ｍ）」と「りんご（Ｌ）」との双方が候補として認識されることが有り得る。
【００６７】
Ａｃｔ３においてＣＰＵ１０６は、上記のオブジェクト認識処理により商品の認識に成功したか否かを確認する。そしてＣＰＵ１０６は、認識に失敗したためにＮＯと判定したならば、Ａｃｔ４へと進む。
【００６８】
Ａｃｔ４においてＣＰＵ１０６は、オブジェクト認識処理の終了条件が成立しているか否かを確認する。終了条件は、例えば、オブジェクト認識による商品読取の中断を指示する操作がオペレータによってキーボード１０２またはタッチパネル１０３等で行われた場合や、撮像デバイス１０５ｃで得られた最新のフレーム画像からオブジェクトに相当する画像を抽出不可能である場合とする。終了条件は、例えば商品読取装置１００の設計者またはユーザにより任意に定められて良い。ＣＰＵ１０６は、終了条件が成立しているためにＹＥＳと判定したならば、この商品読取処理を終了する。しかしながらＣＰＵ１０６は、終了条件が成立していないためにＮＯと判定したならば、Ａｃｔ２に戻り、撮像デバイス１０５ｃで新たに得られたフレーム画像を処理対象としてのオブジェクト認識処理を実行する。
【００６９】
かくして、認識に成功するか、あるいは終了条件が成立するまでの間、処理対象とするフレーム画像を変更しながらオブジェクト認識処理が繰り返される。そしてＣＰＵ１０６は、オブジェクト認識処理により商品の認識に成功したためにＡｃｔ３にてＹＥＳと判定したならば、Ａｃｔ５へと進む。
【００７０】
Ａｃｔ５においてＣＰＵ１０６は、認識された商品に関してサイズ区分があるか否かを確認する。具体的には例えばＣＰＵ１０６は、サイズ違いの同種の複数の商品がそれぞれ候補として認識された場合に、サイズ区分があると判定する。そしてＣＰＵ１０６は、サイズ区分があるためにＹＥＳと判定したならば、Ａｃｔ６へと進む。
【００７１】
Ａｃｔ６においてＣＰＵ１０６は、距離センサ１０５ｄが出力する測定値を取得する。
【００７２】
Ａｃｔ７においてＣＰＵ１０６は、オブジェクト認識により認識された商品の画像の面積（以下、商品面積と称する）を算出する。具体的にはＣＰＵ１０６はまず、Ａｃｔ６にて取得した測定値をキーとして距離−面積テーブル１０７ａを検索して、測定値と同じ値または近似する値の距離に関連付けられた画素面積を得る。続いてＣＰＵ１０６は、Ａｃｔ２でオブジェクト認識の対象としたフレーム画像から抽出した商品の画像に含まれる画素数をカウントし、このカウント値に上記の画素面積を乗じて商品面積を算出する。
【００７３】
Ａｃｔ８においてＣＰＵ１０６は、上記の算出した商品面積に基づいてサイズを判定する。これは例えば、商品面積とサイズとを関連付けて表すデータテーブルを例えば補助記憶ユニット２０９に記憶させておき、これを参照することにより行うことができる。かくしてＣＰＵ１０６は、判定手段として機能する。
【００７４】
Ａｃｔ９においてＣＰＵ１０６は、Ａｃｔ２での認識結果とＡｃｔ８での判定結果とから商品コードを特定し、その商品コードを示した認識結果をＰＯＳ端末２００へと送信する。このＡｃｔ９の処理とＡｃｔ２の処理とにより、ＣＰＵ１０６は識別手段として機能する。
【００７５】
Ａｃｔ１０においてＣＰＵ１０６は、終了条件が成立したか否かを確認する。そしてＣＰＵ１０６は、終了条件が成立していないためにＮＯと判定したならば、Ａｃｔ１０に戻る。すなわちＣＰＵ１０６はＡｃｔ１０において、終了条件が成立するのを待ち受ける。そしてＣＰＵ１０６は、終了条件が成立したためにＹＥＳと判定したならば、この商品読取処理を終了する。
【００７６】
ところでＣＰＵ１０６は、Ａｃｔ２にて認識された商品に関してサイズ区分がないためにＡｃｔ５にてＮＯと判定したならば、Ａｃｔ１１へと進む。
【００７７】
Ａｃｔ１１においてＣＰＵ１０６は、Ａｃｔ２での認識結果のみから商品コードを特定し、その商品コードを示した認識結果をＰＯＳ端末２００へと送信する。そしてこののちにＣＰＵ１０６は、Ａｃｔ１０の終了条件が成立するのを待ち受ける状態に移行する。
【００７８】
ＰＯＳ端末２００において、Ａｃｔ９またはＡｃｔ１１でのＣＰＵ１０６の処理によって商品読取装置１００から送信された認識結果を受けると、ＣＰＵ２０６はこの認識結果に示された商品コードをＲＡＭ２０８中の商品リストエリアに追加する。そして商品リストエリアのデータに基づいて、決済や販売管理などのための商品の買い上げに関わる周知のデータ処理を行う。かくしてＣＰＵ２０６は、処理手段として機能する。
【００７９】
以上のように第１の実施形態によれば、商品のサイズを考慮した商品の認識を行うことができる。これにより、同種のサイズ違いの商品を、それぞれ別々の商品として認識することが可能である。そして、そのように別々の商品として認識された商品のそれぞれを区別しつつ、商品の買い上げに関わるデータ処理を行うことができる。
【００８０】
（第２の実施形態）
図６は第２の実施形態における商品読取処理のフローチャートである。なお、図５に示されるものと同一の処理に関しては同一の符号を付し、その詳細な説明は省略する。
【００８１】
ＣＰＵ１０６は、実行条件が成立しているためにＡｃｔ１にてＹＥＳと判定したならば、Ａｃｔ６へと進む。
【００８２】
ＣＰＵ１０６は、Ａｃｔ６にて測定値を取得し、さらにＡｃｔ７にて商品面積を算出した上で、Ａｃｔ２１へと進む。
【００８３】
Ａｃｔ２１においてＣＰＵ１０６は、オブジェクト認識処理を実行する。ここでのオブジェクト認識処理は、処理の手順については第１の実施形態におけるＡｃｔ２と同様であって良い。しかしながらＡｃｔ２１においてＣＰＵ１０６は、Ａｃｔ７にて算出した商品面積を特徴量の１つとして加味する。このため第２の実施形態において認識辞書データには、商品面積を特徴量の１つとして含むものとしておく。かくしてＣＰＵ１０６は、商品のサイズを前記外観特徴量として少なくとも抽出する抽出手段と、この抽出手段により抽出された外観特徴量に基づいて商品を識別する識別手段として機能する。
【００８４】
オブジェクト認識処理の終了後、ＣＰＵ１０６はＡｃｔ３にて認識に成功したか否かを確認する。そしてＣＰＵ１０６は、認識に失敗したためにＮＯと判定したならば、Ａｃｔ４にて終了条件が成立したか否かを確認する。ＣＰＵ１０６は、終了条件が成立していないためにＮＯと判定したならば、Ａｃｔ６に戻る。かくして、認識に成功するか、あるいは終了条件が成立するまでの間、処理対象とするフレーム画像を変更しながらＡｃｔ６，７，２１が繰り返される。そしてＣＰＵ１０６は、オブジェクト認識処理により商品の認識に成功したためにＡｃｔ３にてＹＥＳと判定したならば、Ａｃｔ１１へと進む。
【００８５】
ＣＰＵ１０６は、Ａｃｔ１１にて、Ａｃｔ２１での認識結果から特定した商品コードを示した認識結果をＰＯＳ端末２００へと送信する。そしてこののちにＣＰＵ１０６は、Ａｃｔ１０の終了条件が成立するのを待ち受ける状態に移行する。
【００８６】
ＣＰＵ１０６は、終了条件が成立したためにＡｃｔ４またはＡｃｔ１０にてＹＥＳと判定したならば、この商品読取処理を終了する。
【００８７】
ＰＯＳ端末２００において、Ａｃｔ１１でのＣＰＵ１０６の処理によって商品読取装置１００から送信された認識結果を受けると、ＣＰＵ２０６はこの認識結果に示された商品コードをＲＡＭ２０８中の商品リストエリアに追加する。そして商品リストエリアのデータに基づいて、決済や販売管理などのための商品の買い上げに関わる周知のデータ処理を行う。
【００８８】
かくして第２の実施形態によれば、商品のサイズを特徴量の１つとして加味してのオブジェクト認識処理を行うことができ、これにより同種のサイズ違いの商品を、それぞれ別々の商品として認識することが可能である。そして、そのように別々の商品として認識された商品のそれぞれを区別しつつ、商品の買い上げに関わるデータ処理を行うことができる。
【００８９】
この実施形態は、次のような種々の変形実施が可能である。
【００９０】
商品読取装置１００とＰＯＳ端末２００とを一体化した装置として実現することも可能である。上述では、商品読取装置１００のＣＰＵ１０６が、コンピュータの中枢部分に相当し、各種制御を行うと説明しているが、これに限らず、ＰＯＳ端末２００のＣＰＵ２０６が、コンピュータの中枢部分に相当し、各種制御を行う構成であっても良い。
【００９１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９２】
１００…商品読取装置、１０５…撮像部、１０５ａ…読取窓、１０５ｂ…測距窓、１０５ｃ…撮像デバイス、１０５ｄ…距離センサ、１０６…ＣＰＵ、１０７…ＲＯＭ、１０７ａ…面積テーブル、１０８…ＲＡＭ、２００…ＰＯＳ端末、２０６…ＣＰＵ、２０７…ＲＯＭ、２０８…ＲＡＭ、２０９…補助記憶ユニット、３０１…発振器、３０２…ダイオード、３０３…ハーフミラー、３０４…受光器、３０５…受光レンズ、３０６…受光器、３０７…演算部。
【図１】
2015138349.tif 000003
【図２】
2015138349.tif 000004
【図３】
2015138349.tif 000005
【図４】
2015138349.tif 000006
【図５】
2015138349.tif 000007
【図６】
2015138349.tif 000008