(57)【特許請求の範囲】
【請求項１】
撮像部に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識部と、
認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識部によって認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出部と、
前記検出部により検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定部と、
を備えることを特徴とするオブジェクト認識装置。
【請求項２】
前記検出部は、前記オブジェクトからの反射光のうち、最も明度の高い反射光の識別情報を検出し、
前記光源特定部は、前記最も明度の高い反射光の光源を特定する、
ことを特徴とする請求項１に記載のオブジェクト認識装置。
【請求項３】
前記光源特定部により特定された光源から照射される光の明るさを調光する調光部を備え、
前記オブジェクト認識部は、前記光源特定部により特定された光源が前記調光部により調光された後に、前記オブジェクトを認識するための画像を、前記撮像部に前記オブジェクトを再撮像させることにより再取得することを特徴とする請求項１または請求項２に記載のオブジェクト認識装置。
【請求項４】
前記光源特定部により特定された光源を示す情報を報知する報知手段を備える、
ことを特徴とする請求項１から請求項３のいずれか一項に記載のオブジェクト認識装置。
【請求項５】
前記識別情報は、光源毎の互いに異なる明滅パターンである、
ことを特徴とする請求項１から請求項４のいずれか一項に記載のオブジェクト認識装置。
【請求項６】
オブジェクト認識装置が実行する光源特定方法であって、
撮像部に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識ステップと、
認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識ステップで認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出ステップと、
前記検出ステップで検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定ステップと、
を有することを特徴とする光源特定方法。
【請求項７】
コンピュータを、
撮像手段に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識手段、
認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識手段によって認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出手段、
前記検出手段により検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト認識装置、光源特定方法、及び、プログラムに関する。
【背景技術】
【０００２】
電子式キャッシュレジスタ（商品登録システム）において、データコード読取部が、商品に付与されたバーコード等のデータコードを読み取り、読み取ったデータコードを基に商品を識別することが行われている。
また、特許文献１には、可視光通信に関する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９０３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、商品がラッピングされており、バーコードや、ＱＲ（Quick Response）コード（登録商標）等のデータコードにもラッピングが行われている場合、ラッピングにおける照明からの照り返しでバーコードが読み取れない等、照明からの照り返しが問題となる場合がある。特に、光源が複数存在する場合、照り返しの原因となる反射光には、複数の光源からの光に由来する反射光が含まれている。そのため、従来の技術では、どの光源からの反射光が問題になっているのかを特定することができないため、どの光源をどのようにすればよいかといった対策をたてることができない。
【０００５】
このような背景に鑑みて本発明がなされたのであり、本発明は、照り返しによる問題の原因となっている光源を簡易に特定することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係るオブジェクト認識装置は、撮像部に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識部と、認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識部によって認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出部と、前記検出部により検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定部と、を備えることを特徴とする。
また、本発明に係る光源特定方法は、オブジェクト認識装置が実行する光源特定方法であって、撮像部に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識ステップと、認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識ステップで認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出ステップと、前記検出ステップで検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定ステップと、を有することを特徴とする。
また、本発明に係るプログラムは、コンピュータを、撮像手段に所定のオブジェクトを撮像させることにより取得した前記オブジェクトの画像に基づいて前記オブジェクトを認識するオブジェクト認識手段、認識対象となるオブジェクトが当該オブジェクトからの反射光により前記オブジェクト認識手段によって認識できない場合に、前記反射光に含まれている光の識別情報を検出する検出手段、前記検出手段により検出された識別情報を、光源毎に当該光源が発する光に含まれる識別情報が予め対応付けて登録されている光源情報と比較することにより、前記反射光の光源を特定する光源特定手段、として機能させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、照り返しによる問題の原因となっている光源を簡易に特定することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係るオブジェクト認識システムの構成例を示す図である。
【図２】商品登録システムの外観を示す斜視図である。
【図３】商品識別装置の正面図である。
【図４】本実施形態に係るオブジェクト認識処理の手順を示すフローチャートである。
【図５】光源特定処理の詳細な手順を示すフローチャート（その１）である。
【図６】パルスの時間変化例を示す図（その１）である。
【図７】各パルスの実際の出力状態を示す図である。
【図８】光源特定処理の詳細な手順を示すフローチャート（その２）である。
【図９】パルスの時間変化例を示す図（その２）である。
【図１０】光源特定処理の詳細な手順を示すフローチャート（その３）である。
【図１１】パルスの時間変化例を示す図（その３）である。
【図１２】パルスの時間変化例を示す図（その４）である。
【発明を実施するための形態】
【０００９】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、本実施形態では、オブジェクトがバーコードであるものとして記載しているが、オブジェクトとしてＱＲコード等が用いられてもよい。また、文字認識であれば、オブジェクトは文字となり、画像認識であれば、オブジェクトは特定の画像となる。
【００１０】
［オブジェクト認識システム］
図１は、本実施形態に係るオブジェクト認識システムの構成例を示す図である。
オブジェクト認識システム（オブジェクト認識装置）Ｚは、オブジェクト認識装置１と、撮像装置（撮像部）２と、調光装置（調光部）３と、複数の光源４を有している。
撮像装置２は、バーコード等のオブジェクトを撮像し、オブジェクト認識装置１へ撮像結果を送る。
オブジェクト認識装置１は、撮像装置２から送られたオブジェクトの認識処理を行う。また、オブジェクト認識装置１は、オブジェクトにおける照り返し等が強すぎて、オブジェクトを読み取ることができない場合、最も明度の高い光源４等を特定し、調光装置３に特定された光源４を暗くする指示を送る。
調光装置３は、オブジェクト認識装置１からの指示に従って、光源４の明度調整を行う。
光源４から発せられる光には所定の識別情報がのっている。つまり、各光源４から発せられる光は識別情報を有している。この識別情報は、光源４毎に異なっている。例えば、光源４はパルス状に明滅を繰り返すことで、特定のルールに則って生成された明滅パターンに識別情報をのせている。ここで、識別情報は、特許文献１における光通信等で使用される光ＩＤ（Identification）等である。なお、光ＩＤはパリティビットを有している。
【００１１】
［オブジェクト認識装置］
オブジェクト認識装置１は、メモリ１０１、ＣＰＵ (Central Processing Unit)１０２、ディスプレイ等の表示装置１０３、撮像装置２や、調光装置３との間における情報を送受信する送受信装置１０４、ＨＤ（Hard Disk）等の記憶装置（記憶部）１０５を有する。
メモリ１０１には、図示しない記憶装置に格納されているプログラムが展開され、ＣＰＵ１０２によって実行されることで、処理部１１０及び処理部１１０を構成する認識部１１１、明度処理部１１２、光源特定処理部（検出部、光源特定部）１１３、エラー処理部１１４、オブジェクト処理部１１５を有している。
【００１２】
認識部１１１は、オブジェクトの認識を行う。
明度処理部１１２は、オブジェクトの認識ができなかった場合、撮像結果における明度を算出し、この明度が予め設定している閾値以上であるか否かを判定する。
光源特定処理部１１３は、撮像結果における明度が予め設定している閾値以上である場合、複数の光源４のうち、最も明度の高い光源４等を特定し、特定された光源４又は任意の光源４を暗くするよう調光装置３に指示する。
エラー処理部１１４は、最も明度の高い光源４を暗くしたり、明度が予め設定している閾値未満であるにもかかわらず、オブジェクトの認識ができない場合、表示装置１０３にエラー表示を行ったりする。
オブジェクト処理部１１５は、認識部１１１によってオブジェクトの認識ができた場合、オブジェクトの情報を取得する等の処理を行う。
【００１３】
記憶装置１０５には、各光源４の明滅パターンが図示しない入力装置を介して、予め格納されている。すなわち、記憶装置１０５には、複数の光源４それぞれが発する光に含まれる複数の識別情報（明滅パターン）と、該識別情報を有する光を発している光源４の光源情報と、が対応付けて格納されている。ここで、光源情報とは、光源ＩＤ等、光源を特定するための情報である。
なお、オブジェクト認識装置１は、調光装置３の機能を有する調光部を有していてもよい。
【００１４】
［オブジェクト認識システムの一例］
図２は、オブジェクト認識システムの一例としての商品登録システムの外観を示す斜視図である。なお、本実施形態におけるオブジェクト認識装置は、商品登録システムＡ１に限らず適用可能である。
図２に示すように、商品登録システムＡ１は、各商品を登録する商品識別装置Ａ２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ（Point of sale）端末Ａ３とを備える。この商品識別装置Ａ２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。図１のオブジェクト認識装置１は、商品識別装置Ａ２に搭載されることも可能であるし、ＰＯＳ端末Ａ３に搭載されることも可能であるし、商品識別装置Ａ２及びＰＯＳ端末Ａ３とは別の装置として設置されてもよい。
そして、天井等には図１における光源４が設置されている。すなわち、天井等に設置された光源４は、特定の識別情報を発している。
【００１５】
商品識別装置Ａ２は、横長テーブル状のカウンタ台Ａ５の長手方向の中央に設置されている。商品識別装置Ａ２は、薄型の矩形状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図３参照）が配置されている。
【００１６】
ハウジング５１の上部には、表示・操作装置２２が取り付けられている。表示・操作装置２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図３参照）が積層されている。表示・操作装置２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
【００１７】
ＰＯＳ端末Ａ３は、チェックアウト台Ａ６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末Ａ３によって開放動作の制御を受ける。
ＰＯＳ端末Ａ３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図２に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
なお、ディスプレイ２２１や、ディスプレイ３２１が、図１の表示装置１０３に該当する。
【００１８】
図３は、商品識別装置の正面図である。
商品識別装置Ａ２は、カウンタ台Ａ５に設置されている。商品識別装置Ａ２は、薄型の矩形状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作装置２２と、表示・操作装置２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（図１の撮像装置２）とが配置される。照明２７１を、図１の光源４の１つとしてもよい。認識領域８Ｍは、カメラ２７がオブジェクトを撮像する領域である。
【００１９】
（フローチャート）
図４は、本実施形態に係るオブジェクト認識処理の手順を示すフローチャートである。
図４の処理は、オブジェクト認識システムＺの電源がＯＮされることにより開始される。
まず、認識部１１１は、オブジェクト認識に失敗した回数である認識失敗回数Ｎを「０」に初期化する（Ｓ１０１）。
まず、撮像装置２がオブジェクトの撮像（動画）を行い（Ｓ１０２）、処理部１１０が撮像結果を取得する。すなわち、ユーザが、図３の読取窓５２等のオブジェクト読み取り器の前に読み取り対象となるオブジェクト（バーコード等）をかざすと、撮像装置２がかざされたオブジェクトを撮像する。ステップＳ１０２における撮像は、オブジェクト認識ができる程度の低フレームレートによる撮像でよい。このようにすることで、ステップＳ１０２→ステップＳ１０３→ステップＳ１０４「Ｙｅｓ」→Ｓ１１１の処理を早めることができる。
【００２０】
そして、認識部１１１が、取得された撮像結果を基に、オブジェクト（バーコード等）の認識処理を行う（Ｓ１０３）。オブジェクトの認識処理は既存の技術であるので、ここでは説明を省略する。
認識部１１１は、ステップＳ１０３の認識処理の結果、オブジェクトの認識ができたか否かを判定する（Ｓ１０４）。例えば、オブジェクトがバーコードであれば、認識部１１１はバーコードの情報を読み取ることができたか否かを判定する。
ステップＳ１０４の結果、オブジェクトの認識ができていれば（Ｓ１０４→Ｙｅｓ）、オブジェクト処理部１１５がオブジェクトに関する処理であるオブジェクト処理を行う（Ｓ１１１）。オブジェクト処理は、本実施形態の特徴とは関連がないので、ここでの説明は省略する。
ステップＳ１１１の後、処理部１１０は、ステップＳ１０１へ処理を戻す。
【００２１】
ステップＳ１０４の結果、オブジェクトの認識ができていない場合、すなわち、オブジェクトの認識に失敗した場合、（Ｓ１０４→Ｎｏ）、認識部１１１は認識失敗回数Ｎを「１」加算する（Ｎ＝Ｎ＋１；Ｓ１２１）。
そして、認識部１１１は認識失敗回数Ｎが所定数以上であるか否かを判定する（Ｓ１２２）。
ステップＳ１２２の結果、認識失敗回数Ｎが所定数以上である場合（Ｓ１２２→Ｙｅｓ）、エラー処理部１１４はユーザにエラーを報知する（Ｓ１３１）。すなわち、エラー処理部１１４は、オブジェクト読み取り器に備えられている、図示しないスピーカからエラー音を発したり、表示装置１０３にエラー表示を表示したりする。
【００２２】
ステップＳ１２２の結果、認識失敗回数Ｎが所定数未満である場合（Ｓ１２２→Ｎｏ）、明度処理部１１２が撮像結果の明度を算出し（Ｓ１４１）、算出した明度が予め設定している閾値以上であるか否かを判定する（Ｓ１４２）。
すなわち、明度処理部１１２は動画中の任意のフレームを選択し、そのフレームについて明度が所定の閾値以上であるか否かを判定する。選択されるフレームは、処理対象となっているフレームの中で、最も明度の高いフレームでもよいし、フレームの最初から所定数目のフレームでもよい。
【００２３】
ステップＳ１４２の結果、明度が所定の閾値未満である場合（Ｓ１４２→Ｎｏ）、エラー処理部１１４はユーザにエラーを報知する（Ｓ１３１）。
【００２４】
ステップＳ１４２の結果、明度が所定の閾値以上である場合（Ｓ１４２→Ｙｅｓ）、光源特定処理部１１３は、ユーザに高フレームレートでの撮像を促す。すなわち、光源特定処理部１１３が、オブジェクト読み取り器に備えられている、図示しないスピーカから再撮像を促す音を発したり、表示装置１０３に再撮像を促す情報を表示したりする。なお、「高フレームレート」とは、ステップＳ１０２での撮像におけるフレームレートより高いフレームレートである。つまり、「高フレームレート」は、各光源４が発している明滅パターンにおけるパルスのうち、最も短いパルス間隔よりも短い（高い）フレームレートである。すなわち、「高フレームレート」は、少なくとも、識別情報が判別できるフレームレートより高いフレームレートでる。
【００２５】
その後、撮像装置２は高フレームレートでオブジェクトの撮像を行い（Ｓ１４３）、処理部１１０が撮像結果を取得する。ステップＳ１４３では、ステップＳ１０２と同様、ユーザが、オブジェクト読み取り器の前に読み取り対象となるオブジェクト（バーコード等）をかざすと、撮像装置２がかざされたオブジェクトを撮像する。なお、撮像装置２が低フレームレートモード、高フレームレートモードに切り替え可能なタイプであれば、ステップＳ１４２の後、図示しない撮像装置制御部が、撮像装置２を低フレームレートモードから、高フレームモードにしてもよい。
【００２６】
あるいは、ステップＳ１４２の後、撮像装置制御部が、低フレームレート用の撮像装置２から、高フレームレート用の撮像装置２に撮像装置２を交換してもよい。
または、ステップＳ１０２の撮像において、撮像装置２が高フレームレートで撮像を行い、ステップＳ１４３の処理が省略されてもよい。この場合、ステップＳ１０２で撮像された撮像結果は、オブジェクト処理（Ｓ１１１）、もしくは、後記する光源特定処理（Ｓ１５１）の処理が終了するまで、記憶装置１０５に保存される。このようにすることで、２度撮像することがなくなるので、処理を効率的に行うことができ、光源４の特定に対するレスポンスの向上を図ることができる。
【００２７】
そして、光源特定処理部１１３が、オブジェクトの反射光における明滅パターン及び明度から光源４を特定する光源特定処理を行う（Ｓ１５１）。光源特定処理については後記する。
そして、光源特定処理部１１３は、調光装置３に、ステップＳ１５１の光源特定処理で特定された光源４の情報を送り、調光装置３が渡された情報を基に、光源特定処理で特定された光源４を暗くする（Ｓ１６１）。
すなわち、調光装置３は特定された光源４を、現在の明るさより所定段階暗くしたり、消灯したりする。
【００２８】
ステップＳ１６１の後、ステップＳ１０２へ処理が戻される。なお、ステップＳ１６１で光源４を暗くする時間は、ステップＳ１０２の撮像が終了するまでや、ステップＳ１０４で「Ｙｅｓ」が判定されるまで等である。
【００２９】
（光源特定処理その１）
図５は、図４のステップＳ１５１における光源特定処理の詳細な手順を示すフローチャートである。
まず、光源特定処理部１１３は、撮像結果における各フレーム画像で明度を積算する（Ｓ２０１）。ここで、フレーム画像とは、動画を構成する各フレームにおける画像である。明度の積算手法としては、以下の手法が考えられる。
（Ａ１）光源特定処理部１１３が、処理対象となっているフレーム画像におけるすべての画素の明度を積算する。
（Ａ２）光源特定処理部１１３は、処理対象となっているフレーム画像において、所定の明度以上の画素における明度を積算する。
（Ａ３）光源特定処理部１１３は、フレーム画像で撮像されているオブジェクトの一部等を基に、フレーム画像におけるオブジェクトの場所を推定する。例えば、大部分は照り返しによる画素の飽和があるが、バーコードの一部が写っている場合、光源特定処理部１１３は、写っているバーコードの一部からバーコードの撮像領域を推定する。
その後、光源特定処理部１１３は、処理対象となっているフレーム画像において推定されたオブジェクトの場所における画素の明度を積算する。
【００３０】
次に、光源特定処理部１１３は、閾値を所定値だけ下げる（Ｓ２０２）。閾値の初期値は、どの光源４の明度よりも高い値に予め設定しておく。
次に、光源特定処理部１１３は、パルスを検出したか否かを判定する（Ｓ２０３）。
ステップＳ２０３の結果、パルスを検出していない場合（Ｓ２０３→Ｎｏ）、光源特定処理部１１３は、ステップＳ２０２へ処理を戻す。
【００３１】
ステップＳ２０３の結果、パルスを検出した場合（Ｓ２０３→Ｙｅｓ）、光源特定処理部１１３は、検出したパルスを基に、パルスのパターン（識別情報）を検出する（Ｓ２０４）。このパターンは、反射光における明滅パターンである。
そして、光源特定処理部１１３は、検出したパルスのパターンと、記憶装置１０５（図１）に登録されている各光源４が発している明滅パターンとを比較することで、光源４を特定する（Ｓ２０５）。つまり、光源特定処理部１１３は、検出したパターンと一致する明滅パターンを記憶装置１０５に格納されている複数の明滅パターンから特定する。そして、光源特定処理部１１３は、記憶装置１０５において、特定された明滅パターンに対応付けられている光源情報を基に光源４を特定する。
【００３２】
図５の処理について、図６を参照して説明する。
図６は、反射光におけるパルスの時間変化例（パルスの時間変化データの例）を示す図である。
なお、図６では、簡単化のため、パルスの明部に光ＩＤ等の識別情報がのっている場合を示すが、暗部に識別情報がのっている場合でも同様の処理が可能である。
例えば、図６に示すような、３種類のパルスＰｕ１〜Ｐｕ３が、反射光の明滅パターンとして検出されたものとする。図６において、横軸は時間を示しており、縦軸は明度を示している。実際には、明度がピーク値に達するまで、実際にはゆるやかに明度が上昇し、かつ、ゆるやかに明度が下降していくが、ここでは説明を簡単にするため、明度の変化が矩形パルスであるものとする。
【００３３】
図７は、図６に示す各パルスの実際の出力状態を示す図である。
図７（ａ）は、パルスＰｕ１〜Ｐｕ３の出力状態を示す図であり、図７（ｂ）はパルスＰｕ１の出力状態のみを示す図であり、図７（ｃ）はパルスＰｕ２の出力状態のみを示す図であり、図７（ｄ）はパルスＰｕ３の出力状態のみを示す図である。
図７に示すように、パルスＰｕ１〜Ｐｕ３は、間欠的、かつ、ランダムに出力されることで、互いに重複しないようにするのが望ましい。
【００３４】
図６の説明に戻る。
ここで、閾値の初期値は、最も明度の高いパルスＰｕ１の明度よりはるかに高いものとする。
図５の処理のステップＳ２０２において、光源特定処理部１１３はパルスを検出するまで閾値を下げていく。
そして、図６に示すように、閾値の値が「Ｐ０」まで下げられると、パルスＰｕ１が検出される（図５のＳ２０３「Ｙｅｓ」）。
閾値を下げていくことで、最初に検出したパルスがパルスＰｕ１〜Ｐｕ３の中で最も高い明度を有しているパルスである。
【００３５】
従って、光源特定処理部１１３は、パルスＰｕ１を最も明度の高いパルスと判定し、検出されたパルスＰｕ１のパターンを検出する（図５のＳ２０４）。つまり、光源特定処理部１１３は、閾値Ｐ０で検出されているパルスのパターンを検出する。
その後、光源特定処理部１１３は、検出したパターンと、記憶装置１０５（図１）に登録されている各光源４が発している明滅パターンとを比較することで、検出したパルス（ここでは、パルスＰｕ１）のパターンで明滅している光源４を特定する（図５のＳ２０５）。
【００３６】
図５、図６に示すような処理を行うことで、照り返しによる問題の原因となっている光源４を簡易に特定することができる。特に、閾値Ｐ０を下げていくという簡単な処理、つまり、処理負荷が小さい状態で、最も明度の高い光源４を特定することができる。
【００３７】
（光源特定処理その２）
図８は、光源特定処理の別の詳細な手順を示すフローチャートである。
まず、光源特定処理部１１３は、撮像結果における各フレーム画像で明度を積算する（Ｓ３０１）。ステップＳ３０１の処理は、図５のステップＳ２０１と同様であるので、ここでは説明を省略する。
【００３８】
そして、光源特定処理部１１３は、ステップＳ３０１の結果を時系列に並べることで生成される明度の時間変化から、各明度のパターン（識別情報）を検出する（Ｓ３０２）。
その後、光源特定処理部１１３は、算出したパルスのパターンと、記憶装置１０５（図１）に登録されている各光源４が発している明滅パターンとを比較することで、各明度に対応する光源４を特定する（Ｓ３０３）。つまり、光源特定処理部１１３は、検出したパターンと一致する明滅パターンを記憶装置１０５に格納されている複数の明滅パターンから特定する。そして、光源特定処理部１１３は、記憶装置１０５において、特定された明滅パターンに対応付けられている光源情報を基に光源４を特定する。
【００３９】
図９は、本実施形態におけるパルスの時間変化例を示す図である。
図９におけるパルスの時間変化例は、図６におけるパルスの時間変化例と同様のものである。
図９に示す図は、図８のステップＳ３０１で各フレームにおいて積算された明度を時系列として示したもの、言い換えれば、フレームを時間方向にならべ、積算された明度を縦軸に示したグラフともいえる。
パルスＰｕ１〜Ｐｕ３は、図６と同様であるので、説明を省略する。
【００４０】
つまり、光源特定部１１３は、各フレーム画像における明度を積算し（図８のＳ３０１）、積算した結果を時間軸に配列する。これにより、図９に示すパルスの時間変化が得られる。パルスの時間変化から、どの時刻にどの大きさのピークが現れているかが、容易に算出できる。
光源特定処理部１１３は、各ピーク値の明度（図９では、Ｐ１〜Ｐ３）のパターンを検出する（図８のＳ３０２）。その後、光源特定処理部１１３は、検出したパターンと、記憶装置１０５（図１）に登録されている各光源４が発している明滅パターンとを比較することで、各パルスＰｕ１〜Ｐｕ３に対応する光源４それぞれを特定する（図８のＳ３０３）。
【００４１】
図８、図９に示すような処理を行うことで、最も明度の高い光源４だけでなく、すべての明度の光源４を特定することができる。例えば、処理部１１０は、表示装置１０３に光源４と、その位置と、それぞれの光源４における明度を表示させる。ユーザは、表示されている光源４の明度や、位置を基に、どの光源４を暗くするかを選択する。例えば、お客に影響がなく、かつ、明度の高い光源４を選択する。そして、ユーザが、タッチパネル２２２（図３参照）等により、光源４を選択すると、調光装置１０４は選択された光源４を暗くする。このようにすることで、光源４の位置等を考慮して光源４を暗くすることができる。
【００４２】
（光源特定処理その３）
図１０は、光源特定処理のさらに別の詳細な手順を示すフローチャートである。
まず、光源特定処理部１１３は、撮像結果における各フレーム画像で明度を積算する（Ｓ４０１）。ステップＳ４０１の処理は、図５のステップＳ２０１と同様であるので、ここでは説明を省略する。
【００４３】
次に、光源特定処理部１１３は、閾値を所定値だけ下げる（Ｓ４０２）。閾値の初期値は、すべての光源４の明度の加算値よりも高い値に予め設定しておく。
次に、光源特定処理部１１３は、パルスを検出したか否かを判定する（Ｓ４０３）。
ステップＳ４０３の結果、パルスを検出していない場合（Ｓ４０３→Ｎｏ）、光源特定処理部１１３は、ステップＳ４０２へ処理を戻す。
【００４４】
ステップＳ４０３の結果、パルスを検出した場合（Ｓ４０３→Ｙｅｓ）、光源特定処理部１１３は、検出したパルスのパターン（識別情報）が、予め記憶装置１０５（図１）に登録されている光源４の明滅パターンに一致しているか否かを判定する（Ｓ４０４）。
ステップＳ４０４の結果、検出したパルスのパターンが、予め記憶装置１０５に登録されている光源４の明滅パターンに一致していない場合（Ｓ４０４→Ｎｏ）、光源特定処理部１１３はステップＳ４０２へ処理を戻す。
【００４５】
ステップＳ４０４の結果、検出したパルスのパターンが、予め記憶装置１０５に登録されている光源４の明滅パターンに一致している場合（Ｓ４０４→Ｙｅｓ）、光源特定処理部１１３は検出したパターンと、記憶装置１０５（図１）に登録されている各光源４が発している明滅パターンとを比較することで光源４を特定する（Ｓ４０５）。つまり、光源特定処理部１１３は、検出したパターンと一致する明滅パターンを記憶装置１０５に格納されている複数の明滅パターンから特定する。そして、光源特定処理部１１３は、記憶装置１０５において、特定された明滅パターンに対応付けられている光源情報を基に光源４を特定する。
【００４６】
図１０の処理について、図１１及び図１２を参照して説明する。なお、図１１及び図１２において、縦軸及び横軸は図６と同様である。また、図１１及び図１２では、簡単化のため、パルスの明部に光ＩＤ等の識別情報がのっている場合を示すが、暗部に識別情報がのっている場合でも同様の処理が可能である。
図１１は、３つの光源４の明滅状態を示す図である。すなわち、３つの光源４から発せられている３種類のパルスＰｕ１１〜Ｐｕ１３が存在している。
ここで、パルスＰｕ１１のパターンで明滅している光源４を「光源Ａ」とする。同様に、パルスＰｕ１２のパターンで明滅している光源４を「光源Ｂ」とし、パルスＰｕ１３のパターンで明滅している光源４を「光源Ｃ」とする。
【００４７】
ここで、パルスが重なっている箇所については、明度が加算されるため、図１０のステップＳ４０１で取得される明度の時間変化は図１２に示されるようになる。すなわち、反射光の明滅パターンは図１２のようになる。
【００４８】
図１０の処理のステップＳ４０２において、光源特定処理部１１３はパルスを検出するまで閾値を下げていく。ここで、閾値の初期値は、前記したように各光源４の明度の加算値よりはるかに高いものとする。
すると、図１２に示すように閾値がＰ１０のとき、パルスを最初に検出する（図１０のＳ４０３「Ｙｅｓ」）。しかしながら、ここで検出されたパルスは、「光源Ａ」〜「光源Ｃ」のどの明滅パターンとも一致しない（図１０のＳ４０４「Ｎｏ」）。
【００４９】
従って、光源特定処理部１１３はさらに閾値を下げていく（図１０のＳ４０２→Ｓ４０３「Ｙｅｓ」→Ｓ４０４「Ｎｏ」）。
そして、図１２に示すように閾値がＰ１１のとき、新たなパルスが検出される（図１０のＳ４０３「Ｙｅｓ」）。このとき、検出されたパルスのパターンは、「光源Ａ」の明滅パターンと一致する（図１０のＳ４０４「Ｙｅｓ」）。
従って、光源特定処理部１１３は「光源Ａ」を最も明るい光源４と判定する（図１０のＳ４０５）。
【００５０】
図１０〜図１２に示すような処理が行われることで、複数の光源４から発せられるパルスが重複していても、最も明るい光源を特定することが可能となる。
【００５１】
また、本実施形態では、複数の光源４のそれぞれが異なる明滅パターンを発しているものとしているが、これに限らず、例えば、各光源４のそれぞれがインバータで異なる周波数に変調されている場合でも適用可能である。
さらに、本実施形態ではオブジェクト認識システムＺの適用例として、商品登録システムＡ１を示しているが、これに限らない。例えば、スマートフォン等の個人端末が部屋の照明を制御可能である場合、スマートフォン等によるＱＲコード等の認識がうまくいかない場合等で、本実施形態の処理が行われてもよい。このような形態は、例えば、店舗において、商品に貼付されているＱＲコードをスマートフォンで読み込むと、該商品に関する情報がスマートフォンに表示されるような場合等において有効である。
【００５２】
そして、本実施形態では、明るすぎてオブジェクトが認識できない場合（図４のＳ１４２→Ｙｅｓ）、光源特定処理部１１３が光源特定処理を行っているが、これに限らない。例えば、暗すぎて明るすぎてオブジェクトが認識できない場合（図４のＳ１４２で明度が所定の閾値以下である場合）に光源特定処理部１１３が光源特定処理を行ってもよい。あるいは、暗すぎて明るすぎることでオブジェクトが認識できない場合、調光装置３が各光源４を所定段階明るくしてもよい。
【００５３】
また、本実施形態では、撮像装置２が動画撮像を行っているが、静止画像を撮像するようにしてもよい。例えば、図４のステップＳ１０４では静止画でオブジェクトの認識が行われ、ステップＳ１４３では動画撮像が行われるようにしてもよい。
さらに、本実施形態では、光源４の明滅が所定のパターンであることを想定しているが、一定周期で明滅しているとしてもよい。この場合、オブジェクト認識装置１には、各光源４の周期に関する情報が予め登録される。
【００５４】
さらに本実施形態では、光源４が発する光に識別情報をのせる手法として、時分割方式による手法を前提としているが、これに限らない。例えば、周波数によって光源４が発する光に、識別情報がのせられる周波数分割方式が用いられてもよい。この場合、オブジェクト認識装置１は、撮像した反射光を周波数解析する周波数解析部を有することが望ましい。また、光源４が発する光から光源ＩＤ等の識別情報が識別できればよく、光に識別情報をのせる手法は、時分割方式や、周波数分割方式に限らない。
【００５５】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
オブジェクトを認識するオブジェクト認識装置であって、
複数の光源それぞれが発する光に含まれる複数の識別情報と、当該各識別情報を有する光を発している光源の光源情報と、を対応付けて格納する記憶部と、
認識対象となる前記オブジェクトを介して反射された反射光を取得し、その取得された反射光から、当該反射光に含まれている光の識別情報を検出する検出部と、
前記検出部により検出された識別情報を前記記憶部に格納されている複数の識別情報と比較し、その比較の結果、前記検出部により検出された識別情報に対応付けられている光源情報に基づいて前記光源の特定を行う光源特定部と、
を有することを特徴とするオブジェクト認識装置。
＜請求項２＞
前記検出部は、前記反射光に含まれる複数の光のうち、最も明度の高い光の識別情報を検出し、
前記光源特定部は、前記検出された、最も明度の高い光における識別情報を基に、前記最も明度の高い光源を特定する、
ことを特徴とする請求項１に記載のオブジェクト認識装置。
＜請求項３＞
前記特定された最も明度の高い光源の明るさを、現在の明るさよりも暗くする調光部と、を更に有することを特徴とする請求項２に記載のオブジェクト認識装置。
＜請求項４＞
前記反射光の明度を算出し、前記反射光の明度が所定の閾値以上であるか否かを判定する明度処理部と、
を更に有し、
前記検出部は、前記明度処理部による判定の結果、反射光の明度が所定の閾値以上である反射光に含まれている光の識別情報を検出する、
ことを特徴とする請求項１から請求項３のいずれか一項に記載のオブジェクト認識装置。
＜請求項５＞
前記オブジェクトの認識が失敗した場合、前記検出部による前記識別情報の検出を行う、
ことを特徴とする請求項１から請求項４のいずれか一項に記載のオブジェクト認識装置。
＜請求項６＞
前記光源は、特定の明滅パターンで明滅することにより、前記識別情報を有する光を発する、
ことを特徴とする請求項１から請求項５のいずれか一項に記載のオブジェクト認識装置。
＜請求項７＞
前記オブジェクトを撮像する撮像部を更に有し、
当該撮像部は、前記複数の光源における前記明滅パターン中の明滅間隔のうち、最も小さい明滅間隔よりも小さいフレームレートで、前記反射光の撮像を行うことで前記オブジェクトを介して反射される反射光の取得を行う、
ことを特徴とする請求項６に記載のオブジェクト認識装置。
＜請求項８＞
前記記憶部に格納されている識別情報は、前記明滅パターンであり、
前記検出部は、前記撮像された反射光の明度の時間変化データを生成し、該時間変化データにおいて、明度の閾値を下げていき、最初に検出された明度のパターンを検出し、
前記光源特定部は、前記検出部により検出されたパターンと、前記記憶部に格納されている複数の明滅パターンと、を比較し、その比較の結果、前記検出部により検出されたパターンに対応する光源を特定する、
ことを特徴とする請求項６に記載のオブジェクト認識装置。
＜請求項９＞
前記各光源は、前記識別情報を間欠的かつランダムに発している、
ことを特徴とする請求項１から請求項８のいずれか一項に記載のオブジェクト認識装置。
＜請求項１０＞
オブジェクトを認識するオブジェクト認識方法であって、
認識対象となる前記オブジェクトに対する反射光を取得する取得ステップと、
その取得された反射光に含まれる光識別情報を検出する検出ステップと、
その検出された光識別情報を、複数の光源の夫々に対応付けて予め記憶された光識別情報と比較することで、前記検出ステップで検出された前記光識別情報に対応する光源を特定する特定ステップと、
を有することを特徴とするオブジェクト認識方法。
【符号の説明】
【００５６】
１      オブジェク認識装置
２      撮像装置（撮像部）
３      調光装置（調光部）
４      光源
１０５  記憶装置（記憶部）
１１０  処理部
１１１  認識部
１１２  明度処理部
１１３  光源特定処理部（検出部、光源特定部）
１１４  エラー処理部
１１５  オブジェクト処理部
Ａ１    商品登録システム
Ａ２    商品識別装置
Ａ３    ＰＯＳ端末
Ｚ      オブジェクト認識システム（オブジェクト認識装置）
【図１】
0006424691.tif 000002
【図２】
0006424691.tif 000003
【図３】
0006424691.tif 000004
【図４】
0006424691.tif 000005
【図５】
0006424691.tif 000006
【図６】
0006424691.tif 000007
【図７】
0006424691.tif 000008
【図８】
0006424691.tif 000009
【図９】
0006424691.tif 000010
【図１０】
0006424691.tif 000011
【図１１】
0006424691.tif 000012
【図１２】
0006424691.tif 000013