(57)【特許請求の範囲】
【請求項１】
物品を載置するトレイと、トレイの底面側からバックライト光を照明するバックライト光源と、トレイ上の物品を撮像するデジタルカメラと、デジタルカメラからの画像を画像認識し、物品を識別する識別コンピュータとを備える物品識別装置において、
前記識別コンピュータは、前記バックライト光源がオンの際の画像とバックライト光源がオフの際の画像との差分画像から、トレイ上の物品を切り出すように構成され、
前記バックライト光源をオフさせる時間幅が、光源のオフの１回当たりで、２０ｍ秒以下であり、
前記デジタルカメラは毎秒ｍフレームの画像を撮像するように構成され、
前記バックライト光源は毎秒ｎ回（ｎ＞ｍで、ｎはｍの倍数ではない）明滅するように構成され、
前記識別コンピュータはさらに、前記差分画像として、明度が高い画像を撮像した際にバックライト光源がオンの際の画像を撮像したものとし、明度が低い画像を撮像した際にバックライト光源がオフの際の画像を撮像したものとするように構成されていることを特徴とする、物品識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像認識を用いた物品識別システムに関する。
【背景技術】
【０００２】
発明者らはパン等の種類を画像識別するシステムを実用化した。発明者らは、例えば特許文献１（特開２０１５−６５４９４）で、白色で半透明のトレイ上に物品を載置し、トレイの底面側から白色のバックライト光で照明した状態で、デジタルカメラによりトレイ上の物品を撮像することを提案した。そしてカメラの画像を画像認識し、物品を識別する。このようにすると、トレイ上のパンの種類を店員が入力する必要が無くなる。
【０００３】
このような物品識別システムはパンの種類の識別用にパン屋で既に用いられ、スーパーマーケット、コンビーニェンスストア等でも用いることができる。また薬局、病院等で、錠剤の識別に、工場、倉庫などで部品の識別に用いることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−６５４９４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
白色のトレイを白色のバックライトで照明する場合、白色の物品は識別が難しい。例えば白色のショートケーキはトレイと区別がつかず、見逃されることがある。食品上の、粉砂糖、砂糖が白く固まったもの、生クリーム、などもトレイの一部と見誤って、物品を識別できなくなることがある。逆にドーナツの穴からトレイが見えている領域を、物品の一部と誤識別することがある。さらに半透明の袋に収納された物品は識別が難しく、袋入りのパン、おにぎり等の食品、袋入りの薬剤、部品などは識別が難しい。
【０００６】
この発明の課題は、トレイと同色の物品、半透明の袋に収納された物品、穴のある物品などを切り出すことができるようにすることにある。
【課題を解決するための手段】
【０００７】
この発明は、物品を載置するトレイと、トレイの底面側からバックライト光を照明するバックライト光源と、トレイ上の物品を撮像するデジタルカメラと、デジタルカメラからの画像を画像認識し、物品を識別する識別コンピュータとを備える物品識別装置において、  前記識別コンピュータは、前記バックライト光源がオンの際の画像とバックライト光源がオフの際の画像との差分画像から、トレイ上の物品を切り出すように構成されていることを特徴とする。
【０００８】
差分画像が暗い領域はバックライトにより照明されていない領域、即ち物品によりバックライトが遮蔽されている領域である。そこで差分画像から物品を切り出すことができ、この切出は極めて正確である。図４（バックライト光源がオンの画像），図５（差分画像）に、物品がショートケーキである例を示す。そして、物品とバックライトとトレイとが全て同色でも、物品を切り出すことができる。またドーナツの穴から見えるトレイを、トレイとして識別でき、さらに半透明の袋の内部の物品も切り出すことができる。なお物品を切り出すとは、物品とトレイとを区別するマスクを作成することで、例えばマスク画像を作成することである。差分画像はＲＧＢの各成分毎等に作成しても良いが、計算コストが増すので、好ましくは明度画像の差分画像を求める。
【０００９】
好ましくは、前記バックライト光源をオフさせる時間幅が、光源のオフの１回当たりで、２０ｍ秒以下である。この程度の時間であれば、バックライト光源をオフしたことが人には視認されず、チカチカする印象を与えない。
【００１０】
特に好ましくは、前記デジタルカメラは毎秒ｍフレームの画像を撮像するように構成され、
前記バックライト光源は毎秒ｎ回（ｎ＞ｍで、ｎはｍの倍数ではない）明滅するように構成され、
前記識別コンピュータは、前記差分画像として、明度が高い画像を撮像した際にバックライト光源がオンの際の画像を撮像したものとし、明度が低い画像を撮像した際にバックライト光源がオフの際の画像を撮像したものとするように構成されている。
【００１１】
このようにすると、デジタルカメラとバックライト光源とを同期させる必要が無い。ｎは例えば３０以上、好ましくは５０以上で、バックライト光源のオンオフは人には視認できない。また  ｎ＞ｍでｎがｍの倍数でなければ、バックライト光源のオンオフと撮像とを同期させなくても、バックライトの照度が様々に変化する画像を撮像できる。そして画像間の明度の差を用いて、バックライト光源がオンの画像とオフの画像とを取り出すことができる。
【図面の簡単な説明】
【００１２】
【図１】実施例のシステム構成を示す図
【図２】実施例の識別コンピュータのブロック図
【図３】実施例での認識アルゴリズムを示すフローチャート
【図４】バックライト光源がオンの際の画像を示す図
【図５】バックライト光源がオンとオフとの差分画像を示す図
【図６】ドーナツの画像認識を模式的に示す図
【図７】透明袋内の食品を示す図
【発明を実施するための形態】
【００１３】
以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１４】
図１，図２に、実施例の物品識別システム２と物品識別装置４を示す。６はバックライト光源で、例えば白色ＬＥＤを面状に配列した光源で、光源色、光源の種類等は任意である。５は白色の半透明層で、バックライト光を散乱しながら透過させる。８はトレイで、白色の半透明プラスチック等から成り、バックライト光を通す性質があり、物品９を載せるものである。
【００１５】
１０はデジタルカメラ、１２はカメラ１０からの画像等を表示するカラーのモニタ、１４は識別コンピュータである。１５はＬＡＮ，１６はトレイ８上の物品を会計処理するＰＯＳ端末で、カラーのモニタ１８を備えている。なお識別コンピュータ１４はＰＯＳ端末１６内に設けても良い。また識別コンピュータ１４は、パン、ケーキ、おにぎり等の食品以外に、錠剤等の薬品、ボルト、ナット、ＩＣ、コンデンサ等の部品等、バックライト光源６上のトレイ８に載せて撮像できる物品を識別できる。
【００１６】
カメラドライブ２０は、デジタルカメラ１０に毎秒ｍフレーム（ｍは自然数で、例えば３０）の画像を撮像させ、バックライトパネルドライブ２１は、バックライト光源６を毎秒ｎ回明滅させる。ｎは自然数で、ｍよりも大きく、かつｍの倍数ではなく、例えば８０回、１００回などとする。ｍが大きいと、バックライトの明滅は人には見えず、チカチカしない。このためｍは３０以上が好ましく、特に５０以上が好ましい。
【００１７】
物品切出部２２は、デジタルカメラ１０のＲＧＢ画像を明度画像に変換し、明るい画像と暗い画像との差分画像を作成する。前記のｎはｍよりも大きく、ｎはｍの倍数ではないので、バックライト光源がオンの画像とオフの画像とが、デジタルカメラ１０により撮像される。カメラ１０からの例えば連続したフレーム間で差分画像を作成すると、バックライト光源がオンの画像とオフの画像との差分画像が得られる。この場合、バックライトパネルドライブ２１とカメラドライブ２０との同期無しに、差分画像を作成できる。ただし差分画像の画素値の正負を反転するなどの処理を行っても良い。
【００１８】
連続したフレーム間で差分する代わりに、画像全体の平均明度、あるいはトレイ８の縁の近くなど、物品９が無いはずの場所の明度などから、明るい画像と暗い画像とを判別し、これらの画像間の差分画像を作成しても良い。この場合も、バックライトパネルドライブ２１とカメラドライブ２０との同期は不要である。
【００１９】
バックライトパネルドライブ２１とカメラドライブ２０とを同期させる場合、例えば２０ｍ秒以下の人には感じられない時間の間、バックライト光源６をオフする。この時、バックライトパネルドライブ２１とカメラドライブ２０間で通信し、光源６がオフの間にカメラ１０で撮像する。
【００２０】
差分画像の画素値はバックライト光の明るさを表し、デジタルカメラ１０から物品９が見えている画素は暗く、トレイ８が見えている画素は明るい。このため、物品９とトレイ８とを識別できる。    
【００２１】
物品の穴の内部で環境光が入らず暗い領域でも、トレイの表面がカメラから見えていれば、差分画像は明るくなる。白色等の印刷を施した半透明な袋、ティッシュペーパなどは、バックライト光が透過する。このため半透明な包装で覆われた物品も、差分画像で形状を観察でき、物品は暗く、物品以外の領域は明るく見える。  
【００２２】
物品切出部２２は、差分画像を２値化し、平滑化等を施し、閾値と比較し、所定のサイズよりも小さな領域は物品ではなくノイズあるいは認識不要な異物であるとして、物品のマスク画像を作成する。２値化の閾値は固定でも、あるいは適応２値化のように可変でも良い。また差分画像では、物品の周囲に明るい輪郭が発生することが多いので、輪郭の抽出でもマスク画像を作成できる。仮にこのような輪郭が発生しなくても、差分画像の明暗のエッジなどから、物品の輪郭を抽出できる。以上のようにして物品を切り出したマスク画像を作成し、メモリ２４等に記憶する。なお画像識別の過程で、種々の画像をメモリ２４に記憶する。  
【００２３】
物品識別部２３は、マスク画像を用いて物品を識別する範囲を決定し、物品を識別する。物品識別部２３自体は公知のものと同様である。しかし実施例では、半透明の袋内の物品に対して、物品の形状を認識できるが、色彩、テクスチャー等の認識は困難である。このため物品識別部２３は、形状のみを用いて、限られた種類の物品を識別することがある。
【００２４】
図３は物品識別のアルゴリズムを示し、ステップ１でカメラのレートｍよりも短い周期で、毎秒ｎ回バックライト光源をオンオフさせ、ｎがｍより大きく、かつｎがｍの倍数ではないことにより、カメラとバックライト光源を同期させずに、様々な明るさの画像を撮像する。
【００２５】
ステップ２で、バックライトがオンの画像とオフの画像の差分画像を作成する。ステップ３で、差分画像を２値化し、物品の切出用マスクの画像を作成する。そしてステップ４で、マスク内の物品を画像識別する。
【００２６】
図４はバックライト光源がオンの画像を示し、図５はオンの画像とオフの画像の差分画像を示し、共にトレイ上の白色のショートケーキの画像である。図４ではバックライト光源に横筋が３本見えるが、バックライト光源のオンのタイミングが図４の縦方向に沿って微妙にシフトしているため等と思われる。また室内の天井部の蛍光灯がトレイ上に映っている。ケーキは他の部分よりも暗く、２値化によりケーキのみを切り出すことができる。なおケーキの輪郭は明るく、輪郭を用いてケーキを切り出すこともできる。このため従来は困難であった、ケーキ、洋菓子類の識別も容易になる。  
【００２７】
図６はトレイ８上のドーナツ３０を示し、中心の穴３１の部分では鎖線で示す環境光がカメラ１０に届きにくいので、穴３１の底部がトレイ８に属するのか、ドーナツ３０の一部かが識別しにくい。実線で示すバックライト光は、ドーナツ３０の穴３１の部分でもカメラ１０に届き、前記の差分画像を用いると、穴３１でトレイ８が見えていることを認識できる。
【００２８】
図７は、袋入りの食品４０を示し、透明袋４１の一部が白色に印刷されて半透明部４２となり、また賞味期限等を印刷した黒色プリント部４３もある。袋内の食品４４の内、半透明部４２で覆われた部分はカラー画像を撮像しにくい非可視部４５となる。
【００２９】
バックライト光は半透明部４２で散乱されながら透過するので、前記の差分画像から、非可視部４５を含めて食品４４の形状を切り出すことができる。この時、黒色プリント部４３も切り出されるが、食品としては有り得ない形状なので、異物等のノイズとして無視される。このようにして食品４４のマスクを作成し、カラー画像が見える部分の画像と、非可視部４５を含めた形状とから、食品４４の種類を識別する。袋が全て半透明な場合、食品４４の形状のみから、その種類を識別する。おにぎり、クロワッサン、ロールパン、バナナ等の識別で、ロールパン等の種類を問わないレベルでは、識別は容易である。このためスーパーマーケット、コンビーニェンスストア等で、包装されている食品の識別を行うことができる。
【００３０】
実施例では食品の識別を示したが、錠剤等の薬品、透明な袋入りの物品等も、識別できる。またカメラが撮像するレート（１秒当たりの撮像回数）ｍよりも、バックライト光源の１秒当たりのオンオフ回数ｎを大きくし、かつｎをｍの倍数としないと、カメラとバックライト光源を同期させずに、差分画像を取得できる。しかも光源の明滅が人には感じられない。      
【符号の説明】
【００３１】
２      物品識別システム
４      物品識別装置
５      半透明層
６      バックライト光源
８      トレイ
９      物品
１０    デジタルカメラ
１２    モニタ
１４    識別コンピュータ
１５    ＬＡＮ
１６    ＰＯＳ端末
１８    モニタ
２０    カメラドライブ
２１    バックライトパネルドライブ
２２    物品切出部
２３    物品識別部
２４    メモリ
２８    ＰＯＳインターフェース
３０    ドーナツ
３１    穴
４０    袋入りの食品
４１    透明袋
４２    半透明部
４３    黒色プリント部
４４    食品
４５    非可視部      
【図１】
0006734580.tif 000002
【図２】
0006734580.tif 000003
【図３】
0006734580.tif 000004
【図４】
0006734580.tif 000005
【図５】
0006734580.tif 000006
【図６】
0006734580.tif 000007
【図７】
0006734580.tif 000008