(57)【要約】  情報処理システム（２０００）は、カメラ（１０）、偏光フィルタ（２０）、ディスプレイ装置（３０）、及び情報処理装置（２００）を有する。ディスプレイ装置（３０）は表示画面（３２）を有し、表示画面（３２）の上には物体（４０）が置かれる。カメラ（１０）は、表示画面（３２）が撮像範囲に含まれる。情報処理装置（２００）は、カメラ（１０）によって生成される撮像画像（１２）に基づく第１表示を、表示画面（３２）に表示させる。偏光フィルタ（２０）は、カメラ（１０）のレンズが表示画面（３２）と対向する時に、カメラ（１０）のレンズと表示画面（３２）との間に位置する。
2019167267.tif 000002
【特許請求の範囲】
【請求項１】
表示画面の上に物体が置かれるディスプレイ装置と、
前記表示画面が撮像範囲に含まれるカメラと、
前記カメラによって生成される撮像画像に基づく第１表示を前記表示画面に表示させる情報処理装置と、
第１偏光フィルタと、を有し、
前記第１偏光フィルタは、前記カメラのレンズが前記表示画面と対向する時に、前記カメラのレンズと前記表示画面との間に位置する、情報処理システム。
【請求項２】
前記第１表示を表す光は第１方向に振動する偏光であり、
前記第１偏光フィルタは、前記第１方向とは異なる第２方向の光を通過させる、請求項１に記載の情報処理システム。
【請求項３】
前記ディスプレイ装置は前記第１方向に振動する偏光を出射する、請求項２に記載の情報処理システム。
【請求項４】
前記表示画面よりも上に前記第１方向に振動する光を通過させる第２偏光フィルタを有し、
前記物体は前記第２偏光フィルタの上に置かれる、請求項２に記載の情報処理システム。
【請求項５】
前記情報処理装置は、前記表示画面に表示された第２表示が含まれる撮像画像を解析することで、前記第１偏光フィルタの向きが適切であるか否かを判定する、請求項１乃至４いずれか一項に記載の情報処理システム。
【請求項６】
前記情報処理装置は、前記表示画面上に置かれた商品を前記撮像画像から検出し、前記検出した商品に関する前記第１表示を前記表示画面に表示させる、請求項１乃至５いずれか一項に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理システムに関する。
【背景技術】
【０００２】
カメラで商品を撮像することで商品を認識する技術が開発されている。特許文献１には、会計対象の商品を撮影し、画像解析で画像内の商品を認識して登録する商品登録装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−６２５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者は、表示画面を上方に向けたディスプレイ装置上に商品を置き、その商品が撮像された撮像画像を画像解析することで、商品を認識するシステムを見出した。さらに本発明者は、このようなシステムにおいて、画像解析に基づく表示をディスプレイ装置に表示させることを検討した。その検討の結果、ディスプレイ装置上の表示がその後の画像解析に影響を与えうることを見出した。【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、表示画面上に置かれた商品を画像解析によって認識するシステムにおいて、画像解析の精度を高くする技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の情報処理システムは、１）表示画面の上に物体が置かれるディスプレイ装置と、２）表示画面が撮像範囲に含まれるカメラと、３）カメラによって生成される撮像画像に基づく第１表示を表示画面に表示させる情報処理装置と、４）第１偏光フィルタと、を有する。
第１偏光フィルタは、カメラのレンズが表示画面と対向する時に、カメラのレンズと表示画面との間に位置する。
【発明の効果】
【０００７】
本発明によれば、表示画面上に置かれた商品を画像解析によって認識するシステムにおいて、画像解析の精度を高くする技術が提供される。
【図面の簡単な説明】
【０００８】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【０００９】
【図１】実施形態１の情報処理システムを例示する図である。
【図２】情報処理システムの機能構成を例示するブロック図である。
【図３】情報処理装置を実現するための計算機を例示する図である。
【図４】カメラのレンズと離れた位置に設けられる第１偏光フィルタを例示する図である。
【図５】第１偏光フィルタによる光の減衰を概念的に例示する図である。
【図６】ディスプレイ装置から出射される偏光の振動方向と第１方向との関係を例示する図である。
【図７】ディスプレイ装置上に第２偏光フィルタが設けられた状況を例示する図である。
【図８】撮像画像から物体が検出されたことに応じ、その位置を示す表示が表示画面に表示される様子を例示する図である。
【図９】表示画面に商品の情報が表示される様子を例示する図である。
【図１０】表示画面に商品の情報が表示される様子を例示する図である。
【図１１】第１偏光フィルタの向きが適切か否かの判定結果が表示画面に表示される様子を例示する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
【００１１】
［実施形態１］
図１は、実施形態１の情報処理システム２０００を例示する図である。なお、図１は情報処理システム２０００の動作の理解を容易にするための図であり、情報処理システム２０００の動作を限定するものではない。
【００１２】
情報処理システム２０００は、カメラ１０によって生成される撮像画像１２について画像解析を行う。例えば情報処理システム２０００は、顧客が商品を購入する際に、その商品を精算対象として登録する処理を行う。この場合、カメラ１０によって商品が撮像される。情報処理システム２０００は、商品が撮像された撮像画像１２を画像解析することにより、その商品を認識する。商品の認識により、例えば、その商品の価格や名称などが特定される。以下、情報処理システム２０００について概要を説明する。
【００１３】
カメラ１０は、その撮像範囲に表示画面３２が含まれる。カメラ１０は、表示画面３２上に置かれた物体４０を撮像して、撮像画像１２を生成する。情報処理システム２０００は、撮像画像１２を解析し、その結果に基づく表示（以下、第１表示３４）を表示画面３２に表示させる。カメラ１０は、表示画面３２に第１表示３４が表示された後も撮像を行い、撮像画像１２をさらに生成する。
【００１４】
ここで、情報処理システム２０００は第１偏光フィルタ２０を有する。第１偏光フィルタ２０は、カメラ１０のレンズが表示画面３２と対向する時に、カメラ１０と表示画面３２との間に位置する。言い換えれば、第１偏光フィルタ２０は、外部からカメラ１０に入射する光が、第１偏光フィルタ２０を通過した後にカメラ１０に入射する様に設置される。例えば第１偏光フィルタ２０は、カメラ１０のレンズ部分に取り付けられる。
【００１５】
＜作用効果＞
仮に第１偏光フィルタ２０を設けないと、第１表示３４が表示された後に生成される撮像画像１２には、物体４０だけでなく第１表示３４もはっきりと含まれることになる。そのため、情報処理装置２００が撮像画像１２の解析を行う際に、ディスプレイ装置３０に表示された画像である第１表示３４を誤って実物体として扱ってしまう可能性がある。よって、情報処理装置２００の画像解析に誤りが生じやすくなる（すなわち、画像処理の精度が低くなる）。また、撮像画像１２に含まれる第１表示３４と物体とを区別できるように画像解析を行おうとすると、複雑な処理を行う画像解析アルゴリズムを採用する必要があり、画像解析に要する時間が長くなったり、画像解析に要する計算機資源が多くなったりするという問題もある。
【００１６】
この点、情報処理システム２０００では、第１偏光フィルタ２０が、カメラ１０のレンズに向かう光のうち、表示画面３２に表示される情報を表す光を減衰させる。より具体的には、後述するように、第１表示３４を表す光は偏光であり、偏光フィルタ２０はその偏光の振動方向とは異なる振動方向の光を通過させるように設置される。こうすることで、第１表示３４を表す光が偏光フィルタ２０を通過しないか、又は通過したとしてもその強度が大きく減衰する。
【００１７】
これに対し、物体４０に反射してカメラ１０に向かう光は、自然光や照明光であり、偏光ではない。よって、偏光フィルタ２０を通過した後において、物体４０に反射してカメラ１０に向かう光の強度は、第１表示３４を表す光の強度よりも十分に大きくなる。そのため、物体４０は撮像画像１２に高い輝度で含まれる一方、第１表示３４は撮像画像１２に含まれないか、含まれたとしてもその輝度が低くなる。よって、第１表示３４が表示画面３２に表示された状態であっても、情報処理装置２００による画像解析の精度が高くなる。例えば、撮像画像１２に第１表示３４が含まれていたとしても、輝度の高さに基づくフィルタリング処理などの前処理により、撮像画像１２から第１表示３４を除去した上で、物体４０の認識などを行うことができる。
【００１８】
以下、本実施形態についてさらに詳細を述べる。
【００１９】
＜機能構成の例＞
図２は、情報処理システム２０００の機能構成を例示するブロック図である。情報処理システム２０００は、カメラ１０、第１偏光フィルタ２０、ディスプレイ装置３０、及び情報処理装置２００を有する。ディスプレイ装置３０は表示画面３２を有する。表示画面３２の上には物体４０が置かれる。カメラ１０は、表示画面３２上に置かれた物体４０を撮像して、撮像画像１２を生成する。情報処理装置２００は、撮像画像１２を解析し、その結果に基づく第１表示３４を表示画面３２に表示させる。第１偏光フィルタ２０は、カメラ１０のレンズが表示画面３２と対向する時に、カメラ１０と表示画面３２との間に位置する。
【００２０】
＜情報処理システム２０００のハードウエア構成の例＞
＜＜情報処理装置２００について＞＞
情報処理装置２００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２１】
図３は、情報処理装置２００を実現するための計算機１０００を例示する図である。計算機１０００は、例えば POS（Point of Sales）端末などのレジ端末である。ただし、計算機１０００は、レジ端末に限定されない。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【００２２】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などで実現される補助記憶装置である。
【００２３】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に、カメラ１０とディスプレイ装置３０が接続されている。カメラ１０やディスプレイ装置３０と計算機１０００との間の接続は、有線接続であってもよいし、無線接続であってもよい。また、カメラ１０やディスプレイ装置３０は通信網を介して計算機１０００と接続されてもよい。
【００２４】
ネットワークインタフェース１１２０は、通信網に接続するためのインタフェースである。ネットワークインタフェース１１２０は、無線回線で通信網に接続するインタフェースであってもよいし、有線回線で通信網に接続するインタフェースであってもよい。
【００２５】
ストレージデバイス１０８０は情報処理装置２００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。
【００２６】
＜＜ディスプレイ装置３０について＞＞
ディスプレイ装置３０は、計算機１０００から送信される画像データを表示画面に表示する機能を有する種々のディスプレイ装置である。例えばディスプレイ装置３０は、液晶ディスプレイや有機 EL（Electro-Luminescence）ディスプレイである。
【００２７】
ディスプレイ装置３０は、表示画面３２上に物体を置ける態様で設置される。例えば、ディスプレイ装置３０は、表示画面３２が略鉛直上向きとなるように設置される。
【００２８】
ディスプレイ装置３０と情報処理装置２００は、通信可能に接続される。例えばディスプレイ装置３０は、情報処理装置２００とは別体として設けられる。言い換えればこの場合、ディスプレイ装置３０の筐体と情報処理装置２００の筐体とが、互いに異なるものである。ディスプレイ装置３０と情報処理装置２００は、一体として設けられてもよい。
【００２９】
＜＜カメラ１０について＞＞
カメラ１０は、撮像を行ってその結果を表す画像データ（撮像画像１２）を生成することができる任意のカメラである。カメラ１０は、動画を生成するビデオカメラであってもよいし、静止画を生成するスチルカメラであってもよい。
【００３０】
カメラ１０は、その撮像範囲に表示画面３２が含まれるように設置される。例えばカメラ１０は、表示画面３２の上方に、カメラ１０のレンズが下方を向くように設置される。
【００３１】
＜＜第１偏光フィルタ２０について＞＞
第１偏光フィルタ２０は、入射した光のうち、特定の方向に振動する光（偏光）を通過させる偏光子である。第１偏光フィルタ２０は、例えばカメラ１０のレンズ部分に取り付けることができるアタッチメントとして実現される。
【００３２】
ただし、第１偏光フィルタ２０は必ずしもカメラ１０のレンズ部分に取り付けできる態様で実現される必要はなく、カメラ１０のレンズとは離れた位置に設けられてもよい。図４は、カメラ１０のレンズと離れた位置に設けられる第１偏光フィルタ２０を例示する図である。図４において、カメラ１０は、そのレンズが表示画面３２を向くように設置されている。そして、第１偏光フィルタ２０は、カメラ１０のレンズと表示画面３２との間に設置されている。この場合、表示画面３２において物体４０が置かれる領域（例えば、表示画面３２の全域）の各位置とカメラ１０のレンズとを結ぶ直線が第１偏光フィルタ２０を通過するように、第１偏光フィルタ２０の位置を定めることが好適である。
【００３３】
表示画面３２は、第１表示３４を表す光を出射する。第１偏光フィルタ２０は、この光を弱めて通過させる態様で設置される。図５は、第１偏光フィルタ２０による光の減衰を概念的に例示する図である。図５において、第１偏光フィルタ２０は、符号２４で表される方向に振動する光を通過させる。以下、このように第１偏光フィルタ２０が通過させる光の振動方向を、通過方向２４と呼ぶ。第１偏光フィルタ２０を通過する前の光と比較し、第１偏光フィルタ２０を通過した後の光では、通過方向２４以外の方向に振動する光の強度が小さくなる。
【００３４】
＜第１表示３４を表す光を弱める方法＞
第１表示３４を表す光の振動方向が通過方向２４と一致しなければ、第１偏光フィルタ２０を通過することで、第１表示３４を表す光が弱まることになる。そこで、第１表示３４を表す光の振動方向が通過方向２４と一致しないようにする。
【００３５】
ここで、ディスプレイ装置には、出射する光が偏光であるものと、出射する光が偏光でないものとがある。出射する光が偏光であるディスプレイ装置の例として、液晶ディスプレイがある。一方、出射する光が偏光でないディスプレイ装置の例として、有機 EL ディスプレイがある。
【００３６】
以下、第１表示３４を表す光の振動方向と通過方向２４とが一致しないようにする方法について、ディスプレイ装置３０から出射される光が偏光であるケースと、ディスプレイ装置３０から出射される光が偏光でないケースとに分けて説明する。
【００３７】
＜＜ディスプレイ装置３０から出射される光が偏光であるケース＞＞
ディスプレイ装置３０から偏光が出射される場合、通過方向２４と、ディスプレイ装置３０から出射される偏光の振動方向とが一致しないように、第１偏光フィルタ２０を設置する。こうすることで、第１表示３４を表す光の振動方向が通過方向２４と一致しないようになる。
【００３８】
好適には、ディスプレイ装置３０から出射される偏光の振動方向と通過方向２４とが略直交するように、第１偏光フィルタ２０を設置する。図６は、ディスプレイ装置３０から出射される偏光の振動方向と通過方向２４との関係を例示する図である。図６では、通過方向２４が、ディスプレイ装置３０から出射される偏光の振動方向３６と略直交するように、第１偏光フィルタ２０が設置されている。
【００３９】
通過方向２４と、ディスプレイ装置３０から出射される光の振動方向とは、必ずしも略直交しなくてもよい。ただし、これらの方向の成す角度が９０度に近いほど、第１表示３４を表す光が第１偏光フィルタ２０によって弱められる度合いが大きくなる。そこで、撮像画像１２に含まれる第１表示３４の画素の輝度が、情報処理装置２００による撮像画像１２の画像解析の妨げにならない程度の大きさとなるように、通過方向２４とディスプレイ装置３０から出射される光の振動方向との成す角を大きくすることが好適である。なお、第１偏光フィルタ２０の向きの調整方法については後述する。
【００４０】
＜＜ディスプレイ装置３０から出射される光が偏光でないケース＞＞
偏光ではない光がディスプレイ装置３０から出射される場合、ディスプレイ装置３０から出射される光は、複数の振動方向の光が合成されたものとなっている。このような場合、第１表示３４を表す光が複数の振動方向の成分を持つことになる。そのため、ディスプレイ装置３０から出射された光が第１偏光フィルタ２０を通過するだけでは、第１表示３４を表す光が十分に減衰しない可能性がある。
【００４１】
そこでこのケースでは、情報処理システム２０００に偏光フィルタをもう一つ加えることが好適である。具体的には、ディスプレイ装置３０と物体４０との間に第２偏光フィルタ５０を設ける。第２偏光フィルタ５０も、第１偏光フィルタ２０と同様に、特定の方向に振動する光を通過させる偏光子である。例えば第２偏光フィルタ５０は、表示画面３２上に設置される。
【００４２】
図７は、ディスプレイ装置３０上に第２偏光フィルタ５０が設けられた状況を例示する図である。このように第２偏光フィルタ５０を設置すると、ディスプレイ装置３０から出射される光は、第２偏光フィルタ５０によって偏光にされた後に、第１偏光フィルタ２０に到達する。一方、物体４０に反射してカメラ１０に向かう反射光は、第２偏光フィルタ５０を通過せずに第１偏光フィルタ２０に到達する。図７において、第２偏光フィルタ５０が通過させる光の振動方向は通過方向５４である。
【００４３】
このように第２偏光フィルタ５０を設けることにより、偏光ではない光を出射するディスプレイ装置３０を、偏光を出射するディスプレイ装置３０と同様に扱うことができるようになる。すなわち、第２偏光フィルタ５０から出射する偏光の振動方向である通過方向５４は、偏光を出射するディスプレイ装置３０によって出射される光の振動方向に相当すると言える。そのため、通過方向５４が通過方向２４（第１偏光フィルタ２０が通過させる光の振動方向）と一致しないように第１偏光フィルタ２０及び第２偏光フィルタ５０を設置することで、第１表示３４を表す光を弱めることができる。好適には、通過方向２４と通過方向５４とが略直交するように、第１偏光フィルタ２０と第２偏光フィルタ５０とを設置する。
【００４４】
第２偏光フィルタ５０の設置方法は様々である。例えば第２偏光フィルタ５０は、表示画面３２に貼り付けることができるシートとして構成される。この場合、第２偏光フィルタ５０は表示画面３２に貼り付けられる。その他にも例えば、第２偏光フィルタ５０は、表示画面３２の上に置かれてもよい。
【００４５】
なお、第２偏光フィルタ５０はディスプレイ装置３０の内部に設けられてもよい。ただし、このように内部に第２偏光フィルタ５０が設けられたディスプレイ装置３０は、「偏光を出射するディスプレイ装置」であるとも言える。
【００４６】
＜情報処理装置２００が行う処理について＞
情報処理装置２００は、撮像画像１２を画像解析し、その結果に基づく第１表示３４を表示画面３２に表示させる。以下、情報処理装置２００が行う処理について具体例を挙げる。
【００４７】
＜＜物体検出＞＞
例えば情報処理装置２００は、撮像画像１２に含まれる物体４０を検出する処理を行う。ここで、撮像画像に含まれる物体を検出する処理には、既存の技術を利用することができる。
【００４８】
情報処理装置２００は、検出された物体４０についての情報を表示画面３２に表示させる。例えば情報処理装置２００は、検出された物体４０の位置を示す情報を表示画面３２に表示させる。図８は、撮像画像１２から物体４０が検出されたことに応じ、その位置を示す表示が表示画面３２に表示される様子を例示する図である。図８において、マーク６０は、物体４０が検出された位置を示す表示である。マーク６０は、撮像画像１２に含まれる物体４０の外周（表示画面３２を平面視した場合における物体４０の外周）を表す枠である。
【００４９】
ここで、情報処理装置２００は、物体がディスプレイ装置３０に置かれたらその物体を検出できるように、カメラ１０によって生成される各撮像画像１２から物体の検出を試みる。そのため、物体４０がディスプレイ装置３０に置かれた後に生成された撮像画像１２についても、物体の検出を試みる。この撮像画像１２にマーク６０がはっきりと含まれていると、情報処理装置２００は、過ってそのマーク６０を物体として検出してしまう可能性がある。そうすると、例えば「マーク６０の周囲にさらにマーク６０が表示される」という処理が繰り返されてしまい、情報処理装置２００の動作が意図していないものとなってしまう。
【００５０】
この点、情報処理システム２０００によれば、マーク６０を表す光は第１偏光フィルタ２０によって減衰されるため、撮像画像１２にマーク６０が含まれないか、又は撮像画像１２に含まれるマーク６０の画素の輝度が物体４０を表す画素の輝度よりも十分小さくなる。そのため、情報処理装置２００がマーク６０を物体として検出しないようになる。
【００５１】
さらにその後、新たな物体４０がディスプレイ装置３０に置かれたとする。この物体４０を表す光については、偏光フィルタ２０を通過した後もその強度が十分大きい。そのため、新たな物体４０は撮像画像１２にはっきりと含まれるため、物体検出処理によって検出可能である。
【００５２】
このように、情報処理システム２０００によれば、表示画面３２上にマーク６０が表示された後に物体４０が追加されたとしても、マーク６０を誤って物体として検出することなく、物体４０を正しく検出できるようになる。よって、第１偏光フィルタ２０の効果により、物体検出の精度が向上する。
【００５３】
＜＜物体認識＞＞
その他にも例えば、情報処理装置２００は、撮像画像１２について物体認識を行う。ここでいう物体認識とは、画像に含まれる物体を検出し、検出した物体が何であるかを特定する処理である。
【００５４】
例えば前述したように、情報処理装置２００は、表示画面３２に置かれた商品を認識し、認識した商品を精算対象として登録する処理を行う。ここで、撮像画像に含まれる商品を画像解析によって認識し、認識した商品を精算対象として登録する処理には、既存の技術を利用することができる。
【００５５】
撮像画像１２に含まれる物体４０を商品として認識することにより、情報処理装置２００は、物体４０の価格や商品名といった物体４０に関する種々の情報を得る。そこで情報処理装置２００は、取得した物体４０に関する情報（すなわち、物体４０の価格や商品名など）を表示画面３２に表示させる。
【００５６】
また情報処理装置２００は、商品表示７０に加えて、前述したマーク６０を表示することが好適である。このようにすると、「物体４０の検出はできたが、物体４０が何の商品であるかを認識できなかった」という状況を把握できるようになる。このような状況では、マーク６０は表示されるものの商品表示７０は表示されないためである。
【００５７】
図９及び図１０は、物体認識が行われるケースを例示する図である。図９では、物体４０−１が表示画面３２に置かれている。また、表示画面３２には、広告１１０が表示されている。情報処理システム２０００は、この状況の表示画面３２をカメラ１０で撮像することで得られた撮像画像１２−１を取得する。
【００５８】
ここで、表示画面３２に広告を表示することは、顧客の購買意欲を高めるといった効果を持つため、有用である。一方で、表示画面３２に表示された広告が撮像画像１２に含まれてしまうと、商品認識の妨げになる恐れがある。
【００５９】
この点、第１偏光フィルタ２０の効果により、撮像画像１２−１には広告１１０が含まれていない。そのため、情報処理システム２０００は、広告１１０を誤って物体として検出することなく、物体４０−１の認識を精度良く行える。
【００６０】
図１０は、物体４０−１についての商品認識が終わった後の様子を例示している。情報処理システム２０００は、撮像画像１２−１を用いて、物体４０−１が「ＡＢＣ茶」という商品であることを認識した。その結果として、情報処理システム２０００は、ＡＢＣ茶についての情報である商品情報１２０を表示画面３２に表示させている。商品情報１２０には、認識された商品の商品画像、名称、及び価格が含まれている。これらの情報を表示画面３２に表示させることで、情報処理システム２０００のユーザは、物体４０−１が情報処理システム２０００によって正しく認識されていることを把握することができる。
【００６１】
図１０ではさらに、新たに物体４０−２が表示画面３２に置かれている。情報処理システム２０００は、この状況の表示画面３２をカメラ１０で撮像することで得られた撮像画像１２−１を取得する。
【００６２】
ここで、前述したように、商品情報は、商品が認識されたことを把握できるという点において有用である。一方で、商品情報がその後に生成される撮像画像１２に含まれてしまうと、商品認識の妨げになる恐れがある。
【００６３】
この点、第１偏光フィルタ２０の効果により、撮像画像１２−２には、広告１１０や商品情報１２０が含まれていない。そのため、情報処理システム２０００は、広告１１０や商品情報１２０を誤って物体として検出することなく、物体４０−２の認識を行える。
【００６４】
以上のことから、第１偏光フィルタ２０の効果により、表示画面３２に置かれた商品を撮像して認識するシステムにおいて、表示画面３２に認識した商品に関する情報や広告なども表示させることが可能になる。よって、顧客の購買意欲を高めたり、情報処理システム２０００の利便性を向上させたりしつつ、精度の良い商品認識を実現できる。
【００６５】
＜第１偏光フィルタ２０の向きが適切であることを確認する方法＞
情報処理システム２０００は、第１偏光フィルタ２０の向きが適切であること（すなわち、第１偏光フィルタ２０の通過方向２４と第１表示３４を表す光の振動方向とが一致しないこと）を確認した上で運用されることが好ましい。以下、偏光フィルタ２０の向きが適切であるか否かを判定する方法について説明する。
【００６６】
＜＜ユーザによる判定＞＞
例えばこの確認は、情報処理システム２０００のユーザが撮像画像１２を見ながら行う。まず、表示画面３２に第２表示を表示させ、カメラ１０が繰り返し撮像画像１２を生成するようにする。第２表示は、任意の画像とすることができる。ユーザは、撮像画像１２を見ながら第１偏光フィルタ２０の向きを調整し、第２表示が撮像画像１２に含まれないようにする。
【００６７】
撮像画像１２を表示させるディスプレイ装置は、ディスプレイ装置３０であってもよいし、他のディスプレイ装置であってもよい。前者の場合、カメラ１０の撮像範囲に表示画面３２の一部の領域のみが含まれるようにし、撮像画像１２をその領域の外に表示させることが好適である。
【００６８】
第２表示及び撮像画像１２を表示させる契機は任意である。例えば、情報処理装置２００に運用モードとテストモードという２つのモードを設け、これら２つのモードをユーザ操作によって切り替えられるようにする。情報処理装置２００は、テストモードが選択されたことに応じて、第２表示と撮像画像１２を表示させる。
【００６９】
＜＜情報処理装置２００による判定＞＞
第１偏光フィルタ２０の向きが適切であるか否かを判定する機能を情報処理装置２００に設けてもよい。例えば、表示画面３２に物体４０を置かず、なおかつ表示画面３２に第２表示を表示させた状態で、カメラ１０が繰り返し撮像画像１２を生成するようにする。情報処理装置２００は、この状態で生成された撮像画像１２について前述した物体検出を行う。
【００７０】
ここで、仮に情報処理装置２００によって物体が検出されたら、それは第２表示が物体として誤検出されたことを意味する。そのため、情報処理装置２００は、物体検出により物体が検出されたか否かを判定し、物体が検出されたら、第１偏光フィルタ２０の向きが適切でないと判定する。一方、情報処理装置２００は、物体検出によって物体が検出されなかったら、第１偏光フィルタ２０の向きが適切であると判定する。
【００７１】
情報処理装置２００は、第１偏光フィルタ２０の向きが適切であるか否かの判定結果をディスプレイ装置に表示させる。この表示は、ディスプレイ装置３０で行われてもよいし、ディスプレイ装置３０以外のディスプレイ装置で行われてもよい。前者の場合、カメラ１０の撮像範囲に表示画面３２の一部の領域のみが含まれるようにし、上記判定結果はその領域の外に表示させることが好適である。
【００７２】
図１１は、第１偏光フィルタ２０の向きが適切か否かの判定結果が表示画面３２に表示される様子を例示する図である。図１１において、第２表示は符号８０で表されている。図１１の上段の例では、第２表示８０が撮像画像１２にはっきりと含まれている。そのため、第２表示８０が物体として検出される。そこで情報処理装置２００は、第１偏光フィルタ２０の向きが適切でないことを表す通知９０を表示画面３２に表示させている。
【００７３】
一方、図１１の下段では、第２表示８０が撮像画像１２に含まれていない。そのため、第２表示８０が物体として検出されていない。そこで情報処理装置２００は、第１偏光フィルタ２０の向きが適切であることを表す通知１００を表示画面３２に表示させている。
【００７４】
ユーザは、通知９０が表示されたら、通知１００が表示されるようになるまで第１偏光フィルタ２０の向きを変更していく。こうようにすることで、第１偏光フィルタ２０の向きを容易に調整することができる。
【００７５】
第２表示８０を表示画面３２に表示させる契機は任意である。例えば前述した様に、情報処理装置２００に運用モードとテストモードという２つのモードを設ける。情報処理装置２００は、ユーザがテストモードを選択したことに応じ、第２表示８０の表示を行う。
【００７６】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【図１】
2019167267.tif 000003
【図２】
2019167267.tif 000004
【図３】
2019167267.tif 000005
【図４】
2019167267.tif 000006
【図５】
2019167267.tif 000007
【図６】
2019167267.tif 000008
【図７】
2019167267.tif 000009
【図８】
2019167267.tif 000010
【図９】
2019167267.tif 000011
【図１０】
2019167267.tif 000012
【図１１】
2019167267.tif 000013
【手続補正書】
【提出日】令和2年8月26日(2020.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示画面の上に物体が置かれるディスプレイ装置と、
前記表示画面が撮像範囲に含まれるカメラと、
前記カメラによって生成される撮像画像に基づく第１表示を前記表示画面に表示させる情報処理装置と、
第１偏光フィルタと、を有し、
前記第１偏光フィルタは、前記カメラのレンズが前記表示画面と対向する時に、前記カメラのレンズと前記表示画面との間に位置する、情報処理システム。
【請求項２】
前記第１表示を表す光は第１方向に振動する偏光であり、
前記第１偏光フィルタは、前記第１方向とは異なる第２方向に振動する光を通過させる、請求項１に記載の情報処理システム。
【請求項３】
前記ディスプレイ装置は前記第１方向に振動する偏光を出射する、請求項２に記載の情報処理システム。
【請求項４】
前記表示画面よりも上に前記第１方向に振動する光を通過させる第２偏光フィルタを有し、
前記物体は前記第２偏光フィルタの上に置かれる、請求項２に記載の情報処理システム。
【請求項５】
前記情報処理装置は、
前記表示画面に置かれていない物体を表す第２表示を前記表示画面に表示させ、
前記表示画面に表示された前記第２表示が含まれる撮像画像を解析し、当該解析によって前記物体が検出されたか否かに基づいて、前記第１偏光フィルタの向きが適切であるか否かを判定する、請求項１乃至４いずれか一項に記載の情報処理システム。
【請求項６】
前記情報処理装置は、前記表示画面上に置かれた商品を前記撮像画像から検出し、前記検出した商品に関する前記第１表示を前記表示画面に表示させる、請求項１乃至５いずれか一項に記載の情報処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．  表示画面の上に物体が置かれるディスプレイ装置と、
前記表示画面が撮像範囲に含まれるカメラと、
前記カメラによって生成される撮像画像に基づく第１表示を前記表示画面に表示させる情報処理装置と、
第１偏光フィルタと、を有し、
前記第１偏光フィルタは、前記カメラのレンズが前記表示画面と対向する時に、前記カメラのレンズと前記表示画面との間に位置する、情報処理システム。
２．  前記第１表示を表す光は第１方向に振動する偏光であり、
前記第１偏光フィルタは、前記第１方向とは異なる第２方向の光を通過させる、１．に記載の情報処理システム。
３．  前記ディスプレイ装置は前記第１方向に振動する偏光を出射する、２．に記載の情報処理システム。
４．  前記表示画面よりも上に前記第１方向に振動する光を通過させる第２偏光フィルタを有し、
前記物体は前記第２偏光フィルタの上に置かれる、２．に記載の情報処理システム。
５．  前記情報処理装置は、前記表示画面に表示された第２表示が含まれる撮像画像を解析することで、前記第１偏光フィルタの向きが適切であるか否かを判定する、１．乃至４．いずれか一つに記載の情報処理システム。
６．  前記情報処理装置は、前記表示画面上に置かれた商品を前記撮像画像から検出し、前記検出した商品に関する前記第１表示を前記表示画面に表示させる、１．乃至５．いずれか一つに記載の情報処理システム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2019167267.tif 000014
【国際調査報告】
2019167267.tif 000015
2019167267.tif 000016
2019167267.tif 000017
2019167267.tif 000018