(57)【要約】【課題】カメラによって撮像して得られる商品の画像データを利用して種々の機能を発揮する。【解決手段】複数のカメラデバイスが少なくとも一つの処理の画像を種々の照明および露出レベルにおいて撮像する行程と、前記複数のカメラデバイスのそれぞれの前記画像を受信する行程と、前記複数のカメラデバイスから受信した前記画像に関する前記処理の画像を複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートする行程と、画像がソートされたそれぞれのサービスに画像を提示する行程と、の各工程を含む。【選択図】図１
2018142960.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラデバイスが少なくとも一つの処理の画像を種々の照明および露出レベルにおいて撮像する行程と、
前記複数のカメラデバイスのそれぞれの前記画像を受信する行程と、
前記複数のカメラデバイスから受信した前記画像に関する前記処理の画像を複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートする行程と、
画像がソートされたそれぞれのサービスに画像を提示する行程と、
の各工程を含む、ことを特徴とする複数カメラによる画像提供処理方法。
【請求項２】
画像が受信される前記カメラの少なくとも１つは、本方法が実行される製品スキャナのカメラである、請求項１に記載の画像提供処理方法。
【請求項３】
前記画像がソートされる前記処理の少なくとも１つは、内部に存在するバーコードを読み取る画像に関して実行されるバーコード読み取り処理を含む、請求項１または２に記載の画像提供処理方法。
【請求項４】
画像内の読み取る前記バーコードが、
１次元バーコードである場合には、画像の前記ソートは照明源をオンにして、１次元バーコード読み取りのための特定の固定の露出レベルを有するカメラで撮像して得られた画像をソートすることを含み、
２次元バーコードである場合には、画像の前記ソートは照明源をオフにして、２次元バーコード読み取りのための自動露出レベルを有するカメラで撮像して得られた画像をソートすることを含む、請求項３に記載の画像提供処理方法。
【請求項５】
照明および露光レベルに基づく画像の前記ソートは、録画サービスに提示するための自動露出レベルを有するカメラによって撮像して得られた画像のソートを含む、請求項１〜４のいずれかに記載の画像提供処理方法。
【請求項６】
照明および露出レベルに基づく画像の前記ソートは、さらなる処理のために複数のサービスに対して提示するため、少なくとも１つの画像を複数の可能性のあるグループにソートすることを含む、請求項１〜５のいずれかに記載の画像提供処理方法。
【請求項７】
前記画像の前記照明は、オンまたはオフにされる照明源に対応する、請求項１〜６のいずれかに記載の画像提供処理方法。
【請求項８】
前記画像の前記照明は、照明の色、照明の輝度、および照明の期間を含む複数の照明源の変数に対応する複数のファクタを含む、請求項７に記載の画像提供処理方法。
【請求項９】
複数の画像プロセシングサービスへの分配のための前記画像の前記ソートは、前記画像が前記画像プロセシングサービスのニーズを満たすようにする画像プロセシングを含み、前記ニーズは、画像のサイズ、画像の解像度、カラーからモノクローム、そしてコントラストレベルのうちの少なくとも１つを含む、請求項１〜８のいずれかに記載の画像提供処理方法。
【請求項１０】
少なくとも一つの処理の画像を撮影する複数のカメラと、
前記複数のカメラからの撮像データを受信する少なくとも１つの入力／出力インタフェースと、
前記入力／出力インタフェースと接続されたプロセッサーと、
前記プロセッサー上で実行可能な命令を格納してデータプロセシング処理を実行するメモリ（５０４）と、を備え、
前記データプロセシング処理は、
前記少なくとも１つの入力／出力インタフェースを介した画像を含む、画像を複数のカメラから受信することであって、カメラそれぞれからの前記画像は、様々な照明および露出レベルにおいて撮像して得られた画像を受信し、
前記受信した画像に関する少なくとも１つの処理をそれぞれ実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像のソート処理を行い、
前記画像がソートされたそれぞれのサービスに画像を提示する（４０６）、
ことを特徴とする複数カメラにより撮影された画像データの処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば商品等の撮像対象に対する複数のカメラによる画像データの取得及び処理処方法に関する。
【背景技術】
【０００２】
例えば、商品の小売店等に設置される販売時点管理端末（ＰＯＳ端末）においては、顧客が選択した商品のバーコードを撮像デバイス、またはカメラによって読み取ってその商品を識別している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一方、このようなカメラは、他の多くの目的のためにも使用されるべく、カメラによって撮像して得られる画像に対する更なる要求も生んでいる。その結果、カメラによる商品の撮像は、ＰＯＳ端末に対して他の機能を要求するに至っている。
【課題を解決するための手段】
【０００４】
このような、バーコードを読み取って各種の管理又は処理を行うシステムは、複数のカメラによる撮像対象の同時撮像のための、構成要素である、システム、デバイス、およびのソフトウェア等を含む。こうした複数のカメラを利用するシステムの実施形態の一部は、専用機器またはチップにおいて具体化されてもよく、他の実施形態は、製品スキャナ、ソフトウェア、またはハードウェアとソフトウェアの組み合わせにおいて具体化されてもよい。
【０００５】
複数のカメラからの画像データの取得及び処理方法の実施形態の１つは、複数のカメラから画像を受信することを含み、デバイスそれぞれからの画像は、様々な照明および露出レベルにおいて撮像して得られる。その後、この方法は、受信した画像に関する少なくとも１つの処理をそれぞれ実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートした後、画像がソートされたそれぞれのサービスに対して画像を提示する。
【０００６】
このような複数のカメラからの画像データの取得及び処理方法の別の実施形態は、複数のカメラから画像を受信することを含む。デバイスそれぞれから受信した画像は、通常様々な照明および露出レベルで撮像して得られる。
【０００７】
その後、この方法は、受信した画像に関する少なくとも１つの処理をそれぞれ実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートすることで進む。本方法はまた、必要に応じて画像を処理して、画像が提供される画像プロセシングサービスの要件を満たすようにすることを含み、その後、画像は、画像がソートされたそれぞれのサービスに提示される。
【０００８】
また、複数のカメラからの画像データの取得及び処理方法別の実施形態は、デバイスの形状である。このデバイスは少なくとも１つの入力／出力インタフェース、プロセッサー、およびプロセッサー上で実行可能な命令を格納するメモリデバイスを含んで、データプロセシング処理を行う。
【０００９】
一部の実施形態では、データプロセシング処理は、少なくとも１つの入力／出力インタフェースを介した画像を含む、画像を複数のカメラから受信することを含む。ここでも、カメラそれぞれからの画像は、通常様々な照明および露出レベルで撮像して得られる。
【００１０】
また、データプロセシング処理は、受信した画像に関する少なくとも１つの処理をそれぞれ実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートし、画像がソートされたそれぞれのサービスに対して画像を提示することも含む。
【００１１】
本発明の複数のカメラからの画像データの取得及び処理方法の第一の態様によると、方法が提供され、この方法は、複数のカメラから画像を受信することと、デバイスそれぞれからの画像は様々な照明および露出レベルで撮像して得られ、受信した画像に関してそれぞれ少なくとも１つの処理を実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートすることと、画像がソートされるそれぞれのサービスに画像を提示することと、を含む。
【００１２】
本方法においては、任意選択で、画像が受信されるカメラの少なくとも１つは、本方法が実行され得る製品スキャナのカメラであってもよい。
【００１３】
本方法においては、任意選択で、画像がソートされる少なくとも１つの処理は、内部に存在するバーコードを読み取るために画像に関して実行され得るバーコード読み取り処理を含んでもよい。
【００１４】
本方法においては、任意選択で、画像内の読み取るバーコードは、１次元バーコードであって、画像のソートが照明源をオンにして１次元バーコード読み取りのための特定の固定の露出レベルを有するカメラで撮像して得られた画像のソートを含んでもよく、また、２次元バーコードであって、画像のソートが照明源をオフにして２次元バーコード読み取りのための自動露出レベルを有するカメラで撮像して得られた画像のソートを含んでもよい。
【００１５】
本方法においては、任意選択で、照明および露光レベルに基づく画像のソートは、録画サービスに提示するための自動露出レベルを有するカメラによって撮像して得られた画像のソートを含んでもよい。
【００１６】
本方法においては、任意選択で、照明および露出レベルに基づく画像のソートは、少なくとも１つの画像を、さらなる処理のために複数のサービスに対して提示するため、複数の可能性のあるグループにソートすることを含んでもよい。
【００１７】
本方法においては、任意選択で、画像の照明は、オンまたはオフにされる照明源に対応してもよい。
【００１８】
本方法においては、任意選択で、画像の照明は、照明の色、照明の輝度、および照明の期間を含む複数の照明源の変数に対応する複数のファクタを含んでもよい。
【００１９】
本方法においては、任意選択で、複数の画像プロセシングサービスへの分配のための画像のソートは、画像が処理画像プロセシングサービスのニーズを満たすようにする画像プロセシングを含んでもよく、このニーズには、画像のサイズ、画像の解像度、カラーからモノクローム、そしてコントラストレベルのうちの少なくとも１つが含まれる。
【００２０】
本発明の複数のカメラからの画像データの取得及び処理方法の第二の態様によると、方法が提供され、この方法は、複数のカメラから画像を受信することと、デバイスそれぞれからの画像は様々な照明および露出レベルで撮像して得られ、受信した画像に関してそれぞれ少なくとも１つの処理を実行する複数の画像プロセシングサービスへの分配のために、照明および露出レベルに基づいて画像をソートすることと、必要に応じて画像を処理して、画像が提供される画像プロセシングサービスの要件を満たすようにすること、画像がソートされるそれぞれのサービスに画像を提示することと、を含む。
【００２１】
本方法においては、任意選択で、画像が提供される画像プロセシングサービスの要件を満たすように画像を処理することは、画像が画像プロセシングサービスのニーズを満たすように処理することを含んでもよく、このニーズには、画像のサイズ、画像の解像度、カラーからモノクローム、そしてコントラストレベルのうちの少なくとも１つが含まれる。
【００２２】
本方法においては、任意選択で、画像が提供される画像プロセシングサービスの要件を満たすよう画像を処理することは、単一の画像が複数の画像プロセシングサービスに提供されるときに様々な画像プロセシングサービスに対する類似の画像処理のニーズを識別して、可能な場合に重複画像処理を回避するようにする最適化処理をさらに含んでもよい。
【００２３】
本方法においては、任意選択で、画像が受信されるカメラの少なくとも１つは、本方法が実行され得る製品スキャナのカメラであってもよく、別のカメラは製品スキャナの水平面上に配置された書画カメラを含んでもよい。
【００２４】
本方法においては、任意選択で、画像がソートされるそれぞれのサービスに対して画像を提示することは、少なくとも１つのバーコード読み取りサービスと不正検出サービスを含んでもよい。
【００２５】
本発明の複数のカメラからの画像データの取得及び処理方法の第三の態様によると、デバイスが提供され、このデバイスは、少なくとも１つの入力／出力インタフェースと、プロセッサー上で実行可能な命令を格納してデータプロセシング処理を実行するメモリとを備え、データプロセシング処理には、少なくとも１つの入力／出力インタフェースを介した画像を含む、画像を複数のカメラから受信することと、カメラそれぞれからの画像は様々な照明および露出レベルで撮像して得られており、受信した画像に関してそれぞれ少なくとも１つの処理を実行する複数の画像プロセシングサービスへの分配のために照明および露出レベルに基づいて画像をソートすることと、画像がソートされるそれぞれのサービスに対して画像を提示することとを含む。
【００２６】
本方法においては、任意選択で、画像が受信されるカメラの少なくとも１つは、製品スキャナのカメラであってもよい。
【００２７】
本方法においては、任意選択で、画像がソートされる少なくとも１つの処理は、内部に存在するバーコードを読み取るために画像に関して実行され得るバーコード読み取り処理、デバイス上で実行されるバーコード読み取り処理、を含んでもよい。
【００２８】
本方法においては、任意選択で、画像内の読み取るバーコードは、１次元バーコードであって、画像のソートが照明源をオンにして１次元バーコード読み取りのための特定の固定の露出レベルを有するカメラで撮像して得られた画像のソートを含んでもよく、また、２次元バーコードであって、画像のソートが照明源をオフにして２次元バーコード読み取りのための自動露出レベルを有するカメラで撮像して得られた画像のソートを含んでもよい。
【００２９】
本方法においては、任意選択で、照明および露光レベルに基づく画像のソートは、録画サービスに提示するための自動露出レベルを有するカメラによって撮像して得られた画像のソートを含んでもよい。
【００３０】
本方法においては、任意選択で、照明および露出レベルに基づく画像のソートは、少なくとも１つの画像を、さらなる処理のために複数のサービスに対して提示するため、複数の可能性のあるグループにソートすることを含んでもよい。
【００３１】
本発明の複数のカメラからの画像データの取得及び処理方法の種々の態様を、以下、添付の図面を参照して詳しく説明する。
【図面の簡単な説明】
【００３２】
【図１】図１は、複数のカメラからの画像データの取得及び処理方法の例示的な実施形態による、スキャナを含むシステムの論理ブロック図である。
【図２】図２は、本方法の例示的な実施形態による、スキャナを含む、ＰＯＳ端末、セルフサービス端末（ＳＳＴ）、または他のキオスクシステムなどの精算ステーションにおいて配備され得るスキャナのコンポーネントを例示する。
【図３】図３は、本方法の例示的な実施形態による、複数の処理ソリューションに対する、複数のカメラ同時撮像におけるデータフローの論理ブロック図である。
【図４】図４は、本方法の例示的な実施形態による、一方法の論理ブロック図である。
【図５】図５は、本方法の例示的な実施形態による、コンピューティングデバイスのブロック図である。
【発明を実施するための形態】
【００３３】
本発明の複数のカメラからの画像データの取得及び処理方法の様々な実施形態は、複数の処理に対する、複数のカメラ同時撮像のための、システム、デバイス、方法、およびのソフトウェアのうちの少なくとも１つを含む。こうした実施形態の一部は、専用機器またはチップにおいて具体化されてもよく、他の実施形態は、製品スキャナ、ソフトウェア、またはハードウェアとソフトウェアの組み合わせにおいて具体化されてもよい。
【００３４】
こうしたソリューションは通常、ＰＯＳ端末およびその周辺に配備され得る複数のカメラから画像を受信するよう動作する。これらのカメラは製品スキャナ内、製品スキャナ上、例えばＰＯＳ端末から上方に延伸するポール上に配置されてもよく、その上にカメラだけでなく、レーン番号または開放または閉鎖インジケータなどの他のレーンマーカを含んでもよい。
【００３５】
カメラは、スキャン領域、カスタマおよびレジ係の挙動の画像をキャプチャする目的のために、ＰＯＳ端末の周辺の他の場所に配置されて、スキャンその他のために提示される製品のカテゴリを識別してもよい。これらのカメラによって撮像して得られる画像は、バーコードスキャンおよびPOS端末スキャン不正などの現在の目的に加えて、開発中の将来の目的、およびまだ着想されていない何らかの目的を含むいくつかの目的のために利用されてもよい。
【００３６】
いずれにせよ、これらの目的のそれぞれは、それによって処理を実行する１つまたは複数の画像データを撮像して得られた画像を処理する実施処理を含む。例えば、バーコード読み取り処理は、画像中のバーコードを検索して、特定するとバーコードを読み取る。その後、この処理の出力は、購入商品の請求書、そして最終的にはカスタマに領収書を生成するＰＯＳ処理を提供することに戻る。
【００３７】
他の処理には、可能性のある不正状態、セキュリティ映像の監視および記憶、１次元および２次元バーコード読み取り、製品の透かし読み取り（例えば、ＤＩＧＩＭＡＲＣ）、等を検出する処理が含まれる。
【００３８】
多くのカメラ、画像が使用され得る多くの目的、およびこれらの目的を達成するために画像を消費し得る処理の観点から、本明細書に記載の様々な実施形態は、関連する画像と他のデータプロセシングを最適化するための効率的フレームワークを提供する。
【００３９】
こうした実施形態は、可変の撮像フィールド照明、露出値、カラーおよびモノクロームの撮像および画像プロセシング、画像コントラスト、画像フィルタリング、画像の解像度等から、内在しかつ処理が必要とする画像照明における差異を説明する。
【００４０】
こうした実施形態の一部は、別の目的のニーズに対して、一の目的のための画像プロセシングを活用する。例えば、１つの処理がオリジナルの解像度でのモノクローム画像を必要とし、別の処理が低解像度でのモノクローム画像を必要とする場合、カラーからモノクローム画像への変換をまず適用して画像を第一の処理に提供し、その後にダウンサンプリングを実行して画像を第二の処理に提供する。
【００４１】
これはシンプルな例ではあるが、実行される画像プロセシングの量を低減することで様々な実施形態がどのようにパフォーマンスを最適化することができるか、さらには、単一の画像として撮像して得られる必要のあるいくつかの画像が２つの処理の目的とされ得ることを例示している。
【００４２】
さらに、照明および露出に基づいて画像をソートすることにより、特定の目的に役立たない特性を有する画像は、これらの目的のためには処理されず、これによってさらなる処理を除去してさらなる効率を提供する。
【００４３】
これらの様々な実施形態の一部は、多目的小売撮像ソリューションを提供し、これは、機器また他のデバイスの形式であって、ファームウェア、ソフトウェア、またはその組み合わせで具体化され得る。
【００４４】
これらの実施形態は、カメラ露出、照明、色、位置、およびキャプチャ回数、ソートの多様性を利用して構築され、複数の同時スキャナサービスに対して適切なカメラデータを提供する。こうしたスキャナサービスには、とりわけ、１次または２次元バーコードのスキャンおよび読み取り、およびビデオオーバーイーサネットセキュリティが含まれ得る。例示的実施形態において、製品スキャナはバーコードの読み取り、およびビデオオーバーイーサネットセキュリティに適した画像を同時にキャプチャし得る。
【００４５】
本発明の複数のカメラからの画像データの取得及び処理方法の実施形態において、製品スキャナは、自然照明および自動露出を用いる画像のキャプチャを、明るいＬＥＤ照明および固定の露出で撮影される画像のキャプチャに替える。自動露出画像は、精算レーンの概観を提供し、ビデオセキュリティ画像をイーサネット（登録商標）を介してネットワーク録画システム（ＮＶＲ）に提供するのに使用される。固定露出画像は、品目がスキャンされたときに、明るく照明された局部的な品目のビューを提供し、1Ｄおよび２Ｄバーコードを読み取るのに使用され、目的に対する要件が整合する場合には、他の目的に対しても利用可能である。
【００４６】
以下、本発明の複数のカメラからの画像データの取得及び処理方法の実施形態を、図面を参照して本明細書にて説明する。
【００４７】
以下の詳細な説明では、本明細書の一部を形成し、その中で発明の主題を実施する特定の実施形態を例示により図示する、添付図面を参照する。これらの実施形態は詳細に説明されて、同業者であればそれらを実践することができ、他の実施形態を利用して、構造的、論理的および電気的な変更が発明の主題の範囲から逸脱せずになされることが理解されよう。
【００４８】
尚、発明の主題のこうした実施形態は、個別におよび／またはまとめて、本明細書では単に便宜上、「発明」という用語で呼ばれてもよく、２つ以上の開示が実際になされている場合、任意の単一の発明または発明の概念に対して本出願の範囲を故意に制限するものではない。
【００４９】
従って、以下の説明は意味を制限して理解されるものではなく、発明の主題の範囲は添付の特許請求の範囲により定義される。
【００５０】
本明細書に説明する機能またはアルゴリズムは、一実施形態では、ハードウェア、ソフトウェアまたはソフトウェアとハードウェアの組み合わせで実施される。ソフトウェアは、メモリまたは他の種類の記憶装置などのコンピュータ可読媒体に格納されたコンピュータ実行可能命令を含む。さらに、説明される機能は、ソフトウェア、ハードウェア、ファームウェアまたはその任意の組み合わせであってよい、モジュールに対応してもよい。
【００５１】
また、複数の機能が、所望に応じて、１つまたは複数のモジュールで実施されるが、説明される実施形態は、単に例証である。ソフトウェアが、デジタルシグナルプロセッサー、ＡＳＩＣ、マイクロプロセッサー、またはパーソナルコンピュータ、サーバ、ルータまたはネットワーク相互接続デバイスを含むデータを処理可能な他のデバイスなどのシステム上で動作する他の種類のプロセッサー上で実行される。
【００５２】
実施形態によっては、２つ以上の特定の相互接続されたハードウェアモジュール内またはモジュール間およびモジュールを介して通信される関連制御およびデータ信号を有するデバイス内に、または特定用途向け集積回路の一部として機能を実装する。従って、例示的な処理フローは、ソフトウェア、ファームウェアおよびハードウェアの実装に適用可能である。
【００５３】
図１は、例示的な実施形態による、スキャナを含むシステム１００の論理ブロック図である。システム１００は、小売環境における配備の一例であるが、本明細書に記載の様々な実施形態は、とりわけ、カスタマサービスキオスクおよび図書館精算、トラベルチェックインキオスクなどの他の環境においても適用可能である。
【００５４】
本発明の複数のカメラからの画像データの取得及び処理方法に係るシステム１００は、端末１０４に結合されたスキャナ１０２を含む。実施形態によっては、スキャナ１０２は製品スキャナまたは類似のスキャンデバイスであってもよい。こうしたスキャナの一例は、ＮＣＲ  Ｃｏｒｐｏｒａｔｉｏｎ（ジョージア州、ダルース）のREALSCAN７９ＢＩ−ＯＰＴＩＣＩＭＡＧＥＲである。
【００５５】
こうした最新のスキャナは、スキャン機能の実行において１つまたは複数のカメラを利用する。こうしたスキャナの一部は、内部に含まれる４つ以上のカメラを有する場合もある。別のカメラが、天井のポールに搭載され得るカメラなどの、スキャナ１０２または端末１０４に結合あるいはこれと通信されて、端末１０４およびスキャナ１０２領域の一方または両方の俯瞰を提供してもよい。
【００５６】
このため、これらのカメラは、スキャンまたは計量のために提示された品目、端末周辺の領域、端末１０４または隣接端末におけるレジ係、端末１０４または例のカスタマ、および他の領域を含む多くのものの画像をキャプチャするのに利用され得る。
【００５７】
端末１０４は、精算係員またはレジ係によってサービスされる近代的なキャッシュレジスタであってもよく、あるいは、セルフ精算端末または他のセルフサービス端末（ＳＳＴ）、カスタマサービスキオスク等であってもよい。実施形態によっては、スキャナ１０２は有線または無線接続のいずれかを介して、カメラ１０６、１０８などの１つまたは複数の別のカメラに結合される。ただし、様々な実施形態は、１つ、３つ、４つ、およびそれ以上のカメラを含んでもよい。
【００５８】
本システムの実施形態によっては、カメラ１０６は購入のために品目を、そして購入取引を完了させるために書類を端末１０４において提示するカスタマに向けられてもよい。同様に、カメラ１０８は、端末１０４の係員の方向に向けられてもよい。スキャナ１０２に内蔵されたカメラなどの他のカメラが、スキャナ１０２のスキャンフィールドに向けられて、バーコード、製品パッケージ内に埋め込まれた透かし（例えば、ＤＩＧＩＭＡＲＣ）、およびスキャナ１０２と端末１０４の周辺の環境の画像をキャプチャしてもよい。
【００５９】
また、本システム１００は、通常、スキャナ１０２および端末１０４の一方または両方を他のコンピューティングデバイスに接続するネットワーク１１０を含む。他のコンピューティングデバイスは、特定の実施形態に応じて、１つまたは複数の取引プロセシングシステム１１４、取引を格納する１つまたは複数のデータベース１１２、製品、および他の関連するデータを含んでもよい。また、ネットワーク１１０は、カメラ１０６、１０８および端末１０４に配備されたスキャナ１０２のカメラから画像および映像を受信する、閲覧および監視システムであるセキュリティビデオオーバーイーサネットストレージに接続する。
【００６０】
図２は、例示的な実施形態による、スキャナ２０８を含む、ＰＯＳ端末、セルフサービス端末（ＳＳＴ）、または他のキオスクシステムなどの精算ステーションにおいて配備され得るスキャナ２０８のコンポーネントを例示する。
【００６１】
スキャナ２０８は、本明細書の様々な実施形態を理解することに関して例示的なコンポーネントを有する、非常に簡素化した形式で概略的に示されている。スキャナ２０８は、実施形態によっては、より多いかより少ないコンポーネントを含む場合があることに留意されたい。
【００６２】
さらに、例示され構成されている図２に含まれる様々なコンポーネントは、例示のみを目的として提供される。なお、コンポーネントの数がより多いかより少ない他の構成も、本明細書の記載から逸脱しないかぎり可能である。
【００６３】
そして、本明細書および以下に提示される方法およびスキャナ２０８は、本明細書の様々な文脈に記載および示されるコンポーネントの全てまたは一部の組み合わせを含んでもよい。
さらに、スキャナ２０８はＰＯＳ端末と対にされるが、スキャナ２０８は、他の実施形態では、スタンドアロンの構成要素または他のシステム、デバイスおよび端末の構成要素であってもよい。スキャナ２０８を含み得る他の端末タイプの例として、係員が操作するセルフサービス図書館精算ステーション、時間管理端末などのセルフサービス端末（ＳＳＴ）が挙げられてもよい。
【００６４】
また、図２には一部の実施形態によるスキャナが例示されるが、本明細書に記載のスキャナ内画像ソートおよびプロセシングは、ＵＳＢまたはネットワークを介して直接的または間接的のいずれかでスキャナ２０８に結合され得る１つまたは複数のカメラ２４０、２４２などのスタンドアロンのカメラなどの別のデバイスによって生成される画像およびビデオストリームに関して実施されてもよい。
【００６５】
本発明の複数のカメラからの画像データの取得及び処理方法の実施形態は、メモリおよび／または非一過性コンピュータ可読記憶媒体に実行可能な命令としてプログラムされ、本明細書に記載のコンポーネントおよびデバイスと関連付けられた１つまたは複数のプロセッサー上で実行される。例えば、実施形態によっては、ファームウェア２２６などの、スキャナ２０８内に存在するファームウェアとして配備されてもよい。
【００６６】
別の実施形態では、スキャナ内画像ソートおよびプロセシング機能は、スキャナがアクセス可能なスキャナまたはネットワーク配備サービス上のソフトウェアとして配備されてもよい。別の実施形態では、画像ソートおよびプロセシングは、スキャン２０８が、ネットワークサーバ上で、または２つ以上のスキャナ２０８の組み合わせ上で結合されるＰＯＳ端末を制御するコンピュータ上で実行されてもよく、コンピュータは、スキャナ２０８が結合されるＰＯＳ端末を制御する。
【００６７】
スキャナ２０８は、こうしたデバイスと最も一般的に関連付けられている処理である製品スキャナまたはバーコードスキャナと呼ばれてもよい。動作中、品目がスキャナ２０８のスキャンフィールド内に配置される。
【００６８】
そして、１つまたは複数のカメラなどのスキャナ２０８の１つまたは複数の撮像デバイス２１８が、バーコードをスキャンし、そこから読み取られた情報は、ＰＯＳシステムに通信される。
【００６９】
それから、ＰＯＳシステムは、そのデータを使用して、スキャナ２０８のスキャンフィールド内に配置された品目を識別し、別の機能を実施する。別の機能は、価格ルックアップ、および購入品目リストへの品目追加を含んでもよく、これは、１つまたは複数のＰＯＳディスプレイ上に提示されてもよい。また、別の機能はスキャンした製品を、年齢、識別、および／または住所の検証を行わなければならない規制品目として識別することを含んでもよい。１つまたは複数のＰＯＳディスプレイ上にメッセージが提示されてもよく、識別カードまたは他の文書をスキャンすることを示すメッセージがスキャナ２０８に送信されてもよい。その他の別の機能が、異なる実施形態で実施されてもよい。
【００７０】
スキャナ２０８は、食料品店およびディスカウント小売店舗でよく目にする生検用スキャナの２つのスキャンフィールドなどの１つまたは複数のスキャンフィールドを含んでもよい。撮像デバイス２１８に加えて、スキャナ２０８は、様々な他のコンポーネントを含んでもよい。
【００７１】
様々な他のコンポーネントは、農産物を計量するため食料品店舗で使用されてもよいような統合型計量器２１０ならびに良好な（失敗した）スキャン信号などの音声および視覚信号を出力するスピーカ２１２およびディスプレイ照明２１６のうちの一方または両方を含んでもよい。スキャナ２０８はまた、スキャンされる品目の検出された存在に基づいて点滅および調整されてもよいスキャンフィールド照明２２０を含んでもよい。
【００７２】
スキャンフィールド照明２２０は、白色、赤色、緑色、赤外線あるいはその他などの、１つ、２つ、またそれ以上の異なる光色を含んでもよい。また、スキャンフィールド照明２２０は、実施形態によっては可変の強度または輝度であってもよく、照明構成要素に異なる電位を印加する、あるいは照明されるＬＥＤなどの照明構成要素の数を調整することで変更されてもよい。
【００７３】
通常の動作中、スキャナ２０８は、プロセッサー２２２上で実行される命令により操作される。プロセッサー２２２は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサー、マイクロプロセッサーまたは他の種類のプロセッサーであってよい。
【００７４】
命令は、１つまたは複数のメモリ２２４に格納されたファームウェア２２６またはソフトウェア２３０であってよい。１つまたは複数のメモリ２２４は、揮発性および不揮発性メモリ、書き込み禁止メモリ、追記型メモリ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、セキュアメモリ、ならびに他のメモリおよびデータ記憶タイプおよびデバイスであってもよく、またはそれらを含んでもよい。
【００７５】
ファームウェア２２６に格納されてもよい、またはメモリ２２４内のソフトウェア２３０としての命令は、メモリ２２４に格納された構成設定に従って、実行される。
【００７６】
構成設定２２８は、スキャナ２０８およびその中にある様々なコンポーネントの動作を構成する。例えば、構成設定２０８は、スピーカ２１２の音量、ディスプレイ照明２１６の出力、およびスキャンフィールド照明２２０の輝度を構成してもよい。
【００７７】
本システムの構成設定は、撮像デバイス（複数可）２１８の復号アルゴリズムおよび命令、有線または無線通信を介した、スキャナ２０８からＰＯＳシステムまたは他のシステムへデータを通信するために使用される１つまたは複数の通信プロトコル、計量器２１０の動作パラメータ（例えば、ポンドまたはキログラムといった計測単位）を構成してもよい。
【００７８】
また、この構成設定は、実施形態が含み得る特定のスキャナ２０８の他の設定を構成してもよい。実施形態によっては、構成設定２２８は、ファームウェアバージョンおよびソフトウェアバージョンなどを含んでもよい。従って、構成が設定されるまたは更新される場合、構成設定２２８の設定または更新は、スキャナに存在するファームウェアおよびソフトウェアへの更新を含む特定の実施形態の構成設定２２８のいずれかの母集団および更新を含んでもよい。
【００７９】
スキャナ２０８は、スキャナ２０８が有線接続および無線接続の一方または両方を介してネットワーク上で、他のコンピューティングデバイスと通信可能とする、１つまたは複数の通信インタフェース２１４、２３２を含んでもよい。一部の実施形態では、通信インタフェース２３２はスキャナ２０８上に仮想通信インタフェースを提供してもよく、これは、端末またはＰＯＳ端末などの、スキャナが対にされる他のコンピューティングデバイスのネットワーク接続性を活用して、スキャナがネットワーク上で通信することを可能にする。
【００８０】
動作中、スキャナ２０８の１つまたは複数の撮像デバイス２１８は、静止画像および映像のフレームなどの画像をキャプチャする。これらの静止画像および映像は、メモリ２２４内またはスキャナ２０８、端末またはこれと対にされる他のデバイス他のデータ記憶装置内に格納されてもよく、あるいは、通信インタフェース２１４、２３２の一方を介してネットワーク上で送信されてもよい。
【００８１】
本システムの別の実施形態では、映像は単に撮像して得られてスキャナ２０８上で処理されて破棄される。しかし、状況によっては、セキュリティ録画（例えば、ＯＮＶＩＦビデオオーバーイーサネット（登録商標）、ＵＶＣオーバーＵＳＢ）のための支払、識別確認のために提示される文書の画像などの、特定の画像が必要である。
【００８２】
こうしたインスタンスでは、これらの画像は、適切なプロセシングのために、ソフトウェア２３０、ファームウェア２２６に格納された命令に応じて、あるいは、こうした画像をＰＯＳ端末制御コンピュータまたは通信インタフェース２１４、２３２の一方を介したネットワークサービスに渡すことによって処理される。
【００８３】
実施形態によっては、スキャナ２０８は、４つの内部撮像デバイス２１８と、有線または無線でスキャナ２０８と通信する遠隔カスタマスキャナ（ＲＣＳ）とを含む。スキャナ２０８は、ＵＳＢを介してＰＯＳ端末に、そしてイーサネットネットワークへの通信インタフェース２１４を介してＯＮＶＩＦ  ＮＶＲ（ネットワークビデオレコーダ）に接続されてもよい。
【００８４】
一部の実施形態における処理は、概して、スキャナ２０８の撮像デバイス２１８と、カメラ露出、照明、解像度、クロップ、カラーモード、位置、および回数の多様性を利用して画像をキャプチャする他のカメラ２４０、２４２とを含む。
【００８５】
スキャナのソフトウェア２３０またはファームウェア２２６は、画像の多様性を処理してソートし、いくつかの所望のサービスのそれぞれに合うようにする。任意選択で、処理負荷を低減するために、スキャナ２０８は画像を処理して集中型処理にソートし、プロセッサー２２２の使用の重複を最小限にしてもよい。その後スキャナ２０８は処理かつソートされた画像をさらなるアクションのために、所望のサービスのそれぞれに提示する。
【００８６】
こうした一部の実施形態では、スキャナ２０８は、カメラ２１８、２４０、２４２の露出、照明、解像度、クロップ、カラーモード、位置、および回数の多様性を利用して画像をキャプチャする。一部のこうした実施形態では、カメラ２１８、２４０、２４２制御処理は、例えばＩ２Ｃインタフェースによって、カメラ２１８、２４０、２４２と通信して、個々のカメラ２１８、２４０、２４２の挙動を制御および調整する。また、異なるカメラ２１８、２４０、２４２は、カラーまたはモノクロームであってもよく、あるいは、１つまたは複数のカメラ２１８、２４０、２４２にカラーまたはモノクロームの画像を出力させる可変出出力オプションを含んでもよい。
【００８７】
一部の実施形態における回数の多様性は、定期的、またはスキャナ２０８の処理による、ＰＯＳ端末またはスキャナ２０８がアイドル状態に入った後のカメラ２１８、２４０、２４２の視野の変化などの、イベント検出時などのイベント駆動型であってもよい。
【００８８】
本システムの実施形態によっては、スキャナ２０８は画像の多様性を処理かつソートして、所望のスキャナサービスのそれぞれに合うようにする。処理およびソートは、スキャナ２０８上、接続されたＰＯＳ端末上、サーバ上、あるいはハイブリット組み合わせ上に存在し得るソフトウェア２３０、ファームウェア２２６において行われ得る。実施形態によっては、画像のプロセシングは、例えばとりわけ、ピラミッドフィルタを用いて解像度を低減する。
【００８９】
例えば、白色バランスを修正または適用して色を調整する、例えば、ディべイヤーフィルタを適用して色を切り離す、および輝度またはコントラストを調整することのうちの１つ、２つ、またはそれ以上を含んでもよい。
【００９０】
また、プロセシングは、関心の領域または関心のフレームのフィルタの、１Ｄバーコード、２Ｄバーコード、またはいくつかの他の関心の品目を含むフラッグフレームへの適用、動きの検出、品目置換の検出、画像中に含まれる背景およびレジ係の手と腕などの画像の部分の検出と除去、および他のプロセシングのうちの１つまたは複数を含むようにしても良い。
【００９１】
これらおよび一部の他の実施形態において、スキャナ２０８は、画像それぞれに関連付けられたメタデータを評価することで画像をソートしてもよい。メタデータは、画像ヘッダのメモリ内に格納されてもよい。
【００９２】
ソート目的のメタデータには、カメラのソースおよび位置、露出パラメータ、照明、例えば、オン／オフ、または赤色／白色、カメラのタイプ（例えば、カラーまたはモノクローム）、画像のタイプ（例えば、カラーまたはモノクローム）、解像度（例えば、１２８０ｘ９６０、６４０ｘ４８０、３２０ｘ２４０、およびカラー又はモノクローム画素）、クロップ（例えば、１次元バーコードの周辺の関心の領域）、回数、および前回の画像処理結果（例えば、関心の１次元フレーム、関心の２次元フレーム、モーション検出など）が含まれ得る。
【００９３】
本システムの実施形態によっては、スキャナ２０８は、ターゲットフレームレートに従って画像をさらにソートしてもよい。例えば、ターゲットプロセシングサービスが１秒あたり４フレームの固定のフレームレートが必要である場合、スキャナ２０８はタイマを使用して０．２５秒ごとに１つの画像のみを選択し得る。
【００９４】
さらに、本システムの別の実施形態によっては、集中型処理における画像のプロセシングおよびソートによりプロセッサー２２２の負荷を低減し、同一の処理に対するプロセッサ２２２の使用の重複を最小限にしてもよい。例えば、ＵＶＣビデオスストリーミング処理が１秒あたり１６フレームのレートの６４０ｘ４８０の白黒画像を必要とし、ＯＮＶＩＦビデオオーバーイーサネットサービスが１秒あたり４フレームの６４０ｘ４８０の白黒画像をレートを必要とする場合、集中型処理は、ＵＶＣ処理に対して１秒あたり１６フレームで画像を処理し、４フレームごとにＯＮＶＩＦ処理に提供する。
【００９５】
そして、本システムの別の実施形態では、スキャナ２０８は処理かつソートされた画像をさらなるアクションのために、所望のサービスのそれぞれに提示する。これらのサービスには、とりわけ、印刷用紙、製品、およびモバイル機器（例えば、スマートフォン、スマートウォッチ、タブレット等）上の１次元バーコードまたは２次元バーコードを読み取ること、ＤＩＧＩＭＡＲＣコードを読み取ること、不正状態を検出すること（例えば、品目置換不正）、候補リスト低減アルゴリズムのための農作物の識別、ビデオオーバーＵＳＢ（ＵＶＣ）画像の提供およびビデオストリーミング、およびビデオオーバーイーサネット（ＯＮＶＩＦ）画像の提供およびビデオストリーミングが含まれ得る。
【００９６】
本システムの実施形態によっては、スキャナ２０８は、自然照明および自動露出を用いて撮影される画像を、スキャンフィールド照明２２０からの明るいＬＥＤ照明および固定の露出を用いて撮影された画像に替える。自動露出画像は、精算レーンの概観を提供し、ビデオセキュリティ画像をイーサネット（登録商標）を介してネットワーク録画システム（ＮＶＲ）に提供するのに使用されてもよい。固定の露出画像は、品目がスキャンされたときに、明るく照明された局部的な品目のビューを提供し、１次元バーコードまたは２次元バーコードを読み取るのに使用されてもよい。
【００９７】
図３は、本システムの例示的な実施形態による、複数の処理ソリューションに対する、複数のカメラ同時撮像におけるデータフローの論理ブロック図である。カメラは、列番号１にリストされ、ここで画像が撮像して得られる。その後、画像の集中型処理およびソートが、列番号２内で生じる。最後に、列番号３にサービスがリストされ、これに対して処理されてソートされた画像が提示される。
【００９８】
図４は、本システムの例示的な実施形態による方法４００の論理ブロック図である。方法４００は、図３の列２などの、一部の実施形態で生じ得る集中型プロセシングおよびソートの例示的実施形態である。
【００９９】
本方法４００は、複数のカメラから画像を受信すること（４０２）を含む。デバイスそれぞれから受信した画像は通常、様々な照明および露出レベルで撮像して得られる。その後、方法４００は４０４で、受信した画像に関する少なくとも１つの処理をそれぞれ実行する複数の画像プロセシングサービスへの分配のために、他の可能性のあるファクタの中でもとりわけ、照明および露出レベルに基づいて画像をソートする。その後画像は４０６で、画像がソートされる４０４それぞれのサービスに提示されてもよい。
【０１００】
本方法４００の一部の実施形態では、画像が受信されるカメラの少なくとも１つは、本方法が実行される製品スキャナのカメラである。
【０１０１】
本システムの別の実施形態では、４０４で画像がソートされる少なくとも１つの処理は、内部に存在するバーコードを読み取るために４０２で受信した画像に関して実行されるバーコード読み取り処理を含む。
【０１０２】
こうした実施形態の１つでは、画像内の読み取るバーコードが１次元バーコードである場合、４０４の画像のソートは照明源をオンにして、１次元バーコード読み取りのための特定の固定の露出レベルを有するカメラで撮像して得られた画像を４０４でソートすることを含む。しかし、画像内の読み取るバーコードが２次元バーコードである場合、４０４の画像のソートは照明源をオフにして、２次元バーコード読み取りのための自動露出レベルを有するカメラで撮像して得られた画像を４０４でソートすることを含む。
【０１０３】
本方法４００の一部の実施形態では、照明および露光レベルに基づく４０４の画像のソートは、録画サービスに提示するために自動露出レベルを有するカメラによって撮像して得られた画像を４０４でソートすることを含む。別の実施形態または実施形態の一部の別のインスタンスでは、照明および露出レベルに基づく４０４の画像のソートは、さらなる処理のために複数のサービスに対して提示するために、少なくとも１つの画像を複数の可能性のあるグループにソートすることを含む。
【０１０４】
図５は、本システムの例示的な実施形態によるコンピューティングデバイスのブロック図である。
【０１０５】
本実施形態では、複数のこうしたコンピュータシステムが、分散されたネットワークで利用されて、トランザクションベースの環境で複数のコンポーネントを実装する。オブジェクト指向、サービス指向または他のアーキテクチャが使用されて、こうした機能を実装し、複数のシステムとコンポーネントの間で通信してもよい。
【０１０６】
コンピュータ５１０の形状の一例示的コンピューティングデバイスの例には、プロセシングユニット５０２、メモリ５０４、着脱式記憶装置５１２および非着脱式記憶装置５１４が挙げられる。メモリ５０４が、揮発性メモリ５０６および不揮発性メモリ５０８を含んでもよい。コンピュータ５１０は、揮発性メモリ５０６および不揮発性メモリ５０８、着脱式記憶装置５１２および非着脱式記憶装置５１４などの様々なコンピュータ可読媒体を含むコンピューティング環境を含んでよい、またはそこへのアクセスがあってよい。
【０１０７】
本システムを構成するコンピュータ記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）および電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み出し専用メモリ（ＣＤ  ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはコンピュータ可読命令を格納可能な任意の他の媒体を含む。
【０１０８】
さらに、コンピュータ５１０は、入力５１６、出力５１８および通信接続５２０を含むコンピューティング環境を含んでよい、またはそこへのアクセスがあってよい。コンピュータは、通信接続を使用してネットワーク環境で動作して、データベースサーバなどの１つまたは複数のリモートコンピュータに接続してもよい。
【０１０９】
リモートコンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードなどを含んでもよい。通信接続は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、または他のネットワークを含んでよい。
【０１１０】
ここで、コンピュータ可読媒体に格納されたコンピュータ可読命令は、コンピュータ５１０のプロセシングユニット５０２により実行可能である。ハードドライブ、ＣＤ−ＲＯＭおよびＲＡＭは、非一過性コンピュータ可読媒体を含む物品の例の一部である。
【０１１１】
例えば、本明細書に例示および記載の１つまたは複数の方法を実行可能なコンピュータプログラム５２５は、プロセシングユニット５０２上で実行可能な、メモリ５０４、着脱式記憶装置５１２、または非着脱式記憶装置５１４内に保持されて、本方法を実行するデータプロセシング処理を実行するための命令として具体化されてもよい。
【図１】
2018142960.tif 000003
【図２】
2018142960.tif 000004
【図３】
2018142960.tif 000005
【図４】
2018142960.tif 000006
【図５】
2018142960.tif 000007