(57)【特許請求の範囲】
【請求項１】
容器の種類と、ラベルの画像データの入力を受け付け、
入力された前記容器の種類に応じた形状を特定し、
仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
生成した前記二次元画像データを記憶する、
処理をコンピュータが実行することを特徴とする画像生成方法。
【請求項２】
前記生成する処理は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および前記容器に対する照明の条件を変えて複数の二次元画像データを生成する
ことを特徴とする請求項１に記載の画像生成方法。
【請求項３】
容器の種類と、ラベルの画像データの入力を受け付け、
入力された前記容器の種類に応じた形状を特定し、
仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
生成した前記二次元画像データを記憶する、
処理をコンピュータに実行させることを特徴とする画像生成プログラム。
【請求項４】
容器の種類と、ラベルの画像データの入力を受け付ける受付部と、
前記受付部に入力された前記容器の種類に応じた形状を特定する特定部と、
仮想的な３次元空間内で、前記特定部により特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成する生成部と、
前記生成部により生成された前記二次元画像データを記憶する記憶部と、
を有することを特徴とする情報処理装置。
【請求項５】
容器の種類と、ラベルの画像データの入力を受け付け、
入力された前記容器の種類に応じた形状を特定し、
仮想的な３次元空間内で、特定した形状の容器の３次元モデルに前記ラベルの画像をテキスチャとして仮想的に貼り付けた３次元モデルを形成し、前記容器の３次元モデルに仮想的に貼り付けられた前記ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて前記ラベルの二次元画像データを生成し、
生成した前記二次元画像データを記憶し、
撮像画像を取得し、
取得した前記撮像画像と、前記二次元画像データとの類似度を評価し、
評価結果に応じた出力を行う、
処理をコンピュータが実行することを特徴とする表示制御方法。
【請求項６】
前記生成する処理は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および前記容器に対する照明の条件を変えて複数の二次元画像データを生成し、
前記評価する処理は、取得した前記撮像画像と、前記複数の二次元画像データとの類似度合いのスコアをそれぞれ求め、前記容器に仮想的に貼り付けられたラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして類似度を評価する
ことを特徴とする請求項５に記載の表示制御方法。
【請求項７】
検索対象とするラベルの指定を受け付ける処理をコンピュータがさらに実行し、
前記評価する処理は、前記撮像画像に複数の容器が含まれる場合、各容器のラベルと、指定されたラベルの二次元画像データとの類似度を評価し、
前記出力する処理は、評価結果に基づき、指定されたラベルの前記撮像画像内での位置を出力する
ことを特徴とする請求項５または請求項６に記載の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成方法、画像生成プログラム、情報処理装置および表示制御方法に関する。
【背景技術】
【０００２】
従来から、撮影された撮影画像に写る物品を判別する技術として画像認識が知られている。この画像認識では、判別対象とする物品が写る基準画像を予め用意しておき、例えば、基準画像と撮影画像とのパターンマッチングなどの画像認識処理により、特定の物品を判別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４５５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば、お酒の容器には、ラベルが貼られている。かかる容器は、ラベルを貼る部分が湾曲している。ラベルの画像は、ラベルをデザイン元からや、ラベルをスキャナなどで読み取ることにより、取得できる。そこで、ラベルの画像を基準画像として用いて、ラベルの画像認識により物品の判別を行うことが考えられる。しかし、容器に貼られる際にラベルが湾曲するため、ラベルの画像を基準画像として用いても、識別率が低い。
【０００５】
このため、ラベルを貼った容器を実際に撮影して基準画像を得ることも考えられるが、物理的に多くの容器を集めて撮影を行うため作業負荷が高く、撮影角度や照明の当たり方など様々な要因があり、基準画像にばらつきが生じる場合がある。このように基準画像のばらつきがある場合、識別率にばらつきが生じてしまう。
【０００６】
一つの側面では、基準画像の生成ばらつきを抑制できる画像生成方法、画像生成プログラム、情報処理装置および表示制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の案では、画像生成方法は、コンピュータが、容器の種類と、ラベルの画像データの入力を受け付ける処理を実行する。画像生成方法は、コンピュータが、入力された容器の種類に応じた形状を特定する処理を実行する。画像生成方法は、コンピュータが、入力された容器の種類に応じた形状を特定する処理を実行する。画像生成方法は、コンピュータが、特定した形状に応じてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する処理を実行する。画像生成方法は、コンピュータが、生成した二次元画像データを記憶する処理を実行する。
【発明の効果】
【０００８】
本発明の一の実施態様によれば、基準画像の生成ばらつきを抑制できるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施例１に係るシステムの概略的な構成の一例を示す図である。
【図２】図２は、実施例１に係るサーバ装置の概略的な構成を示す図である。
【図３】図３は、容器に貼られるラベルの一例を示す図である。
【図４】図４は、ラベルを容器に貼られた状態の一例を示す図である。
【図５】図５は、容器情報のデータ構成の一例を示す図である。
【図６】図６は、撮影条件情報のデータ構成の一例を示す図である。
【図７】図７は、登録物品情報のデータ構成の一例を示す図である。
【図８】図８は、認識対象物情報のデータ構成の一例を示す図である。
【図９】図９は、登録画面の一例を示す図である。
【図１０】図１０は、容器の３次元モデルにラベル画像をテキスチャとして貼り付ける流れの一例を模式的に示した図である。
【図１１】図１１は、容器の３次元モデルに対する撮影位置の位置関係の一例を示した図である。
【図１２】図１２は、容器のラベル画像をテキスチャとして貼り付けた一例を示した図である。
【図１３】図１３は、端末装置に表示される画面の一例を示す図である。
【図１４】図１４は、画像生成処理の手順の一例を示すフローチャートである。
【図１５】図１５は、表示制御処理の手順の一例を示すフローチャートである。
【図１６】図１６は、実施例２に係るサーバ装置の概略的な構成を示す図である。
【図１７】図１７は、端末装置に表示される画面の一例を示す図である。
【図１８】図１８は、湾曲補正の一例を示す図である。
【図１９】図１９は、画像生成プログラムを実行するコンピュータを示す図である。
【図２０】図２０は、表示制御プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明にかかる画像生成方法、画像生成プログラム、情報処理装置および表示制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１１】
［システム構成］
最初に、実施例１に係るシステム１０の一例を説明する。図１は、実施例１に係るシステムの概略的な構成の一例を示す図である。システム１０は、撮影された撮影画像に写る物品を判別するシステムである。本実施例では、物品として、例えば、一升瓶などのお酒の容器を撮影し、ラベルから銘柄を判別する場合を例に説明する。
【００１２】
図１に示すように、システム１０は、サーバ装置１１と、端末装置１２とを有する。サーバ装置１１と端末装置１２は、ネットワークＮに通信可能に接続されている。かかるネットワークＮの一態様としては、有線又は無線を問わず、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網を採用できる。なお、図１の例では、端末装置１２を１台設けた場合を例示したが、これに限定されず、端末装置１２を任意の数とすることができる。
【００１３】
サーバ装置１１は、撮影画像に基づいて物品を判別する判別サービスを提供する装置である。サーバ装置１１は、例えば、サーバコンピュータなどのコンピュータである。サーバ装置１１は、１台のコンピュータとして実装してもよく、また、複数台のコンピュータにより実装してもよい。なお、本実施例では、サーバ装置１１を１台のコンピュータとした場合を例として説明する。
【００１４】
端末装置１２は、サーバ装置１１が提供する判別サービスを利用するユーザが所持する装置である。例えば、端末装置１２は、スマートフォンやタブレット端末などの携帯端末装置である。なお、端末装置１２は、ノートパソコンやパーソナルコンピュータなどのコンピュータであってもよい。端末装置１２は、ユーザの操作に応じて、判別の対象とする物品を撮影し、サーバ装置１１の判別サービスに対して撮影画像の画像データを送信して物品の判別を要求する。そして、端末装置１２は、判別サービスからの応答に応じて、物品の判別結果を表示する。
【００１５】
［サーバ装置１１の構成］
次に、実施例１に係るサーバ装置１１の構成について説明する。図２は、実施例１に係るサーバ装置の概略的な構成を示す図である。サーバ装置１１は、通信Ｉ／Ｆ（インタフェース）部２０と、入力部２１と、表示部２２と、記憶部２３と、制御部２４とを有する。
【００１６】
通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、ネットワークＮを介して他の装置と各種情報を送受信する。通信Ｉ／Ｆ部２０としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
【００１７】
入力部２１は、各種の情報を入力する入力デバイスである。入力部２１としては、マウスやキーボードなどの操作の入力を受け付ける入力デバイスが挙げられる。入力部２１は、各種の情報の入力を受け付ける。例えば、入力部２１は、管理者から物品の判別に用いる基準画像の生成に関する操作入力を受け付ける。入力部２１は、受け付けた操作内容を示す操作情報を制御部２４に入力する。
【００１８】
表示部２２は、各種情報を表示する表示デバイスである。表示部２２としては、ＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）などの表示デバイスが挙げられる。表示部２２は、各種情報を表示する。例えば、表示部２２は、操作画面など各種の画面を表示する。
【００１９】
記憶部２３は、ハードディスク、ＳＳＤ（Solid  State  Drive）、光ディスクなどの記憶装置である。なお、記憶部２３は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non  Volatile  Static  Random  Access  Memory）などのデータを書き換え可能な半導体メモリであってもよい。
【００２０】
記憶部２３は、制御部２４で実行されるＯＳ（Operating  System）や各種プログラムを記憶する。例えば、記憶部２３は、後述する画像生成処理や表示制御処理を実行するプログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２３は、ラベル画像データ３０と、容器情報３１と、基準画像データ３２と、撮影条件情報３３と、登録物品情報３４と、認識対象物情報３５とを記憶する。
【００２１】
ラベル画像データ３０は、判別対象の物品に貼られるラベルの画像データである。本実施例では、お酒の容器に貼られる各種の銘柄のラベルの画像データである。各種の銘柄のラベルのラベル画像データ３０は、各銘柄のラベルをデザイン元からや、各銘柄のラベルをスキャナなどで読み取ることにより、取得する。
【００２２】
図３は、容器に貼られるラベルの一例を示す図である。ラベル８０は、矩形状とされ、銘柄ごとに文字や図形などが配置される。図３の例では、文字を「ＸＸＸＸ」と簡略化して示している。また、図形の一部を破線の横線に簡略化して示している。例えば、図３に示すラベル８０をスキャナなどで読み取ることにより、ラベル画像データ３０を取得する。
【００２３】
ラベル８０は、容器に貼られると湾曲する。図４は、ラベルを容器に貼られた状態の一例を示す図である。図４に示すように、ラベル８０は、容器８１に貼られると湾曲し、文字や図形が変形し、文字や図形の一部または全部が見えない位置となる場合がある。このため、ラベル画像データ３０のラベル画像を基準画像として用いても、識別率が低い。
【００２４】
各ラベル画像データ３０には、それぞれを識別する識別情報として、ラベル画像番号が付与される。各ラベル画像データ３０は、例えば、縦横の画素数が８００×６００など、後述する容器の３次元モデルのラベルの領域のサイズに対応させた、所定範囲のサイズに整えられて格納される。
【００２５】
容器情報３１は、判別対象の物品に用いられる容器に関する情報を記憶したデータである。例えば、容器情報３１には、お酒の各種の銘柄に使用される容器のサイズやラベルが貼られる領域の情報が記憶される。図５は、容器情報のデータ構成の一例を示す図である。図５に示すように、容器情報３１は、「容器コード」、「容器名称」、「形状」、「ラベル領域」などの項目を有する。なお、図５に示した容器情報３１の各項目は、一例であり、その他の項目を有してもよい。
【００２６】
容器コードの項目は、容器を識別する識別情報を記憶する領域である。容器には、異なるサイズの容器ごとに、それぞれを識別する識別情報として、容器コードが付与される。容器コードの項目には、容器に付与された容器コードが記憶される。容器名称の項目は、容器の名称を記憶する領域である。形状の項目は、容器の形状を示す情報を記憶する領域である。例えば、形状の項目には、容器の高さと、高さに対応した各部分での直径などの外形のサイズが記憶される。例えば、一升ビンの場合、形状の項目には、高さ：３９．８ｃｍ、底部直径：１０．４ｃｍ、上部直径：３．１ｃｍなど一升ビンの外形の形状に関する情報が記憶されている。なお、形状の項目には、ラベルが貼られる部分を含む一部分についての外形の形状に関する情報を記憶させてもよい。ラベル領域の項目は、ラベルが貼られる領域に関する情報を記憶する領域である。例えば、ラベル領域の項目は、ラベルが貼られる領域を示す基準点の位置情報が記憶される。例えば、ラベルの左上の端を基準としてラベルを容器に貼る場合、ラベル領域の項目には、ラベルの左上の端を貼り付ける容器表面上の位置の座標を基準点として記憶させる。なお、ラベル領域の項目には、ラベルを貼り付ける領域の四隅の容器表面上の位置の座標をそれぞれ記憶させてもよい。
【００２７】
図２に戻り、基準画像データ３２は、後述する生成部５２により生成された基準画像を記憶したデータである。基準画像データ３２には、それぞれを識別する識別情報として、基準画像番号が付与される。
【００２８】
撮影条件情報３３は、後述する生成部５２により基準画像を生成した際の撮影条件を記憶したデータである。例えば、撮影条件情報３３には、撮影条件として、容器に対する撮影位置および容器に対する照明の条件に関する情報が記憶される。
【００２９】
図６は、撮影条件情報のデータ構成の一例を示す図である。図６に示すように、撮影条件情報３３は、「基準画像番号」、「撮影位置」、「照明条件」などの項目を有する。なお、図６に示した撮影条件情報３３の各項目は、一例であり、その他の項目を有してもよい。
【００３０】
基準画像番号の項目は、基準画像データ３２の識別情報を記憶する領域である。基準画像番号の項目には、基準画像データ３２に付与された基準画像番号を記憶させる。撮影位置の項目は、基準画像番号の項目に基準画像番号が記憶された基準画像データ３２を生成した際の撮影位置を記憶する領域である。照明条件の項目は、基準画像番号の項目に基準画像番号が記憶された基準画像データ３２を生成した際の照明条件を記憶する領域である。
【００３１】
図２に戻り、登録物品情報３４は、基準画像が登録された物品に関する情報を記憶したデータである。例えば、登録物品情報３４には、基準画像が登録された物品の銘柄や、使用されるラベル画像データ３０のラベル画像番号、容器コードなどが対応付けて記憶される。
【００３２】
図７は、登録物品情報のデータ構成の一例を示す図である。図７に示すように、登録物品情報３４は、「物品」、「ラベル画像番号」、「容器コード」、「基準画像番号」、「コンテンツ」などの項目を有する。なお、図７に示した登録物品情報３４の各項目は、一例であり、その他の項目を有してもよい。
【００３３】
物品の項目は、判別用の基準画像が登録された物品に関する情報を記憶する領域である。本実施例では、物品の項目には、基準画像が登録されたお酒の銘柄の名称が記憶される。ラベル画像番号の項目は、物品の項目に登録された物品のラベル画像データ３０のラベル画像番号を記憶する領域である。容器コードの項目は、物品の項目に登録された物品に使用される容器の容器コードを記憶する領域である。基準画像番号の項目は、物品の項目に登録された物品に対して生成された基準画像の基準画像番号を記憶する領域である。コンテンツの項目は、物品の項目に登録された物品に関連するコンテンツに関する情報を記憶する領域である。例えば、物品に関連するメッセージをコンテンツとして提供する場合、コンテンツの項目には、提供するメッセージが記憶される。また、コンテンツとして画像を提供する場合、コンテンツの項目には、提供する画像の格納先が記憶される。また、コンテンツとして関連情報のリンク先を提供する場合、コンテンツの項目には、関連情報のリンク先のＵＲＬ（Uniform  Resource  Locator）が記憶される。
【００３４】
認識対象物情報３５は、撮影画像から判別された物品に関する各種の情報を記憶したデータである。例えば、認識対象物情報３５には、撮影画像に対応付けて判別された物品の情報が記憶される。
【００３５】
図８は、認識対象物情報のデータ構成の一例を示す図である。図８に示すように、認識対象物情報３５は、「対象物番号」、「物品」などの項目を有する。なお、図８に示した認識対象物情報３５の各項目は、一例であり、その他の項目を有してもよい。
【００３６】
対象物番号の項目は、撮影画像から物品として判別された対象物を識別する識別情報を記憶する領域である。撮影画像から判別された対象物には、識別情報として、それぞれを識別する対象物番号が付与される。対象物番号の項目には、撮影画像から判別された物品に付与された対象物番号が記憶される。物品の項目は、対象物が判別された物品を記憶する領域である。本実施例では、物品の項目には、対象物が判別されたお酒の銘柄の名称が記憶される。
【００３７】
図２に戻り、制御部２４は、サーバ装置１１を制御するデバイスである。制御部２４としては、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等の電子回路や、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、画像生成部４０と、情報提供部４１とを有する。
【００３８】
画像生成部４０は、物品の判別に用いる基準画像の生成する処理部である。本実施例では、画像生成部４０は、受付部５０と、特定部５１と、生成部５２とを有する。
【００３９】
受付部５０は、各種の受け付けを行う。例えば、受付部５０は、操作画面を表示部２２に表示させ、入力部２１から操作画面に対する各種の操作を受け付ける。例えば、受付部５０は、判別を行う物品に関する情報を登録する登録画像を表示部２２に表示させ、入力部２１から登録画像に対する物品に関する各種の情報の入力を受け付ける。
【００４０】
図９は、登録画面の一例を示す図である。図９に示すように、登録画面１００は、登録する物品の名称を入力する名称領域１０１と、登録する物品の容器の種類を容器コードにより指定する容器指定領域１０２とを有する。また、登録画面１００は、ラベル画像データ３０を指定するラベル指定領域１０３と、コンテンツを入力するコンテンツ入力領域１０４とを有する。登録画面１００には、ＯＫボタン１０５が設けられている。受付部５０は、登録画面１００から登録する物品の名称と、登録する物品の容器の種類と、ラベル画像データ３０と、提供するコンテンツの入力を受け付ける。
【００４１】
例えば、判別サービスを運用する管理者は、登録するお酒の銘柄の名称を名称領域１０１に入力し、登録するお酒の容器の種類を容器コードにより容器指定領域１０２で指定する。また、管理者は、登録するお酒のラベル画像データ３０をラベル指定領域１０３で指定し、お酒の特徴や蔵元の情報など物品に関連するメッセージをコンテンツ入力領域１０４に入力する。そして、管理者は、ＯＫボタン１０５を指定する。
【００４２】
特定部５１は、各種の特定を行う。例えば、特定部５１は、入力された容器の種類に応じた形状を特定する。例えば、特定部５１は、容器情報３１から、指定された容器コードに対応した形状を読み出して、容器の種類に応じた形状を特定する。
【００４３】
生成部５２は、各種の生成を行う。例えば、生成部５２は、特定部５１により特定した形状に応じて、ラベル指定領域１０３で指定されたラベル画像データ３０が示すラベル画像を変形させた状態におけるラベルの二次元画像データを生成する。例えば、生成部５２は、３次元空間モデルソフトウェアを用いて、仮想的な３次元空間内で、特定した形状の容器の３次元モデルを形成する。また、生成部５２は、容器情報３１から、指定された容器コードに対応したラベル領域を読み出して、容器のラベル貼り付け領域の基準点を特定する。そして、生成部５２は、形成した容器の３次元モデルの基準点の位置をラベルの左上の端を基準として、ラベルの画像をテキスチャとして仮想的に貼り付けたモデルを形成する。なお、生成部５２は、容器全体の３次元モデルを形成しなくてもよく、ラベルが貼りつけられる部分についての３次元モデルに簡略化して形成してもよい。
【００４４】
図１０は、容器の３次元モデルにラベル画像をテキスチャとして貼り付ける流れの一例を模式的に示した図である。図１０の例では、容器の３次元モデルをラベルが貼りつけられる部分に対応した円柱ポリゴン１１０として簡略化されている。例えば、生成部５２は、図１０に示すように、円柱ポリゴン１１０の周面のラベル貼り付け領域にラベル画像１１１をテクスチャとして貼り付けた３次元モデルを形成する。これにより、ラベル画像１１１は、実際の容器に貼りつけた状態と同様に変形する。
【００４５】
生成部５２は、仮想的な３次元空間内で、形成した３次元モデルを用いてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する。例えば、生成部５２は、形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて複数の二次元画像データを生成する。
【００４６】
図１１は、容器の３次元モデルに対する撮影位置の位置関係の一例を示した図である。図１１の例では、円柱ポリゴン１１０の中心線をｚ軸とし、仮想的に貼り付けられたラベル画像１１１に対して上方向をｚ軸のプラス方向とし、ラベル画像１１１に対して下方向をｚ軸のマイナス方向としている。また、図１１の例では、ｚ軸に対して垂直かつラベル画像１１１の中心ｃを通る線をｘ軸とし、ｚ軸から中心ｃの方向をｘ軸のプラス方向とし、中心ｃからｚ軸方向をｘ軸のマイナス方向としている。また、図１１の例では、ｚ軸およびｘ軸に垂直な軸をｙ軸としている。また、図１１の例では、ｚ軸と中心ｃを通るｘ軸が重なる点を原点ｐとしている。
【００４７】
例えば、生成部５２は、ｘ軸方向に所定の距離Ｌの位置で、ｘｚ平面内でのｘ軸に対する角度θをプラス、マイナスに所定範囲内（例えば、−４０°≦θ≦６０°）で角度θを所定角度（例えば、１０°）ずつｚ軸方向に位置を変える。生成部５２は、ｚ軸方向に各位置で、ｘｙ平面内でのｘ軸に対する角度γをプラス、マイナスに所定範囲内（例えば、−６０°≦γ≦６０°）で角度γを所定角度（例えば、１０°）ずつｙ軸方向に位置を変えて、中心ｃをカメラの光軸方向とした二次元画像データを生成する。生成部５２は、照明の条件として、３次元空間内の光源の位置や光源の数、光源から出力される光の輝度を変えて、それぞれの二次元画像データを生成する。例えば、生成部５２は、ｘ軸方向に所定の距離Ｍ（Ｍ＞Ｌ）の位置で、角度θ＝０、４５°、６０°、８０の位置にそれぞれ光源を配置した場合、それぞれの二次元画像データを生成する。なお、撮影位置および照明の条件を定める各種のパラメータは、予め設定されていてもよく、画面等から設定可能としてもよい。
【００４８】
ここで、一般的に、売り場に置いて、お酒などの商品は、顧客の視線の高さよりも下方となるように陳列される傾向があり、正面や斜め上方から参照されることが多い。そこで、生成部５２は、角度θがプラスの所定範囲内（例えば、０≦θ≦６０°）で角度θを所定角度ずつｚ軸方向に位置を変えるようにしてもよい。
【００４９】
また、ラベルは、上方から参照される角度θが大きいほどラベルの歪が大きくなる。そこで、生成部５２は、ラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして複数の二次元画像データを生成してもよい。例えば、生成部５２は、角度θ＝０°、３０°、４５°、５５°、６０°と上方向ほど角度θの変化を小さくする。また、生成部５２は、角度θ＝０°の場合は、角度γを３０°単位、角度θ＝４５°の場合は、角度γを２５°単位、角度θ＝５５°の場合は、角度γを２０°単位、角度θ＝６０°の場合は、角度γを１０°単位でγを変化させて、各撮影位置での二次元画像データを生成してもよい。これにより、ラベルの歪が大きい角度ほど細かい単位で基準画像を生成できる。
【００５０】
ラベルの変形の度合いは、容器の直径により異なり、細い容器では変形が大きくなり、太い容器では変形が小さくなる。図１２は、容器のラベル画像をテキスチャとして貼り付けた一例を示した図である。生成部５２が、図１２に示す状態の二次元画像データを生成した場合、細い容器ではラベル画像１１１の変形が大きいため、ラベル画像１１１の左右端部が切れた二次元画像データが生成される。一方、太い容器ではラベル画像１１１の変形が小さいため、ラベル画像１１１の左右端部も写った二次元画像データが生成される。
【００５１】
生成部５２は、生成した二次元画像データにそれぞれ基準画像番号を付与して基準画像データ３２として記憶部２３に格納する。また、生成部５２は、各基準画像データ３２の撮影位置および照明の条件を撮影条件情報３３に登録する。また、生成部５２は、登録画面１００に入力された登録する物品の名称、ラベル画像データ３０のラベル画像番号、登録する物品の容器の容器コード、メッセージ、および、生成した各基準画像データ３２の基準画像番号を登録物品情報３４に登録する。
【００５２】
情報提供部４１は、撮影画像に対して画像認識を行って物品を判別し、判別結果に応じて情報の提供を行う処理部である。本実施例では、情報提供部４１は、取得部６０と、評価部６１と、出力部６２とを有する。
【００５３】
取得部６０は、各種の取得を行う。例えば、取得部６０は、端末装置１２から送信された撮影画像の画像データを取得する。
【００５４】
評価部６１は、各種の評価を行う。例えば、評価部６１は、取得部６０により取得された撮影画像の画像データと各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する。そして、評価部６１は、算出した評価値に基づいて、物品を判別する。例えば、評価部６１は、最も高い評価値が、物品と判別する所定の閾値以上である場合、最も高い評価値が算出された基準画像データ３２の物品を撮影画像に写る物品と判別する。
【００５５】
ところで、ラベルに対して、角度θ＝０、角度γ＝０の正面から撮影された基準画像は、ラベルの文字や図形の歪が相対的に小さい。このため、正面から撮影された基準画像から算出された評価値は、類似しているかの評価の信頼性が高い。そこで、評価部６１は、ラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして評価値を算出して類似度を評価してもよい。例えば、角度θ＝０°、３０°、４５°、５５°、６０°で撮影された基準画像がある場合、評価部６１は、角度θ＝０°で撮影された基準画像での評価値に重み２．０を乗算し、角度θ＝３０°で撮影された基準画像での評価値に重み１．２を乗算し、角度θ＝５５°で撮影された基準画像での評価値に重み０．７５を乗算し、角度θ＝６０°で撮影された基準画像での評価値に重み０．６を乗算してもよい。
【００５６】
評価部６１は、撮影画像に写る物品が判別された場合、撮影画像から判別された対象物に対象物番号が付与し、認識対象物情報３５に、対象物番号と対象物が判別された物品を登録する。
【００５７】
出力部６２は、各種の出力を行う。例えば、出力部６２は、評価部６１により、撮影画像から物品が判別された場合、当該判別された物品に対応して各種の情報を撮影画像の送信元の端末装置１２に送信する。例えば、出力部６２は、判別された物品に対応して登録物品情報３４の物品の項目に記憶されたお酒の銘柄の名称と、コンテンツの項目に記憶されたメッセージを撮影画像の送信元の端末装置１２に送信する。
【００５８】
端末装置１２は、サーバ装置１１から送信された各種の情報に基づき、表示を行う。例えば、端末装置１２は、サーバ装置１１からお酒の銘柄の名称と、メッセージが送信された場合、お酒の銘柄の名称とメッセージを撮影画像に対応付けて表示する。
【００５９】
図１３は、端末装置に表示される画面の一例を示す図である。図１３の例では、お酒の撮影画像に対応付けて銘柄の名称とメッセージが表示される。これにより、端末装置１２のユーザは、表示された内容から銘柄の名称やお酒の特徴や蔵元の情報などを把握できる。
【００６０】
［処理の流れ］
次に、本実施例に係るサーバ装置１１が基準画像を生成する画像生成処理の流れを説明する。図１４は、画像生成処理の手順の一例を示すフローチャートである。この画像生成処理は、所定のタイミング、例えば、登録画面１００で登録画像に対する物品に関する各種の情報の入力を受け、ＯＫボタン１０５が指定されたタイミングで実行される。
【００６１】
図１４に示すように、特定部５１は、容器情報３１から、指定された容器コードに対応した形状を読み出して、容器の種類に応じた形状を特定する（Ｓ１０）。
【００６２】
生成部５２は、３次元空間モデルソフトウェアを用いて、仮想的な３次元空間内で、特定した形状の容器の３次元モデルを形成する（Ｓ１１）。生成部５２は、容器情報３１から、指定された容器コードに対応したラベル領域を読み出して、容器のラベル貼り付け領域の基準点を特定する（Ｓ１２）。生成部５２は、形成した容器の３次元モデルの基準点の位置をラベルの左上の端を基準として、ラベルの画像をテキスチャとして仮想的に貼り付けたモデルを形成する（Ｓ１３）。生成部５２は、形成した３次元モデルに対する撮影位置および形成した３次元モデルに対する照明の条件を変えて複数の二次元画像データを生成する（Ｓ１４）。
【００６３】
生成部５２は、生成した二次元画像データにそれぞれ基準画像番号を付与して基準画像データ３２として記憶部２３に格納する（Ｓ１５）。生成部５２は、各基準画像データ３２の撮影位置および照明の条件を撮影条件情報３３に登録する（Ｓ１６）。生成部５２は、登録画面１００に入力された登録する物品の名称、ラベル画像データ３０のラベル画像番号、登録する物品の容器の容器コード、メッセージ、および、生成した各基準画像データ３２の基準画像番号を登録物品情報３４に登録し（Ｓ１７）、処理を終了する。
【００６４】
次に、本実施例に係るサーバ装置１１が撮影画像の物品を判別し、判別結果に応じた情報を送信して端末装置１２の表示を制御する表示制御処理の流れを説明する。図１５は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、端末装置１２から送信された撮影画像の画像データを取得したタイミングで実行される。
【００６５】
図１５に示すように、評価部６１は、取得された撮影画像の画像データと各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する（Ｓ２０）。評価部６１は、算出した評価値に基づいて、物品を判別する（Ｓ２１）。例えば、評価部６１は、最も高い評価値が、物品と判別する所定の閾値以上である場合、最も高い評価値が算出された基準画像データ３２の物品を撮影画像に写る物品と判別する。
【００６６】
出力部６２は、評価部６１により、撮影画像から物品が判別されたか否かを判定する（Ｓ２２）。撮影画像から物品が判別された場合（Ｓ２２肯定）、出力部６２は、判別された物品に対応して各種の情報を撮影画像の送信元の端末装置１２に送信し（Ｓ２３）、処理を終了する。撮影画像から物品が判別されない場合（Ｓ２２否定）、出力部６２は、撮影画像から物品が判別されなかった旨を撮影画像の送信元の端末装置１２に送信し（Ｓ２４）、処理を終了する。
【００６７】
［効果］
本実施例に係るサーバ装置１１は、容器の種類と、ラベルの画像データの入力を受け付ける。サーバ装置１１は、入力された容器の種類に応じた形状を特定する。サーバ装置１１は、特定した形状に応じてラベルの画像データを変形させた状態におけるラベルの二次元画像データを生成する。サーバ装置１１は、生成した二次元画像データを記憶する。これにより、サーバ装置１１は、基準画像の生成ばらつきを抑制できる。
【００６８】
また、本実施例に係るサーバ装置１１は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成する。これにより、サーバ装置１１は、ラベルを実際の容器に貼りつけた状態と同様の状態で、基準画像の生成できる。また、サーバ装置１１は、仮想的な３次元空間で容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成するため、実際に撮影を行うため作業負荷を低減できる。また、サーバ装置１１は、各ラベルに対して仮想的な３次元空間内で同じ撮影位置および照明の条件で基準画像の生成できるため、撮影角度や照明の当たり方などの要因により、基準画像にばらつきが生じることを抑制できる。
【００６９】
また、本実施例に係るサーバ装置１１は、容器に仮想的に貼り付けられたラベルに対して上方向の撮影位置ほど撮影位置の変化を小さくして複数の二次元画像データを生成する。これにより、サーバ装置１１は、ラベルの文字や図形の歪が大きい角度ほど細かい単位で基準画像を生成できるため、認識の精度を向上させることができる。
【００７０】
また、本実施例に係るサーバ装置１１は、撮像画像を取得する。サーバ装置１１は、取得した撮像画像と、二次元画像データとの類似度を評価する。サーバ装置１１は、評価結果に応じた出力を行う。これにより、サーバ装置１１は、撮像画像に、二次元画像データに写る物品が含まれる場合、精度よく認識できる。
【００７１】
また、本実施例に係るサーバ装置１１は、仮想的な３次元空間の特定した形状の容器にラベルを仮想的に貼り付け、当該容器に対する撮影位置および容器に対する照明の条件を変えて複数の二次元画像データを生成する。サーバ装置１１は、取得した撮像画像と、複数の二次元画像データとの類似度合いのスコアをそれぞれ求め、容器に仮想的に貼り付けられたラベルに対して正面の撮影位置で生成された二次元画像データのスコアほど重み付けを大きくして類似度を評価する。これにより、サーバ装置１１は、評価の信頼性が高い二次元画像データに対してスコアを高めることができる。
【実施例２】
【００７２】
次に、実施例２について説明する。実施例２に係るシステム１０の構成は、図１に示した実施例１と同様であるため、説明を省略する。
【００７３】
図１６は、実施例２に係るサーバ装置の概略的な構成を示す図である。実施例２に係るサーバ装置１１の構成は、図２に示した実施例１と略同様であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。
【００７４】
本実施例では、情報提供部４１は、指定受付部６３をさらに有する。
【００７５】
指定受付部６３は、各種の指定を受け付ける。例えば、指定受付部６３は、検索対象とするラベルの指定を受け付ける。例えば、指定受付部６３は、受付部５０は、登録物品情報３４の物品の項目に記憶されたお酒の銘柄を表示した指定画面を表示部２２に表示させ、入力部２１から指定画面に対する銘柄の指定により、検索対象とするラベルの指定を受け付ける。
【００７６】
評価部６１は、撮影画像の画像データと、指定されたラベルの各基準画像データ３２とのパターンマッチングを行って、それぞれ類似度合を示す評価値を算出する。評価部６１は、撮像画像に複数の容器が含まれる場合、各容器のラベルと指定されたラベルの二次元画像データとの類似度を評価する。例えば、評価部６１は、各容器との評価値のうち、評価値が最も高い容器の評価値が、物品と判別する所定の閾値以上である場合、評価値が最も高い容器を、検索対象とするラベルが貼られた物品と判別する。
【００７７】
出力部６２は、評価部６１による評価結果に基づき、指定されたラベルの撮像画像内での位置を出力する。本実施例では、出力部６２は、検索対象とするラベルが貼られた物品の撮像画像内で位置を示す情報を端末装置１２に送信する。
【００７８】
端末装置１２は、サーバ装置１１から送信された各種の情報に基づき、指定されたラベルの撮像画像内での位置の表示を行う。例えば、端末装置１２は、検索対象とするラベルが貼られた物品を囲って撮像画像内で位置を表示する。
【００７９】
図１７は、端末装置に表示される画面の一例を示す図である。図１７の例では、撮影画像に複数のお酒の容器が写っており、検索対象とするラベルが貼られた容器が破線によって囲って撮像画像内で位置が表示されている。これにより、端末装置１２のユーザは、複数の銘柄のお酒が棚にある場合でも、検索対象とする銘柄を指定して棚を撮影することにより、検索対象とする銘柄の配置された位置を簡単に知ることができる。
【００８０】
［効果］
本実施例に係るサーバ装置１１は、検索対象とするラベルの指定を受け付ける。サーバ装置１１は、撮像画像に複数の容器が含まれる場合、各容器のラベルと、指定されたラベルの二次元画像データとの類似度を評価する。サーバ装置１１は、評価結果に基づき、指定されたラベルの撮像画像内での位置を出力する。これにより、ユーザは、検索対象とするラベルの配置された位置を簡単に知ることができる。
【実施例３】
【００８１】
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００８２】
例えば、上記の実施例では、仮想的な３次元空間内の容器の３次元モデルにラベルの画像をテキスチャとして仮想的に貼り付けて基準画像データ３２を生成する場合を例に説明したが、開示の装置はこれに限定されない。例えば、生成部５２は、ラベル画像データ３０が示すラベル画像に対して湾曲補正をかけてラベルの二次元画像データを生成してもよい。図１８は、湾曲補正の一例を示す図である。例えば、特定部５１により特定した形状に応じた湾曲量で、ラベル画像データ３０が示すラベル画像に対して、撮影位置に応じて湾曲させる位置を変えて複数のパターンのラベルの二次元画像データを生成してもよい。
【００８３】
また、上記の実施例では、基準画像の生成と、撮影画像に対する画像認識を同じ装置で行う場合を例に説明したが、開示の装置はこれに限定されない。例えば、基準画像の生成と、撮影画像に対する画像認識は、別な装置で行ってもよい。すなわち、画像生成部４０と情報提供部４１は、別な装置で実行されてもよい。
【００８４】
また、上記の実施例では、お酒のラベルから銘柄を判別する場合を例に説明したが、開示の装置はこれに限定されない。判別する物品は、何れであってもよい。例えば、他の円筒状の物体にラベルを貼付されている製品(ペットボトル、缶ジュースなど)においても適用してもよい。
【００８５】
また、上記の実施例では、撮影画像と各基準画像とのパターンマッチングを行って、それぞれ評価値を算出し、最も高い評価値を用いて物品が含まれるかを判別する場合を例に説明したが、開示の装置はこれに限定されない。複数の評価値を用いて物品が含まれるかを判別してもよい。例えば、類似度の高い順に上位所定位までの評価値を加算した値を用いて物品が含まれるかを判別してもよい。
【００８６】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３の各処理部が適宜統合又は分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８７】
［画像生成プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１９は、画像生成プログラムを実行するコンピュータを示す図である。
【００８８】
図１９に示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ（Hard  Disk  Drive）３２０、ＲＡＭ（Random  Access  Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。
【００８９】
ＨＤＤ３２０には上記実施例の各処理部と同様の機能を発揮する画像生成プログラム３２０ａが予め記憶される。例えば、上記実施例の画像生成部４０の受付部５０、特定部５１および生成部５２と同様の機能を発揮する画像生成プログラム３２０ａを記憶させる。なお、画像生成プログラム３２０ａについては、適宜分離しても良い。
【００９０】
また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。
【００９１】
そして、ＣＰＵ３１０が、画像生成プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、画像生成プログラム３２０ａは、実施例の画像生成部４０の受付部５０、特定部５１および生成部５２と同様の動作を実行する。
【００９２】
［表示制御プログラム］
次に、表示制御プログラムについて説明する。図２０は、表示制御プログラムを実行するコンピュータを示す図である。なお、図１９と同一の部分については同一の符号を付して、説明を省略する。
【００９３】
図２０に示すように、上記実施例の画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３と同様の機能を発揮する表示制御プログラム３２０ｂを記憶させる。なお、表示制御プログラム３２０ｂについては、適宜分離しても良い。
【００９４】
また、ＨＤＤ３２０は、各種データを記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種データを記憶する。
【００９５】
そして、ＣＰＵ３１０が、表示制御プログラム３２０ｂをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、表示制御プログラム３２０ｂは、実施例の画像生成部４０の受付部５０、特定部５１および生成部５２、情報提供部４１の取得部６０、評価部６１、出力部６２および指定受付部６３と同様の動作を実行する。
【００９６】
なお、上記した画像生成プログラム３２０ａおよび表示制御プログラム３２０ｂについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact  Disk  Read  Only  Memory（ＣＤ−ＲＯＭ）、Digital  Versatile  Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【００９７】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（又はサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【符号の説明】
【００９８】
１０  システム
１１  サーバ装置
１２  端末装置
２１  入力部
２２  表示部
２３  記憶部
２４  制御部
３０  ラベル画像データ
３１  容器情報
３２  基準画像データ
３３  撮影条件情報
３４  登録物品情報
３５  認識対象物情報
４０  画像生成部
４１  情報提供部
５０  受付部
５１  特定部
５２  生成部
６０  取得部
６１  評価部
６２  出力部
６３  指定受付部
【図１】
0006696149.tif 000002
【図２】
0006696149.tif 000003
【図３】
0006696149.tif 000004
【図４】
0006696149.tif 000005
【図５】
0006696149.tif 000006
【図６】
0006696149.tif 000007
【図７】
0006696149.tif 000008
【図８】
0006696149.tif 000009
【図９】
0006696149.tif 000010
【図１０】
0006696149.tif 000011
【図１１】
0006696149.tif 000012
【図１２】
0006696149.tif 000013
【図１３】
0006696149.tif 000014
【図１４】
0006696149.tif 000015
【図１５】
0006696149.tif 000016
【図１６】
0006696149.tif 000017
【図１７】
0006696149.tif 000018
【図１８】
0006696149.tif 000019
【図１９】
0006696149.tif 000020
【図２０】
0006696149.tif 000021