(57)【要約】【課題】商品の３次元の棚割情報を、簡便に獲得し共有することを目的とする。【解決手段】棚割情報生成装置は、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段と、複数の商品画像を含む１つ以上の店頭画像を取得する画像取得手段と、取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識手段と、認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段と、算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録手段と、を備え、前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とする、構成とした。【選択図】図７
2014222374.tif 000002
【特許請求の範囲】
【請求項１】
複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置であって、
商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、
商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段と、
複数の商品画像を含む店頭画像を取得する画像取得手段と、
取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識手段と、
認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段と、
算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録手段と、
を備え、
前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とする
ことを特徴とする棚割情報生成装置。
【請求項２】
前記１つ以上の店頭画像は、互いに少なくとも１つの共通する商品画像を含む
ことを特徴とする請求項１に記載の棚割情報生成装置。
【請求項３】
前記座標情報は、位置情報及び回転情報を含む
ことを特徴とする請求項１又は請求項２に記載の棚割情報生成装置。
【請求項４】
前記画像認識手段は、前記商品画像を認識する際、所定の位置を基準とした、当該商品画像の絶対座標情報を取得し、
前記座標算出手段は、座標情報が既知の商品画像Ａと、座標情報が未知の商品画像Ｂについて、前記商品画像Ａの前記絶対座標情報と、前記商品画像Ｂの前記絶対座標情報とから、前記商品画像Ａに対する前記商品画像Ｂの相対座標情報を算出し、当該相対座標情報と、前記商品画像Ａの前記座標情報とから、前記商品画像Ｂの前記座標情報を算出する
ことを特徴とする請求項１又は請求項２に記載の棚割情報生成装置。
【請求項５】
前記座標情報、前記絶対座標情報、及び前記相対座標情報は、位置情報及び回転情報を含む
ことを特徴とする請求項４に記載の棚割情報生成装置。
【請求項６】
複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段とを備えるコンピュータが行う棚割情報生成方法であって、
複数の商品画像を含む店頭画像を取得する画像取得ステップと、
取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識ステップと、
認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出ステップと、
算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録ステップと、
を含み、
前記座標算出ステップは、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とする
ことを特徴とする棚割情報生成方法。
【請求項７】
コンピュータを、複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置として機能させるためのプログラムであって、
前記コンピュータを、
商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段、
商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段、
複数の商品画像を含む店頭画像を取得する画像取得手段、
取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識手段、
認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段、
算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録手段、
として機能させ、
前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とする
ことを特徴とするプログラム。
【請求項８】
複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置と、前記棚割情報から、商品画像の配置状態を再現する棚割情報再現装置とが、ネットワークを介して接続された棚割再現システムであって、
前記棚割情報生成装置は、
複数の商品画像を含む店頭画像を取得する画像取得手段と、
取得した前記店頭画像から、前記複数の商品画像を認識して、商品画像記憶手段から、対応する前記商品識別子を取得する画像認識手段と、
認識した前記複数の商品画像において、商品座標記憶手段から取得した、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段と、
算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて、前記商品座標記憶手段に記憶させる座標情報登録手段と、
を備え、
前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とし、
前記棚割情報再現装置は、
商品ごとに、前記商品画像記憶手段から前記商品画像を取得する商品画像取得手段と、
取得した前記商品画像に対応する前記座標情報を、前記商品座標記憶手段から取得する座標情報取得手段と、
取得した前記商品画像を、対応する前記座標情報に基づいて配置して、全ての前記商品画像を配置した商品配置画像を生成する配置画像生成手段と、
生成した前記商品配置画像を表示する表示手段と、
を備え、
前記棚割情報生成装置、又は、前記棚割情報再現装置のいずれかが、
商品識別子と商品画像とを対応付けて記憶する前記商品画像記憶手段と、
商品識別子と座標情報とを対応付けて記憶する前記商品座標記憶手段と、
を備える
ことを特徴とする棚割再現システム。
【請求項９】
棚割情報から、商品画像の配置状態を再現する棚割情報再現装置であって、
商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、
商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段と、
商品ごとに、前記商品画像を取得する商品画像取得手段と、
取得した前記商品画像に対応する前記座標情報を取得する座標情報取得手段と、
取得した前記商品画像を、対応する前記座標情報に基づいて配置して、全ての前記商品画像を配置した商品配置画像を生成する配置画像生成手段と、
生成した前記商品配置画像を表示する表示手段と、
を備えることを特徴とする棚割情報再現装置。
【請求項１０】
商品識別子と商品詳細情報とを対応付けて記憶する商品詳細情報記憶手段と、
取得した前記商品画像に対応する前記商品詳細情報を取得する詳細情報取得手段と、
をさらに備え、
前記配置画像生成手段は、対応する前記商品詳細情報を重ねた前記商品画像を、対応する前記座標情報に基づいて配置する
ことを特徴とする請求項９に記載の棚割情報再現装置。
【請求項１１】
前記商品詳細情報は、前記商品識別子に係る商品の売上情報である
ことを特徴とする請求項１０に記載の棚割情報再現装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗等において商品の配置された商品棚等を撮影した画像から、商品の配置を再現するための棚割情報を生成する技術に関する。
【背景技術】
【０００２】
店舗における商品の陳列、配置のレイアウトを棚割という。
商品の売上げは、商品の陳列、配置に大きく左右される。そこで、売上げや、店舗の条件、マーケティング等に基づき、本社等にいるマネージャー（指示元）などが、商品の棚割を指示し、店舗側は、その指示に従って商品陳列を行うことが行われている。
【０００３】
指示元側から、店舗側へ、棚割を伝える簡単な方法として、例えば、商品の２次元的な写真を配置した棚割表で伝える方法がある。
また、指示された棚割が正確に実施されていることを示したり、店舗独自の棚割を共有したりするため、店舗側から、指示元側へ、棚割を伝えることもある。
【０００４】
これに関連して、引用文献１には、デジタルカメラで撮影した商品棚の撮影画像から、商品の画像を手動で切り出して、棚割表フォーマットの画像に貼り付け、棚割表データを作成する発明が開示されている。
【０００５】
また、引用文献２には、売場写真のデジタル画像から、商品をマッチングにより抜き出して、抜き出した商品の位置を事前に用意した棚のデータと比較し、配置することで、棚割表データを作成する発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１６０９９３号公報
【特許文献２】特開２００９−１８７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、２次元的な写真を配置した棚割表では、指示された棚割が正確に伝わらず実施されないという問題がある。また、店舗側において、実際に実施された棚割が指示元に伝わりづらいという問題がある。
【０００８】
また、引用文献２や引用文献３の発明では、縦・横だけでなく、斜めや回転などの配置を共有する場合など、立体的で特殊な陳列をしている商品の棚割はデータ化しづらいという問題がある。
【０００９】
また、店舗側において、キャンペーンや特売など一時的な棚割や、店舗独自の棚割、入れ替えサイクルの早い棚の棚割などを、指示元側と同様のデータ化の作業をしていては、費用がかかるという問題がある。
【００１０】
本発明は、かかる課題を解決するためになされたものであり、商品の３次元的な棚割情報を、簡便に獲得し、共有することを目的とする。
【課題を解決するための手段】
【００１１】
前述した課題を解決するために第１の発明は、複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置であって、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段と、複数の商品画像を含む店頭画像を取得する画像取得手段と、取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識手段と、認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段と、算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録手段と、を備え、前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とすることを特徴とする棚割情報生成装置である。
第１の発明によって、店頭画像から商品画像を認識するとともに、商品画像相互の関係から座標情報を算出して棚割情報を生成するため、商品の３次元の棚割情報を簡便に獲得し共有することができる。
【００１２】
第１の発明の１つ以上の店頭画像は、互いに少なくとも１つの共通する商品画像を含むことが望ましい。
これによって、全ての店頭画像を関係づけて、棚割情報を生成することができる。
【００１３】
第１の発明の座標情報は、位置情報及び回転情報を含むことが望ましい。
これによって、位置情報及び回転情報を含む棚割情報を生成することができる。
【００１４】
第１の発明の画像認識手段は、前記商品画像を認識する際、所定の位置を基準とした、当該商品画像の絶対座標情報を取得し、前記座標算出手段は、座標情報が既知の商品画像Ａと、座標情報が未知の商品画像Ｂについて、前記商品画像Ａの前記絶対座標情報と、前記商品画像Ｂの前記絶対座標情報とから、前記商品画像Ａに対する前記商品画像Ｂの相対座標情報を算出し、当該相対座標情報と、前記商品画像Ａの前記座標情報とから、前記商品画像Ｂの前記座標情報を算出することが望ましい。
これによって、座標情報が既知の商品画像Ａを用いて、座標情報が未知の商品画像Ｂの座標情報を求めることができる。
【００１５】
第１の発明の座標情報、前記絶対座標情報、及び前記相対座標情報は、位置情報及び回転情報を含むことが望ましい。
これによって、位置情報及び回転情報を含む棚割情報を生成することができる。
【００１６】
第２の発明は、複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段とを備えるコンピュータが行う棚割情報生成方法であって、複数の商品画像を含む店頭画像を取得する画像取得ステップと、取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識ステップと、認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出ステップと、算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録ステップと、を含み、前記座標算出ステップは、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とすることを特徴とする棚割情報生成方法である。
第２の発明によって、店頭画像から商品画像を認識するとともに、商品画像相互の関係から座標情報を算出して棚割情報を生成するため、商品の３次元の棚割情報を簡便に獲得し共有することができる。
【００１７】
第３の発明は、コンピュータを、複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置として機能させるためのプログラムであって、前記コンピュータを、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段、複数の商品画像を含む店頭画像を取得する画像取得手段、取得した前記店頭画像から、前記複数の商品画像を認識して、対応する前記商品識別子を取得する画像認識手段、認識した前記複数の商品画像において、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段、算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて記憶させる座標情報登録手段、として機能させ、前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とすることを特徴とするプログラムである。
第３の発明をコンピュータにインストールすることによって、第１の発明を得て、第２の発明の棚割情報生成方法を実行することができる。
【００１８】
第４の発明は、複数の商品画像を含む１つ以上の店頭画像から、棚割情報を生成する棚割情報生成装置と、前記棚割情報から、商品画像の配置状態を再現する棚割情報再現装置とが、ネットワークを介して接続された棚割再現システムであって、前記棚割情報生成装置は、複数の商品画像を含む店頭画像を取得する画像取得手段と、取得した前記店頭画像から、前記複数の商品画像を認識して、商品画像記憶手段から、対応する前記商品識別子を取得する画像認識手段と、認識した前記複数の商品画像において、商品座標記憶手段から取得した、座標情報が既知の商品画像の前記座標情報を用いて、座標情報が未知の商品画像の前記座標情報を算出する座標算出手段と、算出した前記座標情報と、対応する前記商品画像の前記商品識別子とを紐付けて、前記商品座標記憶手段に記憶させる座標情報登録手段と、を備え、前記座標算出手段は、座標情報が既知の商品画像がない場合には、１つの前記商品画像の座標情報を、既知の基準座標とし、前記棚割情報再現装置は、商品ごとに、前記商品画像記憶手段から前記商品画像を取得する商品画像取得手段と、取得した前記商品画像に対応する前記座標情報を、前記商品座標記憶手段から取得する座標情報取得手段と、取得した前記商品画像を、対応する前記座標情報に基づいて配置して、全ての前記商品画像を配置した商品配置画像を生成する配置画像生成手段と、生成した前記商品配置画像を表示する表示手段と、を備え、前記棚割情報生成装置、又は、前記棚割情報再現装置のいずれかが、商品識別子と商品画像とを対応付けて記憶する前記商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する前記商品座標記憶手段と、を備えることを特徴とする棚割再現システムである。
【００１９】
第５の発明は、棚割情報から、商品画像の配置状態を再現する棚割情報再現装置であって、商品識別子と商品画像とを対応付けて記憶する商品画像記憶手段と、商品識別子と座標情報とを対応付けて記憶する商品座標記憶手段と、商品ごとに、前記商品画像を取得する商品画像取得手段と、取得した前記商品画像に対応する前記座標情報を取得する座標情報取得手段と、取得した前記商品画像を、対応する前記座標情報に基づいて配置して、全ての前記商品画像を配置した商品配置画像を生成する配置画像生成手段と、生成した前記商品配置画像を表示する表示手段と、を備えることを特徴とする棚割情報再現装置である。
第５の発明によって、棚割情報生成装置によって生成された棚割情報を再現する、商品配置画像を生成することができる。
【００２０】
第５の発明の棚割情報再現装置は、商品識別子と商品詳細情報とを対応付けて記憶する商品詳細情報記憶手段と、取得した前記商品画像に対応する前記商品詳細情報を取得する詳細情報取得手段と、をさらに備え、前記配置画像生成手段は、対応する前記商品詳細情報を重ねた前記商品画像を、対応する前記座標情報に基づいて配置することが望ましい。
これによって、商品配置画像に、商品ごとの商品詳細情報を重ねて表示することができる。
【００２１】
第５の発明の商品詳細情報は、前記商品識別子に係る前記商品の売上情報であることが望ましい。
これによって、商品配置画像に、商品ごとの売上情報を重ねて表示することができる。
【発明の効果】
【００２２】
本発明によれば、店頭画像から商品画像を認識するとともに、商品画像相互の関係から座標情報を算出して棚割情報を生成するため、商品画像の３次元の棚割情報を簡便に獲得し共有することができる。
【図面の簡単な説明】
【００２３】
【図１】棚割再現システムの概要を示す図
【図２】棚割情報生成装置（携帯端末）のハードウェア構成を示す図
【図３】棚割情報再現装置（サーバ）のハードウェア構成を示す図
【図４】商品画像データベースに記憶される情報を示す図
【図５】商品座標データベースに記憶される情報を示す図
【図６】商品詳細情報データベースに記憶される情報を示す図
【図７】棚割情報生成装置の処理の流れを示すフローチャート
【図８】店頭画像の例を示す図
【図９】取得した商品画像を用いて、カメラ位置を原点とする認識した商品画像の絶対座標情報を取得する際の模式図
【図１０】相対座標情報を算出する際の模式図
【図１１】座標情報を算出する際の模式図
【図１２】全ての商品画像の座標情報が確定することを示す模式図
【図１３】棚割情報再現装置の処理の流れを示すフローチャート
【図１４】座標情報に基づいて、商品画像を配置する例を示す模式図
【図１５】商品配置画像の例
【発明を実施するための形態】
【００２４】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
［棚割再現システム７の概要］
図１は、棚割再現システム７の概要の例を示す図である。
【００２５】
棚割再現システム７は、棚割情報生成装置１と棚割情報再現装置２とが、ネットワーク３を介して接続されて構成される。
【００２６】
棚割情報生成装置１は、携帯端末であればよく、携帯型専用端末の他、一般的なタブレット端末、スマートフォン、携帯電話等、その種類は問わない。
棚割情報再現装置２は、表示機能を備える一般的なサーバであればよいが、棚割情報生成装置１と同様に、携帯端末でもよい。
【００２７】
ネットワーク３は、情報を伝送するための電気通信回線であり、有線であるか無線であるかを問わない。また、ネットワーク３は、携帯端末である棚割情報生成装置１の無線通信を中継するための、無線アクセスポイント４、又は、携帯電話網の無線基地局（図示しない）等を含んでいてもよい。
【００２８】
図１にさらに示した商品棚５は、店舗等において、商品６を３次元的に配置するスペースである。これは、例えば、複数の台や椅子等によって構成され、商品６を３次元的に配置できるスペースであれば、商品棚５に限られない。
【００２９】
棚割再現システム７の動作の概要は以下のとおりである。
棚割情報生成装置１は、店舗等において、商品棚５に並べられた商品６を含む店頭画像を、互いに共通の商品６が含まれるように、複数枚撮影し、これらに基づいて、商品６ごとの座標情報を含んだ棚割情報を生成する。
【００３０】
棚割情報再現装置２は、棚割情報生成装置１が生成した棚割情報から、商品６ごとの座標情報に基づき、商品画像を配置した商品配置画像を生成して表示する。このときに、棚割情報再現装置２は、売上げ等の情報を、商品配置画像に重ねて表示してもよい。
【００３１】
［棚割情報生成装置１のハードウェア構成］
図２は、棚割情報生成装置１（携帯端末）のハードウェア構成を示すブロック図である。なお、図２のハードウェア構成は一例であり、用途、目的に応じて様々な構成をとることが可能である。
【００３２】
携帯端末２を実現するコンピュータは、制御部１１、記憶部１２、無線通信部１３、入力部１４、表示部１５、カメラ１６などが、バス１７を介して接続される。
【００３３】
制御部１１は、ＣＰＵ（Central
Processing Unit）等で構成される。ＣＰＵは、ＲＯＭ（後述）等に格納されるプログラムをＲＡＭ（後述）上のワークメモリ領域に呼び出して実行し、バス１７を介して接続された各装置を駆動制御し、棚割情報生成装置１が行う後述する処理を実現する。
【００３４】
記憶部１２は、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。フラッシュメモリは、書き換え可能な、電源の供給を断ってもデータが消えない不揮発性メモリであり、ＲＯＭは、不揮発性メモリである。フラッシュメモリやＲＯＭには、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、アプリケーション、データ等を保持している。ＲＡＭは、揮発性メモリであり、ＲＯＭ等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３５】
無線通信部１３は、通信制御装置、通信ポート等を有し、ＬＴＥ規格や、３Ｇ規格、Ｗｉｆｉ規格等に沿って、当該装置とネットワーク３間の通信を媒介する通信インタフェースであり、ネットワーク３を介して、他のコンピュータ又は携帯端末との通信制御を行う。
【００３６】
入力部１４は、データの入力を行い、例えば、テンキー、小型キーボード等の入力装置を有する。入力部１４を介して、棚割情報生成装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１４及び表示部１５は、タッチパネルディスプレイのように、一体となっていても良い。
【００３７】
カメラ１６は、静止画像を撮影するデジタルカメラであり、撮影した静止画像を電気的信号に変換できるものであればよく、ＣＭＯＳやＣＣＤ等の撮影素子を備えたものである。カメラ１６には、動画像を撮影する機能があってもよい。
バス１７は、各ユニット間の制御信号、データ信号等の授受を媒介する経路である。
【００３８】
［棚割情報再現装置２のハードウェア構成］
図３は、棚割情報再現装置２（サーバ）のハードウェア構成を示すブロック図である。なお、図３のハードウェア構成は一例であり、用途、目的に応じて様々な構成をとることが可能である。
【００３９】
棚割情報再現装置２を実現するコンピュータは、制御部２１、記憶部２２、メディア入出力部２３、通信制御部２４、入力部２５、表示部２６、及び、周辺機器Ｉ／Ｆ部２７等が、バス２８を介して接続される。
【００４０】
制御部２１は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続された各装置を駆動制御し、棚割情報再現装置２が行う後述する処理を実現する。
【００４１】
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００４２】
記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００４３】
メディア入出力部２３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。通信制御部２４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク３間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。
【００４４】
入力部２５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部２５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
【００４５】
表示部２６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部２５及び表示部２６は、タッチパネルディスプレイのように、一体となっていても良い。
【００４６】
周辺機器Ｉ／Ｆ（インタフェース）部２７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部２７を介してコンピュータは周辺機器（プリンタ、イメージスキャナ、複合機等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００４７】
［データベースの内容］
続いて、棚割再現システム７おいて使用されるデータベースについて、図４〜図６を用いて説明する。
図４は、商品画像データベース３１に記憶される情報を示す図である。図５は、商品座標データベース３２に記憶される情報を示す図である。図６は、商品詳細情報データベース３３に記憶される情報を示す図である。
【００４８】
商品画像データベース３１は、棚割情報生成装置１、及び、棚割情報再現装置２の両方が利用するものであるので、棚割情報生成装置１の記憶部１２、及び、棚割情報再現装置２の記憶部２２が同一のものを記憶してもよいし、一方の装置の記憶部１２又は記憶部２２のみが記憶して、他方の装置がネットワーク３を介して一方の装置から、商品画像データベース３１の情報を取得してもよい。
【００４９】
あるいは、ネットワーク３に図示しないデータベースサーバを接続して、当該サーバの記憶部に、商品画像データベース３１を記憶させ、棚割情報生成装置１及び棚割情報再現装置２がネットワーク３を介して、データベースサーバから、商品画像データベース３１の情報を取得してもよい。
商品座標データベース３２も同様である。
【００５０】
商品詳細情報データベース３３は、棚割情報再現装置２のみが利用するものであるので、棚割情報再現装置２の記憶部２２が記憶すればよいが、前述したデータベースサーバの記憶部に記憶させてもよい。
【００５１】
図４に示すように、商品画像データベース３１は、商品ＩＤごとに、商品画像を対応付けて記憶する。商品ＩＤは、商品画像（商品）を一意に識別する識別子である。商品画像は、２次元又は３次元の画像データであり、JPEG（Joint Photographic Experts Group）等の電子データである。３次元の画像データの場合には、例えば、複数の２次元画像データを直方体に貼り付けて構成される。
商品画像データベース３１は、その他に、商品画像に付随する情報として、商品画像のサイズや、商品画像を配置する際に利用する商品画像の原点や、Ｘ軸方向、Ｙ軸方向、３次元画像である場合には、Ｚ軸方向などの情報を記憶してもよい（図示しない）。
【００５２】
図５に示すように、商品座標データベース３２は、商品ＩＤごとに、位置情報であるＸ座標、Ｙ座標、Ｚ座標と、回転情報であるＸ回転、Ｙ回転、Ｚ回転とを対応付けて記憶する。商品ＩＤは、商品画像データベース３１の商品ＩＤと紐付けられているものである。なお、位置情報と回転情報とを合わせて座標情報という。
【００５３】
位置情報であるＸ座標、Ｙ座標、Ｚ座標は、基準となる位置から、商品ＩＤに対応する商品画像の位置（位置ベクトル）を表す。なお、基準となる位置は、例えば、最初の商品ＩＤをもつ商品画像の位置であり、（０、０、０）である。
【００５４】
回転情報であるＸ回転、Ｙ回転、Ｚ回転は、基準となる座標軸から、商品ＩＤに対応する商品画像の回転角を表す。なお、基準となる座標軸は、例えば、最初の商品ＩＤをもつ商品画像の位置（０、０、０）を原点とし、当該商品画像を立てて表示した場合の正面に向かって右方向にＸ軸を設定し、上方向にＹ軸を設定し、手前方向にＺ軸を設定したものである（図９（ａ））。なお、回転角の表示方法は、オイラー角など様々なものがあるが、いずれを用いてもよい。
【００５５】
図６に示すように、商品詳細情報データベース３３は、商品ＩＤごとに、商品名や、売上情報など、商品に関する情報を対応付けて記憶する。図６では、商品名の情報と、売上として商品ごとに、高、中、低の情報を例示した。商品に関する情報は、後述する商品配置画像において、商品画像に重ねて表示できるものであれば、内容は問わない。
【００５６】
［棚割情報生成装置１の処理］
続いて、棚割情報生成装置１の処理について、図７〜図１２を用いて説明する。
図７は、棚割情報生成装置１の処理の流れを示すフローチャートである。
【００５７】
まず、棚割情報生成装置１の制御部１１は、複数の商品画像を含む店頭画像を取得する（ステップＳ１１）。具体的には、棚割情報生成装置１の制御部１１は、利用者によって、棚割情報生成装置１のカメラ１６を用いて撮影された店頭画像を取得してもよいし、予め記憶部１２に記憶されている店頭画像を読み出して取得してもよい。
【００５８】
図８は、店頭画像の例を示す図である。棚割情報生成装置１の制御部１１が取得する店頭画像は、図８（ａ）と（ｂ）に示すように、店舗の商品が配置された商品棚等を撮影したものである。店頭画像は、複数の商品画像を含んでいるものであるが、互いに少なくとも１つの共通する商品画像を含んでいる必要がある。図８（ａ）と（ｂ）は、共に２つの商品画像を含んでいるが、「りんごはちみつカレー」と記載された商品画像が共通している。
【００５９】
次に、棚割情報生成装置１の制御部１１は、商品画像データベース３１（図４）から、商品ＩＤと商品画像とを全て取得する（ステップＳ１２）。
【００６０】
次に、棚割情報生成装置１の制御部１１は、ステップＳ１２において取得した商品画像を用いて、ステップＳ１１において取得した店頭画像に含まれる複数の商品画像を認識する（ステップＳ１３）。
棚割情報生成装置１の制御部１１が行う商品画像を認識する方法は、商品画像の特徴量を利用したパターンマッチングなどの周知技術を用いればよい。
【００６１】
次に、棚割情報生成装置１の制御部１１は、ステップＳ１２において取得した商品画像を用いて、店頭画像を撮影した際のカメラ位置を原点とする、認識した商品画像の絶対座標情報を取得する（ステップＳ１４）。
ここでいう絶対座標情報は、カメラ位置を原点とした位置情報（Ｘ座標、Ｙ座標、Ｚ座標）（以下、絶対位置情報という。）と、取得した商品画像に対する認識した商品画像の回転情報（Ｘ回転、Ｙ回転、Ｚ回転）（以下、絶対回転情報という。）である。
【００６２】
図９は、取得した商品画像を用いて、カメラ位置を原点とする認識した商品画像の絶対座標情報を取得する際の模式図である。図９（ａ）のように、歪みのない正対した（画像を立てて表示した場合の正面に向かった）商品画像を用いて、図９（ｂ）のように、認識した商品画像の歪み具合を計測することで、実空間上のカメラ位置を原点とする、認識した商品画像の絶対位置情報（Ｘ座標、Ｙ座標、Ｚ座標）と、正対した商品画像に対する、認識した商品画像の絶対回転情報（Ｘ回転、Ｙ回転、Ｚ回転）を取得することができる。
【００６３】
次に、棚割情報生成装置１の制御部１１は、認識した商品画像の商品ＩＤを取得する（ステップＳ１５）。
【００６４】
次に、棚割情報生成装置１の制御部１１は、認識した商品画像の商品ＩＤを用いて、商品座標データベース３２（図５）から、座標情報が既知の商品画像を検出する（ステップＳ１６）。具体的には、棚割情報生成装置１の制御部１１は、商品座標データベース３２において、商品ＩＤを有する座標情報が、既に登録されているか否か確認し、登録されていれば、当該座標情報を取得する。
【００６５】
次に、棚割情報生成装置１の制御部１１は、座標情報が既知の商品画像（商品画像Ａとする）があるか否か判定する（ステップＳ１７）。
【００６６】
座標情報が既知の商品画像Ａがないと判定された場合には（ステップＳ１７でＮｏ）、棚割情報生成装置１の制御部１１は、認識した商品画像のうちの１つの商品画像（商品画像Ａとする）の座標情報を、基準となる基準座標とする（ステップＳ１８）。具体的には、棚割情報生成装置1の制御部１１は、当該商品画像Ａの座標情報の位置情報を（０、０、０）とし、回転情報を（０、０、０）とする。
【００６７】
次に、棚割情報生成装置１の制御部１１は、商品画像Ａの座標情報を、対応する商品ＩＤと紐付けて、商品座標データベース３２（図５）に登録する。
その後、棚割情報生成装置１の制御部１１は、ステップＳ２０へ進む。
【００６８】
座標情報が既知の商品画像Ａがあると判定された場合（ステップＳ１７でＹｅｓ）、又は、ステップＳ１９の後に、棚割情報生成装置１の制御部１１は、座標情報が未知の商品画像（商品画像Ｂとする）の１つを選択する（ステップＳ２０）。
【００６９】
次に、棚割情報生成装置１の制御部１１は、商品画像Ａの絶対座標情報と、商品画像Ｂの絶対座標情報とから、商品画像Ａに対する商品画像Ｂの相対座標情報を算出する（ステップＳ２１）。商品画像Ａに対する商品画像Ｂの相対座標情報は、相対位置情報と相対回転情報とから構成される。
【００７０】
具体的には、棚割情報生成装置１の制御部１１は、商品画像Ａの絶対位置情報（ｘ０、ｙ０、ｚ０）と、商品画像Ｂの絶対位置情報（ｘ１、ｙ１、ｚ１）とから、商品画像Ａに対する商品画像Ｂの相対位置情報ＰＡＢを、式（１）によって算出する。
【数１】
2014222374.tif 000003
また、棚割情報生成装置１の制御部１１は、商品画像Ａの絶対回転情報（Ｘ０、Ｙ０、Ｚ０）と、商品画像Ｂの絶対回転情報（Ｘ１、Ｙ１、Ｚ１）とから、商品画像Ａに対する商品画像Ｂの相対回転情報θＡＢを、式（２）によって算出する。
【数２】
2014222374.tif 000004
【００７１】
図１０は、相対座標情報を算出する際の模式図である。図１０（ａ）のように、商品画像Ａ及び商品画像Ｂがあるとする。ステップＳ１４において、図１０（ｂ）のように、商品画像Ａの絶対位置情報及び報絶対回転情報が取得でき、商品画像Ｂの絶対位置情報及び報絶対回転情報が取得できるので、式（１）によって、商品画像Ａに対する商品画像Ｂの相対位置情報と、式（２）によって、商品画像Ａに対する商品画像Ｂの相対回転情報（図示しない）を算出できる。
【００７２】
次に、棚割情報生成装置１の制御部１１は、商品画像Ａの座標情報と、ステップＳ２１で算出した商品画像Ａに対する商品画像Ｂの相対座標情報とから、商品画像Ｂの座標情報を算出する（ステップＳ２２）。
【００７３】
具体的には、棚割情報生成装置１の制御部１１は、商品画像Ａの位置情報ＰＡ＝（ｘＡ、ｙＡ、ｚＡ）と、商品画像Ａに対する商品画像Ｂの相対位置情報ＰＡＢ＝（ｘＡＢ、ｙＡＢ、ｚＡＢ）とから、商品画像Ｂの位置情報ＰＢを、式（３）によって算出する。
【数３】
2014222374.tif 000005
【００７４】
また、棚割情報生成装置１の制御部１１は、商品画像Ａの回転情報θＡ＝（ＸＡ、ＹＡ、ＺＡ）と、商品画像Ａに対する商品画像Ｂの相対回転情報θＡＢ＝（ＸＡＢ、ＹＡＢ、ＺＡＢ）とから、商品画像Ｂの回転情報θＢを、式（４）によって算出する。
【数４】
2014222374.tif 000006
【００７５】
図１１は、座標情報を算出する際の模式図である。図１１のように、基準座標をもつ商品画像（この商品画像が商品画像Ａと一致する場合もある）に対する商品画像Ａの位置情報ＰＡ及び回転情報θＡが既知である場合、商品画像Ａに対する商品画像Ｂの相対位置情報ＰＡＢ及び相対回転情報θＡＢを用いて、基準座標をもつ商品画像に対する商品画像Ｂの、位置情報ＰＢを式（３）によって、回転情報θＢを式（４）によって、算出することができる。
【００７６】
次に、棚割情報生成装置１の制御部１１は、算出した商品画像Ｂの座標情報を、対応する商品ＩＤと紐付けて、商品座標データベース３２に登録する（ステップＳ２３）。
次に、棚割情報生成装置１の制御部１１は、ステップＳ１６で取得した情報を用いて、店頭画像において、座標情報が未知の商品画像がまだあるか判定する（ステップＳ２４）。
【００７７】
店頭画像において、座標情報が未知の商品画像がまだある場合（ステップＳ２４においてＹｅｓ）には、棚割情報生成装置１の制御部１１は、ステップＳ２０に戻る。
一方、もうない場合（ステップＳ２４でＮｏ）には、棚割情報生成装置１の制御部１１は、ステップＳ２５へ進む。
【００７８】
次に、棚割情報生成装置１の制御部１１は、処理すべき店頭画像がまだあるか判定する（ステップＳ２５）。
処理すべき店頭画像がまだある場合（ステップＳ２５でＹｅｓ）には、棚割情報生成装置１の制御部１１は、ステップＳ１１へ戻り、もうない場合（ステップＳ２５でＮｏ）には、棚割情報生成装置１の制御部１１は、処理を終了する。
以上で、棚割情報生成装置１の処理は終了である。
【００７９】
棚割情報生成装置１によって、各店頭画像において互いに少なくとも１つの共通する商品画像を含む場合、全ての商品画像の座標情報を確定することができる。
図１２は、全ての商品画像の座標情報が確定することを示す模式図である。図１２（ａ）に示すように、店頭画像αには、商品画像Ａと商品画像Ｂが含まれ、店頭画像βには、商品画像Ｂと商品画像Ｃを含まれるとする。
このとき、棚割情報生成装置１の１回目の処理（ステップＳ１１〜ステップＳ２５）において、例えば、商品画像Ａを基準となる基準座標とすれば、商品画像Ｂの座標情報は、商品画像Ａの基準座標からの座標情報として確定する。そして、商品画像Ａ及び商品画像Ｂの座標情報は、商品座標データベース３２に登録される。
次に、棚割情報生成装置１の２回目の処理（ステップＳ１１〜ステップＳ２５）において、商品画像Ｂの座標情報は、１回目の処理により既知であるから、商品画像Ｃの座標情報は、商品画像Ｂの座標情報を介して確定することができる。そして、商品画像Ｃの座標情報は、商品座標データベース３２に登録される。
【００８０】
このようにすることにより、図１２（ｂ）に示すように、基準となる商品画像Ａの配置が決まれば、各商品画像の座標情報（位置情報及び回転情報）を用いて、店頭画像と同様の配置を復元することができる。
【００８１】
本実施形態の棚割情報生成装置１の処理は、前述のものに限られず、その趣旨を逸脱しない範囲で変更可能である。
例えば、ステップＳ１２において、棚割情報生成装置１の制御部１１は、商品画像データベース３１から、商品ＩＤと商品画像とを全て取得するとしたが、商品ＩＤごとに１ずつ商品画像を取得して、１つの商品画像ごとに、ステップＳ１２〜ステップＳ１５の処理を行い、商品画像数分だけ、この処理を行ってもよい
【００８２】
また、例えば、ステップＳ１３とステップＳ１４の処理は分けて記載したが、店頭画像に含まれる商品画像を認識すると同時に、認識した商品画像の絶対座標情報を取得してもよい。
【００８３】
また、例えば、商品画像Ａに対する商品画像Ｂの相対回転情報θＡＢは、式（２）のように定義したが、これは、商品座標データベース３２の回転角の表現方法に応じて、適宜変更してもよい。
【００８４】
［棚割情報再現装置２の処理］
続いて、棚割情報生成装置１の処理について、図１３〜図１５を用いて説明する。
図１３は、棚割情報再現装置２の処理の流れを示すフローチャートである。
【００８５】
まず、棚割情報再現装置２の制御部２１は、商品ＩＤの順に、商品ＩＤに対応する座標情報を、商品座標データベース３１から取得する（ステップＳ３１）。
次に、棚割情報再現装置２の制御部２１は、商品ＩＤに対応する商品画像を、商品画像データベースから３２取得する（ステップＳ３２）。
【００８６】
次に、棚割情報再現装置２の制御部２１は、商品ＩＤに対する商品詳細情報を、商品詳細情報データベース３３から取得する（ステップＳ３３）。
次に、棚割情報再現装置２の制御部２１は、全ての商品ＩＤについて、情報をデータベースから取得したか判定する（ステップＳ３４）。
【００８７】
全ての商品ＩＤについて、情報を取得していない場合（ステップＳ３４でＮｏ）には、棚割情報再現装置２の制御部２１は、ステップＳ３１へ戻る。
全ての商品ＩＤについて、情報を取得した場合（ステップＳ３４でＹｅｓ）には、棚割情報再現装置２の制御部２１は、ステップＳ３５へ進む。
【００８８】
次に、棚割情報再現装置２の制御部２１は、商品画像を、座標情報に基づいて配置するとともに、商品詳細情報の情報を重ねて、商品配置画像を生成する（ステップＳ３５）。
【００８９】
図１４は、座標情報に基づいて、商品画像を配置する例を示す模式図である。図１４（ａ）のように、ステップＳ３２において取得した商品画像Ａ、商品画像Ｂ、商品画像Ｃがあるとする。また、ステップＳ３１において、各商品画像の座標情報（位置情報、回転情報）を取得しており、各座標情報は、基準となる基準座標からの座標情報となっている。したがって、棚割情報再現装置２の制御部２１は、例えば、商品画像Ａが基準となる基準座標（位置情報（０、０、０）、回転情報（０、０、０））をもっているとすると、商品配置画像において、商品画像Ａを基準となる位置に配置する（図１４（ｂ））。そして、棚割情報再現装置２の制御部２１は、商品画像Ｂを、その回転情報の回転角が示す角度に回転させ、回転させた商品画像Ｂを、商品配置画像において、その位置情報の示す位置に配置する（同）。同様に、棚割情報再現装置２の制御部２１は、商品画像Ｃを、その回転情報の回転角が示す角度に回転させ、回転させた商品画像Ｃを、商品配置画像において、その位置情報の示す位置に配置する（同）。
【００９０】
図１３に戻る。次に、棚割情報再現装置２の制御部２１は、生成した商品配置画像を表示部２６に表示する（ステップＳ３６）。
図１５は、すべての商品画像を、その座標情報で示される位置に配置した商品配置画像の例である。図１５に示すように、棚割情報再現装置２の制御部２１は、ステップＳ３３で取得した商品詳細情報の、例えば売上情報に応じて、売上高、売上低などの情報を重ねて表示してもよい。
【００９１】
本実施形態の棚割情報再現装置２の処理は、前述のものに限られず、その趣旨を逸脱しない範囲で変更可能である。
例えば、ステップＳ３４とステップＳ３５の順番を逆にして、商品ＩＤごとに情報を取得して、商品配置画像に配置する処理を繰り返してもよい。
また、例えば、商品ＩＤに対応する各情報をデータベースから取得する順番は、どのような順でもよい。
【００９２】
［実施形態の効果］
本実施形態の棚割情報生成装置１によって、互いに少なくとも１つの共通する商品画像を含む店頭画像から、商品画像を３次元で配置する棚割情報を生成することができる。
本実施形態の棚割情報生成装置１によって、互いに少なくとも１つの共通する商品画像を含んだ店頭画像から、棚割情報を生成することができるので、簡便に棚割情報を生成することができる。
また、本実施形態の棚割情報生成装置１によって、店舗などで商品を配置した商品棚等の棚割を撮影した店頭画像から、棚割情報を生成して、当該棚割情報を棚割情報再現装置２や、他の端末に送付することで、店頭の棚割を提示したり、確認させたりすることができる。
本実施形態の棚割情報再現装置２によって、商品画像を３次元で配置する棚割情報から、商品画像を３次元で配置した商品配置画像を生成することができる。
また、本実施形態の棚割情報再現装置２によって、商品配置画像に付加的な商品詳細情報を重ねて表示することができる。
【００９３】
以上、添付図面を参照しながら、本発明に係る棚割再現システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９４】
１・・・・・・・棚割情報生成装置
２・・・・・・・棚割情報再現装置
３・・・・・・・ネットワーク
５・・・・・・・商品棚
６・・・・・・・商品
７・・・・・・・棚割再現システム
１１、２１・・・制御部
１２、２２・・・記憶部
１６・・・・・・カメラ
３１・・・・・・商品画像データベース
３２・・・・・・商品座標データベース
３３・・・・・・商品詳細情報データベース
【図１】
2014222374.tif 000007
【図２】
2014222374.tif 000008
【図３】
2014222374.tif 000009
【図４】
2014222374.tif 000010
【図５】
2014222374.tif 000011
【図６】
2014222374.tif 000012
【図７】
2014222374.tif 000013
【図８】
2014222374.tif 000014
【図９】
2014222374.tif 000015
【図１０】
2014222374.tif 000016
【図１１】
2014222374.tif 000017
【図１２】
2014222374.tif 000018
【図１３】
2014222374.tif 000019
【図１４】
2014222374.tif 000020
【図１５】
2014222374.tif 000021