(57)【要約】本発明は画像基盤の取引方法およびこのような方法を遂行する装置に関する。  画像基盤の取引方法は、商品取引サービスサーバーが画像処理装置から売り場画像情報を受信する段階，  商品取引サービスサーバーが売り場画像情報に基づいてユーザー提供情報を生成する段階，よび商品取引サービスサーバーがユーザー提供情報をユーザー装置に伝送する段階を含むものの、ユーザー提供情報はユーザー提供画像情報および制御情報を含むことを特徴とすることができる。【選択図】図１
2020511725.tif 000002
【特許請求の範囲】
【請求項１】
画像基盤の取引方法は、
商品取引サービスサーバーが画像処理装置から売り場画像情報を受信する段階；
前記商品取引サービスサーバーが前記売り場画像情報に基づいてユーザー提供情報を生成する段階；および
前記商品取引サービスサーバーが前記ユーザー提供情報をユーザー装置に伝送する段階を含むものの、
前記ユーザー提供情報はユーザー提供画像情報および制御情報を含むことを特徴とする、方法。
【請求項２】
前記ユーザー提供画像情報は前記売り場画像情報に対する後処理を通じて生成され、
前記制御情報は移動制御情報および取引制御情報を含み、
前記移動制御情報は前記ユーザー提供画像情報に基づいて出力される仮想売り場空間上でユーザーの仮想移動のための制御情報を含み、
前記取引制御情報は前記仮想売り場空間上に位置した商品に対する取引のための制御情報を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記移動制御情報は前記ユーザー装置上にユーザーインターフェース（移動）を出力し、前記ユーザーインターフェース（移動）に入力されるユーザー入力情報に対応するユーザー提供画像情報を出力し、
前記取引制御情報は前記ユーザー装置上にユーザーインターフェース（取引）を出力し、前記ユーザーインターフェース（取引）に入力されるユーザー入力情報に対応する商品情報を提供することを特徴とする、請求項２に記載の方法。
【請求項４】
前記ユーザーインターフェース（移動）は設定された分岐点上で出力され、
前記ユーザーインターフェース（取引）は、前記商品の位置と前記仮想移動によって決定された仮想位置間の距離が臨界距離以下である場合に提供されることを特徴とする、請求項３に記載の方法。
【請求項５】
前記売り場画像情報は前記画像処理装置によって撮像された売り場に対する全方位画像であり、
前記ユーザー装置は前記全方位画像に対する出力が可能であり、ユーザーの手の動きを前記ユーザー入力情報として認識することを特徴とする、請求項４に記載の方法。
【請求項６】
画像基盤の取引のための商品取引サービスサーバーは、
画像処理装置およびユーザー装置とデータ通信のための通信部；および
前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、
前記プロセッサは前記画像処理装置から売り場画像情報を受信し、
前記売り場画像情報に基づいてユーザー提供情報を生成し、
前記ユーザー提供情報をユーザー装置に伝送するように具現されるものの、
前記ユーザー提供情報はユーザー提供画像情報および制御情報を含むことを特徴とする、商品取引サービスサーバー。
【請求項７】
前記ユーザー提供画像情報は前記売り場画像情報に対する後処理を通じて生成され、
前記制御情報は移動制御情報および取引制御情報を含み、
前記移動制御情報は前記ユーザー提供画像情報に基づいて出力される仮想売り場空間上でユーザーの仮想移動のための制御情報を含み、
前記取引制御情報は前記仮想売り場空間上に位置した商品に対する取引のための制御情報を含むことを特徴とする、請求項６に記載の商品取引サービスサーバー。
【請求項８】
前記移動制御情報は前記ユーザー装置上にユーザーインターフェース（移動）を出力し、前記ユーザーインターフェース（移動）に入力されるユーザー入力情報に対応するユーザー提供画像情報を出力し、
前記取引制御情報は前記ユーザー装置上にユーザーインターフェース（取引）を出力し、前記ユーザーインターフェース（取引）に入力されるユーザー入力情報に対応する商品情報を提供することを特徴とする、請求項７に記載の商品取引サービスサーバー。
【請求項９】
前記ユーザーインターフェース（移動）は設定された分岐点上で出力され、
前記ユーザーインターフェース（取引）は、前記商品の位置と前記仮想移動によって決定された仮想位置間の距離が臨界距離以下である場合に提供されることを特徴とする、請求項８に記載の商品取引サービスサーバー。
【請求項１０】
前記売り場画像情報は前記画像処理装置によって撮像された売り場に対する全方位画像であり、
前記ユーザー装置は前記全方位画像に対する出力が可能であり、ユーザーの手の動きを前記ユーザー入力情報として認識することを特徴とする、請求項９に記載の商品取引サービスサーバー。
【請求項１１】
請求項１〜請求項５のいずれか一項に記載された方法を実行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像基盤の取引方法およびこのような方法を遂行する装置に関する。より詳細には、画像処理装置およびユーザー装置などを使ってユーザーがオフラインの売り場を訪問することなく取引活動をするための方法および装置に関する。
【背景技術】
【０００２】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムは特定の時点を基準に全方位（３６０度）の画像情報を記録できる画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。
【０００３】
全方位画像を得るために様々な方法が使われ得る。例えば、単一の時点（ｓｉｎｇｌｅ  ｖｉｅｗ  ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）を基準に一台のカメラを回転させて得た画像を接合して全方位画像が生成され得る。または複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が使われてもよい。ユーザーは多様な全方位画像処理装置（または全方位画像処理カメラ、３６０度カメラ）を使って全方位画像を生成することができる。
【０００４】
全方位画像装置は様々な領域で活用され得る。例えば、防犯／セキュリティーのような全方位の画像に対する監視が必要な領域で活用されてもよく、旅行時に旅行者が訪問した場所に対する記録のために活用されてもよい。それだけでなく、全方位画像装置に基づいて撮影された全方位画像は、編集されて商品の販売のための画像として活用されてもよい。
【０００５】
したがって、ユーザーが全方位画像処理装置に基づいて生成された全方位画像に対する多様な処理を通じて、全方位画像を多様な分野で活用するための技術開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は前述した問題点をすべて解決することをその目的とする。
【０００７】
また、本発明は、画像処理装置によって生成された売り場画像情報に基づいてユーザーがオフライン売り場を訪問することなく商品に対する取引を進行することを他の目的とする。
【０００８】
また、本発明は、売り場画像に基づいてユーザー提供画像を生成し、ユーザー提供画像に基づいて制御情報を生成してユーザーインターフェースを介して入力されたユーザー入力情報に基づいて、ユーザーが移動することなくユーザー提供画像を通じて必要な商品に対する取引を効果的に進行することを他の目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するための本発明の代表的な構成は以下の通りである。
【００１０】
本発明の一態様によれば、画像基盤の取引方法は、商品取引サービスサーバーが画像処理装置から売り場画像情報を受信する段階，前記商品取引サービスサーバーが前記売り場画像情報に基づいてユーザー提供情報を生成する段階および前記商品取引サービスサーバーが前記ユーザー提供情報をユーザー装置に伝送する段階を含むものの、前記ユーザー提供情報はユーザー提供画像情報および制御情報を含むことを特徴とする。
【００１１】
本発明の他の態様によれば、画像基盤の取引のための商品取引サービスサーバーは、画像処理装置およびユーザー装置とデータ通信のための通信部，および前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、前記プロセッサは前記画像処理装置から売り場画像情報を受信し、前記売り場画像情報に基づいてユーザー提供情報を生成し、前記ユーザー提供情報をユーザー装置に伝送するように具現されるものの、前記ユーザー提供情報はユーザー提供画像情報および制御情報を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像処理装置によって生成された売り場画像情報に基づいてユーザーがオフライン売り場を訪問することなく商品に対する取引を進行することを他の目的とする。
【００１３】
また、本発明によれば、売り場画像に基づいてユーザー提供画像を生成し、ユーザー提供画像に基づいて制御情報を生成してユーザーインターフェースを介して入力されたユーザー入力情報に基づいて、ユーザーが移動することなくユーザー提供画像を通じて必要な商品に対する取引を効果的に進行することを他の目的とする。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る全方位画像処理装置を示す概念図である。
【図２】本発明の実施形態に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【図３】本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。
【図４】本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。
【図５】本発明の実施例に係る全方位画像の方向情報を生成／表示する方法を示した概念図である。
【図６】本発明の実施例に係る全方位画像の再生時に方向情報を表示する方法を示した概念図である。
【図７】本発明の実施例に係る全方位画像の再生時に方向転換要請指示子を出力する方法を示した概念図である。
【図８】本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【図９】本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【図１０】本発明の実施例に係るユーザーの関心を考慮して識別情報を生成する方法を示した概念図である。
【図１１】本発明の実施例に係るユーザーの関心客体を決定する方法を示した概念図である。
【図１２】本発明の実施例に係るユーザーの関心客体を決定するための方法を示した概念図である。
【発明を実施するための形態】
【００１５】
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。
【００１６】
以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。
【００１７】
以下、本発明の実施例の画像処理装置は全方位画像処理装置を含むことができる。全方位画像処理装置は全方位（または３６０度画像）を撮像できる全方位カメラ（３６０度カメラ）を含むことができる。
【００１８】
また、以下、本発明の実施例で商品は外形を有する物品だけでなく、外形を有さないサービス商品も含む意味で使われ得る。
【００１９】
図１は、本発明の実施例に係る画像基盤の商品取引システムを示した概念図である。
【００２０】
図１では、ユーザーがオフライン売り場を訪問することなく画像に基づいて商品を購買するための商品取引システムが開示される。
【００２１】
商品取引システムは画像処理装置１００、商品取引サービスサーバー１２０、ユーザー装置１４０を含むことができる。
【００２２】
画像処理装置１００は商品（または売り場）に対する画像（例えば、全方位画像）を生成するために具現され得る。例えば、オフライン売り場で商品の販売のために販売台（または陳列台）に商品が配置され得る。画像処理装置１００はオフライン売り場の移動路を通じて移動し、売り場および／または売り場に配列された商品に対する画像を生成することができる。画像処理装置１００により生成された売り場および／または売り場に配列された商品に対する画像は売り場画像という用語で表現され得る。
【００２３】
画像処理装置１００は実際のオフライン売り場を撮像せず、オフライン売り場に対する仮想（ｖｉｒｔｕａｌ）の画像を生成してもよい。オフライン売り場に対する仮想の画像は仮想空間内に売り場、販売台、商品、移動経路などを仮想に設定して生成した画像であり得る。以下、本発明の実施例で売り場画像はオフライン売り場に対する仮想の画像を含む意味で使われ得る。
【００２４】
商品取引サービスサーバー１２０は、画像処理装置から受信した売り場画像に対する処理を通じてユーザーのユーザー装置１４０に商品購買のためのユーザー提供情報を生成することができる。
【００２５】
ユーザー提供情報は、ユーザー提供画像およびユーザー装置１４０でユーザーの仮想移動および商品購買のための制御情報（例えば、移動制御情報、取引制御情報）等を含むことができる。ユーザー提供画像は売り場画像に基づいて生成されたユーザー装置１４０に提供されて出力される売り場に対する画像であり得る。
【００２６】
商品取引サービスサーバー１２０は、売り場画像で重なったり不要な部分を除外し、売り場内の移動経路別に売り場画像を分割するなどの画像処理を通じてユーザー提供画像を生成することができる。例えば、商品取引サービスサーバー１２０は画像処理装置１００により生成された売り場画像のうち、重なって撮影された部分を除外してユーザー提供画像を決定することができる。また、売り場画像が撮像された位置情報を考慮して経路別に売り場画像を分割して経路別ユーザー提供画像を生成することができる。例えば、分岐点で第１経路および第２経路に経路が分割される場合、第１経路に対する第１売り場画像に基づいて第１経路に対する第１経路ユーザー提供画像を生成し、第２経路に対する第２売り場画像に基づいて第２経路に対する第２経路ユーザー提供画像を生成することができる。
【００２７】
また、商品取引サービスサーバー１２０はユーザー提供画像上でユーザーの仮想移動のための移動制御情報を生成することができる。例えば、商品取引サービスサーバー１２０はユーザー提供画像内に存在する売り場内の移動経路の分岐点を決定し、分岐点でユーザーインターフェース（移動）を出力するための移動制御情報を生成することができる。ユーザーインターフェース（移動）はユーザーの仮想移動方向を決定するために具現され得る。また、商品取引サービスサーバー１２０は、分岐点でユーザーインターフェース（移動）を通じての入力情報とユーザー提供画像をマッチングする移動制御情報を生成することができる。
【００２８】
すなわち、商品取引サービスサーバー１２０は売り場画像内の分岐点でユーザーインターフェース（移動）を出力し、ユーザーインターフェース（移動）を通じてユーザー入力情報の入力を受け、ユーザー入力情報によるユーザーの仮想移動方向によるユーザー提供画像を提供するための移動制御情報を生成することができる。
【００２９】
例えば、商品取引サービスサーバー１２０の画像処理を通じてユーザーが分岐点に位置した場合、ユーザー装置１４０を通じて出力するユーザー提供画像上でユーザーインターフェース（移動）が移動制御情報に基づいて出力され得る。ユーザーインターフェース（移動）を通じて移動方向を指示するユーザー入力情報が入力され得る。移動制御情報に基づいてユーザー入力情報によって指示する移動方向に対応するユーザー提供画像がユーザーに提供され得る。このような方式でユーザーはユーザー装置１４０を通じて移動方向を指示し、売り場内を仮想で動くことができる。
【００３０】
また、商品取引サービスサーバー１２０は、ユーザーの商品情報獲得、商品選択および商品取引手続きのための取引制御情報を生成することができる。例えば、商品取引サービスサーバー１２０はユーザー提供画像内に存在する商品のイメージを客体情報として抽出し、商品のイメージと対応する商品を決定することができる。商品取引サービスサーバー１２０は決定された商品に対する商品情報を商品のイメージにマッチングするための取引制御情報を生成することができる。
【００３１】
また、商品取引サービスサーバー１２０はユーザーインターフェース（取引）を通じて商品が選択された場合、追加的な商品情報の提供および商品に対する取引を進行するための取引制御情報を生成することができる。ユーザーインターフェース（取引）はユーザー提供画像上で商品を選択して取引するために具現され得る。取引制御情報は商品の価格、商品の原産地、商品の取引条件などのような商品の選択／取引のための情報を含むことができる。
【００３２】
商品取引サービスサーバー１２０により生成された取引制御情報に基づいて、ユーザー提供画像内の商品のイメージに商品情報がマッチングされてイメージ情報として出力され得る。また、商品取引サービスサーバー１２０により生成された取引制御情報に基づいて、ユーザーインターフェース（取引）を通じてのユーザーによって商品のイメージの選択時に、商品に対する追加的な商品情報が提供されて取引手続きが進行され得る。
【００３３】
また、商品取引サービスサーバー１２０はユーザーによって選択された商品に対する商品取引要請情報を受信し、商品取引要請情報に基づいた商品取引手続きを進行することができる。例えば、ユーザーはユーザー装置１４０を通じて仮想で売り場を歩き回りながら、購買した商品に対して決済を要請することができる。決済要請時に商品取引要請情報が商品取引サービスサーバー１２０に伝達され得る。商品取引サービスサーバー１２０はユーザー装置（別途のユーザー装置も可能）１４０から決済のための決済情報（例えば、カード情報）を受信して商品に対する決済手続きを進行することができる。決済手続きは別途の銀行サーバーと連動して遂行されてもよい。商品取引サービスサーバー１２０により取引が完了した商品はユーザーに配送され得る。
【００３４】
商品取引サービスサーバー１２０は一度にユーザー装置にユーザー提供画像を提供してもよく、ユーザーインターフェースを通じて入力されるユーザー入力情報によりユーザー装置１４０からユーザー提供画像要請を受信し、要請されたユーザー提供画像を提供してもよい。
【００３５】
商品取引サービスサーバー１２０は画像処理装置およびユーザー装置とデータ通信のための通信部を含み、通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むことができる。本発明の実施例で開示された商品取引サービスサーバー１２０の動作はプロセッサに基づいて遂行され得る。
【００３６】
より具体的な商品取引サービスサーバー１２０の動作は後述される。
【００３７】
ユーザー装置１４０はユーザーの商品購買のために具現され得る。ユーザー装置１４０は商品取引サービスサーバー１２０からユーザー提供情報を受信し、ユーザー提供画像を出力することができる。また、ユーザー装置１４０を通じてユーザー入力情報が入力され、ユーザー入力情報に対応する移動制御情報および取引制御情報に基づいて仮想で売り場内を移動しながら商品に対する購買手続きが進行され得る。
【００３８】
例えば、ユーザー装置１４０はユーザーインターフェース（移動）を通じてユーザーの入力情報の入力を受け、ユーザー提供画像上でユーザーの売り場内の仮想の動きを発生させることができる。また、ユーザー装置１４０はユーザーインターフェース（取引）を通じてユーザーの入力情報の入力を受け、ユーザー提供画像上でユーザーの商品の選択および商品に対する情報提供、商品に対する購買手続きを進行することができる。
【００３９】
例えば、ユーザー装置１４０は全方位ＶＲ（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）／ＡＲ（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）画像を出力することができ、手の動きをユーザー入力情報として入力を受けることができる装置であり得る。ユーザー装置１４０はＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）であり得、ユーザーの手の動きをユーザー入力情報として解釈して受信することができる。
【００４０】
具体的には、ユーザーはユーザー装置１４０を通じて提供されるユーザー提供画像上で、ユーザーインターフェース（移動）を通じて移動しようとする方向を選択して売り場内を仮想で移動することができる。例えば、ユーザー提供画像は分岐点でユーザーインターフェース（移動）を出力することができる。ユーザーインターフェース（移動）に含まれる移動しようとする方向を指示するアイコン（またはイメージ）がユーザーの手によって選択され得る。ユーザー装置１４０は手の動きをユーザー入力情報として認識し、移動制御情報に基づいてユーザーによって選択された特定の方向に対応するユーザー提供画像がユーザーに提供され得る。
【００４１】
また、ユーザーはユーザー装置１４０を通じて提供されるユーザー提供画像上で、ユーザーインターフェース（取引）を通じて購買しようとする商品を選択して購買することができる。例えば、ユーザー提供画像上で購買しようとする商品を手で選択することができる。このような場合、ユーザー装置１４０はユーザーインターフェース（取引）を通じて手の動きをユーザー入力情報として認識し、取引制御情報に基づいてユーザーによって選択された商品に対する情報（価格、原産地など）を提供し、商品購買手続きを進行することができる。
【００４２】
図２は、本発明の実施例に係る画像処理装置の動作を示した概念図である。
【００４３】
図２では画像処理装置の画像生成動作が開示される。例えば、画像処理装置は全方位画像処理装置であり、生成される画像は全方位画像であり得る。
【００４４】
図２を参照すると、画像処理装置２００は売り場内の商品に対する情報を撮像できる。
【００４５】
管理者または移動装置は画像処理装置２００を売り場内で移動させることができ、画像処理装置は売り場内の３６０度画像を撮像して売り場画像を生成することができる。本発明の実施例に係る画像処理装置２００はウェアラブル３６０度画像撮像装置であり得、画像処理装置２００を着用した管理者が売り場内を移動しながら売り場画像を生成してもよい。すなわち、画像処理装置２００は売り場の多様な経路を移動することができ、販売台に置かれた商品を撮像して売り場画像を生成することができる。
【００４６】
画像処理装置２００の移動経路は多様に設定され得る。例えば、売り場内の地図情報が入力され、売り場内の地図情報により画像処理装置２００が移動することができる。売り場内の地図情報は売り場内の移動経路および売り場内の商品の位置（または売り場内の位置別商品に対する情報）を含むことができる。
【００４７】
売り場内の地図情報に基づいて画像処理装置２００の移動経路が決定され得る。画像処理装置２００の移動経路は売り場内のすべての経路を含むものの、重なる経路が最小となるように決定され得る。また、画像処理装置２００の移動経路は画像処理装置２００の撮像可能距離を追加的に考慮して決定され得る。また、画像処理装置２００の移動速度は売り場内の移動経路内に商品が存在するかの可否に基づいて決定され得る。移動経路内に商品が存在しない場合、画像処理装置２００の移動速度は相対的に小さくてもよく、移動経路内に商品が存在する場合、画像処理装置２００の移動速度は相対的に大きくてもよい。
【００４８】
画像処理装置２００の移動経路に対する情報および重なる経路に対する情報は、商品取引サービスサーバーに伝達され得る。商品取引サービスサーバーは重なる経路に対する画像を除去し、画像処理装置２００の移動経路に対する情報に基づいて売り場画像を分割することができる。
【００４９】
前述した通り、画像処理装置２００により生成される売り場画像は仮想の画像であり得る。仮想の画像は仮想の売り場空間に仮想の販売台を配置し、仮想の販売台上に仮想の商品を配置させて生成され得る。画像処理装置２００は設定された仮想の売り場空間、仮想の販売台、仮想の商品の位置を考慮して仮想の売り場空間の内部の経路を決定し、売り場内の経路を考慮して仮想の売り場画像を生成してもよい。
【００５０】
図３は、本発明の実施例に係る商品取引サービスサーバーの動作を示した概念図である。
【００５１】
図３では、受信した売り場画像に基づいてユーザー提供画像を生成するための商品取引サービスサーバーの動作が開示される。
【００５２】
商品取引サービスサーバーは画像処理装置から売り場画像に対する情報を受信することができる。売り場画像は全方位画像（または３６０度画像）であり得る。また、商品取引サービスサーバーは画像処理装置から売り場画像が撮像された位置情報、売り場内の地図情報も受信することができる。
【００５３】
図３の上段を参照すると、商品取引サービスサーバーは売り場画像情報、売り場画像撮像位置情報、売り場内の地図情報に基づいて不要に複数回撮影された領域を決定することができる。商品取引サービスサーバーは、複数回撮影された領域に対応する複数個の売り場画像のうち一つの売り場画像を選択したり、複数個の売り場画像を組み合わせて一つの売り場画像を生成してもよい。
【００５４】
例えば、画像処理装置が商品の撮像のために、売り場内の移動経路のうち果物販売台が位置した移動経路を複数回移動することができる。例えば、最初の移動に基づいて第１売り場画像３１０が生成され、２回目の移動に基づいて第２売り場画像３２０が生成され、３回目の移動に基づいて第３売り場画像３３０が生成され得る。このような場合、商品取引サービスサーバーは果物領域に対する複数個の売り場画像のうち一つの売り場画像（例えば、第１売り場画像３１０）のみをユーザー提供画像として決定し、残りの売り場画像（例えば、第２売り場画像３２０、第３売り場画像３４０）を除去することができる。または第１売り場画像３１０、第２売り場画像３２０および第３売り場画像３４０を組み合わせて一つのユーザー提供画像を生成することができる。
【００５５】
図３の下段を参照すると、商品取引サービスサーバーは売り場内の経路別に売り場画像を分割することができる。例えば、分岐点で第１経路３５０、第２経路３６０および第３経路３７０で経路が分割される場合、商品取引サービスサーバーは第１経路３５０に対する売り場画像を第１ユーザー提供画像３５５、第２経路３６０に対する売り場画像を第２ユーザー提供画像３６５、第３経路３７０に対する売り場画像を第３ユーザー提供画像３７５として生成することができる。すなわち、経路別売り場画像に対するマッチングに基づいて選択された経路別ユーザー提供画像が生成され得る。
【００５６】
すなわち、商品取引サービスサーバーは、売り場画像情報、売り場画像撮像位置情報、売り場内の地図情報に基づいて不要に複数回撮影された領域に対する編集を遂行し、売り場内の経路別に売り場画像を分割してユーザー提供画像を生成することができる。
【００５７】
商品取引サービスサーバーは生成されたユーザー提供画像に基づいて移動制御情報および取引制御情報を生成することができる。図４および図５では、生成されたユーザー提供画像に基づいて移動制御情報および取引制御情報を生成する商品取引サービスサーバーの動作が開示される。
【００５８】
図４は、本発明の実施例に係る商品取引サービスサーバーの動作を示した概念図である。
【００５９】
図４では、ユーザー提供画像に基づいて移動制御情報を生成する方法が開示される。移動制御情報はユーザーインターフェース（移動）を通じて入力されるユーザー入力情報に対応するユーザー提供画像を提供するための制御情報であり得る。
【００６０】
商品取引サービスサーバーは、経路別にユーザー提供画像をマッチングするための移動制御情報を生成することができる。移動制御情報に基づいてユーザーインターフェース（移動）を通じて入力される入力情報により、ユーザー提供画像がユーザー装置を通じて提供され得る。
【００６１】
図４の上段を参照すると、売り場内の移動経路が分岐点４００を基準に複数の経路に分岐される場合、分岐点４００を基準に各経路に合うユーザー提供画像をマッチングするための移動制御情報が生成され得る。
【００６２】
分岐点４００を基準に第１経路４１０、第２経路４２０および第３経路４３０が存在する場合が仮定され得る。ユーザー提供画像は第１経路４１０に対する第１ユーザー提供画像４１５、第２経路４２０に対する第２ユーザー提供画像４２５および第３経路４３０に対する第３ユーザー提供画像４３５でマッチングされ得る。移動制御情報は経路別にユーザー提供画像をマッチングするための情報を含むことができる。
【００６３】
第１ユーザー提供画像４１５は第１経路４１０を通じて画像処理装置の移動時に撮像された全方位画像であり、第２ユーザー提供画像４２５は第２経路４２０を通じて画像処理装置の移動時に撮像された全方位画像であり、第３ユーザー提供画像４３５は第３経路４３０を通じて画像処理装置の移動時撮像された全方位画像であり得る。
【００６４】
分岐点４００上でユーザーインターフェース（移動）を提供するための移動制御情報も生成され得る。
【００６５】
図４の下段を参照すると、ユーザーインターフェース（移動）が提供される分岐点４５０は経路が分割されない場合にも設定され得る。同じ経路上に互いに異なる位置に商品が位置する場合、分岐点４５０を基準に経路が設定されて移動制御情報が設定され得る。すなわち、分岐点はユーザーインターフェース（移動）が出力されるように設定された位置でもよい。分岐点は一定の位置（距離間隔）で設定されてもよく、商品の位置を考慮して設定されてもよい。
【００６６】
例えば、分岐点４５０を基準に、第１’経路（左側経路）４６０上に第１’製品（例えば、果物）を販売する販売台が位置し、第２’経路（右側経路）４７０上に第２’製品（例えば、野菜）を販売する販売台が位置し、主経路方向の第３’経路（直線経路）４８０上に第３’製品（例えば、乳製品）を販売する販売台が位置し得る。
【００６７】
このような場合、第１’製品に対する具体的な確認のために第１’経路４６０に移動する第１’ユーザー提供画像４６５がマッチングされ、第２’製品に対する具体的な確認のために第２’経路４７０に近付く第２’ユーザー提供画像４７５がマッチングされ、第３’製品に対する具体的な確認のために第３’経路４８０に近付く第３’ユーザー提供画像４８５がマッチングされ、マッチングに対する情報が移動制御情報として生成され得る。
【００６８】
商品取引サービスサーバーは各経路別に経路名を設定することができ、ユーザーの入力情報により出力する経路別ユーザー提供画像をマッチングすることができる。例えば、第１経路に移動時に果物を展示した販売台が出る場合、第１経路の経路名を果物に設定し、第１ユーザー提供画像と第１経路を指示するユーザーインターフェースの入力情報（左側方向指示子）をマッチングするための移動制御情報が生成され得る。同様に、第２経路に移動時に乳製品を展示した販売台が出る場合、第２経路の経路名を乳製品に設定し、第２ユーザー提供画像と第２経路を指示するユーザーインターフェースの入力情報（直進方向指示子）をマッチングするための移動制御情報が生成され得る。第３経路に移動時に野菜を展示した販売台が出場合、第３経路の経路名を野菜に設定し、第３ユーザー提供画像と第３経路を指示するユーザーインターフェースの入力情報（右側方向指示子）をマッチングするための制御情報が生成され得る。
【００６９】
設定された経路名情報はユーザーインターフェースの入力ボタン上に出力され得る。
【００７０】
例えば、果物販売台側にすぐに移動したいユーザーは、商品購買装置の画面上で「果物」と表示されたユーザーインターフェースの入力ボタン（果物）を押すことができる。入力ボタン（果物）に対応する入力情報が入力され、入力ボタン（果物）に対応する入力情報にマッチングされるユーザー提供画像がユーザー装置上で出力され得る。
【００７１】
図５は、本発明の実施例に係る商品取引サービスサーバーの動作を示した概念図である。
【００７２】
図５では、ユーザー提供画像に基づいて移動制御情報を生成する方法が開示される。特に、ユーザーの望む商品または商品カテゴリーにすぐに移動するための移動制御情報を生成するための方法が開示される。
【００７３】
ユーザー入力情報とユーザー提供画像間のマッチングに基づいて、ユーザーがユーザーインターフェース（移動）５００上で特定のユーザー入力情報を入力した場合、ユーザー入力情報にマッチングされるユーザー提供画像が出力され得る。ユーザー入力情報はユーザーが購買することを望む商品、商品に対するカテゴリー情報であり得る。
【００７４】
商品取引サービスサーバーはユーザー提供画像に対する客体分析を通じて、どのような経路上のどのような位置にどのような商品が販売されているかに対する情報を移動制御情報として生成することができる。例えば、商品取引サービスサーバーはイチゴが第１経路、第３地点に位置するものとして決定し、移動制御情報として管理することができる。
【００７５】
また、商品取引サービスサーバーはユーザー提供画像に対する客体分析を通じて、どのような経路上のどのような位置にどのようなカテゴリーの商品が販売されているかに対する情報を移動制御情報として生成することができる。例えば、特定の位置に牛乳、チーズ、ヨーグルトなどの商品が位置した場合、商品取引サービスサーバーは該当位置に乳製品カテゴリーに該当する商品が位置して販売されていると決定することができる。商品取引サービスサーバーは、乳製品カテゴリー、果物カテゴリーなどがどのような経路、どのような地点に位置するかの可否を決定し、移動制御情報として管理することができる。
【００７６】
ユーザーインターフェース（移動）５００を通じて購買しようとする商品または商品カテゴリー（例えば、乳製品５２０）を入力することができ、移動制御情報に基づいて入力された商品または商品カテゴリー（例えば、乳製品５２０）に対応する位置のユーザー提供画像（乳製品）５４０がすぐに出力され得る。
【００７７】
図６は、本発明の実施例に係る商品取引サービスサーバーの動作を示した概念図である。
【００７８】
図６では、ユーザー提供画像に基づいて取引制御情報を生成する方法が開示される。取引制御情報はユーザーインターフェース（取引）を通じて入力されるユーザー入力情報に対応するユーザー提供画像を提供するための制御情報であり得る。
【００７９】
図６を参照すると、商品取引サービスサーバーは、商品情報の提供、商品の選択、商品の取引のための取引制御情報を生成することができる。取引制御情報に基づいてユーザーインターフェース（取引）６００を通じて入力される入力情報により、ユーザー提供画像がユーザー装置を通じて提供され得る。ユーザーインターフェース（取引）６００は、商品の位置とユーザーの仮想の売り場空間上の仮想移動によって決定された仮想位置間の距離が臨界距離以下である場合に提供されてもよい。
【００８０】
ユーザー提供画像上で商品のイメージが客体情報として抽出され得る。例えば、ユーザー提供画像に商品として販売されるオレンジ、スイカ、イチゴなどが含まれた場合が仮定され得る。
【００８１】
商品取引サービスサーバーは、ユーザー提供画像内の個別客体のそれぞれの客体イメージ情報（例えば、オレンジ、スイカ、イチゴなどのイメージ情報））を抽出することができる。抽出された客体イメージ情報は画像分析を通じて商品情報とマッチングされ得る。
【００８２】
例えば、商品取引サービスサーバーはオレンジに対する客体イメージ情報を抽出し、オレンジの客体イメージ情報と対応する商品が何であるかの可否を決定することができる。商品取引サービスサーバーには特定の商品（例えば、オレンジ）に対する基準イメージが登録されていてもよい。入力された客体イメージ情報（例えば、抽出されたオレンジのイメージ）と最も類似度が高い基準イメージ（例えば、登録されたオレンジの基準イメージ）を有する商品（例えば、オレンジ）が、入力された客体イメージと対応する商品に決定され得る。すなわち、画像分析を通じて客体イメージ情報と対応する商品が「オレンジ」に決定され得る。
【００８３】
商品取引サービスサーバーはオレンジに対する商品情報（価格、原産地、セールの有無など）とオレンジの客体イメージ情報をマッチングさせることができる。オレンジの客体イメージ情報とマッチングされた商品情報がイメージ情報で表現されてユーザー提供画像上に出力され得る。
【００８４】
または本発明の実施例によると、商品取引サービスサーバーはユーザー提供画像内の個別客体のそれぞれの客体情報として、客体の近くに位置した客体と関連した客体関連情報（例えば、客体説明テキスト（またはカード、表示板、説明板）、客体関連ＱＲ（ｑｕｉｃｋ  ｒｅｓｐｏｎｓｅ）コードなど））を抽出することができる。商品取引サービスサーバーによって抽出された客体関連情報は、画像分析を通じて商品情報とマッチングされ得る。例えば、商品取引サービスサーバーは客体関連情報として、オレンジ周辺に位置した「カリフォルニアオレンジ１個当りＸＸＸＸウォン」のようなテキストまたはオレンジ関連ＱＲコードに対するイメージ情報を抽出することができる。客体関連情報は客体関連情報の抽出位置と最も隣接した客体（または客体イメージ）とマッチングされ得る。
【００８５】
この後、商品取引サービスサーバーは客体関連情報と対応する商品を決定することができる。商品取引サービスサーバーには客体関連情報と対応する特定の商品（例えば、オレンジ）に対する商品情報（価格、原産地、セールの有無など）を客体関連情報（および／または客体情報、客体関連情報）とマッチングさせて、特定の商品に対する商品情報をユーザーに提供することができる。例えば、特定の商品（例えば、オレンジ）の客体関連情報（または客体イメージ情報）とマッチングされた商品情報がイメージ情報として表現されてユーザー提供画像上に出力され得る。
【００８６】
本発明の実施例によると、追加的に位置情報が考慮されて抽出された客体イメージ情報と商品情報がマッチングされ得る。商品取引サービスサーバーは画像処理装置から売り場画像撮像位置情報および売り場内の地図情報を受信し、ユーザー提供画像内の商品が何であるかの可否を決定することができる。前述した通り、売り場内の地図情報は売り場内の移動経路および売り場内の商品の位置（または売り場内の位置別商品に対する情報）を含むことができる。
【００８７】
例えば、ユーザー提供画像が第１場所で撮像され、ユーザー提供画像で第１方向に第１商品に対する客体イメージ、第２方向に第２商品に対する客体イメージが含まれた場合が仮定され得る。売り場内の地図情報に基づいて第１場所の第１方向に位置した第１商品が何であるかが決定され得、売り場内の地図情報に基づいて第１場所の第２方向に位置した第２商品が何であるかが決定され得る。すなわち、特別な画像の分析なしに撮像位置情報および撮像方向情報だけで、抽出された客体イメージ情報とマッチングされる商品情報が決定され得る。
【００８８】
または本発明の実施例によると、ユーザー提供画像が第１場所で撮像された場合、第１場所に位置した商品（例えば、オレンジ、イチゴ、スイカなど）が優先的に決定され得、第１場所に位置した商品（例えば、オレンジ、イチゴ、スイカなど）のうち客体イメージ情報と対応する商品（例えば、イチゴ）が何であるかの可否を決定することができる。
【００８９】
または本発明の実施例によると、商品取引サービスサーバーはユーザー提供画像内の個別客体のそれぞれの客体識別情報を処理して商品情報とマッチングさせることができる。例えば、画像処理装置は売り場画像を収集しながら、売り場内に位置した商品の位置情報（商品位置情報）と商品に対する識別情報（商品識別情報）を追加的に収集することができる。売り場内に位置した商品の位置情報と商品に対する識別情報は、売り場に位置するか商品の周辺に位置した別途の通信モジュールによって画像処理装置に伝送され得る。商品位置情報は商品の売り場内での具体的な位置に対する情報（例えば、Ａ地域、第１販売台３層３列）を含むことができ、商品識別情報は商品を識別できる情報（例えば、オレンジに対する識別コード：１０１０１０１）を含むことができる。商品位置情報と商品識別情報は一つのグループ化された情報であり得る。または商品識別情報が商品に対する位置情報も含んでもよい。以下、本発明の実施例では説明の便宜上商品位置情報と商品識別情報を別途の情報に区分して開示する。
【００９０】
例えば、商品取引サービスサーバーは、通信モジュールによって伝送された商品位置情報および商品識別情報と撮像された売り場画像情報および売り場地図情報を追加的に考慮して、ユーザー提供画像内の商品を識別し、商品情報をマッチングさせることができる。
【００９１】
まず、商品取引サービスサーバーは、売り場地図情報に基づいて撮像された売り場画像情報が売り場内のいずれの位置（例えば、Ａ地域）で撮像されたかを決定することができる。商品取引サービスサーバーは売り場内撮像位置（例えば、Ａ地域）で撮像された売り場画像内に含まれる客体イメージと商品位置情報（例えば、Ａ地域、第１販売台３層３列）および商品識別情報（例えば、オレンジに対する識別コード：１０１０１０１）をマッチングさせることができる。具体的には、商品取引サービスサーバーは売り場画像に対する画像分析を遂行して売り場画像内の客体の商品位置（例えば、第１販売台３層３列）を判断することができる。商品取引サービスサーバーは、客体の商品位置とマッチングされる（商品位置情報および商品識別情報）に基づいて、第１販売台３層３列に位置した客体Ａをオレンジに認識することができる。その後、商品取引サービスサーバーは認識された売り場内の客体に対する商品情報をユーザーに提供することができる。
【００９２】
図６で開示された方法はユーザー提供画像で商品情報を提供するために、単独または組み合わせで使われ得る。
【００９３】
図７は、本発明の実施例に係る商品取引サービスサーバーの動作を示した概念図である。
【００９４】
図７では、移動制御情報および取引制御情報に基づいたユーザーの商品購買手続きが開示される。
【００９５】
ユーザーがユーザーインターフェース（移動）を通じて売り場内で仮想移動を遂行し、ユーザーインターフェース（取引）を通じて商品を選択し取引するための手続きが開示される。ユーザーインターフェース（移動）およびユーザーインターフェース（取引）は、ユーザーの手の動作を入力情報として認識するユーザーインターフェースと仮定する。しかし、ユーザーの手の動作ではない他の多様なフォーマットの入力情報がユーザー入力情報として使われ得る。
【００９６】
図７を参照すると、ユーザーはユーザー装置を通じてユーザー提供画像を提供することができる。
【００９７】
例えば、ユーザー装置はＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）であり得る。また、ユーザー装置はユーザーの手の動作を認識してユーザーの手の動作を入力情報として変化させることができる。
【００９８】
図７の上段を参照すると、ユーザーはユーザーインターフェース（移動）７００を通じて売り場内を仮想で動くことができる。例えば、ユーザーは実際に売り場の入口を通じて売り場に入って商品を購買するのと同様に、ユーザーインターフェース（移動）７００を通じて望む商品を仮想でショッピングすることができる。ユーザーインターフェース（移動）７００上に表示された移動指示子（例えば、矢印）をユーザーの手で選択することができ、選択された移動指示子によるユーザー提供画像がユーザー装置を通じて提供され得る。
【００９９】
ユーザーはユーザーインターフェース（移動）７００を通じて購買を望む商品にすぐに移動してもよい。例えば、ユーザーがイチゴを買おうとする場合、ユーザーはユーザーインターフェース（移動）７００上に「果物」を入力するか、ユーザーインターフェース（移動）７００を通じて「果物」を選択することができる。このような場合、果物販売台に対応するユーザー提供画像がユーザー装置に提供され得る。
【０１００】
ユーザーはユーザー提供画像上に表示される商品を手を動かして選択することができる。ユーザーの手の動きが特定の商品のイメージを選択する場合、ユーザーインターフェース（取引）７５０は、ユーザーの手の動きを入力情報として認識し、商品のイメージにマッチングされた商品情報を出力することができる。例えば、ユーザーが物をつかむ手の動きを遂行した手の位置と特定の商品のイメージの位置が一致する場合、ユーザーインターフェース（取引）７５０はユーザーの手の動きを入力情報として認識し、商品のイメージにマッチングされた商品情報を出力することができる。
【０１０１】
ユーザーインターフェース（取引）７５０は、ユーザーから商品を購買するかの可否に対するユーザー入力情報の入力を受けることができる。ユーザーが商品に対する購買を望む場合、ユーザーインターフェース（取引）７５０を通じて購買しようとする数量に対する情報が入力され得、購買された商品はユーザーの仮想の買い物かごに保管され得る。
【０１０２】
ユーザーが売り場内で商品の選択を完了した場合、ユーザーインターフェース（取引）７５０を通じて買い物かごに集まった商品に対する決済を遂行することができる。ユーザーはユーザーインターフェース（取引）７５０を通じて決済情報（カード番号など）を入力し、商品サービスサーバーは決済情報に基づいて商品に対する取引を遂行することができる。
【０１０３】
図８は、本発明の実施例に係る商品取引サービスの動作を示した概念図である。
【０１０４】
図８では、仮想売り場空間内の商品の位置を適応的に配列するための方法が開示される。
【０１０５】
図８を参照すると、ユーザー特性情報（ユーザーの購買性向／ユーザーの購買記録に対する情報）８００に応じて商品の配列位置が適応的に調整され得る。
【０１０６】
例えば、ユーザー特性情報８００はユーザーの購買記録情報を含むことができ、ユーザーの購買記録情報はユーザーが以前に購買した商品に対する情報を含むことができる。
【０１０７】
購買記録情報が果物および乳製品類を含む場合が仮定され得る。このような場合、果物販売台および乳製品販売台に先に移動できるように、果物販売台および乳製品販売台が売り場入口に配置されるように仮想売り場内の商品の位置および移動経路が調整され得る。
【０１０８】
すなわち、仮想空間上に、ユーザーによって関心があるものと予想される商品の販売台が優先的に配置され、ユーザーがユーザー装置を通じて仮想空間に入場した場合、仮想空間上に、商品がユーザーの商品に対する関心度を考慮して配置され得る。商品に対するユーザーの関心度は、ユーザーの移転購買記録、ユーザーの性別、ユーザーの年齢などを考慮して決定され得る。このような方法を通じてユーザーに提供されるユーザー提供画像上で、ユーザーが入場した後にユーザーの関心物品が先にユーザーに見え得る。
【０１０９】
または本発明の実施例によると、ユーザーに関心があるものと予想される商品の位置にすぐに移動するためのユーザーインターフェース（移動）が別途に提供されてもよい。例えば、ユーザーが以前に購買した商品の位置にすぐに移動できるように、商品のイメージがユーザーインターフェース（移動）を通じて提供され得る。ユーザーによってユーザーインターフェース（移動）上で商品のイメージが選択される場合、商品のイメージに対応するユーザー提供画像がすぐに提供され得る。ユーザーはすぐに提供されたユーザー提供画像で商品を選択して購買手続きを進行することができる。
【０１１０】
以下、本発明の実施例では売り場画像を生成するために使われる画像処理装置が例示的に開示される。以下で開示される画像処理装置は一つの例示に過ぎず、他の多様な形態の画像処理装置が売り場画像を生成するために活用され得る。
【０１１１】
図９は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【０１１２】
図９では全方位画像処理装置の構造が開示される。
【０１１３】
図９を参照すると、全方位画像処理装置９００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置９００は、図９に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置９００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置９００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。
【０１１４】
本発明の実施例では、説明の便宜上、全方位画像処理装置９００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置９００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置９００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。
【０１１５】
ユーザーは、ウェアラブル装置として具現された全方位画像処理装置９００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。
【０１１６】
全方位画像処理装置９００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置９００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。
【０１１７】
例えば、全方位画像処理装置９００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部９１０、第２画像撮像部９２０、第３画像撮像部９３０であり得る。
【０１１８】
以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置９００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置９００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。
【０１１９】
第１画像撮像部９１０、第２画像撮像部９２０及び第３画像撮像部９３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部９１０によって第１画像が生成され、第２画像撮像部９２０によって第２画像が生成され、第３画像撮像部９３０によって第３画像が生成され得る。第１画像撮像部９１０、第２画像撮像部９２０、第３画像撮像部９３０のそれぞれの画角は１２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置９００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置９００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置９００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ            ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。
【０１２０】
以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
【０１２１】
図１０は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【０１２２】
図１０では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図１０に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。
【０１２３】
図１０の上段では、全方位画像処理装置の後面部が開示される。
【０１２４】
全方位画像処理装置に含まれている第１画像撮像部１０１０及び第２画像撮像部１０２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部１０１０及び第２画像撮像部１０２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部１０１０及び第２画像撮像部１０２０が一定の距離上に位置することができる。
【０１２５】
第１画像撮像部１０１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部１０２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部１０１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部１０２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。
【０１２６】
第１画像撮像部１０１０及び第２画像撮像部１０２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域１０１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。
【０１２７】
図１０の下段では、全方位画像処理装置の前面部が開示される。
【０１２８】
全方位画像処理装置の前面部には第３画像撮像部１０３０が位置することができる。具体的には、第３画像撮像部１０３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部１０３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。
【０１２９】
第３画像撮像部１０３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。
【０１３０】
具体的には、第３画像撮像部１０３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部１０３０による撮像が行われる場合、第１画像撮像部１０１０の第１画角と第３画像撮像部１０３０の第３画角による第２重なり領域１０２５が発生し得る。第３画像撮像部１０３０による撮像が行われる場合、第２画像撮像部１０２０の第２画角と第３画像撮像部１０３０の第３画角による第３重なり領域１０３５が発生し得る。
【０１３１】
首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部１０１０、第２画像撮像部１０２０は、地面を基準に第３画像撮像部１０３０よりも相対的に高い所に位置し得る。また、第３画像撮像部１０３０は一方の末端部にのみ位置するようになる。
【０１３２】
既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域１０１５、第２重なり領域１０２５及び第３重なり領域１０３５の大きさ／形態が互いに異なり得る。
【０１３３】
この後、第１重なり領域１０１５／第２重なり領域１０２５／第３重なり領域１０３５を考慮した第１画像撮像部１０１０、第２画像撮像部１０２０及び第３画像撮像部１０３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。
【０１３４】
第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。
【０１３５】
図１１は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【０１３６】
図１１では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。
【０１３７】
既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。
【０１３８】
本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。
【０１３９】
図１１に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図１１に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。
【０１４０】
図１１の上段では、第１画像撮像部１１１０及び第２画像撮像部１１２０の撮像線が開示される。
【０１４１】
第１画像撮像部１１１０及び第２画像撮像部１１２０は、第３画像撮像部１１３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置で第１画像撮像部１１１０及び第２画像撮像部１１２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部１１３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。
【０１４２】
例えば、第１画像撮像部１１１０の第１撮像線１１１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０１４３】
第２画像撮像部１１２０の第２撮像線１１２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０１４４】
図１１の下段を参照すると、第３画像撮像部１１３０の第３撮像線１１３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部１１３０の第３撮像線１１３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。
【０１４５】
すなわち、第１撮像線１１１５及び第２撮像線１１２５はＹ軸を基準に同一の高さを有し、第３撮像線１１３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図１１に示された第１撮像線１１１５、第２撮像線１１２５及び第３撮像線１１３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。
【０１４６】
図１２は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【０１４７】
図１２では、図３とは異なる複数の画像撮像部の撮像線が開示される。同様に、図１２においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。
【０１４８】
図１２の上段には、第１画像撮像部１２１０及び第２画像撮像部１２２０の撮像線が開示される。
【０１４９】
第１画像撮像部１２１０及び第２画像撮像部１２２０は、第３画像撮像部１２３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部１２１０及び第２画像撮像部１２２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部１２３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。
【０１５０】
例えば、第１画像撮像部１２１０の第１撮像線１２１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０１５１】
第２画像撮像部１２２０の第２撮像線１２１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０１５２】
図１２の下段には第３画像撮像部１２３０の撮像線が開示される。
【０１５３】
第３画像撮像部１２３０の第３撮像線１２３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０１５４】
第３画像撮像部１２３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。
【０１５５】
すなわち、第１撮像線１２１５と第２撮像線１２２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線１２３５は、Ｙ軸を基準に第１撮像線１２１５及び第２撮像線１２２５よりも相対的に低い位置に位置し得る。また、第１撮像線１２１５及び第２撮像線１２２５はＸＺ平面と平行であるが、第３撮像線１２３５はＸＺ平面と平行でなくてもよい。
【０１５６】
本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０１５７】
本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。
【０１５８】
すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。
【０１５９】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【０１６０】
以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。
【０１６１】
したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。
【図１】
2020511725.tif 000003
【図２】
2020511725.tif 000004
【図３】
2020511725.tif 000005
【図４】
2020511725.tif 000006
【図５】
2020511725.tif 000007
【図６】
2020511725.tif 000008
【図７】
2020511725.tif 000009
【図８】
2020511725.tif 000010
【図９】
2020511725.tif 000011
【図１０】
2020511725.tif 000012
【図１１】
2020511725.tif 000013
【図１２】
2020511725.tif 000014
【国際調査報告】
2020511725.tif 000015
2020511725.tif 000016
2020511725.tif 000017
2020511725.tif 000018