(57)【要約】本発明は撮像位置情報を決定する方法およびこのような方法を遂行する装置に関する。撮像位置情報を生成する方法は、サービスサーバーが画像処理装置から複数のフレームに対する情報を受信する段階、サービスサーバーが複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定する段階とサービスサーバーが複数の撮像位置情報に基づいて複数のフレームに対する後処理を通じてユーザー提供画像を生成する段階を含むことができる。【選択図】図１
2020519073.tif 000002
【特許請求の範囲】
【請求項１】
撮像位置情報を決定する方法は、
サービスサーバーが画像処理装置から複数のフレームに対する情報を受信する段階；
前記サービスサーバーが前記複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定する段階；および
前記サービスサーバーが前記複数の撮像位置情報に基づいて前記複数のフレームに対する後処理を通じてユーザー提供画像を生成する段階を含むことを特徴とする、方法。
【請求項２】
前記複数の撮像位置情報のそれぞれは、前記複数のフレームのそれぞれの撮像位置に対する情報を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記複数のフレームは、前記画像処理装置によって一定の時間内に生成されたすべてのフレームを含むことを特徴とする、請求項２に記載の方法。
【請求項４】
前記複数のフレームは、前記画像処理装置によって一定の時間内に生成されたすべてのフレームのうち一部のフレームを含むことを特徴とする、請求項２に記載の方法。
【請求項５】
前記複数のフレームのそれぞれと前記複数の撮像位置情報のそれぞれは、同期化された時間情報に基づいてマッチングされることを特徴とする、請求項２に記載の方法。
【請求項６】
撮像位置情報を決定するサービスサーバーは、
画像処理装置およびユーザー装置とデータ通信のための通信部；および
前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、
前記プロセッサは画像処理装置から複数のフレームに対する情報を受信し、
前記複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定し、
前記複数の撮像位置情報に基づいて前記複数のフレームに対する後処理を通じてユーザー提供画像を生成するように具現されることを特徴とする、サービスサーバー。
【請求項７】
前記複数の撮像位置情報のそれぞれは、前記複数のフレームのそれぞれの撮像位置に対する情報を含むことを特徴とする、請求項６に記載のサービスサーバー。
【請求項８】
前記複数のフレームは、前記画像処理装置によって一定の時間内に生成されたすべてのフレームを含むことを特徴とする、請求項７に記載のサービスサーバー。
【請求項９】
前記複数のフレームは、前記画像処理装置によって一定の時間内に生成されたすべてのフレームのうち一部のフレームを含むことを特徴とする、請求項７に記載のサービスサーバー。
【請求項１０】
前記複数のフレームのそれぞれと前記複数の撮像位置情報のそれぞれは、同期化された時間情報に基づいてマッチングされることを特徴とする、請求項７に記載のサービスサーバー。
【請求項１１】
請求項１〜請求項５のいずれか一項に記載された方法を実行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像位置情報を決定する方法およびこのような方法を遂行する装置に関する。より詳細には画像処理装置によって撮像される動映像情報に対する撮像位置情報を決定し、後処理を通じて画像コンテンツ基盤サービスをユーザーに提供するための方法および装置に関する。
【背景技術】
【０００２】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。
【０００３】
全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ  ｖｉｅｗ  ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ，３６０度カメラ）を用いて全方位画像を生成することができる。
【０００４】
全方位画像装置は多様な領域で活用され得る。例えば、防犯／セキュリティーのような全方位画像に対する監視が必要な領域で活用されてもよく、旅行の際に旅行をする者が訪問した場所に対する記録のために活用されてもよい。これだけでなく、全方位画像装置に基づいて撮影された全方位画像は編集されて商品の販売のための画像として活用されてもよい。
【０００５】
したがって、ユーザーが全方位画像処理装置に基づいて生成された全方位画像に対する多様な処理を通じて、全方位画像を多様な分野で活用するための技術開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は前述した問題点をすべて解決することをその目的とする。
【０００７】
また、本発明は、画像処理装置によって生成される動映像情報（例えば、全方位画像情報）に含まれる複数のフレームのうち少なくとも一つのフレームに対する撮像位置情報を決定することを他の目的とする。
【０００８】
また、本発明は、画像処理装置によって生成されたフレームとフレームに対応する撮像位置情報に基づいて画像後処理を通じてユーザー提供画像（例えば、仮想マート（ｖｉｒｔｕａｌ  ｍａｒｋｅｔ）画像）を生成し、ユーザー提供画像を通じてユーザーに多様なサービスを提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するための本発明の代表的な構成は次の通りである。
【００１０】
本発明の一態様によると、撮像位置情報を生成する方法は、サービスサーバーが画像処理装置から複数のフレームに対する情報を受信する段階、前記サービスサーバーが前記複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定する段階と前記サービスサーバーが前記複数の撮像位置情報に基づいて前記複数のフレームに対する後処理を通じてユーザー提供画像を生成する段階を含むことができる。
【００１１】
本発明の他の態様によると、撮像位置情報を決定するサービスサーバーは、画像処理装置およびユーザー装置とデータ通信のための通信部と前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、前記プロセッサは画像処理装置から複数のフレームに対する情報を受信し、前記複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定し、前記複数の撮像位置情報に基づいて前記複数のフレームに対する後処理を通じてユーザー提供画像を生成するように具現され得る。
【発明の効果】
【００１２】
本発明によると、画像処理装置によって生成される動映像情報（例えば、全方位画像情報）に含まれる複数のフレームのうち少なくとも一つのフレームに対する撮像位置情報が決定され、撮像位置情報は少なくとも一つのフレームに対応され得る。
【００１３】
また、本発明によると、画像処理装置によって生成されたフレームとフレームに対応する撮像位置情報に基づいて画像後処理を通じてユーザー提供画像（例えば、仮想マート（ｖｉｒｔｕａｌ  ｍａｒｋｅｔ）画像）を生成し、ユーザー提供画像を通じてユーザーに多様なサービスを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例に係る画像基盤サービス提供システムを示した概念図である。
【図２】本発明の実施例に係る画像処理装置の画像処理方法を示した概念図である。
【図３】本発明の実施例に係るフレームグループを示した概念図である。
【図４】本発明の実施例に係るフレームグループを示した概念図である。
【図５】本発明の実施例に係る撮像位置情報決定方法を示した概念図である。
【図６】本発明の実施例に係る画像処理装置の動き情報に基づいた撮像位置情報生成方法を示した概念図である。
【図７】本発明の実施例に係るユーザー提供画像を生成する方法を示した概念図である。
【図８】本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図９】本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図１０】本発明の実施例に係る画像処理装置の客体撮像方法を示した概念図である。
【図１１】本発明の実施例に係る全方位画像処理装置を示す概念図である。
【図１２】本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【図１３】本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【図１４】本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【発明を実施するための形態】
【００１５】
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。
【００１６】
以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。
【００１７】
以下、本発明の実施例の画像処理装置は全方位画像処理装置を含むことができる。全方位画像処理装置は全方位（または３６０度画像）を撮像できる全方位カメラ（３６０度カメラ）を含むことができる。
【００１８】
また、以下、本発明の実施例で開示される画像情報、動映像情報は全方位画像（または３６０度画像）を含むことができる。
【００１９】
また、以下、本発明の実施例で商品は外形を有する物品だけでなく、外形を有さないサービス商品も含む意味で使われ得る。
【００２０】
以下、本発明の実施例では、説明の便宜上、主に画像基盤サービスは仮想マートサービスであり、画像処理装置が売り場画像を生成するものと仮定する。しかし、画像基盤サービスは仮想マートサービスではない他の多様なサービスであり得、画像処理装置が売り場画像ではない画像基盤サービスを提供するための他の多様な画像であり得、このような実施例も本発明の権利範囲に含まれる。
【００２１】
図１は、本発明の実施例に係る画像基盤サービス提供システムを示した概念図である。
【００２２】
図１では画像処理装置によって撮像された画像に基づいて画像基盤サービスを提供するための画像基盤サービス提供システムが開示される。
【００２３】
画像基盤サービス提供システムは、画像処理装置１００、サービスサーバー１２０、ユーザー装置１４０を含むことができる。
【００２４】
画像処理装置１００は画像基盤サービスを提供するための画像を生成するために具現され得る。例えば、画像基盤サービスはユーザーに仮想マートに対する画像を提供するための仮想マーケットサービスであり得る。画像処理装置１００は商品（または売り場）に対する画像（例えば、全方位画像）を生成するために具現され得る。例えば、オフライン売り場で商品の販売のために売台（または陳列台）に商品が配置され得る。画像処理装置１００はオフライン売り場の移動路を通じて移動し、売り場および／または売り場に配列された商品に対する画像を生成することができる。画像処理装置１００により生成された売り場および／または売り場に配列された商品に対する画像は、売り場画像という用語で表現され得る。
【００２５】
画像処理装置１００は実際のオフライン売り場を撮像せず、オフライン売り場に対する仮想（ｖｉｒｔｕａｌ）の画像を生成してもよい。オフライン売り場に対する仮想画像は仮想空間内に売り場、売台、商品、移動経路などを仮想に設定して生成した画像であり得る。以下、本発明の実施例で売り場画像はオフライン売り場に対する仮想画像を含む意味で使われ得る。
【００２６】
本発明の実施例によると、画像処理装置１００により生成されたフレームに対する撮像位置情報が対応され得る。画像処理装置１００は時間当たり複数のフレームを生成することができ、複数のフレームのうち少なくとも一つのフレームのそれぞれに対して撮像位置情報が対応され得る。このようなフレームと撮像位置情報間の対応は画像処理装置１００により直接遂行されてもよく、サービスサーバー１２０により遂行されてもよい。フレームと撮像位置情報間の対応および画像処理装置１００により生成された画像に対する後処理は後述される。
【００２７】
サービスサーバー１２０は画像処理装置１００から受信した画像に基づいてユーザー装置１４０に画像基盤サービスを提供するためのユーザー提供情報を生成することができる。
【００２８】
ユーザー提供情報は、ユーザー提供画像およびユーザー装置１４０でユーザーの仮想移動およびサービス提供のための制御情報などを含むことができる。ユーザー提供画像は画像処理装置１００により撮像された画像に対して後処理を通じて生成された画像であって、ユーザー装置１４０に画像基盤サービスを提供するための画像であり得る。
【００２９】
例えば、サービスサーバー１２０は売り場画像に対する処理を通じてユーザーのユーザー装置１４０に商品購買のためのユーザー提供情報を生成することができる。ユーザー提供情報は、ユーザー提供画像およびユーザー装置１４０でユーザーの仮想移動および商品購買のための制御情報（例えば、移動制御情報、取引制御情報）等を含むことができる。ユーザー提供画像は売り場画像に基づいて生成されたユーザー装置１４０に提供されて出力される売り場に対する画像であり得る。
【００３０】
サービスサーバー１２０は、フレームに対応する撮像位置情報に基づいて画像処理装置１００から受信した画像で重なったり不要な部分を除き、売り場内移動経路別に売り場画像を分割するなどの画像処理を通じてユーザー提供画像を生成することができる。例えば、サービスサーバー１２０は画像処理装置１００により生成された売り場画像のうち、重なって撮影された部分を除いてユーザー提供画像を決定することができる。重なって撮像された画像であるかどうかはフレームに対応する撮像位置情報に基づいて決定され得る。
【００３１】
また、サービスサーバー１２０は売り場画像が撮像された位置情報を考慮して、経路別に売り場画像を分割して経路別ユーザー提供画像を生成することができる。例えば、分岐点で第１経路および第２経路に経路が分割される場合、第１経路に対する第１売り場画像に基づいて第１経路に対する第１経路ユーザー提供画像が生成され、第２経路に対する第２売り場画像に基づいて第２経路に対する第２経路ユーザー提供画像が生成され得る。
【００３２】
また、サービスサーバー１２０はユーザー提供画像上でユーザーの仮想移動のための移動制御情報を生成することができる。例えば、サービスサーバー１２０はユーザー提供画像内に存在する売り場内移動経路の分岐点を決定し、分岐点でユーザーインターフェース（移動）を出力するための移動制御情報を生成することができる。ユーザーインターフェース（移動）はユーザーの仮想移動方向を決定するために具現され得る。また、サービスサーバー１２０は分岐点でユーザーインターフェース（移動）を通じての入力情報とユーザー提供画像をマッチングするための移動制御情報を生成することができる。
【００３３】
サービスサーバー１２０は売り場画像内の分岐点でユーザーインターフェース（移動）を表示してユーザーインターフェース（移動）を通じてユーザー入力情報の入力を受け、ユーザー入力情報によるユーザーの仮想移動方向に沿ったユーザー提供画像を提供するための移動制御情報を生成することができる。
【００３４】
サービスサーバー１２０の画像処理を通じてユーザーが分岐点に位置した場合、ユーザー装置１４０を通じて出力されるユーザー提供画像上でユーザーインターフェース（移動）が移動制御情報に基づいて出力され得る。ユーザーインターフェース（移動）を通じて移動方向を指示するユーザー入力情報が入力され得る。移動制御情報に基づいてユーザー入力情報によって指示する移動方向に対応するユーザー提供画像がユーザー装置１４０に提供され得る。このような方式でユーザーはユーザー装置１４０を通じて移動方向を指示し、売り場内を仮想に動くことができる。
【００３５】
また、サービスサーバー１２０はユーザーの商品情報の獲得、商品の選択および商品の取引手続きのための取引制御情報を生成することができる。例えば、サービスサーバー１２０はユーザー提供画像内に存在する商品イメージを客体情報として抽出し、商品イメージと対応する商品を決定することができる。サービスサーバー１２０は決定された商品に対する商品情報を商品イメージにマッチングするための取引制御情報を生成することができる。
【００３６】
また、サービスサーバー１２０はユーザーインターフェース（取引）を通じて商品が選択された場合、追加的な商品情報の提供および商品に対する取引を進行するための取引制御情報を生成することができる。ユーザーインターフェース（取引）はユーザー提供画像上で商品を選択して取引するために具現され得る。取引制御情報は商品の価格、商品の原産地、商品の取引条件などのような商品の選択／取引のための情報を含むことができる。サービスサーバー１２０により生成された取引制御情報に基づいてユーザー提供画像内の商品イメージに商品情報がマッチングされてイメージ情報として出力され得る。また、サービスサーバー１２０により生成された取引制御情報に基づいてユーザーインターフェース（取引）を通じてのユーザーによって商品イメージの選択時に、商品に対する追加的な商品情報が提供されて取引手続きが進行され得る。
【００３７】
また、サービスサーバー１２０はユーザーによって選択された商品に対する商品取引要請情報を受信し、商品取引要請情報に基づいた商品の取引手続きを進行することができる。例えば、ユーザーはユーザー装置１４０を通じて仮想で売り場を歩き回りながら購入した商品に対して決済を要請することができる。決済要請時に商品取引要請情報がサービスサーバー１２０に伝達され得る。サービスサーバー１２０はユーザー装置（別途のユーザー装置も可能）１４０から決済のための決済情報（例えば、カード情報）を受信して商品に対する決済手続きを進行することができる。決済手続きは別途の銀行サーバーと連動して遂行されてもよい。サービスサーバー１２０により取引が完了した商品はユーザーに配送され得る。
【００３８】
サービスサーバー１２０は、一度にユーザー装置１４０にユーザー提供画像を提供してもよく、ユーザーインターフェースを通じて入力されるユーザー入力情報によってユーザー装置１４０からユーザー提供画像要請を受信し、要請されたユーザー提供画像を提供してもよい。
【００３９】
サービスサーバー１２０は画像処理装置１００およびユーザー装置１４０とデータ通信のための通信部を含み、通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むことができる。本発明の実施例で開示されたサービスサーバー１２０の動作はプロセッサに基づいて遂行され得る。
【００４０】
ユーザー装置１４０はサービスサーバー１２０からユーザー提供情報を受信して画像基盤サービスの提供を受けることができる。例えば、ユーザー装置１４０はユーザーの商品購買のために具現され得る。ユーザー装置１４０はサービスサーバー１２０からユーザー提供情報を受信し、ユーザー提供画像を出力することができる。また、ユーザー装置１４０を通じてユーザー入力情報が入力され、ユーザー入力情報に対応する移動制御情報および取引制御情報に基づいて仮想で売り場内を移動しながら商品に対する購買手続きが進行され得る。
【００４１】
例えば、ユーザー装置１２０はユーザーインターフェース（移動）を通じてユーザーの入力情報の入力を受けてユーザー提供画像上でユーザーの売り場内の仮想の動きを発生させることができる。また、ユーザー装置１２０はユーザーインターフェース（取引）を通じてユーザーの入力情報の入力を受けてユーザー提供画像上でユーザーの商品の選択および商品に対する情報の提供、商品に対する購買手続きを進行することができる。
【００４２】
例えば、ユーザー装置１２０は全方位ＶＲ（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）／ＡＲ（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）画像を出力することができ、手の動きをユーザー入力情報として入力を受けることができる装置であり得る。ユーザー装置１２０はＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）であり得、ユーザーの手の動きをユーザー入力情報として解釈して受信することができる。
【００４３】
具体的には、ユーザーはユーザー装置１２０を通じて提供されるユーザー提供画像上でユーザーインターフェース（移動）を通じて移動しようとする方向を選択して、画像基盤サービスで提供される仮想画像上で仮想で移動することができる。例えば、ユーザー提供画像は分岐点でユーザーインターフェース（移動）を出力することができる。ユーザーインターフェース（移動）に含まれる移動しようとする方向を指示するアイコン（またはイメージ）がユーザーの手によって選択され得る。ユーザー装置１２０は手の動きをユーザー入力情報として認識し、移動制御情報に基づいてユーザーによって選択された特定方向に対応するユーザー提供画像がユーザーに提供され得る。
【００４４】
また、ユーザーはユーザー装置１２０を通じて提供されるユーザー提供画像上で、ユーザーインターフェース（取引）を通じて購入しようとする商品を選択して購入することができる。例えば、ユーザー提供画像上で購入しようとする商品が手で選択され得る。このような場合、ユーザー装置１２０はユーザーインターフェース（取引）を通じて手の動きをユーザー入力情報として認識し、取引制御情報に基づいてユーザーによって選択された商品に対する情報（価格、原産地など）を提供して、商品の購買手続きを進行することができる。
【００４５】
すなわち、本発明の実施例によると、サービスサーバー１２０が画像処理装置１００から複数のフレームに対する情報を受信し、サービスサーバー１２０が複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを決定し、サービスサーバー１２０が複数の撮像位置情報に基づいて複数のフレームに対する後処理を通じてユーザー提供画像を生成することができる。
【００４６】
サービスサーバー１２０の複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれの決定は、サービスサーバー１２０が複数の撮像位置情報を受信して複数のフレームのそれぞれに対する複数の撮像位置情報のそれぞれを直接的にマッチングさせるか、画像処理装置１００によりあらかじめマッチングされた複数のフレームに対する複数の撮像位置情報に対する情報処理を遂行するために確認することなどを意味し得る。
【００４７】
この時、複数の撮像位置情報のそれぞれは複数のフレームのそれぞれの撮像位置に対する情報であり得る。複数のフレームは画像処理装置１００により一定の時間内に生成されたすべてのフレームを含んだり、複数のフレームは画像処理装置１００により一定の時間内に生成されたすべてのフレームのうち一部のフレームを含むことができる。複数のフレームのそれぞれと複数の撮像位置情報のそれぞれは同期化された時間情報に基づいてマッチングされ得る。
【００４８】
図２は、本発明の実施例に係る画像処理装置の画像処理方法を示した概念図である。
【００４９】
図２では、画像処理装置２００により生成される画像情報（または動映像情報、全方位画像情報、３６０度画像情報）に含まれる複数のフレーム（ｆｒａｍｅ）（またはピクチャー（ｐｉｃｔｕｒｅ））に対応する位置情報を決定するための方法が開示される。
【００５０】
画像処理装置２００は特定の時間単位（例えば、１秒）に複数個のフレームを生成して画像情報を生成することができる。例えば、画像処理装置２００は６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）、３０ｆｐｓ、２４ｆｐｓのように、一定時間（例えば、秒）当たり複数個のフレームを撮像して画像情報を生成することができる。
【００５１】
本発明の実施例によると、複数個のフレームのうち少なくとも一つのフレームに対応する情報としてフレームを撮像した位置に対する撮像位置情報（またはジオタグ（ｇｅｏ  ｔａｇ）情報）が決定され得る。すなわち、画像処理装置２００により生成されるすべてのフレームまたはあらかじめ設定されたフレームに対応する情報として撮像位置情報が生成され得る。
【００５２】
画像処理装置２００は室内または室外で画像を撮像することができる。画像処理装置２００（または別途の外部装置）は室内または室外で撮像位置情報を獲得することができ、獲得された撮像位置情報は画像を構成する複数のフレームのうち少なくとも一つのフレームに対応され得る。
【００５３】
撮像位置情報はフレームに対するパラメータ情報であって、画像情報（動映像ビットストリーム）の伝送単位（または伝送フォーマット）に含まれてサービスサーバーで処理され得る。撮像位置情報はフレームのパラメータ情報として含まれてフレームに対する情報を含む画像情報上で伝送され得る。具体的には、撮像位置情報に対する第１情報単位、フレーム情報を含む第２情報単位が一つの動映像ビットストリームを構成することができる。
【００５４】
または撮像位置情報は別途の外部装置によって生成されてすぐにサービスサーバーに伝送されてもよく、サービスサーバーで画像処理装置２００から伝送されたフレーム情報と結合されてもよい。
【００５５】
または撮像位置情報は画像情報と分離された個別的な情報フォーマット（または伝送単位）で生成されてもよい。例えば、撮像位置情報はフレーム撮像時間情報と対応して別途の情報フォーマットで生成され、画像情報はフレームに対する情報およびフレームに対応するフレーム撮像時間情報を含むことができる。撮像位置情報は（時間情報、撮像位置情報）を含み、画像情報は（時間情報、フレーム情報）を含み、同期化された時間情報を基準に撮像位置情報とフレーム情報がマッチングされ、フレームを撮像した撮像位置情報が獲得され得る。
【００５６】
図３は、本発明の実施例に係るフレームグループを示した概念図である。
【００５７】
図３では、複数のフレームを含むフレームグループが開示される。フレームグループは複数のフレームを含む集合であり得る。図３では、フレームグループに含まれる複数のフレームのそれぞれに対応する撮像位置情報が生成される場合が仮定される。
【００５８】
フレームグループに含まれる複数のフレームのそれぞれに対応する撮像位置情報が生成され得る。撮像位置情報はフレームを撮像した撮像位置に対する情報であり得る。撮像位置情報は画像処理装置によって生成されてもよく、別途の外部装置によって生成されてもよい。
【００５９】
図３の上段を参照すると、同じ時間資源上で撮像位置情報の個数と秒当たりフレームの個数（例えば、３０ｆｐｓ）を合わせて複数のフレームのそれぞれに対する撮像位置情報が生成され得る。例えば、１秒に３０回の間隔で撮像位置情報が探知されて生成され、３０ｆｐｓで生成される複数のフレームのそれぞれに対応する撮像位置情報が対応され得る。
【００６０】
図３の中間段を参照すると、同じ時間資源上で撮像位置情報の個数が秒当たりフレームの個数より多い場合、撮像位置情報のうち一部は無視され、フレームと時間的に最も隣接して対応する撮像位置情報が該当フレームに対する撮像位置情報として決定され得る。例えば、１／３０秒に生成された第１撮像位置情報と１／２５秒に生成された第２撮像位置情報が存在する場合、１／３０秒に生成されたフレームに対する撮像位置情報は第１撮像位置情報であり得る。
【００６１】
図３の下段を参照すると、同じ時間資源上で撮像位置情報の個数が秒当たりフレームの数より少ない場合、撮像位置情報に基づいて予測撮像位置情報が決定され、予測撮像位置情報がフレームに対する撮像位置情報として決定され得る。
【００６２】
例えば、第１フレーム３１０の撮像時に受信された撮像位置情報が第１撮像位置情報３１５であり、その後に第５フレーム３５０の撮像時に受信された撮像位置情報が第２撮像位置情報３２５であり得る。
【００６３】
第１フレーム３１０と第５フレーム３５０の間で撮像された第２フレーム、第３フレーム、第４フレームに対する撮像位置情報は第１撮像位置情報３１５として決定されるか、第１撮像位置情報３１５および第２撮像位置情報３２５に基づいて決定され得る。第１撮像位置情報３１５により指示される第１位置と第２撮像位置情報３２５により指示される第２位置を直線に連結するか、地図上の経路情報などを考慮してユーザー移動経路を設定することができる。
【００６４】
第１位置と第２位置の間のユーザー移動経路が分割され、分割された第１予測撮像位置３６０、第２予測撮像位置３７０および第３予測撮像位置３８０のそれぞれが、第２フレーム、第３フレーム、第４フレームに対する撮像位置情報として決定され得る。例えば、第１位置と第２位置の間のユーザー移動経路が等間隔で分割され、ユーザー移動経路を等間隔で分割した第１予測撮像位置３６０、第２予測撮像位置３７０および第３予測撮像位置３８０のそれぞれが決定され得る。画像処理装置の移動速度を考慮して、第１位置と第２位置の間のユーザー移動経路が等間隔で分割されない場合もある。
【００６５】
決定された第１予測撮像位置３６０は第２フレームに対する撮像位置情報、第２予測撮像位置３７０は第３フレームに対する撮像位置情報、第３予測撮像位置３８０は第４フレームに対する撮像位置情報として決定され得る。
【００６６】
サービスサーバーは撮像位置情報およびフレーム情報を受信し、撮像位置情報およびフレーム情報に基づいてユーザー提供画像を生成することができる。
【００６７】
図４は、本発明の実施例に係るフレームグループを示した概念図である。
【００６８】
図４では、複数のフレームを含むフレームグループが開示される。フレームグループは複数のフレームを含む集合であり得る。図４では、フレームグループに含まれる複数のフレームのうち一部のフレームにのみ撮像位置情報が対応する場合が仮定される。
【００６９】
図４を参照すると、複数個のフレームのうち一部のフレームにのみ対応する撮像位置情報が存在する場合、撮像位置情報と対応するフレームは撮像位置情報フレーム４００という用語で表現され得る。
【００７０】
例えば、画像処理装置が３０ｆｐｓであり、１秒に２回撮像位置情報が生成される場合、１秒に生成された３０個のフレームのうち２個のフレームが撮像位置情報フレーム４００であり得、２個の撮像位置情報フレーム４００のそれぞれに生成された２個の撮像位置情報が対応され得る。
【００７１】
複数のフレームのうち撮像位置情報フレーム４００が指示され得る。サービスサーバーは撮像位置情報フレーム４００に対する指示情報に基づいて撮像位置情報を獲得してユーザー提供画像を生成することができる。
【００７２】
または、画像処理装置はあらかじめフレームグループに含まれる複数のフレームのうち一部のフレームを撮像位置情報フレーム４００としてあらかじめ設定することができる。例えば、フレームグループに１０個のフレームが含まれる場合、１０個のフレーム（第１フレーム〜第１０フレーム）のうち、第１フレーム４１０および第６フレーム４６０が撮像位置情報フレーム４００として設定され得る。複数のフレームのうち撮像位置情報フレーム４００が指示され得る。サービスサーバーは撮像位置情報フレーム４００に対する指示情報に基づいて撮像位置情報、撮像位置情報フレーム４００および撮像位置情報が対応しない残りのフレームに基づいてユーザー提供画像を生成することができる。具体的には、ユーザー提供画像の生成のために撮像位置情報フレームに対する指示情報に基づいて撮像位置情報フレームが決定され、撮像位置情報フレームに対応する撮像位置情報に基づいて画像後処理を通じてユーザー提供画像が生成され得る。
【００７３】
図５は、本発明の実施例に係る撮像位置情報決定方法を示した概念図である。
【００７４】
図５では、室内または室外で画像を撮像する画像処理装置の撮像位置情報を決定するための方法が開示される。
【００７５】
図５を参照すると、画像処理装置が室内で撮像を遂行する場合、室内測位技術に基づいて画像処理装置の撮像位置情報が決定され得る。例えば、通信信号を使う室内位置測位技術に基づいて室内で画像処理装置の撮像位置が決定され得る。例えば、画像処理装置は室内に具現された複数の位置測位のためのビーコン５００により伝送される位置測位信号を受信し、位置測位信号に基づいて画像処理装置の現在撮像位置を決定することができる。
【００７６】
また、画像処理装置が室外で撮像を遂行する場合、室外測位技術に基づいて画像処理装置の撮像位置情報が決定され得る。例えば、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）に基づいて画像処理装置の撮像位置が決定され、決定された撮像位置情報はフレームに対応され得る。
【００７７】
具体的には、外部装置または画像処理装置に具現されたＧＰＳモジュールはＧＰＳ信号を受信して撮像位置情報を獲得することができ、獲得された撮像位置情報は獲得時点で撮像されたフレームに対応され得る。
【００７８】
または本発明の実施例によると、画像処理装置の動き情報を考慮した撮像位置情報が生成されてもよい。
【００７９】
図６は、本発明の実施例に係る画像処理装置の動き情報に基づいた撮像位置情報生成方法を示した概念図である。
【００８０】
図６では、画像処理装置の動きを基準に撮像位置情報を生成するための方法が開示される。図６に開示された経路は画像処理装置の動きを示す一例示であり、画像処理装置は室内／室外で多様な経路を通じて移動しながら画像撮像を遂行することができる。
【００８１】
図６を参照すると、画像処理装置が設定された経路（第１経路６１０〜第４経路６４０）を移動しながら画像を撮像することができる。基準点６００を基準に画像処理装置の移動情報が獲得され得る。移動情報は時間別移動距離、全体の移動距離、移動速度／移動方向、移動時間などのような画像処理装置の移動に対する情報を含むことができる。
【００８２】
以下、説明の便宜上画像処理装置が移動情報を獲得する場合が仮定されるが、画像処理装置ではなく他の装置（例えば、画像処理装置と連動されたユーザー装置）が移動情報を獲得してもよい。
【００８３】
例えば、画像処理装置が第１経路６１０〜第４経路６４０を移動する場合、第１経路６１０の開始点が基準点６００となり得る。画像処理装置は下記のような順に沿って第１経路６１０〜第４経路６４０を移動しながら画像撮像を遂行することができる。
【００８４】
１）画像処理装置は第１経路６１０上で北側の方向に移動しながら第１経路６１０上で画像撮像を遂行することができる。画像処理装置の第１経路６１０上の移動により第１経路６１０上の移動情報が獲得され得る。
【００８５】
２）画像処理装置は第１経路６１０の終わりで第２経路６２０に切り替えられて西側の方向に移動しながら第２経路６２０上で画像撮像を遂行することができる。画像処理装置の第２経路６２０上の移動により第２経路６２０上の移動情報が獲得され得る。
【００８６】
３）画像処理装置は第２経路６２０の終わりで第３経路６３０に切り替えられて南側の方向に移動しながら第３経路６３０上で画像撮像を遂行することができる。画像処理装置の第３経路６３０上の移動により第３経路６３０上の移動情報が獲得され得る。
【００８７】
４）画像処理装置は第３経路６３０の終わりで第４経路６４０に切り替えられて南側の方向に移動しながら第４経路６４０上で画像撮像を遂行することができる。画像処理装置の第４経路６４０上の移動により第４経路６４０上の移動情報が獲得され得る。
【００８８】
基準点６００および第１経路６１０上の移動情報、第２経路６２０上の移動情報、第３経路６３０上の移動情報、第４経路６４０上の移動情報に基づいて画像処理装置の動線が決定され得る。基準点を原点として画像処理装置の動線が３次元座標上で決定され得る。具体的には、基準点を基準にｘメートルを北側の方向に行く経路が第１経路６１０であり、ｘメートルを北側の方向に行った後ｙメートルを西側の方向に行く経路が第２経路６２０であり得る。基準点を基準に画像処理装置の動線が決定され得る。
【００８９】
移動情報は画像処理装置の動線に対する情報だけでなく、画像処理装置の撮像位置情報を決定することができる。撮像位置情報は画像処理装置によって撮像された画像（またはフレーム）とマッチングされ得、ユーザーインターフェース（移動）とマッチングされてユーザー提供画像を提供することができる。
【００９０】
具体的には、サービスサーバーは第１経路６１０上の移動情報、第２経路６２０上の移動情報、第３経路６３０上の移動情報、第４経路６４０上の移動情報を受信し、ユーザーがユーザー提供画像上で第１経路６１０〜第４経路６４０上で移動できるようにユーザーインターフェース（移動）を提供することができる。また、サービスサーバーは経路上で移動情報に基づいて決定された撮像位置情報と撮像されたフレームをマッチングさせてユーザー提供画像を生成することができる。移動情報に基づいて決定された撮像位置情報とフレーム間のマッチングについては、具体的に後述される。
【００９１】
図７は、本発明の実施例に係るユーザー提供画像を生成する方法を示した概念図である。
【００９２】
図７では、移動情報に基づいて決定された撮像位置情報とフレーム間のマッチング方法が開示される。
【００９３】
図７を参照すると、図６のように移動情報が決定される場合、移動情報に基づいて撮像位置情報が決定され得る。すなわち、移動情報に基づいて画像処理装置の時間による撮像位置が決定され得る。
【００９４】
前述した通り、移動情報は時間別移動距離、全体の移動距離、移動速度／移動方向などに対する情報を含むことができる。基準点が原点であると仮定する場合、移動情報に基づいて時間別画像処理装置の位置、すなわち、画像処理装置の時間による撮像位置に対する情報である撮像位置情報が決定され得る。
【００９５】
画像処理装置が基準点（０、０、０）を基準に、０〜１秒のとき（ａ〜ａ’、０、０）地点、１〜２秒のとき（ｂ〜ｂ’、０、０）地点、２〜３秒のとき（ｃ〜ｃ’、０、０）地点に位置することができ、このような画像処理装置の位置に対する情報が撮像位置情報として決定され得る。説明の便宜上秒単位で設定したが、秒単位でない他の多様な単位で撮像位置情報が決定され得る。
【００９６】
画像処理装置によって３０ｆｐｓで撮像が遂行される場合、０〜１秒に撮像された３０個のフレームを含む第１フレームグループ７１０の場合、撮像位置情報（ａ〜ａ’、０、０）に対応し、１〜２秒に撮像された３０個のフレームを含む第２フレームグループ７２０の場合、撮像位置情報（ｂ〜ｂ’、０、０）に対応し、２〜３秒に撮像された３０個のフレームを含む第３フレームグループ７３０の場合、撮像位置情報（ｃ〜ｃ’、０、０）に対応することができる。
【００９７】
画像処理装置は移動時間に沿って画像撮像を遂行して時間別フレーム情報を生成することができる。同期化された時間情報に基づいて、（時間、撮像位置情報）と（時間、フレーム情報）とをマッチングさせて撮像位置情報とフレーム情報とがマッチングされ得る。サービスサーバーは同期化された時間情報に基づいて撮像位置情報とフレーム情報とをマッチングさせてユーザー提供画像を生成することができる。
【００９８】
図８は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【００９９】
図８では、重なる撮影領域を除去してユーザー提供画像を生成する方法が開示される。
【０１００】
図８を参照すると、画像処理装置の移動情報は基準点を基準に継続的に生成され得、移動情報に基づいて画像処理装置の移動経路が確認され得る。または室外測位方法／室内測位方法によっても画像処理装置の移動経路が確認され得る。
【０１０１】
売り場内で画像処理装置の移動経路は重なってもよく、移動経路が重なる場合、画像処理装置によって撮像されたフレームも重なり得る。サービスサーバーは移動情報を考慮して重なったフレーム８００を処理してユーザー提供画像を生成することができる。
【０１０２】
まず、サービスサーバーは撮像位置情報に基づいて重なった移動経路を抽出することができる。サービスサーバーは重なった移動経路上で撮像されたフレームを同じ領域に対する撮像された重なったフレーム８００と決定することができる。
【０１０３】
サービスサーバーは重なったフレーム８００のうち不要なフレームを削除することができる。
【０１０４】
例えば、サービスサーバーは画像処理装置が第１経路を２回移動した場合、第１経路に対する最初の移動時に撮像された第１フレームグループのみを残し、第１経路に対する２回目の移動時に撮像された第２フレームグループを削除してユーザー提供画像を生成することができる。または、サービスサーバーは、第１フレームグループと第２フレームグループのうち客体に対する画像撮像がより明確に遂行されたフレームグループを残したり、第１フレームグループと第２フレームグループを組み合わせて不要なフレームを削除してユーザー提供画像を生成してもよい。
【０１０５】
これだけでなく、サービスサーバーは移動経路が重なっていない場合にも、撮像されたフレームのうち不要なフレームに対する処理を通じてユーザー提供画像を生成することができる。
【０１０６】
図９は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１０７】
図９では、不要なフレームを除去してユーザー提供画像を生成する方法が開示される。
【０１０８】
図９を参照すると、画像処理装置によって撮像されたフレームのうち不要なフレームの除去を通じてユーザー提供画像が生成され得る。
【０１０９】
画像処理装置の特定の場所で留まる時間には差が存在し得る。例えば、画像処理装置がＡ地点９００で停止して２秒を留まった場合、２秒間同じ客体に対する撮像を遂行したフレームが生成され得る。
【０１１０】
ユーザー提供画像を生成するためには、Ａ地点９００で撮像されたフレームのうち不要なフレームに対する除去が必要である。
【０１１１】
サービスサーバーは、Ａ地点９００で撮像されて生成されたフレームのうち、ユーザー提供画像を生成するために必要なフレームを除いた残りのフレームを除去することができる。
【０１１２】
例えば、Ａ地点９００で２秒間１２０個のフレームが撮像された場合、１２０個のフレームのうち３０個のフレームを除いた残り９０個のフレームは、サービスサーバーによって不要なフレームと判断されて除去され得る。
【０１１３】
図１０は、本発明の実施例に係る画像処理装置の客体撮像方法を示した概念図である。
【０１１４】
図１０では、画像処理装置が周辺客体に対する判断に基づいて客体を撮像する方法が開示される。
【０１１５】
図１０を参照すると、サービスサーバーは画像処理装置によって撮像された画像情報に対する客体判断に基づいて客体を抽出し、抽出した客体に対する判断を通じて追加的な情報を獲得することができる。
【０１１６】
本発明の実施例によると、サービスサーバーはユーザー提供画像内の客体を抽出して客体に対する情報を判断して、ユーザー装置を通じてユーザーに客体情報に基づいたサービスを提供することができる。または、サービスサーバーはユーザー提供画像内の個別客体のそれぞれの客体情報として、客体付近に位置した客体と関連した客体関連情報（例えば、客体説明テキスト（またはカード、表示板、説明板）、客体関連ＱＲ（ｑｕｉｃｋ  ｒｅｓｐｏｎｓｅ）コードなど））を抽出することができる。サービスサーバーによって抽出された客体関連情報は画像分析を通じて商品情報とマッチングされ得る。
【０１１７】
例えば、サービスサーバーは客体関連情報として、オレンジ周辺に位置した「カリフォルニアオレンジ１個当りＸＸＸＸウォン」のようなテキストまたはオレンジ関連ＱＲコードに対するイメージ情報を抽出することができる。客体関連情報は客体関連情報の抽出位置と最も隣接した客体（または客体イメージ）とマッチングされ得る。
【０１１８】
その後、サービスサーバーは客体関連情報と対応する商品を決定することができる。サービスサーバーは客体関連情報と対応する特定の商品（例えば、オレンジ）に対する商品情報（価格、原産地、セールの有無など）を客体関連情報（および／または客体情報、客体関連情報）とマッチングさせて特定の商品に対する商品情報をユーザーに提供することができる。例えば、特定の商品（例えば、オレンジ）の客体関連情報（または客体イメージ情報）とマッチングされた商品情報がイメージ情報で表現されてユーザー提供画像上に出力され得る。
【０１１９】
このような客体情報、客体関連情報を提供するために、画像処理装置は客体、客体関連情報に対する画像を正確に撮像できなければならない。このような客体、客体関連情報に対する撮像のために、画像処理装置は画像情報を生成時に客体、客体関連情報に焦点を合わせて撮像を進行させなければならない。
【０１２０】
画像処理装置は、客体に対する撮像のために、背景と客体を分離し、客体に焦点を合わせて撮像することができる。
【０１２１】
または、画像処理装置は同じ位置で互いに異なる焦点を有する画像を撮像することができる。例えば、画像処理装置は特定の位置で、最も小さい焦点距離から無限大の焦点距離までに焦点距離を変化させて、互いに異なる焦点を有する複数の画像情報を生成することができる。サービスサーバーは複数の画像情報のうち、客体情報、客体関連情報が最も明確な画像を選択してユーザー提供画像を生成することができる。
【０１２２】
以下、本発明の実施例では売り場画像を生成するために使われる画像処理装置が例示的に開示される。下記に開示される画像処理装置は一つの例示であり、他の多様な形態の画像処理装置が売り場画像を生成するために活用され得る。
【０１２３】
図１１は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【０１２４】
図１１では全方位画像処理装置の構造が開示される。
【０１２５】
図１１を参照すると、全方位画像処理装置１１００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置１１００は、図１１に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置１１００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置１１００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。
【０１２６】
本発明の実施例では、説明の便宜上、全方位画像処理装置１１００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１１００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置１１００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。
【０１２７】
ユーザーは、ウェアラブル装置として具現された全方位画像処理装置１１００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。
【０１２８】
全方位画像処理装置１１００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置１１００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。
【０１２９】
例えば、全方位画像処理装置１１００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１１１０、第２画像撮像部１１２０、第３画像撮像部１１３０であり得る。
【０１３０】
以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１１００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１１００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。
【０１３１】
第１画像撮像部１１１０、第２画像撮像部１１２０及び第３画像撮像部１１３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部１１１１０によって第１画像が生成され、第２画像撮像部１１２０によって第２画像が生成され、第３画像撮像部１１３０によって第３画像が生成され得る。第１画像撮像部１１１０、第２画像撮像部１１２０、第３画像撮像部１１３０のそれぞれの画角は１２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置１１００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１１００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１１００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ            ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。
【０１３２】
以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
【０１３３】
図１２は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【０１３４】
図１２では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図２に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。
【０１３５】
図１２の上段では、全方位画像処理装置の後面部が開示される。
【０１３６】
全方位画像処理装置に含まれている第１画像撮像部１２１０及び第２画像撮像部１２２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部１２１０及び第２画像撮像部１２２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部１２１０及び第２画像撮像部１２２０が一定の距離上に位置することができる。
【０１３７】
第１画像撮像部１２１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部１２２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部１２１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部１２２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。
【０１３８】
第１画像撮像部１２１０及び第２画像撮像部１２２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域１２１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。
【０１３９】
図１２の下段では、全方位画像処理装置の前面部が開示される。
【０１４０】
全方位画像処理装置の前面部には第３画像撮像部１２３０が位置することができる。具体的には、第３画像撮像部１２３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部１２３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。
【０１４１】
第３画像撮像部１２３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。
【０１４２】
具体的には、第３画像撮像部１２３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部１２３０による撮像が行われる場合、第１画像撮像部１２１０の第１画角と第３画像撮像部１２３０の第３画角による第２重なり領域１２２５が発生し得る。第３画像撮像部１２３０による撮像が行われる場合、第２画像撮像部１２２０の第２画角と第３画像撮像部１２３０の第３画角による第３重なり領域１２３５が発生し得る。
【０１４３】
首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部１２１０、第２画像撮像部１２２０は、地面を基準に第３画像撮像部１２３０よりも相対的に高い所に位置し得る。また、第３画像撮像部１２３０は一方の末端部にのみ位置するようになる。
【０１４４】
既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域１２１５、第２重なり領域１２２５及び第３重なり領域１２３５の大きさ／形態が互いに異なり得る。
【０１４５】
この後、第１重なり領域１２１５／第２重なり領域１２２５／第３重なり領域１２３５を考慮した第１画像撮像部１２１０、第２画像撮像部１２２０及び第３画像撮像部１２３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。
【０１４６】
第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。
【０１４７】
図１３は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【０１４８】
図１３では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。
【０１４９】
既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。
【０１５０】
本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。
【０１５１】
図１３に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図１３に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。
【０１５２】
図１３の上段では、第１画像撮像部１３１０及び第２画像撮像部１３２０の撮像線が開示される。
【０１５３】
第１画像撮像部１３１０及び第２画像撮像部１３２０は、第３画像撮像部１３３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置で第１画像撮像部１３１０及び第２画像撮像部１３２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部１３３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。
【０１５４】
例えば、第１画像撮像部１３１０の第１撮像線１３１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０１５５】
第２画像撮像部１３２０の第２撮像線１３２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０１５６】
図１３の下段を参照すると、第３画像撮像部１３３０の第３撮像線１３３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部１３３０の第３撮像線１３３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。
【０１５７】
すなわち、第１撮像線１３１５及び第２撮像線１３２５はＹ軸を基準に同一の高さを有し、第３撮像線１３３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図３に示された第１撮像線１３１５、第２撮像線１３２５及び第３撮像線１３３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。
【０１５８】
図１４は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【０１５９】
図１４では、図１３とは異なる複数の画像撮像部の撮像線が開示される。同様に、図４においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。
【０１６０】
図１４の上段には、第１画像撮像部１４１０及び第２画像撮像部１４２０の撮像線が開示される。
【０１６１】
第１画像撮像部１４１０及び第２画像撮像部１４２０は、第３画像撮像部１４３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部１４１０及び第２画像撮像部１４２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部１４３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。
【０１６２】
例えば、第１画像撮像部１４１０の第１撮像線１４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０１６３】
第２画像撮像部１４２０の第２撮像線１４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０１６４】
図１４の下段には第３画像撮像部１４３０の撮像線が開示される。
【０１６５】
第３画像撮像部１４３０の第３撮像線１４３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０１６６】
第３画像撮像部１４３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。
【０１６７】
すなわち、第１撮像線１４１５と第２撮像線１４２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線１４３５は、Ｙ軸を基準に第１撮像線１４１５及び第２撮像線１４２５よりも相対的に低い位置に位置し得る。また、第１撮像線１４１５及び第２撮像線１４２５はＸＺ平面と平行であるが、第３撮像線１４３５はＸＺ平面と平行でなくてもよい。
【０１６８】
本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０１６９】
本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。
【０１７０】
すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。
【０１７１】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【０１７２】
以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。
【０１７３】
したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。
【図１】
2020519073.tif 000003
【図２】
2020519073.tif 000004
【図３】
2020519073.tif 000005
【図４】
2020519073.tif 000006
【図５】
2020519073.tif 000007
【図６】
2020519073.tif 000008
【図７】
2020519073.tif 000009
【図８】
2020519073.tif 000010
【図９】
2020519073.tif 000011
【図１０】
2020519073.tif 000012
【図１１】
2020519073.tif 000013
【図１２】
2020519073.tif 000014
【図１３】
2020519073.tif 000015
【図１４】
2020519073.tif 000016
【国際調査報告】
2020519073.tif 000017
2020519073.tif 000018
2020519073.tif 000019
2020519073.tif 000020