(57)【要約】本発明はストリートビューサービス方法およびこのような方法を遂行する装置に関する。ストリートビューサービス方法は、ストリートビューサービスサーバーが第１画像処理装置から第１経路に対する第１経路画像を受信する段階、前記ストリートビューサービスサーバーが前記第１経路画像に基づいて前記第１経路に対するストリートビューサービスのための第１ユーザー提供情報を生成する段階と前記ストリートビューサービスサーバーがユーザー装置に前記第１ユーザー提供情報を伝送する段階を含むことができる。【選択図】図１
2020532219.tif 000002
【特許請求の範囲】
【請求項１】
ストリートビューサービス方法は、
ストリートビューサービスサーバーが第１画像処理装置から第１経路に対する第１経路画像を受信する段階；
前記ストリートビューサービスサーバーが前記第１経路画像に基づいて前記第１経路に対するストリートビューサービスのための第１ユーザー提供情報を生成する段階；および
前記ストリートビューサービスサーバーがユーザー装置に前記第１ユーザー提供情報を伝送する段階を含むことを特徴とする、方法。
【請求項２】
前記第１ユーザー提供情報は第１ユーザー提供画像情報および第１制御情報を含み、
前記第１ユーザー提供画像情報は前記第１経路画像に対する画像後処理を通じて生成された前記ストリートビューサービスのための画像情報であり、
前記第１制御情報は前記ユーザー装置上で前記画像情報の制御のための情報であることを特徴とする、請求項１に記載の方法。
【請求項３】
前記第１画像処理装置は全方位画像を生成し、
前記第１画像処理装置はウェアラブル装置であることを特徴とする、請求項２に記載の方法。
【請求項４】
前記ストリートビューサービスサーバーが第２画像処理装置から前記第１経路に対する第２経路画像を受信する段階；
前記ストリートビューサービスサーバーが前記第１経路画像および前記第２経路画像に基づいて前記第１経路に対する前記ストリートビューサービスのための第２ユーザー提供情報を生成する段階；および
前記ストリートビューサービスサーバーがユーザー装置に前記第２ユーザー提供情報を伝送する段階をさらに含むことを特徴とする、請求項３に記載の方法。
【請求項５】
前記第２ユーザー提供情報は第２ユーザー提供画像情報を含み、
前記第２ユーザー提供画像情報は前記第１経路画像および前記第２経路画像に対する画像後処理を通じて生成された前記ストリートビューサービスのための画像情報であることを特徴とする、請求項４に記載の方法。
【請求項６】
ストリートビューサービスのためのストリートビューサービスサーバーは、
ユーザー装置とデータ通信のための通信部；および
前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、
前記プロセッサは第１画像処理装置から第１経路に対する第１経路画像を受信し、
前記第１経路画像に基づいて前記第１経路に対するストリートビューサービスのための第１ユーザー提供情報を生成し、
ユーザー装置に前記第１ユーザー提供情報を伝送するように具現されることを特徴とする、ストリートビューサービスサーバー。
【請求項７】
前記第１ユーザー提供情報は第１ユーザー提供画像情報および第１制御情報を含み、
前記第１ユーザー提供画像情報は前記第１経路画像に対する画像後処理を通じて生成された前記ストリートビューサービスのための画像情報であり、
前記第１制御情報は前記ユーザー装置上で前記画像情報の制御のための情報であることを特徴とする、請求項６に記載のストリートビューサービスサーバー。
【請求項８】
前記第１画像処理装置は全方位画像を生成し、
前記第１画像処理装置はウェアラブル装置であることを特徴とする、請求項７に記載のストリートビューサービスサーバー。
【請求項９】
前記プロセッサは第２画像処理装置から前記第１経路に対する第２経路画像を受信し、
前記第１経路画像および前記第２経路画像に基づいて前記第１経路に対する前記ストリートビューサービスのための第２ユーザー提供情報を生成し、
ユーザー装置に前記第２ユーザー提供情報を伝送するように具現されることを特徴とする、請求項８に記載のストリートビューサービスサーバー。
【請求項１０】
前記第２ユーザー提供情報は第２ユーザー提供画像情報を含み、
前記第２ユーザー提供画像情報は前記第１経路画像および前記第２経路画像に対する画像後処理を通じて生成された前記ストリートビューサービスのための画像情報であることを特徴とする、請求項９に記載の方法。
【請求項１１】
請求項１〜請求項５のいずれか一項に記載された方法を遂行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はストリートビューサービス方法およびこのような方法を遂行する装置に関する。より詳細には、ユーザーの画像撮像装置に基づいて生成された画像に対する後処理に基づいてストリートビューサービスを提供する方法および装置に関する。
【背景技術】
【０００２】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。
【０００３】
全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ  ｖｉｅｗ  ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ，  ３６０度カメラ）を用いて全方位画像を生成することができる。
【０００４】
全方位画像装置は多様な領域で活用され得る。例えば、防犯／セキュリティーのような全方位の画像に対する監視が必要な領域で活用されてもよく、旅行時に旅行者が訪問した場所に対する記録のために活用されてもよい。これだけでなく、全方位画像装置に基づいて撮影された全方位画像は編集されて商品の販売画像として活用されてもよく、ストリートビュー（ｓｔｒｅｅｔ  ｖｉｅｗ）サービスのような画像基盤地図サービスを提供するための画像としても活用され得る。
【０００５】
したがって、ユーザーが全方位画像処理装置に基づいて生成された全方位画像に対する多様な処理を通じて全方位画像を多様な分野で活用するための技術の開発が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は前述した問題点をすべて解決することをその目的とする。
【０００７】
また、本発明は、ユーザーの画像処理装置によって収集された画像（例えば、全方位画像）に対する後処理に基づいて動映像基盤のストリートビューサービスを提供することを他の目的とする。
【０００８】
また、本発明は、複数のユーザーのそれぞれの複数の画像処理装置のそれぞれによって生成された複数の画像に対する後処理を通じて、迅速な画像アップデートおよび多様な撮像時点のストリートビューを提供するストリートビューサービスを具現することを他の目的とする。
【０００９】
これだけでなく、本発明は、人が移動可能な多様な経路（例えば、車両が通過できない経路（階段、狭い路地など））に対するストリートビューを提供することをさらに他の目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するための本発明の代表的な構成は次の通りである。
【００１１】
本発明の一態様によると、ストリートビューサービス方法は、ストリートビューサービスサーバーが第１画像処理装置から第１経路に対する第１経路画像を受信する段階、前記ストリートビューサービスサーバーが前記第１経路画像に基づいて前記第１経路に対するストリートビューサービスのための第１ユーザー提供情報を生成する段階と前記ストリートビューサービスサーバーがユーザー装置に前記第１ユーザー提供情報を伝送する段階を含むことができる。
【００１２】
本発明の他の態様によると、ストリートビューサービスのためのストリートビューサービスサーバーは、ユーザー装置とデータ通信のための通信部；および前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、前記プロセッサは第１画像処理装置から第１経路に対する第１経路画像を受信し、前記第１経路画像に基づいて前記第１経路に対するストリートビューサービスのための第１ユーザー提供情報を生成し、ユーザー装置に前記第１ユーザー提供情報を伝送するように具現され得る。
【発明の効果】
【００１３】
本発明によると、ユーザーの画像処理装置によって収集された画像（例えば、全方位画像）に対する後処理に基づいて動映像基盤のストリートビューサービスが提供され得る。
【００１４】
また、本発明によると、複数のユーザーのそれぞれの複数の画像処理装置のそれぞれによって生成された複数の画像に対する後処理を通じて、迅速な画像アップデートおよび多様な撮像時点のストリートビューを提供するストリートビューサービスが具現され得る。
【００１５】
これだけでなく、本発明によると、人が移動可能な多様な経路（例えば、車両が通過できない経路（階段、狭い路地など））に対するストリートビューが提供され得る。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施例に係るストリートビューサービス提供システムを示した概念図である。
【図２】図２は、本発明の実施例に係る画像処理装置の画像処理方法を示した概念図である。
【図３】図３は、本発明の実施例に係るフレームグループを示した概念図である。
【図４】図４は、本発明の実施例に係るフレームグループを示した概念図である。
【図５】図５は、本発明の実施例に係る撮像位置情報決定方法を示した概念図である。
【図６】図６は、本発明の実施例に係るユーザー提供画像を生成する方法を示した概念図である。
【図７】図７は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図８】図８は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図９】図９は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図１０】図１０は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図１１】図１１は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図１２】図１２は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【図１３】図１３は、本発明の実施例に係るストリートビューサービス方法を示した概念図である。
【図１４】図１４は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【図１５】図１５は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【図１６】図１６は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【図１７】図１７は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【発明を実施するための形態】
【００１７】
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。
【００１８】
以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。
【００１９】
以下、本発明の実施例の画像処理装置は全方位画像処理装置を含むことができる。全方位画像処理装置は全方位画像（または３６０度画像）を撮像できる全方位カメラ（３６０度カメラ）を含むことができる。これだけでなく画像処理装置は全方位ではない特定画角の画像に対する撮像が可能な装置でもよい。
【００２０】
また、以下、本発明の実施例で開示される画像情報、動映像情報は全方位画像（または３６０度画像）を含むことができ、画像情報、動映像情報は全方位画像だけでなく一定の画角を有する画像を含んでもよい。
【００２１】
以下、本発明の実施例では説明の便宜上主に画像基盤サービスはストリートビューサービスであり得る。ストリートビューサービスは移動経路／道路周辺の画像情報を提供するサービスである。ユーザーはストリートビューサービスを通じて、まだ行ったことのない経路に対する画像情報の提供を受けることができる。また、ストリートビューは移動経路／道路周辺の画像情報だけでなく、移動経路上で移動可能な室内（例えば、ショッピングモール、コーヒーショップ）に対する画像も含む意味で解釈され得る。
【００２２】
図１は、本発明の実施例に係るストリートビューサービス提供システムを示した概念図である。
【００２３】
図１では、画像処理装置によって撮像された画像に基づいてストリートビューサービスを提供するためのストリートビューサービス提供システムが開示される。
【００２４】
ストリートビューサービス提供システムは画像処理装置１００、ストリートビューサービスサーバー１２０、ユーザー装置１４０を含むことができる。
【００２５】
画像処理装置１００はストリートビューサービスを提供するための経路画像を生成するために具現され得る。画像処理装置１００は経路に対する画像（例えば、経路および経路周辺に対する全方位画像）を生成するために具現され得る。例えば、画像処理装置１００は経路上で移動し、経路および経路周辺を撮像して経路画像を生成することができる。以下、経路画像は画像処理装置１００により経路上の特定の位置で撮像された全方位画像、全方位イメージの集合であり得る。
【００２６】
画像処理装置１００は経路を移動しながら経路画像を生成することができる。画像処理装置１００は経路画像が生成された現在の撮像位置を探知し、現在の撮像位置情報を生成することができる。例えば、画像処理装置１００は現在の撮像位置情報を探知し、撮像位置情報を生成するための位置情報生成モジュール（例えば、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）モジュール）を含むことができる。位置情報生成モジュールは現在の画像処理装置１００の撮像位置を探索して撮像位置情報を生成することができる。経路画像に対する情報と撮像位置情報は互いにマッチングされるか、経路画像に対する情報に撮像位置情報が含まれる形式のように一つの情報単位で生成され得る。
【００２７】
したがって、以降の画像後処理過程上で撮像位置情報を考慮して経路画像に対する画像後処理が遂行され得る。このような経路画像に対する画像後処理を通じてユーザーにストリートビューが提供され得る。経路画像に対する画像後処理に基づいてユーザーにストリートビューサービスを提供するための画像はユーザー提供画像という用語で表現され得る。
【００２８】
本発明の実施例によると、画像処理装置１００により生成された経路画像に含まれる複数のフレームのうち少なくとも一つのフレームのそれぞれに対して撮像位置情報が対応され得る。画像処理装置１００は時間当たり複数のフレームを生成することができ、複数のフレームのうち少なくとも一つのフレームのそれぞれに対して撮像位置情報が対応され得る。このような経路画像に含まれるフレームと撮像位置情報間の対応は、画像処理装置１００により直接遂行されてもよく、ストリートビューサービスサーバー１２０により遂行されてもよい。フレームと撮像位置情報間の対応および画像処理装置１００により生成された経路画像に対する後処理は後述される。
【００２９】
ストリートビューサービスサーバー１２０は、画像処理装置１００から受信した経路画像に対する情報および撮像位置情報に基づいて、ユーザー装置１４０にストリートビューサービスを提供することができる。
【００３０】
ストリートビューサービスは、地図上の特定経路で撮像された実際のイメージをユーザーのユーザー装置１４０を通じて提供するサービスであり得る。既存には停止イメージに基づいてストリートビューサービスが提供されていたが、本発明の実施例に係るストリートビューサービスでは特定経路上で撮像された動映像基盤の全方位画像が提供され得る。
【００３１】
ストリートビューサービスによってユーザー装置１４０に提供されるユーザー提供情報は、ユーザー提供画像情報およびユーザー装置１４０でユーザー入力情報によるストリートビューサービスを提供するための制御情報などを含むことができる。ユーザー提供画像情報は画像処理装置１００により撮像された経路画像に対する後処理を通じて生成された画像であって、ユーザー装置１４０にストリートビューサービスを提供するための後処理されたストリートビュー画像情報を含むことができる。
【００３２】
例えば、ストリートビューサービスサーバー１２０は画像処理装置１００から受信した経路画像に対する後処理を通じて、ユーザー装置１４０にストリートビューサービスを提供するためのユーザー提供情報を生成することができる。ユーザー提供情報は、ユーザー提供画像情報およびユーザー装置１４０でユーザーの入力情報によるストリートビューサービスの制御のための制御情報（例えば、移動制御情報、探索関連情報など）を含むことができる。
【００３３】
ストリートビューサービスサーバー１２０はフレームに対応する撮像位置情報に基づいて、画像処理装置１００から受信した経路画像で重なるか不要な部分を除外することができる。また、ストリートビューサービスサーバー１２０は、移動経路別経路画像に対する分割画像処理を通じてユーザー提供画像情報を生成することができる。
【００３４】
例えば、ストリートビューサービスサーバー１２０は画像処理装置１００により生成された画像のうち、重なって撮影された部分を除外してユーザー提供画像を生成することができる。重なって撮像された画像なのかどうかはフレームに対応する撮像位置情報に基づいて決定され得る。
【００３５】
また、ストリートビューサービスサーバー１２０は経路画像が撮像された撮像位置情報を考慮して、経路別に経路画像を分割して経路別ユーザー提供画像を生成することができる。例えば、分岐点で第１経路および第２経路に経路が分割される場合、第１経路に対する第１経路画像に基づいて第１経路に対するユーザー提供画像が生成され、第２経路に対する第２経路画像に基づいて第２経路に対するユーザー提供画像が生成され得る。
【００３６】
また、ストリートビューサービスサーバー１２０はユーザー提供画像上でユーザーの仮想移動のための制御情報を生成することができる。
【００３７】
例えば、ユーザーがストリートビューサービスの提供を受ける場合、ユーザー装置１４０を通じてユーザー提供画像（またはストリートビュー画像）が提供され得、ユーザー入力情報によりユーザー提供画像が変化してユーザーが経路上を実際に移動するような視覚的な感覚を提供することができる。ストリートビューサービスサーバー１２０はユーザー提供画像内に存在する経路を判断し、経路上でユーザーインターフェース（移動）を出力するための制御情報を生成することができる。
【００３８】
さらに他の例として、ストリートビューサービスサーバー１２０はユーザー提供画像内に存在する経路を判断し、経路の分岐点上でユーザーインターフェース（移動）を出力するための制御情報を生成することができる。
【００３９】
また、ストリートビューサービスサーバー１２０は、ユーザーインターフェース（移動）を通じての入力情報を考慮してユーザー提供画像をマッチングするための制御情報を生成することができる。例えば、ストリートビューサービスサーバー１２０は、ユーザー提供画像内の分岐点でユーザーインターフェース（移動）を出力しユーザーインターフェース（移動）を通じてユーザー入力情報を受信し、ユーザー入力情報によりユーザーにユーザー提供画像を提供するための制御情報を生成することができる。制御情報はユーザー入力情報によって指示される移動方向に対応するユーザー提供画像を提供するための情報であり得る。制御情報に基づいてユーザー装置１４０を通じて指示された移動方向に対するユーザー提供画像が提供され、ユーザーは経路上を仮想に動くことができる。
【００４０】
ストリートビューサービスサーバー１２０は、一度にユーザー装置１４０にユーザー提供画像および／または制御情報を提供することもでき、ユーザー装置１４０上でユーザー提供画像情報および制御情報によりストリートビューサービスが遂行され得る。
【００４１】
ストリートビューサービスサーバー１２０はユーザー装置１４０からユーザー提供画像要請情報を受信し、ユーザー装置１４０に要請されたユーザー提供画像および／または要請されたユーザー提供画像に基づいてストリートビューサービスを提供するための制御情報を提供してもよい。ユーザー提供画像要請情報はユーザーインターフェースを通じて入力されるユーザー入力情報に基づいて生成され得る。またはストリートビューサービスサーバー１２０はユーザー装置１４０からユーザーインターフェース（移動）を通じてユーザー入力情報を受信し、ユーザー入力情報を基準として一定時間内にユーザーに要請され得るユーザー提供画像を提供してもよい。例えば、ストリートビューサービスサーバー１２０は、ユーザーの現在位置を基準として臨界移動距離内に該当するユーザー提供画像をユーザー装置１４０に提供することができる。またはユーザー装置１４０がユーザーインターフェース（移動）を通じて第１方向にのみ移動した場合、第１方向を基準として臨界移動距離内に該当するユーザー提供画像がユーザー装置１４０に提供され得る。
【００４２】
ストリートビューサービスサーバー１２０は、画像処理装置１００およびユーザー装置１４０とデータ通信のための通信部を含み、通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むことができる。以下、本発明の実施例で開示されたストリートビューサービスサーバー１２０の動作はプロセッサに基づいて遂行され得る。
【００４３】
ユーザー装置１４０はストリートビューサービスサーバー１２０からユーザー提供情報を受信して、ストリートビューサービスをユーザーに提供することができる。前述した通り、ユーザー提供情報はユーザー提供画像情報および制御情報を含むことができる。
【００４４】
例えば、ユーザー装置１４０はユーザー提供情報に基づいてユーザー提供画像を出力することができる。また、制御情報に基づいてユーザー装置１４０を通じて提供されるユーザー提供画像上にユーザーインターフェース（移動）が出力され、ユーザーインターフェース（移動）を通じて入力される情報に基づいてユーザー装置１４０を通じて提供されるユーザー提供画像が変化され得る。
【００４５】
例えば、ユーザー装置１４０は全方位ＶＲ（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）／ＡＲ（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）基盤のストリートビュー画像を出力することができ、ユーザーの動きを認識できる装置であり得る。ユーザー装置１４０はＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）であり得、ユーザーの手の動きをユーザー入力情報として解釈して受信することができる。またはユーザー装置１４０はスマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）のような装置でもよく、タッチ／キー基盤のユーザー入力信号を受信してストリートビュー画像を出力してもよい。
【００４６】
具体的には、ユーザーはユーザー装置１４０を通じて提供されるユーザー提供画像上で、ユーザーインターフェース（移動）を通じて移動しようとする方向を選択して経路上で仮想に移動することができる。例えば、ユーザー提供画像は分岐点でユーザーインターフェース（移動）を出力することができる。ユーザーインターフェース（移動）に含まれる移動しようとする方向を指示するアイコン（またはイメージ）がユーザーの手によって選択され得る。ユーザー装置１４０は手の動きをユーザー入力情報として認識し、ユーザー入力情報に対応するユーザー提供画像がユーザーに提供され得る。
【００４７】
またはユーザー装置１４０はユーザーの他の身体部位の動きをユーザー入力情報として認識し、移動制御情報に基づいてユーザーによって選択された特定方向に対応するユーザー提供画像がユーザー装置１４０を通じてユーザーに提供され得る。
【００４８】
画像処理装置は全方位に対する動映像情報を生成可能な装置であり得、本発明の実施例に係るストリートビューサービスサーバーは、複数のユーザーのそれぞれの複数の画像処理装置のそれぞれによって生成された複数の画像に対する後処理を通じて、迅速な画像アップデートおよび多様な撮像時点のストリートビューを提供する動映像基盤のストリートビューサービスを提供することができる。
【００４９】
これだけでなく、本発明の実施例によると画像処理装置はウェアラブル装置であり、画像処理装置を着用した人が移動可能な多様な経路（例えば、車両が通過できない経路（階段、狭い路地など））に対するストリートビューを撮像することができる。すなわち、既存の車両を通じて収集されたイメージに基づいてストリートビューサービスを提供するのとは異なり、人が移動可能な経路に対してストリートビューサービスが提供可能となり得る。
【００５０】
図２は、本発明の実施例に係る画像処理装置の画像処理方法を示した概念図である。
【００５１】
図２では、画像処理装置２００により生成される経路画像に対する情報（または動映像情報、全方位画像情報、３６０度画像情報）（または画像情報）に含まれる複数のフレーム（ｆｒａｍｅ）（またはピクチャー（ｐｉｃｔｕｒｅ））に対応する撮像位置情報を決定するための方法が開示される。
【００５２】
画像処理装置２００は特定の時間単位（例えば、１秒）に複数個のフレームを撮像して経路画像に対する情報を生成することができる。例えば、画像処理装置２００は６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）、３０ｆｐｓ、２４ｆｐｓのように、一定時間（例えば、秒）当たり複数個のフレームを撮像して経路画像に対する情報を生成することができる。
【００５３】
本発明の実施例によると、複数個のフレームのうち少なくとも一つのフレームに対応する情報として、フレームを撮像した位置に対する撮像位置情報（またはジオタグ（ｇｅｏ  ｔａｇ）情報）が決定され得る。すなわち、画像処理装置２００により生成されるすべてのフレームまたはあらかじめ設定されたフレームに対応する情報として撮像位置情報が生成され得る。
【００５４】
画像処理装置２００は室内または室外で経路画像を撮像することができる。画像処理装置２００（または別途の外部装置）は室内または室外で撮像位置情報を獲得することができ、獲得された撮像位置情報は経路画像を構成する複数のフレームのうち少なくとも一つのフレームに対応され得る。
【００５５】
撮像位置情報はフレームに対するパラメータ情報であって、経路画像に対する情報（動映像ビットストリーム）の伝送単位（または伝送フォーマット）に含まれてストリートビューサービスサーバーで処理され得る。撮像位置情報はフレームのパラメータ情報として含まれてフレームに対する情報を含む経路画像に対する情報とともに伝送されてもよい。具体的には、撮像位置情報に対する第１情報単位、フレーム情報を含む第２情報単位が一つの動映像ビットストリームを構成することができる。
【００５６】
または撮像位置情報は別途の外部装置によって生成されてすぐにストリートビューサービスサーバーに伝送されてもよく、ストリートビューサービスサーバーで画像処理装置２００により伝送された経路画像に対する情報を構成する複数のフレーム情報と結合されてもよい。
【００５７】
または撮像位置情報は経路画像に対する情報と分離された個別的な情報フォーマット（または伝送単位）で生成されてもよい。例えば、撮像位置情報はフレーム撮像時間情報と対応して別途の情報フォーマットで生成され、経路画像に対する情報はフレームに対する情報およびフレームに対応するフレーム撮像時間情報を含むことができる。撮像位置情報は（時間情報、撮像位置情報）を含み、経路画像に対する情報は（時間情報、フレーム情報）を含み、同期化された時間情報を基準として撮像位置情報とフレーム情報がマッチングされフレームを撮像した撮像位置情報が獲得され得る。
【００５８】
図３は、本発明の実施例に係るフレームグループを示した概念図である。
【００５９】
図３では、複数のフレームを含むフレームグループが開示される。フレームグループは複数のフレームを含む集合であり得る。図３では、フレームグループに含まれる複数のフレームのそれぞれに対応する撮像位置情報が生成される場合が仮定される。
【００６０】
フレームグループに含まれる複数のフレームのそれぞれに対応する撮像位置情報が生成され得る。撮像位置情報はフレームを撮像した撮像位置に対する情報であり得る。撮像位置情報は画像処理装置によって生成されてもよく、別途の外部装置によって生成されてもよい。
【００６１】
図３の上段を参照すると、同一の時間資源上で撮像位置情報の個数と秒当たりフレームの個数（例えば、３０ｆｐｓ）を合わせて複数のフレームのそれぞれに対する撮像位置情報が生成され得る。例えば、１秒に３０回の間隔で撮像位置情報が探知されて生成され、３０ｆｐｓで生成される複数のフレームのそれぞれに対応する撮像位置情報が対応され得る。
【００６２】
図３の中段を参照すると、同一の時間資源上で撮像位置情報の個数が秒当たりフレームの個数より多い場合、撮像位置情報のうち一部は無視され、フレームと時間的に最も隣接して対応する撮像位置情報が該当フレームに対する撮像位置情報として決定され得る。例えば、１／３０秒に生成された第１撮像位置情報と１／２５秒に生成された第２撮像位置情報が存在する場合、１／３０秒に生成されたフレームに対する撮像位置情報は第１撮像位置情報であり得る。
【００６３】
図３の下段を参照すると、同一の時間資源上で撮像位置情報の個数が秒当たりフレームの数より少ない場合、撮像位置情報に基づいて予測撮像位置情報が決定され、予測撮像位置情報がフレームに対する撮像位置情報として決定され得る。
【００６４】
例えば、第１フレーム３１０の撮像時に受信された撮像位置情報が第１撮像位置情報３１５であり、その後に第５フレーム３５０の撮像時に受信された撮像位置情報が第２撮像位置情報３２５であり得る。
【００６５】
第１フレーム３１０と第５フレーム３５０の間で撮像された第２フレーム、第３フレーム、第４フレームに対する撮像位置情報は第１撮像位置情報３１５として決定されたり、第１撮像位置情報３１５および第２撮像位置情報３２５に基づいて決定され得る。第１撮像位置情報３１５により指示される第１位置と第２撮像位置情報３２５により指示される第２位置を直線に連結したり地図上の経路情報などを考慮してユーザー移動経路が設定され得る。
【００６６】
第１位置と第２位置の間のユーザー移動経路が分割され、分割された第１予測撮像位置３６０、第２予測撮像位置３７０および第３予測撮像位置３８０のそれぞれが第２フレーム、第３フレーム、第４フレームに対する撮像位置情報として決定され得る。例えば、第１位置と第２位置の間のユーザー移動経路が等間隔に分割され、ユーザー移動経路を等間隔に分割した第１予測撮像位置３６０、第２予測撮像位置３７０および第３予測撮像位置３８０のそれぞれが決定され得る。画像処理装置の移動速度を考慮して、第１位置と第２位置の間のユーザー移動経路が等間隔に分割されなくてもよい。
【００６７】
決定された第１予測撮像位置３６０は第２フレームに対する撮像位置情報、第２予測撮像位置３７０は第３フレームに対する撮像位置情報、第３予測撮像位置３８０は第４フレームに対する撮像位置情報として決定され得る。
【００６８】
ストリートビューサービスサーバーは撮像位置情報およびフレーム情報を受信して、撮像位置情報およびフレーム情報に基づいてユーザー提供画像を生成することができる。
【００６９】
図４は、本発明の実施例に係るフレームグループを示した概念図である。
【００７０】
図４では複数のフレームを含むフレームグループが開示される。フレームグループは複数のフレームを含む集合であり得る。図４では、フレームグループに含まれる複数のフレームのうち一部のフレームにのみ撮像位置情報が対応する場合が仮定される。
【００７１】
図４を参照すると、複数個のフレームのうち一部のフレームにのみ対応する撮像位置情報が存在する場合、撮像位置情報と対応するフレームは撮像位置情報フレーム４００という用語で表現され得る。
【００７２】
例えば、画像処理装置が３０ｆｐｓであり、１秒に２回撮像位置情報が生成される場合、１秒に生成された３０個のフレームのうち２個のフレームが撮像位置情報フレーム４００であり得、２個の撮像位置情報フレーム４００のそれぞれに生成された２個の撮像位置情報が対応され得る。
【００７３】
複数のフレームのうち撮像位置情報フレーム４００が指示され得る。サービスサーバーは撮像位置情報フレーム４００に対する指示情報に基づいて撮像位置情報を獲得してユーザー提供画像を生成することができる。
【００７４】
または画像処理装置はあらかじめフレームグループに含まれる複数のフレームのうち一部のフレームを撮像位置情報フレーム４００としてあらかじめ設定することができる。例えば、フレームグループに１０個のフレームが含まれる場合、１０個のフレーム（第１フレーム〜第１０フレーム）のうち第１フレーム４１０および第６フレーム４６０が撮像位置情報フレーム４００として設定され得る。複数のフレームのうち撮像位置情報フレーム４００が指示され得る。サービスサーバーは撮像位置情報フレーム４００に対する指示情報に基づいて、撮像位置情報、撮像位置情報フレーム４００および撮像位置情報が対応されない残りのフレームに基づいてユーザー提供画像を生成することができる。具体的には、ユーザー提供画像の生成のために、撮像位置情報フレームに対する指示情報に基づいて撮像位置情報フレームが決定され、撮像位置情報フレームに対応する撮像位置情報に基づいて画像後処理を通じてユーザー提供画像が生成され得る。
【００７５】
図５は、本発明の実施例に係る撮像位置情報決定方法を示した概念図である。
【００７６】
図５では画像を撮像する画像処理装置の撮像位置情報を決定するための方法が開示される。
【００７７】
図５を参照すると、画像処理装置はＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）のような位置側位モジュールを含むことができ、ＧＰＳのような位置側位モジュールに基づいて現在の撮像位置情報が生成され得る。
【００７８】
位置側位モジュールに位置信号（例えば、ＧＰＳ信号）が正確に受信される場合、画像処理装置は位置信号を受信することができ、位置信号に基づいて現在の撮像位置情報が確認され得る。
【００７９】
また、本発明の実施例によると、位置側位モジュールに基づいて現在位置情報に対する確認が不可能な場合、撮像位置情報を生成するために画像処理装置（またはユーザー）の移動情報も考慮され得る。
【００８０】
移動情報は時間別移動距離、全体移動距離、移動速度／移動方向、移動時間などのような画像処理装置の移動に関連した情報を含むことができる。
【００８１】
画像処理装置への位置信号（またはＧＰＳ信号）の受信が切れた場合、移動情報を考慮して撮像位置情報が決定され得る。
【００８２】
例えば、第１地域５１０は位置信号受信可能地域であり、第２地域５２０は位置信号受信不可能地域であり得る。画像処理装置が第１地域５１０から第２地域５２０に移動する場合、位置信号の受信が不可能であり得る。位置信号受信が不可能な第２地域５２０で移動情報が生成され、移動情報により撮像位置情報が決定され得る。
【００８３】
位置信号の受信が臨界時間の間不可能な場合、画像処理装置は移動情報を生成することができる。位置信号に基づいて撮像位置情報を決定する動作モードが第１モードであり、移動情報に基づいて撮像位置情報を決定する動作モードが第２モードであると仮定すると、画像処理装置は第１モードから第２モードにモードを切り替えて撮像位置情報を決定することができる。
【００８４】
例えば、画像処理装置を着用したユーザーが第１地域５１０から第２地域５２０に移動する場合が仮定され得る。第１地域５１０では撮像位置情報が位置信号に基づいて決定され得る。画像処理装置が第１地域５１０から第２地域５２０に移動する場合、位置信号の受信ができなくなり得る。位置信号の受信が不可である地点が基準点５５０と設定され、基準点５５０を基準として移動情報を考慮して撮像位置情報が決定され得る。
【００８５】
具体的には、位置信号が受信されない場合、最終位置信号受信時点に対して基準点５５０が設定され、基準点５５０を基準として移動する画像処理装置の移動情報を考慮して撮像位置情報が決定され得る。例えば、基準点５５０を基準として第１経路５６０、第２経路５７０を移動すると仮定すると、画像処理装置の第１経路５６０上の移動情報（移動方向、移動速度、移動距離、全体移動距離、移動時間など）に基づいて、基準点５５０を基準として第１経路５６０上の画像処理装置の撮像位置情報が決定され得る。また、画像処理装置の第２経路５７０上の移動情報（移動方向、移動速度、移動距離、全体移動距離、移動時間など）に基づいて、基準点５５０を基準として第２経路５７０上の画像処理装置の撮像位置情報が決定され得る。
【００８６】
具体的には、画像処理装置が第１経路５６０を移動する場合、移動方向（東側方向）に移動時間別移動距離が決定され得、移動方向、移動時間別移動距離により基準点を基準とした移動時間別撮像位置情報が決定され得る。同様に画像処理装置が第２経路５７０を移動する場合、移動方向（北側方向）に移動時間別移動距離が決定され得、移動方向、移動時間別移動距離により基準点を基準とした移動時間別撮像位置情報が決定され得る。
【００８７】
すなわち、基準点５５０および第１経路５６０上の移動情報、第２経路５７０上の移動情報に基づいて画像処理装置の動線が決定され得る。基準点５５０を原点として画像処理装置の動線が座標平面（例えば、３次元座標）上で決定され得る。
【００８８】
前述した通り、撮像位置情報は画像処理装置によって撮像された画像（またはフレーム）とマッチングされ得、ユーザーインターフェース（移動）とマッチングされてユーザー提供画像を提供することができる。ストリートビューサービスサーバーは第１経路５６０上の移動情報、第２経路５７０上の移動情報を受信し、ユーザーがユーザー提供画像上で第１経路５６０〜第２経路５７０上で移動することができるようにユーザーインターフェース（移動）を提供することができる。
【００８９】
また、ストリートビューサービスサーバーは、経路上で移動情報に基づいて決定された撮像位置情報と撮像されたフレームをマッチングさせてユーザー提供画像を生成することができる。移動情報を基盤とした撮像位置情報とフレーム間のマッチングは具体的に後述される。
【００９０】
このような方法を通じて、室外だけでなく、室内の画像を提供することもできる。例えば、画像処理装置が外部で歩き回ってから室内ショッピングモールに移動した場合、室内ショッピングモール内で移動情報によりユーザーインターフェース（移動）が提供され、室内ショッピングモール内部に対する画像情報もユーザー提供画像として提供され得る。すなわち、ストリートビューサービスの提供を受けるユーザーは、街を歩いて特定ショッピングモールや店の内部に対する画像もストリートビューとして提供され得る。すなわち、本発明の実施例に係るストリートビューは外部の経路周辺の画像だけでなく、経路と連結される室内空間に対する画像も含むことができる。
【００９１】
移動情報は移動する高さに対する情報も含むことができ、ユーザーが室内でエスカレータ、エレベーターに乗って行く場合にもユーザーの位置が３次元座標上で判断され得る。
【００９２】
図６は、本発明の実施例に係るユーザー提供画像を生成する方法を示した概念図である。
【００９３】
図６では移動情報に基づいて決定された撮像位置情報とフレーム間のマッチング方法が開示される。
【００９４】
図６を参照すると、図５のように移動情報が決定される場合、移動情報に基づいて撮像位置情報が決定され得る。すなわち、移動情報に基づいて画像処理装置の時間による撮像位置が決定され得る。
【００９５】
前述した通り、移動情報は時間別移動距離、全体移動距離、移動速度／移動方向などに対する情報を含むことができる。基準点が原点であると仮定する場合、移動情報に基づいて時間別画像処理装置の位置、すなわち、画像処理装置の時間による撮像位置に対する情報である撮像位置情報が決定され得る。
【００９６】
画像処理装置が基準点（０、０、０）を基準として０〜１秒であるとき（ａ〜ａ’、０、０）地点、１〜２秒であるとき（ｂ〜ｂ’、０、０）地点、２〜３秒であるとき（ｃ〜ｃ’、０、０）地点に位置することができ、このような画像処理装置の位置に対する情報が撮像位置情報として決定され得る。説明の便宜上秒単位に設定したが、秒単位ではなく他の多様な単位で撮像位置情報が決定され得る。
【００９７】
画像処理装置によって３０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）で撮像が遂行される場合、０〜１秒に撮像された３０個のフレームを含む第１フレームグループ６１０の場合、撮像位置情報（ａ〜ａ’、０、０）に対応され、１〜２秒に撮像された３０個のフレームを含む第２フレームグループ６２０の場合、撮像位置情報（ｂ〜ｂ’、０、０）に対応され、２〜３秒に撮像された３０個のフレームを含む第３フレームグループ６３０の場合、撮像位置情報（ｃ〜ｃ’、０、０）に対応され得る。
【００９８】
画像処理装置は移動時間により画像撮像を遂行して時間別フレーム情報を生成することができる。同期化された時間情報に基づいて（時間、撮像位置情報）と（時間、フレーム情報）をマッチングさせて撮像位置情報とフレーム情報がマッチングされ得る。ストリートビューサービスサーバーは、同期化された時間情報に基づいて撮像位置情報とフレーム情報をマッチングさせてユーザー提供画像を生成することができる。
【００９９】
図７は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１００】
図７では経路画像情報に対する画像後処理を通じてユーザー提供画像を生成する方法が開示される。
【０１０１】
本発明の実施例に係るストリートビューサービスは、複数のユーザーが直接画像処理装置を使って撮像した経路画像に基づいて提供され得る。例えば、画像処理装置はウェアラブル装置であり得、画像処理装置を着用した複数のユーザーのそれぞれが特定経路を移動し、複数の画像処理装置のそれぞれが経路周辺に対する経路画像を生成することができる。
【０１０２】
ストリートビューサービスサーバーは特定経路に対して一つの経路画像７２０のみが存在する場合、一つの経路画像（例えば、一つの全方位画像）７２０に対する画像後処理を通じて経路に対するユーザー提供画像７５０を生成することができる。ストリートビューサービスサーバーは一つの経路画像７２０を分析し、一つの経路画像７２０で不要なフレームを除去してユーザー提供画像７５０を生成することができる。また、ストリートビューサービスサーバーはユーザー提供画像７５０を生成するために、経路画像に対する後処理を遂行して制御情報を生成することができる。
【０１０３】
ストリートビューサービスサーバーは、同一経路に対して複数の画像処理装置から受信した複数の経路画像（例えば、複数の全方位画像）７４０が存在する場合、複数の経路画像７４０に対する画像後処理を通じて経路に対するユーザー提供画像７５０を生成することができる。ストリートビューサービスサーバーは複数の経路画像７４０を分析し、複数の経路画像７４０のうちユーザー提供画像７５０を生成するための少なくとも一つの選択経路画像を決定し、選択経路画像で不要なフレームを除去することができる。また、ストリートビューサービスサーバーはユーザー提供画像７５０を生成するために、選択経路画像に対する後処理を遂行して制御情報を生成することができる。具体的には、ストリートビューサービスサーバーは経路画像に対して、ユーザーが実際の経路を移動する感じを有することができるように経路画像に対する後処理を遂行することができる。
【０１０４】
図８は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１０５】
図８では経路画像に対する画像後処理を通じて経路に対するユーザー提供画像を生成するための方法が開示される。特に、ユーザー提供画像を生成するために不要なフレームを除去するための方法が開示される。
【０１０６】
図８を参照すると、経路画像はウェアラブル基盤の画像処理装置を着用したユーザーによって撮像された画像であり得る。
【０１０７】
ストリートビューサービスサーバーはユーザー提供画像を提供するために、経路画像（または選択経路画像）に含まれる複数のフレームのうち不要なフレームに対する削除を遂行することができる。
【０１０８】
画像処理装置が特定の位置に継続的に留まる場合、画像処理装置は同じ領域を撮像することができ、同じ領域に対する撮像は不要なフレームを生成させ得る。例えば、画像処理装置がＡ地点８００で停止して２秒を留まった場合、２秒間同じオブジェクトに対する撮像を遂行したフレームが生成され得る。
【０１０９】
ユーザー提供画像を生成するためには、Ａ地点８００で撮像されたフレームのうち不要なフレームに対する除去が必要である。
【０１１０】
サービスサーバーはＡ地点８００で撮像されて生成されたフレームのうち、ユーザー提供画像を生成するために必要なフレームを除いた残りのフレームを除去することができる。
【０１１１】
例えば、Ａ地点８００で２秒間１２０個のフレームが撮像された場合、１２０個のフレームのうち３０個のフレームを除いた残り９０個のフレームはサービスサーバーによって不要なフレームと判断されて除去され得る。
【０１１２】
図９は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１１３】
図９では一つの経路画像（例えば、一つの全方位画像）に対する画像後処理を通じて経路に対するユーザー提供画像を生成するための方法が開示される。
【０１１４】
図９を参照すると、ストリートビューサービスサーバーはユーザーの経路を分析して経路画像に対する後処理を遂行することができる。
【０１１５】
ストリートビューサービスサーバーは画像処理装置によって撮像された経路画像に対する分析を遂行することができる。第１経路上で画像処理装置が動く状況が仮定され得る。画像処理装置はウェアラブル装置であり、ユーザーによって着用され得る。画像処理装置が第１経路上で、第１経路の中心から移動せずに第１経路の中心から外れて移動しながら経路画像を生成することができる。
【０１１６】
したがって、ストリートビューサービスの提供を受けるユーザーに経路中心９００で撮像されたような経路中心画像を提供するための経路画像に対する後処理が必要である。経路中心画像はストリートビューサービスの提供を受けるユーザーに一定の移動方向（または移動経路）を基準としたユーザー提供画像（またはストリートビュー画像）を提供することができる。
【０１１７】
すなわち、画像処理装置が第１経路上で経路中心９００を移動しなかった場合にも、ストリートビューサービスサーバーは撮像された経路画像に対する画像後処理に基づいて経路中心画像を生成することができる。ストリートビューサービスサーバーは、ストリートビューサービスを提供時に経路中心画像をユーザーに提供し、ユーザーインターフェース（移動）は経路中心画像に位置してユーザー信号の入力を受けることができる。
【０１１８】
経路画像に対する画像後処理に基づいて経路中心画像を生成するために、ストリートビューサービスサーバーは経路画像のうち基準経路画像を決定することができる。基準経路画像は経路中心を基準とした臨界範囲内で撮像された画像であって、経路中心画像を生成するための基準として活用される画像であり得る。経路画像のうち基準経路画像を除いた経路画像は、参照経路画像という用語で表現され得る。ストリートビューサービスサーバーは基準経路画像を基準として経路中心画像を生成するものの、参照経路画像を参照することができる。
【０１１９】
ストリートビューサービスサーバーは経路画像に含まれた経路に対する情報に基づいて経路中心を設定することができる。経路画像内にユーザーが通過する道に対する画像情報が含まれ得、ストリートビューサービスサーバーは道に対する画像情報を基準として経路中心９００を設定することができる。ユーザーが通過する経路が５ｍ幅の道である場合、幅の中央を基準とした臨界距離の領域が経路中心９００と設定され得る。すなわち、ストリートビューサービスサーバーは経路画像内でユーザーが通過できる経路の中心を判断して、経路の中心を基準として臨界距離領域までを経路中心９００として設定することができる。
【０１２０】
ストリートビューサービスサーバーは経路中心９００を決定するために学習を遂行することができる。ストリートビューサービスサーバーは多様な経路および多様な経路の中心点に対する情報を含む情報を受信して、機械学習を通じて経路中心９００に対する判断基準を獲得することができる。
【０１２１】
ストリートビューサービスサーバーは、経路中心９００で撮像された経路画像は基準経路画像として決定し、経路中心から外れて撮像された経路画像は参照経路画像として決定することができる。ストリートビューサービスは基準経路画像が撮像された位置では基準経路画像に基づいてユーザー提供画像を生成することができる。その反対に、ストリートビューサービスは参照経路画像が撮像された位置では基準経路画像および参照経路画像に基づいてユーザー提供画像を生成することができる。
【０１２２】
経路中心で経路画像の撮像の有無を考慮して第１経路は少なくとも一つの下位経路に分割され得る。第１経路は基準経路画像が撮像された基準下位経路と参照経路画像が撮像された参照下位経路に区分され得る。第１経路は第１基準下位経路９１０、第１参照下位経路９１５、第２基準下位経路９２０、第２参照下位経路９２５、第３基準下位経路９３０のような下位経路に分割され得る。第１基準下位経路９１０上で第１基準経路画像が撮像され、第２基準下位経路９２０上で第２基準経路画像が撮像され、第３基準下位経路９３０上で第３基準経路画像が撮像され得る。第１参照下位経路９１５上で第１参照経路画像が撮像され、第２参照下位経路９２５上で第２基準経路画像が撮像され得る。
【０１２３】
基準下位経路および参照下位経路に基づいてユーザー提供画像を生成するための具体的な方法が開示される。
【０１２４】
図１０は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１２５】
図１０では一つの経路画像（例えば、一つの全方位画像）に対する画像後処理を通じて経路に対するユーザー提供画像を生成するための方法が開示される。
【０１２６】
図１０を参照すると、基準下位経路（例えば、第１基準下位経路、第２基準下位経路および第３基準下位経路）１０００では基準経路画像（例えば、第１基準経路画像、第２基準経路画像および第３基準経路画像）１０１０を基盤としてユーザー提供画像１０２０が生成され得る。基準経路画像１０１０は経路中心で撮像された画像であるので、不要なフレームを除去してユーザー提供画像１０２０を生成することができる。不要なフレームの除去は基準経路画像１０１０および参照経路画像１０４０の決定前に遂行されてもよい。
【０１２７】
参照下位経路（例えば、第１参照下位経路および第２参照下位経路）１０３０では参照経路画像（例えば、第１参照経路画像および参照経路画像２）１０４０および／または隣接した位置の基準経路画像（例えば、第１基準経路画像、第２基準経路画像および第３基準経路画像）１０１０を基盤としてユーザー提供画像１０２０が生成され得る。
【０１２８】
第１参照下位経路で撮像された第１参照経路画像に対する画像後処理なしにユーザー提供画像を生成する場合、ユーザーに経路中心を基準とした画像を提供することができない。したがって、第１参照経路画像および第１参照経路画像に隣接して撮像された第１基準経路画像および／または第２基準経路画像に対する組み合わせを通じて第１参照下位経路に対するユーザー提供画像１０２０が生成され得る。
【０１２９】
第１参照下位経路上で第１参照経路画像および第１基準経路画像および／または第２基準経路画像に対する組み合わせに基づいて、経路情報１０６０と経路周辺情報１０７０を生成し、経路情報１０６０と経路周辺情報１０７０を合わせてユーザー提供画像１０２０が生成され得る。経路情報１０６０は経路に対する画像情報であり得、経路周辺情報１０７０は経路を基準とした経路周辺に対する画像情報であり得る。ストリートビューサービスサーバーは経路に対する機械学習に基づいて受信した経路画像上で経路に該当する部分を決定することができ、経路の部分に該当する画像を抽出して経路情報１０６０として決定することができる。また、ストリートビューサービスサーバーは経路を除いた部分を経路周辺情報１０７０として決定することができる。経路情報１０６０は経路イメージおよび経路イメージが生成された位置情報を含むことができる。経路周辺情報１０７０は経路周辺イメージおよび経路周辺イメージが生成された位置情報を含むことができる。
【０１３０】
具体的には、第１参照下位経路の経路情報は第１経路イメージ、第２経路イメージおよび第３経路イメージのうち少なくとも一つの経路イメージを基盤として決定され得る。第１経路イメージは第１基準下位経路と第１参照下位経路が接する地点で撮像された第１基準経路画像に含まれる第１参照下位経路の経路に対するイメージ情報を含むことができる。第２経路イメージは第１参照経路画像に含まれる第１参照下位経路の経路に対するイメージ情報を含むことができる。第３経路イメージは第１参照下位経路と第２基準下位経路が接する地点で撮像された第２基準経路画像に含まれる第１参照下位経路の経路に対するイメージ情報を含むことができる。
【０１３１】
ストリートビューサービスサーバーは第１経路イメージ、第２経路イメージおよび第３経路イメージのうち少なくとも一つのイメージに基づいて、補間／予測手続きを通じて第１参照下位経路上の経路情報を決定することができる。経路イメージが経路中心から左または右に偏ったイメージである場合、画像補間／予測を通じて画像処理装置が経路中心に位置した場合を仮定して補間／予測された経路イメージを生成して経路情報１０６０として生成することができる。例えば、画像処理装置が経路中心から左側に移動して参照経路画像を生成した場合、経路中心に位置した場合、画像処理装置の撮像範囲を予測して参照経路画像を補間することができる。画像処理装置は全方位画像を撮像することができ、ストリートビューサービスサーバーは全方位画像の撮像中心地点が経路中心に移動した場合、経路に該当する部分の画像変化を予測して画像を補間して経路情報１０６０を生成することができる。画像変化は撮像位置別撮像される経路イメージの変化であり得る。
【０１３２】
また、第１参照下位経路の経路周辺情報１０７０は第１経路周辺イメージ、第２経路周辺イメージおよび第３経路周辺イメージのうち少なくとも一つの経路周辺イメージを基盤として決定され得る。第１経路周辺イメージは第１基準下位経路と第１参照下位経路が接する地点で撮像された第１基準経路画像に含まれる第１参照下位経路の経路周辺に対するイメージ情報を含むことができる。第２経路イメージは第１参照経路画像に含まれる第１参照下位経路の経路周辺に対するイメージ情報を含むことができる。第３経路イメージは第１参照下位経路と第２基準下位経路が接する地点で撮像された第２基準経路画像に含まれる第１参照下位経路の経路周辺に対するイメージ情報を含むことができる。
【０１３３】
ストリートビューサービスサーバーは第１経路周辺イメージ、第２経路周辺イメージおよび第３経路周辺イメージのうち少なくとも一つのイメージに基づいて、補間／予測手続きを通じて第１参照下位経路上の経路周辺情報１０７０を決定することができる。経路周辺イメージが経路中心で左または右に偏ったイメージである場合、画像補間／予測を通じて画像処理装置が経路中心に位置した場合を仮定して補間／予測された経路周辺イメージを生成して経路周辺情報１０７０として生成することができる。例えば、画像処理装置が経路中心から左側に移動して参照経路画像を生成した場合、経路中心に位置した場合、画像処理装置の撮像範囲を予測して参照経路画像を補間することができる。画像処理装置は全方位画像を撮像することができ、ストリートビューサービスサーバーは全方位画像の撮像中心地点が経路中心に移動した場合、経路周辺に該当する部分の画像変化を予測して画像を補間して経路周辺情報を生成することができる。画像変化は撮像位置別撮像される経路周辺イメージの変化であり得る。
【０１３４】
すなわち、ストリートビューサービスサーバーは経路情報１０６０と経路周辺情報１０７０を別途に生成し、位置情報に基づいて経路情報１０６０および経路周辺情報１０７０をマッチングさせて参照下位経路上でも経路中心を基準としたユーザー提供画像を提供することができる。
【０１３５】
図１１は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１３６】
図１１では複数の経路画像（例えば、複数の全方位画像）に対する画像後処理を通じて経路に対するユーザー提供画像を生成するための方法が開示される。
【０１３７】
図１１を参照すると、ストリートビューサービスサーバーは同一経路に対する複数の経路画像１１２０を受信し、複数の経路画像１１２０に対する画像後処理を通じてユーザー提供画像を生成することができる。
【０１３８】
ストリートビューサービスサーバーは複数の経路画像１１２０のうち、ユーザー提供画像を生成するための少なくとも一つの選択経路画像１１４０を決定することができる。
【０１３９】
ストリートビューサービスサーバーは経路中心を決定し、経路中心で臨界距離以上離れるか、ユーザー提供画像を生成し難い画像（例えば、ユーザーの屈伸動作によって臨界高さ以下に撮像された画像）を除外して選択経路画像１１４０を決定することができる。
【０１４０】
ストリートビューサービスサーバーは選択経路画像１１４０を基盤としてユーザー提供画像１１６０を生成することができる。ユーザー提供画像は多様な方法に基づいて生成され得る。
【０１４１】
ユーザー提供画像１１６０は複数の選択経路画像１１４０の組み合わせで生成され得る。
【０１４２】
例えば、経路が複数の下位経路に分割され、複数の下位経路のそれぞれに対して複数の最適な選択経路画像１１４０のそれぞれが決定され得る。複数の最適な選択経路画像１１４０のそれぞれは、結合されてユーザー提供画像１１６０として生成され得る。この時、複数の最適な選択経路画像１１４０のそれぞれは類似する撮像環境（撮影時間、撮影時の天気、光度など）上で撮像された画像であり得る。
【０１４３】
さらに他の方法として、ストリートビューサービスサーバーは複数の選択経路画像１１４０を基盤として経路情報と経路周辺情報を生成し、位置情報に基づいて経路情報と経路周辺情報を結合してユーザー提供画像１１６０を生成することができる。
【０１４４】
図１０で前述した通り、ストリートビューサービスサーバーは複数の選択経路画像１１４０で経路に該当する画像部分を抽出して位置別に経路情報を生成することができる。また、ストリートビューサービスサーバーは複数の選択経路画像１１４０で経路周辺に該当する画像部分を抽出して位置別に経路周辺情報を生成することができる。
【０１４５】
すなわち、ストリートビューサービスサーバーは複数の選択経路画像１１４０を基盤として経路情報と経路周辺情報を別途に生成し、位置情報に基づいて経路情報および経路周辺情報をマッチングさせて参照下位経路上でも経路中心を基準としたユーザー提供画像１１６０を提供することができる。
【０１４６】
ストリートビューサービスサーバーは特定経路に対する経路画像情報を画像処理装置から継続的に受信することができ、受信した経路画像情報に基づいてユーザー提供画像を継続的にアップデートすることができる。
【０１４７】
図１２は、本発明の実施例に係るユーザー提供画像生成方法を示した概念図である。
【０１４８】
図１２では複数の経路画像（例えば、複数の全方位画像）に対する画像後処理を通じて経路に対するユーザー提供画像を生成するための方法が開示される。
【０１４９】
図１２を参照すると、ストリートビューサービスを通じて時間によるストリートビュー画像を提供するための方法が開示される。
【０１５０】
ストリートビューサービスサーバーは時間帯（または撮像環境）別に選択経路画像１２００を組み合わせてユーザー提供画像１２２０を提供することができる。例えば、午前に撮像された選択経路画像を組み合わせて該当経路の午前ストリートビューをユーザー提供画像１２２０として提供し、午後に撮像された選択経路画像を組み合わせて午後ストリートビューをユーザー提供画像１２２０として提供し、夜に撮像された選択経路画像を組み合わせて夜ストリートビューをユーザー提供画像１２２０として提供することができる。
【０１５１】
ユーザーは現在の時間により現在の時間に合うストリートビューをユーザー提供画像１２２０として提供してもよく、ユーザーの別途の時点の選択により時点によるストリートビューを提供してもよい。
【０１５２】
ストリートビューサービスサーバーは撮像環境（撮像時点、撮像時点の天気など）別に選択経路画像を組み合わせて時点別ストリートビューを生成してユーザー提供画像１２２０として提供することができる。
【０１５３】
図１３は、本発明の実施例に係るストリートビューサービス方法を示した概念図である。
【０１５４】
図１３ではストリートビューサービスサーバーが制御情報を生成し、経路別にストリートビューサービスを提供するための方法が開示される。
【０１５５】
既存の経路に対する情報を含む地図情報に位置におるユーザー提供画像がマッチングされ得、ストリートビューサービスサーバーはユーザー装置から地図情報に基づいて特定の位置に対するストリートビュー提供要請を受信し、ストリートビュー提供要請によるユーザー提供画像（またはストリートビュー画像）をユーザー装置に提供することができる。
【０１５６】
ストリートビューサービスサーバーは制御情報を提供することができ、ユーザー装置は制御情報に基づいてユーザーインターフェース（移動）１３００を出力し、ユーザーインターフェース（移動）１３００上で入力されるユーザー信号によりユーザー提供画像を提供することができる。具体的には、移動方向（南／北）を有する経路である場合、ユーザーインターフェース（移動）１３００は一つの移動方向（南／北）のうち、どのような移動方向に移動するかの入力を受けるためのユーザーインターフェースであり得る。
【０１５７】
また、ユーザーインターフェース（移動）１３００は撮像された領域を考慮して生成され得る。経路のうち可能な移動方向（東／西／南／北）であり、ユーザー提供画像が東／西／南についてのみ提供される場合、北側移動方向を除いた残りの東／西／南方向に移動可能とさせるユーザーインターフェース（移動）１３００が提供され得る。
【０１５８】
ストリートビューサービスサーバーは移動可能な分岐点を判断し、分岐点で移動可能な経路に対して経路別ユーザー提供画像の存在の有無を判断してユーザーインターフェース（移動）１３００を生成することができる。
【０１５９】
以下、図１４〜図１６は、図１〜図１３で開示された画像処理装置に対する一つの例示である。本発明の実施例に係るストリートビューサービスは他の多様な画像処理装置によって遂行されてもよく、このような実施例も本発明の権利範囲に含まれる。
【０１６０】
図１４は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【０１６１】
図１４では全方位画像処理装置の構造が開示される。
【０１６２】
図１４を参照すると、全方位画像処理装置１４００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置１４００は、図１に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置１４００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置１４００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。
【０１６３】
本発明の実施例では、説明の便宜上、全方位画像処理装置１４００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１４００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置１００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。
【０１６４】
ユーザーは、ウェアラブル装置として具現された全方位画像処理装置１４００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。
【０１６５】
全方位画像処理装置１４００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置１４００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。
【０１６６】
例えば、全方位画像処理装置１４００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１４１０、第２画像撮像部１４２０、第３画像撮像部１４３０であり得る。
【０１６７】
以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１４００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。
【０１６８】
第１画像撮像部１４１０、第２画像撮像部１４２０及び第３画像撮像部１４３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部１４１０によって第１画像が生成され、第２画像撮像部１４２０によって第２画像が生成され、第３画像撮像部１４３０によって第３画像が生成され得る。第１画像撮像部１４１０、第２画像撮像部１４２０、第３画像撮像部１４３０のそれぞれの画角は１４２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置１４００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１４００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１４００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ            ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。
【０１６９】
以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
【０１７０】
図１５は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【０１７１】
図１５では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図１５に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。
【０１７２】
図１５の上段では、全方位画像処理装置の後面部が開示される。
【０１７３】
全方位画像処理装置に含まれている第１画像撮像部１５１０及び第２画像撮像部１５２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部１５１０及び第２画像撮像部１５２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部１５１０及び第２画像撮像部１５２０が一定の距離上に位置することができる。
【０１７４】
第１画像撮像部１５１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部１５２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部１５１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部１５２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。
【０１７５】
第１画像撮像部１５１０及び第２画像撮像部１５２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域１５１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。
【０１７６】
図１５の下段では、全方位画像処理装置の前面部が開示される。
【０１７７】
全方位画像処理装置の前面部には第３画像撮像部１５３０が位置することができる。具体的には、第３画像撮像部１５３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部１５３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。
【０１７８】
第３画像撮像部１５３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。
【０１７９】
具体的には、第３画像撮像部１５３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部１５３０による撮像が行われる場合、第１画像撮像部１５１０の第１画角と第３画像撮像部１５３０の第３画角による第２重なり領域１５２５が発生し得る。第３画像撮像部１５３０による撮像が行われる場合、第２画像撮像部１５２０の第２画角と第３画像撮像部１５３０の第３画角による第３重なり領域１５３５が発生し得る。
【０１８０】
首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部１５１０、第２画像撮像部１５２０は、地面を基準に第３画像撮像部１５３０よりも相対的に高い所に位置し得る。また、第３画像撮像部１５３０は一方の末端部にのみ位置するようになる。
【０１８１】
既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域１５１５、第２重なり領域１５２５及び第３重なり領域１５３５の大きさ／形態が互いに異なり得る。
【０１８２】
この後、第１重なり領域１５１５／第２重なり領域１５２５／第３重なり領域１５３５を考慮した第１画像撮像部１５１０、第２画像撮像部１５２０及び第３画像撮像部１５３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。
【０１８３】
第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。
【０１８４】
図１６は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【０１８５】
図１６では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。
【０１８６】
既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。
【０１８７】
本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。
【０１８８】
図１６に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図１６に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。
【０１８９】
図１６の上段では、第１画像撮像部１６１０及び第２画像撮像部１６２０の撮像線が開示される。
【０１９０】
第１画像撮像部１６１０及び第２画像撮像部１６２０は、第３画像撮像部１６３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、  全方位画像処理装置で第１画像撮像部１６１０及び第２画像撮像部１６２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部１６３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。
【０１９１】
例えば、第１画像撮像部１６１０の第１撮像線１６１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０１９２】
第２画像撮像部１６２０の第２撮像線１６２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０１９３】
図１６の下段を参照すると、第３画像撮像部１６３０の第３撮像線１６３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部１６３０の第３撮像線１６３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。
【０１９４】
すなわち、第１撮像線１６１５及び第２撮像線１６２５はＹ軸を基準に同一の高さを有し、第３撮像線１６３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図１６に示された第１撮像線１６１５、第２撮像線１６２５及び第３撮像線１６３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。
【０１９５】
図１７は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【０１９６】
図１７では、図１６とは異なる複数の画像撮像部の撮像線が開示される。同様に、図１７においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。
【０１９７】
図１７の上段には、第１画像撮像部１７１０及び第２画像撮像部１７２０の撮像線が開示される。
【０１９８】
第１画像撮像部１７１０及び第２画像撮像部１７２０は、第３画像撮像部１７３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部１７１０及び第２画像撮像部１７２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部１７３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。
【０１９９】
例えば、第１画像撮像部１７１０の第１撮像線１７１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【０２００】
第２画像撮像部１７２０の第２撮像線１７１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【０２０１】
図１７の下段には第３画像撮像部１７３０の撮像線が開示される。
【０２０２】
第３画像撮像部１７３０の第３撮像線１７３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０２０３】
第３画像撮像部１７３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。
【０２０４】
すなわち、第１撮像線１７１５と第２撮像線１７２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線１７３５は、Ｙ軸を基準に第１撮像線１７１５及び第２撮像線１７２５よりも相対的に低い位置に位置し得る。また、第１撮像線１７１５及び第２撮像線４２５はＸＺ平面と平行であるが、第３撮像線１７３５はＸＺ平面と平行でなくてもよい。
【０２０５】
本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【０２０６】
本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。
【０２０７】
すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。
【０２０８】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ    ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ    ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【０２０９】
以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。
【０２１０】
したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。
【図１】
2020532219.tif 000003
【図２】
2020532219.tif 000004
【図３】
2020532219.tif 000005
【図４】
2020532219.tif 000006
【図５】
2020532219.tif 000007
【図６】
2020532219.tif 000008
【図７】
2020532219.tif 000009
【図８】
2020532219.tif 000010
【図９】
2020532219.tif 000011
【図１０】
2020532219.tif 000012
【図１１】
2020532219.tif 000013
【図１２】
2020532219.tif 000014
【図１３】
2020532219.tif 000015
【図１４】
2020532219.tif 000016
【図１５】
2020532219.tif 000017
【図１６】
2020532219.tif 000018
【図１７】
2020532219.tif 000019
【国際調査報告】
2020532219.tif 000020
2020532219.tif 000021
2020532219.tif 000022
2020532219.tif 000023