(57)【特許請求の範囲】
【請求項１】
全方位画像の方向情報を生成する方法は、
方向情報処理装置が全方位画像の方向情報を受信する段階；および
前記方向情報処理装置が前記方向情報に基づいて前記全方位画像に対する方向指示子を設定する段階を含むものの、
前記方向指示子は前記全方位画像の再生画面上で少なくとも一つの方向を指示し、
前記全方位画像は全方位画像処理装置に含まれた複数の画像撮像部のそれぞれによって撮像された複数の画像に基づいて生成され、
前記方向指示子は撮影者視線方向指示子を含み、
前記撮影者視線方向指示子は前記全方位画像を撮像した撮影者の視線方向を指示する
ことを特徴とする、方法。
【請求項２】
前記方向情報は前記全方位画像の生成時に方向センサ部により生成され、
前記方向指示子は、特定の軸を基準とした３６０度方向のうち前記方向情報に基づいて決定された前記少なくとも一つの方向を指示する
ことを特徴とする、請求項１に記載の方法。
【請求項３】
前記方向情報は前記複数の画像のうち少なくとも一つの画像の撮像方向を指示する
ことを特徴とする、請求項２に記載の方法。
【請求項４】
前記方向指示子によって指示される前記少なくとも一つの方向は、前記方向情報に基づいて指示される方向、前記複数の画像間の重畳領域に対する情報および前記複数の画像のそれぞれの画角情報に基づいて決定される
ことを特徴とする、請求項３に記載の方法。
【請求項５】
前記方向情報処理装置は、視線誘導指示子を生成し、
前記視線誘導指示子は、前記全方位画像を視聴するユーザーの現在の視線方向を特定の方向に誘導する
ことを特徴とする、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
全方位画像の方向情報を生成する方向情報処理装置は、
全方位画像の方向情報を受信するように具現される通信部；および
前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されて前記方向情報に基づいて前記全方位画像に対する方向指示子を設定するように具現されるプロセッサを含むものの、
前記方向指示子は前記全方位画像の再生画面上で少なくとも一つの方向を指示し、
前記全方位画像は全方位画像処理装置に含まれた複数の画像撮像部のそれぞれによって撮像された複数の画像に基づいて生成され、
前記方向指示子は撮影者視線方向指示子を含み、
前記撮影者視線方向指示子は前記全方位画像を撮像した撮影者の視線方向を指示する
ことを特徴とする、方向情報処理装置。
【請求項７】
前記方向情報は前記全方位画像の生成時に方向センサ部により生成され、
前記方向指示子は、特定の軸を基準とした３６０度方向のうち前記方向情報に基づいて決定された前記少なくとも一つの方向を指示する
ことを特徴とする、請求項６に記載の方向情報処理装置。
【請求項８】
前記方向情報は前記複数の画像のうち少なくとも一つの画像の撮像方向を指示する
ことを特徴とする、請求項７に記載の方向情報処理装置。
【請求項９】
前記方向指示子によって指示される前記少なくとも一つの方向は、前記方向情報に基づいて指示される方向、前記複数の画像間の重畳領域に対する情報および前記複数の画像のそれぞれの画角情報に基づいて決定される
ことを特徴とする、請求項８に記載の方向情報処理装置。
【請求項１０】
前記方向情報処理装置は、視線誘導指示子を生成し、
前記視線誘導指示子は、前記全方位画像を視聴するユーザーの現在の視線方向を特定の方向に誘導する
ことを特徴とする、請求項６〜９のいずれか一項に記載の方向情報処理装置。
【請求項１１】
請求項１〜請求項５のいずれか一項に記載された方法を実行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全方位画像の方向情報を生成する方法およびこのような方法を遂行する装置に関する。より詳細には、全方位画像の生成時に方向情報を属性情報として生成し、全方位画像の再生時に方向情報を全方位画像を視聴するユーザーに伝達するための方法および装置に関する。
【背景技術】
【０００２】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。
【０００３】
全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ  ｖｉｅｗ  ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ，  ３６０度カメラ）を用いて全方位画像を生成することができる。
【０００４】
現在の全方位画像処理装置によって生成された全方位画像は、すべての方向を撮影して生成された画像コンテンツである。したがって、全方位画像のこのような特性のため全方位画像を視聴するユーザーは、全方位画像でどこを見ていいか目を見回したり目的とする被写体を探す時までユーザーの視点を変化させなければならない。例えば、犯人を追うための画像が全方位画像コンテンツで生成され、犯人の位置を探すために画像の回転が頻繁に起きると、方向に対する感覚が消えてユーザーにめまいが誘発され得る。
【０００５】
したがって、ユーザーが全方位画像処理装置を基盤として生成された全方位画像をより容易かつ便利に認識するための方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は前述した問題点をすべて解決することをその目的とする。
【０００７】
また、本発明は、全方位画像処理装置によって生成された全方位画像情報の属性情報として方向情報を追加し、全方位画像情報の再生時に方向情報を表示することを他の目的とする。
【０００８】
また、本発明は、全方位画像処理装置によって生成された全方位画像情報に含まれた方向情報に基づいて、ユーザーの視線を特定の方向に誘導することを他の目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するための本発明の代表的な構成は以下の通りである。
【００１０】
本発明の一態様によれば、全方位画像の方向情報を生成する方法は、方向情報処理装置が全方位画像の方向情報を受信する段階と前記方向情報処理装置が前記方向情報に基づいて前記全方位画像に対する方向指示子を設定する段階を含むことができるものの、前記方向指示子は前記全方位画像の再生画面上で少なくとも一つの方向を指示することができる。
【００１１】
本発明の他の態様によれば、全方位画像の方向情報を生成する方向情報処理装置は、全方位画像の方向情報を受信するように具現される通信部と前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されて前記方向情報に基づいて前記全方位画像に対する方向指示子を設定するように具現されるプロセッサとを含むことができるものの、前記方向指示子は前記全方位画像の再生画面上で少なくとも一つの方向を指示することができる。
【発明の効果】
【００１２】
本発明によれば、全方位画像処理装置によって生成された全方位画像情報の属性情報として方向情報を追加し、全方位画像情報の再生時に方向情報を表示することによってユーザーが全方位画像を視聴時に方向を認知することができるため、ユーザーの全方位画像の理解に助けとなり得る。
【００１３】
また、本発明によれば、方向情報に基づいて再生される全方位画像情報に方向識別子が追加的に表示され得、方向識別子に基づいて撮影者の撮影意図に合う全方位画像の生成および視聴が可能である。
【００１４】
また、本発明によれば、全方位画像情報に含まれた方向情報に基づいて全方位画像を視聴するユーザーの視線を特定の方向に誘導することができる。したがって、全方位画像がユーザーに、より没入感があるように提供され得る。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る全方位画像処理装置を示す概念図である。
【図２】本発明の実施形態に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【図３】本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。
【図４】本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。
【図５】本発明の実施例に係る全方位画像の方向情報を生成／表示する方法を示した概念図である。
【図６】本発明の実施例に係る全方位画像の再生時に方向情報を表示する方法を示した概念図である。
【図７】本発明の実施例に係る全方位画像の再生時に方向転換要請指示子を出力する方法を示した概念図である。
【図８】本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【図９】本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【図１０】本発明の実施例に係るユーザーの関心を考慮して識別情報を生成する方法を示した概念図である。
【図１１】本発明の実施例に係るユーザーの関心客体を決定する方法を示した概念図である。
【図１２】本発明の実施例に係るユーザーの関心客体を決定するための方法を示した概念図である。
【図１３】本発明の実施例に係る撮影者の動きに基づいて方向情報の生成周期を調整するための方法を示した概念図である。
【発明を実施するための形態】
【００１６】
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。
【００１７】
以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。
【００１８】
以下、本発明の実施例では、全方位画像処理装置は、全方位（または３６０度の画像）を撮像できるカメラを含む意味で使われ得る。
【００１９】
図１は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【００２０】
図１では全方位画像処理装置の構造が開示される。
【００２１】
図１を参照すると、全方位画像処理装置１００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置１００は、図１に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置１００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置１００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。
【００２２】
本発明の実施例では、説明の便宜上、全方位画像処理装置１００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置１００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。
【００２３】
ユーザーは、ウェアラブル装置として具現された全方位画像処理装置１００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。
【００２４】
全方位画像処理装置１００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置１００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。
【００２５】
例えば、全方位画像処理装置１００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０であり得る。
【００２６】
以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。
【００２７】
第１画像撮像部１１０、第２画像撮像部１２０及び第３画像撮像部１３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部１１０によって第１画像が生成され、第２画像撮像部１２０によって第２画像が生成され、第３画像撮像部１３０によって第３画像が生成され得る。第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０のそれぞれの画角は１２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置１００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ            ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。
【００２８】
以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
【００２９】
図２は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【００３０】
図２では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図２に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。
【００３１】
図２の上段では、全方位画像処理装置の後面部が開示される。
【００３２】
全方位画像処理装置に含まれている第１画像撮像部２１０及び第２画像撮像部２２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部２１０及び第２画像撮像部２２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部２１０及び第２画像撮像部２２０が一定の距離上に位置することができる。
【００３３】
第１画像撮像部２１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部２２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部２１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部２２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。
【００３４】
第１画像撮像部２１０及び第２画像撮像部２２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域２１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。
【００３５】
図２の下段では、全方位画像処理装置の前面部が開示される。
【００３６】
全方位画像処理装置の前面部には第３画像撮像部２３０が位置することができる。具体的には、第３画像撮像部２３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部２３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。
【００３７】
第３画像撮像部２３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。
【００３８】
具体的には、第３画像撮像部２３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部２３０による撮像が行われる場合、第１画像撮像部２１０の第１画角と第３画像撮像部２３０の第３画角による第２重なり領域２２５が発生し得る。第３画像撮像部２３０による撮像が行われる場合、第２画像撮像部２２０の第２画角と第３画像撮像部２３０の第３画角による第３重なり領域２３５が発生し得る。
【００３９】
首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部２１０、第２画像撮像部２２０は、地面を基準に第３画像撮像部２３０よりも相対的に高い所に位置し得る。また、第３画像撮像部２３０は一方の末端部にのみ位置するようになる。
【００４０】
既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域２１５、第２重なり領域２２５及び第３重なり領域２３５の大きさ／形態が互いに異なり得る。
【００４１】
この後、第１重なり領域２１５／第２重なり領域２２５／第３重なり領域２３５を考慮した第１画像撮像部２１０、第２画像撮像部２２０及び第３画像撮像部２３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。
【００４２】
第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。
【００４３】
図３は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【００４４】
図３では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。
【００４５】
既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。
【００４６】
本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。
【００４７】
図３に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図３に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。
【００４８】
図３の上段では、第１画像撮像部３１０及び第２画像撮像部３２０の撮像線が開示される。
【００４９】
第１画像撮像部３１０及び第２画像撮像部３２０は、第３画像撮像部３３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置で第１画像撮像部３１０及び第２画像撮像部３２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部３３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。
【００５０】
例えば、第１画像撮像部３１０の第１撮像線３１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【００５１】
第２画像撮像部３２０の第２撮像線３２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【００５２】
図３の下段を参照すると、第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。
【００５３】
すなわち、第１撮像線３１５及び第２撮像線３２５はＹ軸を基準に同一の高さを有し、第３撮像線３３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図３に示された第１撮像線３１５、第２撮像線３２５及び第３撮像線３３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。
【００５４】
図４は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【００５５】
図４では、図３とは異なる複数の画像撮像部の撮像線が開示される。同様に、図４においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。
【００５６】
図４の上段には、第１画像撮像部４１０及び第２画像撮像部４２０の撮像線が開示される。
【００５７】
第１画像撮像部４１０及び第２画像撮像部４２０は、第３画像撮像部４３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部４１０及び第２画像撮像部４２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部４３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。
【００５８】
例えば、第１画像撮像部４１０の第１撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【００５９】
第２画像撮像部４２０の第２撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【００６０】
図４の下段には第３画像撮像部４３０の撮像線が開示される。
【００６１】
第３画像撮像部４３０の第３撮像線４３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【００６２】
第３画像撮像部４３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。
【００６３】
すなわち、第１撮像線４１５と第２撮像線４２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線４３５は、Ｙ軸を基準に第１撮像線４１５及び第２撮像線４２５よりも相対的に低い位置に位置し得る。また、第１撮像線４１５及び第２撮像線４２５はＸＺ平面と平行であるが、第３撮像線４３５はＸＺ平面と平行でなくてもよい。
【００６４】
本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【００６５】
本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。
【００６６】
すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。
【００６７】
以下、本発明の実施例では生成された全方位画像で方向情報を表示するための方法が開示される。図１〜図３は全方位画像処理装置の一つの例示である。全方位画像および全方位画像の方向情報は、前述した本発明の実施例で開示される全方位画像処理装置だけでなく他の多様な全方位画像処理装置でも生成され得る。
【００６８】
図５は、本発明の実施例に係る全方位画像の方向情報を生成／表示する方法を示した概念図である。
【００６９】
図５では、全方位画像情報を生成時に属性情報として方向情報を追加的に生成し、全方位画像の再生時に方向情報に基づいて特定の方向に対する指示子を表示するための方法が開示される。
【００７０】
図５を参照すると、全方位画像処理装置は地磁気センサ、加速角軸センサなどのような方位／方向をセンシング可能なセンシング部を含むことができる。
【００７１】
全方位画像処理装置に含まれる複数の画像撮像部のそれぞれによって複数の画像のそれぞれが生成される時、複数の画像のそれぞれには画像の撮像方向に対する情報である方向情報が別途の属性情報として含まれ得る。
【００７２】
具体的には、全方位画像処理装置に含まれた複数の画像撮像部により撮影が遂行される場合、センサ部は複数の画像撮像部のそれぞれの撮影方向に対する情報をセンシングして生成することができる。
【００７３】
例えば、全方位画像処理装置に画像撮像部１、画像撮像部２および画像撮像部３が含まれ得る。また、重畳した時間資源上で画像撮像部１によって画像１が生成され、画像撮像部２によって画像２が生成され、画像撮像部３によって画像３が生成され得る。画像１、画像２および画像３は画像処理を通じて全方位画像情報として生成され得る。
【００７４】
全方位画像処理装置のセンサ部は、画像１、画像２および画像３によって生成される正方向画像情報に特定の軸を基準に決定された方向情報を生成することができる。撮像空間がＸ軸／Ｙ軸／Ｚ軸で形成された３次元空間であり、地面５５０がＸＺ平面と平行であると仮定すると、ＸＺ平面に垂直なＹ軸５６０を基準とした画像の方向情報が全方位画像情報に属性情報として追加され得る。
【００７５】
以下、説明および理解の便宜上、ＸＺ平面に垂直なＹ軸５６０を基準とした画像の方向情報が全方位画像情報に属性情報として追加される場合を仮定するか、Ｘ軸、Ｚ軸を基準とした画像の方向情報が全方位画像情報に属性情報として追加されてもよく、このような実施例も本発明の権利範囲に含まれる。
【００７６】
例えば、正北方向を０度（基準点、５００）としてＹ軸５６０を基準として３６０度の角度で方向が表現され得る。例えば、９０度地点５１０が正西方向、１８０度地点５２０が正南方向、２７０度地点５３０が正東方向であり得る。
【００７７】
特定の時点にセンシング部によりセンシングされて生成された方向情報および特定の時点に対する時間情報が、特定の時点に撮像された画像１、画像２および画像３に基づいて生成された全方位画像情報の属性情報として含まれ得る。すなわち、全方位画像情報は属性情報として全方位画像が撮像された時点に対する時間情報および全方位画像が撮像された方向に対する方向情報を含むことができる。
【００７８】
このような方向情報は多様な方式で表現され得る。例えば、画像のサイズを基準に百分率（０〜１００の間の値）で方向情報が表現されてもよい。または０〜２５５の間の値で保存される領域の大きさを基準に設定された基準点からの相対角度を表示して方向情報が表現されてもよい。
【００７９】
全方位画像の方向情報の保存間隔は、全方位画像処理装置によって生成されるフレームのフレームレート（ｆｒａｍｅｒａｔｅ）と一致しなくてもよい。例えば、方向情報は、フレームレートとは異なって定められた特定の時間間隔／または設定された条件を満足するたびに、全方位画像情報の属性情報として生成され得る。
【００８０】
図６は、本発明の実施例に係る全方位画像の再生時に方向情報を表示する方法を示した概念図である。
【００８１】
図６では、方向情報に基づいて正北方向／撮影者の視線方向などのような特定の方向を識別するための方向指示子を、全方位画像再生時に追加するための方法が開示される。
【００８２】
図６を参照すると、全方位画像再生装置は全方位画像情報の属性情報として含まれる方向情報に基づいて、全方位画像の再生画面（または出力画面）上の特定位置に方向を識別するための方向指示子をさらに表示することができる。
【００８３】
例えば、方向情報に基づいて、全方位画像再生装置（例えば、ＶＲ（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）装置）の再生画面では正北方向を指示する正北方向指示子（例えば、第１三角）６００が表示され得る。また、正北方向指示子６００ではなく、異なる方向（東／南／西など）を指示する方向識別指示子が方向に対する情報を伝達するために追加されてもよい。
【００８４】
また、撮影者の視線方向（ｌｉｎｅ  ｏｆ  ｓｉｇｈｔ）を指示する撮影者視線方向指示子（例えば、第２三角）６５０が全方位画像情報を出力する全方位画像再生装置から出力され得る。
【００８５】
このような全方位画像を視聴するユーザーは、正北方向指示子６００／撮影者視線方向指示子６５０等に基づいて再生される全方位画像の方向を認知することができる。したがって、ユーザーが全方位画像で現在見ている方向を認知し、全方位画像を理解するのに助けとなり得る。また、全方位画像を撮影した撮影者視線方向指示子６５０に基づいて、ユーザーが撮影者の正面方向を迅速に認識して撮影者の撮影意図に応じた全方位画像を鑑賞することができる。
【００８６】
図７は、本発明の実施例に係る全方位画像の再生時に方向転換要請指示子を出力する方法を示した概念図である。
【００８７】
図７では、ユーザーに全方位画像で特定の方向を見ることを指示するための視線誘導指示子７００が開示される。
【００８８】
全方位画像情報の属性情報として方向情報が含まれ、全方位画像情報を撮像／生成する撮像子または編集する編集子は特定の方向を全方位画像を視聴するユーザーの主視聴方向と設定することができる。主視聴方向は視線誘導指示子７００に基づいて表現され得る。主視聴方向は一定の方向ではなく、主視聴方向の設定意図に沿って複数回変更されてもよい。
【００８９】
例えば、正北方向や撮影者の視線方向が全方位画像の主視聴方向と設定された場合が仮定され得る。このような場合、全方位画像再生装置ではユーザーの現在の視線方向を設定された主視聴方向に誘導するための視線誘導指示子７００が出力され得る。
【００９０】
全方位画像再生装置は、ユーザーの現在の視線方向と主視聴方向間の誤差（または差）を計算し、ユーザーの視線方向を主視聴方向に誘導するための視線誘導指示子７００を全方位画像にさらに表示することができる。
【００９１】
ユーザーの現在の視線方向と主視聴方向間の誤差により視線誘導指示子７００の形態が変わり得る。例えば、視線誘導指示子７００が矢印模様のイメージである場合、現在の視線方向と主視聴方向間の誤差により矢印模様の形態／長さなどが変わり得る。または視線誘導指示子７００は点滅灯のようなイメージであり得、現在の視線方向と主視聴方向間の誤差によりイメージが変わり得る。
【００９２】
ユーザーが視線誘導指示子７００に基づいて視線方向を変化させて現在の視線方向と主視聴方向間の誤差が減少した場合、視線誘導指示子７００の形状が減少した誤差を反映して変化し得る。
【００９３】
ユーザーの現在の視線方向は、ＶＲ再生装置を着用したユーザーが首を回したり体を動かす行為、モニターを見るユーザーが全方位画像をマウスでドラッグする行為で変化し得る。
【００９４】
ユーザーの現在の視線方向が主視聴方向を基準に設定された臨界範囲内で含まれる場合、視線誘導指示子７００は消えてもよい。
【００９５】
またはユーザーの現在の視線方向が主視聴方向を基準に設定された臨界範囲内に入ってきた場合、より正確にユーザーの現在の視線方向と主視聴方向を一致させるために、視線誘導指示子７００のイメージが異なる模様に変わるか主視聴方向を指示する追加的な識別子が全方位画像に追加的に表示されて、ユーザーの視線方向をより正確に誘導することができる。
【００９６】
また、本発明の他の実施例によれば、全方位画像再生装置はユーザーが首を回さずとも、主視聴方向がユーザーの現在の視線と一致するように再生される全方位画像の方向を設定することができる。
【００９７】
例えば、主視聴方向が正北方向と仮定すると、ユーザーは臨界時間内にはユーザーが首を回したり体を動かしたり、マウスでドラッグする方式でユーザーの現在の視線方向を変化させることができるが、臨界時間が過ぎてからはユーザーの現在の視線方向が正北方向に変換され得る。換言すれば、臨界時間の間ユーザーの現在の視線方向を変化させたユーザーの動作は無視し、周期的にユーザーの現在の視線方向を主視聴方向と設定された正北方向に強制的に変化させて、周期的にユーザーの現在の視線方向と主視聴方向が同一となるように設定することができる。
【００９８】
図８は、本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【００９９】
図８では、センシングされた方向情報に基づいて全方位画像でセンシングされた方向ではない他の方向を決定するための方法が開示される。
【０１００】
図８を参照すると、センサ部によっては特定の方向情報（例えば、正北方向情報）のみがセンシングされて属性情報として全方位画像情報に記録され得る。
【０１０１】
その後、全方位画像にセンシングされた方向ではない他の方向に対する方向指示子を設定しようとする場合、センシングされた方向を基準にセンシングされていない方向に対する方向情報を生成することができる。
【０１０２】
前述した通り、全方位画像装置が３個の画像撮像部（画像撮像部１、画像撮像部２、画像撮像部３）を含むことができる。３個の画像撮像部により生成された画像１、画像２および画像３に基づいて生成された全方位画像情報がセンシングされた方向（第１方向）を指示する方向情報を属性情報として含む場合が仮定され得る。
【０１０３】
センシングされた方向（第１方向）に対する情報のみが属性情報として含まれており、画像１の画角のうち特定の方向が第１方向である場合、画像１で第１方向を０度８５０に設定し、残りの全方位画像内に特定の方向の角度は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通じて０〜３６０度で表現することができる。
【０１０４】
補間のために画像の画角に対する情報が活用され得る。例えば、画像１の画角が１５０度（−７５度〜＋７５度）であると仮定する場合、０度８５０に設定された第１方向および画角を基準に画像１内の特定の方向に対する方向情報を決定するための補間が遂行され得る。例えば、画像１の画角の中心方向と第１方向との差を算出して第１方向（０度８５０）を新しい基準点として画像１の残りの地点の方向情報を決定することができる。例えば、第１方向が画角を基準に＋２０度８００方向である場合、画角を基準とした＋２０度方向８００が０度８５０であって、方向情報を表現するための基準点に設定され得る。すなわち、画像１内の画角を基準とした残りの方向（−７５〜＋７５度）に対する方向情報は、画角を考慮して新しい基準点である第１方向を基準に−９５度（２６５度）〜＋５５度に補間されて表現され得る。
【０１０５】
また、画像２および画像３の場合、画像１との重畳した領域を考慮して画像１との重畳した領域の方向情報および画像２／画像３の画角を考慮して補間手続きが遂行され得る。例えば、画像１と画像２の重畳した領域に位置した客体Ａの方向情報が前述した画像１に対する補間手続きを通じて４５度に決定された場合、画像２で同一の客体Ａの方向が４５度に設定され、画像２内の残りの方向の方向情報は画像２の画角（−７５〜＋７５）を考慮して決定され得る。
【０１０６】
または本発明の他の実施例によれば、方向情報の補間のために、センサ部は画像１、画像２および画像３のそれぞれの画角の中心方向に対応する方向情報を属性情報として含むことができる。特定地点に対する方向情報が必要な場合、画像１、画像２および画像３のそれぞれの画角の中心方向の方向情報および画像１、画像２および画像３のそれぞれの画角に対する情報を考慮して画像１、画像２および画像３の方向情報が補間されて生成されてもよい。
【０１０７】
図９は、本発明の実施例に係る方向情報を生成する方法を示した概念図である。
【０１０８】
図９では、一定の時間間隔で生成された方向情報が存在する場合、一定の時間間隔の間に撮像された画像（イメージフレーム）の方向情報を生成するための方法が開示される。
【０１０９】
センサ部により方向情報が１秒間隔でセンシングされると仮定することができる。このような場合、第１方向情報生成時点と第２方向情報生成時点との間の差が１秒であり得る。
【０１１０】
第１方向情報生成時点と第２方向情報生成時点との間に生成されたイメージフレームには方向情報が含まれなくてもよい。このような場合、第１方向情報生成時点の第１画像フレームの第１方向情報および／または第２方向情報生成時点の第２画像フレームの第２方向情報を考慮して、第１方向情報生成時点と第２方向情報生成時点との間で生成されたイメージフレーム（以下、方向予測対象フレーム）の方向情報を推定することができる。
【０１１１】
図９の上段を参照すると、第１画像フレーム９１０と方向予測対象フレーム９００に共通して含まれる動かない固定客体９１５を決定することができる。固定客体９１５は建物、彫刻などのような客体であり得る。第１方向情報生成時点と第２方向情報生成時点が臨界時間以下である場合、固定されていない動く客体（または非固定客体）も方向予測対象フレームの方向情報を決定するために使われ得る。
【０１１２】
第１画像フレーム９１０で固定客体９１５の方向情報が第１方向を指示する場合が仮定され得る。固定客体９１５の方向情報と方向予測対象フレーム９００にも同一に含まれた固定客体９１５の方向情報は同じであり得る。方向予測対象フレーム９００は決定された固定客体９１５の方向情報および画角を基準に方向予測対象フレーム９００内の他の方向も決定することができる。
【０１１３】
図９の下段を参照すると、第１画像フレーム９６０と方向予測対象フレーム９５０に共通して含まれる動かない固定客体が存在しない場合、第２画像フレーム９７０と方向予測フレーム９５０に共通して含まれる動かない固定客体９５５を決定することができる。
【０１１４】
その後、第２画像フレーム９７０で固定客体９５５の方向情報が第２方向を指示する場合が仮定され得る。このような場合、方向予測対象フレーム９５０にも同一に含まれた固定客体９５５の方向情報も第２方向を指示することができる。方向予測対象フレーム９５０は決定された固定客体９５５の方向情報および画角を基準に方向予測対象フレーム９５０内の他の方向も決定することができる。
【０１１５】
第１画像フレームと方向予測対象フレームに共通して含まれる固定客体が存在せず、同様に第２画像フレームと方向予測対象フレームに共通して含まれる固定客体が存在しないこともある。このような場合、固定客体ではなく、動く客体に基づいて方向予測対象フレームの方向情報を決定することができる。
【０１１６】
同様の方式で第１画像フレームと方向予測対象フレームに共通して含まれる動く客体（非固定客体）を決定することができる。
【０１１７】
その後、第１画像フレームで非固定客体の方向情報によって指示される第１方向が方向予測対象フレームにも同一に含まれた非固定客体の方向情報であり得る。方向予測対象フレームは決定された非固定客体の方向情報および画角に基づいて方向予測対象フレーム内の他の方向も決定することができる。
【０１１８】
第１画像フレームと方向予測フレームに共通して含まれる非固定客体が存在しない場合、第２画像フレームと方向予測フレームに共通して含まれる非固定客体を決定することができる。
【０１１９】
その後、第２画像フレームで非固定客体の方向情報によって指示される第２方向が方向予測対象フレームにも同一に含まれた非固定客体の方向情報であり得る。方向予測対象フレームは決定された非固定客体の方向情報および画角に基づいて方向予測対象フレーム内の他の方向も決定することができる。
【０１２０】
図１０は、本発明の実施例に係るユーザーの関心を考慮して識別情報を生成する方法を示した概念図である。
【０１２１】
図１０では、再生される全方位画像にユーザーが関心を持つ方向に対する識別子を追加するための方法が開示される。
【０１２２】
図１０を参照すると、ユーザーが全方位画像を視聴する場合、ユーザーが全方位画像上の特定の客体に関心を持って客体を追跡しながら全方位画像を視聴することができる。
【０１２３】
例えば、全方位画像が鷲が飛ぶ画像であるとする時、ユーザーは全方位画像で鷲の動きを追跡しながら画像を鑑賞することができる。さらに他の例として、全方位画像が犯人の位置追跡のために活用される場合、ユーザーが全方位画像で動く犯人の動きをトラッキングすることができる。全方位画像の特性上３６０度方向のうち特定の方向に鷲／犯人のような特定の客体が動くことができる。
【０１２４】
本発明の実施例によれば、全方位画像再生装置はユーザーが関心を持って視聴する客体を判断し、客体の動きをトラッキングしてユーザーの現在の視線方向を誘導することができる。
【０１２５】
まず、全方位画像再生装置がユーザーが関心を持って視聴する関心客体１０２０を決定することができる。
【０１２６】
全方位画像再生装置は、ユーザーの視線方向１０００を基準に臨界範囲１０５０内に臨界時間以上存在する少なくとも一つの客体の存在を判断して、ユーザーが関心を持って視聴する関心客体１０２０を決定することができる。ユーザーの視線方向１０００は現在ディスプレイ上で出力される画像の中心方向であり得る。関心客体を決定する方法については、詳細に後述する。
【０１２７】
全方位画像再生装置は、関心客体１０２０がユーザーの視線方向１０００を基準とした臨界範囲１０５０を外れるかどうかを決定する。
【０１２８】
全方位画像再生装置は、関心客体１０２０がユーザーの視線方向１０００を基準に臨界範囲１０５０以上を外れる場合、客体位置指示子１０３０を生成してユーザーに関心客体１０２０が動く方向に対する情報を与えることができる。
【０１２９】
客体位置指示子１０３０は矢印のような指示子であり得、ユーザーは客体位置指示子１０３０に基づいて客体の移動方向について追跡することができる。
【０１３０】
図１１は、本発明の実施例に係るユーザーの関心客体を決定する方法を示した概念図である。
【０１３１】
図１１では、全方位画像を視聴するユーザーの関心客体を決定するための方法が開示される。
【０１３２】
図１１を参照すると、ユーザーの第１時点１１６０に第１視線方向１１１０の臨界範囲１１００内に客体１１５０が存在し、第２時点１１７０に第２視線方向１１２０の臨界範囲１１００内に同一の客体１１５０が存在する場合、該当客体１１５０を関心客体に設定することができる。第１時点１１６０と第２時点１１７０は臨界時間の差を有する時点であり得る。
【０１３３】
前記条件を満足する客体が複数個である場合、第１視線方向１１１０および第２視線方向１１２０に相対的にさらに隣接した客体が関心客体として設定され得る。例えば、第１客体の方向と第１視線方向１１１０との誤差が５度であり、第２視線方向１１２０との誤差が１０度であり、第２客体の方向と第１視線方向１１１０との誤差が３度であり、第２視線方向１１２０との誤差が５度である場合、第２客体が関心客体として設定され得る。
【０１３４】
または前記条件を満足する客体が複数個である場合、第１視線方向１１１０より第２視線方向１１２０に加重値を設けて第２視線方向にさらに隣接した客体を関心客体として設定することができる。例えば、第１客体の方向と第１視線方向１１１０との誤差が７度であり、第２視線方向１１２０との誤差が５度であり、第２客体の方向と第１視線方向１１１０との誤差が１０度であり、第２視線方向１１２０との誤差が２度である場合、第２客体が関心客体として設定され得る。
【０１３５】
関心客体として設定された客体には特定の指示子が追加され得る。ユーザーは関心客体を変化させたい場合、関心客体に変化させようとする客体と視線方向を一致させることによって、関心客体を新しく設定することができる。
【０１３６】
図１２は本発明の実施例に係るユーザーの関心客体を決定するための方法を示した概念図である。
【０１３７】
図１２では、他のユーザーの全方位画像鑑賞情報を考慮して全方位画像を視聴するユーザーの関心客体を決定するための方法が開示される。
【０１３８】
図１２を参照すると、全方位画像を視聴したユーザーの視聴記録が全方位画像サービスサーバー１２２０に伝送され得る。複数の全方位画像再生装置１２００は、複数のユーザーの全方位画像の再生に関連した情報である全方位画像再生情報を全方位画像サービスサーバー１２２０に伝送することができる。
【０１３９】
全方位画像再生情報は視聴記録情報を含むことができる。視聴記録情報は全方位画像が再生される特定の再生時間にユーザーの視聴方向に対する情報を含むことができる。例えば、視聴記録情報は特定の再生時間単位（例えば、１秒単位）とマッチングしたユーザーの視線方向情報を含むことができる。
【０１４０】
全方位画像サービスサーバー１２２０は、視聴記録情報に基づいて複数のユーザーが関心を持って多く見た客体に対する情報（以下、ユーザー関心客体情報）を抽出することができる。ユーザー関心客体は特定の再生時点で一定の臨界比率以上のユーザーが関心を示した客体であり得る。ユーザー関心客体情報は全方位画像再生装置１２５０で客体位置指示子を生成するために使われ得る。全方位画像サービスサーバー１２２０はユーザー関心客体情報を全方位画像再生装置１２５０に伝送することができる。全方位画像再生装置１２５０はユーザー関心客体情報に基づいて再生される画像で特定の客体を指示するための客体位置指示子を出力することができる。
【０１４１】
すなわち、他のユーザーの視聴記録情報を考慮して全方位画像を鑑賞するユーザーに、客体位置指示子を生成してユーザーに他のユーザーが関心を示した特定の客体が動く方向に対する情報を伝達することができる。
【０１４２】
図１３は本発明の実施例に係る撮影者の動きに基づいて方向情報の生成周期を調整するための方法を示した概念図である。
【０１４３】
図１３では、全方位画像を撮影するユーザーの動き程度を考慮して方向情報の生成周期を調整する方法が開示される。全方位画像処理装置はウェアラブル装置で具現されて移動中に撮影ができ、方向情報の生成周期は調節され得る。
【０１４４】
図１３を参照すると、全方位画像処理装置のセンサ部は全方位画像処理装置の方向変化の程度をセンシングし、方向変化の程度により方向情報のセンシング周期が異なって設定され得る。
【０１４５】
臨界時間内に方向変化の程度をセンシングし（段階Ｓ１３００）、方向変化の程度が臨界値以下である場合（段階Ｓ１３１０）、方向情報のセンシング周期を増加させることができる（段階Ｓ１３２０）。その反対に方向変化の程度が臨界値を超過する場合（段階Ｓ１３１０）、方向情報のセンシング周期を減少させることができる（段階Ｓ１３３０）。このようなセンシング周期の増加および減少は、最小周期値、最大周期値まで減少または増加させることができる。
【０１４６】
すなわち、撮影する方向が変わらない場合、方向情報のセンシング周期が次第に増加して最大周期値まで増加し得る。撮影する方向が変わる場合、方向情報のセンシング周期が次第に減少して最大周期値まで減少し得る。
【０１４７】
また、本発明の実施例によれば、全方位画像処理装置の方向が迅速に変わる場合が仮定され得る。すなわち、臨界時間内の方向変化の程度が最大臨界値を超過する場合、方向情報のセンシング周期を最小周期値に減少させることができる。
【０１４８】
前述した本発明の実施例では、説明の便宜上全方位画像処理装置で方向情報を生成し、全方位画像再生装置で方向情報を処理して指示子を出力するものと仮定する。しかし、このような方向情報の生成／処理／活用動作は多様な装置上で遂行され得、前記全方位画像処理装置／全方位画像再生装置に限定されない。
【０１４９】
全方位画像で方向情報を生成／処理／活用して方向情報に基づいて別途の識別情報／指示子を生成する装置は、方向情報処理装置という用語で表現され得る。すなわち、方向情報処理装置は全方位画像の方向情報を生成および／または受信し、方向情報に基づいて全方位画像に対する方向指示子を設定する装置であり得る。また、前述した通り、方向情報処理装置は方向情報に基づいて全方位画像を視聴するユーザーの視線を特定の方向に誘導するための機能を遂行する装置でもよい。すなわち、方向情報処理装置が図５〜図１３で前述した機能を遂行することができ、このような機能は方向情報処理装置のプロセッサに基づいて遂行され得る。例えば、方向情報処理装置は通信部に基づいて全方位画像の方向情報を受信し、プロセッサを使って方向情報に基づいて全方位画像に対する方向指示子を設定することができる。
【０１５０】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【０１５１】
以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。
【０１５２】
したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。
【図１】
0006975476.tif 000002
【図２】
0006975476.tif 000003
【図３】
0006975476.tif 000004
【図４】
0006975476.tif 000005
【図５】
0006975476.tif 000006
【図６】
0006975476.tif 000007
【図７】
0006975476.tif 000008
【図８】
0006975476.tif 000009
【図９】
0006975476.tif 000010
【図１０】
0006975476.tif 000011
【図１１】
0006975476.tif 000012
【図１２】
0006975476.tif 000013
【図１３】
0006975476.tif 000014