(57)【要約】本発明は画像から処理対象客体を除去する方法およびこのような方法を遂行する装置に関する。画像から処理対象客体を除去する方法は、画像処理装置が画像から処理対象客体を決定する段階と画像処理装置が処理対象客体に対する画像後処理を遂行する段階を含むものの、処理対象客体は撮像が意図されていない客体であることができる。【選択図】図６
2020525922.tif 000002
【特許請求の範囲】
【請求項１】
画像から処理対象客体を除去する方法は、
画像処理装置が前記画像から前記処理対象客体を決定する段階；および
前記画像処理装置が前記処理対象客体に対する画像後処理を遂行する段階を含むものの、
前記処理対象客体は撮像が意図されていない客体であることを特徴とする、方法。
【請求項２】
前記処理対象客体は判断対象領域内で存在の有無が判断され、
前記判断対象領域は複数の画像に含まれた前記処理対象客体と同じ客体の撮像位置に対する学習を通じて決定されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記画像は複数の画像撮像部を含む全方位画像処理装置によって生成された全方位画像であり、
前記全方位画像処理装置はウェアラブル装置であることを特徴とする、請求項２に記載の方法。
【請求項４】
前記処理対象客体は前記全方位画像処理装置を着用した使用者の身体の一部であることを特徴とする、請求項３に記載の方法。
【請求項５】
前記処理対象客体は前記画像から削除され、
前記処理対象客体を含む補間対象領域は前記処理対象客体を含むフレームおよび／または前記フレームと隣接した隣接フレームに基づいて補間されることを特徴とする、請求項１に記載の方法。
【請求項６】
画像から処理対象客体を除去する画像処理装置は、
外部装置との通信のための通信部；および
前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、
前記プロセッサは前記画像から前記処理対象客体を決定し、
前記処理対象客体に対する画像後処理を遂行するように具現されるものの、
前記処理対象客体は撮像が意図されていない客体であることを特徴とする、画像処理装置。
【請求項７】
前記処理対象客体は判断対象領域内で存在の有無が判断され、
前記判断対象領域は複数の画像に含まれた前記処理対象客体と同じ客体の撮像位置に対する学習を通じて決定されることを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記画像は複数の画像撮像部を含む全方位画像処理装置によって生成された全方位画像であり、
前記全方位画像処理装置はウェアラブル装置であることを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
前記処理対象客体は前記全方位画像処理装置を着用した使用者の身体の一部であることを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
前記処理対象客体は前記画像から削除され、
前記処理対象客体を含む補間対象領域は前記処理対象客体を含むフレームおよび／または前記フレームと隣接した隣接フレームに基づいて補間されることを特徴とする、請求項６に記載の画像処理装置。
【請求項１１】
請求項１〜請求項５のいずれか一項に記載された方法を遂行するためのコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像から処理対象客体を除去する方法およびこのような方法を遂行する装置に関する。より詳細には、画像処理装置によって撮像される動画情報から不要に（または不適切に）含まれた客体を画像後処理を通じて除去する画像処理方法および装置に関する。
【背景技術】
【０００２】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。
【０００３】
全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ  ｖｉｅｗ  ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ，  ３６０度カメラ）を用いて全方位画像を生成することができる。
【０００４】
全方位画像処理装置によって全方位画像が生成される場合、不要に（または不適切に）撮像された客体が存在し得、このような不要に（または不適切に）撮像された客体に対する後処理が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は前述した問題点をすべて解決することをその目的とする。
【０００６】
また、本発明は、全方位画像処理装置によって撮像された全方位画像において、不要に（または不適切に）撮像された客体を処理対象客体として決定し、処理対象客体を全方位画像で画像後処理を通じて処理することを目的とする。
【０００７】
また、本発明は、全方位画像で処理対象客体に対する画像後処理後に画像補間を通じて処理対象客体の除去後にも自然な全方位画像を生成することを他の目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するための本発明の代表的な構成は以下の通りである。
【０００９】
本発明の一態様によれば、画像から処理対象客体を除去する方法は、画像処理装置が前記画像から前記処理対象客体を決定する段階と前記画像処理装置が前記処理対象客体に対する画像後処理を遂行する段階を含むものの、前記処理対象客体は撮像が意図されていない客体であることを特徴とすることができる。
【００１０】
本発明の他の態様によれば、画像から処理対象客体を除去する画像処理装置は、外部装置との通信のための通信部と前記通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むものの、前記プロセッサは前記画像から前記処理対象客体を決定し、前記処理対象客体に対する画像後処理を遂行するように具現されるものの、前記処理対象客体は撮像が意図されていない客体であることを特徴とすることができる。
【発明の効果】
【００１１】
本発明によれば、全方位画像処理装置によって撮像された全方位画像において、不要に（または不適切に）撮像された客体を処理対象客体として決定し、処理対象客体を全方位画像で画像後処理を通じて処理可能である。
【００１２】
また、全方位画像で処理対象客体に対する画像後処理後に画像補間を通じて処理対象客体の除去後にも自然な全方位画像を生成可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例に係る全方位画像処理装置を示す概念図である。
【図２】本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【図３】本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【図４】本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【図５】本発明の実施例に係る処理対象客体に対する画像処理方法を示した概念図である。
【図６】本発明の実施例に係る判断対象領域を決定する方法を示した概念図である。
【図７】本発明の実施例に係る判断対象領域を決定する方法を示した概念図である。
【図８】本発明の実施例に係る処理対象客体決定方法を示した概念図である。
【図９】本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【図１０】本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【図１１】本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【図１２】本発明の実施例に係る全方位画像処理装置の動作を示した概念図である。
【発明を実施するための形態】
【００１４】
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施例から他の実施例に変更されて具現できる。また、それぞれの実施例内の個別の構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は特許請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多様な側面にわたって同一または類似する構成要素を示す。
【００１５】
以下、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例について添付図面を参照して詳細に説明する。
【００１６】
以下、本発明の実施礼の画像処理装置は全方位画像処理装置を含むことができる。全方位画像処理装置は全方位（または３６０度画像）を撮像できる全方位カメラ（３６０度カメラ）を含むことができる。
【００１７】
また、以下、本発明の実施例で開示される画像情報、動画情報は全方位画像（または３６０度画像）を含むことができる。
【００１８】
図１は、本発明の実施例に係る全方位画像処理装置を示す概念図である。
【００１９】
図１では全方位画像処理装置の構造が開示される。
【００２０】
図１を参照すると、全方位画像処理装置１００はウェアラブル構造であって、ユーザーの首にかけることができるネックレスと類似する形状であり得る。全方位画像処理装置１００は、図１に示すように、一面が開放されたネックレスの形状でもよく、一面が開放されていないネックレスの形状でもよい。以下、本発明の実施例では、全方位画像処理装置１００が一面が開放されたＵ字状を有するものと仮定する。このようなＵ字状の全方位画像処理装置１００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅｄｅｖｉｃｅ）の形態でかけられて全方位画像を撮影することができる。
【００２１】
本発明の実施例では、説明の便宜上、全方位画像処理装置１００がネックレスの形態（または一面が開放されたネックレスの形態、Ｕ字状）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１００は、単にユーザーの首にかける形態でなくてもよい。例えば、全方位画像処理装置１００は、掛けたり／付着可能な様々な形態でユーザーの他の身体邪位または外部の物体（または客体）／装置／構造物などに設置されて全方位画像を獲得してもよい。
【００２２】
ユーザーは、ウェアラブル装置として具現された全方位画像処理装置１００を首にかけて、両手が自由な状態で全方位画像を生成するための複数の画像を獲得することができる。
【００２３】
全方位画像処理装置１００は複数の画像撮像部を含むことができる。複数の画像撮像部のそれぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線による画像を個別に撮像することができる。複数個の画像撮像部のそれぞれの位置は、全方位画像処理装置１００で固定的であってもよいが、複数の画像撮像部のそれぞれは移動可能であり、複数の画像撮像部のそれぞれの位置は変化されてもよい。
【００２４】
例えば、全方位画像処理装置１００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄｏｆｖｉｅｗ）（例えば、１２０度〜１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０であり得る。
【００２５】
以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１００に含まれている構造が開示される。しかし、３つではなく、複数個（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１００に含まれて全方位画像を撮像してもよく、このような形態も本発明の権利範囲に含まれる。
【００２６】
第１画像撮像部１１０、第２画像撮像部１２０及び第３画像撮像部１３０は、画角に基づいて画像を撮像することができる。同一の時間資源上で第１画像撮像部１１０によって第１画像が生成され、第２画像撮像部１２０によって第２画像が生成され、第３画像撮像部１３０によって第３画像が生成され得る。第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０のそれぞれの画角は１２０度以上であり得、第１画像、第２画像及び第３画像では重なった撮像領域が存在し得る。この後、全方位画像処理装置１００によって同一の時間資源上で撮像された第１画像、第２画像及び第３画像をスティッチング／補正して全方位画像が生成され得る。複数の画像に対するスティッチング及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１００と通信可能なユーザー装置（スマートフォン）に基づいて行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。
【００２７】
以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
【００２８】
図２は、本発明の実施例に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。
【００２９】
図２では、Ｕ字状の全方位画像処理装置に位置した複数の画像撮像部の特徴が開示される。図２に示された画像撮像部の位置は例示的なものである。複数の画像撮像部のそれぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上の様々な位置に位置することができる。
【００３０】
図２の上段では、全方位画像処理装置の後面部が開示される。
【００３１】
全方位画像処理装置に含まれている第１画像撮像部２１０及び第２画像撮像部２２０は、全方位画像処理装置において曲率が存在する曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部２１０及び第２画像撮像部２２０が位置することができる。例えば、Ｕ字状の全方位画像処理装置の最大曲率地点（例えば、Ｕ字状の中間部分）を基準に第１画像撮像部２１０及び第２画像撮像部２２０が一定の距離上に位置することができる。
【００３２】
第１画像撮像部２１０は、ユーザーの視線（ｌｉｎｅｏｆｓｉｇｈｔ）方向を基準に、後面左側の四角領域を含む領域を撮像することができる。第２画像撮像部２２０は、ユーザーの視線を基準に、後面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部２１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部２２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０〜１８０度であり得る。
【００３３】
第１画像撮像部２１０及び第２画像撮像部２２０による撮像が行われる場合、第１画角と第２画角によって重なる第１重なり領域２１５が発生し得る。その後、重なり領域を考慮したスティッチングに基づいて全方位画像が生成され得る。
【００３４】
図２の下段では、全方位画像処理装置の前面部が開示される。
【００３５】
全方位画像処理装置の前面部には第３画像撮像部２３０が位置することができる。具体的には、第３画像撮像部２３０は、全方位画像処理装置の末端部（Ｕ字状の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字状の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部２３０は第１末端部又は第２末端部のいずれかの末端部に位置することができる。
【００３６】
第３画像撮像部２３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。
【００３７】
具体的には、第３画像撮像部２３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度〜１８０度であり得る。第３画像撮像部２３０による撮像が行われる場合、第１画像撮像部２１０の第１画角と第３画像撮像部２３０の第３画角による第２重なり領域２２５が発生し得る。第３画像撮像部２３０による撮像が行われる場合、第２画像撮像部２２０の第２画角と第３画像撮像部２３０の第３画角による第３重なり領域２３５が発生し得る。
【００３８】
首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部２１０、第２画像撮像部２２０は、地面を基準に第３画像撮像部２３０よりも相対的に高い所に位置し得る。また、第３画像撮像部２３０は一方の末端部にのみ位置するようになる。
【００３９】
既存の全方位画像処理装置では、同一高さに位置した複数の画像撮像部が一定の角度を有して具現されるのに反して、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部のそれぞれによって生成された複数の画像に対する第１重なり領域２１５、第２重なり領域２２５及び第３重なり領域２３５の大きさ／形態が互いに異なり得る。
【００４０】
この後、第１重なり領域２１５／第２重なり領域２２５／第３重なり領域２３５を考慮した第１画像撮像部２１０、第２画像撮像部２２０及び第３画像撮像部２３０のそれぞれによって生成された第１画像、第２画像及び第３画像に対する画像処理手続き（スティッチング／補正など）に基づいて、全方位画像が生成され得る。
【００４１】
第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施例も本発明の権利範囲に含まれる。
【００４２】
図３は、本発明の実施例に係る複数の画像撮像部の撮像線を示す概念図である。
【００４３】
図３では、全方位画像処理装置に設置された複数の画像撮像部のそれぞれの撮像線が開示される。地面をＸ軸とＺ軸がなすＸＺ平面と平行と仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部のそれぞれのレンズの中央を垂直に貫通する線と定義することができる。
【００４４】
既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で具現することができる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線の間に一定の角度（例えば、１２０度）を有する複数の線であり得る。
【００４５】
本発明の実施例に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の具現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なり得る。したがって、本発明の実施例に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは差がある。
【００４６】
図３に示された複数の画像撮像部のそれぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部のそれぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図３に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。
【００４７】
図３の上段では、第１画像撮像部３１０及び第２画像撮像部３２０の撮像線が開示される。
【００４８】
第１画像撮像部３１０及び第２画像撮像部３２０は、第３画像撮像部３３０より相対的に高い位置に具現され得る。全方位画像処理装置を着用したユーザーが立っている方向をＹ軸方向と仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置で第１画像撮像部３１０及び第２画像撮像部３２０が位置した曲率を有する部分（Ｕ字状における曲線／中央部分）が相対的に上がり、第３画像撮像部３３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がり得る。
【００４９】
例えば、第１画像撮像部３１０の第１撮像線３１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【００５０】
第２画像撮像部３２０の第２撮像線３２５は、ＸＺ平面と平行であるものの、Ｙ軸の地点ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【００５１】
図３の下段を参照すると、第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。ｂはａよりも小さい値であり得る。第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように具現され得る。
【００５２】
すなわち、第１撮像線３１５及び第２撮像線３２５はＹ軸を基準に同一の高さを有し、第３撮像線３３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置し得る。図３に示された第１撮像線３１５、第２撮像線３２５及び第３撮像線３３５は、互いに異なる特性を有する撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。
【００５３】
図４は、本発明の実施例による複数の画像撮像部の撮像線を示す概念図である。
【００５４】
図４では、図３とは異なる複数の画像撮像部の撮像線が開示される。同様に、図４においても、地面がＸ軸とＺ軸がなすＸＺ平面に対して平行であると仮定する。
【００５５】
図４の上段には、第１画像撮像部４１０及び第２画像撮像部４２０の撮像線が開示される。
【００５６】
第１画像撮像部４１０及び第２画像撮像部４２０は、第３画像撮像部４３０より相対的に高い位置に具現され得る。同様に、ユーザーが立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部４１０及び第２画像撮像部４２０が位置した曲率を有する部分（Ｕ字状における曲線部分）が相対的に上がり、第３画像撮像部４３０が位置した脚部分（Ｕ字状における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。
【００５７】
例えば、第１画像撮像部４１０の第１撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。
【００５８】
第２画像撮像部４２０の第２撮像線４１５は、ＸＺ平面と平行であるものの、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。
【００５９】
図４の下段には第３画像撮像部４３０の撮像線が開示される。
【００６０】
第３画像撮像部４３０の第３撮像線４３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【００６１】
第３画像撮像部４３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行ではなく、ＸＺ平面と一定の角度（例えば、０〜３０度）を有し得る。
【００６２】
すなわち、第１撮像線４１５と第２撮像線４２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線４３５は、Ｙ軸を基準に第１撮像線４１５及び第２撮像線４２５よりも相対的に低い位置に位置し得る。また、第１撮像線４１５及び第２撮像線４２５はＸＺ平面と平行であるが、第３撮像線４３５はＸＺ平面と平行でなくてもよい。
【００６３】
本発明の他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することができる。
【００６４】
本発明のさらに他の実施例として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を有することができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を有することができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を有することもできる。
【００６５】
すなわち、複数の画像撮像部のそれぞれの撮像線が、既存の同一のＹ軸地点で地面と同一の角度を有する画像処理装置とは異なり、本発明の実施例に係る全方位画像処理装置は、複数の画像撮像部のそれぞれの撮像線が互いに異なるＹ軸地点に位置し、地面（またはＸＺ平面）と互いに異なる角度を有することができる。
【００６６】
本発明の実施例に係るウェアラブル全方位画像処理装置は、撮影を望む被写体を自由に特定し難い点があるだけでなく、身体部位に対する不要な撮影可能性が存在する。図４の処理対象客体４５０のように身体部位に対する撮影可能性が存在する。
【００６７】
例えば、全方位画像処理装置の撮影時に全方位画像処理装置に近接した身体部位が撮影され得る。全方位画像装置が頭付近に位置するのであれば、髪の毛などに対するイメージが撮像された全方位画像に含まれ、全方位画像装置が首にかける形態であれば、主にあごと肩に対するイメージが撮像された全方位画像に含まれ得る。
【００６８】
全方位画像に撮像された身体の一部が含まれる場合、全方位画像の鑑賞時に妨害となり得る。したがって、全方位画像で不要に（または不適切に）含まれた客体（例えば、身体部位）を判断して自動で除外する機能、有効な撮影領域を指定して撮影することによって鑑賞者がより高品質の撮影結果物を鑑賞できる機能が全方位画像処理装置に具現される必要がある。
【００６９】
以下、本発明の実施例で全方位画像に不要に（または不適切に）含まれた客体は処理対象客体という用語で表現され得る。有効な撮影領域は処理対象客体を含む撮影領域を除いた領域であり得る。
【００７０】
処理対象客体に対する判断および処理は、全方位画像処理装置または全方位画像処理装置から全方位画像情報を受信して処理する別途の外部装置によって遂行され得る。以下、処理対象客体に対して判断し画像後処理を遂行する装置は画像処理装置という用語で表現され得る。画像処理装置は全方位画像処理装置および／または外部装置を含むことができる。
【００７１】
画像で処理対象客体を処理する画像処理装置は、外部装置との通信のための通信部と、通信部と動作可能に（ｏｐｅｒａｔｉｖｅｌｙ）連結されたプロセッサを含むことができる。プロセッサは以下、本発明で後述する処理対象客体に対する画像処理を遂行することができる。
【００７２】
また、以下、本発明の実施例では説明の便宜上全方位画像から処理対象客体を除去する方法が開示されるが、全方位画像でない一般画像から処理対象客体を除去する方法にも本発明が使われ得、このような実施例も、本発明の権利に含まれる。
【００７３】
以下、処理対象客体に対する判断方法および処理対象客体に対する画像後処理方法が具体的に開示される。
【００７４】
図５は、本発明の実施例に係る処理対象客体に対する画像処理方法を示した概念図である。
【００７５】
図５を参照すると、処理対象客体の存在の有無を判断するために全方位画像内で判断対象領域が決定され得る（段階Ｓ５００）。
【００７６】
判断対象領域は全方位画像上で処理対象客体の存在の有無を判断するための領域であり得る。換言すれば、判断対象領域は全方位画像内で全方位画像処理装置によって撮像が意図されていない処理対象客体を含む領域であり得る。
【００７７】
判断対象領域は多様な方法に基づいて決定され得る。判断対象領域はあらかじめ設定されるか、撮像距離に基づいて決定されるか、学習によって決定され得る。判断対象領域の決定方法は後述される。あらかじめ判断対象領域が設定され、判断対象領域内に処理対象客体が存在するかどうかが迅速に判断され得る。
【００７８】
判断対象領域内で処理対象客体の存在の有無が判断され得る（段階Ｓ５１０）。
【００７９】
処理対象客体は全方位画像で不要に（または不適切に）撮像された客体であり得る。前述した通り、全方位画像処理装置がウェアラブル装置である場合、使用者の特定身体部位（あご、肩など）が不要に（または不適切に）撮像されて全方位画像に含まれ得る。換言すれば、処理対象客体は撮像が意図されていない客体であり得る。
【００８０】
処理対象客体はあらかじめ設定された身体部位であるか画像撮像部の位置を基準として臨界距離以下で近接して撮像される客体であり得る。例えば、あごや肩のような部位は、画像撮像部の位置を基準として臨界距離以下の近接した距離で撮像され得、このように臨界距離以下の近接した距離で撮像された客体は処理対象客体に決定され得る。
【００８１】
または処理対象客体は画像撮像部の位置を基準として臨界距離以下で近接撮像されて焦点が合わない客体でもよい。
【００８２】
処理対象客体に対する画像後処理が遂行され得る（段階Ｓ５２０）。
【００８３】
判断対象領域内に処理対象客体が存在する場合、処理対象客体に対する画像後処理が遂行され得る。
【００８４】
具体的には、全方位画像は複数のフレームを含み、複数のフレームのうち処理対象客体を含むフレームに対して後処理が遂行され得る。具体的には、処理対象客体が除去されるか、処理対象客体が異なるフレームの画像情報、処理対象客体を含むフレームの周辺画像情報に基づいて補間され得る。画像後処理方法は具体的に後述される。
【００８５】
判断対象領域内に処理対象客体が存在しない場合、処理対象客体に対する追加の画像後処理なしに全方位画像が提供され得る。
【００８６】
また、本発明の実施例によると、判断対象領域に対する決定なしに全方位画像で直接的に処理対象客体の存在の有無を判断した後、処理対象客体に対する画像後処理が遂行されてもよい。すなわち、全方位画像で別途の領域を設定することなく処理対象客体の存在の有無を判断し、処理対象客体に対する画像後処理が遂行され得る。
【００８７】
図６は、本発明の実施例に係る判断対象領域を決定する方法を示した概念図である。
【００８８】
図６では、全方位画像で処理対象客体に対する探索のための判断対象領域を決定する方法が開示される。
【００８９】
図６を参照すると、使用者が全方位画像処理装置を首に着用した場合、全方位画像処理装置によって処理対象客体（例えば、使用者の肩領域のイメージ）６００が撮像され得る。すなわち、全方位画像は処理対象客体６００を含むことができる。
【００９０】
判断対象領域６５０は全方位画像内で全方位画像処理装置によって撮像が意図されていない処理対象客体６００を含む領域であり得る。換言すれば、判断対象領域６５０は全方位画像内で処理対象客体６００の存在の有無を判断するための領域と定義されてもよい。すなわち、判断対象領域６５０は全方位画像内で処理対象客体６００が存在するかどうかを判断するためにあらかじめ定義された領域でもよい。
【００９１】
または判断対象領域６５０は現在全方位画像処理装置に基づいて撮像しようとする関心領域から外れた領域（またはアウトオブフォーカス（ｏｕｔ  ｏｆ  ｆｏｃｕｓ）領域）であり得る。関心領域は全方位画像処理装置の焦点が合う領域であるか撮像される全方位画像の中心を基準とした一定範囲の領域であり得る。または判断対象領域６５０は全方位画像の撮像中心に位置した客体と関連度が低い背景領域であり得る。
【００９２】
または判断対象領域６５０は撮像距離が臨界距離（例えば、３０ｃｍ）より近い領域であり得る。撮像距離は全方位画像処理装置の画像撮像部と客体間の距離であり得る。例えば、前述した本発明の実施例で開示された全方位画像処理装置のように、全方位画像処理装置が首に位置する場合、全方位画像処理装置を着用した使用者の肩が臨界距離以内の撮像距離に位置し得、臨界距離以内の撮像距離に該当する領域は判断対象領域に決定され得る。
【００９３】
図７は、本発明の実施例に係る判断対象領域を決定する方法を示した概念図である。
【００９４】
図７では、全方位画像で処理対象イメージを含む判断対象領域を決定するための方法が開示される。図７では特に、学習（ｌｅａｒｎｉｎｇ）に基づいて判断対象領域を決定する方法が開示される。
【００９５】
図７を参照すると、全方位画像処理装置の構造を考慮する時、継続的に全方位画像の特定領域上に使用者の特定身体部位（例えば、肩）が撮像される可能性が高くなり得る。このような場合、全方位画像上で使用者の特定身体部位のイメージが位置する可能性が高い領域が判断対象領域７００として設定され得る。
【００９６】
使用者の肩のイメージが位置する可能性が高い領域が判断対象領域７００としてあらかじめ設定されてもよく、使用者の肩のイメージが位置する可能性が高い領域に対する学習を通じて判断対象領域７００が設定され得る。
【００９７】
例えば、全方位画像処理装置によって撮像された全方位画像が収集され、収集された全方位画像内で処理対象客体として存在する肩のイメージに対する学習が遂行され得る。このような場合、処理対象客体が存在する判断対象領域７００が学習を通じて適応的に変化され得る。全方位画像に処理対象客体の位置に対する学習が遂行され、処理対象客体が存在する可能性が臨界パーセンテージ以上の領域が判断対象領域７００として決定され得る。
【００９８】
図８は、本発明の実施例に係る処理対象客体決定方法を示した概念図である。
【００９９】
図８では、全方位画像の判断対象領域で処理対象客体を決定するための方法が開示される。
【０１００】
図８を参照すると、処理対象客体８４０はあらかじめ設定され得る。前述した通り、全方位画像処理装置がウェアラブル装置である場合、特定身体部位（あご、肩など）が処理対象客体８４０として撮像され得る。
【０１０１】
全方位画像で処理対象客体８４０が位置する可能性がある判断対象領域または全体の全方位画像領域で処理対象客体８４０の存在の有無が判断され得る。全方位画像で処理対象客体８４０が存在する場合、画像後処理を通じて処理対象客体８４０が除去されるか、処理対象客体８４０が処理対象客体８４０を含むフレームの周辺画像情報および／または異なるフレームの画像情報に基づいて補間され得る。画像後処理方法は具体的に後述される。
【０１０２】
判断対象領域に処理対象客体８４０が存在するかどうかに対する決定のために、処理対象客体８４０に対するテンプレートイメージが基準処理対象イメージ８００としてあらかじめ保存されていてもよい。処理対象客体イメージが全方位処理装置の構造によって不要に撮像される使用者のあご、肩などに対するイメージである場合、基準処理対象イメージ８００は全方位画像で不要に撮像される使用者のあご、肩などに対するイメージを判別するための基準になるイメージであり得る。
【０１０３】
基準処理対象イメージ８００と撮像された全方位画像に含まれる判断対象客体イメージ８２０間の比較に基づいて、判断対象客体が処理対象客体８４０であるかどうかが判断され得る。
【０１０４】
例えば、判断対象領域に客体１、客体２、客体３が存在する場合、客体１、客体２、客体３が判断対象客体であり、客体１、客体２、客体３のそれぞれのイメージは判断対象客体イメージ８２０であり得る。
【０１０５】
判断対象客体イメージ８２０と基準処理対象イメージ８００間の類似度（またはマッチング度）が分析され、類似度が高い場合、判断対象客体が処理対象客体として決定され得る。
【０１０６】
本発明の実施例によると、処理対象客体に対する学習も遂行され得る。前述した通り、全方位画像に含まれる処理対象客体に対する継続的な学習を通じて基準処理対象イメージ８００がアップデートされ得、処理対象客体に対する判断の精度が増加し得る。
【０１０７】
処理対象客体８４０に対してあらかじめ設定されていない場合、下記のようなイメージが判断対象客体として設定され得る。
【０１０８】
例えば、判断対象客体は、１）判断対象領域で臨界時間の間存在する客体、２）判断対象領域で繰り返し現れる客体、または３）全方位画像処理装置の撮像位置の移動にもかかわらず、判断対象領域で臨界時間の間存在したり判断対象領域で繰り返し現れる客体、４）全方位画像で臨界時間の間存在する客体、５）全方位画像で繰り返し現れる客体、または６）全方位画像処理装置の撮像位置の移動にもかかわらず、全方位画像で臨界時間の間存在したり繰り返し現れる客体であり得る。
【０１０９】
前記のような判断対象客体が存在する場合、全方位画像撮像を遂行した使用者に該当客体に対する後処理の有無に対する判断を要請することができる。
【０１１０】
例えば、使用者の髪の毛、使用者のあごイメージが判断対象客体として判断された場合、使用者の髪の毛、使用者のあごイメージに対する画像後処理を遂行するかに対する確認を使用者に要請することができる。使用者から該当客体に対する画像後処理が要請される場合、客体に対する画像後処理を遂行することができる。
【０１１１】
図９は、本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【０１１２】
図９では、処理対象客体に対する画像後処理方法が開示される。特に処理対象客体が含まれる対象フレームの周辺画像情報に基づいて処理対象客体が含まれる画像領域に対する補間を遂行する方法が開示される。
【０１１３】
図９を参照すると、処理対象客体を含む領域に対する別途の画像補間を通じて全方位画像が生成されてもよい。処理対象客体を含むフレームは補間対象フレーム９００という用語で表現され、処理対象客体を含む画像補間を遂行する領域は補間対象領域９２０という用語で表現され得る。
【０１１４】
具体的には、対象フレームの周辺ピクセル情報に基づいて画像補間を遂行して後処理全方位画像が生成されてもよい。
【０１１５】
補間対象フレーム９００の補間対象領域９２０が処理対象客体を含む場合、補間対象領域９２０の外郭領域９４０に位置したピクセル情報に基づいて補間対象領域９２０に対する画像補間が遂行され得る。例えば、外郭領域９４０は補間対象領域９２０の外側の線を基準として処理対象客体の中心方向の反対方向にｎ（ここでｎは自然数）個のピクセルが位置した領域であるか、領域の外側の線を基準として処理対象客体の中心方向の反対方向に一定の距離に位置したピクセルを含む領域であり得る。
【０１１６】
外郭領域９４０に位置したピクセル情報に基づいた補間対象領域９２０に対する補間は多様な方法に基づいて遂行され得る。
【０１１７】
補間対象領域９２０は複数の下位補間対象領域に分割され、複数の下位補間対象領域のそれぞれは最も隣接した外郭領域のピクセル情報（輝度情報、色差情報など）に基づいて補間され得る。
【０１１８】
補間精度を高めるために、複数の下位補間対象領域の分割は外郭領域９４０のピクセル特性を考慮して遂行され得る。例えば、外郭領域９４０のピクセル特性の変化の程度を考慮して複数の下位補間対象領域の分割が遂行され得る。具体的には、外郭領域９４０に含まれたピクセルの輝度情報および色差情報の変化の程度を考慮して変化度が一定の臨界変化度以上であるかの可否を判断して外郭領域９４０に対する分割が遂行され得る。このような分割を通じて補間精度が向上し得る。
【０１１９】
図１０は、本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【０１２０】
図１０では、処理対象客体に対する画像後処理方法が開示される。図１０では特に、処理対象客体を含む対象フレームを基準として、以前フレームの画像情報を考慮して処理対象客体が含まれる画像領域を補間する方法が開示される。
【０１２１】
図１０を参照すると、第ｎフレームが補間対象フレーム１０００であり、補間対象領域１０２０は処理対象客体を含むことができる。参照フレーム１０５０の第ｎ−ａフレーム（ここでａは自然数）は補間対象フレーム１０００の画像後処理のために参照されるフレームであり得る。参照フレーム１０５０は補間対象フレーム１０００の生成時点を基準として臨界時間内に生成されたフレームであり得る。または参照フレーム１０５０は補間対象フレーム１０００のデコーディング／エンコーディングのために参照されるフレームであるか、画像特性情報の類似度が相対的に高いフレームでもよい。参照フレーム１０５０に含まれる参照領域の画像情報に基づいて補間対象領域１０２０に対する補間が遂行され得る。
【０１２２】
説明の便宜上一つの参照フレーム１０５０、参照領域１０７０を開示するか、参照フレーム、参照領域は複数個であり得、複数個の参照フレームの画像情報が補間対象フレーム１０００に対する補間のために活用されてもよい。
【０１２３】
参照フレーム１０５０は補間対象フレーム１０００の画像情報を考慮して決定され得る。参照されるフレームの画像情報と補間対象フレームの画像情報間の類似度が高くない場合、補間時の画像の異質感はさらに大きくなり得る。このような場合、参照領域に基づいた画像補間手続きは遂行されなくてもよい。
【０１２４】
参照フレーム１０５０を決定するために類似度が判別されるフレームは参照候補フレームという用語で表現され得る。参照候補フレームは補間対象領域１０２０と対応する参照候補領域を含むことができる。補間対象フレーム間の類似度に基づいて参照候補フレームが参照フレーム１０５０として決定され、参照候補領域が参照領域１０７０として決定され得る。
【０１２５】
参照候補フレームの画像情報と補間対象フレーム１０００の画像情報間の類似度は、参照候補フレームの参照候補領域の外郭領域のピクセル特性情報および補間対象領域１０２０の外郭領域のピクセル特性情報に基づいて決定され得る。具体的には、参照候補領域の外郭領域のピクセル特性情報（例えば、輝度情報、色差情報）と補間対象領域１０２０の外郭領域のピクセル特性情報（例えば、輝度情報、色差情報）間の類似度が決定され得る。
【０１２６】
前述した通り、外郭領域は補間対象領域１０２０の外側の線を基準として、処理対象客体の中心の反対方向にｎ（ここでｎは自然数）個のピクセルが位置した領域であるか、領域の外側の線を基準として処理対象客体の中心の反対方向に一定の距離に位置したピクセルを含む領域であり得る。
【０１２７】
補間対象領域１０２０のピクセル特性情報と参照候補領域のピクセル特性情報に対する比較を通じて類似度を決定することができる。または補間対象領域１０２０の外郭領域を複数の第１下位外郭領域に分割し、参照候補領域の候補外郭領域を複数の第２下位外郭領域に分割し、複数の第１下位外郭領域のそれぞれと複数の第２下位外郭領域のそれぞれを対応させてピクセル特性情報に対する比較を通じて類似度を決定してもよい。類似度が臨界類似度以上の場合、参照候補フレームは参照フレーム１０５０として決定され、参照候補領域は参照領域１０７０として決定され得る。
【０１２８】
参照領域１０７０に位置した画像情報に基づいた補間対象領域１０２０に対する補間は多様な方法に基づいて遂行され得る。
【０１２９】
参照領域に位置した画像情報が補間対象領域１０２０の画像情報として活用され得る。または補間対象領域１０２０は複数の下位補間対象領域に分割され、複数の下位補間対象領域のそれぞれは最も隣接した外郭領域のピクセル情報（輝度情報、色差情報など）に基づいて補間され得る。補間精度を高めるために、複数の下位補間対象領域の分割は外郭領域のピクセル特性を考慮して遂行され得る。例えば、外郭領域のピクセル特性の変化の程度を考慮して複数の下位補間対象領域の分割が遂行され得る。
【０１３０】
図９で開示された補間対象フレームの画像情報に基づいて補間対象領域に対する補間を遂行する方法および図１０で参照領域の画像情報に基づいて画像補間を遂行する方法は、組み合わせられて使われてもよい。
【０１３１】
例えば、補間対象領域１０２０の外郭領域に位置したピクセル情報、参照領域１０７０のピクセル情報をすべて考慮して補間対象領域に対する補間が遂行され得る。具体的には、補間対象領域１０２０のうち中心部分は参照領域１０７０のピクセル情報を考慮して補間され、補間対象領域１０２０のうち中心部分を除いた外郭部分は補間対象領域１０２０の外郭領域に位置したピクセル情報を考慮して補間され得る。
【０１３２】
または、補間せずに処理対象客体を含む領域に対する削除が遂行され得る。補間せずに処理対象客体を含む領域に対する削除が遂行される領域は除去対象領域であり得る。例えば、全方位画像のうち一定の領域に継続的に使用者の肩のイメージが撮像される場合、肩のイメージを処理対象客体として決定し、肩のイメージを含む領域（または肩のイメージを含む領域を含む除去対象領域）を除去して後処理全方位画像が生成されてもよい。除去対象領域は一定範囲の画角に該当する領域でもよく、除去対象領域は全方位画像上で除去され得る。
【０１３３】
図１１は、本発明の実施例に係る処理対象客体に対する画像後処理方法を示した概念図である。
【０１３４】
図１１では、処理対象客体に対する判断方法が開示される。
【０１３５】
図１１を参照すると、フレーム別に処理対象客体の存在の有無を判断することは画像後処理プロセッシングに対する負担であり得る。したがって、特定フレームに対する処理対象客体の判断結果に基づいて、特定フレーム後のフレームについては特定フレームの判断結果を活用して処理対象客体に対する追加の判断が遂行され得る。
【０１３６】
具体的には、前述した方法に基づいて第１フレーム１１００に処理対象客体が存在すると決定され得る。第１フレーム１１００に処理対象客体が存在する場合、第１フレーム後の撮像フレーム１１５０にも処理対象客体が持続的にまたは繰り返し現れる可能性が高い。したがって、第１フレーム後の撮像フレーム１１５０に対する処理対象客体の存在の有無の判断は、第１フレーム１１００に存在する処理対象客体に基づいて遂行され得る。
【０１３７】
第１フレーム１１００に存在する処理対象客体の特性情報を抽出し、処理対象客体の特性情報と類似する特性情報を有する客体が第１フレーム後の撮像フレーム１１５０に存在するかどうかが判断され得る。すなわち、第１フレーム１１００の処理対象客体イメージが一つの基準として設定され、以降、第１フレーム後の撮像フレーム１１５０については第１フレーム１１００の処理対象客体イメージとの類似度に基づいて処理対象客体が存在するかどうかが決定され得る。
【０１３８】
すなわち、第１フレーム後の撮像フレーム１１５０については個別的なフレームに対する処理対象客体の存在の有無判断が遂行されず、第１フレーム１１００の処理対象客体の存在の有無に対する追跡を通じて処理対象客体が以後のフレームに含まれているかどうかが決定され得る。処理対象客体の存在の有無についての追跡は客体の移動ベクトルに基づいて遂行されるか、設定された判断対象領域内で遂行され得る。
【０１３９】
図１２は、本発明の実施例に係る全方位画像処理装置の動作を示した概念図である。
【０１４０】
図１２では、全方位画像処理装置の動作が開示される。
【０１４１】
図１２を参照すると、前述した通り、全方位画像処理装置１２００は複数の画像撮像部１２５０を含むことができる。
【０１４２】
複数の画像撮像部１２５０のそれぞれのレンズ部はハードウェアに基づいて物理的な駆動が可能であるため、特定方向の画角（または撮像線の角度）が調節可能であるか、ソフトウェアに基づいて特定方向の画角（または撮像線の角度）が調節可能であり得る。
【０１４３】
本発明の実施例によると、全方位画像処理装置１２００は処理対象客体に対する判断結果情報のフィードバックを受けることができる。全方位画像処理装置１２００は処理対象客体に対する判断結果情報に基づいて、変化させる特定方向の画角（または撮像線の角度）についての情報（以下、駆動制御情報）を決定して複数の画像撮像部１２５０のそれぞれの駆動を制御することができる。
【０１４４】
または処理対象客体に対する判断結果情報に基づいて、変化させる特定方向の画角（または撮像線の角度）についての情報（以下、駆動制御情報）が決定され得、全方位画像処理装置１２００はフィードバックされた駆動制御情報に基づいて複数の画像撮像部１２５０のそれぞれの駆動を制御することができる。
【０１４５】
全方位画像内で処理対象客体の位置が決定され、処理対象客体の位置に基づいて駆動制御情報が決定され得る。駆動制御情報は全方位画像内で処理対象客体を除いて撮像するための画角についての情報を含むことができる。
【０１４６】
全方位画像内で処理対象客体を除いて撮像するための第１画角が決定され、第１画角についての情報が１次駆動制御情報として全方位画像処理装置１２００に伝送され得る。
【０１４７】
１次駆動制御情報に基づいて全方位画像処理装置１２００の画像撮像部１２５０が画角を変更することができる。１次駆動制御情報に基づいて変更された画角により撮像された全方位画像が処理対象客体を含むかどうかが追加的に判断され得る。全方位画像が処理対象客体を含む場合、追加的な駆動制御のための２次駆動制御情報が生成され、全方位画像処理装置１２００に伝送され得る。
【０１４８】
すなわち、このようなフィードバック方式を通じての画角調整を通じて、全方位画像処理装置１２００により撮像される画像が処理対象客体を含まないようにしたり処理対象客体が見える領域を最大限減少させることができる。
【０１４９】
全方位画像処理装置１２００に対する画角調整を遂行するにおいて調整される画角の範囲を制限して、過度な画角調整により画像が縮まないようにすることもできる。例えば、制限または調整される画角の範囲が大きい場合、全方位画像の一部の画角に対する撮像ができない場合もある。したがって、調整可能な画角の範囲を設定し、調整可能な画角の範囲を外れて調整されないように画角が設定されてもよい。
【０１５０】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級な言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
【０１５１】
以上、本発明について、具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を加えることができる。
【０１５２】
したがって、本発明の思想は前記説明された実施例に限定して定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するものと言える。
【図１】
2020525922.tif 000003
【図２】
2020525922.tif 000004
【図３】
2020525922.tif 000005
【図４】
2020525922.tif 000006
【図５】
2020525922.tif 000007
【図６】
2020525922.tif 000008
【図７】
2020525922.tif 000009
【図８】
2020525922.tif 000010
【図９】
2020525922.tif 000011
【図１０】
2020525922.tif 000012
【図１１】
2020525922.tif 000013
【図１２】
2020525922.tif 000014
【国際調査報告】
2020525922.tif 000015
2020525922.tif 000016
2020525922.tif 000017
2020525922.tif 000018