(57)【要約】【課題】それぞれの撮像光学系から得た画像間での被写体の各画素の対応関係が分かり難くならない態様で、２つの撮像光学系のうちの一方の他方に対する位置を可変とすること。【解決手段】撮像装置は、第１画角を有する第１撮像光学系と、前記第１画角より広い第２画角を有する第２撮像光学系と、前記第１撮像光学系の光軸上を前記第２撮像光学系の光学中心が通る状態で、前記第２撮像光学系に対する前記第１撮像光学系の位置を変化させる機構とを含む。【選択図】図４
2018078422.tif 000002
【特許請求の範囲】
【請求項１】
第１画角を有する第１撮像光学系と、
前記第１画角より広い第２画角を有する第２撮像光学系と、
前記第１撮像光学系の光軸上を前記第２撮像光学系の光学中心が通る状態で、前記第２撮像光学系に対する前記第１撮像光学系の位置を変化させる機構とを含む、撮像装置。
【請求項２】
前記第２撮像光学系は、２つのレンズを含み、
前記第２撮像光学系の光学中心は、２つの前記レンズの光学中心間の中心に対応する、請求項１に記載の撮像装置。
【請求項３】
前記第２撮像光学系は、単一のレンズを含み、
前記第２撮像光学系の光学中心は、前記レンズの光学中心に対応する、請求項１に記載の撮像装置。
【請求項４】
前記機構は、アームを有する回転機構を含む、請求項１〜３のうちのいずれか１項に記載の撮像装置。
【請求項５】
前記アームは、第１アームと、第２アームとを含み、
前記第１アームは、前記第２撮像光学系に、第１回転軸まわりに回転可能に支持され、
前記第２アームは、前記第１アームに、第２回転軸まわりに回転可能に支持され、
前記第１撮像光学系は、前記第２アームに取り付けられ、
前記第１回転軸は、前記第２回転軸に対して垂直である、請求項４に記載の撮像装置。
【請求項６】
前記第１回転軸は、前記第２撮像光学系の光学中心を通る、請求項５項に記載の撮像装置。
【請求項７】
前記第１撮像光学系からの第１画像と前記第２撮像光学系からの第２画像とに基づいて、表示画像を生成する処理装置を更に含む、請求項１〜６のうちのいずれか１項に記載の撮像装置。
【請求項８】
前記処理装置は、前記第１画像及び前記第２画像を合成することで、前記表示画像を生成する、請求項７に記載の撮像装置。
【請求項９】
前記表示画像における所定領域の画像部分は、前記第１画像に基づいて生成される、請求項８に記載の撮像装置。
【請求項１０】
前記処理装置は、前記第１画像が撮像されたときの前記位置に基づいて、前記所定領域を決定する、請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置に関する。
【背景技術】
【０００２】
２つの撮像光学系で撮像された画像を合成する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2014-236426号公報
【特許文献２】特開2013-251783号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術では、２つの撮像光学系のうちの一方の他方に対する位置を変化させると、２つの撮像光学系で得た各画像における被写体の各位置の対応関係が分かり難くなる。例えば、２つの撮像光学系のうちの一方の他方に対する位置を変化させた結果、一方の光軸が他方の光学中心を通らなくなった場合、被写体を捉える向きが２つの撮像光学系で異なることになる。この場合、それぞれの撮像光学系から得た画像間での被写体の各位置（各画素）の対応関係が分かり難くなる。
【０００５】
そこで、１つの側面では、本発明は、それぞれの撮像光学系から得た画像間での被写体の各画素の対応関係が分かり難くならない態様で、２つの撮像光学系のうちの一方の他方に対する位置を可変とすることを目的とする。
【課題を解決するための手段】
【０００６】
１つの側面では、第１画角を有する第１撮像光学系と、
前記第１画角より広い第２画角を有する第２撮像光学系と、
前記第１撮像光学系の光軸上を前記第２撮像光学系の光学中心が通る状態で、前記第２撮像光学系に対する前記第１撮像光学系の位置を変化させる機構とを含む、撮像装置が提供される。
【発明の効果】
【０００７】
１つの側面では、それぞれの撮像光学系から得た画像間での被写体の各画素の対応関係が分かりやすい態様で、２つの撮像光学系のうちの一方の他方に対する位置を可変とできる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による撮像装置の撮像光学系の概念図である。
【図２Ａ】高精細カメラ及び広視野カメラの各画角の一例を概念的に示す図である。
【図２Ｂ】高精細カメラ及び広視野カメラの各画像を概念的に示す図である。
【図３Ａ】広視野カメラの光学中心の説明図である。
【図３Ｂ】広視野カメラの光学中心の説明図である。
【図４】撮像装置の３面図である。
【図５】撮像装置の斜視図である。
【図６】高精細カメラの位置が異なる状態の撮像装置の斜視図である。
【図７】高精細カメラの位置が異なる状態の撮像装置の斜視図である。
【図８】比較例で生じる課題の説明図である。
【図９】比較例で生じる課題の説明図である。
【図１０】撮像装置の３面図である。
【図１１】撮像装置の斜視図である。
【図１２】高精細カメラの位置が異なる状態の撮像装置の斜視図である。
【図１３】高精細カメラの位置が異なる状態の撮像装置の斜視図である。
【図１４】回転支持機構の駆動系の一例を示す図である。
【図１５Ａ】撮像装置の使用例の説明図である。
【図１５Ｂ】撮像装置の他の使用例の説明図である。
【図１６Ａ】広視野画像及び高精細画像に基づく表示画像の一例の説明図である。
【図１６Ｂ】広視野画像及び高精細画像に基づく表示画像の一例の説明図である。
【図１６Ｃ】広視野画像及び高精細画像に基づく表示画像の一例の説明図である。
【図１７】撮像装置における画像合成に関するハードウェア構成の一例を示す図である。
【図１８】画像処理部の画像記憶機能の一例を示すブロック図である。
【図１９】広視野画像のフレーム番号とタイムスタンプ情報との対応付けの説明図である。
【図２０】高精細画像のフレーム番号とタイムスタンプ情報との対応付けの説明図である。
【図２１】高精細画像のフレーム番号と位置情報との対応付けの説明図である。
【図２２Ａ】位置情報の説明図である。
【図２２Ｂ】位置情報の説明図である。
【図２３】高精細画像のフレーム番号と画角情報との対応付けの説明図である。
【図２４】画像処理部の画像合成機能の一例を示すブロック図である。
【図２５】合成画像の生成方法の一例の説明図である。
【図２６】合成画像の生成方法の一例の説明図である。
【図２７】合成画像の生成方法の一例の説明図である。
【図２８】画像処理部の画像合成機能を実現する処理の一例を示す概略フローチャートである。
【図２９】図２８のステップＳ２８１２の一例を示すフローチャートである。
【図３０】画像処理部の画像合成機能を実現する処理の他の一例を示す概略フローチャートである。
【図３１】合成画像の表示方法の説明図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
図１は、一実施例による撮像装置１の撮像光学系の概念図である。図１には、広視野カメラ２０の光学中心を通り且つ広視野カメラ２０の画角内の幾つかの方向が、Ｒ０、Ｒ１，Ｒ２で示される。また、図１には、高精細カメラ１０の光軸Ｉが示される。
【００１１】
撮像装置１は、高精細カメラ１０（第１撮像光学系の一例）と、広視野カメラ２０（第２撮像光学系の一例）とを含む。
【００１２】
高精細カメラ１０は、光軸Ｉ上を広視野カメラ２０の光学中心が通る状態で広視野カメラ２０に対する位置が可変とされる。即ち、高精細カメラ１０の光軸Ｉは、高精細カメラ１０の位置の可変範囲にわたって、広視野カメラ２０の光学中心を通る。例えば、高精細カメラ１０は、位置Ｐ１にあるとき、光軸Ｉが図１に示す位置Ｐ１を通る方向Ｒ１に一致する姿勢となる。同様に、高精細カメラ１０は、位置Ｐ２にあるとき、光軸Ｉが図１に示す位置Ｐ２を通る方向Ｒ２に一致する姿勢となる。
【００１３】
図２Ａは、高精細カメラ１０及び広視野カメラ２０の各画角の一例を概念的に示す図である。図２Ａのビューは、任意でありうるが、例えば撮像装置１の上面視である。図２Ａには、各画角内に被写体９０が概略的に示される。
【００１４】
広視野カメラ２０の画角θ２（第２画角の一例）は、高精細カメラ１０の画角θ１（第１画角の一例）よりも広い。例えば、広視野カメラ２０の画角θ２は、３６０度であり、この場合、広視野カメラ２０は、全天球カメラである。他方、高精細カメラ１０の画角θ１は、画角θ２よりも有意に狭く、典型的には、１８０度よりも有意に狭く、例えば９０度程度である。尚、高精細カメラ１０は、画角θ１が可変の機構（画角が可変の機構）を備えてもよい。
【００１５】
図２Ｂは、高精細カメラ１０及び広視野カメラ２０の各画像を概念的に示す図である。図２Ｂには、図２Ａの被写体９０を捉えた各画像が概略的に示される。尚、画像９１及び画像９２には、被写体９０の特定の側面に文字“Ａ”が付されている。画像９１及び画像９２は、それぞれ、被写体９０の特定の側面に対して垂直方向に光軸が向けられた高精細カメラ１０及び広視野カメラ２０で得られる画像に対応する。画像９１は、高精細カメラ１０の画像（第１画像の一例）（以下、「高精細画像」とも称する）であり、画像９２は、広視野カメラ２０の画像（第２画像の一例）（以下、「広視野画像」とも称する）である。図２Ｂに示すように、高精細カメラ１０は、広視野カメラ２０よりも画角が有意に狭いことに起因して、高精細に被写体９０を捉えることができる。
【００１６】
図３Ａ及び図３Ｂは、広視野カメラ２０の光学中心の説明図である。図３Ａは、広視野カメラ２０が単一の超広角レンズ２０１を備える場合の光学中心の説明図である。図３Ｂは、広視野カメラ２０が２つの対の超広角レンズ２０１−１，２０１−２を備える場合の光学中心の説明図である。
【００１７】
図３Ａには、超広角レンズ２０１に係る投影対象の球面Ｓと共に、撮像素子(画像センサ)２０２までの光の経路が実線で模式的に示される。同様に、図３Ｂには、超広角レンズ２０１−１，２０１−２のそれぞれに係る投影対象の球面Ｓ１、Ｓ２と共に、撮像素子(画像センサ)２０２−１，２０２−２までの光の経路が実線で模式的に示される。
【００１８】
図３Ａでは、超広角レンズ２０１は、例えば単一の魚眼レンズであり、中心Ｃｔ１の球面状に投影される画像を平面に投影し直す。かかる投影は、一般的には、等距離射影方式で実現される。この場合、投影対象の球面の中心Ｃｔ１が、超広角レンズ２０１の光学中心に対応する。尚、魚眼レンズにおける光学中心は、理想的には1点に定まる。実際には収差等に起因して完全に一点には収束しないが、設計としてレンズに対して一つの点が光学中心として定まる。
【００１９】
図３Ｂでは、超広角レンズ２０１−１，２０１−２は、対をなし、光軸Ｉｎ−１、Ｉｎ−２が一致し、互いに対して逆向きに配置される。対の超広角レンズ２０１−１，２０１−２のそれぞれは、例えば魚眼レンズであり、それぞれ、中心ＯＣ１，ＯＣ２の球面状に投影される画像を平面に投影し直す。この場合、超広角レンズ２０１−１，２０１−２のそれぞれの光学中心ＯＣ１，ＯＣ２は厳密には一致しない。一方、設計として超広角レンズ２０１−１，２０１−２で協動して投影する球面Ｓ３は定まる。この場合、球面Ｓ３の中心Ｃｔ１が、超広角レンズ２０１の光学中心に対応する。光学中心Ｃｔ１は、設計として、例えば、「超広角レンズ２０１−１，２０１−２のそれぞれの光学中心ＯＣ１，ＯＣ２の中心（中点）」として与えられる。尚、撮像素子２０２−１，２０２−２で得られる各画像は、厳密には光学中心Ｃｔ１を中心とした球面Ｓ３に投影されたものとは一致しないので、画像処理等により補正されてよい。
【００２０】
次に、図４乃至図７を参照して、撮像装置１の回転支持機構の一例について説明する。
【００２１】
図４は、撮像装置１の回転支持機構４０の説明図であり、撮像装置１の３面図である。図５は、撮像装置１の斜視図である。尚、図４及び図５で示される高精細カメラ１０の位置は、同一である。図６及び図７は、図５に比べて高精細カメラ１０の位置が異なる状態の撮像装置１の斜視図である。尚、図５乃至図７には、それぞれ、広視野カメラ２０の光学中心を通り且つ高精細カメラ１０の光軸Ｉに一致する方向が、矢印Ｒ１０、Ｒ１１及びＲ１２で示される。
【００２２】
図４には、Ｘ方向、Ｙ方向、及びＺ方向が定義されている。ＸＹ平面は、水平面に対応し、Ｚ方向は重力方向に対応する。以下では、説明上、Ｚ方向の正側（矢印の方向）を「上側」とする。但し、撮像装置１は、必ずしも水平な地面等に載置されて使用される必要はなく、例えばアーム等の先端に取り付けられる態様（図１５Ａ参照）や、ロボットなどの移動体に搭載される態様（図１５Ｂ参照）で使用されてもよい。
【００２３】
尚、図４に示す例では、広視野カメラ２０は、Ｙ方向の両側にそれぞれ超広角レンズ２０１を有する。各超広角レンズ２０１は、略１８０度の画角を光軸（Ｙ方向に平行）まわりで実現する魚眼レンズである。この場合、広視野カメラ２０は、全天球カメラである。
【００２４】
撮像装置１は、回転支持機構４０を更に含む。回転支持機構４０は、高精細カメラ１０の光軸Ｉ上を広視野カメラ２０の光学中心が通る状態で、広視野カメラ２０に対する高精細カメラ１０の位置を変化させる機構の一例である。
【００２５】
回転支持機構４０は、ジンバル機構を含み、第１回転アーム４１（第１アームの一例）と、第２回転アーム４２（第２アームの一例）とを含む。
【００２６】
第１回転アーム４１は、広視野カメラ２０に、回転軸４０９（第１回転軸の一例）まわりに回転可能に支持される。即ち、第１回転アーム４１は、回転軸４０９まわりに回転可能となる態様で、広視野カメラ２０に支持される。具体的には、第１回転アーム４１は、広視野カメラ２０の土台部２２に、Ｚ軸まわりに回転可能に取り付けられる。土台部２２の円筒状の部位は、Ｚ方向に延在する回転軸４０９を形成する。尚、広視野カメラ２０は、土台部２２に固定される。回転軸４０９は、広視野カメラ２０の光学中心を通る。また、図４乃至図７では、回転軸４０９はＺ方向に平行である。
【００２７】
第１回転アーム４１は、側面視で円弧状の形態であり、Ｚ方向の下端側が土台部２２に支持され、Ｚ方向の上端側が第２回転アーム４２に接続される。第１回転アーム４１は、上端側に第２回転アーム４２の回転軸４１０を形成する。第２回転アーム４２の回転軸４１０は、ＸＹ平面内に延在する。
【００２８】
第２回転アーム４２は、第１回転アーム４１に、回転軸４１０（第２回転軸の一例）まわりに回転可能に支持される。即ち、第２回転アーム４２は、回転軸４１０まわりに回転可能となる態様で、第１回転アーム４１に支持される。例えば、第２回転アーム４２は、第１回転アーム４１における軸受部に回転可能に支持される円筒状の軸部４２２を有する。
【００２９】
第２回転アーム４２は、側面視で円弧状の形態であり、Ｚ方向の下端側が第１回転アーム４１に支持され、Ｚ方向の上端側が高精細カメラ１０を支持する。第２回転アーム４２は、Ｚ方向の上端側に高精細カメラ１０の取り付け部４２４を形成する。取り付け部４２４には、高精細カメラ１０が取り付けられる。尚、取り付け部４２４に取り付けられた状態では、高精細カメラ１０は、取り付け部４２４に対して固定された状態である。高精細カメラ１０は、取り付け部４２４から取り外し可能であってもよい。
【００３０】
このような回転支持機構４０によれば、広視野カメラ２０に対する高精細カメラ１０の位置を変化させることができる。即ち、第１回転アーム４１が土台部２２に対して回転することで、Ｚ方向に平行な回転軸４０９まわりで高精細カメラ１０を回転させることができる。また、第２回転アーム４２が第１回転アーム４１に対して回転することで、ＸＹ面内の回転軸４１０まわりで高精細カメラ１０を回転させることができる。本実施例では、これらの２つの回転の組み合わせに基づいて、広視野カメラ２０に対する高精細カメラ１０の位置は、球面を実質的に描く軌跡となる。換言すると、第１回転アーム４１を回転させると、球面に係る経度方向に高精細カメラ１０の位置が変化し、第２回転アーム４２を回転させると、緯度方向に高精細カメラ１０の位置が変化する。
【００３１】
広視野カメラ２０に対する高精細カメラ１０の各位置（方位）における高精細カメラ１０の姿勢（向き）は、該位置に応じて決まる。即ち、球面上の各位置における広視野カメラ２０に対する高精細カメラ１０の姿勢は、それぞれの位置で一意に定まる。具体的には、広視野カメラ２０に対する高精細カメラ１０は、どのような位置においても、光軸Ｉが広視野カメラ２０の光学中心を通る姿勢である。例えば、図５に示す位置では、高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様で真上に向く。また、図６に示す位置では、高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様で斜め上方に向く。また、図７に示す位置では、高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様で斜め下方に向く。
【００３２】
このようにして回転支持機構４０によれば、高精細カメラ１０の光軸Ｉが広視野カメラ２０の光学中心を通る態様で広視野カメラ２０に対する高精細カメラ１０の位置を変化させることができる。
【００３３】
ところで、図８及び図９に模式的に示す比較例の場合では、高精細カメラ１０Ａの光軸が広視野カメラ２０Ａの光学中心を通らない状態で、被写体９０を撮像する。この場合、高精細カメラ１０Ａの撮像画像は、例えば画像９１Ａのようになり、広視野カメラ２０Ａの撮像画像は、例えば画像９２Ａのようになる。画像９１Ａ及び画像９２Ａには、被写体９０の特定の側面に文字“Ａ”が付されている。画像９１Ａ及び画像９２Ａを対比すると分かるように、高精細カメラ１０Ａの光軸が広視野カメラ２０Ａの光学中心を通らない状態では、被写体９０を捉える向きが高精細カメラ１０Ａ及び広視野カメラ２０Ａで異なることになる。この場合、高精細カメラ１０Ａ及び広視野カメラ２０Ａの画像９１Ａ及び画像９２Ａ内の被写体９０の各画素の対応関係が分かり難くなる。例えば、画像９２Ａにおける被写体９０に係る画素４０１が、画像９１Ａにおける被写体９０に係るどの画素（又は画素群）に対応するのかが分かり難い。また、画像９１Ａにおける被写体９０に係る画素４００が、画像９２Ａにおける被写体９０に係るどの画素に対応するのかが分かり難い。
【００３４】
これに対して、回転支持機構４０によれば、広視野カメラ２０に対する高精細カメラ１０の位置が変化しても、上述のように、高精細カメラ１０の光軸Ｉが広視野カメラ２０の光学中心を通る状態が維持される。従って、回転支持機構４０によれば、広視野カメラ２０に対する高精細カメラ１０の位置が変化しても、高精細カメラ１０及び広視野カメラ２０で得た各画像内の被写体の各画素の対応関係が分かり易いまま維持できる。例えば、高精細カメラ１０の光軸Ｉが広視野カメラ２０の光学中心を通る状態では、図２Ｂで示したような各画像９１，９２が得られる。この場合、画像９２における被写体９０に係る画素が、画像９１における被写体９０に係るどの画素若しくは画素群に対応するのかが分かり易い。例えば、画像９２における被写体９０の位置４０２は、画像９１における被写体９０の位置４０３あたりであることが容易にわかる。尚、この分かり易さは、人目による分かり易さであるが、後述のように画像合成が容易になることも意味する。
【００３５】
次に、図１０乃至図１３を参照して、回転支持機構の他の一例を備える撮像装置１Ｂについて説明する。図４乃至図７で示したものと同様の構成については、図１０乃至図１３において同一の参照符号を付して説明を省略する。
【００３６】
図１０は、撮像装置１Ｂの回転支持機構４０Ｂの説明図であり、撮像装置１Ｂの３面図である。図１１は、撮像装置１Ｂの斜視図である。尚、図１０及び図１１で示される高精細カメラ１０の位置は、同一である。図１２及び図１３は、図１１に比べて高精細カメラ１０の位置が異なる状態の撮像装置１Ｂの斜視図である。尚、図１１乃至図１３には、それぞれ、広視野カメラ２０の光学中心を通り且つ高精細カメラ１０の光軸Ｉに一致する方向が、矢印Ｒ２０、Ｒ２１及びＲ２２で示される。
【００３７】
回転支持機構４０Ｂは、高精細カメラ１０の光軸Ｉ上を広視野カメラ２０の光学中心が通る状態で、広視野カメラ２０に対する高精細カメラ１０の位置を変化させる機構の他の一例である。
【００３８】
回転支持機構４０Ｂは、回転アーム４２Ｂ（アームの一例）を含む。
【００３９】
回転アーム４２Ｂは、上述の第１回転アーム４１と同様、広視野カメラ２０に、回転軸４０９まわりに回転可能に支持される。具体的には、回転アーム４２Ｂは、広視野カメラ２０の土台部２２に、Ｚ軸まわりに回転可能に取り付けられる。
【００４０】
回転アーム４２Ｂは、Ｚ方向の下端側が土台部２２に支持され、Ｚ方向の上端側が高精細カメラ１０を支持する。回転アーム４２Ｂは、Ｚ方向の上端側に高精細カメラ１０の取り付け部４２４Ｂを形成する。取り付け部４２４Ｂには、高精細カメラ１０が取り付けられる。尚、取り付け部４２４Ｂに取り付けられた状態では、高精細カメラ１０は、取り付け部４２４Ｂに対して固定された状態である。高精細カメラ１０は、取り付け部４２４Ｂから取り外し可能であってもよい。
【００４１】
このような回転支持機構４０Ｂによれば、広視野カメラ２０に対する高精細カメラ１０の位置を変化させることができる。即ち、回転アーム４２Ｂが土台部２２に対して回転することで、Ｚ方向に平行な回転軸４０９まわりで高精細カメラ１０を回転させることができる。広視野カメラ２０に対する高精細カメラ１０の位置は、Ｚ方向に平行な回転軸４０９まわりで円弧に描く軌跡となる。換言すると、回転アーム４２Ｂを回転させると、経度方向に高精細カメラ１０の位置が変化する。
【００４２】
広視野カメラ２０に対する高精細カメラ１０の各位置（方位）における高精細カメラ１０の姿勢は、該位置に応じて決まる。具体的には、広視野カメラ２０に対する高精細カメラ１０は、どのような位置においても、光軸Ｉが広視野カメラ２０の光学中心を通る姿勢である。例えば、図１１乃至図１３に示すいずれの位置でも、高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様で横方向に向く。
【００４３】
このようにして回転支持機構４０Ｂによれば、高精細カメラ１０の光軸Ｉが広視野カメラ２０の光学中心を通る態様で広視野カメラ２０に対する高精細カメラ１０の位置を変化させることができる。
【００４４】
尚、図１０乃至図１３に示す例では、高精細カメラ１０は、光軸Ｉが水平面内に延在するように取り付け部４２４Ｂに取り付けられているが、これに限られない。高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様である限り、光軸Ｉが水平面に対して傾斜する態様で取り付け部４２４Ｂに取り付けられてもよい。
【００４５】
また、図１０乃至図１３に示す例では、高精細カメラ１０は、広視野カメラ２０の光学中心に対して一定距離を維持したまま回転可能とされるが、これに限られない。高精細カメラ１０は、光軸Ｉが広視野カメラ２０の光学中心を通る態様である限り、広視野カメラ２０の光学中心に対する距離が可変とされてもよい。
【００４６】
次に、図１４を参照して、回転支持機構の駆動系について説明する。図１４は、回転支持機構の駆動系の一例を示す図である。図１４では、代表として、回転支持機構４０の駆動系について説明するが、回転支持機構４０Ｂのような他の回転支持機構も同様の駆動系を有することができる。
【００４７】
回転支持機構４０の駆動系は、アクチュエータ４０１，４０２と、回転角センサ４０４，４０６と、制御装置４９０とを含む。
【００４８】
アクチュエータ４０１，４０２は、回転支持機構４０の回転軸４０９，４１０にそれぞれ設けられる。アクチュエータ４０１は、第１回転アーム４１を回転させる駆動力を生成する。アクチュエータ４０２は、第２回転アーム４２を回転させる駆動力を生成する。アクチュエータ４０１，４０２は、例えば電気モータであってよい。
【００４９】
回転角センサ４０４，４０６は、回転支持機構４０の回転軸４０９，４１０にそれぞれ設けられる。回転角センサ４０４は、第１回転アーム４１の回転角を検出する。回転角センサ４０６は、第２回転アーム４２の回転角を検出する。尚、回転支持機構４０の回転軸４０９，４１０まわりの各回転角に基づいて、広視野カメラ２０に対する高精細カメラ１０の位置（及びそれに伴い姿勢）を導出できる。
【００５０】
制御装置４９０には、入力デバイス４が接続される。ユーザは、入力デバイス４を介してユーザ入力を制御装置４９０に与えることができる。入力デバイス４は、任意であり、タッチスイッチのようなボタンや、ジョイスティック等を含んでよい。また、入力デバイス４は、無線通信可能な態様で制御装置４９０に接続されるリモートコントローラの形態であってもよい。尚、無線での通信は、携帯電話における無線通信網や、近距離無線通信（ＮＦＣ：Near  Field  Communication）、ブルーツース（Bluetooth、登録商標）、Ｗｉ−Ｆｉ（Wireless-Fidelity）、赤外線等を介して実現されてよい。ユーザ入力は、広視野カメラ２０に対する高精細カメラ１０の位置を指示する。
【００５１】
制御装置４９０は、例えばコンピュータにより形成される。制御装置４９０は、ユーザ入力に基づいて、広視野カメラ２０に対する高精細カメラ１０の目標位置を決定する。例えば制御装置４９０は、ユーザ入力で指示される位置を目標位置とする。そして、制御装置４９０は、該目標位置が実現されるように、回転角センサ４０４，４０６からの情報に基づいて、アクチュエータ４０１，４０２を駆動する。
【００５２】
図１４に示す駆動系によれば、ユーザは、制御装置４９０にユーザ入力を与えることで、広視野カメラ２０に対する高精細カメラ１０の位置を、所望の位置に変化させることができる。尚、回転支持機構の駆動系は、省略されてもよい。この場合、回転支持機構の駆動は、ユーザによる手動で実現されてもよい。
【００５３】
次に、図１５Ａ乃至図１５Ｂを参照して、撮像装置１の使用例について説明する。
【００５４】
図１５Ａは、マンホール内の状態を点検するた用途での撮像装置１の使用状態を概略的に示す斜視図である。図１６Ａ乃至図１６Ｃは、図１５Ａに示す例により取得できる広視野画像及び高精細画像に基づく表示画像の一例の説明図である。図１６Ｂは、図１６Ａに示す表示画像における被写体に対するビュー方向を示す。図１６Ａには、関心部位の領域Ｑが示される。図１６Ａに示す例では、表示画像は、広視野画像に基づいて、正面、背後、左側面及び右側面の４つのビューに分けて出力されている。
【００５５】
図１５Ａに示す例では、撮像装置１は、棒状の吊るし部材８８の先端に固定され、マンホール８０内に挿入される。撮像装置１は、広視野カメラ２０を有するので、マンホール８０内の広範囲の広視野画像を取得できる。また、撮像装置１は、高精細カメラ１０を有するので、マンホール８０内の特定の部位（以下、「関心部位」と称する）の高精細画像を取得できる。これにより、ユーザは、広視野画像及び高精細画像を見比べながら、マンホール８０内の全体の状態（図１６Ａ参照）や関心部位の状態（図１６Ｃ参照）を点検できる。例えば、ユーザは、広視野画像内の関心部位の詳細な画像を見たい場合は、該関心部位を撮像できように、広視野カメラ２０に対する高精細カメラ１０の位置を変化させることで、該関心部位に係る高精細画像を取得できる（図１６Ｃ参照）。このとき、高精細カメラ１０は、広視野カメラ２０の光学中心を光軸Ｉが通る姿勢で関心部位を捉えているので、上述のように、広視野画像及び高精細画像のそれぞれにおける同関心部位の各画素の対応関係が分かり易い。従って、ユーザは、マンホール８０内を効率的に点検できる。
【００５６】
図１５Ｂは、移動体８２上に搭載された撮像装置１の使用状態を概略的に示す斜視図である。
【００５７】
図１５Ｂに示す例では、撮像装置１は、移動体８２上に搭載され、移動体８２を介して移動できる。例えば、撮像装置１は、移動体８２を介して、崩れた建物内（人が近寄れないような場所の一例）に移動され、該場所の調査に利用される。撮像装置１は、広視野カメラ２０を有するので、崩れた建物内の広範囲の広視野画像を取得できる。また、撮像装置１は、高精細カメラ１０を有するので、崩れた建物内の特定の部位（関心部位）の高精細画像を取得できる。これにより、同様に、ユーザは、広視野画像及び高精細画像を見比べながら、崩れた建物内の全体の状態や関心部位の状態を点検できる。例えば、ユーザは、広視野画像内の関心部位の詳細な画像を見たい場合は、該関心部位を撮像できるように、広視野カメラ２０に対する高精細カメラ１０の位置を変化させることで、該関心部位に係る高精細画像を取得できる。このとき、高精細カメラ１０は、広視野カメラ２０の光学中心を光軸Ｉが通る姿勢で関心部位を捉えているので、上述のように、広視野画像及び高精細画像のそれぞれにおける同関心部位の各画素の対応関係が分かり易い。従って、ユーザは、崩れた建物内を効率的に調査できる。
【００５８】
尚、図１５Ｂに示す例では、移動体８２は、陸上を移動するが、これに限られない。例えば、撮像装置１は、ドローンのような空中を移動できる移動体にも搭載できる。また、撮像装置１は、必ずしも人が近寄れないような場所で使用される必要はなく、任意の場所で使用できる。例えば、撮像装置１は、高齢者の監視用に部屋の天井や壁などに設置されてもよい。
【００５９】
ところで、本実施例によれば、上述のように、高精細カメラ１０は、広視野カメラ２０の光学中心を光軸Ｉが通る姿勢で被写体を捉えることができるので、広視野画像及び高精細画像のそれぞれにおける被写体の各画素の対応関係が分かり易い。従って、ユーザは、例えば別々に出力された広視野画像及び高精細画像を見比べながら、被写体の各位置の状態等を容易に把握できる。但し、広視野画像及び高精細画像は、別々に出力されるのではなく、合成された態様で出力することもできる。本実施例では、上述のように、広視野カメラ２０に対する高精細カメラ１０の位置が変化しても、高精細カメラ１０は、広視野カメラ２０の光学中心を光軸Ｉが通る姿勢で被写体を捉えることができる。従って、本実施例では、以下で説明するように、広視野カメラ２０に対する高精細カメラ１０の位置がどのような位置であっても、該位置で得られる広視野画像及び高精細画像に係る画像合成を容易に実現できる。
【００６０】
次に、図１７乃至図３０を参照して、撮像装置１における画像合成に関する構成について説明する。以下では、代表として、画像合成に関する構成を撮像装置１が備える場合について説明するが、同構成を同様に撮像装置１Ｂが備えることもできる。
【００６１】
図１７は、撮像装置１における画像合成に関するハードウェア構成の一例を示す図である。以下では、一例として、高精細カメラ１０は、画角θ１が可変であるものとする。
【００６２】
撮像装置１は、画像処理部５０を更に含む。画像処理部５０は、例えばコンピュータにより形成される。画像処理部５０は、上述した制御装置４９０と同じコンピュータにより実現されてもよいし、他のコンピュータにより実現されてもよい。また、上述した制御装置４９０の機能の一部又は全部は、画像処理部５０により実現されてもよい。
【００６３】
図１７に示す例では、画像処理部５０は、プロセッサ５０１と、メモリ５０２と、リアルタイムクロック５０３と、ＳＤ（Secure  Digital）カード（または、メモリカード）のような記憶媒体５０４と、動画エンコーダ５０５，５０６とを含む。また、画像処理部５０は、通信インターフェイス５０７を含む。図１７に示す例では、記憶媒体５０４が接続された状態の画像処理部５０が示される。尚、記憶媒体５０４は、省略されてもよい。また、記憶媒体５０４に代えて、ハードディスクドライブなどのような他の補助記憶装置が使用されてもよい。また、記憶媒体５０４は、画像処理部５０にネットワークを介して接続される遠隔の記憶装置により実現されてもよい。この場合、ネットワークとは、無線通信網、インターネット、World  Wide  Web、VPN（virtual  private  network）、WAN（Wide  Area  Network）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。
【００６４】
画像処理部５０には、通信インターフェイス５０７を介して、高精細カメラ１０、広視野カメラ２０、位置センサ１０４、表示装置７０、及び入力デバイス７２が通信可能に接続される。通信インターフェイス５０７は、有線通信インターフェイス及び無線通信インターフェイスのいずれか一方又は双方を含んでよい。尚、無線通信インターフェイスを介した通信は、ネットワークや、近距離無線通信、ブルーツース（登録商標）、Ｗｉ−Ｆｉ等により実現されてもよい。
【００６５】
高精細カメラ１０の撮像素子１０２は、狭角レンズ（図示せず）を介して得られる光に基づいて高精細画像を生成する。高精細カメラ１０は、高精細画像を画像処理部５０に出力する。
【００６６】
高精細カメラ１０は、画角情報生成部１０３を有する。画角情報生成部１０３は、高精細カメラ１０に内蔵されるコンピュータにより実現できる。画角情報生成部１０３は、高精細カメラ１０の現在の画角を表す情報（以下、「画角情報」と称する）を生成する。高精細カメラ１０は、画角情報を画像処理部５０に出力する。尚、高精細カメラ１０は、画角情報を所定周期毎に画像処理部５０に出力してもよいし、画角が変化したときに変化後の画角情報を画像処理部５０に出力してもよい。
【００６７】
表示装置７０は、合成画像等を表示するための表示装置であり、例えば液晶表示装置等であってよい。
【００６８】
入力デバイス７２は、ユーザ入力を受けるデバイスであり、入力デバイス４（図１４参照）と同じであってよいし、入力デバイス４とは別であってもよい。入力デバイス７２は、例えば表示装置７０がタッチパネル式のディスプレイである場合、表示装置７０のタッチパネルを含んでよい。
【００６９】
位置センサ１０４は、広視野カメラ２０に対する高精細カメラ１０の位置を検出する。位置センサ１０４は、例えば、回転支持機構４０の回転軸４０９，４１０まわりの回転角を検出する回転角センサ４０４，４０６（図１４参照）である。この場合、回転角センサ４０４，４０６から得られる各回転角に基づいて、広視野カメラ２０に対する高精細カメラ１０の位置を導出できる。位置センサ１０４は、広視野カメラ２０に対する高精細カメラ１０の相対位置を表す情報（以下、「位置情報」と称する）を画像処理部５０に出力する。尚、位置センサ１０４は、位置情報を所定周期毎に画像処理部５０に出力してもよいし、位置情報が変化したときに変化後の位置情報を画像処理部５０に出力してもよい。
【００７０】
広視野カメラ２０の撮像素子２０２は、超広角レンズ２０１を介して得られる光に基づいて広視野画像を生成する。広視野カメラ２０は、広視野画像を画像処理部５０に出力する。
【００７１】
画像処理部５０は、高精細カメラ１０及び広視野カメラ２０から得られる画像を記憶する画像記憶機能と、高精細カメラ１０及び広視野カメラ２０から得られる画像を合成する画像合成機能とを有する。
【００７２】
図１８は、画像処理部５０の画像記憶機能の一例を示すブロック図である。
【００７３】
画像処理部５０は、広視野画像タイムスタンプ付与部５１と、高精細画像タイムスタンプ付与部５２と、時系列位置情報生成部５３と、時系列画角情報生成部５４とを含む。広視野画像タイムスタンプ付与部５１、高精細画像タイムスタンプ付与部５２、時系列位置情報生成部５３、及び時系列画角情報生成部５４は、図１７に示したプロセッサ５０１がメモリ５０２内の１つ以上のプログラムを実行することで実現できる。
【００７４】
広視野画像は、図１８に示すように、広視野画像タイムスタンプ付与部５１及び動画エンコーダ５０５に入力される。広視野画像タイムスタンプ付与部５１は、リアルタイムクロック５０３に基づいて、入力された広視野画像の各フレームにタイムスタンプを付与し、広視野画像のフレーム番号とタイムスタンプとの関係を表す情報を、記憶媒体５０４に記憶する。これにより、図１９に示すように、広視野画像のフレーム番号とタイムスタンプ情報とを対応付ける情報が生成・記憶される。また、動画エンコーダ５０５は、入力された広視野画像に基づいて、動画ファイル（以下、「広視野動画ファイル」と称する）を生成し、記憶媒体５０４に記憶する。
【００７５】
高精細画像は、図１８に示すように、高精細画像タイムスタンプ付与部５２及び動画エンコーダ５０６に入力される。高精細画像タイムスタンプ付与部５２は、リアルタイムクロック５０３に基づいて、入力された高精細画像の各フレームにタイムスタンプを付与し、高精細画像のフレーム番号とタイムスタンプとの関係を表す情報を、記憶媒体５０４に記憶する。これにより、図２０に示すように、高精細画像のフレーム番号とタイムスタンプ情報とを対応付ける情報が生成・記憶される。また、動画エンコーダ５０６は、入力された高精細画像に基づいて、動画ファイル（以下、「高精細動画ファイル」と称する）を生成し、記憶媒体５０４に記憶する。
【００７６】
位置情報は、図１８に示すように、時系列位置情報生成部５３に入力される。時系列位置情報生成部５３は、高精細画像のフレーム番号に位置情報を対応付けることで時系列位置情報を生成し、記憶媒体５０４に記憶する。図２１は、時系列位置情報の一例を示す図である。これにより、高精細画像のフレーム番号と位置情報とが対応付けられる。図２２Ａ及び図２２Ｂは、図２１に示す位置情報の説明図である。図２１では、位置情報は、位置を表すパラメータ（δｘ、δｙ、δｚ）と、姿勢を表すパラメータ（α、β）とを含む。パラメータ（δｘ、δｙ、δｚ）は、図２２Ａに模式的に示す位置ベクトルＶ１の各成分であり、３軸（ｘ軸、ｙ軸、ｚ軸）の絶対座標系における各成分である。また、パラメータ（α、β）は、図２２Ｂに模式的に示すように、姿勢ベクトルＶ２の経度方向の角度αと、姿勢ベクトルＶ２の緯度方向の角度βとを表す。姿勢ベクトルＶ２は、高精細カメラ１０の光軸Ｉに一致し、絶対座標系の原点は、広視野カメラ２０の光学中心に対応する。本実施例では、高精細カメラ１０の光軸Ｉは、上述のように広視野カメラ２０の光学中心を通るので、パラメータ（α、β）は、パラメータ（δｘ、δｙ、δｚ）から導出できる。
【００７７】
画角情報は、図１８に示すように、時系列画角情報生成部５４に入力される。時系列画角情報生成部５４は、高精細画像のフレーム番号に画角情報を対応付けることで時系列画角情報を生成し、記憶媒体５０４に記憶する。図２３は、時系列画角情報の一例を示す図である。これにより、高精細画像のフレーム番号と画角情報とが対応付けられる。
【００７８】
尚、図１８乃至図２３に示す例では、位置情報及び画角情報は、高精細画像のフレーム番号に対応付けられるが、これに限られない。位置情報及び画角情報は、それぞれ、タイムスタンプ情報が対応付けられてもよい。この場合、位置情報及び画角情報は、それぞれ、タイムスタンプ情報を介して、高精細画像のフレーム番号に対応付けられることになる。
【００７９】
図２４は、画像処理部５０の画像合成機能の一例を示すブロック図である。
【００８０】
画像処理部５０は、広視野画像取得部５５と、高精細画像取得部５６と、画像合成部５７と、表示制御部５８とを含む。広視野画像取得部５５、高精細画像取得部５６、画像合成部５７、及び表示制御部５８は、図１７に示したプロセッサ５０１がメモリ５０２内の１つ以上のプログラムを実行することで実現できる。
【００８１】
広視野画像取得部５５は、記憶媒体５０４から、合成に用いる広視野画像を取得する。尚、合成に用いる広視野画像は、通信インターフェイス５０７を介して得られるユーザ入力に基づいて決定されてよい。
【００８２】
高精細画像取得部５６は、記憶媒体５０４から、合成に用いる高精細画像を取得する。合成に用いる高精細画像及び広視野画像の各フレームは、同じタイムスタンプ情報を有する。即ち、同時刻に撮像して得られる対の高精細画像及び広視野画像が合成に用いられる。
【００８３】
画像合成部５７は、広視野画像取得部５５により取得された広視野画像と、高精細画像取得部５６により取得された高精細画像とを合成して、合成画像を生成する。この際、画像合成部５７は、合成対象の高精細画像のフレーム番号に対応付けられた位置情報を記憶媒体５０４から取得する。そして、画像合成部５７は、取得した位置情報に基づいて、合成画像を生成する。合成画像の生成方法の一例は後述する。
【００８４】
表示制御部５８は、画像合成部５７により生成された合成画像に基づいて、通信インターフェイス５０７を介して表示装置（図示せず）上に、表示画像を出力する。表示画像は、画像合成部５７により生成された合成画像自体であってもよいし、画像合成部５７により生成された合成画像に基づき加工等された画像であってもよい。
【００８５】
図２５乃至図２７は、合成画像の生成方法の一例の説明図であり、図２５は、ｙ１方向の正側からｙ１方向に視た図であり、図２６は、ｚ１方向の正側からｚ１方向に視た図である。図２５及び図２６には、広視野カメラ２０の投影対象の球面Ｓ又はＳ４（図３Ａ及び図３Ｂ参照）(以下、「仮想投影球面」と称する)と、高精細カメラ１０の投影対象の平面Ｓ１０(以下、「高精細画像投影面」と称する)が示される。図２７は、ｙ１方向の正側からｙ１方向に高精細画像投影面を視た図である。
【００８６】
ここでは、高精細カメラ１０の光軸Ｉを基準とした３軸（ｘ１軸、ｙ１軸、ｚ１軸）の座標系（以下、「ローカル座標系」とも称する）が想定される。ローカル座標系では、高精細カメラ１０の光軸Ｉの方向がｙ１軸に平行となり、高精細カメラ１０の高精細画像投影面がｘ１ｚ１平面に平行となり、広視野カメラ２０の光学中心Ｃｔ１が原点である。また、図２６に示すように、光学中心Ｃｔ１から仮想投影球面までの距離をＤとし、光学中心Ｃｔ１から高精細カメラ１０の位置Ｐ１０までの距離をdとする。距離Ｄは、設計で決まる値(既知)であり、距離ｄは、上述した位置情報のパラメータ（δｘ、δｙ、δｚ）に基づいて導出できる。また、ｙ１軸上での高精細画像投影面と高精細カメラ１０の位置Ｐ１０との距離をRと仮定する。
【００８７】
図２５乃至図２７の説明において、緯度方向の角度とは、上記の座標系におけるｚ１方向を地軸と見立て、ｘ１ｙ１平面を赤道面と見立てたときの、赤道面とのなす角度を指す。また、経度方向の角度とは、ｚ１軸まわりの回転角度であり、ｙ１軸を０度としたときの回転角度を指す。
【００８８】
図２５及び図２６において、点Ｐ１は、仮想投影球面上の点であり、緯度方向の角度がΨであり、経度方向の角度がΦであるとする。このとき、点Ｐ１の座標は、(DsinΦcosΨ,  DcosΦcosΨ,  DsinΨ)となる。仮想投影球面上の点Ｐ１は、高精細画像投影面では、点Ｐ０に対応する。即ち、点Ｐ１の像は、高精細画像投影面では、点Ｐ０の像となる。点Ｐ０は、点Ｐ１と高精細カメラ１０の位置Ｐ１０とを結んだ直線が高精細画像投影面に交わる交点に対応する。
【００８９】
点Ｐ０のｘ１ｚ１平面内の２次元座標を（ｍ、ｎ）とし(図２７参照)、ｍ、ｎは、幾何的な関係から次の通り表せる。
【００９０】
【数１】
2018078422.tif 000003
【００９１】
【数２】
2018078422.tif 000004
【００９２】
また、高精細画像の横方向（ｘ１方向）のピクセル数をW（既知）とし、高精細カメラ１０のｘ１方向の画角をθとしたとき、図２６に示す幾何的な関係から、W/2=Rtan(θ/2)が成り立つ。従って、点Ｐ０（ｍ、ｎ）に対応する高精細画像における画像座標(M,N)は、以下のとおりである。尚、画像座標(M,N)は、高精細画像における各画素（ピクセル）を特定する座標である。
【００９３】
【数３】
2018078422.tif 000005
【００９４】
【数４】
2018078422.tif 000006
【００９５】
高精細カメラ１０は、図２２Ｂに示したように、姿勢ベクトルＶ２の緯度方向の角度は、βであり、経度方向の角度は、αである。従って、画像座標(M,N)を絶対座標系の座標系に変換すると、以下のとおりである。
【００９６】
【数５】
2018078422.tif 000007
【００９７】
【数６】
2018078422.tif 000008
【００９８】
数５及び数６の関係式は、仮想投影球面上の点と、高精細画像における画像座標(M,N)との対応関係を表す。数５及び数６の関係式において、パラメータD及びWは設計値として既知であり、パラメータd、α、β、及びθは位置情報及び画角情報から導出できる。
【００９９】
画像合成部５７は、数５及び数６の関係式に基づいて、合成画像を生成できる。例えば、仮想投影球面上の各点は、極座標（Ｄ，Φｋ、Ψｋ）で表すことができる。ここで、（Φｋ、Ψｋ）は、仮想投影球面上の各ピクセルｋ（ｋ＝１・・・Ｊ）に係る座標である。Ｊは、仮想投影球面上のピクセル数である。画像合成部５７は、１〜Ｊの全てのｋに対してそれぞれ、数７及び数８の関係式から、対応する画像座標(Mｋ,Nｋ)を求める。
【０１００】
【数７】
2018078422.tif 000009
【０１０１】
【数８】
2018078422.tif 000010
【０１０２】
そして、Mｋ<−W／２又はMｋ>W／２又はNｋ<−H／２又はNｋ>H／２(即ち高精細画像の対応点が存在しない）場合、画像合成部５７は、広視野画像における極座標（Ｄ，Φｋ、Ψｋ）に対応するピクセル値を仮想投影球面上のピクセルｋのピクセル値（輝度値等）とする。ここで、Hは、高精細画像の垂直方向（ｚ１方向）の画素数である。尚、広視野画像において極座標（Ｄ，Φｋ、Ψｋ）に厳密に対応するピクセルが存在しない場合、画像合成部５７は、補間処理によりピクセルｋのピクセル値を決定する。
【０１０３】
他方、Mｋ≧−W／２且つMｋ≦W／２、且つ、Nｋ≧−H／２且つNｋ≦H／２(即ち高精細画像の対応点が存在する）場合、画像合成部５７は、高精細画像における画像座標(Mｋ,Nｋ)に対応するピクセル値を仮想投影球面上のピクセルｋのピクセル値とする。同様に、高精細画像において画像座標(Mｋ,Nｋ)に厳密に対応するピクセルが存在しない場合、画像合成部５７は、高精細画像における周辺画素のピクセル値を用いた補間処理によりピクセルｋのピクセル値を決定する。
【０１０４】
尚、図２５乃至図２７を参照して説明した合成画像の生成方法の一例は、広視野カメラ２０が全天球カメラである場合のみならず、広視野カメラ２０が単一の超広角レンズ２０１を有するカメラである場合も適用できる。広視野カメラ２０が単一の超広角レンズ２０１を有するカメラである場合は、半球状の仮想投影球面が用いられることになる。この場合、画像合成部５７は、半球状の仮想投影球面上の各ピクセルｋ（ｋ＝１・・・Ｊ１）のピクセル値を同様に決定すればよい。
【０１０５】
ところで、図２５乃至図２７を参照して説明した合成画像の生成方法の一例では、仮想投影球面上のピクセル数はＪである。仮想投影球面上のピクセル数Ｊは、広視野画像のピクセル数Ｊ２よりも有意に大きく設定される。例えば、広視野画像は、960ピクセルのイメージサークルで形成されるとする。この場合、角度方向で180度を960分割した11分程度(180／960＝約０．２度）の解像度を持つ。一方で、仮想投影球面上の画像のピクセル数Ｊは、広視野画像より解像度を上げて、例えば2分の解像度となるように決定される。仮想投影球面上の画像を、広視野画像から生成する場合は、例えば仮想投影球面上で隣のピクセルに対しても、広視野画像の同じピクセルが対応する。従って、仮想投影球面上の画像における広視野画像から生成される部分は、実質的には11分程度の解像度にしかならない。これに対して、仮想投影球面上の画像を、高精細画像から生成する場合は、高精細カメラ１０が、より狭い角度（例えば90度)の範囲を同等の解像度で撮影しているので、より高い解像度となる。この例の場合、仮想投影球面上の画像における高精細画像から生成される部分は、5分程度(90／960＝約０．０９度）の解像度になる。従って、仮想投影球面上の画像における高精細画像から生成される部分が高解像度になる合成画像が得られることが分かる。
【０１０６】
図２８は、画像処理部５０の画像合成機能を実現する処理の一例を示す概略フローチャートである。図２８に示す処理は、例えばオフラインで、実行されてよい。ここでは、記憶媒体５０４内の一の広視野動画ファイルが処理対象であり、処理対象の広視野動画ファイルに含まれる広視野画像のフレーム数は、“Ｎ”であるものとする。
【０１０７】
ステップＳ２８００では、広視野画像取得部５５は、“ｊｊ”を“１”に設定する。
【０１０８】
ステップＳ２８０２では、広視野画像取得部５５は、記憶媒体５０４から、“ｊｊ”番目のフレームの広視野画像を取得する。
【０１０９】
ステップＳ２８０４では、広視野画像取得部５５は、記憶媒体５０４から、“ｊｊ”番目のフレームに対応付けれたタイムスタンプ情報を取得する。
【０１１０】
ステップＳ２８０６では、高精細画像取得部５６は、ステップＳ２８０４で得たタイムスタンプ情報に基づいて、同一のタイムスタンプが付与された高精細画像を、記憶媒体５０４から取得する。
【０１１１】
ステップＳ２８０８では、画像合成部５７は、ステップＳ２８０６で取得した高精細画像のフレーム番号に基づいて、該フレーム番号に対応付けられた位置情報及び画角情報を、記憶媒体５０４から取得する。
【０１１２】
ステップＳ２８１０では、画像合成部５７は、ステップＳ２８０８で得た位置情報及び画角情報に基づいて、数７及び数８の関係式を導出する。
【０１１３】
ステップＳ２８１２では、画像合成部５７は、ステップＳ２８１０で得た関係式に基づいて、ステップＳ２８０２で取得した広視野画像と、ステップＳ２８０６で取得した高精細画像との合成画像を生成する。この際、画像合成部５７は、数７及び数８の関係式から、仮想投影球面に対応する高精細画像の画素を導出する。なお、広視野画像の対応する画素は仮想投影球面の座標に対して例えばイメージサークルの対応点を求めることで求めることができる。ステップＳ２８１２の処理の一例は、図２９を参照して後述する。
【０１１４】
ステップＳ２８１４では、画像合成部５７は、ステップＳ２８１２で生成した合成画像を、例えば記憶媒体５０４に記憶する。
【０１１５】
ステップＳ２８１６では、画像合成部５７は、“ｊｊ”が“Ｎ（処理対象の広視野画像のフレーム数）”であるか否かを判定する。ｊｊ＝Ｎの場合は、そのまま終了となり、ｊｊ≠Ｎの場合は、ステップＳ２８１８を経て、ステップＳ２８０４に戻る。
【０１１６】
ステップＳ２８１８では、画像合成部５７は、“ｊｊ”を“１”だけインクリメントする。
【０１１７】
図２８に示す処理によれば、記憶媒体５０４に記憶されたＮフレームの広視野画像と、対応する高精細画像とに基づいて、Ｎフレーム分の合成画像を生成できる。
【０１１８】
尚、図２８に示す処理では、記憶媒体５０４に記憶されたＮフレームの広視野画像の全てに対して合成画像が生成されるが、これに限られない。例えば、記憶媒体５０４に記憶されたＮフレームの広視野画像のうちの、一部の広視野画像に対してのみ合成画像が生成されてもよい。この場合、一部の広視野画像は、ユーザにより選択されてもよい。
【０１１９】
また、図２８に示す処理では、広視野動画ファイルを処理対象として合成画像が生成されるが、これに限られない。例えば、高精細動画ファイルを処理対象として合成画像が生成されてもよい。この場合、ステップＳ２８０２では、“ｊｊ”番目のフレームの高精細画像が取得され、ステップＳ２８０６では、“ｊｊ”番目のフレームの高精細画像に係るタイムスタンプ情報に基づいて、同一のタイムスタンプが付与された広視野画像が取得される。
【０１２０】
図２９は、図２８のステップＳ２８１２の一例を示すフローチャートである。
【０１２１】
ステップＳ２９００では、画像合成部５７は、ｋを“１”に設定する。
【０１２２】
ステップＳ２９０２では、画像合成部５７は、仮想投影球面上のピクセルｋの極座標（Ｄ，Φｋ、Ψｋ）を取得する。
【０１２３】
ステップＳ２９０４では、画像合成部５７は、ステップＳ２９０２で得た極座標（Ｄ，Φｋ、Ψｋ）の各値を数７及び数８の関係式に代入することで、対応する画像座標(Mｋ,Nｋ)を求める。
【０１２４】
ステップＳ２９０６では、画像合成部５７は、ステップＳ２９０４で求めた画像座標(Mｋ,Nｋ)が、Mｋ<−W／２又はMｋ>W／２又はNｋ<−H／２又はNｋ>H／２であるか否か、すなわち高精細画像の対応する画素が存在するかどうかを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ２９０８に進み、判定結果が“ＮＯ”の場合は、ステップＳ２９１０に進む。
【０１２５】
ステップＳ２９０８では、画像合成部５７は、広視野画像における極座標（Ｄ，Φｋ、Ψｋ）に対応するピクセル値を仮想投影球面上のピクセルｋのピクセル値（輝度値等）とする。
【０１２６】
ステップＳ２９１０では、画像合成部５７は、高精細画像における画像座標(Mｋ,Nｋ)に対応するピクセル値を仮想投影球面上のピクセルｋのピクセル値（輝度値等）とする。
【０１２７】
ステップＳ２９１２では、画像合成部５７は、“ｋ”が“Ｊ（仮想投影球面上のピクセル数）”であるか否かを判定する。ｋ＝Ｊの場合は、そのまま終了となり、ｋ≠Ｊの場合は、ステップＳ２９１４を経て、ステップＳ２９０２に戻る。
【０１２８】
ステップＳ２９１４では、画像合成部５７は、“ｋ”を“１”だけインクリメントする。
【０１２９】
図２９に示す処理によれば、仮想投影球面上の画像における所定領域（高精細画像において対応するピクセルが存在する領域）を高精細画像に基づき生成できる。従って、仮想投影球面上の画像は、高精細画像と広視野画像の合成画像となり、高精細画像で生成された部分が高解像度となる。
【０１３０】
尚、図２９に示す処理では、仮想投影球面上の全てのピクセルに対して、ステップＳ２９０４及びステップＳ２９０６の処理を実行しているが、これに限られない。例えば、仮想投影球面上の所定領域（高精細画像に基づいてピクセル値が決定される領域）は、位置情報及び画角情報に基づいて予め導出できる。従って、仮想投影球面上の所定領域を導出し、該所定領域内のピクセルに対して、ステップＳ２９１０の処理を実行し、他の領域内のピクセルに対しては、ステップＳ２９０８の処理を実行することとしてもよい。
【０１３１】
次に、図３０を参照して、撮像装置１における他の動作例について説明する。
【０１３２】
以下の動作例においては、前提として、画像処理部５０の通信インターフェイス５０７には、図１７に示した高精細カメラ１０等に加えて、更に、図１４に示したアクチュエータ４０１，４０２が接続される。即ち、画像処理部５０は、図１４に示した制御装置４９０の機能を含む。
【０１３３】
図３０は、画像処理部５０の画像合成機能を実現する処理の他の一例を示す概略フローチャートである。図３０に示す処理は、例えばオンライン（リアルタイム）で、所定周期毎（例えばフレーム周期毎）に実行される。尚、図３０に示す処理のみを行う場合（図２８に示す処理は行わない場合）、記憶媒体５０４や、広視野画像タイムスタンプ付与部５１、高精細画像タイムスタンプ付与部５２、時系列位置情報生成部５３、及び時系列画角情報生成部５４は省略されてよい。
【０１３４】
ステップＳ３０００では、画像合成部５７は、ユーザから高精細カメラ１０の視点変更要求が入力されたか否かを判定する。高精細カメラ１０の視点変更要求は、通信インターフェイス５０７を介して入力デバイス７２から入力されうる。視点変更要求は、高精細カメラ１０の位置及び画角の双方に係る要求であってもよいし、位置のみに係る要求であってもよい。位置のみに係る要求の場合は、高精細カメラ１０の画角はデフォルト値（又は前回値）が用いられる。判定結果が“ＹＥＳ”の場合は、ステップＳ３００２に進み、それ以外の場合は、ステップＳ３００２をスキップしてステップＳ３００４に進む。
【０１３５】
ステップＳ３００２では、画像合成部５７は、ステップＳ３０００で得た視点変更要求に基づいて、広視野カメラ２０に対する高精細カメラ１０の目標位置及び目標画角を決定する。尚、ステップＳ３０００で受け付けられる視点変更要求は、例えばユーザが現在表示中の広視野画像の一部（位置及び範囲）を、例えばタッチパネル式の表示装置７０上でのタッチ操作で指定することで、入力されてもよい。この場合、画像合成部５７は、タッチ操作座標に基づいて、ユーザにより指定された部位を撮像できる高精細カメラ１０の位置及び画角を、目標位置及び目標画角として算出する。そして、画像合成部５７は、該目標位置が実現されるように、ユーザ入力と回転角センサ４０４，４０６からの情報に基づいて、アクチュエータ４０１，４０２を駆動する。また、画像合成部５７は、目標画角が現在の画角と異なる場合は、目標画角が実現されるように高精細カメラ１０に指令を出力する。
【０１３６】
ステップＳ３００４では、広視野画像取得部５５は、広視野カメラ２０から今回のフレーム周期の広視野画像を取得する。
【０１３７】
ステップＳ３００６では、高精細画像取得部５６は、高精細カメラ１０から今回のフレーム周期の高精細画像を取得する。
【０１３８】
ステップＳ３００８では、画像合成部５７は、位置センサ１０４から現在の位置情報を取得すると共に、高精細カメラ１０から現在の画角情報を取得する。
【０１３９】
ステップＳ３０１０では、画像合成部５７は、ステップＳ３００８で得た位置情報及び画角情報に基づいて、数７及び数８の関係式を導出する。
【０１４０】
ステップＳ３０１２では、画像合成部５７は、ステップＳ３０１０で得た関係式に基づいて、ステップＳ３００４で取得した広視野画像と、ステップＳ３００６で取得した高精細画像との合成画像を生成する。この処理は、図２９に示した処理により実現されてよい。
【０１４１】
ステップＳ３０１４では、表示制御部５８は、ステップＳ３０１２で生成された合成画像に基づく表示画像を表示装置７０上に出力する。
【０１４２】
図３０に示す処理によれば、リアルタイムで取得される広視野画像及び高精細画像に基づいて、合成画像を生成できる。また、ユーザからの視点変更要求に応じて、高精細カメラ１０の位置及び／又は画角を変更しながら、合成画像を生成及び出力できる。
【０１４３】
尚、図３０に示す処理では、高精細カメラ１０の位置等を変更している期間中も合成画像が生成（更新）されるが、かかる変更期間中は、合成画像の生成は停止されてもよい。
【０１４４】
次に、図３１を参照して、表示制御部５８による合成画像に基づく表示画像の出力方法の一例について説明する。
【０１４５】
図３１は、合成画像の表示方法の説明図であり、仮想投影球面上の画像６０を示す斜視図である。仮想投影球面上の画像６０は、例えば球面の形態である合成画像であり、球面の内周側に貼り付けられる態様で上述のように生成される。図３１では、ベクトルＶ３は、仮想投影球面の中心を通る、表示画像に係る視線方向を表す。即ち、表示装置７０上の画面内の表示画像の中心は、仮想投影球面上の画像６０のうちの、ベクトルＶ３が貫く位置に対応する。例えば、表示制御部５８は、通信インターフェイス５０７を介して得られるユーザ入力（視線変更要求）に応じて、仮想投影球面（及び画像６０）を回転させる（矢印Ｒｒ参照）態様で、表示画像を回転させてよい。尚、表示画像の回転可能な方向は、各軸まわりの回転（矢印Ｒｒ）の組み合わせの任意の方向であってよい。
【０１４６】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０１４７】
なお、以上の実施例に関し、さらに以下の付記を開示する。
［付記１］
第１画角を有する第１撮像光学系と、
前記第１画角より広い第２画角を有する第２撮像光学系と、
前記第１撮像光学系の光軸上を前記第２撮像光学系の光学中心が通る状態で、前記第２撮像光学系に対する前記第１撮像光学系の位置を変化させる機構とを含む、撮像装置。
［付記２］
前記第２撮像光学系は、２つのレンズとを含み、
前記第２撮像光学系の光学中心は、２つの前記レンズの光学中心間の中心に対応する、付記１に記載の撮像装置。
［付記３］
前記第２撮像光学系は、単一のレンズを含み、
前記第２撮像光学系の光学中心は、前記レンズの光学中心に対応する、付記１に記載の撮像装置。
［付記４］
前記機構は、アームを有する回転機構を含む、付記１〜３のうちのいずれか１項に記載の撮像装置。
［付記５］
前記アームは、第１アームと、第２アームとを含み、
前記第１アームは、前記第２撮像光学系に、第１回転軸まわりに回転可能に支持され、
前記第２アームは、前記第１アームに、第２回転軸まわりに回転可能に支持され、
前記第１撮像光学系は、前記第２アームに取り付けられ、
前記第１回転軸は、前記第２回転軸に対して垂直である、付記４に記載の撮像装置。
［付記６］
前記第１回転軸は、前記第２撮像光学系の光学中心を通る、付記５項に記載の撮像装置。
［付記７］
前記第１アーム、前記第２アーム、及び前記第２回転軸は、前記第２アームにおける前記第１撮像光学系の取り付け部が球面を描くように形成される、付記６に記載の撮像装置。
［付記８］
前記第１撮像光学系からの第１画像と前記第２撮像光学系からの第２画像とに基づいて、表示画像を生成する処理装置を更に含む、付記１〜７のうちのいずれか１項に記載の撮像装置。
［付記９］
前記処理装置は、前記第１画像及び前記第２画像を合成することで、前記表示画像を生成する、付記８に記載の撮像装置。
［付記１０］
前記表示画像における所定領域の画像部分は、前記第１画像に基づいて生成される、付記９に記載の撮像装置。
［付記１１］
前記処理装置は、仮想投影球面上の各画素の値に基づいて、前記表示画像を生成し、
前記仮想投影球面における所定領域内の各画素の値は、前記第１画像に基づいて決定され、前記仮想投影球面における前記所定領域以外の領域内の各画素の値は、前記第２画像に基づいて決定される、付記１０に記載の撮像装置。
［付記１２］
前記処理装置は、前記第１画像が撮像されたときの前記位置に基づいて、前記所定領域を決定する、付記１０又は１１に記載の撮像装置。
［付記１３］
前記第１撮像光学系は、前記第２画角よりも狭い範囲で前記第１画角が可変であり、
前記処理装置は、前記第１画像が撮像されたときの前記第１画角に更に基づいて、前記所定領域を決定する、付記１２に記載の撮像装置。
【符号の説明】
【０１４８】
１、１Ｂ  撮像装置
４  入力デバイス
１０  高精細カメラ
２０  広視野カメラ
２２  土台部
４０、４０Ｂ  回転支持機構
４１  第１回転アーム
４２  第２回転アーム
４２Ｂ  回転アーム
５０  画像処理部
５１  広視野画像タイムスタンプ付与部
５２  高精細画像タイムスタンプ付与部
５３  時系列位置情報生成部
５４  時系列画角情報生成部
５５  広視野画像取得部
５６  高精細画像取得部
５７  画像合成部
５８  表示制御部
７０  表示装置
７２  入力デバイス
１０２  撮像素子
１０３  画角情報生成部
１０４  位置センサ
２０１  超広角レンズ
２０２  撮像素子
４０１  アクチュエータ
４０２  アクチュエータ
４０４  回転角センサ
４０６  回転角センサ
４０９  回転軸
４１０  回転軸
【図１】
2018078422.tif 000011
【図２Ａ】
2018078422.tif 000012
【図２Ｂ】
2018078422.tif 000013
【図３Ａ】
2018078422.tif 000014
【図３Ｂ】
2018078422.tif 000015
【図４】
2018078422.tif 000016
【図５】
2018078422.tif 000017
【図６】
2018078422.tif 000018
【図７】
2018078422.tif 000019
【図８】
2018078422.tif 000020
【図９】
2018078422.tif 000021
【図１０】
2018078422.tif 000022
【図１１】
2018078422.tif 000023
【図１２】
2018078422.tif 000024
【図１３】
2018078422.tif 000025
【図１４】
2018078422.tif 000026
【図１５Ａ】
2018078422.tif 000027
【図１５Ｂ】
2018078422.tif 000028
【図１６Ａ】
2018078422.tif 000029
【図１６Ｂ】
2018078422.tif 000030
【図１６Ｃ】
2018078422.tif 000031
【図１７】
2018078422.tif 000032
【図１８】
2018078422.tif 000033
【図１９】
2018078422.tif 000034
【図２０】
2018078422.tif 000035
【図２１】
2018078422.tif 000036
【図２２Ａ】
2018078422.tif 000037
【図２２Ｂ】
2018078422.tif 000038
【図２３】
2018078422.tif 000039
【図２４】
2018078422.tif 000040
【図２５】
2018078422.tif 000041
【図２６】
2018078422.tif 000042
【図２７】
2018078422.tif 000043
【図２８】
2018078422.tif 000044
【図２９】
2018078422.tif 000045
【図３０】
2018078422.tif 000046
【図３１】
2018078422.tif 000047