(57)【要約】【課題】  複数の撮像部を用いて全方位のパノラマ画像を撮影する場合に、死角を低減することが可能な撮像装置を提供すること。【解決手段】  全方位を少なくとも３つ以上の撮像部で分割撮影してパノラマ画像として出力する際に、前記３つ以上の撮像部について、前記パノラマ画像の端部に相当する撮像範囲を撮影する２つの撮像部の撮像範囲の重複が、他の２つの隣り合う撮像部の撮像範囲の重複よりも小さくなるように配置する。【選択図】  図２
2019083483.tif 000002
【特許請求の範囲】
【請求項１】
全方位を少なくとも３つ以上の撮像部で分割撮影してパノラマ画像として出力する撮像装置であって、
前記３つ以上の撮像部は、前記パノラマ画像の端部に相当する撮像範囲を撮影する２つの撮像部の撮像範囲の重複が、他の２つの隣り合う撮像部の撮像範囲の重複よりも小さくなるように配置されていることを特徴とする撮像装置。
【請求項２】
前記３つ以上の撮像部は、前側主点間の距離が前記パノラマ画像の端部を撮影する撮像部以外の撮像部の隣り合った前側主点間の距離よりも小さく、全ての撮像部の前側主点から同一の距離にある撮影中心とパノラマ画像の端部の一方を撮影している撮像部の前側主点とを結んだ直線と、前記パノラマ画像の端部を撮影している一方の撮像部の光軸がなす角度が、パノラマ画像の端部以外を撮影する撮像部の光軸と、撮影中心と前側主点を結ぶ直線とがなす角度よりも大きいことを特徴とする撮像装置。
【請求項３】
前記３つ以上の撮像部は、撮影範囲がパノラマ画像の中央部に近い撮像部ほど、隣り合う撮像部との前側主点間の距離が段階的に小さく、かつ撮像部の光軸と、撮影中心と撮像部の前側主点を結ぶ直線とがなす角度が段階的に小さいことを特徴とする請求項１に記載の撮像装置。
【請求項４】
全方位の撮影範囲を複数のパノラマ画像として出力する出力手段をさらに備えることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記３つ以上の撮像部は、パノラマ画像の端部を撮影する撮像部同士の光軸がなす角度と、パノラマ画像の端部を撮影する撮像部の画角が同一であることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記３つ以上の撮像部は、パノラマ画像の端部を撮影する撮像部同士を、互いに上下方向へずらして配置することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
【請求項７】
前記３つ以上の撮像部は、撮影範囲がパノラマ画像の中央に近い撮像部ほど、画角が広いことを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼のネットワークカメラに関するものである。
【背景技術】
【０００２】
従来、監視などのセキュリティ用途のネットワークカメラなどにおいて、複数の撮像部（カメラ）を備え、それら複数の撮像部によって撮影された画像を繋ぎ合わせることで、単一の撮像部を用いるよりも広い領域を撮影できる技術がある（特許文献１）。このような技術のユースケースの一例として、例えば複数の撮像部を用いて全方位を分担撮影し、それらの画像を繋ぎ合わせて全方位パノラマ画像を取得する場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−０５９６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された従来技術では、撮像部同士の間にどちらの撮像部からも撮影されない死角が発生する。このため、特許文献１の手法を用いて全方位パノラマ画像を取得しようとする場合、死角の多いパノラマ画像となってしまう。全ての撮像部を広角にすることで死角を低減することも可能であるが、一般的に広角の撮像部（カメラ）はコストが高く、コストの増大を招いてしまう。
【０００５】
そこで本発明は、複数の撮像部を用いて全方位のパノラマ画像を撮影する場合に、死角を低減することが可能な撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る撮像装置は、方位を少なくとも３つ以上の撮像部で分割撮影してパノラマ画像として出力する撮像装置であって、前記３つ以上の撮像部は、前記パノラマ画像の端部に相当する撮像範囲を撮影する２つの撮像部の撮像範囲の重複が、他の２つの隣り合う撮像部の撮像範囲の重複よりも小さくなるように配置されている。
【発明の効果】
【０００７】
本発明によれば少なくとも３つ以上の撮像部を用いて全方位のパノラマ画像を撮影する場合にも、死角を低減することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の機能ブロック図である。
【図２】実施形態１の撮像部の配置を示す模式図である。
【図３】実施形態１の撮像部の詳細配置を示す模式図である。
【図４】実施形態１の合成パノラマ画像を示す模式図である。
【図５】実施形態２の機能ブロック図である。
【図６】（ａ）シングルパノラマビューを示す模式図である。（ｂ）ダブルパノラマビューを示す模式図である。
【図７】実施形態２の撮像部の配置を示す模式図である。
【図８】実施形態３の撮像部の配置を示す模式図である。
【図９】実施形態４の撮像部の配置を示す模式図である。
【図１０】実施形態４の撮像部の配置俯瞰図である。
【図１１】先行例の撮像部の配置を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、図を用いて、本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【００１０】
＜実施形態１＞
本発明における撮像装置の機能ブロック図を図１（ａ）、撮像装置の外観を図１（ｂ）に示す。図１（ｂ）において、撮像装置１００は、不図示のクライアントコンピュータとネットワーク経由で接続されており、全方位を撮像するための固定された撮像ユニット部１１００と、パン・チルト・ズームなどの制御が可能な撮像ユニット部１２００を備える。撮像ユニット部１１００は複数の固定の撮像部を備えており、３６０度の全方位を分割撮影している。なお、となり合う固定の撮像部とはある程度、撮像範囲が重複するように配置されている。撮像ユニット部１２００は、撮像部１１００で撮像し、クライアントに出力されるパノラマ画像上でユーザがエリアを指定すると、そのエリアを詳細に移すように、パン・チルト・ズーム制御（ＰＴＺ）される。以降、撮像ユニット部１２００については説明を省略する。
【００１１】
図１（ａ）において、撮像装置１００は、撮像部１０１ａ〜１０１ｈと画像処理部１０４を有し、撮像部１０１ａ〜１０１ｈはそれぞれ結像光学系１０２ａ〜１０２ｈ、固体撮像素子１０３ａ〜１０３ｈで構成されている。撮像部１０１ａ〜１０１ｈにおいて撮影した画像は、画像処理部１０４においてパノラマ画像に合成される。合成されたパノラマ画像は不図示のクライアントの表示部に送られてビューア表示されたり、不図示の記録部に記録されたりする。または表示部へのビューア表示と記録部での記録の両方を行ってもよい。ここでは説明のため、撮像部が８つの撮像装置を示したが、撮像部の数は３つ以上であればいくつであってもよい。
【００１２】
図２は本発明における撮像装置１００を上側から見た図となっており、撮像部１０１ａ〜１０１ｈの配置を説明するための図である。図２に示すように撮像部１０１ａ〜１０１ｈは円形の撮像装置１００の外縁部に沿って配置されている。各撮像部の前側主点から放射状に伸びている二本の点線は各撮像部の画角を表している。ここで説明のために、それぞれの撮像部の前側主点から同一の距離にある点を撮影中心１１０と定義する。
【００１３】
図３は撮像部１０１ａ〜１０１ｈで撮影した画像を画像処理部１０４で合成したパノラマ画像を表している。画像１３１ａ〜１３１ｈはそれぞれ撮像部１０１ａ〜１０１ｈで撮像した画像である。また図２における一点鎖線１１１は撮像部１０１ａと１０１ｈの境界を表しており、図３に示した合成後のパノラマ画像における端部１１１に相当する。以後この境界をパノラマ端部１１１と呼称する。
【００１４】
複数の撮影部で撮影した画像をパノラマ画像へ合成する場合には、テンプレートマッチング等の手法を用いることが一般的である。テンプレートマッチングでは画像同士の重なっている領域における相関度を利用するため、撮像部同士の撮影範囲に重複している領域を持たせる必要がある。このため複数の撮像部を用いて、全方位のパノラマ画像を取得する場合には、特許文献１のように全ての撮像部の前側主点間の距離を等間隔とし、全ての撮像部の光軸を、前側主点と撮影中心を結ぶ直線と同一方向に向けるよう配置することが一般的である。この場合の撮像部の配置を図１１に示す。図１１を見て分かるように各撮像部の間にはどちらの撮像部からも撮影されず、死角となる領域が発生する。
【００１５】
しかしながら図３の全方位パノラマ画像を見て分かる通り、パノラマ画像の両端（端部１１１）は合成される必要がないため、パノラマ端部を担当する撮像部の撮影範囲同士を重複させる必要はない。本発明では、図２に示すようにパノラマ端部１１１を担当する撮像部１０１ａと１０１ｈの画角の重なりを低減し、パノラマ中央側への撮影範囲を拡大することで各撮像部間の死角を低減させている。
【００１６】
＜撮像部の配置位置＞
本実施形態における撮像部の配置位置について説明する。説明のため、図３に撮像部１０１ａ〜１０１ｈの詳細な配置を示す。ここで撮像部同士の前側主点間の距離をＬｘｙ  （但しｘ、ｙにはａ〜ｈが入る）と表すことにする。例えば撮像部１０１ａと１０１ｈの前側主点間の距離はＬｈａと表現される。本実施形態では、撮像部１０１ａと１０１ｈの前側主点間の距離Ｌｈａが、それらの撮像部以外の撮像部の前側主点間の距離Ｌｘｙよりも小さくなるように配置されている。また、パノラマ端部以外は、パノラマ中央部から離れるほど撮像部の前側主点間の距離を徐々に大きくなるように配置しており、つまり次式の関係が成り立つように配置している。
【００１７】
Ｌｈａ  ＜  Ｌｄｅ  ＜  Ｌｃｄ＝Ｌｅｆ  ＜  Ｌｂｃ＝Ｌｆｇ  ＜  Ｌａｂ＝Ｌｇｈ  ＜  Ｌｄｅ  ……（１）
撮像部１０１ａと撮像部１０１ｈの前側主点間の距離Ｌｈａが一番小さければ、他の撮像部の前側主点間の距離はどのような値であってもよい（例えば等間隔であってもよい）。
【００１８】
＜撮像部の配置角度＞
次に本実施形態における撮像部の配置角度について図３を用いて説明する。説明のため、撮像部の前側主点と撮影中心１１０を結ぶ直線と、撮像部の光軸とがなす角度をθと定義する。撮像部１０１ａ〜１０１ｈの角度θを、それぞれθａ〜θｈとする。
【００１９】
図２に示すように各撮像部は以下の関係を満たすように配置されている。
【００２０】
｜θａ｜＝｜θｈ｜  ＞  ｜θｂ｜＝｜θｇ｜  ＞  ｜θｃ｜＝｜θｆ｜  ＞  ｜θｄ｜＝｜θｅ｜      ……（２）
つまり、パノラマ端部１１１に近い撮像部ほど角度θが大きく、よりパノラマ画像の中央側へ光軸を向けていることになる。ここではパノラマ端部から離れた撮像部ほどθを徐々に小さくしていく例を示したが、θａとθｈが一番大きい角度であれば、他はどのような値でもよい。例えばθｂ〜θｅが同一の値であってもよい。θａとθｈは、撮像部１０１ａと撮像部１０１ｈの画角の端が、パノラマ端部１１１と重なるように選ぶと、死角の低減効果が最大となるため望ましい。
【００２１】
以上のように、本実施形態ではパノラマ画像の端部に相当する撮像範囲を撮影する２つの撮像部の撮像範囲の重複が、他の２つの隣り合う撮像部の撮像範囲の重複よりも小さくなるように配置されている。これによって、パノラマ端部の不要な画角の重なりを低減することで、パノラマ中央側への撮影範囲を拡大することでき、各撮像部間の死角を低減させることが可能になる。
【００２２】
＜実施形態２＞
本発明の第２の実施形態では、第１の実施形態と異なり、全方位パノラマ画像内にパノラマ端が複数存在する場合について説明する。ここではパノラマ端部が２か所存在する場合、つまり撮影範囲１８０°毎に異なる画像処理を行う場合について説明する。図５は第２の実施形態における機能ブロック図を表している。撮像部２０１ａ〜２０１ｈが、それぞれ結像光学系２０２ａ〜２０２ｈ、固体撮像素子２０３ａ〜２０３ｈで構成されている点は第１の実施形態と同様である。撮像部２０１ａ〜２０１ｄによって撮影された画像は画像処理部２０４によって１８０°のパノラマ画像Ａに合成される。
【００２３】
撮像部２０１ｅ〜２０１ｈによって撮影された画像は画像処理部２０５によって１８０°のパノラマ画像Ｂに合成される。本実施形態の構成では、２つの１８０°パノラマ画像Ａ及びＢが、それぞれ異なる画像処理部２０４と２０５で合成されるため、パノラマ画像Ａとパノラマ画像Ｂの境界線（つまり撮像部２０１ｄと２０１ｅの境界線）は合成されない。画像処理部２０４および２０５で合成されたパノラマ画像は転送スイッチ部２０６に送られる。転送スイッチ部２０６は有線もしくは無線のネットワークを介して不図示の表示部に接続されており、パノラマ画像ＡとＢをスイッチングして同一ネットワークに配信し、表示部へ順次転送している。ここで転送スイッチ部２０６は不図示の記録部に接続されていて、記録部へパノラマ画像ＡおよびＢを順次転送して記録してもよい。また、記録部と表示部を共に有する構成としてもよい。
【００２４】
図６（ａ）および（ｂ）は不図示の表示部によってビューア表示された全方位のパノラマ画像である。画像２３１ａ〜２３１ｈはそれぞれ撮像部２０１ａ〜２０１ｄで撮影した画像であり、画像２３１ａ〜２３１ｄまでがパノラマ画像Ａ、画像２３１ｅ〜２３１ｈまでがパノラマ画像Ｂであり、それぞれ１８０°の画角に相当している。図６（ａ）は不図示の表示部によってパノラマ画像ＡとＢをビューア上でひとつながりに連続して表示させた場合（シングルパノラマビュー）を表している。図６（ｂ）は上下に分けてパノラマ画像ＡとＢをビューアに表示させた場合（ダブルパノラマビュー）を表している。どちらのビューア表示においても、第１の実施形態と異なり、パノラマ端部が２１１（一点鎖線）と２１２（波線）の２か所存在し、どちらも合成される必要がないことがわかる。
【００２５】
図７は第２の実施形態の撮像装置２００を上側から眺めた図であり、撮像部２０１ａ〜２０１ｈの配置を説明するための図である。前述のように撮像部２０１ａと２０１ｈの撮影画像同士と、２０１ｄと２０１ｅの撮影画像同士はそれぞれ合成する必要がない。つまりパノラマ端部は一点鎖線の２１１と波線２１２の２か所になる。パノラマ端部は両側の撮像部で重複して撮影する必要はないため、撮像部２０１ａ、２０１ｈは画角の一端がパノラマ端部２１１に重なるように配置し、撮像部２０１ｄと２０１ｅは画角の一端がパノラマ端部２１２に重なるように配置している。第１の実施形態と同様に、各撮像部の前側主点間の距離をＬｘｙ（但しｘ、ｙにはａ〜ｈが入る）と表す。また、撮像部の前側主点と撮影中心２１０を結ぶ直線と、撮像部の光軸とがなす角度をθと定義し、撮像部２０１ａ〜２０１ｈの角度θを、それぞれθａ〜θｈと表す。このとき、本実施形態における撮像部の配置は下記の関係式を満たしている。
Ｌｈａ＝Ｌｄｅ  ＜  Ｌｂｃ＝Ｌｆｇ  ＜  Ｌａｂ＝Ｌｇｈ＝Ｌｃｄ＝Ｌｅｆ        ……（３）
｜θａ｜＝｜θｈ｜＝｜θｄ｜＝｜θｅ｜  ＞  ｜θｂ｜＝｜θｇ｜＝｜θｃ｜＝｜θｆ｜        ……（４）
このように配置することによって、合成が不要な２１１のパノラマ端に加え、もうひとつのパノラマ端２１２における不要な撮影範囲の重複を削減することが可能になる。このため、第１の実施例に比べて、さらに撮像部間の死角を低減することが可能になる。
【００２６】
＜実施形態３＞
次に本発明の第３の実施形態について説明する。第１および第２の実施形態では、複数の撮像部は同一の画角である場合について説明した。本実施形態では、撮影範囲がパノラマ端部から離れた撮像部、つまり撮影範囲がパノラマ中央部に近い撮像部ほど、段階的に画角を広角とする。本実施形態における撮像装置３００の機能ブロック図は第１の実施形態における撮像装置１００と同一のため、機能ブロック図は省略する。図８は撮像装置３００の撮像部の配置を説明するための図である。各撮像装置の画角δｘ（ｘにはａ〜ｈがはいる）と表すことにすると、各撮像部の画角は下記の関係式に従う。
δｄ＝δｅ  ＞  δｃ＝δｆ  ＞  δｂ＝δｇ  ＞  δａ＝δｈ    ……（５）
このように画角を設定することで、撮像装置３００から遠い側の死角を効率的に低減することが可能となる。この理由を説明する。図２のように、第１の実施例では撮像部１０１ｄと１０１ｅの撮像部間の死角が最も大きく、かつ最も撮像部から離れた位置まで広がっている。第３の実施形態においては撮像部３０１ｄと３０１ｅの画角δｄ、δｅが、全ての撮像部の中で最も広角の画角である。このため、撮像部３０１ｄと３０１ｅ間に存在する死角は、効率的に低減されることになる。画角が同一であった場合には、撮像装置３００から２番目に遠方まで伸びる死角は撮像部３０１ｃと３０１ｄ間、および撮像部３０１ｅと３０１ｆ間の死角である。これに対し、撮像部３０１ｃと３０１ｆには２番目に広い画角をもつ撮像部を設定して効率的に死角を低減している。このように、撮像部から遠方に伸びる死角に対してより広角の撮像部を配置することで、効率的に低減することが可能となる。
【００２７】
ここでは段階的に撮像部の画角を広角にする場合を説明したが、必ずしも段階的に画角を広げる必要はなく、例えば撮像部３０１ｄと３０１ｅだけを広角とし、他の撮像部はそれよりも狭い画角で統一させてもよい。但し、段階的に広角とするほうが、全方位に渡って遠方の死角を低減する効果が大きいため望ましい。また、全ての撮像部を広角にすることも可能であり、この場合が最も死角低減効果が高くなる。しかしながら一般的に広角の撮像部（カメラ）であるほどコストがかかるため、全てを広角にしてしまうとコストの増大を招いてしまう。
【００２８】
＜実施形態４＞
第４の実施形態では、パノラマ端部を担当する撮像部同士を上下に重ねることで、撮影範囲の水平方向の端部を完全に重ね合わせる場合を説明する。本実施例の形態では実施例１に比べて他の撮像部間の死角をより低減することが可能である。本実施形態における撮像装置４００の機能ブロック図は第１の実施形態における撮像装置１００と同一のため、機能ブロック図は省略する。図９は撮像装置４００の撮像部の配置を説明するための図である。また図１０は図９における撮像部４０１ａと４０１ｈの配置を説明するための図で、撮像部４００をパノラマ端部４１１方向から眺めた図である。図１０に示すように、撮像部４０１ａの上部に撮像部４０１ｈが配置され撮影範囲の水平方向の端部と、撮像部４０１ａの撮影範囲の水平方向の端部が重なっている。このように配置することで図９に示すように、撮像部４０１ａと４０１ｈの撮影範囲の重なりはなくなり、撮像部４０１ａと４０１ｈは最もパノラマ中央部の方向を向くことになる。このため、他の撮像部もよりパノラマ中央部を向くことができ、死角を更に低減することができる。またこのように配置した場合、撮像部４０１ａと４０１ｈの撮影画像は上下方向にずれることになるが、パノラマ端部４１１はパノラマ合成を行わないので影響は小さい。
【図１】
2019083483.tif 000003
【図２】
2019083483.tif 000004
【図３】
2019083483.tif 000005
【図４】
2019083483.tif 000006
【図５】
2019083483.tif 000007
【図６】
2019083483.tif 000008
【図７】
2019083483.tif 000009
【図８】
2019083483.tif 000010
【図９】
2019083483.tif 000011
【図１０】
2019083483.tif 000012
【図１１】
2019083483.tif 000013