(57)【要約】【課題】発明の撮像装置は、パノラマビデオを生成するための安価な特定用途向け集積回路解決法において簡単な合成（ステッチィング）アルゴリズムが実行できるように、方式に捕捉済映像の固定合成ポイントを提供するために全レンズのＦＯＶ（視野）交差ポイントを一列に並べる。【解決手段】マルチレンズ・カメラ方式の撮像装置において、各レンズの水平視野がＨＦＯＶｉ(ｉ＝１,２,…,Ｎ)であるＮ個のレンズと、各レンズを水平方向にθi度 (０＜θｉ＜ＨＦＯＶｉ,ｉ＝１,２,…,Ｎ−１)の回転により他の上に置く位置決め手段より成り、該位置決め手段が、全レンズのＦＯＶ交差ポイントが垂直方向に一列になるように各レンズを位置決めする。【選択図】図１
2007108744.tif 000002
【特許請求の範囲】
【請求項１】
各レンズの水平視野がＨＦＯＶｉ(ｉ＝１，２，…，Ｎ)であるＮ個のレンズと、
各レンズを水平方向にθｉ（０＜θｉ＜ＨＦＯＶｉ，ｉ＝１，２，…，Ｎ−１、ＨＦＯＶ：水平視野）度の回転により他の上に置く位置決め手段と、
より成るマルチレンズ・カメラ方式の撮像装置であって、
前記位置決め手段が、全レンズのＦＯＶ(視野)交差ポイントが垂直方向に一列になるように各レンズを位置決めすることを特徴とする
マルチレンズ・カメラ方式の撮像装置。
【請求項２】
前記位置決め手段は、各レンズを垂直方向にｉ（０＜ｉ＜ＶＦＯＶｉ，ｉ＝１，２，…，Ｎ、ＶＦＯＶ：垂直視野）度の角度で傾けることを特徴とする
請求項１記載のマルチレンズ・カメラ方式の撮像装置。
【請求項３】
前記θｉ度は、θ１＝θ２＝θ３＝…＝θN-1度であることを特徴とする
請求項１記載のマルチレンズ・カメラ方式の撮像装置。
【請求項４】
前記Ｎ個のレンズにより得られる全視野は、
【数１】
2007108744.tif 000015
に等しいことを特徴とする
請求項１記載のマルチレンズ・カメラ方式の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に撮像装置に関する。特に、本発明はパノラマ映像発生用マルチレンズ・カメラ方式の撮像装置に関する。簡単な合成アルゴリズムが特定用途向け集積回路（ＡＳＩＣ: Application Specific Integrated Circuit）解決法にて実行されるように、撮像装置は複数のレンズをマルチカメラ方式に位置づけることができる。
【背景技術】
【０００２】
通常、パノラマ映像の生成は複数のカメラにより同時に撮影し、その後イメージプロセッサーにより映像を構成する必要がある。一方、静止パノラマ映像は、複数回撮影するための撮影モーター(カメラを左右(上下)に動かして撮影するモーター)を有する単一カメラを用い、その後、各回に捕捉された映像を合成 (ステッチィング)することにより形成されえる。例えば、特許文献１及び２は、広角映像を捕捉するための撮影モーターを含む。しかしながら、撮影モーターは、カメラ方式の費用及び寸法(サイズ)を増大させる。従って、簡単な機構と簡単な合成（ステッチィング）アルゴリズムによってパノラマ映像を生成することが望まれている。
【特許文献１】特開平１１−００８８４５号公報
【特許文献２】特開平１１−０１８００３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の撮像装置は、パノラマビデオを生成するための安価な特定用途向け集積回路（ＡＳＩＣ）解決法で簡単な合成（ステッチィング）アルゴリズムが実行できるように、方式に捕捉済映像の固定合成ポイントを提供するために全のレンズのＦＯＶ（視野）交差ポイントを一列に並べる。
【課題を解決するための手段】
【０００４】
上述の目的を達成するために、本発明は、各レンズの水平視野がＨＦＯＶｉ(ｉ＝１，２，…，Ｎ)であるＮ個のレンズと、各レンズを水平方向にθｉ度 （０＜θｉ＜ＨＦＯＶｉ，ｉ＝１，２，…，Ｎ−１）の回転により他の上に置く位置決め手段とより成り、該位置決め手段が、全レンズのＦＯＶ交差ポイントが垂直方向に一列になるように各レンズを位置決めすることを特徴とするマルチレンズ・カメラ方式の撮像装置である。
【０００５】
本発明において、上述の位置決め手段は、各レンズを垂直方向にｉ（０＜ｉ＜ＶＦＯＶｉ，ｉ＝１，２，…，Ｎ、ＶＦＯＶ：垂直視野）度の角度で傾けることを特徴とする。
【０００６】
本発明において、上述のθｉ度は、θ１＝θ２＝θ３＝…＝θN-1度であることを特徴とする。
【０００７】
本発明において、上述のＮ個のレンズにより得られる全視野は、
【数１】
2007108744.tif 000003
に等しいことを特徴とする。
【発明の効果】
【０００８】
合成アルゴリズムは、パノラマ映像を生成する際にほとんどの計算電力を消費する部分である。高フレームレート・ビデオ（例えば、３０フレーム／秒）に対して、低価格の特定用途向け集積回路解決法は、１／３０秒ごとに合成ポイントを更新する性能を達成するには十分に強力ではない。本発明は、一定の合成ポイントを有する映像を捕捉するために、マルチレンズの位置決め用の簡単で実現可能な機構を開示し、それにより低価格、小型および広角のカメラ方式を提供する。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明による２個、３個及びＮ個のレンズの例による撮像装置を示す。このレンズ配列は、本発明による位置付け手段により達成される。この位置付け手段は、単一レンズの角度制限を超えて広角映像を作成するテレビ電話方式の一部でありえる。簡単な合成アルゴリズムが実行される簡単な特定用途向け集積回路と一緒にこのマルチレンズ・カメラ方式が、低価格、小型及び広角カメラ方式を提供するために採用される。
【００１０】
本発明の原理を、図２から図８を参照して、以下に記述する。
【００１１】
本発明の撮像装置は、Ｎ個のレンズと位置決め手段より構成される。該位置決め手段は、水平方向にθｉ（０＜θｉ＜ＨＦＯＶｉ，ｉ＝１，２，…，Ｎ−１、ＨＦＯＶ：水平視野）度の回転により他の上に各レンズを位置づける。
【００１２】
図２は、レンズ回転とＨＦＯＶ（水平視野）の説明図である。カメラ方式において、Ｎ個のレンズに各レンズ(ｉ＝１，２，…，Ｎ)用のＨＦＯＶｉの水平視野と、θi(ｉ＝１，２，…，Ｎ−１)の回転角を与える、方式の合計水平視野ＨＦＯＶｔは、
【数２】
2007108744.tif 000004
に等しい。各レンズのＨＦＯＶｉがＨＦＯＶに等しく、すべての回転角度θiがθに等しい場合、方式の合計のＨＦＯＶtは、（ＨＦＯＶ×Ｎ）−(ＨＦＯＶ−θ)×(Ｎ−１)に等しい。例えば、Ｎ＝２、ＨＦＯＶ１＝ＨＦＯＶ２=６０°、そしてθ１＝３０°とすれば、合計ＨＦＯＶt＝９０°になり、また、Ｎ＝１１(合計１１レンズ)、ＨＦＯＶｉ=６０°(ｉ＝１,２,３,…１１)そしてθｉ＝３０°(ｉ＝１,２,３,…１０)とすれば、合計ＨＦＯＶt＝３６０°になる。
【００１３】
本発明の重要性は、ビデオ合成用の低価格の特定用途向け集積回路で実行可能な簡単な合成アルゴリズムのために映像を捕捉することである。各レンズのＦＯＶ交差ポイントの配列は、異なる距離で対象に対する一定の合成ポイントを提供し、カメラ方式に対して各レンズ間の回転角を固定する。それゆえ、合成ポイントは、カメラ調整の間に計算することができる。特定用途向け集積回路に対しては、対象の距離の変化によりフレーム毎に力学的に合成ポイントを計算する必要がない。従って、合成用の計算電力は十分減らすことができ、そして特定用途向け集積回路の費用を節約できる。
【００１４】
次の記述において、合成ポイントとＦＯＶ交差ポイント配列間の関係を説明する。
【００１５】
図３は、単一レンズのＦＯＶ交差ポイントを示す。
【００１６】
図４は、ＦＯＶ交差ポイントの誤配列によって生じる合成問題を示す。図において、stpnは、近い対象の合成ポイントを表す、stpfは、遠い対象の合成ポイントを表す、Ｄnは、ＦＯＶ交差ポイントと近い対象間の距離を表す、Ｄfは、ＦＯＶ交差ポイントと遠い対象間の距離を表す、Ｄthは、ＦＯＶ交差ポイントとＦＯＶ横断ポイント間の距離を表す、Ｗnは、近い対象の見える幅を表す、Ｗfは、遠い対象の見える幅を表す、αは、重なり合った境界と合成ポイント間の角度を表す、そしてＨＦＯＶは、水平視野を表す。図４に示すように、誤配列の場合、Ｄthの距離内の対象に対して重なり合う映像は存在しない。合成ポイントの定義が重なり合った映像の中心とすれば、対象とカメラ間の距離が変化するとき合成ポイントは移動する。
【００１７】
図５(a)及び図５(b)は、誤配列の場合のそれぞれ近い対象及び遠い対象の映像の重なり合う部分を示す。これら２つの図を比較すると、図５(a)の近い対象の映像の重なり合う部分（暗くされた部分）は明らかに、図５(b)の遠い対象の映像の重なり合う部分（暗くされた部分）より小さいことがわかる。
【００１８】
合成ポイントの変化は、以下の式から得ることができる。
近い対象に対して、stpnとＷnは以下の式で表される。
【数３】
2007108744.tif 000005
映像内の近い対象の合成ポイント比率（stpn/Ｗn）は、以下の式で表される。
【数４】
2007108744.tif 000006
遠い対象に対して、stpfとＷfは以下の式で表される。
【数５】
2007108744.tif 000007
映像内の近い対象の合成ポイント比率（stpf/Ｗf）は、以下の式で表される。
【数６】
2007108744.tif 000008
従って、
【数７】
2007108744.tif 000009
である。ここで、＊は掛け算記号である。
【００１９】
図６は、ＦＯＶ交差ポイントが配列される場合を示す。この場合、合成ポイントは対象の距離にかかわらず同じにとどまる。これは、次の式で説明できる。
近い対象に対して、stpnとＷnは以下の式で表される。
【数８】
2007108744.tif 000010
映像内の近い対象の合成ポイント比率（stpn/Ｗn）は、以下の式で表される。
【数９】
2007108744.tif 000011
遠い対象に対して、stpfとＷfは以下の式で表される。
【数１０】
2007108744.tif 000012
映像内の近い対象の合成ポイント比率（stpf/Ｗf）は、以下の式で表される。
【数１１】
2007108744.tif 000013
従って、
【数１２】
2007108744.tif 000014
である。
【００２０】
その上、各レンズで捕捉された映像は、ＦＯＶの垂直置換のために移動させられる。図７は、ＦＯＶ置換によって生じる映像の不一致を説明する。不一致部分は、最終のパノラマ映像において切り取られなければならない。大きいＮであればあるほど、より多くの部分が切り取られる。この問題を解決するために、本発明は、垂直方向に各レンズをｉ(０＜ｉ＜ＶＦＯＶｉ,ｉ＝１,２,…,Ｎ)度傾けるための位置決め手段を提供する。図８は各レンズを垂直方向に傾けることによって得られた結果を説明する。尚、ＦＯＶ交差ポイントは、レンズを傾けている間、常に一列にされている。
【００２１】
従って、本発明の撮像装置は、一定の合成ポイントを有する映像を提供することができ、それにより合成アルゴリズムの複雑さを簡単化する。
【００２２】
以下に、本発明によるマルチレンズ・カメラ方式の具体例を、図９を参照して記述する。簡潔化のために、以下の記述はレンズ部分に絞り、カメラの他の部分の詳細な記述を含む関連する画像処理手順を省略する。
【００２３】
図９に示すように、レンズ部分１１０は、３個のレンズ１１０Ａ、１１０Ｂ及び１１０Ｃを含み、その中で、レンズ１１０Ｂは、水平方向にθ度の反時計回り回転（図示せず）を有するレンズ１１０Ａの上に配置され、そしてレンズ１１０Ｃは、さらに水平方向にθ度の反時計回り回転（図示せず）を有するレンズ１１０Ｂの上に配置される。レンズ１１０Ａ、１１０Ｂ及び１１０Ｃで捕捉された画像信号をそれぞれフレキシブル・フラット・ケーブル（ＦＦＣ）１２０Ａ、１２０Ｂ、１２０Ｃを通じて、更なる処理のために、画像処理論理ブロック１３０に送る。画像処理論理ブロック１３０は、マルチレンズ・画像信号処理器（ＩＳＰ）１３１、合成（スティチィング）論理１３２、画像信号処理器（ＩＳＰ）１３３、ビデオ・エンコーダ１３４、ＭＰＥＧエンコーダ１３５及びネットワーク・インタフェース１３６を内蔵する。
【００２４】
まず、マルチレンズ・画像信号処理器（ＩＳＰ）１３１は、それぞれのレンズによって捕捉された映像間の差異を減らすように、レンズ１１０Ａ、１１０Ｂ及び１１０Ｃから送られた映像信号の一次処理を行う。一次処理後の映像はそれぞれ合成論理１３２に送られる。合成論理１３２は、単一の映像として映像が互いに継ぎ目なく組み立てられるように、映像信号上で変形と位置計算を行う。前記単一映像は、通常の画像処理のために、画像信号処理器（ＩＳＰ）１３３に送られる。このポイントで、処理済映像は、ビデオ・エンコーダ１３４により符号化されえる、その後、表示装置に表示される。あるいは、処理済映像は、あらゆる蓄積装置に蓄積するために圧縮されえる。更に、圧縮済映像データは、ネットワーク・インタフェース１３６を通じてインターネットに送られる。
【図面の簡単な説明】
【００２５】
【図１】本発明による撮像装置のＮ個のレンズの説明図である。
【図２】レンズ回転とＨＦＯＶ（水平視野）の説明図である。
【図３】単一レンズのＦＯＶ交差ポイントを示す図である。
【図４】ＦＯＶ交差ポイントの誤配列によって生じる水平視差を示す図である。
【図５】図５(a)及び図５(b)は、誤配列の場合における近い対象と遠い対象の重なり合う部分を示す図である。
【図６】ＦＯＶ交差ポイントが一列になる場合を示す図である。
【図７】垂直方向へカメラを傾けずに映像が移動することを示す図である。
【図８】垂直方向へカメラを傾けることにより映像が一列に並ぶ場合を示す図である。
【図９】本発明によるマルチレンズ・カメラ方式のブロック図である。
【符号の説明】
【００２６】
１１０Ａ、１１０Ｂ及び１１０Ｃ…レンズ、１２０Ａ、 １２０Ｂ、１２０Ｃ…フレキシブル・フラット・ケーブル（ＦＦＣ）、１３０…画像処理論理ブロック、１３１…マルチレンズ・画像信号処理器（ＩＳＰ）、１３２…合成（スティチィング）論理、１３３…画像信号処理器（ＩＳＰ）、１３４…ビデオ・エンコーダ、１３５…ＭＰＥＧエンコーダ、１３６…ネットワーク・インタフェース
【図１】
2007108744.tif 000016
【図２】
2007108744.tif 000017
【図３】
2007108744.tif 000018
【図４】
2007108744.tif 000019
【図５】
2007108744.tif 000020
【図６】
2007108744.tif 000021
【図７】
2007108744.tif 000022
【図８】
2007108744.tif 000023
【図９】
2007108744.tif 000024
【外国語明細書】
2007108744.tif 000025
2007108744.tif 000026
2007108744.tif 000027
2007108744.tif 000028
2007108744.tif 000029
2007108744.tif 000030
2007108744.tif 000031
1. Abstract
2007108744.tif 000032
2. Representative Drawing
Figure 1
2007108744.tif 000033
2007108744.tif 000034
2007108744.tif 000035
2007108744.tif 000036
2007108744.tif 000037
2007108744.tif 000038
2007108744.tif 000039
2007108744.tif 000040