(57)【要約】【課題】ＶＲゴーグル等の進歩により、全天球かつステレオ画像の要求が高まっており、円周上に複数のカメラを並べた全天球のステレオ画像が作成可能なカメラが既に知られている。また、広範な撮影状況に対応する目的で、筐体中央部に回動部を設けることにより、ステレオ画像および“パノラマ”画像取得が可能な携帯電話に関する技術が開示されている。しかし、それぞれ個別のカメラを準備しなければならないという課題が生じる。【解決手段】特殊撮影装置１ａは、第１の撮像素子によって得られた第１の画像と第２の撮像素子によって得られた第２の画像とを合成することにより、全天球画像を作成する撮影装置であって、第２の撮像素子を備えた撮影ユニット１７１ｂの撮像方向を変更する回動部１７４ａと、この回動部１７４ａによる撮影方向の変更に基づいて、全天球撮影する第１の撮影モードと全天球撮影しない第２の撮影モードとを切り替える。【選択図】図２
2019117330.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像素子によって得られた第１の画像と第２の撮像素子によって得られた第２の画像とを合成することにより、全天球画像を作成する撮影装置であって、
前記第２の撮像素子の撮像方向を変更する変更手段と、
前記変更手段による変更に基づいて、前記全天球撮影する第１の撮影モードと前記全天球撮影しない第２の撮影モードとを切り替える切替手段と、
を有することを特徴とする撮影装置。
【請求項２】
前記変更手段は、前記第２の撮像素子を含む撮影ユニットを前記撮影装置に対して回動させる回動機構を含むことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記回動機構は、回動の角度を任意に固定可能な機構であることを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記回動機構は、前記撮影装置の長手方向を軸に前記撮像ユニットを回動させる機構であることを特徴とする請求項２又は３に記載の撮影装置。
【請求項５】
前記回動機構は、前記撮影装置の長手方向に垂直な方向を軸に前記撮像ユニットを回動させる機構であることを特徴とする請求項２又は３に記載の撮影装置。
【請求項６】
前記変更手段は、前記第１の撮像素子を含む第１の撮影ユニット及び前記第２の撮像素子を含む第２の撮影ユニットをそれぞれ独立して前記撮影装置に対して回動させる回動機構を含むことを特徴とする請求項１に記載の撮影装置。
【請求項７】
前記変更手段は、前記撮影ユニットを前記撮影装置に対してスライドさせるスライド機構を含むことを特徴とする請求項２乃至６のいずれか一項に記載の撮影装置。
【請求項８】
請求項１乃至７に記載の撮影装置であって、更に、
前記変更手段によって前記第２の撮像素子の撮像方向が変更されたことを検知する検知手段を有し、
前記検知手段による検知結果に基づいて、前記切替手段が、前記第１の撮影モードと前記第２の撮影モードとを切り替えることを特徴とする撮影装置。
【請求項９】
前記検知手段は、前記変更手段による変更の度合いを検知し、
前記切替手段は、前記変更の度合いに応じて、前記第１の撮影モードと前記第２の撮影モードとを切り替えることを特徴とする請求項１乃至７のいずれか一項に記載の撮影装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載の撮影装置であって、更に、
前記第１の画像及び前記第２の画像、並びに前記撮影方向の変更内容を示す変更情報を外部に出力する出力手段を有することを特徴とする撮影装置。
【請求項１１】
請求項１乃至１０に記載の撮影装置と、
前記撮影装置を設置可能で移動可能な移動体と、
を有する撮影システムであって、
前記移動体は、
リモートコントローラから前記第１の撮影モード又は前記第２の撮影モードの指定を受信する通信手段と、
前記指定に基づいて、前記撮影装置の変更手段を駆動させる駆動手段と、
を有することを特徴とする撮影システム。
【請求項１２】
請求項１乃至１０のいずれか一項に記載の撮影装置であって、更に、
前記変更手段による変更に基づいて、前記第１の撮像素子及び前記第２の撮像素子の撮の入射光を透過させる各レンズのうち少なくとも一方の光学特性を変化させる変化手段を有することを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、撮影装置、及び撮影システムに関するものである。
【背景技術】
【０００２】
近年のＶＲ(Virtual Reality)画像撮影技術の流れとしては、全天球画像撮影とステレオビジョン（立体視）画像撮影という２つがある。また、特に最近においては、ＶＲゴーグル等の進歩により、全天球かつステレオ画像の要求が高まっており、円周上に複数のカメラを並べた全天球のステレオ画像が作成可能なカメラが既に知られている。
【０００３】
また、広範な撮影状況に対応する目的で、筐体中央部に回動部を設けることにより、ステレオ画像および“パノラマ”画像取得が可能な携帯電話に関する技術が開示されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、今までの全天球撮影およびステレオ画像撮影においては、それぞれ個別のカメラを準備しなければならないという課題が生じる。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、第１の撮像素子によって得られた第１の画像と第２の撮像素子によって得られた第２の画像とを合成することにより、全天球画像を作成する撮影装置であって、前記第２の撮像素子の撮像方向を変更する変更手段と、前記変更手段による変更に基づいて、前記全天球撮影する第１の撮影モードと前記全天球撮影しない第２の撮影モードとを切り替える切替手段と、を有することを特徴とする撮影装置である。
【発明の効果】
【０００６】
以上説明したように本発明によれば、撮像素子の撮像方向を変更することにより、１台の撮影装置で、全天球撮影する第１の撮影モードと全天球撮影しない第２の撮影モードとを切り替えることが可能であるため、個別のカメラを準備する必要がないという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る特殊撮影装置の外観図であり、（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。
【図２】第１の実施形態に係る特殊撮影装置の回動状態の説明図である。
【図３】第１の実施形態に係る特殊撮影装置の回動部の回動機構を説明する図である。
【図４】第１の実施形態に係る特殊撮影装置の回動部の回動状態を検出する検出機構である。
【図５】第１の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。
【図６】第１の実施形態に係る特殊撮影装置の機能ブロック図である。
【図７】特殊撮影装置の使用状況を示したイメージ図である。
【図８】（ａ）は全天球モードで得られた正距円筒射影画像、（ｂ）はステレオモードで得られたステレオグラム画像である。
【図９】（ａ）はステレオモードで得られた視差画像（全天球ステレオ）、（ｂ）はステレオモードで得られた視差画像（平面ステレオ）である。
【図１０】（ａ）はステレオモードで得られたシングルフィッシュアイ画像、（ｂ）はステレオモードで得られたデュアルフィッシュアイ画像である。
【図１１】（ａ）は特殊撮影装置で撮影された半球画像（前）、（ｂ）は特殊撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。
【図１２】第１の実施形態に係る特殊撮影装置の撮影に関する座標系を示す図である。
【図１３】第１の実施形態に係る特殊撮影装置において回動角度と光軸を説明する図である。
【図１４】撮影モードと出力形式の例を説明する図である。
【図１５】視線軸補正を説明する場合の第１の実施形態に係る特殊撮影装置の斜視図である。
【図１６】視線軸補正を説明する場合の第１の実施形態に係る特殊撮影装置の平面図である。
【図１７】視線軸補正で生成される画像の例を示した図である。
【図１８】（ａ）は第１の実施形態に係る特殊撮影装置の撮影ユニットを回動させた場合の撮影領域及び死角領域（撮影不可能領域）を示した図、（ｂ）撮影領域を三次元的に示した図、（ｃ）は撮影画像を示した図である。
【図１９】第２の実施形態に係る特殊撮影装置の回動状態の説明図である。
【図２０】第３の実施形態に係る特殊撮影装置の回動状態の説明図である。
【図２１】第４の実施形態に係る特殊撮影装置の回動状態の説明図である。
【図２２】第５の実施形態に係り、（ａ）は撮影システムの全体構成図、（ｂ）は撮影ユニットが開いた状態の要部拡大図、（ｃ）は撮影ユニットが閉じた状態の要部拡大図である。
【図２３】第５の実施形態に係り、（ａ）は特殊撮影装置の底面図、（ｂ）は撮影ユニットが開いた状態の特殊撮影装置及び回動軸制御ユニットを示す図、（ｃ）は回動軸制御ユニットの先端部分を示す図、（ｄ）は回動軸の拡大図である。
【図２４】第５の実施形態に係り、走行ロボット及びコントローラの電気的なハードウェア構成図である。
【図２５】第５の実施形態に係り、撮影システムの処理フローを示したフローチャートである。
【図２６】第５の実施形態に係り、撮影システムのコントローラの回動制御の設定例を示した図である。
【図２７】第６の実施形態に係り、撮像素子の分光感度特性を示した図である。
【図２８】一般的な赤外カットフィルター特性と赤外カットフィルターを用いた分光感度特性を示した図である。
【図２９】（ａ）デュアルバンドフィルターａ特性とデュアルバンドフィルターａを用いた分光感度特性を示した図である。
【図３０】デュアルバンドフィルターｂ特性とデュアルバンドフィルターｂを用いた分光感度特性を示した図である。
【図３１】第６の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。
【図３２】第６の実施形態に係る特殊撮影装置の変形例の電気的なハードウェア構成図である。
【図３３】撮影モードとフィルターの組み合わせ例を示した図である。
【図３４】第６の実施形態に係り、データ処理から得られる擬似的な分光感度特性の例を示した図である。
【発明を実施するための形態】
【０００８】
以下、図面を用いて、本発明の実施形態について説明する。
【０００９】
〔第１の実施形態〕
図１乃至図１８を用いて、本発明の第１の実施形態について説明する。まずは、図１を用いて、特殊撮影装置１ａの外観を説明する。図１は、第１の実施形態に係る特殊撮影装置の外観図であり、（ａ）は特殊撮影装置の左側面図であり、（ｂ）は特殊撮影装置の背面図であり、（ｃ）は特殊撮影装置の平面図であり、（ｄ）は特殊撮影装置の底面図である。
【００１０】
特殊撮影装置１ａは、全天球（３６０°）画像又はステレオ画像の元になる撮影画像を得るためのデジタルカメラである。特殊撮影装置１ａは、人間が片手で持つことができる大きさである。また、図１に示されているように、特殊撮影装置１ａの上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている。特殊撮影装置１ａの内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。また、図１（ａ）、（ｂ）に示されているように、特殊撮影装置１ａには、シャッターボタン等の操作部１１５が設けられている。
【００１１】
撮影ユニット１７１ａは、レンズ１０２ａ及び撮像素子１０３ａを含む正面側（前側）の撮影系を含んだユニットであり、前述の操作部１１５等が配置された部材と一体となっている。撮影ユニット１７１ｂは、レンズ１０２ｂ及び撮像素子１０３ｂを含む背面側（後側）の撮影系を含んだユニットである。回動部１７４ａは、特殊撮影装置１ａの長手方向を軸に撮影ユニット１７１ｂを回動するための回動機構を備えており、回動軸１７５ａは、撮影ユニット１７１ａと撮影ユニット１７１ｂとを機械的に接続している。
【００１２】
次に、図２を用いて、特殊撮影装置１ａの回動状態について説明する。図２は、第１の実施形態に係る特殊撮影装置の回動状態の説明図である。このうち、図２（ａ），（ｃ），（ｅ）は、異なる開閉状態の特殊撮影装置１ａの斜視図を示し、図２（ｂ），（ｄ），（ｆ）は、それぞれ図２（ａ），（ｃ），（ｅ）の開閉状態の特殊撮影装置１ａの平面図を示している。
【００１３】
（回動状態）
次に、図２を用いて、特殊撮影装置１ａの回動状態について説明する。図２は、特殊撮影装置の回動状態を示した図である。図２（ａ），（ｂ）は、撮影ユニット１７１ａ、１７１ｂがお互いに接触し、２つのレンズ１０２ａ、１０２ｂを反対側に配置した場合の状態を示している。なお、図２（ａ）の撮影ユニット１７１ｂの位置を基準位置とする。
【００１４】
図２（ｃ），（ｄ）は、図２（ａ），（ｂ）の基準位置から回動軸１７５ａを中心に撮影ユニット１７１ｂを１８０度回動させた場合の状態を示している。この状態では、２つのレンズ１０２ａ、１０２ｂが水平方向に並列に配置され、レンズの光軸が同一方向を向いている。図２（ｅ），（ｆ）は、図２（ａ），（ｂ）の基準位置から回動軸１７５ａを中心に撮影ユニット１７１ｂを１８０度未満の角度（図では１３５度）で回動させた場合の状態を示している。この状態では、２つのレンズ１０２ａ、１０２ｂが水平方向に並列に配置されているが、レンズの光軸は異なる方向を向いている。
【００１５】
（回動機構）
図３を用いて、特殊撮影装置の回動部の回動機構について説明する。図３は、第１の実施形態に係る特殊撮影装置の回動部の回動機構を説明する図である。
【００１６】
図３（ａ）は、回動部の分解図を示している。回動部１７４ａは、固定ばね用ネジ１８０、固定ばね１８１、回転軸１７５ａ、固定凹溝１８２から構成されている。図３（ｂ）は、回動部の上面図を、図３（ｃ）は回動部の側面図を示している。固定ばね１８１は、板バネであり、固定ばね用ネジ１８０で撮影ユニット１７１ａに固定されている。固定凹溝１８２は、撮影ユニット１７１ｂの一部に一定角度（図３（ｂ）では４５度間隔）の刻みで溝が切られた領域を指している。また、固定ばね１８１には凸部が設けられており、ユーザが手動により、回動部１７４ａを回転させることにより、固定ばね（板バネ）を用いたクリック機構により、任意の回動角度（図では４５度間隔）に固定可能であり、所定位置で固定ばね１８１の凸部１８１ａが固定凹溝１８２に嵌ることにより、固定することが可能である。なお、これらの機構を保護するためのカバー等は図示していない。
【００１７】
（回動状態検出）
図４は、第１の実施形態に係る特殊撮影装置の回動部の回動状態を検出する検出機構である。図４を用いて、特殊撮影装置１ａの回動部の回動状態を検出する方法について説明する。撮影ユニット１７１ａにスイッチ１９０を、撮影ユニット１７１ｂにスイッチ１９０を押すスイッチ用凸部１９１を設けることにより、スイッチ出力によって回動状態が閉じた状態（図２（ａ））であるか、開いた状態（図２（ｃ）、（ｅ））であるかの判別を行うことができる。また、任意角度（図２（ｅ））の場合には、回転軸にロータリーエンコーダやポテンショメータを設けることにより角度の取得を行うことで、回動機構の回動角度の度合いを検知することが可能である。
【００１８】
＜特殊撮影装置のハードウェア構成＞
図５は、第１の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。図５に示されているように、特殊撮影装置１ａは、撮像ユニット１０１ａ、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、
ジャイロセンサ１１９、加速度センサ１２０、スイッチ１９０、及びポテンショメータ１９３によって構成されている。
【００１９】
このうち、撮像ユニット１０１ａは、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。撮像素子１０３ａ，１０３ｂの前にはフィルター１０８ａ、１０８ｂが装着されている。
【００２０】
撮像ユニット１０１ａの撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１ａの撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００２１】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像のデータを作成する。
【００２２】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００２３】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。特殊撮影装置１ａによっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００２４】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置１ａにはディスプレイが設けられていないが、表示部を設けてもよい。
【００２５】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００２６】
ＣＰＵ１１１は、特殊撮影装置１ａの全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのデータを記憶する。
【００２７】
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
【００２８】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された処理済の画像データのデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン等の外部端末（装置）に送信されたりする。
【００２９】
通信部１１７は、特殊撮影装置１ａに設けられたアンテナ１１７ａを介して、Wi-Fi、NFC(Near Field radio Communication)、Bluetooth等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信部１１７によっても、処理済の画像データのデータをスマートフォン等の外部端末（装置）に送信することができる。
【００３０】
電子コンパス１１８は、地球の磁気から特殊撮影装置１ａの方位及び傾きを算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、出力画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
【００３１】
ジャイロセンサ１１９は、特殊撮影装置１ａの移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。
【００３２】
加速度センサ１２０は、３軸方向の加速度を検出するセンサである。特殊撮影装置１ａは、加速度センサ１２０が検出した加速度に基づいて、自装置（特殊撮影装置１ａ）の姿勢（重力方向に対する角度）を算出する。特殊撮影装置１ａに、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。
【００３３】
スイッチ１９０は、図４に示されているスイッチ１９０と同じである。
【００３４】
ポテンショメータ１９３は、回動角や移動量を電圧に変換する機器（素子）である。
【００３５】
＜＜実施形態の機能構成＞＞
次に、図６を用いて、本実施形態の機能構成について説明する。図６は、本実施形態の撮影システムの一部を構成する、特殊撮影装置１ａの各機能ブロック図である。
【００３６】
＜特殊撮影装置の機能構成＞
まず、図６を用いて、特殊撮影装置１ａの機能構成について詳細に説明する。図６に示されているように、特殊撮影装置１ａは、受付部１２、撮像部１３、集音部１４、画像・音処理部１５、切替部１６、判断部１７，出力部１８及び記憶・読出部１９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された特殊撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。また、特殊撮影装置１ａは、図５に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。
【００３７】
（特殊撮影装置の各機能構成）
次に、図５及び図６を用いて、特殊撮影装置１ａの各機能構成について更に詳細に説明する。
【００３８】
特殊撮影装置１ａの回動検知部１０は、図５に示されているスイッチ１９０、ポテンショメータ１９３によって実現され、回動検知部１０によって得られた特殊撮影装置１ａの回動状態の検知情報に応じて、特殊撮影装置１ａの各種処理を行う。
【００３９】
受付部１２は、主に、図５に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、ユーザからの操作入力を受け付ける。
【００４０】
撮像部１３は、主に、図５に示されている撮像ユニット１０１ａ、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、被写体や風景等を撮像し、出力画像データを得る。この出力画像データは、後述する全天球画像データの元になる２つの半球画像データである。
【００４１】
集音部１４は、図５に示されているマイク１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、特殊撮影装置１ａの周囲の音を集音する。
【００４２】
画像・音処理部１５は、主にＣＰＵ１１１からの命令によって実現され、撮像部１３によって得られた出力画像データ、又は集音部１４によって得られた音データに対して、各種処理を行なう。
【００４３】
切替部１６は、主にＣＰＵ１１１からの命令によって実現され、回動部１７４ａによる変更に基づいて、全天球撮影する第１の撮影モードと全天球撮影しない（ここではステレオ撮影する）第２の撮影モードとを切り替える。より具体的には、切替部１６は、回動部１７４ａによる回動角度の変更の度合い（割合）に応じて、全天球撮影モードとステレオ撮影モードとを切り替える。
【００４４】
出力部１８は、主に、端子１５２、端子１５３、通信部１１７、アンテナ１１７ａ、及びＣＰＵ１１１からの命令によって実現され、撮像素子１０３ａから得られた半球画像データ、撮像素子１０３ｂから得られた半球画像データ、並びに、撮影方向の変更内容を示す変更情報（例えば、撮影ユニット１７１ｂの回動の角度）を外部に出力する。この場合、有線通信の場合には、端子１５２又は端子１５３が用いられ、無線通信の場合には通信部１１７及びアンテナ１１７ａが用いられる。
【００４５】
記憶・読出部１９は、主に、図５に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。
【００４６】
＜撮影モードについて＞
次に、特殊撮影装置１ａの撮影モードについて説明する。特殊撮影装置１ａの撮影モードとして、全天球モード、ステレオモードの２つが存在する。全天球モードは、例えば回動状態が図２（ａ）の場合に適した撮影モードであり、ステレオモードは、例えば回動状態が図２（ｂ）の場合に適した撮影モードである。撮影モードは、後述する特殊撮影装置１ａの回動状態から設定するようにしてもよいし、ユーザが任意に撮影モードを設定するようにしてもよい。各撮影モードにおける特殊撮影装置１ａからのデータ出力形式については後述する。
【００４７】
＜特殊撮影装置の使用状況＞
次に、図７を用いて、特殊撮影装置１ａの使用状況を説明する。なお、図７は、特殊撮影装置１ａの使用イメージ図である。特殊撮影装置１ａは、図７に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。
【００４８】
＜出力画像の例＞
続いて、図８乃至図１０を用いて、出力画像の例を説明する。図８乃至図１０は、特殊撮影装置１ａの出力画像の例を示した図である。
【００４９】
図８（ａ）は全天球モードで得られた正距円筒射影画像、図８（ｂ）はステレオモードで得られたステレオグラム画像である。「正距円筒射影画像」は正距円筒図法により表された画像である。図９（ａ）はステレオモードで得られた視差画像（全天球ステレオ）、図９（ｂ）はステレオモードで得られた視差画像（平面ステレオ）である。平面ステレオの視差画像は、全天球画像の一部の領域切り出して、視差を算出した画像である。図１０（ａ）はステレオモードで得られたシングルフィッシュアイ画像、図１０（ｂ）はステレオモードで得られたデュアルフィッシュアイ画像である。これらの出力画像は、撮影ユニット１７１ｂの回動状態によって予め決められた撮影モードに従って選択される。ここで、各出力画像について説明する。
【００５０】
（正距円筒射影画像）
図１１を用いて、特殊撮影装置１ａで撮影された画像から正距円筒射影画像（全天球画像）が作成されるまでの処理の概略を説明する。なお、図１１（ａ）は特殊撮影装置で撮影された半球画像（前側）、図１１（ｂ）は特殊撮影装置で撮影された半球画像（後側）、図１１（ｃ）は正距円筒射影画像を示した図である。
【００５１】
図１１（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図１１（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮影装置１ａの画像・音処理部１５で合成され、図１１（ｃ）に示されているように、正距円筒射影画像が作成される。
【００５２】
（ステレオグラム画像／視差画像）
次に、ステレオグラムに関して簡単に説明する。ステレオグラムとは２つのカメラの視差を利用することで画像を立体的に見せることを目的とした２次元の画像である。また、人間が２次元の画像を３次元的に見る方法を立体視という。平面ステレオ(Planar Stereo)における視差とは、２つの画像上における投影点の横方向のずれ量であり、視差を生じている2枚の画像を横に並べたものがステレオグラム画像である。また、このときの視差の意味合いとしては、奥行き（の逆数）を示し、２つの画像の各対応位置における視差を数値として記録したものが視差画像となる。一方で、本実施形態における全天球ステレオ(Spherical Stereo)の視差とは、一般的な透視射影方式の画像とは異なるため、平面ステレオの場合の視差とは異なるものである。視差の定義に関しては、以下の文献に記載されているので詳細は述べないが、意味合いとしては撮影点からの距離（の逆数）に相当する。平面ステレオ、全天球ステレオは、ともに遠くの被写体になるほど視差は０に近づく。これに関しては、非特許文献（Shigang Li. “Binocular Spherical Stereo” IEEE Transactions on Intelligent Transportation Systems. Vol. 9, Issue. 4, 2008, pp. 589-600.）に詳細に記載されている。
【００５３】
ステレオグラム画像は、ネットワークＩ／Ｆ１１６、通信部１１７を介して、保存されたり、外部に送信されたりする。このステレオグラム画像をヘッドマウントディスプレイのような左右の眼のそれぞれに視差がある画像を投影する立体視装置に閲覧することにより、ユーザは立体画像として認識することが出来る。このような閲覧手法によって、現実と同様な臨場感を得るには、２つのカメラの物理的視差は人間の眼球の視差と同程度であることが望ましい。特殊撮影装置１ａの視差が大きければ現実より自己が大きく、視差が小さければ現実より自己を小さく感じることができ、その視差は目的とする体験によって決定される。更に、ステレオグラム画像をリアルタイムで配信することによって、遠隔地からの操作や指示をより確かな形で実現することが出来る。
【００５４】
（シングル・デュアルフィッシュアイ画像）
次に、シングル及びデュアルフィッシュアイ画像について説明する。シングル画像、デュアルフィッシュアイ画像は、特殊撮影装置１ａにおける２つの（魚眼）レンズ１０２ａ，１０２ｂを通して撮影された画像の射影方式を変更せずに、そのまま魚眼画像として出力された画像である。特殊撮影装置１ａは２つの魚眼レンズを用いているので、２つの魚眼画像が生成され、左右に並べて１枚の画像として出力したものがデュアルフィッシュアイ画像である。また、シングルフィッシュアイ画像は、２つの魚眼画像のうち、どちらかに相当する魚眼画像を示している。
【００５５】
デュアルフィッシュアイ画像と正距円筒射影画像は、それぞれの画角が分かっていれば相互変換可能である。但し、正距円筒画像では、２つの魚眼画像間で重なっていた部分（180度を超える領域）を別々に表現することはできないため、重なり部分に対してはスティッチ処理等を行い合成された画像として生成される。そのため１枚の画像から１８０度を超える２つの元々のフィッシュアイ画像は復元できないが、３６０度全方位の画像を１枚の画像として扱う形式としては一般的である。
【００５６】
＜カメラ座標系＞
次に、カメラ座標系の説明と、回動角度による光軸に関して説明を行う。
図１２は、カメラ座標系について説明する図である。ここでカメラ座標系とは特殊撮影装置のレンズ１０２ａの焦点位置を原点とし、筐体の水平方向をＸ軸、鉛直方向をＹ軸、光軸方向をＺ軸とし、カメラの姿勢により変化するローカル座標系である。
【００５７】
図１３は、撮影ユニット１７１ｂ（レンズ１０２ｂ）を開いた時のカメラ座標系を説明する図である。図１３（ａ），（ｂ），（ｃ）は、それぞれ図２（ａ），（ｃ），（ｅ）の開閉状態と同じ状態を示している。撮影ユニット１７１ｂを開いた場合のカメラ座標は、どちらか一方のレンズを基準として定義され、光軸はレンズ毎に定義されることとなる。図１３（ａ）の状態は、撮影ユニット１７１ａのレンズ１０２ａの光軸ｏａ１と、撮影ユニット１７１ｂのレンズ１０２ｂの光軸ｏａ２が同じ軸上にあり、互いに入射方向が反対である。図１３（ｂ）の状態は、レンズ１０２ａの光軸ｏａ１と、レンズ１０２ｂの光軸ｏａ２が平行であり、ともに入射方向が同じである。図１３（ｃ）の状態は、レンズ１０２ａの光軸ｏａ１と、レンズ１０２ｂの光軸ｏａ２が異なり、ともに入射方向も異なる。
【００５８】
＜撮影モードと出力画像の関係について＞
図１４は、撮影モードと出力形式の例を説明する図である。ここでは、特殊撮影装置１ａの回動状態と、この回動状態の場合に選択可能な撮影モードおよび出力画像の対応関係の例を示している。以下回動角度に応じて選択可能な撮影モードと、出力画像についての説明を行う。
【００５９】
（ａ）回動角度が０度の場合
まず、回動角度が０度の場合の例を説明する。回動角度が０度の時は、図１３（ａ）で示したように、それぞれのレンズ１０２ａ，１０２ｂの光軸が反対方向を向くこととなるので、例えば（魚眼）レンズ１０２ａ，１０２ｂの画角が１８０度であるとした場合には２つの（魚眼）レンズ１０２ａ，１０２ｂを通して撮影される画像において重なる部分がないということとなる。そのため２つの魚眼画像間における視差を取得することはできない。また画角が１８０度を超える場合は撮影対象が重なる部分は存在するがレンズ１０２ａ，１０２ｂ周辺部の限定された領域となるためステレオ画像を生成する目的としては不向きである。そのため、回動状態が０度の時に選択可能な撮影モードを全天球モードに限定している。この時の出力形式としては、正距円筒射影画像が扱いやすく便利であるため、図１４（１）のように正距円筒射影画像を出力形式としている。なお、１８０度を超える（魚眼）レンズ１０２ａ，１０２ｂを使用している場合等にそれぞれの１８０度を超える領域の画像データを取得する必要があるならばデュアルフィッシュアイ画像出力を選択できるようにすれば良い。もちろん出力形式は排他でなく、複数の形式で出力してもよい。
【００６０】
（ｂ）回動角度が１８０度の場合
次に、回動角度が１８０度の場合の例を説明する。回動角度が１８０度の時は、図１３（ｂ）で示したような、２つの光軸の関係となっている。２つのレンズ１０２ａ，１０２ｂの焦点を通る直線に対し光軸ｏａ１と光軸ｏａ２は垂直な方向を向いており、製造上の組み付け誤差を除けば２つの光軸は平行関係にある。つまりこの状態は平行ステレオとなる配置状態であり、従ってレンズの距離分だけ視差画像が取得でき、ステレオモードで撮影するのに好適である。また、２つのレンズ１０２ａ，１０２ｂ間で露出などの撮影条件を変えて撮影することにより、HDR（ハイダイナミックレンジ）画像を作成するための画像を取得することができる。ここでは２つのレンズ１０２ａ，１０２ｂを通して露出の異なる２枚の画像を同時に取得するモードを「ＨＤＲモード」と呼ぶこととする。以上より、回動状態が１８０度の場合はステレオモードまたはＨＤＲモードで撮影することに適しており、どちらかを選択できるとした。またステレオモードの場合は、さらに平面ステレオもしくは全天球ステレオのデータ処理の選択肢を設けている。魚眼レンズの特性を活かした広い画角の距離データを算出したい用途においては全天球ステレオを使用し、ステレオグラム画像を作成したい場合は平面ステレオを選択すれば良い。なお、撮影モード及びデータ処理の選択は、予めユーザが操作部１１５を介して撮影モード及びデータ処理を指定し、特殊撮影装置のＣＰＵ１１１が、ユーザによって選択された撮影モード及びデータ処理に従った撮影及びデータ処理を行う。画像の出力形式は、平面ステレオの場合は図１４（２）のようにステレオグラム画像、全天球ステレオの場合は図１４（３）のようにシングルフィッシュアイ画像、図１４（４）のようにＨＤＲモードの場合は、正距円筒射影画像もしくはデュアルフィッシュアイ画像が選択できるようになっている。ここでＨＤＲモード時に正距円筒射影画像と、デュアルフィッシュアイの選択を設けた理由としてはデュアルフィッシュアイ画像として出力した場合は表示のアプリケーション側で露出を調整した画像を生成することができるためである。１枚の正距円筒射影画像で出力するときは画像生成時に露出の異なる２枚の画像から高ダイナミックレンジの画像を特殊装置内で作成し、半球分の正距円筒射影画像を生成することとする。
【００６１】
（ｃ）回動角度が任意の場合
次に、回動角度が任意の場合の例を説明する。本実施形態では、回動角度が任意の場合は、０度より大きく１８０度未満の回動角度であるものとする。本実施形態では、回動角度が１３５度の場合について説明を行う。回動角度が１３５度の場合は、それぞれの光軸は平行にならない。そのためこのままではステレオ撮影に不向きである。一般的に任意のカメラ配置のステレオ画像を、平行ステレオのステレオ画像に変換する処理は、ステレオ画像の平行化(stereo image rectification)と呼ばれる。(引用：ディジタル画像処理[改定新版] CG-ARTS協会)
ここで、回動角度が１３５度の場合について詳細に説明する。図１５および図１６は、回動角度が１３５度の特殊撮影装置において、平行ステレオ状態とするために撮影画像に対し視線軸の補正を行う処理を説明する図である。視線軸を補正する前の画像では、それぞれのレンズ１０２ａ，１０２ｂの光軸ｏａ１，２がそれぞれ取得される画像の視線軸ｓａ１，２となっている。ここで、レンズ１０２ａ，１０２ｂの焦点を結ぶ軸をX’軸とする。そしてX’軸に対してそれぞれのレンズ１０２ａ，１０２ｂの焦点から垂直となる任意の方向を視線軸ｓａ１，ｓａ２とする。任意の方向としたのはX’軸に対する垂直な視線軸はX’軸の周りに無数存在するためである。無数存在はするが、1つ選べばよくここではそれぞれのレンズ１０２ａ，１０２ｂの焦点を通り、X’軸と、Y軸に直行する方向を視線軸ｓａ１，視線軸ｓａ２とする。そして光軸ｏａ１，光軸ｏａ２を視線軸ｓａ１，視線軸ｓａ２に変換した場合に撮影される画像は画像変換することで作成される。
【００６２】
図１７は、特殊撮影装置１ａで撮影される２つの魚眼画像において視線軸の補正前と補正後の画像を示す。図１７（ａ）は視線軸を補正する前の魚眼画像、図１７（ｂ）は視線軸を補正することで得られる魚眼画像、図１７（ｃ）は補正後の左右魚眼画像で重なる領域を示す。
【００６３】
図１７（ａ），（ｂ）に示されているように、補正後の画像では２枚の画像の中心が撮影シーンの同じ位置となっていることが分かる。補正前に円形であった画像が補正後には、いびつな形となっているのは、視線軸を変更することで撮影範囲外の部分が現れるからである。図１７（ｃ）に示されているように、２つの補正後の画像で撮影領域として重なる部分に対しては視差を算出することが可能となる。
【００６４】
続いて、出力形式を正距円筒射影画像とした場合について説明を行う。正距円筒射影画像は３６０度全天球の領域を表現できるが、回動角度が１３５度の場合は２つの撮影画像を合わせても３６０度分のデータが無いため、回動角度に応じて撮影画角が変化する。
【００６５】
図１８は、回動角度が任意の場合に撮影される領域の概念図を示したものである。図１８（ａ）は、回動角度が１３５度の時の特殊撮影装置１ａの撮影領域を示しており、任意角度に固定することにより、斜線部が撮影不可能な範囲を意図的に生じさせることができる。このように撮影範囲が全天球内で任意の範囲に物理的に規制させることにより、機密保持やプライバシー保護等を直接的に行えるメリットが生じる。図１８（ｂ）は、回動角度が１３５度の時に画角が１８０度のそれぞれの（魚眼）レンズ１０２ａ，１０２ｂで撮影される領域を示したものであり、正距円筒射影画像で表現すると図１８（ｃ）のようになり、正距円筒射影画像の水平方向が回動角度に反比例して大小変化する。実際の撮影画角は、回動角度と回動軸に対するレンズ位置関係により算出することができ、回動軸からレンズ１０２ａ，１０２ｂの距離が同じならば約２３０度になる。これは、撮影者自身など画像として写したくない被写体があるようなシチュエーションで、広い画角の画像を撮影したいという目的に適した撮影方法である。
【００６６】
以上より、回動角度が任意の場合には、回動角度が０度の場合より撮影領域は狭くなるが、回動角度が１８０度の場合と同様にステレオモードでは、データ処理が平面ステレオ（図１４（５））と全天球ステレオ（図１４（６））を選択肢に加えることができる。また、回動角度が０度の場合と同様に全天球モード（図１４（７））も選択肢に加えることができる。
【００６７】
回動角度に基づく画像の出力形式として以上であるが、記憶・読出部１９は、付属情報として焦点距離や撮影条件等の一般的な撮影情報とともに回動角度と、画像の出力形式も一緒に保存する。具体的にはExifのメーカーノート等のメタデータとして保存しておく。そうすれば画像ビューアがその付属情報を使って例えばデュアルフィッシュアイ画像から正距円筒射影画像を生成して表示することや、仮想の立体球に貼り付けて視点を変えながら仮想の立体球の一部分を表示するといったことが可能となる。
【００６８】
以上説明したように本実施形態によれば、撮像素子の撮像方向を変更することにより、１台の特殊撮影装置１ａで、全天球撮影する全天球撮影モードと全天球撮影しない（ここでは、ステレオ撮影モード）とを切り替えることが可能であるため、個別のカメラを準備する必要がないという効果を奏する。なお、この効果は、以下第２乃至第５の実施形態においても同様に奏する。
【００６９】
〔第２の実施形態〕
続いて、図１９を用いて、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
【００７０】
図１９は、第２の実施形態である特殊撮影装置の回動部の回動機構を示した図である。第２の実施形態の特殊撮影装置１ｂには、図３に示した第１の実施形態の回動機構とは回動方向が異なる回動部１７４ｂが設けられており、回動部１７４ｂの回動軸１７５ｂを中心に撮影ユニット１７１ｄが垂直方向に回動する。即ち、回動部１７４ｂは、特殊撮影装置１ｂの長手方向に垂直な方向を軸に撮像ユニット１７１ｄを回動させる機構である。なお、撮影ユニット１７１ｃ及び撮影ユニット１７１ｄは、撮影ユニット１７１ａ及び撮影ユニット１７１ｂから回動部の相違による形状が異なっている。
【００７１】
図１９（ａ）は、特殊撮影装置１ｂを縦方向に設置した場合の例であり、得られた画像を処理することにより３次元測距として使用可能である。この際、人間の瞳位置と無関係であるので、レンズ１０２ａ，１０２ｂを上下にレイアウトしたまま三脚座やロボットなどの機器に固定して利用することも可能である。
【００７２】
図１９（ｂ）は、特殊撮影装置１ｂを横方向に設置した場合の例であり、バーチャル映像の撮影に使用可能である。特殊撮影装置１ｂを横に寝かせて撮影を行う事により、人間の目と同じ位置関係での撮影が可能となる。
【００７３】
〔第３の実施形態〕
続いて、図２０を用いて、本発明の第３の実施形態について説明する。なお、第１の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
【００７４】
図２０は、第３の実施形態である特殊撮影装置１ｃの回動部の回動機構を示した図である。第３の実施形態の特殊撮影装置１ｃには、第１の実施形態に対し、回動部１７４ｄが追加され、レンズ１０２ａ及び撮像素子１０３ａを含む正面側（前側）の撮影系を含んだユニットである撮影ユニット１７１ｅが操作部１１５等の配置された部材とは分離されている点が異なっている。なお、撮影ユニット１７１ｅ及び撮影ユニット１７１ｆは、撮影ユニット１７１ａ及び撮影ユニット１７１ｂから回動部の相違による形状が異なっている。また、回動部１７４ｃは、回動部１７４ａと回動部の相違による形状が一部異なっている。
【００７５】
図２０（ａ）は、撮影ユニット１７１ｅ、１７１ｆがお互いに接触し、２つのレンズ１０２ａ，１０２ｂを反対側に配置した場合の状態を示している。図２０（ｂ）は、回動部１７４ｃの回動軸１７５ｃを中心に撮影ユニット１７１ｅを１８０度回動させた場合の状態を示している。この状態は、第１の実施形態と同一の回動方向で回動させている。図２０（ｃ）は、回動部１７４ｄの回動軸１７５ｄを中心に撮影ユニット１７１ｆを１８０度回動させた場合の状態を示している。即ち、特殊撮影装置１ｃは、特殊撮影装置１ｃに対して、撮影ユニット１７１ｅ、１７１ｆをそれぞれ独立して回動させる回動機構を備えている。
【００７６】
例えば、ステレオモードで撮影するときには、レンズを撮影者側に向ける場合と被写体側に向ける場合のいずれかを選択する必要が生じる場合がある。そのようなときに、回動軸１７５ｃ，１７５ｄをそれぞれの撮影ユニット１７１ｅ，１７１ｆに対して設けることにより、シャッターボタン１１５ａに対して任意の方向に撮影ユニットを回動することが可能となる。また、特殊撮影装置１ｃを三脚ねじ穴１５１で三脚等に固定した場合であっても、回動する撮影ユニットを選択できるため、固定を外さずに被写体方向にレンズ１０２ａ，１０２ｂを向けてステレオモードで撮影が可能となる。また、第２の実施形態の様に、垂直な方向に撮影ユニットを開く場合も、同様に両側に選択的に回動するような構造を設けてもよい。
【００７７】
〔第４の実施形態〕
続いて、図２１を用いて、本発明の第４の実施形態について説明する。なお、第１の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
図２１は、第４の実施形態である特殊撮影装置１ｄのレンズ間距離の調整機構について示した図である。第４の実施形態の特殊撮影装置１ｄには、第１の実施形態に対し、撮影ユニット１７１ａ，１７１ｂの間のレンズ１０２ａ，１０２ｂの距離を調整する距離調整部１７８が追加となっている点が異なっている。距離調整部１７８は、図示を省略するがスライド機構等を設ける事により、レンズ間距離を変更できる機構を備えているものとする。
【００７８】
図２１（ａ）は、回動部１７４ａの回動軸１７５ａを中心に撮影ユニット１７１ｂを１８０度回動させた場合の状態を示している。この状態の撮影ユニット１７１ａのレンズ１０２ａと撮影ユニット１７１ｂのレンズ１０２ｂとの距離を基準距離とする。図２１（ｂ）は、距離調整部１７８により撮影ユニット１７１ｂを撮影ユニット１７１ａから遠ざけることで、２つのレンズ間距離が基準距離よりも長い状態を示している。図２１（ｃ）は、距離調整部１７８により撮影ユニット１７１ｂを撮影ユニット１７１ａに近づけることで、２つのレンズ間距離が基準距離よりも短い状態を示している。
【００７９】
ステレオモードで撮影時のレンズ間の基準距離は、たとえば日本人男性の瞳孔間距離の平均値が約６５ｍｍであるのでその様な値を参考に設定しても良い。一方で、瞳孔間距離には個人差があるので、撮影ユニット間のレンズの距離を調整する機構を持たせることで、個人の瞳孔間距離に対応したレンズ間距離の調整が可能となる。
【００８０】
〔第５の実施形態〕
続いて、図２２乃至図２６を用いて、本発明の第５の実施形態について説明する。第１の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。図２２は、特殊撮影装置１ａを走行ロボットに搭載した場合の撮影システムの概略図である。
【００８１】
走行ロボット３は、本体ユニット３００、走行ユニット３２０、回動ユニット３３０、支柱３５０で構成されている。支柱３５０は、本体ユニット３００上に回動ユニット３３０を設置するための部材である。本体ユニット３００、走行ユニット３２０、回動ユニット３３０は、後述のバス３４０に接続されている。
【００８２】
第１の実施形態では、回動動作をユーザが手動で行っていたが、例えば、ロボットや無線装置など、ユーザが直接、特殊撮影装置１ａを操作しない又はできない場合、外部から回動状態を制御する必要が生じる。そこで、第５の実施形態では、特殊撮影装置１ａの回動制御を外部から行う方法について説明する。
【００８３】
図２３は、第５の実施形態の特殊撮影装置の回動制御を外部から行う機構を示した図である。図２３（ａ）は、特殊撮影装置１ａの底面図を示した図であり、回動部１７４ａの回動軸１７５ａの一部に凹状の切り欠きである凹部１７６が設けられている。図２３（ｂ）は、特殊撮影装置１ａを外部から回動制御するための部材である回動軸制御ユニット２００を示しており、回動軸制御ユニット２００の先端部分に凸状の形状である凸部２０１が設けられている。図２３（ｃ）は、特殊撮影装置１ａの回動軸１７５ａの凹部１７６に、回動軸制御ユニット２００の凸部２０１を勘合させた状態を示している。図２３（ｄ）は、図２３（ｃ）の勘合部分の拡大図を示している。図２３（ｃ）のように、特殊撮影装置１ｄの回動軸１７５ａと回動軸制御ユニット２００を勘合させた状態で、外部から回動軸制御ユニット２００を回動させる制御を行うようにすると、特殊撮影装置１ａを外部から回動制御することができる。これにより、例えば、通常時は全天球モードの撮影を行い、ステレオ撮影が必要な場合は回動によりステレオモードへの変更が外部から制御可能となる。
【００８４】
次に、図２２、図２４を用いて、ハードウェア構成について説明する。図２４は、走行ロボット及びコントローラの電気的なハードウェア構成図を示している。
【００８５】
走行ロボット３は、本体ユニット３００、電源供給ユニット３１０、走行ユニット３２０、及び回動ユニット３３０を備えている。これらのうち、本体ユニット３００は、走行ロボットの走行を制御するユニットであり、中央制御部３０１、通信部３０２、アンテナ３０２ａ、速度検知部３０３から構成されている。中央制御部３０１は、ＣＰＵ、ＲＯＭ、ＳＲＡＭ、ＤＲＡＭ等で構成され、ＲＯＭ内に記録されたプログラムをＲＡＭに読出しＣＰＵで実行する。通信部３０２は、走行ロボット３に設けられたアンテナ３０２ａを介して、Wi-Fi、Bluetooth等の近距離無線通信技術によって、コントローラ５と通信を行う。また、コントローラ５以外にも、特殊撮影装置１ａの通信部１１７と通信を行う。速度検知部３０３は、ＧＰＳセンサ、速度センサ等の速度を検知するセンサで構成され、走行ロボット３の移動速度を検知する。
【００８６】
電源供給ユニット３１０は、走行ロボット３の全体に必要な電源を供給するユニットである。
【００８７】
走行ユニット３２０は、走行ロボット３を走行させるユニットであり、車輪、走行モーター、走行エンコーダ、ステアリングモーター、ステアリングエンコーダ等で構成される。走行ロボットの走行制御については、既存の技術であるため、詳細な説明は省略するが、コントローラ５からユーザが走行指示を行うと、通信部３０２を介して走行指示を受信し、中央制御部３０１が走行指示に従って、走行ユニット３２０に走行制御信号を送信し、走行ユニット３２０は走行制御信号を受信して走行を行う。
【００８８】
回動ユニット３３０は、特殊撮影装置１ａの回動を外部から行うユニットであり、回動制御部３３１、回動駆動部３３２から構成される。回動制御部３３１は、中央制御部３０１から回動制御情報を受信して、回動駆動部３３２を制御するパルスを発生する。回動駆動部３３２は、ステッピングモーターを備え、回動制御部３３１からのパルスによって回動駆動を行う。ステッピングモーターは、モーターに入力するパルス数によって回転する角度の制御が可能であり、１パルス１．８度回転するステッピングモーターの場合、２５パルスで４５度、５０パルスで９０度のように入力するパルス数によって任意の角度の回転が可能である。また、パルスの入力パターンによりモーターの回転方向の制御が可能である。ステッピングモーターと回動軸制御ユニット２００は接続され、ステッピングモーターが回動することで、回動軸制御ユニット２００も回動する。
【００８９】
次に、図２４を用いて、コントローラ５について説明する。コントローラ５は、ユーザ（操作者）によって操作されることで、走行ロボットを遠隔操作するリモートコントローラである。
【００９０】
コントローラ５は、中央制御部５０１、通信部５０２、及び表示・受付部５０３で構成されている。これらのうち、中央制御部５０１は、ＣＰＵ、ＲＯＭ、ＳＲＡＭ、ＤＲＡＭ等で構成され、ＲＯＭ内に記録されたプログラムをＲＡＭに読出しＣＰＵで実行する。通信部５０２は、アンテナ５０２ａを介して、Wi-Fi、Bluetooth等の近距離無線通信技術によって、走行ロボット３と通信を行う。表示・受付部５０３は、タッチパネル式のディスプレイによって構成されている。
【００９１】
続いて、図２５及び図２６を用いて、特殊撮影装置１ａの外部からの回動制御方法について説明する。図２５は、特殊撮影装置を外部から回動するためのフローチャートである。図２６は、コントローラの回動制御の設定例を示したものである。
【００９２】
まず、ステップＳ５０１により、中央制御部３０１は、コントローラ５からの回動制御信号に基づいて、特殊撮影装置１ａを回動制御するかの判定を行う。コントローラ５の表示・受付部５０３は、回動制御をオン、オフする設定項目の表示及び選択受付を行い、回動制御の設定がオンの場合は、ステップＳ５０２に進み、設定がオフの場合は回動制御を終了する。
【００９３】
ステップＳ５０２では、中央制御部３０１は、回動制御がユーザ指定であるかの判定を行う。表示・受付部５０３は、ユーザ指定と自動制御の設定項目の表示及び選択受付を行い、ユーザ指定が設定されている場合はステップＳ５０７に進み、自動制御が設定されている場合はステップＳ５０３に進む。
【００９４】
ステップＳ５０３では、速度検知部３０３が、走行ロボット３の走行速度情報を取得する。走行速度情報は、走行ロボット３の速度検知部３０３で検知し、検知結果は中央制御部３０１のＤＲＡＭ等の一時記憶領域に記憶している。また、走行ロボット３が稼動中は一定間隔で常時検知し、時系列で走行速度情報が記憶されている。走行速度情報取得では、現在から所定時間さかのぼった走行速度情報を取得する。所定時間の設定については後述する。
【００９５】
ステップＳ５０４では、中央制御部３０１が、ステップＳ５０３で取得された走行速度情報から所定時間、所定速度以下であるかを判定する。所定時間、所定速度の閾値の設定は、コントローラ５の設定から行う。条件を満たす場合はステップＳ５０５に進み、条件を満たさない場合はステップＳ５０６に進む。
【００９６】
次に、ステップＳ５０５では、走行ロボット３は、特殊撮影装置１ａを全天球モードに回動制御を行う。具体的には、中央制御部３０１は、現在の回動角度情報と変更したい回動角度情報から必要な回動角度を算出し、回動制御部３３１に回動制御情報を送信する。回動制御部３３１は受信した回動制御情報から回動駆動部３３２を制御するためのパルスを発生する。回動駆動部３３２は、回動制御部３３１からのパルスによって回動駆動を行う。ここでは、走行ロボット３は、全天球モード（回動角度が０度）となるように回動角度を制御する。
【００９７】
ステップＳ５０６では、走行ロボット３は、特殊撮影装置１ａをステレオモードに回動制御を行う。走行ロボット３は、ステップＳ５０５と同様の制御により、中央制御部３０１、回動制御部３３１、及び回動駆動部３３２によって、ステレオモード（回動角度が１８０度）となるように回動角度を制御する。
【００９８】
ステップＳ５０７では、走行ロボット３は、ユーザ設定での回動制御を行う。コントローラ５の表示・受付部５０３には、パノラマモード、全天球モード、角度設定モードの設定項目が表示され、ユーザがモードを指定することにより指定された回動制御を行う。角度設定モードでは、ユーザが任意に角度を設定することで設定した角度に回動制御する。
【００９９】
ステップＳ５０８では、中央制御部３０１が、回動制御の終了を判定する。コントローラ５の回動制御設定でオフが選択された場合に回動制御を終了する。それ以外の場合、ステップＳ５０２に戻り、回動制御を継続する。
【０１００】
図２５で示したフローの設定例を階層的に記載すると、図２６に示されるようになる。即ち、  図２６に示されているように、回動制御の設定例は、「オン」と「オフ」に分けられる。更に、「オン」は、「ユーザ指定」と「自動制御」の場合に分けられる。また、「ユーザ指定」は、「パノラマモード」、「全天球モード」、及び「角度設定モード」に分けられる。一方、「自動制御」は、「時間閾値設定」と「速度閾値設定」に分けられる。
【０１０１】
以上のような回動制御を行うことで、走行ロボット３が走行中はステレオモードとなり、停止中は全天球モードとなる。このように、走行ロボット３の走行中にはステレオモードにすることにより、ステレオ撮影から障害物との距離を取得することができ、距離情報を利用することで障害物を避けながら移動体を走行することができる。また、走行ロボットの停止中は全天球モードにすることにより、定点カメラとして３６０度撮影することができる。
【０１０２】
なお、本実施形態では移動体の具体例として走行ロボットで説明を行ったが、これに限らず、自動車、ドローン、船舶等の移動体であってもかまわない。また、コントローラ５から無線による通信を示したが、これに限らず有線であってもかまわない。また、特殊撮影装置１ａ用いて説明を行ったが、これに限らず、例えば第３の実施形態で説明した特殊撮影装置１ｃを用いれば、走行方向に光軸を向けて撮影することが可能となる。
【０１０３】
〔第６の実施形態〕
続いて、図２７乃至３４を用いて、本発明の第６の実施形態について説明する。なお、第１の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
【０１０４】
＜撮像素子の分光感度特性＞
まず、第１の実施形態の特殊撮影装置１ａで利用する撮像素子について説明する。図２７は利用する撮像素子の分光感度特性の例である。撮像素子は画素毎に分光感度特性に応じて、受け取った光を電気信号に変換し、信号データとして出力することができる。なお、撮像素子から出力された画像処理等の加工されていない信号データをＲＡＷデータと呼ぶ。
特殊撮影装置１ａで用いる撮像素子は、可視領域から近赤外領域までの一部又は全域に波長感度を備えている。可視領域とはおよそ３８０ｎｍ〜７５０ｎｍの波長範囲であり、近赤外領域とはおよそ７５０ｎｍ〜１４００ｎｍの波長範囲である。なお、２００ｎｍ〜３８０ｎｍの波長範囲である紫外領域に波長感度をもっていてもよい。
【０１０５】
図２７の分光感度特性が３つの山に分かれているのは、ベイヤー配列と呼ばれる配列で撮像素子の画素毎に取り付けられたＲ、Ｇ、Ｂのカラーフィルタの分光感度特性が異なるためである。３つの山はそれぞれ低波長側から順にベイヤー配列Ｂ、Ｇ、Ｒに対応する分光感度特性である。
【０１０６】
＜フィルター特性＞
次に、後述の特殊撮影装置１ｅで利用する各種フィルターについて説明する。
【０１０７】
（赤外カットフィルター）
まずは、図２８を用いて赤外カットフィルターの特性について説明する。赤外カットフィルターは可視領域の光のみを透過する特性を持ったフィルターあり、例えば図２８（ａ）のような特性をしている。図２８（ｂ）の実線部は、図２８（ａ）の赤外カットフィルターを図２７に示された分光感度特性の撮像素子に装着した場合の分光感度特性を示したものである。すなわち、赤外カットフィルターによって分光感度特性を変更した場合、撮像素子はＲ、Ｇ、Ｂの３つのバンドに波長感度をもつことになる。なお、図２８（ｂ）の点線部は図２７と同じ撮像素子の分光感度特性を表す。また、図２８（ｂ）の実線部の３つの山は、それぞれ低波長側から順に図２８（ｂ）の点線部のＢ、Ｇ、Ｒに対応する。
【０１０８】
（デュアルバンドフィルターａ）
次に、図２９を用いてデュアルバンドフィルターａについて説明する。デュアルバンドフィルターａは、可視領域と近赤外領域の一部のみの光を透過する特性を持ったフィルターであり、例えば図２９（ａ）のような特性をしている。図２９（ｂ）の実線部は、図２９（ａ）のデュアルバンドフィルターａを図２７に示された分光感度特性の撮像素子に装着した場合の分光感度特性を示したものである。なお、図２９（ｂ）の点線部は図２７と同じ撮像素子の分光感度特性を表す。また、図２９（ｂ）の実線部の４つの山のうち低波長側の３つの山は、それぞれ低波長側から順に図２９（ｂ）の点線部のＢ、Ｇ、Ｒに対応する。また、最も長波長側にある山は、図２９（ｂ）の点線部のうち、近赤外領域の一部に対応する。
【０１０９】
（デュアルバンドフィルターｂ）
次に、図３０を用いてデュアルバンドフィルターｂの特性について説明する。デュアルバンドフィルターｂは、可視領域の一部と近赤外領域のみの光を透過する特性を持ったフィルターであり、例えば図３０（ａ）のような特性をしている。図３０（ｂ）の実線部は、図２８（ｂ）の実線部の赤外カットフィルターを装着した分光感度特性の撮像素子に、さらに図３０（ａ）のデュアルバンドフィルターｂを重ねて装着した場合の分光感度特性を示したものである。なお、図３０（ｂ）の点線部は、図２８（ｂ）の実線部の分光感度特性を表す。また、図３０（ｂ）の実線部の３つの山は、それぞれ低波長側から順に図３０（ｂ）の点線部Ｂ、Ｇ、Ｒに対応する。
【０１１０】
なお、上記各フィルターに限らず、波長可変フィルター、赤外透過フィルター、単バンドフィルター、その他のフィルターを利用するようにしてもよい。
【０１１１】
＜分光感度特性変更手段＞
次に、本実施形態に係る特殊撮影装置１ｅ，１ｆの分光感度特性変更手段について説明する。特殊撮影装置１ｅ，１ｆは、撮影ユニット１０１で分光感度特性を変更できる機構を備えている。以下、図３１及び図３２を用いて分光感度特性変更手段の例として、フィルター着脱方式、可変波長フィルター方式について説明する。
【０１１２】
（フィルター着脱方式）
図３１は、フィルター着脱方式を用いる特殊撮影装置１ｅの電気的なハードウェア構成を示したものである。特殊撮影装置１ｅは、特殊撮影装置１ａに対して、更に、モーター制御ユニット１０６ａ、モーター１０７ａ，１０７ｂを備えている。また、特殊撮影装置１ｅは、特殊撮影装置１ａの撮影ユニット１０１ａに替えて、撮影ユニット１０１ｂを備えている。この撮影ユニット１０１ｂは、レンズ１０２ａと撮像素子１０３ａとの間に挿脱可能なフィルター１０８ａを備えると共に、レンズ１０２ｂと撮像素子１０３ｂとの間に挿脱可能なフィルター１０８ｂを備える点で、撮影ユニット１０１ａの構成とは異なる。また、モーター制御ユニット１０６ａは、モーター１０７ａ及びモーター１０７ｂの駆動を制御する。モーター１０７ａはフィルター１０８ａの挿脱を制御し、モーター１０７ｂはフィルター１０８ｂの挿脱を制御する。
【０１１３】
なお、モーター１０７ａ，１０７ｂではなく、スイッチやスライド機構等を用いて手動でフィルターを着脱するようにしてもよい。また、このとき用いるフィルターは、図２８（ａ）の赤外カットフィルター、図２９（ａ）のデュアルバンドフィルターａ、図３０（ａ）のデュアルバンドフィルターｂだけでなく、近赤外のみを透過するフィルターや特定の単バンドのみを透過するフィルターなど、どのような波長特性のフィルターを用いるようにしてもよい。また、単一のフィルターの着脱だけでなく、複数の異なるフィルターを切り替える、又は、複数のフィルターを重ねることで装置の分光感度特性を変更するようにしてもよい。
【０１１４】
（可変波長フィルター方式）
図３２は、可変波長フィルター方式を用いる特殊撮影装置１ｆの電気的なハードウェア構成を示したものである。特殊撮影装置１ｆは、特殊撮影装置１ａに対して、更に、フィルター制御ユニット１０６ｂ、可変波長フィルター１２１ａ，１２１ｂを備えている。また、特殊撮影装置１ｆは、特殊撮影装置１ａの撮影ユニット１０１ａに替えて、撮影ユニット１０１ｃを備えている。この撮影ユニット１０１ｃは、レンズ１０２ａと撮像素子１０３ａとの間に可変波長フィルター１２１ａを備えると共に、レンズ１０２ｂと撮像素子１０３ｂとの間に可変波長フィルター１２１ｂを備える点で、撮影ユニット１０１ａの構成とは異なる。また、フィルター制御ユニット１０６ｂは、電気信号におって、可変波長フィルター１２１ａ，１２１ｂの透過する波長を可変させる制御を行う。これにより、撮像素子１０３ａ，１０３ｂが受光する光の波長の感度を個別に変更できるようにする。
【０１１５】
なお、可変波長フィルター方式とフィルター着脱方式とを組み合わせて利用するようにしてもよい。また、図３１及び図３２では撮像素子１０３ａ，１０３ｂの両方で分光感度特性を変更できる機構を備えているが、これに限らず、片方だけ機構を備えていてもよい。
【０１１６】
＜分光感度特性変更タイミング＞
次に、分光感度特性を変更するタイミングについて説明する。本実施形態では、装置の回動状態が変更された際、例えば全天球モードからステレオモードへの変更、ステレオモードから全天球モードへの変更を検知した際に、撮像素子１０３ａ、１０３ｂの分光感度特性を自動で変更できるようにする。また、定常的に特殊撮影装置１ｅ，１ｆの回動状態を監視し回動状態に対応する撮影モードやユーザが選択した撮影モードに応じて自動で分光感度特性を変更するようにしてもよい。
【０１１７】
＜データ処理方法＞
特殊撮影装置１ｅ，１ｆは、分光感度特性の状態に応じて、データ処理方法を自由に変更できるようにする。以下、分光感度特性に応じたデータ処理方法の実施形態について説明する。図３３に撮影モードとフィルターの組み合わせ例について示す。また、図３４に特殊撮影装置１ｅ，１ｆのデータ処理から得られる擬似的な分光感度特性の一例を示す。
【０１１８】
（全天球モード）
まず、図３３の（１１）のパターンについて説明する。本実施形態の特殊撮影装置１ｅ，１ｆの回動状態が全天球モードである場合に、図２８（ａ）の赤外カットフィルターを装着することで撮像素子１０３ａ、１０３ｂが図２８（ｂ）の実線部の分光感度特性となるようにする。このとき、特殊撮影装置１ｅ，１ｆは、両方の撮像素子１０３ａ、１０３ｂから得られる２つの半球画像から正距円筒射影画像を作成することで可視領域に分光感度特性を持つ全天球カメラとして利用することができる。
【０１１９】
次に、図３３の（１２）のパターンについて説明する。特殊撮影装置１ｅ，１ｆの回動状態が全天球モードである場合に、フィルターを装着せず、撮像素子１０３ａ、１０３ｂが図２７の分光感度特性となるようにする。このとき、特殊撮影装置１ｅ，１ｆは、両方の撮像素子１０３ａ、１０３ｂから得られる２つの半球画像から正距円筒射影画像を作成することで、図３３の（１１）のパターンの赤外カットフィルターが装着されている場合に比べて、近赤外領域にも分光感度を持つ暗視特性に優れた全天球カメラとして利用することができる。
【０１２０】
（ステレオモード）
次に、図３３の（１５）のパターンについて説明する。特殊撮影装置１ｅ，１ｆの回動状態がステレオモードである場合に、撮像素子１０３ａには図２８（ａ）の赤外カットフィルターを装着して図２８（ｂ）の実線部の分光感度特性となるようにし、撮像素子１０３ｂにはフィルターを装着せず図２８（ｂ）の点線部の分光感度特性となるようにする。このとき、撮像素子１０３ｂの出力するＲＡＷデータから撮像素子１０３ａの出力するＲＡＷデータを特殊撮影装置１ｅ，１ｆ内部の画像処理ユニット１０４または特殊撮影装置１ｅ，１ｆ外部のＰＣ等の計算機で、画像の位置あわせや減算処理等を行うことによって、図３４（ａ）の実線部のような分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。単バンドデータとは、特定の波長帯のみのデータである。たとえば、図２８（ｂ）の実線部のデータは低波長側から順にＢ、Ｇ、Ｒバンドに分離することができる。さらに、図３４（ａ）の実線部のデータのうち、図２８（ｂ）の実線部のＲに対応する部分は、可視領域の分光感度が非常に小さく、近赤外領域の分光感度が大きいため、近赤外領域のみに分光感度をもつＮＩＲバンドのデータとみなすことができる。すなわち、Ｒバンド、Ｇバンド、Ｂバンド、ＮＩＲバンド（近赤外バンド）の４バンドスペクトルカメラとして利用することができる。なお、図３４（ａ）の点線部は図２７の撮像素子の分光感度特性を表している。
【０１２１】
次に、図３３の（１６）のパターンについて説明する。特殊撮影装置１ｅ，１ｆの回動状態がステレオモードである場合に、撮像素子１０３ａには図２８（ａ）の赤外カットフィルターを装着して図２８（ｂ）の実線部の分光感度特性となるようにし、撮像素子１０３ｂには図２９（ａ）のデュアルバンドフィルターａを装着して図２９（ｂ）の実線部の分光感度特性となるようにする。このとき、撮像素子１０３ｂの出力するＲＡＷデータから撮像素子１０３ａの出力するＲＡＷデータを特殊撮影装置１ｅ，１ｆ内部の画像処理ユニット１０４または特殊撮影装置１ｅ，１ｆ外部のＰＣ等の計算機で、画像の位置あわせや減算処理等を行うことによって、図３４（ｂ）の実線部のような近赤外バンドのみに分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。たとえば、図２８（ｂ）の実線部は低波長側から順にＢ、Ｇ、Ｒバンドのデータに分離することができる。さらに、図３４（ｂ）の実線部はほぼ近赤外領域のみに感度を持つため、ＮＩＲバンドデータとみなすことができる。すなわち、Ｒバンド、Ｇバンド、Ｂバンド、ＮＩＲバンド（近赤外バンド）の４バンドスペクトルカメラとして利用することができる。なお、図３４（ｂ）の点線部は図２７の撮像素子の分光感度特性を表している。
【０１２２】
次に、図３３（１７）のパターンについて説明する。特殊撮影装置１ｅ，１ｆの回動状態がステレオモードである場合に、撮像素子１０３ａには図２８（ａ）の赤外カットフィルターを装着して図２８（ｂ）の実線部の分光感度特性となるようにし、撮像素子１０３ｂには図２８（ａ）の赤外カットフィルターと図３０（ａ）のデュアルバンドフィルターｂを重ねて装着して、図３０（ｂ）の実線部の分光感度特性となるようにする。このとき、撮像素子１０３ａの出力するＲＡＷデータから撮像素子１０３ｂの出力するＲＡＷデータを特殊撮影装置１ｅ，１ｆ内部の画像処理ユニット１０４または特殊撮影装置１ｅ，１ｆ外部のＰＣ等の計算機で、画像の位置あわせや減算処理等を行うことによって、図３４（ｃ）の実線部に分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。たとえば、図３０（ｂ）の実線部は低波長側から順に、図２８（ｂ）の実線部と比較して波長範囲の狭いＢバンド、波長範囲の狭いＧバンド、波長範囲の狭いＲバンドのデータに分離することができる。これらをそれぞれＢ１バンド、Ｇ１バンド、Ｒ１バンドと呼び、さらに、図３４（ｃ）の実線部を低波長側から順にＢ２バンド、Ｇ２バンド、Ｒ２バンドと呼ぶものとすると、同じように３つのバンドに分離することができる。すなわち、図３０（ｂ）の実線部と図３４（ｃ）の実線部のデータをあわせてＢ１バンド、Ｇ１バンド、Ｒ１バンド、Ｂ２バンド、Ｇ２バンド、Ｂ２バンドの計６バンドのマルチスペクトルカメラとして利用することができる。なお、図３４（ｃ）の点線部は図２８（ｂ）の実線部の分光感度特性を表している。
【０１２３】
なお、波長可変フィルター、赤外透過フィルター、単バンドフィルター、その他のフィルターなど図３３に表記していないフィルターを利用してもよい。その場合も全天球モード、ステレオモードの変更を検知した際にデータ処理方法を変更するようにしてよい。また、複数のフィルターを同時に使用するようにしてもよい。
【０１２４】
＜データ保存方法＞
特殊撮影装置１ｅ，１ｆは、撮像素子から得られるＲＡＷデータ、画像データ、単バンドデータ、マルチスペクトル画像データ、マルチスペクトル構造化データなどを保存できるようにする。
【０１２５】
（画像データ）
画像データは、第１の実施形態でも述べたデュアルフィッシュアイまたはシングルフィッシュアイ、正距円筒射影画像などである。なお、全天球モード、ステレオモードで保存する画像を変更できるようにする。データを保存する際、メタ情報を追加で付与するようにしてよい。このとき付与されるメタ情報は、分光感度特性変更方式の種別（フィルター着脱方式／可変波長フィルター方式）、回動状態の種別（ステレオ／全天球／中間、回動角度など）、回動方向（縦方向／横方向）、撮像素子の区別（撮像素子１０３ａ／撮像素子１０３ｂ）、装着されたフィルターの有無、分光特性の種別（Ｒ／Ｇ／Ｂ／ＮＩＲ(Near Infrared：近赤外線)など）、スティッチ処理の有無などである。
【０１２６】
（マルチスペクトルデータ）
次に、マルチスペクトルデータについて説明する。本実施形態の特殊撮影装置１ｅ，１ｆでは、波長帯ごとに分離したデータを、特殊撮影装置１ｅ，１ｆ内部の画像処理ユニット１０４または外部のＰＣ等の計算機でデータを構造化した形式に変換し、メタデータを付与することで、複数の波長帯のデータを１つにまとめたＸＭＬ(Extensible Markup Language)等のマルチスペクトル構造化データを作成できるようにする。なお、ＸＭＬ以外の構造化データを作成してもよい。また、複数の波長帯のデータを１つにまとめ、メタデータを付与したマルチスペクトル画像データを作成してもよい。なお、マルチスペクトル構造化データ、マルチスペクトル画像データに付与されるメタデータは、例えば、波長帯、輝度の飽和判定、その他の情報等を含むものとする。
【０１２７】
＜データ利用方法＞
次に、特殊撮影装置１ｅ，１ｆによって取得された画像データの利用方法について述べる。特殊撮影装置１ｅ，１ｆによって取得したＲＡＷデータ、画像データ、その他のデータに対し、特殊撮影装置１ｅ，１ｆ内部の画像処理ユニット１０４または特殊撮影装置１ｅ，１ｆ外部のＰＣ等の計算機で演算処理を行うことで、多様なアプリケーションとして利用できる。
【０１２８】
例えば、カラー合成画像の生成、色再現、照明の影響除去、ＨＤＲ(High Dynamic Range)合成による暗視特性向上、カラーと暗視(モノクロ)の部分合成、スペクトル解析、植生診断、土壌・水質検査、食品検査、異物検査、人物検出、肌領域検出、静脈可視化、生体認証、偽札診断、表面検査等に利用することができる。
【符号の説明】
【０１２９】
１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ  特殊撮影装置（撮影装置の一例）
１６  切替部（切替手段の一例）
１８  出力部（出力手段の一例）
１０３ａ  撮像素子（第１の撮像素子の一例）
１０３ｂ  撮像素子（第２の撮像素子の一例）
１０６ａ  モーター制御ユニット
１０６ｂ  フィルタ制御ユニット
１０７ａ、１０７ｂ  モーター
１０８ａ、１０８ｂ  フィルター
１２１ａ、１２１ｂ  可変波長フィルター
１７１ａ、１７１ｃ、１７１ｅ  撮像ユニット（第１の撮像ユニットの一例）
１７１ｂ、１７１ｄ、１７１ｆ  撮像ユニット（第２の撮像ユニットの一例）
１７４ａ、１７４ｂ、１７４ｃ、１７４ｄ  回動部（変更手段の一例、検知手段の一例）
１９０  スイッチ（検知手段の一例）
３０２  通信部（通信手段の一例）
３３２  回動駆動部（駆動手段の一例）
【先行技術文献】
【特許文献】
【０１３０】
【特許文献１】特開２００３−５１８７２号公報
【図１】
2019117330.tif 000003
【図２】
2019117330.tif 000004
【図３】
2019117330.tif 000005
【図４】
2019117330.tif 000006
【図５】
2019117330.tif 000007
【図６】
2019117330.tif 000008
【図７】
2019117330.tif 000009
【図８】
2019117330.tif 000010
【図９】
2019117330.tif 000011
【図１０】
2019117330.tif 000012
【図１１】
2019117330.tif 000013
【図１２】
2019117330.tif 000014
【図１３】
2019117330.tif 000015
【図１４】
2019117330.tif 000016
【図１５】
2019117330.tif 000017
【図１６】
2019117330.tif 000018
【図１７】
2019117330.tif 000019
【図１８】
2019117330.tif 000020
【図１９】
2019117330.tif 000021
【図２０】
2019117330.tif 000022
【図２１】
2019117330.tif 000023
【図２２】
2019117330.tif 000024
【図２３】
2019117330.tif 000025
【図２４】
2019117330.tif 000026
【図２５】
2019117330.tif 000027
【図２６】
2019117330.tif 000028
【図２７】
2019117330.tif 000029
【図２８】
2019117330.tif 000030
【図２９】
2019117330.tif 000031
【図３０】
2019117330.tif 000032
【図３１】
2019117330.tif 000033
【図３２】
2019117330.tif 000034
【図３３】
2019117330.tif 000035
【図３４】
2019117330.tif 000036