(57)【要約】【課題】撮像部の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる撮像装置、撮像システム、画像処理方法、およびプログラムを提供する。【解決手段】撮像装置１は、画像を撮像する撮像部と、実空間の鉛直方向Ｖに対する撮像部の傾きを検出する検出部と、撮像部で撮像された画像に画像処理を施す画像処理部とを備えている。画像処理部は、選択部と、変換部とを有している。選択部は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面１０１，１０２の中から、検出部で検出された傾きに基づいて投影面を選択する。変換部は、選択部で選択された投影面に撮像部で撮像された画像がマッピングされるように、撮像部で撮像された画像を変換する。【選択図】図１
2016058886.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
実空間の鉛直方向に対する前記撮像部の傾きを検出する検出部と、
前記撮像部で撮像された画像に画像処理を施す画像処理部とを備え、
前記画像処理部は、
前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記検出部で検出された前記傾きに基づいて投影面を選択する選択部と、
前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部とを有する
ことを特徴とする撮像装置。
【請求項２】
前記選択部は、前記複数種類の投影面の中から、前記実空間の鉛直方向に沿い、且つ前記実空間の水平面内で湾曲した形状の投影面を選択するように構成されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出部は、前記撮像部の光軸と前記実空間の鉛直方向とのなす角度を、前記傾きに含めて検出するように構成されている
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記検出部は、前記撮像部について設定され前記撮像部の光軸と直交する一方向である基準方向と、前記実空間の鉛直方向とのなす角度を、前記傾きに含めて検出するように構成されている
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記選択部は、前記複数種類の投影面の中から、前記検出部で検出された傾きの大きさと所定の閾値との比較結果に基づいて、投影面を選択するように構成されている
ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
画像を撮像する撮像部と、
実空間の鉛直方向に対する前記撮像部の傾きを検出する検出部と、
前記撮像部および前記検出部からデータを取得し、前記撮像部で撮像された画像に画像処理を施す画像処理ユニットとを備え、
前記画像処理ユニットは、
前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記検出部で検出された前記傾きに基づいて投影面を選択する選択部と、
前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部とを有する
ことを特徴とする撮像システム。
【請求項７】
実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向に対する撮像部の傾きに基づいて投影面を選択する第１ステップと、
前記第１ステップで選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する第２ステップとを含む
ことを特徴とする画像処理方法。
【請求項８】
画像を撮像する撮像部に接続されたコンピュータを、
実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向に対する前記撮像部の傾きに基づいて投影面を選択する選択部、
前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、撮像装置、撮像システム、画像処理方法、およびプログラムに関し、より詳細には撮像部で生成される画像に対して適宜の画像処理を施す撮像装置、撮像システム、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、１８０度以上の画角を有する魚眼レンズ（超広角レンズ）を利用し、２つの撮像素子（いわゆる２眼）を用いることにより、全方位（全天球）を一度に撮影可能とした撮像装置が提案されている（たとえば特許文献１参照）。
【０００３】
特許文献１に記載の撮像装置は、鉛直方向に対する傾きを検出する傾き検出手段と、平面座標値を球面座標値に変換する変換データと、傾きに応じて変換データを補正する補正手段とを含んでいる。この撮像装置は、全方位（全天球）画像の生成を行うに際して、鉛直方向を検出し、画像処理に用いる変換テーブルに対して鉛直方向に応じた補正を行う。これにより、撮像装置は、鉛直方向に対する装置の任意の傾きに対応して、鉛直方向の正しい全方位（全天球）画像を生成することができる。
【０００４】
この撮像装置は、基本的には垂直方向（鉛直方向）に向けて使用されるが、鉛直方向に対して傾いている場合、撮影される画像の天頂部がずれ水平線が歪むことがある。このような場合でも、特許文献１に記載の撮像装置は、鉛直方向に対する傾きに応じて変換データを補正することで、鉛直方向に対して傾くことなく設置された場合と同等に水平線の歪みを抑えた画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２１４９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載の撮像装置では、変換後の画像の天頂部を実空間の天頂部に合わせるように、変換後の画像の向きが鉛直方向に対して一意に決まっている。そのため、たとえば水平画角が３６０度の撮像装置であれば、撮像装置が天井に取り付けられた場合でも、撮像装置が壁に取り付けられた場合でも、同じように水平画角が３６０度の画像が得られることになる。そうすると、撮像装置が壁に取り付けられている場合、画像の約半分には壁しか映らないことになり、ユーザの閲覧には適さない画像となる可能性がある。
【０００７】
本発明は上記事由に鑑みて為されており、撮像部の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる撮像装置、撮像システム、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、画像を撮像する撮像部と、実空間の鉛直方向に対する前記撮像部の傾きを検出する検出部と、前記撮像部で撮像された画像に画像処理を施す画像処理部とを備え、前記画像処理部は、前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記検出部で検出された前記傾きに基づいて投影面を選択する選択部と、前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部とを有することを特徴とする。
【０００９】
本発明の撮像システムは、画像を撮像する撮像部と、実空間の鉛直方向に対する前記撮像部の傾きを検出する検出部と、前記撮像部および前記検出部からデータを取得し、前記撮像部で撮像された画像に画像処理を施す画像処理ユニットとを備え、前記画像処理ユニットは、前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記検出部で検出された前記傾きに基づいて投影面を選択する選択部と、前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部とを有することを特徴とする。
【００１０】
本発明の画像処理方法は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向に対する撮像部の傾きに基づいて投影面を選択する第１ステップと、前記第１ステップで選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する第２ステップとを含むことを特徴とする。
【００１１】
本発明のプログラムは、画像を撮像する撮像部に接続されたコンピュータを、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向に対する前記撮像部の傾きに基づいて投影面を選択する選択部、前記選択部で選択された前記投影面に前記撮像部で撮像された画像がマッピングされるように、前記撮像部で撮像された画像を変換する変換部として機能させる。
【発明の効果】
【００１２】
本発明は、撮像部の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる、という利点がある。
【図面の簡単な説明】
【００１３】
【図１】図１Ａは実施形態１に係る撮像装置の天井に取り付けられた状態の斜視図、図１Ｂは実施形態１に係る撮像装置の壁に取り付けられた状態の斜視図である。
【図２】実施形態１に係る撮像装置の構成を示すブロック図である。
【図３】図３Ａは実施形態１に係る撮像装置の下向きに設置された状態の側面図、図３Ｂは実施形態１に係る撮像装置の上向きに設置された状態の側面図、図３Ｂは実施形態１に係る撮像装置の横向きに設置された状態の側面図である。
【図４】図４Ａは比較例における変換画像の概略図、図４Ｂは実施形態１に係る撮像装置で得られる変換画像の概略図である。
【図５】実施形態２に係る撮像装置を示す斜視図である。
【図６】実施形態２に係る撮像装置の動作を示すフローチャートである。
【図７】実施形態２に係る撮像装置を示す斜視図である。
【図８】図８Ａは変形例に係る撮像装置の上向きに設置された状態の斜視図、図８Ｂは変形例に係る撮像装置の斜め上向きに設置された状態の斜視図、図８Ｃは変形例に係る撮像装置の斜め下向きに設置された状態の斜視図である。
【図９】実施形態に係る撮像システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
（実施形態１）
本実施形態に係る撮像装置１は、図２に示すように、画像を撮像する撮像部２と、実空間の鉛直方向Ｖ（図１Ａ参照）に対する撮像部２の傾きを検出する検出部３と、撮像部２で撮像された画像に画像処理を施す画像処理部４とを備えている。
【００１５】
画像処理部４は、選択部４１と、撮像部２で撮像された画像を変換する変換部４２とを有している。ここで、選択部４１は、図１Ａおよび図１Ｂに示すように前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面１０１，１０２の中から、検出部３で検出された前記傾きに基づいて投影面を選択する。変換部４２は、選択部４１で選択された前記投影面に撮像部２で撮像された画像がマッピングされるように、（撮像部２で撮像された）画像を変換する。
【００１６】
この構成によれば、本実施形態の撮像装置１は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面のうち、いずれの投影面に画像をマッピングするかを、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて選択する。すなわち、撮像装置１は、撮像部２で撮像された画像に画像処理部４で画像処理を施すことにより、いずれかの投影面に画像がマッピングされるように、撮像部２で撮像された画像を変換している。ここで、撮像部２で撮像された画像のマッピングされる投影面は、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて自動的に選択される。したがって、本実施形態の撮像装置１は、撮像部２の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる、という利点がある。
【００１７】
以下、本実施形態の撮像装置１について詳しく説明する。ただし、以下に説明する撮像装置１は、本発明の一例に過ぎず、本発明は、下記実施形態に限定されることはなく、この実施形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
【００１８】
以下の実施形態では、防犯等の目的で、撮像装置１が監視カメラとして建物（たとえば戸建住宅、集合住宅、事務所、店舗、工場等）の天井、あるいは壁に取り付けられる場合を例として説明する。また、撮像装置１は、ここでは動画を撮像するカメラであると仮定するが、静止画を撮像するカメラ（スチルカメラ）であってもよい。
【００１９】
＜撮像装置の構成＞
本実施形態に係る撮像装置１は、図２に示すように、上述した撮像部２、検出部３、および画像処理部４を、１つの筐体５内に備えている。
【００２０】
撮像部２は、撮像素子２１と、光学系２２とを１つずつ有している。撮像素子２１は、ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの二次元イメージセンサである。撮像素子２１は、撮像対象からの光を光学系２２によって撮像面（受光面）上に結像させ、電気信号に変換して出力する。光学系２２は、本実施形態では１８０度以上の画角を持つ魚眼レンズ（超広角レンズ）を含んでいる。
【００２１】
これにより、撮像素子２１の撮像面には、光学系２２を通して画角１８０度の画像が投影される。本実施形態では、撮像素子２１の撮像面に投影される画像は、魚眼レンズの表面となる半球面上の像を、該半球の底面となる平面に垂直に投影した正射影の画像である。すなわち、撮像部２で撮像される画像（以下、「原画像」という）は、実空間において撮像部（撮像素子２１）２を中心として設定された半球面状の仮想面に投影される画像となる。このように、撮像により得られる画像が投影されているとみなされる実空間上の仮想面を、以下では投影面と呼び、特に原画像に対応する投影面（上述した半球面上の仮想面）を原投影面１００（図１Ａ参照）と呼ぶ。
【００２２】
本実施形態においては、撮像素子２１の撮像面に含まれるＸ軸およびＹ軸と、撮像部２の光軸に当たるＺ軸とで規定されるＸＹＺ直交座標系をカメラ座標系とし、原画像の中心座標を（ｘ，ｙ，ｚ）＝（０，０，０）とする。ここでいうカメラ座標系は、撮像部２の向きを基準として実空間上に設定される座標系である。カメラ座標系（ＸＹＺ直交座標系）は、以下のようにして原画像におけるＵＶ座標系へ変換される。ここでは、Ｕ軸はＸ軸に平行、Ｖ軸はＹ軸に平行であり、且つ（ｕ，ｖ）＝（α，β）が原画像の中心位置（（ｘ，ｙ）＝（０，０））であると仮定する。
【００２３】
まず、直交座標系であるカメラ座標系が極座標系へ変換されることにより、原投影面１００上のＰ点の位置は（θ，φ，Ｒ）で表される。ここで、θは原画像の中心と原投影面１００上のＰ点とを結ぶ直線と撮像部２の光軸（Ｚ軸）とのなす角度、φはＰ点を原投影面１００の底面となる平面に垂直に投影した点と原画像の中心とを結ぶ直線とＸ軸とのなす角度、Ｒは原投影面１００の半径である。
【００２４】
【数１】
2016058886.tif 000003
【００２５】
【数２】
2016058886.tif 000004
【００２６】
さらに、上記θ、Ｒ、および正射影の投影関数を用いれば、原画像上に投影されたＰ点の原画像中心からの距離（半径）ｒは、ｒ＝Ｒ×ｓｉｎθで表される。そのため、原画像におけるＵＶ座標系でのＰ点の位置（ｕ，ｖ）は、上記ｒおよびφを用いて以下のように表される。
【００２７】
ｕ＝ｒ ｃｏｓφ＋α
ｖ＝ｒ ｓｉｎφ＋β
ただし、魚眼レンズの射影方式は、上述したような正射影に限らず、たとえば等立体角射影、立体射影、あるいは等距離射影などであってもよい。正射影以外の射影方式の場合、投影関数が変わるため、上記説明のうちｒを表す式が変わることになる。すなわち、等立体角射影であればｒ＝Ｒ×２ｓｉｎ（θ／２）、立体射影であればｒ＝Ｒ×２ｔａｎ（θ／２）、投距離射影であればｒ＝Ｒ×θにより、ｒが表されることになる。
【００２８】
撮像部２は、撮像した画像（原画像）を、たとえばＪＰＥＧ形式や、Ｈ．２６４あるいはＨ．２６５などの画像圧縮方式で圧縮し、画像データとして、画像処理部４へ出力するように構成されている。なお、光学系２２は魚眼レンズに限らず、他の広角レンズ、あるいは全方位ミラーのような曲面ミラーを用いて構成されていてもよい。
【００２９】
検出部３は、少なくとも実空間の鉛直方向（上下方向）Ｖに対する撮像部２の傾きの大きさ（傾斜角）を計測する。検出部３には、たとえば加速度センサが用いられる。本実施形態では一例として３軸加速度センサが検出部３に用いられている。
【００３０】
検出部３は、撮像部２の光軸（Ｚ軸）と実空間の鉛直方向Ｖとのなす角度を第１の角度θ１として計測し、第１の角度θ１に応じた値を画像処理部４へ出力する。すなわち、検出部３は、撮像部２の光軸と実空間の鉛直方向Ｖとのなす角度を、上記の傾きに含めて検出するように構成されている。
【００３１】
たとえば、図３Ａに示すように撮像部２の光軸（Ｚ軸）が鉛直方向Ｖと一致し且つ下方（重力の作用する方向）を向いている場合には、検出部３で計測される第１の角度θ１は０度となる。図３Ｂに示すように撮像部２の光軸（Ｚ軸）が鉛直方向Ｖと一致し且つ上方を向いている場合には、検出部３１で計測される第１の角度θ１は１８０度となる。一方、図３Ｃに示すように撮像部２の光軸（Ｚ軸）が水平方向と一致している場合には、検出部３１で計測される第１の角度θ１は９０度となる。
【００３２】
画像処理部４は、本実施形態では、図２に示すように、上述した選択部４１および変換部４２に加え、判定部４３と記憶部４４と出力部４５とをさらに有している。画像処理部４は、たとえばマイコン（マイクロコンピュータ）など、ＣＰＵ（Central Processing Unit）およびメモリを備えたコンピュータを主構成とする。この画像処理部４は、メモリに記憶されているプログラムをＣＰＵで実行することにより、コンピュータを選択部４１、変換部４２として機能させる。プログラムは、予めメモリに書き込まれていてもよいが、電気通信回線を通じて、あるいはメモリカードなどの記録媒体に記録されて提供されてもよい。
【００３３】
判定部４３は、検出部３の出力値に基づいて、実空間における撮像部２の向きを判定する。本実施形態では、判定部４３は、撮像部２が「縦向き」、「横向き」のいずれであるかを判定する。ここでいう「縦向き」は撮像部２の光軸（Ｚ軸）が実空間における鉛直方向（上方または下方）Ｖに沿う状態であり、「横向き」は撮像部２の光軸（Ｚ軸）が実空間における水平方向に沿う状態である。
【００３４】
具体的には、判定部４３は、検出部３で計測された第１の角度θ１と所定の閾値とを比較し、その比較結果によって、「縦向き」か「横向き」かを判定する。ここで、第１の角度θ１と比較される閾値は１つの値に限らず、たとえば２つ以上の値であってもよい。本実施形態では、閾値として４５度（第１の閾値）と１３５度（第２の閾値）との２値が設定されている。そして、判定部４３は、第１の角度θ１が第１の閾値よりも小さい場合（０≦θ１＜４５）、並びに第１の角度θ１が第２の閾値よりも大きい場合（１３５＜θ１≦１８０）、撮像部２が「縦向き」であると判定する。一方、第１の角度θ１が第１の閾値以上で且つ第２の閾値以下である場合（４５≦θ１≦１３５）、判定部４３は、撮像部２が「横向き」であると判定する。
【００３５】
なお、判定部４３は、「縦向き」と「横向き」の２段階の判定に限らず、３段階以上の判定を行う構成であってもよい。
【００３６】
選択部４１は、互いに形状の異なる複数種類の投影面の中から、判定部４３の判定結果に基づいて投影面を選択する。つまり、選択部４１は、判定部４３の判定結果を受け、撮像部２が「縦向き」であるか「横向き」であるかによって異なる投影面を選択する。本実施形態では、選択部４１は、後述する第１投影面１０１（図１Ａ参照）と第２投影面１０２（図１Ｂ参照）との２種類の投影面から投影面を選択する。
【００３７】
ここで、選択部４１は、複数種類の投影面の中から、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面を選択するように構成されている。そのため、選択部４１は、撮像部２が「縦向き」であれば第１投影面１０１を選択し、撮像部２が「横向き」であれば第２投影面１０２を選択する。第１投影面１０１および第２投影面１０２の具体的な形状については後述する。
【００３８】
変換部４２は、選択部４１で選択された投影面に撮像部２で撮像された原画像がマッピングされるように、原画像を変換する。実際には、変換部４２は、選択部４１で選択された投影面に対応する変換式を用いて原画像の座標変換を行う。このとき、変換部４２は、変換後の画像（以下、「変換画像」という）の歪みを抑えるように、歪補正並びに補間処理を原画像の変換と併せて行う。
【００３９】
記憶部４４は、互いに形状の異なる複数種類の投影面に対応する情報を、判定部４３の判定結果に対応付けて予め記憶している。本実施形態では、記憶部４４は、変換部４２で用いられる変換式を、判定部４３の判定結果に対応付けて記憶している。これにより、選択部４１は、判定部４３の判定結果を受け、判定部４３の判定結果に対応する変換式を記憶部４４から読み出すことにより、判定部４３の判定結果に基づいて変換後の投影面を選択することができる。
【００４０】
出力部４５は、外部装置と通信可能に構成されている。出力部４５は、画像処理後、つまり変換部４２で変換後の画像（変換画像）を、たとえば構内通信網（ＬＡＮ：local area network）からなるネットワークを介して外部装置へ送信する。外部装置は、変換画像を記憶するストレージ装置、変換画像を表示するモニタ装置などである。なお、出力部４５は、変換画像を外部装置へ送信する構成に限らず、内蔵メモリ、あるいはメモリカード等の記録媒体に変換画像を書き込む構成であってもよい。
【００４１】
＜撮像装置の動作＞
上述のように構成される撮像装置１は、撮像部２で得られる原画像に画像処理部４で画像処理を施すことにより、変換画像を生成する。このとき、画像処理部４は、図１Ａおよび図１Ｂに示すように、画像が投影されているとみなされる実空間上の仮想面、つまり画像がマッピングされる投影面を、原投影面１００から、第１投影面１０１あるいは第２投影面１０２へ切り替える。ここで、画像処理部４は、互いに形状の異なる複数種類の投影面の中から、検出部３で検出された撮像部２の傾きに基づいて投影面を選択する。
【００４２】
本実施形態では、画像処理部４は、検出部３で検出された撮像部２の傾きに基づき、撮像部２が「縦向き」であれば第１投影面１０１（図１Ａ参照）を選択し、「横向き」であれば第２投影面１０２（図１Ｂ参照）を選択するように構成されている。
【００４３】
すなわち、撮像装置１は、撮像部２が「縦向き」であれば、図１Ａに示すように撮像部２の光軸（Ｚ軸）を中心軸とする円筒状（円柱の周面形状）の投影面（第１投影面）１０１を、選択部４１で選択する。図１Ａは撮像装置１が建物の天井に取り付けられた状態を表しており、図１Ａに示す撮像装置１は撮像部２の光軸を下方に向けた状態にある。したがって、第１投影面１０１は、実空間における撮像装置１の下方において、撮像部２を通る鉛直方向Ｖの中心軸周りに設定されることになる。言い換えれば、図１Ａの状態においては、第１投影面１０１は、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面である。
【００４４】
この場合、撮像装置１は、第１投影面１０１に、撮像部２で撮像された原画像がマッピングされるように、変換部４２にて原画像を変換する。つまり、変換部４２は、記憶部４４に記憶されている変換式のうち、第１投影面１０１に対応する変換式を用いて原画像の変換を行う。ここで、出力部４５より出力される変換画像は、円筒状の第１投影面１０１に投影された画像を平面状に展開した二次元画像である。これにより、撮像装置１は、実空間における水平画角が３６０度のパノラマ画像を、変換画像として出力部４５から出力することができる。
【００４５】
一方、撮像部２が「横向き」であれば、図１Ｂに示すように撮像部２の光軸（Ｚ軸）と交差し、且つ実空間の鉛直方向Ｖに直交する断面が円弧状となる投影面（第２投影面）１０２を、選択部４１で選択する。ここで、第２投影面１０２は、撮像部２の撮像面を含むＸＹ平面に対向し、且つＸ軸方向においてＹ軸から離れるにつれてＸＹ平面に近づくように湾曲した曲面である。図１Ｂは撮像装置１が建物の壁に取り付けられた状態を表しており、図１Ｂに示す撮像装置１は撮像部２の光軸を前方（壁の正面方向）に向けた状態にある。したがって、第２投影面１０２は、実空間における撮像装置１の前方において、撮像部２を通る鉛直方向Ｖの中心軸周りに設定されることになる。言い換えれば、図１Ｂの状態においては、第２投影面１０２は、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面である。
【００４６】
この場合、撮像装置１は、第２投影面１０２に、撮像部２で撮像された原画像がマッピングされるように、変換部４２にて原画像を変換する。つまり、変換部４２は、記憶部４４に記憶されている変換式のうち、第２投影面１０２に対応する変換式を用いて原画像の変換を行う。ここで、出力部４５より出力される変換画像は、湾曲した第２投影面１０２に投影された画像を平面状に展開した二次元画像である。これにより、撮像装置１は、実空間における水平画角が１８０度程度のパノラマ画像を、変換画像として出力部４５から出力することができる。
【００４７】
ところで、本実施形態のように検出部３が傾きの大きさ（角度）を計測することは必須ではなく、検出部３は、たとえば「縦向き」か「横向き」かによって接点の開閉が切り替わるだけの構成であってもよい。このように「縦向き」か「横向き」かによって検出部３の出力が切り替わる構成であれば、画像処理部４において、判定部４３は省略可能である。
【００４８】
あるいは、検出部３は、センサに代えて、画像処理により鉛直方向Ｖに対する検出部３が傾きを検出する構成であってもよい。この場合、検出部３は、たとえば原画像の中から床面等の水平面を抽出し、この水平面の法線ベクトルから鉛直方向Ｖを特定する。
【００４９】
また、撮像装置１は、ユーザによる操作入力を受け付ける入力部を備え、入力部からの入力に従って投影面を選択できるように構成されていてもよい。この場合、ユーザは、選択部４１によって自動的に選択される投影面とは別の投影面を、手動で選択することが可能になる。
【００５０】
＜効果＞
以上説明したように、本実施形態の撮像装置１は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面のうち、いずれの投影面に画像をマッピングするかを、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて選択する。すなわち、撮像装置１は、撮像部２で撮像された画像に画像処理部４で画像処理を施すことにより、いずれかの投影面に画像がマッピングされるように、撮像部２で撮像された画像を変換する。ここで、撮像部２で撮像された画像のマッピングされる投影面は、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて、形状の異なる第１投影面１０１および第２投影面１０２から自動的に選択される。したがって、本実施形態の撮像装置１は、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて、原画像に対し異なる画像処理（変換）が施されることになる。結果的に、撮像装置１は、撮像部２の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる、という利点がある。
【００５１】
また、本実施形態のように、選択部４１は、複数種類の投影面の中から、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面を選択するように構成されていることが好ましい。この構成によれば、撮像装置１は、実空間の鉛直方向Ｖに沿った直線の歪曲が低減された変換画像（変換部４２で変換後の画像）を生成することができる。この点について説明するため、以下に、撮像装置１で実空間において鉛直方向Ｖに直立している対象物２００を撮像する場合を考える。
【００５２】
この場合において、選択部４１が、実空間の水平方向に沿い、且つ実空間の鉛直面内で湾曲した形状の投影面を選択するとすれば、図４Ａに示すように、変換画像Ｉｍ１における対象物２００の歪みは比較的大きくなる。とくに、変換画像Ｉｍ１における水平方向の両端に近い位置では、対象物２００の歪みは大きくなる。これに対し、本実施形態のように、選択部４１が、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面を選択すると、図４Ｂに示すように、変換画像Ｉｍ２における対象物２００の歪みは低減される。このように実空間において鉛直方向Ｖに直立している対象物２００の歪曲を低減できることは、防犯等の目的で設置される監視カメラのように直立状態の人を対象物とする撮像装置１では特に有用である。
【００５３】
また、本実施形態のように、検出部３は、撮像部２の光軸と実空間の鉛直方向Ｖとのなす角度を、上記傾き（実空間の鉛直方向Ｖに対する撮像部２の傾き）に含めて検出するように構成されていることが好ましい。この構成によれば、たとえば撮像装置１が天井に取り付けられた場合と、撮像装置１が壁に取り付けられた場合とで、原画像に対し異なる画像処理（変換）が施されることになる。したがって、撮像装置１が壁に取り付けられている場合に画像の約半分に壁しか映らない、というような事態を回避でき、ユーザの閲覧に適した画像を得ることができる。
【００５４】
また、本実施形態のように、選択部４１は、複数種類の投影面の中から、検出部３で検出された傾きの大きさと所定の閾値との比較結果に基づいて、投影面を選択するように構成されていることが好ましい。この構成によれば、検出部３で検出された傾きの大きさが異なる場合でも、傾きの大きさと閾値との比較結果が同じであれば、選択部４１は、同一の投影面を選択することになる。したがって、撮像装置１は、鉛直方向Ｖに対する撮像部２の傾きの大きさが時間経過に伴って微妙に変化する場合でも、原画像に対して同一の画像処理で足りるため、処理負荷の増加を抑えることができる。
【００５５】
（実施形態２）
本実施形態に係る撮像装置１は、検出部３が、撮像部２について設定され撮像部２の光軸（Ｚ軸）と直交する一方向である基準方向と、実空間の鉛直方向Ｖとのなす角度を、実空間の鉛直方向Ｖに対する撮像部２の傾きに含めて検出するように構成されている。以下、実施形態１と同様の構成については共通の符号を付して適宜説明を省略する。
【００５６】
＜撮像装置の構成＞
本実施形態では、一例として、カメラ座標系のＹ軸方向を基準方向とする。検出部３は、基準方向としてのＹ軸方向と、実空間の鉛直方向Ｖとのなす角度を第２の角度θ２として計測し、第２の角度θ２に応じた値を画像処理部４へ出力する。
【００５７】
たとえば、図５に示すように撮像部２の光軸（Ｚ軸）が水平方向と一致している場合（第１の角度θ１が９０度の場合）において、撮像部２のＹ軸方向が水平方向と一致していると、検出部３１で計測される第２の角度θ２は９０度となる。一方、撮像部２の光軸（Ｚ軸）が水平方向と一致している場合において、撮像部２のＹ軸が鉛直方向Ｖと一致し且つ下方（重力の作用する方向）を向いていると、検出部３で計測される第２の角度θ２は０度となる。また、撮像部２の光軸（Ｚ軸）が水平方向と一致している場合において、撮像部２のＹ軸が鉛直方向Ｖと一致し且つ上方を向いていると、検出部３で計測される第２の角度θ２は１８０度となる。
【００５８】
判定部４３は、撮像部２が「横向き」の場合に、検出部３で検出される基準方向と実空間の鉛直方向Ｖとのなす角度に基づいて、光軸周りの「回転あり」、光軸周りの「回転なし」のいずれであるかを判定する。ここで、「回転あり」の状態とは、基準方向が実空間の水平方向に沿う状態であり、「回転なし」の状態とは、基準方向が実空間の鉛直方向Ｖに沿う状態である。
【００５９】
具体的には、判定部４３は、検出部３で計測された第２の角度θ２と所定の閾値とを比較し、その比較結果によって、「回転あり」か「回転なし」かを判定する。ここで、第２の角度θ２と比較される閾値は１つの値に限らず、たとえば２つ以上の値であってもよい。本実施形態では、閾値として４５度（第３の閾値）と１３５度（第４の閾値）との２値が設定されている。そして、判定部４３は、第２の角度θ２が第３の閾値よりも小さい場合（０≦θ２＜４５）、並びに第２の角度θ２が第４の閾値よりも大きい場合（１３５＜θ２≦１８０）、「回転あり」と判定する。一方、第２の角度θ２が第３の閾値以上で且つ第４の閾値以下である場合（４５≦θ２≦１３５）、判定部４３は、「回転なし」と判定する。
【００６０】
選択部４１は、互いに形状の異なる複数種類の投影面の中から、判定部４３の判定結果に基づいて投影面を選択する。つまり、選択部４１は、判定部４３の判定結果を受け、撮像部２が「縦向き」であるか「横向き」であるか、さらに「横向き」の場合には光軸周りの「回転あり」か「回転なし」かによって異なる投影面を選択する。本実施形態では、選択部４１は、第１投影面１０１（図１Ａ参照）と第２投影面１０２（図１Ｂ参照）と後述する第３投影面１０３（図７参照）との３種類の投影面から投影面を選択する。
【００６１】
ここで、選択部４１は、複数種類の投影面の中から、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面を選択するように構成されている。そのため、選択部４１は、撮像部２が「縦向き」であれば第１投影面１０１を選択し、撮像部２が「横向き」であれば第２投影面１０２を選択する。第３投影面１０３の具体的な形状については後述する。
【００６２】
＜撮像装置の動作＞
上述のように構成される撮像装置１は、撮像部２で得られる原画像に画像処理部４で画像処理を施すことにより、変換画像を生成する。このとき、画像処理部４は、画像が投影されているとみなされる実空間上の仮想面、つまり画像がマッピングされる投影面を、原投影面１００から、第１投影面１０１、第２投影面１０２、あるいは第３投影面１０３へ切り替える。ここで、画像処理部４は、互いに形状の異なる複数種類の投影面の中から、検出部３で検出された撮像部２の傾きに基づいて投影面を選択する。
【００６３】
本実施形態では、画像処理部４は、図６に示すように、検出部３で検出された撮像部２の傾きに基づき、撮像部２が「縦向き」であれば（Ｓ１：Ｙｅｓ）、第１投影面１０１を選択する（Ｓ３）。一方、撮像部２が「横向き」である場合（Ｓ１：Ｎｏ）、画像処理部４は、検出部３で検出された撮像部２の傾きに基づき、光軸周りの「回転あり」か「回転なし」かを判定する（Ｓ２）。このとき、画像処理部４は、「回転あり」であれば（Ｓ２：Ｙｅｓ）、第３投影面１０３を選択し（Ｓ４）、「回転なし」であれば（Ｓ２：Ｎｏ）、第２投影面１０２を選択する（Ｓ５）。
【００６４】
すなわち、撮像装置１は、撮像部２が「横向き」で、且つ光軸周りの「回転あり」であれば、図７に示すように撮像部２の光軸（Ｚ軸）と交差し、且つ実空間の鉛直方向Ｖに直交する断面が円弧状となる投影面（第３投影面）１０３を、選択部４１で選択する。ここで、第３投影面１０３は、撮像部２の撮像面を含むＸＹ平面に対向し、且つＹ軸方向においてＸ軸から離れるにつれてＸＹ平面に近づくように湾曲した曲面である。図７は撮像装置１が建物の壁に取り付けられた状態を表しており、図７に示す撮像装置１は撮像部２の光軸を前方（壁の正面方向）に向けた状態にある。したがって、第３投影面１０３は、実空間における撮像装置１の前方において、撮像部２を通る鉛直方向Ｖの中心軸周りに設定されることになる。言い換えれば、図７の状態においては、第３投影面１０３は、実空間の鉛直方向Ｖに沿い、且つ実空間の水平面内で湾曲した形状の投影面である。
【００６５】
この場合、撮像装置１は、第３投影面１０３に、撮像部２で撮像された原画像がマッピングされるように、変換部４２にて原画像を変換する。つまり、変換部４２は、記憶部４４に記憶されている変換式のうち、第３投影面１０３に対応する変換式を用いて原画像の変換を行う。ここで、出力部４５より出力される変換画像は、湾曲した第３投影面１０３に投影された画像を平面状に展開した二次元画像である。これにより、撮像装置１は、実空間における水平画角が１８０度程度のパノラマ画像を、変換画像として出力部４５から出力することができる。
【００６６】
＜効果＞
以上説明したように、本実施形態の撮像装置１は、検出部３が、撮像部２について設定され撮像部２の光軸（Ｚ軸）と直交する一方向である基準方向と、実空間の鉛直方向Ｖとのなす角度を、実空間の鉛直方向Ｖに対する撮像部２の傾きに含めて検出する。この構成によれば、撮像部２が「縦向き」か「横向き」かだけでなく、光軸周りの「回転あり」か「回転なし」かによって、画像処理部４にて原画像に対し異なる画像処理（変換）を施すことができる。したがって、本実施形態の撮像装置１は、ユーザの閲覧により適した画像を得ることができる。
【００６７】
（変形例）
実施形態１および実施形態２に係る撮像装置１において、選択部４１が、検出部３で検出された傾きに基づいてどのような形状の投影面を選択するかは、上述の例に限らず、適宜変更可能である。
【００６８】
たとえば、撮像装置１は、図８Ａに示すように撮像部２の光軸（Ｚ軸）が鉛直方向Ｖの上方に向けられている場合、撮像部２の光軸（Ｚ軸）を中心軸とする円筒状（円柱の周面形状）の投影面（第４投影面）１０４を、選択部４１で選択してもよい。第４投影面１０４は、実空間における撮像装置１の上方において、撮像部２を通る鉛直方向Ｖの中心軸周りに設定される。
【００６９】
また、撮像装置１は、図８Ｂに示すように撮像部２の光軸（Ｚ軸）が斜め上方に向けられている場合、撮像部２の光軸（Ｚ軸）と交差し、且つＸ軸方向（水平方向）に直交する断面が円弧状となる投影面（第５投影面）１０５を、選択部４１で選択する。ここで、第５投影面１０５は、撮像部２の撮像面を含むＸＹ平面に対向し、且つＹ軸方向においてＸ軸から離れるにつれてＸＹ平面に近づくように湾曲した曲面である。
【００７０】
さらに、撮像装置１は、図８Ｃに示すように撮像部２の光軸（Ｚ軸）が斜め下方に向けられている場合、撮像部２の光軸（Ｚ軸）と交差し、且つＸ軸方向（水平方向）に直交する断面が円弧状となる投影面（第６投影面）１０６を、選択部４１で選択する。ここで、第６投影面１０６は、撮像部２の撮像面を含むＸＹ平面に対向し、且つＹ軸方向においてＸ軸から離れるにつれてＸＹ平面に近づくように湾曲した曲面である。
【００７１】
本変形例は、実施形態１および実施形態２のいずれの構成とも組み合わせ可能である。
【００７２】
（撮像システム）
上述した撮像装置１と同様の機能は、図９に示すように複数のユニットを組み合わせた撮像システム１０であっても実現することができる。
【００７３】
図９に示す撮像システム１０は、画像を撮像する撮像部２と、実空間の鉛直方向に対する撮像部２の傾きを検出する検出部３と、画像処理ユニット４０とを備えている。画像処理ユニット４０は、撮像部２および検出部３からデータを取得し、撮像部２で撮像された画像に画像処理を施すように構成されている。
【００７４】
画像処理ユニット４０は、選択部４１と、撮像部２で撮像された画像を変換する変換部４２とを有している。ここで、選択部４１は、前記実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、検出部３で検出された前記傾きに基づいて投影面を選択する。変換部４２は、選択部４１で選択された前記投影面に撮像部２で撮像された画像がマッピングされるように、（撮像部２で撮像された）画像を変換する。
【００７５】
この撮像システム１０の基本的な構成は上記の撮像装置１と共通であるから、撮像装置１と同様の構成については共通の符号を付して適宜説明を省略する。
【００７６】
図８の例では、撮像システム１０は、撮像部２と検出部３とを一体化した撮像ユニット２０を備えている。撮像ユニット２０の筐体５１は、画像処理ユニット４０の筐体５２とは別体である。そのため、撮像ユニット２０は、画像処理ユニット４０との間で通信可能に構成されている。撮像ユニット２０と画像処理ユニット４０との通信方式は、有線方式、無線方式のいずれであってもよい。また、撮像ユニット２０は、画像処理ユニット４０と、たとえばインターネットなどのネットワークを介して接続されていてもよい。画像処理ユニット４０は、取得部４６を有しており、撮像部２からの原画像の画像データと、検出部３の出力値とを取得部４６で取得する。
【００７７】
この構成によれば、撮像システム１０は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面のうち、いずれの投影面に画像をマッピングするかを、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて選択できる。したがって、この撮像システム１０によれば、撮像部２の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる、という利点がある。
【００７８】
（画像処理方法）
上記の撮像装置１並びに撮像システム１００に適用し得る画像処理方法は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて投影面を選択する第１ステップを含む。さらに、画像処理方法は、前記第１ステップで選択された前記投影面に撮像部２で撮像された画像がマッピングされるように、撮像部２で撮像された画像を変換する第２ステップを含む。
【００７９】
この方法によれば、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面のうち、いずれの投影面に画像をマッピングするかを、実空間の鉛直方向Ｖに対する撮像部２の傾きに基づいて選択できる。したがって、この方法によれば、撮像部２の設置される向きに応じ、ユーザの閲覧に適した画像を得ることができる、という利点がある。
【００８０】
（プログラム）
上記の撮像装置１並びに撮像システム１００に適用し得るプログラムは、画像を撮像する撮像部２に接続されたコンピュータを、選択部４１、撮像部で撮像された画像を変換する変換部４２として機能させる。選択部４１は、実空間に設定される仮想面であって互いに形状の異なる複数種類の投影面の中から、前記実空間の鉛直方向に対する撮像部２の傾きに基づいて投影面を選択する。変換部４２は、選択部４１で選択された前記投影面に撮像部２で撮像された画像がマッピングされるように、（撮像部２で撮像された）画像を変換する。
【００８１】
なお、ここでいうコンピュータは、たとえば上述した撮像装置１の画像処理部４、あるいは撮像システム１００の画像処理ユニット４０によって実現される。
【符号の説明】
【００８２】
１  撮像装置
１０  撮像システム
１０１，１０２，１０３，１０４，１０５，１０６  投影面
２  撮像部
３  検出部
４  画像処理部
４０  画像処理ユニット
４１  選択部
４２  変換部
【図１】
2016058886.tif 000005
【図２】
2016058886.tif 000006
【図３】
2016058886.tif 000007
【図４】
2016058886.tif 000008
【図５】
2016058886.tif 000009
【図６】
2016058886.tif 000010
【図７】
2016058886.tif 000011
【図８】
2016058886.tif 000012
【図９】
2016058886.tif 000013