(57)【要約】【課題】撮像画像を所定の方式に従って変換した出力画像において、多くの情報量を用いることなく、撮像画像にて設定された領域を包含し且つ必要以上に多くの領域を含まない領域を設定する。【解決手段】撮像装置１００は、被写体を撮像し、撮像画像において不可視とすべき多角形の第一領域に関する情報を取得し、撮像画像を所定の方式に従って変換し、出力画像を生成し、生成された出力画像において、第一領域を上記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有する第二領域を設定する。【選択図】      図４
2019128628.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像において不可視とすべき多角形の第一領域に関する情報を取得する取得手段と、
前記撮像手段により撮像された撮像画像を所定の方式に従って変換し、出力画像を生成する生成手段と、
前記生成手段により生成された出力画像において、前記取得手段により取得された前記第一領域を前記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有する第二領域を設定する設定手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記取得手段は、前記第一領域として四辺形の領域に関する情報を取得し、
前記設定手段は、前記変換後領域が四辺形以外の領域となった場合、四辺形の前記第二領域を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像画像は、立体射影方式により撮像された魚眼画像であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記所定の方式は、立体射影の画像から中心射影の画像へ変換する方式を含むことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記所定の方式は、円形画像から矩形画像へ変換する方式を含むことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記円形画像から前記矩形画像へ変換する方式は、
前記円形画像の点の座標ｘおよびｙ、ｘ軸とベクトル（ｘ，ｙ）とがなす角θ、前記矩形画像の点の座標ｕおよびｖ、前記矩形画像の横幅Ｗに基づいて、
ｘ＝ｖ・ｃｏｓθ
ｙ＝ｖ・ｓｉｎθ
θ＝π（ｕ／Ｗ）
に従う方式であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記所定の方式は、前記撮像画像を撮像するレンズの歪みを補正する方式を含むことを特徴とする請求項３から６のいずれか１項に記載の撮像装置。
【請求項８】
前記生成手段は、
前記所定の方式に従って導かれた、前記撮像画像の点と前記出力画像の点との対応付けが格納されたルックアップテーブルを用いて、前記撮像画像を変換することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記設定手段は、
前記第一領域の隣り合う２つの頂点を前記出力画像の２つの点に変換し、当該２つの点を結ぶ直線を導出する第一の導出手段と、
前記第一領域の前記隣り合う２つの頂点を結ぶ辺を前記出力画像の点群に変換し、当該点群により構成される曲線を導出する第二の導出手段と、
前記第二の導出手段により導出された曲線上において、前記第一の導出手段により導出された直線と前記第二の導出手段により導出された曲線との距離が最大となる最大距離点を導出する第三の導出手段と、を有し、
前記第三の導出手段により導出された最大距離点と前記変換後領域の重心との距離が、前記第一の導出手段により導出された直線と前記変換後領域の重心との最短距離よりも長い場合、前記第一の導出手段により導出された直線と平行で且つ前記最大距離点を通る直線を前記第二領域の辺として設定し、
前記第三の導出手段により導出された最大距離点と前記変換後領域の重心との距離が、前記第一の導出手段により導出された直線と前記変換後領域の重心との最短距離以下である場合、前記第一の導出手段により導出された直線を前記第二領域の辺として設定することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記設定手段は、
前記出力画像において、前記変換後領域の隣り合う２つの頂点が撮像範囲外に位置する場合、当該２つの頂点を結ぶ直線と平行で且つ前記撮像範囲と接する直線を前記第二領域の辺として設定することを特徴とする１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記生成手段により生成された前記出力画像に対して、前記設定手段により設定された第二領域を不可視とする画像処理を施す画像処理手段をさらに備えることを特徴とする撮像装置。
【請求項１２】
被写体を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像において特定の画像処理を施すべき多角形の第一領域に関する情報を取得する取得手段と、
前記撮像手段により撮像された撮像画像を所定の方式に従って変換し、出力画像を生成する生成手段と、
前記生成手段により生成された出力画像において、前記取得手段により取得された前記第一領域を前記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有する第二領域を設定する設定手段と、を備えることを特徴とする撮像装置。
【請求項１３】
被写体を撮像するステップと、
撮像された撮像画像において不可視とすべき多角形の第一領域に関する情報を取得するステップと、
前記撮像画像を所定の方式に従って変換し、出力画像を生成するステップと、
前記出力画像において、前記第一領域を前記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有する第二領域を設定するステップと、を含むことを特徴とする撮像方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
従来、全方位カメラのように、魚眼レンズを用いることにより、全方位画像の撮像が可能な監視カメラが知られている。魚眼レンズの射影（例えば立体射影）は、一般のレンズの射影（中心射影）とは異なるため、全方位監視カメラによって得られた全方位画像の一部領域を切り出し、ユーザに見やすい中心射影の画像に変換して提供する処理が行われることがある。
また、全方位画像には、ユーザにとって撮像不要な領域や、プライバシー保護の観点から不可視の領域として撮像すべき領域が含まれることがある。このような不可視領域は、カメラとネットワークにより接続されたクライアント装置上のＵＩ（User Interface）により、ユーザが全方位画像上において設定するのが一般的である。また、不可視領域は、矩形や数点により構成される多角形によって表現され、不可視領域を表す情報としては矩形や多角形の頂点座標等を用いるのが一般的である。
【０００３】
このように、不可視領域は、全方位画像では頂点座標等を用いて情報量が少なく表現される。ところが、出力画像では、射影変換等の変換過程によって、不可視領域の辺となる直線が曲線に変換され、不可視領域を表現するためには、例えば不可視領域と可視領域との境界となる曲線情報など、多くの情報量を用いなければならない。クライアント装置や他のカメラと出力画像における不可視領域を共有する場合には、なるべく少ない情報量で不可視領域を表現できた方が望ましい。
特許文献１には、不可視領域を全方位画像にて設定し、設定された不可視領域を出力画像にて矩形に補正する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１３／１１４８４８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術では、全方位画像にて設定された不可視領域を出力画像にて矩形で表現するため、全方位画像からの切り出し位置などによっては、出力画像において、必要以上に多くの領域が不可視領域に含まれてしまう場合がある。
そこで、本発明は、撮像画像を所定の方式に従って変換した出力画像において、多くの情報量を用いることなく、撮像画像にて設定された領域を包含し且つ必要以上に多くの領域を含まない領域を設定することを課題としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る撮像装置の一態様は、被写体を撮像する撮像手段と、前記撮像手段により撮像された撮像画像において不可視とすべき多角形の第一領域に関する情報を取得する取得手段と、前記撮像手段により撮像された撮像画像を所定の方式に従って変換し、出力画像を生成する生成手段と、前記生成手段により生成された出力画像において、前記取得手段により取得された前記第一領域を前記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有する第二領域を設定する設定手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、撮像画像を所定の方式に従って変換した出力画像において、多くの情報量を用いることなく、撮像画像にて設定された領域を包含し且つ必要以上に多くの領域を含まない領域を設定することができる。
【図面の簡単な説明】
【０００８】
【図１】監視システムの構成例を示すブロック図である。
【図２】撮像装置の機能構成例を示すブロック図である。
【図３】射影方式の説明図である。
【図４】（Ａ）入力画像のマスク領域の一例を示す図である。（Ｂ）出力画像のマスク領域の一例を示す図である。
【図５】マスク設定処理を示すフローチャートである。
【図６】（Ａ）入力画像の一例を示す模式図である。（Ｂ）出力画像の一例を示す模式図である。
【図７】（Ａ）円形画像の説明図である。（Ｂ）矩形画像の説明図である。
【図８】（Ａ）入力画像のマスク領域の一例を示す図である。（Ｂ）出力画像のマスク領域の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
（第一の実施形態）
図１は、本実施形態における監視システム１０００の構成例を示すブロック図である。
監視システム１０００は、監視領域を監視するユーザに、当該監視領域を撮像した画像を提供するシステムであり、撮像装置１００と、クライアント装置２００と、を備える。撮像装置１００とクライアント装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。ネットワーク３００は、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワーク３００への物理的な接続形態は、有線であってもよいし、無線であってもよい。
【００１１】
撮像装置１００は、所定の撮像範囲を撮像するカメラである。撮像装置１００は、魚眼レンズを有し、撮像画像として魚眼画像を取得可能な魚眼カメラとすることができる。撮像装置１００は、例えば施設の天井に設置され、撮像装置１００の下を通る人物や背景等の被写体を撮像する。なお、撮像装置１００の撮像範囲は全方位（３６０°）に限定されるものではなく、これより少ない所定角度範囲であってもよい。本実施形態では、撮像装置１００は、撮像画像を入力画像とし、当該入力画像を所定の方式に従って変換して出力画像を生成し、出力画像をクライアント装置２００へ送信する。
なお、撮像装置１００は、１枚の画像（静止画）を撮像するカメラであってもよいし、１枚以上の画像を含む映像を撮像するカメラであってもよい。さらに、図１では、監視システム１０００は、１台の撮像装置１００を備えているが、撮像装置の台数は複数台であってもよい。
【００１２】
撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、撮像部１０４と、通信部１０５と、を備える。
ＣＰＵ１０１は、撮像装置１００における動作を統括的に制御する。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００１３】
撮像部１０４は、撮像光学系を構成するレンズ部や撮像素子を備える。レンズ部は、魚眼レンズを備える。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサなどを備え、その受光面上に形成された像を電気信号に変換する。
通信部１０５は、外部機器との間の無線または有線の通信インタフェースを提供する。例えば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。
【００１４】
また、通信部１０５は、有線ＬＡＮにより外部機器と通信してもよい。有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。通信部１０５がＥｔｈｅｒｎｅｔを利用する場合、撮像装置１００は、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ）に対応し、ＬＡＮケーブルを介して電力が供給される構成にしてもよい。
なお、通信部１０５は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【００１５】
クライアント装置２００は、例えば、パーソナルコンピュータ（ＰＣ）やモバイル端末などの汎用コンピュータと、画像を表示可能なモニタと、を備える表示装置とすることができる。クライアント装置２００は、ネットワーク３００を介して撮像装置１００から受け取った出力画像をモニタに表示する。
クライアント装置２００は、図１に示すように、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、表示部２０４と、入力部２０５と、通信部２０６と、を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３および通信部２０６は、撮像装置１００のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３および通信部１０６と同様である。
表示部２０４は、液晶ディスプレイ（ＬＣＤ）等のモニタを備える。入力部２０５は、キーボードやマウス等のポインティングデバイスを備え、ユーザからの指示入力を受け付ける。
【００１６】
図２は、撮像装置１００の機能構成例を示すブロック図である。
撮像装置１００は、撮像画像（本実施形態では魚眼画像）を入力画像とし、当該入力画像を所定の方式に従って変換して出力画像を生成する機能を有する。ここで、所定の方式とは、レンズの歪み補正と、立体射影の画像から中心射影の画像へ変換する射影変換とを含む。また、撮像装置１００は、出力画像において、入力画像にて設定された多角形の領域を包含し、余分な領域を過剰に含まない多角形の領域を設定する機能を有する。本実施形態では、上記多角形が四辺形である場合について説明する。
【００１７】
また、本実施形態では、上記の多角形の領域として、マスク領域を設定する場合について説明する。マスク領域は、ユーザにとって撮像不要な領域や、プライバシー保護の観点から不可視とすべき不可視領域であり、特定の画像処理（マスク処理）が施される領域である。ここで、マスク処理は、マスク領域を所定の色で塗り潰す処理や、マスク領域の解像度が低くなるように変換する処理（モザイク処理）、すりガラス越しに見たような画像に変換する処理等を含む。なお、マスク処理は、上記の処理に限定されるものではなく、マスク領域に撮像された被写体（例えば人物）を特定できなくするような画像処理であればよい。
【００１８】
撮像装置１００は、撮像処理部１１、画像処理部１２、マスク領域設定部１３、マスク領域調整部１４、および出力マスク設定部１５を備える。
撮像処理部１１は、撮像部１０４によって撮像された撮像画像を入力画像として取得し、画像処理部１２およびマスク領域設定部１３に出力する。ここで、入力画像は、上述したように魚眼レンズを通した立体射影方式により撮像された魚眼画像である。以降、入力画像を立体射影方式の画像として扱うが、入力画像は、立体射影方式により撮像された画像に限定されない。入力画像は、画像処理部１２からの出力である出力画像との関係が微分可能な関数で表現できれば、どのような方式により撮像された画像であってもよい。
【００１９】
画像処理部１２は、入力画像を所定の方式に従って変換し、出力画像を生成する。本実施形態では、画像処理部１２は、立体射影の画像から中心射影の画像へ変換する方式に従って入力画像を変換する処理を行う。立体射影においてレンズの焦点距離をｆとすると、像高ｒは、下記（１）式により表すことができ、中心射影における像高ｒ´は、下記（２）式、すなわち、下記（３）式により表すことができる。
【００２０】
【数１】
2019128628.tif 000003
【００２１】
図３は、射影方式の説明図であり、立体射影と中心射影とを概念的に示している。以下、この図３を用いて、被写体ＰＱが点Ｏの地点にあるカメラによって撮像された場合について説明する。
まず、点Ｏを中心に半径ｆ（焦点距離）の円を作図する。このとき、被写体の下端Ｐと円の中心Ｏを通る直線上で円と交わる点をＰ´およびＰ″とする。但し、点Ｐ´は円の中心Ｏと被写体の下端Ｐとの間に位置するものとする。なお、直線ＰＰ″は光軸と一致するものとする。次に、点Ｐ´から被写体ＰＱと平行に直線Ｒを引く。また、点Ｑと円の中心Ｏとを結ぶ直線を引き、直線Ｒと交わった点をＱ´とする。さらに、中心Ｏ、半径ｆの円と直線ＱＯとが交わった点をＳとし、点Ｐ″と点Ｓとを通る直線が直線Ｒと交わる点をＱ″とする。
すると、線分Ｑ´Ｐ´が中心射影の像を表し、その像高は、上記（２）式により表される。また、線分Ｑ″Ｐ´が立体射影の像を表し、その像高は、上記（１）式により表される。上記（１）式および（２）式における角度θは、角ＱＯＰに相当する。
ここで、立体射影の入力画像におけるある点の座標を（ｘ，ｙ）、その点に対応する中心射影の出力画像における座標を（ｕ，ｖ）とすると、座標ｕ、ｖは、下記（４）式、（５）式により表される。
【００２２】
【数２】
2019128628.tif 000004
【００２３】
上記（４）式および（５）式に従って、出力画像中の点（ｕ，ｖ）における出力画素値を入力画像中の画素値から求めれば、出力画像を生成することができる。このとき生成される出力画像は、立体射影の画像から中心射影の画像へ変換する方式に従って入力画像を変換した画像となる。
また、レンズの歪み補正が入力画像の点（ｘ，ｙ）の関数で表現できるのであれば、関数ｇ（ｘ，ｙ）を用いて、出力画像中の点（ｕ，ｖ）は下記（６）式、（７）式により表すことができる。
【００２４】
【数３】
2019128628.tif 000005
【００２５】
上記（６）式および（７）式に従って生成された出力画像は、レンズの歪み補正を考慮し、立体射影の画像から中心射影の画像へ変換する射影変換により入力画像から生成された画像となる。なお、以下の説明では、簡単のため、レンズの歪み補正については説明を省略する。
また、上記（２）式では、出力画像の焦点距離を入力画像の焦点距離と同じｆとしたが、ｆとは異なるｆ´を用いてもよい。
さらに、画像処理部１２は、上記の式を使用するのではなく、入力画像の点（ｘ，ｙ）と出力画像の点（ｕ，ｖ）との対応付けが格納されたルックアップテーブル（ＬＵＴ）を用いて入力画像を出力画像に変換するようにしてもよい。この場合、ＬＵＴは、上記の式により表される変換方式に従って導くことができる。当該ＬＵＴは、例えば撮像装置１００が備えるメモリ等に記憶することができる。このように、ＬＵＴを用いて入力画像を出力画像に変換することにより、複雑な演算を要することなく、計算量を減らして容易に出力画像を生成することができる。
【００２６】
マスク領域設定部１３は、撮像処理部１１から入力された入力画像にマスク領域を設定する。本実施形態では、マスク領域設定部１３は、ユーザが設定したマスク領域に関する情報をもとに、入力画像上にマスク領域を設定する。この場合、ユーザは、クライアント装置２００の表示部２０４に表示された入力画像（撮像画像）を確認しながら入力部２０５を操作して、入力画像における多角形のマスク領域を指定する。例えば、ユーザは、入力画像が表示された画面上で、マスク領域の頂点となる複数の点をマウス等により指定することで、マスク領域を指定する。
【００２７】
つまり、マスク領域設定部１３は、入力画像をクライアント装置２００の表示部２０４に表示させる表示制御を行う。そして、マスク領域設定部１３は、クライアント装置２００の入力部２０５が受け付けた情報を受信し、マスク領域を設定する。例えば、マスク領域設定部１３は、入力画像におけるマスク領域の頂点の座標を受信し、マスク領域を設定する。ここで、マスク領域は、一つの内角が１８０°を超えることがないような、例えば図４（Ａ）の四辺形ａ１ａ２ａ３ａ４のような四辺形である。
なお、本実施形態では、ユーザが入力画像上にてマスク領域を設定する場合について説明するが、入力画像を解析し、不可視とすべき特定のオブジェクトを包含する所定形状（例えば矩形形状）の領域をマスク領域として設定してもよい。
【００２８】
マスク領域調整部１４は、画像処理部１２によって生成された出力画像において、マスク領域を設定する。本実施形態では、マスク領域調整部１４は、マスク領域設定部１３にて入力画像に設定された四辺形のマスク領域を、出力画像におけるマスク領域に変換し、変換されたマスク領域が四辺形以外の領域となった場合、当該領域を四辺形のマスク領域に調整する。そして、マスク領域調整部１４は、出力画像において設定された四辺形のマスク領域の頂点の座標を出力マスク設定部１５に出力する。
まず、マスク領域調整部１４は、図４（Ａ）に示すように入力画像に設定されたマスク領域を表す四辺形の頂点ａ１，ａ２，ａ３，ａ４を、上記（４）式および（５）式を用いて、出力画像の対応する４つの点に変換する。変換された４つの点は、図４（Ｂ）に示す点ｂ１，ｂ２，ｂ３，ｂ４である。次に、マスク領域調整部１４は、頂点ａ１〜ａ４のうち、隣り合う２つの頂点を結ぶ直線の式を求める。例えば図４（Ａ）に示すように、頂点ａ２，ａ１を通る四辺形の辺をＡ１とし、下記（８）式をもとに辺Ａ１の式を求める。ここで、頂点ａ２、頂点ａ１の座標をそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）とする。
【００２９】
【数４】
2019128628.tif 000006
【００３０】
上記（８）式により表現される点群（直線）は、上記（４）式および（５）式により出力画像中の点群に変換されると、下記（９）式および（１０）式に従う点群となる。
【００３１】
【数５】
2019128628.tif 000007
【００３２】
上記（９）式および（１０）式に従う点群は、図４（Ｂ）において、点ｂ２と点ｂ１とを結ぶ曲線により表現される。
また、頂点ａ２，ａ１をそれぞれ出力画像に変換した点ｂ２，ｂ１の座標をそれぞれ（ｕa2，ｖa2）、（ｕa1，ｖa1）とすると、点ｂ２，ｂ１の座標は下記（１１）式から（１４）式により表される。
【００３３】
【数６】
2019128628.tif 000008
【００３４】
そして、点ｂ２，ｂ１を通る直線ｂ２ｂ１は、下記（１５）式により表される。
【００３５】
【数７】
2019128628.tif 000009
【００３６】
さらに、直線ｂ２ｂ１と上記（９）式および（１０）式に従う点群（曲線）との距離Ｌは、下記（１６）式により表される。
【００３７】
【数８】
2019128628.tif 000010
【００３８】
距離Ｌの極値を取るｘは、距離Ｌの導関数Ｚが０になるｘにより定まる。
【００３９】
【数９】
2019128628.tif 000011
【００４０】
すなわち、下記（１８）式の解を求めることで、距離Ｌの極値を取るｘを求めることができる。
【００４１】
【数１０】
2019128628.tif 000012
【００４２】
すると、解は、下記（１９）式により表せる。
【００４３】
【数１１】
2019128628.tif 000013
【００４４】
上記（１９）式により表される解は、入力画像中の辺Ａ１を変換することで得られる出力画像中の点ｂ２と点ｂ１とを結ぶ曲線上において、直線ｂ２ｂ１との距離が最大、若しくは最小値を取る点である。したがって、この解を評価することにより、直線ｂ２ｂ１から最も離れた点Ｅを求めることができる。この点Ｅは、入力画像中の辺Ａ１を変換することで得られる出力画像中の点ｂ２と点ｂ１とを結ぶ曲線上において、直線ｂ２ｂ１と当該曲線との距離が最大となる最大距離点である。
【００４５】
次に、マスク領域調整部１４は、出力画像中の四辺形ｂ１ｂ２ｂ３ｂ４の重心と点Ｅとの距離と、当該重心と直線ｂ２ｂ１との最短距離とを比較する。そして、マスク領域調整部１４は、点Ｅと重心との距離が直線ｂ２ｂ１と重心との最短距離よりも長い場合は、上記（１５）式により表される直線ｂ２ｂ１を、点Ｅを通る位置まで平行移動させ、出力画像中のマスク領域となる四辺形の一辺とする。一方、マスク領域調整部１４は、点Ｅと重心との距離が直線ｂ２ｂ１と重心との最短距離以下である場合は、上記（１５）式をそのまま採用し、出力画像中のマスク領域となる四辺形の一辺とする。なお、マスク領域調整部１４は、四辺形ｂ１ｂ２ｂ３ｂ４の重心ではなく、四辺形ｂ１ｂ２ｂ３ｂ４の中心を用いてもよい。
【００４６】
マスク領域調整部１４は、入力画像に設定された四辺形ａ１ａ２ａ３ａ４の各辺に対して、上記と同様の処理を行い、出力画像中のマスク領域となる四辺形の辺を求める。そして、マスク領域調整部１４は、求めた辺の交点を、出力画像中のマスク領域となる四辺形の４つの頂点ｆ１，ｆ２，ｆ３，ｆ４として、その座標を出力マスク設定部１５に出力する。
以上のように、マスク領域調整部１４により設定された出力画像におけるマスク領域ｆ１ｆ２ｆ３ｆ４は、入力画像に設定された四辺形のマスク領域ａ１ａ２ａ３ａ４を変換した四辺形以外の変換後領域ｂ１ｂ２ｂ３ｂ４に外接する。また、マスク領域ｆ１ｆ２ｆ３ｆ４は、上記変換後領域ｂ１ｂ２ｂ３ｂ４の隣り合う頂点を結ぶ直線と平行な辺を有する四辺形となる。
【００４７】
出力マスク設定部１５は、画像処理部１２より入力された出力画像に対して、マスク領域調整部１４より設定された四辺形のマスク領域ｆ１ｆ２ｆ３ｆ４の内部を不可視の状態とする画像処理（マスク処理）を施す。そして、出力マスク設定部１５は、マスク処理後の出力画像を、ネットワーク３００を介してクライアント装置２００へ送信する。なお、出力マスク設定部１５は、マスク処理後の出力画像の一部の矩形領域を切り出し、ネットワーク３００を介してクライアント装置２００へ送信してもよい。また、出力マスク設定部１５は、ネットワーク３００を介して接続された、クライアント装置２００以外の装置へ出力画像を送信してもよい。
【００４８】
図２に示す構成要素の一部または全部の機能は、撮像装置１００のＣＰＵ１０１がプログラムを実行することで実現することができる。ただし、図２に示す撮像装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。
なお、図２に示す構成要素の一部または全部の機能は、撮像装置１００と一体的に構成された別の装置（画像処理装置）が備えていてもよいし、クライアント装置２００や一般のＰＣ等の他の機器が備えていてもよい。
【００４９】
次に、本実施形態における撮像装置１００の動作について説明する。
図５は、撮像装置１００が実行するマスク設定処理の一例を示すフローチャートである。この図５の処理は、例えば、入力画像を取得したタイミングで開始される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。
撮像装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図５に示す処理を実現することができる。ただし、図２に示す撮像装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図５の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、撮像装置１００のＣＰＵ１０１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００５０】
まずＳ１において、撮像装置１００は、入力画像において不可視とすべき四辺形のマスク領域に関する情報として、四辺形の４つ頂点ａ１，ａ２，ａ３，ａ４の座標を取得する。次に、Ｓ２において、撮像装置１００は、Ｓ１において取得された４つの頂点の情報をもとに四辺形ａ１ａ２ａ３ａ４の重心を求め、その重心を上記（４）式および（５）式に従って射影し、出力画像での重心Ｇを算出する。この重心Ｇは、四辺形ｂ１ｂ２ｂ３ｂ４の重心である。Ｓ３では、撮像装置１００は、内部パラメータｎを初期化（ｎ＝１）する。
【００５１】
Ｓ４では、撮像装置１００は、四辺形ａ１ａ２ａ３ａ４の隣り合う２点ａｎ，ａｎ＋１から、これら２点を通る四辺形の辺Ａｎの式を求める。例えばｎ＝１の場合、点ａ１，ａ２を通る四辺形の辺Ａ１は、上記（８）式により算出することができる。なお、ｎ＝ｎmax（本実施形態では、ｎ＝４）である場合、隣り合う２点はａｎmax，ａ１として、辺Ａｎmaxを算出する。
Ｓ５では、撮像装置１００は、入力画像の２点ａｎ，ａｎ＋１を上記（４）式および（５）式に従って射影変換し、出力画像の２点ｂｎ，ｂｎ＋１を算出する。次にＳ６では、撮像装置１００は、直線ｂｎｂｎ＋１を算出する。例えばｎ＝１の場合、直線ｂ１ｂ２は、上記（１５）式により算出することができる。
【００５２】
Ｓ７では、撮像装置１００は、Ｓ４において算出した辺Ａｎの式をもとに、辺Ａｎ上の点群を（４）式および（５）式により出力画像に射影し、出力画像中の点群（集合Ｃｎ）を算出する。例えばｎ＝１の場合、集合Ｃ１は上記（９）式および（１０）式により算出することができる。
次にＳ８では、撮像装置１００は、Ｓ７において算出された集合Ｃｎ内の点と、Ｓ６において算出された直線ｂｎｂｎ＋１との距離が最大となる点Ｅを算出する。
【００５３】
Ｓ９では、撮像装置１００は、Ｓ２において算出された重心ＧとＳ８において算出された点Ｅとの距離（Ｅ−Ｇ間の距離）と、Ｓ２において算出された重心ＧとＳ６において算出された直線ｂｎｂｎ＋１との距離（ｂｎｂｎ＋１−Ｇ間の距離）とを算出する。
そして、Ｓ１０において、撮像装置１００は、Ｓ９において算出された距離の評価を行い、Ｅ−Ｇ間の距離がｂｎｂｎ＋１−Ｇ間の距離以下である場合にはＳ１１に移行し、Ｅ−Ｇ間の距離がｂｎｂｎ＋１−Ｇ間の距離よりも長い場合にはＳ１２に移行する。
Ｓ１１では、撮像装置１００は、直線ｂｎｂｎ＋１を出力画像中のマスク領域の一辺である直線ｆｎｆｎ＋１としてそのまま採用し、Ｓ１３に移行する。Ｓ１２では、撮像装置１００は、直線ｂｎｂｎ＋１の傾きで点Ｅを通る直線を求め、その直線をマスク領域の一辺である直線ｆｎｆｎ＋１として採用し、Ｓ１３に移行する。
【００５４】
Ｓ１３では、撮像装置１００は、終了条件として、四辺形の４つの辺すべてについて処理が終わっているか否かを判定する。具体的には、撮像装置１００は、内部パラメータｎ＝ｎmax（本実施形態では、ｎ＝４）であるか否かを判定し、ｎ＜４である場合には処理が終わっていないと判定してＳ１４へ移行し、ｎ＝４である場合には処理が終わっていると判定してＳ１５に移行する。
Ｓ１４では、撮像装置１００は、内部パラメータｎをインクリメントすることで、次の辺を対象にしてＳ４に戻る。Ｓ１５では、撮像装置１００は、算出された４つの直線ｆ１ｆ２、ｆ２ｆ３、ｆ３ｆ４、ｆ４ｆ１の交点をそれぞれｆ１，ｆ２，ｆ３，ｆ４として算出する。そして、撮像装置１００は、算出した交点ｆ１，ｆ２，ｆ３，ｆ４を、出力画像のマスク領域の頂点とし、その座標を出力マスク設定部１５に出力し、図５の処理を終了する。
【００５５】
以上説明したように、本実施形態における撮像装置１００は、入力画像として、立体射影方式により撮像された撮像画像（魚眼画像）を取得するとともに、撮像画像において不可視とすべき多角形のマスク領域に関する情報を取得する。また、撮像装置１００は、撮像画像を所定の方式に従って変換し、出力画像を生成する。ここで、当該所定の方式は、立体射影の画像から中心射影の画像へ変換する方式を含むことができる。そして、撮像装置１００は、生成された出力画像において、撮像画像において設定されたマスク領域を上記所定の方式に従って変換した変換後領域に外接し、当該変換後領域の隣り合う頂点を結ぶ直線と平行な辺を有するマスク領域を設定する。
【００５６】
例えば、図６（Ａ）に示すように、入力画像の領域Ａ１１が不可視とすべき四辺形のマスク領域として設定された場合、マスク領域Ａ１１を上記方式に従って変換した変換後領域は、図６（Ｂ）の領域Ｂ１１のように、四辺形以外の領域となる。このように、変換後領域Ｂ１１が四辺形以外の領域となった場合、本実施形態における撮像装置１００は、図６（Ｂ）の領域Ｆ１１のように、出力画像において四辺形のマスク領域を設定する。
出力画像のマスク領域を見栄えのよい形状とするために、変換後領域Ｂ１１を単純に矩形に整形すると、図６（Ｂ）の破線で示す領域Ｆ２１のように、変換後領域Ｂ１１以外の領域を過剰に含むマスク領域が設定されてしまう。これに対して、本実施形態では、変換後領域Ｂ１１に外接し、変換後領域Ｂ１１の隣り合う頂点を結ぶ直線と平行な辺を有するマスク領域Ｆ１１を設定する。したがって、出力画像において、全方位画像である入力画像にて設定されたマスク領域Ａ１１に対応する変換後領域Ｂ１１を包含し、変換後領域Ｂ１１以外の領域を過剰に含むことがない四辺形のマスク領域Ｆ１１を定めることができる。
【００５７】
具体的には、撮像装置１００は、出力画像におけるマスク領域の設定に際し、入力画像にて設定されたマスク領域Ａ１１の隣り合う２つの頂点を出力画像の２つの点に変換し、当該２つの点を結ぶ直線を導出する。また、撮像装置１００は、マスク領域Ａ１１の隣り合う２つの頂点を結ぶ辺を出力画像の点群に変換し、当該点群により構成される曲線を導出する。さらに、撮像装置１００は、上記曲線上において、上記直線と上記曲線との距離が最大となる最大距離点を導出する。
そして、撮像装置１００は、最大距離点と変換後領域Ｂ１１の重心との距離が、上記直線と変換後領域Ｂ１１の重心との最短距離よりも長い場合、上記直線と平行で且つ最大距離点を通る直線を出力画像におけるマスク領域の辺として設定する。一方、撮像装置１００は、最大距離点と変換後領域Ｂ１１の重心との距離が、上記直線と変換後領域Ｂ１１の重心との最短距離以下である場合、上記直線をそのまま出力画像におけるマスク領域の辺として設定する。
【００５８】
このように、撮像装置１００は、入力画像のマスク領域の４つの頂点に対応する出力画像の４つの点により構成される四辺形の辺と、入力画像のマスク領域の４つの辺に対応する出力画像の曲線との距離を評価する。そして、撮像装置１００は、その評価結果をもとに、出力画像における四辺形のマスク領域を設定する。したがって、出力画像において、入力画像にて設定されたマスク領域全体を包含し、且つ４点の少ない情報量で表現できる最小のマスク領域を設定することができる。
【００５９】
（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、入力画像（撮像画像）を立体射影から中心射影に変換する方式に従って変換し、出力画像を生成する場合について説明した。この第二の実施形態では、入力画像（撮像画像）を円形画像から矩形画像へ変換する方式に従って変換（円−矩形変換）し、出力画像を生成する場合について説明する。
【００６０】
本実施形態における監視システムの構成は、図１に示す監視システム１０００と同様である。
また、本実施形態における撮像装置の構成は、図２に示す撮像装置１００と同様である。ただし、画像処理部１２とマスク領域調整部１４との処理が上述した第一の実施形態とは異なる。したがって、以下、画像処理部１２とマスク領域調整部１４における処理を中心に説明する。
【００６１】
画像処理部１２は、立体射影の入力画像を撮像処理部１１から入力し、下記（２０）式および（２１）式の変換を行って出力画像を生成する。ここで、入力画像におけるある点の座標を（ｘ，ｙ）、その点に対応する出力画像における座標を（ｕ，ｖ）とし、出力画像の幅をＷとしている。
【００６２】
【数１２】
2019128628.tif 000014
【００６３】
なお、上記（２０）式および（２１）式は、下記式より導かれた式である。
ｘ＝ｖ・ｃｏｓθ
ｙ＝ｖ・ｓｉｎθ
θ＝π（ｕ／Ｗ）
上記の画像処理は、魚眼画像の半径成分の画素値をｙ軸方向に並べていく画像変換であり、図７（Ａ）の例えば辺ＢＣ、ＡＣは、図７（Ｂ）の直線ＢＣ、ＡＣに変換される。この画像変換により、全方位カメラを天井に設置して撮像した魚眼画像（円形画像）から、全方位カメラを壁に設置して撮像したような出力画像（矩形画像）を得ることができる。
【００６４】
なお、画像処理部１２は、上記の式を使用するのではなく、入力画像の点（ｘ，ｙ）と出力画像の点（ｕ，ｖ）との対応付けが格納されたルックアップテーブル（ＬＵＴ）を用いて入力画像を出力画像に変換するようにしてもよい。この場合、ＬＵＴは、上記の式により表される変換方式に従って導くことができる。当該ＬＵＴは、例えば撮像装置１００が備えるメモリ等に記憶することができる。このように、ＬＵＴを用いて入力画像を出力画像に変換することにより、複雑な演算を要することなく、計算量を減らして容易に出力画像を生成することができる。
【００６５】
マスク領域調整部１４は、画像処理部１２によって生成された出力画像において、マスク領域を設定し、設定されたマスク領域の頂点の座標を出力マスク設定部１５に出力する。
まず、マスク領域調整部１４は、マスク領域設定部１３にて設定されたマスク領域を表す四辺形の頂点ａ１，ａ２，ａ３，ａ４から、上記（２０）式および（２１）式を用いて対応する出力画像中の４点ｂ１，ｂ２，ｂ３，ｂ４を算出する。また、マスク領域調整部１４は、四辺形ａ１ａ２ａ３ａ４の各辺の式を算出する。そして、マスク領域調整部１４は、四辺形ａ１ａ２ａ３ａ４の各辺を、出力画像の点群に変換する。例えば直線ａ２ａ１は、上記（８）式により表され、これらの点群は、上記（２０）式および（２１）式にて出力画像に変換されると、下記（２２）式および（２３）式に従う点群になる。
【００６６】
【数１３】
2019128628.tif 000015
【００６７】
また、頂点ａ２、頂点ａ１の座標をそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）とすると、頂点ａ２，ａ１をそれぞれ出力画像に変換した点ｂ２，ｂ１の座標（ｕa2，ｖa2）、（ｕa1，ｖa1）は、それぞれ下記（２４）式から（２７）式により表される。
【００６８】
【数１４】
2019128628.tif 000016
【００６９】
さらに、直線ｂ２ｂ１の式は、上記（１５）式により表される。そして、直線ｂ２ｂ１と上記（２２）式および（２３）式に従う点群（曲線）との距離が最大、若しくは最小になる点のｘ座標は、下記（２８）式の解により定まる。
【００７０】
【数１５】
2019128628.tif 000017
【００７１】
上記（２８）式は、解の公式にて解くことができ、その解が表す点は、上記（２２）式および（２３）式に従う点群のうち、直線ｂ２ｂ１との距離が最大、若しくは最小値を取る点である。したがって、この解を評価することにより、直線ｂ２ｂ１から最も離れた点Ｅを求めることができる。
また、マスク領域調整部１４は、出力画像中の四辺形ｂ１ｂ２ｂ３ｂ４の重心と点Ｅとの距離と、当該重心と直線ｂ２ｂ１との距離とを評価し、出力画像中のマスク領域である四辺形の一辺を算出する。この処理は、上述した第一の実施形態と同様である。マスク領域調整部１４は、入力画像にて設定された四辺形ａ１ａ２ａ３ａ４の各辺に対して上記の処理を行い、出力画像のマスク領域である四辺形の各辺を求め、求めた辺の交点を出力画像のマスク領域の頂点とし、その座標を出力マスク設定部１５に出力する。
【００７２】
以上説明したように、本実施形態における撮像装置１００は、円形画像から矩形画像へ変換する方式に従って、入力画像を出力画像に変換する。
具体的には、円形画像の点の座標ｘおよびｙ、ｘ軸とベクトル（ｘ，ｙ）とがなす角θ、矩形画像の点の座標ｕおよびｖ、矩形画像の横幅Ｗに基づいて、ｘ＝ｖ・ｃｏｓθ、ｙ＝ｖ・ｓｉｎθ、θ＝π（ｕ／Ｗ）に従う変換を行う。
この場合にも、上述した第一の実施形態と同様に、出力画像において、全方位画像である入力画像にて設定されたマスク領域に対応する変換後領域を包含し、変換後領域以外の領域を過剰に含むことがない四辺形のマスク領域を定めることができる。
【００７３】
（変形例）
上記第一の実施形態においては、マスク領域調整部１４は、図８（Ａ）のように、入力画像にて設定されたマスク領域の隣り合う２つの頂点が魚眼画像の撮像範囲Ｃ１内に無い場合、以下の処理を行うようにしてもよい。
図８（Ａ）は、入力画像のマスク領域の一例を示す図、図８（Ｂ）は、出力画像のマスク領域の一例を示す図である。入力画像のマスク領域の頂点ａ１，ａ２，ａ３，ａ４は、それぞれ出力画像の点ｂ１，ｂ２，ｂ３，ｂ４に変換される。ここで、図８（Ａ）において撮像範囲Ｃ１よりも外の領域は、撮像装置１００によって撮像されない領域である。撮像範囲Ｃ１は、出力画像では、図８（Ｂ）に示す撮像範囲Ｃ２となり、撮像範囲Ｃ２よりも外側の領域に関してマスク領域を詳細に計算する必要はない。
【００７４】
図８（Ｂ）に示すように、隣り合う２つの頂点ｂ１、ｂ２が撮像範囲外に位置する場合、これら２つの頂点ｂ１、ｂ２を結ぶ直線ｂ１ｂ２を、撮像範囲Ｃ２の円に接するように平行移動した直線Ｌ２を出力画像でのマスク領域の一辺とする。このように、出力画像において、変換後領域の隣り合う２つの頂点が撮像範囲外に位置する場合、当該２つの頂点を結ぶ直線と平行で且つ撮像範囲と接する直線を、出力画像におけるマスク領域の辺として設定する。
【００７５】
例えば、図８（Ａ）に示すように、頂点ａ１，ａ２が撮像範囲Ｃ１外に位置する場合、つまり、頂点ａ２、頂点ａ１の座標をそれぞれ（ｘ1，ｙ1）、（ｘ2，ｙ2）、撮像範囲Ｃ１の円の半径をｒ0とした場合に、
ｘ12＋ｙ12＞ｒ02
ｘ22＋ｙ22＞ｒ02
を満たすとき、下記（２９）式が出力画像中のマスク領域の一辺となる。
【００７６】
【数１６】
2019128628.tif 000018
【００７７】
ここで、αA1は、上記（１５）式により定義される。また、ｒ0´は、撮像範囲Ｃ２の出力画像での半径であり、上記（３）式をもとに下記（３０）式により表せる。
【００７８】
【数１７】
2019128628.tif 000019
【００７９】
図８（Ｂ）に示すように、変換後領域の隣り合う２つの頂点ｂ１、ｂ２が撮像範囲外に位置する場合、出力画像におけるマスク領域は、四辺形ｆ１ｆ２ｆ３ｆ４となる。
なお、隣り合う２点のうちどちらかが魚眼画像の撮像範囲内に存在する場合は、第一の実施形態と同様に出力画像でのマスク領域を定める。
以上により、撮像装置１００は、より計算量を減らして、出力画像において、全方位画像である入力画像にて設定されたマスク領域に対応する変換後領域を包含し、変換後領域以外の領域を過剰に含むことがない四辺形のマスク領域を定めることができる。
【００８０】
なお、上記各実施形態においては、マスク領域の形状を四辺形とする場合について説明したが、四辺形以外の多角形とすることもできる。
また、上記各実施形態においては、撮像装置１００において、画像中に不可視とすべきマスク領域を設定する場合について説明したが、撮像装置１００が設定する領域は、マスク領域の設定に限定されない。例えば、撮像装置１００は、画像中において他の領域とは異なる特定の画像処理を施すべき領域を設定することもできる。ここで、特定の画像処理は、設定された領域を強調表示する処理や、設定された領域をＲＯＩ（感心領域）として他の領域より高解像度で配信するための処理など、監視の目的に応じて適宜選択可能である。
【００８１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１１…撮像処理部、１２…画像処理部、１３…マスク領域設定部、１４…マスク領域調整部、１５…出力マスク設定部、１００…撮像装置、２００…クライアント装置、３００…ネットワーク
【図１】
2019128628.tif 000020
【図２】
2019128628.tif 000021
【図３】
2019128628.tif 000022
【図４】
2019128628.tif 000023
【図５】
2019128628.tif 000024
【図６】
2019128628.tif 000025
【図７】
2019128628.tif 000026
【図８】
2019128628.tif 000027