(57)【要約】【課題】撮像シーン等に適した、画像を出力することを目的とする。【解決手段】魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、設定手段により設定されたパターンに基づいて、全方位画像から注目領域を含む部分画像を切り取る切り取り手段と、切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、設定手段によって設定されたパターンに従って、補正手段により歪補正処理された部分画像を出力する出力手段と、を有する。【選択図】図３
2019115031.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、
前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り手段と、
前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、
前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された部分画像を出力する出力手段と、
を有する情報処理装置。
【請求項２】
前記設定手段は、更に、前記魚眼レンズを有する撮像部の撮像方向に基づいて、前記パターンを設定する請求項１記載の情報処理装置。
【請求項３】
前記全方位画像から得られる注目領域が２箇所の場合、前記設定手段は、前記２箇所の注目領域の位置が近接していれば前記２箇所の注目領域を含む１つの部分画像を切り取り、近接していなければそれぞれ１つの注目領域を含む２つの部分画像を切り取るパターンを設定する請求項１記載の情報処理装置。
【請求項４】
前記全方位画像から得られる注目領域が３箇所であってそのうちの１箇所の注目領域が前記撮像画像の中央に位置する場合、前記設定手段は、前記撮像画像の中央に位置する注目領域を除く注目領域を含む部分画像を切り取るパターンを設定する請求項１記載の情報処理装置。
【請求項５】
前記全方位画像から得られる注目領域が３箇所である場合、前記設定手段は、前記撮像画像から切り取られた３箇所の注目領域に対応する部分画像及び前記魚眼レンズを介して得られる撮像画像を配置するためのパターンを設定する請求項１記載の情報処理装置。
【請求項６】
前記全方位画像から得られる注目領域が５箇所以上である場合、前記設定手段は、部分画像を切り取ることなく前記全方位画像を出力するパターンを設定する請求項１記載の情報処理装置。
【請求項７】
前記撮像画像から検出された注目領域が５箇所以上である場合、前記設定手段は、注目領域のそれぞれが分断されない位置に切り取り位置を設定し、２つの部分画像を出力する請求項１記載の情報処理装置。
【請求項８】
前記全方位画像内に優先領域が設定されている場合、前記切り取り手段は、前記優先領域が注目領域として検出しているか否かにかかわらず、前記優先領域に対応する部分画像を優先的に切り取る請求項１記載の情報処理装置。
【請求項９】
前記全方位画像内に検知領域が設定されている場合、前記切り取り手段は、前記検知領域が他の注目領域よりも注目度の低い注目領域として検出されたいた場合であっても、前記検知領域に対応する部分画像を優先的に切り取る請求項１記載の情報処理装置。
【請求項１０】
前記情報処理装置は、撮像装置である請求項１乃至９何れか１項記載の情報処理装置。
【請求項１１】
前記情報処理装置は、撮像装置と通信可能なクライアント装置である請求項１乃至９何れか１項記載の情報処理装置。
【請求項１２】
魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、
前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分の画像を切り取る切り取り手段と、
前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、
前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された画像を出力する出力手段と、
を有するシステム。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定工程と、
前記設定工程により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り工程と、
前記切り取り工程により切り取られた部分画像に対して歪補正処理を行う補正工程と、
前記設定工程によって設定されたパターンに従って、前記補正工程により歪補正処理された部分画像を出力する出力工程と、
を含む情報処理方法。
【請求項１４】
コンピュータを請求項１乃至９何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラの種別の１つとして魚眼レンズを搭載した魚眼カメラが浸透してきている。１台で３６０°監視することができるので、台数・コストの削減につながる。また、魚眼カメラから得られる全方位画像をそのまま出力するだけではなく、複数種類の切り取り処理及び歪補正処理を行った画像や映像を出力可能なカメラがある。このようなカメラでは人体検知や動体検知といった各種Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ等を使用する際も切り取り処理及び歪み補正処理後の画像を用いることも多い。更に、このようなカメラでは複数種類の切り取り処理及び歪み補正処理を行った複数の映像を出力して撮像環境や設置環境に応じた監視ができる。
しかしながら、ユーザーが監視している撮像シーンに対して適切な切り取り処理あるいは歪補正方式を、ユーザーインターフェースを介して設定する必要がある。また、一度設定した切り取り処理及び歪曲補正方式を用いていると撮像シーンの変化に対応できない。
例えば、特許文献１では、複数の画像の特徴量を検出し、指定された各画像の連続表示時間ごとに表示装置に切り替える方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２２９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、魚眼カメラから得られる撮像画像の表示に関して、撮像シーン等に適した表示がより一層求められている。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、魚眼レンズを用いて撮像された撮像画像である全方位画像から得られる注目領域の数及び位置に基づいて、前記全方位画像から得られる部分画像を出力するためのパターンを設定する設定手段と、前記設定手段により設定されたパターンに基づいて、前記全方位画像から前記注目領域を含む部分画像を切り取る切り取り手段と、前記切り取り手段により切り取られた部分画像に対して歪補正処理を行う補正手段と、前記設定手段によって設定されたパターンに従って、前記補正手段により歪補正処理された部分画像を出力する出力手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、撮像シーン等に適した、画像を出力することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラのハードウェア構成の一例を示す図である。
【図２】撮像部の一例を示す図である。
【図３】カメラのソフトウェア構成の一例を示す図である。
【図４】撮像画像の一例を示す図である。
【図５】出力部により出力される画像の一例を示す図である。
【図６】撮像画像の一例を示す図である。
【図７】出力部により出力される画像の一例を示す図である。
【図８】カメラの情報処理の一例を示すフローチャートである。
【図９】カメラの情報処理の一例を示すフローチャートである。
【図１０】パターン１の一例を示す図である。
【図１１】歪補正処理が行われた画像の一例を示す図である。
【図１２】パターン２の一例を示す図である。
【図１３】歪補正処理が行われた画像の一例を示す図である。
【図１４】パターン３の一例を示す図である。
【図１５】歪補正処理が行われた画像の一例を示す図である。
【図１６】出力部により出力される画像の一例を示す図である。
【図１７】撮像システムを構成する装置のハードウェア構成の一例を示す図である。
【図１８】撮像システムを構成する装置のソフトウェア構成の一例を示す図である。
【図１９】クライアント装置の情報処理の一例を示すフローチャートである。
【図２０】撮像画像の一例を示す図である。
【図２１】パターン２以外のパターンの一例を示す図である。
【図２２】クライアント装置の情報処理の一例を示すフローチャートである。
【図２３】パターン３の一例を示す図である。
【図２４】歪補正処理が行われた画像の一例を示す図である。
【図２５】パターン２の一例を示す図である。
【図２６】歪補正処理が行われた画像の一例を示す図である。
【図２７】パターン３の一例を示す図である。
【図２８】歪補正処理が行われた画像の一例を示す図である。
【図２９】パターン３の一例を示す図である。
【図３０】歪補正処理が行われた画像の一例を示す図である。
【図３１】パターン３の一例を示す図である。
【図３２】パターン３の一例を示す図である。
【図３３】歪補正処理が行われた画像の一例を示す図である。
【図３４】パターン１の一例を示す図である。
【図３５】歪補正処理が行われた画像の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。以下では、撮像装置としてカメラを用いる場合について説明する。
【０００９】
＜実施形態１＞
図１は、カメラ１０のハードウェア構成の一例を示す図である。カメラ１０は魚眼カメラである。カメラ１０は、ハードウェア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、入力部１４と、表示部１５と、通信部１６と、を含む。撮像部１１は、被写体像を撮像する。撮像部１１の詳細は後述する図２に示す。ＣＰＵ１２は、カメラ１０の全体を制御する。メモリ１３は、プログラム、撮像部１１で撮像された画像、設定値等を記憶する。入力部１４は、ユーザーの選択操作等を入力し、ＣＰＵ１２に渡す。表示部１５は、ＣＰＵ１２の制御に基づき画面等を表示する。通信部１６は、カメラ１０をネットワークに接続し、他の装置との通信等を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図３に示すカメラ１０のソフトウェア構成、及び後述する図８のフローチャートの処理が実現される。カメラ１０は、情報処理装置の一例である。カメラ１０からネットワークを介して取得した全方位画像を蓄積する録画サーバ、又は全方位画像を表示させるための端末装置に対しても以下の実施形態を適用することが可能である。
【００１０】
図２は、撮像部１１の一例を示す図である。撮像部１１は、数枚のレンズ群からなるレンズ２０１、ＣＣＤやＣＭＯＳ等の撮像素子２０２を備える。また、撮像部１１は、雑音軽減を行う相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：ＣＤＳ）回路２０３を備える。また、撮像部１１は、カメラの利得制御を自動で行うゲインコントロールアンプ回路（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ：ＡＧＣ）２０４を備える。また、撮像部１１は、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換２０５を備える。
【００１１】
図３は、カメラ１０のソフトウェア構成の一例を示す図である。撮像制御部１０１は、撮像部１１を制御し、撮像部１１からの信号を画像生成部１０２に渡す。画像生成部１０２は、受け取った信号に基づき撮像画像を生成する。判定部１０３は、撮像画像から撮像シーンを判定する。パターン設定部１０４は、撮像画像から部分画像を切り取り、更に歪み補正した画像を出力画像上に配置するパターンを設定する。切り取り位置設定部１０５は、設定されたパターンに従って撮像画像の切り取り位置を設定する。切り取り部１０６は、切り取り位置設定部１０５で設定された切り取り位置で画像を切り取る。歪補正処理部１０７は、切り取り部１０６により切り取られた画像に対応する歪補正を行い、パターン設定部１０４において設定されたパターンに基づいて切り取られた画像を出力画像として配置する処理を行う。出力部１０８は、歪補正処理部１０７で歪補正された画像信号を出力する。
【００１２】
上述した各構成要素の動作について詳しく説明を行う。
まず、撮像装置について、図２及び図３を用いて詳しく説明を行う。撮像素子２０２は、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。レンズ２０１は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、撮像装置として魚眼レンズが備えられる魚眼カメラの場合に関して説明する。ＣＤＳ回路２０３は、撮像素子２０２から出力された電気信号に対して相関二重サンプリング処理等を実施する。ＡＧＣアンプ２０４は、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理等を行う。Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。撮像制御部１０１は、撮像部１１から得られた輝度信号及び色信号を画像生成部１０２に渡す。画像生成部１０２は、得られた輝度信号及び色信号からＲＧＢ画像やＹＵＶ画像等の画像信号を生成する。判定部１０３は、画像生成部１０２で生成された画像から注目領域の数、及び注目領域の位置を判定する。パターン設定部１０４は、判定部１０３で判定された画像内の注目領域の数及び位置（あるいは分布）に基づいてパターンを設定する。切り取り位置設定部１０５は、パターン設定部１０４において設定されたパターンに対応して、判定部１０３で判定された画像内の注目領域が切り取られる位置を設定する。このとき、１つの注目領域が分断されないような切り取り位置が設定される。切り取り部１０６は、切り取り位置設定部１０５で設定された切り取り位置を用いて画像生成部１０２で生成された画像から一部の画像を切り取る。歪補正処理部１０７は、切り取り部１０６で切り取られた画像に対して、種々の幾何学的変換等の歪補正処理を行う。そして、歪補正処理部１０７は、パターン設定部１０４で設定されたパターンに基づいて、歪み補正された画像を出力画像として配置する処理を実行する。
【００１３】
ここで、図４〜図７を用いて切り取り部１０６で切り取り処理された画像及び歪補正処理部１０７で歪補正処理された画像に関して説明する。図４の全方位画像３０は、屋内の天井に設置された魚眼レンズを備えた魚眼カメラで、床に対して垂直な方向を撮像して得られた画像の例である。切り取り部１０６は、図４の全方位画像３０の破線で区切られた領域３００の部分を除外して、同じく破線で区切られた領域３０１、領域３０２をそれぞれ切り取る。そして歪補正処理部１０７が歪補正処理を行い、領域３０２を上下反転させて繋げた出力画像の例を図５に示している。図４は、領域３００を無効領域とみなして出力画像とせず、注目領域が含まれる領域３０１及び領域３０２を有効領域とみなして出力画像とする例である。更に、他の例として、図６に示すように、切り取り部１０６が注目領域である領域４００〜４０２を部分的に切り取り、歪補正処理部１０７が歪補正処理を行う例が考えられる。図７の領域４００〜４０２には、図６に示す切り取り領域４００〜４０２の画像を歪み補正処理して出力された画像が配置されている。図６の例では、図６の領域４００〜４０２を有効領域とみなして出力画像として用いられ、それ以外を無効領域とみなして出力画像としては用いられていない。なお、出力部１０８が３つの部分画像を合成して１つの画像として出力してもよいし、これら３つの部分画像を複数のストリームとして出力してもよい。４つ以上の場合も同様に、例えば出力部１０８が出力する画像の大きさに合わせて拡大縮小した後に各切り出し画像を合成して出力してもよいし、複数ストリームとして出力してもよい。出力部１０８は、歪補正処理部１０７で歪補正処理された画像信号を出力する。画像信号の出力先としてはカメラ１０に内蔵されているディスプレイでもよいし、通信部１６を介してネットワークに接続されている外部の端末装置でもよい。
【００１４】
図８のフローチャートを用いて、カメラ１０が撮像画像の注目領域の条件に応じて画像を出力するためのパターン及び切り取り位置を設定する際の例を説明する。Ｓ１０１において、判定部１０３は、画像生成部１０２で生成された画像を取得する。この画像は歪み補正処理前の全方位画像である。次に、Ｓ１０２において、判定部１０３は、取得した歪み補正処理前の全方位画像から注目領域を抽出する。次に、Ｓ１０３において、判定部１０３は、注目領域が１箇所以上あるか否かを判定する。判定部１０３は、画像内の顔や人物の分布を算出し、画像内の顔や人物の数が設定された数より多い領域を注目領域として判定してもよいし、密集度が設定された値より高い領域を注目領域として判定してもよい。また、判定部１０３は、画像は一枚の画像から顔や人物の滞留度数や動線密度を算出してもよいし、複数枚の画像から顔や人物の滞留度数や動線密度を算出してもよい。なお、パターンマッチングを用いて顔あるいは人物を検出する場合、一旦歪み補正を行った画像に対して顔あるいは人物を検出する必要がある。また、判定部１０３は、解析を単純化して、所定サイズ以上の前景領域の数をカウントしてもよい。本実施形態では、判定部１０３は、歪み補正処理前の全方位画像内の周辺領域に対して、所定の大きさを有する領域内に人物が所定数（例えば３人）以上いる領域を注目領域と判定する。一方、判定部１０３は、歪み補正処理前の全方位画像内の中心領域に対して、当該設定された大きさを有する領域内に人物が１人以上存在する領域を注目領域とする。これは、歪み補正処理前の画像では、周辺部より中心部に存在する人物がより大きく撮影されるためである。前述の領域の設定された大きさは、予め全体画像に対して占める割合として決められメモリ１３に記憶されていてもよいし、入力部１４等を介したユーザー操作に応じて、メモリ１３等に記憶されていてもよい。判定部１０３は、注目領域が画像上に存在しない場合（Ｓ１０３でＮｏ）は、Ｓ１０４に遷移し、注目領域が１箇所以上画像上に存在する場合（Ｓ１０３でＹｅｓ）は、Ｓ１０５に遷移する。Ｓ１０４において、パターン設定部１０４は、予めユーザーによって設定されたパターンを設定する。また、切り取り位置設定部１０５は、当該パターンに対応する切り取り位置を設定する。ここで、予めユーザーによって設定されたパターンは、パターン１、パターン２、パターン３の内、何れか１つでもよいし、切り取り前の全方位画像であってもよい。本実施形態では、予めユーザーによって設定されたパターンとして、画像全体が俯瞰できる切り取り前の全方位画像とし、この全方位画像が出力されるものとする。Ｓ１０５において、判定部１０３は、注目領域が２箇所以上あるか否かを判定する。判定部１０３は、注目領域が２箇所以上存在しない場合（Ｓ１０５でＮｏ）は、Ｓ１０６に遷移し、注目領域が２箇所以上存在する場合（Ｓ１０５でＹｅｓ）は、Ｓ１０７に遷移する。
【００１５】
Ｓ１０６において、パターン設定部１０４は、１箇所の注目領域に対応するため、分割画像を出力せずに１つの画像として出力するパターン１を設定する。また、切り取り位置設定部１０５は、設定されたパターン１に対応するように、１つの注目領域が含まれるような切り取り位置を設定する。Ｓ１０７において、判定部１０３は、注目領域が３箇所以上あるか否かを判定する。判定部１０３は、注目領域が３箇所以上存在しない場合（Ｓ１０７でＮｏ）は、Ｓ１０８に遷移し、注目領域が３箇所以上存在する場合（Ｓ１０７でＹｅｓ）は、Ｓ１０９に遷移する。Ｓ１０８において、パターン設定部１０４は、２箇所の注目領域に対応させるため、２画面分割画像（ダブルパノラマ）を生成し、出力するためのパターン２を設定する。また、切り取り位置設定部１０５は、設定されたパターン２に対応するように、検出された注目領域のそれぞれが分断されないような切り取り位置を設定する。Ｓ１０９において、パターン設定部１０４は、３箇所以上の注目領域に対応させるため、４画面分割画像を生成し、出力するためのパターン３を設定する。また、切り取り位置設定部１０５は、設定されたパターンに対応するように、注目領域を切り取る。
【００１６】
図９のフローチャートを用いて、カメラ１０が設定されたパターン及び切り取り位置に基づいて画像を切り取り、歪補正を行い、出力する例を説明する。Ｓ１５０において、切り取り部１０６は、パターン設定部１０４で設定されたパターン及び切り取り位置設定部１０５で設定された位置に基づいて、撮像画像より注目領域を切り取る。切り取り部１０６は、Ｓ１０６で設定されたパターン１及び切り取り位置の例では図１０の全体画像から１箇所の破線で囲まれた左上に位置する注目領域５０１を切り取る。また、切り取り部１０６は、Ｓ１０８で設定されたパターン２及び切り取り位置の例では図１２の全体画像から２箇所の破線で囲まれた真ん中の無効領域を除く、半円で表される領域６０１及び６０２から部分画像を切り取る。すなわち、切り取られた２枚の画像のそれぞれ１つずつ注目領域が含まれるように切り取り位置を設定する。また、切り取り部１０６は、Ｓ１０９で設定されたパターン３及び切り取り位置の例では図１４の全体画像から３箇所の破線で囲まれた注目領域７０１、７０２、７０３を切り取る。Ｓ１５１において、歪補正処理部１０７は、Ｓ１５０で切り取られた画像に対して歪補正処理を実行する。例えば、歪補正処理部１０７は、パターンがパターン１、又はパターン３であった場合は、パターンに応じた歪み補正処理を実行する。また、例えば、歪補正処理部１０７は、設定されたパターンがパターン２であった場合は、パターン及び切り取り位置に応じた歪み補正処理を実行する。ここで、歪み補正処理とは、例えば、画像の拡大縮小や幾何学的変換等の処理である。Ｓ１５２において、出力部１０８は、Ｓ１５１で歪補正処理された画像を出力する。図１１は、Ｓ１０６の設定に従って図１０の注目領域５０１の画像が切り取られ、歪補正処理され、後述の図１７に示すクライアント装置２０へ出力された一例を示す図である。また、図１３は、Ｓ１０６の設定に従って図１２の領域６０１及び６０２が切り取られ、歪補正処理され、出力された一例を示す図である。図１３に示すように、パターン２ではダブルパノラマと呼ばれる２画面分割画像が出力されることになる。また、図１５は、Ｓ１０９の設定に従って図１４の注目領域７０１、７０２、７０３が切り取られ、歪補正処理され、出力された一例を示す図である。すなわち、パターン３では、４画面分割画像が出力されることになる。なお、パターン３が選択された場合であって、注目領域が３つしか存在しない場合、空き領域が生じる。この場合、出力部１０８は、図１６の画像のように切り取り画像７０１、７０２、７０３を並べ替え、空いている領域に対して図１６の８０１のように撮像画像である全方位画像を縮小して出力してもよい。この全方位画像は注目領域が五か所以上存在する場合に有効である。なお、図８に示すフローチャートでは、注目領域が３箇所以上存在する場合、パターン３が選択される。注目領域が５箇所以上存在する場合、１つずつ注目領域を分割画像に割り当てた場合、出力できない注目領域が生じることになる。本実施の形態では、注目領域が５箇所以上存在する場合、隣接する注目領域同士をグループ化して４グループ作成すればよい。また、注目領域が５箇所以上存在する場合、あるいは注目領域がオーバーラップして最適な切り取り位置が設定できない場合、部分画像を出力することなく、全体が俯瞰可能なように歪み補正前の全方位画像を出力してもよい。
【００１７】
本実施形態の各パターンはそれぞれ切り取り時の例である。切り取り数及び切り取り位置の異なる他のパターンでもよい。また、各々のパターンの変更タイミングは、判定部１０３の判定結果に対して即時に反映してもよいし、予め決められた一定間隔でもよいし、ユーザーが任意に変更してもよい。切り取られた画像に対して歪補正処理部１０７で歪補正処理が行われ、出力部１０８で画像が出力される。
【００１８】
以上説明したように、本実施形態の処理によれば、注目領域（注目被写体）が画像切り取りにより見切れることを防止することができる。また、ユーザーが設定することなく撮像シーン等に応じた適切な切り取り処理及び歪補正処理を行った画像を出力することができる。よって、撮像シーン等に応じて画像のパターン及び歪補正処理を適切に変更しているので監視に好適な画像を提供することができる。
【００１９】
＜実施形態２＞
図１７は、撮像システムを構成する装置のハードウェア構成の一例を示す図である。撮像システムでは、カメラ１０とクライアント装置２０とがネットワークを介して通信可能に接続されている。ネットワークは有線であっても無線であってもよい。カメラ１０のハードウェア構成は実施形態１と同様である。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すカメラ１０のソフトウェア構成等が実現される。クライアント装置２０は、ハードウェア構成として、ＣＰＵ２１と、メモリ２２と、入力部２３と、表示部２４と、通信部２５と、を含む。ＣＰＵ２１は、クライアント装置２０の全体を制御する。メモリ２２は、プログラム、カメラ１０から送信された画像、設定値等を記憶する。入力部２３は、ユーザーの選択操作等を入力し、ＣＰＵ２１に渡す。表示部２４は、ＣＰＵ２１の制御に基づき画面等を表示する。通信部２５は、クライアント装置２０をネットワークに接続し、他の装置（例えば、カメラ１０）との通信等を制御する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図１８に示すクライアント装置２０のソフトウェア構成、及び後述する図１９のフローチャートの処理が実現される。クライアント装置２０は、情報処理装置の一例である。
【００２０】
図１８は、撮像システムを構成する装置のソフトウェア構成の一例を示す図である。カメラ１０の撮像部１１、画像生成部１０２に関しては、実施形態１と同様の構成のため説明を省略する。撮像方向検出部１２１は、撮像部１１の撮像方向を検出する。例えば、撮像方向検出部１２１は、ジャイロセンサの出力から撮像している角度を取得してもよい。クライアント装置２０の判定部１０３、パターン設定部１０４、切り取り位置設定部１０５、切り取り部１０６、歪補正処理部１０７、出力部１０８に関しては、実施形態１のカメラ１０の構成と同様であるため説明を省略する。通信処理部１２２は、カメラ１０と通信して、画像生成部１０２で生成された画像及び撮像方向検出部１２１で検出された撮像方向を受信する。
【００２１】
次に、図１９に示すフローチャートを用いて、カメラ１０及びクライアント装置２０で構成される撮像システムが撮像画像の注目領域の条件に応じて画像のパターン及び切り取り位置を設定し出力する際の例を説明する。図１９のフローチャートのＳ１０１〜Ｓ１０９に関しては、それぞれ実施形態１と同様の処理内容、かつ、処理フローのため説明を省略する。また、図１０〜図１５のパターン等に関しては実施形態１と同様の処理内容のため説明を省略する。
Ｓ２０１では、判定部１０３は、撮像方向検出部１２１で検出され、通信処理部１２２を介して受信した撮像部１１の撮像方向に基づき撮像部１１の撮像方向が水平方向かどうかを判定する。このとき撮像方向が水平方向というのは、例えばカメラ１０が壁面に設置されている場合等であり、それ以外は天井に設置されて垂直方向を撮像している場合等である。判定部１０３は、撮像方向が水平方向であると判定すると、Ｓ１０６に遷移し、撮像方向が水平方向でないと判定すると、Ｓ１０８に遷移する。パターン２では全体画像の中心部分を除いた周辺画像に対して切り取り処理及び歪補正処理を行う。したがって、撮像方向が水平方向である場合、Ｓ１０６において、パターン設定部１０４は、パターン１を設定する。また、切り取り位置設定部１０５は、設定されたパターン１に対応するように２つの注目領域を含むような１つの部分画像を切り取る切り取り位置を設定する。このとき、注目領域は全方位画像の上下領域を除く中央部に出現すると考えられるので、全方位画像の中央部を切り取るように切り取り位置が設定される。一方で、撮像部１１が水平方向でない、すなわち、例えば、垂直方向を向いている場合、Ｓ１０８において、パターン設定部１０４は、パターン２を設定する。また、切り取り位置設定部１０５は、設定されたパターン２に対応するように、切り取られた２つの部分画像にはそれぞれ１つずつ注目領域が含まれるように切り取り位置が設定される。Ｓ２０２において、判定部１０３は、図２０のように全体画像の中央部に特定の動体等の注目領域が出現したか否かを判定する。判定部１０３は、全体画像の中央部に特定の動体等の注目領域が出現した場合（Ｓ２０２でＹｅｓ）は、Ｓ２０３に遷移し、全体画像の中央部に特定の動体等の注目領域が出現しない場合（Ｓ２０２でＮｏ）、図１９のフローチャートの処理を終了する。Ｓ２０３において、パターン設定部１０４は、一時的にパターン２以外のパターン、例えば図２１のようにパターン３を設定する。また、切り取り位置設定部１０５は、設定されたパターン３に従って、注目領域がそれぞれ含まれるように３つの部分画像が切り取られる位置を設定する。ここで、判定部１０３は、顔認識等で特定の被写体を特定の動体として認識してもよいし、動体の大きさ又は速度が予め決められた閾値又はユーザーが設定した閾値を超える場合に特定の動体と認識してもよい。また、画像の中央部とは、例えば、画像の中心から設定された範囲内のことである。パターン２は、第１のパターンの一例である。Ｓ２０３の処理は、第１のパターン以外のパターンを設定する処理の一例である。
【００２２】
以上説明したように、本実施形態の処理によれば、実施形態１の効果に加え、特定の動体の監視に好適な画像を提供することができる。
【００２３】
＜実施形態３＞
実施形態３では、撮像画像の注目領域の条件に応じてパターン及びパターンに対応する切り取り位置を設定する際の実施形態１及び２とは異なる場合の例を説明する。カメラ１０及びクライアント装置２０を構成するハードウェア構成及びソフトウェア構成に関しては上述の実施形態と同様のため説明を省略する。ＣＰＵ２１がメモリ２２に記憶されたプログラムに基づき処理を実行することによって後述する図２２のフローチャートの処理が実現される。
次に、図２２に示すフローチャートを用いて、カメラ１０及びクライアント装置２０で構成される撮像システムが撮像画像の注目領域の条件に応じて画像のパターン及び切り出し位置を設定し、出力する際の例を説明する。フローチャートのＳ１０６〜Ｓ１０９、Ｓ２０１に関しては、それぞれ実施形態１及び実施形態２と同様の処理内容、かつ、処理フローである。また、実施形態１及び実施形態２のフローチャートでそれぞれ説明したＳ１０１〜Ｓ１０５、Ｓ２０２、Ｓ２０３の処理を図２２に追加してもよい。
図２３〜図２８のパターン等に関しては実施形態１と同様のため説明を省略する。
【００２４】
Ｓ３０１において、判定部１０３は、注目領域が５箇所以上あるか否かを判定する。判定部１０３は、注目領域が５箇所以上存在しない場合（Ｓ３０１でＮｏ）は、Ｓ１０９に遷移し、注目領域が５箇所以上存在する場合（Ｓ３０１でＹｅｓ）は、Ｓ３０２に遷移する。Ｓ１０９において、図２３のように注目領域が５箇所未満の４箇所の場合に、パターン設定部１０４は、図２４のようにパターン３を選択し、領域１００１〜領域１００４のそれぞれの対応関係で分割する。また、注目領域の数を５箇所の場合としているが、パターン設定部１０４で分割可能な分割数を超える数であればよい。Ｓ３０２において、判定部１０３は、撮影画像内に優先領域が設定されているか否かを判定する。判定部１０３は、撮影画像内に優先領域が設定されていない場合（Ｓ３０２でＮｏ）は、Ｓ３０３に遷移し、撮影画像内に優先領域が設定されている場合（Ｓ３０２でＹｅｓ）は、Ｓ３０６に遷移する。図２５は注目領域が５箇所ある場合の例であり、判定部１０３は、５箇所の位置関係を判定する。パターン２で５箇所すべての注目領域を出力可能なので、Ｓ３０３において、パターン設定部１０４は、図２６のようにパターン２を選択する。このとき、切り取り位置設定部１０５は、それぞれの注目領域が分断されない位置に切り取り位置を設定する。その結果、画像切り取り部１０６は、それぞれの注目領域が分断されない位置で領域１１０１と領域１１０２とを切り取る。また、歪補正処理部１０７は、歪み補正処理を行う。Ｓ３０４において、判定部１０３は、図２７のように注目領域である被写体が中央に位置する領域１１０３に侵入したか否かを判定する。判定部１０３は、被写体が中央に位置する領域に侵入した場合（Ｓ３０４でＹｅｓ）は、Ｓ３０５に遷移し、被写体が中央に位置する領域に侵入しない場合（Ｓ３０４でＮｏ）は、図２２のフローチャートの処理を終了する。Ｓ３０５において、パターン設定部１０４は、図２８のように図２７の領域１１０１〜領域１１０３のすべての領域を含むことができる領域１１０４として全方位画像を一時的に選択してもよい。また、被写体が領域１１０３から消失した場合は、パターン設定部１０４は、図２６のようなパターン２が再設定されることになる。
【００２５】
Ｓ３０６において、判定部１０３は、撮影画像内に検知領域が設定されている場合、設定されている検知領域内に検知対象が存在するか否かを判定する。判定部１０３は、撮影画像内に予め設定されている検知領域内に検知対象が存在しない場合（Ｓ３０６でＮｏ）は、Ｓ３０７に遷移し、撮影画像内に予め設定されている検知領域内に検知対象が存在する場合（Ｓ３０６でＹｅｓ）は、Ｓ３０８に遷移する。
図２９は、優先領域が設定されており、検知領域が設定されていない場合を示す例である。図２９の領域１２０５が優先領域として設定されている。優先領域は、その領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像が切り取られ、出力される領域である。但し、優先領域は画像中の任意の領域にも設定することができる。また、優先領域は、複数設定されてもよい。図３１は、更に、画像中に設定されている検知領域１２０６の一例を示している。ここでいう検知領域は、人物が領域内に侵入又は領域から消失等の特定のイベントを検知するための領域である。図３２は、検知領域１２０６内に人物の侵入が検出されていることを表している。
Ｓ３０８において、パターン設定部１０４は、図３２に示される優先領域１２０５（１２０２）及び検知領域１２０６（１２０７）を選択し、更にステップ１０２において抽出された注目領域の中からより注目度の高い領域を選択する。そしてパターン設定部１０４は、図３３の画像の配置になるようにパターン３を設定する。このとき注目領域のうち、より注目度の高い領域として人数の多い領域１２０１及び１２０３が選択される。そして、切り取り位置設定部１０５は、優先領域１２０５、検知領域１２０６、及び領域１２０１及び領域１２０３の部分画像が切り取られる切り取り位置を設定する。その結果、画像切り取り部１０６は、領域１２０１、１２０３、１２０５、及び１２０６から部分画像を切り取る。この処理は、全方位画像内に優先領域が設定されている場合、画像切り取り部１０６が、優先領域が注目領域として検出しているか否かにかかわらず、優先領域に対応する部分画像を優先的に切り取る処理の一例である。また、この処理は、全方位画像内に検知領域が設定されている場合、画像切り取り部１０６が、検知領域が他の注目領域よりも注目度の低い注目領域として検出されたいた場合であっても、検知領域に対応する部分画像を優先的に切り取る処理の一例でもある。歪補正処理部１０７は、それぞれ切り取られた部分画像に対して歪み補正処理を行う。
Ｓ３０７において、検知領域が設定されていない場合、図２９に示される優先領域１２０５を選択し、更にステップＳ１０２において抽出された注目領域の中からより注目度の高い領域１２０１、１２０３、及び１２０４を選択する。そして、パターン設定部１０４は、図３０の配置になるようにパターン３を設定する。図２９では、検知領域が設定されていないため、図３２の領域１２０７と同じ位置に存在する図２９の注目領域は選択されずに注目領域１２０４が代わりに選択されている。その理由は、注目領域１２０４内の人数の方が図３２の領域１２０７と同じ位置に存在する図２９の注目領域内の人数より多く注目度が高いからである。なお、図２９の左側にも注目領域１２０４と同じ人数が存在する注目領域があるが、本実施の形態では、人物の属性として「女性」が優先される設定となっているため注目領域１２０４が選択されることになる。
また、切り取り位置設定部１０５は、選択された領域１２０１、１２０２（１２０５）、１２０３、１２０４に対応する部分画像が切り取られるように切り取り位置を設定する。
【００２６】
Ｓ３０９において、判定部１０３は、２つの注目領域が検出され、その検出された２つの注目領域の位置が近接しているかどうかを判定する。判定部１０３は、歪み補正前の魚眼カメラの円形の撮像画像のうちの１つの半円内（中心領域を除く）に２つの注目領域が存在している場合、近接していると判定する。判定部１０３は、図３４に示すように、２つの注目領域が近接していると判定した場合、Ｓ１０６に進む。即ち、パターン１が選択され、切り取り位置として中心領域を除く半円が設定される。歪み補正後の画像は、図３５に示すようなシングルパノラマ画像となる。一方、判定部１０３は、図１２に示すように、２つの注目領域が近接していないと判定した場合、Ｓ１０８に進む。その結果、図１３に示すようなダブルパノラマ画像が表示されることになる。
【００２７】
以上説明したように、本実施形態の処理によれば、実施形態１及び実施形態２の効果に加え、特定の領域及び物体、動体を考慮した監視に好適な画像を提供することができる。
なお、実施形態１〜３で説明したパターンの選択は適宜組み合わせることが可能である。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２８】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
また、上述したソフトウェア構成の一部又は全てをハードウェア構成として装置に実装してもよい。
また、ハードウェア構成としてＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることとしてもよい。
【００２９】
以上、上述した各実施形態によれば、ユーザーが設定することなく撮像シーン等に応じてリアルタイムに適切な切り取り処理及び歪補正処理を行った画像を出力することができる。
【符号の説明】
【００３０】
１０  カメラ
１１  撮像部
１２  ＣＰＵ
【図１】
2019115031.tif 000003
【図２】
2019115031.tif 000004
【図３】
2019115031.tif 000005
【図４】
2019115031.tif 000006
【図５】
2019115031.tif 000007
【図６】
2019115031.tif 000008
【図７】
2019115031.tif 000009
【図８】
2019115031.tif 000010
【図９】
2019115031.tif 000011
【図１０】
2019115031.tif 000012
【図１１】
2019115031.tif 000013
【図１２】
2019115031.tif 000014
【図１３】
2019115031.tif 000015
【図１４】
2019115031.tif 000016
【図１５】
2019115031.tif 000017
【図１６】
2019115031.tif 000018
【図１７】
2019115031.tif 000019
【図１８】
2019115031.tif 000020
【図１９】
2019115031.tif 000021
【図２０】
2019115031.tif 000022
【図２１】
2019115031.tif 000023
【図２２】
2019115031.tif 000024
【図２３】
2019115031.tif 000025
【図２４】
2019115031.tif 000026
【図２５】
2019115031.tif 000027
【図２６】
2019115031.tif 000028
【図２７】
2019115031.tif 000029
【図２８】
2019115031.tif 000030
【図２９】
2019115031.tif 000031
【図３０】
2019115031.tif 000032
【図３１】
2019115031.tif 000033
【図３２】
2019115031.tif 000034
【図３３】
2019115031.tif 000035
【図３４】
2019115031.tif 000036
【図３５】
2019115031.tif 000037