(57)【要約】【課題】全周囲画像から平面画像を生成する際に、切り出し範囲を的確に設定できるようにする。【解決手段】全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成装置であって、全周囲画像を取得する取得手段と、全周囲画像の不要領域を検知する検知手段と、前記検知手段により検知された不要領域を除外して切り出し範囲を指定する指定手段と、前記指定手段の領域指定に基づき切り出しを行う切り出し手段と、前記切り出し手段により切り出された切り出し画像を平面画像に変換する変換手段と、前記変換手段により変換された平面画像をＵＩに表示する表示手段とを設ける。【選択図】図１
2016133908.tif 000002
【特許請求の範囲】
【請求項１】
全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成装置であって、
全周囲画像を取得する取得手段と、
全周囲画像の不要領域を検知する検知手段と、
前記検知手段により検知された不要領域を除外して切り出し範囲を指定する指定手段と、
前記指定手段の領域指定に基づき切り出しを行う切り出し手段と、
前記切り出し手段により切り出された切り出し画像を平面画像に変換する変換手段と、
前記変換手段により変換された平面画像をＵＩに表示する表示手段と
を有することを特徴とする画像生成装置。
【請求項２】
前記検知手段は、不動体検知により不要領域を検知する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記検知手段は、前記全周囲画像における複数の部分の画像の輝度信号差により不要領域を検知する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記指定手段は、手動により指定された切出し範囲の指定範囲内に前記不要領域が含まれると前記検知手段が検知した場合に、前記検知手段が検知した不要領域を指定範囲から除外する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項５】
前記指定手段は、手動により指定された切出し範囲の指定範囲が切り出し範囲に外接又は内接するようにして前記全周囲画像上の切り出し境界を決定する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項６】
全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成方法であって、
全周囲画像を取得する取得工程と、
全周囲画像の不要領域を検知する検知工程と、
前記検知工程において検知された不要領域を除外して切り出し範囲を指定する指定工程と、
前記指定工程の領域指定に基づき切り出しを行う切り出し工程と、
前記切り出し工程において切り出された切り出し画像を平面画像に変換する変換工程と、
前記変換工程において変換された平面画像をＵＩに表示する表示工程と
を有することを特徴とする画像生成方法。
【請求項７】
全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成方法をコンピュータに実行させるプログラムであって、
全周囲画像を取得する取得工程と、
全周囲画像の不要領域を検知する検知工程と、
前記検知工程において検知された不要領域を除外して切り出し範囲を指定する指定工程と、
前記指定工程の領域指定に基づき切り出しを行う切り出し工程と、
前記切り出し工程において切り出された切り出し画像を平面画像に変換する変換工程と、
前記変換工程において変換された平面画像をＵＩに表示する表示工程と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置及び画像生成方法に関し、特に、全周囲画像から平面画像を生成する技術に関するものである。
【背景技術】
【０００２】
従来技術において、全周位（魚眼）画像から平面（パノラマ）画像を生成するときは、画像の内容を問わずに一括して平面画像に変換していた。しかし、当該技術においては、全周囲画像を一括して変換するため、ユーザにとって不必要な領域が平面画像に変換されるという問題がある（図７参照）。このため、不必要な画像の変換のために演算量が増大し、消費電力が増大するという問題がある。
【０００３】
このような問題点を解決するために、例えば特許文献１では、撮像した全方位画像において高解像度画像から解像度を低下させた低解像度画像で動体検知を行う。そして、検知した領域を高解像度画像に反映させて歪補正および認識処理を行うことにより、検知処理の軽減化を実現する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−９０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述の従来例では、全周囲画像を高解像度画像として全て平面画像に変換するため、前述したようにユーザにとって不必要な領域が平面画像に変換されるという課題があった。
本発明は前述の問題点に鑑み、全周囲画像から平面画像を生成する際に、切り出し範囲を的確に設定できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像生成装置は、全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成装置であって、全周囲画像を取得する取得手段と、全周囲画像の不要領域を検知する検知手段と、前記検知手段により検知された不要領域を除外して切り出し範囲を指定する指定手段と、前記指定手段の領域指定に基づき切り出しを行う切り出し手段と、前記切り出し手段により切り出された切り出し画像を平面画像に変換する変換手段と、前記変換手段により変換された平面画像をＵＩに表示する表示手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、全周囲画像から平面画像を生成する際に、全周囲画像に対して切り出し範囲を的確に設定することができ、不要な画像データに対する変換処理を削減することが可能となり、処理時間、メモリ領域、及び消費電力を削減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像生成装置を監視カメラに適用した構成例を示すブロック図である。
【図２】第１の実施形態における全周囲画像を説明する図である。
【図３】第１の実施形態における画像切出し部が切り出した全周囲画像を示す図である。
【図４】第１の実施形態における画像切出し部が切り出した領域を平面画像に変換した例を示す図である。
【図５】第３の実施形態における全周囲画像を説明する図である。
【図６】第４の実施形態における全周囲画像を説明する図である。
【図７】従来技術の一例を示し、不必要な領域が平面画像に変換される例を説明する図である。
【図８】第１の実施形態に係る画像生成装置の動作の流れを説明するフローチャートである。
【図９】第２の実施形態に係る画像生成装置の動作の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本発明に係る画像生成装置を監視カメラに適用した実施形態の構成例を示すブロック図である。
［第１の実施形態］
以下、図１を参照して、本実施形態の画像生成装置について説明する。
図１において、１は監視カメラ、１１はネットワーク、１２はクライアントＰＣである。
監視カメラ１はさらに、撮像部２、画像処理部３、画像切出し部４、画像変換部５、ネットワーク処理部６、制御部７から成る。
【００１０】
撮像部２はレンズ及び撮像素子から構成され、被写体の撮像及び電気信号への変換を行う。ここでレンズは魚眼レンズであり、全周囲の画像が撮像素子に入光する。撮像部２において撮像および光電変換された電気信号は画像処理部３に伝達され、画像処理部３において所定の画像処理が行われ、撮影画像が生成される。撮影画像は図２に示すような全周囲画像となる。
【００１１】
画像切出し部４は、全周囲画像である撮影画像から領域指定された所定の領域を切り出す。
図３に、画像切出し部４が切り出した全周囲画像を示す。
画像変換部５は、画像切出し部４が切り出した全周囲画像を平面画像へ変換する。
画像変換部５により変換されて生成された平面画像は、ネットワーク処理部６にてネットワーク信号、例えばＥｔｈｅｒｎｅｔ（登録商標）信号に変換される。また、ネットワーク処理部６はネットワーク信号をネットワーク１１に対して送受信する。詳細には、ネットワーク処理部６においてネットワーク化された画像信号の送信、およびクライアントＰＣ１２からの監視カメラ１の制御信号を受信する。
【００１２】
制御部７は、監視カメラ１の制御を司ると同時に、クライアントＰＣ１２の操作によるコマンドに基づき監視カメラ１全体の制御を行う。
クライアントＰＣ１２は、ネットワーク１１を介して、監視カメラ１から配信されたネットワーク信号を受信して画像信号に復元し、ＵＩ（ユーザインタフェース：図示せず）に画像を表示する。
【００１３】
本実施形態の画像生成装置の概要は、壁付け時では、画像の上下が天井と床になるので着目領域から除外したい場合がある。その場合、これらの箇所は動きの少ない領域であるのでこれを検知し、マーキングする。その後切り出し時には、マーキングした部分は切り出さないようにしたものである。
【００１４】
次に、図１の構成における動作の流れを、図８のフローチャートに基づき説明する。
図８のフローチャートに示すように、監視カメラ１の電源がＯＮになると初期化処理の後、Ｓ８０１において、画像処理部３にて図２のような全周囲画像２１が生成される。次に、動体検知のため全周囲画像を小領域２２に分割し、領域毎にフレーム間信号を取得する。フレーム間の期間は所定の値である。３０ｆｐｓ、１０フレーム分のときは、３３ｍｓ×１０＝３３０ｍｓとなる。
次に、Ｓ８０２において、前述により制御部７がある領域ｎにおけるフレーム間信号を取得する。
次に、Ｓ８０３において、制御部７は全ての領域にフラグが設定されているかを判定する。設定されていれば、Ｓ８１０の切り出し処理へ進む。設定されていなければＳ８０４へ進む。
【００１５】
Ｓ８０４において、制御部７は、取得したフレーム間信号の差異成分を判定する。判定の例として、差異成分が所定値以下のときに不動体と判定する。
差異成分が無い時は、Ｓ８０５に進んで領域ｎは不動体と判定する。
次に、Ｓ８０６において、制御部７は領域ｎに対して切り出し除外フラグを設定する。当該フラグは、領域ｎを切り出さないためのものである。ここでは、図２に示す動きが少ない天井２３および床２４の部分を切り出し除外とする。
【００１６】
差異成分がある時は、Ｓ８０７において、領域ｎは動体と判定する。
Ｓ８０８において、制御部７は領域ｎに対して切り出しフラグを設定する。当該フラグは領域ｎを切り出すためのものである。その後、Ｓ８０９において、判定対象領域を次の番号に進めて、Ｓ８０２へ戻る。
【００１７】
Ｓ８１０では、制御部７は切り出しフラグが設定されている領域（切り出し可能領域）を切り出す。切り出した画像は、図３のような全周囲画像３１である。その後、Ｓ８１１に進む。
Ｓ８１１において、制御部７は切り出した領域を平面画像に変換する。当該変換には座標変換などの手法がある。変換の結果、図４のような平面画像４１が生成される。生成された平面画像４１は、ネットワーク処理部６にてネットワーク信号に変換され、ネットワーク１１を介してクライアントＰＣ１２へ送出される。
Ｓ８１２において、クライアントＰＣ１２では、ＵＩのビューワ上に当該平面画像を表示する。
以上のようにして、動きの少ない領域を除外した画像が平面画像に変換され、ネットワークを介してビューワに表示される。
【００１８】
本実施形態では、動体検知の手法としてフレーム間差分方式を用いたが、これに限定されることは無く、他方式を用いてもよい。
また、フレームレートを３０ｆｐｓ、検知期間を１０フレーム分としたが、これに限定されることはない。
また、切り出し後に切り出し除外領域で動体検知された際は、次フレーム以降のフレームにおいて切り出しフラグ設定がなされ、切り出しおよび平面画像変換がなされる。
【００１９】
［第２の実施形態］
本実施形態の概要は、天井・床・壁等は均一なパターンの領域であるので変化の頻度が低いものとみなし、注意領域から除外するものである。これらの領域を検知してマーキングする。その後切り出し時には、マーキングした部分は切り出さないようにしたものである。
【００２０】
本実施形態における動作の流れを、図９のフローチャートに基づき説明する。
図９のフローチャートに示すように、監視カメラ１の電源がＯＮになると初期化処理の後、Ｓ９０１において、画像処理部３にて全周囲画像撮像処理が行われ、図２のような全周囲画像２１が生成される。撮影画像は第１の実施形態と同様、図２に示すような全周囲画像２１となる。
次に、Ｓ９０２において、制御部７は全周囲画像２１を小領域２２に分割し、領域毎に画素信号を取得する。
次に、Ｓ９０３において、制御部７は全ての領域にフラグが設定されているかを判定する。設定されていれば、Ｓ９１０の切り出し処理へ進む。設定されていなければＳ９０４へ進む。
【００２１】
Ｓ９０４において、制御部７は画像の均質度により不要領域を検知するため取得した画素信号の輝度信号を判定する。判定の例として、全周囲画像における複数の部分の画像の輝度信号差が所定値以下のとき、領域ｎは均一パターンと判定する。輝度信号差が所定値以下のときは、Ｓ９０５に進む。輝度信号差が所定値以下でないときはＳ９０７に進む。
Ｓ９０５において、制御部７は領域ｎは均一パターンと判定する。その後、Ｓ９０６に進む。
Ｓ９０６において、制御部７は領域ｎに対して切り出し除外フラグを設定する。当該フラグは領域ｎを切り出さないためのものである。
【００２２】
輝度信号差が所定値以下でない場合、Ｓ９０７においては、制御部７は領域ｎは均一パターンでないと判定する。その後、Ｓ９０８に進む。
Ｓ９０８において、制御部７は領域ｎに対して切り出しフラグを設定する。当該フラグは領域ｎを切り出すためのものである。ここでは、表面が均一なパターンである図２に示す天井２３および床２４の部分を切り出し除外とする。
その後、Ｓ９０９において、制御部７は判定対象領域を次の番号に進めて、Ｓ９０２へ戻る。
【００２３】
その後のＳ９１０からＳ９１２の処理は第１の実施形態のＳ８１０からＳ８１２の処理と同様である。
本実施形態では、均一パターンの判定のために輝度信号を用いたが、他の手法で判定してもよい。例えば、素材表面の画像を記憶しておき、その中の画像との類似性で判定してもよい。
【００２４】
［第３の実施形態］
図５は、本実施形態の説明のための図である。図５中、５１は撮像された全周囲画像、５２はビューワ上でユーザがドラッグ選択した範囲、５３は切り出し画像、５４は不要領域である天井部分、５５は不要領域である床部分である。
【００２５】
本実施形態のフローでは、全周囲画像５１において、手動でドラッグ選択された指定範囲内に不要領域５４、５５が含まれていたときに、制御部７が不要領域５４、５５を指定範囲から除外する、というものである。不要領域５４、５５の判定として不動体検知あるいは均一パターン検知を用いる。
始めに、ビューワ上でユーザがドラッグ選択する動作の後は、第１の実施形態、第２の実施形態と同様のフローとなる。
【００２６】
［第４の実施形態］
本実施形態では、切り出し領域をユーザが手動で選択する場合について説明する。
図６は、本実施形態の説明のための図である。図６中、６１は撮像された全周囲画像、６２は切り出し画像、６３、６４はビューワ上でユーザがドラッグ選択した指定範囲である。
【００２７】
切り出し領域６２が手動選択されたとき、制御部７がドラッグ領域の外側（非選択）の部分を不要領域とするが、ドラッグ選択領域６４が切り出し領域６２に外接する場合と、ドラッグ選択領域６３が切り出し領域６２に内接する場合とがある。これは、全周囲画像と平面画像とでは形状が異なるため、切り出しを行う際に、特に、全周囲画像上の切り出し境界線の基準点を決定する必要があるためである。
ビューワ上でユーザがドラッグ選択する動作の後は、第１の実施形態、第２の実施形態と同様のフローとなる。
【００２８】
（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００２９】
１  監視カメラ
２  撮像部
３  画像処理部
４  画像切出し部
５  画像変換部
６  ネットワーク処理部
７  制御部
１１  ネットワーク
１２  クライアントＰＣ
【図１】
2016133908.tif 000003
【図８】
2016133908.tif 000004
【図９】
2016133908.tif 000005
【図２】
2016133908.tif 000006
【図３】
2016133908.tif 000007
【図４】
2016133908.tif 000008
【図５】
2016133908.tif 000009
【図６】
2016133908.tif 000010
【図７】
2016133908.tif 000011