(57)【要約】      （修正有）【課題】複数の領域を指定して、当該領域毎にタイムラプス動画を生成するために、領域毎に適正なタイミングで画像を取得する画像処理装置、その制御方法、および制御プログラムを提供する。【解決手段】カメラ１００において、ＣＰＵ１０４は、予め設定された時間が経過する毎に撮像部１０２によって被写体を撮像して画像を得る。ＣＰＵは予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る。この際、ＣＰＵは画像における露光量を求めて、予め定められた時間が経過する毎に得られた画像について露光補正が必要であるか否かを判定し、露光補正が必要であると判定すると露光量に応じて領域画像について露光補正を行う。【選択図】図１
2019021985.tif 000002
【特許請求の範囲】
【請求項１】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置であって、
前記複数の画像における露光量を求める算出手段と、
前記間欠的な撮像において、予め定められた時間が経過する毎に得られた画像について露光補正が必要であるか否かを判定する第１の判定手段と、
前記予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理手段と、
前記第１の判定手段によって前記露光補正が必要であると判定されると、前記露光量に応じて前記領域画像について露光補正を行う補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は前記指定領域における適正な露光量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記露光量として前記画像における輝度値を全体輝度値として求めるとともに、前記指定領域の各々の輝度値の平均を領域輝度値として求め、前記全体輝度値と前記領域輝度値との差分を算出しており、
予め設定された輝度閾値と前記差分との比較結果に応じて被写体を撮像する際の露出設定を調整する調整手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記調整手段は前記差分が前記輝度閾値よりも大きいと、前記露出設定をアンダーに調整し、前記差分が前記輝度閾値以下であると、前記露出設定をオーバーに調整することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の判定手段によって前記露光補正が必要であると判定された場合に、前記指定領域について前記露光補正を行うことが可能な補正範囲内にあるか否かを判定する第２の判定手段と、
前記第２の判定手段によって前記補正範囲内にないと判定された指定領域について新たな前記領域画像を得るため、前記予め定められた時間を変更して被写体を撮像するように制御する制御手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の判定手段は、前記指定領域における輝度値を求めて、当該輝度値と前記適正な露光量との比較結果に基づいて前記補正範囲内にあるか否かを判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置であって、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理手段と、
前記指定領域で所定の異常が検知されたか否かを判定する判定手段と、
前記判定手段によって前記所定の異常が検知されると、新たな前記領域画像を得るため、前記予め定められた時間を変更して被写体を撮像するように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項８】
前記予め定められた時間が経過する毎に得られた前記領域画像をタイムラプス画像として用いることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置であって、
前記間欠的な撮像において得られた画像において指定された指定領域における輝度値を所定の時間が経過する毎に算出して基準輝度値情報を得る算出手段と、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において前記指定領域を切り出して領域画像を得る画像処理手段と、
前記基準輝度値情報に基づいて、前記輝度値が最も高い時間で得られた領域画像を選択してタイムラプス画像とする選択手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
前記基準輝度値情報が示す輝度値と前記タイムラプス画像における輝度値との比較結果に応じて前記タイムラプス画像について露光補正を行う補正手段を有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理手段は前記領域画像を所定にサイズに拡大処理することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、前記間欠的な撮像を実行する撮像手段を備えた撮像装置、又は、撮像手段を備えた撮像装置と接続可能な外部機器であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記外部機器は、前記撮像装置に前記指定領域および前記予め定められた時間を指令できることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記外部機器に前記画像および前記領域画像を配信する通信手段を有することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置の制御方法であって、
前記複数の画像における露光量を求める算出ステップと、
前記間欠的な撮像において、予め定められた時間が経過する毎に得られた画像について露光補正が必要であるか否かを判定する判定ステップと、
前記予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理ステップと、
前記判定ステップで前記露光補正が必要であると判定されると、前記露光量に応じて前記領域画像について露光補正を行う補正ステップと、
を有することを特徴とする制御方法。
【請求項１６】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置の制御方法であって、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理ステップと、
前記指定領域で所定の異常が検知されたか否かを判定する判定ステップと、
前記判定ステップで前記所定の異常が検知されると、新たな前記領域画像を得るため、前記予め定められた時間を変更して被写体を撮像するように制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１７】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置の制御方法であって、
前記間欠的な撮像において得られた画像において指定された指定領域における輝度値を所定の時間が経過する毎に算出して基準輝度値情報を得る算出ステップと、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において前記指定領域を切り出して領域画像を得る画像処理ステップと、
前記基準輝度値情報に基づいて、前記輝度値が最も高い時間で得られた領域画像を選択してタイムラプス画像とする選択ステップと、
を有することを特徴とする制御方法。
【請求項１８】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記複数の画像における露光量を求める算出ステップと、
前記間欠的な撮像において、予め定められた時間が経過する毎に得られた画像について露光補正が必要であるか否かを判定する判定ステップと、
前記予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理ステップと、
前記判定ステップで前記露光補正が必要であると判定されると、前記露光量に応じて前記領域画像について露光補正を行う補正ステップと、
を実行させることを特徴とする制御プログラム。
【請求項１９】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理ステップと、
前記指定領域で所定の異常が検知されたか否かを判定する判定ステップと、
前記判定ステップで前記所定の異常が検知されると、新たな前記領域画像を得るため、前記予め定められた時間を変更して被写体を撮像するように制御する制御ステップと、
を実行させることを特徴とする制御プログラム。
【請求項２０】
間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記間欠的な撮像において得られた画像において指定された指定領域における輝度値を所定の時間が経過する毎に算出して基準輝度値情報を得る算出ステップと、
前記間欠的な撮像において予め定められた時間が経過する毎に得られた画像において前記指定領域を切り出して領域画像を得る画像処理ステップと、
前記基準輝度値情報に基づいて、前記輝度値が最も高い時間で得られた領域画像を選択してタイムラプス画像とする選択ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画角内における複数の領域毎に独立して動画を取得する画像処理装置に関する。
【背景技術】
【０００２】
一般に、植物の成長又は建築物の建設過程などを撮影する際には、同一の場所において一定間隔で連続的に撮影を行って得られた画像を繋ぎ合わせて動画を生成するタイムラプス動画撮影およびインターバル動画撮影と呼ばれる手法が知られている。以下、当該手法を用いて取得された動画をタイムラプス動画と総称する。
【０００３】
一方、インターネットおよびイントラネットの普及および高速化によって、ネットワークを利用した動画像および音声の配信が行われている。そして、このような技術を利用して得られた映像および音声を蓄積サーバに保存して管理するネットワークカメラが知られている。
【０００４】
近年、ネットワークカメラにおいて、１つのカメラで広範囲を撮影することが可能な超広角モデル（例えば、３６０°全方位モデル）のカメラを用いたものがある。そして、超広角モデルでタイムラスプ動画撮影を行う際には、画角内の複数の領域毎にタイムラプス動画を生成することで、超広角での被写体観察のみでなく、注目すべき複数領域におけるタイムラプス動画を取得することができる。
【０００５】
ところで、タイムラプス動画を生成する際、撮影シーンおよび撮影設定に応じて動画像および静止画像のいずれかを選択するとともに撮影の間隔などを変更して、撮影状況に拘わらずタイムラプス動画を生成するようにしたものがある（特許文献１）。
【０００６】
さらに、タイムラプス動画を生成する際、定点で撮影した動画像についてトリミング処理を行って、パン操作又はズーム操作を行ったような変化のある動画像を生成するようにしたものがある（特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−１４２３２７号公報
【特許文献２】特開２０１５−６１２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の手法においては、撮影によって得られた画像全体について撮影状況に応じた処理が行えるものの、ユーザが指定した領域毎に処理を行うことは困難である。
【０００９】
さらに、特許文献２に記載の手法においては、撮影によって得られた画像全体について撮影状況に応じてトリミング処理を行うものの、画像全体と領域毎の画像を考慮してタイムラプス動画を生成することは困難である。
【００１０】
つまり、１つの画像から複数の領域を選択して、当該領域毎のタイムラプス動画を得ようとすると、被写体の位置などに起因する影の影響および露出量の相違などによって、領域毎に最適な画像を取得することができない。一方、１つの領域に適合するようにカメラの設定を行うと、指定した領域以外および画像全体が見辛くなってしまう。
【００１１】
そこで、本発明の目的は複数の領域を指定して、当該領域毎にタイムラプス動画を生成するために、領域毎に適正なタイミングで画像を取得することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明による画像処理装置は、間欠的に被写体を撮像することで取得された複数の画像を用いて画像処理を実行する画像処理装置であって、前記複数の画像における露光量を求める算出手段と、前記間欠的な撮像において、予め定められた時間が経過する毎に得られた画像について露光補正が必要であるか否かを判定する第１の判定手段と、前記予め定められた時間が経過する毎に得られた画像において指定された指定領域を切り出して領域画像を得る画像処理手段と、前記第１の判定手段によって前記露光補正が必要であると判定されると、前記露光量に応じて前記領域画像について露光補正を行う補正手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、複数の領域を指定して、当該指定領域毎にタイムラプス動画を生成する際、指定領域毎に適正なタイミングで画像を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による画像処理装置の１つである撮像装置が用いられたネットワークシステムの一例を示すブロック図である。
【図２】図１に示すネットワークシステムで行われるタイムラプラス画像の生成の一例を説明するためのフローチャートである。
【図３】図１に示すカメラで行われるタイムラプス画像の生成を説明するための図である。
【図４】本発明の第２の実施形態に係るネットワークシステムで行われるタイムラプス画像の生成を説明するためのフローチャートである。
【図５】本発明の第３の実施形態に係るネットワークシステムで行われるタイムラプス画像の生成を説明するためのフローチャートである。
【図６】本発明の第３の実施形態によるカメラで行われる異常検知を説明するための図である。
【図７】本発明の第４の実施形態によるカメラで行われる露光補正を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１６】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の１つである撮像装置が用いられたネットワークシステムの一例を示すブロック図である。
【００１７】
撮像装置（以下単にカメラと呼ぶ）１００は、例えば、超広角（３６０°全方位）で撮影を行うことが可能なカメラである。カメラ１００は中央演算処理装置（以下ＣＰＵと呼ぶ）１０４を備えており、ＣＰＵ１０４には、撮像部１０２、各種駆動部１０３、記憶部１０９、記録メディア部１１０、およびネットワーク（ＮＷ）通信部１１１が接続されている。そして、ＮＷ通信部１１１はネットワーク網１１３を介して入出力装置部（外部機器）１１２に接続されている。つまり、外部機器はカメラ１００と接続可能である。図示のように、ＣＰＵ１０４は、画像処理部１０５、エンコーダ部１０６、ＮＷ処理部１０７、およびカメラ制御部１０８を有している。
【００１８】
撮像光学系１０１は、例えば、ズームレンズ、フォーカスレンズ、および絞り機構などを有しており、撮像部１０２にはＣＭＯＳイメージセンサなどの撮像素子（図示せず）が備えられている。各種駆動部１０３はカメラ制御部１０８の制御下で、撮像部１０２および撮像光学系１０１を駆動制御する。
【００１９】
撮像の際には、撮像光学系１０１を介して光学像が撮像素子に結像し、撮像素子は光学像に応じた電気信号（アナログ信号）を生成し、当該アナログ信号をＡ／Ｄ変換してデジタル信号を出力する。この際には、各種駆動部１０３は、カメラ制御部１０８の制御下で撮像光学系１０１を駆動制御して画角、フォーカス、および絞りを調整する。
【００２０】
画像処理部１０５は、撮像部１０２の出力であるデジタル信号を受けて、当該デジタル信号について画質を高める処理および信号レベルを高くするゲイン処理などの所定の画像処理を行って画像データとする。なお、画像処理部１０５は撮像部１０２に対して蓄積電荷をクリアする処理を行う。
【００２１】
さらには、画像処理部１０５は、シャッタースピード、絞り値、およびゲイン処理に係るゲイン値を変更して撮像素子に入射する光の量調整することによって露光制御などを行う。なお、画像処理部１０５で生成された画像データは、カメラ制御部１０８によって記憶部１０９に記憶される。
【００２２】
エンコーダ部１０６は、入出力装置部１１２において映像を表示するため画像データのサイズを変更する圧縮処理などを行って、圧縮映像信号とする。そして、エンコーダ部１０６は圧縮映像信号をＮＷ処理部１０７に送る。
【００２３】
ＮＷ処理部１０７は圧縮映像信号を、ＮＷ通信部１１１を介してネットワーク網１１３に配信する。これによって、入出力装置部１１２はネットワーク網１１３を介して圧縮映像信号を受信する。
【００２４】
入出力装置部１１２には、表示装置（図示せず）が備えられており、入出力装置部１１２は圧縮映像信号に応じてビューワとして表示装置に映像を表示する。これによって、ユーザは、カメラ１００から離れて配置された入出力装置部１１２によって映像における被写体の状態を確認するとともに、カメラ１００の設定変更などを行うことができる。
【００２５】
一般に、上述のカメラ１００はネットワークカメラと呼ばれ、所定の画角において通常監視を行い、さらには、人間の視野角以上の画角において広域監視を行う監視又は観察用のカメラなどとして比較的長い時間で連続的に使用される。
【００２６】
カメラ制御部１０８は、画像処理部１０５で生成された画像データに基づいて、カメラ１００に係るカメラ情報を収集するとともに、被写体を検知して被写体検知情報を得る。さらに、カメラ制御部１０８はＮＷ通信部１１１を介して入出力装置部１１２からの指令などを受けて、当該指令に応じて各種駆動部１０３を制御する。
【００２７】
例えば、カメラ制御部１０８は、入出力装置部１１２から送られたズーム又はフォーカスなどの撮像操作に応じて撮像光学系１０１を制御する。さらに、カメラ制御部１０８は撮影画像（映像）において領域の指定があった場合には、指定領域を切り出す処理を行って、切り出した画像の拡大、縮小、又は回転などの処理を施してタイムラプス画像を生成する。
【００２８】
カメラ制御部１０８は記憶部１０９に対する画像データなどの書き込みおよび読み出し制御を行う。記憶部１０９には、第１の記憶装置（例えば、ＳＤＲＡＭ）および第２の記憶装置（例えば、Ｆｌａｓｈ  ＲＯＭなどの不揮発性メモリ）を有している。ＳＤＲＡＭは高速な書き込みおよび読み出しが可能であるので、カメラ制御部１０８などで実行されるプログラムが展開されるとともに、画像データなどが一時的に記録される。なお、ＳＤＲＡＭは作業領域としても用いられる。Ｆｌａｓｈ  ＲＯＭはプログラムおよび画像データなどを記憶する記憶領域として用いられる。
【００２９】
記録メディア１１０は、例えば、カメラ１００に対して着脱可能な記憶媒体であるメモリカードである。メモリカードがカメラ１００に装着されると、メモリカードはＣＰＵ１０４と電気通信が可能となって、メモリカードに画像データなどを格納することが可能となる。記録メディア１１０には、例えば、ＣＰＵ１０４で生成された画像データが、後述するようにしてタイムラプス動画データとして格納される。
【００３０】
なお、上述の例では、記録メディア１１０としてメモリカードを挙げたが、記録メディア１１０として、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、又はその他の固体メモリ（半導体メモリ）を用いるようにしてもよい。
【００３１】
ＮＷ通信部１１１は、圧縮映像信号をパケット化してネットワーク網１１３を介して入出力装置部１１２に送る。また、ＮＷ通信部１１１は、入出力装置部１１２からコマンド情報（指令）などを受けて、当該コマンド情報をＮＷ処理部１０７に送る。
【００３２】
前述のように、ユーザは入出力装置部１１２に表示された操作画面（ＵＩ画面）を操作することによってカメラ１００を制御することができる。ＵＩ画面の操作によるコマンド情報はネットワーク網１１３を介してＮＷ通信部１１１に送られる。そして、ＮＷ通信部１１１は当該コマンド情報をＮＷ処理部１０７に送られ、エンコーダ部１０６および画像処理部１０５を介してカメラ制御部１０８に送られる。カメラ制御部１０８はコマンド情報に基づいて各種駆動部１０３を制御する。
【００３３】
なお、入出力装置部１１２は、コンピュータ装置、表示装置（表示部）、およびサーバ装置を備えており、ユーザはカメラ１００から送られた圧縮映像信号に応じた映像をビューワとして見ることができる。そして、ユーザは映像を見つつ、カメラ１００を制御（例えば、ズーム）するとともに、映像における領域指定などを行うことができる。また、ネットワーク網１１３は、例えば、インターネットである。
【００３４】
図２は、図１に示すネットワークシステムで行われるタイムラプラス画像の生成の一例を説明するためのフローチャートである。なお、ここでは、画像全体において少なくとも１つの領域を指定し、当該指定された領域を切り出して拡大処理した画像を用いてタイムラプス動画（タイムラプス画像）を生成する場合について説明する。
【００３５】
ユーザは入出力装置部１１２によってタイムラプス画像を生成するための画像選択を行う時刻（タイムラプス画像選択時刻）を設定する（ステップＳ２０１）。つまり、ユーザは、被写体を所定の時間間隔で間欠的に撮像することで被写体の時間的な変化を圧縮した動画像（所謂タイムラプス動画）を生成するために用いる撮影画像（タイムラプス画像）を取得する時刻を選択時刻として設定する。この選択時刻はカメラ１００に送られる。
【００３６】
タイムラプス画像は、被写体を間欠的に撮像することによって得られる。撮像の間隔は通常の動画像と比べて一般に長い。よって、通常の動画においては撮像に要する総時間と再生時間とが略一致するが、タイムラプス動画においては、撮像に要する総時間に対して再生時間が短くなる。
【００３７】
タイムラプス動画では、実際の時間経過を圧縮した状態の動画を取得できるので、植物の成長過程などを効果的に観察することができる。ここでは、一例として、イチゴの成長度合いをタイムラプス動画として取得して、約１ヵ月で開花から成熟まですると想定して、間欠的な撮像間隔を７２時間としてタイムラプス画像を取得する場合について説明する。なお、撮像間隔および総撮像回数（時間）はユーザによって設定可能である。
【００３８】
前述のようにして、カメラ１００で得られた画像（映像）が全体画像として入出力装置部１１２に送られる。ユーザは、入出力装置部１１２に表示された全体画像から所望の領域（少なくとも１つの領域）をタイムラプス画像として用いる領域として指定する（ステップＳ２０２）。
【００３９】
指定された領域は（指定領域）は入出力装置部１１２からカメラ１００に送られる。そして、画像処理部１０５は、カメラ制御部１０８の制御下で指定領域毎にその適正露光量（適正露光値）を算出する（ステップＳ２０３）。なお、適正露光値は、指定領域における輝度平均値がどの程度の明るさであれば指定領域が適切に撮影できたかを決定するために用いられる。
【００４０】
続いて、画像処理部１０５は、全体画像から指定領域を切り出して、当該指定領域に対して補正を行うことができる度合を補正可能量として算出する（ステップＳ２０４）。当該補正可能量は撮像素子において補正可能なゲインによって決定され、例えば、ゲイン±１２ｄＢ（±４倍分）にように数値で決定される。
【００４１】
カメラ制御部１０８は、選択時刻（ここでは、７２時間間隔）に応じて撮像部１０２による撮像を行う（ステップＳ２０５）。そして、カメラ制御部１０８は撮像によって得られた画像において露光補正が必要か否かを判定する（ステップＳ２０６）。なお、露光補正の可否は、ユーザの操作入力に基づく手動設定、または、カメラ内部やネットワーク網を介した外部装置内部での自動選択されるものであればよい。
【００４２】
露光補正が必要であると（ステップＳ２０６において、ＹＥＳ）、カメラ制御部１０８は画像の指定領域が補正範囲内であるか否かを判定する（ステップＳ２０７）。ここでは、カメラ制御部１０８は指定領域における輝度値を算出する。そして、カメラ制御部１０８は当該輝度値と適正露光値を比較して、その比較結果が補正可能量以内であるか否かを判定して、その結果に応じて補正範囲内であるか否かを判定する。
【００４３】
指定領域が補正範囲内であると（ステップＳ２０７において、ＹＥＳ）、カメラ制御部１０８は画像処理部１０５によって画像から指定領域を切り出して領域画像とする（ステップＳ２０８）。そして、カメラ制御部１０８は画像処理部１０５によって領域画像の露光補正を行う（ステップＳ２０９）。
【００４４】
続いて、カメラ制御部１０８は露光補正を行った領域画像を所定のサイズに拡大してタイムラプス画像として選定し、当該タイムラプス画像を記録メディア部１１０に格納する（ステップＳ２１０）。そして、カメラ制御部１０８はタイムラプス画像生成処理を終了する。
【００４５】
指定領域が補正範囲内でないと（ステップＳ２０７において、ＮＯ）、つまり、指定領域が補正不可能な輝度レベルであると、カメラ制御部１０８は当該指定領域に関して撮像を行う選択時刻を変更する（ステップＳ２１１）。例えば、指定領域が暗すぎて撮像素子によるゲイン補正では露光補正が不可能である場合には、カメラ制御部１０８は選択時刻を変更する。そして、カメラ制御部１０８は変更後の選択時刻において撮像部１０２による撮像を行って画像を得る（ステップＳ２１２）。その後、カメラ制御部１０８はステップＳ２０６の処理に戻る。
【００４６】
露光補正が必要でないと（ステップＳ２０６において、ＮＯ）、カメラ制御部１０８は画像処理部１０５によって画像から指定領域を切り出して領域画像とする（ステップＳ２１３）。そして、カメラ制御部１０８は領域画像を所定のサイズに拡大してタイムラプス画像として選定し、当該タイムラプス画像を記録メディア部１１０に格納する（ステップＳ２１４）。その後、カメラ制御部１０８はタイムラプス画像生成処理を終了する。
【００４７】
図３は、図１に示すカメラで行われるタイムラプス画像の生成を説明するための図である。そして、図３（ａ）は全体画像および指定領域を示す図であり、図３（ｂ）乃至図３（ｄ）は指定領域の拡大画像の推移を示す図である。
【００４８】
図３（ａ）において、画像３０１は３６０度全方位モデルのカメラで撮像を行って得られた全体画像である。なお、図示の例では、３６０度全方位モデルのカメラで得られた画像について説明するが、３６０度全方位モデルで得られた画像に限定されない。
【００４９】
いま、ユーザが全体画像３０１において、領域３０２ａ、３０３ａ、および３０４ａを指定したとする。前述のように、選択時刻（ここでは、７２時間）毎に撮像が行われて、選択時刻毎に得られた全体画像３０１から指定領域３０２ａ乃至３０４ａが切り出されて、所定のサイズに拡大される。その結果、図３（ｂ）乃至図３（ｄ）に示す領域画像３０２ｂ乃至３０４ｂが得られる。なお、図３（ｂ）乃至図３（ｄ）は７２時間毎の領域画像が示されている。
【００５０】
図示の例では、領域画像３０２ｂは、全ての選択時刻について適正露光として判定された結果、露光補正が行われない画像である。また、領域画像３０３ｂは、７２時間の際に訂正露光ではないとされたものの補正可能と判定されて、１４４時間以降について露光補正を行った画像である。領域画像３０４ｂは、１４４時間において訂正露光ではないとされかつ補正不可能と判定されて、選択時刻が変更された画像である。領域画像３０４ｂにおいては、センタ時刻が７２時間間隔から７０時間間隔とされ、２１４時間および２８４時間において取得された全体画像から切り出しが行われる。
【００５１】
前述のように、これら領域画像３０２ｂ乃至３０４ｂはタイムラプス画像として記録メディア１１０に記録され、これらライムラプス画像はタイムラプス動画として用いられる。
【００５２】
このように、本発明の第１の実施形態では、指定領域毎に補正可能な領域であるか否か、そして、選択時刻を変える必要があるか否かを判定するようにしたので、指定領域毎に適正なタイミングで画像を取得することができる。
【００５３】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラを備えるネットワークシステムについて説明する。なお、第２の実施形態に係るネットワークシステムの構成は図１に示すネットワークシステムと同様である。
【００５４】
図４は、本発明の第２の実施形態に係るネットワークシステムで行われるタイムラプス画像の生成を説明するためのフローチャートである。なお、図４において、図２に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００５５】
図２で説明したようにして、ユーザは全体画像において指定領域を設定する。まず、画像処理部１０５は、カメラ制御部１０８の制御下で、全体画像の平均輝度値（全体輝度値と呼ぶ）を算出する（ステップＳ４０１）。そして、画像処理部１０５は指定領域の各々の輝度の平均値を平均輝度値（領域輝度値と呼ぶ）として算出する（ステップＳ４０２）。ここでは、指定領域が３つであるとする。
【００５６】
続いて、カメラ制御部１０８はカメラ１００における撮像設定を変更するか否かを判定する判定基準となる輝度閾値を設定する（ステップＳ４０３）。そして、カメラ制御部１０８は全体輝度値と領域輝度値とを比較して比較結果（差分（絶対値））を得る（ステップＳ４０４）。カメラ制御部１０８は比較結果が輝度閾値よりも大きいか否かを判定する（ステップＳ４０５）。
【００５７】
比較結果＞輝度閾値であると（ステップＳ４０５において、ＹＥＳ）、カメラ制御部１０８はカメラ１００の設定（露出設定）をアンダーに調整する（ステップＳ４０６）。例えば、輝度閾値を±２０に設定した場合、全体輝度値が１２０、領域輝度値が１５０であると、差分（領域輝度値−全体輝度値）は＋３０であり、差分＞輝度閾値であるので、露出設定はアンダーに調整される。そして、カメラ制御部１０８は露光補正後の全体画像から指定領域を切り出して得られた領域画像を所定のサイズに拡大した画像について露光補正が必要か否かを判定する（ステップＳ４０７）。
【００５８】
露光補正が必要な場合には（ステップＳ４０７において、ＹＥＳ）、カメラ制御部１０８は、図２で説明したステップＳ２０７の処理に進む。そして、補正範囲内であれば（ステップＳ２０７において、ＹＥＳ）、カメラ制御部１０８はステップＳ２０８の処理に進む。
【００５９】
一方、補正範囲内でない場合には（ステップＳ２０７において、ＮＯ）、カメラ制御部１０８は、補正範囲外の領域画像（補正不可能領域）について再度、平均輝度値を算出する（ステップＳ４１２）。そして、カメラ制御部１０８は全体輝度値と補正不可領域における平均輝度値とを比較して比較結果を得る（ステップＳ４１３）。その後、カメラ制御部１０８はステップＳ４０５の処理に戻る。
【００６０】
露光補正が必要でない場合には（ステップＳ４０７において、ＮＯ）、カメラ制御部１０８は、図２で説明したステップＳ２１３の処理に進む。
【００６１】
比較結果≦輝度閾値であると（輝度閾値以下：ステップＳ４０５において、ＮＯ）、カメラ制御部１０８はカメラ１００の設定（露出設定）をオーバーに調整する（ステップＳ４１６）。その後、カメラ制御部１０８はステップＳ４０７の処理に進む。
【００６２】
このように、本発明の第２の実施形態では、指定領域の各々に合わせてカメラの露出設定を変更すると、指定領域以外が見辛くなる点を回避するため、全体画像と指定領域とのバランスを考慮してタイムラプス画像を生成することができる。
【００６３】
［第３の実施形態］
次に、本発明の第３の実施形態によるカメラを備えるネットワークシステムについて説明する。なお、第３の実施形態に係るネットワークシステムの構成は図１に示すネットワークシステムと同様である。
【００６４】
図５は、本発明の第３の実施形態に係るネットワークシステムで行われるタイムラプス画像の生成を説明するためのフローチャートである。なお、図５において、図２に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００６５】
図２で説明したステップＳ２０２の処理の後、システム制御部１０８は指定領域において異常検知を行う（ステップＳ５０３）。ネットワークカメラにおいては、撮影画像について現フレームと前フレームとを比較して、物体を検知する機能が備えられている。ここでは、カメラ制御部１０８は指定領域においてフレーム間の差分演算を行って得られた比較結果に基づいて異常検知を行う。そして、カメラ制御部１０８は指定領域の各々について異常が検知されたか否かを判定する（ステップＳ５０４）。
【００６６】
異常が検知されると（ステップＳ５０４において、ＹＥＳ）、カメラ制御部１０８は異常の原因（以下異常体と呼ぶ）の種類を判定する（ステップＳ５０５）。ここでは、例えば、カメラ制御部１０８は異常体として手又は人などの物体を検知したか又は指定領域に影成分が存在するかを判定する。
【００６７】
続いて、カメラ制御部１０８は異常体の詩類に応じて、前述の選択時刻を再設定する（ステップＳ５０６）。例えば、異常体の種類が手又は人である場合には、手又は人が通過したタイミングで画像を取得したと想定することができる。このため、カメラ制御部１０８は手又は人が存在しなくなるタイミング、例えば、５分後のタイミングで画像を取得するように選択時刻を変更する。そして、カメラ制御部１０８は変更後の選択時刻における領域画像を取得する（ステップＳ５０７）。
【００６８】
カメラ制御部１０８は、ステップＳ５０７で取得した領域画像をタイムラプス画像として選定して、記録メディア１１０に記録する（ステップＳ５０８）。そして、カメラ制御部１０８はタイムラプス画像の生成処理を終了する。
【００６９】
異常が検知されないと（ステップＳ５０４において、ＮＯ）、カメラ制御部１０８は、ステップＳ２０１で設定したされた選択時刻における領域画像取得する（ステップＳ５０９）。そして、カメラ制御部１０８は、ステップＳ５０９で取得した領域画像をタイムラプス画像として選定して、記録メディア１１０に記録する（ステップＳ５１０）。その後、カメラ制御部１０８はタイムラプス画像の生成処理を終了する。
【００７０】
図６は、本発明の第３の実施形態によるカメラで行われる異常検知を説明するための図である。そして、図６（ａ）は全体画像および指定領域を示す図であり、図６（ｂ）乃至図６（ｄ）は異常検知による選択時刻の変更を説明するための図である。
【００７１】
図６（ａ）において、画像６０１は３６０度全方位モデルのカメラで撮像を行って得られた全体画像である。ユーザが全体画像６０１において、領域６０２ａ、６０３ａ、および６０４ａを指定したとする。前述のように、選択時刻（ここでは、７２時間）毎に撮像が行われて、選択時刻毎に得られた全体画像６０１から指定領域６０２ａ乃至６０４ａが切り出されて、所定のサイズに拡大される。その結果、図６（ｂ）乃至図６（ｄ）に示す領域画像６０２ｂ乃至６０４ｂが得られる。
【００７２】
ここで、領域画像６０２ｂにおいて、異常体として手が検出されたとする。この場合、カメラ制御部１０８は選択時刻を変更して、例えば、５分後に再度撮像を行って領域画像６０２ｂを得る。その結果、５分後の領域画像６０２ｂは手が存在しない画像となる。
【００７３】
同様に、領域画像６０３ｂにおいて、異常体として影が検知されたとする。この場合、カメラ制御部１０８は選択時刻を変更して、例えば、３時間後に再度撮像を行って領域画像６０３ｂを得る。その結果、３時間後の領域画像６０３ｂは影が存在しない画像となる。
【００７４】
なお、領域画像６０４ｂにおいては、異常体が検出されていないので、選択時刻は変更されない。
【００７５】
このように、本発明の第３の実施形態では、指定領域毎に異常検知して、その検知結果に応じて、タイムラプス画像を得る選択時刻を変更するようにしたので、適切なタイムラプス動画を生成することができる。
【００７６】
［第４の実施形態］
次に、本発明の第４の実施形態によるカメラを備えるネットワークシステムについて説明する。なお、第４の実施形態に係るネットワークシステムの構成は図１に示すネットワークシステムと同様である。
【００７７】
図７は、本発明の第４の実施形態によるカメラで行われる露光補正を説明するための図である。そして、図７（ａ）は全体画像および指定領域を示す図であり、図７（ｂ）乃至図７（ｄ）は指定領域における基準となる輝度値の変化の一例を示す図である。また、図７（ｅ）乃至図７（ｇ）は指定領域における輝度値の変化の一例を示す図である。
【００７８】
図７（ａ）において、画像７０１は３６０度全方位モデルのカメラで撮像を行って得られた全体画像である。ユーザが全体画像７０１において、領域７０２ａ、７０３ａ、および７０４ａを指定したとする。
【００７９】
図７（ｂ）〜乃至図７（ｄ）は、それぞれ指定領域７０２ａ乃至７０４ａにおける基準となる輝度値（基準輝度値情報）の変化を示しており、横軸が時刻、縦軸が輝度値であり、ある一日の輝度値の変化を示している。当該輝度値の変化は図１に示す記憶部１０９に予め記録される。なお、図７（ｂ）〜乃至図７（ｄ）においては、それぞれ輝度値のピークは時刻１２：００、１０：００、および１５：００に記録されている。
【００８０】
ここで、カメラ制御部１０８は輝度値がピークとなる時刻をタイムラプス画像取得時刻として設定する。
【００８１】
図７（ｅ）乃至図７（ｇ）において、輝度値７０２ｄ、７０３ｄ、および７０４ｄは図７（ｂ）乃至図７（ｄ）に示す輝度値を示す時刻で撮影した際に得られた指定領域７０２ａ乃至７０４ａにおける輝度値である。例えば、輝度値７０２ｄはピークに対してその輝度が−１０ずれており、輝度値７０３ｄは、ピークに対してその輝度が＋５ずれている。また、輝度値７０４ｄは、ピークに対してその輝度が−５ずれている。
【００８２】
前述のようにして、全体画像７０１から指定領域７０２ａ乃至７０４ａを切り出して得られた領域画像について、拡大処理を行う際に輝度のずれに応じた露光補正が行われる。そして、露光補正後の領域画像をタイムラプス画像として選定する。これによって。各指定領域において最適なタイムラプス画像を生成することができる。
【００８３】
なお、基準輝度値情報については、ある１日の輝度値の変化を用いるようにしたが、基準輝度値については次の場合に更新するようにしてもよい。例えば、天気情報等に基づいて、基準輝度値滋養法を調整処理および更新するようにしてもよい。雨の場合には、全体画像の輝度値は下がるので、露光補正を行えば全体画像は補正される。一方、領域によってより輝度値が下がることもある。このような場合には、当該指定領域についてのみ基準輝度値情報を更新して補正量を調整するようにしてもよい。
【００８４】
このように、本発明の第４の実施形態では、基準輝度値を用いて、指定領域毎にタイムラプス画像を取得する時刻と指定領域毎の露光補正を調整することができる。その結果、環境の変化に対応して適切なタイムラプス画像を生成することができる。
【００８５】
なお、既に得たタイムラプス画像に基づいて対象被写体以外の変化がない領域（時間的に変化が少ない領域）の輝度値を基準輝度値として、全体画像の輝度値と当該基準輝度値とを比較して露光補正を行うようにしてもよい。
【００８６】
さらには、異常体を検知した場合には、異常体の種類に応じて選択時刻を変更するようにしたが、異常体を検知しなくなるまで異常検知を継続するようにしてもよい。
【００８７】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００８８】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００８９】
また、上述した実施形態では、カメラ１００の内部でタイムラプス動画を生成し、ネットワーク網１１３を介して当該タイムラプス動画を外部装置へと転送する構成について説明したが、これに限定されるものではない。例えば、カメラ１００では間欠的に被写体を撮像することで複数のタイムラプス画像のみを取得し、ネットワーク網１１３を介して当該複数のタイムラプス画像を外部装置へと転送し、外部装置においてタイムラプス動画を生成する構成であってもよい。なお、タイムラプス動画の生成以外にも、上述した実施形態における撮像動作以外の各動作や処理については、ネットワーク網１１３を介して外部装置から制御・指示、実行する構成であってもよい。
【００９０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９１】
１０１  撮像光学系
１０２  撮像部
１０３  各種駆動部
１０４  中央演算処理装置（ＣＰＵ）
１０５  画像処理部
１０６  エンコーダ部
１０７  ＮＷ処理部
１０８  カメラ制御部
１１１  ＮＷ（ネットワーク）通信部
１１２  入出力装置部
【図１】
2019021985.tif 000003
【図２】
2019021985.tif 000004
【図３】
2019021985.tif 000005
【図４】
2019021985.tif 000006
【図５】
2019021985.tif 000007
【図６】
2019021985.tif 000008
【図７】
2019021985.tif 000009