(57)【要約】      （修正有）【課題】特定範囲のみに合焦した画像を表示でき、指定箇所もしくは移動する被写体の見逃しや無関係の被写体のプライバシ侵害を防止する映像監視システムを提供する。【解決手段】ライトフィールド情報を取得する撮影手段２００と、撮影手段で取得されたライトフィールド情報を取得する撮影情報取得手段１１０、撮影情報取得手段で取得された撮影情報から合焦距離と被写界深度を制御し、特定の位置に合焦した画像を生成する画像生成手段１１１、画像生成手段で生成された画像を表示する画像表示手段１１３、を有する管理端末１００と、を備える。【選択図】図１
2016158205.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールド情報を取得する撮影手段と、
前記撮影手段で取得されたライトフィールド情報を取得する撮影情報取得手段、
前記撮影情報取得手段で取得された撮影情報から合焦距離と被写界深度を制御し、特定の位置に合焦した画像を生成する画像生成手段、
前記画像生成手段で生成された画像を表示する画像表示手段、
を有する管理端末と、
を備えたことを特徴とする映像監視システム。
【請求項２】
前記管理端末は、前記画像生成手段が生成した画像を記録する記憶装置を有することを特徴とする請求項１に記載の映像監視システム。
【請求項３】
前記管理端末は、ユーザの操作により指定された位置を認識する入力解析手段を有し、
前記画像生成手段は、前記入力解析手段が認識した前記指定された位置を前記特定の位置として画像を生成することを特徴とする請求項１または請求項２に記載の映像監視システム。
【請求項４】
前記管理端末は、前記撮影情報取得手段で取得された撮影情報から特定の被写体の位置を認識する画像解析手段を有し、
前記画像生成手段は、前記画像解析手段が認識した前記特定の被写体の位置を前記特定の位置として画像を生成することを特徴とする請求項１または請求項２に記載の映像監視システム。
【請求項５】
前記画像生成手段は、合焦距離または被写界深度が異なる複数の画像を生成し、
前記画像表示手段は、前記画像生成手段が生成した前記複数の画像を同時に表示することを特徴とする請求項１から請求項４のいずれか１項に記載の映像監視システム。
【請求項６】
前記画像生成手段は、合焦距離または被写界深度が異なる複数の画像を生成し、
前記記憶装置は、前記画像生成手段が生成した前記複数の画像を記録することを特徴とする請求項２に記載の映像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影映像を用いて撮影範囲内の被写体を監視する映像監視システムに関するものである。
【背景技術】
【０００２】
映像監視システムにおいて、監視カメラ画像は、できるだけ広い範囲に合焦させる、パンフォーカスの設定で撮影されることがほとんどである。これにより、撮影範囲内で事故などの異常が発生した場合に、いわゆる「ぼけ」のない画像で見たい箇所を確認することが可能となっている。しかし、画像全体に合焦されることにより、監視時に、監視員が漫然と眺めるような状態に陥り、異常発生を見逃すことが起こりうる恐れがある。また、本来見たい箇所以外の被写体にも合焦するため、意図せずに被写体のプライバシを損なう恐れがある。
【０００３】
例えば特許文献１に、撮影画像の特定箇所以外がぼけた状態になるように補正して表示することで画像中の移動するオブジェクトを発見しやすくする手法が開示されている。
一方で、撮影時に様々な入射角の光の束をライトフィールド情報として取得することで、撮影後に画像の合焦距離や被写界深度を任意に変更した画像を生成することができるライトフィールドカメラがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３０３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像監視システムでの撮像においては、撮影場所や撮影環境によって撮影条件が刻々と変化する。従来例である特許文献１の手法では、特定の被写体を発見しやすくしたり、意図せずにプライバシを損なうことを防止できたりするが、この手法を適用するためには、前提として、少なくとも対象とする被写体が鮮明な画像で撮影されている必要がある。しかし、撮影距離や撮影画角、またレンズの性能などにより、撮影距離の異なる被写体が複数存在する場合にその全てを鮮明に撮影することが不可能なケースも存在する。この場合、特許文献１の手法を用いることができない。
【０００６】
本発明は、上述のような課題を解決するもので、映像監視システムの監視カメラとしてライトフィールドカメラを適用し、このカメラの撮影情報を用いて撮影画像の合焦距離と被写界深度を制御し、監視映像として表示することで、特定の被写体を発見しやすくしたりプライバシ保護を実現したりすることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像監視システムは、
ライトフィールド情報を取得する撮影手段と、
前記撮影手段で取得されたライトフィールド情報を取得する撮影情報取得手段、
前記撮影情報取得手段で取得された撮影情報から合焦距離と被写界深度を制御し、特定の位置に合焦した画像を生成する画像生成手段、
前記画像生成手段で生成された画像を表示する画像表示手段、
を有する管理端末と、
を備えたものである。
【発明の効果】
【０００８】
本発明によれば、映像監視システムにライトフィールド情報を用いることにより、特定範囲のみに合焦した画像を表示でき、指定箇所もしくは移動する被写体の見逃しや無関係の被写体のプライバシ侵害を防止する映像監視システムを得ることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による映像監視システムを示す構成図である。
【図２】この発明の実施の形態１による映像監視システムの処理手順の一例を示すフロー図である。
【図３】この発明の実施の形態２による映像監視システムを示す構成図である。
【図４】この発明の実施の形態２による映像監視システムの処理手順の一例を示すフロー図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
本発明の実施の形態１を、図を用いて説明する。
実施の形態１では、映像監視システムにおいて、ユーザ操作によって指定された位置に合焦した画像を表示する例を説明する。図１は、本発明の実施の形態１における映像監視システムに係る構成の一例を示すブロック図である。図２は、本発明の実施形態１における処理手順の一例を示すフロー図である。
【００１１】
はじめに、図１のブロック構成について説明する。
図１において、管理端末１００は映像監視システムにおける管理端末である。記憶装置１０１は、管理端末１００における情報の読み書きが可能な装置である。撮影手段２００は、ライトフィールド情報を取得可能なライトフィールドカメラである。ディスプレイ３００は管理端末の画面を表示するディスプレイである。撮影情報取得手段１１０、画像生成手段１１１、入力解析手段１１２、画像表示手段１１３は、それぞれ管理端末１００が有する機能である。なお、管理端末１００は、例えば汎用ＰＣ（Personal Computer）でもよいし、スマートフォンやタブレット等の携帯端末でもよい。記憶装置１０１は、ハードディスクやＳＳＤ（Solid State Drive）のような内蔵ドライブでもよいし、ＳＤカード（Secure Digital Card）などの外部記録メディアでもよいし、一時記憶メモリ（ＲＡＭ：Random Access Memory）でもよいし、また、管理端末１００とは別の、映像レコーダ等の装置であってもよい。撮影手段２００やディスプレイ３００は、管理端末１００と一体になっていてもよい。
【００１２】
次に、図２の処理ステップで示される動作について説明する。
撮影情報取得手段１１０は、撮影手段２００によって取得されたライトフィールド情報を取得する（ステップＳＴ１０１）。ライトフィールド情報は、３次元空間の多くの光線情報を有しており、ライトフィールド情報を取得した後に、この情報を基に任意に定めた位置に焦点（ピント）を合わせた画像を得ることができる。すなわち、ライトフィールド情報を用いれば、合焦距離や被写界深度を任意に調整した画像を得ることができる。入力解析手段１１２は、ユーザの操作により指定された位置を認識する。すなわち、ユーザの操作で指定された撮影情報内における特定範囲を解析し、指定範囲情報として取得する（ステップＳＴ１０２）。
【００１３】
画像生成手段１１１は、ステップＳＴ１０１で得られたライトフィールド情報から画像を生成する。このとき、ステップＳＴ１０１で得られたライトフィールド情報を基に、ステップＳＴ１０２で得られた指定範囲のみが鮮明な画像となるように焦点を合わせ（合焦し）、それ以外の範囲がぼやける画像、すなわち特定の位置に合焦した画像となるように、合焦距離や被写界深度を調整した画像を生成する（ステップＳＴ１０３）。画像表示手段１１３は、ステップＳＴ１０３で生成された画像をディスプレイ３００に表示する（ステップＳＴ１０４）。
【００１４】
ここで、ステップＳＴ１０１で、取得したライトフィールド情報を記憶装置１０１に記録するようにしてもよい。ステップＳＴ１０３では、撮影情報取得手段１１０からライトフィールド情報を取得しているが、記憶装置１０１が記録するライトフィールド情報を記憶装置１０１から取得してもよい。また、ステップＳＴ１０３で、生成した画像を記憶装置１０１に記録してもよいし、これに併せて生成した画像の基となったライトフィールド情報を削除するようにしてもよい。
【００１５】
以上のように、本発明の実施の形態１によれば、映像監視システムにおいて、ユーザが指定した範囲のみに合焦した画像が表示され、指定範囲を注目しやすくするとともに、指定範囲以外の被写体のプライバシ侵害を抑止することが可能になる。さらに、ライトフィールド情報を利用することにより、撮影されている全ての範囲から合焦範囲を決めることが可能であるため、従来の監視カメラでは複数の被写体に合焦することが不可能であった撮影ケースにおいても上記の効果を得ることができる。
【００１６】
なお、ライトフィールドカメラは、その特性上、撮影時にレンズを絞り込む必要がないため、同じ環境における撮影時に従来の監視カメラよりもシャッタースピードを上げることができ、被写体ブレの少ない鮮明な画像を得ることが可能である。また、特定範囲のみに合焦した画像を記録するようにした場合には、ライトフィールド情報を全て記録する場合に比べて記録容量を削減することができる。
【００１７】
実施の形態２．
本発明の実施の形態２を、図を用いて説明する。実施の形態２では、映像監視システムにおいて、移動する被写体に合焦した画像を表示する例を説明する。図３は、本発明の実施の形態２における映像監視システムに係る構成の一例を示すブロック図である。図４は、本発明の実施の形態２における処理手順の一例を示すフロー図である。
【００１８】
はじめに、図３のブロック構成について説明する。
図３の構成は、入力解析手段１１２の代わりに画像解析手段１１４で構成される点以外は実施の形態１の図１の構成と同じである。
【００１９】
次に、図４の処理ステップで示される動作について説明する。
撮影情報取得手段１１０は、撮影手段２００によって取得されたライトフィールド情報を取得する（ステップＳＴ２０１）。画像生成手段１１１は、ステップＳＴ２０１で得られたライトフィールド情報を基に、撮影範囲の全てに合焦するように合焦距離と被写界深度を調整した画像を生成する（ステップＳＴ２０２）。画像解析手段１１４は、ステップＳＴ２０２で生成された画像を解析し、被写体の位置を取得する（ステップＳＴ２０３）。すなわち、画像解析手段１１４は、撮影情報取得手段１１０で取得された撮影情報から特定の被写体の位置を認識する。画像生成手段１１１は、ステップＳＴ２０１で得られたライトフィールド情報と、ステップＳＴ２０３で得られた被写体位置情報から、特定の位置として被写体撮影範囲のみが合焦し、それ以外の範囲がぼけるように合焦距離と被写界深度を調整した画像を生成する（ステップＳＴ２０４）。画像表示手段１１３は、ステップＳＴ２０４で生成された画像をディスプレイ３００に表示する（ステップＳＴ２０５）。
【００２０】
ここで、ステップＳＴ２０１で、取得したライトフィールド情報を記憶装置１０１に記録するようにしてもよい。ステップＳＴ２０２では、撮影情報取得手段１１０からライトフィールド情報を取得しているが、記憶装置１０１に記録した情報をライトフィールド情報として記憶装置１０１から取得してもよい。ステップＳＴ２０２で、被写体位置を取得する画像解析手法としては、背景差分法、フレーム間差分法、オプティカルフロー検出等、公知の技術を用いることができる。
【００２１】
ステップＳＴ２０４では、生成した画像を記憶装置１０１に記録してもよいし、これと併せて基となったライトフィールド情報を削除してもよい。ステップＳＴ２０３では、複数の被写体を同時に検出できるようにしても良い。複数の被写体が検出された場合に、ステップＳＴ２０４でそれぞれの被写体に対応した画像を複数生成してもよいし、ステップＳＴ２０５でこれらの複数画像を同時に表示してもよい。また、これらの複数の画像を記憶装置１０１に記録するようにしてもよい。
【００２２】
以上のように、本発明の実施の形態２によれば、移動する被写体に常に合焦した画像を表示することができ、被写体の見逃しを防止するとともに、指定範囲以外の被写体のプライバシ侵害を抑止することが可能になる。さらに、ライトフィールド情報を利用することにより、撮影されている全ての範囲から合焦範囲を決めることが可能であるため、従来の監視カメラでは複数の被写体に合焦することが不可能であった撮影ケースにおいても上記の効果を得ることができる。
【００２３】
なお、ライトフィールドカメラは、その特性上、レンズを絞り込む必要がないため、同じ環境における撮影時に従来の監視カメラよりもシャッタースピードを上げることができ、被写体ブレの少ない鮮明な画像を得ることも可能である。また、特定範囲のみに合焦した画像を記録することで、ライトフィールド情報を全て記録する場合に比べて記録容量を削減することができる。
【符号の説明】
【００２４】
１００  管理端末、１０１  記憶装置、１１０  撮影情報取得手段、１１１  画像生成手段、１１２  入力解析手段、１１３  画像表示手段、１１４  画像解析手段、２００  撮影手段、３００  ディスプレイ。
【図１】
2016158205.tif 000003
【図２】
2016158205.tif 000004
【図３】
2016158205.tif 000005
【図４】
2016158205.tif 000006