(57)【要約】【課題】撮像された被写体から検出された複数の移動体の一覧リストおよびそれぞれの移動体が撮像されている位置情報を効率良く行うことができるようにする。【解決手段】被写体を撮像する撮像素子から画像データの読み出しを行って撮像する撮像手段と、前記撮像手段によって撮像した画像から移動体を検出する移動体検出手段と、前記移動体検出手段によって検出された１つ以上の移動体の一覧を表示装置に表示する表示手段とを設け、撮像センサから全画素範囲の読み出しを行ない、撮像された被写体から移動体が複数検出されたとき、移動体の一覧リストおよびそれぞれの移動体が撮像されている位置情報の表示あるいは送信を行なうようにする。【選択図】図１
2014053722.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像素子から画像データの読み出しを行って撮像する撮像手段と、
前記撮像手段によって撮像した画像から移動体を検出する移動体検出手段と、
前記移動体検出手段によって検出された１つ以上の移動体の一覧を表示装置に表示する表示手段とを有することを特徴とする撮像システム。
【請求項２】
前記移動体検出手段によって検出された移動体の位置情報を取得する位置情報取得手段を備え、
前記表示手段は、前記位置情報取得手段によって取得した移動体の位置情報を、前記撮像手段で撮像した時の画面上に表示することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記移動体検出手段によって検出された１つ以上の移動体の一覧を外部に送信する情報送信部を有することを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記情報送信部は、前記移動体の位置情報として、前記画面上の位置情報を外部に送信することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記撮像手段は、被写体を撮像する撮像素子の全画素から画像データを読み出す第１の撮像モードと、前記撮像素子の一部の画素から画像データを読み出す第２の撮像モードと備え、
前記表示手段は、前記移動体検出手段によって検出された１つ以上の移動体の一覧、または前記位置情報取得手段によって取得した移動体を前記撮像手段で撮像した時の画面上の位置情報から１つ以上を選択することによって、前記移動体に対して前記第２の撮像モードで撮像した画像を前記表示装置に表示することを特徴とする請求項２に記載の撮像システム。
【請求項６】
前記撮像手段は、被写体を撮像する撮像素子の全画素から画像データを読み出す第１の撮像モードと、前記撮像素子の一部の画素から画像データを読み出す第２の撮像モードと備え、
前記情報送信部は、前記移動体検出手段によって検出された１つ以上の移動体の一覧、または前記位置情報取得手段によって取得した移動体を前記撮像手段で撮像した時の画面上の位置情報から１つ以上を選択することによって、前記移動体に対して前記第２の撮像モードで撮像した画像を外部に送信することを特徴とする請求項３に記載の撮像システム。
【請求項７】
被写体を撮像する撮像素子から画像データの読み出しを行って撮像する撮像工程と、
前記撮像工程において撮像した画像から移動体を検出する移動体検出工程と、
前記移動体検出工程において検出された１つ以上の移動体の一覧を表示装置に表示する表示工程とを有することを特徴とする撮像方法。
【請求項８】
前記移動体検出工程において検出された移動体の位置情報を取得する位置情報取得工程を備え、
前記表示工程は、前記位置情報取得工程において取得した移動体の位置情報を、前記撮像工程で撮像した時の画面上に表示することを特徴とする請求項７に記載の撮像方法。
【請求項９】
前記移動体検出工程において検出された１つ以上の移動体の一覧を外部に送信する情報送信工程を有することを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記情報送信工程は、前記移動体の位置情報として、前記画面上の位置情報を外部に送信することを特徴とする請求項９に記載の撮像方法。
【請求項１１】
前記撮像工程は、被写体を撮像する撮像素子の全画素から画像データを読み出す第１の撮像モードと、前記撮像素子の一部の画素から画像データを読み出す第２の撮像モードと備え、
前記表示工程は、前記移動体検出工程において検出された１つ以上の移動体の一覧、または前記位置情報取得工程において取得した移動体を前記撮像工程で撮像した時の画面上の位置情報から１つ以上を選択することによって、前記移動体に対して前記第２の撮像モードで撮像した画像を前記表示装置に表示することを特徴とする請求項８に記載の撮像方法。
【請求項１２】
前記撮像工程は、被写体を撮像する撮像素子の全画素から画像データを読み出す第１の撮像モードと、前記撮像素子の一部の画素から画像データを読み出す第２の撮像モードと備え、
前記情報送信工程は、前記移動体検出工程において検出された１つ以上の移動体の一覧、または前記位置情報取得工程において取得した移動体を前記撮像工程で撮像した時の画面上の位置情報から１つ以上を選択することによって、前記移動体に対して前記第２の撮像モードで撮像した画像を外部に送信することを特徴とする請求項９に記載の撮像方法。
【請求項１３】
被写体を撮像する撮像素子から画像データの読み出しを行って撮像する撮像工程と、
前記撮像工程において撮像した画像から移動体を検出する移動体検出工程と、
前記移動体検出工程において検出された１つ以上の移動体の一覧を表示装置に表示する表示工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像システム及び撮像方法に関し、特に、移動体の認識を行なうことにより、所定の撮影を行ない、画像の表示および送信を行なうために用いて好適な技術に関する。
【背景技術】
【０００２】
監視及びモニタリングカメラシステムでは映像解析技術を利用して、映像中の移動体を検出する技術がある。さらに、検出した被写体の移動体に対してラベルを付加することにより、映像中の移動体を常に捉えるように認識する技術が移動体追尾技術として知られている。これらの技術を利用して、特許文献１では、撮像した画像に移動体を検出すると、移動体を含む特定エリアの画像データのみ全画面映像データから抜き出して外部に送出する技術が開示されている。
【０００３】
また、近年の高画質化が進んだことにより、デジタルカメラ、デジタルビデオカメラに搭載されている撮像素子にCMOSセンサが多く使われるようになった。CMOSセンサは、以前のCCDセンサと比較して、センサ内のアドレス回路により限定されるが、ある程度自由な読み出し制御が可能である。
【０００４】
例えば、読み出しの領域指定を行なうことにより、不要な部分を読み飛ばすことや、数画素おきに読み出し間隔を指定することにより、読み出す画素数は減るが高速化を図ることができる。よって、これらの技術を利用すると、CMOSセンサで数画素おきに間引いて読み出す。そして、高速で撮像された映像に対して、移動体を検出させて、検出された移動体を追尾するように、領域指定で読み出し、高精細で撮像するようにすれば有効な撮像センサを構成することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４７４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像センサの画素数が多画素化した場合、前述のように、撮像センサからの撮像を、全画素範囲の間引き読み出しと、移動体の検出エリアの部分領域の読み出しを時分割で行なう場合。この場合に、検出される移動体の数が多くなるにつれて、撮像した映像をすべて表示したり、あるいは送信するデータは大容量化してくるため送信したりするのは困難となってくる。
本発明は前述の問題点に鑑み、撮像された被写体から検出される移動体の数が多くなった場合でも、複数の移動体の一覧リストおよびそれぞれの移動体が撮像されている位置情報を効率良く表示したり、送信したりできるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像システムは、被写体を撮像する撮像素子から画像データの読み出しを行って撮像する撮像手段と、前記撮像手段によって撮像した画像から移動体を検出する移動体検出手段と、前記移動体検出手段によって検出された１つ以上の移動体の一覧を表示装置に表示する表示手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、所望の移動体の映像を選択することが可能となり、効率よく移動体の映像の表示あるいは送信を行なうことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態の撮像システムの構成例を示すブロック図である。
【図２】本発明の第１の実施形態を示し、第１の画面表示例を示した図である。
【図３】本発明の第１の実施形態を示し、第２の画面表示例を示した図である。
【図４】第２の実施形態を示し、撮像システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（第１の実施形態）
図１は、本発明が適用される撮像システムの構成例を示したブロック図である。
図１において、１０１は撮像センサ部で、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するCMOSなどの撮像素子により構成される。１０２は現像処理部であり、撮像センサ部１０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、RGBあるいはYUVなどのコンポーネント方式のデジタル画像を生成する。
【００１２】
また、現像処理部１０２では、現像を施した後のデジタル画像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行なっている。
【００１３】
１０３は撮像センサ制御部で、移動体検出部１０４からの検出情報により、撮像センサ部１０１に対して、全画素範囲に対して数画素おきの間引き読み出しや、領域を指定した部分読み出しなどを行うような制御を行なう。
【００１４】
移動体検出部１０４は、現像処理部１０２で現像処理、画像処理を施されたデジタル画像に対して、撮影された被写体の移動体の検出を行なう。移動体検出の方法としては、背景差分、フレーム間差分、動きベクトルなど、どのような方法を用いてもよい。さらに、この移動体の一部をテンプレートとして記憶して移動体の追尾も行なうことができるものである。
【００１５】
１０５は描画表示処理部で、撮像センサ制御部１０３からの制御により描画表示処理を行なう。そして、撮像センサ部１０１から部分領域を読み出し撮像されて、現像処理部１０２で現像処理、画像処理を施されたデジタル画像に対して枠を表示し、適当な位置に配置された画面を作成するための適切な処理を行なう。さらに、移動体検出部１０４で検出、追尾された移動体のＩＤとともに一覧リストとその画面上の位置を表したグラフィック描写を前述の画面に重畳させる。
【００１６】
１０６は操作部であり、移動体検出部１０４で検出、追尾された移動体の一覧リストからどの移動体に対して領域を指定した部分読み出しを行ない表示させるかの指示を行なう。操作入力の手段としては、例えば、リモコン、キーボードやマウスなどで行なう。１０７はディスプレイ装置であり、描画表示処理部１０５で作成された画面を表示させる。
【００１７】
前述の構成で、本実施形態の撮像システムの動作の詳細を説明する。
まず、最初は移動体検出部１０４が起動される前、あるいは移動体検出部１０４で被写体に移動体が検出されていない状態を通常状態とする。この通常状態では、撮像センサ制御部１０３は撮像センサ部１０１に対して全画素範囲で読み出しを行なう第１の撮像モードで動作するように制御を行なう。
【００１８】
この通常状態では、被写体に移動体が検出されていないため、撮像して現像処理部１０２で現像処理、画像処理を行なう画像データ量として、処理する速度に余裕があれば全画素範囲の間引きなしで読み出しても構わない。しかし、ある程度の処理する速度を稼ぐ場合には、数画素おきに全画素範囲を間引いて読み出すようにする。
【００１９】
この時、撮像センサ部１０１で撮像され、現像処理部１０２で現像処理、画像処理を施されたデジタル画像は移動体検出部１０４へ出力される。この撮像された映像において、被写体に移動体が検出されていなければ、移動体検出部１０４、描画表示処理部１０５を介して、そのままディスプレイ装置１０７に映像が表示される。
【００２０】
次に、撮像センサ部１０１で撮像された被写体に移動体が検出された時の状態を説明する。
通常状態で、撮像センサ部１０１の全画素範囲で読み出し撮像されているときに、現像処理部１０２から移動体検出部１０４に入力された映像から、移動体検出部１０４が被写体に移動体を検出したとする。
【００２１】
被写体に移動体が検出されると、移動体検出部１０４はその移動体の追尾を行なうことで、識別子となるＩＤを付加し、そのＩＤとともに位置情報を含んだ検出情報の通知を撮像センサ制御部１０３と描画表示処理部１０５へ送る。このとき、撮像センサ部１０１に対して全画素範囲の間引きなしで読み出していた場合、撮像センサ制御部１０３は撮像センサ部１０１に対して全画素範囲の数画素おきの間引き読み出しを行なうように切り換え制御する。
【００２２】
さらに、撮像センサ制御部１０３は、この位置情報を含んだ検出情報を基にターゲットとなる移動体に対して、撮像センサ部１０１で読み出す部分領域を設定し、撮像素子の一部の画素から画像データを読み出す第２の撮像モードで動作するように制御を行なう。第２の撮像モードで動作する場合においても、全画素範囲で読み出しを行なう第１の撮像モードと動作する場合と同様に、前述の全画素範囲の間引き読み出しと時分割で読み出す制御を行なう。検出された移動体が複数であった場合には、最初に検出された移動体に対して、撮像センサ部１０１で読み出す部分領域を設定し、制御を行なうようにする。
【００２３】
一方、移動体のＩＤとともに位置情報を含んだ検出情報の通知を受けた描画表示処理部１０５は、入力された検出情報から位置情報取得処理を行ない、取得した位置情報をディスプレイ装置１０７に表示する。本実施形態においては、移動体のＩＤとともに一覧リストとその画面上の位置を表したグラフィック描写を作成し、ディスプレイ装置１０７に表示させる。この時に、ディスプレイ装置１０７に表示されている映像は、その時点で、撮像センサ部１０１で読み出す部分領域を設定されている移動体の映像である。移動体のＩＤとともに一覧リストとその画面上の位置を表したグラフィック描写では、該当する移動体の項目にハイライト表示（図面では太線の枠で表示している）を行なう。
【００２４】
図２（ａ）にディスプレイ装置１０７に表示される画面の例として画面１１０を示す。
図２（ｂ）中の２００は、時分割で撮像センサ部１０１の全画素範囲で読み出し撮像されている画像であり、ディスプレイ装置１０７で表示されない移動体を検出する基となる画面である。この図２の画面１１０のように、ディスプレイ装置１０７で表示されているときに、ユーザーがハイライトになっていない他の移動体の項目を選択したとする。例えば、画面１１０において、表示再一覧リスト１１１と、画面上の位置を表したグラフィック描写１１２において、「動体０」を選択したとする。
【００２５】
操作部１０６から指示を受けた描画表示処理部１０５は、選択した移動体の位置情報を含んだ検出情報を基にして撮像センサ部１０１で読み出す部分領域を設定し、制御を行なう。これにより、撮像センサ部１０１から対応する移動体の部分領域を読み出して撮像し、現像処理部１０２で現像処理、画像処理を行ない、描画表示処理部１０５に出力する。
【００２６】
描画表示処理部１０５に入力された映像は該当する移動体の項目にハイライト表示のされた移動体のＩＤとともに、一覧リストとその画面上の位置を表したグラフィック描写を重畳してディスプレイ装置１０７に表示させる。前述した例では、ディスプレイ装置１０７に１つの移動体０をハイライト表示させる例であるが、もちろん、複数表示させることも可能である。
【００２７】
図３（ａ）に、複数の移動体が選択されてディスプレイ装置１０７に表示されている画面の例を示す。図３（ａ）においては、被写体の移動体１および３に対して、撮像センサ部１０１で読み出す部分領域を設定されている移動体の映像であり、移動体のＩＤとともに一覧リストの項目にハイライト表示を行なっている。図３（ｂ）においては、被写体の移動体１および３について、画面上の位置を表したグラフィック描写し、該当する移動体１、３についてハイライト表示を行なっている。
【００２８】
（第２の実施形態）
次に、本発明が適用される撮像システムで映像を外部に送信可能に構成した第２の実施形態を説明する。
図４は、映像を外部に送信可能な撮像システムの構成例を示したブロック図である。
図４において、１００は、撮像センサ部１０１で撮像した映像をネットワークの外部へ送信を行なう画像送信装置で、例えば、ネットワークカメラ本体などを表す。
【００２９】
１２０は画像送信装置１００から送信された映像を受信し、表示を行なう映像受信端末である。撮像センサ部１０１からディスプレイ装置１０７までの構成要素は前述の撮像システムで示した機能と同じである。１０８は情報送信部であり、画像送信装置１００で符号化された映像情報をビデオパケットにパケット化処理を行ない、LAN３００に送信する。映像受信端末１２０には、情報受信部１０９が設けられており、LAN３００から受信したビデオパケットをデパケット化し、符号化映像を構成させる。図４中の撮像センサ部１０１〜ディスプレイ装置１０７は、前述で示した構成と同じ機能を持つ構成であり、同じ構成については詳細な説明を省略する。
【００３０】
図４に示した構成で、映像受信端末１２０のディスプレイ装置１０７においても、図２および図３で示した画面のように表示される。もちろん、ユーザーがハイライトになっていない他の移動体の項目を選択した場合、選択した旨の通知を、LAN３００を介して画像送信装置１００の撮像センサ部１０１へ送られる。通知を受けた撮像センサ部１０１は読み出す部分領域を設定し、制御を行なう。
【００３１】
これにより、撮像センサ部１０１から選択された移動体の部分領域を読み出し撮像して現像処理部１０２で現像処理、画像処理を行なって映像情報を作成し、作成した映像情報を、情報送信部１０８を介して映像受信端末１２０へ送られる。ディスプレイ装置１０７には、移動体のＩＤとともに一覧リストとその画面上の位置を表したグラフィック描写が重畳された映像が表示されることになる。
【００３２】
以上の構成で、映像受信端末１２０の操作部１０６からの操作により、LAN３００を介して前述と同様の動作を行なうことが可能となる。これら、画像送信装置１００、映像受信端末１２０の数は、図４で示したように１個に限定されるものではなく、アドレスなどで識別できれば多数存在してもかまわない。
【００３３】
LAN３００に関しても、パケットデータを通すのに十分な帯域があるインターネットやイントラネットなどのネットワークであれば何でもよい。LAN３００への物理的な接続形態として有線だけでなく無線の場合もありうるが、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。
【００３４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
１０１  撮像センサ部、１０２  現像処理部、１０３  撮像センサ制御部、１０４  移動体検出部、１０５  描画表示処理部、１０６  操作部、１０７  ディスプレイ装置
【図１】
2014053722.tif 000003
【図２】
2014053722.tif 000004
【図３】
2014053722.tif 000005
【図４】
2014053722.tif 000006