(57)【要約】【課題】複雑な画像情報処理を高速に実行するセンサシステムを提供する。【解決手段】光センサ３と無線通信手段４とを有する複数のセンサ素子群１と、無線通信手段１３と演算手段１２とを有する複数の中間素子群１０と、無線通信手段２５を有しシステムの管理を行なうシステム管理手段２０とを備え、中間素子群１１は、少なくとも１層以上の複数のレイヤを構成し、各レイヤに属する中間素子１１は、複数のセンサ素子群からの出力、または複数の下位のレイヤに属する中間素子群の演算結果を入力として演算を行なうようにした。【選択図】図１
2009048498.tif 000002
【特許請求の範囲】
【請求項１】
光センサと第１の無線通信手段とを有する複数のセンサ素子群と、第２の無線通信手段と演算手段とを有する複数の中間素子群と、第３の無線通信手段を有しシステムの管理を行なうシステム管理手段とを備え、
前記中間素子群は、少なくとも１層以上の複数のレイヤを構成し、各レイヤに属する中間素子は、複数のセンサ素子群からの出力、または複数の下位のレイヤに属する中間素子群の演算結果を入力として演算を行なうことを特徴とするセンサシステム。
【請求項２】
前記各中間素子及び前記システム管理手段は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群を選択することを特徴とする請求項１記載のセンサシステム。
【請求項３】
前記中間素子群は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群の数が可変であることを特徴とする請求項１又は２記載のセンサシステム。
【請求項４】
前記中間素子群は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群は、前記システム管理手段からの指示に基づいて選択されることを特徴とする請求項２又は３記載のセンサシステム。
【請求項５】
前記演算手段における演算は、前記システム管理手段から変更可能であることを特徴とする請求項１乃至３のいずれかに記載のセンサシステム。
【請求項６】
請求項１乃至４のいずれかに記載のセンサシステムであって、明度情報に対する演算と色度情報に対する演算が相異なることを特徴とするセンサシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無線通信を用いて画像情報に関するセンシングを行なうセンサシステムに関するものである。
【背景技術】
【０００２】
近年、無線通信デバイス及びセンサデバイスの小型化、高性能化に伴い、センサ自身に無線通信機能を持たせることが可能となってきた。このような無線通信機能を有するセンサデバイスをネットワークノードとすることにより、センサネットワークを構築することも可能となりつつある。
例えば、特許文献１には、無線通信機能を有するセンサ素子同士のネットワークを用いて共同的に機能するセンサネットワークが開示されている。
【特許文献１】特開２００４−３８２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像情報の中からエッジの抽出、特定のパターンの検知等を行なう画像情報処理は非常に演算量も多く、処理に長時間を要したり、非常に大規模かつ高価な画像処理機器を必要としたりする。上述した特許文献１のセンサネットワークでは、このような用途への応用が殆ど考慮されていないために、このような用途に用いるとシステム管理手段に過大な負荷がかかってしまい、処理に要する時間を短縮することができないという問題点があった。
また、例えば、撮像エリア内の運動を検知して、光軸を運動体の方向に向け、ズームするような自動追跡機能を有するカメラシステムを考えた場合、このようなカメラシステムでは、撮像部を運動体の方向に向かせる機械的な駆動手段や、光学的なズームを行なうためのズーム駆動手段が必要になり撮像部の小型化や静音化が困難であった。
本発明は、このような点を鑑みてなされたものであり、複雑な画像情報処理を高速に実行するセンサシステムを提供することを目的とする。また本発明は自動追跡機能を有するカメラシステム等に好適なセンサシステムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するため、請求項１記載の発明は、光センサと第１の無線通信手段とを有する複数のセンサ素子群と、第２の無線通信手段と演算手段とを有する複数の中間素子群と、第３の無線通信手段を有しシステムの管理を行なうシステム管理手段とを備え、前記中間素子群は、少なくとも１層以上の複数のレイヤを構成し、各レイヤに属する中間素子は、複数のセンサ素子群からの出力、または複数の下位のレイヤに属する中間素子群の演算結果を入力として演算を行なうことを特徴とする。
請求項２記載の発明は、前記各中間素子及び前記システム管理手段は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群を選択することを特徴とする。
請求項３記載の発明は、前記中間素子群は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群の数が可変であることを特徴とする。
【０００５】
請求項４記載の発明は、前記中間素子群は、入力を受け取る対象のセンサ素子群、または他のレイヤに属する中間素子群は、前記システム管理手段からの指示に基づいて選択されることを特徴とする。
請求項５記載の発明は、前記演算手段における演算は、前記システム管理手段から変更可能であることを特徴とする。
請求項６記載の発明は、請求項１乃至４のいずれかに記載のセンサシステムであって、明度情報に対する演算と色度情報に対する演算が相異なることを特徴とする。
【発明の効果】
【０００６】
本発明のセンサシステムによれば、中間素子群は、少なくとも１層以上の複数のレイヤを構成し、各レイヤに属する中間素子は複数のセンサ素子群からの出力、または複数の下位のレイヤに属する中間素子群の演算結果を入力として演算を行なうようにしているので、複雑な画像情報処理を高速に実行することが可能となる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明のセンサシステムの実施形態について説明する。
図１は、本発明の第１の実施形態に係るセンサシステム全体の構成を示した図、図２は図１に示したセンサシステムの各部の構成を示した図である。
図１に示すセンサシステムは、センサ素子アレイ１、中間素子レイヤ１０、システム管理手段２０により構成される。
センサ素子アレイ１は、図２（ａ）に示すように、２次元のアレイ状に配置された複数のセンサ素子２より構成される。各センサ素子２は、図２（ｂ）に示すように、ＣＣＤ、ＣＭＯＳ等からなる光センサ３とアンテナ５を含む無線通信手段（第１の無線通信手段）４とにより構成される。
中間素子アレイ１０の各中間素子１１は、図２（ｃ）に示すように、演算手段１２とアンテナ１４を含む無線通信手段（第２の無線通信手段）１３とにより構成される。
システム管理手段２０は、図２（ｄ）に示すように、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、磁気記録媒体等のコンピュータ読み取り可能な記録媒体２４、アンテナ２６を含む無線通信手段（第３の無線通信手段）２５を備え、これらがＢＵＳ２７を介して接続されている。
【０００８】
図３は、本実施形態のセンサシステムをカメラシステムの結像光学系に適用した場合の概略構成を示した図である。この場合、センサ素子アレイ１のセンサ面は、結像光学系の像面とほぼ一致するように配置する。また、中間素子レイヤ１０の各中間素子１１は１枚の基盤上にアレイ状に構成されている。なお、中間素子１１はアレイ状の構成に限らず、個々独立に存在していてもよく、センサ素子アレイ１から無線通信可能な距離内に存在すればよい。またシステム管理手段２０は中間素子レイヤ１０と無線通信可能な距離内に設けるようにする。
この場合、中間素子レイヤ１０の各中間素子１１は、図４に示すようにセンサ素子アレイ１の各々センサ素子２と無線通信を行ってデータを受け取る。この際、各中間素子１１が各々情報を受け取るべきセンサ素子２を識別するために、センサ素子２は各々固有の識別ＩＤを有し、この情報をセンシングした情報と共に無線発信し、中間素子レイヤ１０の中間素子１１は、この識別ＩＤによって各々受信すべき情報を選別する。
同様に、中間素子１１も各々固有の識別ＩＤを有し、演算結果と共にこの識別ＩＤを無線発信する。センサ素子１１の空間的配置に関する情報と、中間素子１１がどのセンサ素子２からの情報を受け取りどのような演算を行なうかに関する情報を予め保持しているシステム管理手段２０は、この識別ＩＤによって情報の発信元を特定する。
【０００９】
次に、第１の実施形態のセンサシステムの画像情報処理について説明する。なお、第１の実施形態では、画像情報処理の一例としてエッジ抽出を行う場合を例に挙げて説明する。
画像情報の中からエッジを抽出するには、図５に一次元化して示すような重み（横軸：距離／縦軸：重み）を有するＬＯＧ（Laplacian of Gaussian）フィルタ等を、対象画像に畳み込むフィルタリング処理が一般的である。
例えば、ｍ画素×ｎ画素の画像にａ×ａ画素のフィルタを畳み込むと（ｍ≧ａ，ｎ≧ａ）、（ｍ−ａ＋１）×（ｎ−ａ＋１）×ａ×ａ回の積和演算を行なわなくてはならない。
そこで、本実施形態においては、図６に示すように、ｍ×ｎ個のセンサ素子アレイに対して、（ｍ−ａ＋１）×（ｎ−ａ＋１）個の中間素子レイヤ１０を設け、各中間素子１１が並列で演算を行なうことにより、演算回数を（ｍ−ａ＋１）×（ｎ−ａ＋１）分の１に削減することが可能となる。なお、図６においては、中間素子１１を特定するために便宜上（ｉ，ｊ）等の座標系を用いているが、実際には中間素子群は必ずしもアレイ状に配置されている必要はない。このような構成とすることにより、中間素子レイヤ１０は、センサ素子アレイ１に近接して配置する必要がないため、設置場所に対する自由度が高くなる。
【００１０】
また、中間素子１１が演算に用いるフィルタをシステム管理手段２０から無線通信を介して変更することによりエッジ以外の様々なパターンの検知も可能である。
なお、本実施形態では中間素子１１の数を（ｍ−ａ＋１）×（ｎ−ａ＋１）個としたが、これはあくまでも一例であり、中間素子１１の数はこれよりも少ない数でよい。本実施形態では、中間素子１１の数をセンサ素子２の数の１／４とした。
さらに、従来のセンサネットワークを用いた方法ではズームを行うのにズーム光学系を用いるか、大容量のメモリ及び高速なＣＰＵを用いてソフト的な補間演算を行なうしか方法がなかったが、本実施形態のセンサシステムをカメラシステムに適用した場合は、センサ部を分散することにより撮像部の駆動系は不必要になるという利点がある。
【００１１】
次に、第１の実施形態のセンサシステムによる他の画像情報処理について説明する。
図７、図８は中間素子レイヤの中間素子とセンサ素子アレイのセンサ素子の接続の様子を模式的に示した図である。
図７は、ある時刻ｔにおける中間素子レイヤ１０の中間素子１１とセンサ素子アレイ１のセンサ素子２の接続の様子を模式的に示した図であり、この場合、各中間素子１１がａ×ａ回の積和演算からなるフィルタリング演算を終了すると（時刻ｔ＋Δｔ）、各中間素子１１は通信を行なう対象のセンサ素子２を、図８のように変更する。各々の中間素子１１は、これを図９に示すように、４近傍のセンサ素子群がなす領域に対して繰り返す。
このような構成にすることにより、通常のフィルタリング演算と比較して少ない演算回数で行うことができるので、中間素子１１の数を削減することが可能となる。
【００１２】
次に本発明の第２の実施形態に係るセンサシステムの構成例を示す。
図１０は第２の実施形態に係るセンサシステム全体の構成を示した図である。なお、センサシステムの各部の構成は図２と同一であるので、ここでは説明を省略する。
この図１０に示す第２の実施形態に係るセンサシステムでは、中間素子群からなる中間素子レイヤを２層設け、下層側の中間素子レイヤ１０ａに属する中間素子１１ａ（（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１））は、各々３×３のセンサ素子２と通信を行なう。各中間素子１１ａは、センサ素子２からのデータに対し、図１１に示すようなフィルタを用いてフィルタリング演算（３×３の積和演算）を行なう。各中間素子２は、各々図１２に示すような領域に対して演算を行なう。
これら４個の下位の中間素子１１ａと通信を行なう上位の中間素子１１ｂでは、４個の中間素子１１ａから得られる各積和演算結果の和を計算し、この値を所定の閾値と比較した結果をシステム管理手段２０に伝達する。このような中間素子レイヤ１０ｂからの出力は、図１２に示すように、白で表されたセンサ素子２の出力が低く、黒で示したセンサ素子２の出力が高い場合に最も大きくなるため、このような構成にすることにより、例えばセンサ素子アレイ１上に結像する像のうち長さ４画素以上の斜線を検知することが可能となる。
なお、第２の実施形態においては、長さ４画素以上の斜線を例に挙げて示したが、各中間素子１１が演算に用いるフィルタをシステム管理手段２０より無線通信にて変更することにより、さらに複雑なパターンの検知も可能となる。
【００１３】
次に、本発明の第３の実施形態に係るセンサシステムについて説明する。なお、第３の実施形態に係るセンサシステム全体の構成は、第１の実施形態と同一であるため、説明は省略する。
第３の実施形態に係るセンサシステムでは、まず、図１３に示すように、中間素子レイヤ１０は、粗い空間間隔でセンサ素子アレイ１と通信を行う。中間素子１１は、所定の時間間隔で対象となるセンサ素子２の出力の変化の検出を行なう。特定のセンサ素子２にて出力の変化が検出されると、システム管理手段２０は中間素子１１とセンサ素子２の接続を変更し、各中間素子１１は、図１４に示すように、変化が検出されたセンサ素子２周辺の領域のセンサ素子２群と空間的に密に接続する。このような構成にすることにより、運動物体を検知し運動物体を詳細にセンシングすることが可能となる。
同時に中間素子１１群で上述してきたフィルタリング演算を実施することも可能であるため、人物の顔といった特定のパターンのみを抽出することも可能となる。このような構成にすることにより、ズーム光学系を用いたり、大容量のメモリ及び高速なＣＰＵを用いてソフト的な補間演算を行なったりすることなく、運動物体の検出、ズームが可能となる。本実施例の応用例としては、例えば防犯カメラシステム等が考えられる。また、中間素子１１と通信を行なわないセンサ素子２の消費電力を低減することも可能である。
【００１４】
次に、本発明の第４の実施形態に係るセンサシステムについて説明する。なお、第４の実施形態に係るセンサシステム全体の構成は、第１の実施形態と同一であるため、説明は省略する。
第４の実施形態に係るセンサシステムでは、図１５に示すように、センサ素子２上の光センサにカラーフィルタを設ける等することによりＲＧＢの色光を検知する３種類の光センサ３Ｒ、３Ｇ、３Ｂを配設する。この場合、各中間素子１１は各々輝度情報、赤−緑軸方向の色度情報、青−黄軸方向の色度情報のみを抽出して演算を行なう。
ＲＧＢ信号からこのような反対色応答の信号を得るためには、センサＲＧＢのカラープロファイルを用いて変換を行ってもよいが、簡易的には、輝度情報は各光センサの出力に対してＲ、Ｇ、Ｂの和をとれば良く、赤−緑軸方向の色度情報は各光センサのＲとＧの差分をとれば良く、青−黄軸方向の色度情報は各光センサの出力からＢ−（Ｒ＋Ｇ）の演算を実施してすることによっても得られる。
【００１５】
図１６に示すように第４の実施形態のセンサシステムにおいて、輝度情報を取り扱う中間素子１１は、センサ素子２群からの入力に対して図１７に一次元化して示すような重み（横軸：距離／縦軸：重み）を有するフィルタを畳み込み、赤−緑軸方向及び青−黄軸方向の色度軸に対応した情報を取り扱う中間素子は、センサ素子群からの入力に対して図１８に示すような重みを有するフィルタを畳み込む。人間の視覚系は受容野構造により輝度情報に対しては空間周波数的に低周波にピークを有するバンドパス型の特性を示し、色度情報に対してはローパス型の応答を示すが、人間の視覚系の受容野構造を模倣するようにした。
このように本実施形態では、明度情報に対する演算と色度情報に対する演算が相異なるような構成とすることによって、センサ部と画像処理部を独立なユニットとして空間的に分離可能な無線ネットワークの利点をいかしつつ、より人間の視覚に即した画像処理を実施することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係るセンサシステム全体の構成を示した図である。
【図２】第１の実施形態に係るセンサシステムの各部の構成を示した図である。
【図３】本実施形態のセンサシステムをカメラシステムの結像光学系に適用した場合の概略構成を示した図である。
【図４】中間素子とセンサ素子との間の無線通信の様子を模式的に示した図である。
【図５】ＬＯＧフィルタの特性を示した図である。
【図６】本実施形態のセンサシステムの画像情報処理の説明図である。
【図７】中間素子レイヤの中間素子とセンサ素子アレイのセンサ素子の接続の様子を模式的に示した図である。
【図８】中間素子レイヤの中間素子とセンサ素子アレイのセンサ素子の接続の様子を模式的に示した図である。
【図９】本実施形態のセンサシステムにおける他の画像情報処理の説明図である。
【図１０】第２の実施形態に係るセンサシステム全体の構成を示した図である。
【図１１】第２の実施形態のセンサシステムの画像情報処理の説明図である。
【図１２】第２の実施形態のセンサシステムの画像情報処理の説明図である。
【図１３】第３の実施形態に係るセンサシステムにおける中間素子レイヤの中間素子とセンサ素子アレイのセンサ素子の接続の様子を模式的に示した図である。
【図１４】第３の実施形態に係るセンサシステムにおける中間素子レイヤの中間素子とセンサ素子アレイのセンサ素子の接続の様子を模式的に示した図である。
【図１５】第４の実施形態に係るセンサシステムにおけるセンサ素子の構成を示した図である。
【図１６】第４の実施形態に係るセンサシステム全体の構成を示した図である。
【図１７】第４の実施形態に係るセンサシステムにおけるＬＯＧフィルタの特性を示した図である。
【図１８】第４の実施形態に係るセンサシステムにおけるＬＯＧフィルタの特性を示した図である。
【符号の説明】
【００１７】
１…センサ素子アレイ、１０…中間素子レイヤ、２０…システム管理手段、２…センサ素子、３…光センサ、４  １３  ２５…無線通信手段、５  １４  ２６…アンテナ、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…記録媒体、２７…ＢＵＳ
【図１】
2009048498.tif 000003
【図２】
2009048498.tif 000004
【図３】
2009048498.tif 000005
【図４】
2009048498.tif 000006
【図５】
2009048498.tif 000007
【図６】
2009048498.tif 000008
【図７】
2009048498.tif 000009
【図８】
2009048498.tif 000010
【図９】
2009048498.tif 000011
【図１０】
2009048498.tif 000012
【図１１】
2009048498.tif 000013
【図１２】
2009048498.tif 000014
【図１３】
2009048498.tif 000015
【図１４】
2009048498.tif 000016
【図１５】
2009048498.tif 000017
【図１６】
2009048498.tif 000018
【図１７】
2009048498.tif 000019
【図１８】
2009048498.tif 000020