(57)【要約】  レンズを有し画像を捕捉する画像センサと、画像処理ユニットと、任意選択的にメモリユニットとを有するビジョンシステムが開示される。画像処理ユニットは、画像の選択された領域について、過去からのフレームのセットを捕捉し及び／又はメモリに記憶する。画像の領域への分割及び／又は過去からのフレームの数は、レンズパラメータ、画像センサの位置及び／若しくは向き、又は、捕捉画像の画像パラメータに依存する。
2015515169.tif 000002
【特許請求の範囲】
【請求項１】
画像を捕捉する画像センサと、
画像センサパラメータを確立するセンサ設定確認手段と、前記画像センサによって撮られた画像を分析し、画像パラメータを確立する画像分析手段とのうちの少なくとも１つと、
確立された前記画像センサパラメータ及び／又は確立された前記画像パラメータに応じて、前記画像を領域に分割し、各領域にメモリに記憶されるフレームの数を割り当てる画像分割手段と、
を含む、ビジョンシステム。
【請求項２】
画像領域へのフレームの数の前記割り当てに従って、画像領域のフレームを記憶するメモリを更に含む、請求項１に記載のビジョンシステム。
【請求項３】
前記センサ設定確認手段は、前記画像センサのレンズパラメータ及び／又は前記画像センサの位置又は向きに関する情報を捕捉し、記憶し及び／又は計算する手段を含み、
前記画像分析手段は、前記画像における輝度値、前記画像における動き検出及び／又は過去の画像フレームにおいて検出された動きに関する情報を捕捉し、記憶し及び／又は計算する手段を含む、請求項１又は２に記載のビジョンシステム。
【請求項４】
前記画像センサは更に、広角レンズを含み、前記画像を領域に分割することと各領域にメモリに記憶されるフレームの数を割り当てることとは、前記広角レンズのレンズパラメータに応じてなされる、請求項３に記載のビジョンシステム。
【請求項５】
前記画像センサは、視野を捕捉するように位置付けられ及び／又は方向付けられ、前記画像を領域に分割することと各領域にメモリに記憶されるフレームの数を割り当てることとは、前記画像センサの前記視野に応じてなされる、請求項４に記載のビジョンシステム。
【請求項６】
前記メモリから前記画像分割手段へのメモリフィードバックループを更に含み、前記画像を領域に分割することと各領域にメモリに記憶されるフレームの数を割り当てることとは更に、フィードバックされたメモリ情報に応じてなされる、請求項２に記載のビジョンシステム。
【請求項７】
画像領域についてメモリに記憶された前記フレームを処理して、前記画像領域における画質を増加させ、及び／又は、前記画像領域における動き検出品質を増加させる後処理手段を更に含む、請求項１乃至６の何れか一項に記載のビジョンシステム。
【請求項８】
画像センサによって捕捉された画像を処理する方法であって、
前記画像センサを使用して画像を捕捉するステップと、
前記画像センサによって捕捉された前記画像の分析を介して、画像センサパラメータ及び画像パラメータのうちの少なくとも１つを確立するステップと、
確立された前記画像センサパラメータ及び／又は画像パラメータに応じて、前記画像を領域に分割するステップと、
各領域に、メモリに記憶されるフレームの数を割り当てるステップと、
各領域の前記フレームを前記メモリに記憶するステップと、
を含む、方法。
【請求項９】
前記少なくとも１つの画像センサパラメータは、前記画像センサのレンズパラメータ並びに前記画像センサの位置及び／又は向きのうちの１つである、請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの画像パラメータは、前記画像における輝度値、前記画像における動き検出、及び過去の画像フレームにおいて検出される動きのうちの１つである、請求項８又は９に記載の方法。
【請求項１１】
前記メモリからフィードバック情報を取り出すステップと、前記メモリから取り出された前記フィードバック情報に基づいて、前記画像を領域に分割し、各領域にフレームの数を割り当てるステップと、を更に含む、請求項８乃至１０の何れか一項に記載の方法。
【請求項１２】
画像領域についてメモリに記憶される前記フレームを、前記画像領域における画質を増加させ、及び／又は、前記画像領域における動き検出品質を増加させるように後処理するステップを更に含む、請求項８乃至１１の何れか一項に記載の方法。
【請求項１３】
コンピュータにロードされ実行されると、請求項８乃至１２の何れか一項に記載される方法を実行するコンピュータプログラム。
【請求項１４】
画像センサからの画像をメモリに記憶するための画像処理データ信号であって、前記画像の領域への分割に関する情報と、各領域について、前記メモリに記憶されるフレームの数に関する情報とを含む、信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサと、当該画像センサによって撮られた画像を分析する手段とを含むビジョンシステムに関する。
【背景技術】
【０００２】
視野の画像を提供する画像センサは、監視、環境モニタリング、ロボットナビゲーション、及び、更に人の存在が検出されると街灯が点灯されるフィリップス社製ルミモーション（LumiMotion）街灯といったビジョンアプリケーションにおいて広く使用されている。
【０００３】
これらの画像センサは、広い視野を提供する一方で、更に小型かつ安価であることが好適である。広い視野を利用することの不利点は、画像の歪みと、外縁に向かって照度が失われることである。これらの不利点は、常に存在しているが、広角レンズ及び魚眼レンズが使用される場合に特に顕著である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらの欠点を減少させるための解決策が利用可能である一方で、これらの解決策の多くは、例えば画像センサでは、カスタマイズされたレンズによって外縁における画素解像度を上げなくてはならないことによって、及び／又は、画像を分析する手段では、メモリ記憶装置等の要件を高める計算力を求める高度なビデオ処理を使用しなくてならないことによって、費用を大幅に高くする。
【課題を解決するための手段】
【０００５】
これらの不利点を少なくとも部分的に解決し、高価なハードウェアを必要としないか又は必要としても低い度合で必要とし、割り当てられるメモリ量を削減し、及び／又は、ソフトウェア適応に基づいた方法に対し複雑なビデオ処理を必要としない解決策を提供するために、本発明のビジョンシステムは、
画像センサパラメータを確立するセンサ設定確認手段と、画像センサによって撮られた画像を分析し、画像パラメータを確立する画像分析手段とのうちの少なくとも１つと、
確立された画像センサパラメータ及び／又は確立された画像パラメータに応じて、画像を領域に分割し、各領域にメモリに記憶されるフレームの数を割り当てる画像分割手段と、を含む。
【０００６】
したがって、画像、又は、画像の少なくとも一部は、領域に分割され、メモリに記憶されるフレームの数は、様々な領域に対して異なり、一部の領域は、小さい数のフレームを使用し、一部の領域は大きい数のフレームを使用する。
【０００７】
視野を、幾つかの領域に分割（当該分割は、画像捕捉パラメータ（レンズパラメータ又は画像センサの位置及び／又はその向き等）及び／又は捕捉された画像のパラメータ（画像の一部における輝度分布及び／又は動き検出等）に依存する）し、上記領域に、メモリに記憶されるフレームの数を割り当てることによって、フレームメモリに対する要件、及び／又は、計算力に対する要件は減少される一方で、良質な画像が依然として提供される。
【０００８】
したがって、本発明の最も広い意味において、メモリは、ビジョンシステムとは別個であってもよい。このような実施形態では、ビジョンシステムは、メモリに必要なメモリサイズを減少させる。メモリは、ハードウェアであろうとソフトウェアであろうと任意のデータ記憶デバイスであってよい。同様のことが、本発明に係る方法についても言える。当該方法は、実施形態では、記憶されるデータを提供する方法である。
【０００９】
幾つかの実施形態では、メモリは、ビジョンシステム内に含まれ、当該システムは、領域への分割と、各領域について記憶されるフレームの数の割り当てとに従って、画像データをメモリに記憶する手段を有する。
【００１０】
幾つかの実施形態では、画像を分割する手段は、
画像センサのレンズパラメータ、
画像センサの位置及び／又は向き、
画像における輝度値、
画像における動き検出、及び／又は、
過去の画像フレームにおいて検出される動きに関する情報を捕捉し、記憶し、及び／又は計算する手段を含む。
【００１１】
１つの好適な実施形態では、画像センサは、広角レンズを含み、１領域あたりに記憶されるフレームの数は、その広角レンズのレンズパラメータに依存する。例えば１つの好適な実施形態では、画像は、画像の中心からの距離に依存して領域に分割され、画像の外縁により近い領域について、より多くのフレームが記憶される。中心からの距離が大きい領域について大きい数の過去フレームを合計することにより、（適応）累積露光を計算することができる。この実施形態は、輝度問題、即ち、外縁における照度損失を解決し、ノイズ量を減少させ、また、複数のフレームを合計又は加算しても、視野の外縁における動作は、視野の中心における同様の動作に比べて少ない画素上に結像されるので、実質的なモーションブラー（動作によるぼやけ）も導入しない。
【００１２】
一実施形態において、画像を領域に分割するために使用される情報は、画像センサのレンズパラメータ、更には、視野に対する画像センサの位置及び／又は向きに関する情報を提供する。カメラは、多くの場合、壁付近の天井又は隅に置かれ、その視野は、天井から離れ地面に向かう。このセットアップは、画像の一端が近くの被写体を示す一方で、別の端は離れているという特定の画像の歪みをもたらす。この場合、画像を複数のバンドに分割することが有利である。近くの被写体を表すバンドについて、離れた被写体を表す画像バンドにおけるよりも少ない数の過去フレームが合計される。
【００１３】
一実施形態では、当該情報は、画像の領域における輝度値に関する情報を提供する。明るい画像領域については、暗い画像領域についてよりも少ない数の過去フレームが合計される。これも、必要となるメモリ量を削減する。
【００１４】
本発明は、専門的な及び消費者照明器具並びに照明システムに組み込まれる又はそれらと協働するビジョンシステム、更には例えばロボット掃除機といったロボット電化製品用のビジョンシステムを含む様々なビジョンシステムに適用可能である。
【００１５】
画像を領域に分割する、即ち、カメラの視野を領域に分割するために使用される情報は、例えばレンズの特性によって与えられる固定パラメータである１つ以上のレンズパラメータといった静的情報であってよい。この場合、ビジョンシステムが、この静的情報をセンサに与えるか、又は、センサが固定設定として当該情報を組み込んでいてもよい。他の実施形態では、当該情報は、動的であってもよい。動的情報の例は、画像センサの位置及び向き、画像における光の分布（即ち、暗い領域対明るい領域）、特定の領域における現在又は過去の動き検出といった動きに関連するパラメータ等に関する。画像の領域への分割は、画像捕捉において直接行われてもよい。これは、特に例えば１つ以上のレンズパラメータに関する静的情報が使用される場合には有利である。又は、当該分割は、画像データの分析の後でかつデータをメモリに記憶する前に行われてもよい。メモリは、分析を促進するように（過去の）情報を提供してもよい。同様に、メモリに記憶されたデータが後処理に使用される場合、一実施形態では、ポストプロセッサは、フィードバックループを介して、後処理の結果に関する情報を、画像を分割する手段及び／又は領域について記憶されるフレームの数を割り当てる手段に提供する。画像後処理からのフィードバックは、プロセスの微調整を向上させる。
【図面の簡単な説明】
【００１６】
これらの及び他の目的、並びに有利な態様は、以下の図面を使用して説明される例示的な実施形態から明らかとなろう。
【００１７】
【図１】図１は、魚眼レンズからもたらされる画像の歪みを示す。
【図２】図２は、画像の様々な部分に割り当てられる幾つかのフレームを示す。
【図３】図３は、メモリ使用量の割合を示す。
【図４】図４は、画像の分割とフレームを累積した結果とを更に示す。
【図５】図５は、画像を分割する別の実施形態を示す。
【図６】図６は、１０フレームまでの合計を示す。
【図７】図７は、本発明の一実施形態で得られた結果を示す。
【図８】図８は、本発明に係るシステムの一実施形態を示す。
【図９】図９は、本発明に係るシステムの別の実施形態を示す。
【図１０】図１０は、本発明に係るシステムの更なる実施形態を示す。
【００１８】
図面は、縮尺通りに描かれているわけではない。一般に、図面中、同一の構成要素は同じ参照符号によって示されている。
【発明を実施するための形態】
【００１９】
図１に、ビジョンシステムに関連する問題の幾つかのうちの第１の例が示される。
【００２０】
広角レンズ及び魚眼レンズは、広い視野を提供する一方で、小型かつ安価であるため、監視、環境モニタリング、ロボットナビゲーション等といったビジョンアプリケーションにおいて広く使用されている。例えばフィリップス社製ルミモーション（LumiMotion）スマート街灯は、照明器具付近の人の存在を検出するために使用される魚眼カメラを含み、それに基づいて、通常は減光状態にある街灯を点灯させる。図１の左に、ルミモーションシステムの魚眼カメラで捕捉された通常のチェッカーボードの写真が示される。魚眼撮像システムで撮られた画像は、当該写真に見られるような特徴的な歪んだ外観を有する。即ち、光軸からの距離が増加するにつれて、画像の倍率が減少し、画像は、半球体にマッピングされたかのように見える。これらのレンズによって導入される歪みは、現実世界の座標から像面への被写体の変換において、その直進性を保持しない。現実世界における直線は、歪んだ像面では円形部分として見える。魚眼レンズによって導入される別の周知の歪みは、カメラシステムの構造によって、画像の外縁に向かって輝度が失われることである。この歪みは、魚眼レンズがその隣に設置されている減光された照明器具によって放射された僅かな光のみを使用して夜間作動するルミモーションシステムでは特に有害である。当該システムで捕捉された画像は、図１の右に見られるように、外縁において非常に暗い。
【００２１】
魚眼カメラで撮られた画像が、表示される、及び／又は、捕捉されたシーンの内容、シーン内の被写体の推定される大きさ及び速度等について情報を抽出するために処理される必要がある場合、広角レンズによって導入される歪みを考慮することが重要である。この問題は、コンピュータグラフィックス及びコンピュータビジョンにおいては良く知られており、魚眼画像を修正するために一連の技術が開発されている。広角レンズによる歪みを有する画像を対処する一般的な方法は、魚眼カメラシステムを較正し、出力画像を修正し、修正された画像を標準的なビデオ処理技術を使用して処理する方法である。非常に似た方法では、ビデオ処理技術が、歪みを有する画像に直接適用され、処理の結果物が、次に、カメラ較正データを使用して修正されてもよい。
【００２２】
既知のコンピュータビジョン技術は、実施は簡単だが、視野角が制限されているレンズに対してのみ、又は、魚眼カメラシステムの中心領域に対してのみ、効果的である。これには２つの主な理由がある。即ち、
１．魚眼カメラは、画像の境界において極端な歪みをもたらす。画像の外縁領域における解像度は非常に低く、したがって、画像の当該部分における情報は、「作成する」ことができない。単に、情報がそこにない。
２．外縁領域からセンサに到達する光の量は非常に低い。
【００２３】
上で強調されている通り、この問題は、ルミモーションシステムのように夜間に作動するシステムや、主光源がカメラに隣接するシステムにおいて特に顕著であるが、他のビジョンシステムにおいても、通常は、程度が低いものの、存在する。幾つかの解決策が、これらの問題の軽減又は解決に役立っている。
【００２４】
中心におけるよりも外縁において高い解像度を有するようにカスタムデザインされているセンサ及びレンズシステムが、理論上、実施可能である。しかし、このような解決策は、非常に高価であり、歪みの問題を軽減するに過ぎない。画像の外縁における光度を増加させるもう１つの態様は、撮像デバイスの露光時間を増加させることである。しかし、これは、画像の中心部は露光過度にしてしまう。この問題を解決するために、センサの中心に到達する光の一部を遮断する補償板又はアポダイザ（apodizer）が、レンズの前に配置される。しかし、この態様では、センサに到達する光全体が減少するので、特にルミモーションの環境がそうであるように、低光レベルにおいて、非常に長い露光時間が必要となる。この解決策は、２つの主な欠点を有する。即ち、
‐画像の中心において高速で動く被写体は、深刻なモーションブラーを示す点。
‐加工されたフレームを使用するシステムは、フレームがリフレッシュされるレートに動作速度が制約されることにより、低速で動作する点。
【００２５】
幾つかの他のオプションが可能である。１つのオプションは、個々の画素が受け取る光量に依存して当該個々の画素の露光時間を変更することによって、画像の様々な部分を適応的に露光することである。このようにすると、魚眼カメラの中心における画素は、モーションブラーを回避すべく短時間の間、露光される一方で、外縁における画素は、露光不足を回避すべく長時間の間、露光される。このような露光制御を実施する方法は、幾つかある。ダイナミックフィルタリングにおいて行われているように、画像はディテクタ側で遮断されてもよい。又は、当該方法は、画素サンプリング及びデジタル化時間をオフセットにすることによって、ＣＭＯＳチップデザインに組み込まれてもよい。これらの解決策は可能である一方、依然として高価であり、市販されるには程遠い。
【００２６】
材料費を低く維持することの重要性を考えると、高価なハードウェアを必要とせず、また、ソフトウェア適応に基づいて方法に必要なメモリ量も好適には削減する解決策が求められる。
【００２７】
このために、本発明に係るシステムは、
‐レンズを有し画像を捕捉する画像センサと、
‐メモリユニットを任意選択的に有する画像処理ユニットとを含み、画像処理ユニットは、画像の選択された領域について、過去からのフレームのセットを記憶し、当該画像の領域への分割、並びに／又は、当該選択された領域について捕捉される及び／若しくは記憶されるフレームの数は、レンズパラメータ、画像センサの位置／向き、及び／又は、画像自体のパラメータに依存する。
【００２８】
例えば本発明に係る方法の１つの実施形態は、画像の中心から離れた（即ち、レンズの光軸から離れた）領域においてより多くのフレーム（即ち、１画素あたりにより多くのサンプル）を比例的に捕捉及び／又は記憶するステップを含む。当該方法は、図２において説明され、示された領域に関して、中心領域について最小で１つのフレームが、外縁領域について最大で４つのフレームが、メモリに記憶される。図３に、画像全体の完全なフレームが記憶される場合のメモリ要件と比較した、本発明の本実施形態に係るシステムのメモリ要件が示される。図３では、水平軸は、１画像領域あたりに撮られるフレームの最大数を示し、垂直軸は、（フル画像フレームを使用した場合に比べて）必要とされるメモリの推定割合を示す。図３は、画像が２つの領域（即ち、中心対外縁）に分割され、外縁領域について２フレームが捕捉され、中心領域について１フレームしか捕捉されない場合に、６５％までの推定減少を示す。メモリ要件は、画像領域のより大きいセット及び１領域あたりのフレームのより大きいセットの場合では、５５％まで収束する。したがって、必要となるメモリは少なくなる一方で、画像全体の品質は向上する。
【００２９】
本発明は、少なくとも２つの態様で実施可能である。
Ｉ．画像センサからフルフレームを捕捉し、選択された画像領域からの画像画素のみをメモリに記憶する。図５乃至図８を参照して更に説明されるように、どの画素をいつ保存するかは、レンズの形状、レンズの位置、及び恐らく照度等といった他のデータに依存する。したがって、この実施形態は、すべてのフレームを捕捉することと、撮像の後でかつ記憶の前に、データを操作することとを含む。
ＩＩ．所与のフレームについて必要な画素のみを捕捉し、捕捉したデータをすべてメモリに保存するように画像センサをプログラムする。この実施形態は、図９及び図１０において説明される。
【００３０】
画素を画像領域にグループ分けする最も簡単な態様は、矩形の関心領域（ＲＯＩとも呼ばれる）を使用することであるが、図２に示されるように、円形領域が使用されてもよい。
【００３１】
任意の形状のＲＯＩは、実現するのがやや複雑ではあるが、例えばレンズの形状又は画素の輝度に依存して、どの画素が複数のサンプルを保存する必要があるのかを選択する自由度が大きい。
【００３２】
図４は、画像の中心から離れた距離にある画素値が過去からの複数のフレームを合計することによって得られる、累積露光を計算する提案されている方法を利用したアルゴリズムの結果を示す。中心領域について、時間ｔにおける画像（現在フレーム）のみが使用され、外縁部について、例えば３つのフレームが合計される。このアプローチは、上記されたような特殊ハードウェアを用いて実現されるものと同様の（適応）累積露光を得ることを可能にする。任意のタイプのレンズについても該当するが、特に広角レンズを使用している場合に該当する本発明のシステム及び方法の重要な特性は、見掛けの動きの歪みである。視野を一定速度で動く被写体は、画像の中心部において、外縁領域におけるよりも速い見掛け速度（捕捉された画像から導出可能）を示す。したがって、外縁画像領域における複数のフレームを累積することは、強いモーションブラーを導入することなく、また、同時に、外縁画像領域におけるノイズの量を減少させつつ、当該領域における見掛け速度（中心画像領域における見掛け速度により匹敵する）を増加させる。
【００３３】
図４の画像は、天井から見下ろすカメラで撮られたものであり、画像の中心は、天井から真っ直ぐに下を見た視界である。空間を警戒するためのカメラも、多くの場合、壁付近の天井部に、天井及び壁に対し角度が付けられて置かれる。カメラは、警戒空間の中を覗き込み、その視野は、天井から離れ地面に向かう。画像センサのこの特定の位置及び向きは、画像の一端が近くの被写体を示す一方で、別の端は離れているという特定の画像歪みをもたらす。この場合、画像を複数の平行バンドに分割することが有利である。近くの被写体を表す画像バンドについて、離れた被写体を表す画像バンドに比べて少ない数のフレームが合計される。更に、この実施形態は、図４に関連して前段において説明されたような動きの歪みも減少させる。図５は、画像が３つの平行バンドに分割されるセットアップについてどのように画像が合計されるのかを概略的に示す。図５における（近くの環境を撮像した）下のバンドは、１つのフレーム（現在フレーム）のみを使用し、図５における（最も遠い環境を撮像した）上のバンドは、３つのフレーム（現在フレームと２つの最近のフレーム）を使用する。４つ以上の画像バンドを使用してもよく、また、バンドは、カメラシステムの画像歪みに可能な限り緊密にマッピングするように湾曲した境界を有してもよい。例えば湾曲した境界は、中心点が画像の外にある円又は楕円の輪郭をマッピングすることができる。
【００３４】
図６及び図７を用いて、（適応）動き検出を計算する提案されている方法を採用する別の例が説明される。画像は、捕捉された画像のあらゆる領域において十分な輝度をもたらすように、カメラの中心から任意の距離における光量が十分である屋内環境において捕捉される。しかし、この例では広角レンズであるレンズによって導入される歪みによって、視野の外縁において捕捉される見掛けの動きは、上記のとおり、非常に捕えにくい。図６の例では、利用可能なメモリ及び画像領域のセットアップが、外縁画像領域について最大１０フレームを記憶することを可能にするので、動く被写体の検出はより向上される。図６の最右部は、メモリ対画像領域の割り当てを示す。ここでは、外縁画像領域における画素について１０のフレームが記憶でき、画像の中心において１つのフレームが記憶される。様々な画像領域が、円形／楕円形のグレイスケールの領域で示されている。図７は、この実施形態においてどのように動き検出が向上されるのかを説明する。最左画像Ａは、画像センサによって捕捉された２つの連続フレームの差分画像であり、差分は、白色画素で示されている。動きをハイライトし、実際の動きを偶発的な小振動から区別するために、閾値が使用されてもよい。画像Ａにおいて示されるように、２つの連続フレーム間の差は、画像の中心領域において動いている人Ｐ１を検出するには十分であるが、外縁において動いている人Ｐ２、Ｐ３を検出するには不十分である。画像Ｂは、フレームｔとフレームｔ−１０との間の差分画像を示す。この差分画像から、画素比較によって人Ｐ２、Ｐ３の位置の変化が検出され、これにより、画像の外縁領域であっても動きが検出される。しかし、中心において動いている人Ｐ１にはより大きいブロブが得られる。これは、中心領域における人Ｐ１の移動に相当の倍率及び画素数が関与するからである。このようなブロブは、中心領域における様々な人の動作を同時に区別することを、不可能ではないにしても、困難にする。本発明の範囲内の１つの可能な解決策が、画像Ｃに示され、画像Ｃでは、矩形の領域によって概略的に示される画像の中心部については、１フレーム差分が使用される一方で、画像の外縁部については、１０フレーム差分が使用される。この解決策は、中心における人Ｐ１の鮮明な画像と、外縁における人Ｐ２、Ｐ３の鮮明な画像を与える一方で、この場合は、１０フレームすべてについて画像領域全体をメモリに記憶する場合に比べて、４１％のメモリ使用量を節約する最適な動き検出を提供する。図７は、本発明の一実施形態の簡単な例示である。より複雑な実施形態では、画像はより多くの領域、例えば、１フレーム差分が使用される中心領域、５フレーム差分が使用される中心領域を囲む領域、及び１０フレーム差分が使用される外縁領域に分割される。領域は、図７に示されるように矩形であっても、図６に示されるように円形若しくは楕円形であっても、又は、カメラシステムの光学特性に適応されてもよい。
【００３５】
当然ながら、本発明において、多くの変形が可能である。例えば、提示されている例では、特定数のフレームがメモリ内に割り当てられる画像内の領域の周りにはっきりとした境界が描かれている。本発明の範囲において、これらの領域は、単一のフレームが割り当てられる領域が、３つのフレームが割り当てられる領域に部分的に重なる、２つのフレームが割り当てられる領域に部分的に重なるように、部分的に重なってもよい。これは、２つの撮像領域間の境界線が画像においてあまり顕著とならないように当該２つの撮像領域間の推移を滑らかにするように高度な画像処理技術を適用する可能性を与える。
【００３６】
図８は、本発明に係るシステムの一実施形態を概略的に示す。
【００３７】
当該システムは、画像センサ１と、カメラ設定ユニット３と、画像分析手段５及び画像分割手段６を含む画像処理ユニット２と、メモリ７と、後処理ユニット８とを含む。画像センサ１の出力、即ち、画像Ｉは、画像処理ユニット２に入力される。画像処理ユニット２への更なる入力は、カメラ設定ユニット３から提供される。カメラ設定ユニット３は、以下のパラメータ設定のうちの１つ以上を画像処理ユニット２に提供する。即ち、（ｉ）レンズシステムに関するパラメータｐａｒ１、及び、（ｉｉ）例えば視野に対する画像センサの物理的な場所及び／又は位置に関するパラメータｐａｒ２。これらのパラメータは、画像センサ１から得られても、或いは、カメラの仕様データを提供するウェブサイト、ＤＶＤ、他の情報担体又は情報供給手段といった別のソースから得られてもよい。このようなパラメータは、画像センサ１によって捕捉された画像とは無関係であるが、画像センサのハード／ソフトウェア及び／又はその位置の特徴によって決定される。或いは、システムには、これらのパラメータがプリセットとして既に記憶されていても、カメラカタログから取り出されてもよい。例えば、有限数の画像センサがビジョンシステムに使用される場合、当該システムには、これらの画像センサと共に使用されるレンズ構成のパラメータが記憶されており、ビジョンシステムが、使用される画像センサのタイプについての入力を受信すると、当該システムは記憶されたカタログ情報から関連するパラメータをフェッチしてもよい。画像センサの場所及び／又は位置に関するデータは、取付け時に求められ、パラメータｐａｒ２としてカメラ設定ユニット３に入力されてもよい。カメラ設定パラメータは、通常、固定設定であるが、カメラに、当該カメラを移動させ、その位置又は向きを変える手段が具備されている場合には、可変データと見なされる必要もある。更なる代替案として、カメラ設定ユニット３は省略されて、画像処理ユニット２自体が、画像センサによって捕捉された画像を分析して、カメラに関する設定及び／又は画像歪みデータを推測してもよい。上記実施形態のすべてにおいて、ビジョンシステムは、１つ以上の画像センサパラメータを確認する手段を含む。
【００３８】
更に、本発明の範囲において、画像処理ユニット２自体が、画像センサ１から受信した画像内に又は当該画像から検出可能又は計算可能な画像に関する推測される情報がある。このようなパラメータは、例えば、（ｉ）画像の特定領域における先の画像において検出される（例えば人間の）動作の数（ｐａｒ３）、（ｉｉ）先の画像の輝度プロファイル又はヒストグラム（ｐａｒ４）、及び（ｉｉｉ）先の画像において検出される動きのサイズ（ｐａｒ５）を含む。図８では、この画像に関連する情報を推測する特徴は、画像分析手段５として概略的に表され、例えばパラメータｐａｒ３、ｐａｒ４及びｐａｒ５の形の出力は、画像分割手段６の入力として提供される。画像分析手段５は更に、例えば記憶されたフレーム（過去のフレーム）の画像特性に関する情報をメモリ７から入手してもよい。図８では、これは、メモリ７から画像分析手段５へと延びる点線Ｈによって概略的に示される。或いは、この情報は、図８に示されるように、画像分割手段６に直接提供されてもよい。いずれの実施形態においても、メモリから画像分割手段への直接的な、又は、画像分析手段５を介するフィードバックループがある。
【００３９】
パラメータ設定ｐａｒ１乃至ｐａｒ５（それらのうちの何れか、又は、それらのすべてを含むそれらの任意の組み合わせ、また、１つの画像パラメータのみ、又は、画像パラメータの組み合わせ（ｐａｒ３、ｐａｒ４、ｐａｒ５）のみが画像を領域に分割するために使用される実施形態を含む）と、また、幾つかの実施形態では、メモリ７からの追加情報は、画像分割手段６において、画像を画像領域に分割し、メモリ７に記憶されるべきフレームの数を各画像領域に割り当てるために使用される。１つの画像パラメータのみ、又は、画像パラメータの組み合わせ（ｐａｒ３、ｐａｒ４、ｐａｒ５）のみが画像を領域に分割するために使用される実施形態は、例えば１つ以上のセンサパラメータ及び／又はセンサ向きに関する情報が入手可能ではない及び／又は信頼度が低い場合に有利である。メモリ７から受信される情報は、幾つかの実施形態では、利用可能なメモリ空間に関する情報も含む。利用可能なメモリ空間をモニタリングすることによって、画像分割手段６は、一方で、特定の画像領域について記憶されるフレームの数を増加させることで画質を向上させることと、他方で、利用可能なメモリ空間を管理することとの間の最適条件を計算する。或いは、フレームの数は、画像解像度と置き換えられてもよく、その場合、より多くのフレームを記憶できるように、１画素あたりに使用されるビット数又は１画像あたりに使用される画素数が減少される。更に、メモリ７が複数のカメラ１と組み合わせて使用される場合、メモリ使用量、画質、画像処理等に関する優先順位が特定のカメラに与えられてもよい。図８では、記憶されるべきフレームデータｆｒ１、ｆｒ２と画像データＩｓｔｏｒｅが、処理ユニット２からメモリ７に転送される。
【００４０】
メモリ７からのメモリデータＯは、次に、後処理ユニット８によって評価される。本発明の実施形態では、後処理ユニット８は更に、図８では矢印Ｄによって概略的に示されるように、使用された入力パラメータ（ｐａｒ１、ｐａｒ２等）及び／又は画像分割（画像領域及びフレームの数）に関する情報を画像処理ユニット２から受信する。或いは、この情報は、例えばメタデータの形でメモリデータＯに追加される。例えば後処理ユニット８は、融合、平滑化等といった特定の画像エンハンスメントを実行できるように、領域への画像分割と、１領域あたりに記憶されるフレームの数に関する知識を有することが有利である。幾つかの実施形態では、後処理ユニット８は、例えばプロセス全体に対する何らかの品質パフォーマンスインジケータに関するフィードバックを与えるために、図８では信号Ｑによって概略的に示される情報を、画像処理ユニット２に提供してもよい。このフィードバックループは、本発明に係るシステム及び方法の品質を高めることができる。情報Ｑは、最適な画像分割及びフレーム記憶計画を作成するために、画像処理ユニット２への画像Ｉ、パラメータｐａｒ１乃至ｐａｒ５、及びメモリ情報Ｈの更なる追加入力と見なされる。後処理ユニット８によって行われる可能な画像後処理活動の一例として、差分画像を使用することによる適応動き検出を説明する（上記）図７を参照する。
【００４１】
図８において、画像センサ１は、記録されたデータを、画像処理ユニット２に直接送信する。したがって、捕捉された画像の領域への分割は、画像センサ１による画像の記録の後に行われていた。各画像は完全に捕捉され、その後、画像の特定の部分が保持され、メモリに記憶される。僅かに異なるが依然として等価である本発明を実施する方法は、選択された画像領域のみを所与のフレームについて記録し、メモリ７に送信することである。図９は、非常に基本的な実施形態を示す。画像センサ１は、セレクタ４が使用するセンサ設定９１を受信する。このセンサ設定９１は、どの画像領域が所与のフレームに対して記録されるか、及び／又は、どの画像領域データがメモリ７に送信されるのかを決定する。当該領域は、セレクタ４によって選択される。このように記録されたデータは、メモリ７に直接送信される。メモリは、図８に関連して上で説明したのと同様にデータを記憶する。唯一の相違点は、データの選択が、追加の画像処理ユニット２を使用するのではなく、画像捕捉側において、即ち、画像センサ１自体において直接行われる点である。
【００４２】
図１０は、ある意味、図８及び図９の実施形態の組み合わせである本発明の更なる実施形態を示す。この実施形態では、画像センサ１には、静的設定９１と動的センサ設定９２とが供給される。処理ユニット２は、画像センサ１用の動的センサ設定９２を計算し、セレクタ４に供給する。これは、画像センサ１から収集された画像に基づいて画像センサ設定を微調整することを可能にする。例えばもともとは、決定要素は、例えば外縁領域については、中心領域についてよりも多くのフレームが記憶されることを規定するレンズ形状である。これは、固定設定であり、図９のスキームでは、使用することができる。より一般的には、画像を画像領域に分割する基本セットアップは、１、２、若しくは３、又は、一般的にＮ個の円形バンドによって取り囲まれる中心領域を選択することを含む。図１０に係る実施形態では、入力９１を介して、セレクタ４に、領域への画像の分割の数について予め設定された値Ｎが提供されてもよいし、また、入力９２を介して、セレクタ４に、適応された数Ｎを提供する動的情報が提供されてもよい。つまり、固定設定は、例えばＮ＝４、即ち、バイアス設定はＮ＝４であってよく、処理ユニットは、センサから受信する画像データから、最良の設定であるかどうかを計算し、そうではない場合に、当該数Ｎをより高い又はより低い値に設定する。
【００４３】
本発明の概要は、以下の通り説明される。
レンズを有する画像センサと、
処理ユニットと、
任意選択的にメモリユニットと、
を含み、画像処理ユニットは、画像の選択された領域について、過去からのフレームのセットを記憶し、画像の領域への分割、及び／又は、選択された領域について捕捉される及び／又は記憶されるフレームの数は、レンズパラメータ、画像センサの位置／向き、及び／又は、画像自体のパラメータに依存するシステム。
【００４４】
請求項において、括弧内に置かれる任意の参照符号は、当該請求項を制限するものと解釈されるべきではない。
【００４５】
本発明の更なる態様では、本発明に係る方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが提供される。コンピュータプログラムプロダクトは、プロセッサ（汎用又は特殊用途用）が、当該プロセッサにプログラムコードをロードする一連のローディングステップ（中間言語又は最終プロセッサ言語へのトランスレーションといった中間変換ステップを含んでもよい）の後、本発明の特徴的な機能の何れかを実行可能にするコマンドの集まりの任意の物理的な実現として理解されるべきである。特に、コンピュータプログラムプロダクトは、例えばディスク又はテープといった担体上のデータ、メモリ内にあるデータ、ネットワーク接続（有線又は無線）上を移動するデータ、紙上のプログラムコードとして実現されてもよい。プログラムコード以外に、プログラムに必要な特性データもコンピュータプログラムプロダクトとして具現化されてもよい。
【００４６】
本発明の更に別の態様では、信号が提供される。当該信号は、メモリに記憶されたデータから導出され、画像は領域に分割され、各領域について、記録される画像のフレームの数の情報が記憶され、当該信号は、画像の領域への分割と、各領域について記憶されるフレームの数とに関する情報を含む。
【００４７】
「含む」との用語は、請求項に列挙される要素又はステップ以外の他の要素又はステップの存在を排除するものではない。要素に先行する「ａ」又は「ａｎ」の冠詞の使用も、当該要素が複数存在することを排除するものではない。
【００４８】
「手段」との用語は、ソフトウェア、ハードウェア、それらの組み合わせの形に関わらず、示された機能を実行するための任意の手段を含む。
【００４９】
開示されたシステムの様々な要素は、単一のデバイス内に組み込まれても、又は、様々な要素は、様々な物理的な位置における様々なデバイスに組み込まれてもよい。例えば信号が１つの場所から別の場所に又はインターネットのサイトに処理又は分析されるように送信されてもよい。
【００５０】
「パラメータを確認する」方法は、
入力部を介してパラメータを収集するステップと、
収集されたデータからパラメータを計算するステップと、
ルックアップテーブルに関する情報が受信されると、ルックアップテーブル内のパラメータを見つけるステップと、
１つの機能において使用されるべきパラメータを収集する、見つける、計算する又は推定する任意の他の手段とのうちの少なくとも１つを含む。
【００５１】
本発明は、上記の様々に異なる好適な実施形態の特徴の任意の組み合わせによって実施されてもよい。
【図１】
2015515169.tif 000003
【図２】
2015515169.tif 000004
【図３】
2015515169.tif 000005
【図４】
2015515169.tif 000006
【図５】
2015515169.tif 000007
【図６】
2015515169.tif 000008
【図７Ａ】
2015515169.tif 000009
【図７Ｂ】
2015515169.tif 000010
【図７Ｃ】
2015515169.tif 000011
【図８】
2015515169.tif 000012
【図９】
2015515169.tif 000013
【図１０】
2015515169.tif 000014
【国際調査報告】
2015515169.tif 000015
2015515169.tif 000016
2015515169.tif 000017