(57)【要約】  画像の空間解像度を減少する方法が開示される。方法は、ＳＲ画素／ｍよりも大きい空間解像度を有する画像部分を含む入力画像を取得するステップと、前記入力画像に関連する奥行きマップを取得するステップと、奥行きマップを用いて各画素Ｐ（ｘ，ｙ）毎に空間解像度値を判定するステップと、出力画像内でＳＲ画素／ｍ以下の空間解像度を有する対応する画素領域を取得するために空間解像度値がＳＲ画素／ｍに対応する予め定められた閾値よりも大きい前記入力画像の画素領域を処理するステップとを含む。方法により、プライバシー情報が画像においてそれ以上認識されないレベルまで空間解像度を減少することによって画像からプライバシー情報を除去できる。
2012503817.tif 000002
【特許請求の範囲】
【請求項１】
画像の空間解像度を減少する方法であって、
ＳＲ画素／ｍよりも大きい空間解像度を有する画像部分を含む入力画像を取得するステップと、
前記入力画像に関連する奥行きマップを取得するステップと、
前記奥行きマップを用いて各画素Ｐ（ｘ，ｙ）毎に空間解像度値を判定するステップと、
出力画像内でＳＲ画素／ｍ以下の空間解像度を有する対応する画素領域を取得するために、前記空間解像度値がＳＲ画素／ｍに対応する予め定められた閾値よりも大きい前記入力画像の画素領域を処理するステップと
を含むことを特徴とする方法。
【請求項２】
前記空間解像度値が前記予め定められた閾値よりも大きい画素領域を処理するステップは、
前記画素領域に関連する前記空間解像度値から画素Ｐ（ｘ，ｙ）に対する変換ウィンドウを有する変換関数を判定するステップと、
前記出力画像内の画素Ｐ（ｘ，ｙ）に対する色値を取得するために画素Ｐ（ｘ，ｙ）に対する前記変換関数を実行する
ことを特徴とする請求項１記載の方法。
【請求項３】
前記変換関数は、
前記変換ウィンドウに関連する前記入力画像の画素から平均色値ｃを計算することにより、画素Ｐ（ｘ，ｙ）に対する前記色値を取得する
ことを特徴とする請求項２記載の方法。
【請求項４】
前記出力画像内の画素Ｐ（ｘ，ｙ）に対する色値を判定するため、前記変換ウィンドウの中心画素は、前記入力画像内の画素Ｐ（ｘ，ｙ）と一致する
ことを特徴とする請求項２又は３記載の方法。
【請求項５】
前記空間解像度値が前記予め定められた閾値よりも大きい画素領域を処理するステップは、
第１の所定の範囲に含まれる空間解像度値を有する第１の画素領域を判定するステップと、
前記出力画像の画素値を取得するために前記第１の画素領域に画像処理操作を実行するステップと
を含み、
前記画像処理操作は、
前記第１の所定の範囲に関連する要素を用いて前記空間解像度を有する前記第１の画素領域を後でダウンサンプリング及びアップサンプリングすることに対応する
ことを特徴とする請求項１記載の方法。
【請求項６】
プライバシー情報を含まない注目領域を判定するステップ
を更に含み、
前記処理するステップは、
前記注目領域に関連する前記画素を処理から除外する
ことを特徴とする請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記出力画像内の領域の前記空間解像度は、
人間の顔に関するプライバシー情報を保護するためには１００画素／ｍより小さく、ナンバープレートに関するプライバシー情報を保護するためには５０画素／ｍより小さい
ことを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
地表から画素集合までの高さを判定するステップ
を更に含み、
前記画素集合の処理は、
前記判定された高さに応じて前記画素集合の前記空間解像度を減らす
ことを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
画像の空間解像度を減少するコンピュータにより実現されるシステムであって、
プロセッサ（１１）と該プロセッサに接続されたメモリ（１２、１３、１４、１５）とを備え、
前記メモリは、請求項１から８のいずれか１項に従った方法を前記プロセッサ（１１）に実行させるように構成されるデータ及び命令を含むコンピュータ・プログラムを含むことを特徴とするシステム。
【請求項１０】
データ処理システムにおいて使用するコンピュータ可読媒体における画像の空間解像度を減少するためのコンピュータ・プログラムであって、
請求項１から８のいずれか１項に従った方法をプロセッサに実行させるように構成される命令を含むことを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像及び関連する奥行き情報を処理する分野に関する。
【０００２】
一実施形態において、更に本発明は、そのような画像からプライバシー性の高いデータを除去する分野に関する。プライバシー性の高いデータは、人間の顔又はナンバープレートに関しても良い。
【背景技術】
【０００３】
いくつかのＭＭＳアプリケーションにおいては、特に、建物の外観、並びに広告、道路標識及び街灯等の他の固定オブジェクトの写真を取り込むことが意図される。それらは、例えば、カーナビゲーションシステムで使用される道路の「実世界」２Ｄ及び／又は３Ｄ画像において後で使用される。その場合、運転者が自動車の窓を通して見る場合の実世界ビューと一致する２Ｄ及び／又は３Ｄ画像をナビゲーションシステムの画面上で見えるように、それらの画像はそのようなナビゲーションシステムを装備した自動車の運転者に示される。また、そのような写真は、カーナビゲーションシステム以外のアプリケーション、例えば、スタンドアローン・システム又はネットワーク化された環境で協働するコンピュータ上で実行可能なゲームにおいて使用されても良い。そのような環境は、インターネットであっても良い。アプリケーションは、自動車における提示と同様の方法で空間ブラウザを含んでも良いが、その場合、ユーザは、地上又はその上方に存在しても良い自身の仮想位置を調整する。以下に提示される本発明の解決策は、特定のアプリケーションに限定されない。
【０００４】
しかし、多くのそのようなＭＭＳ画像は、画像上に意図せずに存在する人間の顔及び自動車の読み取り可能なナンバープレート等のプライバシー情報を含む場合がある。そのようなプライバシー情報又は他の望ましくない情報がそのまま存在する状態でそのような画像がパブリックアプリケーションに使用されないことが望まれる。例えば、新聞は、ＧｏｏｇｌｅＴＭにより配布されたＳｔｒｅｅｔ ＶｉｅｗＴＭのビューにおいて使用された画像内に存在するそのような望ましくない情報について報道している。２００８年５月１３日付けの／／ｎｅｗｓ．ｃｎｅｔ．ｃｏｍの記事によると、Ｇｏｏｇｌｅは自社のＳｔｒｅｅｔ Ｖｉｅｗサービスにおいて顔をぼかす技術の試験を開始している。実世界の状態で撮影された画像は、ＭＭＳ周辺の静止オブジェクト及び移動オブジェクトを表す。画像において、そのようなプライバシー情報又は他の望ましくない情報を有するオブジェクトは、固定世界に対して静止しているか又は移動していても良い。ＭＭＳ上のカメラにより撮影された画像において、そのようなオブジェクトを識別する必要がある。いくつかの従来技術のアプリケーションは、画像の特性のみに依存して移動オブジェクトを識別し、一連の画像における色画素の特性に基づいて移動オブジェクトの移動の軌道を判定しようとしている。しかし、そのような手法は、軌道を判定するために連続する３つ以上の画像においてオブジェクトが判定される場合にのみ機能する。
【０００５】
他の種類のセンサを使用して、それらが配置された車両に対するオブジェクトの短期間の軌道の近似を判定するシステムが開示されている。そのようなセンサは、レーザスキャナ、レーダシステム及び立体ビデオカメラを含んでも良い。そのようなシステムは、例えば、特許文献１の序文において参照される。この文献は、例えば、車両とオブジェクトとのアクシデントを回避するため、車両に対するオブジェクトの相対位置及び相対速度が重要であるリアルタイムアプリケーションに関する。文献には、センサにより取得された位置及び速度データが立体ビデオカメラにより取得された画像データにマッピングされる方法については開示されていない。文献には、そのようなオブジェクトの絶対位置及び絶対速度を判定する方法も開示されていない。本明細書において、「絶対（absolute）」は、地球及び建物、交通標識、樹木、山等の地球に固定されたオブジェクトにより判定される固定された実世界に対して絶対であるという意味で理解される。例えば、そのような実世界は、ＧＰＳシステムにより使用される基準グリッドにより定義可能である。更にこの文献では、ビデオカメラにより撮影された画像内のプライバシー性の高いデータを処理する方法については解決されていない。
【０００６】
建物の土地面積の場所の識別を支援するためのレーザスキャナデータの使用は、例えば、特許文献２において説明される。
【０００７】
画像内の人間の顔を認識及び／又は検出することにより人間の顔の詳細な描写を除去するか又はそれをぼかすことが試みられている。自動車のナンバープレートにも同一の手法が適用される。
【０００８】
Ｐｈｏｔｏｓｈｏｐ ＣＳは、画像をぼかすために奥行きマップを使用するレンズぼかしフィルタを含む。レンズぼかしフィルタにより、写真において被写界深度を作成できる。所望の結果を得るために焦点距離、虹彩の形状及び半径、並びにノイズの量及び対応する分布を選択又は変更する必要がある。焦点距離に存在するオブジェクトをぼかすことができず、その結果、オブジェクトは鮮明に示される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】欧州特許第１，４１８，４４４号公報
【特許文献２】国際特許出願第ＰＣＴ／ＮＬ２００６／０５０２６４号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、画像の空間解像度を減少する方法及び構成を提供することを目的とする。本発明は、特に、画像からプライバシー情報を除去する方法及び構成を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、方法は、ＳＲ画素／ｍよりも大きい空間解像度を有する画像部分を含む入力画像を取得するステップと、入力画像に関連する奥行きマップを取得するステップと、奥行きマップを用いて各画素Ｐ（ｘ，ｙ）毎に空間解像度値を判定するステップと、出力画像内でＳＲ画素／ｍ以下の空間解像度を有する対応する画素領域を取得するために、空間解像度値がＳＲ画素／ｍに対応する予め定められた閾値よりも大きい入力画像の画素領域を処理するステップとを含む。
【００１２】
本発明は、同期されたレーザセンサ又は距離センサ、３Ｄカメラ（画像の奥行き情報を追加するカメラ）により出力された３Ｄ点群から得られる奥行き画像情報を使用するか、又は、例えば、立体画像を処理することによる写真計測法に基づく画像処理又は画像における位置決め又は奥行き情報を与える他の画像処理技術の結果として得られる奥行き情報を使用する。奥行き情報は、画像が特定の最大計測空間解像度を有するような画像の変換を判定するために使用される。画像において線が分解される密度の尺度を空間解像度と呼ぶ。これは、１インチ当りの画素数（ｐｐｉ）で測定された最終写真の画素解像度に加えて、画像を作成するシステムの特性に依存する。実際は、画像の鮮明度は、画像における画素数ではなく画像の空間解像度により決定される。実際、空間解像度は、単位長さ当りの独立画素値の数を示す。言い換えれば、空間解像度は、画像における画素の大きさではなくオブジェクトの実世界での大きさに対してオブジェクトの鮮明度を定義する。
【００１３】
本発明は、特定の画像解像度で人間及び自動車のナンバープレートは認識されないが、当該特定の画像解像度程度の解像度で建物、樹木、記念碑、分岐合流点、広告及び他の非個人的なテキスト等のナビゲーションに関わる特徴は依然として充分に認識可能であるという認識に基づく。
【００１４】
「Xiaogang Wang」他による論文「Face Hallucination and Recognition」によると、自動顔認識に対して、低解像度の限界は実験により見つけられる。限界は、眼の中心の間の画素数により定義される。一般に、眼間距離は４５〜８０ｍｍの範囲内である。平均距離は６３ｍｍである。眼の中心の間に１０画素が存在する解像度が認識の下限であることが見つけられる。このレベルより低い場合、認識するのに充分な情報が存在しない場合がある。「Second Workshop on Face Processing in Video (FPiV'05) in Proceedings of Second Canadian Conference on Computer and Robot Visio (CRV'05)」において発表された「D. Gorodnichy」による論文「Video-Based Framework for Face Recognition in Video」、２００５年５月、３３０〜３３８ページ、「Victoria、British Columbia、Canada」、２００５年５月９〜１１日、「ISBN 0-7695-2319-6. NRC 48216」は、眼の間に少なくとも１２画素が存在する解像度を有する限り人間は、映像において顔を容易に認識できると述べることによりこれを認めている。
【００１５】
人間及び自動車のナンバープレートとナビゲーションに関わる特徴とが画像において認識されるために異なる空間解像度を必要とするという認識により、画像の奥行きに基づく非常に単純な画像変換を使用できる。この画像変換は、画像にわたる解像度を最大空間解像度に統一する。そのような変換は、非常に高速であり且つ非常に単純であっても良く、原画像において存在する場所（近さ）に関係なく小さい（個人的な）詳細部がぼかされる一方で、提示する目的（インターネット又はナビゲーション装置）で建物が画像上で変更されない（例えば１０ｍより遠くに存在する場合）か又はぼけた後も建物が依然として認識可能であることを保証する。
【００１６】
奥行き情報は、空間解像度が予め定められた閾値ＳＲよりも大きい画像の部分又は画素を判定するために使用される。それらの部分又は画素にぼかしアルゴリズムを適用することにより、空間解像度は少なくとも予め定められた閾値ＳＲまで減少される。予め定められた閾値ＳＲよりも大きい空間解像度を有する画素領域はプライバシーにとって重要である可能性のある内容に属するが、予め定められた閾値ＳＲより小さい空間解像度を有する画素領域は非個人的な情報に属する。
【００１７】
提案された方法は、顔又はテキストに関連するプライバシーの詳細に加えて、肌（入墨又は他の特徴の詳細）、或いは装飾又は塗装等の自動車及び洋服に関する全ての他の詳細を処理する。更に、画像における性質上、本発明に係る方法は広告又はロゴの可読性に影響を及ぼさない。他の方法はこの特徴を有さない場合がある。
【００１８】
本発明の一実施形態において、空間解像度値が予め定められた閾値よりも大きい画素領域を処理する動作は、画素領域に関連する空間解像度値から画素Ｐ（ｘ，ｙ）に対する変換ウィンドウを有する変換関数を判定するステップと、出力画像内の画素Ｐ（ｘ，ｙ）に対する色値を取得するために画素Ｐ（ｘ，ｙ）に対する変換関数を実行するステップとを含む。
【００１９】
これらの特徴により、ｙ画素／ｍ（meter）である予め定められた閾値ＳＲよりも大きい空間解像度を有する画素のみを適合できる。
【００２０】
更なる実施形態において、変換関数は、変換ウィンドウに関連する入力画像の画素から平均色値ｃを計算することにより、画素Ｐ（ｘ，ｙ）に対する色値を取得する。これらの特徴は、画素に対する新しい値を判定し且つ顔及びナンバープレートが認識されないぼかし画像を取得する単純なアルゴリズムを提供する。
【００２１】
本発明の別の実施形態において、空間解像度値が予め定められた閾値よりも大きい画素領域を処理する動作は、第１の所定の範囲に含まれる空間解像度値を有する第１の画素領域を判定するステップと、出力画像の画素値を取得するために第１の画素領域に画像処理操作を実行するステップとを含み、画像処理操作は、第１の所定の範囲に関連する要素を用いて空間解像度を有する第１の画素領域を後でダウンサンプリング及びアップサンプリングすることに対応する。これらの特徴は、画像の空間解像度を減少する単純且つ有効なアルゴリズムを提供する。
【００２２】
本発明によれば、出力画像における処理された領域の空間解像度は、人間の顔に関するプライバシー情報を保護するためには１００画素／ｍより小さく、ナンバープレートに関するプライバシー情報を保護するためには５０画素／ｍより小さい。
【００２３】
本発明の一実施形態において、方法は、プライバシー情報を含まない注目領域を判定するステップを更に含み、処理動作は、注目領域に関連する画素を処理から除外するように構成される。これらの特徴により、プライバシー情報を含む可能性のある画像の部分の解像度のみを低下できる。
【００２４】
一実施形態において、方法は、地表から画素集合までの高さを判定するステップを更に含み、画素集合の処理は、判定された高さに応じて画素集合の空間解像度を減らすように構成される。
【００２５】
本発明の別の目的は、画像の空間解像度を減少するコンピュータにより実現されるシステムを提供することである。システムは、プロセッサとプロセッサに接続されたメモリとを備え、メモリは、本発明に係る方法のいずれかをプロセッサに実行させるように構成されたデータ及び命令を含むコンピュータ・プログラムを含む。
【００２６】
本発明の更なる目的は、コンピュータにより実現されたシステムが地上制御データベースに格納される内容を生成できるようにする方法を提供することである。
【００２７】
本発明の更なる目的は、データ処理システムにおいて使用するコンピュータ可読媒体における画像の空間解像度を減少するコンピュータ・プログラムを提供することである。コンピュータ・プログラムは、本発明に係る方法のいずれかをプロセッサに実行させるように構成された命令を含む。
【図面の簡単な説明】
【００２８】
【図１】カメラ及びレーザスキャナを有するＭＭＳシステムを示す図である。
【図２】場所及び姿勢パラメータを示す図である。
【図３】屋根に２つのカメラ及び２つの距離センサを装備した自動車を概略的に示す上面図である。
【図４】本発明を実行可能なコンピュータ構成を示す図である。
【図５】本発明の一実施形態に従う基本処理を示すフローチャートである。
【図６ａ】空間解像度の減少がナンバープレートの可読性に及ぼす影響を示す図である。
【図６ｂ】空間解像度の減少がナンバープレートの可読性に及ぼす影響を示す図である。
【図６ｃ】空間解像度の減少がナンバープレートの可読性に及ぼす影響を示す図である。
【図６ｄ】空間解像度の減少がナンバープレートの可読性に及ぼす影響を示す図である。
【図７ａ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【図７ｂ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【図７ｃ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【図８ａ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【図８ｂ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【図８ｃ】原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す図である。
【発明を実施するための形態】
【００２９】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下に更に詳細に説明する。
【００３０】
いくつかの図面を参照して、本発明を詳細に説明する。図面は、本発明の実施形態を示すことのみを意図し、範囲を限定することを意図しない。本発明の範囲は、添付の請求の範囲において及びその技術的均等物により定義される。
【００３１】
本発明は、モバイルマッピングシステム（ＭＭＳ：Mobile Mapping System）に搭載されたカメラにより撮影された画像及び距離センサにより取得された距離データを処理する分野に主に関連する。更に一般的には、本発明は、画像の各画素毎に当該画素により示される表面とカメラとの間の距離を推定可能な関連付けられた奥行き情報（depth information）を有する画像を処理する分野に関する。更に詳細には、いくつかの実施形態において、本発明は、それらの画像におけるプライバシー性の高いデータの除去に関する。
【００３２】
図１は、自動車１の形態を採用するＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（Ｉ）及び１つ以上のレーザスキャナ３（ｊ）を備える。Ｉ＝１、２、３、...Ｉであり、ｊ＝１、２、３、...Ｊである。本発明において、移動オブジェクトを識別する必要がある場合、少なくとも２つ以上のレーザスキャナ３（ｊ）からの情報が使用される。自動車１は、運転者により注目道路に沿って運転される。レーザスキャナ３（ｊ）は、ある方角の集合に対して距離センサとそれにより検知されたオブジェクトとの間の距離を検出できる何らかの種類の距離センサに置換可能である。そのような代替の距離センサは、例えば、レーダセンサ又はライダセンサ（Lidar sensor）であっても良い。レーダセンサが使用される場合、その距離データ及び方角測定データは、レーザスキャナより取得可能なそれらデータに相当する必要がある。
【００３３】
本明細書において、用語「カメラ」は、例えば、スチルカメラ、ビデオカメラ、ＬａｄｙｂｕｇＴＭ、又は同様の３６０度カメラを含むあらゆる種類の画像センサをも含むと理解される。
【００３４】
自動車１は複数の車輪２を備える。更に、自動車１は、高精度な位置／姿勢判定装置を備える。そのような装置は、自動車１の位置及び姿勢に関する６自由度のデータを提供するように構成される。一実施形態を図１に示す。図１に示すように、位置／姿勢判定装置は、以下の構成要素を含む。
【００３５】
・ＧＰＳ（全地球測位システム：Global Positioning System）ユニットは、アンテナ８に接続され、複数の衛星ＳＬｋ（ｋ＝１、２、３、...）と通信し、衛星ＳＬｋから受信した信号から位置信号を計算するように構成される。ＧＰＳユニットは、マイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＧＰＳユニットから受信したデータを時間の関数として格納するように構成される。そのようなデータは、更なる処理のために外部のコンピュータ構成に送出される。一実施形態において、ＧＰＳユニットから受信した信号に基づいて、マイクロプロセッサμＰは、自動車１内のモニタ４に表示され且つ運転者に自動車が位置する場所及び場合によっては自動車が移動している方向を通知する適切な表示信号を判定しても良い。
【００３６】
・ＤＭＩ（距離測定計器：Distance Measurement Instrument）。この計器は、車輪２のうちの１つ以上の車輪の回転数を検知することにより、自動車１が移動した距離を測定する走行距離計である。ＤＭＩもマイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＤＭＩから受信したデータを時間の関数として格納するように構成される。そのようなデータも、更なる処理のために外部のコンピュータ構成に送出される。一実施形態において、マイクロプロセッサμＰは、ＧＰＳユニットからの出力信号から表示信号を計算する際にＤＭＩにより測定された距離を考慮する。
【００３７】
・ＩＭＵ（慣性測定ユニット：Inertial Measurement Unit）。そのようなＩＭＵは、回転加速度を測定するように構成された３つのジャイロユニット及び３つの直交方向に沿う３つの並進加速器として実現可能である。ＩＭＵもマイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＩＭＵから受信したデータを時間の関数として格納するように構成される。そのようなデータも、更なる処理のために外部のコンピュータ構成に送出される。
【００３８】
図１に示すようなシステムは、例えば、自動車１に搭載された１つ以上のカメラ９（ｉ）を用いて写真を撮影することにより地理データを収集する。カメラはマイクロプロセッサμＰに接続される。更にレーザスキャナ３（ｊ）は、自動車１が注目道路に沿って走行している間にレーザサンプルを取得する。従って、レーザサンプルは、画像において視覚化されたオブジェクトに関する距離データを含み、建物群、樹木、交通標識、駐車車両、人間等に関するデータを含んでも良い。
【００３９】
レーザスキャナ３（ｊ）もマイクロプロセッサμＰに接続され、それらのレーザサンプルをマイクロプロセッサμＰに送出する。
【００４０】
一般に、３つの測定ユニット、すなわち、ＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所及び姿勢の測定値を提供することが望まれる。これらの場所及び姿勢データは、カメラ９（i）が写真を撮影し且つレーザスキャナ３（ｊ）がレーザサンプルを取得する間に測定される。写真及びレーザサンプルの双方は、後で使用するため、これらの写真及びレーザサンプルが取得された時点での自動車１の対応する場所及び姿勢データと関連付けて、マイクロプロセッサμＰの適切なメモリに格納される。ＧＰＳ、ＩＭＵ、ＤＭＩ、カメラ９（ｉ）及びレーザスキャナ３（ｊ）からの全てのデータを時間に関して相関させる別の方法としては、これらのデータの全てにタイムスタンプを付与し且つ他のデータと関連付けてマイクロプロセッサのメモリにタイムスタンプデータを格納する方法が挙げられる。他の時間同期マーカが代わりに使用されても良い。
【００４１】
一実施形態において、レーザスキャナ３（ｊ）は、上記手法に対して充分な密度の出力を生成するため、最小５０Ｈｚ及び１ ｄｅｇの解像度を持つ出力を生成するように構成される。ＳＩＣＫにより製造されるＭＯＤＥＬ ＬＭＳ２９１−Ｓ０５等のレーザスキャナは、そのような出力を生成できる。
【００４２】
図２は、図１に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち、所定の座標系内の原点に関する３つの距離パラメータｘ、ｙ、ｚ、並びにｘ軸、ｙ軸及びｚ軸に関する回転をそれぞれ示す３つの角度パラメータωｘ、ωｙ及びωｚを計算するように構成されることを示す。ｚ方向は重力ベクトルの方向と一致する。
【００４３】
図３は、２つの距離センサ３（１）、３（２）（これはレーザスキャナであっても良いが、例えば、レーダであっても良い）及び２つのカメラ９（１）、９（２）を有するＭＭＳを示す。２つの距離センサ３（１）、３（２）は、自動車１の走行方向に関して見た場合に自動車１の右側に向けられるように自動車１の屋根上に配置される。距離センサ３（１）の走査方向を線ＳＤ１で示し、距離センサ３（２）の走査方向を線ＳＤ２で示す。カメラ９（１）も右側を見ている。すなわち、カメラ９（１）は、自動車１の走行方向に対して直交する方向に向けられても良い。カメラ９（２）は走行方向を見ている。この配置は、車両が右車線を走行する全ての国に適している。車両が道路の左側を走行する国においては、カメラ９（１）及びレーザスキャナ３（１）、３（２）が自動車の屋根の左側に配置されるように変更されるのが好ましい（この場合も、「左」は自動車１の走行方向に関して定義される）。なお、多くの他の構成が使用されても良いことが当業者には理解される。
【００４４】
自動車１内のマイクロプロセッサは、コンピュータ構成として実現されても良い。そのようなコンピュータ構成の例を図４に示す。
【００４５】
図４においては、算術演算を実行するプロセッサ１１を備えるコンピュータ構成１０の概略が示される。
【００４６】
プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）１４及びランダムアクセスメモリ（ＲＡＭ）１５を含む複数のメモリ構成要素に接続される。必ずしもこれらメモリの種類の全てを設ける必要はない。更に、これらのメモリ構成要素は、プロセッサ１１に物理的に近接して配置される必要がなく、プロセッサ１１から離れて配置されても良い。
【００４７】
プロセッサ１１は、ユーザにより命令、データ等を入力する手段、例えば、キーボード１６及びマウス１７に更に接続される。当業者には既知であるタッチスクリーン、トラックボール及び／又は音声変換器等の他の入力手段が更に設けられても良い。
【００４８】
プロセッサ１１に接続された読み取りユニット１９が設けられる。読み取りユニット１９は、フロッピディスク２０又はＣＤＲＯＭ２１等のデータ記憶媒体からデータを読み取り且つ場合によってはそれらにデータを書き込むように構成される。当業者には既知であるように、他のデータ記憶媒体は、テープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティック等であっても良い。
【００４９】
プロセッサ１１は、紙上に出力データを印刷するためのプリンタ２３及びディスプレイ１８、例えばモニタ又はＬＣＤ（液晶ディスプレイ）画面、或いは当業者には既知である他の何らかの種類のディスプレイに更に接続される。
【００５０】
プロセッサ１１は、スピーカ２９に接続されても良い。
【００５１】
プロセッサ１１は、Ｉ／Ｏ手段２５により公衆交換電話網（ＰＳＴＮ：Public Switched Telephone Network）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、ワイドエリアネットワーク（ＷＡＮ：Wide Area Network）、インターネット等の通信ネットワーク２７に接続されても良い。プロセッサ１１は、ネットワーク２７を介して他の通信構成と通信するように構成されても良い。これらの接続の全ては、車両が道路を移動する間にデータを収集する際にリアルタイムに接続されていなくても良い。
【００５２】
データ記憶媒体２０、２１は、本発明に従って方法を実行する能力をプロセッサに提供するように構成されたデータ及び命令の形態のコンピュータ・プログラムを含んでも良い。しかし、そのようなコンピュータ・プログラムは、電気通信ネットワーク２７を介してダウンロードされても良い。
【００５３】
プロセッサ１１は、スタンドアローン・システムとして実現されても良く、各々がより大きなコンピュータ・プログラムのサブタスクを実行するように構成された複数の並列プロセッサとして実現されても良く、或いは複数のサブプロセッサを有する１つ以上のメインプロセッサとして実現されても良い。本発明の機能性の一部は、ネットワーク２７を介してプロセッサ１１と通信するリモートプロセッサによって実行されても良い。
【００５４】
自動車１に適用される場合、コンピュータ構成は、図４に示す全ての構成要素を有する必要はない。その場合、例えば、コンピュータ構成は、スピーカ及びプリンタを有する必要はない。自動車１において実現する場合、コンピュータ構成は、少なくともプロセッサ１１、適切なプログラムを格納するための何らかのコンピュータ又はプロセッサ可読メモリ、並びに操作者から命令及びデータを受信し且つ操作者に出力データを示すための何らかの種類のインタフェースを必要とする。
【００５５】
カメラ９（ｉ）により撮影された写真、レーザスキャナ３（ｊ）により取得された画像、並びに位置／姿勢測定装置により取得された格納された位置及び姿勢データを後処理するために図４に示す構成と同様の構成が使用されるが、これは、オフラインの後処理のため、自動車１内ではなく建物内に配置されるのが好都合である。カメラ９（ｉ）、スキャナ３（ｊ）及び位置／姿勢測定装置により取得された写真、距離データである画像、及び位置／姿勢データは、メモリ１２〜１５のうちの１つに格納される。この格納は、それらを最初にＤＶＤ又はメモリスティック等に格納するか、或いはメモリ１２、１３、１４、１５から別のコンピュータ可読媒体に場合によっては無線送信することにより実施できる。全ての測定値には、更にタイムスタンプが付与されるのが好ましく、それら種々の時間測定値も格納される。
【００５６】
本発明の一実施形態において、図１に示す構成は、各画素毎にカメラと当該画素により視覚化されたオブジェクトの表面との間の距離を推定できる必要がある。
【００５７】
オブジェクトは、固定世界に対して移動していても良い。そのような移動オブジェクトは、人間又は自動車であっても良い。画像内の移動オブジェクトとカメラとの間の距離の識別は、固定オブジェクトとカメラとの間の距離の識別よりも困難である場合がある。１つのレーザスキャナ３（ｊ）のみを使用することにより、非移動オブジェクトを識別し且つ画像に距離データを適切にマッピングできるが、画像において移動オブジェクトを適切に識別することは非常に困難である。従って、ある速度を有するオブジェクトに関する実施形態において、本発明は１つ以上のカメラ９（ｉ）及び２つ以上のレーザスキャナ３（ｊ）を有するＭＭＳに関する。その場合、同一オブジェクトに関するが２つの異なるレーザスキャナ３（ｊ）から生成された２つの点群は、移動オブジェクトの短期間の軌道を判定するために使用され、これは時間の関数としてオブジェクトの位置を推定するために使用される。その後、時間の関数としてのオブジェクトの位置のそのような推定値は、レーザスキャナ又は距離データが収集された期間にカメラ９（ｉ）により収集された画像内のオブジェクトまでの距離を推定するために使用される。移動オブジェクトの位置の推定を支援するためにレーザ走査データ、すなわち、距離データを使用することは、例えば、国際特許出願第ＰＣＴ／ＮＬ２００７／０５０５４１号において説明される。画像内の注目領域の判定を支援するためにレーザ走査データを使用する別の方法は、国際特許出願第ＰＣＴ／ＮＬ２００８／０５０２２７号において説明される。特許出願第ＷＯ２００８／０５４２０３号は、レーザスキャナサンプルを画像上にマッピングする方法を説明する。
【００５８】
最初に、図５は、コンピュータ構成１０上で実行される際の本発明の基本動作を示すフローチャートを示す。図５の動作を詳細に説明する前に、それらを以下に簡単に記載する。
【００５９】
動作５０において、コンピュータ構成１０は、コンピュータ可読媒体から画像を受信する。画像は、カメラにより撮影された何らかの種類の画像である。画像から角度解像度が分かる。本明細書における角度解像度は、例えば、ＣＣＤである画像検出素子の画素及びカメラの焦点を通る第１の線と、当該検出素子の隣接画素及び焦点を通る第２の線とにより形成された角度を表す。カメラは全ての距離に対して常に焦点が合っていると仮定する場合、カメラの閲覧ウィンドウ内のオブジェクトとカメラの焦点との間の距離に依存する空間解像度を有する画像が得られる。その結果、画像の取り込み時のオブジェクトとカメラとの間の距離が増加するにつれて、画像において視覚化されたオブジェクトの空間解像度は減少する。
【００６０】
動作５２において、コンピュータ構成１０は、動作５０で受信した画像に関連する奥行きマップを受信する。
【００６１】
動作５４において、コンピュータ構成１０は、奥行きマップ内の奥行き情報を用いることにより各画素に対する空間解像度を推定する。
【００６２】
動作５６において、コンピュータ構成１０は、画素に関連して推定された空間解像度に応じて、画像の各画素ｐ（ｘ，ｙ）に対する変換関数を判定する。
【００６３】
動作５８において、コンピュータ構成１０は、画像の各画素に動作５６で判定された変換関数を実行して空間解像度が減少された画像を取得することにより、プライバシー情報を含まない写真をレンダリングする。
【００６４】
動作６０において、コンピュータ構成１０は、ＤＶＤ、ハードディスク、テープ、フラッシュメモリ等のコンピュータ可読媒体に空間解像度が減少された画像を格納する。
【００６５】
次に、各動作を更に詳細に説明する。本発明の一実施形態において、動作５０及び５２は、図１に示し且つ対応する説明において説明したＭＭＳシステムにより実行されても良い。そのようなシステムは、既知の角度解像度を有する透視画像と、同時に記録され且つ格納された位置及び姿勢データにより画像に関連付けられるレーザ群の形態の距離データとを提供する。周知の技術により、レーザサンプルは、画像の画像空間上にマッピング可能であり、当該画像に関連する奥行き情報を提供する。なお、画像に関連付けられる奥行きマップを計算するために、立体画像又は画像シーケンスが使用されても良い。画像シーケンスの場合、２つの後続画像のカメラ位置の間の距離が長過ぎず且つカメラの位置及び姿勢が正確に分かっていることが重要である。言い換えると、ソフトウェアプログラムが画像において一致する領域を見つけ且つ当該一致する領域に対応する三角測量により距離を判定できるように、後続画像は充分に重なり合う必要がある。
【００６６】
本発明は、画像及び関連する奥行きマップのどのような対にも適用可能である。この場合、奥行きマップは、各画素ｐ（ｘ，ｙ）毎に当該画素により視覚化されたオブジェクトの表面とカメラとの間の距離を推定するのに充分な情報を含む。奥行きマップのいくつかの例は、関連する画像と同様の画像サイズを有する奥行き画像、レーザスキャナ装置からの画像に関連付けられるレーザ群、レイダ（ladar）又はライダ（lidar）画像、立体画像対から導出された奥行き情報である。
【００６７】
動作５４において、各画素ｐ（ｘ，ｙ）に対する空間解像度が判定される。カメラは、１，０００画素の線を有する画像を生成する９０度の水平視角又は水平視野角で使用されると仮定する。角度解像度は、９０／１０００により推定され、これは、０，００９度／画素である。画素に対する空間解像度は、以下の式により近似される。
2012503817.tif 000003
式中において、
ＳＰＲは近似された空間解像度であり、
ｎｕｍｂｅｒ＿ｏｆ＿ｌｉｎｅ＿ｐｉｘｅｌｓは画線の画素数であり、
ｄｉｓｔは視覚化されたオブジェクトとカメラとの間の仮定された距離であり、
ａｎｇｌｅ＿ｏｆ＿ｖｉｅｗはカメラの視角である。
【００６８】
式１が空間解像度の近似であることは、当業者には認識されるだろう。画素が画像の中心画素から離間するほど、画素に対する空間解像度は減少する。画像の中心画素は、カメラの視角を表す画素である。
【００６９】
更に、奥行きマップから画素の視野方向に対する表面の姿勢を判定できる。この表面の姿勢は、画素の視空間解像度を更に判定する。画素が視野方向に対して垂直な表面を表す割合が少ないほど、画像において表面の空間解像度は減少する。
【００７０】
動作５６において、画素に対する判定された空間解像度は、プライバシー情報を含まない画像をレンダリングするためにオブジェクトの距離における空間解像度を減少するため、各画素に対して実行する必要がある変換関数を判定するために使用される。眼の中心の間の画素数が１０画素未満の場合は顔が自動認識されないことは文献から既知である。眼の中心の間の平均距離は６．３ｃｍである。そのため、空間解像度が１６８画素／ｍ未満の場合、そのような画像において顔を認識することは困難である。図６ａは、ナンバープレートを有する自動車の原画像を示す。図６ｂ、図６ｃ及び図６ｄは、同じ原画像であるがナンバープレートの距離における空間解像度がそれぞれ２００画素／ｍ、１００画素／ｍ及び５０画素／ｍである解像度に減少された原画像を示す。ナンバープレートの距離における空間解像度が約１００画素／ｍの場合、数字は依然として認識可能であるがぼやけることが分かる。しかし、空間解像度がナンバープレートの距離において約５０画素／ｍに減少される場合、数字は認識できないほどぼかされる。本発明の一実施形態において、オブジェクトの距離における空間解像度が、予め定められた閾値ＳＲよりも高い画素に対してのみ変換関数が判定される。予め定められた閾値ＳＲは、画素／ｍの数（ＳＲ）で定義されても良い。使用される予め定められた閾値は、認識されないように保護されるプライバシー情報の特徴及び「ぼかされた」、ぼやけた又は低解像度の画像内のプライバシー情報を自動的に検出／認識するアルゴリズムの能力に依存する。人間の顔、ナンバープレート、入墨等に対する異なる閾値が知られている。１００画素／ｍの空間解像度に対応する閾値ＳＲは、ぼかされた画像において顔がそれ以上認識／識別されないように画像をぼかすのに充分であると考えられる。５０画素／ｍの空間解像度に対応する閾値ＳＲは、顔及びナンバープレートの双方が顔又はナンバープレート上の文字を認識するのに充分な情報を含まないように画像をぼかすのに充分であると考えられる。
【００７１】
なお、空間解像度は、視野方向に対して垂直な方向と同一面内の表面上での解像度として定義されても良い。また、空間解像度は、視覚化されたオブジェクトの実際の表面上での可視解像度として定義されても良い。その場合、閲覧方向に対する表面の姿勢が考慮される。姿勢を考慮することにより、空間解像度は更に低い値を有する。その結果、変換関数を判定する必要のある画素数は減少し、空間解像度が減少された画像において原画像のより大きな部分が変更されずに、すなわち、変換されずに出現する。
【００７２】
一実施形態において、判定された空間解像度が所定の閾値ＳＲよりも大きい各画素に対して変換関数が選択される。変換関数は、画素Ｐ（ｘ，ｙ）及び周辺画素に低域（low-pass）フィルタリングを実行するどのようなフィルタであっても良い。画素Ｐ（ｘ，ｙ）の空間解像度と閾値ＳＲにより定義された画像における所望の最大空間解像度との間の差分は周辺画素の数、すなわち、変換関数の変換ウィンドウを定義する。これは、ぼかされた画像における画素に対する新しい色値を計算するために使用される必要がある。画素Ｐ（ｘ，ｙ）により示される表面とカメラとの間の距離が増加するにつれて変換ウィンドウの大きさが減少することは明らかだろう。
【００７３】
一実施形態において、画素Ｐ（ｘ，ｙ）に対する色値は、変換ウィンドウに関連する入力画像の画素から平均色値ｃを計算することにより取得される。しかし、閾値ＳＲにより定義された少なくとも所望の空間解像度まで空間解像度を低下させる他のどのような低域画像フィルタが使用されても良い。一実施形態において、出力画像内の画素Ｐ（ｘ，ｙ）に対する色値を判定するため、変換ウィンドウの中心画素は、入力画像内の画素Ｐ（ｘ，ｙ）と一致する。
【００７４】
別の実施形態において、限られた数の変換関数が使用される。変換関数は、Ｎ×Ｎ画素のウィンドウを有し、Ｎは１よりも大きい奇数である。本実施形態において、各変換関数は、所定の量で空間解像度を減少するのに適しており、原画像における空間解像度と所望の空間解像度との間の差分が予め定められたの範囲内である場合に使用されても良い。従って、この差分を判定することにより、対応する変換関数が選択可能である。所望の解像度は固定値であるため、原画像における画素Ｐ（ｘ，ｙ）の空間解像度が適切な変換関数を選択するために使用される。
【００７５】
別の実施形態において、変換関数は以下の方法で判定される。最初に、閾値ＳＲよりも大きい空間解像度を有する画素が選択される。次に、画素は各々が定義済みの範囲内の空間解像度を有する画素のみを含む集合に分割される。範囲は、プライバシー情報を含まない画像をレンダリングするために空間解像度が最大で所望の空間解像度になるように、変換関数が範囲に関連する要素を用いて当該空間解像度を有する画素を後でダウンサンプリング及びアップサンプリングすることに対応するように選択されている。このようにして、各画素に対して新しい色値が判定される。本実施形態において、変換のアップサンプリングの部分により最終画像にブロック現象が発生する。その後、ブロック現象を低減して更に良好な視覚品質を有する画像を提供するため、平滑化フィルタが変換された画素領域に実行されても良い。
【００７６】
図７ａ〜図７ｃ及び図８ａ〜図８ｃは、原画像、対応する奥行き画像及び空間の奥行きが減少された変換画像の第１の例及び第２の例を示し且つ右側に原画像及び変換画像の切抜きを示す。図７ａ及び図７ｃにおいて、画像内の顔に対応する領域の空間解像度が充分に減少されることが分かる。図７ｂは、図７ａの画像に関連する奥行きマップ画像である。実行された変換関数は、対応する領域のダウンサンプリング及びアップサンプリングに対応する。変換画像における顔の空間解像度は約３３画素／ｍである。顔を有する領域を示す変換画像の切り抜きは、異なる変換が原画像内の異なる空間解像度を有する画素に実行されたことを明確に示す。これは、変換画像におけるブロックの大きさから分かる。顔が遠いほど、変換画像におけるブロックの大きさは小さくなる。オブジェクトの表面が遠いほどオブジェクトはぼけないことが更に分かる。
【００７７】
図８ａ〜図８ｃは、同様の効果を示す。図８ｃから更に分かるように、道路標識は画像において依然として可視であり且つ検出可能である。
【００７８】
上述の方法は、処理する必要のある画像の部分を判定するために奥行き情報のみを使用する。ぼかされる必要のある画像の部分を判定するために複雑な顔認識及びナンバープレート認識アルゴリズムを適用する必要がない。上述の方法は、プライバシーに関わるオブジェクトを含まないか又は含まない可能性のある画像の部分を判定するアルゴリズムにより更に向上されても良い。例えば、広告、道路標識、街灯等を検出するためにアルゴリズムが使用されても良い。プライバシーに関わる部分ではないと示されたこれらの部分は、処理される画像の部分、すなわち、ぼかされる画像の部分から除外されても良い。その結果、このような部分が全ての入手可能な詳細を含む原画像内に存在したのと同様に出現する変換画像が得られる。ナンバープレート及び顔は原画像（均等な角度解像度を有する）において明確に視認できるが、本発明に係る方法を用いてぼかされた変換画像（３３画素／ｍの最大計測解像度又は空間解像度ＳＲを有する）において、ナンバープレート及び顔はそれ以上認識されない。この場合、方法はプライバシー情報を含まない注目領域を判定するステップを更に含み、処理動作は処理から注目領域を除外するように構成される。
【００７９】
一実施形態において、方法は、地表から画素により視覚化された表面までの高さを判定することを更に含む。高さは、距離データ又は他のどのような奥行きマップからも容易に導出可能である。一般に、顔は地表から少なくとも１ｍの位置に存在し、ナンバープレートは地表から１ｍ未満の位置に存在する。これにより、領域を区別して各領域に異なる度合いのぼかしを適用できる。例えば、１ｍより高く且つ２．５ｍより低い領域内の画素は最大１６８画素／ｍの空間解像度を有するようにぼかされ、１ｍより低い領域内の画素は最大５０画素／ｍの空間解像度を有するようにぼかされ、２．５ｍより高い領域内の画素はぼかされない。これは、ナビゲーション情報はぼかしをあまり入れられないか又は全く入れられないという利点を更に有する。
【００８０】
提案された方法は、画像及び関連する奥行き情報に自動的に実行されても良い。方法は、半自動又は手動処理で使用されても良い。一実施形態において、方法は、予め定められた閾値よりも大きい空間解像度を有する１つ以上の領域を判定するステップを含む。そのような領域が存在する場合、対応する１つ以上の領域は、操作者に対して表示するために表示装置上で示される。操作者は１つ以上の領域を検査し、１つ以上の領域をぼかす必要があるか否かを入力装置により示す。例えば、操作者は２つの入力ボタンの一方を選択することにより、１つ以上の領域をぼかす必要があるか否かを選択する。ぼかしの度合い、すなわち、最終出力画像における最大空間解像度の選択肢を提供するために、更に多くのボタンが使用されても良い。このように、操作者は、ぼかしの度合いを識別し、原画像のぼかしは最小限に減少される。その場合、方法は、ぼかしの度合い、すなわち、許容最大空間解像度を示す入力信号を受信するステップを含み、処理ステップは入力信号の制御下で１つ以上の領域に関連する画素を処理するように構成される。本実施形態によれば、操作者は「ぼかす」又は「ぼかさない」をクリックするだけで良い。現在の画像又は後続画像における次の領域は自動的に識別され、操作者は、識別された領域に実行する必要のある操作を決定する必要がある。
【００８１】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が考えられる特定の使用に適した種々の変形例を伴い且つ種々の実施形態において本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により定義されることが意図される。
【図１】
2012503817.tif 000004
【図２】
2012503817.tif 000005
【図３】
2012503817.tif 000006
【図４】
2012503817.tif 000007
【図５】
2012503817.tif 000008
【図６ａ】
2012503817.tif 000009
【図６ｂ】
2012503817.tif 000010
【図６ｃ】
2012503817.tif 000011
【図６ｄ】
2012503817.tif 000012
【図７ａ】
2012503817.tif 000013
【図７ｂ】
2012503817.tif 000014
【図７ｃ】
2012503817.tif 000015
【図８ａ】
2012503817.tif 000016
【図８ｂ】
2012503817.tif 000017
【図８ｃ】
2012503817.tif 000018
【国際調査報告】
2012503817.tif 000019
2012503817.tif 000020