(57)【要約】【課題】  ２次元的には非表示領域と重なる物体であっても、表示すべき物体については表示することができるシステムを提供することを目的とする。【解決手段】  領域を撮影するカメラと、領域を表示する表示装置に接続される画像処理装置は、カメラにより撮影された物体を検出する物体検出部と、物体検出部により検出された物体の3次元位置座標を測定する位置測定部と、表示装置に領域を表示する際、位置測定部により測定された3次元位置座標に基づいて、物体に対する非表示処理を行うか否かを判定する非表示判定部と、非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行う画像処理部を備える。【選択図】  図１
2007243509.tif 000002
【特許請求の範囲】
【請求項１】
領域を撮影するカメラと、前記領域を表示する表示装置に接続される画像処理装置において、
前記カメラにより撮影された物体を検出する物体検出部と、
前記物体検出部により検出された物体の3次元位置座標を測定する位置測定部と、
前記表示装置に前記領域を表示する際、前記位置測定部により測定された3次元位置座標に基づいて、前記物体に対する非表示処理を行うか否かを判定する非表示判定部と、
前記非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行う画像処理部を備える、画像処理装置。
【請求項２】
前記領域のうち、表示すべきでない非表示領域の３次元位置座標を更に備え、
前記非表示判定部は、前記物体が前記非表示領域の３次元位置座標の範囲内に属している場合、前記物体に対して非表示処理を行うと判定する、請求項１記載の画像処理装置。
【請求項３】
前記非表示領域は、画像を閲覧するユーザの属性に応じて定められる、請求項２記載の画像処理装置。
【請求項４】
前記非表示処理を行う前の第一の画像を格納する、請求項１記載の画像処理装置。
【請求項５】
前記表示装置は、ユーザの属性に応じて、前記第一の画像又は前記第一の画像に対して非表示処理が施された第二の画像のいずれかを表示する、請求項４記載の画像処理装置。
【請求項６】
前記画像処理部は、現在の画像又は過去の画像の、いずれか選択された方の画像に非表示処理を行う、請求項１記載の画像処理装置。
【請求項７】
領域を撮影するカメラにより撮影された物体を検出するステップと、
前記検出された物体の3次元位置座標を測定するステップと、
前記測定された3次元位置座標に基づいて、前記物体に対する非表示処理を行うか否かを判定するステップと、
前記非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行うステップを備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う装置に関する。
【背景技術】
【０００２】
監視、マーケティング、施設管理、テレビ会議、遠隔教育、福祉など、様々な用途でカメラ画像を表示するシステムが急増している。しかしカメラの設置や運用基準は撮影側のモラルに基づいていることが多く、被撮影者のプライバシ保護が大きな課題となっている。その課題に対して、画像を表示する際、表示すべきでない領域（以下、非表示領域と称する）に対して何らかの非表示処理を行う方法が提案されている。例えば、ユーザが画面に対して特定の領域を、非表示領域として登録し、カメラの監視領域を局所的に遮蔽する技術がある（特許文献１参照）。
【０００３】
【特許文献１】特開２００５−１０９７２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１では、画像に対して２次元的に処理を行うことしか考慮されていない。従って、非表示領域よりもカメラ側に存在する表示すべき領域（以下、表示領域と称する）に存在する物体も、非表示領域と２次元的に重なり、表示されなくなる、という課題がある。そこで、本発明の目的は、２次元的には非表示領域と重なる物体であっても、表示すべき物体については表示することができるシステムを提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。
【０００６】
領域を撮影するカメラと、領域を表示する表示装置に接続される画像処理装置は、カメラにより撮影された物体を検出する物体検出部と、物体検出部により検出された物体の3次元位置座標を測定する位置測定部と、表示装置に領域を表示する際、位置測定部により測定された3次元位置座標に基づいて、物体に対する非表示処理を行うか否かを判定する非表示判定部と、非表示判定部が非表示処理を行うと判定した物体に対して非表示処理を行う画像処理部を備える。
【発明の効果】
【０００７】
本発明によれば、２次元的には非表示領域と重なる物体であっても、表示すべき物体については表示することができるシステムを提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施の形態を説明する。
【実施例】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、従来技術の課題を説明するための図である。ここでは、カメラ1の所有者が所有地内を監視するためにカメラ1を設置する場合を想定する（図1(A)）。このカメラ1の撮像範囲内は公共の空間や他者の所有地を含み、所有地以外の場所を非表示領域3、監視を行う所有地を表示領域5とする。非表示領域3については、図1(B)のように監視員の見る表示装置35（図3）の画面11上に表示されないものとしたい。
【００１１】
しかし、非表示マスク17（横線で表示）を前もって設定し（図1(C)）、これにより非表示とされた画像中の領域に対して非表示処理を行うと、人などの移動体13、15が空間内に存在する場合(図1(D))、図1(E)の画面11のように表示領域5に存在する移動体15も、非表示処理された領域18（縦線で表示）と２次元的には重なるため、非表示になる場合がある。ここで、非表示マスクとは、画像に対する２次元の表示領域と非表示領域を２値画像で示した情報を示す。
【００１２】
図２は、本発明における課題への対策を説明するための図である。
【００１３】
そこで、対象空間に3次元座標9を設定し(図2(A))、物体の３次元位置を測定し、移動体15の領域20(図2(B))、及び非移動体7の領域21(図2(Ｃ))を含まない非表示マスク17(図2(Ｄ))を作成するという処理を各フレームの画像に対して逐次行う。これにより、図2(Ｅ)のように非表示領域3にある物体13を表示せず、表示領域5にある物体7、15を表示することができる。
【００１４】
図3は、画像処理システムの構成図である。
【００１５】
本システムは、カメラ1、画像処理装置30、表示装置35、画像記憶装置36、操作端末37、及び位置測定装置38とからなり、これらは、ネットワーク39を介して接続される。尚、画像処理装置30以外の装置は、ネットワーク39を介さず、直接画像処理装置30に接続されてもよい。
【００１６】
位置測定装置38は、レーザを用いる装置、測量機器を用いる装置など、物体の３次元位置座標を測定できる装置であれば、何でもよい。
【００１７】
画像処理装置30は、記憶装置31、CPU32、メインメモリ33、及び通信処理装置34とからなり、これらは、それぞれ内部バス等により接続される。
【００１８】
記憶装置31は、カメラ1が撮影した画像310、キャリブレーション部315により得られたカメラ1の位置や姿勢を示すカメラパラメータ311、３次元座標を用いて指定された非表示領域312、非表示マスク313、位置測定部317により測定された物体（移動体及び非移動体を含む）の３次元の位置座標314、カメラパラメータ311を算出するキャリブレーション部315、画像中の物体が存在する領域を検出する物体検出部316、物体の３次元座標を測定する位置測定部317、閲覧ユーザの属性に応じて非表示処理を行うか否かを判定する非表示判定部318、画像に非表示処理を行う画像処理部319、及びユーザの認証を行う認証部320を格納する。尚、記憶装置31と画像記憶装置36は同一の装置であってもよい。
【００１９】
CPU32は、315〜320のプログラムをメインメモリ33に読み込み、実行することにより、処理を行う。尚、これらプログラムが有する機能を、ハードウェアにより実現してもよい。又、これらのプログラムは、画像処理装置30に、ＣＤ−ＲＯＭ等の記憶媒体から移してもよいし、ネットワーク経由で他の装置からダウンロードしてもよい。
【００２０】
画像処理装置30の出力画像は、通信処理装置34を介して、ネットワーク39上に伝送される。ユーザは、操作端末37で非表示領域の指定や画像の閲覧などを行い、表示装置35で設定画面の確認及び画像の閲覧を行う。処理前の画像と処理後の画像の両方もしくはどちらか一方は、画像記憶装置36に格納される。
【００２１】
図4は、画像処理システムの他の構成図である。画像処理装置30に入力される画像は、画像処理装置30に直接接続するカメラ1や、ネットワーク上のネットワークカメラ40、画像記憶装置36に蓄積された画像などのいずれでもよい。画像処理装置30は、複数台のカメラ1やネットワークカメラ40からの入力に対応する。又、表示装置35は、画像処理装置30に接続するもの、画像記憶装置36に接続するもの、ネットワーク38に接続するものなどのいずれでもよい。操作端末37は、表示装置35に接続され、マウスやキーボードなどのインタフェースを備える。
【００２２】
図5は、カメラ設置時の処理を示すフロー図である。尚、以下のフローにおいて、プログラムを主体として説明する場合もあるが、実際には、ＣＰＵが該プログラムを実行することにより処理を行うことはいうまでもない。
【００２３】
カメラ運用管理者等が、監視を行う場所にカメラ1を設置すると(ステップ51)、キャリブレーション部315は、カメラパラメータ311を取得する(ステップ52)。次に、認証部320は、管理権限ユーザの認証処理を行い(ステップ53)、認証に成功した場合、表示装置35は、画面11に非表示領域の設定画面を表示する(ステップ54)。ユーザが非表示領域を３次元座標により指定すると(ステップ55)、ＣＰＵ32は、記憶装置31に非表示領域312を格納する(ステップ56)。ここで、管理権限ユーザとは、カメラ運用管理者などを指す。
【００２４】
次に、位置測定部317は、カメラ1の撮影範囲内の非移動体に対して、３次元位置を測定していないものがあれば(ステップ57)、位置測定装置38を用いて、該非移動体の3次元位置を測定し(ステップ58)、記憶装置31に測定した3次元位置の情報を格納する(ステップ59)。ここで３次元位置とは、物体の重心点、又は物体のｘ軸、ｙ軸それぞれの値が最小値と最大値をとる４点、又はその４点の中心点、又は物体の代表的な頂点の座標等を指す（1つの物体に対して１点以上の座標が対応）。又、３次元位置を測定する方法は、レンズ焦点法、ステレオ法、光レーザ法、アクティブステレオ法、照度差ステレオ法、測量機器による測量、複数のカメラを用いて位置測定を行う方法、その他の任意の距離測定方法を含む。全ての非移動体について位置測定処理が終了した時点で処理を終了する。
【００２５】
カメラ1を新設した場合、あるいは設置位置や撮影方向を変更した場合には、ステップ51から処理を開始する。但し、カメラ1の位置や方向には変更を加えずに非表示領域の変更のみを行う場合には、ステップ53から処理を開始する。
【００２６】
図6は、ユーザの閲覧処理を示すフロー図である。ユーザが、表示装置35に対して、操作端末37を用いて閲覧操作を開始すると、認証部320は、閲覧権限を持つユーザの認証を行う(ステップ600)。認証に成功した場合、ユーザは、カメラ1の現在の画像310に対して閲覧を行うか、画像記憶装置36に記憶された過去の画像に対して閲覧を行うかを選択する(ステップ601)。現在の画像の場合、複数台のカメラが選択可能であれば、ユーザは、閲覧を行うカメラ1を選択する(ステップ602)。過去の画像の場合、記録されている画像の中から閲覧する画像を選択する(ステップ603)。ステップ603で選択された画像について、ＣＰＵ32は、非表示処理された画像が記録されているか否かを判定し(ステップ604)、非表示処理後の画像が記録されている場合、表示装置35は、非表示処理後の画像を順次、画面11に表示する(ステップ617、618)。但し、非表示後の画像が画像記憶装置36に記録されていない場合には、画像内の物体の３次元位置情報が記憶装置31に記録されているものとする。
【００２７】
ステップ602の後、又は、ステップ604でNOの場合、各フレームの画像に対して逐次非表示処理を行って表示する。まず、ＣＰＵ32は、読み込む画像に対応する非表示領域と非移動体の３次元位置の座標を、メインメモリ33に読み込む(ステップ605)。入力画像が与えられると(ステップ606)、物体検出部316が画像中の移動体を検出する(ステップ607)。位置測定部317は、検出された移動体に対して、３次元位置が未測定のものがあるか否かを調べ(ステップ608)、ある場合、該移動体の３次元位置を測定する(ステップ609)。全ての移動体の３次元位置を測定した後、非表示判定部319は、撮影範囲内に存在する全ての移動体と非移動体のリストを作成し、カメラ1に対して遠い物体から順に並び替え(ステップ610)、遠い物体から順に非表示領域内にあるか否かを判定する(ステップ611、612)。尚、非表示領域3と表示領域5に跨って存在する物体については、表示領域5側に存在すると判定する。
【００２８】
画像処理部319は、ステップ611において、物体が非表示領域に存在する場合、画像中の物体の領域を非表示マスク17に追加し(ステップ613)、表示領域5に存在する場合、その物体の領域を非表示マスク17から削除する(ステップ614)。全ての物体に対する判定が終了したら、画像処理部319は、記憶装置31に記憶されている非表示マスク17をメインメモリ33に読み込み、画像に非表示処理を行い(ステップ615)、通信処理装置34からネットワーク39を経由して表示装置35に送信し、表示装置35の画面11を更新する(ステップ616)。ここで、非表示処理とは、指定された領域に対して、単色で塗りつぶす、モザイクをかける、平滑化を行う、他の画像に置き換えるなど、元の画像中に含まれる情報（プライバシを損なう可能性のある情報等）を識別不可能にする処理をいう。ステップ616の後、次の画像がある場合はステップ606に戻り、ない場合は処理を終了する。
【００２９】
尚、撮影対象空間において、犯罪や事故などが起こった際には、非表示処理を行わずに表示する必要があるため、管理権限ユーザは非表示処理を行う前の画像も閲覧できる。
【００３０】
図7は、管理権限ユーザが非表示処理前の画像を閲覧するときの処理を示すフロー図である。
【００３１】
まず、認証部320は、管理権限ユーザに対する認証処理を行う(ステップ700)。その後、ユーザは、非表示処理を行う前の画像の閲覧を選択する(ステップ701)。ステップ702〜704は、それぞれステップ602〜604と同様である。ステップ704の後、ステップ705（ステップ606と同様）に進み、次の画像がある間は、画像に対して処理を加えずに表示装置35に表示し(ステップ706)、次の画像がなくなったら、処理を終了する。
【００３２】
図8と図9は、非表示領域を３次元座標により指定する方法（ステップ605）を説明するための図である。
【００３３】
非表示領域の３次元座標による指定方法とは、垂直面80を指定してその面よりカメラ1に対して奥側の領域81にある物体を表示しない方法(図8(A))、床面上に２次元領域83を指定してその真上の領域84にある物体を表示しない方法(図8(B))、垂直面上に２次元領域86を指定してその奥の領域87にある物体を表示しない方法(図8(C))、４点以上の頂点88を持つ立体図形89を指定してその内側にある物体を表示しない方法(図8(D))、及びその他の任意の方法を含む。図8(A)の場合、２点の座標を入力してその２点を通る面を、垂直面80として定義する。図8(B)及び(C)のように面上の２次元領域を指定する場合は、床面もしくは垂直面上の３点以上の頂点82、85等の座標を入力して領域83、86を定義する。図8(D)は、4点以上の頂点88の座標を入力して３次元領域89を定義する。
【００３４】
ここで３次元座標を入力する方法として、撮影空間内に位置検出用のマーカ90を配置し、マーカ90の３次元位置を自動で認識する方法(図9(A))、頂点91、92、93の３次元座標を入力する方法(図9(B))、カメラ画像中の頂点94、95、96の２次元座標及びその点の３次元空間内におけるx軸、ｙ軸、ｚ軸のどれか一つの座標値を入力する方法(図9(C))等がある。
【００３５】
尚、本実施例では監視に用いる場合について述べたが、他の用途で利用してもよい。
【図面の簡単な説明】
【００３６】
【図１】従来技術の課題を説明するための図。
【図２】本発明における課題への対策を説明するための図。
【図３】画像処理システムの構成図。
【図４】画像処理システムの他の構成図。
【図５】カメラ設置時の処理を示すフロー図。
【図６】ユーザの閲覧処理を示すフロー図。
【図７】管理権限ユーザが非表示処理前の画像を閲覧するときの処理を示すフロー図。
【図８】非表示領域を３次元座標により指定する方法を説明するための図。
【図９】非表示領域を３次元座標により指定する方法を説明するための図。
【符号の説明】
【００３７】
1・・・カメラ、30・・・画像処理装置、31・・・記憶装置、32・・・CPU、33・・・メインメモリ、34・・・通信処理装置、35・・・表示装置、36・・・画像記憶装置、37・・・操作端末、38・・・位置測定装置。
【図１】
2007243509.tif 000003
【図２】
2007243509.tif 000004
【図３】
2007243509.tif 000005
【図４】
2007243509.tif 000006
【図５】
2007243509.tif 000007
【図６】
2007243509.tif 000008
【図７】
2007243509.tif 000009
【図８】
2007243509.tif 000010
【図９】
2007243509.tif 000011