(57)【特許請求の範囲】
【請求項１】
照明領域が変更可能な照明手段と、
操作者より照明領域を変更する指示を受け付けるための照明操作手段と、
前記照明操作手段により照明領域が変更された前記照明手段により照明された被写体を含む領域を撮影して画像データを出力する撮影手段と、
前記撮影手段から出力される前記画像データを処理するための画像処理手段とを備え、
前記画像処理手段は、
前記画像データから前記照明された被写体を検出する検出手段と、
前記検出手段により前記照明された被写体が検出された場合に、前記照明された被写体の画像データに対し、前記照明された被写体を視認不能にするための所定の画像処理を行ない、前記画像処理後の画像データと元の画像データとを合成する画像変換手段とを含む、画像処理システム。
【請求項２】
照明領域が変更可能な照明手段と、
操作者より照明領域を変更する指示を受け付けるための照明操作手段と、
前記照明操作手段により照明領域が変更された前記照明手段により照明された被写体を含む領域を撮影して画像データを出力する撮影手段と、
前記撮影手段から出力される前記画像データを処理するための画像処理手段とを備え、
前記画像処理手段は、
前記画像データから前記照明された被写体を検出する検出手段と、
前記検出手段により前記照明された被写体が検出された場合に、前記照明された被写体の画像データを所定の別の画像データに置換し、置換後の画像データと元の画像データとを合成する画像変換手段とを含む、画像処理システム。
【請求項３】
前記照明手段が照射する光の波長は、赤外領域の波長であることを特徴とする、請求項１または２に記載の画像処理システム。
【請求項４】
前記照明手段は、波長が赤外領域の第１の光と波長が可視領域の第２の光とを同一範囲に照射することを特徴とする、請求項１または２に記載の画像処理システム。
【請求項５】
前記検出手段は、前記照明手段が照明していないときに前記撮影手段から出力される画像データと、前記照明手段が照明しているときに前記撮影手段から出力される画像データとを比較することにより、前記照明手段で照明された被写体を検出することを特徴とする、請求項１〜４のいずれかに記載の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理システムに関し、特に、カメラで撮影して得られる画像データに対して、撮影が許可されていない領域に所定の画像処理を行なう画像処理システムに関する。
【０００２】
【従来の技術】
近年ネットワーク基盤の充実や通信技術の発達により、遠隔監視カメラやテレビ電話等の映像または音声データを送受信するシステムが開発されている。特にインターネットを利用した遠隔監視カメラシステムにおいては、カメラが設置されている場所から離れた場所に設置された端末で、カメラで撮影した映像を見ることができる。このシステムでは、ネットワークに接続された端末からカメラのパン、チルト、ズーム等の制御が可能となっている。端末の操作者は、カメラで撮影する範囲を自由に選択することができる。また、カメラで撮影された映像は、ネットワークに接続された他の複数の端末で見ることができる。システムによっては、不特定の端末使用者に映像を提供するシステムがある。このような遠隔監視カメラシステムでは、カメラで撮影されて被写体となる者の意志は全く考慮されていないため、個人のプライバシーの保護が十分に図れないといった問題がある。
【０００３】
この問題に対して、たとえば、特開平１０−１３６２４７号公報には、カメラを制御するサーバにカメラで撮影することができない領域を設定しておく遠隔監視カメラシステムが開示されている。この従来の遠隔監視カメラシステムでは、カメラで撮影することができない領域が撮影されてネットワークに接続された端末に送られることはない。この点で、カメラが撮影することができない領域における個人のプライバシーの保護を図ることができる。
【０００４】
また、特開平６−１２１３０５号公報には、テレビ電話において、通話者自身を撮影するためのカメラに対して、カメラに装着されたシャッターを閉じることで撮影を禁止したり、カメラの向きを変えることで通話者の撮影を不可能にするテレビ電話が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の遠隔監視カメラシステムにおいては、撮影することができない領域はカメラを管理する者（撮影者側）の都合によって設定される。カメラで撮影することができない領域以外の領域においては、被写体となる者のプライバシーは保護されず、撮影された画像は、ネットワークに接続された複数の端末に表示されてしまう。したがって、被写体となる者の意思に沿ってプライバシーを保護することができないといった問題があった。
【０００６】
また、従来のテレビ電話においては、通話者自身の意志でカメラに装着されたシャッターを閉じたり、カメラの向きを変えることにより、通話者自身が撮影されることがない。しかし、これではカメラで何も撮影することができないが、また、撮影できたとしても通話の相手方の意に反する画像しか撮影できないものである。したがって、人がその場にいるのかいないのかといった程度の確認もできないので、セキュリティ管理などを目的とした画像を得るためには不適切である。
【０００７】
この発明は上述の問題点を解決するためになされたもので、撮影者の意図をできるだけ損なわないようにしたうえで、画像中で被写体になる者、あるいはその者を保護する立場にある者の意志に基づき、その被写体を含まない画像に変換する、もしくは被写体を含んだ特定領域だけを原画像と異なる画像に変換することができる画像処理システムおよび画像処理プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
さらにこの発明は、画像中の特定の領域を人が認識することができない画像に変換することができる画像処理システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面による画像処理システムは、照明領域が変更可能な照明手段と、操作者より照明領域を変更する指示を受け付けるための照明操作手段と、照明操作手段により照明領域が変更された照明手段により照明された被写体を含む領域を撮影して画像データを出力する撮影手段と、撮影手段から出力される画像データを処理するための画像処理手段とを備え、画像処理手段は、画像データから照明された被写体を検出する検出手段と、検出手段により照明された被写体が検出された場合に、照明された被写体の画像データに対し、照明された被写体を視認不能にするための所定の画像処理を行ない、画像処理後の画像データと元の画像データとを合成する画像変換手段とを含む。
この発明の他の局面による画像処理システムは、照明領域が変更可能な照明手段と、操作者より照明領域を変更する指示を受け付けるための照明操作手段と、照明操作手段により照明領域が変更された照明手段により照明された被写体を含む領域を撮影して画像データを出力する撮影手段と、撮影手段から出力される画像データを処理するための画像処理手段とを備え、画像処理手段は、画像データから照明された被写体を検出する検出手段と、検出手段により照明された被写体が検出された場合に、照明された被写体の画像データを所定の別の画像データに置換し、置換後の画像データと元の画像データとを合成する画像変換手段とを含む。
【００１１】
さらに画像処理システムの照明手段が照射する光の波長は、赤外領域の波長であることを特徴とする。
【００１２】
さらに好ましくは画像処理システムの照明手段は、波長が赤外領域の第１の光と波長が可視領域の第２の光とを同一範囲に照射することを特徴とする。
【００１３】
さらに好ましくは画像処理システムの検出手段は、照明手段が照明していないときに撮影手段から出力される画像データと、照明手段が照明しているときに撮影手段から出力される画像データとを比較することにより、照明手段で照明された被写体を検出することを特徴とする。
【００１４】
これらの発明に従うと、画像中で被写体となる者の意思に基づき、その被写体を含まない画像に変換することのできる画像処理システムを提供することができる。
【００１７】
これらの発明に従うと、画像中の特定の領域を人が認識することのできない画像に変換することができる画像処理システムおよび画像処理プログラムを記録した記録媒体を提供することができる。
【００１８】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示す。
【００１９】
［第１の実施の形態］
図１は、本発明の実施の形態の１つにおける画像処理システムの概略を示すブロック図である。画像処理システムは、大きくは照明装置１００とカメラサーバ２００とを含む。
【００２０】
照明装置１００は、被写体を照明するための照明部１０２と、照明部１０２が照明する範囲を調節するための調光部１０１と、照明部１０２で照明する範囲を上下左右方向に移動させるための照明用パンチルト部１０３とを含む。
【００２１】
照明部１０２は、可視光を照射するランプまたは赤外光を照射するランプまたは可視光と赤外光とを含む光を照射するランプである。調光部１０１は、照明部１０２の側面を覆う反射板である。調光部１０１がその形状を変形させることにより、照明部１０２から照射された光が広がる角度を変えることができる。調光部１０１で照明部１０２から照射された光の広がる角度を調整することにより、照明部１０２が照明する範囲の大きさが変わる。
【００２２】
図２は、調光部１０１を変形させることにより、照射角度を変える一例を示す図である。図２（Ａ）は、照射角度を小さくしたときの調光部１０１の状態を示す図である。図２（Ｂ）は、照射角度を大きくしたときの調光部１０１の状態を示す図である。図２（Ａ）（Ｂ）を参照して、照射角度が小さいときの方が照射角度が大きいときよりも調光部１０１の広がりが大きくなっている。このように、調光部１０１の形状を変形させることにより、照明部１０２から照射した光の広がる角度を調節することができる。
【００２３】
照明用パンチルト部１０３は、照明部１０２と調光部１０１とを上下左右に首振する動作を行なう。上下方向に首振する動作をチルト動作といい、左右方向に首振させる動作をパン動作という。照明用パンチルト部１０３でパンおよびチルト動作を行なうことにより、照明部１０２で照明する範囲を上下左右に移動させることができる。
【００２４】
照明装置１００の照明部１０２の電源は、照明装置１００が設置された部屋の照明用の電源に連動してＯＮ／ＯＦＦする。また、後述するカメラサーバ２００からの制御信号に基づき、照明部１０２の電源が、カメラ部が撮影するときのみＯＮとなるように制御される。
【００２５】
図１に戻って、カメラサーバ２００は、被写体１１０を撮影するためのカメラ部２０２と、カメラ部２０２の撮影方向を上下左右に移動させるためのカメラ用パンチルト部２０１と、カメラ部２０２で撮影された画像から照明部１０２で照明された被写体を検知するための照明検知部２０３と、照明検知部２０３で検知された被写体に所定の画像処理を施すための画像処理部２０４と、ネットワークに接続された他のコンピュータ等と通信を行なうための通信制御部２０６と、制御部２０５とを含む。
【００２６】
カメラ部２０２は、光学レンズとＣＣＤセンサ等の光電変換素子等から構成される。カメラ部２０２で撮影された画像は、光電変換素子により電気信号に変換されて照明検知部２０３に送信される。カメラ部２０２のフォーカス、ズームおよびアイリスは、制御部２０５より受信する制御コマンドに基づき定められる。
【００２７】
カメラ用パンチルト部２０１は、制御部２０５より受信する制御コマンドに従って、パンおよびチルト動作を行なう。これにより、カメラ部２０２の撮影方向を上下左右に移動させる。
【００２８】
通信制御部２０６は、カメラサーバ２００をコンピュータネットワークまたは通信回線網に接続するための通信インターフェイスであり、ネットワーク等に接続された他のパーソナルコンピュータとの間で通信を行なう。図ではコンピュータネットワークに接続した形態を示している。通信制御部２０６に入力された音声データまたは画像データは、制御部２０５の指示によりネットワークに接続されたパーソナルコンピュータに対してネットワークを介して送信される。
【００２９】
制御部２０５は、通信制御部２０６を介してネットワークに接続されたパーソナルコンピュータ等と通信を行なうことにより、カメラ部２０２で撮影する撮影範囲を変更するコマンドを受信する。制御部２０５は、受信したコマンドに基づき、カメラ用パンチルト部２０１に対して、カメラ部２０２の撮影方向を変更するための制御コマンドを送信する。カメラ用パンチルト部２０１では、制御部２０５から受信した制御コマンドに基づいて、カメラ部２０２の撮影方向を変更する。また、制御部２０５は、通信制御部２０６を介してネットワークに接続されたコンピュータ等から受信するコマンドに基づいて、カメラ部２０２に対して、フォーカス、ズーム、アイリスを制御する制御コマンドを送信する。カメラ部２０２は、制御部２０５から受信する制御コマンドに基づいて、フォーカス値、ズーム量、アイリスの値を決定する。これにより、カメラ部２０２で撮影する範囲が制御される。
【００３０】
照明検知部２０３は、カメラ部２０２から画像データを受信する。照明検知部２０３では、カメラ部２０２から受信した画像データから照明部１０２で照明された被写体を検知する。
【００３１】
画像処理部２０４では、照明検知部２０３で検知された被写体の画像データに所定の画像処理を行なう。画像処理が行なわれた画像データは、制御部２０５に送信される。
【００３２】
制御部２０５では、画像処理部２０４から受信した画像処理後の画像データを通信制御部２０６を介してネットワークに接続されたコンピュータ等に送信する。これにより、ネットワークに接続されたコンピュータ等は画像処理部２０４で画像処理が施された画像データを表示することができる。
【００３３】
図３は、照明装置１００とカメラ部２０２とを部屋に設置した一例を示す図であり、部屋の上方に視点を置いて見たときの状態を示す。図を参照して、部屋には、被写体３０１が存在する。照明装置１００で照明する照明領域３１０は、被写体３０１を含む周辺の領域である。カメラ部２０２が撮影することができる撮影範囲は、照明領域３１０を含む広い範囲となっている。
【００３４】
図４は、照明装置１００で照明する範囲を説明するための図である。図４（Ａ）は、照明角度を小さくして照明領域を小さくした状態を示す図である。図を参照して、部屋３００には、被写体３０１と被写体３０２とが存在する。照明装置１００の照射角度を小さくすることにより、照明領域を小さくして被写体３０１のみが照明領域に含まれている。図４（Ｂ）は、照射角度を大きくして照明領域を大きくした状態を示す図である。照明装置１００の照射角度を大きくすることにより、被写体３０１と被写体３０２とが照明領域３１０に含まれる。
【００３５】
このように、照明装置１００の照射角度を変えることにより、カメラ部２０２の撮影範囲に含まれる被写体のうち、所望の被写体を照明領域に含めることができる。また、照明装置１００をパン動作およびチルト動作させることにより、照明領域を移動させることができるので、被写体が撮影範囲のどの場所にあろうとも、照明装置１００の照明領域に被写体を含めることができる。さらに、カメラ部２０２の撮影することができる範囲内に複数の被写体が含まれる場合であっても、照明装置１００の照射角度を大きくすることにより、複数の被写体を照明領域に含めることができる。
【００３６】
図５は、カメラサーバ２００に入力される画像と出力される画像とを示す図である。図５（Ａ）は、カメラサーバ２００に入力される画像を示す図である。画像４００内に照明装置１００で照明された被写体４１０が含まれる。照明装置１００で照明されて画素の輝度が大きくなっている被写体４１０に斜線を付して表わしている。カメラ部２０２に図５（Ａ）に示す画像が入力されると、照明検知部２０３で輝度の高い領域４１０が検知される。そして画像処理部２０４で輝度の高い領域４１０に対してモザイク等の所定の画像処理が行なわれる。画像処理後の画像データがカメラサーバ２００から出力される。図５（Ｂ）は、カメラサーバ２００から出力される画像を示す図である。図５（Ａ）に示すカメラサーバ２００に入力される画像と比較すると、画像４００に含まれる被写体４１０の領域が、画像４５０では、モザイク処理等の画像処理がなされた領域４５１に変換される。モザイク処理等の画像処理がなされた領域４５１は、人が、被写体が誰であるかを認識することができない画像である。
【００３７】
次に、本実施の形態における画像処理システムで行なわれる処理の流れについて説明する。図６は、本実施の形態における画像処理システムで行なわれる処理の流れを示すフロー図である。画像処理システムで行なわれる処理は、照明装置１００で照明する範囲を設定するステップ（Ｓ０１）と、カメラ用パンチルト部２０１とカメラ部２０２とで撮影範囲を決定してカメラ部２０２で撮影した画像を入力するステップ（Ｓ０２）と、カメラ部２０２が出力する画像データから照明装置１００で照明した被写体を検知するステップ（Ｓ０３）と、ステップＳ０３で検知した被写体の画像データを変換する画像変換処理を行なうステップ（Ｓ０４）と、ステップＳ０４で画像変換処理がなされた処理済の画像データを出力するステップ（Ｓ０５）とを含む。
【００３８】
図７は、図６のステップＳ０１で行なわれる照明範囲の設定処理の流れを示すフロー図である。図を参照して、照明範囲の設定処理は、照明を点灯するステップ（Ｓ１１）と、照明用パンチルト部１０３で行なうパンおよびチルト動作におけるパン位置およびチルト位置を決定するステップ（Ｓ１２）と、調光部１０１のスポットの設定と照明部１０２の発光強度の設定を行なうステップ（Ｓ１３）とを含む。
【００３９】
ステップＳ１１では、室の照明用の電源をＯＮすることにより照明部１０２の電源がＯＮする。これにより、照明部１０２から所定の波長の光が照射される。
【００４０】
ステップＳ１２においては、照明用パンチルト部で行なうパンおよびチルト動作を行なう際に必要なパン位置およびチルト位置が決められる。パン位置およびチルト位置の決定は、図示しない照明装置１００を操作するための操作部により行なわれる。操作部の操作は、被写体１１０により行なわれる。操作部は、被写体１１０が所持するリモコンによる操作が可能となっている。したがって、被写体１１０は、照明部１０２が光を照射することにより形成される照明領域に自分が含まれるように照明用パンチルト部１０３を制御することができる。
【００４１】
ステップＳ１３においては、調光部１０１のスポットの設定と照明部１０２の発光強度の設定が行なわれる。調光部１０１のスポットの設定は、調光部１０１の形状を変更することにより行なわれる。調光部１０１のスポットの設定と照明部１０２の発光強度の設定は、上述した照明装置１００の操作部を被写体１１０が操作することにより行なわれる。これにより、被写体１１０は、照明部１０２が照明することにより形成される照明領域の大きさを自由に設定することができるとともに、周囲の明るさに合わせて照明部１０２の発光強度を調節することができる。
【００４２】
図８は、図６のステップＳ０２で行なわれる画像入力処理の流れを示すフロー図である。図を参照して、画像入力処理は、カメラ部２０２のパンおよびチルト位置を設定するステップ（Ｓ２１）と、カメラ部２０２のズーム、フォーカスおよびアイリスを設定するステップ（Ｓ２２）と、カメラ部２０２で撮影することにより画像データを入力するステップ（Ｓ２３）とを含む。
【００４３】
ステップＳ２１においては、カメラ用パンチルト部２０１に対して、カメラ部２０２で撮影する方向を決定するために、パン位置（水平方向の位置）の設定と、チルト位置（上下方向の位置）の設定とが行なわれる。パン位置およびチルト位置への設定は、カメラ用パンチルト部２０１に対して制御部２０５から制御コマンドが送信されることにより行なわれる。制御部２０５は、通信制御部２０６を介してネットワークに接続された他のパーソナルコンピュータ等からカメラ部２０２の撮影方向を移動させるためのコマンドを受信する。制御部２０５は、受信したコマンドに応じてパン位置およびチルト位置を示す制御コマンドをカメラ用パンチルト部２０１に送信する。これにより、カメラ用パンチルト部２０１は、受信した制御コマンドに応じたパン位置およびチルト位置にカメラ部２０２の撮影方向を移動させる。
【００４４】
ステップＳ２２においては、カメラ部２０２のズーム、フォーカス、アイリスの設定が行なわれる。制御部２０５は、通信制御部２０６を介してネットワークに接続されたコンピュータ等から受信したコマンドに応じてカメラ部２０２に制御コマンドを返信する。制御コマンドには、カメラ部２０２の設定するべきズーム、フォーカスおよびアイリスの情報が含まれている。カメラ部２０２では、受信した制御コマンドに基づいて、ズーム、フォーカスおよびアイリスを設定する。
【００４５】
ステップＳ２１により、カメラ部２０２で撮影する撮影方向が上下左右方向に移動されてカメラ部２０２が向く方向が決定される。ステップＳ２２において、カメラ部２０２のズーム、フォーカスおよびアイリスが設定されることにより、撮影範囲の大きさ、焦点距離、および入力される画像の明るさが決定される。
【００４６】
ステップＳ２３においては、カメラ部２０２により撮影された画像が電気信号に変換されて照明検知部２０３に画像データが出力される。
【００４７】
カメラ部２０２から出力される画像データは、静止画像のデータでも動画像のデータでもどちらでもよい。動画像の場合には、１フレームごとに以下の処理が行なわれる。また、所定のフレームを選択して所定のフレームに対してのみ以下の処理を行なうようにしてもよい。
【００４８】
また、カメラ部２０２から画像データが出力されるタイミングは、制御部２０５により制御される。カメラ部２０２は、制御部２０５から指示があった場合に画像データを出力する。
【００４９】
図９は、図６のステップＳ０３で行なわれる照明検知処理の流れを示すフロー図である。図を参照して、照明検知処理は、入力した画像データを２値化するステップ（Ｓ３１）と、画像データから照明領域を抽出するステップ（Ｓ３２）とを含む。
【００５０】
照明検知処理は、照明検知部２０３において行なわれる。ステップＳ３１においては、カメラ部２０２が出力する画像データから輝度情報を抽出し、抽出した輝度情報を所定のしきい値を用いて２値化する。本実施の形態においては、輝度情報を用いて２値化を行なうようにしたが、色相等を用いて２値化を行なうようにしてもよい。
【００５１】
ステップＳ３２においては、２値化された画像データの中から、所定のしきい値よりも高い輝度を有する画素を抽出する。抽出された画素の集まりが、照明部１０２で照明された領域となる。したがって、画像データ中から照明部１０２で照明された領域が抽出される。
【００５２】
次に照明検知処理について具体的に説明する。図１０は、照明装置１００で照明しないときに得られる画像データと輝度データとを示す図である。図１０（Ａ）は、照明装置１００で照明しないときに得られる画像データを示す図である。図を参照して、画像データ４００は、被写体４０１と被写体４０２とを含む。被写体４０１と被写体４０２の双方とも照明装置１００で照明されていない。図１０（Ｂ）は、図１０（Ａ）の画像データ４００中の水平線ａ−ｂにおける輝度データを示す図である。輝度データ４１０は、被写体４０１と被写体４０２との部分で輝度の値が高くなっているけれども、しきい値よりも小さな値となっている。これは、被写体４０１と被写体４０２の双方とも照明装置１００で照明されていないことによるものである。
【００５３】
図１１は、照明装置１００で照明したときに得られる画像データと輝度データとを示す図である。図１１（Ａ）は、照明装置１００で照明したときに得られる画像データを示す図である。画像データ４００は、照明装置１００で照明された被写体４０１と、照明されていない被写体４０２とを含む。図１１（Ｂ）は、図１１（Ａ）の画像データ４００中の水平線ａ−ｂにおける輝度データを示す図である。輝度データ４１１の被写体４０１の部分では、輝度の値がしきい値よりも高くなっている。一方、輝度データ４１１の被写体４０２の部分では輝度の値が高くなっているけれどもしきい値よりも小さな値となっている。
【００５４】
図１０（Ｂ）に示す輝度データを、しきい値を基準に２値化した場合は、すべての画素において「０」となってしまう。一方、図１１（Ｂ）に示す輝度データ４１１をしきい値を基準に２値化した場合は、被写体４０１の部分で「１」となり、その他の部分で「０」となる。これにより、画像データ４００の水平線ａ−ｂにおける照明装置１００で照明された領域が抽出される。水平線ａ−ｂを画像データ４００の上から下まで移動させて上述の２値化処理を行なうことにより、画像データ４００中の被写体４０１の部分を照明装置で照明された領域として抽出することができる。
【００５５】
また、照明装置１００の照明部１０２で照射する光を赤外光とすることができる。図１２は、照明部１０２から照射する光を赤外光としたときにおける波長を示す図である。照明部１０２から照射する光の波長は、７００［ｎｍ］から８００［ｎｍ］までの範囲に含まれている。
【００５６】
図１３は、照明部１０２で照射する光を赤外光としたときのカメラ部２０２の概略構成を示す図である。図を参照して、カメラ部２０２は、レンズ１５０と、ビームスプリッタ１５１と、可視光用ＣＣＤ１５４と、赤外光選択透過フィルタ１５２と、赤外光受光用ＣＣＤ１５３とから構成される。レンズ１５０より入射した光はビームスプリッタ１５１で、可視光受光用ＣＣＤ１５４に進む経路と、赤外光用受光用ＣＣＤ１５３に進む経路の２つの経路に分岐する。可視光受光用ＣＣＤ１５４は、レンズ１５０を透過した光のすべての波長の光を受光する。赤外光選択透過フィルタ１５２は、レンズ１５０を透過した光のうち、波長が７００［ｎｍ］から８００［ｎｍ］までの範囲の光を透過する。赤外光受光用ＣＣＤ１５３は、赤外光選択透過フィルタ１５２を通過した光を受光する。
【００５７】
照明装置１００から照射された赤外光が、被写体に照射されて反射する。反射した赤外光が赤外光受光用ＣＣＤ１５３で受光される。赤外光受光用ＣＣＤ１５３が出力する画像データをもとに、上述の照明検知処理を行なうことにより、画像データ中から赤外光が照射された領域を抽出することができる。可視光受光用ＣＣＤ１５４が出力する画像データは、赤外光受光用ＣＣＤ１５３が出力する画像データと同じ領域の画像データである。可視光受光用ＣＣＤ１５４が出力する画像データは、照明検知処理には用いられない。赤外光受光用ＣＣＤ１５３の画像データをもとに検知された赤外光が照射された領域が可視光受光用ＣＣＤ１５４が出力する画像データに対応づけられて、画像処理部２０４に送られる。
【００５８】
なお、照明部１０２が照射する光を赤外光とした場合には、被写体１１０は、照明部１０２が照明する領域（照明領域）を目で認識することができない。したがって、照明部１０２が照射する光は、赤外光だけでなく、可視光も含む光とするのがよい。また、照明部１０２が照射する光を赤外光のみとした場合には、照明部１０２が照明する領域と同じ領域に可視光を照射する別の照明装置を設けるとよい。このようにすることで、被写体１１０が照明部１０２が照明する照明領域を目で確認することができる。
【００５９】
さらに、被写体１１０が、照明装置１００の操作部を操作することにより、照明領域の位置が決定した場合には、可視光を照射する別の照明部の電源をＯＦＦできるようにしてもよい。このようにすることで、被写体１１０は、照明部１０２が照射する赤外光を認識することがないので照明が、目障りでない。
【００６０】
図１４は、図６のステップＳ０４で行なわれる画像変換処理の流れを示すフロー図である。画像変換処理は、画像処理部２０４で行なわれる。画像変換処理は、画像データ中の照明装置１００で照明された領域の画像データにモザイク処理を施すステップ（Ｓ４１）と、画像データとステップＳ４１で処理が施された画像データとを合成するステップ（Ｓ４２）とを含む。
【００６１】
ステップＳ４１においては、図９に示した照明検知処理で抽出された照明装置１００で照明された領域に含まれるすべての画像データに対して、モザイク処理を行なう。これにより、照明装置１００で照明された領域は、ディスプレイ等に出力した場合に人が認識することができない画像データに変換される。また、モザイク処理の代わりに、ＬＵＴ変換などのフィルタ処理を用いてもよい。さらに、別の画像データを予め記憶しておき、照明装置で照明された領域の画像データを記憶されている別の画像データに置換えるようにしもよい。
【００６２】
ステップＳ４２においては、モザイク処理がなされて人が認識できなくなった照明領域の画像データを元の画像データと合成する。これにより、画像データのうち照明装置１００で照明された領域の画像データは、モザイク処理がなされた画像データとなる。一方、照明装置１００で照明された領域を除く他の画像データは、元の画像データのままなので、ディスプレイ等に表示された場合に人がそのまま認識することができる。
【００６３】
図１５は、画像処理部２０４が出力する画像データの具体例を示す図である。図１５（Ａ）では、画像データ４５０中にモザイク処理がなされた照明装置１００で照明された領域４５１と、領域４５１に、保護領域であることを示す記号５００が重畳して表示されている。このように、記号５００を照明装置１００で照明された領域４５１に重ねて表示することで、画像データ４５０をディスプレイ等で見る者に対して、領域４５１に写し出された者がプライバシーの保護を求めていることを認識することができる。
【００６４】
図１５（Ｂ）には、画像データ４５０中に楕円形の領域５０１が表示され、領域５０１中には「プライバシー保護領域」の文字が表示されている。領域５０１の形状は楕円であるが、長方形や円形であってもよい。領域５０１中に「プライバシー保護領域」の文字を表示することで、画像データ４５０を見る者は、領域５０１がプライバシーの保護を求める者の意志で、見ることができない領域とされたことを認識することができる。
【００６５】
図１５（Ｃ）は、画像データ４５５のすべてに対してモザイク処理がなされ、画像データ中に「プライバシー保護のためスルー画像はお見せできません。」の文字が重畳して表示されている。このように、画像データ４５５のすべてに対してモザイク処理を施すこともできる。
【００６６】
「照明検知処理の変形例」
次に、照明検知処理の変形例について説明する。図１６は、図６のステップＳ０３で行なわれる変形された照明検知処理の流れを示すフロー図である。図を参照して、変形された照明検知処理は、照明装置１００で照明したときに得られる画像データ（照明照射画像）と照明しないときに得られる画像データ（照明非照射画像）との差分から差分画像データを求めるステップ（Ｓ３５）と、得られた差分画像データから照明装置１００で照明された領域を抽出するステップ（Ｓ３６）とを含む。
【００６７】
ステップＳ３５においては、照明装置１００で照射したときにカメラ部２０２が出力する画像データから得られる輝度データと、照明装置１００で照射したときにカメラ部２０２が出力する画像データから得られる輝度データの差分を求める。ステップＳ３６においては、ステップＳ３５で求めた差分が、所定のしきい値よりも大きい画素を含む領域を、照明領域として抽出する。
【００６８】
照明装置１００が照明したときにカメラ部２０２が出力する画像データと、照明装置１００が照明しないときにカメラ部２０２が出力する画像データとは、次のようにして得ることができる。カメラ部２０２が画像データを出力するタイミングは、制御部２０５により制御される。制御部２０５は、照明装置１００の照明部１０２もまた制御する。このとき、カメラ部２０２で画像データを出力するタイミングを、照明部１０２で照射するタイミングまたは照射しないタイミングに合わせて出力する。
【００６９】
図１７は、変形された照明検知処理を説明するための図である。図１７（Ａ）は、照明装置１００で照射しないときにカメラ部２０２が出力する画像データから得られる輝度データを示す図である。照明装置１００で照射しないときに得られる画像データは、図１０（Ａ）と同じとしている。図１０（Ａ）と図１７（Ａ）とを参照して、輝度データ４１２は、被写体４０２の部分で輝度がしきい値よりも大きくなっている。これは、たまたま被写体４０２が反射率の高い服を着ているような場合である。また、被写体４０１の部分で輝度が大きくなっているけれどもしきい値よりは小さい。この輝度データとしきい値をもとに２値化すると、被写体４０２が照明装置１００で照明された領域として抽出されてしまい、所望の結果が得られない。
【００７０】
図１７（Ｂ）は、照明装置１００で照明したときにカメラ部２０２が出力する画像データから得られる輝度データを示す図である。照明装置１００で照明したときに得られる画像データは、図１１（Ａ）に示す画像データとしている。図１１（Ａ）と図１７（Ｂ）とを参照して、輝度データ４１３は、被写体４０２と被写体４０１の部分で輝度がそれぞれしきい値よりも大きくなっている。図１７（Ａ）に示す輝度データ４１２と比較すると、被写体４０２の部分の輝度は同じであるが、被写体４０１の部分の輝度は、輝度データ４１３の方が大きい。輝度データ４１３としきい値とに基づき２値化を行なった場合には、被写体４０２と被写体４０１との領域が、照明装置１００で照明された領域として抽出されてしまい、所望の結果が得られない。
【００７１】
図１７（Ｃ）は、照明部１００で照明したときにカメラ部２０２が出力する画像データから得られる輝度データ４１３と照明しないときにカメラ部２０２が出力する画像データから得られる輝度データ４１２との差分を示す図である。図を参照して、被写体４０１の部分で差分値がしきい値よりも高くなっている。したがって、被写体４０１のみを照明装置１００で照明された領域として抽出することができる。
【００７２】
このように、照明装置１００で照明したときに得られる画像データと照明しないときに得られる画像データとを用いて照明装置１００で照明された領域を抽出することにより、正確に照明装置１００で照明された領域を抽出することができる。
【００７３】
以上説明したように、第１の実施の形態における画像処理システムにおいては、カメラ部２０２で撮影した画像中で、照明装置１００で照明された領域の画像をモザイク処理する。したがって、カメラ部２０２の撮影範囲に含まれる人が、照明装置１００を操作して自己が照明装置１００で照明されるようにすることにより、カメラサーバ２００から出力される画像に写し出されないので、その者のプライバシーを保護することができる。逆に、照明装置１００で照明していない被写体については、カメラサーバ２００から出力される画像に写し出される。これにより、プライバシー保護のために必要な領域のみをモザイク処理することができ、出力される画像の情報量を多く保つことができる。
【００７４】
さらに、照明検知部２０３で、照明された領域を抽出するときにのみ照明装置１００で照明する場合には、被写体１１０が常に照明されることがないので、煩わしくない。
【００７５】
さらに、照明装置１００が照射する光を赤外光とした場合には、被写体１１０は照明装置１００が照射する光を見ることができないので、煩わしくない。
［第２の実施の形態］
図１８は、第２の実施の形態における画像処理装置の概略構成を示す図である。図を参照して、画像処理装置２５０は、画像処理装置２５０全体を制御する制御部２５４と、制御部２５４がネットワークに接続されたパーソナルコンピュータ等と通信を行なうための通信制御部２０６と、グラデーションや縞模様のパターン光を照射するパターン照明部２５１と、パターン照明部２５１で照明する方向に変更を加えるための照明用パンチルト部１０３と、パターン照明部２５１と照明用パンチルト部１０３を制御するための照明制御部２５５と、被写体１１０を撮影するためのカメラ部２０２と、カメラ部２０２の撮影方向を変更するためのカメラ用パンチルト部２０１と、カメラ部２０２が出力する画像データからパターン照明部２５１で照明された領域を抽出するための照明検知部２５２と、カメラ部２０２が出力する画像データ中のパターン照明部２５１で照明された領域に所定の画像処理を行なう画像処理部２５３とを含む。
【００７６】
第２の実施の形態における画像処理装置は、第１の実施の形態における照明装置１００とカメラサーバ２００とを一体に構成したものである。第１の実施の形態と同一または相当する部材については、同一の符号を付し、ここでは説明を繰返さない。
【００７７】
パターン照明部２５１は、照明部と調光部から構成されている。照明部は、グラデーションや縞模様のパターン光を照射する。照明部は、すべての方向に光を照射するランプとフィルタとから構成される。ランプから照射した光をフィルタを通過させることによりパターン光を照射する。このフィルタを変えることにより、パターン光をグラデーション模様の光や縞模様の光とすることができる。調光部は、第１の実施の形態で用いた調光部１０１と同様のものが用いられる。したがって、調光部がその形を変形させることにより、照明部が照射するパターン光の照明する範囲の大きさを変えることができる。
【００７８】
照明制御部２５５は、照明用パンチルト部１０３とパターン照明部２５１と接続されている。また、照明制御部２５５は、受信部２５６と接続されている。受信部２５６は、リモコン２５７と無線による通信を行なう。リモコン２５７から受信部２５６へは、照明制御部２５５でパターン照明部２５１と照明用パンチルト部１０３とを制御するための指示信号が送信される。リモコン２５７の操作は、被写体１１０または被写体１１０を保護する立場にいる人が行なう。
【００７９】
照明制御部２５５は、受信部２５６でリモコンからの指示信号を受信すると、受信された指示信号に基づいて、照明用パンチルト部１０３またはパターン照明部２５１に対して制御コマンドを送信する。照明用パンチルト部１０３に対して送信する制御コマンドは、照明範囲の大きさを指示するためのコマンドであり、照明用パンチルト部１０３に対して送信する制御コマンドは、パターン照明部２５１が照射する方向を指示するための制御コマンドである。
【００８０】
照明用パンチルト部１０３は、照明制御部２５５からの制御コマンドの受信に応じて、パターン制御部２５１が照射する方向を移動させる。パターン照明部２５１は、照明制御部２５５からの制御コマンドの受信に応じて、パターン光を照射する角度を変更する。したがって、被写体１１０または被写体１１０を保護する立場にいる人がリモコン２５７を操作することにより、照明用パンチルト部１０３とパターン照明部２５１が照明制御部２５５により制御されて、パターン照明部２５１が照明する範囲と大きさが変更される。
【００８１】
なお、リモコン２５７に加えて、照明操作部を照明制御部２５５に接続して、被写体１１０またはその被写体１１０を保護する立場にいる人が照明操作部を操作することにより、パターン照明部２５１と照明用パンチルト部１０３を制御できるようにしてもよい。
【００８２】
制御部２５４は、通信制御部２０６を介してネットワークに接続されたパーソナルコンピュータ等と通信を行なうことにより、カメラ部２０２で撮影する撮影範囲を変更するコマンドを受信する。制御部２５４は、受信したコマンドに基づき、カメラ用パンチルト部２０１に対して、カメラ部２０２の撮影方向を変更するための制御コマンドを送信する。カメラ用パンチルト部２０１では、制御部２５４から受信した制御コマンドに基づいて、カメラ部２０２の撮影方向を変更する。また、制御部２５４は、通信制御部２０６を介してネットワークに接続されたコンピュータ等から受信するコマンドに基づいて、カメラ部２０２に対して、フォーカス、ズーム、アイリスを制御する制御コマンドを送信する。カメラ部２０２は、制御部２５４から受信する制御コマンドに基づいて、フォーカス値、ズーム量、アイリスの値を決定する。これにより、カメラ部２０２で撮影する範囲が制御される。カメラ部２０２が出力する画像データは、照明検知部２５２に送信される。
【００８３】
照明検知部２５２では、画像データからパターン照明部２５１で照射された領域を照明領域として抽出する。画像処理部２５３では、画像データ中のパターン照明部２５１で照明された領域に対してモザイク等の画像変換処理を行なう。
【００８４】
本実施の形態における画像処理装置２５０で行なわれる処理は、第１の実施の形態で説明した図６から図９および図１４に示した処理と同様の処理が行なわれる。ただし、パターン処理部２５１から照射される光は、グラデーションや縞模様のパターン光であるので、カメラ部２０２が出力する画像データから得られる輝度データが第１の実施の形態で説明した輝度データと異なる。
【００８５】
図１９は、パターン照明を使った場合の照明検知処理を説明するための図である。図１９（Ａ）は、照明装置で照明していないときに得られる画像データを示す図である。図１９（Ｂ）は、図１９（Ａ）の画像データ４２０中の水平線ａ−ｂにおける輝度データを示す図である。輝度データ４２３は、被写体４２２の輝度の値はしきい値よりも大きいが、被写体４２１の輝度の値はしきい値よりも小さい。図１９（Ｃ）は、被写体４２１にパターン照明部で照明したときに得られる輝度データである。輝度データ４２５は、被写体４２１の部分でも縞状の輝度値がしきい値よりも大きくなっている。図１９（Ｄ）は、輝度データのうちでしきい値より大きなデータを示した図で、このデータのプロファイルを照明検知部２５３で分析する。そこで、所定のパターンになっている部分を取出せば、画像データ４２０中の被写体４２１の部分を照明された領域として抽出することができる。
【００８６】
以上説明したとおり、第２の実施の形態における画像処理装置においては、パターン照明部２５１を設けて、パターン光を照射するようにしたので、パターン光が照射された被写体を画像データ中から容易に抽出することができる。
【００８７】
［第３の実施の形態］
図２０は、第３の実施の形態における画像処理システムの概略構成を示すブロック図である。第３の実施の形態における画像処理システムは、大きくは照明装置１００と、従来より用いられている既存のカメラ２３０と、画像処理装置２１０とを含む。
【００８８】
照明装置１００は、第１の実施の形態における照明装置１００と同様であるのでここでの説明は繰返さない。既存のカメラ２３０は、従来より用いられている監視カメラであり、固定型のカメラである。既存のカメラ２３０が撮影した画像は、電気信号に変換されて画像処理装置２１０に入力される。
【００８９】
画像処理装置２１０は、画像処理装置２１０全体を制御する制御部２１４と、既存のカメラ２３０から画像データを入力する入力部２１１と、制御部２１４がネットワークに接続されたパーソナルコンピュータ等と通信を行なうための通信制御部２０６と、入力部２１１で入力された画像データから照明装置１００で照明された領域を抽出する照明検知部２１２と、画像データ中の照明装置１００で照明された領域に所定の画像変換処理を行なう画像処理部２１３とを含む。
【００９０】
照明検知部２１２では、第１の実施の形態において説明した図９に示した照明検知処理または図１６に示した変形された照明検知処理が行なわれる。画像処理部２１３においては、第１の実施の形態において説明した図１４に示す画像変換処理が行なわれる。
【００９１】
既存のカメラ２３０が撮影する範囲は、固定されているので、入力部２１１に入力される画像データは、固定された撮影範囲の画像である。被写体１１０は、照明装置１００を操作することにより、照明部１０２で照明する照明範囲に被写体自身を含めることができる。
【００９２】
照明検知部２１２では、入力された画像データから照明装置１００で照明された照明領域を検知する。画像処理部２１３においては、画像データ中の照明装置１００で照明された領域の画像データにモザイク処理を施す。モザイク処理が施された画像データは、制御部２１４に送信される。制御部２１４は、モザイク処理が施された画像データを、通信制御部２０６を介してネットワークに接続されたパーソナルコンピュータ等に送信する。パーソナルコンピュータ等ではモザイク処理が施された画像データをディスプレイ等に表示する。
【００９３】
以上説明したとおり、第３の実施の形態における画像処理装置は、既存のカメラ２３０から入力した画像データに対して、照明装置１００で照明された領域の画像データのみにモザイク処理を施すことができる。
【００９４】
また、既存のカメラで撮影した画像に対して、画像処理を施すようにしたので、既存の設備に簡単な改良を加えるのみで画像処理システムを構築することができる。
【００９５】
なお、図９または図１６、および図１４に示した処理を実行するためのプログラムを記録媒体２４０に記録し、記録されたプログラムを画像処理装置２１０に接続した外部記憶装置２２０で読込むことにより、制御部２１４で実行するようにしてもよい。記録媒体２４０は、光磁気ディスク、デジタルビデオディスク（ＤＶＤ）等である。
【００９６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つにおける画像処理システムの概略構成を示すブロック図である。
【図２】調光部１０１を変形させることにより照射角度を変える一例を示す図である。
【図３】照明装置１００とカメラ部２０２とを部屋に設置した一例を示す図であり、部屋の上方に視点を置いて見たときの状態を示す図である。
【図４】照明装置１００で照明する範囲を説明するための図である。
【図５】カメラサーバ２００に入力される画像と出力される画像とを示す図である。
【図６】第１の実施の形態における画像処理システムで行なわれる処理の流れを示すフロー図である。
【図７】図６のステップＳ０１で行なわれる照明範囲の設定処理の流れを示すフロー図である。
【図８】図６のステップＳ０２で行なわれる画像入力処理の流れを示すフロー図である。
【図９】図６のステップＳ０３で行なわれる照明検知処理の流れを示すフロー図である。
【図１０】照明装置１００で照明しないときに得られる画像データと輝度データとを示す図である。
【図１１】照明装置１００で照明したときに得られる画像データと輝度データとを示す図である。
【図１２】照明部１０２で照射する光を赤外光としたときの波長を示す図である。
【図１３】照明部１０２で照射する光を赤外光としたときのカメラ部２０２の概略構成を示す図である。
【図１４】図６のステップＳ０４で行なわれる画像変換処理の流れを示すフロー図である。
【図１５】画像処理部２０４が出力する画像データの具体例を示す図である。
【図１６】図６のステップＳ０３で行なわれる変形された照明検知処理の流れを示すフロー図である。
【図１７】変形された照明検知処理を説明するための図である。
【図１８】第２の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図１９】パターン照明を使った場合の照明検知処理を説明するための図である。
【図２０】第３の実施の形態における画像処理システムの概略構成を示すブロック図である。
【符号の説明】
１００  照明装置
１０１  調光部
１０２  照明部
１０３  照明用パンチルト部
１１０  被写体
２００  カメラサーバ
２０１  カメラ用パンチルト部
２０２  カメラ部
２０３  照明検知部
２０４  画像処理部
２０５  制御部
２０６  通信制御部
【図１】
0004168518.tif 000002
【図２】
0004168518.tif 000003
【図３】
0004168518.tif 000004
【図４】
0004168518.tif 000005
【図５】
0004168518.tif 000006
【図６】
0004168518.tif 000007
【図７】
0004168518.tif 000008
【図８】
0004168518.tif 000009
【図９】
0004168518.tif 000010
【図１０】
0004168518.tif 000011
【図１１】
0004168518.tif 000012
【図１２】
0004168518.tif 000013
【図１３】
0004168518.tif 000014
【図１４】
0004168518.tif 000015
【図１５】
0004168518.tif 000016
【図１６】
0004168518.tif 000017
【図１７】
0004168518.tif 000018
【図１８】
0004168518.tif 000019
【図１９】
0004168518.tif 000020
【図２０】
0004168518.tif 000021