(57)【要約】【課題】被写体の状態に応じて自動的にかつ的確な露出処理と隠蔽処理をした映像を得る。【解決手段】被写体毎に隠蔽されたいか否かの意思をその動きや発信情報、画像処理によって把握し、その状況に応じて被写体の露出と隠蔽処理を行う。例えば、カメラの３コマの撮影映像のうち、カメラに向かって近づいてくる被写体Ａだけが大きくなることから、隠蔽処理には被写体Ａだけを露出し、遠ざかる被写体は隠蔽する。  被写体毎に自分の領域を隠蔽するか否かの意思を識別する無線タグによる判別、ユーザを特定する無線タグによる判別、被写体の顔などの画像処理によりユーザを識別、近づいてくるあるいは遠ざかるなどの変化量に応じて隠蔽させる量を変えることも含む。【選択図】  図１
2006148386.tif 000002
【特許請求の範囲】
【請求項１】
撮影映像の中から必要な被写体領域を隠蔽する映像処理装置であって、
撮影映像を取得する撮影手段と、
前記撮影手段により撮影されている被写体の領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出されている被写体に関する情報を取得する情報取得手段と、
前記領域抽出手段により抽出する領域の被写体について、前記情報取得手段により取得する被写体に関する情報に基づき、当該被写体領域を露出するか隠蔽するかを判断する状況判断手段と、
前記状況判断手段による判断に基づき隠蔽すべき被写体を隠蔽した全体映像を生成する映像生成手段と、
を備えたことを特徴とする映像撮影装置。
【請求項２】
請求項１において、前記情報取得手段は、
被写体画像が前記撮影手段に対して近づいているか否か、
被写体画像が前記撮影手段に対して遠ざかっているか否か、
被写体画像が前記撮影手段に対して向いているか否か、
被写体が有する隠蔽の要否を識別する無線タグの取得、
被写体を識別する無線タグの取得、
被写体の画像処理による認識、
のいずれか１つ、またはその組み合わせによって、当該被写体に関する情報を取得する手段を備えたことを特徴とする映像撮影装置。
【請求項３】
請求項１または２において、前記映像生成手段は、当該被写体領域の隠蔽する度合いを変化させる手段を備えたことを特徴とする映像撮影装置。
【請求項４】
撮影映像の中から必要な被写体領域を隠蔽する映像処理方法であって、
撮影映像を取得する撮影過程と、
前記撮影過程により撮影されている被写体の領域を抽出する領域抽出過程と、
前記領域抽出過程により抽出されている被写体に関する情報を取得する情報取得過程と、
前記領域抽出過程により抽出する領域の被写体について、前記情報取得過程により取得する被写体に関する情報に基づき、当該被写体領域を露出するか隠蔽するかを判断する状況判断過程と、
前記状況判断過程による判断に基づき隠蔽すべき被写体を隠蔽した全体映像を生成する映像生成過程と、
を備えたことを特徴とする映像撮影方法。
【請求項５】
請求項４において、前記情報取得過程は、
被写体画像が撮影手段に対して近づいているか否か、
被写体画像が撮影手段に対して遠ざかっているか否か、
被写体画像が撮影手段に対して向いているか否か、
被写体が有する隠蔽の要否を識別する無線タグの取得、
被写体を識別する無線タグの取得、
被写体の画像処理による認識、
のいずれか１つ、またはその組み合わせによって、当該被写体に関する情報を取得する過程を備えたことを特徴とする映像撮影方法。
【請求項６】
請求項４または５において、前記映像生成過程は、当該被写体領域の隠蔽する度合いを変化させる過程を備えたことを特徴とする映像撮影方法。
【請求項７】
請求項４〜６のいずれか１項に記載の映像撮影方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項８】
請求項４〜６のいずれか１項に記載の映像撮影方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮影映像の中から必要な被写体領域を隠蔽する映像撮影装置およびその方法であって、特に、撮影されている被写体の動きやＩＤ、画像認識、あるいはその組み合わせから隠蔽の要否をその状況に合わせて判断し、自動的に必要な領域を隠蔽処理可能にした映像撮影装置およびその方法に係わる。
【背景技術】
【０００２】
街頭カメラやテレビ電話など、日常でもビデオカメラにより撮影される機会が増えてきている。また、プライバシ保護の観点から特定の領域を隠蔽したり、あるいはテレビに放映されたり、通信相手に自分の姿を見せたりしようとするため、積極的に撮影されたいという人もいる。このように、同一のカメラにより撮影される映像でも、被写体や周囲の状況により、隠蔽すべき被写体とそのまま露出してもよい被写体があり、これらを的確に判別し処理する必要がある。
【０００３】
従来から、監視カメラによる撮影に、プライバシ確保を可能にするものが提案されている（例えば、特許文献１参照）。この特許文献１では、焦点を被写体対象の近傍に合わせ、ボケを利用して背景を検出・除去することにより、背景部分のプライバシが確保された映像取得を実現している。
【０００４】
また、最近の監視目的のカメラには撮影映像中の動きのある物体を侵入者と見なし、その部分だけを明瞭に表示させ、他の部分を隠蔽するような侵入者検出装置あるいはソフトも販売されている。
【特許文献１】特開平５−９１５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の従来技術では、状況に合わせて必要な領域を自動的に隠蔽することができない。すなわち、焦点距離を被写体がその都度人為的に設定するか、あるいは予め定めた距離に被写体となる人や物を配置する必要がある。
【０００６】
また、背景技術に挙げた侵入者検出装置あるいはソフトは単なる映像中の動きのある物体以外を隠蔽するものであり、撮影されている被写体の意思や状況に係わらず動くもの全てが露出されてしまうことになる。
【０００７】
本発明の目的は、このような問題を解消し、被写体の状態に応じて自動的にかつ的確な露出処理と隠蔽処理をした映像を得ることができる映像撮影装置、映像撮影方法、この撮影方法のプログラム、および撮影方法のプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明では、被写体毎に隠蔽されたいか否かの意思をその動きや発信情報、画像処理によって把握し、その状況に応じて被写体の露出と隠蔽処理を行う。
【０００９】
例えば、撮影されてもよい、あるいは積極的に撮影されたいという人はカメラに近づいてくるという行動をとり、逆に撮影されたくないという人はカメラから遠ざかる行動をとるという傾向がある。よって、図１に本発明の概略イメージの例を示すように、カメラの３コマの撮影映像のうち、カメラに向かって近づいてくる被写体Ａだけが大きくなることから、隠蔽処理には被写体Ａだけを露出し、遠ざかる被写体は隠蔽するといった手法で被写体毎に隠蔽されたいか否かの意思を把握する。
【００１０】
また、被写体毎に自分の領域を隠蔽するか否かの意思を識別する無線タグを所有し、カメラ側に設置された無線タグリーダにより識別し、隠蔽すべきか否かを判別する。
【００１１】
また、ユーザを特定する無線タグを所有し、ユーザ毎に隠蔽の要否あるいは隠蔽の度合いを管理し、検出された領域に対応付ける。
【００１２】
また、被写体の顔などの画像処理によりユーザを識別し、上記と同様に判別する。
【００１３】
また、近づいてくるあるいは遠ざかる、などの変化量に応じて隠蔽させる量を変える。
【００１４】
以上のことから、本発明は、以下の映像撮影装置、方法、プログラム、記録媒体を特徴とする。
【００１５】
（装置の発明）
（１）撮影映像の中から必要な被写体領域を隠蔽する映像処理装置であって、
撮影映像を取得する撮影手段と、
前記撮影手段により撮影されている被写体の領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出されている被写体に関する情報を取得する情報取得手段と、
前記領域抽出手段により抽出する領域の被写体について、前記情報取得手段により取得する被写体に関する情報に基づき、当該被写体領域を露出するか隠蔽するかを判断する状況判断手段と、
前記状況判断手段による判断に基づき隠蔽すべき被写体を隠蔽した全体映像を生成する映像生成手段と、
を備えたことを特徴とする。
【００１６】
（２）前記情報取得手段は、
被写体画像が前記撮影手段に対して近づいているか否か、
被写体画像が前記撮影手段に対して遠ざかっているか否か、
被写体画像が前記撮影手段に対して向いているか否か、
被写体が有する隠蔽の要否を識別する無線タグの取得、
被写体を識別する無線タグの取得、
被写体の画像処理による認識、
のいずれか１つ、またはその組み合わせによって、当該被写体に関する情報を取得する手段を備えたことを特徴とする。
【００１７】
（３）前記映像生成手段は、当該被写体領域の隠蔽する度合いを変化させる手段を備えたことを特徴とする。
【００１８】
（方法の発明）
（４）撮影映像の中から必要な被写体領域を隠蔽する映像処理方法であって、
撮影映像を取得する撮影過程と、
前記撮影過程により撮影されている被写体の領域を抽出する領域抽出過程と、
前記領域抽出過程により抽出されている被写体に関する情報を取得する情報取得過程と、
前記領域抽出過程により抽出する領域の被写体について、前記情報取得過程により取得する被写体に関する情報に基づき、当該被写体領域を露出するか隠蔽するかを判断する状況判断過程と、
前記状況判断過程による判断に基づき隠蔽すべき被写体を隠蔽した全体映像を生成する映像生成過程と、
を備えたことを特徴とする。
【００１９】
（５）前記情報取得過程は、
被写体画像が撮影手段に対して近づいているか否か、
被写体画像が撮影手段に対して遠ざかっているか否か、
被写体画像が撮影手段に対して向いているか否か、
被写体が有する隠蔽の要否を識別する無線タグの取得、
被写体を識別する無線タグの取得、
被写体の画像処理による認識、
のいずれか１つ、またはその組み合わせによって、当該被写体に関する情報を取得する過程を備えたことを特徴とする。
【００２０】
（６）前記映像生成過程は、当該被写体領域の隠蔽する度合いを変化させる過程を備えたことを特徴とする。
【００２１】
（プログラムの発明）
（７）上記の（４）〜（６）のいずれか１項に記載の映像撮影方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００２２】
（記録媒体の発明）
（８）上記の（４）〜（６）のいずれか１項に記載の映像撮影方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【発明の効果】
【００２３】
以上に説明したように、撮影されている被写体毎に隠蔽するか否かを被写体に関する情報として取得し、あるいはその隠蔽度合いを、被写体に関する情報として取得し、さらにその組み合わせにより判別し、必要な領域のみを隠蔽することにより、被写体毎の状態に応じて自動的にかつ的確な露出処理と隠蔽処理をした映像を得ることができる。
【発明を実施するための最良の形態】
【００２４】
（実施形態１）
以下では、近づいてくる被写体を露出させ、遠ざかる被写体を隠蔽させる方法の実施形態を中心に、図２に示す本発明の第１の実施形態を表すフロー図に従って説明する。
【００２５】
（Ｓ１）ビデオカメラなどにより撮影された映像をリアルタイムかつ継続的に取得する。
【００２６】
（Ｓ２）ビデオカメラ付近に設置した距離センサなどで指定された距離範囲に何らかの物体があるかを判定する。
【００２７】
（Ｓ３〜Ｓ５）何らかの物体があると判定された場合は、近づいてくる被写体があると判断し、当該領域の抽出を行う。まず、映像をフレーム単位に分割し、輪郭強調などの処理を施し、被写体の領域を明瞭にする。そして、前のフレームと比較し近傍付近の領域で拡大している領域があるか、近傍付近かどうかは同じ被写体であることを判定するために用いており、必須ではないが、これにより検出精度を高めることができる。具体的には、現フレームの当該領域が前フレームでの領域を含むあるいはある閾値以上含む場合に同一被写体とみなす、などの手段を用いる。また、拡大しているかどうかについては、任意の手段を適用すればよいが、単純に領域の面積（ドット数）を比較することでも求められる。またここで被写体を人に限定する場合、顔がカメラに向いているかを判定してもよい。
【００２８】
（Ｓ６）接近する被写体がある場合は、当該領域を接近領域として管理する。管理の方法については言及しないが、図３のように画面全体に対し、接近領域の部分を黒（０ｘＦＦ）、それ以外の部分を白（０ｘ００）と管理しておくと、後の処理が簡易になる。
【００２９】
ここまでは、新たに接近している被写体部分について抽出する処理である。
【００３０】
（Ｓ７〜Ｓ９）次に、既に抽出されている被写体部分について処理を行う。管理されている接近領域がない場合はこのステップは省略する。管理されている接近領域について、その領域が狭くなっていないかを判定する。領域が狭くなっているということは、その被写体がカメラから遠ざかっていることを表しているおり、この領域を隠蔽するために接近領域から外すことになる。全ての管理されている接近領域について上記の判定を行い、接近領域を管理する。
【００３１】
（Ｓ１０）以上までの処理によって、現時点までに管理されている全ての接近領域を取得し、結合することによって露出領域を作成する。接近領域を黒（０ｘＦＦ）、他の領域を白（０ｘ００）として管理しているならば、図３に例を示すように、それぞれ接近領域の同じ座標の値を論理演算子ＯＲで処理すれば、容易に得られる。論理演算子ＯＲはいずれか１つでも０ｘＦＦがあれば、その座標の値は０ｘＦＦ、すなわち黒となって接近領域となる。
【００３２】
（Ｓ１１）上記のようにして得られた露出領域以外の部分を隠蔽処理する。隠蔽処理を行うにあたり、マスキング画像を生成する。ここでは簡単のために、座標の値は０ｘ００か０ｘＦＦのいずれかを持つことにし、０ｘ００の座標はそのまま（透過）、０ｘＦＦは黒でマスク（隠蔽）するようなマスキング画像を作成することにする。
【００３３】
現在、露出領域の座標の値は０ｘＦＦ、それ以外は０ｘ００となっているため、上記のようなマスキング画像は、図４に例を示すように、露出領域の全体画像に論理演算子ＮＯＴを用いて０ｘ００と０ｘＦＦを反転させることにより、マスキング画像を得られる。
【００３４】
（Ｓ１２〜Ｓ１４）このようにして得られたマスキング画像とカメラで撮影した映像フレームに対し、論理演算子ＡＮＤの処理をすることで、露出領域だけが撮影映像、その他の領域が黒という送信映像を生成する。送信相手にはこの送信映像を伝送する。以上の処理を終了のトリガがあるまで繰り返し行う。
【００３５】
以上のようにして、カメラに近づいてくる被写体だけを露出し、遠ざかっていく被写体を含む他の部分を隠蔽した映像を作成することが可能となり、撮影されようとして近づいた被写体以外を隠すというプライバシを確保した映像を作成できる。
【００３６】
なお、上記では黒一色で隠蔽する方法を示したが、図５に例を示すように、被写体領域の大小する変化量や、被写体領域が移動する速度をもとにマスキングする隠蔽値（０ｘＦＦの値）を変えたり、別な隠蔽処理の手段を用いてもよい。
【００３７】
また、被写体領域がカメラに向かっているのか否かを判別し、向かっていれば露出、そうでなければ隠蔽といった処理をしてもよい。
【００３８】
また、被写体領域を抽出した際に、ＲＦＩＤなどの無線タグリーダにより、隠蔽要否のＩＤを検出し、ＩＤ毎に隠蔽するか否かを判別してもよい。
【００３９】
またさらに、被写体毎に異なる被写体ＩＤを検出し、被写体毎に設定された隠蔽の要否、あるいは隠蔽度合いを設定してもよい。例えば、ＩＤにより識別された被写体Ａ，Ｂ，Ｃと、識別されない未登録な検出領域１，２がある場合、それぞれの検出されたパターンと露出される領域は図６のようになる。
【００４０】
（実施形態２）
以下では、近づいてくる被写体を露出させ、遠ざかる被写体を隠蔽させる方法の実施形態を中心に、図７に示す本発明の第２の実施形態を表す構成図に従って説明する。
【００４１】
撮影手段１は、例えばビデオカメラなどにより撮影された映像をリアルタイムかつ継続的に取得する。
【００４２】
物体接近検出手段２は、ビデオカメラ付近に設置した距離センサなどを用いて指定された距離範囲に何らかの物体があるかを判定する。この物体接近検出手段２により指定した距離内に物体があると判定された場合は、以下の構成により露出あるいは隠蔽の処理をするためのマスキング画像を生成する。
【００４３】
接近領域検出手段３は、物体接近検出手段２により新たに近づいてくる被写体があると判断された領域の抽出を行う。そのため、映像をフレーム単位に分割し、輪郭強調手段４により領域強調処理を施し、被写体の領域を明瞭にする。
【００４４】
領域拡大判定手段５は、前のフレームと比較し、近傍付近の領域で拡大している領域があるか、すなわち接近してくる被写体があるかを判定する。近傍付近かどうかは同じ被写体であることを判定するために用いており、必須ではないが、これにより検出精度を高めることができる。具体的には、現フレームの当該領域が前フレームでの領域を含むあるいはある閾値以上含む場合に同一被写体とみなす、などの手段を用いてもよい。また、被写体を人に限定する場合、人物正面判定手段６として領域内の顔がカメラに向いているかを判定する処理を適用してもよい。
【００４５】
領域拡大判定手段５により検出された領域は、接近領域管理手段７により管理される。管理の方法については言及しないが、図３のように画面全体に対し、接近領域の部分を黒（０ｘＦＦ）、それ以外の部分を白（０ｘ００）と管理しておくと、後の処理が簡易になる。
【００４６】
領域縮小判定手段８は、管理されている接近領域について、その領域が狭くなっていないかを判定する。領域が狭くなっているということは、その被写体がカメラから遠ざかっていることを表しているおり、この領域を隠蔽するために接近領域管理手段７の接近領域から外すことになる。
【００４７】
露出領域生成手段９は、現時点までに管理されている全ての接近領域を取得し、結合することによって露出領域を作成する。接近領域を黒（０ｘＦＦ）、他の領域を白（０ｘ００）として管理しているならば、それぞれ接近領域の同じ座標の値を論理演算子ＯＲで処理すれば、容易に得られる。論理演算子ＯＲはいずれか１つでも０ｘＦＦがあれば、その座標の値は０ｘＦＦ、すなわち黒となって接近領域となる。
【００４８】
マスキング画像生成手段１０は、このようにして得られた露出領域以外の部分を隠蔽処理する。隠蔽処理を行うにあたり、マスキング画像を生成する。ここでは簡単のために、座標の値は０ｘ００か０ｘＦＦのいずれかを持つことにし、０ｘ００の座標はそのまま（透過）、０ｘＦＦは黒でマスク（隠蔽）するようなマスキング画像を作成することにする。
【００４９】
現在、露出領域の座標の値は０ｘＦＦ、それ以外は０ｘ００となっているため、上記のようなマスキング画像は、露出領域の全体画像に論理演算子ＮＯＴを用いて０ｘ００と０ｘＦＦを反転させることにより、マスキング画像を得られる。
【００５０】
隠蔽処理手段１１は、このようにして得られたマスキング画像とカメラで撮影した映像フレームに対し、論理演算子ＡＮＤの処理をすることで、露出領域だけが撮影映像、その他の領域が黒という隠蔽処理を行い、送信映像を生成する。
【００５１】
映像送信手段１２は、この送信映像を送信相手に伝送する。
【００５２】
以上のようにして、カメラに近づいてくる被写体だけを露出し、離れていく被写体を含む他の部分を隠蔽した映像を作成することが可能となり、撮影されようとして近づいた被写体以外を隠すというプライバシを確保した映像を作成することができる。
【００５３】
なお、上記では黒一色で隠蔽する方法を示したが、マスキングする隠蔽値（０ｘＦＦの値）を変えたり、別な隠蔽処理の手段を用いたりしてもよい。
【００５４】
なお、本発明は、図２に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【産業上の利用可能性】
【００５５】
本発明は、撮影された被写体について、被写体の意思あるいは撮影状況に沿って隠蔽処理を行うかを自動的に判断し、実施することにより、街頭カメラに対するプライバシの保護やテレビ電話における積極的な露出など、撮影されることに対する被写体の多様な要望に柔軟に対応することが可能な映像撮影装置、その撮影方法、この撮影方法のプログラム、および撮影方法のプログラムを記録した記録媒体を提供することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明の概略イメージ。
【図２】本発明の第１の実施形態を示す処理フロー。
【図３】実施形態における露出領域の生成の例。
【図４】実施形態におけるマスキング画像と送信映像の生成の例。
【図５】実施形態におけるユーザ毎の隠蔽値の設定の例。
【図６】実施形態におけるユーザの隠蔽許可設定と結果の例。
【図７】本発明の第２の実施形態を示す装置構成図。
【符号の説明】
【００５７】
１  撮影手段
２  物体接近検出手段
３  接近領域検出手段
４  輪郭強調手段
５  領域拡大判定手段
６  人物正面判定手段
７  接近領域管理手段
８  領域縮小判定手段
９  露出領域生成手段
１０  マスキング画像生成手段
１１  隠蔽処理手段
１２  映像送信手段
【図１】
2006148386.tif 000003
【図２】
2006148386.tif 000004
【図３】
2006148386.tif 000005
【図４】
2006148386.tif 000006
【図５】
2006148386.tif 000007
【図６】
2006148386.tif 000008
【図７】
2006148386.tif 000009