(57)【要約】【課題】カメラに映った人物が携帯電話を使用している状態か否かを判別できる携帯電話使用状態識別装置を提供する。【解決手段】カメラから入力した学習用画像から顔領域を検出し（１，２）、該顔領域に隣接する左右部分領域から特徴量を抽出し（３）、該抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成し（４）、該識別関数の各種パラメータ値を識別関数記憶部５に格納する。カメラから入力した識別対象画像から顔のある領域を検出し（６，７)、該識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出し（８）、該抽出された特徴量を前記識別関数記憶部５に格納された識別関数に入力することで、携帯電話使用状態か否かを識別し（識別部９)、該識別部９の識別結果を出力部１０から出力する。【選択図】図１
2010122838.tif 000002
【特許請求の範囲】
【請求項１】
カメラに映った人物が携帯電話を使用している状態か否かを判別する携帯電話使用状態識別装置であって、
カメラで撮影された学習用画像をデジタルデータとして入力する学習データ入力手段と、
前記学習データ入力手段に入力された学習用画像から顔のある領域を検出する第１の顔検出手段と、
前記第１の顔検出手段により検出された学習用画像の顔領域に隣接する左右部分領域から特徴量を抽出する学習データ顔左右領域特徴抽出手段と、
前記学習データ顔左右領域特徴抽出手段により複数の学習用画像から抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成する識別関数作成手段と、
前記識別関数作成手段により作成された識別関数の各種パラメータ値を格納する識別関数記憶手段と、
カメラで撮影された識別対象画像をデジタルデータとして入力する画像データ入力手段と、
前記画像データ入力手段に入力された識別対象画像から顔のある領域を検出する第２の顔検出手段と、
前記第２の顔検出手段により検出された識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出する顔左右領域特徴抽出手段と、
前記顔左右領域特徴抽出手段により識別対象画像から抽出された特徴量を前記識別関数記憶手段に格納された識別関数に入力することで、携帯電話使用状態か否かを識別する識別手段と、
前記識別手段の識別結果を出力する出力手段とを備えることを特徴とする携帯電話使用状態識別装置。
【請求項２】
前記学習データ顔左右領域特徴抽出手段および顔左右領域特徴抽出手段は、肌色領域を抽出し、その領域以外の特徴を全て除去することを特徴とする請求項１に記載の携帯電話使用状態識別装置。
【請求項３】
前記学習データ顔左右領域特徴抽出手段および顔左右領域特徴抽出手段は、肌色領域を抽出するために、当該肌色領域抽出前に検出された顔領域内の画素情報を利用することを特徴とする請求項２に記載の携帯電話使用状態識別装置。
【請求項４】
前記識別手段において、携帯電話使用状態であると識別された場合、その後も状態を識別し続け、識別結果が携帯電話非使用状態に変わったことが確認されたら、前記出力手段の動作を停止することを特徴とする請求項１〜３のいずれか１項に記載の携帯電話使用状態識別装置。
【請求項５】
カメラに映った人物が携帯電話を使用している状態か否かを判別する携帯電話使用状態識別方法であって、
学習データ入力手段が、カメラで撮影された学習用画像をデジタルデータとして入力する学習データ入力ステップと、
第１の顔検出手段が、前記学習データ入力手段に入力された学習用画像から顔のある領域を検出する第１の顔検出ステップと、
学習データ顔左右領域特徴抽出手段が、前記第１の顔検出手段により検出された学習用画像の顔領域に隣接する左右部分領域から特徴量を抽出する学習データ顔左右領域特徴抽出ステップと、
識別関数作成手段が、前記学習データ顔左右領域特徴抽出手段により複数の学習用画像から抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成する識別関数作成ステップと、
識別関数記憶手段が、前記識別関数作成手段により作成された識別関数の各種パラメータ値を格納する識別関数記憶ステップと、
画像データ入力手段が、カメラで撮影された識別対象画像をデジタルデータとして入力する画像データ入力ステップと、
第２の顔検出手段が、前記画像データ入力手段に入力された識別対象画像から顔のある領域を検出する第２の顔検出ステップと、
顔左右領域特徴抽出手段が、前記第２の顔検出手段により検出された識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出する顔左右領域特徴抽出ステップと、
識別手段が、前記顔左右領域特徴抽出手段により識別対象画像から抽出された特徴量を前記識別関数記憶手段に格納された識別関数に入力することで、携帯電話使用状態か否かを識別する識別ステップと、
出力手段が、前記識別手段の識別結果を出力する出力ステップとを備えることを特徴とする携帯電話使用状態識別方法。
【請求項６】
前記学習データ顔左右領域特徴抽出ステップおよび顔左右領域特徴抽出ステップは、肌色領域を抽出し、その領域以外の特徴を全て除去することを特徴とする請求項５に記載の携帯電話使用状態識別方法。
【請求項７】
前記学習データ顔左右領域特徴抽出ステップおよび顔左右領域特徴抽出ステップは、肌色領域を抽出するために、当該肌色領域抽出前に検出された顔領域内の画素情報を利用することを特徴とする請求項６に記載の携帯電話使用状態識別方法。
【請求項８】
前記識別ステップにおいて、携帯電話使用状態であると識別された場合、その後も状態を識別し続け、識別結果が携帯電話非使用状態に変わったことが確認されたら、前記出力ステップは出力動作を停止することを特徴とする請求項５〜７のいずれか１項に記載の携帯電話使用状態識別方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる携帯電話使用状態識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラと人物顔検出技術およびパターン認識技術を利用して、カメラに映った人物が携帯電話を使用している状態か否かを判別できる携帯電話使用状態識別装置、方法、プログラムに関するものである。
【背景技術】
【０００２】
近年、カメラに映った人物の顔を検出する技術が急速に発展し、デジタルカメラ等に標準搭載されるまでになった。たとえば確率的増分符号相関（非特許文献１参照）などの統計的手法を利用して高速に検出することが可能である。また、それに付随して、検出された人物の表情を識別する技術や、性別や年代を推定する技術（非特許文献２参照）もさかんに研究され、実用化された技術も幾つか存在している。このように、顔の検出が可能になると、その人物の属性や行動に関してさらに詳しい情報を得ることができる。
【非特許文献１】三田雄志，金子敏充，堀修，“個体差のある対象の画像照合に適した確率的増分符号相関”，電子情報通信学会論文誌  Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５．
【非特許文献２】林田輝英，植木一也，小林哲則，“顔画像による性別・年齢層推定への複数識別器の統合手法の検討”，電子情報通信学会技術研究報告  ＰＲＭＵ２００５−９６，Ｖｏｌ．１０５，Ｎｏ．３７５，ｐｐ．１９−２４，２００５．
【非特許文献３】Ｎ．Ｃｒｉｓｔｉａｎｉｎｉ，Ｊ．Ｓ．Ｔａｙｌｏｒ，“Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ  ａｎｄ  Ｏｔｈｅｒ  Ｋｅｒｎｅｌ−ｂａｓｅｄ  Ｌｅａｒｎｉｎｇ  Ｍｅｔｈｏｄｓ”，Ｃａｍｂｒｉｄｇｅ  ｕｎｉｖｅｒｓｉｔｙ  ｐｒｅｓｓ，２０００．
【非特許文献４】石井健一郎、上田修功、前田栄作、村瀬洋共著“わかりやすいパターン認識”，オーム社，１９９８
【発明の開示】
【発明が解決しようとする課題】
【０００３】
さて、人物の行動解析の一つとして重要なものに、携帯電話を使用している状態か否かを判別することが考えられる。例えば、近年特に問題視されているものに“振り込め詐欺”がある。その手口は、被害者に携帯電話を持たせたまま銀行ＡＴＭに誘導し、携帯電話越しに振り込み操作を促すものである。ここで、ＡＴＭにカメラを設置して、ＡＴＭを利用中の客が携帯電話を使用している状態か否かを判別できれば、“振り込め詐欺”を事前に防止できるはずである。また、別の応用として、営業車両の運転手の監視も考えられる。運転中に携帯電話を使用しているような危険な状態を検知し、運転手に警告を与えることで安全運転に導くことが可能となる。
【０００４】
本発明は上記の応用を想定したものであり、カメラに映った人物が携帯電話を使用している状態か否かを判別できる携帯電話使用状態識別装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明では、顔検出を行った後に顔の左右部分領域を探索し、あらかじめ学習した識別関数を用いて携帯電話使用状態か否かを自動判別する。識別関数は、さまざまな人物の携帯電話使用状態の画像をもとに、携帯電話を持つ手を含んだ、顔の左右領域を切出して作成する。また、判別の精度を高めるために、前段で検出された顔の肌色情報を利用して同一人物の手領域を抽出し、特徴量抽出の前処理として利用する。こうすることで、背景が変化するような複雑なシーンでも判別可能となる。また、あらかじめさまざまな人物の肌色情報から肌色領域抽出ルールを定めても良いが、検出顔領域の画素を利用する手法は、（１）ホワイトバランスがある程度間違っていても有効、（２）肌の色の個人差にロバスト、というメリットを有している。
【０００６】
すなわち、請求項１に記載の携帯電話使用状態識別装置は、カメラに映った人物が携帯電話を使用している状態か否かを判別する携帯電話使用状態識別装置であって、カメラで撮影された学習用画像をデジタルデータとして入力する学習データ入力手段と、前記学習データ入力手段に入力された学習用画像から顔のある領域を検出する第１の顔検出手段と、前記第１の顔検出手段により検出された学習用画像の顔領域に隣接する左右部分領域から特徴量を抽出する学習データ顔左右領域特徴抽出手段と、前記学習データ顔左右領域特徴抽出手段により複数の学習用画像から抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成する識別関数作成手段と、前記識別関数作成手段により作成された識別関数の各種パラメータ値を格納する識別関数記憶手段と、カメラで撮影された識別対象画像をデジタルデータとして入力する画像データ入力手段と、前記画像データ入力手段に入力された識別対象画像から顔のある領域を検出する第２の顔検出手段と、前記第２の顔検出手段により検出された識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出する顔左右領域特徴抽出手段と、前記顔左右領域特徴抽出手段により識別対象画像から抽出された特徴量を前記識別関数記憶手段に格納された識別関数に入力することで、携帯電話使用状態か否かを識別する識別手段と、前記識別手段の識別結果を出力する出力手段とを備えることを特徴としている。
【０００７】
また請求項２に記載の携帯電話使用状態識別装置は、請求項１において、前記学習データ顔左右領域特徴抽出手段および顔左右領域特徴抽出手段は、肌色領域を抽出し、その領域以外の特徴を全て除去することを特徴としている。
【０００８】
また請求項３に記載の携帯電話使用状態識別装置は、請求項２において、前記学習データ顔左右領域特徴抽出手段および顔左右領域特徴抽出手段は、肌色領域を抽出するために、当該肌色領域抽出前に検出された顔領域内の画素情報を利用することを特徴としている。
【０００９】
また請求項４に記載の携帯電話使用状態識別装置は、請求項１〜３のいずれか１項において、前記識別手段は、携帯電話使用状態であると識別された場合、その後も状態を識別し続け、識別結果が携帯電話非使用状態に変わったことが確認されたら、前記出力手段の動作を停止することを特徴としている。
【００１０】
また、請求項５に記載の携帯電話使用状態識別方法は、カメラに映った人物が携帯電話を使用している状態か否かを判別する携帯電話使用状態識別方法であって、学習データ入力手段が、カメラで撮影された学習用画像をデジタルデータとして入力する学習データ入力ステップと、第１の顔検出手段が、前記学習データ入力手段に入力された学習用画像から顔のある領域を検出する第１の顔検出ステップと、学習データ顔左右領域特徴抽出手段が、前記第１の顔検出手段により検出された学習用画像の顔領域に隣接する左右部分領域から特徴量を抽出する学習データ顔左右領域特徴抽出ステップと、識別関数作成手段が、前記学習データ顔左右領域特徴抽出手段により複数の学習用画像から抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成する識別関数作成ステップと、識別関数記憶手段が、前記識別関数作成手段により作成された識別関数の各種パラメータ値を格納する識別関数記憶ステップと、画像データ入力手段が、カメラで撮影された識別対象画像をデジタルデータとして入力する画像データ入力ステップと、第２の顔検出手段が、前記画像データ入力手段に入力された識別対象画像から顔のある領域を検出する第２の顔検出ステップと、顔左右領域特徴抽出手段が、前記第２の顔検出手段により検出された識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出する顔左右領域特徴抽出ステップと、識別手段が、前記顔左右領域特徴抽出手段により識別対象画像から抽出された特徴量を前記識別関数記憶手段に格納された識別関数に入力することで、携帯電話使用状態か否かを識別する識別ステップと、出力手段が、前記識別手段の識別結果を出力する出力ステップとを備えることを特徴としている。
【００１１】
また請求項６に記載の携帯電話使用状態識別方法は、請求項５において、前記学習データ顔左右領域特徴抽出ステップおよび顔左右領域特徴抽出ステップは、肌色領域を抽出し、その領域以外の特徴を全て除去することを特徴としている。
【００１２】
また請求項７に記載の携帯電話使用状態識別方法は、請求項６において、前記学習データ顔左右領域特徴抽出ステップおよび顔左右領域特徴抽出ステップは、肌色領域を抽出するために、当該肌色領域抽出前に検出された顔領域内の画素情報を利用することを特徴としている。
【００１３】
また請求項８に記載の携帯電話使用状態識別方法は、請求項５〜７のいずれか１項において、前記識別ステップは、携帯電話使用状態であると識別された場合、その後も状態を識別し続け、識別結果が携帯電話非使用状態に変わったことが確認されたら、前記出力ステップは出力動作を停止することを特徴としている。
【００１４】
また、請求項９に記載の携帯電話使用状態識別プログラムは、コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる携帯電話使用状態識別プログラムである。
【発明の効果】
【００１５】
本発明によれば、カメラに映った人物の顔を検出し、その後に顔の左右部分領域の特徴量を抽出し、あらかじめ学習した識別関数を用いて携帯電話使用状態か否かを識別することができる。その際、前処理として、前段で検出された顔の肌色情報を利用して同一人物の手領域を抽出することで、背景が変化するような複雑なシーンでも精度良く識別することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１７】
図１は、本発明に係る実施形態の携帯電話使用状態識別装置の構成を示すブロック図であり、図２は、本発明に係る実施形態の携帯電話使用状態識別方法のフローチャートである。
【００１８】
これらの図において、１は、カメラで撮影された学習用画像をデジタルデータとして入力する学習データ入力手段としての学習データ入力部である。
【００１９】
２は、学習データ入力部１に入力された学習用画像から顔のある領域を検出する第１の顔検出手段としての学習データ顔検出部である。
【００２０】
３は、学習データ顔検出部２により検出された学習用画像の顔領域に隣接する左右部分領域から特徴量を抽出する学習データ顔左右領域特徴抽出手段としての学習データ顔左右領域特徴抽出部である。
【００２１】
４は、学習データ顔左右領域特徴抽出部３により複数の学習用画像から抽出された特徴量のデータ群をもとに携帯電話使用状態か否かを識別する識別関数を作成する識別関数作成手段としての識別関数作成部である。
【００２２】
５は、識別関数作成部４により作成された識別関数の各種パラメータ値を格納する識別関数記憶手段としての識別関数記憶部である。
【００２３】
６は、カメラで撮影された識別対象画像をデジタルデータとして入力する画像データ入力手段としての画像データ入力部である。
【００２４】
７は、画像データ入力部６に入力された識別対象画像から顔のある領域を検出する第２の顔検出手段としての顔検出部である。
【００２５】
８は、顔検出部７により検出された識別対象画像の顔領域に隣接する左右部分領域から特徴量を抽出する顔左右領域特徴抽出手段としての顔左右領域特徴抽出部である。
【００２６】
９は、顔左右領域特徴抽出部８により識別対象画像から抽出された特徴量を前記識別関数記憶部５に格納された識別関数に入力することで、携帯電話使用状態か否かを識別する識別手段としての識別部である。
【００２７】
１０は、識別部９の識別結果を出力する出力手段としての出力部である。
【００２８】
これら図１の前記各部１〜１０の、後述する各機能は例えばコンピュータにより達成される。
【００２９】
学習データ入力部１では、図２のステップＳ１において、カメラ等であらかじめ撮影した学習データを入力し、学習データ顔検出部２に伝送する。学習データとしては、さまざまな人物の顔が映っている画像群を用いる。また、携帯電話使用状態とそうでない状態の２種類が含まれている。
【００３０】
学習データ顔検出部２では、画像データ入力部１から伝送された各画像から顔のある領域を検出する（ステップＳ２）。この処理は、たとえば確率的増分符号相関（非特許文献１参照）などの統計的手法を利用して高速に検出することが可能である。
【００３１】
学習データ顔左右領域特徴抽出部３では、学習データ顔検出部２で検出された顔領域の左右に隣接する領域（以下、顔左右領域と呼ぶ）を切り出す（ステップＳ３）。図３に顔左右領域の一例を示す（ただし、領域の定義はこれ一通りではない）。顔左右領域は左側と右側それぞれ独立に切出し、以後も別々に処理を実行する。
【００３２】
そして、顔領域に該当する各画素のＲＧＢ値を計測し、肌色情報を算出する。これは例えば全ての画素の平均を求めて肌色情報としても良いし、正規分布、混合分布等の良く知られている分布を仮定して、ＲＧＢ空間中の生起確率分布を推定しても良い。そして、顔左右領域の各画素のＲＧＢ値を調べ、先程の肌色情報と合致するか否かを求める。例えば、平均を使った場合は平均との距離があるしきい値以下であるものを合致とすれば良いし、生起確率分布を用いた場合は確率があるしきい値以上の場合に合致とすれば良い。いずれにせよ、この処理により顔左右領域の全画素が２値化（１：肌色領域に合致，０：合致せず）される。顔左右領域には、携帯電話を使用している場合、その人物の手の一部が含まれていると考えられるため、手領域は上記処理により肌色領域に合致することが期待される。
【００３３】
さて、この処理とは別に、顔左右領域の２値化前の画像から特徴量を抽出する。これは、エッジのグラジェント特徴や、ｇａｂｏｒ特徴など、さまざまな特徴量が考えられる。そして、特徴量抽出時に、上記２値化画像を参照し、肌色領域に合致しない場合は特徴量を０（無効）にする。この処理により、背景領域から出るノイズ成分を除去することができる。また、特徴量として上記２値化画像をそのまま用いるのでもかまわない。
【００３４】
識別関数作成部４では、前記学習データ顔左右領域特徴抽出部３により学習データから抽出された特徴量をもとに、識別関数を作成する（ステップＳ４）。識別関数は例えば、ＳＶＭ（非特許文献３参照）や部分空間法（非特許文献４参照）などが考えられ、採用した手法により関数の形態はまちまちである。しかし、いかなる手法を用いた場合も、その関数の出力は携帯電話使用状態か否かの２クラス判別結果である。
【００３５】
識別関数記憶部５では、前記識別関数に関連した各種パラメータ値をメモリに格納する（ステップＳ５）。その際、顔の左側用と右側用の２種類の識別関数が保存されることになる。
【００３６】
画像データ入力部６では、ステップＳ６において、カメラを用いて識別用の画像データを入力し、顔検出部７に伝送する。
【００３７】
顔検出部７では、画像データ入力部６から伝送された各画像に対して、前記学習データ顔検出部２と同様の処理を行う（ステップＳ７）。
【００３８】
顔左右領域特徴抽出部８では、顔検出部７で検出された顔領域に対して、前記学習データ顔左右領域特徴抽出部３と同様の処理を行う（ステップＳ８）。
【００３９】
識別部９では、識別関数記憶部５に格納された識別関数に対し、顔左右領域特徴抽出部８で抽出された特徴量を入力する（ステップＳ９）。その際、顔の左側の特徴量は左側用の識別関数へ、右側の特徴量は右側用の識別関数へ入力する。２つの識別結果が得られるが、両者の識別関数の結果のいずれかが“携帯電話使用状態”と判別されれば、最終結果として“携帯電話使用状態”と出力する。一方、両者とも、“携帯電話非使用状態”であれば、最終結果として“携帯電話非使用状態”と出力する。
【００４０】
出力部１０では、識別部９で得られた結果を出力する。具体的な出力の方法は、“携帯電話使用状態”の時に警告ランプ点灯や音声メッセージを発信する、あるいは遠隔の管理者に結果を送信する等、さまざまな形態が考えられる。
【００４１】
なお、識別部９において“携帯電話使用状態”と識別された場合、出力部１０から警告を発した後も画像データ入力部６〜識別部９の処理を繰り返し実行し、“携帯電話非使用状態”に変わったらその警告を自動的に停止する機能を設けることも可能である。
【００４２】
また、本実施形態の携帯電話使用状態識別装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の携帯電話使用状態識別方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。
【００４３】
その場合、記録媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスク等は本発明を構成する。
【図面の簡単な説明】
【００４４】
【図１】本発明の携帯電話使用状態識別装置の実施形態例を示すブロック図。
【図２】本発明の携帯電話使用状態識別方法の実施形態例を示すフローチャート。
【図３】本発明の実施形態例における切り出された顔左右領域を示す説明図。
【符号の説明】
【００４５】
１…学習データ入力部、２…学習データ顔検出部、３…学習データ顔左右領域特徴抽出部、４…識別関数作成部、５…識別関数記憶部、６…画像データ入力部、７…顔検出部、８…顔左右領域特徴抽出部、９…識別部、１０…出力部。
【図１】
2010122838.tif 000003
【図２】
2010122838.tif 000004
【図３】
2010122838.tif 000005