(57)【要約】  【課題】携帯電話機の所有者がネットワークを通じて携帯電話から操作者の画像を取得することにより、誰がその携帯電話機を使用しているのか確認する。  【解決手段】携帯電話機１に設置された前面カメラ４により、キー操作者を撮影することができる。所有者の画像を登録しておき、撮影された画像が所有者の画像と類似していないと判断した場合、その画像を記憶し、ネットワークを通じて携帯電話機1からその画像データを所定の送信先に送信する。  【効果】所有者が携帯電話機を紛失した場合、誰がその携帯電話機を使用しているのか簡単に確認することができ、盗難されているかどうかもわかる。【選択図】        図１
2005223834.tif 000002
【特許請求の範囲】
【請求項１】
携帯電話機に搭載され、キー操作者を撮影するための前面カメラと、
所有者の顔の画像を登録データ領域に登録するための所有者画像登録手段と、
前面カメラで撮影された画像の頭部領域の特徴と、前記顔登録手段によって登録された所有者の顔の特徴とを比較して類似しているかどうかを判定する特徴判定手段と、
特徴判定手段により類似していないと判定された場合に、前面カメラで撮影された画像データを外部に送信する送信手段とを備えることを特徴とする操作者確認機能を有する携帯電話機。
【請求項２】
前面カメラで撮影された画像が特徴判定手段により類似していると判定された場合に、この画像データを学習用データ格納領域に格納する格納手段と、
前記学習用データ格納領域に格納された画像を用いて、前記登録データ領域に画像を蓄積又は更新していく学習手段とをさらに備えることを特徴とする請求項１記載の操作者確認機能を有する携帯電話機。
【請求項３】
携帯電話機に搭載され、キー操作者を撮影するための前面カメラと、
前面カメラで撮影された画像データを学習用データ格納領域に格納する格納手段と、
前記学習用データ格納領域に格納された画像を用いて、登録データ領域に画像を蓄積又は更新していく学習手段と、
前面カメラで撮影された画像の頭部領域の特徴と、前記登録データ領域に登録された顔の特徴とを比較して類似しているかどうかを判定する特徴判定手段と、
特徴判定手段により類似していないと判定された場合に、前面カメラで撮影された画像データを外部に送信する送信手段とを備えることを特徴とする操作者確認機能を有する携帯電話機。
【請求項４】
前面カメラのレンズは、キー操作者から見えないようにされている請求項１から請求項３までのいずれかに記載の操作者確認機能を有する携帯電話機。
【請求項５】
前記送信手段は、所有者から送信される情報取得要求を携帯電話機が受信したことに応じて送信する請求項１から請求項４までのいずれかに記載の操作者確認機能を有する携帯電話機。
【請求項６】
前記送信手段は、記憶手段により、画像データが非類似データ格納領域に記憶されたことに応じて送信する請求項１から請求項４までのいずれかに記載の操作者確認機能を有する携帯電話機。
【請求項７】
最低限情報送信できる電源を残すことができる状態に電源を管理する電源管理手段をさらに備えることを特徴とする請求項１から請求項６のいずれかに記載の操作者確認機能を有する携帯電話機。
【請求項８】
送信手段が、画像データを外部に送信する時に、当該操作者のキー操作情報又は携帯電話機の位置・場所情報いずれか１つ以上を送信することを特徴とする請求項１から請求項７のいずれかに記載の操作者確認機能を有する携帯電話機。
【請求項９】
送信手段が、画像データを外部に送信する時に、携帯電話機の中の所有者の個人情報を削除するか、又は切り取って送信することを特徴とする請求項１から請求項８のいずれかに記載の操作者確認機能を有する携帯電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所有者が携帯電話機を紛失した場合や盗難された場合などに有効な、操作者確認機能を有する携帯電話機に関するものである。
【背景技術】
【０００２】
携帯電話機が盗難されると、所有者からの遠隔操作によって携帯電話機が使用できないようにするセキュリティ技術が存在する。
また、指紋認証により、所有者以外の者が携帯電話機を使用することができないようにした携帯電話機もある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、前述の技術では、所有者以外の者が携帯電話機を使えなくなるだけであって、携帯電話機を単に置き忘れただけなのか、盗難され今誰かが使っているのか、簡単に確認することができない。
また、盗難された場合に、盗難者を特定することができれば、携帯電話機の発見、回収に役立つ。また、盗難の意欲を減らすこともできる。
【０００４】
そこで、本発明は、所有者がネットワークを通じて携帯電話から操作者の画像を取得することにより、誰がその携帯電話機を使用しているのか簡単に確認することができる操作者確認機能を有する携帯電話機を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の操作者確認機能を有する携帯電話機は、携帯電話機に搭載され、キー操作者を撮影するための前面カメラと、所有者の顔の画像を登録データ領域に登録するための所有者画像登録手段と、前面カメラで撮影された画像の頭部領域の特徴と、前記顔登録手段によって登録された所有者の顔の特徴とを比較して類似しているかどうかを判定する特徴判定手段と、特徴判定手段により類似していないと判定された場合に、前面カメラで撮影された画像データを外部に送信する送信手段とを備えるものである（請求項１）。
【０００６】
この構成によれば、携帯電話機は、携帯電話機に設置された前面カメラにより、キー操作者を撮影することができる。そして、撮影された画像が登録された所有者の画像と類似していないと判断した場合その画像を記憶し、ネットワークを通じて携帯電話からその画像データを所定の送信先に送信することができる。
本発明の操作者確認機能を有する携帯電話機は、前面カメラで撮影された画像が特徴判定手段により類似していると判定された場合に、この画像データを学習用データ格納領域に格納する格納手段と、前記学習用データ格納領域に格納された画像を用いて、前記登録データ領域に画像を蓄積又は更新していく学習手段とを備えることが好ましい（請求項２）。これにより、所有者画像登録手段に登録されている所有者の顔の画像を、常に最新のものに更新することができる。また最初、所有者画像登録手段に登録し忘れた場合でも、登録データ領域に最初の画像（最初であるので所有者の画像であると強く推定できる）を登録することができる。
【０００７】
また、本発明の操作者確認機能を有する携帯電話機は、携帯電話機に搭載され、キー操作者を撮影するための前面カメラと、前面カメラで撮影された画像データを学習用データ格納領域に格納する格納手段と、前記学習用データ格納領域に格納された画像を用いて、登録データ領域に画像を蓄積又は更新していく学習手段と、前面カメラで撮影された画像の頭部領域の特徴と、前記登録データ領域に登録された顔の特徴とを比較して類似しているかどうかを判定する特徴判定手段と、特徴判定手段により類似していないと判定された場合に、前面カメラで撮影された画像データを外部に送信する送信手段とを備えるものである（請求項３）。
【０００８】
この構成によれば、携帯電話機は、学習用データ領域に最初の画像（最初であるので所有者の画像であると強く推定できる）を登録することができる。そして、携帯電話機に設置された前面カメラにより、キー操作者を撮影することができる。撮影された画像が登録された画像と類似していないと判断した場合その画像を記憶し、ネットワークを通じて携帯電話からその画像データを所定の送信先に送信することができる。
【０００９】
前面カメラのレンズは、キー操作者を隠れて撮影するため、キー操作者から見えないことが好ましい（請求項４）。
前記送信手段は、所有者が携帯電話機のないことに気がつけば、所有者の情報取得要求により送信を行う（請求項５）。
所有者が携帯電話機のないことに気がつかないこともあるので、画像データが非類似データ格納領域に記憶されたことに応じて送信してもよい（請求項６）。
【００１０】
また、最低限画像データなどの情報を送信できる電源を残すことができるような状態に電源を管理することが望ましい（請求項７）。これは、操作者が携帯電話機の電源を使い切ってしまう前に、ネットワークを通じて携帯電話からその画像データを所定の送信先に送信するのを可能にするためである。
また、送信手段が、画像データを外部に送信する時に、当該操作者のキー操作情報又は携帯電話機の位置・場所情報いずれか１つ以上を送信することが好ましい（請求項８）。操作者のキー操作情報により、当該操作者がどのような操作（電話、メール送信、ウェブ検索など）をしたかわかれば、操作者の特定に役立つからであり、携帯電話機の位置・場所がわかれば、操作者の居所もわかるからである。
【００１１】
また、送信手段が、画像データを外部に送信する時に、携帯電話機の中の所有者の個人情報を削除するか、又は切り取って送信することが好ましい（請求項９）。所有者のプライバシー保護のためである。
【発明の効果】
【００１２】
以上のように本発明によれば、所有者が携帯電話機を紛失した場合、ネットワークを通じて携帯電話から操作者の画像を取得することにより、誰がその携帯電話機を使用しているのか簡単に確認することができ、盗難されているかどうかもわかる。もし盗難されているのなら、携帯電話事業者への手続きを確実にすることができ、犯人の特定もしやすくなる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、本発明の携帯電話機の盗難者確認方法を実施するためのシステム構成図である。
このシステムは、携帯電話機の所有者又は携帯電話機の電話会社のコンピュータ２と、紛失した又は盗難にあった携帯電話機１とから構成される。コンピュータ２から携帯電話機１には、所有者の意思により情報取得要求が送信される。携帯電話機１から、操作者の画像情報、操作情報、地域情報、所有者の個人情報などがコンピュータ２に向けて送信される。その送信時期は、携帯電話機１の前面カメラで撮影した操作者の画像が、携帯電話機１に登録されている所有者の画像に類似しないときである。
【００１４】
図２は、携帯電話機１の外観図である。携帯電話機１は、開閉可能な折り畳みできるタイプでも、折り畳みできないストレートタイプでもよいが、この図では、２つに折り畳めるタイプを描いている。携帯電話機１は、操作者の写真を撮るための前面カメラを備えている。
この前面カメラのレンズ４は、図２に示すように、携帯電話機１の外側でなく表示画面側に向けて、つまり操作者の顔が操作中に写るような位置、方向に設置されている。この前面カメラレンズ４の前面には、偏光ガラス３などがはめ込まれており、外部からレンズ４を認識できないようになっている。
【００１５】
図３は、携帯電話機の機能ブロック構成図である。これらの各ブロックの機能の全部又は一部は、携帯電話機内蔵のメモリに記録されたプログラムを、携帯電話機のコンピュータが実行することにより実現される。
携帯電話機には、処理の核となるメイン処理機能１１の周辺に、マンマシンインターフェイスである画面表示機能１６、電話機開閉・入力キー操作制御機能２０、前面カメラの撮影用スイッチ２１が設けられている。
【００１６】
さらに、メイン処理機能１１の周辺に、電話送受信機能１２、メール（インターネット）機能１３、時計機能１８、バッテリ管理機能１９、位置測位（ＧＰＳ）機能２２、画像管理機能２５、カメラ制御・撮像機能２３、メモリ管理機能２４、アクセス管理／暗号符号化機能１４、所有者情報管理機能１５が設けられている。
前記カメラ制御・撮像機能２３は、電話機開閉や入力キー操作があったときに操作者を撮影する機能であり、前記メモリ管理機能２４は、操作者の撮影画像や所有者の登録画像を記録しておく領域を管理する。画像管理機能２５は、前記メモリ領域に記録された画像の特徴を比較することにより、類似しているかどうかを判定する。位置測位（ＧＰＳ）機能２２ は、ＧＰＳ(Global Positioning System)受信機によって携帯電話機1の位置を測位する。
【００１７】
また、所有者情報管理機能１５は、電話番号、アドレス帳など所有者情報を管理しているが、特に本発明との関係では、所有者の顔写真を登録できるようになっている。この写真の登録や登録内容の削除・変更は、パスワードによって保護されており、所有者以外の者が勝手に触れることができない。
この所有者の顔写真を登録する手順をフローチャート（図４）を用いて説明する。
【００１８】
まず、所定のログイン操作により、所有者の顔写真登録処理に入る（ステップＴ１）。暗証番号入力を促し（ステップＴ２）、間違っていればそのことを画面表示して処理を終える（ステップＴ８）。暗証番号が正確であれば、携帯電話機の画面上に楕円を表示して、顔が画面の中心になるように撮影位置を指示する（ステップＴ３）。撮影位置の指示とともに、あるいはそれに代えてレンズ角度を自動制御するようにしてもよい。そして、顔画像を撮影し（ステップＴ４）、その特徴を抽出する（ステップＴ５）。抽出内容については後述する。画像の輝度や頭部の面積をチェックし、適正であれば（ステップＴ６）、画像及び特徴データを保管する（ステップＴ７）。
【００１９】
メモリ管理機能２４は、前面カメラで撮影した画像を格納する領域を管理する。画像を記憶する領域は、３つの種類がある。
図５（ａ）から（ｃ）に、各領域を図示する。
学習用データ格納領域（図５(a)）：前面カメラによって採取した画像データを、所有者の登録データに類似していてもいなくても、いったん格納する領域である。データ格納領域に用意している容量は一日あたりｎ個の画像分であり、これをＭ日分保有している。ここでｎ，Ｍともに１以上の整数である。
【００２０】
所有者の登録データ領域（図５(b)）：所有者が登録した顔画像データを格納する領域である。この領域は、後に説明するように、学習用データ格納領域の中に格納された中から選ばれた画像データによって、書き換えられていく。
非類似データ格納領域（図５(c)）：前面カメラによって撮影された画像のうち、所有者の登録データに類似していない画像を格納する領域である。
【００２１】
図６は、携帯電話機１のスイッチオン後の撮影から画像データ送信までの手順を示すフローチャートである。
まず、入力キー操作があるかどうか、入力キー操作制御機能を通して確認する（ステップＳ１）。入力キー操作があれば、カメラ制御・撮像機能２３を通して前面カメラで撮像する（ステップＳ２）。このとき、操作者は、前述したようにこの外部からレンズ４を認識できないので、写真を撮られたことに気が付かない。
【００２２】
次に、撮られた画像の頭部領域を抽出する（ステップＳ３）。頭部領域の抽出方法は、例えば肌色領域から顔を抽出して頭部を抽出する方法、背景との差分によるエッジ画像から楕円形領域を抽出する方法、などがある。
頭部領域が映し出された画像は、顔の特徴を掴みやすい画像である必要がある。そこで、次のａ．からｄ．のように、画像にスコアを与えることを試みる（ステップＳ４）。
【００２３】
ａ．写った頭部領域の面積とフルサイズの画像の面積との比が０．５から０．８の範囲にあれば、得点１を与える。これは、頭部が大きく写っているかどうかの評価となる。
ｂ．頭部領域の輝度平均値が100から150の範囲内（ただし、最高輝度は255、最低輝度は０としている）で、かつ、分散が2500以内であれば、得点１を与える。これは頭部が適度な明るさで写っているかどうかの評価である。
【００２４】
ｃ．頭部領域の縦の長さと横の長さとの比が３：２に近ければ、得点１を与える。
ｄ．頭部領域の外周に水平又は垂直線がなければ、すなわち頭部が画面からはみ出していなければ得点１を与える。
このようにして、得点を合計し、閾値（例えば３点）以上あれば、写真画像として採用する（ステップＳ４ａ）。閾値未満であれば消去し、ステップＳ１２に移り、操作を続けている限り、撮影を続ける。
【００２５】
次に、画像データの特徴を登録データと比較する（ステップＳ６）。
登録データがない場合は、比較できないので、画像データをそのまま学習用データ格納領域に記憶する（ステップＳ５のＮＯ）。この画像データは、当該携帯電話機によって初めて撮影された、１回目の画像データに他ならない。１回目の画像データを学習用データ格納領域に記憶することにより、所有者が所有者の顔写真を登録する手順（図４）を怠っていたときでも、本人認証を有効に機能させることができる。ただし、初めての操作者が所有者本人でなければならないので、１回目の画像データを学習用データ格納領域に記憶するときに、登録パスワードを要求することが好ましい。
【００２６】
特徴の比較は、顔の特徴を識別するプログラムによって、公知の手法を用いて行う。例えば目頭抽出による顔画像の大きさ・傾きの自動正規化、目・鼻・口の局所的照合、統計的手法による閾値の決定、照明変動に対処するための小領域分割補正相関法などによって行う。
登録データと比較した結果、類似でない場合は、非類似情報として、非類似データ格納領域に格納する（ステップＳ９）。
【００２７】
類似している場合は、学習用データ格納領域に格納する（ステップＳ７）。学習用データ格納領域は前述したように有限であり、画像データが一日ｎ枚以上貯ると、ｎ＋１枚目以後は類似度のもっとも低いデータと入れ換える。これにより、画像データをｎ枚以下に押えておくことができる。
以上のような、学習用データ格納領域への画像データの格納を、複数日にわたって行う。Ｍ日が経過すると、最も古い日（Ｍ日前）のデータを参照し、そのＭ日前のデータがあれば、その画像データと特徴情報を登録データ格納領域に追加して、登録データをより最新の情報にする（ステップＳ８）。このように、所有者の画像の更新・学習を行うことができる。
【００２８】
なお、後述する所有者からの情報取得要求があった後は、所有者の画像の更新・学習をストップして（つまりステップＳ７，Ｓ８の手順に入らないで）、スタートに戻る。
次に、画像データが非類似であった場合、非類似データ格納領域に格納する（ステップＳ９）。この画像データは、所有者の権限がなければ（つまり所有者のパスワードを使わなければ）削除・書き換えができないようにしておく。
【００２９】
この後、バッテリを盗難モードに変更する（ステップＳ１０）。この「盗難モード」を具体的に説明すると、図７に示すように、電池電圧が長時間使用により下がり始める電圧ａ，ｂを設定し（ａ＞ｂ）、電池電圧がａボルト以上ならば通常の電力動作を続ける。ａボルト未満ｂボルト以上ならば、省電力動作を設定する。ｂボルト未満なら、表示やキー操作を無効にして、見かけ上電池切れの状態を作る。ただし、画像の撮影と、所有者からの情報取得要求の受信と、画像データの送信とはできるようにしてするため、電圧ｂは、電池切れよりも少し余裕のある電圧に設定しておく。
【００３０】
バッテリを盗難モードに変更した後、所有者からの情報取得要求待ちの状態にする（ステップＳ１１）。所有者からの情報取得要求を受信すれば、携帯電話機は、その非類時画像データを返信する。
ここで、所有者の情報取得要求方法を説明する。情報取得要求は、例えば情報取得要求コマンドをメールに記載して携帯電話機へ送信することにより行う。所有者は、パソコンからこの携帯電話機へ、情報取得要求コマンドを記載したメールを直接送信してもよい。また、所有者が携帯電話会社のウェブ画面にログインし、ウェブメールを用いて携帯電話機へ送信してもよい。
【００３１】
ステップＳ１２において、ボタン操作が続いているならば、ステップＳ２に戻り、ボタン操作が終われば、スタートに戻る。
なお、所有者の情報取得要求がなくても、非類時画像データが得られた時点で、非類時画像データを指定のアドレスに送信する設定も可能である。この設定は、所有者が顔写真を登録する画面と同じ画面において、同じ暗証番号を用いてできるようにすることが好ましい。この設定がなされたときは、所有者からの情報取得要求がなくても、非類似写真は、あらかじめ設定されたメールアドレスに送信される（ステップＳ１３）。
【００３２】
携帯電話機１から非類似写真を送信するときに、操作者がどんな操作をしたのかという操作情報（どこに電話をかけたか、どこにメール送信したか、どこからメール受信したか、ウェブ検索をしたかなど）を、一緒に送信することが望ましい。これは、操作者の特定に役立つからである。
また、前記位置測位（ＧＰＳ）機能２２によって、携帯電話機の位置・場所がわかれば、この情報も送信することが望ましい。操作者の居所がわかるからである。
【００３３】
さらに、所有者の個人情報（アドレス帳、メール送受信フォルダなど）を削除してしまうか、所有者のパソコンや携帯電話会社のサーバに退避させることが好ましい。所有者のプライバシーが悪用されないようにするためである。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、所有者の顔の画像を登録データ領域に登録するための所有者画像登録（図４）を行うプログラムを持たない構成も考えられる。この場合、ステップＳ１からＳ８までの処理を行うことにより、データ格納領域に所有者画像を蓄積し、それを登録データ格納領域にコピーしておけばよい。これにより所有者は、顔の画像登録をしなくても、操作者の確認が行える。その他、本発明の範囲内で種々の変更を施すことが可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明の携帯電話機の盗難者確認方法を実施するためのシステム構成図である。
【図２】携帯電話機１の外観図である。
【図３】携帯電話機１の機能ブロック構成図である。
【図４】所有者の顔写真を登録する手順を説明するためのフローチャートである。
【図５】前面カメラで撮影した画像を格納する領域の説明図である。
【図６】携帯電話機１のスイッチオン後の撮影から画像データ送信までの手順を示すフローチャートである。
【図７】バッテリを盗難モードを説明するための、電源電圧のグラフである。
【符号の説明】
【００３５】
１  携帯電話機
２ コンピュータ
３  偏光ガラス
４  前面カメラレンズ
【図１】
2005223834.tif 000003
【図２】
2005223834.tif 000004
【図３】
2005223834.tif 000005
【図４】
2005223834.tif 000006
【図５】
2005223834.tif 000007
【図６】
2005223834.tif 000008
【図７】
2005223834.tif 000009