(57)【要約】【課題】  危険を伴う移動のときにのみ機器本体の動作態様を所定の動作態様（たとえば、危険を通知したり、または、操作を禁止したりする動作態様）にすることができ、煩わしさを生じないようにする。【解決手段】  任意の情報を可視化して画面に表示する表示手段１００、表示手段１００の画面を視認可能な位置にいるユーザ１０１の顔を周期的に撮像可能な撮像手段１０２、撮像手段１０２によって周期的に撮像された画像からユーザ１０１の顔を検出する検出手段１０３、検出手段１０３によってユーザ１０１の顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段１０４、変化量が所定値よりも大きいか否かを判定する判定手段１０５、判定手段１０５の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段１０６を備える。【選択図】  図６
2012244207.tif 000002
【特許請求の範囲】
【請求項１】
任意の情報を可視化して画面に表示する表示手段と、
前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像手段と、
前記撮像手段によって周期的に撮像された画像からユーザの顔を検出する検出手段と、
前記検出手段によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段と、
前記変化量が所定値よりも大きいか否かを判定する判定手段と、
前記判定手段の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段と
を備えたことを特徴とする携帯電子機器。
【請求項２】
前記判定手段は、前記ユーザの背景部分の画素値の変化量が大きいか否かを判定することを特徴とする請求項１に記載の携帯電子機器。
【請求項３】
任意の情報を可視化して表示手段の画面に表示する表示工程と、
前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像工程と、
前記撮像工程によって周期的に撮像された画像からユーザの顔を検出する検出工程と、
前記検出工程によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算工程と、
前記変化量が所定値よりも大きいか否かを判定する判定工程と、
前記判定工程の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御工程と
を含むことを特徴とする携帯電子機器制御方法。
【請求項４】
携帯電子機器のコンピュータに、
任意の情報を可視化して画面に表示する表示手段、
前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像手段、
前記撮像手段によって周期的に撮像された画像からユーザの顔を検出する検出手段、
前記検出手段によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段、
前記変化量が所定値よりも大きいか否かを判定する判定手段、
前記判定手段の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段
としての機能を与えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電子機器、携帯電子機器制御方法及びプログラムに関し、詳しくは、文字列や画像またはその他の情報を表示することができる液晶ディスプレイ等の表示部を備えた携帯電子機器、その携帯電子機器の制御方法、及び、その携帯電子機器に適用するプログラムに関する。
【背景技術】
【０００２】
携帯電話機は、文字列や画像またはその他の情報を表示することができる液晶ディスプレイ等の表示部を備えた携帯電子機器の代表例のひとつであるが、この携帯電話機は、電話の通話機能を備えていることはもちろんのこと、さらに、メールの送受信機能やインターネットのコンテンツ閲覧機能などの様々な付加機能を備えていることから、今日においては、個人の携帯アイテムとして手放せないものになっている。
【０００３】
携帯電話機は、場所を問わずにいつでも利用できる便利な機器である。しかし一方で、その便利さ故に利用上のマナーの悪さ、たとえば、歩行中や自転車運転中のメール操作などといった安全上見過ごすことができない危険な行為が指摘されており、他の歩行者との衝突などの事故の発生が社会問題化している。
【０００４】
したがって、携帯電話機等の携帯機器を利用する際の危険を防止できる技術が求められている。
【０００５】
たとえば、下記の特許文献１には、携帯機器本体の移動速度を検出するとともに、本体の操作が両手で行われているか否かを判定する技術が開示されている。この技術によれば、移動速度が所定値以上で、且つ、両手操作が行われていない場合、たとえば、自転車の片手運転が行われている場合には、本体の操作（着信応答、送信操作及び通話モードの実行）を許可しないようにすることにより、自転車運転時等の危険を防止できる。
しかしながら、この技術は、「本体の操作が両手で行われているか否かを判定する」ため、両手操作時の移動、つまり、歩行中の危険を防止できないという欠点がある。
【０００６】
また、下記の特許文献２には、自動車の運転席と助手席の各々に信号発生手段を配置し、また、電車のデッキ部と座席部の各々に同様の信号発生手段を配置し、それらの信号発生手段からの信号を受信可能に構成された携帯電話機の技術が開示されており、この技術によれば、自動車の運転席または電車の座席部からの信号を受信すると通信機能を制限する一方、自動車の助手席または電車のデッキ部からの信号を受信すると通信機能を制限しないとされている。
しかしながら、この技術は、所定の信号発生手段が設けられた環境でしか利用できず、たとえば、歩行中や自転車運転中の危険を防止できないという欠点がある。
【０００７】
また、下記の特許文献３には、本体の移動状態を検出し、移動状態にあるときには、カメラを起動して画像を撮像し、その画像に操作者の顔が含まれていた場合に、操作者に対して移動しながらの危険な操作である旨を通知するという技術が開示されている。
この技術によれば、移動中で且つ操作者の顔が画像から検出された場合に、操作者に対して危険な操作であることを通知することができ、たとえば、歩行中や自転車運転中の危険を防止することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−０１５７２８号公報
【特許文献２】特開２００４−２４２１７４号公報
【特許文献３】特開２００８−０８５５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記の特許文献３に記載の技術は、歩行中や自転車運転中の危険を防止できるという利点があるものの、危険を伴わない移動、たとえば、バスや電車などに“客”として乗車移動中の場合にも上記の通知が行われるので、煩わしいという問題点がある。
【００１０】
そこで、本発明は、危険を伴う移動のときにのみ機器本体の動作態様を所定の動作態様（たとえば、危険を通知したり、または、操作を禁止したりする動作態様）にすることができ、煩わしさを生じない携帯電子機器、携帯電子機器制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の携帯電子機器は、任意の情報を可視化して画面に表示する表示手段と、前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像手段と、前記撮像手段によって周期的に撮像された画像からユーザの顔を検出する検出手段と、前記検出手段によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段と、前記変化量が所定値よりも大きいか否かを判定する判定手段と、前記判定手段の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段とを備えたことを特徴とする。
本発明の携帯電子機器制御方法は、任意の情報を可視化して表示手段の画面に表示する表示工程と、前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像工程と、前記撮像工程によって周期的に撮像された画像からユーザの顔を検出する検出工程と、前記検出工程によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算工程と、前記変化量が所定値よりも大きいか否かを判定する判定工程と、前記判定工程の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御工程とを含むことを特徴とする。
本発明のプログラムは、携帯電子機器のコンピュータに、任意の情報を可視化して画面に表示する表示手段、前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像手段、前記撮像手段によって周期的に撮像された画像からユーザの顔を検出する検出手段、前記検出手段によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段、前記変化量が所定値よりも大きいか否かを判定する判定手段、前記判定手段の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段としての機能を与えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、危険を伴う移動のときにのみ機器本体の動作態様を所定の動作態様（たとえば、危険を通知したり、または、操作を禁止したりする動作態様）にすることができ、煩わしさを生じない。
【図面の簡単な説明】
【００１３】
【図１】携帯電話機１の外観図である。
【図２】携帯電話機１の構成図である。
【図３】携帯電話機１の動作フローを示す図である。
【図４】ステップＳ３におけるユーザの顔検出の概念図である。
【図５】ステップＳ４及びステップＳ５の概念説明図である。
【図６】付記１の構成図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を、携帯電話機への適用を例にして、図面を参照しながら説明する。
まず、構成を説明する。
図１は、携帯電話機１の外観図である。図において、携帯電話機１は、特にそれに限定されないが、手持ちに適した厚みと大きさを有する縦長箱型形状の本体部２と、その本体部２の上部一短辺端にヒンジ機構３を介して連結された、本体部２と略同型状かつ薄厚の蓋部４とを備えた、いわゆる「折り畳み式」の筐体５を有している。なお、この「折り畳み式」は一例に過ぎない。折り畳み式以外のもの（非折り畳み式やスライド式やフリップ式など）であっても当然かまわない。または、携帯電話機をスマートフォンと読み替えてもよい。
【００１５】
本体部２の一方面（蓋部４との対向面）には、多数の操作ボタンからなる操作ボタン群６や、後述のマイク１３ａが収められた送話孔７が設けられ、また、蓋部４の一方面（本体部２との対向面）には、前面にタッチパネル８が貼り付けられた表示部９や、後述のスピーカ１３ｂが収められた受話孔１０、及び、この表示部９を見ている人物の顔を撮影するための撮像部１１が設けられている。なお、この図では、蓋部４の上端部付近に撮像部１１を設けているが、これに限定されない。表示部９を視認可能な位置にいる人物の顔、より望ましくは表示部９を見ている人物の顔を撮影することができる位置であればよく、たとえば、蓋部４の下端部付近や左右端部付近などであってもよい。
【００１６】
図２は、携帯電話機１の構成図である。携帯電話機１は、無線通信部１２、音声処理部１３、撮像部１１、操作部１４、移動検出部１５、タッチパネル８付の表示部９、メモリＩ／Ｆ（インターフェース）１６、メモリ１７、外部Ｉ／Ｆ１８、電源部１９、及び、中央制御部２０を備える。
【００１７】
無線通信部１２は、中央制御部２０からの制御により、アンテナ１２ａを介して最寄りの携帯電話基地局（図示略）との間で所定周波数帯域及び所定変調方式の無線によるデジタルデータの送受信を行う。このデジタルデータには、電話の着呼や発呼の情報および音声通話の情報が含まれるほか、電子メールの送受信情報や、各種インターネットコンテンツの閲覧情報ならびに所要のネットワークサービスのサービス情報などが含まれる。
【００１８】
音声処理部１３は、中央制御部２０からの制御により、マイク１３ａで拾った音声信号をデジタルデータに変換して中央制御部２０に出力したり、中央制御部２０から出力されたデジタルの音声信号をアナログ信号に変換してスピーカ１３ｂから拡声したりする。
【００１９】
撮像部１１は、二次元撮像デバイス、たとえば、ＣＣＤ型やＣＭＯＳ型などの二次元半導体撮像デバイスで構成され、中央制御部２０からの制御を受けて所定画角（撮影範囲）の画像を所定の周期（たとえば、３０ｆｐｓ）で周期的に撮像し、その画像信号を中央制御部２０に出力する。ここで、撮像部１１の撮影画角は表示部９の画面鉛直方向を中心にして所定の角度に設定されており、この“所定の角度”は、撮像部１１の目的（冒頭で説明した「表示部９を見ている人物の顔を撮影する」）を達成できる適切な値に設定されている。
【００２０】
操作部１４は、ユーザインターフェース用の入力手段であり、たとえば、電話番号入力と文字入力の兼用ボタンや、各種の機能ボタン及びカーソル操作キーなどのボタン群（図１の操作ボタン群６）を備え、ユーザ操作に応答して、それらのボタンやキーに対応した入力信号を発生して中央制御部２０に出力する。
【００２１】
移動検出部１５は、携帯電話機１の「移動」を検出するための要素である。携帯電話機１の移動は、たとえば、振動センサや加速度センサなどによって検出することができる。携帯電話機１の移動に伴い、振動が発生し、または、加速度が発生するからであり、しかも、振動の大きさや加速度の大きさから移動の速度も検出することができるからである。なお、移動検出部１５の実例は、これらのセンサ類を用いたものに限定されない。要は、携帯電話機１の移動（移動の速度）を検出できればよく、たとえば、ＧＰＳ衛星を利用したものや、接続中の携帯基地局の番号（いわゆるセル番号）を利用したものなどであってもよい。
【００２２】
表示部９は、液晶パネルなどの平面二次元表示デバイス（好ましくは多色表示が可能で高精細な表示画面を持つもの）からなり、中央制御部２０から適宜に出力される任意の情報を可視化して画面上に表示する。特に限定しないが、表示部９はタッチパネル８付きのものである。このタッチパネル８は、たとえば、人体の一部（指先等）や静電ペンなどの接触を検知して、その検知信号を中央制御部２０に出力する静電容量方式のものであってもよく、または、ペン先等の堅い物質の接触を検知して、同様にその検知信号を中央制御部２０に出力する抵抗膜方式のものであってもよく、あるいは、その他の方式のものであってもよい。タッチパネル９は、ユーザインターフェース用の入力手段として機能するから、操作部１４の一部を構成する。
【００２３】
メモリＩ／Ｆ１６は、たとえば、メモリ１７の規格（ＳＤカード等）に対応した汎用インターフェースであり、中央制御部２０とメモリ１７との間に位置して相互のデータのやりとりを仲介する。
【００２４】
メモリ１７は、不揮発性且つ書き換え可能な情報記憶要素であり、たとえば、ＳＤカード等のフラッシュメモリやシリコンディスクあるいはハードディスクなどを用いることができる。このメモリ１７は、電話帳などの様々なユーザデータを記憶保存する。
【００２５】
外部Ｉ／Ｆ１８は、パーソナルコンピュータなどの外部機器とのデータインターフェースである。外部機器は、この外部Ｉ／Ｆ１８と中央制御部２０とを介してメモリ１７にアクセスすることが可能であり、メモリ１７に記憶されている電話帳などのユーザデータを外部機器に取り出したり、あるいは、外部機器からメモリ１７に書き戻したりすることができる。
【００２６】
電源部１９は、一次電池または充電可能な二次電池からなるバッテリを含み、このバッテリの電力から携帯電話機１の動作に必要な各種電源電圧を発生して各部に供給する。
【００２７】
中央制御部２０は、コンピュータまたはマイクロコンピュータ（以下、ＣＰＵ）２０ａ、読み出し専用半導体メモリ（以下、ＲＯＭ）２０ｂおよび高速半導体メモリ（以下、ＲＡＭ）２０ｃならびに不図示の周辺回路を含むプログラム制御方式の制御要素であり、あらかじめＲＯＭ２０ｂに格納されている制御プログラムをＲＡＭ２０ｃにロードしてＣＰＵ２０ａで実行することにより、各種の処理を逐次に実行して、この携帯電話機１の全体動作を統括制御する。なお、ＲＯＭ２０ｂは、書き込み型の不揮発性半導体メモリ（ＰＲＯＭやＥＰＲＯＭなど）であってもよい。
【００２８】
次に、作用を説明する。
実施形態の携帯電話機１は、携帯電話機としての公知の諸機能（通話機能やメール機能あるいはインターネットコンテンツ等の閲覧機能など）を備え、ユーザは、場所を選ばず、好きなときにそれらの機能を利用することができる。これらの機能のうち、歩行中や自転車運転中の危険が指摘されるのは主にメールである。メールを書いたり読んだりする際に表示部９を直視する必要があり、周囲への注意がおろそかになるからである。
【００２９】
この点において、前記の特許文献３の技術は、歩行中や自転車運転中のメール操作時にユーザに対して危険な操作である旨を通知することができるので、メール操作を中止させて安全を確保することができる。
しかしながら、この技術にあっては、危険を伴わない移動時、たとえば、バスや電車などに客として乗車中の移動時にも上記の通知が行われてしまい、煩わしいという欠点がある。これは、「端末本体の移動を検出」したときで、且つ、その移動中にカメラで「ユーザの顔が撮影」されたときに、上記の通知を行うという単純な仕組みになっているからであり、要するに、その本体の移動が危険を伴うものであるか否かを判別していないからである。
【００３０】
本実施形態のポイントは、危険を伴う移動のときにのみ機器本体の動作態様を所定の動作態様（たとえば、危険を通知したり、または、操作を禁止したりする動作態様）にすることにある。以下、このポイントについて詳しく説明する。
【００３１】
図３は、携帯電話機１の動作フローを示す図である。なお、このフローは、中央制御部２０のＣＰＵ２０ａで実行される制御プログラムの要部動作を概念的に且つ簡略化して示すものである。
このフローを開始すると、まず、移動検出部１５の検出信号を取り込み、携帯電話機１が移動中であるか否かを判定する（ステップＳ１）。ここで、“移動”とは、携帯電話機１を携行するユーザが継続して一定の地点に留まっていない状態のことをいい、具体的には、歩行中の状態、または、自転車やバス、電車等の乗り物に乗って、空間的な位置を継続的に変化させている状態のことをいう。したがって、上記の“移動”は、たとえば、携帯電話機１をポケットや鞄などから取り出す際のような一時的な位置変化（継続的でない位置変化）を含まない。
【００３２】
ステップＳ１の判定結果がＮＯの場合、すなわち、携帯電話機１が移動していない場合、または、たとえ、移動が検出されてもその移動が時間的に継続していない場合（携帯電話機１をポケットや鞄などから取り出す際など）は、フローを終了する一方、ステップＳ１の判定結果がＹＥＳの場合、すなわち、携帯電話機１が所定の速度以上で移動し、且つ、その移動状態が所定の時間継続している場合は、歩行中の状態、または、自転車やバス、電車等の乗り物に乗って、空間的な位置を継続的に変化させている状態であると判断し、以下の処理（ステップＳ２〜ステップＳ６）を実行する。
【００３３】
ステップＳ２では、撮像部１１を起動して複数枚の画像を撮像する。前記のとおり、撮像部１１は「表示部９を見ている人物の顔を撮影するため」のものであるから、仮にユーザが表示部９を見ながら、この携帯電話機１の操作を行っている場合、前記の「複数枚の画像」にはユーザの顔が映り込んでいるはずである。
【００３４】
ステップＳ３では、前記の複数枚の画像に「ユーザの顔」が映り込んでいるか否かを判定する。この顔判定には、公知の顔検出技術を利用することができる。すなわち、画像内からヒトの顔の特徴（たとえば、眉、眼、鼻、口などといった顔のパーツや肌の色）が含まれる領域を検出する。この技術によって、表示部９を見ているユーザの顔を検出することができる。このステップＳ３で、表示部９を見ているユーザの顔を検出できなかった場合は、フローを終了し、一方、ユーザの顔を検出できた場合は、ステップＳ４に進む。
なお、このステップＳ３においては、ユーザ以外の人の顔が検出される場合があり得る。ユーザの顔であるか否かの判断は、検出された顔の大きさに基づいて行うことができる。ユーザの顔は表示部９に近く（したがって、顔が大きく写る）、一方、ユーザ以外の人の顔は表示部９から離れている（したがって、顔が小さく写る）からである。
【００３５】
図４は、ステップＳ３におけるユーザの顔検出の概念図である。この図において、複数の画像の各々をＰ１、Ｐ２、Ｐ３、・・・・、Ｐｎで示すことにする。この場合、Ｐ１、Ｐ２、Ｐ３、・・・・、Ｐｎは、各々、その順番（Ｐ１→Ｐ２→Ｐ３→・・・・→Ｐｎ）に従って周期的に撮像部１１から取り出されたフレーム画像であり、ｎは画像の枚数である。
【００３６】
まず、ユーザが表示部９を見ている場合を考える。この場合の画像は、（ａ）のようになる。すなわち、Ｐ１、Ｐ２、Ｐ３、・・・・、Ｐｎの全てにユーザ２１の姿が映り込んでおり、ユーザ２１と表示部９（撮像部１１）との距離が近いので、ユーザ２１の顔２２は大きくなる。したがって、ユーザが表示部９を見ている場合の顔検出領域２３のサイズ（面積）も同様に大きくなるから、複数枚の画像（Ｐ１、Ｐ２、Ｐ３、・・・・、Ｐｎ）の全てに所定サイズ以上の顔検出領域２３が検出された場合に、ステップＳ３の判定結果をＹＥＳとし、ユーザ２１の顔２２を検出したと判断する。
【００３７】
ここで、ステップＳ３においては、ユーザ２１以外の他の人物の顔が検出される場合がある。以下、この人物のことを他人２４ということにする。他人２４の顔が検出されるケースは、たとえば、撮像部１１の画角内に偶然、他人２４が入り込んでしまった場合である。（ｂ）は、このケースにおける顔検出を示しており、Ｐ１、Ｐ２、Ｐ３、・・・・、Ｐｎの全てに他人２４の姿が映り込んでいる。このケースの場合、他人２４と表示部９（撮像部１１）との距離が離れているので、前記の（ａ）と比較して、顔検出領域２５のサイズ（面積）が小さくなる。したがって、ステップＳ３における顔検出の際に適切な判定閾値を適用することにより、他人２４の顔検出領域２５を検出対象外とすることができ、他人２４の顔検出を排除することができる。
【００３８】
また、ユーザ２１の顔が一瞬だけ映り込む場合もある。たとえば、ユーザ２１の顔の前で携帯電話機１を動かした場合などである。この場合は、（ｃ）に示すように、Ｐ１、Ｐ２、Ｐ３、・・・・、Ｐｎのうちの特定の画像（ここではＰ１）にだけユーザ２１の顔が映り込み、他の画像（Ｐ２〜Ｐｎ）にユーザ２１の全身は映り込んでいない。
したがって、このようなケース（ユーザ２１の顔が一瞬だけ映り込む場合）における顔検出も排除するためには、ステップＳ３において、所定サイズの閾値を上回る大きさの顔検出領域２３が検出されること（以下、第一の条件）、及び、その検出が複数枚の画像（Ｐ１〜Ｐｎ）の全てについて行われること（以下、第二の条件）、といった二つの判定条件を設定すればよい。
【００３９】
なお、上記の第二の条件では複数枚の画像（Ｐ１〜Ｐｎ）の“全て”としているが、これに限定されない。複数枚の画像（Ｐ１〜Ｐｎ）の“大部分”と読み替えてもよい。つまり、ユーザ２１の顔検出の信頼性の点では「全て」とすることが好ましいが、多少の誤差を許容してユーザ２１の顔検出を行ってもかまわない場合には、ｎ枚の画像の大部分で上記の第一の条件が満たされた顔が検出された場合にステップＳ３の判定結果をＹＥＳとしてもよい。ここで“大部分”、つまり、ｎ枚の画像のうちの何枚とすべきかは一概にいえない。許容される判定誤差を考慮して試行錯誤に決定すればよい。
【００４０】
ステップＳ４では、複数枚の画像の背景の時系列的な変化を検出し、次のステップＳ５では、その変化量が所定値以上であるか否かを判定する。これらのステップＳ４及びステップＳ５は、本実施形態に特有のものである。つまり、これらのステップを有することにより、「危険を伴う移動であるか否かを判別することができ、危険を伴う移動のときにのみ機器本体の動作態様を所定の動作態様（たとえば、危険を通知したり、または、操作を禁止したりする動作態様）にすることができる」という技術課題を達成することができる。
【００４１】
図５は、ステップＳ４及びステップＳ５の概念説明図である。（ａ）は、背景の変化量が大きい場合の一例を示し、（ｂ）は、背景の変化量が小さい場合の一例を示している。まず、背景の変化量が大きい場合について説明する。（ａ）に示すように、複数の画像Ｐ１、Ｐ２、Ｐ３、・・・・の各々にユーザ２１が映り込んでおり、ユーザ２１の背景には、たとえば、ビル２６が映り込んでいる。今、ユーザ２１が歩行中または自転車に乗って移動中であるとすると、複数の画像Ｐ１、Ｐ２、Ｐ３、・・・・の各々に映り込んでいるユーザ２１の大きさはほぼ一定であるが、その背景のビル２６の大きさはユーザ２１の移動に伴い遠近法に従って徐々に小さくなるように変化する。したがって、この場合、「背景の変化量が大きい」といえるから、ステップＳ５の判定結果はＹＥＳとなる。
【００４２】
次に、背景の変化量が小さい場合について説明する。（ｂ）に示すように、複数の画像Ｐ１、Ｐ２、Ｐ３、・・・・の各々にユーザ２１が映り込んでおり、ユーザ２１の背景には、バスや電車などの車内の様子（窓２７、壁２８、天井２９及び照明器具３０など）が映り込んでいる。このような場合、つまり、ユーザ２１がバスや電車などに客として乗車して移動中の場合には、複数の画像Ｐ１、Ｐ２、Ｐ３、・・・・の各々に映り込んでいるユーザ２１の大きさはほぼ一定であり、且つ、その背景の様子（窓２７、壁２８、天井２９及び照明器具３０など）もほとんど変化しない。したがって、この場合、「背景の変化量が小さい」といえるから、ステップＳ５の判定結果はＮＯとなる。
【００４３】
このように、ユーザ２１の背景の変化量から、危険を伴う移動（たとえば、歩行や自転車による移動）と、危険を伴わない移動（たとえば、バスや電車などに客として乗車して移動）とを区別することができる。そして、危険を伴う移動の場合にだけ、ユーザによる携帯電話機１の操作を禁止するといった危険を防止するための動作態様に制御する（ステップＳ６）ことができる。なお、この制御態様は操作の禁止に限定されない。たとえば、危険な移動中であることをユーザに通知する態様であってもよい。
【００４４】
ここで、「背景」とは、正確には複数枚の画像Ｐ１、Ｐ２、Ｐ３、・・・・におけるユーザ２１を除く画像部分のことをいい、背景の変化量は当該画像部分の時系列的な変化量のことをいう。たとえば、複数枚の画像Ｐ１、Ｐ２、Ｐ３、・・・・におけるユーザ２１を除く画像部分を便宜的にそれぞれＰ１ａ、Ｐ２ａ、Ｐ３ａ、・・・・とすると、背景の変化量は、Ｐ１ａとＰ２ａの差分、Ｐ２ａとＰ３ａの差分、・・・・で与えられるから、それらの差分（または差分の積算値）が所定値以上であれば、危険を伴う移動（たとえば、歩行や自転車による移動）であると判断することができ、一方、それらの差分（または差分の積算値）が所定値以上でなければ、危険を伴わない移動（たとえば、バスや電車などに客として乗車して移動）であると判断することができる。
【００４５】
なお、ここでは、「背景」の変化量に基づく判定を行っているが、これに限定されない。「画像全体」の変化量に基づく判定であってもよい。すなわち、複数枚の画像Ｐ１、Ｐ２、Ｐ３、・・・・の画像全体の画素値（たとえば、輝度値）の時系列的な変化量から、危険を伴う移動であるか、危険を伴わない移動であるかを判定してもよい。
【００４６】
このことについて具体的に説明する。まず、（ａ）を例にすると、１枚目の画像Ｐ１に占める空３１の大きさをＡとし、同様に、２枚目の画像Ｐ２に占める空３１の大きさをＢとし、３枚目の画像Ｐ３に占める空３１の大きさをＣとする。ここで、面積比でＡ＜Ｂ＜Ｃである。３枚の画像Ｐ１、Ｐ２、Ｐ３に映り込んでいるユーザ２１の大きさが一定であり、且つ、３枚の画像Ｐ１、Ｐ２、Ｐ３に映り込んでいるビル２６の大きさが徐々に小さくなっているので、結局のところ、３枚の画像Ｐ１、Ｐ２、Ｐ３の明るさ（輝度）の順番は、空３１がもっとも大きく映り込んでいる３枚目の画像Ｐ３が高輝度、空３１が次位に大きく映り込んでいる２枚目の画像Ｐ２が中輝度、空３１がもっとも小さく映り込んでいる１枚目の画像Ｐ１が低輝度となる。
【００４７】
これに対して、（ｂ）の場合は、３枚の画像Ｐ１、Ｐ２、Ｐ３に映り込んでいるユーザ２１と背景（窓２７、壁２８、天井２９及び照明器具３０など）がほとんど変化しないので、それら３枚の画像Ｐ１、Ｐ２、Ｐ３の輝度値はほぼ一定である。
【００４８】
したがって、複数枚の画像Ｐ１、Ｐ２、Ｐ３、・・・・の画像全体の、たとえば、輝度値の時系列的な変化量からも危険を伴う移動であるか、危険を伴わない移動であるかを判定することができる。なお、ここでは輝度値としているが、これに限定されない。輝度値の代わりにＲＧＢ等の色情報を用いてもよく、あるいは、輝度情報を含む色情報（ＨＳＶ等）を用いてもよい。
【００４９】
以上のとおり、本実施形態では、移動検出部１５の出力信号に基づいてユーザ２１の移動中を判定し、移動中の場合には、撮像部１１で複数枚の画像を撮像して、その画像にユーザ２１の顔が含まれているか否かを判定し、ユーザの顔が含まれている場合に、当該複数枚の画像の背景の変化量または画像全体の画素値の変化量に基づいて、危険を伴う移動（たとえば、歩行や自転車による移動）であるのか、または、危険を伴わない移動（たとえば、バスや電車などに客として乗車して移動）であるのかを判定し、危険を伴う移動を判定した場合にのみ、携帯電話機１の操作を禁止するので、冒頭で説明した特許文献３の問題点（バスや電車などに客として乗車して移動中の場合にも危険な操作である旨の通知が行われるので、煩わしい）を解決することができる。
【００５０】
なお、実施形態では、複数枚の画像の背景の変化量または画像全体の画素値の変化量に基づく判定を行っているが、これに限定されない。たとえば、背景の固定部分（窓枠や外の風景の画像など）を検出する態様であってもよい。この場合、背景の固定部分を継続的に検出したときに、危険を伴わない移動（たとえば、バスや電車などに客として乗車して移動）であると判定することができる。ただし、この態様においては、撮像時の手ぶれを考慮する必要がある。手ぶれは、複数枚の画像に共通して現れる画像のずれであり、このずれは公知の手ぶれ補正技術を利用して解消できるので、上記態様（背景の固定部分を検出）の実現可能性に障害はない。
【００５１】
また、実施形態では、移動検出部１５を備え、この移動検出部１５によって携帯電話機１の移動を検出（図３のステップＳ１のＹＥＳ判定を参照）したときに、その移動が、危険を伴う移動（たとえば、歩行や自転車による移動）であるのか、または、危険を伴わない移動（たとえば、バスや電車などに客として乗車して移動）であるのかを判定しているが、これはベストモードの実施形態である。
原理的には移動検出部１５を使用しない態様であってもよい。すなわち、図３のステップＳ１を削除した態様であってもよい。このような態様においても、複数枚の画像からユーザの顔を検出したときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算し、当該変化量が所定値よりも大きい場合に、安全上の危険を伴う移動であると判断して当該危険を防止するための所定の動作態様（たとえば、操作禁止）に変更することができる。
しかし、実用上は、移動検出部１５を使用する態様（実施形態の態様）が好ましい。移動判定の精度を向上できるとともに、不必要な処理（画像取得処理等）を行わないようにしてＣＰＵ２０ａの負担を軽減できるからである。
【００５２】
また、実施形態の適用は携帯電話機１に限らない。文字列や画像またはその他の情報を表示することができる液晶ディスプレイ等の表示部を備えた携帯電子機器であればよく、たとえば、タブレット型やノート型などの携帯型パーソナルコンピュータ、ＰＤＡ、電子ブック、ゲーム機などであってもよい。
【００５３】
以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図６は、付記１の構成図である。
付記１は、
任意の情報を可視化して画面に表示する表示手段１００と、
前記表示手段１００の画面を視認可能な位置にいるユーザ１０１の顔を周期的に撮像可能な撮像手段１０２と、
前記撮像手段１０２によって周期的に撮像された画像からユーザ１０１の顔を検出する検出手段１０３と、
前記検出手段１０３によってユーザ１０１の顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段１０４と、
前記変化量が所定値よりも大きいか否かを判定する判定手段１０５と、
前記判定手段１０５の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段１０６と
を備えたことを特徴とする携帯電子機器１０７である。
【００５４】
（付記２）
付記２は、
前記判定手段は、前記ユーザの背景部分の画素値の変化量が大きいか否かを判定することを特徴とする付記１に記載の携帯電子機器である。
【００５５】
（付記３）
付記３は、
任意の情報を可視化して表示手段の画面に表示する表示工程と、
前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像工程と、
前記撮像工程によって周期的に撮像された画像からユーザの顔を検出する検出工程と、
前記検出工程によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算工程と、
前記変化量が所定値よりも大きいか否かを判定する判定工程と、
前記判定工程の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御工程と
を含むことを特徴とする携帯電子機器制御方法である。
【００５６】
（付記４）
付記４は、
携帯電子機器のコンピュータに、
任意の情報を可視化して画面に表示する表示手段、
前記表示手段の画面を視認可能な位置にいるユーザの顔を周期的に撮像可能な撮像手段、
前記撮像手段によって周期的に撮像された画像からユーザの顔を検出する検出手段、
前記検出手段によってユーザの顔が検出されたときに、その検出対象の画像を含む複数枚の画像の時系列的な変化量を演算する演算手段、
前記変化量が所定値よりも大きいか否かを判定する判定手段、
前記判定手段の判定結果が肯定の場合に機器本体の動作態様を所定の動作態様に変更する制御手段
としての機能を与えることを特徴とするプログラムである。
【符号の説明】
【００５７】
１００  表示手段
１０１  ユーザ
１０２  撮像手段
１０３  検出手段
１０４  演算手段
１０５  判定手段
１０６  制御手段
１０７  携帯電子機器
【図１】
2012244207.tif 000003
【図２】
2012244207.tif 000004
【図３】
2012244207.tif 000005
【図４】
2012244207.tif 000006
【図５】
2012244207.tif 000007
【図６】
2012244207.tif 000008