(57)【要約】【課題】  自動車に後から組み込む必要なく、自動車運転者の身体状態を高精度に測定することができ、安全運転に寄与する携帯電話を提供する。【解決手段】  カメラ１０で取得した画像から人間の顔面、目、および口などを認識する。また、同時にスピーカ１２から会話音声を発し、マイク１１に返答音声が入力までの時間を測定する。単位時間あたりの瞬き回数、呼吸数、会話反応時間などを測定し、基準データを作成する。測定値が基準データから所定の割合以上外れた場合、運転者の身体状況に異常が発生しているとして、警告を発する。警告はスピーカ１２から発してもよいし、他の機器と通信して例えば自動車オーディオ機器などから発してもよい。【選択図】  図１
2006279796.tif 000002
【特許請求の範囲】
【請求項１】
人間の顔面の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像からその人間の身体状態を検出する画像分析手段と、
検出した身体状態が所定の基準外となったときに異常であると判断し、警告を発する、または警告を発する旨の情報を外部に出力する異常通知手段と、
を備えた携帯電話。
【請求項２】
前記画像分析手段は、所定時間あたりの瞬き回数、または呼吸数を検出することで身体状態を検出する請求項１に記載の携帯電話。
【請求項３】
会話音声を発する音声出力部と、
人間の音声を入力する音声入力手段と、
音声出力部が会話音声を発してから前記音声入力手段に人間の音声が入力されるまでの時間を計測することで身体状態を検出する会話反応検出手段をさらに備えた請求項１、または請求項２に記載の携帯電話。
【請求項４】
３軸方向の加速度を検出する加速度センサと、
前記加速度センサの検出した加速度から自動車車両の運転状況を判定する運転状況判定手段と、をさらに備え、
前記異常通知手段は、前記運転状況判定手段が検出した運転状況が所定の基準外となったときに異常であると判断する請求項１、請求項２または請求項３に記載の携帯電話。
【請求項５】
前記画像分析手段が検出する所定時間あたりの瞬き回数、呼吸数、前記会話反応検出手段が検出する会話音声を発してから人間の音声が入力されるまでの時間、および前記運転状況判定手段が検出する運転状況、のうち少なくとも２項目の検出を行い、
前記異常通知手段は、いずれか１項目について異常が発生したと判断したときに警告を発する請求項２乃至請求項４のいずれかに記載の携帯電話。
【請求項６】
携帯電話を固定する台座と、
該携帯電話とデータ通信を行うデータ通信部と、
前記台座を回動させる駆動部と、
前記駆動部の回動角度を制御する制御部と、
を備えた携帯電話用ホルダであって、
前記制御部は、前記データ通信部を介して該携帯電話から入力される駆動制御信号に基づいて駆動部を制御する携帯電話用ホルダ。
【請求項７】
携帯電話を固定する台座と、
該携帯電話とデータ通信を行うデータ通信部と、
前記台座を回動させる駆動部と、
前記駆動部の回動角度を制御する制御部と、
を備えた携帯電話用ホルダであって、
前記制御部は、前記データ通信部を介して携帯電話から受信した特定の画像が、該携帯電話画面の中心に表示されるように回動角度を制御する携帯電話用ホルダ。
【請求項８】
携帯電話に、
人間の顔面の画像を取得する画像取得手順、
前記画像取得手順で取得した画像からその人間の身体状態を検出する身体状態検出手順、
検出した身体状態が所定の基準外となったときに警告を発する、または警告を発する旨の情報を外部に出力する異常通知手順、
を実行させる携帯電話用プログラム。
【請求項９】
前記身体状態検出手順は、所定時間あたりの瞬き回数、または呼吸数を検出、または会話音声を発してから人間の音声が入力されるまでの時間を計測することで身体状態を検出する手順を含む、
請求項８に記載の携帯電話用プログラム。
【請求項１０】
３軸方向の加速度を検出する加速度検出手順、
前記加速度検出手順で検出した加速度から自動車車両の運転状況を判定する運転状況判定手順、
をさらに実行させ、
前記異常通知手順は、前記運転状況判定手順で検出した運転状況が所定の基準外となったときに異常であると判断する手順を含む請求項８または請求項９に記載の携帯電話用プログラム。
【請求項１１】
携帯電話に組み込まれ、該携帯電話に、
人間の顔面の画像を取得する画像取得手順、
前記画像取得手順で取得した画像からその人間の身体状態を検出する身体状態検出手順、
検出した身体状態が所定の基準外となったときに警告を発する、または警告を発する旨の情報を外部に出力する異常通知手順、
を実行させるための携帯電話用プログラムを記録した半導体素子。
【請求項１２】
前記身体状態検出手順は、所定時間あたりの瞬き回数、または呼吸数を検出、または会話音声を発してから人間の音声が入力されるまでの時間を計測することで身体状態を検出する手順を含む、請求項１１に記載の半導体素子。
【請求項１３】
３軸方向の加速度を検出する加速度検出手順、
前記加速度検出手順で検出した加速度から自動車車両の運転状況を判定する運転状況判定手順、
をさらに実行させるプログラムを記録し、
前記異常通知手順は、前記運転状況判定手順で検出した運転状況が所定の基準外となったときに異常であると判断する手順を含む請求項１１、または請求項１２に記載の半導体素子。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自動車運転者の身体状況を把握する携帯電話、携帯電話用ホルダ、携帯電話用プログラム、および半導体素子に関する。
【背景技術】
【０００２】
近年、交通の安全性を高めるために様々な方法が考えられている。たとえば、自動車の運転者の疲労による居眠りなどは事故の主要な原因となる為、近年、運転者の身体状態を把握して警告を発する装置が提案されている（たとえば特許文献１参照）。
【０００３】
この装置は、ＣＣＤカメラで運転者の運転状況を監視するものであり、画像処理によって運転者の白目の面積の時間変化を検出して疲労度を検出する。また、ハンドルを握る位置、両手間の電流電圧から緊張度を測定したりすることも可能である。
【特許文献１】特開平１１−１７５８９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載されているドライバー状況依存コミュニケーション装置は、運転者の白目の面積の時間変化のみから疲労度を検出するものである。このように単一の項目で運転者の疲労度を判断するだけでは誤りが多くなり、誤った警報はかえって運転の妨げになることがある。
【０００５】
また、特許文献１に記載のドライバー状況依存コミュニケーション装置は、ＣＣＤカメラや両手間の電流電圧を測定する電極などを自動車本体に設置する必要があり、このような検出器を後から自動車に組み込むには非常に手間がかかる問題があった。
【０００６】
この発明は、自動車に後から組み込む必要なく、自動車運転者の身体状態を高精度に測定することができ、安全運転に寄与する携帯電話を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、人間の顔面の画像を取得する画像取得手段と、前記画像取得手段で取得した画像からその人間の身体状態を検出する画像分析手段と、検出した身体状態が所定の基準外となったときに異常であると判断し、警告を発する、または警告を発する旨の情報を外部に出力する異常通知手段と、を備えたことを特徴とする。
【０００８】
この発明では、ＣＣＤカメラなどの撮像素子を用いて人間の顔面の画像を取得する。取得した画像を用いて、画像分析をし、その人間の身体状態を検出する。身体状態が異常であると判断した場合、警告を発する。例えば、携帯電話のスピーカから警告音声を発する。また、別途ＢｌｕｅＴｏｏｔｈ等の通信手段を用いて、カーオーディオ機器から警告音が発せられるようにしてもよい。また、警告を外部に出力するようにしてもよい。携帯電話の通話機能を用いて、センタサーバ等に異常発生を通知する。センタサーバは、異常発生の通知を受けて、携帯電話を呼び出すようにしてもよいし、予め指定された連絡先に通知を転送するようにしてもよい。
【０００９】
請求項２に記載の発明は、上記発明において、前記画像分析手段は、所定時間あたりの瞬き回数、または呼吸数を検出することで身体状態を検出することを特徴とする。
【００１０】
この発明では、所定時間あたりの瞬き回数、または所定時間あたりの呼吸数を検出する。呼吸数は、例えばＣＣＤカメラの赤外領域で吐息の熱を検出してこれをカウントする。単位時間あたりの瞬き回数または呼吸回数が基準外となった場合に異常であると判断する。
【００１１】
請求項３に記載の発明は、上記発明において、会話音声を発する音声出力部と、人間の音声を入力する音声入力手段と、音声出力部が会話音声を発してから前記音声入力手段に人間の音声が入力されるまでの時間を計測することで身体状態を検出する会話反応検出手段をさらに備えたことを特徴とする。
【００１２】
この発明では、会話音声を発し、それを聞いた人間が返答音声を発して入力されるまでの時間を測定する。返答が入力までの時間が基準外となった場合に異常であると判断する。
【００１３】
請求項４に記載の発明は、上記発明において、３軸方向の加速度を検出する加速度センサと、前記加速度センサの検出した加速度から自動車車両の運転状況を判定する運転状況判定手段と、をさらに備え、前記異常通知手段は、前記運転状況判定手段が検出した運転状況が所定の基準外となったときに異常であると判断することを特徴とする。
【００１４】
この発明では、３軸加速度センサを用いて検出した自動車車両の姿勢から運転者の運転状況を判定する。携帯電話を自動車に備え付け、この携帯電話の姿勢変動を自動車の姿勢変動として測定する。姿勢変動が基準外となった場合に異常であると判断する。例えば、自動車がフラフラと走行していれば異常であると判断する。
【００１５】
請求項５に記載の発明は、上記発明において、前記画像分析手段が検出する所定時間あたりの瞬き回数、呼吸数、前記会話反応検出手段が検出する会話音声を発してから人間の音声が入力されるまでの時間、および前記運転状況判定手段が検出する運転状況、のうち少なくとも２項目の検出を行い、前記異常通知手段は、いずれか１項目について異常が発生したと判断したときに警告を発することを特徴とする。
【００１６】
請求項６に記載の発明は、携帯電話を固定する台座と、該携帯電話とデータ通信を行うデータ通信部と、前記台座を回動させる駆動部と、前記駆動部の回動角度を制御する制御部と、を備えた携帯電話用ホルダであって、前記制御部は、前記データ通信部を介して該携帯電話から入力される駆動制御信号に基づいて駆動部を制御することを特徴とする。
【００１７】
この発明では、携帯電話から駆動制御信号を受信して回動角度を制御する。駆動制御信号は、台座の移動方向と移動量を示す情報であり、例えば携帯電話が認識した特定の画像（例えば人間の顔面）がカメラ撮影範囲の中心位置にくるように計算されたものである。制御部は、駆動制御信号を受信して特定画像がカメラ撮影範囲の中心位置にくるように台座を回動させる。台座を左右方向、上下方向の２軸で回動させればよい。これにより、特定の画像を自動で追尾することが可能となり、手動で調整しなくても正確に目的の画像を撮影することができる。
【００１８】
請求項７に記載の発明は、携帯電話を固定する台座と、該携帯電話とデータ通信を行うデータ通信部と、前記台座を回動させる駆動部と、前記駆動部の回動角度を制御する制御部と、を備えた携帯電話用ホルダであって、前記制御部は、前記データ通信部を介して携帯電話から受信した特定の画像が、該携帯電話画面の中心に表示されるように回動角度を制御することを特徴とする。
【００１９】
この発明では、携帯電話から画像データを取得し、特定の画像（例えば人間の顔面）を認識する。画像中の顔面の位置に基づいてカメラの方向ずれを検出し、カメラ撮影範囲中心に人間の顔面が表示されるように台座を回動させる。台座を左右方向、上下方向の２軸で回動させればよい。これにより、携帯電話は画像データを送信するのみで、特定の画像を自動で追尾することが可能となり、手動で調整しなくても正確に目的の画像を撮影することができる。
【００２０】
請求項８に記載の発明は、携帯電話に、人間の顔面の画像を取得する画像取得手順、前記画像取得手順で取得した画像からその人間の身体状態を検出する身体状態検出手順、検出した身体状態が所定の基準外となったときに警告を発する、または警告を発する旨の情報を外部に出力する異常通知手順、を実行させることを特徴とする。
【００２１】
請求項９に記載の発明は、上記発明において、前記身体状態検出手順は、所定時間あたりの瞬き回数、または呼吸数を検出、または会話音声を発してから人間の音声が入力されるまでの時間を計測することで身体状態を検出する手順を含む、ことを特徴とする。
【００２２】
請求項１０に記載の発明は、上記発明において、３軸方向の加速度を検出する加速度検出手順、前記身体状態検出手順で検出した身体状態と、前記加速度検出手順で検出した加速度から自動車車両の運転状況を判定する運転状況判定手順、をさらに実行させ、前記異常通知手順は、前記運転状況判定手順で検出した運転状況が所定の基準外となったときに異常であると判断する手順を含むことを特徴とする。
【００２３】
請求項１１に記載の発明は、携帯電話に組み込まれ、該携帯電話に、人間の顔面の画像を取得する画像取得手順、前記画像取得手順で取得した画像からその人間の身体状態を検出する身体状態検出手順、検出した身体状態が所定の基準外となったときに警告を発する、または警告を発する旨の情報を外部に出力する異常通知手順、を実行させるための携帯電話用プログラムを記録したことを特徴とする。
【００２４】
請求項１２に記載の発明は、上記発明において、前記身体状態検出手順は、所定時間あたりの瞬き回数、または呼吸数を検出、または会話音声を発してから人間の音声が入力されるまでの時間を計測することで身体状態を検出する手順を含む、ことを特徴とする。
【００２５】
請求項１３に記載の発明は、上記発明において、３軸方向の加速度を検出する加速度検出手順、前記身体状態検出手順で検出した身体状態と、前記加速度検出手順で検出した加速度から自動車車両の運転状況を判定する運転状況判定手順、をさらに実行させるプログラムを記録し、前記異常通知手順は、前記運転状況判定手順で検出した運転状況が所定の基準外となったときに異常であると判断する手順を含むことを特徴とする。
【発明の効果】
【００２６】
以上のようにこの発明によれば、携帯電話に搭載したＣＣＤカメラなどの撮像素子で人間の顔面の画像を取得したり、会話音声を発するなどして身体状態を検出するので、自動車に後から組み込む必要なく、自動車運転者の身体状態を高精度に測定することができる。
【発明を実施するための最良の形態】
【００２７】
この実施形態の携帯電話は、搭載したＣＣＤカメラなどの撮像素子で取得した画像から人間の顔面を認識し、認識した顔面の画像分析をすることで瞬き回数や呼吸回数などの身体状態を検出する。身体状態が異常（瞬き、呼吸回数が基準よりも少なすぎる等）であると判断した場合にはスピーカや接続されたカーオーディオ機器から警告音声を発することで安全運転に寄与する。
【００２８】
以下、図面を参照してこの発明の実施形態である携帯電話、および携帯電話用ホルダについて説明する。図１は、携帯電話の外観図である。図２は携帯電話用ホルダの外観図である。
【００２９】
図１に示すように、携帯電話１は、前面の画像を撮影するカメラ１０、音声を入力するマイク１１、着信用音声等を出力するスピーカ１２、種々の映像を表示する表示部１３、および複数のボタンなどからなる操作部１４を備えている。これらの機能部は、携帯電話装置全体の制御を行う制御部（後述する）に接続されており、携帯電話１のユーザは、操作部１４を操作して外部と音声通話、情報通信等を行うことができる。また、カメラ１０で静止画および動画を撮影して内蔵記憶部（図示せず）に保存し、取得した画像について様々な画像処理を行うこともできる。
【００３０】
図２において、この携帯電話用ホルダ２は、自動車内等の平坦部に固定され、携帯電話を保持するためのものである。また、自動車から電源供給を受けて動作し、接続される携帯電話１のバッテリ（図示せず）に電源を供給することができる。携帯電話用ホルダ２は、自動車内等の平坦部に固定される固定台２６、固定台の上部に接続されて回動可能な円形台２７、および円形台２７に接合されて携帯電話を保持するＬ型台２８を備えている。
【００３１】
Ｌ型台２８は、携帯電話下部のＩ／Ｏコネクタ（レセプタクル）２１（図３参照）と接続するためのＩ／Ｏコネクタ（プラグ）２２を上面部に備えている。Ｉ／Ｏコネクタ２２は凸形状であり、携帯電話１の凹形状のＩ／Ｏコネクタ２１がはめ込まれることによって携帯電話１と結合される。Ｉ／Ｏコネクタ２２は、携帯電話１に電源を供給するための接点と、携帯電話１とデータ送受信を行う端子を備えている。同図（Ｂ）にＬ型台２８の断面図を示す。このＩ／Ｏコネクタ２２、Ｌ型台２８の上面部、および背面部で同図（Ｂ）に示すように携帯電話１を携帯電話用ホルダ２に保持することが可能である。なお、Ｌ型台２８の上面部前側（携帯電話１の前面側）にさらに凸部を設けてもよい。これにより携帯電話を背面、前面で挟み込むことが可能となり、携帯電話をさらに安定に保持することができる。
【００３２】
Ｌ型台２８は、駆動部２４Ｂによって水平方向の回転軸を中心として回動することが可能である。駆動部２４Ｂは、図示は省略するがＬ型台２８を回動させる駆動力を発生するモータやギヤ機構（オームギヤ）などを備えている。なお、この例では携帯電話１を保持するための台を、Ｌ型台として説明しているが、外観形状は図示したようなＬ型に限るものではなく、携帯電話を保持し、水平方向を軸として回動可能なものであればどのような形状であってもよい。
【００３３】
Ｌ型台２８に接合される円形台２７は、固定台２６に備えた駆動部２４Ａによって鉛直方向の回転軸を中心として回動することが可能である。駆動部２４Ａは、図示は省略するが円形台２７を回動させる駆動力を発生するモータやギヤ機構（オームギヤ）などを備えている。なお、この例では円形台として説明しているが、外観形状は円形に限るものではなく、固定台に接続され、鉛直方向を軸として回動可能なものであればどのような形状であってもよい。また、固定台も図２に示すような円柱形状に限るものではない。
【００３４】
駆動部２４Ａおよび駆動部２４Ｂは、携帯電話用ホルダ２に内蔵の制御部（後述する）に接続され、携帯電話１のカメラ１０が目的の画像を撮影できるように（画像撮影対象が存在する方向に向くように）回動角度を制御される。
【００３５】
次に、図３を参照して携帯電話１と携帯電話用ホルダ２の各機能部の接続構成について説明する。図３は、携帯電話１および携帯電話用ホルダ２の構成を示すブロック図である。同図に示すように、携帯電話１の画像取得手段であるカメラ１０、音声入力手段であるマイク１１、音声出力手段であるスピーカ１２、表示部１３および操作部１４はバスを介して制御部１６に接続されている。また、制御部１６は、バスを介して、加速度センサ１５、ＲＡＭ１７、ＲＯＭ１８、サーバ通信部１９、シリアル通信部２０、およびＩ／Ｏコネクタ２１と接続されている。マイク１１に入力された音声は、制御部１６で音声データに変換される。音声データは、サーバ通信部１９に出力され、センタサーバ（図示せず）などを介して他の電話等に送信される。また、サーバ通信部１９から受信された他の電話からの音声データは、制御部１６で音声信号に変換され、通話用のスピーカ（図示せず）から発音される。これにより、他の電話等と音声会話が可能となる。なお、着信用音声等を出力するスピーカ１２と通話用のスピーカは別に備えていてもよいし、いずれか１つのスピーカを共用としてもよい。例えばスピーカ１２から通話音声を出力すればよい。
【００３６】
また、制御部１６は、ユーザが操作部１４で入力したテキストデータ、カメラ１０で撮影した画像データ等の各種データをサーバ通信部１９からセンタサーバなどを介して他の携帯電話に送信することが可能である。
【００３７】
また、制御部１６は、ＲＯＭ１８に記憶されているプログラムを読み出し、ＲＡＭ１７に展開することで様々な処理を行うことができる。例えば、ユーザがカメラ１０で撮影した画像データについて、特定の画像を認識する画像認識処理を行うことが可能である。
【００３８】
加速度センサ１５は、３軸（Ｘ軸，Ｙ軸，Ｚ軸）センサであり、各軸方向への加速度を検出する。検出した各軸方向への加速度は、制御部１６に入力され、制御部１６は、携帯電話１の揺動方向を判断することが可能である。
【００３９】
シリアル通信部２０は、他の機器とデータ送受信をすることができるインタフェースであり、ＢｌｕｅＴｏｏｔｈ等の無線通信によって構成されている。なお、これ以外にもシリアルデータ通信が可能なものであればどのようなものであってもよい。
【００４０】
Ｉ／Ｏコネクタ２１は、携帯電話１の電源供給端子であるとともに、シリアルデータ通信可能な汎用インタフェースである。Ｉ／Ｏコネクタ２１には様々な機器を接続することができるが、本実施形態では、このＩ／Ｏコネクタ２１を携帯電話用ホルダ２のＩ／Ｏコネクタ２２に接続することで、携帯電話１と携帯電話用ホルダ２の間で通信を行う。
【００４１】
携帯電話用ホルダ２のＩ／Ｏコネクタ２２は、制御部２３に接続されている。制御部２３は、Ｉ／Ｏコネクタ２２を介して携帯電話１とデータ送受信を行う。制御部２３は、駆動部２４Ａおよび駆動部２４Ｂに接続され、携帯電話１のカメラ１０が所定の画像を撮影できるように回動角度を制御する。すなわち、以下のような処理を行う。
【００４２】
携帯電話１のＩ／Ｏコネクタ２１と携帯電話用ホルダ２のＩ／Ｏコネクタ２２が接続されると、携帯電話１のカメラ１０は画像を撮影し、制御部１６に入力する。制御部１６は、入力された画像から特定の画像（ここでは人間の顔面）を認識する。制御部１６は、認識した画像について、カメラ撮影範囲の座標位置の情報に変換する。この座標位置に基づいて駆動制御信号をＩ／Ｏコネクタ２１およびＩ／Ｏコネクタ２２を介して携帯電話用ホルダ２の制御部２３に伝達する。制御部２３は、駆動制御信号に基づいて、カメラ撮影範囲の中心座標位置に認識画像の座標位置が一致するように、すなわち、カメラ１０の撮影範囲の中心に撮影対象がくるように、駆動部２４Ａと駆動部２４Ｂを制御する。具体的には後に詳しく述べるが、携帯電話１が向きを変えられたことによる画像移動方向と移動偏差からフィードバックされた信号で円形台２７とＬ型台２８を駆動させ、偏差が無くなるように制御する。
【００４３】
このようにして、携帯電話用ホルダ２が人間の顔面を自動追尾し、ユーザが手動で調整することなくカメラ１０で目的の画像を正確に撮影することができる。
【００４４】
なお、上記例では携帯電話１の制御部１６が、特定の画像（人間の顔面）を認識する例を示したが、携帯電話１に画像認識専用の処理部を備えていてもよい。画像認識専用の処理部としては、例えば専用ＩＣチップ、またはＤＳＰ等を用いる。
【００４５】
以上の例では、携帯電話が追尾対象の画像を認識し、その座標を割り出して撮影範囲中心部に撮影対象がくるように、携帯電話用ホルダ２に駆動制御信号を送信する構成としたが、これらの画像認識は、携帯電話用ホルダ２の制御部２３が行ってもよいし、携帯電話用ホルダ２に画像認識専用の処理部を設けてもよい。このようにすれば、携帯電話１は、カメラ１０で撮影した画像を携帯電話用ホルダ２に送信するのみで、自動追尾処理を携帯電話用ホルダ２側が行うこともできる。
【００４６】
また、上記自動追尾処理は、携帯電話１のＩ／Ｏコネクタ２１と携帯電話用ホルダ２のＩ／Ｏコネクタ２２を接続することがトリガとなる例を示したが、ユーザが携帯電話１の操作部１４を操作して、自動追尾処理を開始する指示をしてもよい。
【００４７】
画像認識プログラムは、人間の顔面の画像を所定の認識アルゴリズムに基づいて認識する。例えば、カメラ１０で取得した画像を複数の小領域に分割して、それぞれの画像をあらかじめ登録しておいた顔パターンと照合する等の処理である。また、カラー画像を取得して肌色と一致するか判定してもよい。
【００４８】
携帯電話用ホルダ２の制御部２３は、通信部２５に接続されている。この通信部２５は自動車のオーディオ機器と接続される。制御部２３は、通信部２５を介して自動車のオーディオ機器から異常発生の警告音を発する。通信部２５は、有線で直接接続されるように構成されていてもよいし、ＢｌｕｅＴｏｏｔｈ等の無線通信により自動車のオーディオ機器と接続されてもよい。なお、ＦＭ放送電波を介して自動車のオーディオ機器から警告音を発するようにしてもよい。
【００４９】
ここで言う異常発生とは、携帯電話１の制御部１６が人間の顔面を認識できない状態を言う。また、認識した人間の顔面が円形台２７とＬ型台２８の回動可能範囲の限界に近く（例えば認識している人間が大きく移動したとき等）、カメラ１０の撮影範囲の中心に人間の顔面がくるように移動することができない場合も異常発生として警告音を発するようにする。警告音としては、「認識されません」、「追尾可能範囲外です」などの音声を発するようにすればよい。
【００５０】
また、携帯電話１のスピーカ１２から警告音を発するようにしてもよい。携帯電話１の制御部１６は、人間の顔面を認識できない場合、内部音源（ＲＯＭ１８に記憶）などを用いて警告音をスピーカ１２から発するようにする。人間の顔面を認識したとしても、携帯電話用ホルダ２の制御部２３が、円形台２７とＬ型台２８の回動可能範囲外に存在すると判断した場合、異常発生を通知する情報を携帯電話１の制御部１６に送信し、制御部１６は、警告音をスピーカ１２から発するようにする。
【００５１】
次に、運転者の身体状態を検出する処理である運転者モニタ処理について説明する。以下の運転者モニタ処理は、上述した携帯電話用ホルダ２の自動追尾と連動して行うこともでき、携帯電話単体で行うこともできる。
【００５２】
上述したように、携帯電話１のカメラ１０は、人間の顔面の画像を取得する。取得した画像に基づいて以下の２種類の検出動作を行う。
【００５３】
（１）瞬き回数測定
制御部１６は、人間の顔面を認識し、輪郭の座標から人間の目の位置を検出する。このとき、画像処理によって目を直接認識するようにしてもよい。その後、制御部１６は、取得した目の画像から瞬きの頻度を測定する。例えば１分間の瞬き回数を測定する。これを継続的に行い、所定の測定数（例えば５個）で移動平均を算出し、単位時間あたりの瞬きの平均回数を測定する。
【００５４】
制御部１６は、瞬きの回数がこの平均回数から所定範囲外（例えば±２０％）となった場合に、内部音源などを用いて警告音をスピーカ１２から発するようにする。なお、シリアル通信部２０を介して自動車のオーディオ機器から警告音が発せられるように、異常発生を通知する情報を伝達するようにしてもよい。また、携帯電話用ホルダ２に接続されている場合は、この携帯電話用ホルダ２を介して自動車のオーディオ機器から警告音が発せられるようにしてもよい。ここでの警告音としては、「休憩をとりましょう」など、身体状態に異常が発生している旨を通知する音声を発する。
【００５５】
このように、携帯電話１は、瞬きの回数から人間の疲労度測定を行うことができる。これは、疲労が蓄積されると瞬きが極端に少なくなる現象を利用するものである。また、瞬きが多すぎる場合も何らかの身体的異常（目が乾いて痛みを覚えているなど）が発生している可能性が高いため警告音を発するようにする。
【００５６】
（２）呼吸回数測定
携帯電話１のカメラ１０は、人間の顔面の画像を取得する。制御部１６は、人間の顔面を認識し、顔の輪郭の座標から人間の口および鼻の位置を検出する。このとき、画像処理によって口および鼻を直接認識するようにしてもよい。その後、制御部１６は、取得した画像の赤外領域を検出する。携帯電話１のカメラ１０は、赤外領域に感度を有するものであり、制御部１６は、取得した画像について赤外領域を切り出すことができる。制御部１６は、切り出した赤外領域の画像から吐息を検出する。人間の吐息は、周囲よりも温度が高くなるため、赤外領域の画像ではこの吐息を画像認識により検出することができる。その後、制御部１６は、呼吸の頻度を測定する。例えば１分間の呼吸回数を測定する。これを継続的に行い、所定の測定回数（例えば５回）で移動平均を算出し、単位時間あたりの標準呼吸回数を測定する。
【００５７】
制御部１６は、呼吸回数がこの標準呼吸回数から所定範囲外となった場合に、内部音源などを用いて警告音をスピーカ１２から発するようにする。なお、シリアル通信部２０を介して自動車のオーディオ機器から警告音が発せられるように、異常発生を通知する情報を伝達するようにしてもよい。また、携帯電話用ホルダ２に接続されている場合は、この携帯電話用ホルダ２を介して自動車のオーディオ機器から警告音が発せられるようにしてもよい。
【００５８】
このように、携帯電話１は、呼吸回数から人間の緊張度測定を行うことができる。これは、緊張度が高まると呼吸回数が極端に多くなる現象を利用するものである。また、呼吸回数が少なすぎる場合も何らかの異常（居眠りをしているなど）が発生している可能性が高いため警告音を発するようにする。
【００５９】
また、運転者モニタ処理は、以下の２種類の検出動作によっても行うことができる。
【００６０】
（１）会話反応時間測定
携帯電話１の制御部１６は、内部音源などを用いて会話音声をスピーカ１２から発するようにする。会話音声を発した後、マイク１１に返答が入力されるまでの時間を測定する。これを継続的に行い、所定の測定回数（例えば５回）で移動平均を算出し、平均反応時間を測定する。
【００６１】
制御部１６は、反応時間がこの平均時間から所定範囲外となった場合に、内部音源などを用いて警告音をスピーカ１２から発するようにする。なお、シリアル通信部２０を介して自動車のオーディオ機器から警告音が発せられるように、異常発生を通知する情報を伝達するようにしてもよい。また、携帯電話用ホルダ２に接続されている場合は、この携帯電話用ホルダ２を介して自動車のオーディオ機器から警告音が発せられるようにしてもよい。
【００６２】
このように、携帯電話１は、反応時間から人間の集中度測定を行うことができる。これは、集中度が低下すると反応時間が極端に遅くなる現象を利用するものである。
【００６３】
（２）姿勢変動測定
携帯電話１の加速度センサ１５は、検出した加速度を制御部１６に入力する。制御部１６は、入力された３軸の加速度から、携帯電話の揺動方向（携帯電話の姿勢変動）を演算する。ここでは、携帯電話の姿勢変動から、自動車の姿勢変動を推測する。これを継続的に行い、所定の測定回数（例えば５回）で移動平均を算出し、平均姿勢変動を測定する。
【００６４】
制御部１６は、姿勢変動がこの平均から所定範囲外となった場合に、内部音源などを用いて警告音をスピーカ１２から発するようにする。なお、シリアル通信部２０を介して自動車のオーディオ機器から警告音が発せられるように、異常発生を通知する情報を伝達するようにしてもよい。また、携帯電話用ホルダ２に接続されている場合は、この携帯電話用ホルダ２を介して自動車のオーディオ機器から警告音が発せられるようにしてもよい。
【００６５】
このように、携帯電話１は、自動車の姿勢変動から人間の集中度測定を行うことができる。これは、集中度が低下するとハンドル、アクセル、ブレーキなどの操作がばらついて自動車がフラつくことを利用するものである。
【００６６】
以上の処理（瞬き、呼吸、会話反応、自動車姿勢）は、いずれか１つを行ってもよいし、２つ以上の処理を同時に行うようにしてもよい。無論全てを同時に行うことも可能である。２以上の処理を同時に行う場合であっても、いずれか１つで身体状態に異常（過度の疲労、過度の緊張、など）が発生したときは警告を発するようにしてもよいし、複数の項目で異常が発生したときに警告を発するようにしてもよい。例えば、呼吸回数が少なすぎる状態で、かつ自動車の姿勢変動が大きくなったときは運転者が居眠り運転をしているとして警告を発する。また、瞬き回数が少なすぎる状態で、かつ会話反応時間が極端に遅くなったとき、集中力が極端に低下して運転に集中できていないと判断して警告を発する。これにより、自動車運転者の身体状態を高精度に測定することができる。
【００６７】
なお、異常が発生した場合、携帯電話の通話機能を用いてセンタサーバなどに異常発生を通知してもよい。センタサーバは異常発生の通知を受けたとき、その携帯電話を呼び出すようにしてもよいし、予め指定された連絡先に異常発生の通知を転送するようにしてもよい。
【００６８】
次に、図４を参照して本実施形態の携帯電話１および携帯電話用ホルダ２の動作について詳細に説明する。図４は、携帯電話１および携帯電話用ホルダ２の自動追尾動作を示すフローチャートである。
【００６９】
携帯電話１を携帯電話用ホルダ２に接続することがこの動作を開始するトリガとなる。なお、接続後にユーザが携帯電話１の操作部１４を用いてプログラムを読み出すように指示することがトリガとなってもよい。まず携帯電話１は、運転者モニタ処理を行うプログラムを読み出す（ｓ１０）。つまり、携帯電話１のカメラ１０を起動し、画像撮影の準備を行う。携帯電話用ホルダ２は、イニシャライズ処理を行う（ｓ２０）。イニシャライズ処理は、駆動部２４Ａと駆動部２４Ｂの駆動位置を駆動可能範囲の中心位置にする。このとき、前回自動追尾をしており、駆動部２４Ａと駆動部２４Ｂの位置を変更していた場合は、前回の駆動位置を携帯電話用ホルダ２の内蔵記憶部（図示せず）に記憶させておき、この位置に設定するようにしてもよい。また、携帯電話１の記憶部に記憶させておき、これを読み出すようにしてもよい。イニシャライズ処理を終えると携帯電話用ホルダ２は、携帯電話１にスタンバイが完了した情報を送信し（ｓ２１）、携帯電話１はこれを受信する（ｓ１１）。
【００７０】
携帯電話１は、スタンバイが完了した情報を受信すると、カメラ１０から画像を取得し、人間の顔面を画像処理によって認識する（ｓ１２）。このとき、顔面が認識できなければ異常発生として警告を発する（ｓ１３）。上述したように、警告は、携帯電話１のスピーカ１２から発してもよいし、自動車のオーディオ機器から発するようにしてもよい。
【００７１】
人間の顔面が認識された場合、カメラ撮影範囲内のどの位置に存在するかの座標を取得する（ｓ１４）。その後、この位置座標から、台座をどの方向に移動するかを計算して駆動制御信号を携帯電話用ホルダ２に送信する（ｓ１５）。例えば人間の顔面がカメラ撮影範囲の左側に位置する場合、円形台２７を左側に回転させて、人間の顔面がカメラ撮影範囲の上側に位置する場合、Ｌ型台２８を上側に回転させるように駆動制御信号を送信する。移動量は、最低移動単位量だけ移動するようにしてもよいし、あらかじめ定めた移動量だけ移動するようにしてもよい。携帯電話用ホルダ２は、これを受信し（ｓ２２）、所定の量だけ駆動部２４Ａと駆動部２４Ｂを駆動し、円形台２７とＬ型台２８を移動させる（ｓ２３）。
【００７２】
その後、移動が完了した情報を携帯電話１に送信する（ｓ２４）。携帯電話１はこれを受信し（ｓ１６）、再度画像を取得して人間の顔面を認識する（ｓ１７）。ここで前回取得した人間の顔面の位置座標と、再取得した人間の顔面の位置座標とを比較し、画像の移動方向と移動偏差を計算する（ｓ１８）。携帯電話１は、画像の移動偏差と直前の台の移動量とを比較して、画像撮影範囲の中心位置に人間の顔面がくるように台の移動方向と移動量を計算して、再度駆動制御信号を携帯電話用ホルダ２に送信する（ｓ１９）。携帯電話用ホルダ２は、これを受信し（ｓ２５）、移動量が台の可動範囲内にあるか否かを判断し、可動範囲内になければ異常発生として警告を発する（ｓ２６）。上述したように、警告は自動車のオーディオ機器から発してもよいし、携帯電話１のスピーカ１２から発するようにしてもよい。
【００７３】
可動範囲内にあれば、駆動制御信号の指示する移動方向と移動量で駆動部２４Ａと駆動部２４Ｂを駆動し、円形台２７とＬ型台２８を移動させる（ｓ２７）。その後、ｓ２４の処理に戻り、移動偏差が無くなるように、すなち人間の顔面がカメラ１０の撮影範囲中心に正確に保持されるように処理を繰り返す。
【００７４】
以上のようにして、携帯電話１と携帯電話用ホルダ２は、人間の顔面を自動追尾することができる。なお、上述したように、携帯電話１から携帯電話用ホルダ２に画像データを送信し、携帯電話用ホルダ２が追尾対象の画像を認識して撮影範囲中心付近に撮影対象がくるように追尾制御するようにしてもよい。
【００７５】
次に、図５〜図８を参照して、運転者モニタ処理を行うプログラムの動作について詳細に説明する。運転者モニタ処理は、上述した携帯電話用ホルダ２の自動追尾と連動して行うこともでき、携帯電話１単体で行うこともできる。また、運転者モニタ処理は、上述した携帯電話用ホルダ２に携帯電話１を接続することをトリガとしてもよいし、ユーザが操作部１４を操作してこのプログラムを読み出すように指示することをトリガとしてもよい。また、ユーザがこのプログラムを読み出すように指示し、さらに加速度センサ１５が加速度（携帯電話１が揺動されたこと）を検出したことをトリガとしてもよい。
【００７６】
図５は、疲労測定動作を示すフローチャートである。まず、カメラ１０から画像を取得し（ｓ３０）、人間の顔面および目を画像処理によって認識する（ｓ３１）。目の認識については顔の輪郭の座標から位置を検出するが、画像処理によって直接目を認識するようにしてもよい。上述したように、所定の認識アルゴリズムに基づいて認識する。
【００７７】
その後、取得した目の画像から瞬きの頻度を測定する（ｓ３２）。例えば１分間の瞬き回数を測定する。瞬きは、白目の面積を検出し、この面積が所定割合以下に低下したときに目を閉じたと判定し、瞬きとして測定すればよい。その後、所定の測定数（例えば５個）で移動平均データを算出する（ｓ３３）。なお、動作開始直後で測定数が５個未満の場合は、その測定数で平均データを算出しておいてもよいし、５個以上になるまで平均データを算出しないようにしてもよい。
【００７８】
移動平均を算出した後、動作開始してから１５分が経過したか否かを判断する（ｓ３４）。１５分が経過していなければ画像取得から処理を繰り返す（ｓ３４→ｓ３０）。１５分が経過した場合、動作開始から５分以後の１０分間の移動平均データを基準データとして算出する（ｓ３５）。
【００７９】
なお、基準データは５〜１５分の移動平均データに限るものではなく、どのような時間であってもよいが、瞬き回数が平均的に落ち着いてから（例えば動作開始後５分以降）複数のデータで算出するものとする。運転開始直後は運転者の身体状態が落ち着いていないためである。
【００８０】
その後、最新の測定データ（最新の移動平均データ）が基準データの±２０％以内であるか否かを判断し（ｓ３６）、範囲内であれば画像取得から処理を繰り返す（ｓ３６→ｓ３０）。基準データの±２０％外であれば疲労状態にあるとして警告を発する（ｓ３７）。なお、判断基準は±２０％に限るものではない。実際に使用する環境に応じて疲労状態にあると判断できる平均的な基準に予め調整しておけばよい。
【００８１】
警告は、内部音源などを用いて警告音をスピーカ１２から発するようにする。なお、シリアル通信部２０を介して自動車のオーディオ機器から警告音が発せられるように、異常発生を通知する情報を伝達するようにしてもよい。また、携帯電話用ホルダ２に接続されている場合は、この携帯電話用ホルダ２を介して自動車のオーディオ機器から警告音が発せられるようにしてもよい。
【００８２】
次に、図６は、緊張度測定動作を示すフローチャートである。まず、カメラ１０から画像を取得し（ｓ４０）、人間の顔面、口および鼻を画像処理によって認識する（ｓ４１）。口および鼻の認識については顔の輪郭の座標から位置を検出するが、画像処理によって直接口および鼻を認識するようにしてもよい。
【００８３】
その後、取得した画像について赤外領域を切り出す（ｓ４２）。上述したように、携帯電話１のカメラ１０は、赤外領域に感度を有するので、この領域の画像を取得する。取得した画像から呼吸回数を測定する（ｓ４３）。例えば１分間の呼吸回数を測定する。呼吸回数は、吐息を検出することで測定する。人間の吐息は、周囲よりも温度が高くなるため、赤外領域の画像ではこの吐息を画像認識により検出することができる。吐息１回につき、呼吸回数１回とする。その後、所定の測定数（例えば５回）で移動平均データを算出する（ｓ４４）。なお、動作開始直後で測定数が５回未満の場合は、その測定数で平均データを算出しておいてもよいし、５回以上になるまで平均データを算出しないようにしてもよい。
【００８４】
移動平均を算出した後、動作開始してから１５分が経過したか否かを判断する（ｓ４５）。１５分が経過していなければ画像取得から処理を繰り返す（ｓ４５→ｓ４０）。１５分が経過した場合、動作開始から５分以後の１０分間の移動平均データを基準データとして算出する（ｓ４６）。
【００８５】
この動作においても、基準データは５〜１５分の移動平均データに限るものではない。その後、最新の測定データ（最新の移動平均データ）が基準データの±２０％以内であるか否かを判断し（ｓ４７）、範囲内であれば画像取得から処理を繰り返す（ｓ４７→ｓ４０）。基準データの±２０％外であれば緊張状態にあるとして警告を発する（ｓ４８）。なお、判断基準は±２０％に限るものではない。実際に使用する環境に応じて緊張状態にあると判断できる平均的な基準に調整しておけばよい。警告は、上述したようにスピーカ１２から発するようにしてもよいし、自動車のオーディオ機器から警告音を発するようにしてもよい。
【００８６】
次に、図７は、会話反応度測定動作を示すフローチャートである。まず、スピーカ１２を用いて会話音声を出力する（ｓ５０）。会話音声はどのような音声であってもよいが、例えば「大丈夫ですか？」など問いかけをする音声を発する。問いかけの音声会話出力に対し、運転者からの返答音声を入力する（ｓ５１）。所定レベル以上の入力がマイク１１からあれば返答音声として判断するが、音声認識により特定の音声（例えば「はい」）を返答音声として判断するようにしてもよい。なお、運転者からの返答音声が無ければ、警告を発してもよいし、この動作を終了するようにしてもよい。
【００８７】
その後、会話音声を出力してから返答音声が入力されるまでの時間を測定し（ｓ５２）、所定の測定数（例えば５回）で移動平均データを算出する（ｓ５３）。なお、動作開始直後で測定数が５回未満の場合は、その測定数で平均データを算出しておいてもよいし、５回以上になるまで平均データを算出しないようにしてもよい。
【００８８】
移動平均を算出した後、動作開始してから１５分が経過したか否かを判断する（ｓ５４）。１５分が経過していなければ会話音声出力から処理を繰り返す（ｓ５４→ｓ５０）。１５分が経過した場合、動作開始から５分以後の１０分間の移動平均データを基準データとして算出する（ｓ５５）。この動作においても、基準データは５〜１５分の移動平均データに限るものではない。
【００８９】
その後、最新の測定データ（最新の移動平均データ）が基準データの±２０％以内であるか否かを判断し（ｓ５６）、範囲内であれば会話音声出力から処理を繰り返す（ｓ５６→ｓ５０）。基準データの±２０％外であれば警告を発する（ｓ５７）。なお、判断基準は±２０％に限るものではない。実際に使用する環境に応じて平均的な会話反応のばらつきを考慮して調整しておけばよい。警告は、上述したようにスピーカ１２から発するようにしてもよいし、自動車のオーディオ機器から警告音を発するようにしてもよい。
【００９０】
次に、図８は、姿勢変動測定動作を示すフローチャートである。まず、加速度センサ１５から加速度情報を取得し（ｓ６０）、携帯電話の揺動（姿勢変動）を演算する（ｓ６１）。加速度情報は３軸（Ｘ，Ｙ，Ｚ）検出できるので、携帯電話の姿勢変動方向とその加速度を演算する。この携帯電話の姿勢変動から自動車の姿勢変動を推測測定する（ｓ６２）。携帯電話１が携帯電話用ホルダ２に接続されている場合は、携帯電話用ホルダ２から現在の携帯電話の向き情報を取得して自動車の進行方向と対応付ける。携帯電話用ホルダ２は、携帯電話１が自動車の進行方向と逆方向を向くように自動車に備え付けるものであり、駆動部２４Ａと駆動部２４Ｂの移動方向から、携帯電話１と自動車の向きを対応付ける。
【００９１】
なお、携帯電話１が携帯電話用ホルダ２に接続されていなければ、携帯電話１が自動車の進行方向と逆方向に備え付けられているものとみなし、携帯電話１と自動車の向きを対応付ければよい。なお、ユーザがマニュアルで携帯電話の向きを入力するようにしてもよい。
【００９２】
このようにして、自動車の姿勢変動を測定し、所定の測定数（例えば５回）で移動平均データを算出する（ｓ６３）。なお、動作開始直後で測定数が５回未満の場合は、その測定数で平均データを算出しておいてもよいし、５回以上になるまで平均データを算出しないようにしてもよい。
【００９３】
移動平均を算出した後、動作開始してから１５分が経過したか否かを判断する（ｓ６４）。１５分が経過していなければ加速度情報取得から処理を繰り返す（ｓ６４→ｓ６０）。１５分が経過した場合、動作開始から５分以後の１０分間の移動平均データを基準データとして算出する（ｓ６５）。この動作においても、基準データは５〜１５分の移動平均データに限るものではない。
【００９４】
その後、最新の測定データ（最新の移動平均データ）が基準データの±２０％以内であるか否かを判断し（ｓ６６）、範囲内であれば加速度情報取得から処理を繰り返す（ｓ６６→ｓ６０）。基準データの±２０％外であれば自動車の姿勢がフラついていると判断して警告を発する（ｓ６７）。なお、判断基準は±２０％に限るものではない。実際に使用する環境に応じて自動車がフラついていると判断できるように予め調整しておけばよい。警告は、上述したようにスピーカ１２から発するようにしてもよいし、自動車のオーディオ機器から警告音を発するようにしてもよい。
【００９５】
以上に述べた動作項目（疲労度測定動作、緊張度測定動作、会話反応度測定動作、および姿勢変動測定動作）は、いずれか１項目を行ってもよいし、２以上の複数の項目を同時に行うようにしてもよい。無論全てを同時に行うことも可能である。どの動作を同時に行うかは、ユーザが手動で設定してもよいし、予めプログラムに規定しておいてもよい。
【００９６】
２以上の動作を同時に行う場合であっても、いずれか１つで身体状態に異常（過度の疲労、過度の緊張、会話反応遅延による集中力低下など）が発生したと判断したときは警告を発するようにしてもよいし、複数の項目で異常が発生したときに警告を発するようにしてもよい。なお、警告は音声に限るものではない。表示部１３に警告画面を表示し、運転者に身体状態の異常を通知するようにしてもよい。
【００９７】
また、本実施形態においては制御部１６がプログラムを読み出すことで種々の処理を行う例を示したが、これらの処理を行う専用のＩＣチップセットを携帯電話に設けることで実現してもよい。これにより携帯電話の制御部に負担をかけることなく、運転者モニタ処理を行うことができる。
【００９８】
なお、本実施形態において、携帯電話１と携帯電話用ホルダ２を接続し、携帯電話用ホルダ２が、カメラ１０の撮影範囲中心に人間の顔面が認識されるように向きを変更する例を示したが、携帯電話１のカメラ１０が単独で回転機構を備えているような場合は、カメラ１０が運転者の顔面に向くように、制御部１６がコントロールすればよい。
【図面の簡単な説明】
【００９９】
【図１】この発明の実施形態である携帯電話の外観図
【図２】この発明の実施形態である携帯電話用ホルダの外観図
【図３】携帯電話と携帯電話用ホルダのブロック図
【図４】携帯電話および携帯電話用ホルダの自動追尾動作を示すフローチャート
【図５】疲労度測定動作を示すフローチャート
【図６】緊張度測定動作を示すフローチャート
【図７】会話反応度測定動作を示すフローチャート
【図８】姿勢変動測定動作を示すフローチャート
【符号の説明】
【０１００】
１−携帯電話
２−携帯電話用ホルダ
１０−カメラ
１１−マイク
１２−スピーカ
１５−加速度センサ
２４−駆動部
【図１】
2006279796.tif 000003
【図２】
2006279796.tif 000004
【図３】
2006279796.tif 000005
【図４】
2006279796.tif 000006
【図５】
2006279796.tif 000007
【図６】
2006279796.tif 000008
【図７】
2006279796.tif 000009
【図８】
2006279796.tif 000010