(57)【要約】【課題】オペレータの疲労等による自然な動作に応じて操作性を向上することができる端末装置及び制御プログラムの提供。【解決手段】端末装置において、ディスプレイ４の前面のオペレータ１の基本画像他を撮影するカメラ３と、該カメラ３により撮影した基本画像を記憶する記憶部１０４とを設け、ＣＰＵ１０５が、オペレータ１の画像をカメラ３により撮影し、この影したオペレータ画像と前記記憶した基本画像とを比較し、この比較結果に基づいてオペーレータのイベント発生、例えばオペレータの画面に対する接近及び遠ざかり動作を検出し、近接動作が所定回数以上検出したとき、画面の拡大率を徐々に拡大させたり、オペレータのあくびを検出したときスクリーンセーバーを起動させるもの。【選択図】  図１
2004348429.tif 000002
【特許請求の範囲】
【請求項１】
データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置において、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像の動きを画像認識し、該認識結果に基づいてオペレータの動きを示すイベントを発生させ、該発生イベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させることを特徴とする端末装置。
【請求項２】
データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置において、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記撮影した基本画像を記憶する記憶手段とを備え、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較し、該比較結果に基づいてオペレータの動きを示すイベントを発生させ、該発生イベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させることを特徴とする端末装置。
【請求項３】
オペレータの顔の特徴を抽出し、前記オペレータ画像から、オペレータの動きを認識し、該認識結果に基づいてオペレータの表示手段に対する接近及び遠ざかり動作を検出し、前記接近動作または遠ざかり動作を連続して所定回数以上検出したとき、表示手段の拡大率を変化させることを特徴とする請求項１又は２記載の端末装置。
【請求項４】
前記近接動作が所定回数以上検出したとき、表示手段の拡大率を拡大させるように表示形態を変化させることを特徴とする請求項３記載の端末装置。
【請求項５】
前記基本画像を基に、オペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得、該基準の唇幅比と前記オペレータ画像から得たオペレータの唇幅比とを比較することにより、オペレータのあくびイベントを検出したとき、表示手段の表示形態を変化させることを特徴とする請求項２記載の端末装置。
【請求項６】
前記オペレータのあくび動作を連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させることを特徴とする請求項５記載の端末装置。
【請求項７】
データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置の制御プログラムであって、前記制御手段を、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する第１ステップと、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像の動きを画像認識する第２ステップと、前記該認識結果に基づいてオペレータの動きを示すイベントを発生させる第３ステップと、該発生したイベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させる第４ステップとして機能させることを特徴とする端末装置の制御プログラム。
【請求項８】
データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置の制御プログラムであって、前記制御手段を、表示手段の前面の基本位置に配したオペレータの基本画像を撮影する第１ステップと、該第１ステップにより撮影した基本画像を記憶する第５ステップと、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較する第６ステップと、該第６ステップによる比較結果に基づいてオペレータのイベント発生を判定する第７ステップと、該第７ステップにより判定したイベントに応じて表示手段の表示形態を変化させる第８ステップとして機能させることを特徴とする端末装置の制御プログラム。
【請求項９】
オペレータの顔の特徴を抽出し、前記オペレータ画像から、オペレータの動きを認識し、該認識結果に基づいてオペレータの表示手段に対する接近及び遠ざかり動作を検出する第９ステップと、前記接近動作または遠ざかり動作を連続して所定回数以上検出したとき、表示手段の拡大率を変化させる第１０ステップを含むことを特徴とする請求項７又は８記載の端末装置の制御プログラム。
【請求項１０】
前記近接動作が所定回数以上検出したとき、表示手段の拡大率を拡大させるように表示形態を変化させる第１１ステップを含むことを特徴とする請求項９記載の端末装置の制御プログラム。
【請求項１１】
前記基本画像を基に、オペレータの顔縦長寸法値と唇幅寸法値とを得る第１２ステップと、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１３ステップと、該基準の唇幅比と前記オペレータ画像から得たオペレータの唇幅比とを比較することにより、オペレータのあくびイベントを検出したとき、表示手段の表示形態を変化させる第１４ステップとを含むことを特徴とする請求項８記載の端末装置の制御プログラム。
【請求項１２】
前記オペレータのあくび動作を連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させる第１５ステップを含むことを特徴とする請求項１１記載の端末装置の制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力手段及び表示手段を備える端末装置及び端末装置の制御プログラムに係り、特にオペレータの操作性を向上することができる端末装置及び端末装置の制御プログラムに関する。
【０００２】
【従来の技術】
一般に端末装置、例えばパーソナルコンピュータ／携帯情報端末機器／金融機関におけるＡＴＭ等の入力部及び表示部を備える端末装置は、使用者又はオペレータによって表示画面を任意に変更することができる。例えばパーソナルコンピュータは、オペレータの好みによって画面の解像度／文字サイズ／背景画等を任意に設定することができる。
【０００３】
他方、近年のコンピュータシステムは、ユーザインタフェースを向上させるために、キーボードやマウスなどの入力デバイスに代わりにオペレータの視線の動きを検出する技術が提案され、これら技術が記載された文献としては、例えば特開２００３−１５８１６号公報や特開平１１−３４５０７３号公報が挙げられる。
【０００４】
【発明が解決しようとする課題】
前述の従来技術による端末装置は、オペレータの操作によって表示画面の設定を任意に変更することができるものの、例えばオペレータの疲労度に応じて表示画面を自動的に変更する等の配慮がされておらず、ユーザフレンドリな端末装置の操作性を向上することが困難であると言う不具合があった。
【０００５】
他方、前述の公報記載の従来技術は、オペレータの視線を検出して例えば自動車のドライバが正面を向いているか否かの判定や個人認証を行ったり、視線をマウスポインタの代わりに使用することができるものの、オペレータの疲労度に応じて表示画面を自動的に変更する等の配慮がされていないものであった。
【０００６】
本発明の目的は、前述の従来技術による不具合を除去することであり、オペレータの疲労による自然なオペレータの動作（イベントと呼ぶ）を検出し、このイベントに応じて操作性を向上することができる端末装置及び端末装置の制御プログラムを提供することである。
【０００７】
【課題を解決するための手段】
前記目的を達成するために本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置において、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像の動きを画像認識し、該認識結果に基づいてオペレータの動きを示すイベントを発生させ、該発生イベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させることを第１の特徴とする。
また本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置において、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記撮影した基本画像を記憶する記憶手段とを備え、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較し、該比較結果に基づいてオペレータの動きを示すイベントを発生させ、該発生イベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させることを第２の特徴とする。
【０００８】
更に本発明は、前記何れかの端末装置において、オペレータの顔の特徴を抽出し、前記オペレータ画像から、オペレータの動きを認識し、該認識結果に基づいてオペレータの表示手段に対する接近及び遠ざかり動作を検出し、前記接近動作または遠ざかり動作を連続して所定回数以上検出したとき、表示手段の拡大率を変化させることを第３特徴とし、前記特徴の端末装置において、前記近接動作が所定回数以上検出したとき、表示手段の拡大率を拡大させるように表示形態を変化させることを第４の特徴とし、前記第２の特徴の端末装置において、前記基本画像を基に、オペレータの顔縦長寸法値と唇幅寸法値とを得、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得、該基準の唇幅比と前記オペレータ画像から得たオペレータの唇幅比とを比較することにより、オペレータのあくびイベントを検出したとき、表示手段の表示形態を変化させることを第５の特徴とし、該特徴の端末装置において、前記オペレータのあくび動作を連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させることを第６の特徴とする。
【０００９】
また本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置の制御プログラムであって、前記制御手段を、前記表示手段の前面の基本位置に配したオペレータの基本画像を撮影する第１ステップと、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像の動きを画像認識する第２ステップと、前記該認識結果に基づいてオペレータの動きを示すイベントを発生させる第３ステップと、該発生したイベントを判定し、該判定したイベントに応じて表示手段の表示形態を変化させる第４ステップとして機能させることを第７の特徴とする。
【００１０】
また本発明は、データ等を入力する入力手段と、文字データ及び画像を表示する表示手段と、前記入力手段及び表示手段を制御する制御手段とを備える端末装置の制御プログラムであって、前記制御手段を、表示手段の前面の基本位置に配したオペレータの基本画像を撮影する第１ステップと、該第１ステップにより撮影した基本画像を記憶する第５ステップと、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較する第６ステップと、該第６ステップによる比較結果に基づいてオペレータのイベント発生を判定する第７ステップと、該第７ステップにより判定したイベントに応じて表示手段の表示形態を変化させる第８ステップとして機能させることを第８の特徴とする。
【００１１】
前記何れかの特徴の制御プログラムが、オペレータの顔の特徴を抽出し、前記オペレータ画像から、オペレータの動きを認識し、該認識結果に基づいてオペレータの表示手段に対する接近及び遠ざかり動作を検出する第９ステップと、前記接近動作または遠ざかり動作を連続して所定回数以上検出したとき、表示手段の拡大率を変化させる第１０ステップを含むことを第９の特徴とし、
該第９の特徴の端末装置の制御プログラムにおいて、前記近接動作が所定回数以上検出したとき、表示手段の拡大率を拡大させるように表示形態を変化させる第１１ステップを含むことを第１０の特徴とし、前記第８の特徴の端末装置の制御プログラムにおいて、前記基本画像を基に、オペレータの顔縦長寸法値と唇幅寸法値とを得る第１２ステップと、該唇幅寸法値を顔縦長寸法値で除算した基準の唇幅比を得る第１３ステップと、該基準の唇幅比と前記オペレータ画像から得たオペレータの唇幅比とを比較することにより、オペレータのあくびイベントを検出したとき、表示手段の表示形態を変化させる第１４ステップとを含むことを第１１の特徴とし、該第１１の特徴の端末装置の制御プログラムにおいて、前記オペレータのあくび動作を連続して所定回数以上検出したとき、表示手段、音声手段の出力を変化させる第１５ステップを含むことを第１２の特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明による端末装置及び制御プログラムの一実施形態を図面を参照して詳細に説明する。図１は本実施形態による端末装置の装置外観図、図２は本実施形態による端末装置のハードウェア構成を説明するための図、図３は本実施形態による端末装置のソフトウェア構成を説明するための図、図４は本実施形態による顔データを説明するための図、図５は本実施形態によるイベント判定テーブルを示す図、図６は本実施形態によるイベント判定アルゴリズムを説明するための図、図７は本実施形態によるイベント処理の全体動作を説明するための図である。
【００１３】
＜構成の説明＞
まず、本実施形態で述べるイベントとは、オペレータが疲労等の要因により本能的に無意識に行う動作であって、例えば眼の疲労により画面が見づらいために「目を細める」／「顔を画面に近づける」事や、同理由且つ老眼により「顔を画面から遠ざける」事や、疲労による「あくび」／「手で目を押さえる」／「背伸び」／「目を閉じる（居眠り）」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」等の無意識的な行為を意味するものであるが、人間の疲労／脱力感／肩こり等に起因するものであれば、これに限られる物ではなく、例えば個人的な癖、例えばイライラしたときに鉛筆を回転させる癖／貧乏揺すりの癖（足部分を撮影するカメラが必要）も含まれるものである。
【００１４】
次に本実施形態による端末装置２は、図１に示す如く、オペレータ１の正面の顔画像を撮影するためのカメラ（撮影手段）３と、各種情報を表示するためのディスプレイ（表示手段）４と、キーボート等の入力デバスイス（図示せず）を備え、そのハードウェア構成は、図２に示す如く、前記カメラ３及びディスプレイ４に加え、該ディスプレイ４に表示する表示情報を一時的に格納するビデオメモリ１０７と、キーボード等の入力デバイスである入力手段１０３と、オペレーティングシステムや各種アプリケーションソフトや本実施形態の特徴である制御プログラム／顔データテーブルを格納する記憶部１０４と、同様にオペレーティングシステム等を一時的に記憶するメモリ１０６と、これらを制御する中央処理部（制御部）１０５とを備える。
【００１５】
また本実施形態による端末装置のソフトウェア構成は、図３に示す如く、前記オペレーティングシステム２０１と、該オペレーティングシステム２０１の制御下において、ディスプレイ４に表示する表示情報の表示形態を制御する表示形態制御部２０５及び表示ドライバ２０６と、一時的に表示画面を他の画面に切り替えて表示するスクリーンセーバー２０７と、ワープロ／表計算その他各種アプリケーションソフトウェア２０８と、前記入力手段１０３から入力された情報をオペレーティングシステム２０１に入力するための入力ドライバ２１４と、該入力ドライバ２１４を介して入力されたイベント（：動作命令、例えば画面の拡大／縮小／スクリーンセーバー起動／音楽再生他）の入力処理を行うイベント入力処理アプリケーション２１３と、カメラ３による画像撮影を制御するカメラドライバ２１６と、該ドライバ２１６により撮影した画像を認識する画像認識アプリケーション２１７と、該アプリケーション２１７で認識した画像に基づいてイベントを認識するイベント認識処理アプリケーション２１８と、前記カメラドライバ２１６により撮影した撮影画像をオペレーティングシステム２０１に転送する画像転送アプリケーション２１５と、該アプリケーション２１５により転送された画像情報を基に顔画像の特徴を抽出する顔特徴抽出アプリケーション２１１と、予めオペレータの顔画像情報を登録するための基本顔画像登録アプリケーション２１２とを備える。
【００１６】
また前記記憶部に格納する顔データテーブルとは、図４に示す如く、顔の横長（幅）寸法をＷ，顔の縦長寸法をｈ，目の縦長さ（幅）寸法をｅ，唇の縦長（厚さ）寸法をｍとしたとき、前記寸法Ｗ／ｈ／ｅ／ｍに加え、顔縦長さ寸法と目の縦長さ寸法との比である目幅比ｅ／ｈと、顔縦長さ寸法と唇の縦長さ（厚さである幅）寸法との比である唇幅比ｍ／ｈとを格納している。これら寸法及び比はオペレータの基準値である。
【００１７】
この顔データは、図３に示す如く、カメラドライバ２１６がカメラ３を駆動してオペレータが通常の状態においてディスプレイの前面に座り、作業を行うときの位置（基本位置と呼ぶ）に座った状態において正面顔画像を撮影し、画像転送処理アプリケーション２１５によってオペレーティングシステム２０１を介して基本顔画像登録アプリケーション２１２により図２の記憶部１０４に記憶されると共に、図３の顔特徴抽出アプリケーション２１１が該基本顔画像の情報から各寸法を抽出乃至演算して図２の記憶部１０４に記憶されるものである。また本実施形態による端末装置及び制御プログラムは、前記顔画像だけではなく、オペレータが端末装置の操作時に標準に位置する状態において上半身の撮影を行い、顔の位置／肩の位置／手の位置等を画像解析して記憶部１０４に記憶することもできる。尚、前記オペレータの基本位置において撮影した画像（顔画像、上半身画像その他）を本実施形態においては基本画像と呼び、前記カメラが撮影したオペレータの作業中の顔画像、上半身画像その他の画像をオペレータ画像と呼ぶ。
【００１８】
また前記顔データの目幅比ｅ／ｈと唇幅比ｍ／ｈとを格納する理由は、目幅及び唇幅は、顔の上下向き／接近／遠ざかりによって撮像の測定寸法が変化し、単純な絶対値との比較では目幅及び唇幅の変化を正確に測定できないため、これを防止するためである。
【００１９】
特に本実施形態による端末装置及び制御プログラムは、前記オペレータの自然な動作、例えばカメラにより撮影した目幅比ｅ／ｈが記憶部１０４に格納した基準目幅比ｅ／ｈと比較して小さい場合、オペレータが目を細めていること及び目を閉じていることを検出し、撮影した唇幅比ｍ／ｈが基準唇幅比ｍ／ｈと比較して大きい場合、オペレータが口を開けていることを判定し、撮影した顔の横長Ｗ及び縦長ｈが基準値に比べて共に大きい場合は、オペレータが顔を画面に近づけていることを検出し、逆に小さい場合はオペレータが顔を画面から遠ざけていることを検出することができる。
【００２０】
更に本実施形態による端末装置及び制御プログラムは、前記撮像した顔画像により、例えば目を細めている／目を閉じている／口を開けている／顔を近づけている／顔を遠ざけていることを検出し、この検出結果を用いて前記オペレータのイベント発生を判定することができる。例えば、所定時間内において目を細めていることを検出した回数が所定回数を超える場合は、疲労により目を長時間細めているイベントが発生していると判定し、目を閉じている回数が第２の所定回数を越えることを検出した場合は、居眠りイベントが発生している可能性があると判定し、口を所定の比より大きく所定の時間開いている場合は、あくびイベントが発生している可能性があると判定し、その他「背伸び」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」／「手で目を押さえる」等の無意気的な行為を予め登録した基本画像と対比させてイベントを判定することができる。
【００２１】
また本実施形態で述べるイベント判定テーブルは、図５に示す如く、発生イベント（見難い／見難い解消／あくびイベント）を判定するため、３つの画像変化条件（顔縦横長拡大且つ目縦長比縮小／顔縦横長縮小且つ目縦長比拡大／顔縦横長縮小且つ口縦縦長比拡大）の検出に応じた各操作カウンタを設け、該カウンタ値を加算又は減算し、予め定めた閾値と比較することによって行われ、詳細動作は後述する。
【００２２】
＜動作説明＞
次に前述の様に構成された本実施形態による端末装置及び制御プログラムの動作を次に説明する。
まず、図３に示したイベント認識アプリケーション２１８によるイベント判定アルゴリズムは、図６に示す如く、まず、オペレータが画面に接近して顔画像の縦及び横寸法が大きくなり且つ目を細めているイベントが発生してるか否かの判定をステップ６１により行う。このステップ６１による判定は、条件式「顔横長ｗが拡大ａｎｄ顔縦長ｈが拡大ａｎｄ目縦長比ｅ／ｈが縮小」の画像変化条件１を満たすか否かの判定によって行われる。このステップ６１の画像変化条件１を満たすイベントを検出した場合、本アルゴリズムは、「見難さイベント」のカウンタ値に１を加え（ステップ６２）、このカウンタ値ｎが１００回を越えるか否かの判定をステップ６３により行い、該ステップ６３によりカウンタ値ｎが１００を越えたと判定した場合、カウンタ値ｎをゼロにリセットする（ステップ６４）と共に、「見難いイベント」が発生したと判断し（ステップ６５）、前記ステップ６３においてカウンタ値ｎが１００を越えない場合は次のステップ６６による画像変化条件２の判定を行う。
【００２３】
即ち本実施形態による画像変化条件１によるオペレータが画面に接近し且つ目を細めるイベントが１００回以上発生した場合に、疲労により「見難いイベント」が発生したと判断する。尚、このイベント発生の判定は、単位時間内（例えば３０秒〜１０分間）における「見難さイベント」の発生回数を計数するものであり、後述の例における画像変化条件のカウンタ値の判定においても閾値は異なるものの同様に設定される。
【００２４】
前記画像変化条件２を判定するステップ６６は、オペレータが基本位置と比して画面から遠ざかることにより顔画像の縦及び横寸法が小さくなり且つ目を大きく開いたイベントが発生してるか否かの判定を行うものであり、条件式「顔横長ｗが縮小ａｎｄ顔縦長ｈが縮小ａｎｄ目縦長比ｅ／ｈが拡大」の画像変化条件２を満たすか否かの判定によって行われる。
【００２５】
このステップ６６の画像変化条件２を満たすイベントを検出した場合、本アルゴリズムは、「見難さイベント」のカウンタ値から１を減算し（ステップ６７）、このカウンタ値ｎが１００回より小さいか否かの判定をステップ６８により行い、該ステップ６８によりカウンタ値ｍが−１００より小さいと判定した場合、カウンタ値ｍをゼロにリセットする（ステップ６９）と共に、「見難さ解消イベント」が発生したと判断し（ステップ７０）、前記ステップ６８においてカウンタ値ｎが−１００より大きい場合は次のステップ７１による画像変化条件３の判定を行う。
【００２６】
次いで本アルゴリズムは、ステップ７１による画像変化条件３を満たすイベント発生の有無を判定する。この画像変化条件３を判定するステップ７１は、オペレータが画面（ディスプレイ）からの遠ざかりによる顔画像の縦及び横寸法が小さくなり且つ口を大きく開いているイベントが発生してるか否かの判定を行う。このステップ７１による判定は、条件式「顔横長ｗが縮小ａｎｄ顔縦長ｈが縮小ａｎｄ口縦長比ｍ／ｈが拡大」の画像変化条件３を満たすか否かの判定によって行われる。このステップ７１の画像変化条件３を満たすイベントを検出した場合、本アルゴリズムは、「あくびイベント」のカウンタ値から１を減算し（ステップ７２）、このカウンタ値ｍが１００より小さいか否かの判定をステップ７３により行い、該ステップ７３によりカウンタ値ｍが１００より小さいと判定した場合、カウンタ値ｍをゼロにリセットする（ステップ７４）と共に、「あくびイベント」が発生したと判断する（ステップ７５）。即ち本アルゴリズムは、オペレータ背伸び等により画面から遠ざかり且つ口を大きく開けた単位時間（本例では例えば１０秒）当たりの回数を計数し、該単位時間（１０秒）内に１００回以上、画面から遠ざかり且つ口を開けている状態を検出した場合、「あくびイベント」が発生したと判断する。
【００２７】
尚、図６に示したイベント判定アルゴリズムは、オペレータが「画面に近づいて目を細めるイベント」及び「あくびイベント」の例を示したものであって、前述の老眼により「顔を画面から遠ざける」／「手で目を押さえる」／「背伸び」／「目を閉じる（居眠り）」／「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」／「個人的な癖」の判定を行うことができ、この判定は予め撮像及び登録した画像情報との比較によって行うことができる。
【００２８】
次に前述のイベント判定アルゴリズムを用いた本実施形態による端末装置及び制御プログラムは、図７に示す如く、ＣＰＵ１０５が一定周期毎に、前記図６で説明した様な各種イベント判定アルゴリズムを実行する動き認識イベント３０１と、オペレータ自らの操作による入力イベント３０２を交互に実行し、検出又は入力されたイベントの内容をイベント解析処理３０３によって解析する。このイベント解析処理３０３による解析結果が、顔を遠ざけるイベント３０８の場合、本システムは、遠視に対処するために表示画像を縮小して表示する表示縮小処理３０４を行い、目を細めるイベント３０９及び顔を近づけた（動作）イベント３１０場合は近視に対処するために表示画像を拡大してして表示する表示拡大処理３０５を行い、あくびイベント３１１が発生した場合は疲労による休憩を促すために目の疲れを解消する画面等のスクリーンセーバーの起動３０６を行い、更にオペレータからのマウス又はキー入力による直接的な指示のイベント３１２又は３１３の場合、該入力により指示された通常処理３０７（画面拡大／縮小／スクリーンセーバー／音楽再生その他）を行う様に動作する。
【００２９】
前記表示拡大処理３０４／表示拡大処理３０５は、縮小乃至拡大率を急激に変化させずに、緩やかに縮小乃至拡大率を変化させることにより、例えば画面の文字が小さくて認識困難な場合、文字サイズを徐々に拡大し、オペレータにとって適当な文字サイズになるとオペレータが基準の位置に戻ることにより、文字拡大が停止され、オペレータに急激な画面変化を意識させることを防止することができる。
【００３０】
この様に本実施形態による端末装置及び制御プログラムは、オペレータの標準の顔画像他の基本画像を予め撮像して記憶しておき、オペーレータが疲労等の要因により本能的に無意識に行うイベントを検出し、このイベントに応じて画像の表示形態を変更することによって、例えばオペレータの疲労度に応じて表示画面を自動的に変更し、ユーザフレンドリな端末装置の操作性を向上することができる。
【００３１】
具体的に説明すると本実施形態による端末装置及び制御プログラムは、オペレータが例えば文字が小さく目視が困難なために画面に近づいた場合、このイベントを検出し、表示画面を緩やかに拡大する様に表示制御を行い、例えばオペレータが「あくび」をした場合、オペレータに休息を促すため又は気分転換を促すためにスクリーンセーバーを起動したり、音楽を流すことができ、ユーザフレンドリな端末装置を提供することができる。
【００３２】
尚、前記実施形態においては各種イベントに対して表示画面の拡大率の変更又はスクリーンセーバーの起動を行う例を説明したが、イベントの種類によっては他の処理を実行しても良い。例えば、オペレータが目を長時間閉じて居眠りの可能性があるときに全体画面をフラッシュさせ且つ注意を喚起する音を発生させることや、オペレータが「首を回す」／「首を手で揉む」／「肩を手で揉む又は叩く」等の肩こりらしきイベントを検出したときに、在席したままの軽運動のやり方のビデオ画像を表示させること他の各種対応処理を実行させることもできる。
【００３３】
更に本発明は、例えばオペレータのうつぶせ状態が所定時間継続し且つ前記フラッシュ等を所定回数実行してもオペレータに変化がない場合に、病気等による緊急事態が発生した可能性があることに鑑み、救急センタに通報する等の処理を行うこともでき、このことは例えば独居老人が使用する端末装置においては緊急コールの機能として実施することもできる。
【００３４】
更に本発明は、予め登録するオペレータの画像情報を特定の１人に限られるものではなく、複数のオペレータの画像情報を登録しておくこともでき、この場合は端末装置に在席時にオペレータをログオンＩＤの入力又は画像認識により判定しておくことが必要である。また本発明は、パーソナルコンピュータ等の端末装置に限られることなく、例えば金融機関のＡＴＭにも適用することができる。このＡＴＭに適用する際には、操作者が不特定のため、例えば操作者がカメラ視野に入って停止した顔又は上半身の全体画像の輪郭から輪郭内面積を演算して記憶し、この記憶した輪郭内面積に対して操作者が接近して顔又は上半身の撮影画像の輪郭内面積が増大した場合に、見難いイベントが発生したと判定してガイダンス画像を拡大又は文字拡大等を行う様に構成しても良い。
【００３５】
さらに、不特定の操作者において、例えば、目は、上部、左右に配された横線分、鼻は、顔の中央に配された縦線分、口は顔の下部、中央に配された横線分などの特徴より、操作者の目、鼻、口を抽出することにより、これらの位置、大きさなどの変化を判定し、操作者の動きのイベントを発生させ、それにより、表示画像の拡大、縮小の制御を行うようにしてもよい。
【００３６】
【発明の効果】
以上述べた如く本発明による端末装置及び制御プログラムは、表示手段の前面の基本位置に配したオペレータの基本画像を撮影する撮影手段と、前記撮影した基本画像を記憶する記憶手段とを設け、前記制御手段が、オペレータの画像を撮影手段により撮影し、該撮影したオペレータ画像と前記記憶手段に記憶した基本画像とを比較し、該比較結果に基づいてオペーレータのイベント発生の判定し、該判定したイベントに応じて表示手段の表示形態を変化させることにより、イベント、例えばオペレータが画面に顔を近接したイベントが発生した際には画面の拡大率を増加させて文字等を読み易くしたり、あくびイベントが発生した際にはスクリーンセーバーを起動して気分転換を促すことができ、ユーザフレンドリな端末装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による端末装置の装置外観図。
【図２】本実施形態による端末装置のハードウェア構成を説明するための図。
【図３】本実施形態による端末装置のソフトウェア構成を説明するための図。
【図４】本実施形態による顔データを説明するための図。
【図５】本実施形態によるイベント判定テーブルを示す図。
【図６】本実施形態によるイベント判定アルゴリズムを説明するための図。
【図７】本実施形態によるイベント処理の全体動作を説明するための図。
【符号の説明】
１：オペレータ、２：端末装置、３：カメラ、４：ディスプレイ、１０３：入力手段、１０４：記憶部（磁気ディスク記憶装置）、１０５：ＣＰＵ、１０６：メモリ、１０７：ビデオメモリ、２０１：オペレーティングシステム、２０５：表示形態制御部、２０７：スクリーンセーバ、２０８：アプリケーションプログラム、２１１：顔特徴抽出アプリケーション、２１２：基本顔画像登録アプリケーション、２１３：イベント入力処理アプリケーション、２１４：入力ドライバ、２１５：画像転送処理アプリケーション、２１６：カメラドライバ、２１７：画像認識処理アプリケーション、２１８：イベント認識処理アプリケーション。
【図１】
2004348429.tif 000003
【図２】
2004348429.tif 000004
【図３】
2004348429.tif 000005
【図４】
2004348429.tif 000006
【図５】
2004348429.tif 000007
【図６】
2004348429.tif 000008
【図７】
2004348429.tif 000009