(57)【要約】【課題】デバイスと表示装置とを備えるシステムにおける連携動作のユーザービリティーを向上させる。【解決手段】表示システム１は、使用者の頭部に装着され、外光を透過する画像表示部２０と、画像表示部２０に設けられる６軸センサー２４３、近接センサー２４５と、これらのセンサーの検出値を携帯情報端末３００に出力する検出値出力部１２５とを備えるＨＭＤ２００と、画像を出力する画像出力部３３５と、画像を表示する表示部２０と、ＨＭＤ２００が出力するセンサーの検出値を取得する取得部３３４と、取得部３３４が取得した検出値に基づいて表示部３２０の表示を制御するデバイス制御部３３０と、を備える。【選択図】図３
2020067955.tif 000002
【特許請求の範囲】
【請求項１】
デバイスと、前記デバイスに接続される表示装置と、を備え、
前記表示装置は、
使用者の頭部に装着され、外光を透過する透過型の表示部であって、前記デバイスが出力する画像を表示する透過型表示部と、
前記透過型表示部に設けられる第１センサーと、
前記第１センサーの検出値を前記デバイスに出力する検出値出力部と、を備え、
前記デバイスは、
画像を表示するデバイス表示部と、
前記表示装置が出力する前記第１センサーの検出値を取得する取得部と、
前記取得部が取得した前記検出値に基づいて、前記デバイス表示部の表示を制御するデバイス制御部と、
を備える、表示システム。
【請求項２】
前記デバイスは、
前記表示装置に画像を出力する画像出力部と、
前記表示装置との接続及び接続の解除を検出する接続検出部と、を備え、
前記画像出力部は、前記接続検出部により前記表示装置との接続が検出されると、前記デバイス表示部に表示された前記画像を前記表示装置に出力して前記透過型表示部に表示させる、請求項１に記載の表示システム。
【請求項３】
前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出されると、前記デバイス表示部の表示輝度を、前記表示装置との接続が検出される前よりも低下させる、請求項２記載の表示システム。
【請求項４】
前記デバイス制御部は、前記接続検出部により前記表示装置との接続の切断が検出されると、前記デバイス表示部の表示輝度を、前記表示装置との接続の切断が検出される前よりも高くさせる、請求項２又は３記載の表示システム。
【請求項５】
前記デバイスは、
音声信号を処理する音声信号処理部と、
音声信号を出力する第１音声信号出力部と、を備え、
前記表示装置は、音声信号を出力する第２音声信号出力部を備え、
前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出されると、前記音声信号処理部に、音声信号の出力先を、前記第１音声信号出力部から前記第２音声信号出力部に変更させる、請求項２から４のいずれか一項に記載の表示システム。
【請求項６】
前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出された場合、又は前記接続検出部により前記表示装置との接続の解除が検出された場合に、前記音声信号処理部に、音声信号の出力レベルを変更させる、請求項５記載の表示システム。
【請求項７】
前記第１センサーは、近接センサーであり、
前記デバイス制御部は、前記検出値に基づいて前記頭部への前記透過型表示部の装着を検出し、
前記透過型表示部の前記頭部への装着が検出されると、前記デバイス表示部の表示輝度を、前記透過型表示部の前記頭部への装着が検出される前よりも低下させる、請求項１記載の表示システム。
【請求項８】
前記デバイスは、前記表示装置を動作させる外部装置制御部を備え、
前記デバイス制御部は、前記透過型表示部の前記頭部への装着が検出されると、前記外部装置制御部に、前記透過型表示部の表示輝度を、前記透過型表示部の前記頭部への装着が検出される前よりも高くさせる、請求項７記載の表示システム。
【請求項９】
前記デバイス制御部は、前記透過型表示部の前記頭部からの取り外しが検出されると、前記外部装置制御部に、前記透過型表示部の表示輝度を、前記透過型表示部の前記頭部からの取り外しが検出される前よりも低くさせる、請求項８記載の表示システム。
【請求項１０】
前記デバイスは、音声通信を行う無線通信部を備え、
前記デバイス制御部は、前記無線通信部が着呼を検出した場合に、前記外部装置制御部に、前記透過型表示部の表示輝度を低下させる、請求項８又は９記載の表示システム。
【請求項１１】
前記デバイスは、振動により報知を行う第１報知部と、
前記検出値に基づいて前記透過型表示部を装着した前記使用者の覚醒状態を検出する状態変化検出部と、を備え、
前記状態変化検出部は、前記使用者の覚醒状態の所定の状態への変化を検出した場合に、前記第１報知部を動作させる、請求項１記載の表示システム。
【請求項１２】
前記表示装置は、振動により報知を行う第２報知部を備え、
前記デバイスは、前記表示装置を動作させる外部装置制御部を備え、
前記状態変化検出部は、前記使用者の覚醒状態の所定の状態への変化を検出した場合に、前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる、請求項１１記載の表示システム。
【請求項１３】
前記表示装置は、第１撮像部を備え、
前記検出値出力部は、前記第１撮像部の撮像画像を前記デバイスに出力し、
前記デバイスは、第２撮像部を備え、
前記状態変化検出部は、前記使用者の覚醒状態の前記所定の状態への変化を検出した場合に、前記第１撮像部及び前記第２撮像部の少なくとも一方の撮像画像をもとに前記使用者の周辺状況を判定し、判定結果に基づいて前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる、請求項１２記載の表示システム。
【請求項１４】
前記状態変化検出部は、前記撮像画像をもとに前記使用者から予め設定された範囲内への人の進入を検出した場合に、前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる、請求項１３記載の表示システム。
【請求項１５】
前記デバイスは、第２センサーを備え、
前記状態変化検出部は、前記取得部が取得した前記検出値、及び前記第２センサーの検出値に基づいて前記使用者の覚醒状態を検出する、請求項１１から１４のいずれか一項に記載の表示システム。
【請求項１６】
使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続されるデバイスであって、
画像を表示するデバイス表示部と、
前記透過型表示部に設けられた第１センサーの検出値を取得する取得部と、
前記取得部が取得した前記検出値に基づいて、前記デバイス表示部の表示を制御するデバイス制御部と、
を備える、デバイス。
【請求項１７】
使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続され、前記透過型表示部に画像を表示させるデバイスに搭載されたコンピューターであって、
前記コンピューターを、
前記透過型表示部に設けられた第１センサーの検出値を取得する取得部と、
画像を表示するデバイス表示部の表示を、取得した前記検出値に基づいて制御するデバイス制御部として機能させるためのプログラム。
【請求項１８】
使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続され、前記透過型表示部に画像を表示させるデバイスの制御方法であって、
前記透過型表示部に設けられた第１センサーの検出値を取得するステップと、
画像を表示するデバイス表示部の表示を、取得した前記検出値に基づいて制御するステップと、
を有するデバイスの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システム、デバイス、プログラム、及びデバイスの制御方法に関する。
【背景技術】
【０００２】
従来、デバイスに表示装置を接続して、デバイスの表示する画像を表示装置に表示させるシステムが知られている。
特許文献１に開示のヘッドマウントディスプレイは、外部デバイスが接続されると、この外部デバイスが表示する第１のＵＩに関するデータを外部デバイスから受信して第１のＵＩと同一の第２のＵＩを生成し、第２のＵＩを表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１６−５０６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、デバイスと表示装置とを備えるシステムにおける連携動作のユーザービリティーを向上させる。
【課題を解決するための手段】
【０００５】
上記目的を達成する一態様は、デバイスと、前記デバイスに接続される表示装置と、を備え、前記表示装置は、使用者の頭部に装着され、外光を透過する透過型の表示部であって、前記デバイスが出力する画像を表示する透過型表示部と、前記透過型表示部に設けられる第１センサーと、前記第１センサーの検出値を前記デバイスに出力する検出値出力部と、を備え、前記デバイスは、画像を表示するデバイス表示部と、前記表示装置が出力する前記第１センサーの検出値を取得する取得部と、前記取得部が取得した前記検出値に基づいて、前記デバイス表示部の表示を制御するデバイス制御部と、を備える、表示システム。
【０００６】
上記表示システムにおいて、前記デバイスは、前記表示装置に画像を出力する画像出力部と、前記表示装置との接続及び接続の解除を検出する接続検出部と、を備え、前記画像出力部は、前記接続検出部により前記表示装置との接続が検出されると、前記デバイス表示部に表示された前記画像を前記表示装置に出力して前記透過型表示部に表示させる構成であってもよい。
【０００７】
上記表示システムにおいて、前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出されると、前記デバイス表示部の表示輝度を、前記表示装置との接続が検出される前よりも低下させる構成であってもよい。
【０００８】
上記表示システムにおいて、前記デバイス制御部は、前記接続検出部により前記表示装置との接続の切断が検出されると、前記デバイス表示部の表示輝度を、前記表示装置との接続の切断が検出される前よりも高くさせる構成であってもよい。
【０００９】
上記表示システムにおいて、前記デバイスは、音声信号を処理する音声信号処理部と、音声信号を出力する第１音声信号出力部と、を備え、前記表示装置は、音声信号を出力する第２音声信号出力部を備え、前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出されると、前記音声信号処理部に、音声信号の出力先を、前記第１音声信号出力部から前記第２音声信号出力部に変更させる構成であってもよい。
【００１０】
上記表示システムにおいて、前記デバイス制御部は、前記接続検出部により前記表示装置との接続が検出された場合、又は前記接続検出部により前記表示装置との接続の解除が検出された場合に、前記音声信号処理部に、音声信号の出力レベルを変更させる構成であってもよい。
【００１１】
上記表示システムにおいて、前記第１センサーは、近接センサーであり、前記デバイス制御部は、前記検出値に基づいて前記頭部への前記透過型表示部の装着を検出し、前記透過型表示部の前記頭部への装着が検出されると、前記デバイス表示部の表示輝度を、前記透過型表示部の前記頭部への装着が検出される前よりも低下させる構成であってもよい。
【００１２】
上記表示システムにおいて、前記デバイスは、前記表示装置を動作させる外部装置制御部を備え、前記デバイス制御部は、前記透過型表示部の前記頭部への装着が検出されると、前記外部装置制御部に、前記透過型表示部の表示輝度を、前記透過型表示部の前記頭部への装着が検出される前よりも高くさせる構成であってもよい。
【００１３】
上記表示システムにおいて、前記デバイス制御部は、前記透過型表示部の前記頭部からの取り外しが検出されると、前記外部装置制御部に、前記透過型表示部の表示輝度を、前記透過型表示部の前記頭部からの取り外しが検出される前よりも低くさせる構成であってもよい。
【００１４】
上記表示システムにおいて、前記デバイスは、音声通信を行う無線通信部を備え、前記デバイス制御部は、前記無線通信部が着呼を検出した場合に、前記外部装置制御部に、前記透過型表示部の表示輝度を低下させる構成であってもよい。
【００１５】
上記表示システムにおいて、前記デバイスは、振動により報知を行う第１報知部と、前記検出値に基づいて前記透過型表示部を装着した前記使用者の覚醒状態を検出する状態変化検出部と、を備え、前記状態変化検出部は、前記使用者の覚醒状態の所定の状態への変化を検出した場合に、前記第１報知部を動作させる構成であってもよい。
【００１６】
上記表示システムにおいて、前記表示装置は、振動により報知を行う第２報知部を備え、前記デバイスは、前記表示装置を動作させる外部装置制御部を備え、前記状態変化検出部は、前記使用者の覚醒状態の所定の状態への変化を検出した場合に、前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる構成であってもよい。
【００１７】
上記表示システムにおいて、前記表示装置は、第１撮像部を備え、前記検出値出力部は、前記第１撮像部の撮像画像を前記デバイスに出力し、前記デバイスは、第２撮像部を備え、前記状態変化検出部は、前記使用者の覚醒状態の前記所定の状態への変化を検出した場合に、前記第１撮像部及び前記第２撮像部の少なくとも一方の撮像画像をもとに前記使用者の周辺状況を判定し、判定結果に基づいて前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる構成であってもよい。
【００１８】
上記表示システムにおいて、前記状態変化検出部は、前記撮像画像をもとに前記使用者から予め設定された範囲内への人の進入を検出した場合に、前記第１報知部を動作させる、又は前記外部装置制御部に、前記第２報知部を動作させる構成であってもよい。
【００１９】
上記表示システムにおいて、前記デバイスは、第２センサーを備え、前記状態変化検出部は、前記取得部が取得した前記検出値、及び前記第２センサーの検出値に基づいて前記使用者の覚醒状態を検出する構成であってもよい。
【００２０】
上記目的を達成する別の一態様は、使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続されるデバイスであって、画像を表示するデバイス表示部と、前記透過型表示部に設けられた第１センサーの検出値を取得する取得部と、前記取得部が取得した前記検出値に基づいて、前記デバイス表示部の表示を制御するデバイス制御部と、を備える、デバイスである。
【００２１】
上記目的を達成する別の一態様は、使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続され、前記透過型表示部に画像を表示させるデバイスに搭載されたコンピューターであって、前記コンピューターを、前記透過型表示部に設けられた第１センサーの検出値を取得する取得部と、画像を表示するデバイス表示部の表示を、取得した前記検出値に基づいて制御するデバイス制御部として機能させるためのプログラムである。
【００２２】
上記目的を達成する別の一態様は、使用者の頭部に装着され、外光を透過する透過型表示部を備える表示装置に接続され、前記透過型表示部に画像を表示させるデバイスの制御方法であって、前記透過型表示部に設けられた第１センサーの検出値を取得するステップと、画像を表示するデバイス表示部の表示を、取得した前記検出値に基づいて制御するステップと、を有するデバイスの制御方法である。
【図面の簡単な説明】
【００２３】
【図１】表示システムを構成するＨＭＤ及び携帯情報端末の外観図。
【図２】ＨＭＤの構成を示す図。
【図３】携帯情報端末の構成を示す図。
【図４】携帯情報端末の動作を示すフローチャート。
【図５】携帯情報端末の動作を示すフローチャート。
【発明を実施するための形態】
【００２４】
図１は、表示システム１を構成するＨＭＤ２００及び携帯情報端末３００の外観図である。
表示システム１は、画像を出力するデバイスである携帯情報端末３００と、携帯情報端末３００に接続された表示装置であるＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）２００と、を備える。
【００２５】
ＨＭＤ２００は、画像表示部２０と接続装置１００とを備える。画像表示部２０と接続装置１００とは、接続ケーブル４０により接続される。画像表示部２０は、本発明の「透過型表示部」の一例に相当する。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有して使用者の頭部に装着される。画像表示部２０は、使用者の頭部に装着された状態で、使用者が外景を視認可能な透過型の表示部である。また、画像表示部２０は、接続装置１００の制御により使用者の視線の前方に画像を表示させる。本実施形態では、画像表示部２０が表示する画像は、携帯情報端末３００から入力された画像である場合を説明する。
【００２６】
画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
【００２７】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプルのように、使用者の頭部に画像表示部２０を保持する。
【００２８】
右表示ユニット２２及び左表示ユニット２４は、例えば有機エレクトロルミネッセンスにより発光するＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用いて構成され、使用者の右眼用及び左眼用の画像光をそれぞれ出力する。
【００２９】
右導光板２６及び左導光板２８は、例えばプリズムである。右導光板２６は、外光を透過して使用者の右眼に導くと共に、右保持部２１に設けられた右表示ユニット２２からの右画像光を使用者の右眼に導いて右眼に画像を視認させる。また、左導光板２８は、外光を透過して使用者の左眼に導くと共に、左保持部２３に設けられた左表示ユニット２４からの左画像光を使用者の左眼に導いて左眼に画像を視認させる。これにより、画像表示部２０は、使用者に対し外景を視認可能にしつつ、右表示ユニット２２及び左表示ユニット２４の画像光により、虚像を使用者に視認させて画像を表示する。
【００３０】
また、画像表示部２０は、右表示ユニット２２に配されたカメラ６１を備える。カメラ６１は、例えば画像表示部２０の前部フレーム２７に設けられた穴を通して、画像表示部２０の向きに応じた使用者の視認範囲の画像を取得する。カメラ６１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。カメラ６１は、本発明の「第１撮像部」の一例に相当する。
【００３１】
画像表示部２０と接続装置１００とを接続する接続ケーブル４０には、オーディオコネクター４６が設けられる。このオーディオコネクター４６には、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が接続される。ヘッドセット３０については、図２に示す。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。マイク６３は、使用者の周囲の音声を集音する。マイク６３により集音された音声は、電気信号に変換され、さらにデジタル化されてＨＭＤ制御部１２０に入力される。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。右イヤホン３２及び左イヤホン３４は、本発明の「第２音声信号出力部」の一例に相当する。
【００３２】
接続装置１００は、箱形の筐体にコネクター１１を備え、コネクター１１を介して携帯情報端末３００に接続される。接続装置１００は、コネクター１１を介して、携帯情報端末３００から出力される画像を受信し、画像表示部２０の右表示ユニット２２及び左表示ユニット２４を制御して、受信した画像を使用者に対して表示する。また、接続装置１００は、カメラ６１が撮像した撮像画像データを、コネクター１１を介して携帯情報端末３００へ送信する。接続装置１００のコネクター１１は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクターである。
【００３３】
携帯情報端末３００は、携帯情報端末３００の向きや動きを検知する９軸センサー３０７と、画像を表示する表示部３２０と、コネクター３０４と、を備える。
【００３４】
携帯情報端末３００のコネクター３０４は、例えばＵＳＢコネクターであり、コネクター３０４とコネクター１１とは、例えばＵＳＢケーブルである通信ケーブル４２により接続される。
【００３５】
携帯情報端末３００は、本実施形態では、例えばスマートフォンである。ただし、携帯情報端末３００を、タブレット型コンピューターやノート型コンピューター等の可搬型のコンピューターにより構成することもできる。また、携帯情報端末３００は、時計型のコンピューター等のウエアラブル端末であってもよいし、コンピューターを搭載したスマートスピーカーであってもよい。さらに、携帯情報端末３００は、いわゆるスティックＰＣと称される非常に小型のコンピューターであってもよい。
【００３６】
図２は、ＨＭＤ２００の構成を示す図である。
図２を参照しながらＨＭＤ２００の構成について説明する。上述のように、ＨＭＤ２００は、接続ケーブル４０により互いに接続された接続装置１００と画像表示部２０とを備える。
【００３７】
画像表示部２０は、右表示ユニット２２及び左表示ユニット２４を備える。右表示ユニット２２は、表示ユニット基板２２０を有する。表示ユニット基板２２０には、接続ケーブル４０に接続される接続部２２１と、接続装置１００から送信されるデータを接続部２２１を介して受信する受信部２２２とが実装される。接続部２２１は、受信部２２２、カメラ６１及びバイブレーター６５を、接続装置１００に接続する。また、受信部２２２には、ＯＬＥＤユニット２２４が接続される。なお、図２には、受信部を「Ｒｘ」と表記する。
【００３８】
カメラ６１は、接続部２２１を介して入力される信号に従って撮像を実行し、撮像画像データを、接続部２２１に出力する。
バイブレーター６５は、不図示のモーター、偏芯した回転子等を備え、接続装置１００を介して入力される信号に従って振動を発生させる。バイブレーター６５は、本発明の「第２報知部」の一例に相当する。
【００３９】
受信部２２２は、右眼用の画像信号である右画像信号を接続装置１００から受信してＯＬＥＤユニット２２４に出力する。ＯＬＥＤユニット２２４は、例えば、ＯＬＥＤと、ＯＬＥＤを駆動する駆動回路とで構成される。ＯＬＥＤ及び駆動回路の図示は省略する。ＯＬＥＤユニット２２４は、受信した右画像信号に基づき、右導光板２６に向けて右画像光を出力する。
【００４０】
左表示ユニット２４は、表示ユニット基板２４０を有する。表示ユニット基板２４０には、接続ケーブル４０に接続される接続部２４１と、接続装置１００から送信されるデータを接続部２４１を介して受信する受信部２４２と、６軸センサー２４３と、磁気センサー２４４と、近接センサー２４５とが実装される。接続部２４１は、受信部２４２、６軸センサー２４３、磁気センサー２４４及び近接センサー２４５を、接続装置１００に接続する。また、受信部２４２には、ＯＬＥＤユニット２４６が接続される。６軸センサー２４３、磁気センサー２４４及び近接センサー２４５は、本発明の「第１センサー」に相当するが、これら以外のセンサーを画像表示部２０に設けることも可能である。
【００４１】
６軸センサー２４３は、３軸加速度センサー、及び３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２４３は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）を採用してもよい。磁気センサー２４４は、例えば、３軸の地磁気センサーである。近接センサー２４５は、画像表示部２０に物体が接近したことを検出するセンサーであり、具体的には、画像表示部２０の使用者の頭部への装着と、画像表示部２０の使用者の頭部からの取り外しとを検出するセンサーである。近接センサー２４５は、例えば、赤外線型の近接センサーにより構成される。
【００４２】
受信部２４２は、左眼用の画像信号である左画像信号を接続装置１００から受信してＯＬＥＤユニット２４６に出力する。ＯＬＥＤユニット２４６は、ＯＬＥＤユニット２２４と同様に、例えば、ＯＬＥＤと、ＯＬＥＤを駆動する駆動回路とで構成される。ＯＬＥＤユニット２４６は、受信した左画像信号に基づき、左導光板２８に向けて左画像光を出力する。
【００４３】
画像表示部２０の各部は、接続ケーブル４０を介して接続装置１００の電源部１０５から供給される電力により動作する。画像表示部２０は、電源部１０５からの電源入力の分配や電圧変換等を行う電源回路を備えてもよい。電源回路の図示は省略する。
【００４４】
次に、接続装置１００の構成について説明する。
接続装置１００は、通信インターフェイス部１０１、接続部１０３、電源部１０５、操作部１０７、不揮発性記憶部１０９及びＨＭＤ制御部１２０を備える。なお、インターフェイスをＩ／Ｆと略記する。
【００４５】
通信Ｉ／Ｆ部１０１は、例えばＵＳＢ通信規格に準拠して携帯情報端末３００の通信Ｉ／Ｆ部３１１との間で有線通信を行う。ただし、通信Ｉ／Ｆ部３１１と通信Ｉ／Ｆ部１０１との間の通信は、ＵＳＢ通信規格に従う有線通信に限らず、有線及び無線を含む他の種々の通信規格に従って行われるものとすることができる。携帯情報端末３００の通信Ｉ／Ｆ部３１１は、図３に図示する。
【００４６】
接続部１０３は、接続ケーブル４０を介して画像表示部２０の接続部２２１及び接続部２４１に接続される。
【００４７】
電源部１０５は、通信ケーブル４２及び通信Ｉ／Ｆ部１０１を介して携帯情報端末３００から供給される電力に基づき、接続装置１００の各部及び画像表示部２０に電源を供給する。電源部１０５は、不図示の電圧変換回路を内蔵し、異なる電圧を接続装置１００及び画像表示部２０の各部に供給可能な構成であってもよい。また、電源部１０５は、ロジック回路あるいはＦＰＧＡ等のデバイスで構成されるものとすることができる。なお、電源部１０５は、上記の構成に限らず、携帯情報端末３００から供給される電力に代えて、接続装置１００が備える充電可能なバッテリーからの電力に基づいて、接続装置１００の各部及び画像表示部２０への電源供給を行ってもよい。
【００４８】
操作部１０７は、ユーザーが操作することのできるボタンやスイッチを備え、使用者の指示を受け付ける受け付け部として機能する。
【００４９】
不揮発性記憶部１０９は、データを不揮発的に記憶する記憶装置である。不揮発性記憶部１０９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気的記録装置、或いは、フラッシュメモリー等の半導体記憶素子を用いた記憶装置により構成することができる。不揮発性記憶部１０９は、ＨＭＤ制御部１２０のプロセッサーが実行する制御プログラムや、設定値、ＨＭＤ制御部１２０が処理するデータ等を記憶する。設定値は、例えば、画像表示部２０の表示輝度を設定した値であって、使用者の好みの表示輝度の値が含まれる。
【００５０】
ＨＭＤ制御部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサーを備えるコンピューターである。ＨＭＤ制御部１２０は、プログラムが書き込まれたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、データの一時記憶のためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を有する構成であってもよい。ＨＭＤ制御部１２０は、機能要素として、表示制御部１２１と、カメラ制御部１２３と、検出値出力部１２５と、音声信号処理部１２７とを備える。
【００５１】
ＨＭＤ制御部１２０が備えるこれらの機能要素は、例えば、コンピューターであるＨＭＤ制御部１２０が制御プログラムを実行することにより実現される。この制御プログラムは、例えば、ＨＭＤ制御部１２０のＲＯＭや、不揮発性記憶部１０９に記憶させたものである。
【００５２】
また、ＨＭＤ制御部１２０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。そのようなハードウェアは、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等、プログラムされたハードウェアを含むものとすることができる。
【００５３】
表示制御部１２１は、携帯情報端末３００から受信した画像データに基づいて、画像表示部２０への表示を行うための右画像信号及び左画像信号を生成する。また、表示制御部２２０は、生成した右画像信号及び左画像信号を、接続部１０３を介して画像表示部２０の受信部２２２及び２４２へそれぞれ送信する。これにより、携帯情報端末３００から出力される画像が画像表示部２０により表示される。
【００５４】
カメラ制御部１２３は、カメラ６１に撮像を実行させ、カメラ６１が撮像した撮像画像データを取得する。カメラ制御部１２３は、取得した撮像画像データを、通信Ｉ／Ｆ部１０１を介して携帯情報端末３００に送信する。
【００５５】
検出値出力部１２５は、携帯情報端末３００からセンサー値の取得要求を受信すると、６軸センサー２４３、磁気センサー２４４及び近接センサー２４５の検出値を左表示ユニット２４から取得する。検出値出力部１２５は、取得した検出値を、通信Ｉ／Ｆ部１０１を介して携帯情報端末３００に送信する。
【００５６】
音声信号処理部１２７は、通信Ｉ／Ｆ部１０１を介して携帯情報端末３００から受信した音声を右イヤホン３２、左イヤホン３４に出力する。音声信号処理部１２７は、右イヤホン３２、左イヤホン３４の音声出力を変更することができる。すなわち、音声信号処理部１２７は、携帯情報端末３００から受信した音声を増幅したり、ミュートしたりすることも可能である。
【００５７】
次に、図３を参照しながら携帯情報端末３００について説明する。
携帯情報端末３００は、無線通信部３０１、カメラ３０３、ＧＰＳ受信部３０５、９軸センサー３０７、不揮発性記憶部３０９、通信Ｉ／Ｆ部３１１、バイブレーター３１３、スピーカー３１５、マイク３１７、表示部３２０及びデバイス制御部３３０を備える。
【００５８】
無線通信部３０１は、基地局を介していわゆる移動体通信網に接続し、通話である音声通信やデータ通信を行う機能を備える。具体的には、無線通信部３０１は、着信元の電話番号を含む着呼を受け付け、着呼処理を実行する着呼部と、使用者による発呼指示に従って、発呼処理を実行する発呼部としての機能を有する。また、無線通信部３０１は、インターネットに接続されたウェブサーバー等の通信装置や他の携帯情報端末３００との間でデータ通信を行う。
【００５９】
カメラ３０３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。カメラ３０３は、本発明の「第２撮像部」の一例に相当する。
【００６０】
ＧＰＳ受信部３０５は、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて携帯情報端末３００の位置を測定し、測定結果をデバイス制御部３３０に出力する。
【００６１】
９軸センサー３０７は、例えば、モーションセンサーである３軸加速度センサー及び３軸ジャイロセンサーと、３軸の地磁気センサーである磁気センサーとで構成される。９軸センサー３０７は、本発明の「第２センサー」に相当するが、９軸センサー３０７以外のセンサーを携帯情報端末３００に設けることも可能である。
【００６２】
不揮発性記憶部３０９は、データを不揮発的に記憶する記憶装置である。不揮発性記憶部３０９は、例えば、フラッシュメモリー等の半導体記憶素子を用いた記憶装置により構成される。
【００６３】
不揮発性記憶部３０９は、デバイス制御部３３０が実行する基本制御プログラムとしてのオペレーティングシステムや、オペレーティングシステムをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３０９は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
【００６４】
また、不揮発性記憶部３０９は、設定データ及び設定値を記憶する。
設定データは、後述する状態変化検出部３３８が携帯情報端末３００やＨＭＤ２００の状態変化を検出した場合に、検出した状態変化に対応して、デバイス制御部３３０が実行する処理を設定したデータである。この設定データは、タッチパネル３２３又は操作部１０７の操作により変更が可能である。また、設定値は、表示部３２０の表示輝度やスピーカー３１５の音声出力の設定値であって、使用者によって設定された好みの設定値である。た、設定値は、ＨＭＤ２００の右イヤホン３２及び左イヤホン３４の音声出力の設定値であって、使用者によって設定された好みの設定値である。
【００６５】
通信Ｉ／Ｆ部３１１は、例えばＵＳＢ通信規格に準拠して、接続装置１００の通信Ｉ／Ｆ部１０１との間で有線通信を行う。
【００６６】
バイブレーター３１３は、不図示のモーター、偏芯した回転子等を備え、デバイス制御部３３０の制御に従って振動を発生させる。バイブレーター３１３は、本発明の「第１報知部」の一例に相当する。
【００６７】
スピーカー３１５は、例えば、通話相手の音声や、デバイス制御部３３０により再生された動画像の音声を出力する。また、マイク３１７は、携帯情報端末３００の周囲の音声を集音する。マイク３１７により集音された音声は、電気信号に変換され、さらにデジタル化されてデバイス制御部３３０に入力される。スピーカー３１５は、本発明の「第１音声信号出力部」の一例に相当する。
【００６８】
表示部３２０は、表示パネル３２１及びタッチパネル３２３を備える。表示部３２０は、本発明の「デバイス表示部」の一例に相当する。
表示パネル３２１は、例えば液晶表示パネルであり、タッチパネル３２３は、例えばタッチセンサーを備える。表示部３２０は、表示パネル３２１に画像を表示するほか、表示パネル３２１にボタン等のユーザーインターフェースを表示し、タッチパネル３２３のタッチセンサーと協働してユーザーからの入力を取得する。
【００６９】
デバイス制御部３３０は、アプリケーション部３３１と、ＯＳ３３２と、接続検出部３３３と、取得部３３４と、画像出力部３３５と、表示制御部３３６と、音声信号処理部３３７と、状態変化検出部３３８と、外部装置制御部３３９と、監視部３４０とを備える。デバイス制御部３３０が備えるこれらの機能要素は、例えば、コンピューターであるデバイス制御部３３０がプログラムを実行することにより実現される。
【００７０】
また、デバイス制御部３３０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成してもよい。このハードウェアには、ＤＳＰやＦＰＧＡ等のプログラムされたハードウェアが含まれる。
【００７１】
アプリケーション部３３１は、デバイス制御部３３０が、アプリケーションプログラムを実行することにより実現され、表示部３２０に映像である動画像や静止画像を表示する。動画像及び静止画像を総称して「画像」という。アプリケーション部３３１は、アプリケーションプログラムを実行することにより、例えば、動画像データや静止画像データを再生する再生部として機能する。また、アプリケーション部３３１は、アプリケーションプログラムを実行することにより、ドキュメントファイルを表示部３２０に表示させる表示部として機能する。アプリケーションプログラムは、例えば、デバイス制御部３３０より無線通信部３０１を介してワールドワイドウェブ上のサーバー等からダウンロードされて不揮発性記憶部３０９に記憶される。
【００７２】
ＯＳ３３２は、デバイス制御部３３０が、例えば不揮発性記憶部３０９に予め記憶されたＯＳプログラムを実行することにより実現される。ＯＳ３３２は、携帯情報端末３００が備えるＧＰＳ受信部３０５、９軸センサー３０７、表示部３２０及び通信Ｉ／Ｆ部３１１を含む各種デバイスを動作させるためのデバイスドライバーを備える。また、ＯＳ３３２は、アプリケーション部３３１に、各種のＡＰＩを提供する。
【００７３】
接続検出部３３３は、例えばＯＳ３３２を介して通信Ｉ／Ｆ部３１１のステイタス情報を取得する。接続検出部３３３は、取得したステイタス情報に基づいて携帯情報端末３００に外部の表示装置が接続されたことを検出する。接続検出部３３３は、表示装置の接続を検出すると、接続が検出された旨の通知を、状態変化検出部３３８に送信する。本実施形態では、外部の表示装置がＨＭＤ２００である場合を説明する。
【００７４】
さらに、接続検出部３３３は、取得した通信Ｉ／Ｆ部３１１のステイタス情報に基づいて携帯情報端末３００とＨＭＤ２００との接続が解除されたことを検出する。接続検出部３３３は、ＨＭＤ２００との接続が解除されたことを検出すると、接続が解除された旨の通知を、状態変化検出部３３８に送信する。
【００７５】
取得部３３４は、接続装置１００に、センサーの検出値の取得要求を送信して、接続装置１００からセンサーの検出値を取得する。取得部３３４が検出値を取得するセンサーは、６軸センサー２４３や、磁気センサー２４４、近接センサー２４５の検出値である。取得部３３４は、取得したセンサーの検出値を状態変化検出部３３８に出力する。
【００７６】
画像出力部３３５は、状態変化検出部３３８から画像の出力指示が入力されると、ＯＳ３３２が備えるミラーリング機能により、表示部３２０に表示されている画像をＨＭＤ２００に出力する。具体的には、画像出力部３３５は、現在、表示部３２０に表示されている画像をＯＳ３３２に対して指定し、指定した画像をミラーリング機能によりＨＭＤ２００へ出力するように指示する。
また、表示部３２０に表示されている画像は、ＯＳ３３２により生成される画像、又はアプリケーション部３３１により生成される画像である。また、画像出力部３３５は、画像のＨＭＤ２００への出力を開始すると、ＨＭＤ２００への画像出力を開始した旨を状態変化検出部３３８に通知する。
【００７７】
表示制御部３３６は、表示部２０の表示を制御する。例えば、表示制御部３３６は、表示部３２０に画像を表示させる。この画像は、例えば、不揮発性記憶部３０９に予め記憶された画像であってもよいし、無線通信部３０１を介してワールドワイドウェブ上のサーバー等からダウンロードした画像であってもよい。また、表示制御部３３６が表示させる画像は、動画像であってもよいし静止画像であってもよい。また、表示制御部３３６は、タッチパネル３２３により受け付けた操作により、表示パネル３２１の表示輝度を変更したり、表示パネル３２１に表示させる画像を変更したりする。
【００７８】
音声信号処理部３３７は、デバイス制御部３３０から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカー３１５から音声を出力させる。この音声データには、アプリケーション部３３１が再生した動画像データに含まれる音声データや、無線通信部３０１が受信した音声データが含まれる。また、音声信号処理部３３７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。また、音声信号処理部３３７は、マイク３１７により入力された音声データに対してアップコンバート及び増幅処理を行って、当該処理後の信号を無線通信部３０１から無線送信する。
【００７９】
状態変化検出部３３８は、携帯情報端末３００、ＨＭＤ２００及び使用者の状態変化を検出する。外部装置制御部３３９は、ＨＭＤ２００に指示信号を出力して、ＨＭＤ２００の動作を制御する。監視部３４０は、状態変化検出部３３８により使用者が睡眠状態にあると判定された場合に、使用者の周辺を監視する。
【００８０】
状態変化検出部３３８、外部装置制御部３３９及び監視部３４０の動作についてさらに詳細に説明する。
状態変化検出部３３８は、携帯情報端末３００に搭載された無線通信部３０１や９軸センサー３０７、カメラ３０３、携帯情報端末３００が備える接続検出部３３３や画像出力部３３５の機能を使用して状態変化を検出する。また、状態変化検出部３３８は、ＨＭＤ２００に搭載された６軸センサー２４３や磁気センサー２４４、近接センサー２４５、カメラ６１を使用して状態変化を検出する。
【００８１】
状態変化検出部３３８が検出する携帯情報端末３００の状態変化には、例えば、以下のものが含まれる。
状態変化検出部３３８は、接続検出部３３３からの通知により外部の装置であるＨＭＤ２００の接続及び切断を検出する。接続検出部３３３は、ＨＭＤ２００との接続を検出した場合、接続の検出を状態変化検出部３３８に通知する。また、接続検出部３３３は、ＨＭＤ２００との接続が切断されたことを検出した場合も、切断の検出を状態変化検出部３３８に通知する。
また、状態変化検出部３３８は、無線通信部３０１からの通知により、例えば、着呼があったか否かを検出する。無線通信部３０１は、着呼を検出すると、状態変化検出部３３８に着呼の検出を通知する。
【００８２】
また、状態変化検出部３３８が検出するＨＭＤ２００の状態変化には、例えば、以下のものが含まれる。
状態変化検出部３３８は、近接センサー２４５の検出値に基づいて、画像表示部２０の使用者の頭部への装着と、画像表示部２０の使用者の頭部からの取り外しとを検出する。
【００８３】
また、状態変化検出部３３８が検出する使用者の状態変化には、例えば、以下のものが含まれる。
状態変化検出部３３８は、６軸センサー２４３や、９軸センサー３０７の検出値に基づいて、使用者の覚醒状態や転倒を検出する。
例えば、状態変化検出部３３８は、６軸センサー２４３及び９軸センサー３０７の少なくとも一方が検出した加速度の検出値に基づいて、使用者の覚醒状態を検出する。例えば、状態変化検出部３３８は、加速度の検出値の予め設定された設定時間内での変動幅が第１しきい値以下の場合、使用者の覚醒率が低下して覚醒状態が第１レベルに低下したと判定する。覚醒状態の第１レベルへの低下は、覚醒状態の所定の状態への変化に対応する。
【００８４】
また、状態変化検出部３３８は、前述した検出した加速度の検出値の予め設定された設定時間内での変動幅が第１しきい値よりも小さい第２しきい値以下の場合、使用者の覚醒状態が著しく低下し、覚醒状態が第２レベルに低下したと判定する。第２レベルは、第１レベルよりも覚醒率が低く、使用者が睡眠状態にあると判定できるレベルである。
【００８５】
さらに、状態変化検出部３３８は、６軸センサー２４３及び９軸センサー３０７の少なくとも一方が検出した加速度の検出値が、予め設定された第３しきい値以上になった場合に、使用者が転倒したと判定する。
【００８６】
状態変化検出部３３８は、携帯情報端末３００やＨＭＤ２００、使用者の状態変化を検出すると、不揮発性記憶部３０９に記憶された設定データを参照して、検出した状態変化に対応付けられた処理を取得する。状態変化検出部３３８は、取得した処理を実行させる。
【００８７】
例えば、状態変化検出部３３８は、接続検出部３３３によりＨＭＤ２００の接続が検出された場合、画像の出力指示を画像出力部３３５に出力する。画像出力部３３５は、状態変化検出部３３８から画像の出力指示が入力されると、表示制御部１２１が表示部３２０に表示させている画像をＨＭＤ２００に出力し、画像表示部２０に表示させる。
【００８８】
また、状態変化検出部３３８は、ＨＭＤ２００の接続が検出された場合、表示パネル３２１の表示輝度を低下させる指示を表示制御部３３６に出力する。本実施形態では、この指示が、表示パネル３２１の表示輝度を「０」に変更させる指示である場合について説明するが、表示パネル３２１の表示輝度を低下させる指示であれば、表示パネル３２１の表示輝度を「０」に変更させるものでなくてもよい。また、状態変化検出部３３８は、ＨＭＤ２００の接続が検出された場合、音声の出力先の変更指示と、音声出力を、不揮発性記憶部３０９に記憶させたＨＭＤ２００の音声出力の設定値に対応した出力に変更する指示とを音声信号処理部３３７に出力する。
【００８９】
表示制御部３３６は、表示輝度の変更指示が状態変化検出部３３８から入力されると、現在の表示パネル３２１の表示輝度の設定値を不揮発性記憶部３０９に記憶させる。その後、表示制御部３３６は、表示パネル３２１の表示輝度を「０」に変更する。携帯情報端末３００にＨＭＤ２００が接続された場合、使用者は、携帯情報端末３００の表示パネル３２１ではなく、ＨＭＤ２００により画像を視認することが想定される。このため、表示制御部３３６は、表示部３２０の表示パネル３２１の輝度を「０」に変更させ、不要な電力消費を削減する。
【００９０】
音声信号処理部３３７は、音声の出力先の変更指示と、音声出力の変更指示とが状態変化検出部３３８から入力されると、現在のスピーカー３１５の音声出力の設定値を不揮発性記憶部３０９に記憶させる。その後、音声信号処理部３３７は、音声の出力先をスピーカー３１５からＨＭＤ２００に変更する。そして、音声信号処理部３３７は、ＨＭＤ２００に出力する音声を、不揮発性記憶部３０９に記憶させたＨＭＤ２００の音声出力の設定値に対応した出力に変更する。ＨＭＤ２００のＨＭＤ制御部１２０は、携帯情報端末３００から入力される音声を右イヤホン３２及び左イヤホン３４から出力させる。
【００９１】
また、状態変化検出部３３８は、接続検出部３３３によりＨＭＤ２００の切断が検出された場合、表示パネル３２１の表示輝度を、ＨＭＤ２００の接続が検出される前の値に変更する変更指示を表示制御部３３６に出力する。また、状態変化検出部３３８は、音声の出力先をＨＭＤ２００からスピーカー３１５に変更する変更指示と、スピーカー３１５の音声出力を、ＨＭＤ２００の接続が検出される前の値に変更する変更指示を音声信号処理部３３７に出力する。
【００９２】
表示制御部３３６は、表示輝度を、ＨＭＤ２００の接続が検出される前の値に変更する変更指示が状態変化検出部３３８から入力されると、不揮発性記憶部３０９に記憶させた表示パネル３２１の表示輝度の設定値を読み出す。表示制御部３３６は、表示パネル３２１の表示輝度を、不揮発性記憶部３０９から読み出した設定値に対応した表示輝度に変更する。これにより、表示パネル３２１の表示輝度が、ＨＭＤ２００が接続されていたときよりも高い状態に変更される。
【００９３】
また、音声信号処理部３３７は、音声の出力先の変更指示と、スピーカー３１５の音声出力を、接続が検出される前の値に変更する変更指示とが状態変化検出部３３８から入力されると、音声の出力先を、ＨＭＤ２００からスピーカー３１５に変更する。その後、音声信号処理部３３７は、不揮発性記憶部３０９に記憶させたスピーカー３１５の音声出力の設定値を読み出す。音声信号処理部３３７は、スピーカー３１５の音声を、不揮発性記憶部３０９から読み出した設定値に対応した音声出力に変更する。
【００９４】
また、状態変化検出部３３８は、無線通信部３０１により着呼が検出された場合、画像表示部２０の表示輝度を低下させる変更指示を外部装置制御部３３９に出力する。本実施形態では、状態変化検出部３３８は、画像表示部２０の表示輝度を「０」に変更する変更指示を出力する場合を説明するが、画像表示部２０の表示輝度を低下させる指示であれば、表示輝度を「０」に変更させるものでなくてもよい。
【００９５】
外部装置制御部３３９は、画像表示部２０の表示輝度を「０」に変更する変更指示が状態変化検出部３３８から入力されると、画像表示部２０の表示輝度を「０」に変更する制御データを生成する。外部装置制御部３３９は、生成した制御データを通信Ｉ／Ｆ部３１１を介してＨＭＤ２００に送信する。制御データを受信したＨＭＤ制御部１２０は、画像表示部２０の表示輝度を「０」に変更する。これにより、画像表示部２０を装着した使用者が、画像表示部２０の外側の景色を見やすくすることができる。
【００９６】
また、状態変化検出部３３８は、ＨＭＤ２００への画像出力の開始を検出した場合、表示パネル３２１の表示輝度を低下させる指示を表示制御部３３６に出力する。この場合も、指示が、表示パネル３２１の表示輝度を「０」に変更させる指示である場合について説明するが、表示パネル３２１の表示輝度を低下させる指示であればよい。また、状態変化検出部３３８は、音声の出力先の変更指示と、音声出力を、不揮発性記憶部３０９に記憶されたＨＭＤ２００の音声出力の設定値に対応した出力に変更する指示とを音声信号処理部３３７に出力する。
この後の表示制御部３３６及び音声信号処理部３３７の動作は、状態変化検出部３３８がＨＭＤ２００の接続を検出した場合と同一であるため、詳細な説明は省略する。
【００９７】
また、状態変化検出部３３８は、画像表示部２０が頭部に装着されたことを検出した場合、表示パネル３２１の表示輝度を低下させる指示を表示制御部３３６に出力する。表示制御部３３６は、状態変化検出部３３８の指示に従って、表示パネル３２１の表示輝度を低下させる。この場合も、指示が、表示パネル３２１の表示輝度を「０」に変更させる指示である場合について説明するが、表示パネル３２１の表示輝度を低下させるものであればよい。
また、状態変化検出部３３８は、画像表示部２０が頭部に装着されたことを検出した場合、画像表示部２０の表示輝度を、不揮発性記憶部１０９に記憶させた表示輝度の設定値に変更する変更指示を外部装置制御部３３９に出力する。さらに、状態変化検出部３３８は、音声の出力先をスピーカー３１５からＨＭＤ２００に変更する変更指示と、音声出力を、不揮発性記憶部３０９に記憶させたＨＭＤ２００の音声出力の設定値に対応した出力に変更する指示とを音声信号処理部３３７に出力する。
【００９８】
外部装置制御部３３９は、変更指示が状態変化検出部３３８から入力されると、画像表示部２０の表示輝度を、不揮発性記憶部１０９に記憶させた設定値に変更させる制御データを生成する。外部装置制御部３３９は、生成した制御データを通信Ｉ／Ｆ部３１１を介して接続装置１００に送信する。
【００９９】
ＨＭＤ制御部１２０の表示制御部１２１は、携帯情報端末３００から制御データが入力されると、不揮発性記憶部１０９に記憶された表示輝度の設定値を読み出し、画像表示部２０の表示輝度を、読み出した設定値に対応した表示輝度に変更する。これにより、画像表示部２０の表示輝度が、画像表示部２０の頭部への装着が検出される前よりも高く変更される。
【０１００】
また、音声信号処理部３３７は、音声の出力先の変更指示と、音声出力の変更指示とが状態変化検出部３３８から入力されると、現在のスピーカー３１５の音声出力の設定値を不揮発性記憶部３０９に記憶させる。その後、音声信号処理部３３７は、音声の出力先をスピーカー３１５からＨＭＤ２００に変更する。そして、音声信号処理部３３７は、ＨＭＤ２００に出力する音声を、不揮発性記憶部３０９に記憶させたＨＭＤ２００の音声出力の設定値に対応した音声出力に変更する。ＨＭＤ２００のＨＭＤ制御部１２０は、携帯情報端末３００から入力される音声を右イヤホン３２及び左イヤホン３４に出力する。
【０１０１】
また、状態変化検出部３３８は、画像表示部２０が頭部から取り外されたことを検出した場合、画像表示部２０の表示輝度を「０」に変更させる変更指示を外部装置制御部３３９に出力する。また、状態変化検出部３３８は、音声の出力先の変更指示と、音声出力を、不揮発性記憶部３０９に記憶されたスピーカー３１５の音声出力の設定値に変更する変更指示とを音声信号処理部３３７に出力する。
【０１０２】
外部装置制御部３３９は、変更指示が状態変化検出部３３８から入力されると、表示輝度及び音声出力を「０」に変更させる制御データを生成する。外部装置制御部３３９は、生成した制御データを通信Ｉ／Ｆ部３１１を介して接続装置１００に送信する。
【０１０３】
ＨＭＤ制御部１２０の表示制御部１２１は、制御データを受信すると、現在の画像表示部２０の表示輝度の設定値を不揮発性記憶部１０９に記憶させる。その後、表示制御部１２１は、画像表示部２０の表示輝度を「０」に変更する。
【０１０４】
音声信号処理部３３７は、音声の出力先の変更指示と、音声出力の変更指示とが入力されると、音声の出力先をＨＭＤ２００からスピーカー３１５に変更する。その後、音声信号処理部３３７は、ＨＭＤ２００の音声出力の設定値を不揮発性記憶部３０９に記憶させる。その後、音声信号処理部３３７は、不揮発性記憶部３０９に記憶させたスピーカー３１５の音声出力の設定値に対応した音声を、スピーカー３１５から出力する。
【０１０５】
また、状態変化検出部３３８は、使用者の転倒を検出した場合、表示パネル３２１へのメッセージの表示指示を表示制御部３３６に出力する。
表示制御部３３６は、メッセージの表示指示が状態変化検出部３３８から入力されると、表示パネル３２１に、救急車を要請するか否かを確認する確認画面を表示させる。また、状態変化検出部３３８は、タッチパネル３２３により、救急車を要請する操作を受け付けた場合、無線通信部３０１に発呼を行わせ、救急車の出動を要請する音声メッセージを生成する。また、状態変化検出部３３８は、無線通信部３０１により予め設定された発呼先に発呼を行ない、救急車の出動を要請する音声メッセージをスピーカー３１５から出力する。この音声メッセージには、ＧＰＳ受信部３０５により受信した携帯情報端末３００の現在位置を示す音声メッセージが含まれるとよい。また、状態変化検出部３３８は、タッチパネル３２３により、救急車を要請する操作を受け付けた場合、予め設定された送信先に、救急車の出動を要請するメッセージを送信してもよい。
【０１０６】
また、状態変化検出部３３８は、使用者の覚醒状態の第１レベルへの低下を検出した場合、バイブレーター３１３を駆動させて携帯情報端末３００の筐体を振動させる。また、状態変化検出部３３８は、外部装置制御部３３９に、バイブレーター６５の振動指示を出力してもよい。外部装置制御部３３９は、振動指示が状態変化検出部３３８から入力されると、バイブレーター６５を振動させる指示をＨＭＤ２００に出力し、バイブレーター６５を振動させる。携帯情報端末３００又はＨＭＤ２００の画像表示部２０の筐体を振動させることで、使用者の眠気を覚ますことができる。
【０１０７】
また、状態変化検出部３３８は、使用者の覚醒状態の第１レベルへの低下を検出した場合、所定の時間を計時し、所定の時間を経過後に、バイブレーター３１３又はバイブレーター６５を振動させてもよい。また、状態変化検出部３３８は、画像表示部２０の表示輝度を「０」に変更させる制御データを外部装置制御部３３９に生成させ、生成した制御データを接続装置１００のＨＭＤ制御部１２０に送信させてもよい。制御データを受信した接続装置１００のＨＭＤ制御部１２０は、画像表示部２０の表示輝度を「０」に変更する。
【０１０８】
また、状態変化検出部３３８は、使用者の覚醒状態の第２レベルへの低下を検出した場合、監視部３４０に使用者の周辺監視を開始させる監視指示を出力する。監視部３４０は、状態変化検出部３３８から監視指示が入力されると、ＨＭＤ２００に搭載されたカメラ６１や、携帯情報端末３００のカメラ３０３に撮像を実行させて使用者の周辺状況を判定する。例えば、監視部３４０は、カメラ６１やカメラ３０３の撮像画像データにより人物を検出して、使用者に近づく人物があるか否かを判定する。
【０１０９】
監視部３４０は、カメラ６１及びカメラ３０３の少なくとも一方に撮像を実行させ、撮像画像データを取得する。監視部３４０は、取得した撮像画像データから人物が撮像された領域である人物領域を検出する。人物領域の検出方法は、例えば、人物の顔、口や目などの器官の特徴による検出方法や、人物の肌領域などの色相による検出など一般的に知られた方法を用いることができる。また、複数の方法を組み合わせて人物領域を検出してもよい。
【０１１０】
例えば、カメラ６１の撮像画像データから人物領域を検出した場合、監視部３４０は、検出した人物領域の人物との距離を検出する。例えば、監視部３４０は、撮像画像データに撮像された人物のサイズに基づいて人物との距離を検出する。
【０１１１】
監視部３４０は、検出した人物との距離に基づき、この検出した人物が不審者であるか否かを判定する。例えば、監視部３４０は、以下の条件が成立した場合に、検出した人物が不審者であると判定する。この条件は、例えば、複数の撮像画像データから同一の人物が検出され、検出した人物との距離が徐々に小さくなることで当該人物が使用者に近づいて来くると判定され、検出した人物との距離が予め設定されたしきい値以下になった場合である。
【０１１２】
さらに、監視部３４０は、人物領域の人物の顔の向きや視線に基づいて検出した人物が不審者であるか否かを判定してもよい。例えば、寝込んでいる者から物を盗もうとする場合、不審者の顔又は視線は、寝込んでいる者の方向を向く。このため、監視部３４０は、上記の条件を満たす場合であって、撮像画像データから人物の両目が検出され、この人物が使用者の方向を向いていると判定される場合に、検出した人物は不審者であると判定してもよい。
また、監視部３４０は、人物領域から虹彩や瞳孔等のように動く部分を検出して視線を検出してもよい。監視部３４０は、検出した視線の方向が使用者の方向である場合、検出した人物は不審者であると判定してもよい。
【０１１３】
監視部３４０は、不審者を検出した場合、バイブレーター３１３やバイブレーター６５を振動させて使用者を覚醒させる。また、監視部３４０は、不審者を検出した場合、音声信号処理部３３７にビープ音をスピーカー３１５から出力させてもよい。
また、監視部３４０は、表示制御部３３６に、予め設定された発呼先への発呼を行うか否かを確認する確認画面を表示パネル３２１に表示させる。予め設定された発呼先とは、例えば、警察や警備会社である。監視部３４０は、タッチパネル３２３の操作により、予め設定された発呼先への発呼を行うとの操作を受け付けた場合、無線通信部３０１を制御して予め設定された発呼先に発呼を行う。
【０１１４】
また、監視部３４０は、不審者を検出した場合に、外部装置制御部３３９に、画像表示部２０の表示輝度を「０」に変更させ、音声出力を「０」に変更させる制御データを生成させ、生成した制御データを接続装置１００に送信させる。表示制御部１２１は、画像表示部２０の表示輝度を「０」に変更し、音声信号処理部１２７は、右イヤホン３２及び左イヤホン３４の音声出力を「０」に変更する。
【０１１５】
図４及び図５は、携帯情報端末３００のデバイス制御部３３０の動作を示すフローチャートである。
デバイス制御部３３０は、携帯情報端末３００の電源がオンされると（ステップＳ１）、制御プログラムを実行して（ステップＳ２）、携帯情報端末３００及びＨＭＤ２００の状態変化の監視を開始する（ステップＳ３）。
【０１１６】
デバイス制御部３３０は、状態変化を検出していない場合（ステップＳ４／ＮＯ）、状態変化が検出されるまで、処理の開始を待機する。また、デバイス制御部３３０は、状態変化を検出した場合（ステップＳ４／ＹＥＳ）、検出した状態変化が、ＨＭＤ２００の接続検出であるか否かを判定する（ステップＳ５）。
【０１１７】
デバイス制御部３３０は、検出した状態変化が接続検出である場合（ステップＳ５／ＹＥＳ）、現在の表示パネル３２１の表示輝度の設定値、及びスピーカー３１５の音声出力の設定値を不揮発性記憶部３０９に記憶させる。その後、デバイス制御部３３０は、表示パネル３２１の表示輝度を「０」に変更し、スピーカー３１５の音声出力を「０」に変更する（ステップＳ６）。
【０１１８】
また、デバイス制御部３３０は、検出した状態変化が接続検出ではない場合（ステップＳ５／ＮＯ）、検出した状態変化が、ＨＭＤ２００との接続を解除する解除検出であるか否かを判定する（ステップＳ７）。
【０１１９】
デバイス制御部３３０は、検出した状態変化が解除検出である場合（ステップＳ７／ＹＥＳ）、不揮発性記憶部３０９に記憶させた表示パネル３２１の表示輝度の設定値、及びスピーカー３１５の音声出力の設定値を取得する。不揮発性記憶部３０９に記憶させた表示パネル３２１の表示輝度の設定値、及びスピーカー３１５の音声出力の設定値は、ＨＭＤ２００の接続が検出される前の表示パネル３２１の表示輝度の設定値、及びスピーカー３１５の音声出力の設定値である。デバイス制御部３３０は、表示パネル３２１の表示輝度を、取得した設定値に対応した表示輝度に変更する（ステップＳ８）。また、デバイス制御部３３０は、スピーカー３１５の音声出力を、取得した設定値に対応した音声出力に変更する（ステップＳ８）。
【０１２０】
また、デバイス制御部３３０は、検出した状態変化が解除検出ではない場合（ステップＳ７／ＮＯ）、検出した状態変化が、画像表示部２０の使用者の頭部への装着であるか否かを判定する（ステップＳ９）。デバイス制御部３３０は、検出した状態変化が、画像表示部２０の使用者の頭部への装着である場合（ステップＳ９／ＹＥＳ）、画像表示部２０の表示輝度を、不揮発性記憶部１０９に記憶させた設定値に対応した表示輝度に変更させる（ステップＳ１０）。また、デバイス制御部３３０は、右イヤホン３２及び左イヤホン３４から出力される音声出力を、不揮発性記憶部３０９に記憶させた設定値に対応した音声出力に変更させる（ステップＳ１０）。
【０１２１】
また、デバイス制御部３３０は、検出した状態変化が、画像表示部２０の使用者の頭部への装着ではない場合（ステップＳ９／ＮＯ）、画像表示部２０の使用者の頭部からの取り外しであるか否かを判定する（ステップＳ１１）。デバイス制御部３３０は、検出した状態変化が、画像表示部２０の使用者の頭部からの取り外しである場合（ステップＳ１１／ＹＥＳ）、ＨＭＤ２００の現在の音声出力の設定値を不揮発性記憶部３０９に記憶させる。また、デバイス制御部３３０は、画像表示部２０の表示輝度の設定値を不揮発性記憶部１０９に記憶させる。その後、デバイス制御部３３０は、画像表示部２０の表示輝度を「０」に変更させ、音声の出力先をＨＭＤ２００からスピーカー３１５に変更する（ステップＳ１２）。
【０１２２】
また、デバイス制御部３３０は、検出した状態変化が、画像表示部２０の使用者の頭部からの取り外しではない場合（ステップＳ１１／ＮＯ）、検出した状態変化が着呼の検出であるか否かを判定する（ステップＳ１３）。デバイス制御部３３０は、検出した状態変化が着呼の検出である場合（ステップＳ１３／ＹＥＳ）、画像表示部２０の表示輝度を「０」に変更させる（ステップＳ１４）。
【０１２３】
また、デバイス制御部３３０は、検出した状態変化が、着呼の検出ではない場合（ステップＳ１３／ＮＯ）、検出した状態変化がＨＭＤ２００への画像出力であるか否かを判定する（ステップＳ１５）。デバイス制御部３３０は、検出した状態変化がＨＭＤ２００への画像出力である場合（ステップＳ１５／ＹＥＳ）、表示パネル３２１の表示輝度を「０」に変更させる。また、デバイス制御部３３０は、ＨＭＤ２００に出力する音声出力を不揮発性記憶部３０９に記憶させた設定値に対応した出力に変更させる（ステップＳ１６）。
【０１２４】
また、デバイス制御部３３０は、検出した状態変化が、ＨＭＤ２００への画像出力ではない場合（ステップＳ１５／ＮＯ）、検出した状態変化が、覚醒状態の第１レベルへの低下であるか否かを判定する（ステップＳ１７）。デバイス制御部３３０は、使用者の覚醒状態が第１レベルに低下している場合（ステップＳ１７／ＹＥＳ）、バイブレーター３１３やバイブレーター６５を駆動させ（ステップＳ１８）、使用者を覚醒させる。
【０１２５】
また、デバイス制御部３３０は、覚醒状態の第１レベルへの低下ではない場合（ステップＳ１７／ＮＯ）、検出した状態変化が、覚醒状態の第２レベルへの低下であるか否かを判定する（ステップＳ１９）。デバイス制御部３３０は、検出した状態変化が、覚醒状態の第２レベルへの低下である場合（ステップＳ１９／ＹＥＳ）、周辺監視を開始する（ステップＳ２０）。また、デバイス制御部３３０は、検出した状態変化が、覚醒状態の第２レベルへの低下ではない場合（ステップＳ１９／ＮＯ）、ステップＳ２７の判定に移行する。
【０１２６】
デバイス制御部３３０は、周辺監視を開始すると、カメラ６１に撮像を実行させ、カメラ６１の撮像画像データにより不審者の検出を開始する（ステップＳ２１）。デバイス制御部３３０は、撮像画像データにより不審者を検出していない場合（ステップＳ２１／ＮＯ）には、ステップＳ２７の判定に移行する。
【０１２７】
また、デバイス制御部３３０は、撮像画像データにより不審者を検出した場合（ステップＳ２１／ＹＥＳ）、バイブレーター３１３やバイブレーター６５を振動させ（ステップＳ２２）、スピーカー３１５からビープ音を出力させる（ステップＳ２３）。また、デバイス制御部３３０は、表示パネル３２１に不審者が検出された旨と、予め設定された発呼先への発呼を行うか否かを問い合わせるメッセージを表示させる（ステップＳ２４）。
【０１２８】
デバイス制御部３３０は、発呼先への発呼の指示を受け付けた場合（ステップＳ２５／ＹＥＳ）、無線通信部３０１を制御して予め設定された発呼先へ発呼する（ステップＳ２６）。また、デバイス制御部３３０は、発呼の指示がない場合（ステップＳ２５／ＮＯ）、ステップＳ２１の判定に戻り不審者の検出を継続する。
【０１２９】
また、デバイス制御部３３０は、ステップＳ２７において、携帯情報端末３００の電源がオフされたか否かを判定する。デバイス制御部３３０は、携帯情報端末３００の電源がオフされていない場合（ステップＳ２７／ＮＯ）、ステップＳ４に戻り状態変化の検出を行う。また、デバイス制御部３３０は、携帯情報端末３００の電源がオフされた場合（ステップＳ２７／ＹＥＳ）、保存しておく必要があるデータを不揮発性記憶部３０９に記憶させ、携帯情報端末３００の電源をオフする（ステップＳ２８）。
【０１３０】
以上説明したように本実施形態の表示システム１は、表示装置の一例であるＨＭＤ２００と、デバイスの一例である携帯情報端末３００と、を備える。
ＨＭＤ２００は、画像表示部２０と、検出値出力部１２５とを備える。画像表示部２０は、使用者の頭部に装着され、外光を透過する透過型の表示部であって、携帯情報端末３００が出力する画像を表示する。画像表示部２０には、第１センサーが搭載される。第１センサーには、例えば、６軸センサー２４３、磁気センサー２４４及び近接センサー２４５が含まれる。検出値出力部１２５は、これら第１センサーの検出値を携帯情報端末３００に出力する。
【０１３１】
携帯情報端末３００は、表示部３２０と、デバイス制御部３３０と、を備える。
表示部３２０は、表示パネル３２１を備える。
デバイス制御部３３０は、第１センサーの検出値をＨＭＤ２００から取得する取得部３３４として機能する。また、デバイス制御部３３０は、取得部３３４が取得した検出値に基づいて、表示部３２０の表示を制御する表示制御部３３６として機能する。
【０１３２】
これらの構成を備える表示システム１は、ＨＭＤ２００に搭載された第１センサーの検出値に基づき、携帯情報端末３００の表示部３２０の表示が制御される。従って、操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３３】
また、携帯情報端末３００は、画像表示部２０に表示された画像をＨＭＤ２００に出力する画像出力部３３５と、ＨＭＤ２００との接続及び接続の解除を検出する接続検出部３３３と、を備える。
デバイス制御部３３０は、接続検出部３３３によりＨＭＤ２００との接続が検出されると、画像出力部３３５に、表示部３２０に表示された画像をＨＭＤ２００に出力させ、画像を画像表示部２０に表示させる。
従って、ＨＭＤ２００を携帯情報端末３００に接続することで、携帯情報端末３００の表示部３２０に表示した画像を、ＨＭＤ２００の画像表示部２０により表示させることができる。このため、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３４】
また、デバイス制御部３３０は、接続検出部３３３によりＨＭＤ２００との接続が検出されると、表示制御部３３６に、表示部３２０の表示輝度を、ＨＭＤ２００との接続が検出される前よりも低下させる。
また、デバイス制御部３３０は、接続検出部３３３によりＨＭＤ２００との接続の切断が検出されると、表示制御部３３６に、表示部３２０の表示輝度を、ＨＭＤ２００との接続の切断が検出される前よりも高くさせる。
従って、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３５】
また、携帯情報端末３００は、音声信号を処理する音声信号処理部３３７と、音声信号を出力するスピーカー３１５と、を備える。
ＨＭＤ２００は、音声信号を出力する右イヤホン３２及び左イヤホン３４を備える。
デバイス制御部３３０は、接続検出部３３３によりＨＭＤ２００との接続が検出されると、音声信号処理部３３７に、音声信号の出力先を、スピーカー３１５から右イヤホン３２及び左イヤホン３４に変更させる。
従って、ＨＭＤ２００を携帯情報端末３００に接続することで、音声信号の出力先を、スピーカー３１５から右イヤホン３２及び左イヤホン３４に変更することができる。このため、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３６】
また、デバイス制御部３３０は、接続検出部３３３によりＨＭＤ２００との接続が検出された場合、又は接続検出部３３３によりＨＭＤ２００との接続の解除が検出された場合に、音声信号処理部３３７に、音声信号の出力レベルを変更させる。
従って、音声信号の出力先が変更されても、変更された出力先に適した出力レベルで音声を出力させることができる。
【０１３７】
また、デバイス制御部３３０は、近接センサー２４５の検出値により画像表示部２０の頭部への装着が検出されると、表示制御部３３６に、表示部３２０の表示輝度を、画像表示部２０の頭部への装着が検出される前よりも低下させる。
使用者が画像表示部２０を頭部に装着した場合、使用者は、画像表示部２０が表示する画像を見ることが想定される。このため、携帯情報端末３００の表示部３２０の表示輝度を低下させることで、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３８】
また、デバイス制御部３３０は、ＨＭＤ２００を動作させる外部装置制御部３３９として機能する。
状態変化検出部３３８は、画像表示部２０の頭部への装着が検出されると、外部装置制御部３３９に、画像表示部２０の表示輝度を、画像表示部２０の頭部への装着が検出される前よりも高くさせる。
使用者が画像表示部２０を頭部に装着した場合、使用者は、画像表示部２０が表示する画像を見ることが想定される。このため、画像表示部２０の表示輝度を高く変更することで、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１３９】
状態変化検出部３３８は、画像表示部２０の頭部からの取り外しが検出されると、外部装置制御部３３９に、画像表示部２０の表示輝度を、画像表示部２０の頭部からの取り外しが検出される前よりも低くさせる。
使用者が画像表示部２０を頭部から取り外すと、使用者は、携帯情報端末３００の表示部３２０に表示される画像を見ることが想定される。このため、画像表示部２０の表示輝度を低く変更することで、使用者の操作の手間を軽減し、ユーザービリティーを向上させることができる。
【０１４０】
また、携帯情報端末３００は、音声通信を行う無線通信部３０１を備える。
状態変化検出部３３８は、無線通信部３０１が着呼を検出した場合に、画像表示部２０の表示輝度を低下させる。
従って、使用者が通話を行う場合に、画像表示部２０の表示輝度が低下するので、通話中の使用者の視界を確保し、ユーザービリティーを向上させることができる。
【０１４１】
また、携帯情報端末３００は、振動により報知を行うバイブレーター３１３を備える。状態変化検出部３３８は、第１センサーの検出値に基づいて画像表示部２０を装着した使用者の覚醒状態を検出する。状態変化検出部３３８は、使用者の覚醒状態の第１レベルへの低下を検出した場合に、バイブレーター３１３を動作させる。
従って、バイブレーター３１３を振動させ、使用者の覚醒状態の低下を抑制することできる。
【０１４２】
また、ＨＭＤ２００は、振動により報知を行うバイブレーター６５を備える。
デバイス制御部３３０は、ＨＭＤ２００を動作させる外部装置制御部３３９として機能する。
状態変化検出部３３８は、使用者の覚醒状態の第１レベルへの変化を検出した場合に、バイブレーター３１３を動作させ、外部装置制御部３３９に、バイブレーター６５を動作させるように指示する。
従って、バイブレーター３１３又はバイブレーター６５の振動により、使用者の覚醒状態の低下を抑制することできる。
【０１４３】
また、ＨＭＤ２００は、カメラ６１を備え、検出値出力部１２５は、カメラ６１の撮像画像を携帯情報端末３００に出力する。
携帯情報端末３００は、カメラ３０３を備える。状態変化検出部３３８は、使用者の覚醒状態の第２レベルへの変化を検出した場合に、カメラ６１及びカメラ３０３の少なくとも一方の撮像画像をもとに使用者の周辺状況を判定し、判定結果に基づいてバイブレーター３１３を動作させる。また、状態変化検出部３３８は、外部装置制御部３３９に、バイブレーター６５を動作させる。
従って、使用者の覚醒状態が第２レベルに低下した場合に、カメラ６１及びカメラ３０３の撮像画像により使用者の周囲を監視させることができる。また、例えば、異常が検出された場合に、バイブレーター３１３又はバイブレーター６５を振動させて、使用者を覚醒させることができる。
【０１４４】
状態変化検出部３３８は、撮像画像をもとに使用者から予め設定された範囲内への人の進入を検出した場合に、バイブレーター３１３を動作させる。また、状態変化検出部３３８は、外部装置制御部３３９に、バイブレーター６５を動作させる。
従って、睡眠状態にある使用者に近づく人を検出し、バイブレーター３１３又はバイブレーター６５を振動させて、使用者を覚醒させることができる。
【０１４５】
また、携帯情報端末３００は、９軸センサー３０７を備える。
状態変化検出部３３８は、取得部３３４が取得した検出値、及び９軸センサー３０７の検出値に基づいて使用者の覚醒状態を検出する。
従って、使用者の覚醒状態の検出精度を高めることができる。
【０１４６】
なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、状態変化検出部３３８は、無線通信部３０１により着呼が検出された場合、画像表示部２０に画像の表示を中止させ、スピーカー３１５の設定を、標準設定、すなわち、携帯情報端末３００にＨＭＤ２００が接続される前の状態に戻してもよい。
【０１４７】
また、図１及び図２に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に限定されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【０１４８】
また、図２には、ＨＭＤ２００が、６軸センサー２４３、磁気センサー２４４、近接センサー２４５及びカメラ６１を備える構成を説明したが、ＨＭＤ２００に、これらの構成に加えて、距離センサーや、温度センサー、照度センサー等を搭載してもよい。距離センサーは、例えば、カメラ６１により検出した対象物までの距離を検出する。温度センサーは、ＨＭＤ２００の周囲の温度を検出する。照度センサーは、ＨＭＤ２００の周囲の照度を検出する。さらに、ＨＭＤ２００に生体センサーを設けてもよい。生体センサーには、例えば、脳波センサー、脈波センサー、心拍センサー、発汗計、体温計、呼吸センサー、血圧計、血流センサー、筋電センサー、眼電位センサー、瞳孔センサー、視線センサー等が含まれる。携帯情報端末３００は、ＨＭＤ２００の生体センサーから生体情報を取得し、取得した生体情報に基づいて使用者の覚醒状態を判定する。
【０１４９】
また、図４及び図５に示すフローチャートの処理単位は、処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くの処理単位に分割してもよいし、１つの処理単位がさらに多くの処理を含むように分割してもよい。また、その処理の順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【０１５０】
また、デバイスである携帯情報端末３００の制御方法を、携帯情報端末３００が備えるコンピューターを用いて実現される場合、このコンピューターに実行させるプログラムを記録媒体、又はプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、携帯情報端末３００が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。
【符号の説明】
【０１５１】
１…表示システム、１１…コネクター、２０…画像表示部（透過型表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン（音声出力部）、３４…左イヤホン（音声出力部）、４０…接続ケーブル、４２…通信ケーブル、４６…オーディオコネクター、６１…カメラ（第１撮像部）、６３…マイク、６５…バイブレーター（第２報知部）、１００…接続装置、１０１…通信Ｉ／Ｆ部、１０３…接続部、１０５…電源部、１０７…操作部、１０９…不揮発性記憶部、１２０…ＨＭＤ制御部、１２１…表示制御部、１２３…カメラ制御部、１２５…検出値出力部、１２７…音声信号処理部、２００…ＨＭＤ（表示装置）、２２０…表示ユニット基板、２２１…接続部、２２２…受信部、２２４…ＯＬＥＤユニット、２４０…表示ユニット基板、２４１…接続部、２４２…受信部、２４３…６軸センサー（第１センサー）、２４４…磁気センサー（第１センサー）、２４５…近接センサー（第１センサー）、２４６…ＯＬＥＤユニット、３００…携帯情報端末（デバイス）、３０１…無線通信部、３０３…カメラ（第２撮像部）、３０４…コネクター、３０５…ＧＰＳ受信部、３０７…９軸センサー（第２センサー）、３０９…不揮発性記憶部、３１１…通信Ｉ／Ｆ部、３１３…バイブレーター（第１報知部）、３１５…スピーカー、３１７…マイク、３２０…表示部（デバイス表示部）、３２１…表示パネル、３２３…タッチパネル、３３０…デバイス制御部、３３１…アプリケーション部、３３２…ＯＳ、３３３…接続検出部、３３４…取得部、３３５…画像出力部、３３６…表示制御部、３３７…音声信号処理部、３３８…状態変化検出部、３３９…外部装置制御部、３４０…監視部。
【図１】
2020067955.tif 000003
【図２】
2020067955.tif 000004
【図３】
2020067955.tif 000005
【図４】
2020067955.tif 000006
【図５】
2020067955.tif 000007