【手続補正書】
【提出日】平成21年8月18日(2009.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、
を備える表示装置。
【請求項２】
画像の撮像を行う撮像手段を更に備える請求項１に記載の表示装置。
【請求項３】
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記撮像手段で撮像された画像データを上記表示手段で表示させる制御を行う請求項２に記載の表示装置。
【請求項４】
記録媒体からデータを再生する再生手段を更に備える請求項１に記載の表示装置。
【請求項５】
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段で再生されたデータを上記表示手段で表示させる制御を行う請求項４に記載の表示装置。
【請求項６】
上記制御手段は、上記再生手段で再生されたデータを上記表示手段で表示させている際に、上記使用者情報取得手段で取得された情報に基づいて、上記再生手段の再生動作の制御を行う請求項４に記載の表示装置。
【請求項７】
外部機器と通信を行ってデータを受信する受信手段を更に備える請求項１に記載の表示装置。
【請求項８】
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記受信手段で受信されたデータを上記表示手段で表示させる制御を行う請求項７に記載の表示装置。
【請求項９】
上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表示を行う表示状態とを切換可能である請求項１に記載の表示装置。
【請求項１０】
上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサである請求項１に記載の表示装置。
【請求項１１】
上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサである請求項１に記載の表示装置。
【請求項１２】
上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである請求項１に記載の表示装置。
【請求項１３】
上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされている請求項１に記載の表示装置。
【請求項１４】
上記使用者情報取得手段は、使用者の生体情報を検出する生体センサである請求項１に記載の表示装置。
【請求項１５】
上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている請求項１に記載の表示装置。
【請求項１６】
上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされている請求項１に記載の表示装置。
【請求項１７】
上記制御手段は、上記表示手段における表示動作の開始／終了の制御を行う請求項１に記載の表示装置。
【請求項１８】
上記表示手段は、透明もしくは半透明であるスルー状態と、供給されたデータの表示を行う表示状態とが切換可能とされるとともに、
上記制御手段は、上記表示手段に対して上記スルー状態と上記表示状態の切換制御を行う請求項１に記載の表示装置。
【請求項１９】
上記制御手段は、上記表示手段で表示させた画像の内容に対する入力操作を、上記使用者情報取得手段で取得された情報に基づいて判別する請求項１に記載の表示装置。
【請求項２０】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、上記表示手段における表示動作に関する制御を行う制御手段とを備えた表示装置の表示方法として、
上記使用者情報取得手段で使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記制御手段が上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップと、
を備える表示方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図２（ｄ）は、表示装置１が通信機能、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合表示装置１は、ネットワーク７３を介して各種データを受信し、その受信したデータの画像を表示部２で表示させる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
［２．表示装置の構成例］
図３に表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０はユーザの状況に基づいて、表示装置１内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能１０ａと、ユーザ状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、或いは通信部２６からの音声データが、音声入出力コントロール部２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disc Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、表示開始制御を行う。即ち表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、供給されるデータを通常撮像画像の態様で表示部２に表示させる動作を実行させる。
表示画像処理部１２には、画像入出力コントロール部２７を介して画像データが供給されるが、例えば図３又は図４のように複数の画像データソースを備える場合は、この時点では、撮像機能系（撮像部３、撮像信号処理部１５）、再生機能系（ストレージ部２５）、受信機能系（通信部２６）のソースのうちで内でデフォルト設定で選択されているソースからの画像データが、表示画像処理部１２に供給されるようにすればよい。例えば撮像機能系をデフォルト設定のソースであるとすると、ステップＦ１０３の表示開始制御の際に、システムコントローラ１０は撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力コントロール部２７を介して表示画像処理部１２に供給させる。この場合、表示部２では例えば図５（ａ）のスルー状態から例えば図５（ｂ）の通常撮像画像のモニタ表示状態に切り換えられることになる。
また、デフォルト設定のソースがストレージ部２５であれば、表示開始制御の際にストレージ部２５の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示部２に表示させてもよいし、デフォルト設定のソースが通信部２６であれば、表示開始制御の際に通信部２６の動作の制御も行い、通信用の画面や、外部機器からの受信データによる表示を表示部２に実行させてもよい。
もちろん、ソースが１つの構成の場合は、そのソースからの画像データが表示画像処理部１２に供給されるようにすればよい。
さらには、ステップＦ１０３での表示開始制御の際には、画像ソースからの画像データは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部２に表示させるような制御を行うことも考えられる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
表示部２で或るソースからの画像の表示を行っている期間は、システムコントローラ１０は、ステップＦ１０４で表示制御トリガが発生したか否かを監視し、またステップＦ１０５でソース切換トリガが発生したか否かを監視し、またステップＦ１０６で表示終了トリガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理などについての変更を行うとシステムコントローラ１０自身が判断することを意味している。
またソース切換トリガの発生とは、例えば図３，図４のように表示装置１に複数のソースが設けられている場合に、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ１０自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示部２での表示を終了してスルー状態への切り換えを行うとシステムコントローラ１０自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０が判断するが、その判断手法やトリガに応じた制御内容についても、具体例は後述する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
図１３から図１９は、システムコントローラ１０のユーザ状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図１９のような検知処理が定期的に割込処理として行われればよいものである。これら図１３〜図１９のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
ところで以上の図１４〜図１７では表示制御トリガの発生判断の例と、それに応じた制御の例について述べたが、図１２のステップＦ１０５で判断するソース切換トリガについても、同様に各種の例が想定される。
即ち視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２の各情報から各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされた場合にソース切換トリガ発生と判断すればよい。
そして図１２のステップＦ１０８では、そのソース切換トリガ発生に応じて、システムコントローラ１０は表示画像処理部１２に供給する画像データのソースを切り換える制御を行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
続いて、図１２のステップＦ１０６として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動により表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、表示終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、表示終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
図１９（ａ）は、ユーザの動作（操作として意識しない動作）に応じて自動的にスルー状態に戻す処理例である。
図１９（ａ）において、システムコントローラ１０はステップＦ９００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ１０は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップＦ９０１からＦ９０２に進め、表示終了トリガ発生と判断する。
このステップＦ９０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図５（ｂ）のような通常撮像画像の表示に切り換えるようにしてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ２２の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、表示装置１の外観や構成は図１，図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。