【手続補正書】
【提出日】平成21年8月26日(2009.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御手段と、
を備える撮像装置。
【請求項２】
上記撮像手段で撮像された画像を表示する表示手段を更に備える請求項１に記載の撮像装置。
【請求項３】
上記撮像手段で撮像された画像を記録媒体に記録する記録手段を更に備え、
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記記録手段での記録開始又は記録終了の制御を行う請求項１に記載の撮像装置。
【請求項４】
上記撮像手段で撮像された画像を外部機器に送信する送信手段を更に備え、
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記送信手段での送信開始又は送信終了の制御を行う請求項１に記載の撮像装置。
【請求項５】
上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサである請求項１に記載の撮像装置。
【請求項６】
上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサである請求項１に記載の撮像装置。
【請求項７】
上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサである請求項１に記載の撮像装置。
【請求項８】
上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされている請求項１に記載の撮像装置。
【請求項９】
上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている請求項１に記載の撮像装置。
【請求項１０】
上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされている請求項１に記載の撮像装置。
【請求項１１】
上記制御手段は、上記撮像手段における撮像動作の開始又は終了の制御を行う請求項１に記載の撮像装置。
【請求項１２】
上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行う請求項１に記載の撮像装置。
【請求項１３】
上記制御手段は、上記撮像手段における焦点制御を行う請求項１に記載の撮像装置。
【請求項１４】
上記制御手段は、上記撮像手段における撮像感度の可変制御を行う請求項１に記載の撮像装置。
【請求項１５】
上記制御手段は、上記撮像手段における赤外線撮像感度又は紫外線撮像感度の可変制御を行う請求項１に記載の撮像装置。
【請求項１６】
上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行う請求項１に記載の撮像装置。
【請求項１７】
上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行う請求項１に記載の撮像装置。
【請求項１８】
上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行う請求項１に記載の撮像装置。
【請求項１９】
上記被写体方向に対して照明を行う照明手段を更に備え、
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う請求項１に記載の撮像装置。
【請求項２０】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段を備えた撮像装置の撮像方法として、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御ステップと、
を備える撮像方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
［１．撮像装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像装置１の外観例を示す。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１５のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、或いは通信部２６からの音声データが、音声入出力コントロール部２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。
なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disc Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
撮像装置１には照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
システムコントローラ１０は動作制御機能１０ｂにより例えば以上の図１０又は図１１又は図１２の処理を行って撮像開始／終了や撮像動作態様の切換制御、さらには記録動作や送信動作の開始／終了制御を行う。
なお、ここでは撮像開始／終了制御と表示開始／終了制御を同じタイミングで実行するものとして説明したが、例えば図１，図３のように表示部２がユーザの両眼の直前に配置される構成の場合、撮像を行っている期間にモニタ表示を行わないようにする場合もある。例えばユーザの意志や状況に応じて、表示部２をスルー状態に切り換える制御も考えられる。例えば図１１、図１２の処理例では、撮像動作と、記録動作又は送信動作を別のタイミングで実行制御しているが、この記録動作又は送信動作のように、モニタ表示開始トリガ、モニタ表示終了トリガの判断を行うものとしてモニタ表示動作の実行制御を行うようにしてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
なお、図１５（ａ）（ｂ）では撮像部３のズーム動作により撮像画像を変化させる例を述べたが、視線方向、焦点距離、首の向きなどに応じて、撮像信号処理部１５に画像拡大／縮小処理などを実行させるようにしてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
このステップＦ４０３，Ｆ４０４の処理により、システムコントローラ１０の図１０の処理はステップＦ１０３からＦ１０５（図１２の処理の場合はステップＦ１２４からＦ１２８）に進むことになり、この場合は撮像部３の撮像感度の調整や、撮像信号処理部１５に対する輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、撮像画像の画質が調整され、ユーザにとって快適な撮像及びモニタリング表示画像を得ることができる。例えば図７（ｂ）のような撮像画像を得ることができる。
また瞳孔の開き具合から暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
例えばユーザの視覚感覚や快適／不快の感覚を検知してこのような処理が行われることで、ユーザにとって快適な撮像画像を得ることができる状態に制御できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
また前に２回頭部を傾ける動作を検出したら、システムコントローラ１０は処理をステップＦ５０３からＦ５０６に進め、望遠倍率１／２倍への切換の撮像動作制御トリガ発生と判別する。この場合、システムコントローラ１０は図１０のステップＦ１０５（又は図１２のステップＦ１２８）で、撮像制御部１１に倍率１／２倍のズーム動作を指示する。これにより１／２倍の望遠倍率の画像撮像が行われる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
以上、画像撮像態様を切り換える撮像動作制御トリガや制御の例を述べてきたが、もちろんこれらは一例であり、更に多様な例が想定されることは言うまでもない。
例えば加速度センサ２０、ジャイロ２１の情報からユーザの非歩行状態、歩行状態、走行状態を検出し、これらの検出を撮像動作制御トリガとし、静止／歩行／走行に応じて撮像信号処理部１５でのブレ補正量を可変調整する制御を行ったり、撮像フレームレートの変更制御を行うなどの処理も考えられる。
また、図１５〜図１８で述べたような例を、記録開始トリガや送信開始トリガの発生と判断する例も考えられる。
例えば図１７の頭部の動きなどを、ユーザが記録や送信を求める動作と判定して、記録開始トリガや送信開始トリガの発生と判別しても良い。
また、撮像画像データについて、その１フレームを静止画データとしてストレージ部２５において記録させるという処理も考えられ、その場合、例えば上記したユーザの挙動や身体状況に応じて記録トリガ（シャッタタイミング）を判別し、そのタイミングでの１フレームの画像データ（静止画データ）を記録するようにしても良い。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
なお、ここでは歩行又は走行状態になったら、撮像動作を終了させるとしたが、逆に歩行又は走行状態になったら、撮像開始トリガ発生と判断し、撮像動作を開始させるような制御も考えられる。
また、図１，図３の撮像装置１のように眼前に表示部２を配置する場合、歩行又は走行状態になったら、表示部２をスルー状態にもどすこと好ましい。そのため歩行又は走行を検知したら、撮像動作は継続するが、モニタ表示を終了させるトリガと判断するようにしてもよい。
或いは、歩行又は走行状態においては、スルー状態と同様のモニタ表示が行われるように、図５（ｂ）のような通常撮像画像が得られる状態に切り換えるようにしてもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
また、撮像装置１（１Ａ）の外観や構成は図１，図２，図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
例えばストレージ部２５、通信部２６の一方のみを備える構成としたり、これらを設けずにモニタ表示系を備える構成なども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、撮像装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像装置は、ユーザの視界方向を撮像することができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。また、撮像装置はユーザの身体のどこに装着されるものであってもよい。