(57)【要約】【課題】ユーザの意志や身体状況等に応じて的確な撮像動作制御が行われるようにする。【解決手段】ユーザが例えば眼鏡型もしくは頭部装着型の装着ユニットにより装着することで、撮像手段がユーザの視線方向の光景を撮像する状態となるようにし、撮像手段で撮像された画像を表示手段で表示させたり、記録手段で記録媒体に記録させたり、送信手段で外部機器に送信させる。ここで、撮像動作のオン／オフや、撮像動作態様、例えばズーム状態、フォーカス状態、撮像感度調整や輝度レベル等の信号処理、撮像時のフレームレートなど、各種の撮像動作制御として、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行う。【選択図】図１
2008067219.tif 000002
【特許請求の範囲】
【請求項１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
上記撮像手段で撮像された画像を表示する表示手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記撮像手段で撮像された画像を記録媒体に記録する記録手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記記録手段での記録開始又は記録終了の制御を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記撮像手段で撮像された画像を外部機器に送信する送信手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記送信手段での送信開始又は送信終了の制御を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサであることを特徴とする請求項１に記載の撮像装置。
【請求項９】
上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサであることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサであることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサであることを特徴とする請求項１に記載の撮像装置。
【請求項１２】
上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされていることを特徴とする請求項１に記載の撮像装置。
【請求項１３】
上記使用者情報取得手段は、使用者の生体情報を検出する生体センサであることを特徴とする請求項１に記載の撮像装置。
【請求項１４】
上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされていることを特徴とする請求項１に記載の撮像装置。
【請求項１５】
上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされていることを特徴とする請求項１に記載の撮像装置。
【請求項１６】
上記制御手段は、上記撮像手段における撮像動作の開始又は終了の制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１７】
上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１８】
上記制御手段は、上記撮像手段における焦点制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１９】
上記制御手段は、上記撮像手段における撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２０】
上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２１】
上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２２】
上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２３】
上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２４】
上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２５】
上記被写体方向に対して照明を行う照明手段を更に備え、
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項２６】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段を備えた撮像装置の撮像方法として、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御ステップと、
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像する撮像装置と撮像方法に関する。
【背景技術】
【０００２】
【特許文献１】特開２００５−１７２８５１号公報
【０００３】
例えば上記各特許文献１のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視線方向の光景を撮像できるようにした装置が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、ユーザの意志や状況に応じて、ユーザが見ている光景を、多様な撮像動作態様で的確に撮像する装置は開発されていない。
そこで本発明では、ユーザの状況（意志や身体状況等）に応じて、的確な撮像動作制御が行われるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御手段とを備える。
また、上記撮像手段で撮像された画像を表示する表示手段を更に備える。
また上記撮像手段で撮像された画像を記録媒体に記録する記録手段を更に備える。またこの場合、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記記録手段での記録開始又は記録終了の制御を行う。
また、上記撮像手段で撮像された画像を外部機器に送信する送信手段を更に備える。又この場合、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記送信手段での送信開始又は送信終了の制御を行う。
また上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
【０００６】
また上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサである。
また上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサである。
また上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサである。
また上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである。
また上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサである。
また上記使用者情報取得手段は、使用者の生体情報を検出する生体センサである。
また上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサである。
また上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサである。
【０００７】
また上記制御手段は、上記撮像手段における撮像動作の開始又は終了の制御を行う。
また上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行う。
また上記制御手段は、上記撮像手段における焦点制御を行う。
また上記制御手段は、上記撮像手段における撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行う。
また上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行う。
また上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行う。
また上記被写体方向に対して照明を行う照明手段を更に備え、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う。
【０００８】
本発明の撮像方法は、眼鏡型もしくは頭部装着型の装着ユニットに配置され、該装着ユニットを装着した使用者が視認する方向を被写体方向として撮像するようにされる撮像手段を備えた撮像装置の撮像方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報から使用者の意志又は状況を判定し、判定結果に基づいて上記撮像手段の動作を制御する制御ステップとを備える。
【０００９】
以上の本発明では、使用者（ユーザ）が、眼鏡型もしくは頭部装着型の装着ユニットを装着することで、撮像手段はユーザの視線方向の光景を撮像する状態となる。そして撮像手段で撮像された画像は、表示手段で表示されたり、記録手段で記録媒体に記録されたり、送信手段で外部機器に送信される。
ここで、撮像動作のオン／オフや、撮像動作態様、例えばズーム状態、フォーカス状態、撮像感度調整や輝度レベル等の信号処理、撮像時のフレームレートなど、各種の撮像動作制御としてユーザの意志や状況に応じた適切な制御が行われることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行うようにする。
【発明の効果】
【００１０】
本発明によれば、撮像手段でユーザの視線方向の光景を撮像するが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して制御することで、ユーザに操作負担がないまま、ユーザの意志又は状況に応じた的確な撮像動作が実行される。これによりユーザの視界方向の光景が的確なタイミングや態様で撮像されるという効果がある。また撮像された画像データを記録媒体に保存したり、外部機器に送信することで、或るユーザの視界の光景を複数の人の間で共有したり、後にユーザの視界光景を再生させて視聴できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の撮像装置、撮像方法の実施の形態を、次の順序で説明する。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．撮像画像例］
［４．ユーザ状況の判定］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
【００１２】
［１．撮像装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像装置１の外観例を示す。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１３】
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１４】
なお図１は一例であり、撮像装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。
【００１５】
図１の撮像装置１は、撮像のための構成部分と撮像した画像をモニタできる表示部２が一体に形成された例であるが、図２の撮像装置１Ａは、表示部２が別体とされている例である。
図２の撮像装置１Ａは、所定の装着フレームにより頭部に装着される。そして装着状態においてユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤにより形成される。
また外部音声を集音するマイクロホン６ａが配置される。
【００１６】
この場合、後述するが撮像装置１Ａの内部には撮像した画像データを外部機器に送信する通信部が設けられている。例えば外部機器の一例として携帯用の表示装置３０が想定され、撮像装置１Ａはこの表示装置３０に撮像画像データを送信する。表示装置３０は受信した撮像画像データを表示画面３１に表示させる。
ユーザは、このように携帯用の表示装置３０を所持することで、撮像画像のモニタリングを行うことができる。
【００１７】
なお、ここでは別体の表示装置３０として携帯用の表示装置を挙げているが、例えば据置型の表示装置、コンピュータ装置、テレビジョン受像器、携帯電話機、ＰＤＡ（Personal Digital Assistant）などを想定することもできる。即ち撮像装置１Ａ自体にモニタ表示機能を備えない場合（或いは図１の撮像装置１のようにモニタ表示機能を備えていたとしても）、外部の表示装置で撮像された画像データのモニタリングを行う使用形態が想定される。
また、撮像装置１（又は１Ａ）が通信機能により撮像した画像データを送信する先の外部機器としては、上記の各種表示デバイスだけでなく、ビデオストレージ機器、コンピュータ装置、サーバ装置などであってもよい。つまり外部機器で撮像画像データを保存したり、配信することも想定される。
【００１８】
［２．撮像装置の構成例］
図３に撮像装置１の内部構成例を示す。この図３は、図１のように眼鏡型ディスプレイカメラとして撮像機能と表示機能を一体的に備えた場合の構成例である
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。
このシステムコントローラ１０はユーザの状況に基づいて、撮像装置１内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能１０ａと、ユーザ状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【００１９】
撮像装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００２０】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００２１】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【００２２】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール部２７に供給される。
画像入出力コントロール部２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、撮像モニタ表示系（表示画像処理部１２）、ストレージ部２５、通信部２６の間の画像データの転送を制御する。
例えば画像入出力コントロール部２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えば通信部２６で受信された画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。
【００２３】
撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は、画像入出力コントロール部２７を介して表示画像処理部１２に供給することができる。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成や、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２４】
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部２を透明もしくは半透明とする「スルー状態」に対して、表示部２で画像表示を行っている動作（及びその状態）を「モニタ表示」（「モニタ表示状態」）と言うこととする。
【００２５】
なお、ストレージ部２５で再生された画像データや、通信部２６で受信された画像データも、画像入出力コントロール部２７を介して表示画像処理部１２に供給できる。その場合、表示画像処理部１２、表示駆動部１３の上記動作により、表示部２において再生画像や受信画像が出力されることになる。
【００２６】
また撮像装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。
【００２７】
音声入力部６で得られた音声データは音声入出力コントロール部２８に供給される。
音声入出力コントロール部２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。
例えば音声入出力コントロール部２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。
【００２８】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、或いは通信部２６からの音声データが、音声入出力コントロール部２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部２に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。
なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【００２９】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disc Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【００３０】
通信部２６は外部機器との間でのデータの送受信を行う。上述したように外部機器としては、図２に示した表示装置３０や、コンピュータ装置、ビデオ機器、携帯電話機、ＰＤＡ、サーバ装置など、各種の機器が考えられる。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
【００３１】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データは、画像入出力コントロール部２７を介して通信部２６に供給することができる。また音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データは、音声入出力コントロール部２８を介して通信部２６に供給することができる。
通信部２６はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部２７へ出力し、また受信復調した音声データは音声入出力コントロール部２８へ出力する。
【００３２】
撮像装置１には照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００３３】
この撮像装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
視覚センサ１９は、ユーザの視覚に関する情報を検出する。視覚センサ１９は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ２２は、ユーザの生体情報を検出する。例えば生体センサ２２は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応（ＧＳＲ）、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ２２の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
【００３４】
これら視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、及び入力部１７により、撮像装置１を装着したユーザの動作又は身体の状況に関する情報（使用者情報）が取得され、システムコントローラ１０に供給される。
システムコントローラ１０はユーザ状況判定機能１０ａの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ１０は判定したユーザの意志又は状況に応じて動作制御機能１０ｂの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ１０は撮像制御部１１に指示して撮像部３や撮像信号処理部１５の動作を制御し、また表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御する。
【００３５】
なお、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００３６】
次に図４は、例えば図２のようにモニタ表示機能を有しない撮像装置１Ａの構成例を示すものである。なお、図３と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図４の構成は、図３の構成から、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４、音声信号処理部１６、音声出力部５を省いたものとなっている。
【００３７】
そして例えば撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【００３８】
また撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生された画像データは、画像入出力コントロール部２７を介して通信部２６に供給することができる。また音声入力部６で得られた音声データや、ストレージ部２５で再生した音声データは、音声入出力コントロール部２８を介して通信部２６に供給することができる。
通信部２６はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。例えば撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データを図２の表示装置３０に送信することで、表示装置３０において撮像画像のモニタリングを行うことができる。
また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部２７へ出力し、また受信復調した音声データは音声入出力コントロール部２８へ出力する。
【００３９】
この図４の構成の場合も、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２が設けられる。但し、図２のような装着フレーム構造であって、装着時に筐体ユニットが側頭部に配置される構造の場合、ユーザの視覚情報を検知する視覚センサ１９を設けることは困難になるが、例えば眼鏡型の装着フレーム構造を採用すれば、ユーザの眼を撮像するような視覚センサ１９を設けることもできる。
もちろんこの構成の場合も、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００４０】
［３．撮像画像例］
本例の撮像装置１（１Ａ）ではシステムコントローラ１０が、ユーザの意志又は状況に応じて撮像動作に関する制御を行うことで、ユーザがキー操作、ダイヤル操作等の操作子の操作を行わないまま、的確な撮像を実現する。
ここでは図５から図９により、各種の撮像画像の例を示す。
【００４１】
図５（ａ）は、特に図１（図３）のように表示部２を有する撮像装置１の場合において、表示部２にがスルー状態となっている場合（表示部２を介してユーザが視認する光景）を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図５（ｂ）は、モニタ表示状態として、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図５（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、これらの部位が撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
【００４２】
図５（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合の撮像画像例である。例えばこのような望遠撮像としての画像撮像を行うことで、ユーザは図１の表示部２や図２の表示装置３０において、望遠画像を見ることができる。またこのような画像をストレージ部２５において記録したり、通信部２６で外部機器に送信して外部機器側で保存することができる。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
【００４３】
図６（ａ）は通常撮像画像を示し、図６（ｂ）は拡大画像を示している。図６（ａ）のような光景を撮像している場合に、システムコントローラ１０が、撮像制御部１１を介して撮像信号処理部１５に対して画像拡大処理を指示することで、図６（ｂ）のような拡大撮像画像を得ることができる。
【００４４】
図７（ａ）は通常撮像画像が示しているが、特に周囲が薄暗く、通常撮像画像は暗い画像となっている状態を示している。
このような場合に、システムコントローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、撮像信号処理における輝度レベル、コントラスト、シャープネス調整を指示することなどにより、図７（ｂ）のように、よりはっきりした明るい撮像画像とすることができる。なお、照明部４に照明動作を実行させることも、このような撮像を行う場合に好適となる。
【００４５】
図８（ａ）は、例えばユーザが、子供が寝ている暗い寝室に居る場合の通常撮像画像を示している。この場合、暗い部屋の中であるため、通常撮像画像では、子供の姿等がはっきり現れない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図８（ｂ）のように赤外線撮像画像が得られ、暗い部屋で子供の寝顔などを確認できる撮像画像となる。
【００４６】
図９（ａ）は通常撮像画像であるが、システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図９（ｂ）のように紫外光成分を表した撮像画像が得られる。
【００４７】
ここまで各種の撮像画像例を示したが、これらは一例にすぎない。本例においては、撮像部３，撮像信号処理部１５の各処理や動作を制御することで、多様な撮像態様での撮像画像が実現される。
例えば、望遠撮像画像、広角撮像画像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像画像、拡大撮像画像、縮小撮像画像、フレームレートの可変撮像画像（高フレームレートでの撮像や低フレームレートでの撮像など）、高輝度撮像画像、低輝度撮像画像、コントラスト可変撮像画像、シャープネス可変撮像画像、撮像感度上昇状態の撮像画像、赤外線撮像感度上昇状態の撮像画像、紫外線撮像感度上昇状態の撮像画像、特定波長帯域をカットした撮像画像、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクトを加えた撮像画像、静止画撮像画像など、非常に多様な撮像画像態様が想定される。
【００４８】
［４．ユーザ状況の判定］
上述したように本例の撮像装置１（１Ａ）は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
【００４９】
視覚センサ１９は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ１９は、一例としては、例えば図１の撮像装置１において表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、ユーザ状況判定機能１０ａが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ１９は、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
【００５０】
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠撮像を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザの場合にのみ撮像動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
【００５１】
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば加速度センサ２０は直線方向の動きを検出し、ジャイロ２１により回転系の動きや振動を検出する場合に適している。
加速度センサ２０やジャイロ２１の配置位置にもよるが、加速度センサ２０やジャイロ２１によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の撮像装置１の内部に取り付けられた場合、つまり加速度センサ２０及びジャイロ２１がユーザの頭部の動きを検出するものとされた場合は、加速度センサ２０の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ２１はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ２０及びジャイロ２１によっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ２０やジャイロ２１が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
【００５２】
生体センサ２２は、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また撮像装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが撮像装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ２２による検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサ２２は、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像装置１（又は１Ａ）の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
【００５３】
［５．各種動作例］
本実施の形態の撮像装置１（１Ａ）は、以上のように視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２から検出されるユーザの情報に応じて、システムコントローラ１０が撮像動作を制御することで、ユーザの意志や状況に応じた適切な撮像を実現するものである。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
【００５４】
なお、撮像装置１（１Ａ）においては、電源オン状態において撮像処理系（撮像部１３，撮像信号処理部１５、撮像制御部１１）は常時撮像動作を行うようにしても良いし、電源オン状態において撮像開始のトリガが発生した場合に撮像を開始するようにしてもよい。
つまり電源オン制御と撮像開始制御は同時でも良いし、別のタイミングでもよい。
例えば上述したようにユーザが撮像装置１を装着したことを検知して、システムコントローラ１０が電源オンとする処理を行うものとする場合には、電源オンとなった後、所定の撮像開始トリガによって撮像を開始させる例が考えられる。
また、例えばシステムコントローラ１０は、所定の撮像開始トリガを検知することによって装置の電源をオンとすると共に撮像を開始させる例も考えられる。
【００５５】
まず図１０，図１１，図１２で、システムコントローラ１０の動作制御機能１０ｂとしての制御処理例を示す。
図１０は、撮像動作の実行中は、モニタ表示動作、ストレージ部２５での記録動作、通信部２６からの送信動作の一部又は全部を同時的に行う例である。
なお、ここで述べるモニタ表示動作とは、図１の撮像装置１の場合は、表示部２に撮像画像を表示させる動作であり、図２の撮像装置１Ａの場合は、通信部２６から表示装置３０に撮像画像データを送信し、表示装置３０においてモニタ表示を実行できる状態とする動作である。
またここで述べる通信部２６からの送信動作とは、表示装置３０に限らず、上述したように想定される多様な外部機器に対して、撮像信号としての画像データ及び音声データを送信する動作である。送信先の機器で画像データ及び音声データがどのように処理されるか（例えば表示／音声出力されるか、記録されるか、さらに他の機器に転送・配信されるかなど）は送信先の機器によるものとなる。
【００５６】
図１０のステップＦ１０１では、システムコントローラ１０は撮像開始トリガが発生したか否かを確認している。ここでは撮像開始トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、撮像動作を開始させるとシステムコントローラ１０自身が判断することを意味している。ユーザの意識的な動作、又はユーザの無意識な動作、或いはユーザの状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０は撮像開始トリガの有無を判断する。具体例は後述する。
【００５７】
撮像開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０２に進め、撮像開始制御を行う。即ち撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させる。
またこのときシステムコントローラ１０は表示開始制御、記録開始制御、送信開始制御の一部又は全部を実行する。
表示開始制御とは、図１、図３の撮像装置１の場合、表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、撮像信号を通常撮像画像の態様で表示部２に表示させる動作を実行させることになる。また図２，図４の撮像装置１Ａの場合、通信部２６から外部の表示装置３０に対して撮像された画像データ及び音声データを送信する動作を実行させる制御となる。
記録開始制御とは、撮像された画像データ及び音声データの記録をストレージ部２５に開始させる制御となる。
送信開始制御とは、撮像された画像データ及び音声データの外部機器に対する送信を通信部２６に開始させる制御となる。
【００５８】
撮像を開始させた後は、システムコントローラ１０は、ステップＦ１０３で撮像動作制御トリガが発生したか否かを監視し、またステップＦ１０４で撮像終了トリガが発生したか否かを監視する。
撮像動作制御トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、撮像動作態様の変更を行うとシステムコントローラ１０自身が判断することを意味している。また撮像終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、撮像動作を終了するとシステムコントローラ１０自身が判断することを意味している。ユーザの意識的な動作、又はユーザの無意識な動作や状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０は撮像終了トリガの有無を判断する。これらについても具体例は後述する。
【００５９】
撮像動作制御トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０５に進め、撮像動作に関しての制御を行う。つまり撮像制御部１１に指示し、その時点のユーザの意志又は状況に応じた態様の撮像動作を実行させる。
ステップＦ１０５で撮像動作態様に関しての制御を行った後も、ステップＦ１０３，Ｆ１０４でトリガ発生の監視を行う。
【００６０】
撮像終了トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、撮像終了制御を行う。即ち撮像制御部１１に撮像終了を指示して撮像部３及び撮像信号処理部１５の撮像動作を終了させる。
またこのときシステムコントローラ１０は表示終了制御、記録終了制御、送信終了制御の一部又は全部を実行する。
即ちステップＦ１０２でモニタ表示を開始させていた場合は、その開始させた動作を終了させる。また記録動作を開始させていた場合は、ストレージ部２５における記録動作を終了させる。また送信動作を開始させていた場合は、通信部２６における送信動作を終了させる。
そしてシステムコントローラ１０はステップＦ１０１に戻る。
【００６１】
次に図１１は、撮像動作の実行タイミングとは別に、ストレージ部２５での記録動作、通信部２６からの送信動作の実行タイミングを制御する例である。なお、撮像開始制御、撮像終了制御、表示開始制御、表示終了制御、記録開始制御、記録終了制御、送信開始制御、送信終了制御の各制御の内容は図１０と同様である。
【００６２】
図１１のステップＦ１１０では、システムコントローラ１０は撮像開始トリガが発生したか否かを確認している。
撮像開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１１１に進め、撮像開始制御を行う。またこのときシステムコントローラ１０は表示開始制御を行う。
【００６３】
撮像を開始させた後は、システムコントローラ１０は、ステップＦ１１２で記録開始トリガ（又は送信開始トリガ）が発生したか否かを監視し、またステップＦ１１３では記録終了トリガ（又は送信終了トリガ）が発生したか否かを監視し、またステップＦ１１４で撮像終了トリガが発生したか否かを監視する。
記録開始トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、ストレージ部２５での記録動作を開始するとシステムコントローラ１０自身が判断することを意味している。
また記録終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、ストレージ部２５での記録動作を終了するとシステムコントローラ１０自身が判断することを意味している。
送信開始トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、通信部２６からの送信動作を開始するとシステムコントローラ１０自身が判断することを意味している。
送信終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、通信部２６からの送信動作を終了するとシステムコントローラ１０自身が判断することを意味している。
なお、例えば図２，図４の撮像装置１Ａの場合、ステップＦ１１１で表示開始制御を行うことが、通信部２６からの表示装置３０への送信開始の制御を行うことに相当するため、送信開始トリガ、送信終了トリガの発生とは図１，図３の撮像装置１を想定した場合の処理となる。但し、図２，図４の撮像装置１Ａであっても、モニタリング用の表示装置３０以外の他の外部機器に送信することを想定すれば、送信開始トリガ、送信終了トリガは、そのような送信についての送信制御のトリガと考えることができる。
【００６４】
記録開始トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１１２からＦ１１５に進め、ストレージ部２５に撮像による画像データ及び音声データの記録を開始させる制御を行う。
また送信開始トリガの発生と判断した場合も、システムコントローラ１０は処理をステップＦ１１２からＦ１１５に進め、通信部２６から外部機器に対して、撮像による画像データ及び音声データの送信を開始させる制御を行う。
記録開始制御又は送信開始制御を行ったら、システムコントローラ１０はステップＦ１１２，Ｆ１１３，Ｆ１１４のトリガ監視ループに戻る。
【００６５】
記録終了トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１１３からＦ１１６に進め、ストレージ部２５における記録動作を終了させる制御を行う。
また送信終了トリガの発生と判断した場合も、システムコントローラ１０は処理をステップＦ１１３からＦ１１６に進め、通信部２６から外部機器に対する、撮像による画像データ及び音声データの送信を終了させる制御を行う。
記録終了制御又は送信終了制御を行ったら、システムコントローラ１０はステップＦ１１２，Ｆ１１３，Ｆ１１４のトリガ監視ループに戻る。
【００６６】
撮像終了トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１１４からＦ１１７に進め、撮像終了制御を行う。即ち撮像制御部１１に撮像終了を指示して撮像部３及び撮像信号処理部１５の撮像動作を終了させる。またこのときシステムコントローラ１０は表示終了制御を実行する。
なお、撮像終了トリガが発生した時点で、記録動作や送信動作が終了されていない場合は、このときに記録終了制御や送信終了制御も行うことになる。
そしてシステムコントローラ１０はステップＦ１１０に戻る。
【００６７】
次に図１２は、撮像動作の実行タイミングとは別に、ストレージ部２５での記録動作、通信部２６からの送信動作の実行タイミングを制御し、さらに撮像動作態様の制御も行う例である。なお、撮像開始制御、撮像終了制御、表示開始制御、表示終了制御、記録開始制御、記録終了制御、送信開始制御、送信終了制御の各制御の内容は図１０、図１１と同様である。
【００６８】
図１２のステップＦ１２０では、システムコントローラ１０は撮像開始トリガが発生したか否かを確認している。
撮像開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１２１に進め、撮像開始制御を行う。またこのときシステムコントローラ１０は表示開始制御を行う。
【００６９】
撮像を開始させた後は、システムコントローラ１０は、ステップＦ１２２で記録開始トリガ（又は送信開始トリガ）が発生したか否かを監視し、またステップＦ１２３では記録終了トリガ（又は送信終了トリガ）が発生したか否かを監視し、またステップＦ１２４で撮像動作制御トリガが発生したか否かを監視し、またステップＦ１２５で撮像終了トリガが発生したか否かを監視する。
【００７０】
記録開始トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１２２からＦ１２６に進め、ストレージ部２５に撮像による画像データ及び音声データの記録を開始させる制御を行う。
また送信開始トリガの発生と判断した場合も、システムコントローラ１０は処理をステップＦ１２２からＦ１２６に進め、通信部２６から外部機器に対して、撮像による画像データ及び音声データの送信を開始させる制御を行う。
記録開始制御又は送信開始制御を行ったら、システムコントローラ１０はステップＦ１２２，Ｆ１２３，Ｆ１２４，Ｆ１２５のトリガ監視ループに戻る。
【００７１】
記録終了トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１２３からＦ１２７に進め、ストレージ部２５における記録動作を終了させる制御を行う。
また送信終了トリガの発生と判断した場合も、システムコントローラ１０は処理をステップＦ１２３からＦ１２７に進め、通信部２６から外部機器に対する、撮像による画像データ及び音声データの送信を終了させる制御を行う。
記録終了制御又は送信終了制御を行ったら、システムコントローラ１０はステップＦ１２２，Ｆ１２３，Ｆ１２４，Ｆ１２５のトリガ監視ループに戻る。
【００７２】
撮像動作制御トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１２４からＦ１２８に進め、撮像動作に関しての制御を行う。つまり撮像制御部１１に指示し、その時点のユーザの意志又は状況に応じた態様の撮像動作を実行させる。
ステップＦ１２８で撮像動作態様に関しての制御を行った後も、システムコントローラ１０はステップＦ１２２，Ｆ１２３，Ｆ１２４，Ｆ１２５のトリガ監視ループに戻る。
【００７３】
撮像終了トリガの発生と判断した場合は、システムコントローラ１０は処理をステップＦ１２５からＦ１２９に進め、撮像終了制御を行う。即ち撮像制御部１１に撮像終了を指示して撮像部３及び撮像信号処理部１５の撮像動作を終了させる。またこのときシステムコントローラ１０は表示終了制御を実行する。
なお、撮像終了トリガが発生した時点で、記録動作や送信動作が終了されていない場合は、このときに記録終了制御や送信終了制御も行うことになる。
そしてシステムコントローラ１０はステップＦ１２０に戻る。
【００７４】
システムコントローラ１０は動作制御機能１０ｂにより例えば以上の図１０又は図１１又は図１２の処理を行って撮像開始／終了や撮像動作態様の切換制御、さらには記録動作や送信動作の開始／終了制御を行う。
なお、ここでは撮像開始／終了制御と表示開始／終了制御を同じタイミングで実行するものとして説明したが、例えば図１，図３のように表示部３がユーザの両眼の直前に配置される構成の場合、撮像を行っている期間にモニタ表示を行わないようにする場合もある。例えばユーザの意志や状況に応じて、表示部２をスルー状態に切り換える制御も考えられる。例えば図１１、図１２の処理例では、撮像動作と、記録動作又は送信動作を別のタイミングで実行制御しているが、この記録動作又は送信動作のように、モニタ表示開始トリガ、モニタ表示終了トリガの判断を行うものとしてモニタ表示動作の実行制御を行うようにしてもよい。
【００７５】
そしてこれら図１０，図１１，図１２の処理においては、撮像開始トリガ、撮像動作制御トリガ、撮像終了トリガ、記録開始トリガ、記録終了トリガ、送信開始トリガ、送信終了トリガの判断に基づく制御を行っているが、これらのトリガ判断と制御内容の具体例について図１３以降で説明していく。
【００７６】
図１３から図２０は、システムコントローラ１０のユーザ状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１０又は図１１又は図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１０の処理を実行している期間中に、図１３〜図２０のような検知処理が定期的に割込処理としてに行われればよいものである。これら図１３〜図２０のような処理のプログラムは、図１０又は図１１又は図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【００７７】
まず図１３，図１４で、撮像開始トリガの判断についての例を述べる。
図１３（ａ）（ｂ）は、ユーザの挙動を撮像開始トリガとして検知する例である。
図１３（ａ）のステップＦ２００では、システムコントローラ１０が加速度センサ２０、又はジャイロ２１からの検出情報（加速度信号、角速度信号）を監視する処理を示している。
例えば首を縦に２回振る、左右に１往復振る、首を１周回す・・など、特定の動作を、ユーザが撮像開始を求める操作であると設定されているとする。システムコントローラ１０は、加速度センサ２０又はジャイロ２１（又はその両方）からの検出情報により、そのような撮像開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップＦ２０１からＦ２０２に進め、撮像開始トリガ発生と判別する。
【００７８】
このようにステップＦ２０２で撮像開始トリガ発生と判別することにより、例えば上記図１０の処理はステップＦ１０１からＦ１０２に進むことになり（図１１の処理の場合はステップＦ１１０からＦ１１１に進み、図１２の処理の場合はステップＦ１２０からＦ１２１に進む）、システムコントローラ１０は撮像制御部１１に撮像開始を指示することになる。
なお加速度センサ２０又はジャイロ２１からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
【００７９】
図１３（ｂ）は、視覚センサ１９の情報に基づいて撮像開始トリガを判別する例である。
システムコントローラ１０はステップＦ２１０で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを３回連続して行うという特定の動作を、ユーザが撮像開始を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ２１１からＦ２１２に進め、撮像開始トリガ発生と判別する。
ステップＦ２１２で撮像開始トリガ発生と判別することにより、上記図１０のステップＦ１０３（又は図１１のステップＦ１１１、又は図１２のステップＦ１２１）で、システムコントローラ１０は撮像制御部１１に撮像開始を指示することになる。
なお視覚センサ１９からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に２往復させるなど、他にも各種考えられる。
【００８０】
図１４（ａ）は、ユーザの無意識の挙動や身体状況により撮像開始トリガを判別する例である。
システムコントローラ１０はステップＦ２２０で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップＦ２２１では、システムコントローラ１０は加速度センサ２０、又はジャイロ２１からの検出情報（加速度信号、角速度信号）を監視する処理を示している。
そしてステップＦ２２２でシステムコントローラ１０は、生体センサ２２からの情報や、ユーザの挙動に基づいて、ユーザが平静状態であるか、或いは平静ではない状態、例えば緊張又は興奮したり、何らかの事象に注意や興味を向けたりしたような状態にあるかを判断する。例えば発汗状況、心拍数、脈拍、脳波、血圧等の検出値の変化や、急に首を別の方向に向けたり、走り出す、ジャンプするなどの突発的な挙動による、加速度や振動としての検出値の変化により、平静状態からの変化を判別する。
システムコントローラ１０はユーザが平静状態でなくなったと判別した場合は、処理をステップＦ２２２からＦ２２３に進め、撮像開始トリガ発生と判別する。
このようにステップＦ２２３で撮像開始トリガ発生と判別することにより、上記図１０のステップＦ１０３（又は図１１のステップＦ１１１、又は図１２のステップＦ１２１）で、システムコントローラ１０は撮像制御部１１に撮像開始を指示することになる。
この場合、ユーザが通常とは異なる心理状況や身体状況となった場合に、自動的に撮像が開始されるものとなる。
【００８１】
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理として他にも各種想定される。
例えば視覚センサ１９からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ発生と判断するなど、視覚センサ１９の情報を用いたり、また音声入力部６からの入力音声に基づいて撮像開始トリガ発生を判断することも考えられる。
【００８２】
図１４（ｂ）は、ユーザが撮像装置１（１Ａ）を装着すること自体を、撮像開始のトリガとする例である。
システムコントローラ１０はステップＦ２３０で、生体センサ２２からの脳波、心拍数、皮膚電気反応などの情報をチェックする。
そしてステップＦ２３１でシステムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが撮像装置１（１Ａ）を装着したか否かを判断する。生体センサ２２により人体からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ１０はユーザが撮像装置１（１Ａ）を装着したと判別した場合は、処理をステップＦ２３１からＦ２３２に進め、撮像開始トリガ発生と判別する。
このようにステップＦ２３２で撮像開始トリガ発生と判別することにより、上記図１０のステップＦ１０３（又は図１１のステップＦ１１１、又は図１２のステップＦ１２１）で、システムコントローラ１０は撮像制御部１１に撮像開始を指示することになる。
このように例えば生体センサ２２の反応により、ユーザによる装着を検出できるため、生体センサ２２による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことを撮像開始トリガ発生とする。これにより、ユーザが装着している期間に撮像を行うという動作制御を実行できる。
【００８３】
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、撮像を開始するという制御ことも考えられる。上述のように視覚センサ１９で検出する眼底パターンや生体センサ２２による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ１０は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ１０は、撮像装置１が或るユーザに装着された際に個人認証を行い、特定のユーザを認識した場合に、それを撮像開始トリガと判別し、撮像開始制御を行うこともできる。
【００８４】
なお、以上の図１３，図１４では、撮像開始トリガの発生判断の例について述べたが、図１１，図１２の処理例における記録開始トリガや送信開始トリガの発生判断も、これら図１３，図１４の例のように、ユーザの意識的な挙動、無意識の挙動、身体状況、個人認証などに基づいて行えばよい。
【００８５】
次に、図１０のステップＦ１０３や図１２のステップＦ１２４としての、撮像動作制御トリガ発生の判断に関する処理例を図１５から図１８で説明する。
図１５（ａ）は、ユーザの視線の動きによりズーム制御を行う例である。
システムコントローラ１０は図１５（ａ）のステップＦ３００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ１０は、ユーザの視線方向が下方に移動したことを検知したら、ステップＦ３０１からＦ３０２に進め、ズームアップ（広角ズーム）撮像への切換の撮像動作制御トリガの発生と判別する。
ステップＦ３０２で広角ズームの撮像動作制御トリガ発生と判別することにより、上記図１０の処理はステップＦ１０３からＦ１０５に進むことになり（図１２の処理の場合はステップＦ１２４からＦ１２８に進む）、システムコントローラ１０は撮像制御部１１にズームアップ動作を指示する。
ユーザの視線が下方に向くときは、新聞や書籍を読んだり、目の前の非常に近い位置を見ようとしているときであるため、このようにズームアップ撮像が行われることで、ユーザの近傍をはっきり示す撮像画像が得られることになる。
【００８６】
図１５（ｂ）はユーザの首（頭部）の動きと眼の焦点距離に基づいて、ズーム制御を行う例である。
システムコントローラ１０は図１５（ｂ）のステップＦ３１０で、視覚センサ１９からの情報を解析し、ユーザの眼の焦点距離や視線方向を検出する。またステップＦ３１１でシステムコントローラ１０は加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きを判別する。
そしてシステムコントローラ１０はステップＦ３１２，Ｆ３１３で、焦点距離及び首の向きの検出結果から、ユーザが近傍を見る状態にあるか、遠方を見る状態にあるかを判別する。
【００８７】
システムコントローラ１０は、ユーザが近傍を見ていると判別したらステップＦ３１２からＦ３１４に進んで、ズームアップ（広角ズーム）表示への撮像動作制御トリガの発生と判別する。そしてステップＦ３１６で、その際の焦点距離とユーザの首（頭部）の向きから適切なズーム倍率を算出する。
またシステムコントローラ１０は、ユーザが遠方を見ていると判別したらステップＦ３１３からＦ３１５に進んで、望遠ズーム表示への撮像動作制御トリガの発生と判別する。そしてステップＦ３１６で、その際の焦点距離とユーザの首（頭部）の向きから適切なズーム倍率を算出する。
このステップＦ３１４，Ｆ３１６、もしくはステップＦ３１５、Ｆ３１６の処理が行われることで、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６（図１２の処理の場合はステップＦ１２４からＦ１２８）に進むことになり、撮像制御部１１に計算した倍率でのズーム動作を指示する。
これによりユーザが見ようとしている光景に応じてズームアップ画像や、例えば図５（ｃ）のような望遠画像が撮像されることになる。
【００８８】
なお、図１５（ａ）（ｂ）では撮像部１３のズーム動作により撮像画像を変化させる例を述べたが、視線方向、焦点距離、首の向きなどに応じて、撮像信号処理部１５に画像拡大／縮小処理などを実行させるようにしてもよい。
【００８９】
図１６は、ユーザにとって快適な画像の撮像や、周囲が暗い状況に対応できるようにする例である。例えば図１，図３の撮像装置１によりユーザが眼前の表示部２で撮像画像をモニタリングしているような状況において特に好適である。
【００９０】
システムコントローラ１０は図１６のステップＦ４００で、視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
またステップＦ４０１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ１０は、これらの視覚センサ１９や生体センサ２２からの情報に基づいて、表示部２でモニタ表示されている撮像画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ１０は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップＦ４０２からＦ４０３に進め、撮像画像の調整制御の撮像動作制御トリガ発生と判別する。
その場合ステップＦ４０４で、ユーザの状況に応じて快適と考えられる調整値、例えば撮像感度、輝度レベル、コントラスト、シャープネス、照明の明るさなどの調整値を算出する。
【００９１】
このステップＦ４０３，Ｆ４０４の処理により、システムコントローラ１０の図１０の処理はステップＦ１０３からＦ１０５（図１２の処理の場合はステップＦ１２４からＦ１２８）に進むことになり、この場合は撮像部１３の撮像感度の調整や、撮像信号処理部１５に対する輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、撮像画像の画質が調整され、ユーザにとって快適な撮像及びモニタリング表示画像を得ることができる。例えば図７（ｂ）のような撮像画像を得ることができる。
また瞳孔の開き具合から暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
例えばユーザの視覚感覚や快適／不快の感覚を検知してこのような処理が行われることで、ユーザにとって快適な撮像画像を得ることができる状態に制御できる。
【００９２】
ここまでの図１５，図１６の処理は、ユーザが特に意識的な操作を行うことなく、無意識のうちに、システムコントローラ１０がユーザの状況を判断して、撮像動作態様を制御する例を述べたが、図１７，図１８では、ユーザの意識的な挙動を画像制御のトリガ（もしくはトリガの条件の１つ）とする例を述べる。
【００９３】
図１７はユーザの首（頭部）の動きを操作とみなす処理である。
システムコントローラ１０はステップＦ５００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ステップＦ５０１でユーザの頭部の動きを判定する。例えばここでは、後ろに２回頭部を傾ける動作があったか、又は前に２回頭部を傾ける動作があったか、又は２回左に首を振る動作があったかを判定する。
後ろに２回頭部を傾ける動作を検出した場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０５に進め、望遠倍率２倍への切換の撮像動作制御トリガ発生と判別する。
この場合、システムコントローラ１０は図１０のステップＦ１０５（又は図１２のステップＦ１２８）で、撮像制御部１１に倍率２倍のズーム動作を指示する。これにより２倍の望遠倍率の画像撮像が行われることになる。
【００９４】
また前に２回頭部を傾ける動作を検出したら、システムコントローラ１０は処理をステップＦ５０３からＦ５０６に進め、望遠倍率１／２倍への切換の撮像動作制御トリガ発生と判別する。この場合、システムコントローラ１０は図１０のステップＦ１０５（又は図１２のステップＦ１２８）で、撮像制御部１１に倍率１／２倍のズーム動作を指示する。これにより２倍の望遠倍率の画像撮像が行われる。
【００９５】
また２回左に首を振る動作を検出したら、システムコントローラ１０は処理をステップＦ５０４からＦ５０７に進め、望遠倍率をリセットするという意味の撮像動作制御トリガ発生と判別する。この場合、システムコントローラ１０は図１０のステップＦ１０５（又は図１２のステップＦ１２８）で、撮像制御部１１に標準倍率のズーム動作を指示する。これにより標準倍率に戻された画像撮像が行われることになる。
【００９６】
このようにユーザの意識的な動きをトリガと判断し、撮像動作態様が切り換えられるようにすることで、ユーザが求める撮像画像を得ることができる。
もちろん首の挙動以外にも、ジャンプなど身体全体の挙動や、手、腕、脚部の動きを、それぞれ所定の操作と判定するようにしてもよい。
またユーザの挙動に応じては、ズーム制御ではなく、図６（ｂ）のような画像の拡大や、画像縮小の制御、撮像感度の制御、撮像フレームレートの切換、図８（ｂ）のような赤外線感度向上表示の制御、図９（ｂ）のような紫外線感度向上表示の制御など、他の撮像動作態様に切り換える制御を行うようにしても良い。
【００９７】
図１８（ａ）は、図８で述べた赤外線感度を上昇させた撮像を行う場合の処理例であるが、特にユーザの挙動による操作を、ユーザの身体状況に応じて、有効もしくは無効とする例である。
図１８（ａ）において、システムコントローラ１０はステップＦ７００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きや全身の動作などを判別する。
またステップＦ７０１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そしてシステムコントローラ１０は、ユーザが赤外線撮像を指示する特定の挙動（例えば首を２回振るなど）を行ったことを検知したら、処理をステップＦ７０２からＦ７０３に進め、このときユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断したら、ユーザの挙動を、有効な操作とし、ステップＦ７０４に進んで、赤外線感度上昇撮像の撮像動作制御トリガ発生と判断する。
このステップＦ７０４の処理により、システムコントローラ１０は図１０のステップＦ１０５（図１２のステップＦ１２８）で、撮像部３の赤外線撮像感度の上昇を指示する。これにより図８（ｂ）のような撮像画像が得られることになる。
一方、ステップＦ７０３でユーザが緊張又は興奮状態と判断した場合は、赤外線感度上昇撮像のトリガが発生したとは判断しないものとしている。つまりユーザの挙動による操作を無効とする。
このように、ユーザの身体状況を条件に入れた上で、挙動による操作の有効性を判断する例も考えられる。例えば、赤外線感度上昇撮像などの特殊撮像機能が悪用されるような事態の防止に有効である。
【００９８】
図１８（ｂ）は、図９で述べた紫外線感度を上昇させた撮像を行う場合の処理例である。
図１８（ｂ）において、システムコントローラ１０はステップＦ７１０で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザが紫外線撮像を指示する特定の挙動を行ったことを検知したら、処理をステップＦ７１１からＦ７１２に進め、紫外線感度上昇撮像の撮像動作制御トリガ発生と判断する。
このステップＦ７１２の処理により、システムコントローラ１０は図１０のステップＦ１０５（図１２のステップＦ１２８）で、撮像部３の紫外線撮像感度の上昇を指示する。これにより図９（ｂ）のような撮像画像が得られる。
【００９９】
以上、画像撮像態様を切り換える撮像動作制御トリガや制御の例を述べてきたが、もちろんこれらは一例であり、更に多様な例が想定されることは言うまでもない。
例えば加速度センサ２０、ジャイロ２１の情報からユーザの非方向状態、歩行状態、走行状態を検出し、これらの検出を撮像動作制御トリガとし、静止／歩行／走行に応じて撮像信号処理部１５でのブレ補正量を可変調整する制御を行ったり、撮像フレームレートの変更制御を行うなどの処理も考えられる。
また、図１５〜図１８で述べたような例を、記録開始トリガや送信開始トリガの発生と判断する例も考えられる。
例えば図１７の頭部の動きなどを、ユーザが記録や送信を求める動作と判定して、記録開始トリガや送信開始トリガの発生と判別しても良い。
また、撮像画像データについて、その１フレームを静止画データとしてストレージ部２５において記録させるという処理も考えられ、その場合、例えば上記したユーザの挙動や身体状況に応じて記録トリガ（シャッタタイミング）を判別し、そのタイミングでの１フレームの画像データ（静止画データ）を記録するようにしても良い。
【０１００】
続いて、図１０のステップＦ１０４（又は図１１のステップＦ１１４、又は図１２のステップＦ１２５）として検出する撮像終了トリガの判断についての例を図１９，図２０で述べる。
図１９（ａ）は、ユーザが意識的な挙動により撮像を終了させる処理例である。
図１９（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザが撮像の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の処理は図１０のステップＦ１０６（又は図１１のステップＦ１１７、又は図１２のステップＦ１２９）に進むことになり、撮像終了制御を行う。
【０１０１】
図１９（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１９（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが撮像の終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、撮像終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の処理は図１０のステップＦ１０６（又は図１１のステップＦ１１７、又は図１２のステップＦ１２９）に進むことになり、撮像終了制御を行う。
【０１０２】
この図１９（ａ）（ｂ）のような処理により、ユーザが撮像終了を求めた場合に、撮像動作が終了されるという、ユーザの意志に応じた制御が実行される。
もちろん、撮像終了トリガと判別するユーザの挙動は、他にも各種考えられる。
【０１０３】
図２０（ａ）は、ユーザの動作（操作を意識しない動作）に応じて自動的にスルー状態に戻す処理例である。
図２０（ａ）において、システムコントローラ１０はステップＦ９００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ１０は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップＦ９０１からＦ９０２に進め、撮像終了トリガ発生と判断する。
このステップＦ９０２の処理により、システムコントローラ１０は図１０のステップＦ１０６（又は図１１のステップＦ１１７、又は図１２のステップＦ１２９）で撮像終了制御を行う。
【０１０４】
なお、ここでは歩行又は走行状態になったら、撮像動作を終了させるとしたが、逆に歩行又は走行状態になったら、撮像開始トリガ発生と判断し、撮像動作を開始させるような制御も考えられる。
また、図１，図３の撮像装置１のように眼前に表示部２を配置する場合、歩行又は走行状態になったら、表示部２をスルー状態にもどすこと好ましい。そのため歩行又は走行を検知したら、撮像動作は継続するが、モニタ表示を終了させるトリガと判断するようにしてもよい。
或いは、歩行又は走行状態においては、スルー状態と同様のモニタ表示が行われるように、図３（ｂ）のような通常撮像画像が得られる状態に切り換えるようにしてもよい。
【０１０５】
図２０（ｂ）は、ユーザの身体状況に応じて自動的に撮像動作を終了させる処理例であるが、特に赤外線撮像の悪用を防止する意味を持つ処理例である。
図２０（ｂ）において、システムコントローラ１０はステップＦ９１０で、生体センサ２２からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そして、赤外線感度上昇撮像を実行中である場合は、ステップＦ９１１からＦ９１２に進み、ユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断した場合は、そのまま赤外線感度上昇撮像を続行許可するが、ユーザが緊張又は興奮状態であると判断した場合は、ステップＦ９１３に進み、その時点で撮像終了トリガ発生と判断する。
このステップＦ９１３の処理により、システムコントローラ１０は図１０のステップＦ１０６（又は図１１のステップＦ１１７、又は図１２のステップＦ１２９）で撮像終了制御を行う。
【０１０６】
このようにユーザの身体状況に応じて赤外線感度上昇撮像を終了させることは、ユーザが赤外線感度上昇撮像を悪用することの防止の意味で好適である。
また、この場合も、撮像動作を終了させるとして説明したが、例えば赤外線感度上昇撮像を終了させて通常撮像に切り換えるようにしてもよい。
【０１０７】
なお、以上の図１９，図２０では、撮像終了トリガの発生判断の例について述べたが、図１１，図１２の処理例における記録終了トリガや送信終了トリガの発生判断も、これら図１９，図２０の例のように、ユーザの意識的な挙動、無意識の挙動、身体状況などに基づいて行えばよい。
【０１０８】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部３による、ユーザが視認する方向を被写体方向とした画像撮像動作の開始、終了、撮像態様を、ユーザの挙動又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して制御することで、ユーザに操作負担をかけずに、ユーザの意志又は状況に応じた的確な撮像動作が実行される。これによりユーザの視線方向の光景が的確なタイミングや態様で撮像されるという効果がある。また同様にユーザの挙動や身体状況に応じて撮像画像データや音声データのストレージ部２５での記録や、通信部２６からの外部機器への送信を行うことで、或るユーザの視界の光景を複数の人の間で共有したり、後にユーザの視界光景を再生させて視聴できる。つまり撮像装置１（１Ａ）を装着したユーザの見ている視界光景を多様に活用できる。
【０１０９】
なお、実施の形態では撮像部３の撮像動作や撮像信号処理部１５の信号処理の制御によって実現される撮像動作に関する制御を主に説明したが、例えば電源オン／オフ／スタンバイの切換や、表示画像処理部１２の信号処理制御、音声出力部５から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ２２の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
【０１１０】
また、撮像装置１（１Ａ）の外観や構成は図１，図２，図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
例えばストレージ部２５、通信部２６の一方のみを備える構成としたり、これらを設けずにモニタ表示系を備える構成なども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、撮像画像１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像装置は、ユーザの視界方向を撮像することができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。また、撮像装置はユーザの身体のどこに装着されるものであってもよい。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態の撮像装置の外観例の説明図である。
【図２】実施の形態の他の撮像装置の外観例の説明図である。
【図３】実施の形態の撮像装置のブロック図である。
【図４】実施の形態の他の撮像装置のブロック図である。
【図５】実施の形態のスルー状態、通常撮像画像、望遠撮像画像の説明図である。
【図６】実施の形態の拡大画像の説明図である。
【図７】実施の形態の調整画像の説明図である。
【図８】実施の形態の赤外線感度上昇撮像画像の説明図である。
【図９】実施の形態の紫外線感度上昇撮像画像の説明図である。
【図１０】実施の形態の制御処理のフローチャートである。
【図１１】実施の形態の他の制御処理のフローチャートである。
【図１２】実施の形態の更に他の制御処理のフローチャートである。
【図１３】実施の形態の撮像開始トリガの判別処理のフローチャートである。
【図１４】実施の形態の撮像開始トリガの判別処理のフローチャートである。
【図１５】実施の形態の撮像動作制御トリガの判別処理のフローチャートである。
【図１６】実施の形態の撮像動作制御トリガの判別処理のフローチャートである。
【図１７】実施の形態の撮像動作制御トリガの判別処理のフローチャートである。
【図１８】実施の形態の撮像動作制御トリガの判別処理のフローチャートである。
【図１９】実施の形態の撮像終了トリガの判別処理のフローチャートである。
【図２０】実施の形態の撮像終了トリガの判別処理のフローチャートである。
【符号の説明】
【０１１２】
１，１Ａ  撮像装置、２  表示部、３  撮像部、４  照明部、５  音声出力部、６  音声入力部、１０  システムコントローラ、１１  撮像制御部、１２  表示画像処理部、１３  表示駆動部、１４  表示制御部、１５  撮像信号処理部、１６  音声信号処理部、１７  入力部、１９  視覚センサ、２０  加速度センサ、２１  ジャイロ、２２  生体センサ、２５  ストレージ部、２６  通信部
【図１】
2008067219.tif 000003
【図２】
2008067219.tif 000004
【図３】
2008067219.tif 000005
【図４】
2008067219.tif 000006
【図５】
2008067219.tif 000007
【図６】
2008067219.tif 000008
【図７】
2008067219.tif 000009
【図８】
2008067219.tif 000010
【図９】
2008067219.tif 000011
【図１０】
2008067219.tif 000012
【図１１】
2008067219.tif 000013
【図１２】
2008067219.tif 000014
【図１３】
2008067219.tif 000015
【図１４】
2008067219.tif 000016
【図１５】
2008067219.tif 000017
【図１６】
2008067219.tif 000018
【図１７】
2008067219.tif 000019
【図１８】
2008067219.tif 000020
【図１９】
2008067219.tif 000021
【図２０】
2008067219.tif 000022