(57)【要約】【課題】ユーザの感情等に合わせて過去の光景を表示させるなど、面白みのある画像表示を実現する。【解決手段】ユーザが、撮像表示装置を、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、撮像手段はユーザの視界方向の光景を撮像する状態となる。この撮像手段での撮像で得られた画像データに、少なくともユーザの生体情報を利用して生成したメタデータを付加して保存する。また少なくともユーザの生体情報を検知し、生体情報を用いた検索条件を生成する。そして保存されている画像データの中で、検索条件により検索された画像データを取得し、表示させる。すると、ユーザにとっては、例えば現在の感情等の状況と同様の状況だった過去の画像が表示されることになり、例えば自動的に思い出の光景が表示されるような表示を実現できる。【選択図】図１７
2008118527.tif 000002
【特許請求の範囲】
【請求項１】
使用者の視界方向を被写体方向として撮像し、画像データを得る撮像手段と、
使用者の生体情報を検出する生体センサ手段と、
少なくとも上記生体センサ手段で得られる生体情報に基づくメタデータを生成し、上記撮像手段で得られる画像データを上記メタデータとともに保存する保存処理を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記制御手段は、所定の保存条件が満たされることに応じて、上記撮像手段で得られた画像データに上記メタデータを付加して上記保存処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
不揮発性記録媒体に記録を行う記録手段を更に備え、
上記制御手段は、上記保存処理として、上記撮像手段で得られた画像データと上記メタデータを、上記記録手段により上記不揮発性記録媒体に記録させる処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
外部機器に対してデータ送信を行う送信手段を更に備え、
上記制御手段は、上記保存処理として、上記撮像手段で得られた画像データと上記メタデータを、上記送信手段から外部機器に対して送信させる処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態のうちの少なくとも一つであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記制御手段は、上記生体センサ手段で得られる生体情報自体を含む上記メタデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記制御手段は、上記生体センサ手段で得られる生体情報から判別される使用者の感情情報を含む上記メタデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記制御手段は、満たされた上記保存条件の内容の情報を含む上記メタデータを生成することを特徴とする請求項２に記載の撮像装置。
【請求項９】
上記制御手段は、日時又は現在位置の情報を含む上記メタデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
上記制御手段は、使用者識別情報を含む上記メタデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
生体情報に基づくメタデータが付加された画像データが保存された不揮発性記録媒体から画像データを取得して表示する表示装置において、
表示手段と、
使用者の生体情報を検出する生体センサ手段と、
上記生体センサ手段で検出された生体情報に基づいて検索条件を生成するとともに、上記検索条件により上記不揮発性記録媒体において検索されて読み出された画像データを、上記表示手段に表示させる制御を行う制御手段と、
を備えたことを特徴とする表示装置。
【請求項１２】
上記不揮発性記録媒体に対して再生を行う再生手段を更に備え、
上記制御手段は、上記再生手段に、上記検索条件による検索を実行させ、検索されて読み出された画像データを、上記表示手段に表示させる制御を行うことを特徴とする請求項１１に記載の表示装置。
【請求項１３】
上記不揮発性記録媒体に対して再生を行う外部機器との間でデータ通信を行う通信手段を更に備え、
上記制御手段は、上記通信手段により上記外部機器に対して上記検索条件を送信して検索を要求し、上記外部機器において検索されて読み出された画像データを上記通信手段を介して取得し、上記表示手段に表示させる制御を行うことを特徴とする請求項１１に記載の表示装置。
【請求項１４】
上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態のうちの少なくとも一つであることを特徴とする請求項１１に記載の表示装置。
【請求項１５】
上記制御手段は、上記生体センサ手段で得られる生体情報自体を含む上記検索条件を生成することを特徴とする請求項１１に記載の表示装置。
【請求項１６】
上記制御手段は、上記生体センサ手段で得られる生体情報から判別される使用者の感情情報を含む上記検索条件を生成することを特徴とする請求項１１に記載の表示装置。
【請求項１７】
上記不揮発性記録媒体には、所定の保存条件が満たされた際の画像データが、保存条件の内容の情報を含むメタデータとともに保存されているとともに、
上記制御手段は、上記保存条件の内容の情報を含む上記検索条件を生成することを特徴とする請求項１１に記載の表示装置。
【請求項１８】
上記不揮発性記録媒体には、画像データが、日時又は現在位置の情報を含むメタデータとともに保存されているとともに、
上記制御手段は、日時又は現在位置の情報を含む上記検索条件を生成することを特徴とする請求項１１に記載の表示装置。
【請求項１９】
上記不揮発性記録媒体には、画像データが、使用者識別情報を含むメタデータとともに保存されているとともに、
上記制御手段は、使用者識別情報を含む上記検索条件を生成することを特徴とする請求項１１に記載の表示装置。
【請求項２０】
上記表示手段は、画像表示を行う画面領域の全部又は一部を透明もしくは半透明であるスルー状態とすることができることを特徴とする請求項１１に記載の表示装置。
【請求項２１】
上記制御手段は、上記表示手段において画像表示を行う画面領域の一部を上記スルー状態とさせ、画面領域の他の部分で、上記不揮発性記録媒体において検索されて読み出された画像データを表示させることを特徴とする請求項２０に記載の表示装置。
【請求項２２】
上記制御手段は、上記表示手段において画像表示を行う画面領域の全部を上記スルー状態とさせながら、上記画面領域の全部又は一部に、上記不揮発性記録媒体において検索されて読み出された画像データを表示させることを特徴とする請求項２０に記載の表示装置。
【請求項２３】
上記制御手段は、上記表示手段において、上記スルー状態と、上記不揮発性記録媒体において検索されて読み出された画像データの表示状態とを切り換えることを特徴とする請求項２０に記載の表示装置。
【請求項２４】
上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされることを特徴とする請求項１１に記載の表示装置。
【請求項２５】
使用者の視界方向を被写体方向として撮像し、画像データを得る撮像ステップと、
使用者の生体情報を検出する生体情報検出ステップと、
少なくとも上記生体情報検出ステップで得られる生体情報に基づくメタデータを生成するメタデータ生成ステップと、
上記撮像ステップで得られる画像データを上記メタデータ生成ステップで生成したメタデータとともに保存する保存処理ステップと、
を備えたことを特徴とする撮像方法。
【請求項２６】
生体情報に基づくメタデータが付加された画像データが保存された不揮発性記録媒体から画像データを取得して表示する表示装置の表示方法として、
使用者の生体情報を検出する生体情報検出ステップと、
上記生体情報検出ステップで検出された生体情報に基づいて検索条件を生成する検索条件生成ステップと、
上記検索条件により上記不揮発性記録媒体において検索されて読み出された画像データを表示する表示ステップと、
を備えたことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視界方向を被写体方向として撮像する撮像装置と撮像方法に関する。また、上記撮像装置で撮像され保存された画像データを検索し、表示する表示装置と表示方法に関する。
【背景技術】
【０００２】
【特許文献１】特開２００５−１７２８５１号公報
【特許文献２】特開２００６−１４６６３０号公報
【０００３】
例えば上記各特許文献１のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視界方向の光景を撮像できるようにした装置が提案されている。
また上記特許文献２には、生体情報を利用してユーザの状況に適した楽曲等のコンテンツを選択し提供する技術が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ユーザの視界方向の光景を撮像することにより、例えばユーザが日常生活において眼にする光景を画像データとして取得できるわけであるが、従来は、撮像により得た画像データを、ユーザにとって望ましい態様やおもしろみのある態様で利用できるようにする装置は開発されていない。
そこで本発明では、撮像画像を適切に保存するとともに、その画像データを興味深く利用できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、使用者の視界方向を被写体方向として撮像し、画像データを得る撮像手段と、使用者の生体情報を検出する生体センサ手段と、少なくとも上記生体センサ手段で得られる生体情報に基づくメタデータを生成し、上記撮像手段で得られる画像データを上記メタデータとともに保存する保存処理を行う制御手段とを備える。
また上記制御手段は、所定の保存条件が満たされることに応じて、上記撮像手段で得られた画像データに上記メタデータを付加して上記保存処理を行う。
また不揮発性記録媒体に記録を行う記録手段を更に備え、上記制御手段は、上記保存処理として、上記撮像手段で得られた画像データと上記メタデータを、上記記録手段により上記不揮発性記録媒体に記録させる処理を行う。
また外部機器に対してデータ送信を行う送信手段を更に備え、上記制御手段は、上記保存処理として、上記撮像手段で得られた画像データと上記メタデータを、上記送信手段から外部機器に対して送信させる処理を行う。
また上記生体情報は、脈拍、心拍、心電図、筋電、呼吸（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、体温、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態のうちの少なくとも一つである。
【０００６】
また上記制御手段は、上記生体センサ手段で得られる生体情報自体を含む上記メタデータを生成する。
また上記制御手段は、上記生体センサ手段で得られる生体情報から判別される使用者の感情情報を含む上記メタデータを生成する。
また上記制御手段は、満たされた上記保存条件の内容の情報を含む上記メタデータを生成する。
また上記制御手段は、日時又は現在位置の情報を含む上記メタデータを生成する。
また上記制御手段は、使用者識別情報を含む上記メタデータを生成する。
【０００７】
本発明の表示装置は、生体情報に基づくメタデータが付加された画像データが保存された不揮発性記録媒体から画像データを取得して表示する表示装置において、表示手段と、使用者の生体情報を検出する生体センサ手段と、上記生体センサ手段で検出された生体情報に基づいて検索条件を生成するとともに、上記検索条件により上記不揮発性記録媒体において検索されて読み出された画像データを上記表示手段に表示させる制御を行う制御手段とを備える。
また上記不揮発性記録媒体に対して再生を行う再生手段を更に備え、上記制御手段は、上記再生手段に、上記検索条件による検索を実行させ、検索されて読み出された画像データを、上記表示手段に表示させる制御を行う。
また上記不揮発性記録媒体に対して再生を行う外部機器との間でデータ通信を行う通信手段を更に備え、上記制御手段は、上記通信手段により上記外部機器に対して上記検索条件を送信して検索を要求し、上記外部機器において検索されて読み出された画像データを上記通信手段を介して取得し、上記表示手段に表示させる制御を行う。
また上記生体情報は、脈拍、心拍、心電図、筋電、呼吸、発汗、ＧＳＲ、血圧、血中酸素飽和濃度、皮膚表面温度、脳波、血流変化、体温、体の動き、頭の動き、重心、歩行／走行のリズム、眼の状態のうちの少なくとも一つである。
【０００８】
また上記制御手段は、上記生体センサ手段で得られる生体情報自体を含む上記検索条件を生成する。
また上記制御手段は、上記生体センサ手段で得られる生体情報から判別される使用者の感情情報を含む上記検索条件を生成する。
また上記不揮発性記録媒体には、所定の保存条件が満たされた際の画像データが、保存条件の内容の情報を含むメタデータとともに保存されているとともに、上記制御手段は、上記保存条件の内容の情報を含む上記検索条件を生成する。
また上記不揮発性記録媒体には、画像データが、日時又は現在位置の情報を含むメタデータとともに保存されているとともに、上記制御手段は、日時又は現在位置の情報を含む上記検索条件を生成する。
また上記不揮発性記録媒体には、画像データが、使用者識別情報を含むメタデータとともに保存されているとともに、上記制御手段は、使用者識別情報を含む上記検索条件を生成する。
【０００９】
上記表示手段は、画像表示を行う画面領域の全部又は一部を透明もしくは半透明であるスルー状態とすることができる。
また上記制御手段は、上記表示手段において画像表示を行う画面領域の一部を上記スルー状態とさせ、画面領域の他の部分で、上記不揮発性記録媒体において検索されて読み出された画像データを表示させる。
或いは上記制御手段は、上記表示手段において画像表示を行う画面領域の全部を上記スルー状態とさせながら、上記画面領域の全部又は一部に、上記不揮発性記録媒体において検索されて読み出された画像データを表示させる。
或いは、上記制御手段は、上記表示手段において、上記スルー状態と、上記不揮発性記録媒体において検索されて読み出された画像データの表示状態とを切り換える。
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
【００１０】
本発明の撮像方法は、使用者の視界方向を被写体方向として撮像し、画像データを得る撮像ステップと、使用者の生体情報を検出する生体情報検出ステップと、少なくとも上記生体情報検出ステップで得られる生体情報に基づくメタデータを生成するメタデータ生成ステップと、上記撮像ステップで得られる画像データを上記メタデータ生成ステップで生成したメタデータとともに保存する保存処理ステップとを備える。
本発明の表示方法は、生体情報に基づくメタデータが付加された画像データが保存された不揮発性記録媒体から画像データを取得して表示する表示装置の表示方法として、使用者の生体情報を検出する生体情報検出ステップと、上記生体情報検出ステップで検出された生体情報に基づいて検索条件を生成する検索条件生成ステップと、上記検索条件により上記不揮発性記録媒体において検索されて読み出された画像データを表示する表示ステップとを備える。
【００１１】
以上の本発明では、使用者（ユーザ）が、撮像装置を、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、撮像手段はユーザの視界方向の光景を撮像する状態となる。この撮像手段での撮像で得られた画像データに、少なくともユーザの生体情報を利用して生成したメタデータを付加して保存する。
一方、表示装置では、少なくともユーザの生体情報を検知し、少なくとも生体情報を用いた検索条件を生成する。そして保存されている画像データの中で、検索条件により検索された画像データを取得し、表示させる。
すると、ユーザにとっては、例えば現在の感情等の状況と同様の状況だった過去の画像が表示されることになり、例えば自動的に思い出の光景が現れるような表示を実現できる。
なお、撮像装置、撮像方法における保存処理とは、撮像により得られた画像データについて、例えば撮像装置の内部の記録手段で、ＨＤＤ（Hard Disk Drive）、光ディスク、光磁気ディスク、磁気ディスク、フラッシュメモリなどの不揮発性記録媒体に記録したり、或いは送信手段により外部機器に送信して外部機器でＨＤＤ等に保存できるようにする処理である。
また表示装置、表示方法では、このような不揮発性記録媒体に記録されて保存された画像データを対象として検索を行い、表示する。
【発明の効果】
【００１２】
本発明の撮像装置、撮像方法によれば、ユーザが日常、目にする光景が、ユーザの生体情報に基づいて生成されたメタデータとともに保存される。従って日常の光景の画像を、ユーザの状況に関連づけて保存することができ、後の再生等のための検索に便利となる。
また本発明の表示装置、表示方法によれば、生体情報を利用して生成した検索条件により、保存された画像データを検索し、表示することで、ユーザの現在の状況に適した過去の画像（例えばユーザ自身が見た過去の光景や、他人が見た過去の光景等）を提供できることになり、ユーザに思い出をよみがえらせたり、過去の似たような場面を確認させたり、印象的な出来事の光景を提示するなど、非常におもしろみのある画像提供を実現できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の撮像装置、撮像方法、表示装置、表示方法の実施の形態として、撮像表示装置の例を挙げ、次の順序で説明する。
［１．撮像表示装置の外観例］
［２．撮像表示装置の構成例］
［３．撮像画像例］
［４．リプレイ動作］
［５．保存する画像の選定例］
［６．撮像及び保存処理例］
［７．保存画像の表示処理例］
［８．実施の形態の効果、及び変形例、拡張例］
【００１４】
［１．撮像表示装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１５】
またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１６】
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザの視界方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けても良い。
【００１７】
ところで図１の撮像表示装置１は、撮像のための構成部分と撮像した画像をモニタできる表示部２が一体に形成された例であるが、図２の撮像表示装置１のように表示部が別体とされている例も考えられる。
図２の撮像表示装置１は、撮像装置部４０と表示装置部３０が別体で形成されている。
撮像装置部４０は所定の装着フレームによりユーザの頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。また、外部音声を集音するマイクロホン６ａが設けられている。
この場合、後述するが撮像装置部４０の内部には撮像した画像データ等を、別体構成される表示装置部３０に送信する通信部が設けられている。
【００１８】
表示装置部３０は例えばユーザが携帯可能な小型軽量の機器とされる。
表示装置部３０は内部に撮像装置部４０との間のデータ通信を行う通信部が設けられており、撮像装置部４０から供給される画像データについて表示画面３１に表示させる動作を行う。
ユーザは、このように撮像装置部４０と表示装置部３０が別体とされた撮像表示装置１を用いることもできる。
【００１９】
なお、ここでは別体の表示装置部３０として携帯用の表示装置を挙げているが、例えば据置型の表示装置、コンピュータ装置、テレビジョン受像器、携帯電話機、ＰＤＡ（Personal Digital Assistant）などを想定することもできる。即ち撮像表示装置１自体にモニタ表示機能を備えない場合（或いは図１の撮像表示装置１のようにモニタ表示機能を備えていたとしても）、外部の表示装置で画像データのモニタリングを行う使用形態が想定される。
また、撮像表示装置１が通信機能により撮像した画像データを送信する先の外部機器としては、上記の各種表示デバイスだけでなく、ビデオストレージ機器、コンピュータ装置、サーバ装置などであってもよい。つまり外部機器で撮像画像データを保存したり、配信することも想定される。
【００２０】
また、撮像表示装置１の外観は図１，図２の例に限定されるものではなく、各種の変形例が考えられる。
撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を示したが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
【００２１】
ところで内部構成例については後述するが、この撮像表示装置１は、撮像した画像データを内部（例えば図４で述べるストレージ部２５）で保存したり、撮像した画像データを通信部（例えば図５で述べる通信部２６）により外部機器に送信して外部機器において保存させることができる。
またこの撮像表示装置1は、内部（ストレージ部２５）に保存した画像データを検索して再生させたり、外部機器において保存した画像データの内で検索された画像データを受信し（通信部２６により受信）、表示させることができる。
【００２２】
図３は、撮像表示装置１の使用形態を、外部機器との関連において例示したものである。
図３（ａ）は撮像表示装置１を単体で使用する場合であり、この場合、撮像表示装置１は撮像した画像データを内部のストレージ部２５に保存する。またストレージ部２５において画像データの検索を行い、検索した画像データを再生して表示部２に表示させる。
【００２３】
図３（ｂ）は、撮像表示装置１が通信機能（通信部２６）を備えた場合に、外部のストレージ機器７０と通信を行う例である。この場合、撮像表示装置１は撮像した画像データを通信部２６からストレージ機器７０に送信し、ストレージ機器７０において保存されるようにする。また撮像表示装置１は、通信部２６から検索条件をストレージ機器７０に送信することで、ストレージ機器７０に検索を求め、その検索結果としての画像データを受信することができる。そして検索結果として受信された画像データを表示部２に表示させる。
図３（ｃ）は、撮像表示装置１の通信部２６が、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部のサーバ装置７１と通信を行う例である。この場合撮像表示装置１は、ネットワーク７３を介してサーバ装置７１に保存する画像データの送信したり、検索条件を送信したり、検索結果としての画像データを受信することができる。
【００２４】
なお、図３（ｂ）（ｃ）のストレージ機器７０やサーバ装置７１としては、撮像表示装置１を用いるユーザ本人が所有する機器であったり、撮像表示装置１のユーザの知人が所有する機器であったり、或いは画像提供を行う公共或いはサービス企業等の機器であって撮像表示装置１と通信可能とされているものなど多様に考えられる。
またこれらの機器は、例えばビデオストレージ機器、ホームサーバ機器、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機、大規模サーバ機器など、多様な機器形態が想定される。
【００２５】
［２．撮像表示装置の構成例］
実施の形態の撮像表示装置１の構成例として、３つの構成例を図４，図５，図６に挙げる。図４，図５は、上記図１のように眼鏡型ディスプレイカメラとして撮像機能と表示機能を一体的に備えた場合の構成例であり、図６は上記図２のように撮像装置部４０と表示装置部３０が別体構成とされた場合の構成例である。
【００２６】
まず図４の構成例を説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各部に所定の動作を実行させる。
【００２７】
撮像表示装置１内では、ユーザの視界方向の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００２８】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。
そしてこの撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。また撮像信号処理部１５は例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２９】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作による撮像動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の上記の画像処理動作を制御する。
【００３０】
一時記憶部２３は、例えばＤ−ＲＡＭ（Dynamic Random Access Memory）、Ｓ−ＲＡＭ（Static Random Access Memory）等の固体メモリを記録媒体とする記憶部である。但し、もちろん、フラッシュメモリや、或いは光ディスク、磁気ディスク、フラッシュメモリを内蔵したメモリカード等の記録媒体に対する記録再生部として構成されても良いし、ＨＤＤとされてもよい。
この一時記憶部２３は、上記の撮像系（以下、撮像部３，撮像信号処理部１５，撮像制御部１１をまとめて「撮像系」と呼ぶ）で常時撮像される画像データを記憶する。即ち画像データが供給されると、記憶のための所定のエンコード処理を行って記憶部に記憶する。また一時記憶部２３は、記憶した画像データをシステムコントローラ１０の制御に従って読み出し、デコード処理を行って出力することができる。
【００３１】
図１１（ａ）に一時記憶部２３におけるＤ−ＲＡＭ等のメモリの記憶領域を模式的に示しているが、この記憶領域における先頭アドレスAdSTから終端アドレスAdEDは、リングメモリ形式で使用される。即ち画像データは書込アドレスポインタW-Adで示されるアドレスに書き込まれていくが、書込アドレスポインタW-Adは先頭アドレスAdSTから終端アドレスAdEDに向かって更新されながら書き込みが行われ、終端アドレスAdEDに達した後は、再び書込アドレスポインタW-Adが先頭アドレスAdSTに更新されて記録が続けられていく。
従って一時記憶部２３においては、現在から所定時間過去の画像データが、一時的に蓄積されることになる。なお、当然ながら、どの程度の時間、画像データを蓄積するかは、一時記憶部２３の容量や、画像データのレート（フレームレートや１フレーム容量）によるものとなる。
撮像系によってどの程度のフレームレートの動画撮像を行ない、一時記憶部２３に記憶させるかは任意である。特に、撮像系で撮像し、一時記憶部２３に記憶させる画像データとして、通常のフレームレート（例えば通常とは１秒間に３０フレームなど）の場合もあるし、より高フレームレートで撮像してその画像データを記憶させる場合もある。また撮像画像データについて１秒間に数フレームを抽出するなどして、擬似動画的な画像データを一時記憶部２３に記憶させても良いし、さらには、例えば１〜数秒間隔で１フレームを抽出して、１〜数秒間隔で得られる静止画としての画像データを一時記憶部２３に記憶させるということもあり得る。
【００３２】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール部２７に供給される。
画像入出力コントロール部２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、一時記憶部２３，表示画像処理部１２、ストレージ部２５の間の画像データの転送を制御する。
本例の撮像表示装置１では、基本的には撮像系は常時撮像動作を行い、その撮像による画像データは、画像入出力コントロール部２７を介して一時記憶部２３に転送されて、一時的な記憶が行われる。これによって上記のように、常時撮像される画像データが、常時一時記憶部２３で記憶され、常時、現在より或る程度の時間だけ過去までに撮像した画像データが保存されることになる。
【００３３】
また画像入出力コントロール部２７は、システムコントローラ１０の制御により、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給することもできる。
また画像入出力コントロール部２７は例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給することもできる。
また画像入出力コントロール部２７は、システムコントローラ１０の制御により、一時記憶部２３に一時的に蓄積されている画像データのうちで、一時記憶部２３から読み出された画像データを、表示画像処理部１２に供給することや、ストレージ部２５に供給する処理も行う。
【００３４】
ストレージ部２５は、所定の記録媒体（例えば不揮発性記録媒体）に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん不揮発性記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
このストレージ部２５は、上記一時記憶部２３とは異なり、画像データを一時的ではなく、半永久的に保存するために設けられているものである。
特には、一時記憶部２３で一時的に保存されている画像データのうちで、保存処理の対象としての画像データが選定された場合、その画像データが一時記憶部２３から読み出されて画像入出力コントロール部２７を介してストレージ部２５に供給される。ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
つまりストレージ部２５では、所定の保存条件が満たされた際に、一時記憶部２３で一時的に記憶されている画像データのうちで保存対象とされた画像データを、ＨＤＤに保存記録する処理を行う。
なおシステムコントローラ１０はストレージ部２５に画像データの保存記録を実行させる際には、メタデータを生成し、画像データとともに記録させる。
【００３５】
またストレージ部２５はシステムコントローラ１０の制御に従って、記録した画像データを再生することができる。再生した画像データは画像入出力コントロール部２７を介して表示画像処理部１２に供給される。
特にシステムコントローラ１０は、ストレージ部２５に保存した画像データについて検索条件を生成し、その検索条件による検索をストレージ部２５に実行させる。検索条件はシステムコントローラ１０がユーザの状況等に基づいて自動生成するものであり、その内容は画像データに付加されたメタデータを対象とする。
ストレージ部２５は、与えられた検索条件に従って画像データの検索を行う。検索結果に該当する画像データが存在した場合は、システムコントローラ１０は、ストレージ部２５に該当する画像データの再生を実行させる。再生された画像データは、画像入出力コントロール部２７を介して表示画像処理部１２を供給され、表示部２に表示される。
なお図示していないが、所定のインターフェース部により、再生した画像データを外部機器に出力し、外部のモニタ装置で表示させたり、外部のストレージ機器に記録させることなども可能である。
【００３６】
撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
表示画像処理部１２に対しては、システムコントローラ１０の制御により、画像入出力コントロール部２７を介して、一時記憶部２３で読み出された画像データ（即ち近い過去に撮像した画像データ）や、撮像部３で撮像され撮像信号処理部１５で処理された画像データ（即ち現在撮像している画像データ）や、ストレージ部２５から読み出された画像データ（即ち、保存された画像データ）が供給される。
表示画像処理部１２は、供給される画像データを表示部２に表示するための信号処理（例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整など）や、画面分割処理、キャラクタ画像の合成処理等を行う。
【００３７】
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
【００３８】
また撮像表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。
【００３９】
音声入力部６で得られた音声データは音声入出力コントロール部２８に供給される。
音声入出力コントロール部２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声入力部６、音声信号処理部１６、一時記憶部２３、ストレージ部２５の間の音声データの転送を制御する。
基本的には、音声入出力コントロール部２８は、音声入力部６で得られた音声データを、常時一時記憶部２３に供給する。一時記憶部２３では、撮像系で撮像された画像データとともに、マイクロホン６ａ、６ｂで集音された音声データを、常時記憶することになる。
また音声入出力コントロール部２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給する処理を行う。
また音声入出力コントロール部２８は、一時記憶部２３でデータ読出が行われる場合は、一時記憶部２３で読み出された音声データを、音声信号処理部１６やストレージ部２５に供給する処理を行う。
また音声入出力コントロール部２８は、ストレージ部２５でデータ読出が行われる場合は、ストレージ部２５で読み出された音声データを音声信号処理部１６に供給する処理を行う。
【００４０】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。音声信号処理部１６は、音声入出力コントロール部２８を介して供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部２に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、一時記憶部２３やストレージ部２５で再生された音声を聞くことができる。
なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【００４１】
この撮像表示装置１では、ユーザの操作のために操作入力部２０が設けられる。
操作入力部２０は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、後述するリプレイ動作のための操作子、撮像系の動作（例えばズーム動作や、信号処理の指示）のための操作子等が形成されればよい。
またユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像表示装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。例えば１回叩いた場合はリプレイ開始操作、２回叩いた場合はリプレイ終了操作とするなどである。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像表示装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
【００４２】
操作入力部２０は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、次に生体センサ２１を述べるが、システムコントローラ１０は生体センサ２１の検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き（視線方向の変化や瞬き）が考えられるが、後述する視覚センサで瞬きを検知し、３回瞬きしたら、それを特定の操作入力と判断するなどである。
【００４３】
また、撮像表示装置１の電源オン／オフの操作に関しては、電源操作子が設けられても良いが、生体センサ２１でユーザが撮像表示装置１を装着したことを検出したら、システムコントローラ１０は自動的に電源オンとし、またユーザが撮像表示装置１を外したら自動的に電源オフとすることが考えられる。
【００４４】
生体センサ２１は、ユーザの生体情報を検出する。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
例えば皮膚電気反応、体温、皮膚表面温度、心電図反応、筋電心拍、脈拍、血流、血圧、脳波、発汗、体温などを検出するには、例えば図１の装着フレームの内側でユーザの側頭部や後頭部に接触するセンサや、装着フレームとは別体とされて他の身体部分に接触するように取り付けられるセンサを用いることが考えられる。
またユーザの皮膚を撮像する撮像部を用いても良い。この撮像部は例えば皮膚の色の変化を検知できるセンサとなる。
また、ユーザの視覚を検出するセンサとしては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部を備えた視覚センサにより形成できる。この場合、該撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出できる。または、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成することもできる。例えば受光信号からユーザの水晶体の厚みを検知することも可能である。
生体センサ２１は、これら所要のセンサによる検出結果情報をシステムコントローラ１０に供給する。
【００４５】
なお上記操作入力部２０として、加速度センサ、角速度センサ、振動センサ等を設ける例を述べたが、これらによってはユーザの体の動き、頭の動き、重心、歩行／走行のリズムなどを検出可能となる。操作入力部２０の説明では、ユーザの「操作」としての意識的な挙動をこれらで検知すると述べたが、ユーザの体の動き、頭の動き、重心、歩行／走行のリズムなど、ユーザが「操作」として意識していない挙動を加速度センサ等で検知し、生体情報の１つとしてもよい。
【００４６】
撮像表示装置１にはさらに音声解析部２４が設けられる。
音声解析部２４は、音声入力部６で得られる外部音声の音声データを解析する。例えば周波数解析、振幅レベル判定、声紋解析などをおこない、その解析情報をシステムコントローラ１０に供給する。
【００４７】
また撮像表示装置１は日時計数部１８やＧＰＳ受信部１９が設けられる。
日時計数部１８は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報をシステムコントローラ１０に出力する。
ＧＰＳ受信部２１は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
【００４８】
この撮像表示装置１では撮像系において常時撮像を行い、撮像した画像データを、一時記憶部２３でリングメモリ形式で一時保存するが、システムコントローラ１０は、所定の保存条件が満たされた場合に、その時点で一時記憶部２３に一時記憶されている画像データから保存すべき画像データを抽出し、ストレージ部２５に転送させて永続的な保存としての記録を実行させるようにする。
ここで、ストレージ部２５で永続的に保存する画像データとは、常時撮像している画像の内で、ユーザが興味を持った光景の画像や、ユーザの感情の変化があったときの光景の画像、ユーザの思い出に残るような光景の画像、或いは後で見直したりしたいと思う光景の画像など、ユーザにとって何らかの意味のある光景であるとシステムコントローラ１０が判断した画像である。
保存条件が満たされる場合とは、このような画像が一時記憶部２３に記憶されている状況であるとシステムコントローラ１０が推定できる場合であり、例えば、次のような場合に、保存条件が満たされたとする。
【００４９】
まず、ユーザが興味を持った画像（光景）とは、ユーザがリプレイさせた画像や、ズーム撮像など撮像系の動作についての指示を行った画像であると考えることができるため、ユーザ操作によりリプレイが行われた場合や、ズーム等の撮像系の操作が行われた場合に、保存条件が満たされたとする。
また、ユーザが視界光景に興味を持った場合や感情の変化があった場合、それらに応じたユーザの生体情報が得られるため、生体情報として所定の検出値が得られた場合に、保存条件が満たされたとする。例えば心拍数が通常より多くなったり、発汗、血圧等が通常と異なったり、視線の急激な移動があるなど、生体センサ２１により所要の状態が検出された場合に、保存条件が満たされたとすればよい。
さらに、生体情報からユーザの感情を判別することができるため、ユーザの感情として、楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張などの状況が判別された場合に、保存条件が満たされたとしてもよい。
また、本例では音声解析部２４で外部音声を解析しているが、突発的な大音量があった場合や、歓声等が大きい状況、或いは特定の人物の声が検出された場合などを、保存条件が満たされたとすることもできる。
【００５０】
システムコントローラ１０は、このように操作入力部２０からの操作に応じた制御処理や、生体センサ２１の検出情報、音声解析部２４の解析情報に基づいて、保存条件を判定する処理を行うことになる。そして保存条件が満たされた場合は、保存処理として、一時記憶部２３から抽出した画像データをストレージ部２５において記録媒体に記録させる制御を行う。また保存処理の際には、システムコントローラ１０は、生体情報や保存条件に応じたメタデータを生成し、画像データに付加して記録させる。
メタデータには、少なくとも生体情報に基づく情報が含まれる。例えば生体情報として検出された数値そのもの（例えば心拍数、呼吸数、血圧、皮膚電気反応値、体温、その他の検出された生体情報としての数値）をメタデータに含めても良いし、これらの生体情報から判断できるユーザの感情情報（上記の楽しい、うれしい、悲しい・・・等の情報）を含めても良い。
さらに、これら生体情報に基づく情報に加えて、日時計数部１８で得られる日時情報、ＧＰＳ受信部１９で得られる現在位置情報（緯度、経度）、満たされた上記保存条件の内容の情報、さらにはユーザの識別情報等をメタデータに含むようにしてもよい。
【００５１】
またシステムコントローラ１０は、生体センサ２１の検出情報に基づいて検索条件を生成する処理も行う。検索条件とは、ストレージ部２５に保存された画像データのうちで再生させるべき画像を選択する検索のための条件である。例えば生体情報として検出された数値そのもの（例えば心拍数、呼吸数、血圧、皮膚電気反応値、体温、その他の検出された生体情報としての数値）を検索条件に含めても良いし、これらの生体情報から判断できるユーザの感情情報（上記の楽しい、うれしい、悲しい・・・等の情報）を含めても良い。
さらに、これら生体情報に基づく情報に加えて、日時情報、位置情報（緯度、経度）、保存処理の際に満たされた上記保存条件の内容の情報、さらにはユーザの識別情報等を検索条件に含むようにしてもよい。即ち、上記のように生成するメタデータに対応した情報を利用して検索条件を生成する。
システムコントローラ１０は、例えばユーザの感情変化、或いは生体情報の数値の変化などが検出されたタイミングで、このような検索条件を生成し、ストレージ部２５において検索を実行させる。ストレージ部２５では、検索条件を、保存してある画像データに付加されているメタデータに照らし合わせて検索を行うことになる。そして検索結果として或る画像データがヒットした場合は、システムコントローラ１０はその画像データを再生させ、表示部２に表示させる処理を行う。
【００５２】
次に図５の構成例について述べる。なお図４と同一部分は同一符号を付して重複説明を避ける。図５の構成例は、図４におけるストレージ部２５に代えて通信部２６を設けたものである。
【００５３】
通信部２６は外部機器との間でのデータの送受信を行う。外部機器とは、図３（ｂ）（ｃ）に示したストレージ機器７０やサーバ装置７１に相当する機器であり、コンピュータ機器、ＰＤＡ、携帯電話機、ビデオストレージ機器など、多様な電子機器が想定される。特には、撮像表示装置１が通信部２６から送信する画像データをＨＤＤその他の記録媒体に保存する機能や、撮像表示装置１から送信する検索条件に従って画像データの検索を行う機能、及び検索結果の画像データを撮像表示装置１に送信する機能を備えた機器であればよい。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
通信部２６に対しては、一時記憶部２３で読み出された画像データ（及び音声データ）が画像入出力コントロール部２７（音声入出力コントロール部２８）を介して供給される。またシステムコントローラ１０からメタデータが供給される。
通信部２６は、システムコントローラ１０の制御に基づいて、供給された画像データ（音声データ）にメタデータを付加し、送信用のエンコード処理や変調処理を行って、外部機器に送信する。
【００５４】
この通信部２６は、システムコントローラ１０の制御に基づいて、供給された画像データ（音声データ）にメタデータを付加し、送信用のエンコード処理や変調処理を行って、外部機器に送信する。例えばシステムコントローラ１０は上述した図４の場合と同様、保存条件が満たされた場合に、保存処理として、保存対象の画像データを、メタデータとともに通信部２６から外部機器に送信させる。外部機器（ストレージ機器７０やサーバ装置７１）は、通信部２６から送信した画像データ及びメタデータを受信したら、これらを記録媒体に記録することになる。
また通信部２６は、システムコントローラ１０が上述の図４の場合と同様に検索条件を生成した際に、その検索条件を外部機器に送信する。外部機器は検索条件を受信したら、検索条件による検索を行う。そして或る画像データがヒットした場合、その画像データを撮像表示装置１に対して送信する。
通信部２６は、このように外部機器における検索結果として送信されてくる画像データを受信する。受信した画像データは、画像入出力コントロール部２７を介して表示画像処理部１２に供給され、表示部２に表示される。
【００５５】
上記図４の構成例の場合は、一時記憶部２３に一時記憶された画像を永続的に保存する保存処理として、システムコントローラ１０はストレージ部２５での記録を実行させるが、この図５の構成の場合、一時記憶部２３に一時記憶された画像を永続的に保存する保存処理として、システムコントローラ１０は通信部２６から外部機器に画像データを送信させる制御を行うことになる。
即ちこの図５の構成例は、撮像表示装置１の内部に永続的なストレージ機能を持たない場合の例であり、画像データを外部装置において保存させるという前提に立つ構成である。
【００５６】
次に図６は、図２で述べたように撮像装置部４０と表示装置部３０が別体で形成された例に対応する構成例である。
この例では、撮像装置部４０において図４と同様に、システムコントローラ１０、撮像系（撮像部３，撮像信号処理部１５，撮像制御部１１）、一時記憶部２３，ストレージ部２５、操作入力部２０、生体センサ２１、画像入出力コントロール部２７、音声入力部、音声解析部２４を有するものとしている。
但し、音声入出力コントロール部２８、音声信号処理部１６，音声出力部５を設けない例とし、音声入力部６から得られる外部音声信号は音声解析部２４の処理、つまり保存条件の判断やメタデータの生成、或いは検索条件の生成にのみ用いられる例としている。従って、この構成例では、音声データは一時記憶部２３での一時記憶やストレージ部２５での保存の対象としない。
【００５７】
画像入出力コントロール部２７は、常時、撮像系で得られた画像データを一時記憶部２３に供給する転送処理を行う。また、一時記憶部２３から読み出される画像データを通信部２１やストレージ部２５に供給する転送処理を行う。またストレージ部２５で読み出される画像データを通信部２１に供給する転送処理を行う。
通信部２１は、供給された画像データについて、表示装置部３０への送信の為のエンコード処理を行う。そしてエンコードした画像データを表示装置部３０に送信する。
【００５８】
表示装置部３０は、通信部３４、表示部３１、表示画像処理部３２、表示駆動部３３，表示制御部３５、及び操作部３６が設けられる。
通信部３４は、撮像装置部４０の通信部２１との間でデータ通信を行う。そして撮像装置部４０から送信されてくる画像データを受信し、デコード処理をおこなう。
通信部３４でデコードされた画像データは、表示画像処理部１２に供給される。表示画像処理部１２は、画像データについて表示のための信号処理や画面分割、キャラクタ合成等の処理を行う。
【００５９】
表示駆動部３３は、表示画像処理部３２から供給される画像信号を、例えば液晶ディスプレイとされる表示部３１において表示させるための画素駆動回路で構成されている。即ち表示部３１においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部３５は、表示画像処理部３２の処理動作や表示駆動部３３の動作を制御する。例えば操作部３６からのユーザの操作に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御も行う。
なお、システムコントローラ１０からの指示情報が通信部２１，３４の通信で送信されてくる場合、表示制御部３５は、そのシステムコントローラ１０からの指示情報に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御を行うようにしてもよい。
【００６０】
以上、図４，図５，図６として撮像表示装置１の構成例を示したが、撮像表示装置１としてはさらに多様な構成例が想定される。
例えば図４，図５において図６のように音声データの記録／出力系（音声入出力コントロール部２８、音声信号処理部１６、音声出力部５）を設けない構成が考えられる。逆に図６の構成に、これら音声データの記録／出力系を付加しても良い。
また音声解析部２４を設けない構成例、日時計数部１８を設けない構成例、ＧＰＳ受信部１９を設けない構成例なども想定できる。
また図６の構成においてストレージ部２５に代えて外部機器に保存のための画像データを送信する通信部２６を設けても良い。
また、ストレージ部２５と通信部２６の両方を備える構成も考えられる。
【００６１】
［３．撮像画像例］
撮像系によって撮像され、一時記憶部２３で一時記憶される画像データ例について図７〜図１０で説明する。
但し図７（ａ）は、撮像画像ではなく、図１の表示部２が全面スルー状態とされている場合にユーザが視認する光景の例である。これは、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている光景である。
例えば撮像部３によって通常に撮像している場合は、このスルー状態でユーザが視認する光景と同等の画像が撮像されるものとする。
図７（ｂ）は、撮像系で通常撮像が行われている場合に得られる画像データの例であり、スルー状態の場合の光景とほぼ同様となる。撮像系で通常撮像が行われている期間は、このようにユーザの通常の視認光景と概略同等の画像撮像が行われ、その画像データが一時記憶部２３に記憶されていくことになる。
図７（ｃ）は、操作入力部２０によるユーザの操作に応じて、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合の撮像画像例である。望遠撮像を行うことで、このような望遠画像としての画像データを得ることができ、望遠画像の画像データを一時記憶部２３に記憶できる。
なお、ここでは望遠撮像の例を挙げたが、逆に撮像部３に広角ズームを実行させることで、近距離の光景が広角に映し出された画像データを得ることもできる。
撮像系で望遠−広角の画像を取得するには、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理によっても可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ１０が撮像部３に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像データを一時記憶部２３に記憶させることもできる。
【００６２】
図８（ａ）は、通常撮像画像の例、図８（ｂ）は拡大画像の例である。
例えばユーザの操作に応じて、システムコントローラ１０は、撮像信号処理部１５に対して撮像部３から得られた画像についての拡大処理を指示することで、図８（ｂ）のような拡大画像としての画像データを得、これを一時記憶部２３に記憶させることができる。また図示しないが、逆に縮小処理を指示して縮小画像を一時記憶部２３に記憶させることもできる。
【００６３】
図９（ａ）は、例えばユーザが、子供が寝ている暗い寝室に居る場合の通常撮像画像を示している。この場合、暗い部屋の中であるため、通常撮像画像では、子供の姿等がはっきり現れない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図９（ｂ）のように赤外線撮像画像が得られ、暗い部屋で子供の寝顔などを確認できる画像データとなる。
図１０（ａ）は通常撮像画像であるが、システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図１０（ｂ）のように紫外光成分を表した画像データが得られる。
【００６４】
撮像系では、通常撮像画像としての画像データを含めて、これらの画像データを得ることができる。そして一時記憶部２３では、撮像系で得られる多様な状態の画像データが一時記憶される。
もちろん撮像系で得られる画像データは、これらの例に限られず、撮像部３，撮像信号処理部１５の各処理や動作を制御することで、多様な撮像態様での画像データが得られる。
例えば、望遠撮像画像、広角撮像画像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像画像、拡大撮像画像、縮小撮像画像、フレームレートの可変撮像画像（高フレームレートでの撮像や低フレームレートでの撮像など）、高輝度撮像画像、低輝度撮像画像、コントラスト可変撮像画像、シャープネス可変撮像画像、撮像感度上昇状態の撮像画像、赤外線撮像感度上昇状態の撮像画像、紫外線撮像感度上昇状態の撮像画像、特定波長帯域をカットした撮像画像、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクトを加えた撮像画像、静止画撮像画像など、非常に多様な撮像画像態様が想定される。
【００６５】
［４．リプレイ動作］
リプレイ動作について説明する。なお、ここでいうリプレイ動作とは、ストレージ部２５や外部装置に保存された画像データではなく、一時記憶部２３に記憶された画像データを利用したリプレイ動作である。
本例では、常時撮像を行って撮像した画像データを一時記憶部２３に記憶するが、この一時記憶部２３に記憶された画像データにより、現在より近い過去の光景のリプレイ表示を行うことができる。即ち、一時記憶部２３に記憶されている範囲で、過去の光景をリプレイさせてみることができる。
例えばユーザが、偶然交通事故を目撃した場合に、事故の瞬間をリプレイ画像で見たり、スポーツ観戦を行っているときに、直前のプレイをリプレイ画像で見ることなどが可能となる。
【００６６】
リプレイ動作の際の表示部２での表示例を図１２に示す。リプレイ動作の際には、システムコントローラ１０は一時記憶部２３から画像データを再生させ、その画像データを、画像入出力コントロール部２７を介して表示画像処理部１２にさせることになるが、表示画像処理部１２では、例えば表示部２の画面を分割して、画面上の一部にリプレイ画像（即ち再生された画像データ）を表示させる。
図１２（ａ）は表示画像処理部１２が親画面の領域ＡＲ１内で子画面の領域ＡＲ２を設定し、領域ＡＲ１はスルー状態としながら、領域ＡＲ２にリプレイ画像を表示させている例である。ユーザは、スルー状態とされている領域ＡＲ１において現在の光景を視認しながら、領域ＡＲ２において、過去の光景のリプレイ画像をみることができる。
また図１２（ｂ）は、表示画像処理部１２が画面領域を上下で領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態としながら、領域ＡＲ２にリプレイ画像を表示させている例である。この場合も、ユーザは、スルー状態とされている領域ＡＲ１において現在の光景を視認しながら、領域ＡＲ２において、過去の光景のリプレイ画像をみることができる。
【００６７】
例えばこのように親子画面、或いは画面分割などでスルー状態の領域を残しながらリプレイ画像表示を実行する。もちろん画面内での子画面の位置やサイズを変更することもユーザの操作に応じて可能としたり。或いは画面分割の場合に、領域ＡＲ１，ＡＲ２を左右に分割したり、領域ＡＲ１と領域ＡＲ２の面積を等分割ではないようにユーザの操作に応じて設定することも考えられる。さらに表示位置の入れ換えとして、親画面と子画面の交代や分割された領域の交代をユーザ操作に応じて行うようにしても良い。
また、領域ＡＲ１はスルー状態とせずに、撮像系で撮像されている画像（即ちスルー状態と同等の現在の光景の画像）を表示させてもよい。
さらに、リプレイの際には、表示部２の画面全体でリプレイ画像を表示させてもよい。つまり画面全体をスルー状態（又は通常撮像画像表示状態）からリプレイ画像の表示状態に切り換えるような動作である。
【００６８】
ユーザ操作によりリプレイが要求された際のシステムコントローラ１０の一時記憶部２３に対する制御例を図１１（ｂ）で説明する。
図１１（ｂ）において一時記憶部２３で記憶領域を示しているが、前述の通り、この記憶領域の先頭アドレスAdSTから終端アドレスAdEDの間は、リングメモリ形式で、書込アドレスポインタW-Adが進行しながら、常時撮像系で得られた画像データが記憶されている。
ここで、書込アドレスポインタW-AdがアドレスAdXとされてアドレスAdXに画像データの記憶が行われている時点で、ユーザがリプレイ要求の操作を行ったとする。
システムコントローラ１０は、書込アドレスポインタW-Adのインクリメント及び撮像による画像データの書込は、そのままアドレスAdX以降に進行させていくが、それと同時に、読出ポインタR-AdをアドレスAdXから過去に遡るように進行させていく。一時記憶部２３では、読出アドレスポインタR-Adで示されるアドレスの画像データを読み出す処理を行うが、その再生画像データは画像入出力コントロール部２７を介して表示画像処理部１２に供給され、上記図１２（ａ）（ｂ）のように例えば表示部２の領域ＡＲ２に表示される。
このとき、読出アドレスポインタR-Adについては、例えば１．５倍速、２倍速、３倍速などとなるように値を変更（デクリメント）させていくことで、まず、表示部２には、現在の光景から過去に遡るように早戻し画像が表示されることになる。
ユーザは早戻し画像を見ながら、自分がリプレイさせたいと思った光景の先頭を探し、リプレイを開始させたい位置で、リプレイ開始操作を行う。
例えば読出アドレスポインタR-AdがアドレスAdYにまで戻された時点でユーザがリプレイ開始操作を行ったとすると、システムコントローラ１０は、そのタイミングで、読出アドレスポインタR-Adを、通常の進行方向での１倍速のインクリメントに切り換える。すると、一時記憶部２３ではアドレスAdYから１倍速での画像データの読出を行うことになり、従って、アドレスAdYからのリプレイ画像が表示部２に表示される。
その後例えば読出アドレスポインタR-AdがアドレスAdZまで進行した時点で、ユーザがリプレイ終了操作を行ったとしたら、その時点でシステムコントローラ１０はリプレイを終了させる。つまり一時記憶部２３での再生及び表示部２でのリプレイ画像表示の終了を指示する。
この場合、アドレスAdY〜Adzに記憶されていた画像が、ユーザが見直したかったリプレイ画像となる。
【００６９】
なお、ここでは説明のために簡単な例を述べたが、ユーザがリプレイさせたいポイントを探す際に、早戻し画像を見ている間に戻りすぎてしまい、逆に早送りさせたい場合も生ずる。またリプレイ画像は、１倍速で見るだけでなく、スロー再生させたり、一時停止させたり、リピート再生させたりしたい場合もある。このため、ユーザの操作に応じて、読出アドレスポインタR-Adのインクリメント／デクリメントが切り換えられたり、そのインクリメント／デクリメントのレートが可変されたり、ポーズ制御が行われるようにすることが好適である。
ユーザの操作に関しては、このリプレイに関する操作子が設けられればよいが、例えば加速度センサ等によってユーザの挙動を操作としてシステムコントローラ１０が認識することも可能である。
例えばユーザが撮像表示装置１を軽く２回叩く動作を上記のリプレイ要求操作及びリプレイ終了操作とし、またユーザが撮像表示装置１を軽く１回叩く動作を上記のリプレイ開始操作とするなどである。
また早送り、早戻し、高速再生、スロー再生などの操作を、ユーザが左右側面から叩く動作によって判別してもよい。例えば右側面部を軽く叩く動作を、通常方向への再生の操作、左側面部を軽く叩く動作を戻し方向への再生操作とし、それぞれ叩く回数によって再生速度をスロー、１倍速、２倍速を判別するなどとする。
もちろん、ユーザが首を左右に振る動作を、早送り／早戻しの操作とするなど、他にも多様な例が想定される。
【００７０】
さらに、図１１（ｂ）では、まず現在の光景の画像から過去に遡るようにサーチを行ってユーザがリプレイ開始ポイントを探すようにしたが、リプレイ操作に応じて一定時間の過去からの画像が再生されるようにしてもよいし、叩く回数などにより、リプレイ開始のポイントを、３０秒前、１分前、３分前、５分前などと指定できるようにしてもよい。
【００７１】
［５．保存する画像の選定例］
上述したようにシステムコントローラ１０は、保存条件についての判定を行い、保存条件が満たされた場合は、一時記憶部２３から画像データを抽出して保存処理（ストレージ部２５での記録又は通信部２６から外部機器への送信）を行うが、ここでは保存条件の例と、それに応じて抽出される画像範囲の例を示す。
【００７２】
・リプレイ実行
ユーザがリプレイ操作するのは、ユーザは直前に見た光景に興味を持ったり、或いは何らかの理由で見直したいと思った場合である。従ってユーザ操作に応じてリプレイ動作を行った場合に、システムコントローラ１０が保存条件を満たすと判断して良い。この場合、リプレイ動作においてユーザが見直した期間の画像を、保存対象画像として抽出すればよい。例えば上記図１０（ｂ）の例でいえば、アドレスAdY〜AdZの範囲の画像データを、保存対象の画像として抽出する。
【００７３】
・撮像系操作
ユーザは、操作により、撮像系に対して、望遠／広角ズーム、画像の拡大／縮小、赤外線感度上昇撮像、紫外線感度上昇撮像、フレームレート変更、画像エフェクトなどが実行されるように指示することができるが、ユーザは、興味を持った光景を見ているときに、これらの操作を行うと考えることができる。従って、これら撮像系に対するユーザ操作が行われ、撮像系においてこれら望遠／広角ズーム等の動作又は信号処理が行われた場合に、システムコントローラ１０は保存条件が満たされたと判断するようにしても良い。この場合、これら望遠／広角ズーム等の動作又は信号処理が行われている期間の画像データを保存対象画像として抽出すればよい。
【００７４】
・生体情報による判断（生体トリガの発生）
生体センサ２１で検出される生体情報によって、ユーザの状態変化を検出したり、ユーザの感情を推定することができる。即ち生体情報として検出される数値の変動や、生体情報から推定されるユーザの感情を判定し、所定の状況となったときにシステムコントローラ１０は保存条件が満たされた判断して良い。
例えば緊張状態、興奮状態、快適状態などに伴う生体情報の数値の変動、或いは生体情報に基づいてユーザの感情（楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等）が推定された場合に、保存条件が満たされた判断する。
即ち、これらの場合、ユーザは見ている光景は、ユーザの感覚に何らかの刺激を与えているものであると考えることができるためである。例えばスポーツ観戦で興奮／熱狂した場合、おもしろい光景を目撃した場合、感動した場合、交通事故等を目撃した場合、好きな人物／有名人等に出会った場合、不安や恐怖を感じた場合、驚いた場合などにおける生体情報としての反応を保存条件を満たすトリガとすれば、ユーザにとって重要な光景が保存できることになる。
これらの場合、継続的な興奮であれば、その生体情報反応が得られている期間の画像データを保存対象画像として抽出すればよいし、一瞬びっくりしたような生体情報反応が得られた場合は、その時点の前後所定時間の画像データを保存対象画像として抽出することなどが考えられる。
なお、ユーザの生体情報として脳波、血圧、皮膚電気反応等により興奮状態が検出できるが、視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況を判定できる。また、加速度センサ、振動センサ等によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。
また、脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別に為に、加速度センサ等の情報を参照するようにすることもできる。
【００７５】
・外部音声による判断（音声トリガの発生）
音声解析部２４によって外部音声を解析していて、大歓声、事故、警報音などの非常な大音量が発生したことが検出された場合や、特定の音を検出した場合などをトリガとして、システムコントローラ１０は保存条件を満たすと判断しても良い。
また知人の声、電子音、ペットの鳴き声、自然音などのうちで特定の音声を音声解析部２４に登録しておいて、登録した特定の音声が検出された場合に、保存条件を満たすとするようなことも考えられる。
これらの場合も、そのような保存条件を満たす音声が検出されている期間や、或いは保存条件を満たすとされた時点からの前後所定時間の画像データを保存対象画像として抽出すればよい。
【００７６】
以上、ユーザが興味を持ったり、或いは見直したいと思った光景の判定、即ち保存条件の判定についての例を挙げたが、これら以外にも保存条件の判定手法は考えられる。
なお、本例では常時、撮像した画像データを一旦一時記憶部２３に記憶し、保存条件が満たされた場合に、一時記憶部２３から画像データを抽出して永続的な保存のための処理を行うようにしているため、このように保存条件の判断を行うものであるが、ストレージ部２５や外部機器での記録容量が非常に大容量であるなどにより、撮像した画像データを全て永続的に保存できる場合は、保存条件を判断して、抽出した画像データを保存するという処理は不要となる。
【００７７】
［６．撮像及び保存処理例］
本実施の形態の撮像表示装置１において撮像及び画像データの保存動作を実現するためのシステムコントローラ１０の制御処理例を説明する。なおここでは図１のようにユーザの眼前に表示部２が配置される撮像表示装置１を前提とする。
図１３は、例えば撮像表示装置１が電源オンとされてから、電源オフとされるまでのシステムコントローラ１０の処理を示している。但しこの処理は、電源オン後、例えばユーザによって動作開始の操作が行われてから、動作終了の操作が行われるまでの処理と考えてもよい。
【００７８】
電源オン等により動作が開始される場合、まずシステムコントローラ１０はステップＦ１０１で撮像及び撮像した画像データの一時記憶を開始させる。即ちシステムコントローラ１０は撮像系により通常撮像動作を開始させるとともに、撮像による画像データを一時記憶部２３に供給させ、一時記憶部２３でリングメモリ形式の記憶動作を開始させる。
以降、この撮像及び撮像した画像データの一時記憶部２３での記憶は、電源オフ等による動作終了時点まで継続される。
また、システムコントローラ１０はステップＦ１０２として、表示制御部１４に指示し、表示部２を全面スルー状態にさせる。
このステップＦ１０１，Ｆ１０２の処理により、ユーザは、スルー状態の表示部２により、通常に視界を視認できる状態になるとともに、ユーザの視界光景は常時撮像されて一時記憶されることになる。
【００７９】
このように動作が開始された後は、システムコントローラ１０はステップＦ１０３，Ｆ１０４，Ｆ１０５，Ｆ１０６，Ｆ１０７，Ｆ１０８の監視処理ループで監視処理を行う。
ステップＦ１０３では、ユーザがリプレイを求める操作を行ったか否かを監視する。
ステップＦ１０４では、ユーザが撮像関連操作を行ったか否かを監視する。ここでいう撮像関連操作とは、望遠／広角ズーム操作、画像拡大／縮小の操作、撮像フレームレート可変操作、撮像感度の変更操作、赤外線撮像感度上昇の操作、紫外線撮像感度上昇の操作、画像エフェクト等の画像処理の指示の操作など、撮像系で得られる画像データを通常撮像での画像データから切り換える操作となる。さらには、それら通常以外の撮像状態から通常撮像に戻す操作も、撮像関連操作に含む。
またステップＦ１０５では、システムコントローラ１０は音声解析部２４からの情報により音声トリガ（音声解析結果として保存条件を満たすこと）が発生したか否かを監視する。
またステップＦ１０６では、システムコントローラ１０は生体センサ２１からの情報により生体トリガ（生体情報として保存条件を満たすこと）が発生したか否かを監視する。
ステップＦ１０７では、システムコントローラ１０は内部フラグとしての保存フラグがオンとなっているか否かを判別する。
ステップＦ１０８では、システムコントローラ１０は例えばユーザの電源オフ操作、或いは動作終了操作などにより動作を終了する状況となったか否かを監視する。
【００８０】
ユーザがリプレイ要求操作を行った場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０９に進め、リプレイ処理を行う。このリプレイ処理は、上記図１１（ｂ）で述べた動作を実行させる処理であり、図１４に示される。
まずシステムコントローラ１０は、ステップＦ２０１として早戻し画像表示開始制御を行う。即ち、一時記憶部２３に対しては、読出アドレスポインタR-Adを現在の書込アドレスポインタW-Adの位置から過去に例えば２倍速程度で戻るようにデクリメントさせていきながら、読み出しを実行させる。また表示制御部１４に対して、例えば図１２（ａ）（ｂ）のように画面上の一部の領域ＡＲ２で、一時記憶部２３から読み出されてくる画像データが表示されるように指示する。なお、表示部２の画面全面でリプレイ画像が表示されるようにしてもよい。
【００８１】
このステップＦ２０１の処理により、ユーザは、現時点から過去に遡る方向の早戻し画像を見る状態となる。ユーザは早戻し画像を見ながら、見直したい光景の開始ポイントを探し、その開始ポイントでリプレイ開始操作を行う。
リプレイ開始操作を検知したら、システムコントローラ１０は処理をステップＦ２０２からＦ２０３に進め、リプレイ画像表示の開始制御を行う。即ち一時記憶部２３に対して、読出アドレスポインタR-Adの更新を、通常の時間進み方向の１倍速のインクリメントに切り換えさせ、読み出しを実行させる。これにより、表示部２でリプレイ画像が通常再生画像として表示され、ユーザは少し前の時点の光景を見直すことができる。なお、図１４では示していないが、この際、ユーザの操作に応じて、リプレイ画像をスロー再生したり、１．５倍速等で早送り再生するようにしてもよい。
【００８２】
その後、ユーザがリプレイ終了操作を行ったことを検知するか、或いはリプレイが完了した場合は、ステップＦ２０４からＦ２０５に進む。なお、リプレイ完了とは、リプレイ画像が、最初のリプレイ要求操作時の画像（リプレイ要求時の書込アドレスポインタW-Adで示されるアドレス）にまで進行した場合、或いは、高速再生でリプレイが行われている場合に、リプレイ画像が更に進行して現時点の画像（現時点の書込アドレスポインタW-Adで示されるアドレス）に追いついた場合などとすればよい。
リプレイ終了操作又はリプレイ完了となったら、ステップＦ２０５で、システムコントローラ１０はリプレイ終了処理を行う。即ち一時記憶部２３に対して画像データの読み出しを終了させ、また表示制御部１４に対して、表示部２の全面をスルー状態に戻す指示を行う。
またシステムコントローラ１０は、リプレイ動作を保存条件とすることから、ステップＦ２０６では、リプレイ動作に伴って保存する対象としての画像データの保存範囲を決定する。またメタデータを生成する。このメタデータには、リプレイ時に検出される生体情報に基づく情報と、リプレイ動作によって保存対象となったことを示す情報などが含まれるものとする。メタデータの生成処理については図１６で後述する。
さらに、保存フラグをオンとする。
このような処理を行って図１３のステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００８３】
このようなリプレイ処理が行われた直後は、保存フラグがオンとされたことで、システムコントローラ１０の処理は図１３のステップＦ１０７からＦ１１３に進むことになる。そしてシステムコントローラ１０はステップＦ１１３として保存処理を行う。
保存処理としてシステムコントローラ１０は保存範囲の画像データとメタデータをストレージ部２５において記録媒体に記録させる。即ちこの場合は、図１４のステップＦ２０６で決定した保存範囲の画像データ、例えばリプレイ表示を行った区間の画像データを一時記憶部２３からストレージ部２５に転送させるとともに、同じくステップＦ２０６で生成したメタデータをストレージ部２５に送信する。そしてストレージ部２５において画像データにメタデータを付加した状態で記録用のエンコード処理を実行させ、記録媒体に記録させる制御を行う。
なお、これは図４のようにストレージ部２５を有する構成の場合であり、図５のようにストレージ部２５に代えて通信部２６を有する構成の場合は、保存範囲の画像データとメタデータを送信用にエンコードさせて、通信部２６から外部機器（ストレージ機器７０、サーバ装置７１等）に送信させる制御を行うことになる。
ステップＦ１１３の保存処理を終えたら、ステップＦ１１４で保存フラグをオフとしてステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００８４】
ユーザが撮像関連操作を行った場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１１０に進め、撮像系制御処理を行う。この撮像系制御処理を図１５に示す。
まずステップＦ３０１ではシステムコントローラ１０は撮像関連操作に応じて撮像系に対する制御を行う。つまりユーザが要求した動作が実行されるようにする。
例えばユーザが望遠又は広角のズーム操作を行ったのであれば、撮像制御部１１にズーム動作を指示し、撮像部３におけるズームレンズの駆動を実行させる。
また、ユーザが画像の拡大又は縮小の操作を行ったのであれば、撮像制御部１１に画像の拡大又は縮小処理を指示し、撮像信号処理部１５に撮像画像データの拡大処理又は縮小処理を実行させる。
また、ユーザが撮像フレームレート可変操作を行ったのであれば、撮像制御部１１にフレームレート変更を指示し、撮像部３及び撮像信号処理部１５におけるフレームレートの変更を実行させる。
また、ユーザが撮像感度可変操作、又は赤外線撮像感度上昇の操作、又は紫外線撮像感度上昇を行ったのであれば、撮像制御部１１に撮像感度を指示し、撮像部３における撮像素子からの信号感度の変更（例えば撮像素子から読み出される信号に対するゲイン変更）を実行させる。
また、ユーザが画像エフェクトの操作を行ったのであれば、撮像制御部１１に画像のエフェクト処理を指示し、撮像信号処理部１５に撮像画像データに対する画像エフェクト処理を実行させる。
またユーザが、これら望遠／広角ズーム、画像拡大／縮小、フレームレート変更状態、感度変更状態、画像エフェクト状態等から通常撮像に戻す操作を行ったのであれば、撮像制御部１１に通常撮像を指示し、撮像部３，撮像信号処理部１５の動作を通常撮像状態に復帰させる。
【００８５】
このようにユーザの撮像関連操作に応じて、撮像系の動作を制御するが、ステップＦ３０１が通常撮像状態から、望遠／広角ズーム、画像拡大／縮小、フレームレート変更、感度変更、画像エフェクト等を行う状態に制御した場合は、処理をステップＦ３０２からＦ３０３に進め、この場合は、表示部２において撮像画像が表示されるようにする。即ち画像入出力コントロール部２７に対して、撮像系からの画像データを、それまでと同様に一時記憶部２３に供給させることを継続しながら、表示画像処理部１２にも供給するようにし、また表示制御部１４に対して、撮像画像データの表示を指示する。
そしてステップＦ１０３〜Ｆ１０８の監視ループに戻る。
以下、説明の便宜上、望遠／広角ズーム、画像拡大／縮小、フレームレート変更、感度変更、画像エフェクト等を行う撮像動作状態を「特殊撮像状態」といい、通常撮像状態と区別する。なお通常撮像状態とは、図７（ｂ）に例示したようにスルー状態と同等の画像が得られる撮像動作状態である。  
【００８６】
上記ステップＦ３０３の処理によって、例えばユーザがズーム操作等の特殊撮像状態に切り換える操作を行うことで、表示部２はスルー状態からズーム画像等の表示状態に切り換えられ、ユーザが撮像画像を視認できる状態となる。つまりユーザは、望遠／広角ズーム、画像拡大／縮小、フレームレート変更、撮像感度変更、赤外線感度上昇撮像、紫外線感度上昇撮像、画像エフェクト等の操作を行えば、それらの特殊撮像状態の撮像画像（図７〜図１０で説明したような画像）を表示部６で見ることができる。
なお、この場合、撮像画像は表示部２の全面で表示させてもよいし、図１２に示したリプレイ画像の場合と同様に、領域ＡＲ１をスルー状態とし、領域ＡＲ２のように画面上の一部で撮像画像を表示させてもよい。
【００８７】
ステップＦ１０３で検知した撮像関連操作が、特殊撮像状態から通常撮像状態に戻す操作であった場合は、上記の通り、システムコントローラ１０は図１５のステップＦ３０１で撮像系を通常撮像状態に戻す制御を行うが、その場合、システムコントローラ１０の処理はステップＦ３０２からＦ３０４に進む。
そしてステップＦ３０４で、システムコントローラ１０は表示制御部１４に対して、表示部２の全面をスルー状態に戻す指示を行う。
またシステムコントローラ１０は、ユーザの操作によって特殊撮像状態とされたことを保存条件とする。このためステップＦ３０５では、直前まで実行していた特殊撮像状態に伴って保存する対象としての画像データの保存範囲を決定する。またメタデータを生成する。このメタデータには、特殊撮像状態の期間に検出された生体情報に基づく情報と、特殊撮像状態によって保存対象となったことを示す情報、例えば実行した特殊撮像として、望遠ズーム、広角ズーム、画像拡大、画像縮小、フレームレート変更、撮像感度変更、赤外線感度上昇撮像、紫外線感度上昇撮像、画像エフェクト等を示す情報等が含まれるようにする。
さらに、保存フラグをオンとする。
このような処理を行って図１３のステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００８８】
このように特殊撮像状態から通常撮像状態に戻された直後は、保存フラグがオンとされたことで、システムコントローラ１０の処理は図１２のステップＦ１０７からＦ１１３に進むことになる。そしてシステムコントローラ１０はステップＦ１１３として保存処理を行う。
保存処理としてシステムコントローラ１０は保存範囲の画像データとメタデータをストレージ部２５において記録媒体に記録させる。即ちこの場合は、図１５のステップＦ３０５で決定した保存範囲の画像データ、例えば特殊撮像状態で撮像を行った区間の画像データを一時記憶部２３からストレージ部２５に転送させるとともに、同じくステップＦ３０５で生成したメタデータをストレージ部２５に送信する。そしてストレージ部２５において画像データにメタデータを付加した状態で記録用のエンコード処理を実行させ、記録媒体に記録させる制御を行う。
なお通信部２６を有する構成の場合は、保存範囲の画像データとメタデータを送信用にエンコードさせて、通信部２６から外部機器に送信させる制御を行う。
ステップＦ１１３の保存処理を終えたら、ステップＦ１１４で保存フラグをオフとしてステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００８９】
ところで、実際には、特殊撮像状態が長時間継続されることもあり得る。例えば一時記憶部２３の記録容量に応じた一時保存期間を超えてズーム状態等が継続されることもある。このため、例えば通常撮像状態に戻ってからステップＦ１１３で保存処理を行うと、既に保存対象としたい画像データの一部が失われていることも考えられる。
従って、例えば特殊撮像状態になってから所定時間を経過したら、割込的にステップＦ３０５，Ｆ１１３の処理が行われるように処理を工夫する必要もある。
さらに図１５では表現していないが、或る特殊撮像状態から他の特殊撮像状態に切り換えられたり、複合的な動作が要求される場合もある。例えば望遠ズーム状態からフレームレート変更撮像に切り換えられたり、或いは望遠ズーム状態のまま赤外線感度上昇撮像が要求されるような場合である。このように特殊撮像状態において、その動作が変更される場合も、割込的にステップＦ３０５，Ｆ１１３の処理が実行されるようにすることが好適である。
【００９０】
ステップＦ１０３〜Ｆ１０８の監視ループにおいて、システムコントローラ１０が音声トリガ発生と判断したら、ステップＦ１０５からＦ１１１に進む。そしてシステムコントローラ１０は、音声トリガの発生に伴って保存する対象としての画像データの保存範囲を決定する。またメタデータを生成する。このメタデータには、音声トリガ発生時の生体情報に基づく情報や、音声トリガによって保存対象となったことを示す情報や、その音声トリガの内容（音声解析部２４での解析情報）等が含まれるようにする。さらに、保存フラグをオンとする。
このような処理を行ってステップＦ１０３〜Ｆ１０８の監視ループに戻る。すると、その直後に、保存フラグがオンとされていることで、システムコントローラ１０の処理はステップＦ１０７からＦ１１３に進み、保存処理を行うことになる。
保存処理としてシステムコントローラ１０は保存範囲の画像データとメタデータをストレージ部２５において記録媒体に記録させる。即ちこの場合は、ステップＦ１１１で決定した保存範囲の画像データを一時記憶部２３からストレージ部２５に転送させるとともに、同じくステップＦ１１１で生成したメタデータをストレージ部２５に送信する。そしてストレージ部２５において画像データにメタデータを付加した状態で記録用のエンコード処理を実行させ、記録媒体に記録させる制御を行う。
通信部２６を有する構成の場合は、保存範囲の画像データとメタデータを送信用にエンコードさせて、通信部２６から外部機器に送信させる制御を行う。
ステップＦ１１３の保存処理を終えたら、ステップＦ１１４で保存フラグをオフとしてステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００９１】
ステップＦ１０３〜Ｆ１０８の監視ループにおいて、システムコントローラ１０が生体トリガ発生と判断したら、ステップＦ１０６からＦ１１２に進む。そしてシステムコントローラ１０は、生体トリガの発生に伴って保存する対象としての画像データの保存範囲を決定する。またメタデータを生成する。このメタデータには、生体トリガによって保存対象となったことを示す情報や、その生体トリガの内容（生体センサ２１の検出情報やそれによるユーザ状況の判定結果の内容等）が含まれるようにする。さらに、保存フラグをオンとする。
このような処理を行ってステップＦ１０３〜Ｆ１０８の監視ループに戻る。すると、その直後に、保存フラグがオンとされていることで、システムコントローラ１０の処理はステップＦ１０７からＦ１１３に進み、保存処理を行うことになる。
保存処理としてシステムコントローラ１０は保存範囲の画像データとメタデータをストレージ部２５において記録媒体に記録させる。即ちこの場合は、ステップＦ１１２で決定した保存範囲の画像データを一時記憶部２３からストレージ部２５に転送させるとともに、同じくステップＦ１１２で生成したメタデータをストレージ部２５に送信する。そしてストレージ部２５において画像データにメタデータを付加した状態で記録用のエンコード処理を実行させ、記録媒体に記録させる制御を行う。
通信部２６を有する構成の場合は、保存範囲の画像データとメタデータを送信用にエンコードさせて、通信部２６から外部機器に送信させる制御を行う。
ステップＦ１１３の保存処理を終えたら、ステップＦ１１４で保存フラグをオフとしてステップＦ１０３〜Ｆ１０８の監視ループに戻る。
【００９２】
電源オフ又は動作終了となったら、システムコントローラ１０は処理をステップＦ１０８からＦ１１５に進め、撮像系の撮像動作、及び一時記憶部２３での画像データの記憶動作を終了させ、一連の処理を終える。
【００９３】
以上の処理が行われることで、常時撮像及び撮像した画像データの一時記憶が行われるとともに、その中でユーザは興味を持ったり後で見返したくなる画像データが、ストレージ部２５（又は通信部２６から送信された外部機器）において永続的に保存される。
またユーザは直前に見た光景をリプレイ操作によって即座に見直すことができる。
なお、上記処理例では、撮像系で特殊撮像状態となった場合やリプレイ表示を行った場合に、表示部２の一部又は全部で画像表示を行い、他の場合は表示部２の全面をスルー状態とするものとしたが、スルー状態に代えて、通常撮像状態の画像データの表示を行うようにしても良い。
また、図２のように表示装置部３０が別体の装置の場合は、スルー状態とする処理は行われなくてよく、通常時は画面オフ、又は通常撮像状態の画像データの表示をおこなうようにすればよい。
【００９４】
上記図１３のステップＦ１１１、Ｆ１１２、図１４のステップＦ２０６，図１５のステップＦ３０５では、システムコントローラ１０はメタデータの生成処理を行うことになるが、そのメタデータの生成処理は例えば図１６のように行われる。
【００９５】
まずステップＦ４０１で、システムコントローラ１０はメタデータに含む情報として保存条件情報を生成する。図１３のステップＦ１１１の場合、保存条件情報とは、音声トリガによる保存であることを示す情報や、音声解析結果の情報となる。図１３のステップＦ１１２の場合、保存条件情報とは、生体トリガによる保存であることを示す情報となる。図１４のステップＦ２０６の場合、保存条件情報とは、リプレイ動作による保存であることを示す情報となる。図１５のステップＦ３０５の場合、特殊撮像状態としての動作内容を示す情報となる。
【００９６】
次にステップＦ４０２で、システムコントローラ１０は、同じくメタデータに含む情報としての生体センサ検出情報と、感情情報を生成する。生体センサ検出情報とは、生体センサによる検出値の情報である。例えば心拍数、血圧値・・・等の検出対象となっている生体情報の検出値を示す情報である。
また感情情報は生体センサ２１によって検出された生体情報に基づいて判断したユーザの感情を示す情報である。例えば楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等を表す情報とする。
【００９７】
ステップＦ４０３では、システムコントローラ１０は、日時計数部１８で得られる現在日時の情報を取り込み、メタデータに含む情報として生成する。
ステップＦ４０４では、システムコントローラ１０は、ＧＰＳ受信部１９で得られる現在位置の情報（緯度、経度）を取り込み、メタデータに含む情報として生成する。
【００９８】
ステップＦ４０５では、システムコントローラ１０は、メタデータに含む情報としてユーザ識別情報を生成する。ユーザ識別情報の具体例は多様に考えられる。例えばユーザが予めＩＤナンバを設定していれば、その値でよい。また撮像表示装置１に与えられたシリアルナンバ等をユーザ固有の識別情報と考えても良い。
より個人を的確に識別するユーザ識別情報としては、生体センサ２１によって検出される情報を用いることが考えられる。例えば脈拍、呼吸活動、眼底パターン、水晶体の厚みなどの情報を個別或いは複合的に用いることで、実際に使用しているユーザ自体の識別情報を生成することができる。
【００９９】
そしてシステムコントローラ１０は、ステップＦ４０１〜Ｆ４０５で生成した情報を含むメタデータを生成する。
このメタデータは、図１３のステップＦ１１３において、画像データに付加されて保存処理される。従って保存される画像データには、付加的な情報として、保存条件、生体情報（検出値や感情情報）、日時、場所、ユーザ識別情報が対応づけられることになる。
このようなメタデータは、保存された画像データを検索する際に利用される。
【０１００】
［７．保存画像の表示処理例］
本例の撮像表示装置１は、上述してきたようにユーザの視界光景を撮像し、ユーザにとって意味のある光景の画像データを保存する。
そして、保存した画像データについては、以下説明するように、自動的に検索を行って表示することで、例えばユーザにとっての過去の思い出や感情を呼び起こすような画像提示を行う。
【０１０１】
ストレージ部２５、又は外部機器（ストレージ機器７０やサーバ装置７１）に保存した画像データについての表示処理例を図１７に示す。
図１７は、システムコントローラ１０が実行する保存画像の表示処理であり、これは例えば撮像表示装置１が電源オンとされている期間に常時継続して実行される。或いは撮像表示装置１において、電源オン後に、ユーザ操作などにより動作開始とされた以降、実行される。
なお、この図１７の保存画像の表示処理は、上述した図１３〜図１６の処理、つまり撮像や画像データの保存に関する処理と並列的に実行される。並列的な処理とは、例えばシステムコントローラ１０が図１３〜図１６の処理を実行している期間中に、図１７の処理が定期的に割込処理としてに行われればよいものである。図１７の処理のプログラムは、図１３〜図１６の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【０１０２】
例えば電源オンとされた後は、システムコントローラ１０は図１７のステップＦ５０１として状況判別処理を行う。状況とは、ユーザ状況や、日時、場所、ユーザ操作などの状況である。ユーザ状況とは生体センサ２１で検出されるユーザの身体の生体情報の検出値自体の情報であったり、生体情報から判別できるユーザの感情情報である。
【０１０３】
システムコントローラ１０は、ステップＦ５０１で判別したユーザ状況、日時、場所、ユーザ操作などにより、保存した過去の画像表示のための検索を実行する状況となっているか否かをステップＦ５０２で判断する。
例えばユーザ状況や感情情報、或いは日時、場所などについて、どのような状況のときに検索を行うかを予め設定しておき、そのような検索のタイミングとして該当する状況になったか否かを判断する。
具体的には感情情報として「楽しい」「悲しい」「うれしい」「驚き」などが検知された場合が、検索タイミングであると設定していれば、現在、ユーザがそれらの感情の状況にあるか否かを判別する。
また、「心拍数ｘ以上」「発汗量ｘ以上」「α波レベル＊＊以上」などとして、生体情報の検出値が所定の数値状態となった場合が検索タイミングであるとしていれば、現在、それらに該当する生体情報値が検出されているか否かを判別する。
さらには、日時として特定の季節、月、日、時刻（時間帯）や、特定の場所に居ることなどを検索タイミングか否かの判断に加えても良い。
【０１０４】
検索実行状況ではなければステップＦ５０７を介してステップＦ５０１に戻るが、検索実行状況であると判断した場合は、システムコントローラ１０はステップＦ５０３に進み、検索条件を設定し、検索実行制御を行う。
検索条件は、上述したメタデータを対象とした検索を実行するための検索条件でありメタデータとして付加されている情報内容を検索条件として設定するものである。
例えば、ステップＦ５０１での判別で検出された生体情報の値や感情情報を、検索条件とする。つまりは、現在、ユーザの「楽しい」という感情が検出されたのであれば、検索条件に「楽しい」という情報を設定する。また現在、ユーザの心拍数が「ｘ以上」であれば、「心拍数ｘ以上」という情報を検索条件に設定する。
さらに、現在の日時や場所（緯度・経度）を検索条件に含めても良いし、ユーザの識別情報を検索条件に含めても良い。ユーザ識別情報とは、上記メタデータの生成の際に説明した識別情報である。
また現在のユーザの操作内容（例えばズーム等の撮像系の操作やリプレイ等の操作）の情報を検索条件に含めても良い。
そして検索条件を設定したら、その検索条件をストレージ部２５に与え、画像データの検索を実行させる。
或いは、通信部２６から検索条件を外部機器に送信し、外部機器に検索を求める。
【０１０５】
ストレージ部２５（或いは外部機器）では、保存された画像データのメタデータを対象として、検索条件に合致するものがあるか否かを探す。そして検索条件にヒットした画像データの有無をシステムコントローラ１０に通知する。
ヒットした画像データが無ければ、システムコントローラ１０の処理はステップＦ５０４からＦ５０７を介してＦ５０１に戻る。
或る画像データが検索にヒットした場合は、システムコントローラ１０の処理はステップＦ５０４からＦ５０５に進み、当該検索された画像データの表示処理を実行する。
即ちストレージ部２５に、検索された画像データの再生を指示し、再生された画像データが画像入出力コントロール部２７を介して表示画像処理部１２に供給するように制御する。表示制御部１４には、ストレージ部２５で再生された画像についての表示処理を指示する。これによって検索結果の画像が表示部２において表示されることになる。
【０１０６】
なお、外部機器での検索が行われた場合は、通信部２６により外部機器から送信されてくる画像データを受信することになる。システムコントローラ１０は外部機器で再生及び送信され、通信部２６で受信した画像データが、画像入出力コントロール部２７を介して表示画像処理部１２に供給するように制御する。また表示制御部１４には、この画像データについての表示処理を指示する。これによって外部機器での検索結果の画像が表示部２において表示されることになる。
【０１０７】
表示部２における検索結果の再生画像の表示形態は多様に考えられる。例えばシステムコントローラ１０の指示に基づいて表示制御部１４が表示画像処理部１２及び表示駆動部１３に表示形態を指示することで、再生画像の多様な表示形態が実現できる。
【０１０８】
例えば図１８（ａ）に示すように表示部２の画面領域において、親画面の領域ＡＲ１内で子画面の領域ＡＲ２を設定し、領域ＡＲ１はスルー状態としながら、領域ＡＲ２に再生画像を表示させる例が考えられる。ユーザは、スルー状態とされている領域ＡＲ１において現在の光景を視認しながら、領域ＡＲ２において、過去の光景として自動検索された画像を見ることができる。
また図１８（ｂ）は、画面領域を上下で領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態としながら、領域ＡＲ２にリプレイ画像を表示させている例である。この場合も、ユーザは、スルー状態とされている領域ＡＲ１において現在の光景を視認しながら、領域ＡＲ２において、自動検索された過去の光景の画像を見ることができる。
例えばこのように親子画面、或いは画面分割などでスルー状態の領域を残しながら検索結果の再生画像の表示を実行する。もちろん画面内での子画面の位置やサイズを変更することもユーザの操作に応じて可能としたり。或いは画面分割の場合に、領域ＡＲ１，ＡＲ２を左右に分割したり、領域ＡＲ１と領域ＡＲ２の面積を等分割ではないようにユーザの操作に応じて設定することも考えられる。さらに表示位置の入れ換えとして、親画面と子画面の交代や分割された領域の交代をユーザ操作に応じて行うようにしても良い。
また、領域ＡＲ１はスルー状態とせずに、撮像系で撮像されている画像（即ちスルー状態と同等の現在の光景の画像）を表示させてもよい。
【０１０９】
また、検索された再生画像を、スルー状態と切り換えながら画面上の全領域で表示させてもよい。
例えばスルー状態にしておきながら、一瞬、再生画像を表示させる。或いは一瞬表示させる動作を繰り返す。
或いは、両眼に対応して表示部２，２が設けられているため、一方の表示部２は全面スルー状態とし、他方の表示部２で、全面で再生画像を表示させるということも考えられる。
【０１１０】
さらに、表示部２の画面領域の全部をスルー状態とさせながら、その画面領域の全部又は一部において、再生画像を表示させてもよい。
例えば図１９（ａ）は画面全域がスルー状態となっている場合の光景を示しているが、図１９（ｂ）は、このときに、画面領域の右下隅において、再生画像Ｐが表示されている例である。また図１９（ｃ）は、画面全域がスルー状態となっているところに、その画面全域に再生画像Ｐが表示されている例である。
再生画像を、透過率を高くしたスルー状態の領域において表示させることで、ユーザの視界光景上に、再生画像がおぼろげに浮かび上がるといった状態で出現する。これは例えばユーザの思い出や過去の体験を思い起こさせるような表示となる。
【０１１１】
なお、図２のように表示装置部３０が別体で形成されている場合、スルー状態とする必要はないため、再生画像を通常に表示装置部３０において表示させればよい。
【０１１２】
ステップＦ５０５では、検索された画像データを、これらのようにしてユーザに提示する。そして表示が終了したら、ステップＦ５０６からＦ５０７に進み、動作終了でなければステップＦ５０１に戻る。
このような図１７の処理は、ステップＦ５０１で動作終了と判断されるまで継続される。動作終了と判断するのは、例えば撮像表示装置１が電源オフとされた場合であったり、或いはユーザがこのような表示を行わないようにする操作を行った場合などである。
【０１１３】
なお、この図１７の処理は、電源オン或いは電源オン後の動作開始操作等の以降、継続して行われるようにしたが、ユーザが再生画像の表示を求める操作を可能とし、その操作が行われた際に、図１７の処理が開始されるようにしてもよい。また、その場合、ステップＦ５０２の検索実行状況であるか否かの判断は不要としてもよい。
また、この図１７の処理を実行する条件としてユーザ認証を行ってもよい。例えば生体センサ２１の検出情報からユーザ個人を判別し、特定のユーザが撮像表示装置１を装着した場合のみ、図１７の表示処理が実行されるようにしても良い。もちろん図１７の処理に限らず、図１３〜図１６の処理も、特定のユーザが装着した場合にのみ実行されるようにしてもよい。
【０１１４】
［８．実施の形態の効果、及び変形例、拡張例］
以上、実施の形態の撮像表示装置１によれば、ユーザが日常、目にする光景が、ユーザの生体情報に基づいて生成されたメタデータとともに保存される。従って日常の光景の画像を、ユーザの状況に関連づけて保存することができ、後の再生等のための検索に便利となる。
そしてさらに、生体情報を利用して生成した検索条件により、保存された画像データを検索し、表示することで、ユーザの現在の状況に適した過去の画像を提供できることになり、ユーザに思い出をよみがえらせたり、過去の似たような場面を確認させたり、印象的な出来事を再生して提示するなど、非常におもしろみのある画像提供を実現できる。
【０１１５】
より具体的に言えば、撮像表示装置１が図１３〜図１６によるシステムコントローラ１０の制御処理によって撮像／一時記憶／保存処理等の動作を行うこと、及び図１７のシステムコントローラ１０の制御処理によって自動検索及び表示動作を行うことで、以下のようなことが実現できる。
【０１１６】
まず、ユーザが見た光景が全て一時的に記憶されるため、ユーザは直前の光景をリプレイによって見直すことができる。
例えば競技場、サッカースタジアム、野球場などでスポーツ観戦をしている場合、テレビジョン放送視聴時のようにリプレイを見ることはできないが、撮像表示装置１を装着していることで、任意に選手のプレイのリプレイ等を見ることができる。
また、日常生活において、ぼんやりしていて或る光景を見逃した場合、不意に気になる人物とすれ違った場合、交通事故等を目撃してしまった場合、その他、あらゆる場面において、直前の光景をリプレイして見直すことができる。
【０１１７】
また一時記憶部２３は、あくまで一時的な記憶を前提にするため、常時撮像画像を記憶するにしても、リングメモリ形式のように記憶領域を使用すればよく、莫大な容量を必要とするものではない。例えば設計時には、どの程度前の時間までのリプレイ表示を可能とさせるかという観点で容量設定を行えばよい。
【０１１８】
またユーザは、撮像関連操作を行うことによって望遠画像、広角画像、拡大画像、赤外線撮像感度上昇画像、紫外線撮像感度上昇画像、高フレームレート画像など、特殊撮像状態で撮像した画像を表示部２で見ることができる。これによって、通常の視覚では見ることのできない光景を、任意に見ることができるようになる。
【０１１９】
またリプレイ表示や、特殊撮像状態の撮像をユーザが操作により指示した場合は、それらの対象となる光景はユーザにとって興味のある光景であると言える。そのような場合の画像データを、ストレージ部２５（又は通信部２６が通信する外部装置）において永続的に保存させる保存処理が行われることで、ユーザにとって興味のある光景の画像が保存される。従って、後日、それらの光景を再生させて見直したり、自分の行動履歴や思い出をとどめる映像アルバムなどとして編集することなども可能となる。
同様に生体トリガ、音声トリガなどによっても、画像データの保存処理が行われるため、ユーザが特に操作を行わなくとも、ユーザにとって興味があったり重要な光景の画像データが永続的に保存される。
従って、ユーザの通常生活における重要な光景の画像を残す撮像表示装置を実現できる。
【０１２０】
またユーザの感情や身体の状況、日時、場所等に応じて過去の画像が自動検索され、表示されることで、ユーザにとっては、自分の状況などに応じて画像が現れることになる。
例えば楽しい気分のときに、過去において同じように楽しい気分の時の光景が表示される。悲しい気分の時には、過去の悲しいときの光景が表示される。
例えば図１８の画像の例は、現在或る風景に感動しているときに、過去に同じように感動した風景の画像が現れた状態である。
また図１９の画像の例は、ユーザが過去の知人・恋人等を思い出して懐かしんだときに、その懐かしんだ人と過ごした光景が現れた状態である。
このように、その時々の感情等に応じて、過去に同じような感情となったときの光景が浮かび上がるような表示動作が実行される。
また、日時、場所等も検索条件に加えることで、特定の日時や場所も関連づけられた画像データが検索される。例えばクリスマスに楽しく過ごしているときに、過去のクリスマスの楽しいときの光景が再生される。またスポーツ競技場での観戦でエキサイトしているときに、過去に、同じ場所でエキサイトしたときのシーンが表示されるなどである。
【０１２１】
また、撮像表示装置１の内部においてストレージ部２５に画像データを保存し、かつそのストレージ部２５に保存された画像データを検索して再生する場合は、基本的には過去に自分が見た光景が再生されるわけであるが、通信部２６を有する構成にいては、自分が見た光景に限らず、他人が見た光景を見ることもできる。
例えば多数のユーザがそれぞれ撮像表示装置１を装着し、画像データをサーバ装置７１に保するとする。すると多数のユーザが見た光景の画像データがサーバ装置７１に保存されることになるが、それらを検索対象とすれば、自分の現在の感情、日時、場所等に合致する他人の光景が検索されることにもなる。
つまり、多数の人の感情等に応じた光景を共有できることになり、例えば自分が楽しいときに、他人の楽しいときに見た光景を見ることができるようにもなる。
【０１２２】
一方、保存される画像データはユーザ個人の見た光景の画像データであるため、プライバシー等の観点で、むやみに誰でも見ることができるようにすることが不適切なこともある。このため、ユーザ識別情報を検索条件に加えるようにし、或るユーザには、そのユーザ自身が見た過去の光景しか検索されないようにすることも考えられる。
或いは、特定のユーザ同志のグループでの識別情報を設定し、メタデータとして保存すると共に検索条件に加えることで、グループ間では各人の見た光景の画像データを共有できるようにすることも考えられる。すると、知人同士で、感動したときの光景、楽しいときの光景などを共有できることになる。
【０１２３】
また検索された画像の表示としては、図１８，図１９のようにスルー状態の領域を残して、或いはスルー状態に重畳するようにして表示させることで、現在の視界が妨げられることはなく、通常の生活中に過去の画像が現れても支障はない。
また、図１９のように再生画像がおぼろげに表示されるようにすれば、思い出の光景として適した表示効果も得られる。
【０１２４】
なお、撮像表示装置１の構成や動作については、多様な変形例が考えられる。
実施の形態では、常時撮像画像を一時記憶部２３に記憶し、保存条件が満たされた際の画像データをストレージ部２５等に永続的に保存するようにしたが、撮像表示装置１内のストレージ部２５やサーバ装置７１で非常に大容量の不揮発性記録媒体を用いることができる場合などは、撮像画像データを全て永続的に保存するようにしても良い。その場合、メタデータとして、常時検出される生体情報の値や感情情報を付加したり、日時、場所の情報を付加すればよい。
また装着時に常に撮像や画像データの保存（或いは一時記憶）を行わず、ユーザの操作によって、この動作を実行する期間を決めても良い。つまりユーザが開始操作を行ってから終了操作を行うまで、図１３〜図１６の処理を行うようにするものである。
また図１７の処理についても同様に、ユーザが開始操作を行ってから終了操作を行うまでの期間において実行するようにしてもよい。
もちろん図１３〜図１６の処理や、図１７の処理は一例であり、画像撮像や画像データの保存を行う撮像装置としての処理例や、現在の状況に応じて保存された画像データを検索し表示する表示装置としての処理例は多様に想定される。
【０１２５】
また、例えば外部機器としてストレージ機器７０やサーバ装置７１に画像データを保存する場合に、図１７の処理による検索では、検索条件を外部機器に送信して外部機器側で検索を行うように述べたが、例えば或る条件（ユーザ識別情報や日時範囲）で外部機器に保存された画像データを一括的に撮像表示装置１内のストレージ部２５にダウンロードし、検索はストレージ部２５内の画像データを対象として行うことも考えられる。
通信部２６とストレージ部２５の両方を備えた構成とすることにより、このような動作も可能となる。
【０１２６】
また図１８，図１９で述べた再生画像の表示例では、スルー状態を残すことで現在の光景を視認できるようにした上で、再生画像を表示するものとしたが、スルー状態に代えて、現在撮像系で撮像されている画像データを表示させてもよい。スルー状態と同様に現在の光景を確認できるためである。
【０１２７】
また、過去の画像を検索して表示させるという観点で述べてきたが、音声データをメタデータと共に保存し、現在の状況に応じて過去の音声データを検索してユーザに対して再生出力するということも考えられる。
例えば感動したときに、過去の感動したときの音楽が流れるなどの動作が実現される。
【０１２８】
本発明の実施の形態として撮像表示装置１を挙げたが、画像撮像や画像データの保存を行う撮像装置や、現在の状況に応じて保存された画像データを検索し、表示する表示装置も想定される。
また上述したリプレイ機能を持たない撮像装置も考えられる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図２】実施の形態の他の撮像表示装置の外観例の説明図である。
【図３】実施の形態の撮像表示装置の外部機器との関連の説明図である。
【図４】実施の形態の撮像表示装置のブロック図である。
【図５】実施の形態の他の撮像表示装置のブロック図である。
【図６】実施の形態のさらに他の撮像表示装置のブロック図である。
【図７】実施の形態のスルー状態、通常撮像画像、望遠撮像画像の説明図である。
【図８】実施の形態の拡大画像の説明図である。
【図９】実施の形態の赤外線感度上昇撮像画像の説明図である。
【図１０】実施の形態の紫外線感度上昇撮像画像の説明図である。
【図１１】実施の形態の一時記憶部とリプレイ動作の説明図である。
【図１２】実施の形態のリプレイ画像表示の説明図である。
【図１３】実施の形態の制御処理のフローチャートである。
【図１４】実施の形態のリプレイ処理のフローチャートである。
【図１５】実施の形態の撮像系制御処理のフローチャートである。
【図１６】実施の形態のメタデータ生成処理のフローチャートである。
【図１７】実施の形態の保存画像の表示処理のフローチャートである。
【図１８】実施の形態の保存画像の表示状態の説明図である。
【図１９】実施の形態の保存画像の表示状態の説明図である。
【符号の説明】
【０１３０】
１  撮像表示装置、２  表示部、３  撮像部、５  音声出力部、６  音声入力部、１０  システムコントローラ、１１  撮像制御部、１２  表示画像処理部、１３  表示駆動部、１４  表示制御部、１５  撮像信号処理部、１６  音声信号処理部、２０  操作入力部、２１  生体センサ、２３  一時記憶部、２４  音声解析部、２５  ストレージ部、２６  通信部、７０  ストレージ機器、７１  サーバ装置
【図１】
2008118527.tif 000003
【図２】
2008118527.tif 000004
【図３】
2008118527.tif 000005
【図４】
2008118527.tif 000006
【図５】
2008118527.tif 000007
【図６】
2008118527.tif 000008
【図７】
2008118527.tif 000009
【図８】
2008118527.tif 000010
【図９】
2008118527.tif 000011
【図１０】
2008118527.tif 000012
【図１１】
2008118527.tif 000013
【図１２】
2008118527.tif 000014
【図１３】
2008118527.tif 000015
【図１４】
2008118527.tif 000016
【図１５】
2008118527.tif 000017
【図１６】
2008118527.tif 000018
【図１７】
2008118527.tif 000019
【図１８】
2008118527.tif 000020
【図１９】
2008118527.tif 000021