(57)【要約】  画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供する。  表示制御部（８０）は、蓄積画像（４３）の一覧（４４）を有する蓄積画像一覧画面（４５）をヘッドマウントディスプレイ（１１）に表示させる。検知部（７３）は、ヘッドマウントディスプレイ（１１）の視線検知カメラ（２９）からの撮像画像（８５）に基づいて、蓄積画像（４３）に対するユーザ（１３）の視線を検知する。計時部（７４）は、蓄積画像（４３）に対するユーザ（１３）の注視時間を計時する。評価部（７５）は、評価基準（６２）に基づいて、注視時間を蓄積画像（４３）に対するユーザの関心度に置換する。情報受付部（７６）は、関心度を注視時間の情報として受け付ける。情報管理部（７７）は、蓄積画像（４３）の画像ＩＤと関心度を関連付けて、画像関心度情報（６３）としてストレージデバイス（５０）に記録する。
2018016464.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記画像に対する前記ユーザの視線を検知する検知部と、
前記視線の検知結果に基づいて、前記画像に対する前記ユーザの注視時間を計時する計時部と、
前記注視時間の情報を受け付ける情報受付部と、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える画像表示システム。
【請求項２】
前記情報管理部からの前記注視時間の情報に応じて、前記複数の画像から少なくとも１つの関心画像を選出する選出部を備える請求項１に記載の画像表示システム。
【請求項３】
前記複数の画像のうちの一部の画像群で構成される電子アルバムを作成するアルバム作成部であり、前記関心画像が選出された場合に、前記関心画像を含む前記電子アルバムを作成するアルバム作成部を備える請求項２に記載の画像表示システム。
【請求項４】
前記表示制御部は、前記関心画像と、前記電子アルバムとを前記ヘッドマウントディスプレイに表示させ、
前記ユーザからの前記電子アルバムへの前記関心画像の追加指示を受け付ける追加指示受付部を備え、
前記アルバム作成部は、前記追加指示に応じて前記電子アルバムを作成する請求項３に記載の画像表示システム。
【請求項５】
前記表示制御部は、複数の前記ユーザの各々に装着された前記ヘッドマウントディスプレイに前記一覧を表示させる請求項１ないし４のいずれか１項に記載の画像表示システム。
【請求項６】
前記ユーザの共有指示を受け付ける共有指示受付部と、
前記共有指示を行った指示ユーザの視線が置かれている前記一覧中の前記画像である注視画像を複数の前記ユーザ間で共有する共有モードと、前記注視画像を複数の前記ユーザ間で共有しない非共有モードとを切り替えるモード切替部とを備える請求項５に記載の画像表示システム。
【請求項７】
前記表示制御部は、前記共有モードでは前記一覧中の前記注視画像にマークを表示させ、前記非共有モードでは複数の前記ユーザの各々の視線が置かれている前記一覧中の前記画像に前記マークを表示させる請求項６に記載の画像表示システム。
【請求項８】
前記共有指示受付部は、前記ユーザの発話音声による前記共有指示を受け付ける請求項６または７に記載の画像表示システム。
【請求項９】
評価基準に基づいて、前記注視時間を前記画像に対する前記ユーザの関心度に置換する評価部を備え、
前記情報管理部は、前記関心度を前記注視時間の情報として記録する請求項１ないし８のいずれか１項に記載の画像表示システム。
【請求項１０】
前記ユーザからの前記画像の再生指示を受け付ける再生指示受付部を備え、
前記表示制御部は、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させ、前記再生指示に応じて、前記現実空間の実在オブジェクトに前記画像を再生表示させる請求項１ないし９のいずれか１項に記載の画像表示システム。
【請求項１１】
ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御部と、
前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付部と、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理部とを備えるヘッドマウントディスプレイの制御装置。
【請求項１２】
ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動方法において、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付ステップと、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。
【請求項１３】
ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御機能と、
前記画像に対する前記ユーザの視線を検知部が検知し、前記検知部の検知結果に基づいて計時部が計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付機能と、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムに関する。
【背景技術】
【０００２】
ユーザの頭部に装着されたヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display））にコンピュータグラフィックスを用いた仮想画像を表示させ、仮想画像で作り出される仮想現実空間、または現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる技術が知られている。【０００３】
例えば特許文献１には、複数の画像が並べられた画像の一覧をＨＭＤに表示させ、ユーザが所定時間以上連続して注視した画像をＨＭＤに再生表示する技術が記載されている。特許文献１では、ＨＭＤに搭載したカメラでユーザの左眼を撮像し、この左眼の撮像画像に基づいてユーザの視線を検知している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１４３５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像に対する注視時間は、ユーザの画像への関心度を示す重要な指標である。このため注視時間の情報は利用価値が高い。しかしながら、特許文献１では、単に注視時間が所定時間以上の画像を再生表示しているだけで、注視時間の情報の有効活用には至っていない。【０００６】
本発明は、画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像表示システムは、ユーザの頭部に装着されたヘッドマウントディスプレイと、ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御部と、画像に対するユーザの視線を検知する検知部と、視線の検知結果に基づいて、画像に対するユーザの注視時間を計時する計時部と、注視時間の情報を受け付ける情報受付部と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える。【０００８】
情報管理部からの注視時間の情報に応じて、複数の画像から少なくとも１つの関心画像を選出する選出部を備えることが好ましい。【０００９】
複数の画像のうちの一部の画像群で構成される電子アルバムを作成するアルバム作成部であり、関心画像が選出された場合に、関心画像を含む電子アルバムを作成するアルバム作成部を備えることが好ましい。【００１０】
表示制御部は、関心画像と、電子アルバムとをヘッドマウントディスプレイに表示させ、ユーザからの電子アルバムへの関心画像の追加指示を受け付ける追加指示受付部を備え、アルバム作成部は、追加指示に応じて電子アルバムを作成することが好ましい。【００１１】
表示制御部は、複数のユーザの各々に装着されたヘッドマウントディスプレイに一覧を表示させることが好ましい。この場合、ユーザの共有指示を受け付ける共有指示受付部と、共有指示を行った指示ユーザの視線が置かれている一覧中の画像である注視画像を複数のユーザ間で共有する共有モードと、注視画像を複数のユーザ間で共有しない非共有モードとを切り替えるモード切替部とを備えることが好ましい。【００１２】
表示制御部は、共有モードでは一覧中の注視画像にマークを表示させ、非共有モードでは複数のユーザの各々の視線が置かれている一覧中の画像にマークを表示させることが好ましい。【００１３】
共有指示受付部は、ユーザの発話音声による共有指示を受け付けることが好ましい。【００１４】
評価基準に基づいて、注視時間を画像に対するユーザの関心度に置換する評価部を備え、情報管理部は、関心度を注視時間の情報として記録することが好ましい。【００１５】
ユーザからの画像の再生指示を受け付ける再生指示受付部を備え、表示制御部は、ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させ、再生指示に応じて、現実空間の実在オブジェクトに画像を再生表示させることが好ましい。【００１６】
本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御部と、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付部と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理部とを備える。【００１７】
本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動方法において、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御ステップと、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付ステップと、画像と注視時間の情報を記憶部に関連付けて記録する情報管理ステップとを備える。【００１８】
本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、複数の画像が並べられた画像の一覧をヘッドマウントディスプレイに表示させる表示制御機能と、画像に対するユーザの視線を検知部が検知し、検知部の検知結果に基づいて計時部が計時した、画像に対するユーザの注視時間の情報を受け付ける情報受付機能と、画像と注視時間の情報を記憶部に関連付けて記録する情報管理機能とを、コンピュータに実行させる。
【発明の効果】
【００１９】
本発明によれば、ヘッドマウントディスプレイに表示された一覧中の画像に対するユーザの注視時間を計時し、画像と注視時間の情報を関連付けて記録するので、画像に対する注視時間の情報を有効活用することが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】画像表示システムを示す図である。
【図２】ヘッドマウントディスプレイの外観斜視図である。
【図３】ユーザがヘッドマウントディスプレイを使用している様子を示す図である。
【図４】拡張現実空間の成り立ちを説明するための図である。
【図５】制御サーバを構成するコンピュータのブロック図である。
【図６】制御サーバのＣＰＵの構成を示すブロック図である。
【図７】複数のユーザの各々に装着されたヘッドマウントディスプレイに、対応する蓄積画像一覧画面を表示させる様子を示す図である。
【図８】評価基準を示す図である。
【図９】画像関心度情報を示す図である。
【図１０】選出条件を示す図である。
【図１１】検知部の機能を示す図である。
【図１２】情報受付部の機能を示す図である。
【図１３】フォルダ選択画面から蓄積画像一覧画面への表示遷移を示す図である。
【図１４】ユーザの視線が置かれている一覧中の蓄積画像にマークを表示させた状態の蓄積画像一覧画面から再生表示画面への表示遷移を示す図である。
【図１５】関心画像一覧画面から電子アルバムの閲覧画面への表示遷移を示す図である。
【図１６】蓄積画像一覧画面の表示開始から終了までの処理手順を示すフローチャートである。
【図１７】関心画像の選出から電子アルバムの記憶までの処理手順を示すフローチャートである。
【図１８】第２実施形態における関心画像一覧画面から電子アルバムの閲覧画面への表示遷移を示す図である。
【図１９】第２実施形態における指示受付部およびアルバム作成部の機能を示す図である。
【図２０】視野カメラ付きヘッドマウントディスプレイの外観斜視図である。
【図２１】壁に再生表示画面を再生表示している様子を示す図である。
【図２２】第３実施形態の制御サーバのＣＰＵの機能を示す図である。
【図２３】第４実施形態の制御サーバのＣＰＵの機能を示す図である。
【図２４】非共有モードの場合の各ユーザが視認する蓄積画像一覧画面を示す図である。
【図２５】共有モードの場合の各ユーザが視認する蓄積画像一覧画面を示す図である。
【図２６】制御装置の別の例を示す図である。
【図２７】制御装置のさらに別の例を示す図である。
【発明を実施するための形態】
【００２１】
[第１実施形態]
図１において、画像表示システム１０は、ＨＭＤ１１と、ＨＭＤ１１の制御装置に相当する制御サーバ１２とを備える。画像表示システム１０は、制御サーバ１２に蓄積された画像をＨＭＤ１１に表示させ、ユーザ１３がＨＭＤ１１を通して画像を閲覧するものである。ＨＭＤ１１は各ユーザ１３の自宅１４で使用される。ＨＭＤ１１はユーザ１３の頭部に装着される。ここで頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。制御サーバ１２はデータセンタ１５に設置されている。
【００２２】
ＨＭＤ１１はネットワーク１６を介して制御サーバ１２と相互に通信可能に接続されている。ネットワーク１６は、インターネットや公衆通信網といったＷＡＮ（Wide Area Network）等である。ネットワーク１６には、情報セキュリティを考慮して、ＶＰＮ（Virtual Private Network）が構築されたり、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。
【００２３】
制御サーバ１２は、図示しないユーザ１３の撮影機器あるいはパーソナルコンピュータ等から画像を受信してこれを蓄積し、かつ画像をＨＭＤ１１に配信する機能を有する。画像には、ユーザ１３が撮影機器で撮影したものや、ユーザ１３がインターネットでダウンロードしたもの等が含まれる。画像は、個々のユーザ１３を識別するためのユーザＩＤ（Identification Data）、個々の画像を識別するための画像ＩＤ、あるいは撮影日時または取得日時、撮影場所（ＧＰＳ（Global Positioning System）情報）またはインターネット上の取得場所（ＵＲＬ（Uniform Resource Locator））、ユーザ１３が付したキーワード等を検索キーとして検索が可能である。以下では、制御サーバ１２に蓄積された画像を蓄積画像４３（図３参照）という。
【００２４】
制御サーバ１２では複数のユーザ１３の蓄積画像４３が集積管理されている。制御サーバ１２は、ＨＭＤ１１からの配信指示に応じた蓄積画像４３を検索し、検索した蓄積画像４３を配信指示の指示元のＨＭＤ１１に配信する。
【００２５】
制御サーバ１２は、ＨＭＤ１１の動作を制御する機能も有する。具体的には、蓄積画像４３の一覧４４（図３参照）を有する蓄積画像一覧画面４５（図３参照）等の各種画面をＨＭＤ１１に表示させる機能や、複数の蓄積画像４３のうちの一部の画像群で構成される電子アルバム６１（図６参照）を作成する機能等を有する。
【００２６】
図１では、制御サーバ１２は、複数のユーザ１３の各々に装着された複数台のＨＭＤ１１とネットワーク１６を介して接続されている。制御サーバ１２は、これら複数台のＨＭＤ１１の各自の動作を独立して制御する。
【００２７】
図２において、ＨＭＤ１１は、本体部２５とバンド部２６とで構成される。本体部２５はＨＭＤ１１の装着時にユーザ１３の眼前に位置する。バンド部２６はＨＭＤ１１の装着時にユーザ１３の頭部の上半部に固定される。
【００２８】
本体部２５は、保護枠２７、スクリーン２８、および視線検知カメラ２９を備えている。保護枠２７はユーザ１３の両眼全体を覆うゴーグル形状を有し、透明な色付きのガラスまたはプラスチックで形成される。図示は省略するが、保護枠２７のユーザ１３の顔面と接触する部分にはウレタンフォームが貼り付けられている。
【００２９】
スクリーン２８および視線検知カメラ２９は、保護枠２７の内側に配されている。スクリーン２８は眼鏡形状を有し、保護枠２７と同様に透明な材料で形成される。このスクリーン２８と保護枠２７を通じて、ユーザ１３は現実空間ＲＳ（図４参照）を肉眼で視認する。つまりＨＭＤ１１は透過型である。
【００３０】
また、ユーザ１３の眼と対向するスクリーン２８の内面には、コンピュータグラフィックスを用いた仮想画像が投影部（図示せず）から投影表示される。投影部は周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン２８の内面に向けて投影する投影光学系とで構成される。仮想画像はスクリーン２８の内面で反射してユーザ１３の眼に入射する。これにより、ユーザ１３は仮想画像を仮想空間ＶＳ（図４参照）上の虚像として認識する。
【００３１】
仮想画像には、拡張現実空間ＡＲＳ（図３参照）において、現実空間ＲＳに存在する実在オブジェクトと同じようにユーザ１３が認識する仮想オブジェクトがある。仮想オブジェクトは、例えば蓄積画像一覧画面４５である。
【００３２】
視線検知カメラ２９は、例えばＨＭＤ１１の装着時にユーザ１３の左眉尻と対向する本体部２５の上部左端に設けられている。視線検知カメラ２９は例えば可視光カメラであり、ユーザ１３の左眼を所定のフレームレート（例えば３０フレーム／秒）で撮像する。視線検知カメラ２９で撮像された画像（以下、撮像画像）８５（図１１参照）は、逐次制御サーバ１２に送信される。
【００３３】
本体部２５にはアーム３０が取り付けられ、アーム３０の先端にはマイクロフォン３１が取り付けられている。アーム３０は長さおよび向きを変更可能であり、これによりマイクロフォン３１の位置を調整可能である。マイクロフォン３１は、制御サーバ１２に様々な指示を行うためのユーザ１３の発話音声を収音し、電気信号として出力する。制御サーバ１２への指示には、蓄積画像一覧画面４５の配信指示（図６および図１３参照）や、電子アルバム６１の作成を指示するアルバム作成指示（図６および図１５参照）等がある。
【００３４】
本体部２５にはケーブル３２の一端が接続されている。ケーブル３２の他端はルータ等のネットワーク機器に接続されている。ＨＭＤ１１は、このケーブル３２を介して制御サーバ１２と通信する。なお、ＨＭＤ１１の通信を、ケーブル３２を用いた有線通信ではなく無線通信としてもよい。
【００３５】
バンド部２６は数センチ程度の幅を有する帯状の紐であり、横バンド３３と縦バンド３４とで構成される。横バンド３３は、ユーザ１３の両側頭部と後頭部に巻き付けられる。縦バンド３４はユーザ１３の前頭部、頭頂部、および後頭部に巻き付けられる。これら横バンド３３および縦バンド３４には図示しないバックルが取り付けられており、長さ調節が可能である。
【００３６】
図３は、自宅１４においてユーザ１３がＨＭＤ１１を使用している様子を示す。ユーザ１３は自宅１４の壁４０に向かって立ち、左手４１を挙げている。壁４０の隅には台４２が置かれている。なお、図３ではケーブル３２の図示を省略している。
【００３７】
ユーザ１３は、ＨＭＤ１１を通じて拡張現実空間ＡＲＳを認識している。拡張現実空間ＡＲＳには、蓄積画像４３の一覧４４を有する蓄積画像一覧画面４５が表示されている。壁４０および台４２は、点線で示すようにその大部分が蓄積画像一覧画面４５で覆い隠されている。一方、左手４１は蓄積画像一覧画面４５では覆い隠されておらず、蓄積画像一覧画面４５の下方に位置している。
【００３８】
図４に、拡張現実空間ＡＲＳの成り立ちを示す。ユーザ１３は、ＨＭＤ１１のスクリーン２８と保護枠２７を通じて、壁４０、左手４１、および台４２が存在する現実空間ＲＳを視認する。加えて、ユーザ１３は、スクリーン２８の内面を通じて、蓄積画像一覧画面４５が存在する仮想空間ＶＳを視認する。これにより、ユーザ１３は、現実空間ＲＳと仮想空間ＶＳを融合させた拡張現実空間ＡＲＳを認識する。
【００３９】
蓄積画像一覧画面４５は、仮想空間ＶＳ内の所定位置に表示位置が固定されている。このため、拡張現実空間ＡＲＳにおいては、蓄積画像一覧画面４５は常に同じ位置に同じ大きさで表示される。なお、蓄積画像一覧画面４５以外の各種画面も同様に、仮想空間ＶＳ内の所定位置に表示位置が固定されている。
【００４０】
図５において、制御サーバ１２は、ストレージデバイス５０、メモリ５１、ＣＰＵ（Central Processing Unit）５２、および通信部５３を備えている。これらはデータバス５４を介して相互接続されている。
【００４１】
ストレージデバイス５０は、制御サーバ１２に内蔵、またはケーブルあるいはネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス５０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種情報等が記憶されている。
【００４２】
メモリ５１は、ＣＰＵ５２が処理を実行するためのワークメモリである。ＣＰＵ５２は、ストレージデバイス５０に記憶されたプログラムをメモリ５１へロードして、プログラムにしたがった処理を実行することにより、制御サーバ１２の各部を統括的に制御する。通信部５３は、ネットワーク１６を介したＨＭＤ１１との間の各種情報の通信を担う。
【００４３】
図６において、ストレージデバイス５０には作動プログラム６０が記憶されている。作動プログラム６０は、制御サーバ１２を構成するコンピュータを、ＨＭＤ１１の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス５０には、作動プログラム６０の他に、蓄積画像４３、電子アルバム６１、評価基準６２、画像関心度情報６３、および選出条件６４が記憶されている。蓄積画像４３、電子アルバム６１、および画像関心度情報６３は、ユーザ１３毎にユーザＩＤで区別して記憶されている。
【００４４】
作動プログラム６０が起動されると、ＣＰＵ５２は、メモリ５１等と協働して、撮像画像取得部７０、音声認識部７１、指示受付部７２、検知部７３、計時部７４、評価部７５、情報受付部７６、情報管理部７７、選出部７８、アルバム作成部７９、および表示制御部８０として機能する。
【００４５】
撮像画像取得部７０は、ＨＭＤ１１の視線検知カメラ２９から所定のフレームレートで逐次送信される撮像画像８５を取得する。撮像画像取得部７０は、取得した撮像画像８５を検知部７３に出力する。
【００４６】
音声認識部７１は、ＨＭＤ１１のマイクロフォン３１からのユーザ１３の発話音声の電気信号に基づいて、発話音声の内容を認識する。音声認識部７１は、発話音声の内容の認識結果である音声情報を指示受付部７２に出力する。
【００４７】
指示受付部７２は、音声認識部７１からの音声情報で表される様々な指示を受け付ける。指示受付部７２は、指示が蓄積画像一覧画面４５の配信指示であった場合、これを情報管理部７７に出力する。また、指示受付部７２は、指示が電子アルバム６１の作成を指示するアルバム作成指示であった場合、これをアルバム作成部７９に出力する。指示受付部７２が受け付ける指示には、これら配信指示、アルバム作成指示の他に、蓄積画像４３の再生指示（図１４参照）、蓄積画像一覧画面４５の表示の終了指示（図１６参照）、電子アルバム６１の保存指示（図１７参照）等がある。
【００４８】
検知部７３は、撮像画像取得部７０からの撮像画像８５に基づいて、一覧４４中の蓄積画像４３に対するユーザ１３の視線を検知する。検知部７３は、視線の検知結果である視線情報を計時部７４、情報受付部７６、および表示制御部８０に出力する。
【００４９】
計時部７４は、一覧４４中の蓄積画像４３に対するユーザ１３の注視時間を計時する。計時部７４は、計時した注視時間を評価部７５に出力する。
【００５０】
評価部７５は、評価基準６２に基づいて、計時部７４からの注視時間を、蓄積画像４３に対するユーザ１３の関心度に置換する。評価部７５は、置換した関心度を注視時間の情報として情報受付部７６に出力する。
【００５１】
情報受付部７６は、検知部７３からの視線情報、並びに評価部７５からの関心度を受け付ける情報受付機能を担う。また、情報受付部７６は、表示制御部８０から、複数の蓄積画像４３の一覧４４における配置を示すレイアウト情報（図１２参照）を受け付ける。情報受付部７６は、表示制御部８０からのレイアウト情報に基づいて、検知部７３からの視線情報を蓄積画像４３の画像ＩＤに変換する。情報受付部７６は、変換した画像ＩＤと評価部７５からの関心度とを情報管理部７７に出力する。
【００５２】
情報管理部７７は、ストレージデバイス５０に記憶された各種情報を管理する情報管理機能を担う。この情報管理機能の一環として、情報管理部７７は、情報受付部７６からの画像ＩＤと関心度を関連付けて、画像関心度情報６３としてストレージデバイス５０に記録する。すなわち、ストレージデバイス５０は記憶部に相当する。
【００５３】
また、情報管理部７７は、ストレージデバイス５０から画像関心度情報６３を読み出し、読み出した画像関心度情報６３を選出条件６４とともに選出部７８に受け渡す。
【００５４】
情報管理部７７は、指示受付部７２からの蓄積画像一覧画面４５の配信指示に応じて、ストレージデバイス５０から蓄積画像４３を読み出す。そして、読み出した蓄積画像４３を表示制御部８０に受け渡す。また、情報管理部７７は、評価基準６２を評価部７５に受け渡す。
【００５５】
情報管理部７７は、アルバム作成部７９から電子アルバム６１を受け取り、これをストレージデバイス５０に記憶する。また、情報管理部７７は、図示しない蓄積画像取得部にてユーザ１３の撮影機器あるいはパーソナルコンピュータ等から取得した蓄積画像４３をストレージデバイス５０に記憶する。情報管理部７７は、例えば撮影日時または取得日時毎のフォルダ９０（図１３参照）に分けて蓄積画像４３を記憶する。
【００５６】
選出部７８は、情報管理部７７からの画像関心度情報６３および選出条件６４に応じて、一覧４４中の複数の蓄積画像４３から少なくとも１つの関心画像１００（図１５参照）を選出する。選出部７８は、選出した関心画像１００をアルバム作成部７９および表示制御部８０に出力する。
【００５７】
アルバム作成部７９は、複数の蓄積画像４３のうちの一部の画像群で構成される電子アルバム６１を作成する。アルバム作成部７９は、選出部７８で関心画像１００が選出され、かつ指示受付部７２からアルバム作成指示を受けた場合に、関心画像１００を含む電子アルバム６１を作成する。アルバム作成部７９は、作成した電子アルバム６１を情報管理部７７および表示制御部８０に出力する。
【００５８】
表示制御部８０は、蓄積画像一覧画面４５等の各種画面をＨＭＤ１１に表示させる表示制御機能を担う。例えば、表示制御部８０は、情報管理部７７からの蓄積画像４３に基づいて、レイアウト情報にしたがって蓄積画像一覧画面４５を生成する。表示制御部８０は、生成した蓄積画像一覧画面４５を配信指示の指示元のＨＭＤ１１に出力する。また、表示制御部８０はレイアウト情報を情報受付部７６に出力する。なお、レイアウト情報は、評価基準６２等と同じく、ストレージデバイス５０に記憶されている。
【００５９】
これらの各部７０〜８０は、複数のユーザ１３の各々に装着された複数台のＨＭＤ１１のそれぞれを独立して制御する。例えば撮像画像取得部７０は、複数のユーザ１３の各々に装着された複数台のＨＭＤ１１からの撮像画像を取得する。また、表示制御部８０は、例えば図７に示すように、ユーザ１３Ａに装着されたＨＭＤ１１Ａに対応する蓄積画像一覧画面４５Ａと、ユーザ１３Ｂに装着されたＨＭＤ１１Ｂに対応する蓄積画像一覧画面４５Ｂとを生成する。そして、蓄積画像一覧画面４５ＡをＨＭＤ１１Ａに、蓄積画像一覧画面４５ＢをＨＭＤ１１Ｂにそれぞれ表示させる。蓄積画像一覧画面４５Ａの一覧４４Ａ中の蓄積画像４３Ａはユーザ１３Ａのものであり、蓄積画像一覧画面４５Ｂの一覧４４Ｂ中の蓄積画像４３Ｂはユーザ１３Ｂのものであってそれぞれ異なる。
【００６０】
図８において、評価基準６２は、注視時間と関心度の対応関係を示すものである。注視時間０秒は、一度もユーザ１３の視線が向けられなかった場合であり、最も低い関心度１が対応付けられている。以降、注視時間１秒以上１０秒未満には関心度２、注視時間１０秒以上２０秒未満には関心度３、注視時間２０秒以上３０秒未満には関心度４がそれぞれ対応付けられている。そして、注視時間３０秒以上には最も高い関心度５が対応付けられている。評価部７５は、この評価基準６２にしたがって注視時間を関心度に置換する。例えば計時部７４からの注視時間が８秒であった場合、評価部７５は関心度２を情報受付部７６に出力する。
【００６１】
図９において、画像関心度情報６３は、蓄積画像４３の画像ＩＤと、注視時間の情報である関心度を関連付けて記録したものである。図９では、ユーザＩＤ「Ｕ００１」のユーザ１３の画像関心度情報６３を示している。例えば画像ＩＤ「Ｐ００３」には関心度５、「Ｐ００４」には関心度１が関連付けられている。この画像関心度情報６３によれば、複数の蓄積画像４３の各々に対するユーザ１３の関心度を把握することができる。
【００６２】
図１０において、選出条件６４には、例えば「関心度４以上」が登録されている。すなわち、この選出条件６４は、関心度４以上の蓄積画像４３を関心画像１００として選出せよ、という内容である。このため、画像関心度情報６３が図９の例の場合、選出部７８は、関心度４以上の画像ＩＤ「Ｐ００３」、「Ｐ００５」の蓄積画像４３を少なくとも関心画像１００として選出する。なお、選出条件６４を満たす蓄積画像４３がない場合は、当然ながら選出部７８は関心画像１００を選出しない。
【００６３】
図１１において、検知部７３は、撮像画像取得部７０からの撮像画像８５を解析して、ユーザ１３の左眼の目頭８６と虹彩８７の位置を認識する。そして、基準点の目頭８６に対する動点の虹彩８７の位置を元に、ユーザ１３の視線の位置ＬＳＰが、仮想空間ＶＳにおける一覧４４中の複数の蓄積画像４３の各々の表示領域８８のいずれにあるかを検知する。各々の表示領域８８には区別するための番号が付されている。検知部７３は、ユーザ１３の視線の位置ＬＳＰがあると検知した表示領域８８の番号を、視線情報として出力する。図１１では、番号１の表示領域８８に視線の位置ＬＳＰがあると検知した場合を示している。
【００６４】
計時部７４は、検知部７３から同じ表示領域８８を示す視線情報が入力されている間、当該表示領域８８の注視時間を計時する。例えば番号１の表示領域８８に視線の位置ＬＳＰがある間は、番号１の表示領域８８の注視時間を計時する。そして、視線の位置ＬＳＰが番号１の表示領域８８から例えば番号２の表示領域８８に移った場合は、番号１の表示領域８８の注視時間の計時を終了し、番号２の表示領域８８の注視時間の計時を開始する。
【００６５】
計時部７４は、蓄積画像一覧画面４５が表示されている間は、一旦視線の位置ＬＳＰが外れて、再度視線の位置ＬＳＰが戻った場合も、当該表示領域８８の注視時間を計時する。このため、注視時間は、蓄積画像一覧画面４５が表示されている間に視線の位置ＬＳＰがあった累積の時間となる。再度視線の位置ＬＳＰが戻った場合は、よりユーザ１３の関心度が高いと判断し、注視時間を１．５倍にする等の重み付けを行ってもよい。なお、視線情報が表示領域８８以外の位置を示していた場合は、計時部７４は注視時間を計時しない。
【００６６】
図１２において、表示制御部８０から情報受付部７６に出力されるレイアウト情報は、各々の表示領域８８に表示される蓄積画像４３の画像ＩＤを示すものである。情報受付部７６は、このレイアウト情報から、検知部７３からの視線情報で示される表示領域８８に対応する蓄積画像４３の画像ＩＤを取得する。そして、取得した画像ＩＤを情報管理部７７に出力する。図１２では、視線情報で示される表示領域８８が番号１で、番号１の表示領域８８に対応する蓄積画像４３の画像ＩＤ「Ｐ００１」を出力する場合を示している。
【００６７】
ユーザ１３には、制御サーバ１２へのアクセス権限が与えられている。表示制御部８０は、まず、制御サーバ１２へのアクセス認証画面をＨＭＤ１１に表示させる。アクセス認証画面には、ユーザＩＤおよびパスワードを問うメッセージが表示される。ユーザ１３は、自らのユーザＩＤおよびパスワードを発話する。この発話音声はマイクロフォン３１が電気信号に変換し、音声認識部７１が内容を認識して、指示受付部７２が音声情報として受け付ける。そして、図示しない認証部において、発話音声のユーザＩＤおよびパスワードと予め登録されたユーザＩＤおよびパスワードとが照合され、アクセス認証が行われる。
【００６８】
アクセス認証後、表示制御部８０は、図１３の矢印上段に示すように、蓄積画像４３のフォルダ９０の一覧９１およびフォルダ９０の選択を促すメッセージ９２を有するフォルダ選択画面９３をＨＭＤ１１に表示させる。ユーザ１３は、一覧４４を表示させたいフォルダ９０の名称を発話する。このフォルダ９０の名称の発話音声を音声認識部７１で認識した音声情報を、蓄積画像一覧画面４５の配信指示として指示受付部７２が受け付ける。表示制御部８０は、この配信指示に応じて、矢印下段に示すような蓄積画像一覧画面４５を生成し、これを配信指示の指示元のＨＭＤ１１に表示させる。図１３では、「２０１６年６月」のフォルダ９０内の蓄積画像４３の蓄積画像一覧画面４５の配信指示が発せられた場合を示している。
【００６９】
図１４の矢印上段に示すように、表示制御部８０は、検知部７３からの視線情報に基づいて、ユーザ１３の視線が置かれている一覧４４中の蓄積画像４３にマーク９５を表示させる。マーク９５は、ユーザ１３の視線が置かれている蓄積画像４３（視線情報で示される表示領域８８）を囲う矩形状の枠である。図１４では、番号１の表示領域８８が視線情報で示され、画像ＩＤ「Ｐ００１」の蓄積画像４３にマーク９５が表示された状態を示している。
【００７０】
このマーク９５が表示された状態において、ユーザ１３が「再生」と発話した場合、この「再生」の発話音声を音声認識部７１で認識した音声情報を、再生指示として指示受付部７２が受け付ける。すなわち、指示受付部７２は再生指示受付部として機能する。表示制御部８０は、矢印下段に示すように、マーク９５が表示された蓄積画像４３の再生表示画面９６をＨＭＤ１１に表示させる。再生表示画面９６には、マーク９５が表示された蓄積画像４３のフルサイズの拡大画像９７が表示される。
【００７１】
また、図１５の矢印上段に示すように、蓄積画像一覧画面４５の表示終了後、表示制御部８０は、選出部７８が選出した関心画像１００の一覧１０１を有する関心画像一覧画面１０２をＨＭＤ１１に表示させる。関心画像１００の下部には、当該関心画像１００に対するユーザ１３の関心度を示す星印１０３が表示される。また、一覧１０１の下部には、電子アルバム６１の作成を問うメッセージ１０４が表示される。図１５では、画像ＩＤ「Ｐ００３」、「Ｐ００５」、「Ｐ０１０」の蓄積画像４３が関心画像１００として選出された場合を示している。
【００７２】
この関心画像一覧画面１０２が表示された状態において、ユーザ１３が「アルバム作成」と発話した場合、この「アルバム作成」の発話音声を音声認識部７１で認識した音声情報を、アルバム作成指示として指示受付部７２が受け付ける。アルバム作成部７９は関心画像一覧画面１０２に表示された関心画像１００を含む電子アルバム６１を作成する。
【００７３】
表示制御部８０は、アルバム作成部７９から電子アルバム６１を受け取り、矢印下段に示すように、電子アルバム６１の閲覧画面１０５をＨＭＤ１１に表示させる。表示制御部８０は、紙のアルバムを模した形態で電子アルバム６１を表示させる。
【００７４】
図１５では、大判の関心画像１００と小判の蓄積画像４３とを織り交ぜた電子アルバム６１を例示している。なお、関心画像１００のみで電子アルバム６１を作成してもよく、要するに少なくとも１つの関心画像１００が電子アルバム６１に含まれていればよい。また、アルバム作成指示を受け付けることなく、蓄積画像一覧画面４５の表示終了後、自動的に関心画像１００を含む電子アルバム６１を作成してもよい。
【００７５】
電子アルバム６１の下部には、電子アルバム６１の保存を問うメッセージ１０６が表示される。閲覧画面１０５において、ユーザ１３が例えば「アルバム保存」と発話した場合、この「アルバム保存」の発話音声を音声認識部７１で認識した音声情報を、アルバム保存指示として指示受付部７２が受け付ける。情報管理部７７は電子アルバム６１をストレージデバイス５０に記憶する。
【００７６】
以下、上記構成による作用について、図１６および図１７のフローチャートを参照して説明する。まず、ユーザ１３は、ＨＭＤ１１を頭部に装着する。そして、アクセス認証画面を介して制御サーバ１２にアクセスする。
【００７７】
アクセス認証後、ＨＭＤ１１には図１３の矢印上段に示すフォルダ選択画面９３が表示される。このフォルダ選択画面９３が表示された状態において、ユーザ１３から一覧４４を表示させたいフォルダ９０の名称が発話されると、この発話の音声情報が蓄積画像一覧画面４５の配信指示として指示受付部７２に受け付けられる。そして、ＨＭＤ１１には図１３の矢印下段に示すように蓄積画像一覧画面４５が表示される（図１６のステップＳ１００、表示制御ステップ）。
【００７８】
蓄積画像一覧画面４５の表示と同時に、撮像画像取得部７０による視線検知カメラ２９の撮像画像８５の取得が開始される。撮像画像８５は撮像画像取得部７０から検知部７３に出力される。
【００７９】
検知部７３では、図１１で示したように、撮像画像８５に基づいて一覧４４中の蓄積画像４３に対するユーザ１３の視線が検知される（ステップＳ１１０）。この視線の検知結果である視線情報は計時部７４、情報受付部７６、および表示制御部８０に出力される。
【００８０】
計時部７４では、一覧４４中の蓄積画像４３に対するユーザ１３の注視時間が計時される（ステップＳ１２０）。これらステップＳ１００〜Ｓ１２０の各処理は、ユーザ１３から蓄積画像一覧画面４５の表示の終了指示があるまで（ステップＳ１３０でＹＥＳ）繰り返し続けられる。なお、終了指示は、例えば「表示終了」等の発話により行われる。
【００８１】
蓄積画像一覧画面４５の表示終了後、注視時間は評価部７５に出力され、評価部７５にて関心度に置換される（ステップＳ１４０）。関心度は情報受付部７６に出力される。
【００８２】
情報受付部７６では、検知部７３からの視線情報、並びに評価部７５からの関心度が受け付けられる（ステップＳ１５０、情報受付ステップ）。視線情報は、図１２で示したように蓄積画像の画像ＩＤに変換される。画像ＩＤおよび関心度は情報管理部７７に出力される。
【００８３】
画像ＩＤおよび関心度は、情報管理部７７により、画像関心度情報６３として関連付けてストレージデバイス５０に記録される（ステップＳ１６０、情報管理ステップ）。
【００８４】
画像関心度情報６３の記録後、画像関心度情報６３および選出条件６４が情報管理部７７から選出部７８に受け渡される。選出部７８では、一覧４４中の複数の蓄積画像４３から関心画像１００が選出される（図１７のステップＳ２００）。関心画像１００はアルバム作成部７９および表示制御部８０に出力される。
【００８５】
ＨＭＤ１１には、図１５の矢印上段に示す関心画像一覧画面１０２が表示される（ステップＳ２１０）。この関心画像一覧画面１０２が表示された状態において、ユーザ１３から「アルバム作成」が発話されると、この発話の音声情報がアルバム作成指示として指示受付部７２に受け付けられる（ステップＳ２２０でＹＥＳ）。アルバム作成指示はアルバム作成部７９に出力される。
【００８６】
指示受付部７２からアルバム作成指示を受けた場合、アルバム作成部７９では、関心画像１００を含む電子アルバム６１が作成される（ステップＳ２３０）。電子アルバム６１は情報管理部７７および表示制御部８０に出力される。
【００８７】
ＨＭＤ１１には、図１５の矢印下段に示す電子アルバム６１の閲覧画面１０５が表示される（ステップＳ２４０）。この閲覧画面１０５が表示された状態において、ユーザ１３から「アルバム保存」が発話されると、この発話の音声情報がアルバム保存指示として指示受付部７２に受け付けられる（ステップＳ２５０でＹＥＳ）。このアルバム保存指示に応じて、情報管理部７７により、アルバム作成部７９からの電子アルバム６１がストレージデバイス５０に記憶される（ステップＳ２６０）。
【００８８】
なお、ユーザ１３から「作成しない」等の発話があり、アルバム作成指示とは反対の指示があった場合（ステップＳ２２０でＮＯ）は、処理が終了される。また、ユーザ１３から「保存しない」等の発話があり、アルバム保存指示とは反対の指示があった場合（ステップＳ２５０でＮＯ）も、同様に処理が終了される。
【００８９】
蓄積画像一覧画面４５の一覧４４中の蓄積画像４３に対するユーザ１３の注視時間を計時し、蓄積画像４３の画像ＩＤと注視時間の情報である関心度を関連付けて画像関心度情報６３として記録するので、画像関心度情報６３に応じて関心画像１００を選出したり、関心画像１００を含む電子アルバム６１を作成する等、蓄積画像４３に対する注視時間の情報を有効活用することが可能となる。
【００９０】
情報管理部７７からの画像関心度情報６３に応じて選出部７８で関心画像１００を選出するので、ユーザ１３は関心の赴くままに蓄積画像一覧画面４５を閲覧するだけでよく、一覧４４中の蓄積画像４３から自分が関心をもった画像を選出する作業を行う必要がない。このためユーザ１３の利便性を高めることができる。
【００９１】
関心画像１００を含む電子アルバム６１をアルバム作成部７９で作成するので、蓄積画像４３に対するユーザ１３の関心度を色濃く反映した電子アルバム６１を簡単に作成することができる。
【００９２】
評価部７５で注視時間を関心度に置換し、置換した関心度を注視時間の情報として記録するので、注視時間の情報を単純化することができる。このため、関心画像１００の選出条件６４も簡略化することができる。
【００９３】
なお、注視時間を関心度に置換することなく、注視時間自体を注視時間の情報として記録してもよい。この場合、選出条件６４には、例えば注視時間２０秒以上等が設定される。選出条件６４として関心画像１００の選出数を設定しておき、注視時間が長いものから順に関心画像１００を選出して、選出した関心画像１００が選出数に達したら選出を止めるようにしてもよい。
【００９４】
あるいは、ユーザ１３が主体的に関心画像１００を選出するＧＵＩを設け、ＧＵＩで選出された関心画像１００と、電子アルバム６１のページ数等で決定される予定選出数との差分を計算し、不足する枚数だけを選出部７８で選出してもよい。こうすることで、ユーザ１３が電子アルバム６１に掲載したい画像を選出する作業の中で、補助的にユーザ１３の関心が高い画像を選出することができる。したがって、ユーザ１３の意図を第一に汲んだ従来の電子アルバムの作成手順を踏襲しつつ、ユーザ１３にとって違和感がなく、かつ関心のある画像を効率的に選出することができる。
【００９５】
また、この際、ユーザ１３自身でＧＵＩにより選択した画像と類似する画像は、注視時間が比較的長く選出条件６４をクリアしたとしても、選出部７８で関心画像１００として選出しないよう構成してもよい。類似する画像の判定には、画像の類似度を算出する周知の画像解析技術を用いる。あるいは、画像の撮影日時の近似度で判定してもよい。
【００９６】
例えば同じ被写体を連続で複数回撮影して得た複数枚の画像の中からユーザ１３が１枚の画像を選出した場合、複数枚の画像を見比べながら選出している可能性がある。このような場合には、同じ被写体の画像、似た構図の画像等が関心画像１００に複数枚選出されないよう、上記のように類似する画像を関心画像１００の候補から外すことが好ましい。
【００９７】
［第２実施形態］
上記第１実施形態では、選出部７８で関心画像１００が選出された場合に、関心画像１００を含む電子アルバム６１を新規に作成する場合を例示したが、既に電子アルバム６１がある場合は、この既存の電子アルバム６１に関心画像１００を追加したいという要望がユーザ１３からあがることは当然考えられる。そこで、図１８および図１９に示す第２実施形態では、既存の電子アルバム６１に関心画像１００を追加する。なお、以下では、既存の電子アルバム６１を電子アルバム６１Ｅと表記する。
【００９８】
第２実施形態では、表示制御部８０は、蓄積画像一覧画面４５の表示終了後、図１８の矢印上段に示す関心画像一覧画面１１０をＨＭＤ１１に表示させる。関心画像一覧画面１１０には、上記第１実施形態の図１５に示す関心画像一覧画面１０２と同じ一覧１０１に加えて、関心画像１００の電子アルバム６１Ｅへの追加を問うメッセージ１１１、およびアイコンの形態で電子アルバム６１Ｅが表示される。
【００９９】
関心画像一覧画面１１０に電子アルバム６１Ｅを表示させる手順は以下である。まず、情報管理部７７は、ストレージデバイス５０から電子アルバム６１Ｅを読み出す。電子アルバム６１Ｅが複数ある場合は、情報管理部７７は最新の電子アルバム６１Ｅを読み出す。情報管理部７７は、読み出した電子アルバム６１Ｅをアルバム作成部７９および表示制御部８０に受け渡す。表示制御部８０は、情報管理部７７からの電子アルバム６１Ｅを関心画像一覧画面１１０に表示させる。
【０１００】
この関心画像一覧画面１１０が表示された状態において、ユーザ１３が「追加」と発話した場合、図１９に示すように、この「追加」の発話音声を音声認識部７１で認識した音声情報を、電子アルバム６１Ｅへの関心画像１００の追加指示として指示受付部７２が受け付ける。すなわち、第２実施形態では、指示受付部７２は追加指示受付部として機能する。
【０１０１】
図１９において、指示受付部７２は、追加指示をアルバム作成部７９に出力する。アルバム作成部７９は、指示受付部７２からの追加指示に応じて、選出部７８からの関心画像１００を、情報管理部７７からの電子アルバム６１Ｅに追加し、電子アルバム６１を作成する。アルバム作成部７９は、作成した電子アルバム６１を表示制御部８０に出力する。なお、図１９では、説明に必要な指示受付部７２、アルバム作成部７９のみを示し、検知部７３や計時部７４等の他の部の図示を省略している。
【０１０２】
上記第１実施形態の図１５の矢印下段で示した場合と同じく、図１８の矢印下段に示すように、表示制御部８０は、アルバム作成部７９からの電子アルバム６１の閲覧画面１０５をＨＭＤ１１に表示させる。以降の電子アルバム６１の記憶等の処理は上記第１実施形態と同じであるため、説明を省略する。
【０１０３】
このように、ユーザ１３からの電子アルバム６１Ｅへの関心画像１００の追加指示を受け付け、追加指示に応じて電子アルバム６１を作成するので、関心画像１００が選出される度に電子アルバム６１を作成する必要がなくなり、電子アルバム６１の個数を減らすことができる。このため、電子アルバム６１、ひいては蓄積画像４３の整理がしやすくなる。
【０１０４】
なお、電子アルバム６１Ｅが複数ある場合、関心画像１００を追加する電子アルバム６１Ｅを、ユーザ１３が選択可能に構成してもよい。また、複数の電子アルバム６１Ｅを統合して１つの電子アルバム６１を作成したり、電子アルバム６１Ｅに追加した関心画像１００を削除したり、関心画像１００のレイアウト（大きさ、貼り付け位置）を変更したり等、電子アルバム６１Ｅを編集する機能を追加してもよい。
【０１０５】
［第３実施形態］
上記第１実施形態では、図１４で示したように、マーク９５が表示された蓄積画像４３の再生指示に応じて、拡大画像９７を有する再生表示画面９６をＨＭＤ１１に表示させている。しかし、再生表示画面９６は、他の画面と同様に仮想空間ＶＳ内の所定位置に表示位置が固定されている。そこで、図２０〜図２２に示す第３実施形態では、現実空間ＲＳの実在オブジェクトに拡大画像９７を有する再生表示画面９６を再生表示させる。
【０１０６】
図２０において、第３実施形態のＨＭＤ１１５には、上記第１実施形態のＨＭＤ１１の各部に加えて、視野カメラ１１６が設けられている。視野カメラ１１６は、例えばＨＭＤ１１５の装着時にユーザ１３の眉間と対向する本体部２５の上部中央に設けられている。視野カメラ１１６は、ユーザ１３がＨＭＤ１１５を通じて認識する拡張現実空間ＡＲＳとほぼ同じ視野を所定のフレームレート（例えば３０フレーム／秒）で撮像する。視野カメラ１１６は、撮像した画像（以下、視野画像）１２１（図２２参照）を逐次制御サーバ１２に送信する。
【０１０７】
図２１に示すように、第３実施形態では、自宅１４の壁４０にマーカー１１７が貼り付けられている。マーカー１１７は、例えば正方形の枠に白黒の規則的なパターンと上下左右の識別を可能とする識別線が描かれたシートである。マーカー１１７は、現実空間ＲＳにおける再生表示画面９６の出現位置を示す。つまり、マーカー１１７が貼り付けられた壁４０は、蓄積画像４３を再生表示する現実空間ＲＳの実在オブジェクトに相当する。
【０１０８】
この場合、ユーザ１３は、図１４で示したように「再生」と発話して、マーク９５が表示された蓄積画像４３の再生指示を行う。そして、点線矢印で示すように視線の位置ＬＳＰをマーカー１１７に合わせる。そうすると、拡張現実空間ＡＲＳに示すように、マーカー１１７を中心とする所定領域に表示された再生表示画面９６を視認することができる。
【０１０９】
図２２において、第３実施形態では、上記第１実施形態の図６で示した各部７０〜８０（不図示）に加えて、視野画像取得部１１８、マーカー検出部１１９、および画面編集部１２０がＣＰＵ５２に構築される。
【０１１０】
視野画像取得部１１８は、ＨＭＤ１１５の視野カメラ１１６から所定のフレームレートで逐次送信される視野画像１２１を取得する。視野画像取得部１１８は、取得した視野画像１２１をマーカー検出部１１９に出力する。
【０１１１】
ユーザ１３の視線の位置ＬＳＰがマーカー１１７に置かれた場合、視野画像１２１には図示するようにマーカー１１７が写る。マーカー検出部１１９は、周知の画像認識技術を用いて視野画像１２１内のマーカー１１７を認識する。そして、視野画像１２１内におけるマーカー１１７を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を検出し、これらと対応情報１２２とに基づいて、マーカー１１７に対するＨＭＤ１１５（ユーザ１３の眼）の三次元的な位置を検出する。マーカー検出部１１９は、検出した位置の情報（以下、位置情報）を、画面編集部１２０に出力する。
【０１１２】
位置情報は、例えばマーカー１１７の中心を原点とする三次元空間におけるＨＭＤ１１５の位置座標である。また、対応情報１２２は、マーカー１１７の中心を原点とする三次元空間におけるＨＭＤ１１５の位置座標を求めるための計算式である。この計算式は、例えば、視野画像１２１内におけるマーカー１１７を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を変数とする。なお、マーカー１１７の中心を原点とする三次元空間とは、マーカー１１７の中心を原点とし、マーカー１１７が置かれた平面（この場合は壁４０）をＸＹ平面、マーカー１１７が置かれた平面に垂直な軸（この場合は水平軸）をＺ軸とする三次元空間である。
【０１１３】
画面編集部１２０は、マーカー検出部１１９からの位置情報に応じて、情報管理部７７から受け取った、マーク９５が表示された蓄積画像４３に基づく再生表示画面９６を編集する。より詳しくは、画面編集部１２０は、位置情報で示されるＨＭＤ１１５の位置から見た場合の向きおよび大きさとなるよう、再生表示画面９６に回転処理および拡縮処理を施す。画面編集部１２０は、編集した再生表示画面９６を表示制御部８０に出力する。
【０１１４】
画面編集部１２０で再生表示画面９６が位置情報に基づいて編集されるので、例えばユーザ１３がマーカー１１７に近付くと、近付くにつれて再生表示画面９６が拡大表示される。逆にユーザ１３がマーカー１１７から遠ざかると、遠ざかるにつれて再生表示画面９６が縮小表示される。すなわち、再生表示画面９６の表示は、ＨＭＤ１１５（ユーザ１３）とマーカー１１７との三次元的な位置関係に応じて変更される。
【０１１５】
このように、現実空間ＲＳの実在オブジェクトに再生表示画面９６（蓄積画像４３）を再生表示させるので、ユーザ１３は自分の好きな場所に再生表示画面９６を投影させて楽しむことができる。
【０１１６】
なお、再生表示画面９６を再生表示する現実空間ＲＳの実在オブジェクトは、上記例の壁４０に限らない。例えば天井やデスクでもよいし、紙のアルバムでもよいし、フォトフレームでもよい。また、マーカー１１７を用いずに、設定された特定の実在オブジェクトに再生表示画面９６を出現させる手法を採用してもよい。この場合、視野画像１２１に写る特定の実在オブジェクトを画像認識技術により認識し、認識した特定の実在オブジェクトをマーカー１１７に見立てて、特定の実在オブジェクト上に再生表示画面９６を表示させる。
【０１１７】
なお、上記第１実施形態では透過型のＨＭＤ１１を例示したが、第３実施形態のＨＭＤ１１５のような視野カメラ１１６付きのＨＭＤを用いる場合は、視野カメラ１１６から出力された視野画像１２１に仮想画像を重畳してスクリーン２８の内面に投影表示する非透過型としてもよい。
【０１１８】
［第４実施形態］
図７で示したように、表示制御部８０は、複数のユーザ１３の各々に装着されたＨＭＤ１１に蓄積画像一覧画面４５を表示させることが可能である。図７では、複数のユーザ１３のＨＭＤ１１に対応する各蓄積画像一覧画面４５がそれぞれ異なる内容であるとしたが、同じ内容の蓄積画像一覧画面４５を複数のユーザ１３のＨＭＤ１１に表示させることももちろん可能である。
【０１１９】
同じ内容の蓄積画像一覧画面４５を複数のユーザ１３のＨＭＤ１１に表示させる場合、例えばインターネット電話機能等を用いて、マイクロフォン３１で電気信号に変換した発話音声により、遠隔地にいる複数のユーザ１３間で意思疎通が可能な状態とする。そうすれば、複数のユーザ１３間で会話を楽しみながら蓄積画像４３を閲覧することができる。
【０１２０】
こうしたシチュエーションにおいては、ある１人のユーザ１３が、自分が関心を寄せた蓄積画像４３を他のユーザ１３と共有したいと考える場合がある。そこで、図２３〜図２５に示す第４実施形態では、複数のユーザ１３間で蓄積画像４３の共有をしやすくする。
【０１２１】
図２３において、第４実施形態では、上記第１実施形態の図６で示した各部７０〜８０（指示受付部７２以外は不図示）に加えて、モード切替部１２５がＣＰＵ５２に構築される。指示受付部７２は、「この画像」というユーザ１３の発話音声による共有指示を受け付ける。すなわち、第４実施形態においては、指示受付部７２は共有指示受付部に相当する。指示受付部７２は、共有指示をモード切替部１２５に出力する。
【０１２２】
モード切替部１２５は、共有モードと非共有モードとを切り替える。共有モードは、共有指示を行ったユーザ１３の視線が置かれている一覧４４中の蓄積画像４３を複数のユーザ１３間で共有するモードである。一方、非共有モードは、ユーザ１３の視線が置かれている蓄積画像を複数のユーザ１３間で共有しないモードである。以下、共有指示を行ったユーザ１３を指示ユーザ、指示ユーザの視線が置かれている一覧４４中の蓄積画像４３を注視画像という。
【０１２３】
モード切替部１２５は、通常はモードを非共有モードとし、指示受付部７２からの共有指示を受けた場合にモードを共有モードに切り替える。モード切替部１２５は、共有モードに切り替えてから所定時間（例えば３０秒）経過後、モードを自動的に非共有モードに戻す。モード切替部１２５は、このモードの情報（以下、モード情報）を表示制御部８０に出力する。
【０１２４】
モード切替部１２５からのモード情報が共有モードである場合、表示制御部８０は、全てのユーザ１３の蓄積画像一覧画面４５において注視画像にマーク９５を表示させる。一方、モード切替部１２５からのモード情報が非共有モードの場合、表示制御部８０は、複数のユーザ１３の各々の視線が置かれている一覧４４中の蓄積画像４３にマーク９５を表示させる。
【０１２５】
図２４および図２５は、ユーザ１３Ａ、１３Ｂの２人で、ＨＭＤ１１Ａ、１１Ｂを通して同じ内容の蓄積画像一覧画面４５Ａ、４５Ｂを閲覧している場合を示す。図２４は非共有モードの場合、図２５は共有モードの場合である。ユーザ１３Ａ、１３Ｂは、例えばインターネット電話機能等で発話音声により互いに意思疎通が可能な状態である。なお、蓄積画像４３、一覧４４、および蓄積画像一覧画面４５にそれぞれ「Ａ」、「Ｂ」を付して便宜上区別しているが、これらは全く同じ内容である。
【０１２６】
非共有モードの場合の図２４において、ユーザ１３Ａの視線の位置ＬＳＰ−Ａは、画像ＩＤ「Ｐ００１」の蓄積画像４３Ａにある。一方、ユーザ１３Ｂの視線の位置ＬＳＰ−Ｂは、画像ＩＤ「Ｐ００９」の蓄積画像４３Ｂにある。このため、蓄積画像一覧画面４５Ａにおいては、画像ＩＤ「Ｐ００１」の蓄積画像４３Ａにマーク９５Ａが表示され、蓄積画像一覧画面４５Ｂにおいては、画像ＩＤ「Ｐ００９」の蓄積画像４３Ｂにマーク９５Ｂが表示される。
【０１２７】
図２５において、ユーザ１３Ａが「この画像」と発話すると、この発話音声を音声認識部７１で認識した音声情報を、共有指示として指示受付部７２が受け付ける。そして、モード切替部１２５が、モードを図２４の非共有モードから共有モードに切り替える。そうすると、蓄積画像一覧画面４５Ｂでは、画像ＩＤ「Ｐ００９」の蓄積画像４３Ｂに表示されていたマーク９５Ｂが、画像ＩＤ「Ｐ００１」の蓄積画像４３Ｂに移される。所定時間経過後、図２４の非共有モードの状態に自動的に戻される。この場合、ユーザ１３Ａが指示ユーザ、画像ＩＤ「Ｐ００１」の蓄積画像４３が注視画像にそれぞれ相当する。
【０１２８】
このように、ユーザ１３の共有指示を受け付けて、共有指示を行った指示ユーザの視線が置かれている注視画像を複数のユーザ１３間で共有する共有モードを有し、共有モードでは注視画像にマーク９５を表示させるので、容易に複数のユーザ１３間で注視画像を共有することができる。
【０１２９】
また、共有モードと非共有モードを切り替えるので、１人のユーザ１３が他のユーザ１３と注視画像を共有したいと望んだときだけ共有モードに切り替えることができる。このため、１人のユーザ１３の注視画像が無暗に他のユーザ１３に知れることが防がれ、ユーザ１３のプライバシーを保護することができる。
【０１３０】
共有指示は「この画像」といったユーザ１３の簡単な発話音声によるので、注視画像の特徴（写っている人物の名前や風景の地名、あるいは色味や物の配置等）を事細かに他のユーザ１３に説明することなく注視画像を共有することができる。また、共有モードに切り替えてから所定時間経過後、モードを自動的に非共有モードに戻すので、ユーザ１３は非共有モードに戻す指示をする必要がなく、かつ非共有モードに戻し忘れて意図しない形で自分の視線が他のユーザ１３に知れてしまうということもなくなる。
【０１３１】
図２４および図２５では、ユーザ１３Ａ、１３Ｂの２人としたが、ユーザ１３は２人以上でもよい。また、図２４では、非共有モードにおいて各ユーザ１３Ａ、１３Ｂが同じ内容の蓄積画像一覧画面４５Ａ、４５Ｂを閲覧している場合を例示したが、本発明はこれに限定されない。非共有モードにおいては、各ユーザ１３で異なる内容の蓄積画像一覧画面４５を閲覧していてもよい。この場合は共有モードに切り替わったときに、指示ユーザが閲覧している蓄積画像一覧画面４５と同じ内容の蓄積画像一覧画面４５を他のユーザ１３のＨＭＤ１１に表示させる。
【０１３２】
なお、共有指示はユーザ１３の発話音声に限らない。例えばユーザ１３の手のジェスチャーによる共有指示を受け付けてもよい。この場合は図２０で示した視野カメラ１１６付きのＨＭＤ１１５を用いる。そして、ユーザ１３の手のジェスチャーを視野カメラ１１６で撮像し、視野画像１２１に写るジェスチャーを画像認識技術により検出する。また、例えばテレビ電話機能等を用いて、複数のユーザ１３間で他のユーザ１３のジェスチャーを視認可能な状態としておく。共有指示のジェスチャーとしては、例えば人差し指を立てて前方に向けるジェスチャー、あるいは「共有する」という手話等を採用することができる。
【０１３３】
共有指示に限らず、蓄積画像一覧画面４５の配信指示や電子アルバム６１のアルバム作成指示、あるいは電子アルバム６１Ｅへの関心画像１００の追加指示といった他の指示も、発話音声による指示ではなく、ユーザ１３の手のジェスチャーによる指示であってもよい。例えば追加指示のジェスチャーとしては、図１８の矢印上段に示す関心画像一覧画面１１０が表示された状態において、関心画像１００を指で選択してアイコンの形態の電子アルバム６１Ｅに移動させるドラッグアンドドロップのジェスチャーを採用することができる。
【０１３４】
また、蓄積画像４３の再生指示については、特許文献１に記載の、ユーザが所定時間以上連続して注視した画像を再生表示する技術を採用してもよい。
【０１３５】
さらに、ユーザ１３に操作部を持たせ、操作部からの各種指示を受け付けてもよい。
【０１３６】
評価基準６２は、上記第１実施形態で例示したものに限らない。例えば関心度を１〜５の５段階ではなく高中低の３段階としてもよい。また、例えば注視時間の秒数を変更する等、ユーザ１３が評価基準６２をカスタマイズ可能としてもよい。選出条件６４も同様に、例えば関心度４以上を関心度３以上に変更する等、ユーザ１３がカスタマイズ可能としてもよい。
【０１３７】
蓄積画像一覧画面４５の配信指示や電子アルバム６１のアルバム作成指示等の指示の発話音声の文言も、上記各実施形態で例示したものに限らない。また、ユーザ１３がカスタマイズ可能としてもよい。例えばアルバム作成指示の「アルバム作成」を「アルバムを作る」としたり、共有指示の「この画像」を「これ」としてもよい。
【０１３８】
蓄積画像一覧画面４５と関心画像一覧画面１０２または１１０を統合してもよい。具体的には、蓄積画像一覧画面４５に、蓄積画像４３の一覧４４と並べて関心画像１００の一覧１０１を表示してもよい。また、図１８に示すアイコンの形態の電子アルバム６１Ｅを蓄積画像一覧画面４５に表示してもよい。蓄積画像一覧画面４５と関心画像一覧画面１０２または１１０を統合することで画面の表示遷移が減るので、見た目をすっきりとさせることができる。
【０１３９】
ＨＭＤ１１は、上記各実施形態のようにゴーグル形状の保護枠２７でユーザ１３の両目全体を覆い、バンド部２６をユーザ１３の頭部に固定するタイプに限らない。ユーザ１３の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプのＨＭＤを用いてもよい。
【０１４０】
視線検知カメラ２９はＨＭＤ１１に搭載されていなくてもよい。少なくともユーザ１３の眼球の動きを撮像可能であれば、視線検知カメラ２９の設置位置は問わない。また、図２０で示した視野カメラ１１６もＨＭＤ１１５に搭載されていなくてもよい。このため、視野カメラ１１６は、ユーザ１３がＨＭＤ１１５を通じて認識する拡張現実空間ＡＲＳと同じ視野を撮像するものでなくともよい。
【０１４１】
上記第１実施形態では、視線検知カメラ２９として可視光カメラを用い、撮像画像８５に写る目頭８６に対する虹彩８７の位置を元に、ユーザ１３の視線を検知しているが、本発明はこれに限定されない。視線検知カメラ２９に赤外線カメラを用い、基準点を角膜反射、動点を瞳孔としてユーザ１３の視線を検知してもよい。
【０１４２】
上記各実施形態の拡張現実空間ＡＲＳではなく、現実空間ＲＳの情報がシャットアウトされ、仮想画像のみで作り出された仮想現実空間を、ＨＭＤ１１を通してユーザ１３に認識させてもよい。
【０１４３】
上記各実施形態では、ＨＭＤ１１の制御装置の機能を制御サーバ１２に担わせているが、本発明はこれに限定されない。例えば図２６に示すように、ユーザ１３が所有するパーソナルコンピュータ１３０が制御装置の機能の全てまたは一部を担ってもよい。例えば情報受付部７６および情報管理部７７以外の機能をパーソナルコンピュータ１３０が担う。この場合は制御サーバ１２とパーソナルコンピュータ１３０で制御装置を構成する。また、視線情報、関心度、レイアウト情報、電子アルバム６１等をパーソナルコンピュータ１３０から制御サーバ１２に送信し、蓄積画像４３、画像関心度情報６３、選出条件６４等を制御サーバ１２からパーソナルコンピュータ１３０に送信する。
【０１４４】
もしくは、図２７に示すように、ユーザ１３が腰等に付けて携帯可能な携帯コンピュータ１３５に制御装置の機能を担わせてもよい。この場合、制御装置の機能を担う携帯コンピュータ１３５を、図２６に示す市販のパーソナルコンピュータ１３０ではなく、画像表示システム１０に特化した専用の製品としてもよい。また、ＨＭＤ１１自体に制御装置の機能を搭載してもよい。この場合はＨＭＤ１１自体が制御装置となる。
【０１４５】
あるいは、画像を蓄積および配信する機能を制御サーバ１２とは別のネットワークサーバに担わせ、制御サーバ１２は、画像を蓄積および配信する機能以外の機能に特化したものとしてもよい。さらには、制御サーバ１２等のネットワークサーバではなく、自宅１４内に設置されたローカルサーバが制御装置の機能を担ってもよい。
【０１４６】
このように、本発明の制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、撮像画像取得部７０、検知部７３、および計時部７４の機能と、評価部７５、情報受付部７６、情報管理部７７、選出部７８、アルバム作成部７９、および表示制御部８０の機能と、音声認識部７１および指示受付部７２の機能とを、３台のコンピュータに分散して担わせる。この場合は３台のコンピュータで制御装置を構成する。
【０１４７】
以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６０等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
【０１４８】
なお、制御装置に備えられる部としては、少なくとも情報受付部７６、情報管理部７７、および表示制御部８０があればよい。例えば音声認識部７１、検知部７３、計時部７４は、制御装置ではなくＨＭＤ１１に備えられていてもよい。
【０１４９】
ＨＭＤ１１の使用環境は自宅１４に限らない。制御装置との接続環境が整っていればよく、ユーザ１３の出先の建物内であってもよいし、屋外であってもよい。
【０１５０】
上記各実施形態において、例えば、撮像画像取得部７０、音声認識部７１、指示受付部７２、検知部７３、計時部７４、評価部７５、情報受付部７６、情報管理部７７、選出部７８、アルバム作成部７９、表示制御部８０、視野画像取得部１１８、マーカー検出部１１９、画面編集部１２０、モード切替部１２５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。
【０１５１】
各種のプロセッサには、ＣＰＵ、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路等が含まれる。ＣＰＵは、周知のとおりソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
【０１５２】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１５３】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【０１５４】
上記記載から、以下の付記項１に記載の画像表示システム、並びに付記項２に記載のヘッドマウントディスプレイの制御装置を把握することができる。
【０１５５】
［付記項１］
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備える画像表示システムにおいて、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記画像に対する前記ユーザの視線を検知する検知プロセッサと、
前記視線の検知結果に基づいて、前記画像に対する前記ユーザの注視時間を計時する計時プロセッサと、
前記注視時間の情報を受け付ける情報受付プロセッサと、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理プロセッサとを備える画像表示システム。
【０１５６】
［付記項２］
ユーザの頭部に装着されるヘッドマウントディスプレイの制御装置において、
複数の画像が並べられた画像の一覧を前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記画像に対する前記ユーザの視線を検知プロセッサが検知し、前記検知プロセッサの検知結果に基づいて計時プロセッサが計時した、前記画像に対する前記ユーザの注視時間の情報を受け付ける情報受付プロセッサと、
前記画像と前記注視時間の情報を記憶部に関連付けて記録する情報管理プロセッサとを備えるヘッドマウントディスプレイの制御装置。
【０１５７】
本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。例えば、第１実施形態と第２実施形態、あるいは第３実施形態と第４実施形態を複合して実施してもよい。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
【符号の説明】
【０１５８】
１０  画像表示システム
１１、１１Ａ、１１Ｂ、１１５  ヘッドマウントディスプレイ（ＨＭＤ）
１２  制御サーバ（制御装置）
１３、１３Ａ、１３Ｂ  ユーザ
１４  自宅
１５  データセンタ
１６  ネットワーク
２５  本体部
２６  バンド部
２７  保護枠
２８  スクリーン
２９  視線検知カメラ
３０  アーム
３１  マイクロフォン
３２  ケーブル
３３  横バンド
３４  縦バンド
４０  壁
４１  左手
４２  台
４３、４３Ａ、４３Ｂ  蓄積画像
４４、４４Ａ、４４Ｂ  蓄積画像の一覧
４５、４５Ａ、４５Ｂ  蓄積画像一覧画面
５０  ストレージデバイス
５１  メモリ
５２  ＣＰＵ
５３  通信部
５４  データバス
６０  作動プログラム
６１、６１Ｅ  電子アルバム
６２  評価基準
６３  画像関心度情報
６４  選出条件
７０  撮像画像取得部
７１  音声認識部
７２  指示受付部（追加指示受付部、共有指示受付部、再生指示受付部）
７３  検知部
７４  計時部
７５  評価部
７６  情報受付部
７７  情報管理部
７８  選出部
７９  アルバム作成部
８０  表示制御部
８５  撮像画像
８６  目頭
８７  虹彩
８８  表示領域
９０  フォルダ
９１  フォルダの一覧
９２、１０４、１０６、１１１  メッセージ
９３  フォルダ選択画面
９５、９５Ａ、９５Ｂ  マーク
９６  再生表示画面
９７  拡大画像
１００  関心画像
１０１  関心画像の一覧
１０２、１１０  関心画像一覧画面
１０３  星印
１０５  電子アルバムの閲覧画面
１１６  視野カメラ
１１７  マーカー
１１８  視野画像取得部
１１９  マーカー検出部
１２０  画面編集部
１２１  視野画像
１２２  対応情報
１２５  モード切替部
１３０  パーソナルコンピュータ（制御装置）
１３５  携帯コンピュータ（制御装置）
ＡＲＳ  拡張現実空間
ＲＳ  現実空間
ＶＳ  仮想空間
ＬＳＰ、ＬＳＰ−Ａ、ＬＳＰ−Ｂ  視線の位置
Ｓ１００〜Ｓ１６０、Ｓ２００〜Ｓ２６０  ステップ
【図１】
2018016464.tif 000003
【図２】
2018016464.tif 000004
【図３】
2018016464.tif 000005
【図４】
2018016464.tif 000006
【図５】
2018016464.tif 000007
【図６】
2018016464.tif 000008
【図７】
2018016464.tif 000009
【図８】
2018016464.tif 000010
【図９】
2018016464.tif 000011
【図１０】
2018016464.tif 000012
【図１１】
2018016464.tif 000013
【図１２】
2018016464.tif 000014
【図１３】
2018016464.tif 000015
【図１４】
2018016464.tif 000016
【図１５】
2018016464.tif 000017
【図１６】
2018016464.tif 000018
【図１７】
2018016464.tif 000019
【図１８】
2018016464.tif 000020
【図１９】
2018016464.tif 000021
【図２０】
2018016464.tif 000022
【図２１】
2018016464.tif 000023
【図２２】
2018016464.tif 000024
【図２３】
2018016464.tif 000025
【図２４】
2018016464.tif 000026
【図２５】
2018016464.tif 000027
【図２６】
2018016464.tif 000028
【図２７】
2018016464.tif 000029
【国際調査報告】
2018016464.tif 000030
2018016464.tif 000031
2018016464.tif 000032
2018016464.tif 000033