(57)【要約】【課題】眼球と頭部の所定動作後にアイコンを注視してズーム操作するカメラ付き情報端末の提供。【解決手段】使用者の顔側に装着されている視界カメラ（１１）と、視界カメラ（１１）の姿勢変化を検出する姿勢変化検出部（１３）と、使用者の眼球を撮影する眼球カメラ（１4）と、眼球カメラ（１４）の画像から視線を検出する視線検出部（１５）と、使用者に視認し得る表示部（１６）と、を有するカメラ付き情報端末。そして、姿勢変化検出部（１３）と視線検出部（１５）とがそれぞれ検出した視界カメラ（１１）の姿勢変化の向きと、視線変化の向きとが相殺する向きであるときに（ＳＴＰ４）、表示部（１６）の中心付近に、注視アイコン（ＩＣ）が表示され（ＳＴＰ５）、その注視アイコン（ＩＣ）に使用者の視点が滞留している間は視界カメラ（１１）のズーム率が大きく又は小さく制御される（ＳＴＰ１１）。【選択図】図８
2020085914.tif 000002
【特許請求の範囲】
【請求項１】
使用者の鼻先の向く向きに向けて該使用者の顔側に装着されている視界カメラと、
前記視界カメラの姿勢変化を検出する姿勢変化検出部と、
前記使用者の眼球に向けて該使用者の顔側に装着されている眼球カメラと、
前記眼球カメラが取得する画像から前記使用者の視線を検出する視線検出部と、
前記使用者が視認し得るように該使用者の頭部に装着されて、前記視界カメラが取得した画像を表示する表示部と、を有し
前記姿勢変化検出部と前記視線検出部とがそれぞれ検出した前記視界カメラの姿勢変化の向きと、視線の変化の向きとが相殺する向きであるときに、前記表示部の中心若しくは、前記表示部の中心から視野角プラスマイナス２度の範囲内である中心部領域に注視アイコンが、前記視界カメラが取得した画像に重ねて表示され、
前記使用者の視線が前記表示部の表面と交差する点である視点が、前記注視アイコンに滞留している間は前記視界カメラのズーム率が大きく又は小さく制御されるカメラ付き情報端末。
【請求項２】
前記視点の位置を表す座標値の平均値若しくは最頻値に当たる位置を検出してニュートラル視点位置とし、該ニュートラル視点位置に前記視界カメラで取得した画像の中心を一致させて該画像を前記表示部に表示し、前記ニュートラル視点位置を中心として前記中心部領域を設ける、請求項１に記載のカメラ付き情報端末。
【請求項３】
前記使用者にとって下を向く向きに前記視界カメラの姿勢変化が検出されて前記中心部領域に前記注視アイコンが表示されている場合において、
前記視点が前記注視アイコンに滞留している間は前記視界カメラのズーム率を増す制御が行われる、請求項１または請求項２に記載のカメラ付き情報端末。
【請求項４】
前記使用者にとって上を向く向きに前記視界カメラの姿勢変化が検出されて前記中心部領域に前記注視アイコンが表示されている場合において、
前記視点が前記注視アイコンに滞留している間は前記視界カメラのズーム率を減少させる制御が行われる、請求項１または請求項２に記載のカメラ付き情報端末。
【請求項５】
前記中心領域に前記注視アイコンが表示されている場合において、
前記視点が前記注視アイコンから外れていることが検出された場合には、前記中心領域から前記注視アイコンが消去される、請求項１、請求項２、請求項３または請求項４のいずれか１項に記載のカメラ付き情報端末。
【請求項６】
前記姿勢変化検出部は前記使用者の頭部に装着されたジャイロセンサ、加速度センサ、若しくは前記視界カメラの画像の変化で生じたオプティカルフローを検出するオプティカルフロー検出部で構成される、請求項１、請求項２、請求項３、請求項４または請求項５のいずれか１項に記載のカメラ付き情報端末。
【請求項７】
使用者の鼻先の向く向きに向けて該使用者の顔側に装着されている視界カメラの姿勢変化を検出するステップと、
前記使用者の眼球に向けて該使用者の顔前に備えられた眼球カメラが取得する画像から前記使用者の視線を検出するステップと、
前記視界カメラの姿勢変化を検出するステップと前記視線を検出するステップとでそれぞれ検出された前記視界カメラの姿勢変化の向きと視線変化の向きとが相殺する向きであるときに、
前記使用者が視認し得るように該使用者の頭部に装着されて、前記視界カメラが取得した画像を表示する表示部の中心若しくは、前記表示部の中心から視野角プラスマイナス２度の範囲内である中心部領域に、注視アイコンを前記視界カメラが取得した画像に重ねて前記表示部に表示させるステップと、
前記使用者の視線が前記表示部の表面と交差する点である視点が前記注視アイコンに滞留している間は前記視界カメラのズーム率を大きく又は小さく制御させるステップとを有する処理を演算器に実行させるプログラム。
【請求項８】
前記視点の位置を表す座標値の平均値若しくは最頻値に当たる位置を検出してニュートラル視点位置とするステップを有し、
前記表示部に前記視界カメラが取得した画像と、前記注視アイコンとを重ねて表示するステップでは、前記視界カメラが取得した画像の中心を前記ニュートラル視点位置に一致させ、前記ニュートラル視点位置を中心として前記中心部領域を定め、該中心部領域内に前記注視アイコンを表示する処理を前記演算器に実行させる、請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に装着するカメラ付き情報端末及プログラムに関するものである。
【背景技術】
【０００２】
顔を含めた頭部の向きや視線の向きに基づいて機器を制御するユーザインタフェースが知られている。例えば特許文献１には、アイコン（同文献にはポインタと記載）が表示されるディスプレイ（１１）を備えたヘッドマウントディスプレイ（１）が記載されている。これは、使用者の視線の向きを検出するカメラ（１２）と、使用者の頭部の動きを検出する加速度センサ（１３）とを備えた頭部装着型装置である。この装置は、使用者がアイコンに視点を置いた状態で頭部を上下や左右に振ることで、パソコン操作でいうところのクリックや、ドラッグが可能なポインティングシステムである。使用者の眼球とディスプレイ（１）との相対的な位置は不変なので、ディスプレイ（１）内のアイコンの位置が変わらなければ、頭部を振る際に眼球は回転運動しない。つまり視線変化はない。使用者がアイコンから視点を外すと、頭部を振ってもクリック動作とみなされず、無意識に頭部を振る動作に対しては誤作動が防止されている。
【０００３】
また、特許文献２には、頭部装着型装置ではないものの、使用者が、机上に置かれたディスプレイの表示部（２０）のアイコン（３０）に視点（同文献では視線と記載）を滞留させた状態で頭部を前後に倒したり戻したりする動作（同文献ではうなずきジェスチャと記載）をすることで、アイコン（３０）を選択したと判断するジェスチャ認識装置が記載されている。これは表示部（２０）の上部に備えられたカメラ１０で使用者の視線と頭部前面の顔の向きを検出するものである。同装置では、使用者の頭部と表示部（２０）との位置関係は相対的に固定されてはいない。したがって、使用者がアイコン（３０）に視点を滞留させた状態でうなずきジェスチャをすれば、使用者の眼球は回転運動をし、頭部の向きと視線の向きは不一致な向きへ変化することとなる。このように、視線の向きと顔の向きの不一致動作をもって意思表示をする方法は特許文献３にも記載されている。
【０００４】
また、特許文献４には、使用者がファインダ画面（１０２）上の所定のマーク注視することによりカメラのズーム動作を制御する撮像装置が記載されている。これは、ファインダ画面（１０２）の隅にズーム動作のワイド側とテレ側とを示す指標（２０１、２０２）が表示されていて、使用者が所望のズーム率指標の表示箇所を所定時間注視すると、同撮像装置のズーム動作が行われるものである。ファインダ画面（１０２）隅という、通常注視しない場所にズーム率指標というマークを設けてこれをユーザインタフェースに用いることにより、使用者の意図しない誤作動を防止している。
【０００５】
また、特許文献５には、タッチパネル式の操作表示部（１０６）において、ユーザの視線が向いている部分の表示の拡大処理を行うステップ（１０３）を有する画像形成装置が記載されている。これは、表示部（１０６）付近にユーザの指が検出された場合には拡大表示処理を行わない構成をとっている。このようにして、ユーザが指タッチ操作しているときに、不用意に拡大表示されて操作性が損なわれることを防止している。
【０００６】
また、特許文献６には、複数の決められたポイントを注視することによって画面を拡大表示するナビゲーション装置が記載されている。このように、複数のポイントを注視したときにのみ画面を拡大表示することとして、使用者の意図に反して拡大表示されることを防止している。このように、視線や顔、頭部の動きに基づいて機器を操作する技術が公開されている。これらは使用者の意図に反して動作しないための構成を伴っている。
【０００７】
しかし、これらの構成を、頭部装着型のカメラのズーム操作に適用しようとすると次のような課題が生じる。例えば、特許文献１の構成を適用するならば、カメラのファインダ若しくはこれに相当する画面に表示されているアイコンを注視しながら、ある程度の加速度をもって頭部を上下又は左右に振らなければならない。頭部を振るとこれに装着されているカメラも振れてしまい撮影の対象物をうまくとらえることができないという課題が生じる。
【０００８】
また、特許文献２及び特許文献３に記載の構成をとると、使用者の視点を撮影対象に置くと、頭部の向きは撮影対象から外れることとなる。頭部装着型カメラは頭部の向きと一致しているから、カメラも撮影対象から外れることとなり、使用者にとっては対象を画面にとらえながらのズーム操作が難しくなるという課題がある。
【０００９】
ところで、カメラのファインダ若しくはこれに相当する画面の中心は、カメラの中心と一致していることが好ましい。このようにすると、使用者はカメラが撮影する画像の中心と範囲を把握しやすくなるからである。これを踏まえて特許文献４に記載の構成をカメラに適用すると、撮影対象を画面中心にとらえながらも、ズーム操作のために、画面隅にあるズーム用アイコンを注視しなければならないという不自然な動作を強いられる課題が生じる。これを避けるためにズーム用アイコンを画面中心付近に表示すると、そもそも使用者は高い頻度で画面中心付近を注視するので、使用者の意図に反してズーム動作する誤作動が起こりやすくなる課題を生じる。
【００１０】
また、特許文献５の構成を頭部装着型のカメラのズーム操作に適用するならば、眼球や頭部の動作に加えて、指などの手の動作も必要となり、両手のフリーを確保するというそもそものメリットを実現できないという課題が生じる。また、特許文献６の構成を同ズーム操作に適用するならば、画面内の複数のアイコンを順次注視していく必要があり、手続きが煩雑で時間がかかるという課題が生じる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−２４３７８４号公報
【特許文献２】特開２０００−１６３１９６号公報
【特許文献３】特開２００７−９４６１９号公報
【特許文献４】特開平８−４６８４６号公報
【特許文献５】特開２０１８−１８４３７号公報
【特許文献６】特開２０１８−７７１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
そこで、本発明の目的は、誤作動を防止しながらも、眼球動作と頭部の動作による操作であって、撮影対象を注視しながらズーム操作可能なカメラ付き情報端末及びプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決する実施形態として、使用者の顔側に装着されている視界カメラ（１１）と、視界カメラ（１１）の姿勢変化を検出する姿勢変化検出部（１３）と、使用者の眼球を撮影する眼球カメラ（１4）と、眼球カメラ（１４）の画像から視線を検出する視線検出部（１５）と、使用者に視認し得る表示部（１６）と、を有するカメラ付き情報端末とすることができる。そして、姿勢変化検出部（１３）と視線検出部（１５）とがそれぞれ検出した視界カメラ（１１）の姿勢変化の向きと、視線の変化の向きとが相殺する向きであるときに、表示部（１６）の中心付近に、注視アイコン（ＩＣ）が表示され、その注視アイコン（ＩＣ）に使用者の視点が滞留しているあいだは視界カメラ（１１）のズーム率が大きく又は小さく制御される。
【発明の効果】
【００１４】
本発明の実施形態は、誤作動を防止しながらも、眼球動作と頭部の動作による操作であって、撮影対象を注視しながらズーム操作可能なカメラ付き情報端末及びプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は本発明に基づく第１実施形態に係るカメラ付き情報端末の図である。
【図２】図２は本発明に基づく第１実施形態に係るカメラ付き情報端末の撮影系と表示系を説明する図である。
【図３】図３は本発明に基づく第１実施形態に係るカメラ付き情報端末の等価視界カメラと等価表示部とを表す図である。
【図４】図４は使用者の動作と表示部の表示との関係を説明する図である。
【図５】図５は注視アイコンを説明する図である。
【図６】図６は表示部の中心付近を表す図である。
【図７】図７は本発明に基づく第１実施形態に係るカメラ付き情報端末の構成を示すブロック図である。
【図８】図８は本発明に基づく第１実施形態に係るカメラ付き情報端末の処理フローの図である。
【図９】図９は使用者の視線が下向きに変化する動作を説明する図である。
【図１０】図１０はズーム率が小さくなる動作を表す図である。
【図１１】図１１は本発明に基づく第２実施形態に係るカメラ付き情報端末の処理フローの図である。
【図１２】図１２は眼球カメラ画像から視線を検出する方法を説明する図である。
【図１３】図１３は第１実施形態及び第２実施形態に係る姿勢変化検出部の動作を説明する図である。
【図１４】図１４は本発明に基づく第３実施形態に係る情報システムの構成を示す図である。
【図１５】図１５は使用者のニュートラル視点と表示部中心及び視界カメラ中心の関係を表す図である（第４実施形態）。
【発明を実施するための形態】
【００１６】
〔第１実施形態  カメラ付き情報端末〕
図１を参照して、本発明に基づく第１実施形態に係るカメラ付き情報端末１を説明する。図１（Ａ）は、使用者が、同カメラ付き情報端末１を装着した状態を表す図である。（Ａ２）は使用者の右目側を示したものである。図１（Ｂ１）と（Ｂ２）とはそれぞれ、同カメラ付き情報端末１の一部を透明化して表した図である。図１に示すように、カメラ付き情報端末１の各構成物はフレーム１Ｆにより使用者の頭部に装着されている。そして、その右目側は右耳の手前まで覆う表示部カバー１６Ａで覆われている。表示部カバー１６Ａの内側には、使用者の前景を撮影する視界カメラ１１と、使用者の右目を撮影する眼球カメラ１４と、視界カメラ１１が撮影取得する画像を使用者に視認し得るように表示する表示部１６とが設けられている。また、図１（Ｂ１）において、表示部カバー１６Ａは透明に表されている。この内部には、表示や撮影に必要なプリズムやミラーが含まれているが、詳細は図２を参照して行うので、ここでは省略する。図１（Ａ２）に記載されている視界カメラ１１も外観上は視認し得ない状態で装着されている。
【００１７】
フレーム１Ｆには、コントロールボックス２Ａも装着されている。この中には、後で詳しく説明する演算器２１と、通信部２２と、メモリ２３とが収められている。演算器２１では、視界カメラ１１の姿勢変化を検出する姿勢変化検出処理と、眼球カメラ１４が取得する画像から使用者の視線を検出する視線検出処理とが行われる。
【００１８】
〔撮影系と表示系〕
図２を参照して、カメラ付き情報端末１の撮影系と表示系とについて説明をする。光路ＬＰ１は撮像用プリズム１６Ｃにより、視界カメラ１１へ導かれて動画撮影される。撮影用プリズム１６Ｃは略三角柱であり、図２では三角形として表されている。この三辺のうち２番目の長さの辺は全ての入射角に対して光を反射するミラーで構成されている。従って、使用者の前景を伝える光の光路ＬＰ１は右目Ｒ−Ｅｙｅには直接入らない。使用者の前景は、視界カメラ１１で撮影されてほぼリアルタイムに表示部１６に表示される。使用者はこの表示部１６を通じて自らの前景を視認することができる。表示部１６から発せられた光の光路ＬＰ２は、表示部カバー１６Ａの内壁と、ミラー１６Ｂと、視認用プリズム１６Ｄとによって、右目Ｒ−Ｅｙｅに導かれる。また、視認用プリズム１６Ｄの面のうち、撮影用プリズム１６Ｃに面している面は全ての入射角に対して光を反射するミラーで構成されている。このようにして、使用者の頭部に装着された視界カメラ１１の取得画像が、同頭部に装着された表示部１６を介して、同使用者に視認される。
【００１９】
〔等価視界カメラと等価表示部〕
図１と図２とで説明した第１実施形態のカメラ付き情報端末１では、視界カメラ１１と表示部１６とは表示部カバー１６Ａ内に組み込まれていて外観に表れていない。一方、図３（Ａ）と（Ｂ）とに示すカメラ付き情報端末１は、視界カメラ１１と表示部１６とが外部に表れている。しかし、図１と図２とで説明したものと、図３に示すものとは、次の点で等価であることを説明する。
【００２０】
まず、図１と図２によるカメラ付き情報端末１の視界カメラ１１は、使用者頭部の前景を取得することができる。そして、使用者の頭部の姿勢の変化に伴って視界カメラ１１の姿勢も変化する。この観点で、図３（Ａ）と（Ｂ）とに示されている視界カメラ１１と図１及び２の視界カメラ１１とは等価である。また、図１及び２によるカメラ付き情報端末１の表示部１６は視界カメラ１１の取得画像を表示する。そして、使用者の頭部の姿勢が変化しても、表示部１６と使用者の右目Ｒ−Ｅｙｅとの相対的な位置関係は不変である。この観点で、図３（Ａ）と（Ｂ）とに示されている表示部１６は図１及び２による表示部１６と等価である。そこで、以後、図３に示される視界カメラ１１と表示部１６とに基づいて、説明をする。
【００２１】
ところで、図３では表示部１６が視界カメラ１１の前方を遮っているように見える。しかし、以後、視界カメラ１１にとっては、表示部１６は視野に入らないものとして説明をする。それは、図１と図２によるカメラ付き情報端末１では、プリズムとミラーとによってお互いに他方を遮蔽する等の干渉は回避しているからである。すなわち、図１〜図３において、視界カメラ１１は、使用者の鼻先の向く向きに向けて該使用者の顔側に装着されて使用者の前景を撮影できるようになっている。また、表示部１６は、使用者が視認し得るように頭部に装着されて視界カメラ１６の取得画像を表示するようになっている。また、前提として、視界カメラ１１の取得する画像の中心は表示部１６の中心に表示されるように調整されているものとする。そして、視界カメラ１１がズーム動作したときは、取得画像の中心を基点として拡大あるいは縮小されるものとする。
【００２２】
〔使用者の動作〕
次に図４を参照して、同実施形態で重要な使用者の動作を説明する。図４は、使用者の動作に伴う、視界カメラ１１が取得する画像の変化及び、表示部１６に表示される画像の変化を説明する図である。図４（Ａ１）、（Ｂ１）及び（Ｃ１）は使用者の動作を表す図である。一方、図４（Ａ２）、（Ｂ２）及び（Ｃ２）はそれぞれ、表示部１６に表示されている画像であって、視界カメラ１１で撮影されている画像でもある。
【００２３】
図４（Ａ１）は、使用者が表示部１６の中心に表示されている、小さな白い正方形に視線を向けて注視している状態である。つまり使用者の視線ＶＤは表示部１６の中心へ向かっている。また、上記したように、視界カメラ１１で取得した画像の中心が表示部１６の中心に表示されるように調整済みなので、視界カメラ１１の向う向きＣＤは使用者の視線ＶＤの方向と一致している。ここで、説明の都合上、使用者の視線ＶＤが表示部１６の表面と交差する点を視点ＶＰと呼ぶこととする。
【００２４】
図４（Ａ２）はこのとき、表示部１６に表示されている画像である。使用者は表示部１６の中心にある小さな白い正方形を注視している。表示部１６の画面に対して水平で、その中心を通る線分をカメララインＣＬとして表示している。また、視点ＶＰを通り表示部１６の画面に対して水平な線分を視点ラインＶＬとして表示している。この場合は、カメララインＣＬと視点ラインＶＬとは一致している。
【００２５】
〔相殺動作〕
図４（Ｂ１）は、使用者が先の注視点である小さな正方形に視点を残しつつ、頭部の姿勢をやや下向きした状態を表している。これは、使用者が顎を少し引いた状態でもある。使用者の頭部に装着されている視界カメラ１１と表示部１６とは頭部と同じ角度だけ傾く。その結果、図４（Ｂ２）に示すように、表示部１６に表示されている画像は、画面上やや上方へ移動する。このとき、視界カメラ１１の向う向きＣＤと、使用者の視線ＶＤの方向との間には差異が生じる。カメララインＣＬと視点ラインＶＬとの間にも差異が生じて、分離した２つの線分として表されている。ここで示した例のように、前景の特定の部分に視点VPを残しつつ頭部の姿勢を変化させると、視線は頭部の姿勢変化を相殺する向きに変化する。ここでは、このように頭部の姿勢変化と逆向きの視線変化を生じさせる動作を相殺動作ともいうこととする。
【００２６】
〔注視アイコン〕
図４（Ｃ１）と図４（Ｂ１）とは全く同じ姿勢である。使用者の動作に何ら変化はない。したがって、図４（Ｃ２）に表示されている画像と図４（Ｂ２）に表示されている画像とは一致する。しかし、図４（Ｃ２）においては、表示部１６の中心に注視アイコンＩＣが表示されている。
【００２７】
図５は表示部１６に表示される注視アイコンＩＣを説明する図である。図５（Ａ１）は図４（Ｃ１）と頭部姿勢は同一の使用者である。ただし、視点ＶＰは注視アイコンＩＣに滞留している。その結果、視界カメラ１１の向きＣＤと、使用者の視線ＶＤの向きとは一致している。図５（Ａ２）に示す表示部１６の画面において、カメララインＣLと視点ラインVLとは一致している。しかし、視点ラインVLは、最初に視点VPを滞留させていた場所である小さな白い正方形〔図４（Ａ２）参照〕よりも下へずれている。
【００２８】
ここで、注視アイコンＩＣに視点ＶＰを滞留させつつも、同視点ＶＰを最初に滞留していた小さな白い正方形に合わせることは簡単である。注視アイコンＩＣへの視点滞留を維持しながら顎をやや突き出せばよい。この動作を実施した直後の様子が図５（Ｂ１）に示されている。この動作により、図５（Ｂ２）に示すように、表示部１６の画像はやや下へ移動し、カメララインＣＬと視点ラインＶＬ及び注視アイコンＩＣとが、上記小さな白い正方形に重なるようになる。この時の使用者の姿勢は、図４（Ａ１）と一致している。図４（Ａ１）から、（Ｂ１）、（Ｃ１）、更に図５（Ａ１）を経て、（Ｂ１）までの一連の動作は、通常、使用者が無意識にやる動作ではない。意識的でなければ行わない動作である。これは不自然な動作ではあるが、図４（Ｃ２）から図５（Ａ２）及び（Ｂ２）までに注視アイコンＩＣが表示部１６に表示されることにより、簡単に行える動作となっている。そして、図５（Ｃ）と（Ｄ）とは、表示部１６の中心、すなわち、注視アイコンＩＣを中心として徐々にズーム率が大きくなって表示されていることを示している。
【００２９】
注視アイコンＩＣは表示部１６の中心に表示されることを原則とする。しかし、これに限るものではなく、表示部１６の中心から広がりを持っていてもよい。例えば、図６（A）に示すように、表示部１６の中心からある程度の広がりのある領域である。これを中心部領域１６１と称し、この領域内に注視アイコンICが表示される。分かりやすくするために中心部領域１６１は大きめに示している。図６（B）に示すように、使用者が表示部１６の中心であるDS０を注視している状態から上方へ視線を２度隔てた視線をVDPとし、下方へ視線を２度隔てた視線をVDMとする。このときに、視線VDPと表示部１６との交点と、視線VDMと表示部１６との交点で規定する範囲内が中心部領域１６１である。表示部１６の水平方向の範囲は、表示部１６の中心DS0から左方へ視線を２度傾けた範囲と、右方へ視線を２度傾けた範囲とで定められる。この範囲を単に、表示部１６の中心から視野角プラスマイナス２度の範囲内と表現することとする。視野角プラスマイナス２度の範囲内である中心部領域１６１に注視アイコンＩＣが、視界カメラ１１の取得画像に重ねて表示されるのでもよい。
【００３０】
〔構成ブロック図〕
次に図７を参照して、第１実施形態の構成をブロック図で説明する。第１実施形態に係るカメラ付き情報端末１は、視界カメラ１１と、眼球カメラ１４と、表示部１６と、演算器２１と、メモリ２３と、通信部２２とを有している。演算器２１は、姿勢変化検出部１３と、ズーム制御部１２と視線検出部１５と、表示制御部１７とを電子回路として有していてもよい。若しくは、同等の処理を実行するプログラムに基づく処理により実現されていてもよい。同プログラムは演算器２１内に組み込まれていてもよいし、メモリ２３内に展開されていてもよい。演算器２１は視界カメラ１１と、眼球カメラ１４と、表示部１６とメモリ２３と、通信部２２とを制御し、これらの機器を含めて第１実施形態に係るカメラ付き情報端末１を構成している。
【００３１】
たとえば、演算器２１は、ズーム制御部１２又はこれに該当するプログラムにより、視界カメラ１１のズーム機能を制御し、視界カメラ１１で取得する画像を拡大したり縮小したりする。この画像は、表示制御部１７の制御により表示部１６に表示される。また、この画像をメモリ２３に保存したり、通信部２２を介して他の機器に送信したりできるようにしてもよい。また、姿勢変化検出部１３は、視界カメラ１１の画像の変化から視界カメラ１１の姿勢変化を検出することができる。検出方法は後記する。視界カメラ１１の姿勢変化とは、同カメラ付き情報端末１の使用者の頭部の姿勢が変化することでもある。
【００３２】
また、表示制御部１７は上記機能のほかに、所定の条件を満たした場合に、表示部１６の中心若しくは、中心部領域１６１に注視アイコンＩＣを表示し、あるいは消去する制御を行う。視線検出部１５は眼球カメラ１４が取得する使用者の眼球画像を処理して使用者の視線を検出する。視線検出とは、視線の方向若しくは、視線が表示部１６の画面である表面と交差する点を視点ＶＰとしてその座標を検出することである。
【００３３】
〔処理フロー〕
次に、図８を参照して、第１実施形態のカメラ付き情報端末１の処理フローを説明する。図８（Ａ）は、図４と図５とを参照しながら説明した、使用者の動作を検出するための処理フローである。演算器２１で実行することができる。使用者が同カメラ付き情報端末１を使用中、この処理は繰り返し実行されている。この処理は使用者の視線変化と、視界カメラ１１の姿勢変化とを検出し、両変化の向きが相反する向きであること、すなわち相殺する変化である場合は、注視アイコンＩＣを、表示部１６の中心又は中心付近に表示する。そして、使用者がその注視アイコンＩＣに視点ＶＰを滞留すればその表示を維持し、視点ＶＰの滞留が無ければ注視アイコンＩＣの表示を消去するものである。
【００３４】
まず、演算器２１は視界カメラ１１の姿勢変化を検出し（ステップＳＴＰ１）、眼球カメラ１４が取得する画像から使用者の視線を検出する（ステップＳＴＰ２）。ステップＳＴＰ１とステップＳＴＰ２とは何れを先に実行してもよい。次に条件１に基づいて分岐する。条件１は使用者の視点ＶＰが中心部領域１６１外にあれば‘真’である。この中心付近からの視線変位の条件は、より大きく変位することを条件１としてもよい。しかし、ここでは以後、視点ＶＰが中心部領域１６１外にあることを「視線変化」とも表現する。通常、使用者の視点ＶＰは、中心部領域１６１内にあり、使用者の何らかの動作に伴って、視点ＶＰが同中心部領域１６１から外れるからである。‘真’でない場合、すなわち‘偽’の場合は処理を終了し、‘真’の場合は続く処理に分岐する（ステップＳＴＰ３）。
【００３５】
続いて、条件２の判断をする。条件２は視線の変化、すなわち、視点ＶＰが中心部領域１６１から外れている向きと、視界カメラ１１の姿勢変化すなわち使用者頭部の姿勢変化の向きとの比較に基づく判断である。先の図４（Ｂ１）と（Ｃ１）では、視点ＶＰは中心部領域１６１から上向きに外れている。一方使用者が頭部を前に倒すことにより、頭部装着の視界カメラ１１は下向きに姿勢変化している。このような場合は、視線変化はカメラの姿勢変化を相殺する向きなので、条件２の判断は‘真’である。カメラ姿勢変化が検出されなかったり、カメラ姿勢変化の向きと視線変化の向きが反対向きでなかったりする場合は相殺ではなく、‘偽’と判断される。条件２の判断に基づいて、‘偽’であれば処理を終了し、‘真’であれば続く処理へ分岐する（ステップＳＴＰ４）。
【００３６】
続いて、注視アイコンＩＣを中心部領域１６１に表示する。これは、視界カメラ１１による取得画像に重ねて表示するものである。更に、後で説明を加える、注視フラグＦＧをセットする。そして、注視アイコンＩＣの表示後は次の処理に進む前に所定時間だけ間を置く（ステップＳＴＰ５）。これは注視アイコンＩＣが中心部領域１６１に表示され、使用者がそこに視点ＶＰを滞留させる時間を確保するためである。この所定時間は１秒以内であることが望ましいが１秒を超える設定を除外するものではない。
【００３７】
次いで、再び視線検出をし（ステップＳＴＰ６）、条件３の判断をする。条件３の判断において、使用者の視点ＶＰが注視アイコンＩＣから外れていれば‘偽’、滞留していれば‘真’である。条件３の判断に基づいて分岐する（ステップＳＴＰ７）。‘偽’の場合は注視フラグＦＧをリセットし、注視アイコンＩＣを消去して処理を終了する（ステップＳＴＰ９）。一方、‘真’の場合はステップＳＴＰ６の視線検出に戻る（ステップＳＴＰ７）。ここで、注視フラグＦＧとは、他の処理ルーチンでも参照可能な、オンとオフといった二値の参照用フラグである。
【００３８】
以上の処理を簡単に表すと、視線変化と、使用者の頭部に装着の視界カメラ１１の動きが相殺する向きであるときは、中心部領域１６１に注視アイコンＩＣが表示される。そして、使用者が視点ＶＰをここに滞留させると、注視アイコンＩＣの表示は維持されるが、視点ＶＰをこれに滞留させないと注視アイコンＩＣは消去される。また、注視アイコンＩＣの表示が維持されている間は、注視フラグＦＧはセット状態を維持している。
【００３９】
ここで、演算器２１はマルチスレッドで動作する演算器である。すなわち、複数の処理ルーチンが並行して実行される。演算器２１の構成はシングルプロセッサかマルチプロセッサのいずれでもよい。シングルプロセッサの場合は、時分割で複数の処理ルーチンを実施し、見かけ上並行して実施しているように見える。マルチプロセッサの場合は、複数のプロセッサが共通のメモリをアクセスし、メモリアクセスの競合は適切の調整されているものとする。
【００４０】
図８（Ｂ）に示す処理は、（Ａ）を参照して説明した処理と並行して行われる。さらに、先に説明した処理で出力される注視フラグＦＧを参照することができる。ここではまず条件４の判断をする。条件４において、注視フラグＦＧがセットされていれば‘真’、リセットされていれば‘偽’である。‘偽’であれば処理を終了し、‘真’であれば続く処理へ分岐する（ステップＳＴＰ１０）。次いで、視界カメラ１１のズーム動作を、ズーム制御部１２を介して行う（ステップＳＴＰ１１）。そして、再度、条件４の判断をする（ステップＳＴＰ１０）。この処理を実行することにより、注視フラグＦＧがセットされている間、すなわち、中心部領域１６１に注視アイコンＩＣが表示されている間は、視界カメラ１１のズーム動作が継続される。
【００４１】
以上、説明した処理フローにより、第１実施形態に係るカメラ付き情報端末の使用者は、頭部と眼球の動作のみで視界カメラ１１のズーム操作を行うことができる。表示部１６の中心付近である中心部領域１６１に表示されている注視アイコンＩＣに視点ＶＰを滞留させ続ければ、注視フラグＦＧのセット状態が続き視界カメラ１１のズーム動作を継続させることができる。また、中心部領域１６１に注視アイコンＩＣが表示されている場合において、視ＶＰ点が注視アイコンＩＣから外れていることが、視線検出部１５によって検出されると、ステップＳＴＰ９にて注視アイコンＩＣは消去され、同時に注視フラグＦＧもリセットされる。その結果、図８（Ｂ）に示されるカメラズーム動作も終了する。
【００４２】
使用者の顎引き動作については既に図４と図５とを参照して説明した。顎引き動作に伴って、頭部前面の顔面は下向きに傾く一方で、視線は上方へ変化し、両者は相殺するように相反する向きに変化していた。これと対照的な動作は、使用者による顎突出し動作である。図９を参照してこれを説明する。図９（Ａ１）は通常の自然な状態であって、顔向きと視線方向は一致している。頭部前面に装着されている視界カメラ１１の方向ＣＤと、表示部１６の中心付近に視点ＶＰを定めている使用者の視線方向ＣＤとは一致している。図９（Ａ２）は視界カメラ１１が取得している画像であり、表示部１６に表示されている画像でもある。この画像において、カメララインＣＬと、視点ラインＶＬとは、表示部１６の中心付近で一致している。使用者は表示部１６の中心付近に表されている小さな白い正方形を注視している。
【００４３】
図９（Ｂ１）は、使用者が、表示部１６の中心付近に表されている小さな白い正方形への注視を維持しながら顎を突き出し、その結果、顔面がやや上を向いた状態を表している。この時視界カメラ１１の姿勢は上方へ姿勢変化し、視点ＶＰは下方へ変化する。このときに視界カメラ１１が取得して表示部１６に表示している画像は（Ｂ２）に示されている。（Ａ２）の画像と比較すると、やや下方へ移動している。勿論、カメララインＣＬは表示部１６の中心に位置し続ける。一方で視点ラインＶＬは小さな白い正方形と共に下方へ移動している。この時は、視界カメラ１１の姿勢変化の向きと使用者の視線変化の向きとが相反し、相殺する向きなので、表示部１６の中心部領域１６１に注視アイコンＩＣが表示される〔図９（Ｃ２）〕。
【００４４】
図１０（Ａ１）は、使用者が、視点ＶＰの注視アイコンＩＣヘの滞留を維持して、最初に注視していた小さな白い正方形を注視アイコンＩＣへ重ねた様子を表している。（Ａ２）はこの時の表示部１６の表示画面である。図１０（Ｂ）と（Ｃ）とは、表示部１６の中心、すなわち注視アイコンＩＣを中心にズーム率が小さくなるズーム動作がなされて、対象物が徐々に小さくなり、視野は徐々に拡大されていく様子を示している。
【００４５】
図４と図５で説明したのは、視線変化の向きが上方向で注視アイコンＩＣが表示された例であり、図９と図１０で説明したのは、視線変化の向きが下向で注視アイコンＩＣが表示された例である。そのほか、視線変化が左右いずれかの向きに変化して、視界カメラ１１がそれぞれこれを相殺する向きに姿勢変化する場合を作ることができる。次に説明する第２実施形態は、注視アイコンＩＣが表示される動作において、視線変化が上方向であったときに視界カメラ１１に拡大ズーム動作を起こさせ、視線変化が下方向であったときに視界カメラ１１に縮小ズーム動作を起こさせるものである。ここで、拡大ズームとは対象物が大きくなる一方で視野範囲が狭くなるズーム動作とする。そして、縮小ズームとは対象物が小さくなる一方で視野範囲が広くなるズーム動作とする。
【００４６】
〔第２実施形態  カメラ付き情報端末〕
図１１を参照して、本発明に基づく第２実施形態のカメラ付き情報端末２の処理フローを説明する。同カメラ付き情報端末２のブロック図で表される構成は第１実施形態のカメラ付き情報端末１と同様である。まず、図１１（Ａ）を参照する。ステップＳＴＰ１からステップＳＴＰ４までの処理は、第１実施形態のカメラ付き情報端末１と同様である。すなわち、視線変化の向きとカメラ姿勢変化の向きが相殺する関係になければ処理を終了する。相殺する関係にあれば、ステップSTP１２に分岐する。
【００４７】
条件５は、先のステップで検出した視線変化が上方への変化であったことである。上方へ視線変化するのは、使用者が顎を引き、頭部をやや下向きに向けたときに生じる変化である。条件５の判断をし、視線変化が上方ではなかった場合は、‘偽’としてステップSTP１４へ分岐する。視線変化が上方であった場合は、‘真’としてステップSTP１３へ分岐する（ステップSTP１２）。ステップSTP１３では、後で説明を加える、注視Ｕフラグをセットする。これは視線変化が上方であった時、すなわち、使用者が顎を引いたときにセットされる１ビットフラグである。後記する図１１（B）で説明する処理ルーチンではこのフラグを参照する。ステップSTP１４では、注視Dフラグをセットする。これは視線変化が下方であった時、すなわち、使用者が顎を突き出したときにセットされる１ビットフラグである。後記する図１１（B）で説明する処理ルーチンではこのフラグを参照する。ただし、ここに示した処理フローでは視線変化が下方であったことを含めて、上方以外の視線変化では全て注視Ｄフラグがセットされる。厳格に、視線変化が下方の時のみ注視Ｄフラグをセットするのであれば、ステップＳＴＰ１２の分岐を３通りとする必要がある。そして、視線変化が上下方向のいずれにも該当しない場合は、処理を終了するようにすればよい。
【００４８】
続く処理で、中心部領域１６１に注視アイコンICを表示し、所定時間維持する（ステップSTP5）。これは、使用者が視点VPを注視アイコンICに滞留させるまでの時間を確保するためである。次いで、再び視線検出をし（ステップＳＴＰ６）、条件３の判断をする。条件３の判断において、使用者の視点ＶＰが注視アイコンＩＣに滞留していなければ‘偽’、滞留していれば‘真’である。条件３の判断に基づいて分岐する（ステップＳＴＰ７）。‘偽’の場合は注視Ｕフラグまたは注視Ｄフラグをリセットし、注視アイコンＩＣを消去して処理を終了する（ステップＳＴＰ１５）。一方、‘真’の場合はステップＳＴＰ６の視線検出に戻る（ステップＳＴＰ７）。ここで、注視Ｕフラグと注視Ｄフラグとは、他の処理ルーチンでも参照可能な、オンとオフといった二値の参照用フラグである。
【００４９】
以上の処理を簡単に表すと、視線変化と、使用者の頭部に装着の視界カメラ１１の動きが相殺する向きであるときは、中心部領域１６１に注視アイコンＩＣが表示される。使用者が視点ＶＰをここに滞留させると、注視アイコンＩＣの表示は維持されるが、視点ＶＰをこれに滞留させないと注視アイコンＩＣは消去される。また、注視アイコンＩＣの表示が維持されている間は、注視Ｕフラグ又は注視Ｄフラグはセット状態を維持している。使用者の動作が顎を引く動作であった場合は注視Ｕフラグがセット状態となっており、使用者の動作が顎を突き出す動作であった場合は注視Ｄフラグがセット状態となっている。
【００５０】
図１１（Ｂ）に示す処理は、（Ａ）を参照して説明した処理と並行して行われる。さらに、先に説明した処理で出力される注視Ｕフラグと注視Ｄフラグとを参照することができる。ここではまず条件６の判断をする。条件６において、注視Ｕフラグがセットされていれば‘真’、リセットされていれば‘偽’である。‘偽’であればステップＳＴＰ１８へ分岐し、‘真’であればステップＳＴＰ１７に分岐する（ステップＳＴＰ１６）。ステップＳＴＰ１７では、視界カメラ１１の拡大ズーム動作を行い、再びステップ１６に戻る（ステップＳＴＰ１７）。ステップＳＴＰ１８では、条件７の判断をする。条件７において、注視Ｄフラグがセットされていれば‘真’、リセットされていれば‘偽’である。‘偽’の場合は処理を終了する。一方、‘真’の場合は視界カメラ１１の縮小ズーム動作を行う。あるいは、視野範囲最大の状態に戻す動作でもよい。その後、再びステップ１６に戻る（ステップＳＴＰ１９）。
【００５１】
以上、説明した処理フローにより、使用者にとって下を向く向きに視界カメラ１１の姿勢変化が検出され。かつ、視点ＶＰは中心部領域１６１から上へ変化したことが検出されると中心部領域１６１内に注視アイコンＩＣが表示される。そして、使用者が視点ＶＰを注視アイコンＩＣに滞留している間は視界カメラ１１のズーム率を増加する制御が行われるようにすることができる。
【００５２】
また、使用者にとって上を向く向きに視界カメラ１１の姿勢変化が検出され、かつ、視点ＶＰは中心部領域１６１から下へ変化したことが検出されると中心部領域１６１内に注視アイコンＩＣが表示される。そして、使用者が視点ＶＰを注視アイコンＩＣに滞留している間は視界カメラ１１のズーム率を減少させる制御が行われるようにすることができる。
【００５３】
また、視点ＶＰが注視アイコンＩＣから外れていることが検出されると、表示部１６から注視アイコンＩＣは消去される。同時に注視Ｕフラグ若しくは注視Ｄフラグもリセットされるので、視界カメラ１１のズーム率を変化させる動作は終了する。
【００５４】
次に、図１２を参照して、視線検出部１５の説明をする。視線検出部１５は眼球カメラ１４が取得する眼球画像から使用者の視線を検出するものである。より具体的には、使用者の視線と表示部１６の表面とが交差する場所である視点VPの同表示部１６の表面における座標を検出するものである。第１実施形態及び第２実施形態においては、眼球画像から使用者の右目の瞳の位置を検出する。瞳の検出を安定化するために、右目に近赤外照明を当てることもできる。この場合、眼球カメラ１４は近赤外線領域に感度の高いカメラを用いる。
【００５５】
そして、視線検出に先立ち、図１２（A1）と（A2）とに示されるキャリブレーション動作が必要である。第１実施形態及び第２実施形態のカメラ付き情報端末１及び２の表示部１６の所定の位置には、キャリブレーション点Ｐ１と、Ｐ２、Ｐ３、Ｐ４が表示されている〔図１２（Ａ２）〕。同情報端末を装着した使用者はこれらの指定されたキャリブレーション点を目で追い、この時の眼球画像における瞳の位置が記録される。これは、使用者の視点ＶＰの位置と瞳の位置との対応付けを行うことが目的である。この対応付けができたなら、例えば、図１２（Ｂ２）ア）に示す右目眼球画像から、同じ行の（Ｂ３）のように瞳Ｅ１が検出されると、視点ＶＰはキャリブレーション点Ｐ１上にあると判断される。ここで、使用者の視認する表示部１６の表面（Ｂ１）と、眼球カメラからの画像による瞳（Ｂ３）とは、互いにほぼ逆向きゆえに左右逆転していることに注意する。（Ｂ３）アイウエのいずれにも一致しない位置に瞳を検出した場合には、（Ｂ１）のキャリブレーション点アイウエの位置から内そう又は外そうして視点ＶＰの座標を検出する。以上が、視線検出部１５の処理である。
【００５６】
次に、図１３を参照して、姿勢変化検出部１３の説明をする。使用者の頭部に装着された視界カメラ１１が方向ＣＤ１に向かっているとき〔図１３（Ａ１）〕の、同カメラによる取得画像を図１３（Ａ２）に表す。ここで、使用者が顎を引いて頭部をやや下向きに傾けると、視界カメラ１１の向きはＣＤ２に向かう向きになる。このときに同カメラが取得する画像は図１３（Ｂ２）に表されている。ここで、（Ａ２）と（Ｂ２）との画像の差異からオプティカルフローを求めれば、視界カメラ１１の姿勢変化を検出することができる。オプティカルフロー検出の方法を限定するものではないが、例えば、（Ａ２）画像から局所的なテンプレートパタンを作成して〔図１３（Ｃ１）のＴ１，Ｔ２，Ｔ３〕、（Ｂ２）画像についてパタンマッチングをすると、（Ｃ２）に示すようにマッチング領域を求めることができ〔（Ｃ２）のＭ１，Ｍ２，Ｍ３〕、Ｔ２の位置からＭ２の位置へのベクトルＶ２としてオプティカルフローが検出される。このベクトルの大きさ、方向が視界カメラ１１の姿勢変化の大きさと方向である。そして、このベクトルの向きと反対の向きが視界カメラ１１の姿勢変化の向きである。このように、カメラの姿勢変化前後の画像を処理して、カメラ姿勢変化と向きとを検出することができる。すなわち、オプティカルフロー検出部で姿勢変化検出部１３を実現することができる。以上が姿勢変化検出部１３の処理である。カメラ姿勢変化を検出するために、取得画像からオプティカルフローを検出する他に、使用者の頭部に加速度センサやジャイロセンサを装着してもよい。
【００５７】
以上が、第１実施形態及び第２実施形態に係るカメラ付き情報端末１及び２である。このような構成にすると、誤操作を抑えつつも、撮影対象を注視しながらカメラのズーム操作をすることができる。
【００５８】
〔第３実施形態  情報システム〕
次に、図１４を参照して、本発明に基づく第３実施形態に係る情報システム３を説明する。第３実施形態の情報システム３は、頭部装着型端末３Ａとサーバ３Ｂとからなる。サーバ３Ｂとしてパーソナルコンピュータを使用することができる。頭部装着型端末３Ａに備えられた視界カメラ１１と、眼球カメラ１４が取得した画像はサーバ３Ｂへ送信される。サーバ３Ｂでは、視界カメラ１１の画像を処理して視界カメラ１１の姿勢変化を検出する。また、眼球カメラ１４の画像を処理して視線変化が検出される。
【００５９】
そして、サーバ３Ｂにて、視界カメラ１１の姿勢変化と眼球カメラ１４の画像から得られた視線変化とが相殺する向きであることを検出したときは、頭部装着型端末３Ａに対して、注視アイコンＩＣを表示する指令を送る。指令を受けた頭部装着型端末３Ａは、これに備えられている表示部１６の中心部領域１６１に注視アイコンＩＣを表示する。その後、サーバ３Ｂは眼球カメラ１４の画像から視線を求め、この視線の表示部１６の表面との交点である視点ＶＰが注視アイコンＩＣから外れていると判断したときは、頭部装着型端末３Ａに対して、注視アイコンＩＣを消去するように指令を送る。一方、視点ＶＰが注視アイコンＩＣに滞留している場合にサーバ３Ｂは、頭部装着型端末３Ａに対して、視界カメラ１１のズーム動作をしてズーム率を大きく又は小さく制御するように指令を送る。指令を受けた頭部装着型端末３Ａは視界カメラ１１のズーム率を大きく又は小さく制御する。
【００６０】
以上の動作を踏まえて、図１４（Ａ）を参照する。頭部装着型端末３Ａの構成は、図７に示した第１実施形態の構成から、姿勢変化検出部と、視線検出部の機能を除いたものである。より詳しくは、演算器３１Ａは演算器２１から、姿勢変化検出部と、視線検出部の機能を除いたものになっている。これらの処理はサーバ３Ｂで行う。このような構成にすることで、演算器３１Ａの負荷を演算器２１よりも軽減している。
【００６１】
図１４（Ｂ）には、サーバ３Ｂの構成が示されている。サーバ演算器３１Ｂには視線検出部３５と、姿勢変化検出部３３と、ズーム動作指令部３２と、表示制御指令部３４とが含まれている。これらは専用の電子回路で構成されていてもよいし、同等の機能をソフトウェア処理するための処理ルーチンとして実現されていてもよい。姿勢変化検出部３３は、視界カメラ１１の画像からオプティカルフローを検出して、視界カメラ１１の姿勢変化を検出する。頭部装着型端末３Ａに加速度センサやジャイロセンサが備えられているときはこれらの機器の出力を受け取って、このオプティカルフローを検出する処理に変えてもよい。視線検出部３５は眼球カメラ１４の画像から視線及び視線変化を検出する。表示制御指令部３４は表示部１６に注視アイコンＩＣを表示したり消去したりする指令を頭部装着型端末３Ａ対してする。ズーム動作指令部３２は頭部装着型端末３Ａのズーム制御部１２に対して視界カメラにズーム動作をさせるように指令を送る。尚、頭部装着型端末３Ａとサーバ３Ｂとの通信は通信部２２とサーバ通信部３２とを介して行われる。以上が、第３実施形態に係る情報システム３の構成である。このような構成にすると、頭部装着型端末３Ａの演算器３１Ａの負荷が軽くなり、その結果、頭部装着型端末３Ａの発熱を抑えたり、消費電力を減らしたり、軽量化を達成しやすくなったりする効果がある。
【００６２】
〔第４実施形態〕
次に図１５を参照して、本発明に基づく第４実施形態を説明する。この実施形態は視界カメラ１１による取得画像の中心と表示部１６の中心との関係に関するものであり、上記第１実施形態から第３実施形態までのすべての実施形態に付加できる実施形態である。図１５（Ａ）は、視界カメラ１１が取得する画像の中心ＩＭ０と、表示部１６の中心ＤＳ０との位置関係を表す。視界カメラ１１のレンズ系１１１が結像した画像１１３はイメージセンサ１１２で電気信号に変換されて表示部１６に伝送される。そして、この画像が表示部１６に画像１６Ｓとして表示される。このとき、画像１１３の中心ＩＭ０は、表示部１６の中心ＤＳ０に表示される。これは、使用者が、通常は、表示部１６の中心ＤＳ０に視点を置いていることを前提としている。表示部１６の中心ＤＳ０に画像１１３の中心ＩＭ０が一致しているので、視界カメラ１１のズーム動作を行うと、表示部１６の中心ＤＳ０に写る部分を中心に表示画像１６Ｓは拡大若しくは縮小する。それ故に、第１〜３実施形態は、表示部１６の中心に注視マーカＩＣを表示させたのである。
【００６３】
しかし、人間には個人差があり、通常状態で、必ずしも視線が表示部１６の中心ＤＳ０に向かっているとは限らない。また、カメラ付き情報端末は、個人の眼鏡のように各人向けに調整して製造されているとは限らない。そうすると、なおさら、通常状態で表示部１６の中心ＤＳ０に視点を置いている場合は少なくなると想定される。そこで、各使用者が通常視点を置く位置に応じて、画像を表示しようとする構成が第４実施形態である。
【００６４】
第４実施形態のカメラ付き情報端末では、常に、若しくは一定期間ごとに使用者の視点ＶＰの位置である座標値をサンプルとして取得してメモリ２３若しくはサーバメモリ３３に保持する。これを統計処理して、使用者の視点ＶＰが最も多く集まる位置の座標、若しくは平均的に集まる位置の座標を求める。統計処理としては平均値や最頻値をとることができる。サンプル取得するのは、使用者がズーム操作のために注視アイコンＩＣを表示させている期間を除くのが好ましい。注視アイコンＩＣに視点誘導されている期間は、使用者の通常の視点位置とは言えないからである。上記サンプルから古い物を捨てて、新しいものに入れ替えることで、使用者の通常の視点ＶＰの位置が次第に変化していくことに追従する。
【００６５】
図１５（Ｂ）の例では、統計処理で、視点ＶＰが置かれる最頻値の座標を求めている。ここで、視点ＶＰが置かれる最頻値の座標をニュートラル視点位置ＤＳ１と称することとする。このニュートラル視点位置ＤＳ１に画像１１３の中心ＩＭ０が一致するように移動させた画像１６Ｑが表示部１６に表示されるようにしている。（C）は、説明上の要部を拡大して表したものである。図では、ニュートラル視点位置ＤＳ１は表示部１６の中心位置ＤＳ０に対して紙面上の上下方向のいずれかの移動に見えるが、実際には、紙面に直交する方向にも移動し得るものである。そして、中心部領域１６１も、ニュートラル視点位置ＤＳ１を中心に設定する。
【００６６】
以上説明した第４実施形態は、視点ＶＰの位置を表す座標値の平均値若しくは最頻値に当たる位置を検出してニュートラル視点位置ＤＳ１とし、このニュートラル視点位置ＤＳ１に視界カメラ１１で取得した画像１１３の中心ＩＭ０を一致させて表示部１６に表示する。更に、ニュートラル視点位置ＤＳ１を中心として中心部領域１６１を設ける。
【００６７】
また、これらの処理を、プログラムを使って実現するには、視点ＶＰの位置を表す座標値の平均値若しくは最頻値に当たる位置を検出して前記ニュートラル視点位置ＤＳ１とするステップを有し、表示部１６に視界カメラ１１の取得画像と、注視アイコンＩＣとを表示するステップでは、視界カメラ１１で取得した画像の中心をニュートラル視点位置ＤＳ１に一致させる。そして、ニュートラル視点位置ＤＳ１を中心として中心部領域１６１を定め、この中心部領域１６１内に注視アイコンＩＣを表示する処理する。以上の一連の処理を演算器２１又は演算器３１Ｂに実行させればよい。このようにすることで、使用者ごとの視点の置き方の差異を吸収し、誰にとっても自然な操作ができる。以上、視点ＶＰの位置を表す座標値の平均値若しくは最頻値に当たる位置を検出し、この位置に視界カメラ１１で取得した画像１１３の中心ＩＭ０を一致させた画像１６Ｑを表示部１６に表示するカメラ付き情報端末を説明した。
【００６８】
尚、図１５では、視界カメラ１１が取得した画像１１３と、表示部への表示画像１６Ｓと、補正後の表示画像１６Ｑとを、厚みのある物体のように表している。しかしこれは、説明の便宜上このように表現しているのであって、これら画像は電荷のチャージ等の電気信号であるから、現実には図のように厚みのあるものではない。
【符号の説明】
【００６９】
１・・・第１実施形態のカメラ付き情報端末、１１・・・視界カメラ、
１１１・・・視界カメラのレンズ系、１１２・・・視界カメラのイメージセンサ、
１１３・・視界カメラが取得した画像、１２・・・ズーム制御部、
１３・・・姿勢変化検出部、１４・・・眼球カメラ、１５・・・視線検出部、
１６・・・表示部、１７・・・表示制御部、１Ｆ・・・フレーム、
１６Ａ・・・表示部カバー、１６Ｂ・・・ミラー、１６Ｃ・・・撮像用プリズム、
１６Ｄ・・・視認用プリズム、１６Ｓ・・・表示部への表示画像、
１６Ｑ・・・表示部への補正後の表示画像、１６１・・・中心部領域、
２Ａ・・・コントロールボックス、２１・・・演算器、２２・・・通信部、
２３・・・メモリ、２・・・第２実施形態のカメラ付き情報端末、
３・・・第３実施形態の情報システム、３Ａ・・・頭部装着型端末、
３Ｂ・・・サーバ、３１Ａ・・・演算器、３１Ｂ・・・サーバ演算器、
３２・・・ズーム動作指令部、３３・・・姿勢変化検出部、
３４・・・表示制御指令部、３５・・・視線検出部、ＣＬ・・・カメラライン、
ＶＬ・・・視点ライン、Ｅ１，Ｅ２，Ｅ３，Ｅ４・・・検出された瞳、
Ｔ１，Ｔ２，Ｔ３・・・テンプレート、Ｍ１，Ｍ２，Ｍ３・・・マッチング領域、
ＩＣ・・・注視アイコン、ＦＧ・・・注視フラグ、
ＩＭ０・・・視界カメラが取得した画像の中心、ＤＳ０・・・表示部の中心、
ＤＳ１・・・ニュートラル視点位置、ＬＰ１，ＬＰ２・・・光路、
Ｐ１，Ｐ２，Ｐ３，Ｐ４・・・キャリブレーション点、
Ｒ−Ｅｙｅ・・・第１実施形態のカメラ付き情報端末の使用者の右目、
ＶＤ・・・使用者の視線の向きと方向、
ＣＤ，CD1，CD2・・・視界カメラの向きと方向、
ＶＰ・・・視点、Ｖ１，Ｖ２，Ｖ３・・・オプティカルフローベクトル
【図１】
2020085914.tif 000003
【図２】
2020085914.tif 000004
【図３】
2020085914.tif 000005
【図４】
2020085914.tif 000006
【図５】
2020085914.tif 000007
【図６】
2020085914.tif 000008
【図７】
2020085914.tif 000009
【図８】
2020085914.tif 000010
【図９】
2020085914.tif 000011
【図１０】
2020085914.tif 000012
【図１１】
2020085914.tif 000013
【図１２】
2020085914.tif 000014
【図１３】
2020085914.tif 000015
【図１４】
2020085914.tif 000016
【図１５】
2020085914.tif 000017