(57)【要約】【課題】装着者の視野とウェアラブルデバイスの表示領域との位置関係の情報を備えるウェアラブルデバイスを提供する。【解決手段】ウェアラブルデバイス１００は、画像信号に基づいて画像を提示する表示素子１３１と、装着者の眼前に配置されるように構成され、前記装着者の視野よりも狭い表示領域を有し、表示素子１３１に提示され導光された画像を表示する表示部１３６と、装着者が作業を行うときの視野である作業視野と装着者の眼前に配置された表示部１３６の表示領域との位置関係を記憶する記憶装置１２４とを備える。【選択図】図２
2019022084.tif 000002
【特許請求の範囲】
【請求項１】
画像信号に基づいて画像を提示する表示素子と、
装着者の眼前に配置されるように構成され、前記装着者の視野よりも狭い表示領域を有し、前記表示素子に提示され導光された前記画像を表示する表示部と、
前記装着者が作業を行うときの視野である作業視野と前記装着者の眼前に配置された前記表示部の前記表示領域との位置関係を記憶する記憶装置と
を備えるウェアラブルデバイス。
【請求項２】
前記表示部の大きさが前記装着者の瞳孔の直径よりも小さい、請求項１に記載のウェアラブルデバイス。
【請求項３】
前記作業視野と前記表示領域との離れ具合を示す値が所定の値よりも大きく、前記装着者の視線を前記表示部に誘導する必要があるとき、音声、振動又は表示を用いて警告を行う、請求項１又は２に記載のウェアラブルデバイス。
【請求項４】
前記装着者の視野の方向を撮影するカメラをさらに備え、
前記記憶装置は、前記位置関係として、前記作業視野と前記表示領域と前記カメラの撮影領域との位置関係を記憶する、
請求項１乃至３のうち何れか１項に記載のウェアラブルデバイス。
【請求項５】
前記作業視野に応じて前記カメラで撮影した画像のトリミングを行う画像処理回路をさらに備える請求項４に記載のウェアラブルデバイス。
【請求項６】
前記表示素子は、前記撮影領域と前記表示領域との位置関係に応じて、前記画像の表示位置を調整する請求項４又は５に記載のウェアラブルデバイス。
【請求項７】
前記装着者が前記作業視野をとっているときに、前記装着者が前記作業視野内の所定位置に見ている画像特徴情報を取得し、前記カメラによる撮影で得られた画像に対する画像特徴認識との比較によって前記撮影領域内における物の位置を特定する画像処理回路と、
前記物の位置に基づいて前記作業視野と前記撮影領域との前記位置関係を特定する作業視野−撮影領域特定部と
をさらに備える請求項４乃至６のうち何れか１項に記載のウェアラブルデバイス。
【請求項８】
前記作業視野−撮影領域特定部は、前記物の位置と前記作業視野の広さとに基づいて前記画像における前記作業視野を特定し、前記位置関係を特定する、請求項７に記載のウェアラブルデバイス。
【請求項９】
前記作業視野−撮影領域特定部は、前記物の位置として前記作業視野を示す複数の位置を特定し、前記複数の位置に基づいて前記画像における前記作業視野を特定し、前記位置関係を特定する、請求項７に記載のウェアラブルデバイス。
【請求項１０】
前記表示部への表示を制御し、前記装着者が前記作業視野をとっているときに前記表示部の各部の表示が見えるか否かの前記装着者の判断結果を取得して、前記表示領域のうち見えている範囲に基づいて前記作業視野と前記表示領域とを特定し、前記作業視野と前記表示領域との前記位置関係を特定し、特定した前記位置関係を前記記憶装置に記憶させる、作業視野−表示領域特定部をさらに備える、請求項１乃至９のうち何れか１項に記載のウェアラブルデバイス。
【請求項１１】
前記作業視野−表示領域特定部は、前記表示部の異なる位置に順に所定の表示を行わせ、前記装着者にとって当該表示が見えるか否かの判断結果を順に取得して、前記表示領域のうち前記見えている範囲を特定する、請求項１０に記載のウェアラブルデバイス。
【請求項１２】
前記作業視野−表示領域特定部は、前記表示部の異なる位置に一斉に異なる表示を行わせ、前記装着者が示す前記異なる表示のうち見えている表示の情報を取得することで、前記表示領域のうち前記見えている範囲を特定する、請求項１０に記載のウェアラブルデバイス。
【請求項１３】
前記装着者が作業視野をとっているときの撮影画像を取得する画像取得部と、
前記表示部への表示を制御して前記撮影画像の一部を順次切り出して表示する表示制御部と、
前記撮影画像の一部を順次切り出して表示させたときに、前記装着者が前記作業視野の中央部で確認していた画像特徴が、前記装着者が前記表示部を見た状態で表示部に確認できたという前記装着者の判断結果を取得して、前記作業視野と前記表示領域との前記位置関係を特定する作業視野−表示領域特定部と
をさらに備える請求項４乃至９のうち何れか１項に記載のウェアラブルデバイス。
【請求項１４】
前記表示素子は、前記作業視野と前記表示領域との位置関係に応じて、前記画像の表示位置を調整する請求項１乃至１３のうち何れか１項に記載のウェアラブルデバイス。
【請求項１５】
他機器と通信を行うための通信回路をさらに備え、
前記位置関係は前記通信回路を介して前記他機器に送信される、
請求項１乃至１４のうち何れか１項に記載のウェアラブルデバイス。
【請求項１６】
装着者の眼前に配置されるように構成され、前記装着者の視野よりも狭い表示領域を有する表示部に画像信号に基づいて画像を提示することと、
前記装着者が作業を行うときの視野である作業視野と前記装着者の眼前に配置された前記表示部の前記表示領域との位置関係を記憶することと
を含むウェアラブルデバイスの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェアラブルデバイス及びウェアラブルデバイスの制御方法に関する。
【背景技術】
【０００２】
装着者の眼前に表示部を配置し、装着者に画面を提示するウェアラブルデバイスが知られている。特に、装着者が、ウェアラブルデバイスに表示された画像と、現実の世界とを同時に見ることができるように構成されたウェアラブルデバイスが知られている。例えば特許文献１には、このようなウェアラブルデバイスに係る技術が開示されている。この文献には、装着者がウェアラブルデバイスの表示部の位置を調整できるようにするための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のようなウェアラブルデバイスを装着する際に、ウェアラブルデバイスの表示部を視野のどの位置に配置するかは、装着者毎に、また使用の度に異なり得る。一方で、装着者の視野とウェアラブルデバイスの表示領域との位置関係の情報は有用である。
【０００５】
本発明は、装着者の視野とウェアラブルデバイスの表示領域との位置関係の情報を備えるウェアラブルデバイス及びウェアラブルデバイスの制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、ウェアラブルデバイスは、画像信号に基づいて画像を提示する表示素子と、装着者の眼前に配置されるように構成され、前記装着者の視野よりも狭い表示領域を有し、前記表示素子に提示され導光された前記画像を表示する表示部と、前記装着者が作業を行うときの視野である作業視野と前記装着者の眼前に配置された前記表示部の前記表示領域との位置関係を記憶する記憶装置とを備える。
【０００７】
本発明の一態様によれば、ウェアラブルデバイスの制御方法は、装着者の眼前に配置されるように構成され、前記装着者の視野よりも狭い表示領域を有する表示部に画像信号に基づいて画像を提示することと、前記装着者が作業を行うときの視野である作業視野と前記装着者の眼前に配置された前記表示部の前記表示領域との位置関係を記憶することとを含む。
【発明の効果】
【０００８】
本発明によれば、装着者の視野とウェアラブルデバイスの表示領域との位置関係の情報を備えるウェアラブルデバイス及びウェアラブルデバイスの制御方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係るウェアラブルデバイスの構成の一例を示す外観図である。
【図２】図２は、一実施形態に係るウェアラブルデバイスを含むシステムの構成の一例を示すブロック図である。
【図３】図３は、装着者の視線とウェアラブルデバイスの表示領域及び撮影領域について説明するための模式図である。
【図４】図４は、装着者の視線とウェアラブルデバイスの表示領域及び撮影領域について説明するための模式図である。
【図５】図５は、装着者の視線とウェアラブルデバイスの表示領域及び撮影領域について説明するための模式図である。
【図６】図６は、一実施形態に係るウェアラブルデバイスの動作の一例の概略を示すフローチャートである。
【図７】図７は、一実施形態に係るウェアラブルデバイスのキャリブレーション処理の概略の一例を示すフローチャートである。
【図８】図８は、キャリブレーション処理における装着者の作業視野とウェアラブルデバイスの撮影領域との関係について説明するための模式図である。
【図９】図９は、キャリブレーション処理における装着者の作業視野とウェアラブルデバイスの表示領域との関係について説明するための模式図である。
【図１０】図１０は、キャリブレーション処理における装着者の作業視野とウェアラブルデバイスの表示領域との関係について説明するための模式図である。
【図１１】図１１は、第１の例に係るウェアラブルデバイスの動作の一例の概略を示すフローチャートである。
【図１２】図１２は、第１の例の動作における装着者の作業視野とウェアラブルデバイスの表示領域との関係について説明するための模式図である。
【図１３】図１３は、第２の例に係るウェアラブルデバイスの動作の一例の概略を示すフローチャートである。
【図１４】図１４は、第２の例に係るサーバの動作の一例の概略を示すフローチャートである。
【図１５】図１５は、第３の例に係るウェアラブルデバイスの使用状況について説明するための模式図である。
【図１６】図１６は、第３の例に係る情報端末の動作の一例の概略を示すフローチャートである。
【図１７】図１７は、ウェアラブルデバイスの第４の例に係る動作の一例の概略を示すフローチャートである。
【図１８】図１８は、第４の例の動作における装着者の作業視野とウェアラブルデバイスの表示領域及び撮影領域との関係について説明するための模式図である。
【発明を実施するための形態】
【００１０】
本発明の一実施形態について図面を参照して説明する。本実施形態は、表示素子とカメラとを備えたメガネ型のウェアラブルデバイスに関する。また、当該ウェアラブルデバイスは、ネットワーク経由で各種装置と接続し、それら装置とシステムを構築し得る。
【００１１】
［システム構成］
本実施形態に係るウェアラブルデバイス１００の外観を図１に示す。また、ウェアラブルデバイス１００を含むシステム１の構成例を図２に示す。図１に示すように、ウェアラブルデバイス１００は、メガネ型の端末である。ウェアラブルデバイス１００は、例えばユーザの顔の側面に配置される本体１０１と、本体１０１からユーザの顔の前面に伸びる表示ユニット１０２と、本体１０１から伸びてユーザの耳に掛けるためのつる１０３とを備える。
【００１２】
表示ユニット１０２は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等といった表示素子１３１を備える。画像信号に基づいて表示素子１３１に表示された画像は、導光部１３７を介して表示部１３６へと導かれる。その結果、画像は、表示部１３６に表示される。このように、表示光学系１３５は、導光部１３７の光学系と表示部１３６とを含む。ユーザはつる１０３を自身の耳に掛けて、眼前に表示部１３６を配置する。このようにして、ユーザは、表示部１３６に表示された画像を見ることができる。なお、表示部１３６に画像が表示される領域である表示領域は、装着者の視野よりも狭い。狭いことは、大きな画面を見るときには重要ではないが、小型化に貢献する。また、狭いことは、装着者が画面外を見ているときに、視野を遮ってその活動を妨げることがないという重要なメリットとなる。
【００１３】
ウェアラブルデバイス１００は、表示部１３６の大きさが瞳孔の直径よりも小さい瞳分割方式と呼ばれる光学系を採用している。このため、ウェアラブルデバイス１００を装着したユーザは、表示部１３６の向こう側にある景色を見ることができる。つまり、必要なときにだけ、表示部を見ればよいという使い方が可能となる。
【００１４】
本体１０１には、ユーザの視線の方向を撮影できるように、カメラ１４０が設けられている。このため、本体１０１には、その光軸がおおよそユーザの視線の方向となるように配置された対物レンズ１４６が設けられている。対物レンズ１４６を含む撮影光学系１４５は、被写体像を撮像素子１４１の撮像面に結像させる。カメラ１４０の視野は、ユーザの視野をカバーした方がよい。画角が広すぎると解像度が低くなる可能性があり、画角が狭いと見失いが起こりがちとなる。ユーザの瞳が動いても、その範囲をくまなくカバーできる画角に設計することが、状況確認などには有効である。これら種々の条件を満足させるため、複数のカメラが用いられてもよく、ズーム光学系等が用いられてもよい。
【００１５】
本実施形態では、ウェアラブルの機器、装置、端末のカメラ１４０や表示部１３６が、装着した状態で変化がないのに対し、ユーザの瞳は動いて状況が変わる点を考察した。つまり、ユーザは瞳を動かしてハンズフリーに自由に視線の向きや焦点位置を変更させるなどの種々の対応が可能だが、機器の方はその自由度が限られる。また、ユーザの瞳は、何か作業をするとき、特定の方向を凝視する傾向があるが（作業視野での作業）、このときに、表示部１３６が視野を妨げなくする設計ゆえに、ユーザは意識して表示部１３６を見る方向に瞳を動かさないと、せっかく表示した表示が見えないという事態も生じることとなる。表示内容は、音声では伝えにくいこと、聞き取りにくいことを図示したりできて、情報伝達で重要な内容であることが多い。したがって、この表示部１３６を見るように促す技術が必要である。作業視野と表示部１３６の見込み視野がどれだけずれているかは、個人差や環境や、状況によってかわるので、これを正しく判定する工夫が重要である。
【００１６】
本体１０１には、外部の音声を収音するマイク１７４と、音声を出力するスピーカ１５４とが設けられている。また、本体１０１には、例えばボタンスイッチといった入力装置１８４が設けられている。
【００１７】
ウェアラブルデバイス１００の構成について、図２を参照してさらに説明する。ウェアラブルデバイス１００は、制御回路１１０と、メインメモリ１２２と、記憶装置１２４と、画像処理回路１２６とを備える。制御回路１１０は、ウェアラブルデバイス１００の各部の動作を制御する。メインメモリ１２２は、制御回路１１０の演算において用いられる記憶領域を有する。記憶装置１２４は、制御回路１１０で用いられるプログラム及び各種必要な情報、カメラで取得された画像等、種々の情報を記憶する。画像処理回路１２６は、表示素子１３１に表示させる画像及びカメラ１４０で取得された画像等に対する画像処理を行う。
【００１８】
制御回路１１０及び画像処理回路１２６は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、又はGraphics Processing Unit（ＧＰＵ）等を含み得る。制御回路１１０及び画像処理回路１２６は、それぞれ１つの集積回路等で構成されてもよいし、それぞれ複数の集積回路等が組み合わされて構成されてもよいし、制御回路１１０及び画像処理回路１２６が１つの集積回路で構成されてもよい。また、メインメモリ１２２及び記憶装置１２４には、例えば各種半導体メモリが用いられ得る。
【００１９】
制御回路１１０の制御下で、表示部１３６に表示される画像は、画像処理回路１２６で表示用に処理されて、図示しない駆動回路によって表示素子１３１に表示される。表示素子１３１に表示された画像は、表示光学系１３５を用いて表示される。すなわち、画像は、導光部１３７を介して、表示部１３６に表示される。
【００２０】
対物レンズ１４６を含む撮影光学系１４５に入射した被写体像は、制御回路１１０の制御下で、図示しない駆動回路によって動作する撮像素子１４１で撮像される。撮像素子１４１で得られた撮影画像は、画像処理回路１２６で画像処理が施され、必要に応じて解析に用いられたり、表示部１３６に表示されたり、記憶装置１２４に記憶されたりする。
【００２１】
ウェアラブルデバイス１００は、制御回路１１０の制御下で音声を出力するために、音声出力回路１５２と、上述のスピーカ１５４とを備える。音声出力回路１５２は、制御回路１１０の制御下で、スピーカ１５４を駆動して、スピーカ１５４から必要な音声を出力させる。
【００２２】
ウェアラブルデバイス１００は、音声の他に、振動を用いて装着者に情報を伝達してもよい。このため、ウェアラブルデバイス１００は、振動子駆動回路１６２と、振動子１６４とを備える。振動子駆動回路１６２は、制御回路１１０の制御下で、振動子１６４を振動させ、装着者に情報を伝達する。
【００２３】
ウェアラブルデバイス１００は、外部から音声を取得するために、音声取得回路１７２と、上述のマイク１７４とを備える。音声取得回路１７２は、マイク１７４で捉えた音声に基づいて音声信号を生成し、当該信号を制御回路１１０へと伝達する。ただし、騒音環境下などでは、音声でのコミュニケーションが困難になったりする。そのため、表示情報が重要となる。
【００２４】
ウェアラブルデバイス１００は、例えば装着者といったユーザの指示を受け取るために、入力取得回路１８２と、上述のボタンスイッチ等を含む入力装置１８４とを備える。入力装置１８４は、各種センサ、つまみ、スライダ等を含んでもよい。入力取得回路１８２は、入力装置１８４への入力に基づいて、入力信号を生成し、当該信号を制御回路１１０へと伝達する。
【００２５】
ウェアラブルデバイス１００は、当該デバイスの外部の他機器と通信してもよい。このため、ウェアラブルデバイス１００は、通信回路１９０を備える。通信回路１９０は、例えばＷｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）といった無線通信、あるいは、有線通信を用いて、ウェアラブルデバイス１００の外部の他機器と通信する。
【００２６】
ウェアラブルデバイス１００は、例えばネットワーク３００を介して、各種のサーバ３１０、例えばパーソナルコンピュータ（ＰＣ）等を含む情報端末３２０などと通信し、全体としてシステム１を構成する。ウェアラブルデバイス１００と各種外部機器との接続は、ネットワーク３００を介さずに、直接行われてもよい。サーバ３１０は、各種情報処理を行うサーバであり、例えばプロセッサ３１１、メモリ３１２、記憶装置３１３等を備える。情報端末３２０は、例えばウェアラブルデバイス１００を装着した人と情報を共有したり、ウェアラブルデバイス１００を装着した人に指示を出したりする人が用いるための端末である。情報端末３２０は、例えば、プロセッサ３２１、メモリ３２２、記憶装置３２３、入力装置３２４、表示装置３２５等を備える。
【００２７】
［ウェアラブルデバイスの表示領域及び撮影領域］
本実施形態に係るウェアラブルデバイス１００の表示領域及び撮影領域、装着者の視野等の関係について説明する。図３は、ウェアラブルデバイス１００の表示領域及び撮影領域、並びに装着者６０１の視野を模式的に示す。装着者６０１の瞳６１０の前に表示部１３６が配置され、対物レンズ１４６を含むカメラ１４０が装着者６０１の顔に対して固定されている。装着者６０１が所定の作業を行っているとき、装着者６０１の視線が実線矢印５１１で示す方向を向いているものとする。このとき、装着者６０１の視野が２本の実線５１２で示した範囲内であるものとし、この視野を作業視野と称することにする。装着者６０１の作業視野内に、ウェアラブルデバイス１００の表示部１３６が配置されているものとする。装着者６０１が表示部１３６の中心を見たときの視線の向きを一点鎖線矢印５２１で示す方向とする。作業視野内の２本の一点鎖線５２２で示した範囲内に、表示部１３６による表示が見えることになる。表示部１３６による表示が見える領域を表示領域と称することにする。また、ウェアラブルデバイス１００の撮影光学系１４５の光軸を破線矢印５３１で示し、撮影光学系１４５を介してカメラ１４０で撮影される範囲は２本の破線５３２で示した範囲内であるものとする。撮影光学系１４５を介して撮影される領域を撮影領域と称することにする。
【００２８】
このように、本実施形態において、実線矢印５１１で示した装着者６０１の視線、一点鎖線矢印５２１で示した表示部１３６の中心、及び破線矢印５３１で示した撮影光学系１４５の光軸は、それぞれ異なる。すなわち、装着者６０１の作業視野における視線と表示部１３６を見るときの視線とにも視差θ１（パララックス）がある。また、装着者６０１の作業視野における視線とカメラ１４０の光軸とには視差θ２がある。このように、装着者６０１の作業視野における視線を基準として２つの視差がある。さらに、装着者６０１の表示部１３６を見るときの視線とカメラ１４０の光軸とにも視差がある。このように、本実施形態では種々の視差が考慮される必要がある。
【００２９】
また、実線５１２で示した作業視野、一点鎖線５２２で示した表示領域、及び破線５３２で示した撮影領域は、それぞれ異なる。なお、注目する物までの距離が決まれば、当該物が存在する面における、実線５１２で示した作業視野内の範囲、一点鎖線５２２で示した表示領域の範囲、及び破線５３２で示した撮影領域の範囲は決まることになる。
【００３０】
また、装着者６０１のウェアラブルデバイス１００の装着の仕方、装着者６０１が行う作業の種類によっても異なる視線等によっても、作業視野、表示領域、及び撮影領域の関係は異なることになる。例えば、作業の種類によって作業視野の中で表示領域をどこに配置すると作業を行いやすいか異なることがある。また、装着者６０１が同じようにウェアラブルデバイス１００を装着しても、作業によって視線の高さなどが異なり、作業視野に対する表示領域が異なることがある。また、装着者６０１によって、表示領域が作業視野の中心近くにあることを好む人もいれば、表示領域を作業視野の端に配置することを好む人もいる。装着者の好みによってもウェアラブルデバイス１００の装着の仕方が異なることがある。
【００３１】
作業視野、表示領域、及び撮影領域の関係の例を図４及び図５に示す。それぞれ、実線は作業視野５０１を示し、一点鎖線は、表示領域５０２を示し、破線は撮影領域５０３を示す。これらの位置関係は、変化し得る。図４と図５とでは、これらの位置関係が異なる。図４に示す例では、撮影領域５０３内に作業視野５０１があり、作業視野５０１内に表示領域５０２がある。この場合、作業を行っている装着者６０１の視野には、表示部１３６に表示される画像が入ることになる。一方、図５に示す例では、撮影領域５０３内に作業視野５０１があるが、作業視野５０１内には表示領域５０２の一部しかない。この場合、作業を行っている装着者６０１の視野には、表示部１３６に表示される画像の一部しか入らないことになる。
【００３２】
［ウェアラブルデバイスの動作］
ウェアラブルデバイス１００の動作について、図６に示すフローチャートを参照して説明する。この処理は、例えばウェアラブルデバイス１００の電源スイッチがオンに切り替えられたときに開始する。
【００３３】
ステップＳ１０１において、制御回路１１０は、起動処理を行う。例えば、制御回路１１０は、図示しない電源から各部への電力供給を開始させ、プログラムを起動し、各種の初期設定を行う。
【００３４】
ステップＳ１０２において、制御回路１１０は、通信設定を行う。すなわち、制御回路１１０は、必要に応じて、外部のネットワーク又は機器との接続を確立させる。
【００３５】
ステップＳ１０３において、制御回路１１０は、表示素子１３１に装着調整用の画面を表示させる。装着者６０１は、表示素子１３１に表示された装着調整用画面を表示部１３６を介して見ながら、ウェアラブルデバイス１００を装着し、その装着位置の調整等を行う。
【００３６】
ステップＳ１０４において、制御回路１１０は、装着者６０１によるウェアラブルデバイス１００の装着が完了したか否かを判定する。例えば、装着完了を示すスイッチが切り換えられたとき、装着完了を検知する図示しないセンサが装着完了を検知したとき、装着者６０１が装着を完了した旨を述べてその音声がマイク１７４で収音され音声認識されたとき等に、装着が完了したと判定される。装着が完了するまで、処理は待機する。装着が完了したとき、処理はステップＳ１０５に進む。
【００３７】
ステップＳ１０５において、制御回路１１０は、キャリブレーション処理を行う。キャリブレーション処理は、上述した作業視野５０１、表示領域５０２及び撮影領域５０３の位置関係を取得し、記録する処理である。ここで記録された位置関係が、後の処理において用いられる。キャリブレーション処理については、後に詳述する。キャリブレーション処理が終了したら、処理はステップＳ１０６に進む。
【００３８】
ステップＳ１０６において、制御回路１１０は、活用処理を行う。活用処理は、用途に応じて装着者６０１に画像等を提示したり、装着者６０１の視線方向の画像を取得したりする処理であり、ウェアラブルデバイス１００が有する機能を発揮する処理である。装着者６０１等の作業が目的を達成し、活用処理が終了したとき、当該ウェアラブルデバイス１００の動作は終了する。
【００３９】
［キャリブレーション処理］
キャリブレーション処理について、図７に示すフローチャートを参照して説明する。
【００４０】
ステップＳ２０１において、制御回路１１０は、スピーカ１５４に、作業を行うときの視線をとって視野中心に見えるものを述べるよう促す旨の音声を出力させる。ステップＳ２０２において、制御回路１１０は、マイク１７４を介して装着者６０１が発する声を取得し、取得した装着者６０１が発した声について音声認識処理を行う。
【００４１】
例えば図８に示すように、作業視野５０１の中心にハートマーク５４１が見えるとき、装着者６０１は、スピーカ１５４から発せられたウェアラブルデバイス１００の指示に基づいて、「ハート」と発声する。制御回路１１０は、マイク１７４を介してこの音声を取得し、装着者６０１が「ハート」と発声したことを認識する。
【００４２】
ステップＳ２０３において、制御回路１１０は、カメラ１４０に画像を取得させる。画像処理回路１２６は、カメラ１４０で取得した画像を解析する。画像処理回路１２６は、ステップＳ２０２で認識された装着者６０１の作業視野５０１の中心にある物、例えば図８に示す例ではハートマーク５４１を探索し、その位置を特定する。制御回路１１０は、作業視野５０１の中心にある物までの距離を測定する。この距離の測定は、例えば図示しない赤外線測距計等の測距手段を用いて行われてもよいし、撮影光学系１４５の合焦距離を利用して行われてもよい。
【００４３】
ステップＳ２０４において、制御回路１１０は、作業視野５０１の中心にある物までの距離の情報も用いて、装着者６０１の作業視野５０１とカメラ１４０による撮影領域５０３との位置関係を特定する。作業時の視野として一般的に用いられ得る角度が知られているので、距離が分かれば作業時の視野の広さ、すなわち作業視野５０１が特定され得る。また、カメラ１４０の画角も既知であるので、距離が分かればカメラ１４０による撮影領域５０３が特定され得る。その結果、作業視野５０１と撮影領域５０３との位置関係が特定され得る。なお、位置が特定されるのは、作業視野５０１の中心に限らず、他の位置であってもよい。ただし、作業視野５０１におけるどのような位置であるのかを示す情報は必要である。また、ここでは、位置を特定する対象物に係る情報を装着者６０１が発する声によってウェアラブルデバイス１００に入力する例を示したが、これに限らない。位置を特定する対象物に係る情報は、入力装置１８４など他の方法によっても入力され得る。
【００４４】
なお、装着者６０１への情報伝達は、音声に限定する必要はなく、表示等でもよい。「正面に見えるものが何か（名称や形状や色などで正面とそれ以外で差異がある画像特徴）を入力して下さい」というガイドを装着者６０１に知らせ、その答えを装着者６０１が返答（声やキーボード入力、タッチ入力などで）する。その返答入力結果から、制御回路１１０又は画像処理回路１２６は、カメラ１４０で得た画像から対応する画像特徴を検出して、装着者６０１の作業視野５０１（ここでは、「正面」としたが、「作業中の視線方向に見えるものは何か」というガイドであれば、作業視野対応にできる）の略中心が、カメラ１４０の撮影領域５０３のどこにあるかを判定する。その結果、作業視野５０１と装着したカメラ１４０の画面との視差情報が取得され得る。この視差は、図３において、実線矢印５１１で示した装着者６０１の作業視野における視線と破線矢印５３１で示したカメラ１４０の光軸との視差θ２のことである。
【００４５】
なお、撮影領域５０３内に見えるものはプロジェクタなどで投影した画像等でもよい。もちろん、指示と反応の容易さから、「中心」という言葉を使ったが、「画面中心の斜め右上に印が見えます」といった返答でも、作業視野と撮影視野の差異（位置差でもよいが、作業視野とカメラ方向とか、それらの角度の差異とかでもよい）の把握は可能である。作業視野は、カメラ画角に対応する見える範囲を、人間の一般的な値として判定してもよいし、個人別の見える範囲を判定してもよい。
【００４６】
また、「正面に見えるものを入力して下さい」のガイド音声、表示は、これにこだわるものではない。ガイドなしでも、「見えます」という言葉と、画像特徴の言葉の組合せがあれば、自動で視差検出ができる。つまり、装着者６０１が作業視野をとっているときに、画像処理回路１２６（特に作業視野−撮影領域特定部）は、装着者６０１が前記作業視野５０１内の所定位置に見ている物の特徴情報を声や文字入力やタッチ操作等で取得し、画像認識によってその特徴情報を前記カメラ１４０による撮影で得られた画像に対する前記撮影領域５０３内において特定すれば、前記作業視野５０１と前記撮影領域５０３との前記位置関係を特定することができる。このとき、目で見た特徴の入力と画像判定で得られた特徴との比較が必要となるが、「ハート」と言えばこのマーク、「三角の右下角」と言えばこの形のこの部分、といった通常利用する言葉（テキスト）と画像特徴とを関連づけたデータベースがあってもよい。このデータベースは、学習によって更新可能としてもよい。もちろん、テキスト入力ではなく、タッチなどによる画像指定でもよい。この場合は、テキストと画像の関係のデータベースは不要である。このようにして比較して、特定した視野の差異、その位置関係を記録する記録部を備えるウェアラブルデバイス１００とすることによって、視差があることによる作業判定時の誤検出を防止することができる。
【００４７】
このように、画像処理回路１２６は、装着者６０１が作業視野５０１をとっているときに、装着者６０１が作業視野５０１内の所定位置に見ている物の情報を取得し、カメラ１４０による撮影で得られた画像に対する画像認識によって撮影領域５０３内における当該物の位置を特定する画像処理回路として機能する。また、制御回路１１０は、物の位置と作業視野５０１の広さとに基づいて、画像における作業視野５０１を特定し、作業視野５０１と撮影領域５０３との位置関係を特定する作業視野−撮影領域特定部として機能する。
【００４８】
例えば、作業視野５０１と撮影領域５０３との位置関係が図８に示すような関係にあることが特定される。あるいは、これらの位置関係は、図３に示すように、視線の方向と視野の範囲の情報と、撮影光学系１４５の光軸の方向と撮影光学系１４５の画角の情報とによって表されてもよい。
【００４９】
なお、ここでは、装着者６０１が視野の中心に見えるものを述べる例を挙げたが、これに限らない。視野の中心に見えるものに代えて、装着者６０１が視野の四隅に見えるものを述べて、画像処理回路１２６が四隅の物の位置を画像認識によって特定してもよい。この場合、撮影領域５０３、すなわちカメラ１４０で得られた画像において、特定された位置を四隅とする領域が作業視野５０１を示すので、これらに基づいて作業視野５０１と撮影領域５０３とが特定され得る。四隅に限らず、対角の２つの物の位置が特定されても同様である。
【００５０】
このように、制御回路１１０は、物の位置として作業視野５０１を示す複数の位置を特定し、この複数の位置に基づいて画像における作業視野５０１を特定し、作業視野５０１と撮影領域５０３との位置関係を特定する作業視野−撮影領域特定部として機能する。
【００５１】
また、装着者６０１が見た任意の物の位置に基づいて作業視野５０１を特定するに限らず、例えば作業視野５０１と撮影領域５０３との位置関係を較正するためのチャート等が用いられてもよい。また、例えば、装着者６０１が作業視野５０１の四隅に所定のマーカを配置し、画像処理回路１２６は、カメラ１４０が撮影した画像における当該マーカの位置を特定してもよい。これらの場合、画像処理回路１２６は、予め決められた画像を認識すればよい。
【００５２】
ステップＳ２０５において、制御回路１１０は、スピーカ１５４に、表示部１３６に表示させたマークが作業視野に入っているか否かを述べるよう促す旨の音声を出力させる。ステップＳ２０６において、制御回路１１０は、表示素子１３１に、位置を変えながらマークを表示させる。さらに、制御回路１１０は、このときにマイク１７４を用いてユーザが発した音声を取得し、音声認識処理を行う。
【００５３】
例えば図９に示すように、表示領域５０２内にマーク５５０を位置を変えながら順に表示させる。装着者６０１は、表示されたマークが作業視野５０１内に入っているか否かを述べる。例えば図９に示す例では、表示領域５０２の全体が作業視野５０１内に入っているので、マーク５５０が表示領域５０２の何れの位置に表示されていても、装着者６０１は、マークが作業視野５０１内に入っている旨を述べる。
【００５４】
一方、作業視野５０１と表示領域５０２との位置関係が図１０に示すような関係にあるとき、表示領域５０２は、その上部の一部しか作業視野５０１内にない。このため、例えば表示領域５０２の下から上に順にマーク５５０を表示したとき、装着者６０１は、初めは、マークは作業視野５０１内にない旨を述べるが、マークの表示位置が作業視野５０１内に入ったとき、その旨を述べる。
【００５５】
ステップＳ２０７において、制御回路１１０は、音声認識の結果とそのときのマークの表示位置とに基づいて、表示領域５０２のうち作業視野５０１内の領域を特定する。制御回路１１０は、この領域に基づいて、表示領域５０２の位置と作業視野５０１の位置とを特定し、作業視野５０１と表示領域５０２との位置関係を特定する。表示領域５０２の全域が作業視野５０１内に収まっているとき、必ずしも位置関係として作業視野５０１における表示領域５０２の位置が求められなくてもよい。位置関係として、表示領域５０２の全域が作業視野５０１に収まっているという情報が特定されてもよい。また、ここでは、表示されたマークが作業視野５０１内に入っているか否かに係る情報を装着者６０１が発する声によってウェアラブルデバイス１００に入力する例を示したが、これに限らない。この情報は、入力装置１８４など他の方法によっても入力され得る。
【００５６】
このように、制御回路１１０は、表示部１３６への表示を制御し、表示部１３６の異なる位置に順に所定の表示を行わせ、装着者６０１が作業視野５０１をとっているときに表示部１３６の各部の表示が見えるか否かの装着者６０１の判断結果を順に取得して、表示領域５０２のうち見えている範囲を特定し、当該見えている範囲に基づいて作業視野５０１と表示領域５０２とを特定し、作業視野５０１と表示領域５０２との位置関係を特定する作業視野−表示領域特定部として機能する。
【００５７】
ここでは、表示領域５０２にマークを順に表示させる例を説明したが、これに限らない。表示領域５０２内に位置に応じて異なるマーク（例えば数字）を一斉に表示させ、装着者６０１は、このうち見えるマークについて述べればよい。制御回路１１０は、装着者６０１によって見えるとされたマークが表示されている領域を、表示領域５０２のうち作業視野５０１内にある領域とすることができる。
【００５８】
このように、制御回路１１０は、表示部１３６の異なる位置に一斉に異なる表示を行わせ、装着者６０１が示す異なる表示のうち見えている表示の情報を取得することで、表示領域５０２のうち見えている範囲を特定する作業視野−表示領域特定部として機能する。
【００５９】
また、作業視野５０１と表示領域５０２との位置関係は、次のように特定されてもよい。表示領域５０２は作業視野５０１外にあっても、それがどれだけ視野外かという情報を有することは、作業時と表示確認時に目の向きが違うという事を把握する意味で重要である。この向きの差異は、表示領域５０２を見たときに、作業視野５０１の略中心に見えたものを表示させることによって判定が可能である。つまり、作業中に、中央部に見えていたものを作業者である装着者６０１が覚えておき、次に表示部１３６に視線を移して表示を見たときに、同じものが見えた事を申告（何らかの反応に対する入力）することによって、制御回路１１０等といった制御部なりこのシステムなりが作業視野５０１と表示領域５０２との位置関係を特定することが可能となる。
【００６０】
作業時にカメラ１４０が撮影を行い、装着者６０１が表示部１３６を確認したときに、その撮影結果の一部を表示し、順次、その撮影画像のうちの表示する部分を切り替えることで、だんだん、表示部１３６に、装着者６０１が作業時に見ていたものが見えてくる。装着者６０１が、作業時に見ていたものと表示部１３６の表示とが一致するタイミングを入力すれば、作業中の中心で見たものと、表示確認時に見たものとが一致するような視差情報（作業視線と表示部１３６を見る表示確認時の視線方向との差異）を判定することができる。この視差は、図３において、実線矢印５１１で示した装着者６０１の作業視野における視線と一点鎖線矢印５２１で示した装着者６０１が表示部１３６の中心を見るときの視線の向きとの視差θ１のことである。
【００６１】
この視差に関する判定結果を画像処理回路１２６（特に作業視野−撮影領域特定部）で特定して、記憶装置１２４に記録しておけば、このウェアラブルデバイス１００（端末）の装着者６０１は、あるいは、このカメラから送られてきた画像を判定する人や装置は、作業中に装着者６０１がどこを見ていたかを判定することができる。
【００６２】
上述の処理のためには、例えば図７にフローチャートを示した処理において以下を行う。ステップＳ２０５において、制御回路１１０は、作業視野の中心の視界を記憶してから表示部１３６に視線を移し、記憶した作業視野と同じ視野が表示部１３６に表示されたらその旨を述べるように音声を出力させる。ステップＳ２０６において、制御回路１１０は、画像処理回路１２６に、ステップＳ２０３で取得した装着者６０１が作業視野をとっているときにカメラ１４０で得られた画像から様々な場所を切り出させて、表示部１３６に当該切り出した画像を表示させる。制御回路１１０は、切り出す位置を変えさせながら表示を順次変えさせていき、そのときの装着者６０１の音声を取得する。装着者６０１が例えば「見えました」と述べたことを認識したとき、ステップＳ２０７において制御回路は、そのときに表示部１３６に表示している画像がカメラ１４０で得られた画像のどの部分を切り出しているかということと、ステップＳ２０４で特定された装着者６０１が作業視野をとっているときに中心に見ていたカメラ１４０で得られた画像における部分との関係から、表示領域５０２と作業視野５０１との位置関係を特定する。例えば、図８に示したように作業視野５０１の中心にハートマークが見えていたときには、表示部１３６の中心にハートマークが表示されたとき、装着者６０１は、「見えました」と述べる。
【００６３】
このように、前記装着者６０１が前記作業視野をとっているとき（これには「作業視線にして下さい」というようなガイドを出してもよい）の撮影画像を取得する画像取得部と、前記表示部への表示を制御して上記撮影画像の一部を順次切り出して表示する表示制御部と、上記撮影画像の一部を順次切り出して表示させたときに、前記装着者６０１が作業視野５０１の略中央部で確認していた画像特徴が、表示部目視状態（これには「表示部を見て下さい」というようなガイドを出してもよい）で表示部に確認できたときの判断結果（順次表示していた場合は、その表示タイミングと「今見えた」とか、「何番目に見えた」とか、「どのパターンで見えた」という入力関係等）を取得して、前記作業視野５０１と前記表示領域５０２との前記位置関係を特定させる作業視野−表示領域特定部をさらに備えるウェアラブルデバイス１００を提供することが可能となる。
【００６４】
また、作業視野５０１と表示領域５０２との位置関係は、次のように特定されてもよい。すなわち、装着者６０１の視線を表示部１３６へと移した状態で、装着者６０１から見えるものが何か（名称や形状や色など周辺と差異があり画像特徴となるもの）に係る情報を取得し、画像処理回路１２６がカメラ１４０で取得した画像の中から対応する画像特徴を検出する。この検出結果に基づいても、装着者６０１が表示部１３６を見るときの視線とカメラ１４０の光軸との視差は特定され得る。その結果、装着者６０１の作業視野における視線と装着者６０１が表示部１３６を見るときの視線との視差θ１も取得され得る。
【００６５】
ステップＳ２０８において、制御回路１１０は、ステップＳ２０４で特定された撮影領域５０３と作業視野５０１との位置関係、及び、ステップＳ２０７で特定された表示領域５０２と作業視野５０１との位置関係を、記憶装置１２４に記録する。
【００６６】
以上のように、作業視野５０１と表示領域５０２と撮影領域５０３との位置関係（あるいは、装着者６０１の作業視野における視線と装着者６０１が表示部１３６を見るときの視線との視差θ１、及び、装着者６０１の作業視野における視線とカメラ１４０の光軸との視差θ２等でもよい）が特定され、その位置関係が記憶装置１２４に記憶されて、キャリブレーション処理は終了する。
【００６７】
［ウェアラブルデバイスの使用例］
ステップＳ１０６で行われる活用処理のいくつかの例を図面を参照して説明する。
【００６８】
〈第１の例〉
第１の例として、装着者６０１が所定の作業を行っている際に、ウェアラブルデバイス１００の表示部１３６に、装着者６０１が行っている作業の手順などが表示される例を示す。装着者６０１は、表示部１３６に示された手順を参照しながら、作業を行うことができる。この例では、ウェアラブルデバイス１００は、動作中に外部の機器と通信は行わず、ウェアラブルデバイス１００の記憶装置１２４に記憶された情報に基づいて、装着者６０１が行っている作業について解析する。
【００６９】
ステップＳ３０１において、制御回路１１０は、作業手順について等の動作設定を行う。例えば装着者６０１は、表示部１３６に表示されるメニュー画面を見ながら、入力装置１８４等を操作して、これから行う作業をウェアラブルデバイス１００に入力する。作業の種類等の情報を取得した制御回路１１０は、記憶装置１２４に記憶された情報に基づいて、動作に係る各種設定を行う。例えば、制御回路１１０は、選択された作業の手順、当該作業の進捗を判断するための基準等の情報を記憶装置１２４から読み出す。動作設定においては、ウェアラブルデバイス１００は、例えばサーバ３１０と通信し、サーバ３１０から動作設定に係る情報を取得してもよい。
【００７０】
ステップＳ３０２において、制御回路１１０は、カメラ１４０に撮影を行わせ、装着者６０１の視線の方向の画像を取得する。ステップＳ３０３において、制御回路１１０は、得られた画像を解析して、装着者６０１が行っている作業について解析を行う。この解析には、ステップＳ３０１で設定された作業手順の通りに装着者６０１が作業を行っているか否かの判断や、作業手順のうちある手順を終えて次の手順に移る必要があるかといった判断が含まれる。この解析に、キャリブレーション処理によって特定された作業視野５０１と撮影領域５０３との位置関係が利用されてもよい。例えば、得られた画像のうち作業視野５０１に対応する範囲を解析対象としてもよい。
【００７１】
ステップＳ３０４において、制御回路１１０は、上述の解析結果に基づいて、表示部１３６に表示させる手順を更新する必要があるか否かを判定する。作業手順を更新する必要がないとき、処理はステップＳ３０６に進む。一方、作業手順を更新する必要があるとき、処理はステップＳ３０５に進む。ステップＳ３０５において、制御回路１１０は、状況に応じた作業手順に係る画像を、表示素子１３１に表示させる。その後、処理はステップＳ３０６に進む。表示のみならず、スピーカ１５４を用いた音声や、振動子１６４を用いた振動等も併せて用いられてもよい。
【００７２】
ステップＳ３０６において、制御回路１１０は、装着者６０１への注意喚起が必要であるか否かを判定する。例えば、状況解析の結果、装着者６０１が作業手順を誤っていると判断されたとき等に、注意喚起が必要であると判定される。注意喚起が必要でないとき、処理はステップＳ３１０に進む。一方、注意喚起が必要であるとき、処理はステップＳ３０７に進む。
【００７３】
ステップＳ３０７において、制御回路１１０は、キャリブレーション処理によって特定された位置関係を参照して、表示領域５０２が十分に作業視野５０１の内部にあるか否かを判定する。例えば、表示領域５０２と作業視野５０１との中心位置の差、表示領域５０２のうち作業視野５０１に重なっている部分の割合など、作業視野５０１と表示領域５０２との離れ具合を示す値が所定の値よりも小さいか否かで表示領域５０２が十分に作業視野５０１の内部にあるか否かを判定する。表示領域５０２が作業視野５０１の内部にあるとき、処理はステップＳ３０９に進む。一方、表示領域５０２が作業視野５０１の内部にないとき、処理はステップＳ３０８に進む。
【００７４】
図１２に、表示領域５０２が作業視野５０１の内部にない場合の、作業視野５０１と表示領域５０２との一例を示す。装着者６０１は、作業視野５０１内を視認しながら、作業を行っている。このとき、装着者６０１が作業Ｘを終えないまま次の作業に移ったとする。制御回路１１０は、カメラ１４０で取得した画像に基づいて、このような状況が生じていることを特定する。このとき、ウェアラブルデバイス１００は、その表示部１３６に例えば「作業Ｘが終わっていません」と装着者６０１に注意を喚起するメッセージ５６２を表示する。図１２に示す例では、表示部１３６の表示領域５０２の大部分が作業視野５０１の外部にあるため、単に表示部１３６にメッセージを表示しても装着者６０１がそのメッセージに気付かないおそれがある。そこで、本実施形態では、ウェアラブルデバイス１００は、振動、音声、又は表示で警告を行う。
【００７５】
すなわち、ステップＳ３０８において、制御回路１１０は、振動子駆動回路１６２に振動子１６４を振動させる。あるいは、制御回路１１０は、音声出力回路１５２にスピーカ１５４から警告音を発生させる。あるいは、制御回路１１０は、例えば図１２に示すように、表示素子１３１に、表示領域５０２のうち作業視野５０１内にある部分に、輝点５６１等を表示させる。これらの警告により、装着者６０１が視線を表示部１３６の方向に移動させることが期待できる。なお、作業視野５０１内に表示領域５０２が全く存在しない場合には、警告に表示を用いることはできない。ステップＳ３０８の処理の後、処理はステップＳ３０９に進む。
【００７６】
ステップＳ３０９において、制御回路１１０は、表示素子１３１に注意喚起に係るメッセージ５６２を表示させる。このメッセージ５６２を見た装着者６０１は、正しい作業を行うことが期待できる。例えば、上述の例では、装着者６０１は、作業Ｘに戻ることが期待できる。例えば表示部１３６にメッセージ５６２を表示させて一定時間が経過した後などに、処理はステップＳ３１０に進む。なお、ステップＳ３０９の表示動作と、ステップＳ３０７及びステップＳ３０８の必要な場合の警告動作との順序は、表示時間が十分に長い場合には逆であってもよい。
【００７７】
ステップＳ３１０において、制御回路１１０は、処理を終了するか否かを判定する。例えば、装着者６０１によって、ウェアラブルデバイス１００の電源が切られたとき、撮影画像に基づいて設定された所定の作業が完了したと判定されたとき等に、制御回路１１０は処理を終了すると判定する。終了しないとき、処理はステップＳ３０２に戻る。すなわち、ウェアラブルデバイス１００は、カメラ１４０による撮影と撮影画像に基づく状況解析とを繰り返し、作業手順の表示を更新したり、注意喚起を行ったりする。ステップＳ３１０において終了すると判定されたとき、本処理は終了する。
【００７８】
この例によれば、ウェアラブルデバイス１００を身に着けている装着者６０１は、視野の一部にある表示部１３６の表示によって現在行っている作業の手順を確認しながら、作業を行うことができる。この際、ウェアラブルデバイス１００は顔に固定されているために、装着者６０１は、両手を作業のために自由に使うことができる。また、ウェアラブルデバイス１００の表示部１３６は、視野を覆うこともないので、装着者６０１は、作業に必要な視野を確保することができる。
【００７９】
また、装着者６０１は、仮に行っている作業の手順を誤ったとしても、表示部１３６にその旨が表示されるので、大幅に作業手順を誤ることなく修正することができる。この例では、表示領域５０２が作業視野５０１内にあるか否かに応じて、作業手順を誤ったときなどに行われる注意喚起において、単に表示領域５０２に注意を喚起する表示を行うか、振動、音声、可能ならば表示などで警告することで、装着者６０１の視線を誘導しつつ注意喚起表示をするかが切り換わる。仮に表示領域５０２が作業視野５０１の外部にあっても、作業が順調に進んでいるときには、装着者６０１は自身の必要に応じて視線を表示領域５０２の方向に移動させるので、装着者６０１が表示領域５０２に視線を移動させることを促す必要は特にはない。一方で、作業を誤ったときなど、注意喚起が必要となったときには、装着者６０１に表示領域５０２に表示されるメッセージ５６２を確認してもらう必要があり、装着者６０１の視線を表示領域５０２に誘導する必要がある。このため、本実施形態では、振動、音声、表示等による警告が利用されている。
【００８０】
なお、上述の例において、作業視野５０１と表示領域５０２との位置関係に応じて、表示素子１３１に表示する画像の位置を変えることで、画像の表示位置を調整してもよい。このような表示位置の調整によって、作業視野における画像の表示位置を常に最適化することが可能になる。
【００８１】
また、上述の例では、状況解析をカメラ１４０で撮影した画像に基づいて行う例を示したが、これに限らない。カメラ１４０で撮影した画像に代えて又は当該画像に加えて、作業に用いられている機器から取得した情報を用いて状況解析を行ってもよい。例えば、作業にトルクの計測を行えるトルクレンチが用いられる場合、トルクレンチで得られたトルク情報が状況解析に用いられてもよい。
【００８２】
〈第２の例〉
第１の例では、ウェアラブルデバイス１００において、状況の解析、提示すべき作業手順の判断等が行われる。これに対して第２の例では、ウェアラブルデバイス１００は、サーバ３１０と通信し、サーバ３１０でこれらの解析、判断等が行われる。第２の例に係るウェアラブルデバイス１００の動作について、図１３に示すフローチャートを参照して説明する。
【００８３】
ステップＳ４０１において、制御回路１１０は、設定情報をサーバ３１０宛に送信する。すなわち、例えば装着者６０１は、表示部１３６に表示されるメニュー画面を見ながら、入力装置１８４等を操作して、これから行う作業をウェアラブルデバイス１００に入力する。作業の種類に係る情報を取得した制御回路１１０は、通信回路１９０を介して、取得した情報をサーバ３１０宛に送信する。
【００８４】
ステップＳ４０２において、制御回路１１０は、カメラ１４０に装着者６０１の視線の方向を撮影させて、撮影画像を取得する。制御回路１１０は、取得した画像を、通信回路１９０を介して、サーバ３１０宛に送信する。サーバ３１０では、ウェアラブルデバイス１００から受信した情報に基づいて各種の解析及び判断等を行い、その結果をウェアラブルデバイス１００へと送信する。ウェアラブルデバイス１００は、サーバ３１０から取得した情報に基づいて各種動作を行う。
【００８５】
ステップＳ４０３において、制御回路１１０は、表示部１３６に表示している作業手順を更新すべき旨の信号をサーバ３１０から受信したか否かを判定する。表示している作業手順を更新すべき旨の情報を受信していないとき、処理はステップＳ４０５に進む。一方、表示している作業手順を更新すべきとき、処理はステップＳ４０４に進む。ステップＳ４０４において、制御回路１１０は、サーバ３１０からから受信した情報に基づいて、表示部１３６に表示されている作業手順を更新する。その後、処理はステップＳ４０５に進む。
【００８６】
ステップＳ４０５において、制御回路１１０は、サーバ３１０から注意喚起の表示を行うべき旨の信号をサーバ３１０から受信したか否かを判定する。注意喚起すべき旨を受信していないとき、処理はステップＳ４０９に進む。一方、注意喚起すべき旨を受信したとき、処理はステップＳ４０６に進む。
【００８７】
ステップＳ４０６において、制御回路１１０は、表示領域５０２が作業視野５０１内であるか否かを判定する。表示領域５０２が作業視野５０１内にあるとき、処理はステップＳ４０８に進む。一方、表示領域５０２が作業視野５０１内にないとき、処理はステップＳ４０７に進む。ステップＳ４０７において、制御回路１１０は、振動、音声、表示による装着者６０１への警告を実施する。その後、処理はステップＳ４０８に進む。
【００８８】
ステップＳ４０８において、制御回路１１０は、サーバ３１０から受信した情報に基づいて、表示部１３６に注意表示を行わせる。例えば所定の期間注意表示を行った後、処理はステップＳ４０９に進む。
【００８９】
ステップＳ４０９において、制御回路１１０は、処理を終了するか否かを判定する。処理を終了しないとき、処理はステップＳ４０２に戻る。一方、処理を終了すると判定されたとき、処理はステップＳ４１０に進む。ステップＳ４１０において、制御回路１１０は、サーバ３１０宛に処理を終了する旨の情報を送信し、当該処理を終了させる。
【００９０】
以上の処理をウェアラブルデバイス１００が行っている際の、当該処理に係るサーバ３１０の動作について、図１４に示すフローチャートを参照して説明する。
【００９１】
ステップＳ５０１において、サーバ３１０のプロセッサ３１１は、ウェアラブルデバイス１００から上述のステップＳ４０１の処理で送られた設定情報を受信する。プロセッサ３１１は、受信した設定情報に基づいて、ウェアラブルデバイス１００の装着者６０１が行おうとしている作業の手順などの各種設定を行う。
【００９２】
ステップＳ５０２において、プロセッサ３１１は、ウェアラブルデバイス１００から上述のステップＳ４０２の処理で送られた撮影画像を受信する。ステップＳ５０３において、プロセッサ３１１は、受信した撮影画像に基づいて、装着者６０１が行う作業の状況などを解析する。この解析に、キャリブレーション処理によって特定された作業視野５０１と撮影領域５０３との位置関係が用いられてもよい。
【００９３】
ステップＳ５０４において、プロセッサ３１１は、解析結果に基づいて、ウェアラブルデバイス１００に表示させている作業手順を更新すべきか否かを判定する。作業手順を更新する必要がないとき、処理はステップＳ５０６に進む。一方、作業手順を更新すべきであると判定されたとき、処理はステップＳ５０５に進む。ステップＳ５０５において、プロセッサ３１１は、ウェアラブルデバイス１００に表示させるべき作業手順を決定し、ウェアラブルデバイス１００に表示させる画面に係る情報等を含む当該作業手順に関する情報をウェアラブルデバイス１００宛に送信する。その後、処理はステップＳ５０６に進む。この情報を取得したウェアラブルデバイス１００は、ステップＳ４０４の処理で当該情報に基づいて表示部１３６に表示する作業手順を更新する。
【００９４】
ステップＳ５０６において、プロセッサ３１１は、状況解析の結果、装着者６０１に注意喚起をする必要があるか否かを判定する。注意喚起をする必要がないとき、処理はステップＳ５０８に進む。一方、注意喚起をする必要があると判定されたとき、処理はステップＳ５０７に進む。ステップＳ５０７において、プロセッサ３１１は、表示部１３６に表示させるメッセージ５６２に係る情報等、注意喚起に係る情報をウェアラブルデバイス１００宛に送信する。その後、処理はステップＳ５０８に進む。この注意喚起に係る情報を受信したウェアラブルデバイス１００は、ステップＳ４０６乃至ステップＳ４０８の処理に基づいて、注意表示を行う。
【００９５】
ステップＳ５０８において、プロセッサ３１１は、ウェアラブルデバイス１００から処理を終了する旨を受信したか否かを判定し、処理を終了するか否かを判定する。処理を終了しないと判定されたとき、処理はステップＳ５０２に戻る。一方、処理を終了すると判定されたとき、当該処理は終了する。
【００９６】
以上のように、第２の例によっても、ウェアラブルデバイス１００は、装着者６０１から見ると第１の例の場合と同様の動作を行うことができる。第２の例によれば、ウェアラブルデバイス１００は、演算量の多い処理をウェアラブルデバイス１００の外部に行わせることができる。その結果、全ての処理をウェアラブルデバイス１００の内部で行う場合と比較して、ウェアラブルデバイス１００の省電力化、小型化等が実現され得る。
【００９７】
〈第３の例〉
第１の例及び第２の例では、ウェアラブルデバイス１００は、装着者６０１に、予め決められた作業手順を提示する。これに対して第３の例では、ウェアラブルデバイス１００は、遠隔地で情報端末３２０を操作する指示者６０２の指示を表示部１３６に表示する。第３の例に係るシステム１の使用状況の模式図を図１５に示す。ウェアラブルデバイス１００を装着している装着者６０１は、所定の作業を行っている。ウェアラブルデバイス１００は、装着者６０１の視線方向を撮影し、撮影画像を情報端末３２０へと送信する。情報端末３２０は、その表示装置３２５に、装着者６０１の作業視野に係る画像を表示させる。指示者６０２は、表示装置３２５に表示された画像を見ながら、装着者６０１の作業の状況を確認する。指示者６０２は、必要に応じて情報端末３２０の入力装置３２４を操作して、ウェアラブルデバイス１００に各種指示を送信する。この指示を受けたウェアラブルデバイス１００は、その指示を表示部１３６に表示させる。
【００９８】
第３の例においても、ウェアラブルデバイス１００の動作は、図１３を参照して説明した処理と同様の処理を行う。このとき情報端末３２０で行われる処理について、図１６に示すフローチャートを参照して説明する。
【００９９】
ステップＳ６０１において、情報端末３２０のプロセッサ３１１は、ウェアラブルデバイス１００から上述のステップＳ４０１の処理で送られた設定情報を受信する。プロセッサ３２１は、受信した設定情報に基づいて、各種設定を行う。この例では、ウェアラブルデバイス１００から送信される情報には、作業視野５０１と撮影領域５０３との関係を示す情報が含まれる。
【０１００】
ステップＳ６０２において、プロセッサ３２１は、ウェアラブルデバイス１００から上述のステップＳ４０２の処理で送られた撮影画像を受信する。ステップＳ６０３において、プロセッサ３２１は、受信した撮影画像に基づいて、撮影領域５０３の中の作業視野５０１に含まれる範囲を切り出すトリミングを行い、表示装置３２５に表示させる。この際、ウェアラブルデバイス１００で求められ、ウェアラブルデバイス１００から受信した撮影領域５０３と作業視野５０１との関係が用いられる。このトリミングは、ウェアラブルデバイス１００で行われてもよい。こうした工夫を行うのは、作業者が作業中に見ているであろう部分を、遠隔地にいる第三者が把握できる方が、コミュニケーションを取りやすいからである。そのため、実際にトリミングをせずとも、その部分が判別できるような表示が行われるだけでもよい。また、カメラと作業者の目には位置的なずれ（視差、パララックス）があるので、近距離では、この影響が無視できない場合がある。このようなときには、距離情報などを加味してトリミングやそれに類する表示等が行われる。
【０１０１】
ステップＳ６０４において、プロセッサ３２１は、指示者６０２によって、ウェアラブルデバイス１００に表示させる画面が指定されたか否かを判定する。画面が指定されていないとき、処理はステップＳ６０６に進む。一方、画面が指定されたとき、処理はステップＳ６０５に進む。ステップＳ６０５において、プロセッサ３２１は、ウェアラブルデバイス１００に表示させる画面を特定し、当該画面に関する情報をウェアラブルデバイス１００宛に送信する。その後、処理はステップＳ６０６に進む。この情報を取得したウェアラブルデバイス１００は、ステップＳ４０４の処理で当該情報に基づいて表示部１３６に指定画面を表示する。なお、画面表示のみならず、指示者６０２からの音声等の情報も情報端末３２０からウェアラブルデバイス１００に伝達され、音声情報が装着者６０１へ伝達されてもよい。
【０１０２】
ステップＳ６０６において、プロセッサ３２１は、指示者６０２によって、ウェアラブルデバイス１００を用いて装着者６０１に注意喚起を行う旨が入力されたか否かを判定する。注意喚起を行わないとき、処理はステップＳ６０８に進む。一方、注意喚起を行うとき、処理はステップＳ６０７に進む。ステップＳ６０７において、プロセッサ３２１は、指示者６０２に入力に基づいて、表示部１３６に表示させるメッセージ５６２に係る情報等、注意喚起に係る情報をウェアラブルデバイス１００宛に送信する。その後、処理はステップＳ６０８に進む。この注意喚起に係る情報を受信したウェアラブルデバイス１００は、ステップＳ４０６乃至ステップＳ４０８の処理に基づいて、注意表示を行う。
【０１０３】
ステップＳ６０８において、プロセッサ３２１は、ウェアラブルデバイス１００から処理を終了する旨を受信したか否かを判定し、処理を終了するか否かを判定する。処理を終了しないと判定されたとき、処理はステップＳ６０２に戻る。一方、処理を終了すると判定されたとき、当該処理は終了する。
【０１０４】
第３の例によれば、作業を実施する装着者６０１と作業の指示をする指示者６０２とが離れていても、装着者６０１の視野、作業に係る指示等の情報を共有することができる。このシステム１を用いれば、作業場所が遠隔地であり多くの専門家を現場に派遣することが困難な状況であっても、現場にいるウェアラブルデバイス１００を装着した作業者と、現場から離れた場所にいる例えば専門家である１人以上の指示者６０２とで種々の作業を行うことができる。作業視野５０１と撮影領域５０３との位置関係が予め特定されているので、情報端末３２０の表示装置３２５に装着者６０１が認識している視野を正確に表示することができる。
【０１０５】
〈第４の例〉
第４の例は、第１乃至第３の例と異なり、ウェアラブルデバイス１００を用いた拡張現実（Augmented Reality, AR）に関する。すなわち、装着者６０１が実際に見ている現実の世界に応じて、ウェアラブルデバイス１００の表示部１３６に所定の表示を行うことで、装着者６０１は、見ている現実の世界に、ウェアラブルデバイス１００で表示された画像が追加された世界を認識することになる。
【０１０６】
この例におけるウェアラブルデバイス１００の動作を図１７に示すフローチャートを参照して説明する。ここでは、ウェアラブルデバイス１００が単独で処理を行う例を示すが、例えば第２の例のように、その処理の一部をサーバ３１０など外部の装置に行わせてもよい。また、第３の例のように、他人によって操作される情報端末３２０からの指令に基づいて、表示部１３６への表示がおこなわれてもよい。
【０１０７】
ステップＳ７０１において、制御回路１１０は、拡張現実に関する各種設定を行う。この設定には、表示素子１３１を使って何をどこに表示させるかといった設定も含まれる。
【０１０８】
ステップＳ７０２において、制御回路１１０は、カメラ１４０に撮影を行わせ、撮影画像を取得する。ステップＳ７０３において、制御回路１１０は、得られた撮影画像について画像解析を行う。この画像解析には、どこに何が写っているかといった被写体の解析も含まれる。
【０１０９】
ステップＳ７０４において、制御回路１１０は、撮影領域５０３と表示領域５０２との位置関係に基づいて、撮影画像と表示部１３６に表示させる表示画像との位置合わせに係る演算を行う。
【０１１０】
ステップＳ７０５において、制御回路１１０は、撮影画像の解析結果に基づいて、表示部１３６に表示させる現実世界には無い物体を決定し、当該物体を表示させる位置、表示させる当該物体の角度等に係る演算を行う。
【０１１１】
ステップＳ７０６において、制御回路１１０は、ステップＳ７０３乃至ステップＳ７０５の演算結果等に基づいて、表示素子１３１に表示させる画像を作成する。ステップＳ７０７において、制御回路１１０は、作成した画像を表示素子１３１に表示させる。
【０１１２】
ステップＳ７０８において、制御回路１１０は、処理を終了するか否かを判定し、終了すると判定されるまで、ステップＳ７０２乃至ステップＳ７０７の処理を繰り返す。終了すると判定されたとき、処理は終了する。
【０１１３】
この例において装着者６０１が視認するものの例について、図１８に示す模式図を参照して説明する。図１８に示す例では、装着者６０１の作業視野５０１内に表示領域５０２が収まっている。また、撮影領域５０３は、作業視野５０１よりも広く、作業視野の全領域を含む。図１８に示す例では、装着者６０１は、机５７１の方向を見ている。この例では、現実に存在する机５７１の上に、仮想の物体５８１を表示ユニット１０２を用いて表示している。さらに、この例では、机５７１の端から所定の距離の位置に、これよりも内側に物を置くべきであることを示す破線５８２を表示させている。
【０１１４】
物体５８１及び破線５８２の位置は、ステップＳ７０３の画像解析によって特定される机５７１の縁の位置と、ステップＳ７０４で行われる位置関係に係る演算などに基づいて決められる。また、物体５８１の角度などは、ステップＳ７０３の画像解析によって特定される机５７１の角度と、ステップＳ７０５で行われる演算などに基づいて決められる。これらの結果に基づいて、ステップＳ７０６で適切な画像が作成される。
【０１１５】
表示部１３６によって表示される画像は、物体５８１及び破線５８２のみであり、机５７１等については表示部１３６の向こう側に見える現実の世界が視認されるように表示が構成されてもよい。また、表示部１３６によって表示される画像は、物体５８１及び破線５８２のみならず、現実の机５７１と位置を一致させた机５７１等を含む表示領域５０２の全体を表す画像であるように、表示が構成されてもよい。
【０１１６】
第４の例によれば、ウェアラブルデバイス１００を用いた拡張現実が実現され得る。作業視野５０１と表示領域５０２と撮影領域５０３との位置関係が特定されているので、現実の世界の物の位置と、表示部１３６に表示させる仮想の物体の位置とを適切に合わせることができる。
【０１１７】
〈その他の例〉
第１乃至第４の例に限らず、ウェアラブルデバイス１００は、各種の情報を表示する際に用いられ得る。例えば、ウェアラブルデバイス１００は、装着者６０１が登録しておいたスケジュール等を表示してもよいし、電子メール等を表示してもよい。また、ウェアラブルデバイス１００は、装着者６０１が所持しているスマートフォンの表示機能を担ってもよい。
【０１１８】
ウェアラブルデバイス１００は、例えば装着者６０１の視野と表示領域５０２との位置関係に応じて、必要ならば音声、振動、表示等を用いて、装着者６０１に対して、表示領域５０２に視線を向けることを促すことができる。例えば電子メールの着信があったとき、表示領域５０２が視野の外にあれば、装着者６０１に対して表示領域５０２に視線を向けることを促すことができる。
【０１１９】
また、ウェアラブルデバイス１００は、装着者６０１が見ているものを撮影するカメラとしても用いられ得る。ウェアラブルデバイス１００は、撮影において装着者６０１の視線と撮影光学系１４５の光軸との関係を考慮して、装着者６０１の視野に応じた画像を作成することができる。
【０１２０】
ここでは、特に表示部１３６の大きさが前記装着者６０１の瞳孔の直径よりも小さい表示部に画像が導光されて装着者の眼前に配置される事を前提に説明したが、もちろん導光部１３７はなくてもよいし、表示部１３６は大きくて、表示範囲が限定される例でも良い。また、作業視野５０１とデバイス類の視差検出を発明のポイントとして強調すれば、作業者とデバイスの位置関係が特定の状態での作業にも発明は応用可能で、表示素子自体、あるいはカメラ部が別体でもよい。
【０１２１】
［変形例］
本実施形態に係るウェアラブルデバイス１００のいくつかの変形例について説明する。
【０１２２】
ウェアラブルデバイス１００は、装着者６０１の視線を特定する視線センサをさらに備えていてもよい。視線センサは、例えば表示ユニット１０２内に組み込まれた撮像素子で、表示光学系を利用して装着者６０１の瞳位置を撮影する。例えば制御回路１１０は、得られた瞳の位置を示す画像に基づいて、装着者６０１の視線の方向を特定する。
【０１２３】
視線センサを備えたウェアラブルデバイス１００によれば、変化し得る上述の実施形態における作業視野５０１を、その時々の視線に応じて特定することができる。その結果、上述の実施形態に係る各動作の精度や適用可能性が向上する。
【０１２４】
また、上述の実施形態では、表示領域５０２が作業視野５０１の外側となっているときであって、装着者６０１に表示部１３６の方に視線を向けてもらう必要があるときには、音声、振動、表示などで警告する。この代わりに、例えばウェアラブルデバイス１００が表示ユニット１０２の位置を変化させるアクチュエータを備えてもよい。すなわち、ウェアラブルデバイス１００は、装着者６０１に表示部１３６の方に視線を向けてもらう必要があるときに、表示領域５０２が作業視野５０１内に入るように、表示部１３６の位置を変化させる機構を有していてもよい。この機構には、バイモルフ、人工筋肉、モータ、ボイスコイルモータ等の各種アアクチュエータが用いられ得る。
【０１２５】
また、ウェアラブルデバイス１００は、カメラ１４０の光軸を移動させる機構を備えていてもよい。このような機構を備えることで、ウェアラブルデバイス１００は、撮影領域５０３を適宜に変更することができる。例えば、作業視野５０１と撮影領域５０３とが一致するように、カメラ１４０の光軸を調整することが可能になる。
【０１２６】
上述の実施形態において、ウェアラブルデバイス１００は、カメラ１４０を備えているが、これに限らない。ウェアラブルデバイス１００は、表示ユニット１０２を有するがカメラ１４０を有していなくてもよい。
【０１２７】
また、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。また、上述の制御と同様の機能が、例えばディープラーニングによって構築された人工知能によって実現されてもよい。
【符号の説明】
【０１２８】
１…システム、１００…ウェアラブルデバイス、１０１…本体、１０２…表示ユニット、１１０…制御回路、１２２…メインメモリ、１２４…記憶装置、１２６…画像処理回路、１３１…表示素子、１３５…表示光学系、１３６…表示部、１３７…導光部、１４０…カメラ、１４１…撮像素子、１４５…撮影光学系、１４６…対物レンズ、１５２…音声出力回路、１５４…スピーカ、１６２…振動子駆動回路、１６４…振動子、１７２…音声取得回路、１７４…マイク、１８２…入力取得回路、１８４…入力装置、１９０…通信回路、３００…ネットワーク、３１０…サーバ、３１１…プロセッサ、３１２…メモリ、３１３…記憶装置、３２０…情報端末、３２１…プロセッサ、３２２…メモリ、３２３…記憶装置、３２４…入力装置、３２５…表示装置、５０１…作業視野、５０２…表示領域、５０３…撮影領域。
【図１】
2019022084.tif 000003
【図２】
2019022084.tif 000004
【図３】
2019022084.tif 000005
【図４】
2019022084.tif 000006
【図５】
2019022084.tif 000007
【図６】
2019022084.tif 000008
【図７】
2019022084.tif 000009
【図８】
2019022084.tif 000010
【図９】
2019022084.tif 000011
【図１０】
2019022084.tif 000012
【図１１】
2019022084.tif 000013
【図１２】
2019022084.tif 000014
【図１３】
2019022084.tif 000015
【図１４】
2019022084.tif 000016
【図１５】
2019022084.tif 000017
【図１６】
2019022084.tif 000018
【図１７】
2019022084.tif 000019
【図１８】
2019022084.tif 000020