(57)【要約】本発明は、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作装置及び方法、並びに医療機器を提供する。表示画面（１２Ａ）と、表示画面にアニメーション画像を有するアイコンを表示させる表示制御部（２２）と、ユーザの視線を検知する視線検知部（２４）と、視線検知部の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部（２６）と、追従判定部によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力する出力部（１６Ｂ）を備える。
2017047212.tif 000002
【特許請求の範囲】
【請求項１】
表示画面と、
前記表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、
ユーザの視線を検知する視線検知部と、
前記視線検知部の検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定する追従判定部と、
前記追従判定部により前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力する出力部と、
を備える視線操作装置。
【請求項２】
前記表示制御部は、前記アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する、
請求項１に記載の視線操作装置。
【請求項３】
前記アイコンの周辺領域又は前記アニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、
前記周辺特性取得部により取得された前記周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、前記アニメーション画像の表示の特性を決定するアニメーション画像決定部と、
を備え、
前記表示制御部は、前記アニメーション画像決定部により決定された前記アニメーション画像の表示の特性に基づいて前記アニメーション画像の表示制御を行うことにより、前記制限を行う、
請求項２に記載の視線操作装置。
【請求項４】
前記表示制御部は、前記アイコンの選択時機又は前記表示画面の表示内容に応じて、前記アニメーション画像の動きを異ならせる、
請求項１から３のうちいずれか一項に記載の視線操作装置。
【請求項５】
前記表示制御部は、前記アイコンの用途に応じて、前記アニメーション画像の動きを異ならせる、
請求項１から４のうちいずれか一項に記載の視線操作装置。
【請求項６】
前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記アニメーション画像の動きを前記複数のアイコンの間で異ならせる、
請求項１から５のうちいずれか一項に記載の視線操作装置。
【請求項７】
前記アニメーション画像の動きの差異は、前記動きの軌跡の差異、及び前記動きの速さの差異のうち少なくとも一つである、
請求項６に記載の視線操作装置。
【請求項８】
前記ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、
前記ユーザ特性測定部によるユーザごとの測定の結果に基づいて、前記アニメーション画像の動きを設定する動き設定部と、
を備える、
請求項１から７のうちいずれか一項に記載の視線操作装置。
【請求項９】
前記表示制御部は、前記表示画面に複数のアイコンを表示させ、
前記追従判定部は、前記追従の判定における前記視線の動きの検出時間の長さを前記複数のアイコンの間で異ならせる、
請求項１から８のうちいずれか一項に記載の視線操作装置。
【請求項１０】
前記表示制御部は、前記表示画面に複数のアイコンを表示させ、且つ前記表示画面で前記複数のアイコンを互いに一定距離以上離して表示させる、
請求項１から９のうちいずれか一項に記載の視線操作装置。
【請求項１１】
前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の視認性を前記アイコンの視認性よりも低くする、
請求項１から１０のうちいずれか一項に記載の視線操作装置。
【請求項１２】
前記表示制御部は、前記アイコンの周辺に表示される画像である周辺画像の動きを停止させる、
請求項１から１１のうちいずれか一項に記載の視線操作装置。
【請求項１３】
前記アニメーション画像の動きは、前記表示画面における任意の回動、前記表示画面の対向した二辺を結ぶ線上の動き、前記表示画面の対向した二角を結ぶ線上の動き、前記表示画面に沿った任意の振動、前記表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである、
請求項１から１２のうちいずれか一項に記載の視線操作装置。
【請求項１４】
請求項１から１３のうちいずれか一項に記載の視線操作装置を含んで構成され、
前記出力部により出力される情報に応じて医療用の処理を実行する医療機器。
【請求項１５】
表示画面にアニメーション画像を有するアイコンを表示させるステップと、
ユーザの視線を検知するステップと、
前記ユーザの視線検知の結果に基づいて、前記ユーザの視線の動きが前記アニメーション画像の動きに追従しているか否かを判定するステップと、
前記ユーザの視線の動きが前記アニメーション画像の動きに追従していると判定された場合、前記アイコンが選択されたことを示す情報を出力するステップと、
を含む視線操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視線操作装置及び方法、並びに医療機器に係り、特にユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作技術に関する。
【背景技術】
【０００２】
従来より、視線を用いた操作技術が知られている。また、単に視線が向けられた位置（視線位置）を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせることにより、ユーザの意図を適切に把握するようにした技術も知られている。【０００３】
例えば、特許文献１は、表示部に表示されたアイコン（例えば「光量減少」アイコン）をユーザが所定時間以上注視し続けた状態で、更にユーザがフットスイッチを踏んでアイコンの名称（例えば「光量減少」）を音声入力した場合、ユーザの操作を確定してアイコンに対応したアクションを実行することを開示している。尚、四角形の枠を持つ操作用のアイコンは、一般に「スイッチ」あるいは「ボタン」と呼ばれる。【０００４】
特許文献２は、ユーザが視線を用いて画像の位置を指定し、更にアクション（例えば「拡大」又は「縮小」）を音声入力した場合、指定された位置を起点として音声に対応したアクションを実行することを開示している。【０００５】
特許文献３は、ユーザの瞬きの頻度が閾値より大きく、且つ所定の入力部に視線が向けられた期間が閾値より大きい場合に、ユーザを操作者として特定することを開示している。【０００６】
特許文献４は、現在の視線位置を算出して表示部にポインタで表示し、ユーザが視線位置を移動してポインタを移動させてから、所定の時間経過でアイコンが選択されたか否かを判定することを開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−２９９６９１号公報
【特許文献２】特開２０１５−９３１４７号公報
【特許文献３】特開２０１２−１２８５２３号公報
【特許文献４】特開２００７−１９５８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
単に視線位置を検知するだけによってユーザがアイコンを操作したか否かを判断する操作技術では、ユーザが操作を意図して行った視線移動であるのか、それともユーザが無意識のうちに目を動かしたのかを、装置側で正しく判断することは、困難である。【０００９】
例えば、図１５に示すように、表示画面９０に取り消し指示のためのキャンセルアイコン９１と所定のアクションの実行開始指示のためのＯＫ（オーケー）アイコン９２とが表示された状態で、ユーザが取り消し指示のためにキャンセルアイコン９１に視線を向けたとする。しかし、予め決められた所定の時間経過の前に、ユーザが無意識のうちにキャンセルアイコン９１から視線を外してＯＫアイコン９２に視線を向けてしまい、ＯＫアイコン９２に視線が向けられてから所定の時間が経過したとする。そうすると、キャンセルアイコン９１ではなく、ＯＫアイコン９２がユーザにより選択されたと装置側で判断されてしまい、所定のアクションの実行が開始される。つまり、ユーザが意図して行った視線移動ではなく、ユーザが無意識のうちに目を動かして一定の領域に視線を向け続けた場合、誤動作する危険性がある。【００１０】
また、同じ場所に視線を向け続ける必要がある場合、ユーザは、もたつき感を抱く。つまり、ユーザに負担を強いることになる。【００１１】
単に視線位置を検知するだけでなく、それ以外の他の種類の検知の形態を組み合わせた技術を採用することにより、適切な判断を行えるようにすることも考えられる。【００１２】
例えば、操作対象のアイコンを注視した後に片目を瞑った場合のみ意図的な操作であると認識する方法、瞬きの回数で意図的な操作を認識する方法、あるいは音声入力を併用して意図的な操作を認識する方法が挙げられる。【００１３】
特許文献１に開示された技術では、ユーザは、アイコンを所定時間注視し続けた状態において、更にフットスイッチを踏み且つアイコンの名称を音声入力する必要があるので、装置側の誤動作は解消するけれどもユーザ側の負担が大きい。【００１４】
特許文献２に開示された技術でも、ユーザは音声入力する必要がある。【００１５】
特許文献３に開示された技術では、要するに目の瞬きの回数により意図的な操作であるか否かを判断するが、無意識のうちにした瞬きであるかどうかを切り分けることは、実際には困難である。例えば、人の瞬きの回数は緊張時には通常時に比べて１０倍ほどになることがあり、また同一ユーザであってもシーンに依って違いが出てくる。つまり、意図的な操作であるか否かを判断することが実際には難しいため、誤動作につながる可能性があるといえる。【００１６】
また、片目を瞑った場合のみ意図的な操作であると判断する方法の場合、片目を瞑ることが苦手な人が存在することから、実際には採用が難しい。【００１７】
特許文献４に開示された技術では、ユーザが意図した視線移動であるか否かを適切に判断することができる効果を期待できない。【００１８】
本発明はこのような事情に鑑みてなされたもので、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる視線操作装置及び方法、並びに医療機器を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために本発明の一の態様に係る視線操作装置は、表示画面と、表示画面にアニメーション画像を有するアイコンを表示させる表示制御部と、ユーザの視線を検知する視線検知部と、視線検知部の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部と、追従判定部によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力する出力部と、を備える。【００２０】
本態様によれば、ユーザが操作を意図した視線移動であるのか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。【００２１】
本発明の他の態様に係る視線操作装置では、表示制御部は、アニメーション画像の動き、色、形状及び模様のうち少なくともいずれかを制限する。【００２２】
本発明の他の態様に係る視線操作装置では、アイコンの周辺領域又はアニメーション画像の周辺領域の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性として取得する周辺特性取得部と、周辺特性取得部により取得された周辺領域の表示の特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を決定するアニメーション画像決定部と、を備え、表示制御部は、アニメーション画像決定部により決定されたアニメーション画像の表示の特性に基づいてアニメーション画像の表示制御を行うことにより、制限を行う。【００２３】
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの選択時機又は表示画面の表示内容に応じて、アニメーション画像の動きを異ならせる。【００２４】
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きをアイコンの用途に応じて異ならせる。【００２５】
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つアニメーション画像の動きを複数のアイコンの間で異ならせる。【００２６】
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きの差異は、動きの軌跡の差異、及び動きの速さの差異のうち少なくとも一つである。【００２７】
本発明の他の態様に係る視線操作装置は、ユーザの視線の動きの特性をユーザごとに測定するユーザ特性測定部と、ユーザ特性測定部によるユーザごとの測定の結果に基づいて、アニメーション画像の動きを設定する動き設定部と、を備える。【００２８】
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、追従判定部は、追従の判定における視線の動きの検出時間の長さを複数のアイコンの間で異ならせる。【００２９】
本発明の他の態様に係る視線操作装置では、表示制御部は、表示画面に複数のアイコンを表示させ、且つ表示画面で複数のアイコンを互いに一定距離以上離して表示させる。【００３０】
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くする。【００３１】
本発明の他の態様に係る視線操作装置では、表示制御部は、アイコンの周辺に表示される画像である周辺画像の動きを停止させる。【００３２】
本発明の他の態様に係る視線操作装置では、アニメーション画像の動きは、表示画面における任意の回動、表示画面の対向した二辺を結ぶ線上の動き、表示画面の対向した二角を結ぶ線上の動き、表示画面に沿った任意の振動、表示画面に沿ったジグザグの動き、及び不規則な軌跡の動きのうち少なくとも一つである。【００３３】
本発明の一の態様に係る医療機器は、上記の視線操作装置を含んで構成され、出力部により出力される情報に応じて医療用の処理を実行する。【００３４】
本発明の一の態様に係る視線操作方法は、表示画面にアニメーション画像を有するアイコンを表示させるステップと、ユーザの視線を検知するステップと、ユーザの視線検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定するステップと、ユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、アイコンが選択されたことを示す情報を出力するステップと、を含む。
【発明の効果】
【００３５】
本発明よれば、ユーザが意図した視線移動であるか否かを適切に判断することができ、且つユーザに負担を強いないようにすることができる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る第１実施形態の視線操作装置の構成例を示すブロック図である。
【図２】表示画面にアニメーション画像を有する複数のアイコンが表示された例を示す説明図である。
【図３】表示画面におけるアイコン及びアニメーション画像の配置の説明に用いる説明図である。
【図４】視線検知の一例の説明に用いる説明図である。
【図５】第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。
【図６】アニメーション画像の動きに対するユーザの視線位置の動きの追従性の説明に用いる説明図である。
【図７】アニメーション画像の動きのバリエーションの説明に用いる説明図である。
【図８】本発明に係る第２実施形態の視線操作装置の構成例を示すブロック図である。
【図９】第２実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。
【図１０】本発明に係る第３実施形態の視線操作装置の第１の構成例を示すブロック図である。
【図１１】本発明に係る第３実施形態の視線操作装置の第２の構成例を示すブロック図である。
【図１２】本発明に係る第３実施形態の視線操作装置の第３の構成例を示すブロック図である。
【図１３】本発明に係る第４実施形態の視線操作装置の構成例を示すブロック図である。
【図１４】本発明を医療機器又はページ切替装置に適用する場合の概略構成例の説明に用いるブロック図である。
【図１５】本発明の課題の説明に用いる説明図である。
【発明を実施するための形態】
【００３７】
以下、添付図面に従って本発明に係る視線操作装置及び視線操作方法の実施の形態について説明する。
【００３８】
＜第１実施形態＞
図１は、本発明に係る第１実施形態の視線操作装置１０の構成例を示すブロック図である。
【００３９】
本実施形態の視線操作装置１０は、表示画面１２Ａを有する表示部１２と、ユーザを撮像してユーザの画像（以下「ユーザ画像」という）を出力するカメラ１４と、情報の入力部１６Ａ（以下「情報入力部」ともいう）及び出力部１６Ｂ（以下「情報出力部」ともいう）を有する入出力部１６と、視線操作のプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部１８と、記憶部１８に記憶されたプログラムに従って視線操作装置１０の各部を制御するＣＰＵ（central processing unit）２０を備える。
【００４０】
本実施形態のＣＰＵ２０は、表示部１２の表示制御を行う表示制御部２２であって表示画面１２Ａにアニメーション画像を有するアイコンを表示させる表示制御部２２と、ユーザの視線を検知する視線検知部２４と、視線検知部２４の検知の結果に基づいて、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する追従判定部２６と、入力部１６Ａの情報入力及び出力部１６Ｂの情報出力を制御する入出力制御部２８を備える。本例では、追従判定部２６によりユーザの視線の動きがアニメーション画像の動きに追従していると判定された場合、入出力制御部２８の制御により、出力部１６Ｂにより、アイコンが選択されたことを示す情報（以下「操作情報」ともいう）が出力される。
【００４１】
本明細書において「アイコン」は、視線入力による操作対象であって、形状、模様、または色、あるいはこれらの組み合わせで表される。本明細書において「アイコン」は、四角形の枠を持つアイコン（一般に「ボタン」あるいは「スイッチ」と呼ばれるアイコンである）に限定さない。文字のフォントのみからなるアイコンでもよい。つまり「アイコン」は、フォントを構成する絵柄のみでもよい。
【００４２】
次に、表示制御部２２によるアニメーション画像の表示制御の具体例について説明する。
【００４３】
図２は、表示制御部２２により表示画面１２Ａに第１のアイコン５１及び第２のアイコン５２が表示された例を示す。第１のアイコン５１及び第２のアイコン５２は、それぞれ、アイコン名を示すフォント５１Ａ、５２Ａと、表示画面１２Ａの面内で回動する動きを持つアニメーション画像５１Ｂ、５２Ｂを含んで構成されている。第１のアイコン５１は、取り消し指示の入力のために表示されたアイコン（以下「キャンセルアイコン」という）である。第２のアイコン５２は、予め決められたアクションの実行開始指示の入力、あるいは表示画面１２Ａの表示内容確認の入力のために表示されたアイコン（以下「ＯＫアイコン」という）である。第１のアイコン５１は、反時計回りに回動する動きを持つアニメーション画像５１Ｂを有している。第２のアイコン５２は、時計回りに回動する動きを持つアニメーション画像５２Ｂを有している。つまり、表示制御部２２は、表示画面１２Ａに複数のアイコン５１、５２を表示させ、且つアニメーション画像５１Ｂ、５２Ｂの動きを複数のアイコン５１、５２間で異ならせるという表示制御を行っている。
【００４４】
尚、図２では、複数のアイコン５１、５２を表示画面１２Ａに表示した場合を示すが、ひとつのアイコンを表示画面１２Ａに表示する場合にも本発明を適用可能である。
【００４５】
また、図２を用いて、複数のアイコン５１、５２間で、アニメーション画像の動きの軌跡に差異を設けた場合を説明したが、このような場合に本発明は限定されない。複数のアイコン間において、アニメーション画像の動きの速さに差異を設けてもよい。複数のアイコン間において、動きの軌跡及び動きの速さの両方に差異を設けてもよい。
【００４６】
また、図３に示すように、表示制御部２２は、表示画面１２Ａで第１のアイコン５１及び第２のアイコン５２を互いに一定距離以上離して表示させている。図３において、第１のアイコン５１から第２のアイコン５２までの距離ＤＩ（「アイコン間隔」ともいう）は、一方のアイコン５１（又は５２）を注視した場合に、他方のアイコン５２（又は５１）から視線位置が外れる程度の大きさであることが、好ましい。本例のアイコン間隔ＤＩは、一般的な人の両眼の間隔よりも大きい。第１のアイコン５１のアニメーション画像５１Ｂから第２のアイコン５２のアニメーション画像５２Ｂまでの距離ＤＡ（「アニメーション画像間隔」ともいう）を一定距離以上としてよい。
【００４７】
尚、図３では、表示画面１２Ａの左サイド及び右サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置した例を示しているが、アイコンを４つ表示する場合には、表示画面１２Ａの左上隅、左下隅、右上隅及び右下隅にそれぞれアイコンを表示することが、好ましい。ここで、「上」、「下」、「左」、「右」とは、人の両目を結ぶ方向（左右方向）を基準としている。表示画面１２Ａに顔を向けた人の両目を結ぶ方向において、左目側が左サイドであり、右目側が右サイドである。
【００４８】
表示画面１２Ａの上サイド及び下サイドにそれぞれ第１のアイコン５１及び第２のアイコン５２を配置してもよい。表示画面１２Ａの左上隅及び右下隅（あるいは右上隅及び左下隅）にそれぞれ第１のアイコン５１及び第２のアイコン５２を表示してもよい。
【００４９】
次に、視線検知部２４の視線検知の具体例について、説明する。
【００５０】
本例の視線検知部２４は、カメラ１４によりユーザを撮像して得られたユーザ画像から、目の動かない部分と目の動く部分とを抽出し、目の動かない部分の位置を基準として目の動く部分の位置を検出し、その検出された目の動く部分の位置に基づいて表示画面１２Ａ上の視線位置を算出する。視線検知部２４により、視線位置の移動の軌跡を検知するようにしてもよい。
【００５１】
図４を用いて、カメラ１４として可視光を撮影する撮像装置を用い、目の虹彩の動きを検知することにより視線検知を行う例について説明する。視線検知部２４は、基準点としてユーザ画像６０から目頭部分６２及び／又は目尻部分６４を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から虹彩部分６６を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。
【００５２】
カメラ１４として赤外線を発光して撮影する撮像装置を用い、ユーザの目の角膜上の反射位置と瞳孔の位置との関係から視線検知を行ってもよい。視線検知部２４は、基準点としてユーザ画像６０から角膜反射像を抽出して基準点座標を算出し、かつ動点としてユーザ画像６０から瞳孔部分（図４の６８）を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、ユーザの視線位置を算出する。この赤外線を用いる視線検知では、赤外線の発光及び撮影が可能なデバイスが必要であるが、一般に視線位置の検知精度を上げやすい。
【００５３】
尚、本発明における視線検知は、図４を用いて説明した場合には特に限定されない。ユーザの視線を検知可能な方法であれば、他の公知技術を用いて視線検知を行ってよい。もっとも、アニメーション画像に視線を向けているか否かを判別可能である程度に、視線位置の精度が保証される視線検知技術を用いる。
【００５４】
次に、追従判定部２６の追従の判定について、説明する。
【００５５】
本例の追従判定部２６は、表示画面１２Ａにおける視線位置の動きベクトルとアニメーション画像の動きベクトルとを比較することで、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する。「動きベクトル」は、動きの方向と移動量とを示す。本例の追従判定部２６は、視線位置の動きの方向及び移動量の評価値と、アニメーション画像の動きの方向及び移動量の評価値との差分の逆数を追従度として算出し、その追従度が閾値未満である場合に「追従していない」と判定し、閾値以上である場合に「追従している」と判定する。
【００５６】
入出力制御部２８により制御される入出力部１６は、通信部などの特別なハードウェアデバイスには限定されない。単なる出力ポートであってもよい。また、操作情報をメモリなどの記憶デバイスに書き込む場合を含む。
【００５７】
また、情報の出力態様として、出力部１６Ｂにより情報を出力する場合を例に説明しているが、他の出力態様を用いてよい。例えば、表示制御部２２により表示画面１２Ａにおけるアイコンの表示を反転させる（例えば白黒表示の場合に白／黒を反転させる）ことにより、アイコンが選択されたことを示す情報を出力してよい。また、表示制御部２２により表示画面１２Ａにおけるアイコンの周辺に文字表示を行う（例えば「選択」を表示する）ことにより、アイコンが選択されたことを示す情報を出力してもよい。つまり、表示部１２を「出力部」として用いてよい。また、上記の「アイコンの表示を反転」及び「アイコンの周辺に文字表示」に限定されるものではなく、アイコンが操作または選択されたことを示す表示であればよい。尚、本明細書においてアイコンが「選択された」とは、アイコンが「指示された」、「指定された」、「操作された」といった用語で表現される場合を含む概念である。
【００５８】
図５は、第１実施形態の視線操作装置を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。
【００５９】
まず、表示制御部２２により、表示部１２の表示画面１２Ａにアニメーション画像を有するアイコンを表示させる（ステップＳ２）。例えば、図２に示したように、アニメーション画像５１Ｂ、５２Ｂを有するアイコン５１、５２が表示される。
【００６０】
次に、視線検知部２４により、ユーザの視線を検知することにより、表示部１２の表示画面１２Ａのうちのユーザの視線が向けられた位置（視線位置である）を算出する（ステップＳ４）。例えば、図４を用いて説明した視線検知技術を用いて、カメラ１４で撮像されたユーザ画像に基づいて視線位置が算出される。
【００６１】
次に、追従判定部２６により、視線検知部２４の視線検知の結果に基づいて、表示部１２の表示画面１２Ａに表示されたアイコン５１、５２内のアニメーション画像５１Ｂ、５２Ｂの動きに対するユーザの視線の動きの追従性を示す評価値である追従度を算出する（ステップＳ６）。例えば、アニメーション画像５１Ｂ、５２Ｂの動きベクトルに対応する評価値と、視線位置の動きベクトルに対応する評価値との差分の逆数を追従度として算出する。この場合、算出された追従度が高いほど追従性が高いといえる。
【００６２】
次に、追従判定部２６により、算出された追従度と閾値とを比較することにより、ユーザの視線の動きがアニメーション画像の動きに追従しているか否かを判定する（ステップＳ８）。本例では、算出された追従度が高いほど追従性が高いので、追従度が閾値以上であれば、「追従している」と判定される。
【００６３】
追従していると判定された場合（ステップＳ８でＹＥＳの場合）、入出力制御部２８は、アイコンが操作されたことを示す操作情報を出力部１６Ｂにより出力する（ステップＳ１０）。視線検知を続けるか否かを判断し（ステップＳ１２）、続ける場合（ステップＳ１２でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１２でＮＯの場合）には本処理を終了する。
【００６４】
追従していないと判定された場合（ステップＳ８でＮＯの場合）、視線検知を続けるか否かを判断し（ステップＳ１４）、続ける場合（ステップＳ１４でＹＥＳの場合）にはステップＳ４に戻り、続けない場合（ステップＳ１４でＮＯの場合）には本処理を終了する。
【００６５】
本実施形態の視線操作装置１０によれば、図６に示すように、ユーザはアイコン５１内のアニメーション画像５１Ｂの動きを目で追うことにより視線入力操作を行うことができるので、負担が少ない。つまり、動くものを目で追うことは、マニュアル入力、フット入力、音声入力、あるいはジェスチャなどの操作と比較して楽である。また、表示画面１２Ａの表示の観察を中断させられることもない。また、所定時間が経過するまで同じ位置を凝視し続ける必要がある視線操作方法と比較して、反応が悪い、遅延が起こっている等と感じることがなく、ストレスが少ないといえる。
【００６６】
≪アニメーションのバリエーション≫
図２を用いて回動するアニメーションを例に説明したが、このような場合に本発明は限定されない。例えば、次のバリエーション１〜４を用いてもよい。
【００６７】
［アニメーションのバリエーション１］  図７（Ａ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上方向Ｕ、下方向Ｄ、左方向Ｌ、又は右方向Ｒの動きを持たせることができる。つまり、表示画面１２Ａの対向した二辺を結ぶ線上の動き（アニメーション）を用いる。
【００６８】
［アニメーションのバリエーション２］  図７（Ｂ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、右斜め上方向ＲＵ、右斜め下方向ＲＤ、左斜め上方向ＬＵ、又は左斜め下方向ＬＤの動きを持たせることができる。つまり、表示画面１２Ａの対向した二角を結ぶ線上の動き（アニメーション）を用いる。尚、「対向した二角を結ぶ線」とは、線上に二つの対角が位置する場合に限定されず、線の近傍に二つの対角が位置する場合が含まれる。
【００６９】
［アニメーションのバリエーション３］  図７（Ｃ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、上下方向ＵＤ、左右方向ＬＲ、又は斜め方向ＳＬ１又はＳＬ２において振動する動きを持たせることができる。つまり、表示画面１２Ａに沿った任意の振動をアニメーションとして用いる。
【００７０】
［アニメーションのバリエーション４］  図７（Ｄ）に示すように、アイコン内のアニメーション画像５０Ｂに、表示画面１２Ａの面内で、ジグザグＺＧの動きを、アニメーション画像に持たせることができる。
【００７１】
尚、本発明におけるアニメーションのバリエーションは、上述のバリエーション１〜４には特に限定されない。不規則な軌跡の動きをアニメーションとして用いてもよい。また、各種のバリエーションを組み合わせることにより、視線操作検出の精度を向上させてよい。アニメーションは、ユーザに表示画面１２Ａの面内で視線位置を移動させる契機となる動き、つまり表示画面１２の面内の動きであればよい。
【００７２】
≪アイコンの視認性向上≫
表示制御部２２により、アイコンの周辺領域に表示される画像である周辺画像の視認性をアイコンの視認性よりも低くしてよい。例えば、周辺画像の明るさをアイコンあるいはアニメーション画像よりも低くする（つまり暗くする）。
【００７３】
尚、「視認性」とは、本明細書において明るさのみに限定されない。例えば、ハーフトーンにすることで視認性を低くしてよい。要するに、アイコンの選択時機（以下「操作時機」ともいう）に、ユーザが周辺画像よりもアニメーション画像あるいはアイコンに視線を向けやすいように、周辺画像よりも目立つようにする。
【００７４】
また、表示制御部２２により、アイコンの表示中は、アイコンの周辺に表示される画像である周辺画像の動きを停止させてよい。
【００７５】
＜第２実施形態＞
第２実施形態では、人は動くものを目で追ってしまうという習性に対して、アニメーション画像の表示の特性（例えば、動き、色、形状、模様など）を制限することにより、ユーザの意図しない視線移動を防止する。
【００７６】
図８は、本発明に係る第２実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
【００７７】
図８に示すように、本実施形態の視線操作装置１０は、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示における動き、色、形状及び模様のうち少なくともいずれかを周辺領域の表示の特性（以下「周辺領域表示特性」という）として取得する周辺特性取得部３２と、周辺特性取得部３２により取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性（以下「アニメーション画像表示特性」という）を決定するアニメーション画像決定部３４を備える。本実施形態の表示制御部２２は、アニメーション画像決定部３４により決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像表示特性（動き、色、形状及び模様のうち少なくともいずれかである）を制限する。
【００７８】
周辺特性取得部３２により周辺領域表示特性を取得する態様の具体例として、次の第１の取得態様及び第２の取得態様が挙げられる。
【００７９】
［第１の取得態様］  表示画面１２Ａの全体に表示される画像を示す情報（以下「画面情報」という）から周辺領域の画像を抽出し、その周辺領域の画像に基づいて周辺領域表示特性を算出することにより、周辺領域表示特性を取得する。
【００８０】
［第２の取得態様］  アイコン（又はアニメーション画像）と周辺領域表示特性との対応関係を示す表示特性情報を予め記憶部１８に記憶させておき、その表示特性情報を記憶部１８から読み出すことにより、周辺領域表示特性を取得する。
【００８１】
表示制御部２２により行うアニメーション画像表示特性の「制限」とは、本明細書において、アニメーション画像の表示の特性を一定の制限範囲内に収めることを意味する。
【００８２】
「一定の制限範囲」には、アニメーション画像の表示の特性の評価値を通常時よりも小さく設定して制限する場合と、アニメーション画像の表示の特性の評価値を通常時よりも大きく設定して制限する場合がある。例えば、ユーザの目を引くような色や派手な動きを避けるように、アニメーション画像の特性を通常時よりも低下させる場合がある。また、例えば、ユーザの目がアニメーション画像の動きのみに追従し易いように、アニメーション画像に対して、ジグザグの動き、あるいは不規則な軌跡の動きを敢えて与える場合、つまりアニメーション画像の特性を通常時よりも敢えて高める場合がある。
【００８３】
また、「一定の制限範囲」には、固定の制限範囲を用いると、操作シーンに応じて可変の制限範囲を用いる場合がある。例えば、記憶部１８に固定の制限範囲情報を記憶させておき、その記憶部１８に記憶された固定の制限範囲情報を読み出して用いる。また、例えば、操作シーン（例えばアイコンの操作時機や表示画面１２Ａの内容など）に応じて制限範囲を切替えてよい。
【００８４】
図９は、第２実施形態の視線操作装置１０を用いた視線操作方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２０により、記憶部１８に予め記憶されたプログラムに従って、実行される。尚、図５に示した第１実施形態の処理と同じステップには同じ符号を付してあり、以下では異なる事項のみ説明する。
【００８５】
まず、周辺特性取得部３２により、表示画面１２Ａにおけるアイコンの周辺領域（又はアニメーション画像の周辺領域）の表示の特性を示す周辺領域表示特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を取得する（ステップＳ２２）。
【００８６】
例えば、表示画面１２Ａの画面情報から周辺領域の画像を抽出し、その周辺領域の画像の色の評価値（例えば周辺領域の色の平均値）を周辺領域表示特性として取得する。
【００８７】
次に、アニメーション画像決定部３４により、ステップＳ２２で取得された周辺領域表示特性を基準とした一定の制限範囲内の表示の特性を求めることにより、アニメーション画像の表示の特性を示すアニメーション画像表示特性を決定する（ステップＳ２４）。
【００８８】
例えば、ステップＳ２２で取得された周辺領域の色の評価値を中心として、表色系座標空間において第１の閾値よりも大きく且つ第２の閾値（＞第１の閾値）よりも小さい距離に存在する色を選択することにより、アニメーション画像表示特性（本例ではアニメーション画像の色）を決定する。
【００８９】
次に、表示制御部２２により、ステップＳ２４で決定されたアニメーション画像表示特性に基づいてアニメーション画像の表示制御を行うことにより、アニメーション画像の表示の特性（例えば、動き、色、形状及び模様のうち少なくともいずれかである）を一定の制限範囲内に制限する（ステップＳ２６）。
【００９０】
例えば、ステップＳ２４で表色系座標空間から選択された色でアニメーション画像を表示する表示制御が行われる。
【００９１】
ステップＳ４〜Ｓ１４は、図５に示した第１実施形態の同符号のステップと同様であり、ここでは説明を省略する。
【００９２】
尚、上述の図９を用いた説明では、アイコン画像表示特性の制限対象が色である場合を例として説明したが、本実施形態の制限対象は、色に限定されない。アニメーション画像の形状、模様、又は動きを制限してもよいし、他の表示特性を制限してもよい。また、色、形状、模様、及び動きのうちから選択された複数の表示特性の組み合わせを制限してもよいし、それ以外の組み合わせを制限してもよい。
【００９３】
また、上述の図９を用いた説明では、周辺領域表示特性の取得対象及びアイコン画像表示特性の制限対象が色である場合を例として説明したが、周辺領域表示特性の取得対象とアイコン画像表示特性の制限対象とが異なる場合でもよい。例えば、周辺領域の模様を取得し、その周辺領域の模様（例えば斜線模様）を基準として一定のパターンの軌跡にアニメーションを制限（例えば斜め方向の動きを排除）することも、有効な制限態様の一例として挙げられる。
【００９４】
＜第３実施形態＞
第３実施形態では、誤操作防止とスムーズな操作という二つの観点から、アニメーション画像の動きを制御する。つまり、本実施形態の表示制御部２２は、誤操作防止が重要な場合と誤操作防止よりもスムーズな操作が求められる場合とによって、アニメーションを異ならせることにより、誤操作防止及びスムーズな操作の両立を図る。
【００９５】
図１０は、本発明に係る第３実施形態の視線操作装置１０の第１の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
【００９６】
図１０に示すように、本実施形態の視線操作装置１０の記憶部１８は、操作の重要度を示す重要度情報４０Ａを記憶する。動き設定部４２は、記憶部１８に記憶された重要度情報４０Ａに基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する。表示制御部２２は、動き設定部４２の設定内容に基づいて、アイコン内のアニメーション画像の動きを重要度に応じて異ならせる。
【００９７】
上述の「操作の重要度」の具体例として、次の重要度１〜３が挙げられる。
【００９８】
（重要度１）アイコンの選択時機（操作時機）に応じた重要度。例えば、最終決定時の指示入力は、最終決定前の通常時の指示入力よりも、重要度を高くする。図２に示した取り消しアイコン５１とＯＫアイコン５２が表示画面１２Ａに表示される場合、記憶部１８は、アイコン５１、５２の操作時機と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の操作時機に対応する重要度を取得し、例えば操作時機に応じた重要度が高いほど、アニメーション画像をゆっくり動かす。つまり操作時機に応じた重要度が高いほど、アニメーションのスピードが小さくなる。操作時機に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
【００９９】
（重要度２）表示内容に応じた重要度。例えば、ユーザに対して警報のメッセージが表示画面１２Ａに表示される場合、警報以外の通常のメッセージが表示される場合よりも、重要度を高くする。記憶部１８は、表示画面１２Ａの表示内容と重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、表示画面１２Ａの表示内容に対応する重要度を取得し、例えば表示内容に応じた重要度が高いほどアニメーション画像をゆっくり動かす。つまり表示内容に応じた重要度が高いほど、アニメーションのスピードが小さくなる。表示内容に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。
【０１００】
（重要度３）アイコンの用途に応じた重要度。例えば、情報の「削除」を指示入力するための削除アイコンは、情報の「コピー」を指示入力するためのコピーアイコンよりも、重要度を高くする。記憶部１８は、アイコン５１、５２の用途（又は識別情報）と、重要度との対応関係を記憶する。表示制御部２２は、重要度情報４０Ａに基づいて、アイコン５１、５２の用途（又は識別情報）に対応する重要度を取得し、例えば重要度が高いほど、アニメーション画像をゆっくり動かす。つまり、アイコンの用途に応じた重要度が高いほどアニメーションのスピードが小さくなる。アイコンの用途に応じた重要度が高いほど、アニメーション画像の動きの軌跡を複雑にしてもよい。ここで、「アイコンの用途」とは、アイコンが視線入力により操作された場合に実行されるアクションを意味している。「アイコンの用途」は、アイコンの名称として、表示画面１２Ａに表示される場合がある。
【０１０１】
「重要度情報」は、例えば、重要度が高いほど大きな数値とする。逆に、重要度が高いほど小さな数値としてもよい。つまり、本実施形態の「重要度情報」は、平常度（非重要度）を意味する場合であってもよい。また、どの程度のスムーズな視線入力が求められるのかを示す「スムーズ度」を採用してもよい。どのような名称の指標を用いても、本実施形態の要旨を逸脱しない範囲内の設計変更をすることができる。
【０１０２】
図１０を用いて、重要度情報４０Ａに基づいてアニメーションを異ならせる制御を行う場合を説明したが、このような場合に本発明は限定されない。
【０１０３】
例えば、図１１に示すように、記憶部１８に、操作シーン（具体的にはアイコンの操作時機及び／又は表示画面１２Ａの表示内容）とアニメーション画像の動きとの直接的な対応関係を示す操作シーン情報４０Ｂを記憶させておき、その操作シーン情報４０Ｂに基づいて表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
【０１０４】
また、図１２に示すように、記憶部１８に、アイコンの用途（又は識別情報）とアニメーション画像の動きとの直接的な対応関係を示す用途情報４０Ｃを記憶させておき、その用途情報４０Ｃに基づいて、表示制御部２２がアニメーション画像の動きを制御する構成としてもよい。
【０１０５】
以上、アイコンの選択時機（操作時機）、表示画面の表示内容、又はアイコンの用途に応じて、表示制御部２２がアニメーション画像の動きを制御することについて説明したが、本発明は、これらの組み合わせを実施してもよい。例えば、表示画面１２Ａに、重要度が高い表示内容と互いに用途が異なる二つのアイコンとを表示する場合、通常の表示内容が表示される場合よりも二つのアイコンのアニメーション画像の動きをゆっくりとし、且つアイコンの用途に応じて二つのアイコン間でアニメーション画像の動きの複雑さに差異を与える。
【０１０６】
また、追従判定部２６の追従の判定における視線の動きの検出時間の長さを、複数のアイコンの間で異ならせてもよい。例えば、二つのアイコンが表示画面１８Ａに表示される場合、二つのアイコンのうちで重要度が相対的に高いアイコンに対する視線の動きの検出時間を相対的に長くする。
【０１０７】
また、図２を用いて、表示画面１２Ａに複数のアイコンを表示した場合について説明したが、本実施形態は、表示画面１２Ａにアイコンを一つだけ表示する場合にも有効である。
【０１０８】
＜第４実施形態＞
第４実施形態では、ユーザの個人ごとの視線の動きの特性（以下「ユーザ特性」という）に応じて、アニメーション画像の動きを制御する。
【０１０９】
図１３は、本発明に係る第４実施形態の視線操作装置１０の構成例を示すブロック図である。尚、図１に示した第１実施形態の視線操作装置１０と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。
【０１１０】
図１３に示すように、本実施形態の視線操作装置１０の記憶部１８は、ユーザの視線の動きの特性（以下「ユーザ特性」という）を示すユーザ特性情報４４を記憶する。また、本実施形態の視線操作装置１０は、ユーザ特性をユーザごとに測定するユーザ特性測定部４６と、ユーザ特性測定部４６によるユーザごとの測定の結果に基づいて、表示画面１２Ａにおけるアニメーション画像の動きを設定する動き設定部４８を備える。表示制御部２２は、動き設定部４８の設定内容に基づいて、アイコン内のアニメーション画像の動きをユーザ特性に応じて異ならせる。
【０１１１】
＜本発明の適用例＞
≪医療機器への適用例≫
本発明は、人あるいは動物の医療（診断、治療、処置など）のための医療機器に適用可能である。医療現場では、両手が塞がっている状況でも操作可能な医療機器（例えば内視鏡装置）が求められている。特に、救急患者に対する医療で有効と考えられる。
【０１１２】
≪ページ切替装置への適用例≫
本発明は、両手を用いて楽器を演奏する演奏者（例えばピアニスト）のために楽譜のページ切替（所謂ページめくり）を行う装置に適用可能である。つまり、楽譜のページが切り替わる際、演奏者が両手を使用中である時でも、演奏者が両手を使わずに視線入力によりページの切替を指示させることができるページ切替装置を提供する。
【０１１３】
≪視線操作装置を適用した機器の概略構成例≫
図１４は、本発明を医療機器に適用する場合の概略構成例の説明に用いるブロック図である。図１４において、図１に示した第１実施形態の視線操作装置１０の構成要素には同じ符号を付してある。尚、図１４では、医療機器１００に特有の部分については図示を省略している。また、図１４では、視線操作装置１０を医療機器１００に組み込んだ場合を示しており、ＣＰＵ２０を共有している。
【０１１４】
図１４において、アクション部１２０は、出力部１６Ｂから出力された情報に応じたアクションを実行する。また、実行したアクションの結果等を入力部１６Ａを介して入出力制御部２８に入力する。
【０１１５】
また、図１４において、入力部１６Ａ及び出力部１６Ｂは、特別なハードウェアではなく入力ポート及び出力ポートでもよい。また、メモリを介して情報の入力及び出力を行ってもよい。
【０１１６】
医療機器以外の装置に本発明の視線操作装置１０を組み込む場合にも、図１４に示した場合と同じように構成することが可能である。
【０１１７】
また、医療機器を視線操作装置１０とは別の装置として構成してもよい。医療機器以外の装置でも同様である。
【０１１８】
本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１１９】
１０…視線操作装置、１２…表示部、１２Ａ…表示画面、１４…カメラ、１６…入出力部（情報入出力部）、１６Ａ…入力部（情報入力部）、１６Ｂ…出力部（情報出力部）、１８…記憶部、２０…ＣＰＵ、２２…表示制御部、２４…視線検知部、２６…追従判定部、２８…入出力制御部、３２…周辺特性取得部、３４…アニメーション画像決定部、４０Ａ…重要度情報、４０Ｂ…操作シーン情報、４０Ｃ…用途情報、４２…動き設定部、４４…ユーザ特性情報、４６…ユーザ特性測定部、４８…動き設定部
【図１】
2017047212.tif 000003
【図２】
2017047212.tif 000004
【図３】
2017047212.tif 000005
【図４】
2017047212.tif 000006
【図５】
2017047212.tif 000007
【図６】
2017047212.tif 000008
【図７】
2017047212.tif 000009
【図８】
2017047212.tif 000010
【図９】
2017047212.tif 000011
【図１０】
2017047212.tif 000012
【図１１】
2017047212.tif 000013
【図１２】
2017047212.tif 000014
【図１３】
2017047212.tif 000015
【図１４】
2017047212.tif 000016
【図１５】
2017047212.tif 000017
【国際調査報告】
2017047212.tif 000018
2017047212.tif 000019
2017047212.tif 000020
2017047212.tif 000021