(57)【要約】【課題】手を使わず非接触で画面の操作ができ、従来の視線入力に比べて操作負担が小さく且つ操作が容易な方法を提供する。【解決手段】画面操作装置が、操作者の顔を撮影した画像を所定の時間間隔で取り込む画像入力部と、画像を用いて操作者が画面を注視しているか否かを判定する注視条件判定部と、画像を用いて操作者の顔向きが所定の条件を満たすか否かを判定する顔向き条件判定部と、注視条件判定部によって操作者が画面を注視していると判定されているあいだに、顔向き条件判定部によって操作者の顔向きが所定の条件を満たすと判定された場合に、所定の画面操作を実行する画面操作部と、を有する。顔向きの代わりに、顔の動きを条件としてもよい。【選択図】図３
2015087824.tif 000002
【特許請求の範囲】
【請求項１】
操作者による画面の操作を可能にする画面操作装置であって、
前記操作者の顔を撮影した画像を所定の時間間隔で取り込む画像入力部と、
前記画像入力部で取り込まれる画像を用いて、前記操作者が前記画面を注視しているか否かを判定する注視条件判定部と、
前記画像入力部で取り込まれる画像を用いて、前記操作者の顔向きが所定の条件を満たすか否かを判定する顔向き条件判定部と、
前記注視条件判定部によって前記操作者が前記画面を注視していると判定されているあいだに、前記顔向き条件判定部によって前記操作者の顔向きが所定の条件を満たすと判定された場合に、所定の画面操作を実行する画面操作部と、を有する
ことを特徴とする画面操作装置。
【請求項２】
前記所定の条件は、
前記操作者の顔向きが基準方向から所定量以上ずれること、
前記操作者の顔向きが基準方向からずれた状態が所定時間以上続くこと、または、
前記操作者の顔向きが基準方向から所定量以上ずれた状態が所定時間以上続くこと、である
ことを特徴とする請求項１に記載の画面操作装置。
【請求項３】
前記基準方向は、
前記操作者の視線方向、
前記操作者の顔が前記画面に正対したと仮定した場合の顔向き、または、
前記操作者が前記画面の注視を開始した時点の顔向き、である
ことを特徴とする請求項２に記載の画面操作装置。
【請求項４】
前記所定の条件は、
前記操作者の顔内の所定の点を顔向きに平行に前記画面上に投影した点である顔向き点が、前記画面上に設定された基準位置から所定量以上ずれること、
前記操作者の顔向き点が前記基準位置からずれた状態が所定時間以上続くこと、または、
前記操作者の顔向き点が前記基準位置から所定量以上ずれた状態が所定時間以上続くこと、である
ことを特徴とする請求項１に記載の画面操作装置。
【請求項５】
前記基準位置は、
前記操作者の視線と前記画面の交点、
前記操作者の顔内の所定の点を、前記操作者の顔が前記画面に正対したと仮定した場合の顔向きに平行に、前記画面上に投影した点、
前記操作者の顔内の所定の点を、前記操作者が前記画面の注視を開始した時点の顔向きに平行に、前記画面上に投影した点、
前記画面の中心点、または、
前記画面内の操作対象エリアの中心点、である
ことを特徴とする請求項４に記載の画面操作装置。
【請求項６】
前記所定の条件は、
前記操作者の顔内の所定の点を顔向きに平行に前記画面上に投影した点である顔向き点が、前記画面上に設定された基準エリアの外側へずれること、
前記操作者の顔向き点が前記基準エリアの外側へずれた状態が所定時間以上続くこと、である
ことを特徴とする請求項１に記載の画面操作装置。
【請求項７】
前記所定の画面操作は、スクロールもしくはページ移動である
ことを特徴とする請求項２〜６のうちいずれか１項に記載の画面操作装置。
【請求項８】
前記画面操作部は、前記操作者の顔向きのずれ方向に応じて、スクロールもしくはページ移動の方向を変える
ことを特徴とする請求項７に記載の画面操作装置。
【請求項９】
前記画面操作部は、前記操作者の顔向きのずれ量に応じて、スクロールもしくはページ移動の速度または量を変える
ことを特徴とする請求項７または８に記載の画面操作装置。
【請求項１０】
操作者による画面の操作を可能にする画面操作装置であって、
前記操作者の顔を撮影した画像を所定の時間間隔で取り込む画像入力部と、
前記画像入力部で取り込まれる画像を用いて、前記操作者が前記画面を注視しているか否かを判定する注視条件判定部と、
前記画像入力部で取り込まれる画像を用いて、前記操作者の顔の動きを判定する動き条件判定部と、
前記注視条件判定部によって前記操作者が前記画面を注視していると判定されているあいだに、前記動き条件判定部によって前記操作者の顔が所定の動きを行ったと判定された場合に、所定の画面操作を実行する画面操作部と、を有する
ことを特徴とする画面操作装置。
【請求項１１】
前記所定の動きは、
顔向きもしくは顔の姿勢を変化させる動き、
まばたきもしくは目を閉じる動き、または、
所定の表情を作る動き、である
ことを特徴とする請求項１０に記載の画面操作装置。
【請求項１２】
前記所定の画面操作は、スクロールもしくはページ移動である
ことを特徴とする請求項１０または１１に記載の画面操作装置。
【請求項１３】
前記画面操作部は、前記操作者の顔の動きの種類に応じて、スクロールもしくはページ移動の方向を変える
ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の画面操作装置。
【請求項１４】
前記画面操作部は、前記操作者の顔の動きの大きさもしくは動きの速さに応じて、スクロールもしくはページ移動の速度または量を変える
ことを特徴とする請求項１０〜１３のうちいずれか１項に記載の画面操作装置。
【請求項１５】
前記画像入力部で取り込まれる画像から前記操作者の視線を推定する視線推定部をさらに有し、
前記注視条件判定部は、前記操作者の視線が前記画面内の所定部分に入っている状態が所定時間以上続いた場合に、前記操作者が前記画面を注視していると判定する
ことを特徴とする請求項１〜１４のうちいずれか１項に記載の画面操作装置。
【請求項１６】
前記画像入力部で取り込まれる画像から前記操作者の視線を推定する視線推定部をさらに有し、
前記注視条件判定部は、前記操作者の視線が前記画面内にあり、且つ、前記操作者の視
線の変化が所定量よりも小さい状態が所定時間以上続いた場合に、前記操作者が前記画面を注視していると判定する
ことを特徴とする請求項１〜１４のうちいずれか１項に記載の画面操作装置。
【請求項１７】
前記視線推定部は、前記画像入力部で連続して取り込まれた複数の画像のそれぞれから前記操作者の視線を求め、前記複数の画像から求めた複数の視線の代表値を視線の推定結果として出力する
ことを特徴とする請求項１５または１６に記載の画面操作装置。
【請求項１８】
前記注視条件判定部によって前記操作者が前記画面を注視していると判定されている状態であることを前記操作者に通知する通知部をさらに有する
ことを特徴とする請求項１〜１７のうちいずれか１項に記載の画面操作装置。
【請求項１９】
操作者による画面の操作を可能にする画面操作方法であって、
コンピュータが、前記操作者の顔を撮影した画像を所定の時間間隔で取り込むステップと、
コンピュータが、取り込んだ画像を用いて、前記操作者が前記画面を注視しているか否かを判定するステップと、
コンピュータが、取り込んだ画像を用いて、前記操作者の顔向きが所定の条件を満たすか否かを判定するステップと、
コンピュータが、前記操作者が前記画面を注視していると判定しているときに、前記操作者の顔向きが所定の条件を満たすと判定した場合に、所定の画面操作を実行するステップと、を含む
ことを特徴とする画面操作方法。
【請求項２０】
操作者による画面の操作を可能にする画面操作方法であって、
コンピュータが、前記操作者の顔を撮影した画像を所定の時間間隔で取り込むステップと、
コンピュータが、取り込んだ画像を用いて、前記操作者が前記画面を注視しているか否かを判定するステップと、
コンピュータが、取り込んだ画像を用いて、前記操作者の顔の動きを判定するステップと、
コンピュータが、前記操作者が前記画面を注視していると判定しているときに、前記操作者の顔が所定の動きを行ったと判定した場合に、所定の画面操作を実行するステップと、を含む
ことを特徴とする画面操作方法。
【請求項２１】
請求項１９または２０に記載の画面操作方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項２２】
請求項２１に記載のプログラムを非一時的に記憶していることを特徴とするコンピュータ読取可能な記録媒体。
【請求項２３】
請求項１〜１８のうちいずれか１項に記載の画面操作装置を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手を使わず非接触で画面の操作を可能にするための技術に関する。
【背景技術】
【０００２】
機器を操作する手段の一つとして、視線を利用する方法（視線入力と呼ばれる）が知られている（例えば、非特許文献１〜３参照）。視線入力のアプリケーションは様々考えられるが、例えば最近では、株式会社ＮＴＴドコモが視線の動きに合わせてポインタ移動や画面スクロールが可能なｉｂｅａｍタブレット端末の試作機をＣＥＡＴＥＣ  ＪＡＰＡＮ
２０１２に出展し、注目を集めている（参考ＵＲＬ：http://www.tobii.com/en/gaze-interaction/global/demo-room/ntt-docomo-i-beam/）。また、特許文献１には、カーナビゲーション装置の誤操作防止のためのロックを解除する手段に視線を利用した例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２７２４６号公報
【非特許文献】
【０００４】
【非特許文献１】中松由香梨、滝口哲也、有木康雄、「３次元ActiveAppearanceModelを利用した視線方向推定」、画像の認識・理解シンポジウム(MIRU2011)論文集、pp.572-579、2011
【非特許文献２】大野健彦、武川直樹、吉川厚、「眼球形状モデルに基づく視線測定法」、第８回画像センシングシンポジウム、pp.307-312、2002
【非特許文献３】小野泰弘、岡部孝弘、佐藤洋一、「目領域の切出しの不定性を考慮した低解像度画像からの視線方向推定」、画像の認識・理解シンポジウム(MIRU2005)論文集、pp.96-103、2005
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視線入力による機器操作は、手を使う必要がないこと、非接触でよいことなどから、様々な用途への利用が期待される。しかしながら、ｉｂｅａｍタブレット端末のように、視線の動きだけで操作入力を行う方法では、視線を大きく且つ頻繁に動かす必要が生じる。そのため、操作者の眼に与える負担が大きくなり、眼精疲労やめまいを招くおそれが懸念される。また、人によっては、視線をうまく動かすことができず、意図する操作ができなかったり、誤操作が生じたりする可能性もある。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、手を使わず非接触で画面の操作ができ、従来の視線入力に比べて操作負担が小さく且つ操作が容易な方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明では、視線と顔向きの組み合わせ、または、視線と顔の動きの組み合わせにより、画面の操作を行うという構成を採用する。操作の対象は、画面の全体（に表示されたコンテンツ）でもよいし、画面上の一部（例えばウィンドウや子画面などに表示されたコンテンツ）でもよい。
【０００８】
具体的には、本発明の第一態様に係る画面操作装置は、操作者による画面の操作を可能
にする画面操作装置であって、前記操作者の顔を撮影した画像を所定の時間間隔で取り込む画像入力部と、前記画像入力部で取り込まれる画像を用いて、前記操作者が前記画面を注視しているか否かを判定する注視条件判定部と、前記画像入力部で取り込まれる画像を用いて、前記操作者の顔向きが所定の条件を満たすか否かを判定する顔向き条件判定部と、前記注視条件判定部によって前記操作者が前記画面を注視していると判定されているあいだに、前記顔向き条件判定部によって前記操作者の顔向きが所定の条件を満たすと判定された場合に、所定の画面操作を実行する画面操作部と、を有することを特徴とする画面操作装置である。
【０００９】
この構成によれば、顔の向きによって画面操作を行うことができる。一般に、視線を動かすのに比べ、顔の向きを変える方が、意図した動作を行うにあたっての負担が小さい。したがって、従来の視線入力に比べて、操作負担を小さくできると共に、操作を容易にすることができる。
【００１０】
さらに本発明の第一態様では、顔向きだけでなく視線の情報も併用する。すなわち、操作者が画面を注視している状態のあいだしか、顔向きによる画面操作をできないように制限するのである。これにより、意図しない顔向きの変化による誤操作を抑制することが可能となり、操作性およびユーザビリティに優れた操作入力が実現できる。
【００１１】
前記所定の条件としては、例えば、（１）前記操作者の顔向きが基準方向から所定量以上ずれること、（２）前記操作者の顔向きが基準方向からずれた状態が所定時間以上続くこと、または、（３）前記操作者の顔向きが基準方向から所定量以上ずれた状態が所定時間以上続くこと、などを採用できる。前記基準方向としては、例えば、（ａ）前記操作者の視線方向、（ｂ）前記操作者の顔が前記画面に正対したと仮定した場合の顔向き、または、（ｃ）前記操作者が前記画面の注視を開始した時点の顔向き、などを採用できる。
【００１２】
また、前記所定の条件としては、（１）前記操作者の顔内の所定の点を顔向きに平行に前記画面上に投影した点である顔向き点が、前記画面上に設定された基準位置から所定量以上ずれること、（２）前記操作者の顔向き点が前記基準位置からずれた状態が所定時間以上続くこと、または、（３）前記操作者の顔向き点が前記基準位置から所定量以上ずれた状態が所定時間以上続くこと、などを採用してもよい。「操作者の顔内の所定の点」は、例えば、顔の中心点、鼻の頂点、両目の中心点（眉間）などを採用できる。また、「画面上に設定された基準位置」としては、例えば、（ａ）前記操作者の視線と前記画面の交点、（ｂ）前記操作者の顔が前記画面に正対したと仮定した場合の顔向きの顔向き点、（ｃ）前記操作者が前記画面の注視を開始した時点の顔向きの顔向き点、（ｄ）前記画面の中心点、（ｅ）前記画面内の操作対象エリアの中心点、などを採用できる。
【００１３】
また、前記所定の条件としては、（１）前記操作者の顔内の所定の点を顔向きに平行に前記画面上に投影した点である顔向き点が、前記画面上に設定された基準エリアの外側へずれること、または、（２）前記操作者の顔向き点が前記基準エリアの外側へずれた状態が所定時間以上続くこと、などを採用してもよい。「画面上に設定された基準エリア」の位置、大きさ、形状などは任意に設定できる。例えば、上記の「基準位置」を基準に基準エリアの位置を決めてもよい。
【００１４】
前記所定の画面操作としては、例えば、スクロール、もしくは、ページ移動などが好ましい。スクロールやページ移動（ページめくり）の動きは、顔向きをずらす動作（例えば、顔を上／下／左／右に向ける動作）と直感的に結びつくからである。
【００１５】
この場合に、前記画面操作部は、前記操作者の顔向きのずれ方向に応じて、スクロールもしくはページ移動の方向を変えるとよい。例えば、顔を右に向けたら、右スクロールや
ページの右移動を実行し、顔を左に向けたら、反対方向（左方向）にスクロールやページ移動を行えばよい。これにより直観的な操作性が得られる。
【００１６】
さらに、前記画面操作部は、前記操作者の顔向きのずれ量に応じて、スクロールもしくはページ移動の速度または量を変えてもよい。例えば、ずれ量が大きくなるほど、スクロール速度（量）もしくはページ移動速度（量）を段階的または連続的に増すとよい。これにより、スクロール速度（量）やページ移動速度（量）を直観的な動作で調整することができる。
【００１７】
本発明の第二態様に係る画面操作装置は、操作者による画面の操作を可能にする画面操作装置であって、前記操作者の顔を撮影した画像を所定の時間間隔で取り込む画像入力部と、前記画像入力部で取り込まれる画像を用いて、前記操作者が前記画面を注視しているか否かを判定する注視条件判定部と、前記画像入力部で取り込まれる画像を用いて、前記操作者の顔の動きを判定する動き条件判定部と、前記注視条件判定部によって前記操作者が前記画面を注視していると判定されているあいだに、前記動き条件判定部によって前記操作者の顔が所定の動きを行ったと判定された場合に、所定の画面操作を実行する画面操作部と、を有することを特徴とする画面操作装置である。
【００１８】
この構成によれば、顔を動かすことによって画面操作を行うことができる。一般に、視線を動かすのに比べ、顔を動かすことの方が、意図した動作が容易に行える。したがって、従来の視線入力に比べて、操作負担を小さくできると共に、操作を容易にすることができる。
【００１９】
さらに本発明の第二態様では、顔の動きだけでなく視線の情報も併用する。すなわち、操作者が画面を注視している状態のあいだしか、顔の動きによる画面操作をできないように制限するのである。これにより、意図しない顔の動きによる誤操作を抑制することが可能となり、操作性およびユーザビリティに優れた操作入力が実現できる。
【００２０】
前記所定の動きとしては、例えば、（１）顔向きもしくは顔の姿勢を変化させる動き、（２）まばたきもしくは目を閉じる動き、または、（３）所定の表情を作る動き、などを採用できる。（１）顔向きを変化させる動きとは、例えば、うなずく動作（首を上下に振る動作）、首振り動作（首を左右に振る動作）などである。顔の姿勢を変化させる動きとは、例えば、首をかしげる動作（頭部を左右に傾ける動作）などである。（２）まばたきや目を閉じる動きは、両目でも片目でもよい。（３）表情を作る動きとは、顔器官（目、鼻、口など）の動きであり、例えば、笑顔、口の開閉、顔をしかめる動きなど、どのようなものでもよい。
【００２１】
前記所定の画面操作としては、例えば、スクロール、もしくは、ページ移動などが好ましい。この場合も、前記画面操作部は、前記操作者の顔の動きの種類に応じて、スクロールもしくはページ移動の方向を変えるとよい。例えば、うなずき動作で順方向のスクロールやページ移動を行い、首振り動作で逆方向のスクロールやページ移動を行うなどが考えられる。これにより多様な画面操作を行うことができる。
【００２２】
また、前記画面操作部は、前記操作者の顔の動きの大きさもしくは動きの速さに応じて、スクロールもしくはページ移動の速度または量を変えてもよい。例えば、首振り動作であれば、首振りの角度や速さが大きくなるほど、スクロール速度（量）もしくはページ移動速度（量）を段階的または連続的に増すとよい。これにより、スクロール速度（量）やページ移動速度（量）を非常に直観的な動作で調整することができる。
【００２３】
本発明の第一態様、第二態様のいずれにおいても、前記画像入力部で取り込まれる画像
から前記操作者の視線を推定する視線推定部をさらに有するとよい。そして、前記注視条件判定部は、前記操作者の視線が前記画面内の所定部分に入っている状態が所定時間以上続いた場合に、前記操作者が前記画面を注視していると判定することが好ましい。すなわち、画面内に設定された所定部分（注視エリアとも呼ぶ）を操作者が見続けた場合に注視状態と判定されるのである。
【００２４】
あるいは、前記注視条件判定部は、前記操作者の視線が前記画面内にあり、且つ、前記操作者の視線の変化が所定量よりも小さい状態が所定時間以上続いた場合に、前記操作者が前記画面を注視していると判定してもよい。すなわち、特に注視エリアは設けず、画面内のどこかを操作者が見続けた場合に注視状態と判定するのである。画面に表示しているコンテンツによって、このような方法の方が利用しやすい場合がある。
【００２５】
前記視線推定部は、前記画像入力部で連続して取り込まれた複数の画像のそれぞれから前記操作者の視線を求め、前記複数の画像から求めた複数の視線の代表値を視線の推定結果として出力するとよい。複数の視線の代表値（例えば、平均、最頻値、中央値など）を用いることで、視線方向の揺れや急激な変化などのノイズを緩和もしくは除去し、注視判定の精度向上を図ることができる。
【００２６】
本発明の第一態様、第二態様のいずれにおいても、前記注視条件判定部によって前記操作者が前記画面を注視していると判定されている状態であることを前記操作者に通知する通知部をさらに有することが好ましい。これにより、操作者は、画面操作を入力可能な状態になったかを知ることができ、ユーザビリティの向上が図られる。
【００２７】
なお、本発明は、上記構成の少なくとも一部を有する画面操作装置、または、画面操作装置を有する電子機器として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む画面操作方法、またはかかる方法の各ステップをコンピュータに実行させるためのプログラムや、そのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記電子機器には、例えば、パーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末（スレート型端末）、携帯情報端末、ゲーム装置、テレビジョン装置、撮像装置などが含まれる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２８】
本発明によれば、手を使わず非接触で画面の操作ができ、従来の視線入力に比べて操作負担が小さく且つ操作が容易な画面操作を実現できる。
【図面の簡単な説明】
【００２９】
【図１】第１実施形態の画面操作の例を示す図。
【図２】第１実施形態に係る画面操作装置の機能構成を模式的に示す図。
【図３】第１実施形態の画面操作装置のメイン処理のフローチャート。
【図４】第１実施形態の注視条件判定を説明する図。
【図５】第１実施形態の顔向き条件判定を説明する図。
【図６】第１実施形態の変形例を説明する図。
【図７】第２実施形態に係る画面操作装置の機能構成を模式的に示す図。
【図８】第２実施形態の画面操作装置のメイン処理のフローチャート。
【図９】第２実施形態の注視条件判定を説明する図。
【図１０】第２実施形態の変形例を説明する図。
【発明を実施するための形態】
【００３０】
＜第１実施形態＞
第１実施形態では、本発明に係る画面操作用のプログラムを電子機器（具体的にはスマートフォン）に実装し、「視線」と「顔向き」の組み合わせにより、スマートフォンで動作するアプリケーションプログラム（Ｗｅｂブラウザ、メールソフト、ドキュメントビューア、ゲームなど）の画面スクロールやページ移動（ページめくり）などの画面操作を行う例を説明する。まずは図１を参照して本実施形態の画面操作の例について説明をし、その後、そのような画面操作を実現するための具体的な装置構成および処理について説明を行う。
【００３１】
（画面操作の例）
図１は、スマートフォン１とそれを操作する操作者２の顔を横方向からみた様子を模式的に示している。
【００３２】
図１（ａ）は正しい画面操作の一例である。操作者２がスマートフォン１の画面を注視し、その状態を維持したまま顔を下向きにすると、それに応じて画面が下方向にスクロールする、という例を示している。もちろん、顔向きと画面操作の対応はこれに限らずどのようなものでもよい。かかる操作方法によれば、操作者２は手を使わず非接触で意図した画面操作を容易に指示することができる。
【００３３】
ところで、操作者２が画面から目を離したり、物音に振り向いたり、疲れをほぐそうと首を回したり、というような動作を何気なく行った場合でも、顔向きが変わる可能性がある。例えば、図１（ｂ）は、画面から目を離した状態から、画面に視線を戻す、という動作を示している。また図１（ｃ）は、操作者２が画面を注視した状態から、床に視線を移した様子を示している。いずれの場合も、顔向きの動きだけをみると、図１（ａ）と同じである。したがって、仮に、顔向きだけで画面操作の実行要否を判定すると、図１（ｂ）、（ｃ）のような意図しない顔向きの変化で、画面操作が誤って実行されてしまう可能性がある。装置側は、検出した顔向きの変化が画面操作を意図したものなのかそうでないのかを、正確に判別できないからである。
【００３４】
そこで、本実施形態では、顔向きだけでなく視線の情報も併用し、図１（ａ）のように、操作者２が画面を注視している状態のあいだしか、顔向きによる画面操作をできないようにする。すなわち、図１（ｂ）、（ｃ）のケースでは、画面注視状態が維持されていないため、スマートフォン１は操作者２の顔向きの変化を画面操作指示として認識しないのである。これにより、意図しない顔向きの変化による誤操作を抑制することが可能となり、操作性およびユーザビリティに優れた操作入力が実現できる。
【００３５】
（装置構成）
図２は、第１実施形態に係る画面操作装置の機能構成を模式的に示す図である。この画面操作装置１０は、操作者２によるスマートフォン１の画面の操作を可能にするためのものであり、スマートフォン１の操作入力インターフェイスの一つとして実装されるものである。画面操作装置１０は、概略、画像入力部１１、顔向き推定部１２、視線推定部１３、注視条件判定部１４、顔向き条件判定部１５、画面操作部１６、履歴記憶部１７を有している。これらの機能は、スマートフォン１のメモリ（記憶装置）に格納された画面操作用のプログラムがプロセッサによって実行されることで実現されるものである。履歴記憶部１７は、ワークメモリの中に確保される記憶領域である。なお、これらの機能要素のうちの全部または一部を専用のチップ（ＡＳＩＣやＦＰＧＡなど）で構成しても構わない。
【００３６】
画像入力部１１は、スマートフォン１の内蔵カメラから、操作者２の顔を撮影した画像を取り込む機能である。画面操作装置１０の起動中は、画像入力部１１によって所定の時間間隔で（例えば、１秒間に数フレーム〜十数フレーム）画像の取り込みが行われる。
【００３７】
顔向き推定部１２は、画像入力部１１で取り込まれた画像を解析して、操作者２の顔向きを推定する機能である。画像から顔向きを推定するアルゴリズムは多くのものが提案されており（例えば、非特許文献１参照）、いずれのアルゴリズムを採用してもよい。本実施形態の顔向き推定部１２は、目、鼻、口などの顔器官の特徴点群で構成される３次元顔モデルを画像内の顔部分に当てはめるモデルフィッティングの手法により、顔の位置、大きさ、顔向きや、各顔器官の位置などを推定する。なお、顔の奥行方向（カメラの光軸方向）の位置（つまり画面と顔の距離）については、画像内の顔の大きさなどから推定することができる。顔向きは、３次元顔モデルの姿勢ベクトル（３次元ベクトル）として与えられる。３次元ベクトルは、例えばｘｙｚ、ロール・ピッチ・ヨーなど、任意の座標系で表現できるが、本実施形態ではｘｙｚ座標系で説明する。
【００３８】
視線推定部１３は、画像入力部１１で取り込まれた画像を解析して、操作者２の視線の方向を推定する機能である。視線検出や視線推定のアルゴリズムも多くのものが提案されており（例えば、非特許文献１〜３参照）、いずれのアルゴリズムを採用してもよい。例えば、顔向き推定部１２のモデルフィッティングの結果を用いて、顔の大きさと目の位置などから眼球の大きさと中心位置を推定するとともに、顔画像から黒目の位置を検出し、眼球の中心と黒目の中心を結ぶベクトルを視線方向と仮定することができる。あるいは、様々な視線方向の目の画像の特徴量（白目と黒目の相対位置、濃淡、テクスチャなど）を予め学習しておき、それらの特徴量との類似度を評価することにより視線方向を推定してもよい。視線方向も３次元ベクトルとして与えられる。なお、視線方向の３次元ベクトルの一部の値を顔向きの３次元ベクトルの値と共通にしたり（例えば始点の座標を共通にするなど）、視線方向の３次元ベクトルを顔向きの３次元ベクトルの相対値（顔向き３次元ベクトルを基準とした相対角など）で表現してもよい。
【００３９】
注視条件判定部１４は、操作者２がスマートフォン１の画面を注視しているか否かを判定する機能である。また、顔向き条件判定部１５は、操作者２の顔向きが所定の条件を満たすか否かを判定する機能である。また、画面操作部１６は、注視条件判定部１４と顔向き条件判定部１５の判定結果に基づき、対応する画面操作を実行する機能である。履歴記憶部１７は、画像毎の顔向きや視線などの情報を一時的に記憶する記憶領域である。これらの機能の詳細は後述する。
【００４０】
（処理フロー）
図３は、第１実施形態の画面操作装置のメイン処理のフローチャートである。この処理は、スマートフォン１に操作対象となり得る画面が表示されているあいだ（例えば、スクロールやページ移動が可能な画面が表示されているとき）、所定の時間間隔で繰り返し実行されるものである。前述のとおり、本実施形態では１秒間に数フレーム〜十数フレームの画像を処理するので、１秒間に数回〜十数回のサイクルで図３のフローが実行される。
【００４１】
まず、画像入力部１１がカメラから１枚の画像を取り込む（ステップＳ３０）。ここで扱う画像はモノクロ画像でもカラー画像でもよい。
【００４２】
次に、顔向き推定部１２が、ステップＳ３０で取り込まれた画像から顔向きを推定する（ステップＳ３１）。顔向き推定の結果として、顔向きの３次元ベクトル、顔の位置、大きさ、各顔器官の位置などの情報が得られる。これらの顔向き推定の結果は、履歴記憶部１７に格納される。
【００４３】
次に、視線推定部１３が、ステップＳ３０で取り込まれた画像から視線を推定する（ステップＳ３２）。顔向き推定の結果を利用する場合には、履歴記憶部１７から必要な情報を読み込めばよい。視線推定の結果として、操作者２の目の位置、視線方向の３次元ベクトルなどの情報が得られる。視線推定の結果は、履歴記憶部１７に格納される。
【００４４】
次に、注視条件判定部１４が、履歴記憶部１７に格納された視線推定結果を参照して、操作者２が画面を注視しているか否かの判定を行う（ステップＳ３３）。画面を注視するとは、画面を一瞬見ただけでは足りず、所定時間以上画面を見続けることを意味する。本実施形態では、注視と判定する所定時間を１秒に設定するが、この所定時間の値は操作対象となる機器の種類、アプリケーションの種類、画面の大きさなどに応じて適宜設定すればよい。また、操作者が設定値を変更できるようにしてもよい。
【００４５】
注視条件判定部１４の判定処理について、図４を参照して詳しく説明する。図４は、スマートフォン１の画面４０を正面からみた図であり、画面中央部の点線矩形４１は、画面内に設定された注視エリア４１を示している。本実施形態では、操作者２の視線がこの注視エリア４１内に入っている状態が１秒以上続いたことをもって、「注視状態」と判定する。具体的には、注視条件判定部１４は、履歴記憶部１７から直近１秒分の視線推定結果を読み出し、それぞれの視線について視線と画面との交点を計算する。スマートフォン１のカメラ４３と画面４０の相対位置は既知であるため、視線（目の位置を通り視線方向に平行な直線）と画面４０との交点は幾何学的に計算することが可能である。図４の画面４０上の点４２は、直近１秒分の視線と画面４０の交点をプロットしたものである。図４の例では全ての点４２が注視エリア４１内に入っているため、「注視状態」と判定される。もし注視エリア４１の外にはずれた視線があった場合には、「注視状態でない」と判定される。判定処理を高速化するため、計算した交点の座標もしくは注視エリアの内か外かのフラグを履歴記憶部１７に格納し、同じ視線に対する交点の計算や注視エリアの内外判定を二回目以降省略することが好ましい。
【００４６】
なお、注視エリアの位置、大きさ、数は任意に設定できる。例えば、画面の端部を注視エリアに設定してもよいし、画面の上下左右の４箇所に注視エリアを設定してもよいし、画面全体を注視エリアに設定してもよい。あるいは、画面に表示しているコンテンツに応じて動的に注視エリアの位置、大きさ、数などを変えることもできる。例えば、ブラウザやドキュメントビューアの場合には、文章や画像が表示されている位置に注視エリアを設定すれば、操作者の注視判定の信頼性を向上することができる。
【００４７】
注視条件判定部１４によって「注視状態でない」と判定された場合には（ステップＳ３３：ＮＯ）、顔向きの判定等の処理はスキップし、処理を終了する。これにより、図１（ｂ）、（ｃ）に示したような、意図しない顔向きの変化による誤操作を防止することができる。
【００４８】
一方、注視条件判定部１４によって「注視状態」にあると判定された場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３４の顔向き条件判定に進む。ステップＳ３４では、顔向き条件判定部１５が、履歴記憶部１７に格納された顔向き推定結果を参照して、操作者２の顔向きが所定の条件を満たすか否かの判定を行う。
【００４９】
顔向き条件判定部１５の判定処理について、図５を参照して詳しく説明する。図５に示すｘｙｚ座標系は、スマートフォン１の画面を基準とした座標系であり、画面横方向にｘ軸、画面縦方向にｙ軸、画面の法線方向にｚ軸をとったものである。図５（ａ）は、スマートフォン１と操作者２の顔をｙ方向からみた図であり、図５（ｂ）は、ｘ方向からみた図である。
【００５０】
顔向き推定結果として、顔向きの３次元ベクトル５０が得られているものとする。顔向き条件判定部１５は、この顔向きのベクトル５０と基準方向ベクトル５１とのなす角度Δθ、すなわち基準方向に対する顔向きのずれ量Δθを、ｘ方向、ｙ方向のそれぞれについて計算する。ｘ方向のずれ量（ｙ軸回りの角度）をΔθｘ、ｙ方向のずれ量（ｘ軸回りの
角度）をΔθｙと呼ぶ。次に、顔向き条件判定部１５は、ずれ量Δθｘ、Δθｙと閾値Δθｔｈとを比較する。Δθｘ、Δθｙの少なくともいずれかが閾値Δθｔｈ以上であれば、「操作者の顔向きが基準方向から所定量以上ずれている」と判断し（ステップＳ３４：ＹＥＳ）、ステップＳ３５に進む。一方、Δθｘ、Δθｙがともに閾値Δθｔｈより小さい場合、つまり顔向きのずれが小さい場合には、画面操作の入力が行われていないと判断し、処理を終了する（ステップＳ３４：ＮＯ）。閾値Δθｔｈは顔向き検知の感度を制御するパラメータであり、０度以上の任意の値を設定できる。０度に設定した場合はもっとも感度が高く、顔向きが少しずれただけでも検知することとなる。
【００５１】
ここで、基準方向としては、例えば、（ａ）操作者２の視線方向、（ｂ）操作者２の顔が画面に正対したと仮定した場合の顔向き（つまりｚ方向が基準方向となる。）、または、（ｃ）操作者２が画面の注視を開始した時点の顔向き、などを採用できる。（ａ）は、視線方向と顔向きが一致している状態がニュートラル（顔向きのずれ無し）となるため、直観的で理解しやすいという利点がある。（ａ）は、例えば、画面が大きい機器（例えば、コンピュータのディスプレイ、テレビジョン装置など）に対する操作に向いていると考えられる。（ｂ）の基準方向は、画面に対して一意に決まるため、基準方向の決定に視線検出等の計算が必要ないという利点がある。（ｂ）は、例えば、視線検出の精度があまり高くない場合や、画面が小さい機器（例えば、スマートフォン、タブレット端末など）に対する操作に向いていると考えられる。なお、操作者は画面に正対した姿勢をいつもとるとは限らない。例えば、斜めから画面を見たり、視線だけを画面のほうに向ける場合もあり得る。そのようなケースでは、（ｃ）の基準方向を用いるのが好適である。
【００５２】
ステップＳ３５では、画面操作部１６が、所定の画面操作を実行する。例えば、画面スクロールやページ移動の命令をＯＳ（Operating System）またはアプリケーションプログラムが提供するＡＰＩ（Application Programming Interface）を利用して送信すること
で、動作中のアプリケーションプログラムの画面を操作することができる。画面操作としては、典型的には、画面スクロール、ページ移動（ページめくり）であるが、ポインタの操作、エリア指定、タブ切り替え、拡大・縮小など他の画面操作にも利用可能である。
【００５３】
以上述べた処理によれば、操作者２が画面の注視エリアを注視しながら、顔の向きをずらす、という動作を行うだけで、画面操作を行うことができる。図３のフローは繰り返し実行されるので、注視状態を維持したまま顔向きをずらしているあいだ、スクロールやページ移動が連続的に実行される。したがって、興味のないページの間は顔向きをずらし続け、興味のあるページが表示されたときに顔向きを元に戻す、という簡単な動作で興味のあるページまで一気に移動することができる。なお、その間、画面を注視しつづける必要があるが、どこでスクロールないしページ移動を停止するかを操作者自身がみて確認する必要もあるため、注視状態を条件とすることは理にかなっているといえる。
【００５４】
（変形例）
第１実施形態では、顔向き条件判定部１５は、「操作者の顔向きが基準方向から所定量以上ずれているか否か」を判定したが、「操作者の顔向きが基準方向からずれた状態が所定時間以上続いたか否か」を顔向き条件としてもよい。例えば、顔向きがずれた状態が０．５秒以上続いたら画面操作を行うという場合であれば、顔向き条件判定部１５は履歴記憶部１７から直近０．５秒分の顔向き推定結果を読み出し、それぞれの顔向きについてずれ量Δθを計算する。直近０．５秒のあいだの全ての顔向きで｜Δθ｜≠０となっていれば、顔向き条件を満たすと判定し、ステップＳ３５の画面操作を実行する。この場合の所定時間も顔向き検知の感度を制御するパラメータであり、任意の値を設定可能である。
【００５５】
あるいは、「操作者の顔向きが基準方向から所定量以上ずれた状態が所定時間以上続いたか否か」を顔向き条件としてもよい。例えば、顔向きがΔθｔｈ以上ずれた状態が０．
５秒以上続いたら画面操作を行うという場合であれば、顔向き条件判定部１５は履歴記憶部１７から直近０．５秒分の顔向き推定結果を読み出し、それぞれの顔向きについてずれ量Δθを計算する。直近０．５秒のあいだの全ての顔向きで｜Δθ｜≧Δθｔｈとなっていれば、顔向き条件を満たすと判定し、ステップＳ３５の画面操作を実行する。
【００５６】
また、閾値Δθｔｈは、予め決めておくこともできるし、ユーザが設定することもできるし、画面（あるいは操作対象機器）と顔（操作者）との距離に基づいて動的に決定することもできる。
【００５７】
また、顔向き条件判定部１５は、「顔向き点が、画面上に設定された基準位置から所定量以上ずれること」を顔向き条件としてもよい。「顔向き点」とは、操作者の顔内の所定の点を顔向きに平行に画面上に投影した点であり、顔の位置、顔向き、画面の位置などから幾何学的に計算することができる。「操作者の顔内の所定の点」は、例えば、顔の中心点、鼻の頂点、両目の中心点（眉間）などを採用できる。また、「画面上に設定された基準位置」としては、例えば、（ａ）操作者の視線と画面の交点、（ｂ）操作者の顔が画面に正対したと仮定した場合の顔向きの顔向き点、（ｃ）操作者が画面の注視を開始した時点の顔向きの顔向き点、（ｄ）画面の中心点、（ｅ）画面内の操作対象エリア（操作対象ウィンドウなど）の中心点、などを採用できる。なお、この場合も、「操作者の顔向き点が基準位置からずれた状態が所定時間以上続いたか否か」、または、「操作者の顔向き点が基準位置から所定量以上ずれた状態が所定時間以上続いたか否か」を顔向き条件としてもよい。この場合の所定量（閾値）は、角度でなく、画面上の距離ΔＤｔｈで表してもよい。この閾値ΔＤｔｈも、予め決めておくこともできるし、ユーザが設定することもできるし、画面（あるいは操作対象機器）と顔（操作者）との距離に基づいて動的に決定することもできる。
【００５８】
また、顔向き条件判定部１５は、「顔向き点が、画面上に設定された基準エリアの外側へずれること」、または、「顔向き点が基準エリアの外側へずれた状態が所定時間以上続くこと」を、顔向き条件として用いてもよい。「画面上に設定された基準エリア」の位置、大きさ、形状などは、予め決めておくこともできるし、ユーザが設定することもできるし、画面（あるいは操作対象機器）と顔（操作者）との距離に基づいて動的に決定することもできる。例えば、上記の「基準位置」を基準に基準エリアの位置を決めてもよい（基準位置を中心にして基準エリアを配置するなど）。なお、基準エリアの大きさを固定にしておけば、画面と顔の距離に応じて前述した閾値ΔＤｔｈを変えるのと実質的に同じ効果が得られる。
【００５９】
なお、基準位置または基準エリアに対するずれを判定する方法の場合も、第１実施形態と同様、基準位置または基準エリアからどちらの方向に顔向きがずれたかに応じて、スクロール方向などを変えることができる。
【００６０】
閾値ΔθｔｈやΔＤｔｈは、ｘ軸とｙ軸とでそれぞれ別の値を設定することもできる。また、ｘ軸の＋側と−側とで別の値を設定することもできる。ｙ軸の＋側、−側についても別の値を設定することもできる。＋側と−側とで別の値を設定する利点として、例えば電子書籍を閲覧している時に、ページの進む方向については閾値を小さめにしてスクロールしやすくし、ページの戻る方向について閾値を大きめにしてスクロールしにくくして誤操作低減を図る、などの利用例が考えられる。同様に、顔向き判定の「所定時間」についても、ｘ軸とｙ軸で別の値を設定したり、＋側と−側とで別の値を設定したりしてもよい。
【００６１】
第１実施形態では、対象機器（画面）と操作者（顔）のあいだの距離を画像内の顔の大きさから推定したが、他の方法を用いて距離を測定ないし推定することも可能である。例
えば、ステレオカメラにより操作者の顔を撮影しその視差情報から奥行方向の距離を計算する方法、対象機器に他の測距センサを設けて操作者までの距離を測定する方法などを採用できる。
【００６２】
なお、ここで述べた変形例の場合も、ｘ方向のずれ量Δθｘとｙ方向のずれ量Δθｙを別々に計算し、評価してもよい。また、判定処理を高速化するため、計算したずれ量を履歴記憶部１７に格納し、同じ顔向きに対する計算を二回目以降省略することが好ましい。
【００６３】
また、第１実施形態では、画面操作部１６は一種類の画面操作のみを実行するだけであったが、画面操作にバリエーションをつけることも可能である。例えば、画面操作部１６が、操作者２の顔向きのずれ方向に応じて、スクロールもしくはページ移動の方向を変えてもよい。具体的には、画面操作部１６が図６（ａ）に示すような画面操作テーブルを記憶しており、顔向き条件判定部１５により計算された顔向きのずれ量Δθｘ、Δθｙに応じて、実行する画面操作を切り替える。図６（ａ）の例では、｜Δθｘ｜≧｜Δθｙ｜かつΔθｘ＞０の場合に（顔が右を向いている場合）、右スクロールを実行し、｜Δθｘ｜≧｜Δθｙ｜かつΔθｘ＜０の場合に（顔が左を向いている場合）、左スクロールを実行する。また、｜Δθｘ｜＜｜Δθｙ｜かつΔθｙ＞０の場合に（顔が下を向いている場合）、下スクロールを実行し、｜Δθｘ｜＜｜Δθｙ｜かつΔθｙ＜０の場合に（顔が上を向いている場合）、上スクロールを実行する。このように顔向きのずれ方向とスクロールの方向を一致させることで、非常に直観的な操作性が得られる。なお、上下左右の４方向だけでなく、斜め４方向を加えた８方向のテーブルを用いてもよいし、あるいは、任意方向へのスクロールを行ってもよい。
【００６４】
さらに、画面操作部１６が、操作者２の顔向きのずれ量に応じて、スクロールもしくはページ移動の速度または量を変えてもよい。具体的には、画面操作部１６が図６（ｂ）に示すような画面操作テーブルを記憶しており、顔向き条件判定部１５により計算された顔向きのずれ量Δθに応じて、実行する画面操作の速度や量を切り替える。図６（ｂ）の例では、｜Δθ｜＞αの場合にスクロール速度を「高速」に設定し、｜Δθ｜≦αの場合にスクロール速度を「低速」に設定する。このような構成により、高速にスクロールしたい場合は顔向きの変化を大きくする、というように、スクロール速度（量）やページ移動速度（量）を直観的な動作で調整することができる。なお、図６（ｂ）では２段階に切り替えたが、３段階以上の切り替えを行ってもよいし、連続的（無段階）に切り替えを行ってもよい。また、図６（ａ）と図６（ｂ）を組み合わせて、複数種類の画面操作を多段階調整できるようにすることも好ましい。
【００６５】
＜第２実施形態＞
上記第１実施形態では、「視線」と「顔向き」の組み合わせにより画面操作を行ったのに対し、第２実施形態では、「視線」と「顔の動き」の組み合わせにより画面操作を行う点が異なる。画面操作装置の基本的な構成は第１実施形態のものと同様であるため、以下では、重複する説明は省略し、第２実施形態に特徴的な部分を主に説明する。
【００６６】
（装置構成）
図７は、第２実施形態に係る画面操作装置の機能構成を模式的に示す図である。この画面操作装置７０は、操作者２によるスマートフォン１の画面の操作を可能にするためのものであり、スマートフォン１の操作入力インターフェイスの一つとして実装されるものである。画面操作装置７０は、概略、画像入力部１１、顔向き推定部１２、視線推定部１３、注視条件判定部１４、顔動き条件判定部７５、画面操作部１６、履歴記憶部１７を有している。顔向き条件判定部１５の代わりに顔動き条件判定部７５を有している点以外は、第１実施形態（図２）と同じ構成のため、同一の符号を付す。
【００６７】
（処理フロー）
図８は、第２実施形態の画面操作装置のメイン処理のフローチャートである。この処理は、スマートフォン１に操作対象となり得る画面が表示されているあいだ（例えば、スクロールやページ移動が可能な画面が表示されているとき）、所定の時間間隔で繰り返し実行されるものである。前述のとおり、本実施形態では１秒間に数フレーム〜十数フレームの画像を処理するので、１秒間に数回〜十数回のサイクルで図８のフローが実行される。
【００６８】
ステップＳ８０〜Ｓ８２の処理は、第１実施形態（図３）のステップＳ３０〜Ｓ３２と同じ処理である。
【００６９】
次に、注視条件判定部１４が、履歴記憶部１７に格納された視線推定結果を参照して、操作者２が画面を注視しているか否かの判定を行う（ステップＳ８３）。第１実施形態と同様、注視と判定する所定時間を１秒に設定する。
【００７０】
注視条件判定部１４の判定処理について、図９を参照して詳しく説明する。図９は、スマートフォン１の画面９０を正面からみた図であり、画面９０上の点９１は、直近１秒分の視線と画面の交点をプロットしたものである。本実施形態では、操作者２の視線が画面９０内にあり、且つ、操作者２の視線の変化が所定量よりも小さい状態が１秒以上続いたことをもって、「注視状態」と判定する。具体的には、注視条件判定部１４は、第１実施形態と同じように直近１秒分の視線と画面の交点を計算する。そして、それらの交点のうち最も距離が離れている２点を選び（図９の点９１ａ、９１ｂ）、その２点間距離が所定の閾値よりも小さければ、「注視状態」と判定することができる。すなわち、第１実施形態とは違い特に注視エリアは設けず、画面９０内のどこかを操作者２が見続けた場合に注視状態と判定するのである。２点間距離でなく、例えば全ての点を包含する外接円の直径や、全ての点の座標の分散値などで、視線が集中してるか否かを評価してもよい。なお、本実施形態でも第１実施形態の判定方法（注視エリアを用いる方法）を採用してもよいし、逆に、本実施形態の判定方法を第１実施形態で用いることもできる。
【００７１】
注視条件判定部１４によって「注視状態でない」と判定された場合には（ステップＳ８３：ＮＯ）、顔動き判定等の処理はスキップし、処理を終了する。これにより、意図しない顔の動きによる誤操作を防止することができる。
【００７２】
一方、注視条件判定部１４によって「注視状態」にあると判定された場合には（ステップＳ８３：ＹＥＳ）、ステップＳ３４の顔動き条件判定に進む。ステップＳ８４では、顔動き条件判定部７５が、履歴記憶部１７に格納された顔向き推定結果を参照して、操作者２の顔が所定の動きをしたか否かの判定を行う。
【００７３】
所定の動きとしては、例えば、（１）顔向きもしくは顔の姿勢を変化させる動き、（２）まばたきもしくは目を閉じる動き、または、（３）所定の表情を作る動き、などを採用できる。（１）顔向きを変化させる動きとは、例えば、うなずく動作（首を上下に振る動作；ｘ軸回りの回転動作）、首振り動作（首を左右に振る動作；ｙ軸回りの回転動作）などである。履歴記憶部１７から直近数フレームの顔向きのベクトルを読み出し、ベクトルの向きの変化を評価することで、うなずく動作や首振り動作の検出が可能である。また、顔の姿勢を変化させる動きとは、例えば、首をかしげる動作（頭部を左右に傾ける動作；ｚ軸回りの回転動作）などである。これも例えば、顔向き推定における３次元顔モデルのフィッティング結果を利用して検出することが可能である。（２）まばたきや目を閉じる動きは、顔向き推定の結果や視線推定の結果から目の開き度合を計算し、直近数フレームの目の開き度合の変化を評価することで検出することができる。両目の動きを検出してもよいし、片目の動きだけを検出してもよい。（３）表情を作る動きとは、顔器官（目、鼻、口など）の動きであり、例えば、笑顔、口の開閉、顔をしかめる動きなど、どのような
ものでもよい。これも例えば、顔向き推定における３次元顔モデルのフィッティング結果（顔器官の位置関係など）などを利用して検出することが可能である。なお、顔向き、顔の姿勢、まばたき、目つむり、表情などを画像から推定するアルゴリズムは多くのものが提案されており、いずれのアルゴリズムを採用してもよい。
【００７４】
操作者２の顔が所定の動きを行ったと判定された場合（ステップＳ８４：ＹＥＳ）、ステップＳ８５に進む。一方、所定の動きが検出できなかった場合には、画面操作の入力が行われていないと判断し、処理を終了する（ステップＳ８４：ＮＯ）。
【００７５】
ステップＳ８５では、画面操作部１６が、所定の画面操作を実行する。ステップＳ８５の処理は第１実施形態と同様である。
【００７６】
以上述べた処理によれば、操作者２が画面の一部を注視しながら、うなずきや首振りなどの所定の動きを行う、という動作を行うだけで、画面操作を行うことができる。図８のフローは繰り返し実行されるので、注視状態を維持したまま顔の動きを繰り返していると、スクロールやページ移動が連続的に実行される。したがって、興味のないページの間は顔を動かし続け、興味のあるページが表示されたときに動きを止める、という簡単な動作で興味のあるページまで一気に移動することができる。なお、その間、画面を注視しつづける必要があるが、どこでスクロールないしページ移動を停止するかを操作者自身がみて確認する必要もあるため、注視状態を条件とすることは理にかなっているといえる。
【００７７】
（変形例）
第２実施形態においても、第１実施形態と同様、画面操作にバリエーションをつけることも可能である。例えば、画面操作部１６が、操作者２の顔の動きの種類に応じて、スクロールもしくはページ移動の方向を変えるとよい。具体的には、画面操作部１６が図１０（ａ）に示すような画面操作テーブルを記憶しており、顔動き条件判定部７５により検出された顔の動きに応じて、実行する画面操作を切り替える。図１０（ａ）の例では、うなずき動作で順方向のページ移動を実行し、首振り動作で逆方向のページ移動を実行する。これにより多様な画面操作を行うことができる。
【００７８】
また、画面操作部１６が、操作者２の顔の動きの大きさもしくは動きの速さに応じて、スクロールもしくはページ移動の速度または量を変えてもよい。具体的には、画面操作部１６が図１０（ｂ）に示すような画面操作テーブルを記憶しており、顔動き条件判定部７５により検出された顔の動きの大きさもしくは動きの速さに応じて、実行する画面操作の速度や量を切り替える。図１０（ｂ）の例では、うなずき動作の角度Δθが、｜Δθ｜＞βの場合にスクロール速度を「高速」に設定し、｜Δθ｜≦βの場合にスクロール速度を「低速」に設定する。このような構成により、高速にスクロールしたい場合は顔の動きを大きくしたり速くしたりする、というように、スクロール速度（量）やページ移動速度（量）を直観的な動作で調整することができる。なお、図１０（ｂ）では２段階に切り替えたが、３段階以上の切り替えを行ってもよいし、連続的（無段階）に切り替えを行ってもよい。また、図１０（ａ）と図１０（ｂ）を組み合わせて、複数種類の画面操作を多段階調整できるようにすることも好ましい。
【００７９】
＜その他の実施形態＞
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。
【００８０】
例えば、上記実施形態では、視線推定部１３は、一枚の画像から推定した視線推定結果を出力しているが、連続して取り込まれた複数の画像（例えば、数フレーム〜十数フレー
ム）のそれぞれから求めた複数の視線の代表値（例えば、平均、最頻値、中央値など）を視線の推定結果として出力するようにしてもよい。一般に、人の視線方向は小刻みに揺れたり、突然大きく変化したりする。したがって、視線方向の瞬時値だけを評価しても、視線が安定せず、いつまでも注視状態と判定されないおそれがある。そこで、複数の視線の代表値を用いることで、視線方向の揺れや急激な変化などのノイズを緩和もしくは除去し、注視判定の精度向上を図ることができる。なお、同様の処理を顔向き推定に適用することも好ましい。
【００８１】
画面操作装置が、「注視」と判定されている状態であることを操作者に通知する通知部を有していてもよい。これにより、操作者は、第一の条件である注視条件が満たされ、顔向きや顔の動きにより画面操作を入力可能な状態になったこと、を知ることができ、ユーザビリティの向上が図られる。なお、通知の方法としては、例えば、画面にアイコンや所定の図形を表示する、メッセージを表示する、ＬＥＤを点灯する、音で知らせる、振動で知らせる、画面端または操作対象ウィンドウの枠の色や太さを変更する、操作対象がウィンドウである場合はウィンドウの大きさを変更する、などの方法を採用できる。
【００８２】
また、上記実施形態ではスマートフォンの画面操作を例示したが、本発明は、例えば、パーソナルコンピュータ、携帯電話、タブレット端末（スレート型端末）、携帯情報端末、ゲーム装置、テレビジョン装置、撮像装置など、画面を有するあらゆる電子機器に対し好ましく適用できる。
【符号の説明】
【００８３】
１：スマートフォン
２：操作者
１０：画面操作装置
１１：画像入力部
１２：顔向き推定部
１３：視線推定部
１４：注視条件判定部
１５：顔向き条件判定部
１６：画面操作部
１７：履歴記憶部
７０：画面操作装置
７５：顔動き条件判定部
【図１】
2015087824.tif 000003
【図２】
2015087824.tif 000004
【図３】
2015087824.tif 000005
【図４】
2015087824.tif 000006
【図５】
2015087824.tif 000007
【図６】
2015087824.tif 000008
【図７】
2015087824.tif 000009
【図８】
2015087824.tif 000010
【図９】
2015087824.tif 000011
【図１０】
2015087824.tif 000012