(57)【要約】【課題】画像処理を行う操作者に対して、画像毎に注視すべき領域を表示して、簡易且つ高品質な画像処理を実行可能とする。【解決手段】例えば「風景、ポートレートなどの画像種類」、「色、エッジ量などの画像特徴」、および「操作者が施そうとしている画像処理操作」毎に、実験などにより注視領域を決定する。そして、入力画像に対して操作者が施そうとしている画像処理操作および画像情報から、画像処理操作を施す際に操作者が注視すべき注視領域を明示し、操作者の視線を注視領域に誘導する。これにより、画像処理操作を行っている非熟練者に対して、画像処理の種類毎に、注視すべき画像領域を指し示すことができ、簡易且つ高品質な画像処理を実行可能とすることができる。【選択図】図１２
2016001467.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の種類を識別する識別部と、
操作者が行った画像処理の種類を検出する処理検出部と、
前記入力画像の種類毎に定められている画像特徴を、前記入力画像から抽出する特徴抽出部と、
前記入力画像の種類、検出された前記画像処理の種類、および抽出された前記画像特徴を用いて、前記入力画像中の注視領域を決定する注視領域決定部と、
決定された前記注視領域に操作者の視線を誘導するための誘導表示を行う表示制御部と
を有する画像処理装置。
【請求項２】
前記表示制御部は、決定された前記注視領域を塗りつぶして表示する表示形態、前記注視領域以外の領域を塗りつぶして表示する表示形態、前記注視領域を点滅させて表示する表示形態、前記注視領域の輪郭線を描画処理する表示形態、および前記注視領域を指し示すマーカを表示する表示形態のうち、少なくとも一つにより、前記誘導表示を行うこと
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記識別部は、シーン識別処理を用いて前記入力画像の種類を識別すること
を特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記処理検出部は、操作者による画像処理操作の操作情報を用いて前記画像処理の種類を検出すること
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の画像処理装置。
【請求項５】
前記特徴抽出部は、画像処理の実行時における、入力画像の種類、画像処理フィルタの種類、前記画像処理フィルタのパラメータ、および注視領域の画像を記録し、注視領域以外の領域との弁別能が所定以上となるように、判別分析または主成分分析により、予め定められた特徴群から利用する特徴の組み合わせを選択すること
を特徴とする請求項１から請求項４のうち、いずれか一項に記載の画像処理装置。
【請求項６】
前記注視領域決定部は、新たな入力画像から前記画像特徴を抽出し、閾値処理および投票処理の組み合わせにより、前記注視領域を決定すること
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の画像処理装置。
【請求項７】
入力画像の画像種類を識別する識別部と、
操作者から指定された画像処理の画像処理種類を検出する処理検出部と、
前記操作者の視線を追跡し、前記入力画像上の注視領域を検出する注視領域検出部と、
前記入力画像の画像種類、前記画像処理種類、および、検出された前記注視領域に基づき、前記入力画像の前記注視領域の特徴量を抽出する特徴抽出部と、
前記入力画像の画像種類、前記画像処理種類、および、抽出された前記画像特徴を用いて、前記操作者の画像処理の熟練度を判定する判定部と、
判定された操作者の熟練度に対応する画像処理を推奨する推奨部と
を有する画像処理装置。
【請求項８】
前記識別部は、シーン識別処理により、前記入力画像の画像種類を識別すること
を特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記処理検出部は、操作部の操作情報を用いて、前記画像処理種類を検出すること
を特徴とする請求項７または請求項８に記載の画像処理装置。
【請求項１０】
前記特徴抽出部は、他の操作者により行われた画像処理における入力画像の画像種類、画像処理フィルタの種類、画像処理フィルタのパラメータ、画像処理時の注視領域の画像を記録し、注視領域と注視領域以外の領域との弁別能が所定以上となるように、予め定められた特徴群から正準判別分析、または、主成分分析により、利用する特徴の組み合わせ選択を行うこと
を特徴とする請求項７から請求項９のうち、いずれか一項に記載の画像処理装置。
【請求項１１】
前記推奨部は、判定されたスキルレベルに応じて、画像処理フィルタの組み合わせを変更した画像処理を推奨すること
を特徴とする請求項７から請求項１０のうち、いずれか一項に記載の画像処理装置。
【請求項１２】
前記入力画像の画像種類、前記画像処理種類、および、抽出された前記画像特徴を、判定されたスキルレベルに関連付けて記憶部に記憶する記憶制御部を有すること
を特徴とする請求項７から請求項１１のうち、いずれか一項に記載の画像処理装置。
【請求項１３】
識別部が、入力画像の画像種類を識別する識別ステップと、
処理検出部が、操作者から指定された画像処理の画像処理種類を検出する処理検出ステップと、
注視領域検出部が、前記操作者の視線を追跡し、前記入力画像上の注視領域を検出する注視領域検出ステップと、
特徴抽出部が、前記入力画像の画像種類、前記画像処理種類、および、検出された前記注視領域に基づき、前記入力画像の前記注視領域の特徴量を抽出する特徴抽出ステップと、
判定部が、前記入力画像の画像種類、前記画像処理種類、および、抽出された前記画像特徴を用いて、前記操作者の画像処理の熟練度を判定する判定ステップと、
推奨部が、判定された操作者の熟練度に対応する画像処理を推奨する推奨ステップと
を有する画像処理方法。
【請求項１４】
コンピュータを、
入力画像の画像種類を識別する識別部と、
操作者から指定された画像処理の画像処理種類を検出する処理検出部と、
前記操作者の視線を追跡し、前記入力画像上の注視領域を検出する注視領域検出部と、
前記入力画像の画像種類、前記画像処理種類、および、検出された前記注視領域に基づき、前記入力画像の前記注視領域の特徴量を抽出する特徴抽出部と、
前記入力画像の画像種類、前記画像処理種類、および、抽出された前記画像特徴を用いて、前記操作者の画像処理の熟練度を判定する判定部と、
判定された操作者の熟練度に対応する画像処理を推奨する推奨部として機能させること
を特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
今日において、パーソナルコンピュータ装置を用いて印刷物を作成するＤＴＰ（Desktop  Publishing）が知られている。ＤＴＰにおいては、イラストおよびパーツなどを作成する線画作成ソフトウェア、写真などのパーツを加工する画像処理ソフトウェア、および紙面上における各パーツの配置を調整するレイアウトソフトウェアを用いて印刷物の作成を行う。具体的には、例えばＩｌｌｕｓｔｒａｔｏｒ（登録商標）、Ｐｈｏｔｏｓｈｏｐ（登録商標）、ＩｎＤｅｓｉｇｎ（登録商標）などのソフトウェアが用いられ、印刷物が作成される。
【０００３】
特許文献１（特開平６−０００１６２号公報）には、予め観察される画像および観察者の視線の動きを記録し、画像の特徴および視線を関連付けたモデルを作成し、入力画像が未知の場合に、視線から画像特徴を推測する技術が開示されている。また、この特許文献１には、視線情報が未知の場合には、画像特徴から視線を推測する技術が開示されている。
【０００４】
特許文献２（特許第４１４１９８６号公報）には、雑誌またはウェブページ（ドキュメント）などの様々なコンテンツが混在する対象に対して、ユーザの視線の動き（アイフロー）を、ドキュメントの構成要素の空間的配置から予測する技術が開示されている。
【０００５】
特許文献３（特許第４２０７８８３号公報）には、撮像された画像中のオブジェクトを抽出し、代表点から視線誘導度を計算する技術が開示されている。また、特許文献３には、ＤＴＰなどでタイトル、写真、本文などが含まれる文書を対象として、視線誘導度を計算する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、人間の視線の動きは、画像の種類と画像中のオブジェクトに強く影響を受ける。特許文献１の技術の場合、画像種類によるモデルの変更は困難であり、また、画像内容の異なる複数の画像に対して均一に充分な精度を確保することは困難な問題がある。また、特許文献１の技術は、画像の観測に特化した技術であり、ＤＴＰなどの画像処理中の視線の動きに対応することは困難である。
【０００７】
また、特許文献２に開示されている技術の場合、タイトル、本文、写真などの配置情報から、それらのパーツに対する視線の誘導度を計算するため、各パーツの内部での視線の動きを予想困難な問題がある。すなわち、特許文献２に開示されている技術の場合、写真領域単位での視線情報は予測できるが、写真の内部での視線の動きを予測することは困難となる。
【０００８】
また、特許文献３に開示されている技術の場合、入力画像の内容に応じた適応的なモデル選択が困難であり、画像内容によっては充分な予測精度を得難い問題がある。
【０００９】
このように特許文献１〜特許文献３に開示されている技術を含む従来の技術では、画像処理を行う操作者の注視領域を、さまざまな種類の画像の画像領域毎に検出困難な問題があった。
【００１０】
本発明は、上述の課題に鑑みてなされたものであり、画像処理を行う操作者の注視領域を、さまざまな種類の画像の画像領域毎に検出可能とした画像処理装置、画像処理方法、および画像処理プログラムの提供を目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、入力画像の種類を識別する識別部と、操作者が行った画像編集処理の種類を検出する処理検出部と、入力画像の種類毎に定められている画像特徴を、入力画像から抽出する特徴抽出部と、入力画像の種類、検出された画像編集処理の種類、および抽出された画像特徴を用いて、入力画像中の注視領域を決定する注視領域決定部と、決定された注視領域に操作者の視線を誘導するための誘導表示を行う表示制御部とを有する。
【発明の効果】
【００１２】
本発明によれば、画像処理を行う操作者の注視領域を、さまざまな種類の画像の画像領域毎に検出できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、第１の実施の形態の画像処理装置のハードウェア構成図である。
【図２】図２は、第１の実施の形態の画像処理装置のソフトウェア構成図である。
【図３】図３は、第１の実施の形態の画像処理装置で用いられる識別器の一例を示す図である。
【図４】図４は、画像のコントラスト調整のアプリケーション操作による、調整後コントラストレベルと頻度を示す図である。
【図５】図５は、コントラスト調整のアプリケーション操作を行っている画像中の注視位置を画像と重ね合わせた図である。
【図６】図６は、第１の実施の形態の画像処理装置が保持する、画像の注視位置における特徴量のデータ構造を説明するための図である。
【図７】図７は、原画像から抽出した特徴量に対応する画像を示す図である。
【図８】図８は、合計特徴量に対応する画像を示す図である。
【図９】図９は、注視領域が算出された画像を示す図である。
【図１０】図１０は、第１の実施の形態の画像処理装置の学習段階における動作の流れを示すフローチャートである。
【図１１】図１１は、第１の実施の形態の画像処理装置の認識段階における動作の流れを示すフローチャートである。
【図１２】図１２は、第１の実施の形態の画像処理装置における注視領域の表示形態の一例を示す図である。
【図１３】図１３は、第２の実施の形態の画像処理装置における、コントラスト調整および色度補正の２種類の画像処理種類で試作された線形結合識別器の実験結果を示す図である。
【図１４】図１４は、第２の実施の形態の画像処理装置における、横軸をコントラスト補正の特徴空間の距離、縦軸を色度補正の特徴空間の距離とする特徴空間上における各ユーザの位置を示したグラフである。
【図１５】図１５は、第２の実施の形態の画像処理装置の学習段階における動作の流れを示すフローチャートである。
【図１６】図１６は、第２の実施の形態の画像処理装置の認識段階における動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明を適用した実施の形態となる画像処理装置を詳細に説明する。
【００１５】
（第１の実施の形態）
まず、図１に、第１の実施の形態の画像処理装置１のハードウェア構成を示す。画像処理装置１としては、一般的なパーソナルコンピュータ装置（ＰＣ）を用いることができる。図１に示す画像処理装置１は、ネットワーク２を介して、例えばスキャナ機能を備えた画像取得装置３、プリンタ機能を備えた画像出力装置４、ハードディスクドライブ（ＨＤＤ）、または半導体メモリなどの記憶装置５と接続される。また、画像処理装置１は、内部のハードウェア構成として、情報処理を行うためのＣＰＵ６、情報処理の入出力情報、または途中情報などを保持するためのメモリ７、永続的記憶装置としての記憶部８、および他の機器との通信を行う通信インタフェース（通信Ｉ／Ｆ）９を備える。ＣＰＵ６〜通信Ｉ／Ｆ９は、内部のバスライン１０を介して相互に接続されている。
【００１６】
画像処理装置１が実行する画像処理プログラム（ＤＴＰアプリケーション）は、画像処理装置１の内部の記憶部８またはネットワーク２上の記憶装置５に記憶され、必要に応じて実行形式でメモリ７に展開される。次に、記憶装置５または画像取得装置３を駆動することで入力画像を取得し、画像情報をメモリ７に展開する。ＣＰＵ６は、予め定められた手法で、メモリ７に展開された画像情報を操作し、操作結果をメモリ７に書き込む。最終的に制御点情報を出力する場合には、内部の記憶部８または外部の記憶装置５に記憶させる。ＤＴＰは、「Desktop  Publishing」の略記である。
【００１７】
なお、ＤＴＰアプリケーションは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネットなどのネットワーク経由でインストールするかたちで提供してもよい。また、機器内のＲＯＭ等に予め組み込んで提供してもよい。ＤＶＤは、「Digital  Versatile  Disk」の略記である。
【００１８】
次に、図２に、ＣＰＵ６によりＤＴＰアプリケーションが実行されることで実現される各機能の機能ブロック図を示す。図２に示すように画像処理装置１は、視線追跡部１１、注視領域抽出部１２、認識処理部１３、学習処理部１４、画像処理記録部１５、画像特徴抽出部１６、シーン識別部１７、処理制御部１８、およびユーザインタフェース１９を有する。シーン識別部１７は、識別部の一例である。認識処理部１３は、処理検出部の一例である。画像特徴抽出部１６は、特徴抽出部および注視領域決定部の一例である。処理制御部１８は、表示制御部の一例である。
【００１９】
なお、この例においては、視線追跡部１１〜ユーザインタフェース１９は、ＣＰＵ６がＤＴＰアプリケーションを実行することでソフトウェア的に実現されることとした。しかし、視線追跡部１１〜ユーザインタフェース１９の一部、または全部をハードウェアで実現してもよい。
【００２０】
ユーザインタフェース１９は、操作者とのインタラクションを行う。ユーザインタフェース１９は、操作者から指示された各処理の制御のための情報を取得する。処理制御部１８は、一連の処理のフローおよびメモリ７上での画像を制御する。画像処理記録部１５は、操作者がＤＴＰアプリケーションで行った処理を記憶部８に記録する。視線追跡部１１は、ＤＴＰアプリケーション画面およびその他領域での操作者の視線の追跡と記録を行う。
【００２１】
学習処理部１４および認識処理部１３は、画像処理記録部１５からのＤＴＰ画像処理情報、シーン識別部１７からの入力画像の種類情報、注視領域抽出部１２および画像特徴抽出部１６からの注視領域における画像特徴を利用し、注視領域モデルの生成と利用を行う。シーン識別部１７は、一例として、非特許文献１（Reconfigurable  Models  for  Scene  Recognition,  S.  N.  Parizi  et.al.  （インターネットＵＲＬ：http://ieeexplore.ieee.org/xpl/login.jsp?reload=true&tp=&arnumber=6248001&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6248001）に開示されている手法を用いてシーン識別処理を行う。
【００２２】
利用する画像特徴は、様々な特徴量および構成があり得る。このため、例えば図３に示すように、ヒストグラム、相関曲線、ＣＬＤ、面、水平などの複数の特徴の識別器（弱識別器）２３を組み合わせた識別器を対象の画像種類毎に構成する。そして、前段のシーン識別部１７の認識結果に合わせて特徴量の組み合わせを選択する。これにより、より高精度なモデルを構成することができる。
【００２３】
注視領域抽出部１２は、視線追跡部１１の視線追跡出力を用いて、操作者が作業するＤＴＰアプリケーション画面内部での視線の位置を検出する。この視線追跡部１１は、例えば非特許文献２（SR-Research,  Eye-Link1000（インターネットＵＲＬ：http://www.sr-research.com/eyelink1000plus.html））に開示されている視線追跡技術を用いて視線の追跡を行う。なお、視線追跡部１１は、非特許文献２に開示されている視線追跡技術以外の視線追跡技術を用いてもよい。このシステムでは、予めキャリブレーションを行うことで、操作者が注視するディスプレイ上の位置を時系列で取得することができる。
【００２４】
次に、注視領域抽出部１２では、ディスプレイ上の位置をＤＴＰアプリケーション上の位置へマッピング処理する。ＤＴＰアプリケーションの画面上での構成は一定であるため、ＤＴＰアプリケーションの画面のうち、画像表示領域と、画像処理記録部１５から得られる画像の表示領域情報から、画像中の注視位置を計算する。注視位置が算出されると、注視領域抽出部１２は、画像特徴抽出部１６から画像注視位置における画像特徴を取得する。なお、取得する画像特徴は、所定の手法で正規化されているものとする。一例として、画像処理装置１の場合、全ての特徴量は、「０」を中心として「−１」から「＋１」の値域を持つ分布として、各画像特徴を正規化している。
【００２５】
注視位置における画像特徴の抽出においては、画像のセマンティクス（被写体の内容）が注視位置に与える影響を、以下に説明するように分離および低減する。すなわち、図４に示すように原画像２５、ブロック化画像２６、モザイク化画像２７を準備する。ブロック化画像２６は、原画像２５に対して予め定められたサイズのタイルを設定し、タイルの代表色で同タイルをすべて置き換えた画像である。モザイク化画像２７は、ブロック化画像２６の各タイルの位置をランダムに置き換えたものである。
【００２６】
これら３種類の画像２５〜２７を、いくつかの画像種類毎に複数用意する。図４の例の場合、図４中、（ａ）の符号を付して示す「水面のある風景画像」、図４中、（ｂ）の符号を付して示す「水面のない風景画像」、図４中、（ｃ）の符号を付して示す「マクロ」、および図４中、（ｄ）の符号を付して示す「ポートレート」の画像種類を示している。そして、それぞれ人間の被験者を用いた実験により、注視位置とその位置における画像特徴との組み合わせを記録する。この実験の例では、被験者に対して特定のＤＴＰ作業（アプリケーション操作）を行わせ、そのときの視線の動きを観察し記録している。
【００２７】
図４の各グラフは、被験者がコントラスト調整のアプリケーション操作を行った場合のグラフである。各グラフの横軸は、調整後コントラストレベル（preferred  contrast）を示し、縦軸は頻度を示している。画像の内容が理解できるのは原画像２５のみであるが、各グラフを見比べてわかるように、画像の内容の理解が困難なタイルの空間的配置が変更されたブロック化画像２６およびモザイク化画像２７の各ヒストグラムの間に有意な差がない。このことから、コントラスト調整においては、画像セマンティクスが結果に大きな影響を与えることが確認できる。
【００２８】
次に、図５に、コントラスト調整のアプリケーション操作を行っている画像中の注視位置を画像と重ね合わせた例を示す。図５の上段の各画像は、上述の「水面のある風景画像」、「水面のない風景画像」、「マクロ」、および「ポートレート」の各画像種類の平均輝度画像に対して注視位置のヒートマップを重畳した画像である。また、図５の下段の各画像は、上述の「水面のある風景画像」、「水面のない風景画像」、「マクロ」、および「ポートレート」の各画像種類の画像の色相関曲線（color  correlogram）に対してヒートマップを重畳した画像である。また、図５に示す各画像は、複数の画像および複数の被験者のヒートマップを重ねたものである。これにより、画像種類毎の特性を認識できる。
【００２９】
図５に示すヒートマップは、時間情報を落とすことで注視位置をわかりやすく示したものであるが、実際には画像処理装置１は、注視位置における特徴を、例えば図６に示すようなデータ構造で保持する。すなわち、画像処理装置１は、視線追跡部１１の時間解像度に応じて生成されたタイムスタンプ毎に、対応する注視位置のｘ座標、注視位置のｙ座標、相関曲線、および明度の各データを検出し、これらのデータのデータ量を注視位置における特徴の特徴量として認識する。
【００３０】
ここで、注視位置における画像の特徴の有用さを比較することで、注視領域を特徴付ける最も良い特徴セットと、その重み付け値を得ることができる。具体的には、画像特徴抽出部１６は、図６に示した注視位置における画像の特徴のデータセットの「主成分分析」を行う。これにより、データ分布を表すために最も寄与の高い特徴セットおよびその重み付け値を得ることができる。
【００３１】
または、画像特徴抽出部１６は、注視領域と注視領域以外の領域の弁別のために、図６に示した各データを、注視領域以外の領域から取得する。そして、画像特徴抽出部１６は、注視領域のデータセットと注視領域以外の領域のデータセットを「正準判別分析」する。これにより、注視領域と注視領域以外の領域を弁別するために、最も適した特徴セットおよびその重み付け値を得ることができる。
【００３２】
次に、画像処理装置１は、新たな入力画像が入力されると、まずシーン識別部１７がシーン識別処理を施し、新たな入力画像の種類を決定する。この画像の種類を決定する際に、操作者に画像種類を修正、または選択させてもよい。このように決定、修正、または選択された画像種類毎に予め用意された着目領域モデルを利用し、入力画像の全画素が走査される。図７〜図９を用いて一例を説明すると、画像特徴抽出部１６は、図７の（ａ）の符号を付した原画像から複数の特徴量を抽出する。図７の（ｂ）の符号を付した画像は、原画像から抽出した第１の特徴量に対応する画像である。図７の（ｃ）の符号を付した画像は、原画像から抽出した第２の特徴量の画像である。
【００３３】
また、画像特徴抽出部１６は、特徴量毎に正規化処理を施し、画素毎の合計を算出し、最終的な判別の基となる合計特徴量のデータを生成する。図８に示す画像が、合計特徴量に対応する画像である。一例ではあるが、合計特徴量は正規化済みの８ビットの値で表され、「２５５」の値は最高レベル（白レベル）を、「０」の値は最低レベル（黒レベル）を示すようになっている。そして、画像特徴抽出部１６は、合計特徴量を所定の閾値で２値化することで、図９に示す最終的な注視領域を算出する。
【００３４】
次に、以上説明した画像処理装置１の動作の流れを、学習段階および認識段階に分けて説明する。まず、図１０のフローチャートは、画像処理装置１の学習段階における動作の流れを示している。図１０のフローチャートのステップＳ１において、複数のうちの一枚の入力画像が入力されると、ステップＳ２においてシーン識別部１７により、入力画像の画像種類が決定され、または操作者により画像種類の指定が行われると共に、ステップＳ３において、画像処理の種類の指定が行われる。認識処理部１３は、指定された画像処理の種類を検出する。これにより、ステップＳ４において、処理制御部１８により、指定された画像処理が入力画像に施される。また、ステップＳ５において、視線追跡部１１により、画像処理中における操作者の視線追跡が実施される。
【００３５】
ステップＳ６では、注視領域抽出部１２が、画像処理中における操作者の注視領域を抽出する。ステップＳ７およびステップＳ９では、画像特徴抽出部１６が、ステップＳ１５で供給される、予め算出された各画像種類に適した注視領域抽出用の特徴セットを用いて、注視領域の画像の特徴量を算出する。また、ステップＳ８およびステップＳ１０では、画像特徴抽出部１６が、ステップＳ１５で供給される特徴セットを用いて、注視領域以外の領域の画像の特徴量を算出する。
【００３６】
次に、ステップＳ１１では、学習処理部１４が、全ての入力画像に対する、注視領域および注視領域以外の領域の画像の特徴量の算出処理が完了したか否かを判別する。特徴量の算出処理が完了していないものと判別した場合（ステップＳ１１：Ｎｏ）、学習処理部１４は、次に特徴量の算出処理を行う画像を指定すべく、ステップＳ１２において、算出処理済みの画像の数をカウントするカウンタのカウント値を１つインクリメントして、処理をステップＳ１に戻す。
【００３７】
これに対して、全ての入力画像に対する特徴量の算出処理が完了したものと判別した場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１３に処理が進む。ステップＳ１３では、画像特徴抽出部１６が、注視位置における画像の特徴のデータセットの「正準判別分析」または「主成分分析」を行う。これにより、データ分布を表すために最も寄与の高い特徴セットおよびその重み付け値を得ることができ、ステップＳ１４において、着目領域モデルとして、例えば記憶部８に記憶される。
【００３８】
次に、図１１のフローチャートは、画像処理装置１の認識段階における動作の流れを示している。図１１のフローチャートのステップＳ２１において、複数のうちの一枚の入力画像が入力されると、ステップＳ２２においてシーン識別部１７により、入力画像のシーンが識別される。また、ステップＳ２３において、操作者が希望する画像処理の種類が指定される。さらに、ステップＳ２９において、画像の種類の検出が行われる。
【００３９】
次に、ステップＳ２４およびステップＳ２５では、検出された画像種類と指定された画像処理種類に応じて着目領域モデルが選択され、選択された着目領域モデルを用いて、注視領域抽出部１２が、ステップＳ２６およびステップＳ２７において、入力画像から注視領域を抽出する。そして、処理制御部１８が、ステップＳ２８において、注視領域に操作者の視線を誘導するための誘導表示を行う。
【００４０】
このような画像処理装置１の動作を換言すると、Ｎ人の操作者（熟練ユーザが好ましい）のグループユーザＢ（User_B（ｎ））により、予め複数（Ｍ種類）の画像処理F_training（ｍ）を、複数（Ｌ種類）の画像種類C_training（ｌ）に属する画像群I_trainingについて実施し、そのときのグループユーザＢの視線を記録する。そして、グループユーザＢの視線情報と、注視位置における画像情報を関連付けて解析する。
【００４１】
この解析では、予め利用する特徴候補を決めておき、注視領域の画像と、それ以外の画像領域からすべての特徴量を算出する。そして、正準判別分析を行うことで、両者の弁別に寄与率の高い特徴量を選択する。特徴量の選択は、例えば主成分分析などを用いても良い。特徴量の選択は、Ｌ種類の画像種類C_training、およびＭ種類の画像処理F_trainingそれぞれについて行われ、各画像種類に適した注視領域抽出用の特徴セットを予め算出しておく。
【００４２】
画像種類C_inputに属する新たな入力画像I_inputに対して、非熟練者であるユーザＡ（User_A）が画像処理F_inputを施す場合、画像種類の同定のために、入力画像I_inputのシーン識別を行う。画像種類としては、ユーザから手動で指定された画像種類を受け付けても良い。さらに、入力画像I_inputに対して施す画像処理F_inputが、ユーザＡにより選択される。画像種類と画像処理種類について強い相関がある場合、シーン識別により同定された画像種類に応じて、画像処理種類を自動的に決定、またはユーザＡに対して推奨しても良い。
【００４３】
同定された画像種類と指定された画像処理種類に応じて着目領域モデルが選択され、選択されたモデルを用いて入力画像I_inputから注視領域が抽出される。抽出された着目領域のモデルは、上述の注視領域画像情報の解析で得られた特徴セットの検出と、各特徴の検出器閾値処理と投票処理の組み合わせによる注視領域の抽出を行う。投票処理は、規定値によるグリッドを利用しても良いし、入力画像を予め他の方法で分割した結果に対する投票でも良い。このように同定された入力画像I_inputの注視領域を、例えば点滅処理する。
【００４４】
図１２に、画像処理装置１における視線誘導表示の一例を示す。図１２の（ａ）の符号を付した図、および（ｂ）の符号を付した図は、共に同じ海辺の画像である。図１２の（ａ）の符号を付した図においては、操作者が注視すべき注視領域として、例えば空の画像の位置にマーカ３０が表示されている。この状態で操作者が、カーソルＣＲを介して飽和レベルの変更操作を指定し、図１２の（ｂ）の符号を付した図に示すように、画像の「明るさ」を変更したとする。これにより、図１２の（ａ）および（ｂ）の符号を付した図を見比べてわかるように、画像処理の種類（この例の場合は、画像の明るさの変更）に応じた位置にマーカ３０が表示される。すなわち、この例の場合、画像の明るさが変更されることで、操作者が注視すべき注視領域を示すマーカ３０が、図１２の（ａ）の符号を付した図に示す空の画像の位置から、図１２の（ｂ）の符号を付した図に示す雲の画像の位置に移動されて表示される。
【００４５】
注視領域の表示の仕方としては、決定された注視領域を塗りつぶして表示する表示形態、注視領域以外の領域を塗りつぶして表示する表示形態、注視領域を点滅させて表示する表示形態、注視領域の輪郭線を描画処理する表示形態、および注視領域を指し示すマーカ３０を表示する表示形態のうち、少なくとも一つの表示形態で注視領域に対する誘導表示を行ってもよい。また、領域毎にハイライト表示またはマスク表示を行い操作者に指し示してもよい。すなわち、注視領域の表示の仕方としては、ＤＴＰアプリケーションで利用されるさまざまな手法を用いることが可能である。
【００４６】
このように第１の実施の形態の画像処理装置１は、画像処理において、画像処理種類および画像種類毎に注視画像領域情報をモデル化し、新たな入力画像の画像種類と、それに施すべき画像処理種類の情報から適切なモデルを選択し、新たな入力画像における注視領域を良好に予測する。これにより、入力画像I_inputに対して画像処理F_inputを施す際に、非熟練者であるユーザＡに対して注視すべき画像領域を示すことができ、簡易且つ高品質な画像処理を実行可能とすることができる。
【００４７】
以上の説明から明らかなように、第１の実施の形態の画像処理装置１は、操作者の作業および視線の記録を行う機能、および記録された画像処理作業手順情報、画像情報、視線情報を組み合わせて解析し、着目領域モデルを作成する機能を有する。また、第１の実施の形態の画像処理装置は、同モデルを用いて新たな入力画像から注視領域候補を抽出し、同領域にユーザの視線を誘導する機能、および同モデルを用いて新たな入力画像に対して施す画像処理のパラメータを決定する機能を有する。
【００４８】
すなわち、画像処理装置１は、例えば「風景、ポートレートなどの画像種類」、「色、エッジ量などの画像特徴」、および「操作者が施そうとしている画像処理操作」毎に、実験などにより注視領域を決定する。そして、入力画像に対して操作者が施そうとしている画像処理操作および画像情報から、画像処理操作を施す際に操作者が注視すべき注視領域を明示し、操作者の視線を注視領域に誘導する。
【００４９】
これにより、画像処理操作を行っている非熟練者に対して、画像処理の種類毎に、注視すべき画像領域を指し示すことができ、簡易且つ高品質な画像処理を実行可能とすることができる。
【００５０】
（第２の実施の形態）
次に、第２の実施の形態の画像処理装置の説明をする。なお、第２の実施の形態の説明では、上述の第１の実施の形態との差異の説明を行うことで、重複説明は省略する。
【００５１】
画像処理は、画像の種類、状態、内容、画像処理の目的、ユーザのスキルなどに応じてプロセスが変化する。第２の実施の形態の画像処理装置は、ユーザのスキルレベルに関する情報を利用し、ユーザが必要としている適切な画像処理プロセスを提案する。
【００５２】
具体的には、第２の実施の形態の画像処理装置は、熟練者の作業および視線に対応する画像処理情報、画像情報および視線情報を記録する機能、及び、記録された各情報を組み合わせて解析し、操作者の熟練度（スキルレベル）を判定するためのユーザグループ識別モデルを作成する機能を有する。
【００５３】
また、第２の実施の形態の画像処理装置は、ユーザグループ識別モデルと新たな入力画像、および、操作者の視線情報を用いて、操作者のスキルレベルを判定する機能を有する。また、第２の実施の形態の画像処理装置は、判定された操作者のスキルレベルと他の情報を用いて、入力画像に対する操作者向けの画像処理パラメータを決定する機能（画像処理を推奨する機能）を有する。
【００５４】
このような第２の実施の形態の画像処理装置は、まず、Ｎ人の熟練者グループUser_B(n)により、予め複数（Ｍ種類）の画像処理F_training(m)を、複数（Ｌ種類）の画像種類C_training(l)に属する画像群I_trainingについて実施し、そのときの熟練者グループUser_Bの視線を記録する。「Ｎ」、「Ｍ」、「Ｌ」は、それぞれ２以上の自然数である。また、ｎ＜Ｎ、ｍ＜Ｍ、ｌ＜Ｌである。
【００５５】
次に、このような視線の記録を、Ｎ’人の非熟練者グループUser_B’(n’)に対して行う。この視線の記録で用いる画像処理、画像種類、画像群については、熟練者グループUser_Bに対する試験で用いた内容と同一である。
【００５６】
次に、熟練者グループUser_Bおよび非熟練者グループUser_B’の各視線情報と、注視位置における画像情報とを関連付けて解析する。そして、ユーザグループ毎に、入力画像から予め定められた上述の画像特徴を算出し、熟練者グループUser_Bおよび非熟練者グループUser_B’の識別を行うための識別器を、算出した画像特徴を用いて生成する。
【００５７】
識別器を生成する際に用いる特徴量の選択は、例えば判別分析により、熟練者グループと非熟練者グループを弁別するための重みの大きい特徴を選択する。上位何個の特徴を使うかは予め定めておくか、又は、累積寄与率の閾値を定めておくことで決定できる。これ以外に、例えばディープラーニング等を用いて判別に利用する特徴を自動的に決定してもよい。例えば、熟練者グループUser_Bおよび非熟練者グループUser_B’の各操作者等の他の操作者により行われた画像処理における、入力画像の種類、画像処理フィルタの種類、画像処理フィルタのパラメータ、および、画像処理時の注視領域の画像を記録する。そして、注視領域と注視領域以外の領域との弁別能が所定以上となるように（例えば、最も高くなるように）、予め定められた特徴群から正準判別分析、または、主成分分析により、利用する特徴量の組み合わせ選択を行う。この特徴量の選択はＬ種類の画像種類C_training、及びＭ種類の画像処理F_trainingそれぞれについて行われ、各画像種類に適した注視領域抽出用の特徴セットを予め算出しておく。
【００５８】
次に、画像種類C_inputに属する新たな入力画像I_inputに対して、ユーザUser_Aが画像処理F_inputを施す場合、まず、施すべき画像処理F_inputが、画像処理システム上でユーザUser_Aにより選択される。第２の実施の形態の画像処理装置は、画像種類の同定のために、入力画像I_inputのシーン識別を行う。画像種類は、ユーザが手動で指定しても良い。
【００５９】
次に、第２の実施の形態の画像処理装置は、ユーザの視線情報を解析するために視線追跡を開始する。そして、画像処理装置は、「入力画像I_inputおよびユーザUser_Aにより選択された画像処理を、入力画像に対して施す場合の視線情報」、および、「視線情報で示される注視領域の画像情報」を入力として、ユーザUser_Aが熟練者であるか、又は、非熟練者であるかの判定を行う。このときの判定は、熟練者および非熟練者の２クラスを出力とする２値判定としても良い。または、熟練者と非熟練者との間の連続値判定としても良い。
【００６０】
また、画像種類、画像処理種類およびユーザグループの３者の間に強い相関がある場合、シーン識別により同定された画像種類に応じて、画像処理種類を自動的に決定、または、ユーザUser_Aに対して提供（推奨）しても良い。
【００６１】
このように、第２の実施の形態の画像処理装置は、画像処理種類および画像種類毎に、ユーザグループ識別モデルを作成する。また、新たな入力画像の画像種類と、それに施すべき画像処理種類の情報、および、ユーザが選択した画像処理から適切なユーザグループ識別モデルを選択する。そして、選択したユーザグループ識別モデルを用いてユーザグループを判定する。これにより、ユーザスキルに応じた、より適切な画像処理を操作者に提供（提案）できる。
【００６２】
このような第２の実施の形態の画像処理装置も、図１を用いて説明したハードウェア構成を有する。また、ソフトウェア構成としては、図２を用いて説明したように、視線追跡部１１、注視領域抽出部１２、認識処理部１３、学習処理部１４、画像処理記録部１５、画像特徴抽出部１６、シーン識別部１７、処理制御部１８およびユーザインタフェース１９を有している。認識処理部１３は、識別部および処理検出部の一例である。画像特徴抽出部１６は、特徴抽出部の一例である。視線追跡部１１および注視領域抽出部１２は、注視領域決定部の一例である。
【００６３】
ユーザインタフェース１９は、各処理の制御のため、操作者から情報取得を行う。処理制御部１８は、一連の処理のフローおよびメモリ上での画像処理を制御する。画像処理記録部１５は、操作者がＤＴＰアプリケーションで行った処理を記録する。視線追跡部１１は、ＤＴＰアプリケーション画面およびその他の領域での操作者の視線を追跡し記録する。認識処理部１３および学習処理部１４は、画像処理記録部１５からのＤＴＰ画像処理情報、およびシーン識別部１７からの入力画像の種類情報、注視領域抽出部１２及び画像特徴抽出部１６からの注視領域における画像特徴を利用し、ユーザグループ識別モデルの生成と利用を行う。
【００６４】
ここで、第２の実施の形態の画像処理装置は、以下のようにして、注視領域の画像特徴から操作者の熟練度（スキルレベル）を推定している。まず、視線情報の中で、特に画像認識に重要となる情報は、一定時間以上、視線位置が停止したことを示す「注視」の情報である。画像処理中に、視線が停止した位置（領域）に対応する画像の特徴は、他の領域に比べ、画像処理に対する影響が高いと考えられる。また、人間の網膜には、「中心窩」と呼ばれる、解像度が特に高い領域があり、この中心窩は物体認識に対しても強い影響があると考えられる。
【００６５】
第２の実施の形態の画像形成装置は、このようなことを考慮して、例えば
１．輝度
２．中心窩領域における輝度の分散
３．色度
４．中心窩領域における色度の分散
等のように注視領域に対する画像特徴を定義し、この特徴量の違いに基づいて、操作者のスキルレベルの推定および識別を行う。
【００６６】
第２の実施の形態の画像形成装置は、これらを各注視領域から算出し、試行毎にヒストグラムを作成する。このヒストグラムを特徴とし、例えばＳＶＭ(Support  Vector  Machine)等の識別器（ユーザグループ識別器）を用いて、ユーザグループの識別を行う。
【００６７】
また、画像の注視領域は、画像処理種類（Ｆ）および画像種類（Ｃ）に依存すると考えられる。このため、上述のユーザグループ識別器は、画像処理種類（Ｆ）毎、および、画像種類（Ｃ）毎に、それぞれ作成する。
【００６８】
なお、ユーザグループの識別精度を向上させるために、複数の画像処理種類を組み合わせても良い。図１３は、一例として、コントラスト調整および色度補正の２種類の画像処理種類（Ｆ）で試作された線形結合識別器の実験結果を示している。この図１３において、Ｎｏ．１〜Ｎｏ．８の数字は、実験を行ったユーザの通し番号（ユーザ番号：Ｕｓｅｒ  Ｎｏ．）である。また、１．０６０６０６０６１〜２．５１５１５１５１５の数値は、コントラスト補正の特徴空間における距離（contrast  distance：規格化）である。また、０．２４２４２４２４２〜１．１２１２１２１２１の数値は、色度補正の特徴空間における距離（color  distance：規格化）である。これらの数値が、ユーザグループ識別モデルにおける説明変数となる。
【００６９】
また、図１３において、１．３０３０３０３０３〜３．６３６３６３６３６の数値は、各ユーザのコントラスト補正の特徴空間における距離、および、色度補正の特徴空間における距離の加算値（sum  of   distance）である。また、「User_B（熟練者）」または「 User_B’（非熟練者）」の表記は、各ユーザの画像処理のユーザスキルレベルを示している。ユーザスキルレベルは、ユーザグループ識別モデルにおけるターゲット変数となる。
【００７０】
図１４は、横軸をコントラスト補正の特徴空間の距離、縦軸を色度補正の特徴空間の距離とする特徴空間上における各ユーザの位置を示したグラフである。グラフ上の○印は非熟練者の位置を示している。また、グラフ上の斜線の○印は、熟練者の位置を示している。
【００７１】
次に、以上説明した第２の実施の形態の画像処理装置の動作の流れを、学習段階および認識段階に分けて説明する。まず、図１５のフローチャートは、画像処理装置の学習段階における動作の流れを示している。この図１５のフローチャートのステップＳ３１では、操作者から入力された複数のうちの一枚の入力画像を、認識処理部１３が認識する。また、ステップＳ３２では、認識処理部１３が、操作者により指定されたユーザグループを認識する。また、ステップＳ３３では、認識処理部１３が、操作者により指定された画像種類を認識する。また、ステップＳ３４では、認識処理部１３が、操作者により指定された画像処理種類を認識する。
【００７２】
認識処理部１３は、指定された画像処理の種類を検出する。ステップＳ３５では、処理制御部１８が、指定された種類の画像処理を入力画像に対して施す。また、ステップＳ３６では、視線追跡部１１が、画像処理中における操作者の視線追跡を実施する。ステップＳ３７では、ステップＳ３５の画像処理で用いられた画像処理フィルタのパラメータを記憶部８に記憶する。
【００７３】
ステップＳ３８では、注視領域抽出部１２が、画像処理中における操作者の注視領域を抽出する。画像特徴抽出部１６は、予め算出された各画像種類に適した注視領域抽出用の特徴セットを、ステップＳ４７において取得する。そして、ステップＳ３９およびステップＳ４１において、画像特徴抽出部１６は、取得した注視領域抽出用の特徴セットを用いて注視領域の画像の特徴量を算出する。また、ステップＳ４０およびステップＳ４２において、画像特徴抽出部１６は、取得した注視領域抽出用の特徴セットを用いて注視領域以外の領域の画像の特徴量を算出する。
【００７４】
次に、ステップＳ４３では、学習処理部１４が、全ての入力画像に対する注視領域および注視領域以外の領域の画像の特徴量の算出処理が完了したか否かを判別する。全ての入力画像に対する特徴量の算出処理が完了していないものと判別した場合（ステップＳ４３：Ｎｏ）、学習処理部１４は、次に特徴量の算出処理を行う画像を指定すべく、ステップＳ４４において、算出処理済みの画像の数をカウントするカウンタのカウント値を１つインクリメントして、処理をステップＳ３１に戻す。これにより、新たな入力画像に基づいて、上述の注視領域および注視領域以外の領域の画像の特徴量の算出処理が行われる。
【００７５】
一方、全ての入力画像に対する特徴量の算出処理が完了したものと判別した場合（ステップＳ４３：Ｙｅｓ）、ステップＳ４５に処理が進む。ステップＳ４５では、画像特徴抽出部１６が、注視位置における画像の特徴のデータセットの主成分分析を行う。これにより、データ分布を表すために最も寄与の高い特徴セットおよびその重み付け値を得ることができ、ステップＳ４６において、ユーザグループ識別モデルとして、例えば記憶部８に記憶される。また、多数の画像処理事例から、特定の画像処理及び画像の組み合わせにおける、ユーザの注視領域周辺の画像特徴に基づいて、識別器を構成できる。
【００７６】
次に、図１６のフローチャートは、第２の実施の形態の画像処理装置の認識段階における動作の流れを示している。図１１のフローチャートのステップＳ５１において、複数のうちの一枚の入力画像が入力されると、ステップＳ５２においてシーン識別部１７により、入力画像のシーン識別処理が行われる。これにより、自動的に画像種類の同定を行うことができる。なお、画像種類は、操作者が指定してもよい。操作者から画像種類が指定された場合、ステップＳ５４において、認識処理部１３により、操作者から指定された画像種類の認識が行われる。また、ステップＳ５３では、操作者がＤＴＰアプリケーションに対応する操作を行うことで指定した画像処理の種類を、認識処理部１３が操作情報に基づいて認識する。
【００７７】
次に、操作者の視線情報を解析するために視線追跡を開始する。この視線追跡が開始されると、視線追跡部１１は、ステップＳ５９において、視線情報を順次生成する。
【００７８】
次に、処理制御部１８は、判定部の一例となっている。処理制御部１８は、ステップＳ５５において、入力画像の画像種類、入力画像に施す、操作者により選択された画像処理種類、および、ステップＳ５９で注視領域抽出部１２により抽出された、操作者の視線の注視位置に基づき、記憶部８に記憶されているユーザグループ識別モデルを参照する。そして、処理制御部１８は、ステップＳ５６において、上述の画像種類、画像処理種類および注視領域に対応するユーザレベル（熟練者または非熟練者）を、ユーザグループモデルから判定する。なお、このときの判定は、熟練者および非熟練者の２クラスを出力とする２値判定でも良いし、または、熟練者と非熟練者との間の連続値判定でも良い。
【００７９】
次に、ステップＳ５７では、推奨部の一例である処理制御部１８が、判定したユーザの熟練度（スキルレベル）に応じた画像処理を操作者に提案（推奨）する。推奨の仕方としては、表示部を介して推奨する画像処理を表示してもよいし、音声または光等で画像処理を推奨してもよい。なお、画像種類、画像処理種類、ユーザグループの３つの間に所定以上の相関がある場合、シーン識別（ステップＳ５２）により同定された画像種類に応じて、画像処理種類を自動的に決定、または、操作者に推奨しても良い。
【００８０】
ここで、推奨部の一例である処理制御部１８は、判定されたスキルレベルに応じて、画像処理フィルタの組み合わせを変更した画像処理を推奨する。ここでは、例えばスキルレベルが高い（熟練者）と判断されたユーザに対しては、予め記録された画像処理ステップの全てを提案する。これにより、熟練者と判断されたユーザが、提案内容を理解し改変する等の、目的に合わせた適応が可能となる。
【００８１】
逆に、スキルレベルが低い（非熟練者）と判断されたユーザに対しては、予め記録された画像処理ステップが入力画像に与える効果を、予め定められた「少数の関数」で近似し、その結果のみを提案する。これにより、非熟練者と判断されたユーザに対して、冗長な情報を提示する不都合を防止でき、画像処理の結果のみを再利用可能とすることができる。なお、「少数の関数」としては、例えばトーンカーブ関数を用いることができる。
【００８２】
最後に、ステップＳ５８では、記憶制御部の一例である画像処理記録部１５が、判定された操作者のスキルレベルと共に、入力画像の画像種類、操作者の画像処理種類および入力画像から抽出された画像特徴等を組として（関連付けて）記憶部８に記憶する。これにより、一度、操作者に対して画像処理の提案を行い、入力画像の画像種類、画像処理種類（画像編集処理の種類）および画像特徴の組を記録することができる。
【００８３】
以上の説明から明らかなように、第２の実施の形態の画像形成装置は、画像処理種類毎および画像種類毎に、それぞれユーザグループ識別モデルを作成する。また、入力画像の画像種類と、入力画像に施す画像処理種類の情報、および、操作者が選択した画像処理に基づいて、適切なユーザグループ識別モデルを選択する。そして、選択したユーザグループ識別モデルを用いて、ユーザグループ（熟練者または非熟練者）を判定する。これにより、操作者の熟練度（ユーザスキル）に応じた、より適切な画像処理を、操作者に提案（推奨）することができる他、上述の第１の実施の形態と同じ効果を得ることができる。
【００８４】
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８５】
１  画像処理装置
２  ネットワーク
３  画像取得装置
４  画像出力装置
５  記憶装置
６  ＣＰＵ
７  メモリ
８  記憶部
９  通信Ｉ／Ｆ
１０  バスライン
１１  視線追跡部
１２  注視領域抽出部
１３  認識処理部
１４  学習処理部
１５  画像処理記録部
１６  画像特徴抽出部
１７  シーン識別部
１８  処理制御部
１９  ユーザインタフェース
２３  識別器
３０  マーカ
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】特開平６−０００１６２号公報
【特許文献２】特許第４１４１９８６号公報
【特許文献３】特許第４２０７８８３号公報
【非特許文献】
【００８７】
【非特許文献１】Reconfigurable  Models  for  Scene  Recognition,  S.  N.  Parizi  et.al.  （インターネットＵＲＬ：http://ieeexplore.ieee.org/xpl/login.jsp?reload=true&tp=&arnumber=6248001&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6248001）
【非特許文献２】SR-Research,  Eye-Link1000（インターネットＵＲＬ：http://www.sr-research.com/eyelink1000plus.html）
【図１】
2016001467.tif 000003
【図２】
2016001467.tif 000004
【図６】
2016001467.tif 000005
【図１０】
2016001467.tif 000006
【図１１】
2016001467.tif 000007
【図１３】
2016001467.tif 000008
【図１５】
2016001467.tif 000009
【図１６】
2016001467.tif 000010
【図３】
2016001467.tif 000011
【図４】
2016001467.tif 000012
【図５】
2016001467.tif 000013
【図７】
2016001467.tif 000014
【図８】
2016001467.tif 000015
【図９】
2016001467.tif 000016
【図１２】
2016001467.tif 000017
【図１４】
2016001467.tif 000018