(57)【要約】【課題】  部分領域の配置そのものから観察者の視線の流れ方向を的確に予測できる視線誘導情報表示装置および視線誘導情報表示プログラム並びに視線誘導情報表示方法の提供。【解決手段】ビジュアルドキュメント200等の画像情報を部分領域に分割して認識した後、各部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出し、これら初期注目確率と、その視線誘導方向および確率とをそれぞれ表示し、それらの表示に基づいてそのビジュアルドキュメント200を観察するユーザの視線の流れる経路を予測する。これによって部分領域の配置そのものから観察者の視線の流れ方向を的確に予測できる。【選択図】        図１
2005050309.tif 000002
【特許請求の範囲】
【請求項１】
画像情報から視線誘導情報を計算する視線誘導情報計算手段と、
当該視線誘導情報計算手段で計算された視線誘導情報を表示する視線誘導情報表示手段と、
を備えたことを特徴とする視線誘導情報表示装置。
【請求項２】
請求項１に記載の視線誘導情報表示装置において、
前記視線誘導情報計算手段は、
入力された前記画像情報を部分領域に分割して認識する部分領域認識手段を備え、
前記視線誘導情報表示手段は、
前記部分領域毎の初期注目確率を表示する出力手段を備えていることを特徴とする視線誘導情報表示装置。
【請求項３】
請求項１に記載の視線誘導情報表示装置において、
前記視線誘導情報計算手段は、
入力された前記画像情報を部分領域に分割して認識する部分領域認識手段を備え、
前記視線誘導情報表示手段は、
前記部分領域毎の視線誘導方向とその確率を表示する出力手段を備えていることを特徴とする視線誘導情報表示装置。
【請求項４】
請求項１に記載の視線誘導情報表示装置において、
前記視線誘導情報計算手段は、
入力された前記画像情報を部分領域に分割して認識する部分領域認識手段を備え、
前記視線誘導情報表示手段は、
前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段を備えていることを特徴とする視線誘導情報表示装置。
【請求項５】
請求項１に記載の視線誘導情報表示装置において、
前記視線誘導情報計算手段は、
入力された前記画像情報を構成する部分領域毎の初期注目確率、または当該部分領域毎の視線誘導方向とその確率とから視線誘導経路を生成するようになっており、  
前記視線誘導情報表示手段は、
前記視線誘導情報計算手段で生成された前記初期注目確率、または視線誘導経路を表示するようになっていることを特徴とする視線誘導情報表示装置。
【請求項６】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示装置であって、
前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とを取得する視線誘導方向計算手段と、
前記初期注目確率計算手段で取得された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段と、
を備えたことを特徴とする視線誘導情報表示装置。
【請求項７】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示装置であって、
前記画像情報を入力する入力手段と、
入力された前記画像情報を部分領域に分割して認識する部分領域認識手段と、
当該部分領域認識手段で認識した部分領域毎の初期注目確率を算出する初期注目確率計算手段と、
前記部分領域認識手段で認識した部分領域毎の視線誘導方向とその確率とを算出する視線誘導方向計算手段と、
前記初期注目確率計算手段で算出された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段と、
を備えたことを特徴とする視線誘導情報表示装置。
【請求項８】
請求項７に記載の視線誘導情報表示装置において、
前記初期注目確率計算手段と視線誘導方向計算手段との算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出する視線誘導情報算出手段を備えると共に、
前記出力手段は、
前記視線誘導情報算出手段で算出された視線の流れる経路を表示するようにしたことを特徴とする視線誘導情報表示装置。
【請求項９】
請求項８に記載の視線誘導情報表示装置において、
指定された部分領域に限定した経路のみの視線誘導情報を指定する経路指定手段を備えたことを特徴とする視線誘導情報表示装置。
【請求項１０】
請求項７〜９のいずれか１項に記載の視線誘導情報表示装置において、
前記出力手段は、
前記初期注目確率計算手段で算出した初期注目確率を各部分領域毎に数値、又は色別あるいは色の濃さで表示するようにしたことを特徴とする視線誘導情報表示装置。
【請求項１１】
請求項７〜９のいずれか１項に記載の視線誘導情報表示装置において、
前記出力手段は、
前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向と確率とを、方向を示す図形と数値、又は方向を示す図形の強度で表示するようにしたことを特徴とする視線誘導情報表示装置。
【請求項１２】
請求項８〜１１のいずれか１項に記載の視線誘導情報表示装置において、
前記出力手段は、
前記視線誘導情報算出手段で算出された視線の流れる経路を、方向を示す図形で表示するようにしたことを特徴とする視線誘導情報表示装置。
【請求項１３】
請求項８〜１１のいずれか１項に記載の視線誘導情報表示装置において、
前記出力手段は、
前記視線誘導情報算出手段で算出された視線の流れる経路とその確率とを、方向を示す図形と数値、又は方向を示す図形の強度を組み合わせて表示するようにしたことを特徴とする視線誘導情報表示装置。
【請求項１４】
コンピュータを、
画像情報から視線誘導情報を計算する視線誘導情報計算ステップと、
当該視線誘導情報計算手段で計算された視線誘導情報を表示する視線誘導情報表示ステップと、
して機能させることを特徴とする視線誘導情報表示プログラム。
【請求項１５】
請求項１４に記載の視線誘導情報表示プログラムにおいて、
前記視線誘導情報計算ステップは、
入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、  前記視線誘導情報表示ステップは、
前記部分領域毎の初期注目確率を表示する出力ステップを有していることを特徴とする視線誘導情報表示プログラム。
【請求項１６】
請求項１４に記載の視線誘導情報表示プログラムにおいて、
前記視線誘導情報計算ステップは、
入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、
前記視線誘導情報表示ステップは、
前記部分領域毎の視線誘導方向とその確率を表示する出力ステップを有していることを特徴とする視線誘導情報表示プログラム。
【請求項１７】
請求項１４に記載の視線誘導情報表示プログラムにおいて、
前記視線誘導情報計算ステップは、
入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、  前記視線誘導情報表示ステップは、
前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力ステップを有していることを特徴とする視線誘導情報表示プログラム。
【請求項１８】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示プログラムであって、
コンピュータを、
前記画像情報を入力する入力ステップと、
入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップと、
当該部分領域認識手段で認識した部分領域毎の初期注目確率を算出する初期注目確率計算ステップと、
前記部分領域認識手段で認識した部分領域毎の視線誘導方向とその確率とを算出する視線誘導方向計算ステップと、
前記初期注目確率計算ステップで算出された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力ステップと、
して機能させることを特徴とする視線誘導情報表示プログラム。
【請求項１９】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示方法において、
前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出して表示し、当該表示に基づいて前記画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とする視線誘導情報表示方法。
【請求項２０】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示方法において、
前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出し、その算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出し、当該表示に基づいてその画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とする視線誘導情報表示方法。
【請求項２１】
請求項１９又は２０に記載の視線誘導情報表示方法において、
前記ユーザの視線の流れる経路の算出は、指定された部分領域を経由する経路に限定して行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項２２】
請求項２１に記載の視線誘導情報表示方法において、
前記部分領域の指定は、初期注目確率の大きいものから順に行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項２３】
請求項１９〜２２のいずれか１項に記載の視線誘導情報表示方法において、
前記ユーザの視線の流れる経路の算出は、指定された部分領域を始点又は終点として行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項２４】
請求項２３に記載の視線誘導情報表示方法において、
前記経路算出の始点となる部分領域は、初期注目確率の最も大きいものを指定するようにしたことを特徴とする視線誘導情報表示方法。
【請求項２５】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示すべくコンピュータを用いた視線誘導情報表示方法において、
前記コンピュータが、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出して表示し、当該表示に基づいて前記画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とする視線誘導情報表示方法。
【請求項２６】
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示すべくコンピュータを用いた視線誘導情報表示方法において、
前記コンピュータが、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出し、その算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出し、当該表示に基づいてその画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とする視線誘導情報表示方法。
【請求項２７】
請求項２５又は２６に記載の視線誘導情報表示方法において、
前記ユーザの視線の流れる経路の算出は、前記コンピュータが、指定された部分領域を経由する経路に限定して行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項２８】
請求項２７に記載の視線誘導情報表示方法において、
前記部分領域の指定は、前記コンピュータが、初期注目確率の大きいものから順に行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項２９】
請求項２５〜２８のいずれか１項に記載の視線誘導情報表示方法において、
前記ユーザの視線の流れる経路の算出は、前記コンピュータが、指定された部分領域を始点又は終点として行うようにしたことを特徴とする視線誘導情報表示方法。
【請求項３０】
請求項２９に記載の視線誘導情報表示方法において、
前記経路算出の始点となる部分領域は、前記コンピュータが、初期注目確率の最も大きいものを指定するようにしたことを特徴とする視線誘導情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製品カタログやＷｅｂページ等のドキュメントを作成するに際してその観察者の視線の流れ（アイフロー：Ｅｙｅ  ｆｌｏｗ）を的確に予測するための視線誘導情報表示装置および視線誘導情報表示プログラム並びに視線誘導情報表示方法に関するものである。
【背景技術】
【０００２】
一般に、タイトルや写真、文章、イラスト等を的確に配置してデザイン性を高めたドキュメント（以下、適宜「ビジュアルドキュメント」ともいう。）は、その出来具合によっては商品や企業に対するイメージや売り上げに大きく影響を与えることがある。
そのため、従来では、このようなビジュアルドキュメントの作成は、ドキュメントデザイナー等と呼ばれる専門的なスキルやデザインセンスを持つ者が一手に引き受ける領域となっており、現実にそれを専業とした多くのデザイン会社も設立されている。
【０００３】
このようなプロのデザイナーがビジュアルドキュメントを作成する際に意識するテクニックの１つとして、実際にビジュアルドキュメントを観る観察者（以下、本文では適宜、読者あるいはユーザともいう）の視線をどのように流すかといった、いわゆるアイフローのコントロールというテクニックがあることが知られている。
すなわち、プロのデザイナーは、１つの表示面上にタイトルや文章、写真、イラスト等といった複数の部分領域（以下、適宜、「ドキュメントパーツ」ともいう）を配置するに際して、その部分領域同士の情報の関連性のみならず、人間の視線の流れの特性を経験的に把握し、どのように配置すれば、最も見やすくかつ美しく配置できるか等といった経験的なノウハウを意識的にあるいは無意識に駆使してクライアントや読者の満足するビジュアルドキュメントのデザインを行っていると考えられている。
【０００４】
このため、ビジュアルドキュメントに関するデザイン開発等の経験がない（浅い）通常のビジネスマン等が質の高いビジュアルドキュメントを作成するためには、先ず、このような観察者の視線の流れを正確に予測することが重要なポイントと考えられており、このような観察者のアイフローに関する技術として、従来では例えば以下の特許文献１、２等に示すような技術が提案されている。
【特許文献１】特開２００２−１７５２９０号公報
【特許文献２】特開平６−１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、これら従来の技術は、観察者の視線をアイカメラ等で実際に計測して視線の流れを求めるという、従来からあるアイフローの検出方法を応用したものであり、各ドキュメントパーツの配置そのものから観察者のアイフローを予測することはできない。
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、ドキュメントパーツ（部分領域）の配置そのものから観察者のアイフローを的確に予測することができる新規な視線誘導情報表示装置および視線誘導情報表示プログラム並びに視線誘導情報表示方法を提供するものである。 
【課題を解決するための手段】
【０００６】
〔発明１〕前記課題を解決するために発明１の視線誘導情報表示装置は、
画像情報から視線誘導情報を計算する視線誘導情報計算手段と、当該視線誘導情報計算手段で計算された視線誘導情報を表示する視線誘導情報表示手段と、を備えたことを特徴とするものである。
これによって、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから後述するように視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【０００７】
なお、本発明でいう「画像情報」とは、１つのレイアウト面（表示面）上に複数の部分領域が一覧配置された視認可能な情報、例えば、前述したようなビジュアルドキュメントや単なるドキュメントや文書、画像、アルバムの他、整形済み電子文書、カタログ、ポスター、チャート図等であり、また、この「部分領域」とは、前記「画像情報」を構成する各要素、例えば、前述したようなタイトルや文章、写真、イラスト等であり、その形状や面積の大小は問わない（以下の視線誘導情報表示装置、視線誘導情報表示プログラム、視線誘導情報表示方法において同じである）。
【０００８】
〔発明２〕また、発明２の視線誘導情報表示装置は、
発明１に記載の視線誘導情報表示装置において、前記視線誘導情報計算手段は、入力された前記画像情報を部分領域に分割して認識する部分領域認識手段を備え、前記視線誘導情報表示手段は、前記部分領域毎の初期注目確率を表示する出力手段を備えていることを特徴とするものである。
【０００９】
すなわち、本発明は、前記視線誘導情報計算手段の部分領域認識手段によって前記画像情報を部分領域に分割して認識してから、前記視線誘導情報表示手段の出力手段がそれら各部分領域毎の初期注目確率を表示するようにしたものである。
これによって、発明１と同様に、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから後述するように視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【００１０】
〔発明３〕また、発明３の視線誘導情報表示装置は、
発明１に記載の視線誘導情報表示装置において、前記視線誘導情報計算手段は、入力された前記画像情報を部分領域に分割して認識する部分領域認識手段を備え、前記視線誘導情報表示手段は、前記部分領域毎の視線誘導方向とその確率を表示する出力手段を備えていることを特徴とするものである。
【００１１】
すなわち、本発明は、前記視線誘導情報計算手段の部分領域認識手段によって前記画像情報を部分領域に分割して認識してから、前記視線誘導情報表示手段の出力手段がそれら各部分領域毎の視線誘導方向とその確率を表示するようにしたものである。
これによって、発明１と同様に、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから後述するように視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【００１２】
〔発明４〕また、発明４の視線誘導情報表示装置は、
発明１に記載の視線誘導情報表示装置において、前記視線誘導情報計算手段は、入力された前記画像情報を部分領域に分割して認識する部分領域認識手段とを備え、前記視線誘導情報表示手段は、前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段を備えていることを特徴とするものである。
【００１３】
すなわち、本発明は、前記視線誘導情報計算手段の部分領域認識手段によって前記画像情報を部分領域に分割して認識してから、前記視線誘導情報表示手段の出力手段が、発明２のように各部分領域毎の初期注目確率と、発明３のように各部分領域毎の視線誘導方向とその確率をそれぞれ表示するようにしたものである。
これによって、発明１と同様に、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから後述するように視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【００１４】
〔発明５〕また、発明５の視線誘導情報表示装置は、
発明１に記載の視線誘導情報表示装置において、前記視線誘導情報計算手段は、入力された前記画像情報を構成する部分領域毎の初期注目確率、または当該部分領域毎の視線誘導方向とその確率とから視線誘導経路を生成するようになっており、前記視線誘導情報表示手段は、前記視線誘導情報計算手段で生成された前記部分領域毎の初期注目確率、または前記視線誘導経路を表示するようになっていることを特徴とするものである。
【００１５】
これによって、発明１と同様に、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから後述するように視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【００１６】
〔発明６〕また、発明６の視線誘導情報表示装置は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示装置であって、前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とを取得する視線誘導方向計算手段と、前記初期注目確率計算手段で取得された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段と、を備えたことを特徴とするものである。
【００１７】
すなわち、本発明は、前記視線誘導方向計算手段が自ら、部分領域毎の初期注目確率、または当該部分領域毎の視線誘導方向とその確率から視線誘導経路を算出するのではなく、これらの情報を外部から受け取るようにしたものである。
これによって、発明１と同様に、前記ビジュアルドキュメントのみならず、単なるドキュメントや文書、画像、アルバム等の画像情報のみから視線の流れを判断するための視線誘導情報が得られると共に、その視線誘導情報をユーザに対して明確に表示することができる。
【００１８】
〔発明７〕発明７の視線誘導情報表示装置は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示装置であって、前記画像情報を入力する入力手段と、入力された前記画像情報を部分領域に分割して認識する部分領域認識手段と、当該部分領域認識手段で認識した部分領域毎の初期注目確率を算出する初期注目確率計算手段と、前記部分領域認識手段で認識した部分領域毎の視線誘導方向とその確率とを算出する視線誘導方向計算手段と、前記初期注目確率計算手段で算出された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力手段と、を備えたことを特徴とするものである。
【００１９】
すなわち、本発明は発明１〜４の構成をより具体化したものであり、先ず、前記視線誘導情報計算手段の１つである部分領域認識手段によって、入力手段から入力された画像情報をタイトルや写真、文章等の部分領域毎に分割してその部分領域毎の位置と大きさ（レイアウト）を認識した後、初期注目確率計算手段によって、人間の先天的又は経験的な視覚特性を利用したルールを用いて各部分領域毎の初期注目確率を算出すると共に、視線誘導方向計算手段によって、同じルールを用いて各部分領域毎の視線誘導方向とその確率とを算出する。
【００２０】
そして、前記視線誘導情報表示手段の１つである出力手段がこれら部分領域毎の初期注目確率、および部分領域毎の視線誘導方向とその確率をＣＲＴ（陰極線管）やＬＣＤ（液晶ディスプレイ）等の電子的な表示手段を用いて表示するようにしたものである。
これによって、アイフローの予測を行うための有力な判断材料（要素）となる、各部分領域毎の初期注目確率と視線誘導方向とその確率が得られると共に、これらを誰もが容易に認識できるように視覚的（ビジュアル）に表示することができるため、従来のようにアイカメラ等の特殊な装置や煩わしい操作を行うことなく、その画像情報の各部分領域の配置そのものから観察者の視線の流れを的確に予測することができる。
【００２１】
この結果、デザイン開発等の経験がない（浅い）通常のビジネスマン等がビジュアルドキュメント等を作成する際のデザインノウハウあるいはテクニックの一部として支援することが可能となり、質の高いビジュアルドキュメントの作成に貢献することができる。
【００２２】
〔発明８〕発明８の視線誘導情報表示装置は、
発明７に記載の視線誘導情報表示装置において、前記初期注目確率計算手段と視線誘導方向計算手段との算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出する視線誘導情報算出手段を備えると共に、前記出力手段は、前記視線誘導情報算出手段で算出された視線の流れる経路を表示するようにしたことを特徴とするものである。
これによって、さらに具体的な視線の流れる経路を算出して表示することができるため、その画像情報の各部分領域の配置そのものから観察者の視線の流れをより正確に予測することができる。
【００２３】
〔発明９〕発明９の視線誘導情報表示装置は、
発明８に記載の視線誘導情報表示装置において、指定された部分領域に限定した経路のみの視線誘導情報を指定する経路指定手段を備えたことを特徴とするものである。
【００２４】
すなわち、前記発明３のように視線誘導情報算出手段では、認識された部分領域が少なければ、全ての組み合わせの経路とその確率を算出することは特に困難ではないが、対象となる部分領域の数が大きくなると、その経路の組み合わせは膨大なものとなってしまい、この結果、装置に対する負荷が大きくなって算出結果を得るまで長時間待たされたり、表示が乱雑となって的確な予測が行えなくなってしまうことが考えられる。
【００２５】
このため、本発明は発明５の構成に加えてさらに経路指定手段を設け、この経路指定手段によって任意の部分領域を指定し、この指定した部分領域を始点又は終点、あるいは経由する経路のみに限定した視線誘導情報を算出することができる。
これによって、組み合わせの爆発（膨大な組み合わせ数の発生）が回避されて、経路の組み合わせ数が限定されるようになるため、短時間で的確な経路のみの視線誘導情報を算出して表示することができると共に、表示も見やすくなって的確な予測を行うことが可能となる。
【００２６】
〔発明１０〕発明１０の視線誘導情報表示装置は、
発明７〜９のいずれかに記載の視線誘導情報表示装置において、前記出力手段は、前記初期注目確率計算手段で算出した初期注目確率を各部分領域毎に数値、又は色別あるいは色の濃さで表示するようにしたことを特徴とするものである。
このように各部分領域の初期注目確率を数値で表示することによって、視覚のみをもって各部分領域毎の初期注目確率の大きさを明確に、また、初期注目確率を色別あるいは色の濃さで表示することによって各部分領域毎の初期注目確率の大きさを容易に判別することができる。
【００２７】
〔発明１１〕発明１１の視線誘導情報表示装置は、
発明７〜９のいずれかに記載の視線誘導情報表示装置において、前記出力手段は、前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向と確率とを、方向を示す図形と数値、又は方向を示す図形の強度で表示するようにしたことを特徴とするものである。
これによって、部分領域毎の視線誘導方向とその確率とを視覚的に明確に認識することができる。
【００２８】
〔発明１２〕発明１２の視線誘導情報表示装置は、
発明７〜９のいずれかに記載の視線誘導情報表示装置において、前記出力手段は、前記視線誘導情報算出手段で算出された視線の流れる経路を、方向を示す図形で表示するようにしたことを特徴とするようにしたことを特徴とするものである。
これによって、各部分領域間を流れる視線の経路を視覚的に容易かつ明確に把握することができる。
【００２９】
〔発明１３〕発明１３の視線誘導情報表示装置は、
発明７〜９のいずれかに記載の視線誘導情報表示装置において、前記出力手段は、前記視線誘導情報算出手段で算出された視線の流れる経路とその確率とを、方向を示す図形と数値、又は方向を示す図形の強度を組み合わせて表示するようにしたことを特徴とするものである。
これによって、各部分領域間を流れる視線の経路のみならず、その確率を視覚的に容易かつ明確に把握することができる。
【００３０】
〔発明１４〕発明１４の視線誘導情報表示プログラムは、
コンピュータを、画像情報から視線誘導情報を計算する視線誘導情報計算ステップと、当該視線誘導情報計算手段で計算された視線誘導情報を表示する視線誘導情報表示ステップと、して機能させることを特徴とするものである。
これによって、発明１と同様に画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００３１】
〔発明１５〕発明１５の視線誘導情報表示プログラムは、
発明１４に記載の視線誘導情報表示プログラムにおいて、前記視線誘導情報計算ステップは、入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、前記視線誘導情報表示ステップは、前記部分領域毎の初期注目確率を表示する出力ステップを有していることを特徴とするものである。
【００３２】
これによって、発明１と同様に画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、発明１４と同様に、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００３３】
〔発明１６〕発明１６の視線誘導情報表示プログラムは、
発明１４に記載の視線誘導情報表示プログラムにおいて、前記視線誘導情報計算ステップは、入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、前記視線誘導情報表示ステップは、前記部分領域毎の視線誘導方向とその確率を表示する出力ステップを有していることを特徴とするものである。
【００３４】
これによって、発明１と同様に画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、発明１４と同様に、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００３５】
〔発明１７〕発明１７の視線誘導情報表示プログラムは、
発明１４に記載の視線誘導情報表示プログラムにおいて、前記視線誘導情報計算ステップは、入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップを有し、前記視線誘導情報表示ステップは、前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力ステップを有していることを特徴とするものである。
【００３６】
これによって、発明１と同様に画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、発明１４と同様に、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００３７】
〔発明１８〕また、発明１８の視線誘導情報表示プログラムは、
発明１に記載の視線誘導情報表示プログラムにおいて、前記視線誘導情報計算ステップは、入力された前記画像情報を構成する部分領域毎の初期注目確率、または当該部分領域毎の視線誘導方向とその確率から視線誘導経路を生成するようになっており、前記視線誘導情報表示ステップは、前記視線誘導情報計算手段で生成された前記部分領域毎の初期注目確率、または前記視線誘導経路を表示するようになっていることを特徴とするものである。
【００３８】
これによって、発明１と同様に、画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、発明１４と同様に、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００３９】
〔発明１９〕また、発明１９の視線誘導情報表示プログラムは、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示プログラムであって、前記部分領域毎の初期注目確率、および前記部分領域毎の視線誘導方向とその確率とを取得する視線誘導方向計算手段と、前記初期注目確率計算ステップで取得された部分領域毎の初期注目確率、および前記視線誘導方向計算ステップで算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力ステップと、を備えたことを特徴とするものである。
【００４０】
これによって、発明１と同様に、画像情報のみから視線誘導情報を得てこれをユーザに対して明確に表示することができることは勿論、発明１４と同様に、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００４１】
〔発明２０〕発明２０の視線誘導情報表示プログラムは、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示プログラムであって、コンピュータを、前記画像情報を入力する入力ステップと、入力された前記画像情報を部分領域に分割して認識する部分領域認識ステップと、当該部分領域認識手段で認識した部分領域毎の初期注目確率を算出する初期注目確率計算ステップと、前記部分領域認識手段で認識した部分領域毎の視線誘導方向とその確率とを算出する視線誘導方向計算ステップと、前記初期注目確率計算ステップで算出された部分領域毎の初期注目確率、および前記視線誘導方向計算手段で算出された部分領域毎の視線誘導方向とその確率とをそれぞれ表示する出力ステップと、して機能させることを特徴とするものである。
【００４２】
これによって、発明１〜７と同様に、その画像情報の部分領域の配置そのものから観察者のアイフローを正確に予測できることは勿論、パソコン等の汎用のコンピュータシステム等を用いてソフトウェア上でそれらの機能を実現することができるため、別個専用のハードウェアを用意して実現する場合に比べて優れた経済性を発揮することができる。
【００４３】
〔発明２１〕発明２１の視線誘導情報表示プログラムは、
発明２０に記載の視線誘導情報表示プログラムにおいて、前記初期注目確率計算ステップと視線誘導方向計算ステップとの算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出する視線誘導情報算出ステップを有すると共に、前記出力ステップは、前記視線誘導情報算出ステップで算出された視線の流れる経路を表示するようにしたことを特徴とするものである。
【００４４】
これによって、発明８と同様に、さらに具体的な視線の流れる経路を算出して表示することができるため、その画像情報の各部分領域の配置そのものから観察者の視線の流れをより正確に予測することができる。
【００４５】
〔発明２２〕発明２２の視線誘導情報表示プログラムは、
発明２１に記載の視線誘導情報表示プログラムにおいて、指定された部分領域に限定した経路のみの視線誘導情報を指定する経路指定ステップを有することを特徴とするものである。
【００４６】
これによって、発明９と同様に、組み合わせの爆発（膨大な組み合わせ数の発生）が回避されて、経路の組み合わせ数が限定されるようになるため、短時間で的確な経路のみの視線誘導情報を算出して表示することができると共に、表示も見やすくなって的確な予測を行うことが可能となる。
【００４７】
〔発明２３〕発明２３の視線誘導情報表示プログラムは、
発明２０〜２２のいずれかに記載の視線誘導情報表示プログラムにおいて、前記出力ステップは、前記初期注目確率計算ステップで算出した初期注目確率を各部分領域毎に数値、又は色別あるいは色の濃さで表示するようにしたことを特徴とするものである。
これによって発明１０と同様に、各部分領域毎の初期注目確率の大きさを容易に判別することができる。
【００４８】
〔発明２４〕発明２４の視線誘導情報表示プログラムは、
発明２０〜２２のいずれかに記載の視線誘導情報表示プログラムにおいて、前記出力ステップは、前記視線誘導方向計算プログラムで算出された部分領域毎の視線誘導方向と確率とを、方向を示す図形と数値、又は方向を示す図形の強度で表示するようにしたことを特徴とするものである。
これによって、発明１１と同様に、部分領域毎の視線誘導方向とその確率とを視覚的に明確に認識することができる。
【００４９】
〔発明２５〕発明２５の視線誘導情報表示プログラムは、
発明２０〜２４のいずれかに記載の視線誘導情報表示プログラムにおいて、前記出力ステップは、前記視線誘導情報算出ステップで算出された視線の流れる経路を、方向を示す図形で表示するようにしたことを特徴とするようにしたことを特徴とするものである。
これによって、発明１５と同様に、各部分領域間を流れる視線の経路を視覚的に容易かつ明確に把握することができる。
【００５０】
〔発明２６〕発明２６の視線誘導情報表示プログラムは、
発明２０〜２４のいずれかに記載の視線誘導情報表示プログラムにおいて、前記出力ステップは、前記視線誘導情報算出ステップで算出された視線の流れる経路とその確率とを、方向を示す図形と数値、又は方向を示す図形の強度の組み合わせて表示するようにしたことを特徴とするものである。
これによって、発明１１と同様に各部分領域間を流れる視線の経路のみならず、その確率を視覚的に容易かつ明確に把握することができる。
【００５１】
〔発明２７〕発明２７の視線誘導情報表示方法は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示方法において、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出して表示し、当該表示に基づいて前記画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とするものである。
【００５２】
これによって、発明２〜７と同様に、各部分領域毎の初期注目確率と視線誘導方向とその確率を誰もが容易に認識できるように視覚的に表示することができるため、従来のようにアイカメラ等の特殊な装置や煩わしい操作を行うことなく、その画像情報の各部分領域の配置そのものから観察者の視線の流れを的確に予測して表示することができる。
【００５３】
〔発明２８〕発明２８の視線誘導情報表示方法は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示するための視線誘導情報表示方法において、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出し、その算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出し、当該表示に基づいてその画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とするものである。
【００５４】
すなわち、本発明方法は、発明２０のように、初期注目確率とその視線誘導方向およびその確率とからユーザのアイフローを予測するのではなく、さらにこれらの算出結果から視線の流れる経路をその確率と共に算出して、その算出結果からユーザのアイフローを予測して表示するようにしたものである。
これによって、さらに正確に観察者の視線の流れを予測してその結果をユーザに表示することができる。
【００５５】
〔発明２９〕発明２９の視線誘導情報表示方法は、
発明２６又は２８に記載の視線誘導情報表示方法において、前記ユーザの視線の流れる経路の算出は、指定された部分領域を経由する経路に限定して行うようにしたことを特徴とするものである。
これによって、発明８と同様に、組み合わせの爆発が回避されて、経路の組み合わせ数が限定されるようになるため、短時間で的確な経路のみの視線誘導情報を算出して表示することができると共に、表示も見やすくなって的確な予測を行うことが可能となる。
【００５６】
〔発明３０〕発明３０の視線誘導情報表示方法は、
発明２９に記載の視線誘導情報表示方法において、前記部分領域の指定は、初期注目確率の大きいものから順に行うようにしたことを特徴とするものである。
これによって、指定されやすい経路の視線誘導情報を短時間で的確に算出することができる。
【００５７】
〔発明３１〕発明３１の視線誘導情報表示方法は、
発明２６〜３０のいずれかに記載の視線誘導情報表示方法において、前記ユーザの視線の流れる経路の算出は、指定された部分領域を始点又は終点として行うようにしたことを特徴とするものである。
このように予め始点又は終点となる部分領域を指定することで、発明１５と同様に表示候補となる経路の組み合わせが限定されるため、その部分領域を始点又は終点とした経路の視線誘導情報を短時間で算出することができる。
【００５８】
〔発明３２〕発明３２の視線誘導情報表示方法は、
発明３１に記載の視線誘導情報表示方法において、前記経路算出の始点となる部分領域は、初期注目確率の最も大きいものを指定するようにしたことを特徴とするものである。
これによって、発明２６の効果に加え、さらに的確な経路の視線誘導情報を算出することができる。
【００５９】
〔発明３３〕発明３３の視線誘導情報表示方法は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示すべくコンピュータを用いた視線誘導情報表示方法において、前記コンピュータが、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出して表示し、当該表示に基づいて前記画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とするものである。
【００６０】
これによって、各部分領域毎の初期注目確率と視線誘導方向とその確率を誰もが容易に認識できるように視覚的に表示することができるため、従来のようにアイカメラ等の特殊な装置や煩わしい操作を行うことなく、その画像情報の各部分領域の配置そのものから観察者の視線の流れを的確に予測して表示することができる。
【００６１】
〔発明３４〕発明３４の視線誘導情報表示方法は、
複数の部分領域が一覧配置された画像情報を観察するユーザの視線の流れる経路を予測して表示すべくコンピュータを用いた視線誘導情報表示方法において、前記コンピュータが、前記画像情報を部分領域に分割して認識した後、認識した部分領域毎の初期注目確率と、その視線誘導方向およびその確率とをそれぞれ算出し、その算出結果から確率の組み合わせによって視線の流れる経路をその確率と共に算出し、当該表示に基づいてその画像情報を観察するユーザの視線の流れる経路を予測して表示するようにしたことを特徴とするものである。
これによって、さらに正確に観察者の視線の流れを予測してその結果をユーザに表示することができる。
【００６２】
〔発明３５〕発明３５の視線誘導情報表示方法は、
発明３３又は３４に記載の視線誘導情報表示方法において、前記ユーザの視線の流れる経路の算出は、前記コンピュータが、指定された部分領域を経由する経路に限定して行うようにしたことを特徴とするものである。
これによって、組み合わせの爆発が回避されて、経路の組み合わせ数が限定されるようになるため、短時間で的確な経路のみの視線誘導情報を算出して表示することができると共に、表示も見やすくなって的確な予測を行うことが可能となる。
【００６３】
〔発明３６〕発明３６の視線誘導情報表示方法は、
発明３５に記載の視線誘導情報表示方法において、前記部分領域の指定は、前記コンピュータが、初期注目確率の大きいものから順に行うようにしたことを特徴とするものである。
これによって、指定されやすい経路の視線誘導情報を短時間で的確に算出することができる。
【００６４】
〔発明３７〕発明３７の視線誘導情報表示方法は、
発明３３〜３６のいずれかに記載の視線誘導情報表示方法において、前記ユーザの視線の流れる経路の算出は、前記コンピュータが、指定された部分領域を始点又は終点として行うようにしたことを特徴とするものである。
このように予め始点又は終点となる部分領域を指定することで、発明１３と同様に表示候補となる経路の組み合わせが限定されるため、その部分領域を始点又は終点とした経路の視線誘導情報を短時間で算出することができる。
【００６５】
〔発明３８〕発明３８の視線誘導情報表示方法は、
発明３７に記載の視線誘導情報表示方法において、前記経路算出の始点となる部分領域は、前記コンピュータが、初期注目確率の最も大きいものを指定するようにしたことを特徴とするものである。
これによって、発明３７の効果に加え、さらに的確な経路の視線誘導情報を算出することができる。
【発明を実施するための最良の形態】
【００６６】
以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は本発明に係る視線誘導情報表示装置１００の構成および作用の実施の一形態を示したものである。
図示するように、この視線誘導情報表示装置１００は、入力手段１０と、部分領域認識手段２０と、初期注目確率計算手段３０と、視線誘導方向計算手段４０と、視線誘導情報算出手段５０と、出力手段６０とから主に構成されている。
【００６７】
先ず、入力手段１０は、ユーザの視覚によって認識できる画像情報、例えば、タイトルや写真、文章、イラスト等といった複数の部分領域（ドキュメントパーツ）が１つレイアウト面（画面）等に一覧配置されたビジュアルドキュメントを取り込んで、これを入力情報として次述する部分領域認識手段２０へ提供する機能を発揮するものであり、例えば、イメージスキャナやキーボード、マウス、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）、ディジタイザ等の公知の入力装置の他に、ネットワークを介したアップロードやダウンロード等といったデータ通信による入力手段が用いられる。
【００６８】
なお、この入力手段１０は、スキャナ等で光学的に既存の文書を読み込んで認識するケースの他に、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）のようにレイアウト情報や構造的な意味をもった状態で入力するケースも含まれる。
部分領域認識手段２０は、このようにして入力手段１０から入力されたビジュアルドキュメントを、部分領域に分割してその部分領域毎の位置と大きさを認識する機能を提供するようになっている。
【００６９】
例えば、図２（ａ）に示すように、「タイトル」、「写真」、「本文（テキスト）」といった３つの部分領域からなるビジュアルドキュメント２００を、それぞれ「タイトル」からなる部分領域２１０、「写真」からなる部分領域２２０、「本文（テキスト）」からなる部分領域２３０にそれぞれ分割してから、同図（ｂ）等に示すように各部分領域２１０，２２０，２３０毎に色分け等をして視覚的に認識が容易に行えるようにしている。
【００７０】
初期注目確率計算手段３０は、この部分領域認識手段２０で認識した部分領域毎の初期注目確率を算出する機能を提供するものであり、例えば、図３に示すように、あるビジュアルドキュメント２００が「タイトル」、「写真」、「本文（テキスト）」といった３つの部分領域２１０，２２０，２３０からなっている場合には、各部分領域２１０，２２０，２３０毎にその初期注目確率を算出して各部分領域２１０，２２０，２３０内に表示するようになっている。図３（ｂ）の例では、「タイトル」からなる部分領域２１０の初期注目確率が「０．５」、「写真」からなる部分領域２２０の初期注目確率が「０．３」、「本文（テキスト）」からなる部分領域２３０の初期注目確率が「０．２」となっており、それら各部分領域２１０，２２０，２３０の初期注目確率の合計は、「１．０」となっている。
【００７１】
一方、視線誘導方向計算手段４０は、この初期注目確率計算手段３０で得られる初期注目確率とは別に、前記部分領域認識手段２０で認識した各部分領域毎の視線誘導方向とその確率とを算出する機能を提供するものであり、例えば、図４に示すように、あるビジュアルドキュメント２００が「タイトル」、「写真」、「本文（テキスト）」といった３つの部分領域２１０，２２０，２３０からなっている場合には、各部分領域２１０，２２０，２３０毎にその部分領域から他の部分領域に観察者の視線が誘導（流れる）される方向と、その確率とを算出して各部分領域２１０，２２０，２３０内に表示するようになっている。図４（ｂ）の例では、「タイトル」からなる部分領域２１０に着目すると、この部分領域２１０からの視線の誘導方向は、「写真」からなる部分領域２２０と、「本文（テキスト）」からなる部分領域２３０との２通りが殆ど（９０％）であり、また、この部分領域２１０から部分領域２２０、および部分領域２３０へのそれぞれの視線の誘導確率は、「０．７」および「０．２」となっている。また、「写真」からなる部分領域２２０に着目すると、この部分領域２２０からの視線の誘導方向は、「本文（テキスト）」からなる部分領域２３０と、表示面外との２通りが全体の８０％を占め、また、部分領域２２０から部分領域２３０および表示面外へのそれぞれの視線の誘導確率は、「０．５」および「０．３」となっている。さらに、「本文（テキスト）」からなる部分領域２３０に直目すると、その部分領域２３０内における視線の流れ方向は、左上から右下への流れが殆ど（図の例では１００％（「１．０」））となっている。  
【００７２】
他方、視線誘導情報算出手段５０は、前記初期注目確率計算手段３０で得られた各部分領域毎の初期注目確率と、前記視線誘導方向計算手段４０で算出された各部分領域毎の視線誘導方向とその確率との組み合わせによって視線の流れる経路をその確率と共に算出する機能を提供するものであり、例えば、図５に示すように、各部分領域２１０，２２０，２３０毎に初期注目確率が表示されたビジュアルドキュメント２００Ａと、各部分領域２１０，２２０，２３０毎の視線誘導方向とその確率とが表示されたビジュアルドキュメント２００Ｂとから視線の流れる経路をその確率と共に算出し、その結果を表示したビジュアルドキュメントＣを作成して表示するようになっている。
【００７３】
そして、出力手段６０は、この視線誘導情報算出手段５０で算出された視線の流れる経路は勿論、前記部分領域認識手段２０で分割認識された各部分領域、前記初期注目確率計算手段３０で算出された各部分領域毎の初期注目確率、前記視線誘導方向計算手段４０で算出された各部分領域毎の視線誘導方向とその確率を明確に表示する機能を提供するものであり、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や液晶パネル、プラズマパネル等のディスプレイ、プロジェクタ、タッチパネルディスプレイ、レーザープリンタやインクジェット式プリンタ等の印刷装置、プロッタ等の公知の出力装置を利用することで実現されるようになっている。
【００７４】
なお、この視線誘導情報表示装置１００を構成する入力手段１０、部分領域認識手段２０、初期注目確率計算手段３０、視線誘導方向計算手段４０、視線誘導情報算出手段５０、出力手段６０は、それぞれ専用の装置を製作してハードウェア的に実現することも可能であるが、入力、制御、演算、記憶、出力といった各機能の全てを予め備えたパソコン等の汎用のコンピュータシステムを用いてソフトウェア上で実現することも可能であり、この後者の方法を用いれば、各機能をより容易かつ経済的に実現することが可能となる。
【００７５】
すなわち、この視線誘導情報表示装置１００を実現するためのハードウェア構成は、図６に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１０と、主記憶装置（Ｍａｉｎ  Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２０と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３０と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリ等の補助用の記憶部（Ｓｅｃｏｎｄａｒｙ  Ｓｔｏｒａｇｅ）１４０、およびモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））等からなる表示部１５０、イメージスキャナやキーボードやマウス等からなる入力部１６０と、ＬＡＮやインターネット等の通信ネットワークＮ、およびこれらの入出力インターフェース（Ｉ／Ｆ）１７０等との間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス１８０によってバス接続したものである。
【００７６】
そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等の記憶媒体、あるいはインターネット等の通信ネットワークＮを介して記憶部１４０に保存された各種専用のコンピュータプログラム、あるいはＲＯＭ１３０に予め記憶された各種専用のコンピュータプログラムを主記憶装置（ＲＡＭ）１３０にロードし、その主記憶装置（ＲＡＭ）１３０にロードされたプログラムに従ってＣＰＵ１１０が各種リソースを駆使して所定の制御および演算処理を行い、その処理結果をバス１８０を介して表示部１５０に出力して表示すると共に、その出力結果などに関するデータを必要に応じて記憶部１４０に記憶、保存するようにしたものである。
【００７７】
次に、このような構成をした本発明の視線誘導情報表示装置１００の作用および効果を説明する。
先ず、視線誘導方向の予測対象となるビジュアルドキュメントが、図２（ａ）に示すように印刷用紙上に「タイトル」や「写真」、「本文（テキスト）」が印刷された印刷物からなるビジュアルドキュメント２００である場合には、図１に示すように、イメージスキャナ等の入力手段１０によってそのビジュアルドキュメント２００の画像を取り込み、その画像情報を部分領域認識手段２０へ送る。
【００７８】
ここで、このビジュアルドキュメント２００は、イメージスキャナ等の入力手段１０によって取得される他に、パソコン等のコンピュータおよび専用のアプリケーションソフトウェアによってコンピュータ（ＲＡＭ３４等）上で製作することも可能であり、この場合にはそのコンピュータ上のビジュアルドキュメント２００を構成する電子データがそのまま、あるいはＬＡＮ等のネットワークＮを介して対象となる他のコンピュータの部分領域認識手段２０へ送られる。
【００７９】
次に、この画像情報を受け取った部分領域認識手段２０は、図２（ｂ）に示すように、そのビジュアルドキュメント２００を、「タイトル」部分、「写真」部分、「本文」部分毎に、３つの部分領域２１０、２２０、２３０にそれぞれ分割してから、図１に示すように、その部分領域２１０、２２０、２３０に関する情報を初期注目確率計算手段３０と、視線誘導方向計算手段４０とにそれぞれ送ることになる。
【００８０】
なお、この部分領域認識手段２０における部分領域２１０、２２０、２３０の分割に際して、分割と同時に、各部分領域２１０，２２０，２３０毎に色分け処理等を施せば、この部分領域認識手段２０における各部分領域２１０、２２０、２３０の分割が正しく行われたか否かを一目で容易に認識することが可能となり、仮に誤った分割が行われた場合、例えば「タイトル」部分と「本文」部分が１つの部分領域として分割された場合等でも、この時点で本発明装置１０を操作するオペレータ等が直ちに誤った分割範囲を修正することが可能となる。
【００８１】
また、このように部分領域を認識する方法は、全体がイメージデータであるならばパターン認識等の公知の画像処理技術によって各部分領域に分割して認識することができる。また、＜タイトル＞、＜本文等＞の属性情報をもった状態で入力されるもの、例えば、タグによって属性情報を規定するようにしたＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ  ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）、ＸＨＴＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等の構造化文書等の場合にあっては、特別なパターン認識技術を必要とせずに容易に各部分領域毎に分割認識することが可能である。
【００８２】
次に、図１に示すように、この部分領域認識手段２０から部分領域情報を受け取った一方の初期注目確率計算手段３０は、この部分領域認識手段２０で認識した部分領域２１０，２２０，２３０毎の初期注目確率を算出し、その算出結果を視線誘導情報算出手段５０に送ることになる。
例えば、図３の例では、「タイトル」にあたる部分領域２１０の初期注目度が「０．５」，「写真」にあたる部分領域２２０の初期注目度は「０．３」、「本文」にあたる部分領域２３０の初期注目度は「０．２」と算出され、それぞれの数値が「タイトル」＞「写真」＞「本文」の順に注目確率が小さくなっている。
【００８３】
なお、この初期注目確率の大小関係は、前記のように必ずしも数値による表現だけでなく、その確率に対応した色の種類や色の濃さ、例えば初期注目確率が高いほど濃い着色を行ったり、暖色系の着色を行うなどの表現とすれば、より明確に各部分領域毎の初期注目確率の大小関係を把握することができる。
また、この初期注目確率計算手段３０による各部分領域毎の初期注目確率の計算方法としては、特に限定されるものではなく、例えば、「誘目度」等の注目度を計算する公知技術が利用可能である。
【００８４】
すなわち、この「誘目度」とは、人間の主観にあったパラメータをいい、その算出方法は、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」等に詳細に開示されており、以下、その概要について簡単に説明する。
「注目領域」の算出のために、原画像の物理的特徴に従って「誘目度」を評価する。
【００８５】
「注目領域」の算出は、評価結果から一番目立つ領域を「注目領域」として抽出する。つまり、「注目領域」の評価の際は、物理的特徴に従って人間の主観にあった評価をするので、人間の主観に適合した「注目領域」を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて「誘目度」を評価することができる。また、物理的特徴が色の異質度に加えて形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて「誘目度」を評価すれば、原画像の特徴に応じて的確に「誘目度」を評価することができる。また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００８６】
そして、この「誘目度」の評価は、以下の手順により行う。
（１）先ず最初に対象となる原画像を領域分割する。この場合、原画像を図領域と絵領域とに分割する。この分割の方法には、１９９７ＩＥＥＥにおいてＷ．Ｙ．ＭａやＢ．Ｓ．Ｍａｎｊｕｎａｔｈらが「ＥｄｇｅＦｌｏｗ：Ａ  Ｆｒａｍｅｗｏｒｋ  ｏｆ  Ｂｏｕｎｄａｒｙ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ」に記載した“ｅｄｇｅｆｌｏｗ”に基づく境界検出方法が適用される。
（２）次に、このようにして分割した図領域を抽出し、領域の「誘目度」を評価する。
【００８７】
この「誘目度」の評価は、概略以下のようにして行う。
（ａ）最初に各領域の「異質性誘目度」を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の「異質性誘目度」を求める。（ｂ）次に各領域における「特徴誘目度」を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の「特徴誘目度」を求める。（ｃ）そして、最後に、各領域の「異質性誘目度」と「特徴誘目度」を加算し、特徴量統合値を求め、この特徴量統合値を所定のベータ関数により評価して、目的の「誘目度」を算出する。
【００８８】
一方、図１に示すように、同じく部分領域認識手段２０から部分領域に関する情報を受け取った視線誘導方向計算手段４０は、前記部分領域認識手段２０で認識した各部分領域毎の視線誘導方向とその確率とを算出し、その算出結果を同じく視線誘導情報算出手段５０に送ることになる。
図４の例では、「タイトル」にあたる部分領域２１０から他の領域への視線の誘導方向は、「写真」にあたる部分領域２２０と「本文」にあたる部分領域２３０とその他（領域外）の３方向が考えられ、それらの確率はそれぞれ「０．７」、「０．２」、その他「０．１」であることを示している。また、同様に「写真」にあたる部分領域２２０から他の領域への視線の誘導方向は、「本文」にあたる部分領域２３０と領域外、その他の３方向が考えられ、それらの確率はそれぞれ「０．５」、「０．３」、その他「０．２」であることを示している。また、同様に、「本文」にあたる部分領域２３０内での視線の誘導方向は、一般に右下方向が多く、図の例ではこの方向の確率が「１．０」、すなわち、この方向のみであることを示している。
【００８９】
なお、この部分領域毎の視線誘導方向とその確率は、矢印と数値のみならず、図４に示すように矢印の太さでその確率の大小を表示するようにしても良い。
また、この視線誘導方向の確率は、あくまで他の視線誘導方向の確率との相関関係（大小関係）を示しものであることから、その確率の合計は、必ずしも「１．０」に収束する必要はなく、それ以下、あるいはそれ以上であっても良いことはいうまでもない。
【００９０】
さらに、この矢印は、長さの代わりに太さを用いた視線誘導に関するベクトルと考えることもできる。
ここで、この視線誘導方向計算手段４０における基準となる計算ルールとしては、特に限定されるものではないが、人間の視線動態特性と知られている各特性、例えば、以下に示すように、
ｉ．視線は矢印などの視線を誘導するマークに沿って流れる。
【００９１】
ｉｉ．視線は尖った物の先端の方へ流れる。
ｉｉｉ．視線は写真に写っている人物の目線の方向へ流れる。
等といった公知の特性から導き出されるルールが用いられるケースが多いものと考えられる。
このような矢印や尖った物の先端を認識するには、図７に示すようにこれらをエッジ成分に分解し、そのヒストグラムを取ってそれを基に視線を誘導する方向を計算できる方法も利用できる。
【００９２】
次に、図１に示すように、このようにして初期注目確率計算手段３０から各部分領域２１０，２２０，２３０における初期注目確率を、また、視線誘導方向計算手段４０から各部分領域２１０，２２０，２３０における視線誘導方向とその確率とをそれぞれ受け取った視線誘導情報算出手段５０は、それら各部分領域２１０，２２０，２３０毎の初期注目確率と、各部分領域２１０，２２０，２３０毎の視線誘導方向とその確率との組み合わせによって視線の流れる経路をその確率と共に算出し、その算出結果を出力手段６０に送ることになる。
【００９３】
図５（ｃ）の例では、図５（ａ）に示すように各部分領域２１０，２２０，２３０毎に分割されて色分けされたビジュアルドキュメント２００Ａと、図５（ｂ）に示すように各部分領域２１０，２２０，２３０毎の視線誘導方向とその確率を表示したビジュアルドキュメント２００Ｂとから、最も初期注目確率の高い「タイトル」にあたる部分領域２１０を始点とした３通りの「経路Ａ」（部分領域２１０から部分領域２２０へ流れた後、領域外へ流れ出る経路）、「経路Ｂ」（部分領域２１０から部分領域２２０へ流れた後、部分領域２３０へ移り、これを右下方向に流れる経路）、「経路Ｃ」（経路２１０から直接部分領域２３０側へ流れる経路）が算出され、さらに、それぞれの「経路Ａ、Ｂ、Ｃ」についてその確率が算出されて、その確率に応じて経路を示す矢印（ライン）の太さを図８に示すようにそれぞれ変化させて表示したものである。
【００９４】
すなわち、図５（ｃ）に示すように、「経路Ａ」に沿って視線が流れる確率は、部分領域２１０の初期注目確率である「０．５」に、部分領域２１０から部分領域２２０へ流れる確率である「０．７」と、部分領域２２０から領域外へ流れ出る確率である「０．３」を掛け合わせた「０．１０５」となる。
また、「経路Ｂ」に沿って視線が流れる確率は、部分領域２１０の初期注目確率である「０．５」に、部分領域２１０から部分領域２２０へ流れる確率である「０．７」と、部分領域２２０から部分領域２３０側に移る確率である「０．５」と、部分領域２３０内を右下方向へ流れる確率である「１．０」を掛け合わせた「０．１７５」となる。
【００９５】
さらに、「経路Ｃ」に沿って視線が流れる確率は、部分領域２１０の初期注目確率である「０．５」に、部分領域２１０から直接部分領域２３０へ流れる確率である「０．２」と、部分領域２３０内を右下方向へ流れる確率である「１．０」を掛け合わせた「０．１」となる。
そして、このようにして視線誘導情報算出手段５０から視線の流れる経路とその確率に関する情報を受け取った出力手段６０は、その経路と確率を示したビジュアルドキュメント２００Ｃをディスプレイ上に表示、あるいは印刷装置によって作成してユーザ等に提示することになる。
【００９６】
図５（ｃ）の例では、３通りの経路「Ａ、Ｂ、Ｃ」のうち、合計確率の最も大きい「経路Ｂ」が、観察者の視線の流れとして最も自然な（確率の大きい）経路として予測されることになる。
なお、実際にこのビジュアルドキュメントを観た複数の観察者の視線の流れをアイカメラで観測したところ、この予測結果と同様に「経路Ｂ」に沿った視線の流れが高い確率で観測された。
【００９７】
このように、本発明はビジュアルドキュメント等の画像情報を各部分領域に分割し、各部分領域毎の初期注目確率と、各部分領域毎の視線誘導方向とその確率とを算出し、その算出結果から視線の流れる経路とその確率を表示するようにしたことから、その視線の流れる経路とその確率とを誰もが容易に認識できるように視覚的（ビジュアル）に表示することが可能となり、そのビジュアルドキュメントのドキュメントパーツの配置そのものから観察者の視線の流れ（アイフロー）を正確に予測することができる。
【００９８】
この結果、デザイン開発等の経験がない（浅い）通常のビジネスマン等がビジュアルドキュメントを作成する際のデザインノウハウあるいはテクニックの一部として支援することが可能となり、質の高いビジュアルドキュメントの作成に貢献することができる。
なお、図１の実施の形態では、視線誘導情報算出手段５０で得られた算出結果のみを出力手段６０で表示するようにしているが、この算出結果のみでなく、全ての前記各手段１０，２０，３０，４０，５０で得られた結果をもそれぞれ表示させるようにしても良い。例えば、上述したように部分領域認識手段１０で分割した部分領域の分割位置が誤っている場合、そのまま誤った部分領域を採用してしまうとその後の算出結果も大きく異なって予測に対する信頼性が著しく損なわれてしまうことになるが、このように分割段階でその結果を視覚的に表示するようにすれば各段階での誤りを容易に発見することができるため、より正確な視線誘導情報予測を行うことが可能となる。
【００９９】
また、このように各段階で得られた結果をその都度表示するようにすれば、オペレータが経験を積む毎に、図３に示すような初期注目確率が表示されたビジュアルドキュメント２００Ａと、図４に示すような各部分領域毎の視線誘導方向とその確率とが表示されたビジュアルドキュメント２００Ｂとから、容易にビジュアルドキュメント２００Ｃに示すような視線誘導経路と確率とを求めることが可能となることから、場合によっては、視線誘導情報算出手段５０自体を省略（パイパス）しても良い。
【０１００】
さらに、視線の誘導方向や経路を示す矢印に代えて、あるいは矢印と共に他の図形、例えば、二等辺三角形等を用いて表示しても良い。また、図５（ｃ）のように視線の流れを示すラインは、連続したものである必要はなく、点列であっても良く、また、ベジエやスプラインなどによる曲線による表示の他に複数の直線を連続的につなぎ合わせたものであっても良い。
【０１０１】
ここで、図５（ｃ）に示すような視線の流れ経路生成のためには、複数の点列から曲線を生成するスプライン曲線、ベジエ曲線などの公知のアルゴリズムを利用することができる。例えば、図９（ａ）に示すように、それぞれの部分領域２１０，２２０，２３０を代表する点をそれぞれ代表点２１１，代表点２２１，代表点２３１とし、単にそれらを繋ぐだけでは、図９（ｂ）に示すように、「経路Ａ」は、代表点２１１と、代表点２２１との２点を繋ぐ直線、「経路Ｂ」は、代表点２１１と、代表点２２１と、代表点２３１との３点を連続的に繋ぐ曲線、「経路Ｃ」は、代表点２１１と、代表点２３１との２点を繋ぐ直線となる。しかしながら、例えば、「本文」の部分領域２３０等では文章の流れなどがあり、直線的に下方に視線が抜けていくことはあり得ないので、このように各部分領域２１０，２２０，２３０の代表点２１１，２２１，２３１同士を単につなぎ合わせるだけでは不十分である。
【０１０２】
そのため、本発明では、各部分領域２１０，２２０，２３０毎のそれぞれの視線誘導方向と、その確率を大きさとみなして仮想的なベクトルを設定して、そのベクトルの先端に制御点を打った後、各部分領域２１０，２２０，２３０の代表点２１１，２２１，２３１と、各部分領域２１０，２２０，２３０から選択される経路の方向の制御点の両方を通るように曲線を生成することによって自然な視線の流れ経路を表示することができる。例えば、図１０（ａ）に示すように、先ず「タイトル」を示す部分領域２１０の代表点２１１から確率「０．２」の「本文」を示す部分領域２３０方向に、その確率に比例した大きさで仮想的なベクトルを設定し、その先端に制御点２１３を設定し、また、同様に確率「０７」の「写真」を示す部分領域２２０方向にも、その確率に比例した大きさで仮想的なベクトルを設定し、制御点２１２を設定する。また、これと同様に、「写真」を示す部分領域２２０の代表点２２１から確率「０．３」の領域外方向に、その確率に比例した大きさで仮想的なベクトルを設定し、その先端に制御点２２２を設定し、また、同様に確率「０５」の「本文」を示す部分領域２３０方向にも、その確率に比例した大きさで仮想的なベクトルを設定し、制御点２２３を設定する。さらに、これと同様に、「本文」を示す部分領域２３０の代表点２３１から右下方向、その確率に比例した大きさで仮想的なベクトルを設定し、その先端に制御点２３２を設定する。
【０１０３】
そして、同図（ｂ）に示すように、代表点２１１と、制御点２１３と、代表点２３２と、制御点２３１と順につなぎ合わせる曲線を生成することによって、前述したような自然なアイフローの１つである、「経路Ｃ」を表示することができる。また、同様に、代表点２１１と、制御点２１２と、代表点２２１と、制御点２２２とを順につなぎ合わせる曲線を生成することによって、前述したような自然なアイフローの１つである、「経路Ａ」を表示することができる。さらに、同様に、代表点２１１と、制御点２１２と、代表点２２１と、制御点２２３と、代表点２３２と、制御点２３１とを順につなぎ合わせる曲線を生成することによって、前述したような自然なアイフローの１つである、「経路Ｂ」を表示することができる。
【０１０４】
なお、「視線誘導方向」のみでなく、部分領域認識に関しても高度なアルゴリズムを使って部分領域を認識したり、オブジェクトを認識したりする結果は、外部から取得するようにしても良い。視線誘導情報に必要な最低限の情報は、全体がいくつかの部分に分割されていて、その部分には初期注目確率と、視線誘導方向（向きと大きさ）という情報があれば十分であり、分割する処理・初期注目確率を求める処理・視線誘導方向を求める処理は内部には必要ない。
【０１０５】
次に、図１１〜図１３は、本発明の他の実施の形態を示したものである。
先ず、図１１は、図１に示した視線誘導情報算出手段５０と出力手段６０との間に新たに経路指定手段７０を備えたものである。
この経路指定手段７０は、ユーザなどによって指定された経路に限定して関連する経路のみを表示するようにその視線誘導情報を出力手段６０に送る機能を提供するものであり、これによって表示が見やすくなって最適な経路予測を行うことができる。
【０１０６】
すなわち、部分領域が前記実施の形態のように３個程度であれば、その全ての経路の数は僅かであり、全ての組み合わせの経路とその確率を算出して表示してもそれぞれの経路に関してユーザは的確に把握することが可能であるが、分割された部分領域の数がさらに多くなってくると、その経路の組み合わせは膨大なものとなってしまい、表示が乱雑となって的確な予測が行えなくなってしまうことが考えられる。
【０１０７】
このため、本実施の形態のように、ユーザなどによって指定された経路に限定して関連する経路のみを表示する経路指定手段７０を設ければ、表示される経路の数も少なくなって見やすくなり、その結果、より的確な予測を行うことが可能となる。
ここで、この経路指定手段７０による経路の指定方法としては、例えば、アイフローの始点又は終点としたい部分領域のみ、あるいはその両方、又は始点と終点間の経由としたい部分領域のみを限定するといった指定方法が一般的と思われる。
【０１０８】
また、この経路指定手段７０を視線誘導情報算出手段５０の上流側に設ければ、この視線誘導情報算出手段５０での負荷が軽減されて、迅速にその算出結果を出力手段６０側へ送ることができる。
さらに、具体的な部分領域の指定方法としては、特に限定されるものでなく、例えば、ユーザがマウスなどのポインティングデバイスを用いて特定の部分領域を個別に指定したり、装置が全部分領域のリストを提示し、その中からユーザが任意に選択する方法等が考えられる。
【０１０９】
次に、図１２は、図１１で示した初期注目確率計算手段３０と、視線誘導方向計算手段４０とを廃止すると共に、新たに部分領域認識手段２０の下流側に、前述した初期注目確率計算手段３０に最も確率の高い部分領域を絞る機能を付与した初期注目領域決定手段８０と、前述した視線誘導方向計算手段４０に最も確率の高い部分領域を絞る機能を付与した視線誘導方向決定手段９０とを順次設けた構成としたものである。  
【０１１０】
すなわち、本実施の形態は、図示するように、初期注目確率計算手段３０で初期注目領域を計算した後に、最も確率の高い部分領域を１つに絞り、それを初期注目領域とし、その初期注目領域から視線を誘導する方向を算出し、これについても様々な方向に、様々な確率で分岐するところを最も確率の高い方向１つに絞る。
最も確率の高い方向にある部分領域に対してさらに視線を誘導する方向を計算する処理を繰り返していくと、結果的に局所的ではあるが、最も確率の高い組み合わせを繋いでいった経路が計算できる。
【０１１１】
つまり、前述した図１１の構成は、ユーザが外部からその多すぎる組み合わせに制限をかけることで組み合わせの爆発を回避するようにしたものであるが、本実施の形態の構成では、全体最適解ではないが、局所最適解を繋いでいって自動的に１本のアイフローを求めることができる。
さらに、図１３は、図１２に示す初期注目領域決定手段８０に代えて図１１で用いた経路指定手段７０を用いると共に、視線誘導方向決定手段９０に代えて再び視線誘導方向計算手段４０を用いたものである。
【０１１２】
すなわち、図１３に示す実施の形態は、初期注目領域を自動で求めるのではなく、ユーザによって初期注目領域（＝計算のスタート地点）を指定できるようにしたものであり、これによって、例えば、「自分が指定した部分領域からどのように視線が流れるのかを知りたい」といったような要求に応えることができ、より柔軟に制御可能となる。
そして、特に、図１１の構成との違いは、図１１の構成では一端全ての組み合わせを計算してから表示前に表示すべき経路を限定するというのに対し、本実施の形態は初めに経路を指定することで不必要な計算そのものを省略することが可能となる。
【図面の簡単な説明】
【０１１３】
【図１】本発明に係る視線誘導情報表示装置の実施の一形態を示す図である。
【図２】部分領域認識手段で各部分領域毎に分割認識されたビジュアルドキュメントを示す説明図である。
【図３】初期注目確率計算手段で各部分領域毎に算出された初期注目確率が表示されたビジュアルドキュメントを示す説明図である。
【図４】視線誘導方向計算手段で各部分領域毎に算出された視線誘導方向とその確率が表示されたビジュアルドキュメントを示す説明図である。
【図５】視線誘導情報算出手段で算出された視線の流れる経路とその確率が表示されたビジュアルドキュメントを示す説明図である。
【図６】本発明に係る視線誘導情報表示装置を実現するハードウェア構成を示すブロック図である。
【図７】矢印をエッジ成分に分解し、そのヒストグラムを表示した説明図である。
【図８】視線の流れる経路の方向と確率とを視覚的に示した概念図である。
【図９】各部分領域毎の代表点とその代表点同士を繋いだ経路を示す図である。
【図１０】各部分領域毎の代表点とその代表点同士を繋いだ経路を示す図である。
【図１１】本発明に係る視線誘導情報表示装置の他の実施の形態を示す図である。
【図１２】本発明に係る視線誘導情報表示装置の他の実施の形態を示す図である。
【図１３】本発明に係る視線誘導情報表示装置の他の実施の形態を示す図である。
【符号の説明】
【０１１４】
１０…入力手段、２０…部分領域認識手段、３０…初期注目確率手段、４０…視線誘導方向計算手段、５０…視線誘導情報算出手段、６０…出力手段、７０…経路指定手段、８０…初期注目領域手段、９０…視線誘導方向決定手段、１００…視線誘導情報表示装置、１１０…ＣＰＵ、１２０…ＲＡＭ、１３０…ＲＯＭ、１４０…記憶部、１５０…表示部、１６０…入力部、１７０…インターフェース、１８０…バス、２００，２００Ａ，２００Ｂ，２００Ｃ…ビジュアルドキュメント（画像情報）、２１０，２２０，２３０…部分領域、２１１，２２１，２３１…代表点、２１２，２１３，２２２，２２３，２３２…制御点、Ｎ…ネットワーク。
【図１】
2005050309.tif 000003
【図２】
2005050309.tif 000004
【図３】
2005050309.tif 000005
【図４】
2005050309.tif 000006
【図５】
2005050309.tif 000007
【図６】
2005050309.tif 000008
【図７】
2005050309.tif 000009
【図８】
2005050309.tif 000010
【図９】
2005050309.tif 000011
【図１０】
2005050309.tif 000012
【図１１】
2005050309.tif 000013
【図１２】
2005050309.tif 000014
【図１３】
2005050309.tif 000015