(57)【要約】【課題】予めコンテンツのセグメンテーションを行うことなく、コンテンツを視線によって評価することができる画像評価装置、そのプログラム、観視者の集中の妨げとなることなく、正確に興味の変化について評価することができる被験者集中度算出装置、そのプログラムを提供する。【解決手段】画像評価装置１は、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、動画像を評価する基準となる各画像のエントロピーを計算するものであって、視線データ取得手段３と、階層クラスタリング手段７と、クラスタ数評価手段９と、確率密度関数計算手段１１と、エントロピー計算手段１３と、を備えた。【選択図】図１
2007310454.tif 000002
【特許請求の範囲】
【請求項１】
表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算する画像評価装置であって、
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した視線データを、前記観視者の人数分取得する視線データ取得手段と、
この視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する階層クラスタリング手段と、
この階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力するクラスタ数評価手段と、
前記階層クラスタリング手段で出力された階層化データと、前記クラスタ数評価手段で出力された最適クラスタ数とに基づいて、前記確率密度関数を計算する確率密度関数計算手段と、
この確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算するエントロピー計算手段と、
を備えることを特徴とする画像評価装置。
【請求項２】
前記確率密度関数計算手段で計算された確率密度関数を、各画像に対応させた等高線図として作画する作画手段を備えることを特徴とする請求項１に記載の画像評価装置。
【請求項３】
表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出する被験者集中度算出装置であって、
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した被験者の視線データを取得する視線データ取得手段と、
この視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、前記確率密度関数に代入することで得られた確率を、前記集中度として算出する集中度算出手段と、
を備えることを特徴とする被験者集中度算出装置。
【請求項４】
表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算するために、コンピュータを、
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した視線データを、前記観視者の人数分取得する視線データ取得手段、
この視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する階層クラスタリング手段、
この階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力するクラスタ数評価手段、
前記階層クラスタリング手段で出力された階層化データと、前記クラスタ数評価手段で出力された最適クラスタ数とに基づいて、前記確率密度関数を計算する確率密度関数計算手段、
この確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算するエントロピー計算手段、
として機能させることを特徴とする画像評価プログラム。
【請求項５】
表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出するために、コンピュータを、
前記動画像に付されたタイムコードと、前記注視点の画像上の座標とが同期した被験者の視線データを取得する視線データ取得手段、
この視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、前記確率密度関数に代入することで得られた確率を、前記集中度として算出する集中度算出手段、
として機能させることを特徴とする被験者集中度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観視者が動画像を注視した注視点によって当該動画像の客観的な評価を行う画像評価装置および画像評価プログラム、並びに、被験者が動画像を注視した注視点によって当該動画像を集中して観ているか否かを評価する被験者集中度算出装置および被験者集中度算出プログラムに関する。
【背景技術】
【０００２】
従来、コンテンツを観ている観視者の視線に基づき、当該コンテンツの評価を行う評価方法では、評価対象となるコンテンツの任意の画像領域内における当該視線の停留率、停留回数、移動軌跡の形状等から、当該画像領域内のレイアウトや色等が観視者の注意を引いているか否かを評価していた。
【０００３】
また、コンテンツの評価を行う評価方法（例えば、特許文献１参照）として、コンテンツを観ている観視者がどれだけ集中しているか否かに基づいて行うものがあり、集中しているか否かを判定するために、観視後に、当該コンテンツに関する印象等についてアンケート調査を行って、このアンケート調査した結果に統計的な処理を施して評価値を算出することが一般的に行われていた。
【特許文献１】特開２００５−１４２９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来、コンテンツを観ている観視者の視線による評価方法では、評価前に予め画像内の各領域について、「意味のある領域に分割しておく」（セグメンテーションする）必要があった。例えば、テレビ番組のように当該番組を構成している各画像が時間的に大きく変化するような場合、この変化にあわせてフレームごとに最適なセグメンテーションを行う必要がある。
【０００５】
この最適なセグメンテーションを行うためには、評価者（評価方法を複数の観視者に実践させて評価する者）が異なる認識精度（または認識感覚）を有している複数の観視者と、同じ認識精度を有する必要、つまり、異なる認識精度を何らかの方法で均一化した認識精度を有する必要があり、この均一化した認識精度を得るためにオブジェクト認識技術を用いる必要があるが、このようなイメージング技術は未だ十分には確立されていない。
【０００６】
また、このコンテンツを観ている観視者の視線による評価方法では、各観視者の視線を測定した測定データから個人差等のノイズ成分を除去するため、多くの観視者の測定データを用いて加算平均をとるなどしていたが、当該加算平均をとることは、複数の観視者の視線から当該コンテンツを評価することを目的とした場合、不適切な場合がある。
【０００７】
この不適切な場合とは、例えば、視線の集中する対象である注視対象が１つの画像内に２カ所以上存在している場合、各観視者の視線が画像上に注がれる点である注視点は当該注視対象の周りにそれぞれ分布することとなり、加算平均をとると２カ所以上の注視対象が存在していたという情報が無くなってしまう場合である。すなわち、当該評価方法において、加算平均をとって適切な場合とは、測定データから導き出せる事象が“１カ所の注視対象とこの注視対象からのズレ（誤差）”ということに限定されることになり、このような事象が成立する場合でなければ、複数の観視者の視線によってコンテンツを評価することは適切ではないことになる。
【０００８】
さらに、従来のコンテンツの評価を行う評価方法として、アンケート調査を行う場合、一般的に、該当するコンテンツを観視した後に実施するため、当該コンテンツ全体の主観的な印象を評価することは可能であるが、例えば、当該コンテンツ中の特定のシーンやカットについて個別に評価を行うことやこれらを観視した時の興味の変化について評価を行うことは記憶の忘却等により困難である。
【０００９】
なお、観視中の興味の変化をリアルタイムに観視者に主観評価させる方法もあるが、主観評価それ自体が観視者の集中の妨げとなり、正確に興味の変化について評価することは困難である。
【００１０】
そこで、本発明では、前記した問題を解決し、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線によって評価することができる画像評価装置および画像評価プログラム、並びに、コンテンツを観視する観視者の集中の妨げとなることなく、正確に興味の変化について評価することができる被験者集中度算出装置および被験者集中度算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、請求項１に記載の画像評価装置は、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算する画像評価装置であって、視線データ取得手段と、階層クラスタリング手段と、クラスタ数評価手段と、確率密度関数計算手段と、エントロピー計算手段と、を備える構成とした。
【００１２】
かかる構成によれば、画像評価装置は、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した視線データを、観視者の人数分取得する。続いて、画像評価装置は、階層クラスタリング手段によって、視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する。
【００１３】
そして、画像評価装置は、クラスタ数評価手段によって、階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力する。そして、画像評価装置は、確率密度関数計算手段によって、階層クラスタリング手段で出力された階層化データと、クラスタ数評価手段で出力された最適クラスタ数とに基づいて、確率密度関数を計算する。その後、画像評価装置は、エントロピー計算手段によって、確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算する。
【００１４】
請求項２に記載の画像評価装置は、請求項１に記載の画像評価装置において、作画手段を備えることを特徴とする。
かかる構成によれば、画像評価装置は、作画手段によって、確率密度関数計算手段で計算された確率密度関数を、各画像に対応させた等高線図として作画する。
【００１５】
請求項３に記載の被験者集中度算出装置は、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出する被験者集中度算出装置であって、視線データ取得手段と、集中度算出手段と、を備える構成とした。
【００１６】
かかる構成によれば、被験者集中度算出装置は、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した被験者の視線データを取得する。そして、被験者集中度算出装置は、集中度算出手段によって、視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、確率密度関数に代入することで得られた確率を、集中度として算出する。
【００１７】
請求項４に記載の画像評価プログラムは、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求め、各画像の全領域に亘る前記確率密度関数から、前記動画像を評価する基準となる各画像のエントロピーを計算するために、コンピュータを、視線データ取得手段、階層クラスタリング手段、クラスタ数評価手段、確率密度関数計算手段、エントロピー計算手段、として機能させる構成とした。
【００１８】
かかる構成によれば、画像評価プログラムは、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した視線データを、観視者の人数分取得し、階層クラスタリング手段によって、視線データ取得手段で取得された視線データの示す注視点が任意個数含まれるように、各画像の全領域を任意領域それぞれにクラスタリングし、当該任意領域と、当該注視点の任意個数および座標とを対応付けた階層化データを出力する。
【００１９】
そして、画像評価プログラムは、クラスタ数評価手段によって、階層クラスタリング手段でクラスタリングされた任意領域の個数に対して、当該任意領域内に存在する注視点の任意個数が予め設定した設定数を満たすための最適クラスタ数を出力し、確率密度関数計算手段によって、階層クラスタリング手段で出力された階層化データと、クラスタ数評価手段で出力された最適クラスタ数とに基づいて、確率密度関数を計算する。その後、画像評価プログラムは、エントロピー計算手段によって、確率密度関数計算手段で計算された確率密度関数に基づいて、各画像の前記エントロピーを計算する。
【００２０】
請求項５に記載の被験者集中度算出プログラムは、表示された動画像を観た複数の観視者について、当該観視者の注視点の画像上の座標をそれぞれ測定してデータ化した視線データに基づいて、当該動画像に含まれる各画像の任意領域それぞれについて、前記注視点の確率密度関数を求めた動画像を、被験者に観視させ、当該被験者が当該動画像を集中して観視している度合いを数値化した集中度を算出するために、コンピュータを、視線データ取得手段、集中度算出手段、として機能させる構成とした。
【００２１】
かかる構成によれば、被験者集中度算出プログラムは、視線データ取得手段によって、動画像に付されたタイムコードと、注視点の画像上の座標とが同期した被験者の視線データを取得し、集中度算出手段によって、視線データ取得手段で取得された被験者の視線データの示す注視点の座標を、確率密度関数に代入することで得られた確率を、集中度として算出する。
【発明の効果】
【００２２】
請求項１または請求項４に記載の発明によれば、視線データの示す注視点がコンテンツの画像上のどの位置に、どれだけ集まっているのかを確率として表している確率密度関数に基づいてエントロピーを計算しているので、このエントロピーに従って、当該コンテンツに含まれている画像を評価する基準とすることができ、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線データによって評価することができる。
【００２３】
請求項２に記載の発明によれば、計算された確率密度関数を、各画像に対応させた等高線図として作画することで、画像上のどこに注視点が集中したのかを目視で確認することができる。
【００２４】
請求項３または請求項５に記載の発明によれば、コンテンツに含まれている画像のどこを被験者が注視しているのかによって、当該被験者が集中して当該コンテンツを視認しているか否かが判定でき、正確に興味の変化について評価することができる。
【発明を実施するための最良の形態】
【００２５】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（画像評価装置の構成）
図１は、画像評価装置のブロック図である。図１に示すように画像評価装置１は、コンテンツを観視した複数の観視者の視線によって当該コンテンツを評価するもので、視線データ取得手段３と、視線データ蓄積手段５と、階層クラスタリング手段７と、クラスタ数評価手段９と、確率密度関数計算手段１１と、エントロピー計算手段１３と、作画手段１５とを備えている。
【００２６】
視線データ取得手段３は、コンテンツを観ている観視者が注視している当該コンテンツに含まれている画像上の座標（１フレームごとの座標）と、当該コンテンツに付されているタイムコードとが同期した視線データを、観視者数分取得するものである。この実施形態では、観視者の人数は２０名から３０名程度としている。また、画像上の座標は、コンテンツを観ている観視者の注視点を示すものであり、当該観視者の両眼部分を撮影する視線測定器（図示せず）によって求めたものを用いている。
【００２７】
なお、この視線測定器は従来のものでよく、例えば、視線測定器は、コンテンツを表示させる表示装置（図示せず）から所定距離離れた座席に着席した観視者の両眼部分を撮影する、位置を固定した撮影カメラ（図示せず）と、注視点を計算する計算手段（図示せず）とから構成されている。
【００２８】
計算手段（図示せず）は、撮影カメラ（図示せず）で撮影した両眼部分により、コンテンツを観ている観視者の瞳孔の中心位置を求め、この中心位置と表示装置（図示せず）の表示面とを結ぶ視線から、注視点を求めるものである。
【００２９】
ここで、視線データの例を図２に示す。この図２は複数の観視者（ｓｂｊ１〜ｓｂｊＮ）の視線データを示したものである。この図２に示したように、観視者ｓｂｊ１は、タイムコード（ＴｉｍｅＣｏｄｅ）１０：００：００．００では画像上の座標（１２１，２５４）を、タイムコード（ＴｉｍｅＣｏｄｅ）１０：００：００．０１では画像上の座標（２４３，２３４）を注視していることが読みとれる。図１に戻る。
【００３０】
視線データ蓄積手段５は、視線データ取得手段３で取得された複数の観視者の視線データを蓄積するもので、一般的なメモリ、ハードディスク等によって構成されている。この視線データ蓄積手段５に蓄積されている視線データは、当該装置１の操作者による操作に従って、階層クラスタリング手段７に出力される。
【００３１】
階層クラスタリング手段７は、視線データの示す注視点が任意個数含まれるように、各画像（それぞれのフレーム）の全領域を任意領域（クラスタ）それぞれにクラスタリングし、当該任意領域と、注視点の任意個数および座標とを対応付けた階層化データを出力するものである。
【００３２】
この階層クラスタリング手段７による注視点のクラスタリング手法は、仮想のモデルに基づいた階層的クラスタリング法を用いている。仮想のモデルは、「複数の注視点は、ある注視点の存在する位置を中心に分布する」という仮定に基づいたものであり、ある注視点を中心とする同一半径の円形を任意領域とする。この円形の中心となる注視点をどれにするのかおよび円形の半径の長さをどのようにとるかによって、当該円形の位置および当該円形内に収まる注視点の個数が決定されることになる。
【００３３】
ここで、階層化データの例を図３に示す。この図３はクラスタリングするクラスタの個数と画像上の座標との関連を示したものである。この図３に示したように、例えば、クラスタ数１の場合、１つの画像上のすべての注視点が１つのクラスタに収まることとなり、クラスタ数４の場合、１つの画像上の注視点が４つのクラスタに収まることとなる。図１に戻る。
【００３４】
クラスタ数評価手段９は、階層クラスタリング手段７でクラスタリングされたクラスタの個数（クラスタ数）が最適となる最適クラスタ数を計算して、確率密度関数計算手段１１に出力するものである。この最適クラスタ数は、ＢＩＣ（Ｂａｙｅｓｉａｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ）値を計算し、このＢＩＣ値が最大値（予め設定した設定数）を示すようなクラスタ数である。
【００３５】
このＢＩＣ値の計算について説明する。まず、注視点データの分布が次に示す一般的な二次元混合正規分布式に従うとする。
【００３６】
【数１】
2007310454.tif 000003
【００３７】
この数式（１）において、（ｘ，ｙ）は視線データの画像上の注視点、ｃはクラスタ数、ａｉ，ρｉ，μｘｉ，μｙｉ，σｘｉ，σｙｉはパラメータΘｉであり、Ｎ人分の視線データ（ｘ１，・・・，ｘＮ，ｙ１，・・・，ｙＮ）があるとする。
【００３８】
そして、ｐ（ｘ，ｙ）が視線データにとって、次の数式（２）に示す対数尤度Ｌ（Θ）が最大になるように、パラメータΘｉを決定する。
【００３９】
【数２】
2007310454.tif 000004
【００４０】
つまり、数式（２）において、Ｌ（Θ）が最大となるようにΘを決定する。実際の決定方法は、ＥＭアルゴリズムを用いる。求めたパラメータをΘ＊（最尤推定値）とする。
このときのＢＩＣ値は、ＢＩＣ＝−２ｌｏｇＬ（Θ＊）＋（６Ｃ−１）ｌｏｇＮとなる。なお、この式において、（６Ｃ−１）は自由パラメータ数（階層クラスタリング手段７におけるクラスタリングした際のモデルの自由度）である。
【００４１】
なお、階層クラスタリング手段７において、クラスタリングした際の仮想のモデルを円形・同一半径とした場合は、任意のｉについて｛ρｉ＝０，σｘｉ＝σｘｊ，σｚｉ＝σｙｉ，σｙｉ＝σｙｊ｝（仮想のモデルの自由度は３Ｃ）となり、ＢＩＣ＝−２ｌｏｇＬ（Θ＊）＋３ＣｌｏｇＮとなる。
【００４２】
ここで、ＢＩＣ値の例を図４に示す。この図４はクラスタ数（図４中、ｎｕｍｂｅｒ  ｏｆ  ｃｌｕｓｔｅｒｓ）とＢＩＣ値（図４中、ＢＩＣ）との関係を示したものである。この図４に示したように、概ねの傾向として、クラスタ数が２，４，６，８と増加するにつれＢＩＣ値は−６１０から−６４０に減少しているが、厳密に見るとクラスタ数２でＢＩＣ値が最大となっていると共に、クラスタ数５のときのＢＩＣ値よりもクラスタ数６のときのＢＩＣ値が大きくなっている。図１に戻る。
【００４３】
確率密度関数計算手段１１は、階層クラスタリング手段７から出力された階層化データと、クラスタ数評価手段９から出力された最適クラスタ数とに基づいて、各クラスタ内の注視点について、当該注視点の分布が二次元正規分布に従うと仮定し、各クラスタ内の注視点の平均・分散・相関等を求め、これらを用いてクラスタごとの確率密度関数を計算するものである。
【００４４】
ここで、各クラスタ内の注視点の平均・分散・相関の例を図５に示す。図５（ａ）はクラスタの概略を示したものであり、図５（ｂ）は図５（ａ）に示した２個のクラスタ（クラスタＡ、クラスタＢ）について平均・分散・相関の具体的な値を示したものである。なお、図５（ａ）はある瞬間にクラスタ数が２個になったことを示している。また、図５（ｂ）では、クラスタ数ｃ、注視点数ｎ、平均（ｘ−，ｙ−）、分散（σｘ，σｙ）、相関ρを示しており、これらのそれぞれに付されている添え字は、クラスタＡでは“１”クラスタＢでは“２”である。
【００４５】
これら図５（ａ）、図５（ｂ）に示したように、コンテンツの経過時間を示しているＴｉｍｅＣｏｄｅ）に伴って、クラスタ数ｃが刻々と変化し、これにより、注視点数ｎ、平均（ｘ−，ｙ−）、分散（σｘ，σｙ）、相関ρも刻々と変化している。図１に戻る。
【００４６】
そして、確率密度関数計算手段１１は、次に示す数式（３）により確率密度関数ｐ（ｘ，ｙ）を計算している。
【００４７】
【数３】
2007310454.tif 000005
【００４８】
この数式（３）において、ｃはクラスタ数であり、ｎｉはクラスタｉにおける注視点の数を、σｘｉ，σｙｉはクラスタｉにおける注視点の標準偏差（分散σｘ，σｙと同じ）を、ｘ−ｉ，ｙ−ｉはクラスタｉにおける注視点の平均値を、ρｉはクラスタｉにおける注視点の相関値を示している。
【００４９】
なお、確率密度関数計算手段１１は、クラスタ数評価手段９から出力された最適クラスタ数に対応する最尤推定値Θ＊を用いて、数式（１）のパラメータに代入することで確率密度関数ｐ（ｘ，ｙ）を求めることができる。
【００５０】
エントロピー計算手段１３は、確率密度関数計算手段１１で計算された確率密度関数に基づいて各画像（フレームごと）のエントロピーを計算するものである。この実施形態では、次に示す数式（４）によりエントロピーＨ（Ｘ）を計算している。
【００５１】
【数４】
2007310454.tif 000006
【００５２】
ここで、エントロピーの例を図６に示す。この図６はエントロピーの値を示すと共に、画像上の位置における確率密度関数による確率、つまり、注視点が画像上のどこの位置、どのように（１カ所に集中して、数カ所にそれぞれ集中して、１カ所にまばらに等）集まることが多かったか否かを示したものである。なお、図６において、水平方向（Ｈ）が画像上のｘ軸に、垂直方向（Ｖ）が画像上のｙ軸に該当している。
【００５３】
この図６に示したように、図６（ａ）では注視点が画像上の１カ所に集中しておりエントロピーＨが９．１１と最も低く、図６（ｂ）では、注視点が画像上の４カ所にそれぞれ集中しておりエントロピーＨが１１．０と最も高く、図６（ｃ）では注視点が画像上の１カ所にまばらに集まっておりエントロピーＨが１０．６と図６（ａ）および図６（ｂ）の場合の間にエントロピーＨの値が収まっている。
【００５４】
なお、図６（ｂ）に示す状態は、画像内に観視する対象であるオブジェクトの数が多いときに生じやすく、図６（ｃ）に示す状態は、コンテンツが風景等を撮像した動画像からなる場合に生じやすい。
【００５５】
それゆえ、図６（ｃ）に示す状態が生じている場合であり、コンテンツが風景等を撮像した動画像でない場合には、当該画像の示す構造自体（いわゆる“絵作り”）に問題があることが考えられる。
【００５６】
また、図６（ａ）に示す状態の方が「被験者がコンテンツの内容を正しく把握している」といった基準を設けた場合、画像上の１カ所に注視点が集中し、エントロピーＨの値の低いことが、コンテンツの制作の仕方として、優れているということが実験的に確認されている。すなわち、画像上の観視対象が被験者によらずに一定となるコンテンツは評価が高くなる。図１に戻る。
【００５７】
作画手段１５は、確率密度関数計算手段１１で計算された確率密度関数に基づいて、コンテテンツに含まれている画像に対応させて、当該画像のどこの位置に注視点がどのように集まっているのかを示した図（等高線図）を作画するものである。なお、この等高線図は、当該等高線図の底面を当該画像に投影した部分を含んで構成されている。
【００５８】
ここで、この作画手段１５で作画した図の例を図７に示す。この図７は画像と注視点とを対応させて示したものである。この図７に示したように、二人のキャスターの顔面付近それぞれに注視点が集中していることがわかる。図１に戻る。
【００５９】
この画像評価装置１によれば、エントロピー計算手段１３によって、視線データの示す注視点がコンテンツの画像上のどの位置に、どれだけ集まっているのかを確率として表している確率密度関数に基づいてエントロピーを計算しているので、このエントロピーに従って、当該コンテンツに含まれている画像を評価する基準とすることができ、予めコンテンツのセグメンテーションを行うことなく、当該コンテンツを視線データによって評価することができる。
【００６０】
また、この画像評価装置１によれば、作画手段１５によって、計算された確率密度関数を、各画像に対応させた等高線図として作画することで、画像上のどこに注視点が集中したのかを目視で確認することができる。
【００６１】
（画像評価装置の動作）
次に、図８に示すフローチャートを参照して、画像評価装置１の動作を説明する（適宜、図１参照）。
まず、画像評価装置１は、複数の観視者がそれぞれ評価対象となるコンテンツを観視した結果である注視点（画像上の座標）と当該コンテンツに付されているタイムコードとを同期させた視線データを、視線データ取得手段３によって観視者数分取得し、視線データ蓄積手段５に蓄積する（ステップＳ１）。
【００６２】
続いて、画像評価装置１は、階層クラスタリング手段７によって、タイムコードで対応付けられる複数の視線データをクラスタリングした階層化データを確率密度関数計算手段１１に出力する（ステップＳ２）。
【００６３】
また、画像評価装置１は、クラスタ数評価手段９によって、クラスタ（任意領域）の個数を評価して最適となる最適クラスタ数を計算し、確率密度関数計算手段１１に出力する（ステップＳ３）。
【００６４】
そして、画像評価装置１は、確率密度関数計算手段１１によって、階層クラスタリング手段７から出力された階層化データと、クラスタ数評価手段９から出力された最適クラスタ数とに基づいて、確率密度関数を計算する（ステップＳ４）。
その後、画像評価装置１は、エントロピー計算手段１３によって、確率密度関数計算手段１１から出力された確率密度関数に基づいて、エントロピーを計算して出力する（ステップＳ５）。
【００６５】
（被験者集中度算出装置の構成）
図９は、被験者集中度算出装置のブロック図である。この図９に示すように、被験者集中度算出装置２１は、コンテンツを観視した被験者の集中度を算出するもので、視線データ取得手段３と、視線データ蓄積手段５と、集中度算出手段２３とを備えている。なお、この被験者集中度算出装置２１の構成の中で、画像評価装置１の構成と同様なものは同一の符号を付して説明を省略する。
【００６６】
また、この被験者集中度算出装置２１では、観視対象となるコンテンツに関して、予め当該コンテンツに含まれている画像それぞれについて、注視点の確率密度関数が求められており、この確率密度関数が入力されている。この注視点の確率密度関数は、画像評価装置１の確率密度関数計算手段１１（図１参照）から出力されたものを用いることができる。
【００６７】
集中度算出手段２３は、被験者の視線データの示す画像上の座標（注視点の座標）を、入力された確率密度関数に代入することで得られた確率（注視確率）を集中度として算出するものである。
【００６８】
ここで、注視確率の例を図１０に示す。この図１０（ａ）はタイムコードと注視点との対応関係を、図１０（ｂ）はタイムコードと注視点と注視確率との対応関係を示したものである。この図１０に示したように、被験者がコンテンツを観視した際の画像それぞれについて注視確率が求められている。
【００６９】
また、コンテンツの経過時間に伴って注視確率（集中度）が変化した例を図１１に示す。この図１１は集中度を視聴集中度と表し、視聴集中度の時間変化を示したものである。この図１１では、０秒から３００秒強までの経過時間に伴う視聴集中度の変化を示している。ここでは、５シーン（５カット）について、１シーン（１カット）ごとの視聴集中度の平均値を算出しており、枠で囲んだ箇所を「シーン１」、「シーン２」としている。ただし、図１１では「シーン１」、「シーン２」のみ平均値を表示している。
【００７０】
図１１に示したように、「シーン１」および「シーン２」の視聴集中度の平均値は、それぞれ「シーン１」の平均値＝０．０８９、「シーン２」の平均値＝０．５３３であり、「シーン２」における視聴集中度は、「シーン１」における視聴集中度よりも高いことがわかる。
【００７１】
（被験者集中度算出装置の動作）
次に、図１２に示すフローチャートを参照して、被験者集中度算出装置２１の動作を説明する（適宜、図９参照）。
まず、被験者集中度算出装置２１は、被験者がコンテンツを観視した結果である注視点（画像上の座標）と当該コンテンツに付されているタイムコードとを同期させた視線データを、視線データ取得手段３によって取得し、視線データ蓄積手段５に蓄積する（ステップＳ１１）。
【００７２】
そして、被験者集中度算出装置２１は、集中度算出手段２３によって、入力された確率密度関数（被験者が観視したコンテンツに含まれている各画像の確率密度関数）に、視線データ蓄積手段５に蓄積された視線データの示す注視点の座標を代入し、注視確率を算出し、この注視確率を当該被験者の集中度として出力する（ステップＳ１２）。
【００７３】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、画像評価装置１、被験者集中度算出装置２１として説明したが、当該装置１、当該装置２１の各構成の処理を実行可能に汎用または特殊なコンピュータ言語によって記述した画像評価プログラム、被験者集中度算出プログラムとして構成することも可能である。これらの場合、画像評価装置１、被験者集中度算出装置２１と同様の効果を奏する。
【００７４】
また、画像評価装置１、被験者集中度算出装置２１では、観視対象をコンテンツに含まれる画像（動画像）としているが、当該コンテンツに音声等が含まれている場合、観視者および被験者の視線データは、当該音声による影響を受けることが予測される。それゆえ、タイムコードと共に、コンテンツに含まれている音声、効果音と画像上のオブジェクトとの位置関係や、当該音声、効果音の強弱等を示す音声情報を、視線データの一部として取得しておくことも有効である。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施形態に係る画像評価装置のブロック図である。
【図２】複数の観視者の視線データを示した図である。
【図３】クラスタリングするクラスタの個数と画像上の座標との関連を示した図である。
【図４】クラスタ数とＢＩＣ値との関係を示した図である。
【図５】（ａ）はクラスタの概略を示した図であり、（ｂ）は（ａ）に示した２個のクラスタについて平均・分散・相関の具体的な値を示した図である。
【図６】エントロピーの値を示すと共に、画像上の位置における確率密度関数による確率を示した図である。
【図７】画像と注視点とを対応させて示した図である。
【図８】図１に示した画像評価装置の動作を示したフローチャートである。
【図９】本発明の実施形態に係る被験者集中度算出装置のブロック図である。
【図１０】（ａ）はタイムコードと注視点との対応関係を示した図であり、（ｂ）はタイムコードと注視点と注視確率との対応関係を示した図である。
【図１１】集中度を視聴集中度と表し、視聴集中度の時間変化を示した図である。
【図１２】図９に示した被験者集中度算出装置の動作を示したフローチャートである。
【符号の説明】
【００７６】
１      画像評価装置
３      視線データ取得手段
５      視線データ蓄積手段
７      階層クラスタリング手段
９      クラスタ数評価手段
１１    確率密度関数計算手段
１３    エントロピー計算手段
１５    作画手段
２１    被験者集中度算出装置
２３    集中度算出手段
【図１】
2007310454.tif 000007
【図２】
2007310454.tif 000008
【図３】
2007310454.tif 000009
【図４】
2007310454.tif 000010
【図５】
2007310454.tif 000011
【図６】
2007310454.tif 000012
【図７】
2007310454.tif 000013
【図８】
2007310454.tif 000014
【図９】
2007310454.tif 000015
【図１０】
2007310454.tif 000016
【図１１】
2007310454.tif 000017
【図１２】
2007310454.tif 000018