(57)【特許請求の範囲】
【請求項１】
表示切換え要求の発生毎に、画像データに変換された複数の画像を記憶するメモリから一定数の前記画像を読み出して画面上に出力する画像表示システムであって、
前記複数の画像のそれぞれの特徴を符号化した特徴データを、当該各画像と対応づけるテーブルファイルと、
前記複数の画像の表示順序を示す順序テーブルと、
当該画像表示システムの利用者の視線方向を検出する手段と、
前記視線方向の検出結果に基づいて、前記画面上に表示されている画像における前記利用者が一定時間にわたって視線を向けた領域を注目領域として判定する手段と、
表示されている画像を除く前記画像の中から注目領域の特徴と一致又は類似した特徴を有する画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示する手段とを有した
ことを特徴とする画像表示システム。
【請求項２】
画像データに変換された複数の画像を記憶するメモリと、前記画像を画面上で再現する表示装置と、表示切換え要求の発生毎に前記メモリから一定数の画像を読み出して前記表示装置によって表示するブラウジング制御装置と、を備えた画像表示システムであって、
前記複数の画像のそれぞれにおける特定範囲の領域の画像情報を符号化した特徴データを、当該各画像と対応づけるテーブルファイルと、
前記複数の画像の表示順序を示す順序テーブルと、
当該画像表示システムの利用者の視線方向を検出する手段と、
前記視線方向の検出結果に基づいて、前記画面上に表示されている画像の一部であって前記利用者が一定時間にわたって視線を向けた領域を含む特定サイズの部分画像を注目画像として判定する手段と、
前記注目画像の画像情報を符号化した注目情報データを出力する手段と、を有し、
前記ブラウジング制御装置は、前記テーブルファイルを参照することによって、表示されている画像を除く前記画像の中から前記特徴データの値が前記注目情報データの値を含む一定範囲内の値である部分を有した画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示する
ことを特徴とする画像表示システム。
【請求項３】
画像データに変換された複数の画像を記憶するメモリと、前記画像を画面上で再現する表示装置と、表示切換え要求の発生毎に前記メモリから一定数の画像を読み出して前記表示装置によって表示するブラウジング制御装置と、を備えた画像表示システムであって、
前記複数の画像のそれぞれが表す物体の分類を符号化した属性データと、当該各画像における前記物体の描画領域を示す位置データとを、当該各画像と対応づけるテーブルファイルと、
前記複数の画像の表示順序を示す順序テーブルと、
当該画像表示システムの利用者の視線方向を検出する手段と、
前記視線方向の検出結果に基づいて、前記画面上に表示されている画像における前記利用者が一定時間にわたって視線を向けた領域を注目領域として判定する手段と、
前記テーブルファイルの検索によって、表示されている画像に対応し且つ前記注目領域の位置に該当する位置データの有無を判別し、該当する位置データが存在する場合にそれに対応した属性データを注目属性データとして出力する手段と、を有し、
前記ブラウジング制御装置は、前記テーブルファイルを参照することによって、表示されている画像を除く前記画像の中から前記属性データの値が前記注目属性データの値を含む一定範囲内の値である物体を表す画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示する
ことを特徴とする画像表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子化された多数の画像を１つ又は複数ずつ順に表示するブラウジング表示方法、及びブラウジング表示を行う画像表示システムに関し、画像データベースや画像ライブラリなどに利用される。
【０００２】
近年、写真や絵画などのカラー画像が電子化され、画像データの属性に色の要素が加わっている。画像データベースの利用者は、多数の画像の中から所望のカラー情報を有した画像を見つけ出すのにしばしば苦労する。
【０００３】
【従来の技術】
コンピュータで管理される画像データベースの多くは、画像の分類や画像番号をキーとする検索が可能に構築されている。１次検索又はｎ次検索（ｎ≧２）において、検索条件を満足する画像は番号順に表示対象として登録される。その後に、表示対象の画像に対して例えば昇番順のブラウジング表示が実行される。通常、表示の切換えはデータベースの利用者による指示操作に呼応して行われる。一定時間が経過する毎に自動的に表示が切り換わる場合もある。
【０００４】
【発明が解決しようとする課題】
従来では、予め定められた順序で表示対象の画像が表示されていた。昇番順・降番順・一定番号置きといった表示選択が可能な場合もあるが、基本的に画像の表示順序は固定であった。このため、表示対象の画像が多数の場合には、利用者が所望の画像を見つけ出すのに長時間を要したり、似通った画像を一通り見た上で最良のものを選ぼうとしても現実的な時間で作業を終えることができなかったりするという問題があった。
【０００５】
この問題に対しては、所望の画像に似た画像が表示された状態において利用者が特定の指示を表示システムに与えることとし、指示を受けた表示システムが画像の特徴を判別して以降の表示対象を絞り込むようにすることが考えられる。
【０００６】
しかし、利用者が“所望する画像に似ている”と感じる毎に指示操作を意識的に行うのでは、利用者の負担が大きい。特に、表示されている画像の全体ではなく一部分が所望の画像と似ている場合には、似ている部分の位置情報を入力する必要があるので、操作が甚だ面倒になる。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、ブラウジング表示における操作の負担を増大することなく、利用者にとってより有用な画像を他の画像よりも早く表示する画像表示システムの実現を目的としている。
【０００８】
【課題を解決するための手段】
画面を見る利用者の視線の動きを追跡することにより、利用者が画像の何処に視線を向けているかを検知することができる（特開平６−１４９５２９号）。一定時間（数秒程度）にわたって視線がほぼ一点に向けられている場合は、利用者がその凝視点の付近の画像情報に興味をもっていると見做せる。つまり、利用者は画像の一部に注目している。
【０００９】
画像表示システムは、注目された部分の画像データを解析することにより、又は予め画像内の位置に対応づけられている属性データを取り込むことにより、利用者が注目している部分の特徴を示す情報を、利用者の意識的な情報入力操作に依らずに獲得することができる。特徴には、形状、色、配色パターン（色分布）といった画素構成パターンとともに、画像の表す物体（オブジェクト）が何であるのかという人為的に分類された属性が含まれる。
【００１０】
獲得した特徴に基づいて画像表示システムが以降の表示対象の画像を絞り込むことにより、すなわち獲得した特徴と一致又は類似した特徴を有する画像を表示対象として選択することにより、利用者は効率的に所望の画像情報を得ることができる。
【００１１】
請求項１の発明のシステムは、表示切換え要求の発生毎に、画像データに変換された複数の画像を記憶するメモリから一定数の前記画像を読み出して画面上に出力する画像表示システムであって、前記複数の画像のそれぞれの特徴を符号化した特徴データと当該各画像とを対応づけるテーブルファイルと、前記複数の画像の表示順序を示す順序テーブルと、当該画像表示システムの利用者の視線方向を検出する手段と、前記視線方向の検出結果に基づいて、前記画面上に表示されている画像における前記利用者が一定時間にわたって視線を向けた領域を注目領域として判定する手段と、表示されている画像を除く前記画像の中から注目領域の特徴と一致又は類似した特徴を有する画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示する手段とを有したものである。
【００１２】
請求項２の発明のシステムは、画像データに変換された複数の画像を記憶するメモリと、前記画像を画面上で再現する表示装置と、表示切換え要求の発生毎に前記メモリから一定数の画像を読み出して前記表示装置によって表示するブラウジング制御装置とを備えた画像表示システムであって、前記複数の画像のそれぞれにおける特定範囲の領域の画像情報を符号化した特徴データを、当該各画像と対応づけるテーブルファイルと、前記複数の画像の表示順序を示す順序テーブルと、当該画像表示システムの利用者の視線方向を検出する手段と、前記視線方向の検出結果に基づいて、前記画面上に表示されている画像の一部であって前記利用者が一定時間にわたって視線を向けた領域を含む特定サイズの部分画像を注目画像として判定する手段と、前記注目画像の画像情報を符号化した注目情報データを出力する手段とを有し、前記ブラウジング制御装置が、前記テーブルファイルを参照することによって、表示されている画像を除く前記画像の中から前記特徴データの値が前記注目情報データの値を含む一定範囲内の値である部分を有した画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示するように構成されている。
【００１３】
請求項３の発明の画像表示システムは、複数の画像のそれぞれが表す物体の分類を符号化した属性データと、当該各画像における前記物体の描画領域を示す位置データとを、当該各画像と対応づけるテーブルファイルと、前記複数の画像の表示順序を示す順序テーブルと、当該画像表示システムの利用者の視線方向を検出する手段と、前記視線方向の検出結果に基づいて、前記画面上に表示されている画像における前記利用者が一定時間にわたって視線を向けた領域を注目領域として判定する手段と、前記テーブルファイルの検索によって、表示されている画像に対応し且つ前記注目領域の位置に該当する位置データの有無を判別し、該当する位置データが存在する場合にそれに対応した属性データを注目属性データとして出力する手段とを有し、前記ブラウジング制御装置が、前記テーブルファイルを参照することによって、表示されている画像を除く前記画像の中から前記属性データの値が前記注目属性データの値を含む一定範囲内の値である物体を表す画像を選択し、選択した画像の表示順序が上位になるように前記順序テーブルを更新し、その後の表示切換え要求の発生に呼応して、前記順序テーブルが示す最上位の画像を表示するように構成されている。
【００１４】
【発明の実施の形態】
図１は本発明に係る画像表示システム１のブロック図、図２は視線ｇと注目画像Ｇ１ｐとの関係を示す図である。
【００１５】
画像表示システム１は、画像データに変換された多数の画像を記憶するメモリ装置１０、画面（スクリーン）２１上で画像を再現する表示装置２０、プログラムに従ってブラウジング表示を実現するブラウジング制御装置３０、指示操作のためのキーボード４０、及び当該画像表示システムの利用者の視線方向を検出する視線方向検出装置５０から構成されている。視線方向検出装置５０は、利用者の角膜の動きを光学的に捉えるアイカメラ法によって視線方向を検出する。
【００１６】
メモリ装置１０には、画像データを格納した画像ファイルＦ１とともに、各画像とそれらの特徴とを対応づけるテーブルファイルＦ２（詳細は後述）が設けられている。メモリ装置１０の記憶媒体は例えば磁気ディスクである。
【００１７】
ブラウジング制御装置３０は、注目範囲設定部３１、特徴抽出部３２、及び検索部３３を有している。これらの各部は、コンピュータとソフトウェアとによって実現されている。
【００１８】
注目範囲設定部３１は、視線方向検出装置５０の出力信号Ｓ５０に基づいて画面２１上の視線位置（視線が向けられた点）を算定し、画面２１上に表示されている画像（以下、表示中画像という）Ｇ１の一部であって利用者が一定時間にわたって視線を向けた領域Ａｘを含む特定サイズの部分画像を注目画像Ｇ１ｐとして判定する。
【００１９】
特徴抽出部３２は、画像ファイルＦ１から表示中画像Ｇ１の画像データを読み込み、注目画像Ｇ１ｐの画像情報を符号化した注目情報データＤ３２を検索部３３へ出力する。特徴抽出部３２には、注目範囲設定部３１から注目画像Ｇ１ｐの位置を示すデータＤ３１が与えられる。
【００２０】
検索部３３は、表示順序を示す順序テーブルＴ３３を有しており、キーボード４０から切換え要求信号Ｓ４０が入力される毎に、画像ファイルＦ１から表示順序に従って１つずつ画像を読み出して表示する。ここで重要な点は、表示順序が利用者の視線位置に応じて変更される点である。検索部３３は、注目情報データＤ３２が入力されると、テーブルファイルＦ２を検索することによって、画像ファイルＦ１内の表示中画像Ｇ１以外の画像（以下、表示予定画像という）の中から、注目画像Ｇ１ｐの特徴と類似した特徴を有する画像（厳密には画像番号ＧＮ）を選択する。そして、選択した画像の表示順位が上位になるように順序テーブルＴ３３を更新する。このような表示順位の変更は、注目情報データＤ３２が入力される毎に実行される。
【００２１】
図３は画像表示システム１の動作を示すフローチャート、図４は画像と特徴データＤＣとの関係を示す図である。
利用者がキーボード４０の操作によって画像表示システム１に対して表示の開始を指示すると、画面２１には１つの画像Ｇ１が表示される（＃１）。このとき表示される画像Ｇ１は、順序テーブルＴ３３の表示順位における最上位の画像である。初期化状態の表示順序は画像番号順である。
【００２２】
利用者が例えば数秒程度の時間にわたって表示中画像Ｇ１を凝視した場合は、注目画像Ｇ１ｐを特定する（＃２，＃３）。凝視とは、視線位置が予め定めた小面積の領域Ａｘ内にある状態を意味する。
【００２３】
注目画像Ｇ１ｐの特徴として画素単位の色の頻度分布を算定し、その結果を注目情報データＤ３２の値とする（＃４）。つまり、再現可能な色範囲をｎ個に区分した各色毎に、画素数を数えて総画素数で除した値を各色の頻度値とする。これにより、注目画像Ｇ１ｐの特徴は、各色の頻度値を要素とする（１）式のｎ次元ベクトルＦとして得られる。
【００２４】
Ｆ＝（ｐ１／Ｐ，ｐ２／Ｐ，…ｐｎ／Ｐ）    …（１）
ｐｉ（ｉ＝１〜ｎ）：ある色の画素数、Ｐ：総画素数
テーブルファイルＦ２を検索し、注目情報データＤ３２の値との差が一定値以下である特徴データＤＣ、すなわち注目情報データＤ３２と類似した特徴データＤＣを選択する。選択した特徴データＤＣに対応づけられている表示予定画像に対して、類似度の大きい順に表示の優先順位を設定する（＃５）。
【００２５】
ここで、テーブルファイルＦ２には、予め画像ファイルＦ１の各画像の一部又は全体の色の頻度分布を示す特徴データＤＣが、画像番号ＧＮに対応づけて格納されている。画像表示システム１では、図４のように画像Ｇを４×４個の領域Ｂｉｊ（ｉ，ｊ＝１〜４）に区画し、個々の領域Ｂｉｊが対応する計１６個の部分画像と、隣接する２×２個の領域Ｂｉｊが対応する計９個の部分画像と、全ての領域Ｂｉｊが対応する画像Ｇの全体とについて、色の頻度分布が求められている。つまり、１つの画像Ｇに対して計２６（＝１６＋９＋１）個の特徴データＤＣが存在する。２６個の特徴データＤＣの内、１つでも注目情報データＤ３２と類似するものがあれば、その画像Ｇに優先順位が設定される。注目情報データＤ３２と注目情報データＤ３２との間の類似度は、例えばｎ次元ベクトルどうしの間のユークリッド距離を最大距離から差し引く演算により算出される。
【００２６】
このようにして順序テーブルＴ３３を変更した後、表示切換え要求があれば、表示順位が最上位の表示予定画像を表示中画像Ｇ１に代えて表示する（＃６，＃７）。表示の切換えの以前の表示中画像Ｇ１の表示順位は最下位とされるが、表示の履歴が記憶されるので、表示の逆戻りは可能である。利用者は以前に表示された画像を再び見ようと思えば、逆戻りを指示すればよい。表示切換え要求がなければ、ステップ＃２に戻って凝視の有無をチェックする。終了指示操作が行われるまで、表示切換え要求が発生する毎に１つずつ画像を表示する（＃８）。利用者が異なる部分を凝視する毎に順序テーブルＴ３３が変更される。
【００２７】
画像表示システム１では、注目画像Ｇ１ｐに類似した画像情報をもつ画像が優先的に表示されるので、利用者は多数の画像の中から所望の画像を効率的に見つけ出すことができる。類似点及び類似部分の位置を意識的に入力する必要がなく、利用者に操作の負担がかからない。指定の困難な色分布を画像の特徴として判別するので、例えばカラーデザインの参考情報として特定の色模様の画像を検索するといった用途に利用することができる。
【００２８】
図５は第２の画像表示システム２のブロック図、図６は画像Ｇの一例を示す図である。図５において図１と同一の機能を有する構成要素には同一の符号を付してある。
【００２９】
画像表示システム２は、メモリ装置１０、表示装置２０、ブラウジング制御装置６０、キーボード４０、及び視線方向検出装置５０から構成されている。
メモリ装置１０には、画像データを格納した画像ファイルＦ１ととともに、テーブルファイルＦ３が設けられている。テーブルファイルＦ３は、画像が表すオブジェクトの分類を符号化した属性データＤＡと、各画像におけるオブジェクトの描画領域を示す位置データＤＰとを、各画像の画像番号ＧＮに対応づけて記憶する。図６の例の画像Ｇでは、「木」及び「山」の２つのオブジェクトが描かれている。この場合、「木」の描画領域の左上端の点Ｐ１１及び右下端の点Ｐ１２の各座標が「木」に対応した位置データＤＰとされ、「木」の分類コードが属性データＤＡとされる。属性データＤＡには、「木」の種類（杉、松といった名称）、高さ、樹齢などの情報を含めることもできる。「山」についても同様に、描画領域の左上端及び右下端の点Ｐ２１，Ｐ２２の各座標が位置データＤＰとされ、「山」の分類コードが属性データＤＡとされる。
【００３０】
ブラウジング制御装置６０は、注目範囲設定部６１、特徴抽出部６２、及び検索部６３を有している。
注目範囲設定部６１は、視線方向検出装置５０の出力信号Ｓ５０に基づいて画面２１上の視線位置を算定し、表示中画像Ｇ１における利用者が一定時間にわたって視線を向けた領域を注目領域Ａｘとして判定する（図２参照）。そして、注目領域Ａｘの中心を示す注目位置データＤ６１を特徴抽出部６２へ出力する。
【００３１】
特徴抽出部６２は、テーブルファイルＦ３の検索によって、表示中画像Ｇ１に対応し且つ注目領域Ａｘの中心位置を内包する領域に該当する位置データＤＰの有無を判別し、該当する位置データＤＰが存在する場合にそれに対応した属性データＤＡを注目属性データＤ６２として検索部６３へ出力する。
【００３２】
検索部６３は、表示順序を示す順序テーブルＴ６３を有しており、キーボード４０から切換え要求信号Ｓ４０が入力される毎に、画像ファイルＦ１から表示順序に従って１つずつ画像を読み出して表示する。ただし、表示順序は適宜変更される。検索部３３は、注目属性データＤ６２が入力されると、テーブルファイルＦ３を検索することによって、画像ファイルＦ１内の表示予定画像の中から、注目属性データＤ６２と類似した属性を有する画像（厳密には画像番号）を選択する。そして、選択した画像の表示順位が上位になるように順序テーブルＴ６３を更新する。
【００３３】
図７は第２の画像表示システム２の動作を示すフローチャートである。
利用者がキーボード４０の操作によって画像表示システム２に対して表示の開始を指示すると、画面２１に順序テーブルＴ６３におけるその時点の表示順位の最上位の画像を表示する（＃１１）。
【００３４】
利用者が例えば数秒程度の時間にわたって表示中画像Ｇ１を凝視した場合は、注目領域Ａｘの中心位置を求める。すなわち利用者が注目しているオブジェクトを特定する（＃１２，＃１３）。
【００３５】
注目オブジクトの属性データＤＡを注目属性データＤ６２としてテーブルファイルＦ３から読み出す（＃１４）。テーブルファイルＦ３を検索し、注目属性データＤ６２の値との差が一定値以下である属性データＤＡ、すなわち注目属性データＤ６２と類似した属性データＤＡを選択する。そして、選択した属性データＤＡに対応づけられている表示予定画像に対して、類似度の大きい順に表示の優先順位を設定する（＃１５）。オブジェクトの分類が異なる場合は類似度は０となる。オブジェクトの分類が同一の場合は、名称・形状・寸法などの他の要素の属性値の差によって類似度が定まる。属性値が色や名称などのように文字列で表現される場合、文字列として一致しているときの類似度は１、不一致のときの類似度は０である。属性値が寸法のように数値で表現される場合、注目オブジェクトとの間の差を１で正規化した値を１から差し引いた結果がその属性値の類似度となる。
【００３６】
このようにして順序テーブルＴ６３を変更した後、表示切換え要求があれば、表示順位が最上位の表示予定画像を表示中画像Ｇ１に代えて表示する（＃１６，＃１７）。表示の切換えの以前の表示中画像Ｇ１の表示順位は最下位とされる。表示切換え要求がなければ、ステップ＃１２に戻って凝視の有無をチェックする。終了指示操作が行われるまで、表示切換え要求が発生する毎に１つずつ画像を表示する（＃１８）。
【００３７】
以上の説明では、表示中画像Ｇ１と類似した特徴（属性を含む）を有する表示予定画像に対して順位設定を行うものとしたが、類似していない表示予定画像よりも順位を上位に設定するだけで、類似した表示予定画像を画像番号順に表示するようにしてもよい。操作によらず一定の時間が経過する毎に表示を切り換えるように構成することもできる。
【００３８】
属性の類似判別と色分布の類似判別の両方を行うことによって、優先表示の対象を絞り込むようにしてもよい。その他、凝視判定の基準時間、類似判別の基準値などの動作条件は、画像の種類などの状況に応じて適宜選定すればよい。
【００３９】
【発明の効果】
請求項１ないし請求項３の発明によれば、ブラウジング表示における操作の負担を増大することなく、利用者にとってより有用な画像を他の画像よりも早く表示することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムのブロック図である。
【図２】視線と注目画像との関係を示す図である。
【図３】画像表示システムの動作を示すフローチャートである。
【図４】画像と特徴データとの関係を示す図である。
【図５】第２の画像表示システムのブロック図である。
【図６】画像の一例を示す図である。
【図７】第２の画像表示システムの動作を示すフローチャートである。
【符号の説明】
１，２  画像表示システム
Ｓ４０  切換え要求信号（表示切換え要求）
Ｇ  画像
１０  メモリ装置（メモリ）
２０  表示装置
２１  画面
３０  ブラウジング制御装置
３１  注目範囲設定部（注目画像を判定する手段）
３２  特徴抽出部（注目情報データを出力する手段）
５０  視線方向検出装置（利用者の視線方向を検出する手段）
６０  ブラウジング制御装置
６１  注目範囲設定部（注目領域を判定する手段）
６２  特徴抽出部（注目属性データを出力する手段）
Ａｘ  注目領域（注目部分）
ＤＡ  属性データ
ＤＣ  特徴データ
ＤＰ  位置データ
Ｄ３２  注目情報データ
Ｄ６２  注目属性データ
Ｆ２，Ｆ３  テーブルファイル
Ｇ１  表示中画像（画面上に表示されている画像）
Ｇ１ｐ  注目画像（注目部分）
Ｓ５０  出力信号（視線方向の検出結果）
【図１】
0003724859.tif 000002
【図２】
0003724859.tif 000003
【図３】
0003724859.tif 000004
【図４】
0003724859.tif 000005
【図５】
0003724859.tif 000006
【図６】
0003724859.tif 000007
【図７】
0003724859.tif 000008