(57)【要約】【課題】  視覚障害者による画面上の対話部品に対するポインティング操作を容易にする為に、ポインティングされるべき対話部品を一同に集めたウィンドウにて、個々の対話部品を直接ポインティングすることを可能にする。【解決手段】  ディスプレイ画面上に表示される対話部品情報を画面情報抽出部３１０で抽出し、抽出された情報から探索テーブル構成部３１４で探索テーブルを生成する。直接指示制御部３３０は、生成された探索テーブルをディスプレイ上にウィンドウとして変換出力し、タッチパネル、マウス等の入力デバイス３０２による該ウィンドウ上での対話部品単位での直接ポインティング操作を可能とし、且つ探索テーブルと論理構造探索情報蓄積部３１５に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。【選択図】  図１２
2005011366.tif 000002
【特許請求の範囲】
【請求項１】
各種の入出力デバイスとグラフィカルユーザインタフェースのＯＳとアプリケーションプログラムとを有する情報処理装置において、視覚に障害を持つユーザのグラフィカルユーザインタフェース環境の利用を支援するために、ユーザの探索操作に応答して画面上の対話部品の情報を探索して予め定められた所定の方法でユーザに知らしめるようにした画面探索インタフェース装置であって、
ディスプレイ画面の状態が変化するごとに最新の画面上の対話部品の情報を抽出する画面情報抽出部と、
探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持する論理構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する探索テーブル構成部と、
該探索テーブル構成部で作成された探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位での直接ポインティング操作を可能とし、且つ前記探索テーブルと前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する直接指示制御部とを備えることを特徴とする画面探索インタフェース装置。
【請求項２】
前記画面情報抽出部で抽出された対話部品の情報から前記探索テーブルを作成する際のテンプレートとなるテーブル構成情報を保持するテーブル構成情報蓄積部を備え、
前記探索テーブル構成部は、前記テーブル構成情報と前記画面情報抽出部で抽出された対話部品の情報とから、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する構成を有することを特徴とする請求項１記載の画面探索インタフェース装置。
【請求項３】
前記論理構造探索情報蓄積部がフィルタリング指定テーブルを有し、前記直接指示制御部は、前記探索テーブルに配列された対話部品の情報のうち前記論理構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進めるものであることを特徴とする請求項１または２記載の画面探索インタフェース装置。
【請求項４】
前記直接指示制御部は、ウィンドウとして表示された探索テーブル以外のディスプレイ上の対話部品に対する入力デバイスからの入力を無視する制御を行うものであることを特徴とする請求項１、２または３記載の画面探索インタフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚に障害を持つユーザのＧＵＩ(Graphical User Interface)環境の利用を支援するための情報処理装置における画面探索インタフェース装置に関する。
【背景技術】
【０００２】
情報処理装置がＧＵＩ環境に移行したことによって、ディスプレイ画面を見ることが不得手な視覚障害者は、情報処理装置の利用が困難になってきた。それは、視覚障害者では、画面上にどのような対話部品がどのように配置されているかを正確に認識すること、及びその正確な位置をマウス等のポインティングデバイスでポインティングすることが共に困難であることによる。
【０００３】
そこで視覚障害者の便宜を図るため、ＧＵＩ環境で画面上の情報を順次に探索してそれを読み上げる探索方式として、「Nonvisual Presentation of Graphical User Interfaces:Contrasting Two Approaches(Elizabeth D. Mynatt、Gerhard Weber CHI'94 Conference Proceedings)」に見られるように、画面のレイアウト構造をもとに対話部品の探索を行うＧＵＩＢなどのレイアウト構造探索方式と、対話部品の論理構造をもとに探索を行うMercatorなどの論理構造探索方式の２種類が提案されている。なお、レイアウト構造探索方式では、out SPOKEN for Windows(Berkeley System社）などの製品も存在する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
レイアウト構造探索方式では、画面上に配置された対話部品のレイアウトを利用して探索を行うため、画面上での対話部品の配置を或る程度把握している場合には適している。しかし、そうでない場合には、ＧＵＩ環境では多くの対話部品が画面上の様々な位置に分布しており、レイアウト構造探索ではそのレイアウト通りに探索が進められるため、画面上に散らばる多くの対話部品の中から目的とする対話部品を探し出すには、目的としない対話部品を幾つも経由しなければならず、操作効率が極端に低下する。
【０００５】
他方、論理構造探索方式では、対話部品の論理構造であるツリー構造を利用するため、論理構造に従った規則的な探索が行える。しかし、論理構造探索方式では、対話部品のツリー構造を利用するため、決まったパス上でしか探索できず、たとえ画面上では隣接する対話部品であっても、多くの対話部品を経由しなければ見出せない場合がある。また、従来の論理構造探索方式では、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品も含めて探索が行われているため、視覚障害者にとって無意味な対話部品が探索されることが多く、対話部品の探索操作がより一層冗長なものとなっている。
【０００６】
このように、レイアウト構造探索方式，論理構造探索方式にはそれぞれ一長一短があるため、視覚に障害があるユーザは冗長な探索操作を強いられており、これが操作効率の向上や操作の容易さを妨げる要因となっていた。
【０００７】
そこで本発明の第１の目的は、画面上の対話部品に対するポインティング操作を容易にするために、ポインティングされるべき対話部品を一同に集めたウィンドウにて、個々の対話部品を直接ポインティングすることを可能にする画面探索インタフェース装置を提供することにある。
【０００８】
本発明の第２の目的は、ウィンドウの拡大，縮小操作といった視覚に依存する操作に関連する対話部品を除外した探索を実現することにより、探索操作の冗長性をより一層低減させることにある。
【０００９】
本発明の第３の目的は、ユーザが探索を必要としない対話部品を事前に指定しておけば、それらを除外して、ユーザに通知すべき対話部品の探索を行う画面探索インタフェース装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は上記第１の目的を達成するために、各種の入出力デバイスとグラフィカルユーザインタフェースのＯＳとアプリケーションプログラムとを有する情報処理装置において、視覚に障害を持つユーザのグラフィカルユーザインタフェース環境の利用を支援するために、ユーザの探索操作に応答して画面上の対話部品の情報を探索して音声、点字出力などの所定の方法でユーザに知らしめるようにした画面探索インタフェース装置であって、
ディスプレイ画面の状態が変化するごとに最新の画面上の対話部品の情報を抽出する画面情報抽出部と、
探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を保持する論理構造探索情報蓄積部と、
前記画面情報抽出部で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する探索テーブル構成部と、
該探索テーブル構成部で作成された探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位での直接ポインティング操作を可能とし、且つ前記探索テーブルと前記論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する直接指示制御部とを備えている。
【００１１】
このような構成を有する本発明の画面探索インタフェース装置にあっては、ディスプレイ画面の状態が変化すると、画面情報抽出部が最新の画面上の対話部品の情報を抽出し、探索テーブル構成部が、この抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。そして、直接指示制御部が、作成された探索テーブルをディスプレイ上にウィンドウとして変換出力して、タッチパネル、マウス等の入力デバイスによる該ウィンドウ上での対話部品単位での直接ポインティング操作を可能とし、且つ探索テーブルと論理構造探索情報蓄積部に蓄積された情報とに基づいて、ポインティング操作に応じた対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。これによって、視覚に障害を持つユーザがＧＵＩの対話部品の探索、操作を容易かつ効率的に行うことが可能となる。
【００１２】
また本発明は上記の第２の目的を達成するために、前記画面情報抽出部で抽出された対話部品の情報から前記探索テーブルを作成する際のテンプレートとなるテーブル構成情報を保持するテーブル構成情報蓄積部を備え、前記探索テーブル構成部は、前記テーブル構成情報と前記画面情報抽出部で抽出された対話部品の情報とから、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成するようにしている。
【００１３】
さらに本発明は上記の第３の目的を達成するために、前記論理構造探索情報蓄積部がフィルタリング指定テーブルを有し、前記直接指示制御部は、前記探索テーブルに配列された対話部品の情報のうち前記論理構造探索情報蓄積部のフィルタリング指定テーブルで指定された対話部品の情報を除外して探索を進めるようにしている。
【発明の効果】
【００１４】
以上説明したように本発明によれば以下のような効果を得ることができる。
【００１５】
ポインティングされるべき対話部品が１つのウィンドウ内に一同に集められていること、ポインティングの移動が対話部品単位で行われることから、個々の対話部品を直接ポインティングすることが簡単に行える。このため、視覚に障害を持つユーザは、効率的な操作でＧＵＩ環境を利用することが可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態について説明する前に、その前提となる画面探索インタフェース装置について図面を参照して説明する。
【００１７】
図１を参照すると、本発明の第１の前提例にかかる画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ１０１（以下、単にＯＳ１０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス１０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス１０３と、ＯＳ１０１の下で動作する各種のアプリケーションプログラム１０４と、画面情報抽出部１１０と、レイアウト構造探索情報蓄積部１１１と、レイアウト構造探索部１１２と、テーブル構成情報蓄積部１１３と、探索テーブル構成部１１４と、論理構造探索情報蓄積部１１５と、論理構造探索部１１６と、対話制御部１１７と、画面変化通知情報蓄積部１１８とで構成されている。
【００１８】
ＯＳ１０１は、出力デバイス１０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であるため、本前提例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。
【００１９】
画面情報抽出部１１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部１１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００２０】
レイアウト構造探索部１１２およびレイアウト構造探索情報蓄積部１１１はレイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部１１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。レイアウト構造探索部１１２は、画面情報抽出部１１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部１１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２１】
論理構造探索部１１６，探索テーブル構成部１１４，テーブル構成情報蓄積部１１３および論理構造探索情報蓄積部１１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部１１３は、画面情報抽出部１１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部１１４は、画面情報抽出部１１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部１１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部１１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積する。論理構造探索部１１６は、探索テーブル構成部１１４で作成された探索テーブルと、論理構造探索情報蓄積部１１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。
【００２２】
対話制御部１１７はレイアウト構造探索と論理構造探索との切り換えを行う。また、その切り換え時に発生し得る不整合を排除する。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００２３】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００２４】
図２は図１の前提例の処理を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（６０１）、それぞれに対応する処理を行う。
【００２５】
○画面状態変化
ＯＳ１０１から出力デバイス１０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部１１０では、ＯＳ１０１からその時点において画面上に表示されている対話部品の情報を抽出する（６１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。図３に画面情報抽出部１１０によって抽出される情報の例を示す。同図に示すように、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部１１４およびレイアウト構造探索部１１２に出力される。
【００２６】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部１１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部１１０は、画面状態の変化時に、画面変化通知情報蓄積部１１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部１１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（６１１）。
【００２７】
他方、探索テーブル構成部１１４では、テーブル構成情報蓄積部１１３よりテーブル構成情報を取得し（６１２）、このテーブル構成情報と、画面情報抽出部１１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（６１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことである。図４にテーブル構成情報の例を示す。この例のテーブル構成情報では、各項目のグループ名（アプリケーション名，子ウィンドウ名等），そのグループに属する各項目名称（項目名称１，項目名称２等），項目数（項目数（ｍ）等）を横方向に並べた行を、操作手順に従って縦方向に並べてある。なお、この例は、アプリケーションに対するユーザ操作が、アプリケーションの選択，この選択したアプリケーションに関連する子ウィンドウの選択，この選択した子ウィンドウに関連するメニュー項目の選択，この選択したメニュー項目に関連するリスト項目の選択といった順序で行われることを想定している。このテンプレートをもとに作成される探索テーブルは、画面の状態変化イベントの発生に応じて、即ち変化後の画面状態に応じて、随時更新される。図５に図４のテンプレートをもとに構成された探索テーブルとその更新の例を示す。図５（ａ）の状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合に更新された探索テーブルが図５（ｂ）である。なお、図５において網かけを施した部分は選択されている対話部品を示す。ここで、本前提例の特徴は、画面情報抽出部１１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外されていることである。
【００２８】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーのボタン操作などによって通知されると、対話制御部１１７は探索イベントを論理構造探索部１１６に渡す。論理構造探索部１１６では、探索テーブル構成部１１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（６２０）。図５（ａ）の探索テーブルに対する探索ポイントの移動例を図６に示す。
【００２９】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動するように設定している。「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。
【００３０】
探索ポイント移動後、論理構造探索部１１６は、その位置の対話部品の情報を取得し（６２１）、論理構造探索情報蓄積部１１５より取得した出力変換情報（６２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６２３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３１】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス１０２中のテンキーなどから通知されると、対話制御部１１７は探索イベントをレイアウト構造探索部１１２に渡す。レイアウト構造探索部１１２では、画面情報抽出部１１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（６３０）。探索ポイントの移動は、図７に示すように対話部品単位で行われる。
【００３２】
入力デバイス１０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、この例では、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。図のＡの位置から（ｂ）右方向の移動操作を行うとウィンドウ枠，アイコン，アイコン，ウィンドウ枠，画面端の順に移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００３３】
探索ポイント移動後、レイアウト構造探索部１１２は、その位置の対話部品の情報を取得し（６３１）、レイアウト構造探索情報蓄積部１１１より取得した出力変換情報（６３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０２に出力する（６３３）。これによってユーザは、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００３４】
○選択実行操作
例えば入力デバイス１０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行処理が開始される。対話部品の選択実行は、論理構造探索部１１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（６４０）、論理構造探索情報蓄積部１１５のイベント変換情報を利用して（６４１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部１１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００３５】
対話部品の選択実行は、レイアウト構造探索部１１２では、画面上の探索ポイントで指定された対話部品の情報を取得し（６５０）、レイアウト構造探索情報蓄積部１１１のイベント変換情報を利用して（６５１）、対話制御部１１７を通じて実行イベントを発生させることで行う（６５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部１１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部１１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力し（６５３）、ユーザの選択実行指示に対する結果を知らせる。
【００３６】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部１１０による画面情報の抽出，探索テーブル構成部１１４による探索テーブルの更新が起こる。
【００３７】
○探索方式切換
例えば入力デバイス１０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により、論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部１１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（６６０）。
【００３８】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部１１２で最後に探索された対話部品の情報が、論理構造探索部１１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００３９】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部１１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部１１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００４０】
また、探索方式の切り換え時、対話制御部１１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス１０３に出力する（６６１）。
【００４１】
以上のように本前提例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。
【００４２】
図８を参照すると、本発明の第２の前提例にかかる画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ２０１（以下、単にＯＳ２０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス２０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス２０３と、ＯＳ２０１の下で動作する各種のアプリケーションプログラム２０４と、画面情報抽出部２１０と、レイアウト構造探索情報蓄積部２１１と、レイアウト構造探索部２１２と、テーブル構成情報蓄積部２１３と、探索テーブル構成部２１４と、論理構造探索情報蓄積部２１５と、論理構造探索部２１６と、対話制御部２１７と、画面変化通知情報蓄積部２１８とで構成され、図１の前提例と異なり、レイアウト構造探索情報蓄積部２１１および論理構造探索情報蓄積部２１５はフィルタリング指定テーブル２２０およびフィルタリング指定テーブル２２１を有し、また、レイアウト構造探索部２１２および論理構造探索部２１６はフィルタリング制御部２２２およびフィルタリング制御部２２３を有している。
【００４３】
ＯＳ２０１は、出力デバイス２０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であるため、本前提例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル２２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。
【００４４】
画面情報抽出部２１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部２１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００４５】
フィルタリング制御部２２２を有するレイアウト構造探索部２１２およびフィルタリング指定テーブル２２０を有するレイアウト構造探索情報蓄積部２１１はレイアウト構造探索を実現している。レイアウト構造探索情報蓄積部２１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部２１２は、画面情報抽出部２１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部２１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部２１２は、フィルタリング制御部２２２を使用して、画面情報抽出部２１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル２２０で指定された対話部品の情報を除外して探索を進める。
【００４６】
フィルタリング制御部２２３を有する論理構造探索部２１６，探索テーブル構成部２１４，テーブル構成情報蓄積部２１３およびフィルタリング指定テーブル２２１を有する論理構造探索情報蓄積部２１５は論理構造探索を実現する。テーブル構成情報蓄積部２１３は、画面情報抽出部２１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部２１４は、画面情報抽出部２１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部２１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部２１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル２２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部２１６は、探索テーブル構成部２１４で作成された探索テーブルと、論理構造探索情報蓄積部２１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部２１６は、フィルタリング制御部２２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル２２１で指定された対話部品の情報を除外して探索を進める。
【００４７】
対話制御部２１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００４８】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００４９】
図９は図８の前提例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（７０１）、それぞれに対応する処理を行う。
【００５０】
○画面状態変化
ＯＳ２０１から出力デバイス２０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部２１０では、ＯＳ２０１からその時点において画面上に表示されている対話部品の情報を抽出する（７１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部２１４およびレイアウト構造探索部２１２に出力される。
【００５１】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部２１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部２１０は、画面状態の変化時に、画面変化通知情報蓄積部２１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部２１７を通じて出力デバイス２０３中のスピーカ，点字ディスプレイ等から出力する（７１１）。
【００５２】
他方、探索テーブル構成部２１４では、テーブル構成情報蓄積部２１３よりテーブル構成情報を取得し（７１２）、このテーブル構成情報と、画面情報抽出部２１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（７１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の前提例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の前提例と同様に、画面情報抽出部２１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００５３】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーのボタン操作などによって通知されると、対話制御部２１７は探索イベントを論理構造探索部２１６に渡す。論理構造探索部２１６では、探索テーブル構成部２１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（７２０）。
【００５４】
探索ポイント移動後、論理構造探索部２１６は、その位置の対話部品の情報を取得する（７２１）。そして、フィルタリング制御部２２３において、論理構造探索情報蓄積部２１５のフィルタリング指定テーブル２２１の情報を取得し（７７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部２１５より取得した出力変換情報（７２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００５５】
図５（ａ）の探索テーブルに対する探索ポイントの移動例を図１０に示す。
【００５６】
入力デバイス２０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられている。この例では、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００５７】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００５８】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス２０２中のテンキーなどから通知されると、対話制御部２１７は探索イベントをレイアウト構造探索部２１２に渡す。レイアウト構造探索部２１２では、画面情報抽出部２１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（７３０）。
【００５９】
探索ポイント移動後、レイアウト構造探索部２１２は、その位置の対話部品の情報を取得する（７３１）。そして、フィルタリング制御部２２２において、レイアウト構造探索情報蓄積部２１１のフィルタリング指定テーブル２２０の情報を取得し（７８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（７８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部２１１より取得した出力変換情報（７３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００６０】
レイアウト構造探索における探索ポイントの移動例を図１１に示す。探索ポイントの移動は対話部品単位で行われる。入力デバイス２０２中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。
【００６１】
例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリング指定されていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００６２】
○選択実行操作
例えば入力デバイス２０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部２１６では、探索テーブル上の探索ポイントで指定された対話部品の情報を取得し（７４０）、論理構造探索情報蓄積部２１５のイベント変換情報を利用して（７４１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部２１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００６３】
対話部品の選択実行は、レイアウト構造探索部２１２では、画面上で指定された対話部品の情報を取得し（７５０）、レイアウト構造探索情報蓄積部２１１のイベント変換情報を利用して（７５１）、対話制御部２１７を通じて実行イベントを発生させることで行う（７５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部２１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部２１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力し（７５３）、ユーザの選択実行指示に対する結果を知らせる。
【００６４】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部２１０による画面情報の抽出，探索テーブル構成部２１４による探索テーブルの更新が起こる。
【００６５】
○探索方式切換
例えば入力デバイス２０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部２１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（７６０）。
【００６６】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部２１２で最後に探索された対話部品の情報が、論理構造探索部２１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【００６７】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部２１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部２１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【００６８】
また、探索方式の切り換え時には、対話制御部２１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス２０３に出力する（７６１）。
【００６９】
以上のように本前提例によれば、論理構造探索、レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を適宜利用することでユーザの要求に応じた探索を行うことができる。また、フィルタリングする項目を指定することで、ユーザにとって重要度の低い項目への探索をなくし、より効率的な操作を行うことが可能となる。
【００７０】
次に本発明の実施の形態の例について図面を参照して詳細に説明する。
【００７１】
図１２を参照すると、本発明の実施例の画面探索インタフェース装置は、グラフィカルユーザインタフェース制御部を構成するＧＵＩのＯＳ３０１（以下、単にＯＳ３０１と称す）と、キーボード，マウス，タッチパネル等で構成される入力デバイス３０２と、ディスプレイ，スピーカ，点字ディスプレイ等で構成される出力デバイス３０３と、ＯＳ３０１の下で動作する各種のアプリケーションプログラム３０４と、画面情報抽出部３１０と、レイアウト構造探索情報蓄積部３１１と、レイアウト構造探索部３１２と、テーブル構成情報蓄積部３１３と、探索テーブル構成部３１４と、論理構造探索情報蓄積部３１５と、論理構造探索部３１６と、対話制御部３１７と、画面変化通知情報蓄積部３１８とで構成され、図１の前提例と異なり、レイアウト構造探索情報蓄積部３１１および論理構造探索情報蓄積部３１５はフィルタリング指定テーブル３２０およびフィルタリング指定テーブル３２１を有し、また、レイアウト構造探索部３１２および論理構造探索部３１６はフィルタリング制御部３２２およびフィルタリング制御部３２３を有し、図８の前提例と異なり、対話制御部３１７は直接指示制御部３３０を有している。
【００７２】
ＯＳ３０１は、出力デバイス３０３中のディスプレイの画面に、その時々の状況に応じたウィンドウ，アイコン等の各種の対話部品を表示している。一般の情報処理装置においては、ディスプレイ画面上のアイコン等の対話部品をマウスカーソルでクリックすることによって、処理の選択や実行等を指示することができる。しかし、視覚障害者の場合、画面上の対話部品の配置を認識することが困難で且つ対話部品の正確なポインティングも困難であるため、本実施例では、対話部品のレイアウト構造および論理構造のうち、その時々のユーザの望む側の構造に従ってＧＵＩ対話部品を順次に探索してその情報を音声等によってユーザに知らしめ、且つその選択実行もマウスカーソルによらずに例えばテンキーのボタン操作で可能にしている。また、事前に、論理構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２１に、レイアウト構造探索の対象から除外したい対話部品についてのフィルタリング指定をテーブル３２０に設定しておくことにより、各々の探索時にそれらの情報が出力されないようにしている。更に、探索テーブルウィンドウを表示し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上で対話部品単位で直接ポインティングを可能としている。
【００７３】
画面情報抽出部３１０は、ディスプレイ画面の書き替え毎に最新の画面上の対話部品の情報を抽出する部分であり、画面変化通知情報蓄積部３１８は画面の変化時のメッセージ出力などの情報とその出力方法を定義した画面変化通知情報を蓄積している部分である。
【００７４】
フィルタリング制御部３２２を有するレイアウト構造探索部３１２およびフィルタリング指定テーブル３２０を有するレイアウト構造探索情報蓄積部３１１は、レイアウト構造探索を実現する部分である。レイアウト構造探索情報蓄積部３１１は、レイアウト構造探索で探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２０にレイアウト構造探索における対話部品のフィルタリング指定情報を保持している。レイアウト構造探索部３１２は、画面情報抽出部３１０で抽出された対話部品の情報と、レイアウト構造探索情報蓄積部３１１に蓄積された情報とに基づいて、画面上に配置された対話部品のレイアウト構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、レイアウト構造探索部３１２は、フィルタリング制御部３２２を使用して、画面情報抽出部３１０で抽出された対話部品の情報のうち、フィルタリング指定テーブル３２０で指定された対話部品の情報を除外して探索を進める。
【００７５】
フィルタリング制御部３２３を有する論理構造探索部３１６，探索テーブル構成部３１４，テーブル構成情報蓄積部３１３およびフィルタリング指定テーブル３２１を有する論理構造探索情報蓄積部３１５は論理構造探索を実現する部分である。テーブル構成情報蓄積部３１３は、画面情報抽出部３１０で抽出された対話部品の情報から探索テーブルを作成する際のテンプレートとなるテーブル構成情報を蓄積する。探索テーブル構成部３１４は、画面情報抽出部３１０で抽出された対話部品の情報から、論理構造をもとに対話部品を探索するのに適するように対話部品の情報を配列した探索テーブルを作成する。このとき、テーブル構成情報蓄積部３１３中のテーブル構成情報を使用して、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品を除外した探索テーブルを作成する。論理構造探索情報蓄積部３１５は、論理構造探索において探索した対話部品をユーザに通知する際の出力方法を定義した出力変換情報，対話部品に対する選択実行の処理を定義したイベント変換情報および選択実行したことを通知する出力変換方法を定義した選択実行イベント通知情報を蓄積し、更にフィルタリング指定テーブル３２１に論理構造探索における対話部品のフィルタリング指定情報を保持している。論理構造探索部３１６は、探索テーブル構成部３１４で作成された探索テーブルと、論理構造探索情報蓄積部３１５に蓄積された情報とに基づいて、画面上に配置された対話部品の論理構造に従った対話部品の探索とその結果のユーザへの通知，選択実行とその結果のユーザへの通知を制御する。このとき、論理構造探索部３１６は、フィルタリング制御部３２３を使用して、探索テーブル上の対話部品の情報のうち、フィルタリング指定テーブル３２１で指定された対話部品の情報を除外して探索を進める。
【００７６】
対話制御部３１７はレイアウト構造探索と論理構造探索との切り換えを行うと共に、その切り換え時に発生し得る不整合の排除を実現している。即ち、レイアウト構造探索から論理構造探索への切り換え時には、レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定し、論理構造探索からレイアウト構造探索への切り換え時には、論理構造探索部で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索における探索ポイントに設定する。
【００７７】
また本実施例の対話制御部３１７は、探索テーブル構成部３１４で作成された探索テーブルを出力デバイス３０３中のディスプレイ上にウィンドウとして変換出力し、入力デバイス３０２中のタッチパネル、マウス等によって対話部品の直接ポインティングを可能とする制御を行うための直接指示制御部３３０を有している。
【００７８】
以下、各部の詳細な機能を全体の動作を通じて説明する。
【００７９】
図１３は図１２の実施例の処理例を示すフローチャートである。情報処理装置の動作中、画面探索の操作によって生じるイベントおよび画面の状態の変化に関連するイベントの発生ごとに（８０１）、それぞれに対応する処理を行う。
【００８０】
○画面状態変化
ＯＳ３０１から出力デバイス３０３中のディスプレイに画面の書き換えイベントが通達され、画面状態の変化のイベントが生じると、画面情報抽出部３１０では、ＯＳ３０１からその時点において画面上に表示されている対話部品の情報を抽出する（８１０）。ここで、抽出は、その全部が画面上に現れている対話部品以外に、その一部あるいは全部が他の対話部品の裏に隠れている対話部品も対象とする。抽出される情報の例は図３に示したものと同じであり、対話部品の親子関係や各対話部品ごとの位置やサイズ，選択可能かどうかなどの属性が抽出される。こうして抽出された情報は探索テーブル構成部３１４およびレイアウト構造探索部３１２に出力される。
【００８１】
また、視覚障害者の場合、ディスプレイ画面の変化を直ちに認識できない場合がある。そこで、画面変化通知情報蓄積部３１８には、状態変化とその出力変換方法とを含む画面変化通知情報が予め定義されており、画面情報抽出部３１０は、画面状態の変化時に、画面変化通知情報蓄積部３１８の画面変化通知情報に定義されたメッセージの出力などの状態変化が起こった場合には、同じく画面変化通知情報に定義された出力変換方法に応じて音声、効果音、点字出力等に変換し、対話制御部３１７を通じて出力デバイス１０３中のスピーカ，点字ディスプレイ等から出力する（８１１）。
【００８２】
他方、探索テーブル構成部３１４では、テーブル構成情報蓄積部３１３よりテーブル構成情報を取得し（８１２）、このテーブル構成情報と、画面情報抽出部３１０から渡された画面情報とから、論理構造探索に使用する探索テーブルを更新する（８１３）。ここで、テーブル構成情報とは、抽出された画面情報から探索テーブルを構成する場合のテンプレートのことであり、例えば図４に例示したものと同様の構成を有している。なお、このテンプレートをもとに作成される探索テーブルは、先の前提例と同様に、画面の状態変化イベントの発生に応じて随時更新される。即ち、図５（ａ）に示した状態でメニュー項目の中からファイルを選択し、さらにオープンを選択した場合、図５（ｂ）に示すように更新される。なお、先の前提例と同様に、画面情報抽出部３１０で抽出された対話部品の情報の全てが探索テーブルに反映されるのではなく、ウィンドウの拡大，縮小といった視覚に依存する操作の対話部品が除外される。
【００８３】
探索テーブル構成部３１４で作成された探索テーブルは論理構造探索部３１６および対話制御部３１７に出力される。
【００８４】
対話制御部３１７は、直接指示制御部３３０を働かせて、探索テーブルを出力デバイス３０３中のディスプレイの画面上に探索テーブルウィンドウとして変換出力し（８９０）、この探索テーブルウィンドウによる直接入力を制御する。このとき、画面上に提示された探索テーブルウィンドウ域以外の対話部品に対するマウス、タッチパネルなど入力デバイス３０２からの入力を無視する（無反応域とする）ような制御を行う（８９１）。
【００８５】
図１５に探索テーブルウィンドウの例を示す。この例では、ポインティングデバイスとして、ディスプレイ画面上の任意の点を指でポインティングできるタッチパネルを使用し、そのタッチパネル上に探索テーブルウィンドウを重ねて表示している。探索テーブルウィンドウは、ユーザが容易にポインティングできる大きさで、且つポインティングし易い画面端などの位置に提示され、この領域だけが反応域となりボタンとして機能する。他の部分は無反応域となる。よりポインティングを容易にするために、タッチパネルには、あらかじめ決められたボタンサイズにあわせて触覚的なガイドラインを付加しても良い。これにより直接的なポインティング操作がより容易となる。
【００８６】
○探索テーブル直接指示
ユーザによって探索テーブルに対する直接指示操作が行われた場合、直接指示制御部３３０による探索テーブル直接指示制御が行われる（８９２）。以下、図１５に例示したようなタッチパネルを入力デバイスとした場合について説明する。
【００８７】
図１４は図１３の探索テーブル直接指示制御８９２の詳細を示すフローチャートである。探索テーブルウィンドウの対話部品表示上（反応域）に指示操作があった場合（９００）、対話制御部３１７の直接指示制御部３３０では、対応する対話部品情報を論理構造探索部３１６を介して取得する（９０１）。また、論理構造探索部３１６のフィルタリング制御部３２３を介して、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１から対話部品のフィルタリング情報を得る（９０２）。そして、ステップ９０１で取得した対話部品がフィルタリング指定されているか否かを判定し、フィルタリング指定されている場合は何も情報出力せず、フィルタリング指定されていない場合には、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の出力変換情報を取得し（９０４）、定義された出力変換方法に従い、対話部品情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０５）。
【００８８】
入力デバイス３０２のタッチパネルからの入力が無反応域に入らず途切れた場合（反応域上でタッチを離した場合）には、選択実行操作が行われたものとして（９０６）、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５のイベント変換情報を取得し（９０７）、実行イベントを発生させる（９０８）。またこのとき、論理構造探索部３１６を介して論理構造探索情報蓄積部３１５の選択実行イベント通知情報を取得し、定義された出力変換方法に従い、選択実行イベント発生の情報を、音声、効果音、点字などに変換し、出力デバイス３０３中のスピーカ、点字ディスプレイなどの対応する出力デバイスに出力する（９０９）。
【００８９】
なお、上記選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出、探索テーブル構成部３１４による探索テーブルの更新が起こる。従って、探索テーブルウィンドウの内容の更新も起こる。
【００９０】
例えば入力デバイス３０２中のテンキーの特定のボタンが論理構造探索，レイアウト構造探索の併用指示用に割り当てられている。このボタン操作により論理構造探索、レイアウト構造探索も併用することが指定されている場合、上述した直接指示制御以外にそれらの探索方式も利用することができる。なお、この場合の論理構造探索，レイアウト構造探索は図８の前提例と同様であり、以下のように行われる。
【００９１】
○論理構造探索操作
ユーザが論理構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーのボタン操作などによって通知されると、対話制御部３１７は探索イベントを論理構造探索部３１６に渡す。論理構造探索部３１６では、探索テーブル構成部３１４により生成された探索テーブル上で、探索イベントに応じて探索ポイントを移動することにより、対話部品に対する探索を制御する（８２０）。
【００９２】
探索ポイント移動後、論理構造探索部３１６は、その位置の対話部品の情報を取得する（８２１）。そして、フィルタリング制御部３２３において、論理構造探索情報蓄積部３１５のフィルタリング指定テーブル３２１の情報を取得し（８７０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８７１）。従って、フィルタリング指定された対話部品の情報は出力されない。フィルタリング指定されなかった対話部品の情報については、論理構造探索情報蓄積部３１５より取得した出力変換情報（８２２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８２３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外した論理構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００９３】
例えば前述した図５（ａ）の探索テーブルに対する探索ポイントの移動は、図１０で説明したように以下のように行われる。入力デバイス３０１中のテンキーの各ボタンなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは上下方向の移動操作では各列の第１項目へ移動し、左右方向の移動では、その列の各項目に順に移動する。なお、探索テーブル上の「ドロー」がフィルタリング指定されているものとする。
【００９４】
例えば、「文書２」の項目から（ａ）上方向移動の操作を行うと「アプリケーション」の列の第１項目である「ワープロ」へ移動する。（ｃ）下方向移動の操作を行うと「メニュー」の列の第１項目である「ファイル」へ移動する。「ワープロ」からの（ｃ）下方向移動、「ファイル」からの（ａ）上方向移動では、ともに「文書ウィンドウ」の列の第１項目である「文書１」へ移動する。「文書２」から（ｂ）右方向移動の操作を行うと項目数「２」へ移動し、連続して行うと、１周して「文書２」まで戻る。（ｄ）左方向も同様に移動する。ここで、「ワープロ」から（ｂ）右方向への移動操作を行った場合、フィルタリング指定されている「ドロー」は情報が出力されず、次の項目である「表計算」に飛び越して、「表計算」の情報が出力される。
【００９５】
○レイアウト構造探索操作
ユーザがレイアウト構造探索を指定している場合、対話部品の探索イベントが入力デバイス３０２中のテンキーなどから通知されると、対話制御部３１７は探索イベントをレイアウト構造探索部３１２に渡す。レイアウト構造探索部３１２では、画面情報抽出部３１０で抽出された画面情報をもとに画面上の対話部品探索のための制御を行う。即ち、先ず探索イベントに応じて画面上の対話部品に対する探索ポイントを移動する（８３０）。
【００９６】
探索ポイント移動後、レイアウト構造探索部３１２は、その位置の対話部品の情報を取得する（８３１）。そして、フィルタリング制御部３２２において、レイアウト構造探索情報蓄積部３１１のフィルタリング指定テーブル３２０の情報を取得し（８８０）、前記取得した対話部品の情報がフィルタリング指定されていれば、それを除外するフィルタリング処理を行う（８８１）。従って、フィルタリングされた対話部品の情報は出力されない。フィルタリングされなかった対話部品の情報については、レイアウト構造探索情報蓄積部３１１より取得した出力変換情報（８３２）に定義された出力変換方法に従い、対話部品情報を、対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８３３）。これによってユーザは、事前にフィルタリング指定した対話部品を除外したレイアウト構造探索が行え、且つ、探索のために自ら指定した移動方向側に存在する対話部品が何であるかを知ることができる。
【００９７】
本実施例におけるレイアウト構造探索における探索ポイントの移動も図１１に例示したように行われ、探索ポイントの移動も対話部品単位で行われる。入力デバイス３０２中のテンキーなどに探索のための各方向への移動操作が割り当てられており、探索ポイントは各方向への移動操作によって、その方向にある画面上の次の対話部品上にジャンプする。なお、ウィンドウ枠，アイコンＢがフィルタリング指定されているものとする。例えば図１１のＡの位置から（ｂ）右方向の移動操作を行うとアイコンＣ，画面端の順に移動する。ウィンドウ枠，アイコンＢは、フィルタリング指定されているため情報が出力されず、飛び越して次のフィルタリングされていない項目へ移動する。（ｄ）左方向、（ａ）上方向、（ｃ）下方向も同様に移動する。
【００９８】
○選択実行操作
例えば入力デバイス３０２中のテンキーの特定のボタンが選択実行用に割り当てられており、このボタンが操作されると選択実行の処理が開始される。対話部品の選択実行は、論理構造探索部３１６では、探索テーブル上で指定された対話部品の情報を取得し（８４０）、論理構造探索情報蓄積部３１５のイベント変換情報を利用して（８４１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８４２）。イベント変換情報には、論理構造探索を行っている場合、画面上に表示されていない対話部品に対しても選択実行を可能とするため、目的とする対話部品を画面上に提示してから実行したり、直接実行イベントを送るといった処理が定義されている。勿論、画面上に表示されている対話部品に対してはそのまま実行イベントを送る。またこのとき、論理構造探索情報蓄積部３１５の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０２に出力する（８４３）。これによって、ユーザは選択実行を指示した結果を知ることができる。
【００９９】
対話部品の選択実行は、レイアウト構造探索部３１２では、画面上で指定された対話部品の情報を取得し（８５０）、レイアウト構造探索情報蓄積部３１１のイベント変換情報を利用して（８５１）、対話制御部３１７を通じて実行イベントを発生させることで行う（８５２）。イベント変換情報には、レイアウト構造探索を行っている場合は、画面上に表示されている対話部品に対して選択実行が可能であるため、対象となる対話部品に対応する実行イベントを送る処理が定義されている。またこのとき、レイアウト構造探索情報蓄積部３１１の選択実行イベント通知情報に定義された出力変換方法に従い、選択実行イベント発生の情報を対話制御部３１７を通じて、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力し（８５３）、ユーザの選択実行指示に対する結果を知らせる。
【０１００】
なお、上記の選択実行イベントの発生によって画面の状態変化が生じた場合には、画面情報抽出部３１０による画面情報の抽出，探索テーブル構成部３１４による探索テーブルの更新が起こる。
【０１０１】
○探索方式切換
例えば入力デバイス３０２中のテンキーの特定のボタンが探索方式の切り換え用に割り当てられている。このボタン操作により論理構造探索とレイアウト構造探索の切り換えイベントが発生すると、対話制御部３１７では、探索イベントの送出先を切り換える。このとき、切り換え時の整合性を保持するための以下のような制御を行う（８６０）。
【０１０２】
レイアウト構造探索から論理構造探索への切り換えの場合、レイアウト構造探索部３１２で最後に探索された対話部品の情報が、論理構造探索部３１６における探索テーブルに存在すれば、その存在した対話部品を論理構造探索における探索ポイントに設定する。レイアウト構造探索で最後に探索された対話部品の情報が探索テーブルに存在しなければ、探索テーブル上のデフォルト位置を論理構造探索における探索ポイントに設定する。
【０１０３】
他方、論理構造探索からレイアウト構造探索への切り換えの場合、論理構造探索部３１６で最後に探索された対話部品の情報が画面上に現れていれば、その現れている対話部品をレイアウト構造探索部３１２における探索ポイントに設定する。論理構造探索で最後に探索された対話部品の情報が画面上に現れていなければ、画面上のデフォルト位置をレイアウト構造探索における探索ポイントに設定する。
【０１０４】
また、探索方式の切り換え時には、対話制御部３１７は、探索方法が切り換えられたことを、音声、効果音、点字などに変換し、スピーカ、点字ディスプレイなどの対応する出力デバイス３０３に出力する（８６１）。
【０１０５】
図１２に示した実施例によれば、探索テーブルをディスプレイ上にウィンドウとして変換出力し、タッチパネル、マウス等の入力デバイスによって、このウィンドウ上の対話部品単位を直接ポインティング可能としたことにより、より効率的な操作を行うことができる。また、論理構造探索、レイアウト構造探索の併用も可能であり、論理構造探索，レイアウト構造探索の切り換え時に不整合のない制御を行うことで、視覚や上肢に障害を持つユーザが、画面上の配置を知りたい場合にはレイアウト構造探索を、対話部品の論理関係を利用して探索を行いたい場合には論理構造探索を利用することでユーザの要求に応じて探索を行うことができる。更に、フィルタリングする項目を指定することでユーザにとって重要度の低い項目が一々探索される煩わしさを低減することができる。
【０１０６】
なお、論理構造探索、レイアウト構造探索を併用せずに、直接指示制御部による探索だけの構成にすることもできる。この場合には、図１２の構成のうち、レイアウト構造探索情報蓄積部３１１，レイアウト構造探索部３１２，論理構造探索部３１６が省略され、論理構造探索情報蓄積部３１５が直接指示制御部３３０に接続される。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１の前提例にかかる画面探索インタフェース装置のブロック図である。
【図２】図１の前提例にかかる画面探索インタフェース装置の処理例を示すフローチャートである。
【図３】画面情報抽出部で抽出される画面情報の例を示す図である。
【図４】探索テーブル構成情報の例を示す図である。
【図５】探索テーブルの更新の例を示す図である。
【図６】図１の前提例における論理構造探索時の探索ポイントの移動の例を示す図である。
【図７】図１の前提例におけるレイアウト構造探索時の探索ポイントの移動の例を示す図である。
【図８】本発明の第２の前提例にかかる画面探索インタフェース装置のブロック図である。
【図９】図８の前提例にかかる画面探索インタフェース装置の処理例を示すフローチャートである。
【図１０】図８の前提例における論理構造探索時の探索ポイントの移動の例である。
【図１１】図８の前提例におけるレイアウト構造探索時の探索ポイントの移動の例である。
【図１２】本発明の実施例にかかる画面探索インタフェース装置のブロック図である。
【図１３】本発明の実施例にかかる画面探索インタフェース装置の処理例を示すフローチャートである。
【図１４】図１３の探索テーブル直接指示制御の詳細を示すフローチャートである。
【図１５】探索テーブルウィンドウの例を示す図である。
【符号の説明】
【０１０８】
１０１  ＧＵＩのＯＳ
１０２  キーボード、マウス、タッチパネル等の入力デバイス
１０３  ディスプレイ、スピーカ等の出力デバイス
１０４  アプリケーションプログラム
１１０  画面情報抽出部
１１１  レイアウト構造探索情報蓄積部
１１２  レイアウト構造探索部
１１３  テーブル構成情報蓄積部
１１４  探索テーブル構成部
１１５  論理構造探索情報蓄積部
１１６  論理構造探索部
１１７  対話制御部
１１８  画面変化通知情報蓄積部
２０１  ＧＵＩのＯＳ
２０２  キーボード、マウス、タッチパネル等の入力デバイス
２０３  ディスプレイ、スピーカ等の出力デバイス
２０４  アプリケーションプログラム
２１０  画面情報抽出部
２１１  レイアウト構造探索情報蓄積部
２１２  レイアウト構造探索部
２１３  テーブル構成情報蓄積部
２１４  探索テーブル構成部
２１５  論理構造探索情報蓄積部
２１６  論理構造探索部
２１７  対話制御部
２１８  画面変化通知情報蓄積部
２２０  フィルタリング指定テーブル
２２１  フィルタリング指定テーブル
２２２  フィルタリング制御部
２２３  フィルタリング制御部
３０１  ＧＵＩのＯＳ
３０２  キーボード、マウス、タッチパネル等の入力デバイス
３０３  ディスプレイ、スピーカ等の出力デバイス
３０４  アプリケーションプログラム
３１０  画面情報抽出部
３１１  レイアウト構造探索情報蓄積部
３１２  レイアウト構造探索部
３１３  テーブル構成情報蓄積部
３１４  探索テーブル構成部
３１５  論理構造探索情報蓄積部
３１６  論理構造探索部
３１７  対話制御部
３１８  画面変化通知情報蓄積部
３２０  フィルタリング指定テーブル
３２１  フィルタリング指定テーブル
３２２  フィルタリング制御部
３２３  フィルタリング制御部
３３０  直接指示制御部
【図１】
2005011366.tif 000003
【図２】
2005011366.tif 000004
【図３】
2005011366.tif 000005
【図４】
2005011366.tif 000006
【図５】
2005011366.tif 000007
【図６】
2005011366.tif 000008
【図７】
2005011366.tif 000009
【図８】
2005011366.tif 000010
【図９】
2005011366.tif 000011
【図１０】
2005011366.tif 000012
【図１１】
2005011366.tif 000013
【図１２】
2005011366.tif 000014
【図１３】
2005011366.tif 000015
【図１４】
2005011366.tif 000016
【図１５】
2005011366.tif 000017