(57)【要約】  表示装置（１００）は、文書（ｄ）を撮像した画像をＯＣＲで構造解析することにより、ブロック（ｂ１〜ｂ３）の位置情報を取得する。図１の（ｂ）において、表示装置（１００）は、ブロック（ｂ１〜ｂ３）の位置情報に基づいて、ブロック（ｂ１〜ｂ３）の指定領域の表示位置をブロックに対応して設定し、ブロックの指定領域を表す画像を、設定したブロックの指定領域の表示位置に表示する。次に、表示装置（１００）は、指ジェスチャの軌跡（ｍｌ）を表す各点の座標位置を検出する。そして、表示装置（１００）は、軌跡（ｍｌ）を表す各点の座標位置と、指定領域（ｂ１＿ｓａ〜ｂ３＿ｓａ）の位置情報とに基づいて、軌跡（ｍｌ）が通過した指定領域の順序を特定する。次に、表示装置（１００）は、特定した軌跡（ｍｌ）が通過した領域の順序に基づいて、ブロック（ｂ１〜ｂ３）から順序が指定されたブロックを特定する。
2016139760.tif 000002
【特許請求の範囲】
【請求項１】
文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
前記文書に対する利用者の一連の動作の軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから指定されたブロックの順序を特定する、
制御部を有することを特徴とする表示装置。
【請求項２】
前記制御部は、
前記複数のブロックのいずれか２つのブロックに対応する各領域の表示位置の間に他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更し、
前記他のブロックに対応する領域を表す画像を、変更した前記他のブロックに対応する領域の表示位置に表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御部は、
前記２つのブロックに対応する各領域の表示位置を通る直線から所定距離内に前記他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定し、
前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定した場合、前記直線から前記所定距離内に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記制御部は、
前記２つのブロックに対応する各領域の表示位置を通る直線上に前記他のブロックに対応する領域の表示位置がある場合、前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定し、
前記２つのブロックに対応する各領域の表示位置の間に前記他のブロックに対応する領域の表示位置があると判定した場合、前記直線上に前記他のブロックに対応する領域が表示されないように、前記他のブロックに対応する領域の表示位置を変更することを特徴とする請求項２に記載の表示装置。
【請求項５】
前記制御部は、
前記複数のブロックのいずれか３つのブロックのいずれか１つのブロックに対応する領域の表示位置が前記３つのブロックのうちの残余のブロックに対応する各領域の表示位置の間にある場合、前記１つのブロックまたは前記残余のブロックのいずれかのブロックに対応する領域のサイズを変更し、
前記いずれかのブロックに対応する領域のサイズを変更した変更後の領域を表す画像を、前記いずれかのブロックに対応する領域の表示位置に表示することを特徴とする請求項１〜４のいずれか一つに記載の表示装置。
【請求項６】
前記制御部は、
前記各々のブロックの位置情報に基づいて、前記各々のブロックに対応する領域の表示位置を前記各々のブロック内に設定することを特徴とする請求項１〜５のいずれか一つに記載の表示装置。
【請求項７】
前記制御部は、
前記各々のブロックに対応する領域が前記各々のブロックに収まらない場合、前記各々のブロックに対応する領域の形状を変更し、
前記各々のブロックに対応する領域の形状を変更した変更後の領域を表す画像を、前記各々のブロックに対応する領域の表示位置に表示することを特徴とする請求項６に記載の表示装置。
【請求項８】
前記文書が載置される載置面に向けて投影対象画像を投影する投影部をさらに有し、
前記制御部は、
前記投影部により、前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示することを特徴とする請求項１〜７のいずれか一つに記載の表示装置。
【請求項９】
コンピュータが、
文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
前記領域を表す画像を表示した後に、前記文書に対する利用者の一連の動作の軌跡を検出し、
検出した前記軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから順序が指定されたブロックを特定する、
処理を実行することを特徴とする表示方法。
【請求項１０】
コンピュータに、
文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、前記各々のブロックを指定する場合に指定されるべき領域の表示位置を前記各々のブロックに対応して設定し、
前記各々のブロックに対応する領域を表す画像を、設定した前記各々のブロックに対応する領域の表示位置に表示し、
前記領域を表す画像を表示した後に、前記文書に対する利用者の一連の動作の軌跡を検出し、
検出した前記軌跡と、前記各々のブロックに対応する領域の表示位置とに基づいて、前記軌跡が通過した領域の順序を特定し、
特定した前記軌跡が通過した領域の順序に基づいて、前記複数のブロックから指定されたブロックの順序を特定する、
処理を実行させることを特徴とする表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法、および表示プログラムに関する。
【背景技術】
【０００２】
従来、文書を撮像した画像をＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）で構造解析することにより、文書に含まれる複数のブロックの各々の文字認識結果を取得するものがある。関連する先行技術として、例えば、文書画像データや図表画像データなど領域ごとに抽出した画像データをディスプレイに表示し、表示された各領域に対して、利用者が所望する読み順通りで領域を一筆書きの要領でなぞるようにして領域を指定するものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７１３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術によれば、文書内の複数のブロックから、一筆書きの要領で利用者が所望する順序でブロックを指定することが難しい場合がある。例えば、複数のブロックの中に、利用者が指定したくないブロックがある場合、利用者は、指定したくないブロックを避けるようになぞることになり、利用者にかかる負担が増大する。【０００５】
１つの側面では、本発明は、所望の順序でブロックを指定する際の利用者にかかる負担を軽減する表示装置、表示方法、および表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、文書に含まれる複数のブロックの各々のブロックの位置情報に基づいて、各々のブロックを指定する場合に指定されるべき領域の表示位置を各々のブロックに対応して設定し、各々のブロックに対応する領域を表す画像を、設定した各々のブロックに対応する領域の表示位置に表示し、文書に対する利用者の一連の動作の軌跡と、各々のブロックに対応する領域の表示位置とに基づいて、軌跡が通過した領域の順序を特定し、特定した軌跡が通過した領域の順序に基づいて、複数のブロックから指定されたブロックの順序を特定する表示装置、表示方法、および表示プログラムが提案される。
【発明の効果】
【０００７】
本発明の一態様によれば、所望の順序でブロックを指定する際の利用者にかかる負担を軽減することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、表示装置１００の動作例を示す説明図である。
【図２】図２は、表示装置１００の外観を示す説明図である。
【図３】図３は、表示装置１００のハードウェア構成例を示すブロック図である。
【図４】図４は、表示装置１００の機能構成例を示すブロック図である。
【図５】図５は、文書構造解析結果の一例を示す説明図である。
【図６】図６は、ブロック情報４１０の記憶内容の一例を示す説明図である。
【図７】図７は、指定領域初期表示位置の一例を示す説明図である。
【図８】図８は、指定領域が直線上に並んでいるか否かの判定例を示す説明図である。
【図９】図９は、指定領域の移動例を示す説明図である。
【図１０】図１０は、指定領域表示位置設定結果の一例を示す説明図である。
【図１１】図１１は、指定領域表示位置情報４１１の記憶内容の一例を示す説明図である。
【図１２】図１２は、軌跡情報４１２の記憶内容の一例を示す説明図である。
【図１３】図１３は、指定されたブロックの特定例と出力情報の一例を示す説明図である。
【図１４】図１４は、情報取得支援処理手順の一例を示すフローチャートである。
【図１５】図１５は、指定領域表示位置設定処理手順の一例を示すフローチャートである。
【図１６】図１６は、ブロック指定順序特定処理手順の一例を示すフローチャートである。
【図１７】図１７は、利用者による軌跡の一例を示す説明図である。
【図１８】図１８は、文書の指定の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下に図面を参照して、本発明にかかる表示装置、表示方法、および表示プログラムの実施の形態を詳細に説明する。
【００１０】
（実施の形態）
まず、実施の形態にかかる表示装置１００の動作例について説明する。
【００１１】
図１は、表示装置１００の動作例を示す説明図である。図１において、表示装置１００は、利用者が文書ｄから取得したい情報を得る作業を支援するコンピュータである。具体的には、表示装置１００は、文書ｄを撮像した画像をＯＣＲで構造解析することにより、文書ｄに含まれる複数のブロックの各々の文字認識結果を取得し、利用者が指定した領域を指定した順に従ってブロックの文字認識結果を出力する。
【００１２】
例えば、表示装置１００は、載置面に載置された文書ｄを撮像する撮像部と、載置面に載置された文書ｄに画像を投影する投影部とを有するスタンド型スキャナである。表示装置１００の外観についての説明は、図２で行う。また、表示装置１００が有するハードウェアの説明は、図３で行う。
【００１３】
ここで、文書ｄは、文章や図を１つのブロックとした複数のブロックにより段組みされたものである。従って、ブロックは、段組みされた文章や図の領域を示す。例えば、文書ｄは、新聞の各ページ、雑誌の各ページ、またはチラシ等である。また、ブロックは、どのような形状を有するものでもよく、例えば、矩形の形状であったり、円形の形状であったりしてもよい。または、ブロックは、中抜きの矩形や円形の形状であってもよい。
【００１４】
利用者は、文書ｄの中の特定の記事等、文書ｄの指定したブロックの文字認識結果を得たいという場合がある。このとき、利用者が文書ｄの一部を切り取ったり、一部をマーカで囲ったりして文書ｄを汚損することは行いたくない行為である。そこで、利用者が所望する読み順通りで文書ｄ内のブロックを一筆書きの要領でなぞる様子を撮像し、なぞったことにより得られる軌跡が通過したブロックの順序に従って、指定されたブロックの順序を特定する方法が考えられる。
【００１５】
しかしながら、文書内の複数のブロックから、一筆書きの要領で利用者が所望する順序でブロックを指定することが難しい場合がある。例えば、複数のブロックの中に、利用者が指定したくないブロックがある場合、利用者は、指定したくないブロックを避けるようになぞることになり、利用者にかかる負担が増大する場合がある。
【００１６】
そこで、本実施の形態では、文書に含まれる各々のブロックを指定する場合に指定されるべき領域を表す画像をブロック内に表示し、指ジェスチャの軌跡の指定領域の通過順序から、指定されたブロックの順序を特定する表示方法について説明する。以下、表示装置１００の処理例について説明する。ここで、各々のブロックを指定する場合に指定されるべき領域を、「指定領域」と呼称する。ここで、指定領域は、どのような形状を有するものでもよい。図１で示す指定領域の形状は、円形の形状であるとする。
【００１７】
図１の（ａ）では、利用者が表示装置１００の載置面に文書ｄを載置した状態を示す。そして、図１の（ａ）〜（ｃ）に示す文書ｄには、複数のブロックとして、ブロックｂ１〜ｂ３を有する。そして、ブロックｂ２は、広告が記載されているとする。そこで、利用者は、ブロックｂ１、ｂ３の順番で指定したいものとする。
【００１８】
表示装置１００は、文書ｄを撮像した画像をＯＣＲで構造解析することにより、ブロックｂ１〜ｂ３の文字認識結果を取得する。また、表示装置１００は、構造解析の結果、ブロックｂ１〜ｂ３の位置情報を取得する。ここで、例えば、ブロックが矩形形状であれば、ブロックの位置情報は、ブロックの対角線上にある２つの頂点の各座標である。また、ブロックが円形状であれば、ブロックの位置情報は、ブロックの中心の座標と、ブロックの半径の長さとなる。
【００１９】
図１の（ｂ）において、表示装置１００は、ブロックｂ１〜ｂ３の位置情報に基づいて、ブロックｂ１〜ｂ３の指定領域の表示位置をブロックに対応して設定する。例えば、表示装置１００は、ブロックｂ１の位置情報に基づいて、ブロックｂ１の重心がブロックｂ１の指定領域の中心となるように、ブロックｂ１の指定領域の表示位置を設定する。また、表示装置１００は、ブロックｂ１の位置情報に基づいて、ブロックｂ１のいずれかの頂点の内側に指定領域の表示位置を設定してもよい。または、表示装置１００は、ブロックの外側、例えば、ブロックのいずれかの頂点の外側に、指定領域の表示位置を設定してもよい。
【００２０】
そして、表示装置１００は、ブロックｂ１〜ｂ３のそれぞれについて、ブロックの指定領域を表す画像を、設定したブロックの指定領域の表示位置に表示する。指定領域を表す画像は、利用者が文書ｄ内の他の画像と区別がつけばどのようなものでもよい。指定領域を表す画像は、例えば、指定領域の輪郭を示した画像でもよいし、指定領域の輪郭と輪郭の内部に指定領域であることを示した文字を示した画像でもよい。また、指定領域を表す画像は、時刻の経過と共に変化するものでもよく、例えば、指定領域の輪郭と、指定領域の内部部分に、ある模様が付与された画像であって、時刻と共に模様が変化するものでもよい。図１の（ｂ）では、表示装置１００は、ブロックｂ１〜ｂ３のそれぞれについて、ブロックｂ１〜ｂ３の指定領域ｂ１＿ｓａ〜ｂ３＿ｓａを表す画像を、設定したブロックの指定領域の表示位置に表示する。
【００２１】
次に、表示装置１００は、利用者ｕの一連の動作の軌跡ｍｌを検出する。検出する方法としては、例えば、表示装置１００は、載置面を撮影しておき、撮影により得られた動画像を用いて、利用者ｕの一連の動作の軌跡を検出する。また、利用者ｕの一連の動作の軌跡は、利用者ｕの指先で文書ｄをなぞった軌跡でもよいし、利用者ｕが掴んだペン先で文書ｄをなぞった軌跡でもよい。本実施の形態では、利用者ｕの一連の動作の軌跡は、利用者ｕの指先で文書ｄをなぞった軌跡であるとし、利用者ｕの指先による一連の動作を、「指ジェスチャ」と呼称する。また、文書ｄをなぞる一連の動作を撮影した際に、文書ｄと一連の動作が重なっているように写ればよく、利用者ｕは、直接文書ｄに触れてもよいし、触れなくてもよい。
【００２２】
図１の（ｃ）では、指定領域ｂ１＿ｓａ〜ｂ３＿ｓａを表す画像が表示された後、利用者ｕが、所望する順序でブロックの指定領域を通過させるように指ジェスチャを終えた状態を示す。図１の（ｃ）で示す点線ｍｌは、指ジェスチャの軌跡を示す。具体的には、例えば、表示装置１００は、載置面を撮影しておき、撮影して得られた動画像の中から、肌色の画素の塊を抽出し、肌色の画素の輪郭が指先の形状であれば、肌色の画素の塊が指先であると判断する。そして、表示装置１００は、動画像の各フレーム内において、指先と判断した塊の位置から、軌跡ｍｌを検出する。図１の例では、表示装置１００は、軌跡ｍｌとして、軌跡ｍｌの所定時間間隔ごとの各点の座標位置を検出する。
【００２３】
そして、表示装置１００は、軌跡ｍｌと、指定領域ｂ１＿ｓａ〜ｂ３＿ｓａの位置情報とに基づいて、軌跡ｍｌが通過した指定領域の順序を特定する。具体的には、例えば、表示装置１００は、軌跡ｍｌを表す各点が指定領域ｂ１＿ｓａ〜ｂ３＿ｓａのいずれかに属するかを判断し、指定領域ｂ１＿ｓａ〜ｂ３＿ｓａのいずれかに属すると判断した点の時刻から、軌跡ｍｌが通過した領域の順序を特定する。図１の（ｃ）の例では、表示装置１００は、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであると特定する。
【００２４】
次に、表示装置１００は、特定した軌跡ｍｌが通過した領域の順序に基づいて、ブロックｂ１〜ｂ３から指定されたブロックの順序を特定する。図１の（ｃ）の例では、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであるから、表示装置１００は、指定領域ｂ１＿ｓａを１番目に指定されたブロックとして、指定領域ｂ３＿ｓａを２番目に指定されたブロックとして特定する。
【００２５】
このように、表示装置１００によれば、利用者は、指定領域さえ通らなければ他のブロック内を通過できるので、軌跡を短くすることができ、利用者にかかる負担を軽減することができる。
【００２６】
なお、上述した説明では、表示装置１００がスタンド型スキャナである場合を例に挙げて説明したが、これに限らない。例えば、表示装置１００は、デジタルカメラといった、表示装置１００以外の他の装置が文書ｄを撮像した画像を取得し、取得した文書ｄの画像を表示する表示部を有する装置、例えば、携帯端末やタブレット型端末等であってもよい。次に、表示装置１００の外観について、図２を用いて説明する。
【００２７】
（表示装置１００の外観）
図２は、表示装置１００の外観を示す説明図である。図２では、表示装置１００の左側面図を図２の（ａ）で示すとともに、表示装置１００の平面図を図２の（ｂ）で示す。表示装置１００は、ヘッド部２０１と、支柱部２０２と、テーブル部２０３とを有する。ヘッド部２０１は、撮像部２１１と、投影部２１２とを有する。
【００２８】
ヘッド部２０１は、撮像部２１１と、投影部２１２とを支える。撮像部２１１は、テーブル部２０３上の物体を撮像する。投影部２１２は、文書が載置される載置面となるテーブル部２０３に向けて投影対象画像を投影する。
【００２９】
支柱部２０２は、ヘッド部２０１を支える。テーブル部２０３は、載置面となる平らな天板を有する。そして、テーブル部２０３の天板上には、表示装置１００の利用者により、文書ｄが載置される。
【００３０】
（表示装置１００のハードウェア構成例）
図３は、表示装置１００のハードウェア構成例を示すブロック図である。表示装置１００は、ＣＰＵ３０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３と、を含む。また、表示装置１００は、ディスクドライブ３０４およびディスク３０５と、通信インターフェース３０６と、撮像部２１１と、投影部２１２とを含む。また、ＣＰＵ３０１〜ディスクドライブ３０４と、通信インターフェース３０６と、撮像部２１１と、投影部２１２とは、バス３０７によってそれぞれ接続される。
【００３１】
ＣＰＵ３０１は、表示装置１００の全体の制御を司る演算処理装置である。ＲＯＭ３０２は、ブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される揮発性メモリである。
【００３２】
ディスクドライブ３０４は、ＣＰＵ３０１の制御に従ってディスク３０５に対するデータのリードおよびライトを制御する制御装置である。ディスクドライブ３０４には、例えば、磁気ディスクドライブ、ソリッドステートドライブなどを採用することができる。ディスク３０５は、ディスクドライブ３０４の制御で書き込まれたデータを記憶する不揮発性メモリである。例えばディスクドライブ３０４が磁気ディスクドライブである場合、ディスク３０５には、磁気ディスクを採用することができる。また、ディスクドライブ３０４がソリッドステートドライブである場合、ディスク３０５には、半導体素子によって形成された半導体メモリ、いわゆる半導体ディスクを採用することができる。
【００３３】
通信インターフェース３０６は、ネットワークとなるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどと、内部のインターフェースを司り、他の装置からのデータの入出力を制御する制御装置である。具体的には、通信インターフェース３０６は、ネットワークを介して他の装置に接続される。通信インターフェース３０６には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
【００３４】
（表示装置１００の機能構成例）
図４は、表示装置１００の機能構成例を示すブロック図である。表示装置１００は、制御部４００を有する。制御部４００は、設定部４０１と、変更部４０２と、表示部４０３と、検出部４０４と、指定領域順序特定部４０５と、ブロック特定部４０６とを有する。制御部４００は、記憶装置に記憶されたプログラムをＣＰＵ３０１が実行することにより、各部の機能を実現する。記憶装置とは、具体的には、例えば、図３に示したＲＯＭ３０２、ＲＡＭ３０３、ディスク３０５などである。また、各部の処理結果は、ＣＰＵ３０１のレジスタや、ＣＰＵ３０１のキャッシュメモリ等に格納される。
【００３５】
また、表示装置１００は、ブロック情報４１０と、指定領域表示位置情報４１１と、軌跡情報４１２とにアクセス可能である。ブロック情報４１０と、指定領域表示位置情報４１１と、軌跡情報４１２とは、ＲＡＭ３０３、ディスク３０５といった記憶装置に格納される。
【００３６】
ブロック情報４１０は、文書ｄを撮像した結果得られた文書画像ｄｐを構造解析して得られた、ブロックに関する情報である。ブロック情報４１０の記憶内容の一例を、図６で示す。指定領域表示位置情報４１１は、指定領域の表示位置を示す情報である。指定領域表示位置情報４１１の記憶内容の一例を、図１１で示す。軌跡情報４１２は、指ジェスチャの軌跡を表す各点の位置情報である。軌跡情報４１２の記憶内容の一例を、図１２で示す。
【００３７】
設定部４０１は、ブロック情報４１０に基づいて、各々のブロックの指定領域の表示位置を各々のブロックに対応して設定する。例えば、設定部４０１は、各々のブロックの位置情報に基づいて、各々のブロックの指定領域の表示位置を各々のブロック内に設定する。
【００３８】
変更部４０２は、複数のブロックのいずれか２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があるか否かを判定する。ここで、各指定領域の表示位置の間は、例えば、２つのブロックの各指定領域を結ぶ線分上のことでもよいし、線分から所定距離内であってもよい。または、他のブロックの指定領域を角の頂点として、他のブロックの指定領域と２つのブロックの各指定領域とから形成される角の角度が所定範囲内、例えば、１７５°以上となる位置を、各指定領域の表示位置の間としてもよい。
【００３９】
そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置がある場合、変更部４０２は、２つのブロックの各指定領域の間に他のブロックの指定領域が表示されないように、他のブロックの指定領域の表示位置を変更する。表示位置を変更する方向や変更する距離の一例については、図７で説明する。
【００４０】
また、変更部４０２は、２つのブロックの各指定領域の表示位置を通る直線から所定距離内に他のブロックの指定領域の表示位置がある場合、２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定する。そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定した場合、変更部４０２は、直線から所定距離内に他のブロックの指定領域が表示されないように、各々のブロックの指定領域の表示位置を変更してもよい。２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの各指定領域の表示位置から算出することができる。また、２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの指定領域のどこを通ってもよい。例えば、２つのブロックの各指定領域の表示位置を通る直線は、２つのブロックの各指定領域の中心同士を通る直線でもよいし、２つのブロックの各指定領域のいずれかの頂点同士を通る直線でもよい。
【００４１】
また、変更部４０２は、２つのブロックの各指定領域の表示位置を通る直線上に他のブロックの指定領域の表示位置がある場合、２つのブロックの各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定する。そして、各指定領域の表示位置の間に他のブロックの指定領域の表示位置があると判定した場合、変更部４０２は、直線上に他のブロックの指定領域が表示されないように、他のブロックの指定領域の表示位置を変更してもよい。
【００４２】
また、複数のブロックのいずれか３つのブロックのいずれか１つのブロックの指定領域の表示位置が３つのブロックのうちの残余のブロックの各指定領域の表示位置の間にあるとする。この場合、変更部４０２は、１つのブロックまたは残余のブロックのいずれかのブロックの指定領域のサイズを変更してもよい。例えば、変更部４０２は、間にある１つのブロックの指定領域のサイズを、指先が通過しにくくならない範囲で小さくする。または、変更部４０２は、残余のブロックの指定領域のサイズを、残余のブロックからはみ出さない範囲で大きく変更してもよい。これにより、利用者は、間にある１つのブロックの指定領域を避けやすくなる。
【００４３】
また、変更部４０２は、各々のブロックの指定領域が各々のブロックに収まらない場合、各々のブロックの指定領域の形状を変更してもよい。具体的には、例えば、変更部４０２は、指定領域のうちの収まらなかった部分を切り取るように指定領域の形状を変更する。または、変更部４０２は、各々のブロックの指定領域が、各々のブロックに収まらず、かつ、他のブロックと重なる場合に、他のブロックと重なる部分を切り取るように指定領域の形状を変更してもよい。設定部４０１により設定された指定領域の表示位置、または変更部４０２により変更された指定領域の表示位置は、指定領域表示位置情報４１１に格納される。
【００４４】
表示部４０３は、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。例えば、表示部４０３は、投影部２１２により、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。
【００４５】
また、表示装置１００が携帯端末やタブレット型端末であれば、表示部４０３は、表示装置１００が有するディスプレイに、各々のブロックの指定領域を表す画像を、設定部４０１が設定した各々のブロックの指定領域の表示位置に表示する。
【００４６】
また、表示部４０３は、各々のブロックの指定領域を表す画像を、変更部４０２が変更した各々のブロックの指定領域の表示位置に表示してもよい。
【００４７】
また、表示部４０３は、いずれかのブロックの指定領域のサイズを変更した変更後の指定領域を表す画像を、いずれかのブロックの指定領域の表示位置に表示してもよい。
【００４８】
また、表示部４０３は、各々のブロックの指定領域の形状を変更した変更後の指定領域を表す画像を、各々のブロックの指定領域の表示位置に表示してもよい。
【００４９】
検出部４０４は、文書ｄに対する指ジェスチャの軌跡を検出する。例えば、検出部４０４は、撮像部２１１により得られた動画像を用いて、指ジェスチャの軌跡を検出する。また、表示装置１００が携帯端末やタブレット型端末であれば、検出部４０４は、指ジェスチャにより画面内のうちの押下された箇所を検出することにより、指ジェスチャの軌跡を各点の座標位置を検出する。検出した軌跡を表す各点の座標位置は、軌跡情報４１２に格納される。
【００５０】
指定領域順序特定部４０５は、軌跡情報４１２と、指定領域表示位置情報４１１とに基づいて、軌跡が通過した指定領域の順序を特定する。例えば、指定領域順序特定部４０５は、軌跡を表す各点のうち、開始時刻を示す点から、各点が指定領域を通過した順序を特定する。または、指定領域順序特定部４０５は、軌跡を表す各点のうち、終了時刻を示す点から、各点が指定領域を通過した順序を特定してもよい。また、指定領域順序特定部４０５は、同一の指定領域に軌跡が２回以上通過した場合、２回目以降の通過を無視してもしなくてもよい。例えば、図１の（ｃ）の例では、指定領域順序特定部４０５は、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであると特定する。また、指定領域順序特定部４０５は、軌跡を終了時刻から走査して、２番目に通過した指定領域がｂ３＿ｓａであり、１番目に通過した指定領域がｂ１＿ｓａであるというように特定してもよい。
【００５１】
ブロック特定部４０６は、指定領域順序特定部４０５が特定した軌跡が通過した指定領域の順序に基づいて、複数のブロックから指定されたブロックの順序を特定する。図１の（ｃ）の例では、軌跡ｍｌが通過した指定領域の順序が、指定領域ｂ１＿ｓａ、ｂ３＿ｓａであるから、ブロック特定部４０６は、指定領域ｂ１＿ｓａを１番目に指定されたブロックとして、指定領域ｂ３＿ｓａを２番目に指定されたブロックとして特定する。
【００５２】
図５は、文書構造解析結果の一例を示す説明図である。図５では、表示装置１００が文書ｄを撮像した結果得られた文書画像ｄｐを構造解析した結果を示す。構造解析を実行した結果、図５の例で示すように、文書画像ｄｐが７つのテキストブロックＲ１〜Ｒ７と、１つの図ブロックＦ１とに分割されたとする。ここで、テキストブロックとは、ブロック内が文字列で形成されたブロックである。表示装置１００は、テキストブロック内の文字列について文字認識を行う。図ブロックは、ブロック内が図で形成されたブロックである。図ブロック内の図としては、例えば、写真やグラフ等が挙げられる。
【００５３】
以下、図６〜図１３の説明では、図５の例を用いて説明する。図６の例を用いて、構造解析して得られたブロック情報４１０の記憶内容の一例を示す。
【００５４】
図６は、ブロック情報４１０の記憶内容の一例を示す説明図である。ブロック情報４１０は、複数のブロックの各々のブロックに関する情報である。図６に示すブロック情報４１０は、レコード６０１−１〜８を有する。
【００５５】
ブロック情報４１０は、ブロック番号と、左上頂点座標と、右下頂点座標と、ブロック属性フラグと、データというフィールドを含む。ブロック番号フィールドには、ブロックを識別する番号が格納される。左上頂点座標フィールドには、ブロックの左上頂点の座標が格納される。右下頂点座標フィールドには、ブロックの右下頂点の座標が格納される。
【００５６】
ブロック属性フラグフィールドには、ブロックの属性を示すフラグが格納される。具体的には、ブロック属性フラグフィールドには、ブロックがテキストブロックであることを示す「テキストブロック」、またはブロックが図ブロックであることを示す「図ブロック」のいずれかが格納される。データフィールドには、ブロックの実データが格納される。例えば、ブロックがテキストブロックであれば、データフィールドには、文字認識した結果得られた文字列が格納される。また、ブロックが図ブロックであれば、画像データへのポインタが格納される。ここで、本実施の形態では、利用者は、図ブロックの指定をしないものとする。
【００５７】
例えば、レコード６０１−１は、ブロック番号Ｒ１が、左上頂点の座標（ｘ＿Ｒ１＿ｌ，ｙ＿Ｒ１＿ｔ）であり、右下頂点の座標（ｘ＿Ｒ１＿ｒ，ｙ＿Ｒ１＿ｂ）であり、テキストブロックであり、文字認識した結果得られた文字列が「…」であることを示す。
【００５８】
次に、表示装置１００は、構造解析を行った後、文書画像ｄｐの全領域を、指定領域と無視領域とに分割する。指定領域の初期表示位置を、図７を用いて説明する。
【００５９】
図７は、指定領域初期表示位置の一例を示す説明図である。図７の（ａ）は、文書画像ｄｐの全領域のうち、初期表示位置として設定した指定領域を、ハッチを付与した領域で示す。具体的には、表示装置１００は、Ｒ１〜Ｒ７内のそれぞれに、指定領域Ｒ１＿ｓａ〜Ｒ７＿ｓａを初期表示位置として設定する。
【００６０】
ここで、本実施の形態では、利用者が図ブロックを指定しないという前提であるため、図ブロックについて、表示装置１００は、図ブロックの全体を無視領域に設定する。なお、図ブロックを指定する前提であれば、表示装置１００は、図ブロックの一部を指定領域に設定してもよい。
【００６１】
一方、テキストブロックについて、表示装置１００は、テキストブロックの一部を指定領域に設定するとともに、指定領域以外の領域を無視領域に設定する。指定領域の形状は、どのようなものでもよいが、例えば、円である。また、指定領域の形状は、円に限らず、他の図形、例えば矩形でもよい。また、指定領域の形状は、各テキストブロックで同一でもよいし、異なってもよい。以下の例では、指定領域の形状は、各テキストブロックで同一であり、円であるとする。また、指定領域のサイズは、各テキストブロックで同一であるとする。
【００６２】
図７の（ｂ）は、あるテキストブロックｔｂにおける指定領域ｓａの初期配置の例を示す。指定領域ｓａの半径をＤとし、テキストブロックの幅ｗ、高さｈの小さい方に対し、指定領域ｓａをテキストブロックｔｂ内に存在するようにすると、表示装置１００は、下記（１）式の条件を満たすように設定する。なお、ｍｉｎ（）は、引数の中から最小の値を返す関数である。
【００６３】
Ｄ＜ｍｉｎ（ｗ，ｈ）／２  …（１）
【００６４】
そして、表示装置１００は、指定領域ｓａの初期表示位置として、テキストブロックｔｂの位置情報から、テキストブロックｔｂの重心Ｇの位置を算出する。そして、表示装置１００は、指定領域ｓａの中心が重心Ｇとなるように指定領域ｓａを配置して、テキストブロックｔｂ内の指定領域ｓａ以外の領域を無視領域ｉａに設定する。
【００６５】
また、図８を用いて指定領域同士の相対位置のずらしに関し、指定領域間のテキストブロックの並びの垂直方向の重なりを０とできる最大のＤは下記（２）式となる。ここで、指定領域のサイズと形状は全てのテキストブロックに対し共通とする。また全テキストブロック数はｎとする。添え字のｉは、テキストブロックの通番を表す。
【００６６】
Ｄ＝ｍｉｎ（ｗ1，ｈ1，…，ｗi，ｈi…，ｗn，ｈn）／４  …（２）
【００６７】
（２）式のＤが小さ過ぎる場合で重なりを許容する場合は、各テキストブロックに対し（１）式を満たす範囲でＤを増加させてもよい。特にＤが小さい場合、指が通過困難となり、自然な形で利用者が指定することが困難となる恐れがある。そこで、表示装置１００は、閾値Ｄｔｈを決定しておき、小さなテキストブロックでＤｔｈの円が描ききれない場合、指定領域のうちのテキストブロックからはみ出した部分をカットする。閾値Ｄｔｈは、実験により求める値であり、例えば、２［ｃｍ］である。また、Ｄは、各テキストブロックで一定としたが、テキストブロックごとにＤを変えてもよい。
【００６８】
ここで、３つの指定領域のうち、利用者が真ん中の指定領域を指定したくない場合がある。そして、このとき、３つの指定領域が直線上に並んでいると、利用者の操作軌跡が不自然なものとなり、利用者にかかる負荷が高くなる。そこで、表示装置１００は、３つの指定領域が直線上に並んでいるか否かを判定し、直線上に並んでいる場合指定領域をずらす。図８で、指定領域が直線上に並んでいるか否かの判定例を説明する。
【００６９】
図８は、指定領域が直線上に並んでいるか否かの判定例を示す説明図である。表示装置１００は、全てのテキストブロックから指定領域を３つ含む全ての組について、直線上に並ぶかを判定する。ある組において、直線上に並ぶかを判定する一例として、表示装置１００は、下記（３）式が満たされる場合に、ある組における３つの指定領域が直線上に並んでいると判定する。ここで、Ｇ1、Ｇ2、Ｇ3は、ある組に含まれる指定領域の重心位置ベクトルである。また、δは、閾値である。例えば、δの値としては、５×π／１８０（度数法における５°）である。また、ｃｏｓ-1（）は、ｃｏｓ（）の逆関数である。また、「・」は、ベクトルの内積を示す。また、｜｜は、ベクトルの絶対値を示す。なお、（３）式は、ベクトルの内積の定義から導かれたものである。
【００７０】
ｃｏｓ-1（（（Ｇ1−Ｇ2）・（Ｇ3−Ｇ2））／（｜Ｇ1−Ｇ2｜｜Ｇ3−Ｇ2｜））＜δ  …（３）
【００７１】
そして、表示装置１００は、（３）式により、ある組における３つの指定領域が直線上に並んでいると判定した場合、中央に位置する指定領域ｓａを、予め決めた所定のルールとして、直線の方向と垂直に距離Ｓ移動させる。また、所定のルールとして、表示装置１００は、ある組における３つの指定領域全てを移動させてもよいし、ある組の両端の指定領域を移動させてもよい。そして、移動させる量となるＳとして、表示装置１００は、指定領域の並び方向に垂直方向の重なりを０にするために、Ｓ＝２Ｄとしてもよいし、場合に応じて、これより小さくても大きくてもよい。また、移動させる方向として、直線の方向が斜めである場合、表示装置１００は、移動対象となる指定領域を含むテキストブロックの高さと幅のうちの大きい方向に指定領域を移動させてもよい。
【００７２】
図８では、テキストブロックｔｂ１〜ｔｂ３の選択が直線上に並んでいる例を示す。表示装置１００は、（３）式を用いて、テキストブロックｔｂ１〜ｔｂ３の指定領域ｔｂ１＿ｓａ〜ｔｂ３＿ｓａが直線上に並んでいると判定したとする。この場合、表示装置１００は、中央に位置するテキストブロックｔｂ２の指定領域ｔｂ２＿ｓａを、直線の垂直方向に距離Ｓ移動させる。移動させた結果、テキストブロックｔｂ２の指定領域の中心がＧ2からＧ2´となる。
【００７３】
次に、図７の（ａ）で示した指定領域が直線上に並ばないように移動させる例を、図９を用いて説明する。
【００７４】
図９は、指定領域の移動例を示す説明図である。表示装置１００は、テキストブロックＲ１〜Ｒ７のうち、指定領域を３つ含む全ての組について、（３）式を用いて、直線上に並ぶか否かを判定する。図９の（ａ）で示すように、表示装置１００は、（Ｒ３＿ｓａ，Ｒ４＿ｓａ，Ｒ７＿ｓａ）の組と、（Ｒ７＿ｓａ，Ｒ６＿ｓａ，Ｒ５＿ｓａ）の組とが、直線上に並んでいると判定する。そして、表示装置１００は、直線上に並んでいると判定した組の中央の指定領域Ｒ４＿ｓａ、Ｒ６＿ｓａを所定のルールに従って移動させる。移動させた結果が、図９の（ｂ）のようになる。指定領域Ｒ４＿ｓａ、Ｒ６＿ｓａの移動後の指定領域を、Ｒ４＿ｓａ´、Ｒ６＿ｓａ´とする。
【００７５】
次に、表示装置１００は、再び、テキストブロックＲ１〜Ｒ７のうち、指定領域を３つ含む全ての組について、（３）式を用いて、直線上に並ぶか否かを判定する。図９の（ｃ）で示すように、表示装置１００は、（Ｒ１＿ｓａ，Ｒ２＿ｓａ，Ｒ４＿ｓａ´）の組が直線上に並んでいると判定する。ここで、表示装置１００は、Ｒ４＿ｓａ´、Ｒ６＿ｓａ´を含む組についてだけ、直線上に並ぶか否かを判定すればよい。これにより、表示装置１００は、直線上に並ぶか否かを判定する組の数を減らすことができる。
【００７６】
表示装置１００は、直線上に並んでいると判定した組の中央の指定領域Ｒ２＿ｓａを所定のルールに従って移動させる。移動させた結果が、図９の（ｄ）のようになる。指定領域Ｒ２＿ｓａの移動後の指定領域を、Ｒ２＿ｓａ´とする。表示装置１００は、指定領域を移動させたら、指定領域を３つ含む全ての組について、（３）式を用いて直線上に並ぶか否かを判定することを繰り返し、移動させる指定領域がなくなれば、終了する。指定領域表示位置設定結果の一例を、図１０を用いて示す。
【００７７】
図１０は、指定領域表示位置設定結果の一例を示す説明図である。図１０で示すように、表示装置１００は、図９で示した処理を繰り返して、直線上に並ぶ指定領域がないように指定領域を配置する。直線上に並ぶ指定領域がないように指定領域を配置することによって得られた指定領域表示位置情報４１１を、図１１を用いて説明する。
【００７８】
図１１は、指定領域表示位置情報４１１の記憶内容の一例を示す説明図である。指定領域表示位置情報４１１は、指定領域の表示位置を示す情報である。図１１に示す指定領域表示位置情報４１１は、レコード１１０１−１〜８を有する。
【００７９】
指定領域表示位置情報４１１は、ブロック番号と、指定領域中心座標というフィールドを含む。ブロック番号フィールドには、ブロックを識別する番号が格納される。指定領域中心座標フィールドには、ブロックの指定領域の中心座標が格納される。例えば、レコード１１０１−１は、テキストブロックＲ１の指定領域Ｒ１＿ｓａの中心座標が、（ｘ１＿ｓ，ｙ１＿ｓ）であることを示す。
【００８０】
指定領域表示位置情報４１１を得た後、表示装置１００は、指定領域表示位置情報４１１に従って、指定領域をテーブル部２０３に対して投影する。そして、利用者は、指定したい順序に従って、文書ｄ上を指でなぞる指ジェスチャを行う。表示装置１００は、指ジェスチャの様子を撮像部２１１で撮影する。そして、表示装置１００は、撮影した動画像から、指ジェスチャを解析する。指ジェスチャを解析する方法としては、例えば、動画像の中から、肌色の画素の塊を抽出し、肌色の画素の輪郭が指先の形状であれば、肌色の画素の塊が指先であると解析するものがある。次に、指ジェスチャの軌跡を表す軌跡情報４１２の記憶内容について、図１２を用いて説明する。
【００８１】
図１２は、軌跡情報４１２の記憶内容の一例を示す説明図である。軌跡情報４１２は、指の先端の軌跡を一定の時間間隔における文書画像上の座標値として表すものである。図１２に示す軌跡情報４１２は、レコード１２０１−０〜ｅを有する。また、図１２に示す軌跡情報４１２は、指ジェスチャの開始時刻をＴ０とし、指ジェスチャの終了時刻をＴｅとする。
【００８２】
軌跡情報４１２は、時刻と、軌跡座標というフィールドを含む。時刻フィールドには、指ジェスチャを撮影した時刻が格納される。軌跡座標フィールドには、時刻フィールドに格納された時刻における文書画像ｄｐ上の指先の座標位置が格納される。例えば、レコード１２０１−０は、指ジェスチャの開始時刻Ｔ０における文書画像ｄｐ上の指先の座標位置が、（ｘ＿Ｔ０，ｙ＿Ｔ０）であることを示す。なお、本実施の形態では、説明の簡略化のため、指ジェスチャの開始時刻Ｔ０において、利用者は、１番目に指定したいテキストブロックの指定領域内に指先をあててあるものとする。
【００８３】
次に、表示装置１００は、軌跡情報４１２と、指定領域表示位置情報４１１とを用いて、利用者により指定されたブロックを特定する。指定されたブロックの特定例と特定後の出力情報の一例を、図１３を用いて説明する。
【００８４】
図１３は、指定されたブロックの特定例と出力情報の一例を示す説明図である。図１３の（ａ）では、表示装置１００がテーブル部２０３上に載置された文書ｄに指定領域を投影した状態で、利用者が指ジェスチャを行った状態を示す。ここで、Ｒ１とＲ３とＲ７とには、連続した内容のコラムがあるとする。また、Ｒ５には、独立した内容のコラムがあるとする。また、Ｒ２には、Ｒ１、Ｒ３〜Ｒ５、Ｒ７の内容を書き著した著者のプロフィールが記載されているとする。また、Ｒ４、Ｒ６には、Ｒ１〜Ｒ５、Ｒ７の内容とは関係のない宣伝が記載されているとする。そして、利用者は、連続した内容のコラムとして、Ｒ１、Ｒ３、Ｒ７を順に指定し、次に、独立したコラムであるＲ５を指定し、最後に、著者のプロフィールとなるＲ２とを指定するように、点線１３０１のように指ジェスチャを行う。
【００８５】
表示装置１００は、点線１３０１の軌跡を表す軌跡情報４１２と、指定領域表示位置情報４１１とに基づいて、指定されたブロックの順序を特定する。具体的には、表示装置１００は、軌跡情報４１２の開始時刻の座標から順に、各座標と、指定領域表示位置情報４１１の各ブロックの指定領域の中心座標との距離が、Ｄ以内であるかを判定する。そして、表示装置１００は、距離がＤ以内となった指定領域を有するブロックを、指定されたブロックとして特定する。特定した結果は、図１３の（ｂ）で示す表１３０２となる。具体的には、表示装置１００は、指定された順序となるテキストブロックＲ１、Ｒ３、Ｒ７、Ｒ５、Ｒ２の順序でブロックを特定する。
【００８６】
そして、表示装置１００は、指定された順序でブロックを出力する。出力例を、図１３の（ｃ）に示す。具体的には、表示装置１００は、指定された順序でブロックの文字認識結果を示す。図１３の（ｃ）の例では、表示装置１００は、テキストブロックＲ１の文字認識結果であるテキストを出力した後、テキストブロックＲ３、Ｒ７、Ｒ５、Ｒ２の文字認識結果であるテキストを順に出力する。
【００８７】
次に、表示装置１００が実行する情報取得支援処理手順を示すフローチャートを、図１４〜図１６を用いて説明する。
【００８８】
図１４は、情報取得支援処理手順の一例を示すフローチャートである。情報取得支援処理は、利用者の情報取得を支援する処理である。表示装置１００は、利用者がテーブル部２０３に載置した文書ｄを静止画として撮像する（ステップＳ１４０１）。次に、表示装置１００は、撮像した文書画像ｄｐを構造解析して、複数のブロックの各々のブロックに対する文字認識結果を取得する（ステップＳ１４０２）。そして、表示装置１００は、指定領域表示位置設定処理を実行する（ステップＳ１４０３）。指定領域表示位置設定処理については、図１５で説明する。次に、表示装置１００は、文書構造の解析結果と指定領域とを、文書に向けて投影する（ステップＳ１４０４）。ここで、投影する文書構造の解析結果とは、例えば、各々のブロックの枠である。
【００８９】
そして、表示装置１００は、指ジェスチャを動画として撮影する（ステップＳ１４０５）。次に、表示装置１００は、指ジェスチャを解析して、軌跡情報４１２を検出する（ステップＳ１４０６）。そして、表示装置１００は、ブロック指定順序特定処理を実行する（ステップＳ１４０７）。ブロック指定順序特定処理については、図１６で説明する。次に、表示装置１００は、文字認識結果を、ブロックの指定順序に従って並び替える（ステップＳ１４０８）。そして、表示装置１００は、並び替えた文字認識結果を出力する（ステップＳ１４０９）。
【００９０】
ステップＳ１４０９の処理終了後、表示装置１００は、情報取得支援処理を終了する。情報取得支援処理を実行することにより、表示装置１００は、利用者が文書ｄから取得したい情報を出力することができる。
【００９１】
図１５は、指定領域表示位置設定処理手順の一例を示すフローチャートである。指定領域表示位置設定処理は、指定領域の表示位置を設定する処理である。表示装置１００は、各テキストブロックの重心位置を算出する（ステップＳ１５０１）。次に、表示装置１００は、指定領域の半径Ｄを算出する（ステップＳ１５０２）。半径Ｄの算出方法としては、例えば、（１）式、（２）式である。
【００９２】
そして、表示装置１００は、各テキストブロックの重心位置を基準に、各テキストブロックの指定領域の初期表示位置を設定する（ステップＳ１５０３）。次に、表示装置１００は、テキストブロック数が３以上か否かを判断する（ステップＳ１５０４）。テキストブロック数が３以上である場合（ステップＳ１５０４：Ｙｅｓ）、表示装置１００は、全てのテキストブロックから指定領域を３つ含む全ての組について、直線上に並ぶかを判定する（ステップＳ１５０５）。各組について直線上に並ぶかを判定する方法として、例えば、表示装置１００は、（３）式の真偽結果により判定する。
【００９３】
ステップＳ１５０５の処理結果により、表示装置１００は、直線上に並ぶ組があるか否かを判断する（ステップＳ１５０６）。直線上に並ぶ組がある場合（ステップＳ１５０６：Ｙｅｓ）、表示装置１００は、直線上に並ぶ組の中央に位置する指定領域の表示位置を、所定のルールを用いてずらした位置に変更する（ステップＳ１５０７）。そして、表示装置１００は、ステップＳ１５０５の処理に移行する。
【００９４】
テキストブロック数が３未満である場合（ステップＳ１５０４：Ｎｏ）、または、直線上に並ぶ組がない場合（ステップＳ１５０６：Ｎｏ）、表示装置１００は、指定領域表示位置設定処理を終了する。指定領域表示位置設定処理を実行することにより、表示装置１００は、利用者が指定しやすいように指定領域の表示位置を設定することができる。
【００９５】
図１６は、ブロック指定順序特定処理手順の一例を示すフローチャートである。ブロック指定順序特定処理は、指定されたブロックの順序を特定する処理である。表示装置１００は、指ジェスチャの開始時刻Ｔ０の座標、すなわち、軌跡情報４１２の第０番目の座標が指定領域に属するテキストブロックを、指定されたテキストブロックとして特定する（ステップＳ１６０１）。次に、表示装置１００は、指定領域数Ｎを１に設定する（ステップＳ１６０２）。そして、表示装置１００は、ｍに１を代入する（ステップＳ１６０３）。ここで、ｍは、軌跡情報４１２のレコードのインデックスを示す。次に、表示装置１００は、ｎに１に設定する（ステップＳ１６０４）。ここで、ｎは、テキストブロックのインデックスとなる。
【００９６】
そして、表示装置１００は、軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属するか否かを判断する（ステップＳ１６０５）。軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属さない場合（ステップＳ１６０５：Ｎｏ）、表示装置１００は、ｎが全てのテキストブロックの数であるか否かを判断する（ステップＳ１６０６）。ｎが全てのテキストブロックの数でない場合（ステップＳ１６０６：Ｎｏ）、表示装置１００は、ｎをインクリメントする（ステップＳ１６０７）。そして、表示装置１００は、ステップＳ１６０５の処理に移行する。
【００９７】
一方、軌跡情報４１２の第ｍ番目の座標が第ｎ番目のテキストブロックの指定領域に属する場合（ステップＳ１６０５：Ｙｅｓ）、表示装置１００は、軌跡情報４１２の第ｍ−１番目の座標が無視領域に属するか否かを判断する（ステップＳ１６０８）。軌跡情報４１２の第ｍ−１番目の座標が無視領域に属する場合（ステップＳ１６０８：Ｙｅｓ）、軌跡が新たな指定領域に入ったことを意味するため、表示装置１００は、第ｎ番目のテキストブロックを、順序が指定されたテキストブロックとして特定する（ステップＳ１６０９）。そして、表示装置１００は、Ｎをインクリメントする（ステップＳ１６１０）。
【００９８】
ステップＳ１６１０の処理終了後、または、ｎが全てのテキストブロックの数である場合（ステップＳ１６０６：Ｙｅｓ）、表示装置１００は、処理対象が指ジェスチャの終了時刻、すなわち、ｍが軌跡情報の第ｅ番目か否かを判断する（ステップＳ１６１１）。軌跡情報４１２の第ｍ−１番目の座標が無視領域に属しない場合（ステップＳ１６０８：Ｎｏ）、または、ｍが軌跡情報の第ｅ番目でない場合（ステップＳ１６１１：Ｎｏ）、表示装置１００は、ｍをインクリメントする（ステップＳ１６１２）。そして、表示装置１００は、ステップＳ１６０４の処理に移行する。
【００９９】
一方、ｍが軌跡情報の第ｅ番目である場合（ステップＳ１６１１：Ｙｅｓ）、表示装置１００は、ブロック指定順序特定処理を終了する。ブロック指定順序特定処理を実行することにより、表示装置１００は、指定されたブロックの順序を特定することができる。
【０１００】
以上説明したように、表示装置１００によれば、ブロックの指定領域を表す画像をブロック内に表示し、指ジェスチャの軌跡の指定領域の通過順序から、指定されたブロックの順序を特定する。これにより、利用者は、指定領域さえ通らなければ他のブロック内を通過できるので、軌跡を短くすることができ、利用者にかかる負担を軽減することができる。また、指ジェスチャの軌跡の長さを短くすることができるため、表示装置１００は、指ジェスチャの解析にかかる負荷を減らすことができる。
【０１０１】
また、表示装置１００によれば、いずれか２つのブロックの指定領域の間に各々のブロックの指定領域があれば、２つのブロックの指定領域の間に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。ここで、利用者は、２つのブロックを指定したく、かつ、各々のブロックを指定したくないとする。この場合、利用者は、２つのブロックの指定領域を通る直線上をなぞればよく、各々のブロックの指定領域を避けるといった、負担のかかるなぞり方をしなくてよくなる。
【０１０２】
また、表示装置１００によれば、２つのブロックの指定領域を通る直線から所定距離内に各々のブロックの指定領域があれば、所定距離内に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。ここで、利用者は、２つのブロックを指定したく、かつ、各々のブロックを指定したくないとする。この場合、利用者は、２つのブロックの指定領域を通る直線上をなぞればよく、かつ、所定距離内には他のブロックの指定領域がないので、他のブロックの指定領域に入ってしまう心配がないため、大雑把ななぞり方でブロックを指定することができる。
【０１０３】
また、表示装置１００によれば、２つのブロックの指定領域を通る直線に各々のブロックの指定領域があれば、直線上に各々のブロックの指定領域がないように、各々のブロックの指定領域の表示位置をずらしてもよい。この場合、表示装置１００は、所定距離内に各々のブロックの指定領域があるか否かを判定する例に比べて、判定にかかる負荷を減らすことができる。
【０１０４】
また、表示装置１００によれば、いずれか３つのブロックのいずれか１つのブロックの指定領域が残余のブロックの各指定領域の間にあれば、１つのブロックまたは残余のブロックの指定領域のサイズを変更してもよい。ここで、利用者は、残余のブロックを指定したく、かつ、１つのブロックを指定したくないとする。この場合、表示装置１００は、例えば、１つのブロックを指先が通過しにくくならない範囲で小さくして、利用者が１つのブロックの指定領域を避けやすくすることができる。または、表示装置１００は、例えば、残余のブロックの指定領域のサイズを、残余のブロックからはみ出さない範囲で大きくして、利用者が１つのブロックの指定領域を避けやすくすることができる。
【０１０５】
また、表示装置１００によれば、各々のブロックの指定領域の表示位置を、各々のブロック内に設定してもよい。これにより、利用者は、表示された指定領域を表す画像が、各々のブロックに対応付いていることを一目で理解することができる。
【０１０６】
また、表示装置１００によれば、各々のブロックの指定領域が、各々のブロックに収まらない場合、各々のブロックの指定領域の形状を変更してもよい。これにより、各々のブロックの指定領域が各々のブロックに収まらず、特に、他のブロックに入ってしまった結果、ある指定領域が、どちらのブロックに対応しているものであるか利用者が理解し難くなるという現象を避けることができる。
【０１０７】
また、表示装置１００によれば、投影部２１２により、各々のブロックの指定領域を表す画像を、各々のブロックの指定領域の表示位置に表示してもよい。これにより、表示装置１００は、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を用いて、各々のブロックの指定領域を順に指定すればよいことを、利用者に直観的に伝えることができる。
【０１０８】
以下、図１７、図１８を用いて、利用者にかかる負担の低減例について説明する。
【０１０９】
図１７は、利用者による軌跡の一例を示す説明図である。図１７において、図１７の（ａ）〜（ｃ）では、図１３の（ａ）で説明したものと同様に、利用者が、文書ｄから、Ｒ１、Ｒ３、Ｒ７、Ｒ５、Ｒ２の順でブロックを特定したいものとする。そして、図１７の（ａ）は、本実施の形態にかかる方法によりブロックの順序を特定したものであり、図１３の（ｂ）で示したものと同一となる。
【０１１０】
図１７の（ｂ）と図１７の（ｃ）では、指先がブロックに入った場合に、ブロックを指定したと見なす方法を用いた例である。同一領域を複数なぞった場合は、２回目以降を無視するものとする。図１７の（ｂ）で示す例は、利用者が自然な形でなぞった場合である。点線１７０１が、図１７の（ｂ）における利用者の指先によってなぞった際の一連の動作の軌跡を示す。図１７の（ｂ）の例では、Ｒ４、Ｒ６といった、指定したくないブロックが含まれてしまうことになる。
【０１１１】
図１７の（ｃ）で示す例では、指定したくないブロックを回避した場合である。点線１７０２が、図１７の（ｃ）における利用者の指先によってなぞった際の一連の動作の軌跡を示す。図１７の（ｃ）の例では、指定したくないブロックを避けることはできるが、文書ｄを外れてなぞっており、図１７の（ａ）の例に比べて、利用者にかかる負担が増大することになる。特に、文書ｄのレイアウトが複雑であったり文書サイズが大きかったりする程、負担が増加する。次に、レイアウトが複雑な文書における利用者の指定例について、図１８を用いて説明する。
【０１１２】
図１８は、文書の指定の一例を示す説明図である。図１８では、文書ｄのレイアウトが複雑である場合における利用者の指定例について説明する。図１８に示す文書ｄは、新聞のある１ページを想定する。そして、文書ｄは、見出し、小見出し、本文１先頭…本文１末尾、…、本文６先頭…本文６末尾、２つの図という、１０のブロックに分かれるものとする。
【０１１３】
文書ｄにおいて、本実施の形態にかかる方法を用いると、利用者は、見出し、小見出し、本文１先頭…本文１末尾、…、本文６先頭…本文６末尾の順となるテキストデータを得ることができる。このように、先頭に文書ｄの要点となる見出しをテキストデータの先頭に出力することができ、利用者は、理解し易い情報を得ることができる。
【０１１４】
一方、ＯＣＲの構造解析のまま出力すると、本文１先頭…本文１末尾、小見出し、本文２先頭…本文２末尾、本文３先頭…本文３末尾、見出し、本文４先頭…本文４末尾という順となるテキストデータを出力することになる。この場合、本文の間に見出しが挟まってしまい、理解し難い情報となってしまう。
【０１１５】
なお、本実施の形態で説明した表示方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本表示プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本表示プログラムは、インターネット等のネットワークを介して配布してもよい。
【符号の説明】
【０１１６】
１００  表示装置
２０３  テーブル部
２１１  撮像部
２１２  投影部
４００  制御部
４０１  設定部
４０２  変更部
４０３  表示部
４０４  検出部
４０５  指定領域順序特定部
４０６  ブロック特定部
４１０  ブロック情報
４１１  指定領域表示位置情報
４１２  軌跡情報
【図１】
2016139760.tif 000003
【図２】
2016139760.tif 000004
【図３】
2016139760.tif 000005
【図４】
2016139760.tif 000006
【図５】
2016139760.tif 000007
【図６】
2016139760.tif 000008
【図７】
2016139760.tif 000009
【図８】
2016139760.tif 000010
【図９】
2016139760.tif 000011
【図１０】
2016139760.tif 000012
【図１１】
2016139760.tif 000013
【図１２】
2016139760.tif 000014
【図１３】
2016139760.tif 000015
【図１４】
2016139760.tif 000016
【図１５】
2016139760.tif 000017
【図１６】
2016139760.tif 000018
【図１７】
2016139760.tif 000019
【図１８】
2016139760.tif 000020
【国際調査報告】
2016139760.tif 000021
2016139760.tif 000022
2016139760.tif 000023
2016139760.tif 000024