(57)【要約】      （修正有）【課題】電子資料を複数人で共有し、各人が自身の表示端末を参照して会議を行う場合、資料における発言者の意図領域を好適に決定可能とする。【解決手段】対象画像におけるユーザ発言に関連する意図領域を決定する情報処理装置は、ユーザ発言における発言内容に基づいて意図領域の候補となる候補領域を決定し、ユーザ発言がなされた際に指示具により対象画像に対してなされた指示操作に基づいて当該対象画像における操作領域を決定する。情報処理装置は、単一の候補領域が決定された場合は当該単一の候補領域を意図領域として決定し、複数の候補領域が決定された場合は操作領域に基づいて当該複数の候補領域から単一の候補領域を選択し意図領域として決定する。【選択図】図３
2018028736.tif 000002
【特許請求の範囲】
【請求項１】
対象画像におけるユーザ発言に関連する意図領域を決定する情報処理装置であって、
前記ユーザ発言における発言内容に基づいて、前記意図領域の候補となる候補領域を決定する第１の決定手段と、
前記ユーザ発言がなされた際に指示具により前記対象画像に対してなされた指示操作に基づいて、該対象画像における操作領域を決定する第２の決定手段と、
前記第１の決定手段により単一の候補領域が決定された場合、該単一の候補領域を前記意図領域として決定し、前記第１の決定手段により複数の候補領域が決定された場合、前記第２の決定手段により決定された操作領域に基づいて前記複数の候補領域から単一の候補領域を選択し前記意図領域として決定する、第３の決定手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記対象画像に含まれる複数の構成要素それぞれの属性値を設定する設定手段を更に有し、
前記第１の決定手段は、前記発言内容を前記設定手段により設定された属性値とマッチングし、一致する属性値を有する構成要素の前記対象画像における領域を前記候補領域として決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記属性値は、前記構成要素の名称、機能、形状、色、前記対象画像における領域座標の少なくとも１つを含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記ユーザ発言を音声認識し前記発言内容を示す文字列を生成する音声認識手段を更に有する
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記発言内容を示す文字列に対して形態素解析及び構文解析を行い、該文字列におけるキー用語を抽出する抽出手段を更に有し、
前記第１の決定手段は、前記抽出されたキー用語を前記設定手段により設定された属性値とマッチングし、一致する属性値を有する構成要素の前記対象画像における領域を前記候補領域として決定する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１の決定手段は、一致する属性値を有する構成要素が複数存在する場合、一致する属性値の個数が最も多い構成要素の前記対象画像における領域を前記候補領域として決定する
ことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記第２の決定手段は、前記ユーザ発言がなされた際に前記対象画像に対してなされた指示操作の軌跡に外接する所定形状の領域を前記操作領域として決定し、
前記第３の決定手段は、前記第１の決定手段により複数の候補領域が決定された場合、前記操作領域と最も近い候補領域を前記意図領域として決定する
ことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記第３の決定手段は、前記操作領域と最も近い候補領域との距離が所定の閾値以下である場合に該候補領域を前記意図領域として決定する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第２の決定手段により複数の操作領域が決定された場合、前記第３の決定手段は、該複数の操作領域それぞれに対して前記意図領域を決定する
ことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
対象画像におけるユーザ発言に関連する意図領域を決定する情報処理装置の制御方法であって、
前記ユーザ発言における発言内容に基づいて、前記意図領域の候補となる候補領域を決定する第１の決定工程と、
前記ユーザ発言がなされた際に指示具により前記対象画像に対してなされた指示操作に基づいて、該対象画像における操作領域を決定する第２の決定工程と、
前記第１の決定工程により単一の候補領域が決定された場合、該単一の候補領域を前記意図領域として決定し、前記第１の決定工程により複数の候補領域が決定された場合、前記第２の決定工程により決定された操作領域に基づいて前記複数の候補領域から単一の候補領域を選択し前記意図領域として決定する、第３の決定工程と、
を含むことを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、資料における発言者の意図領域を決定する技術に関するものである。
【背景技術】
【０００２】
電子資料を複数人で共有し、各人が自身の表示端末を参照して会議を行う場合がある。その際、聞き手は、発言者が資料のどの部分を指し示しているかを直感的に理解できれば、意見の正確な伝達がより容易となる。
【０００３】
そこで、発言情報や操作情報を分析し、発言のポイントを分かりやすく提示する技術が多く提案されている。例えば、特許文献１では、発言者の音声の大きさ及び抑揚を分析し、音声の大きい或いは抑揚の大きいところを、注意を引く場所として強調表示する技術が開示されている。また、特許文献２では、ユーザが携帯端末に行った操作情報を検出し、その操作情報を会議資料に重ねて描画する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３７１６号公報
【特許文献２】特開２０１４−１０３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に記載の技術においては、発言者の指示内容に不確定要素がある場合には適切な強調表示を行うことが出来ない。例えば、発言内容から登録辞書と一致する文字列が複数抽出された場合や、「これ」や「その部分」などの指示語がある場合には、発言者が意図する領域の判定を適切に行うことが出来ない。また、操作情報には無駄な操作や発言者の意図を反映しない操作が含まれ得るため、操作情報を単純に反映する特許文献２では上述の問題を解決することが出来ない。
【０００６】
本発明はこのような問題を鑑みてなされたものであり、資料における発言者の意図領域を好適に決定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、対象画像におけるユーザ発言に関連する意図領域を決定する情報処理装置は、前記ユーザ発言における発言内容に基づいて、前記意図領域の候補となる候補領域を決定する第１の決定手段と、前記ユーザ発言がなされた際に指示具により前記対象画像に対してなされた指示操作に基づいて、該対象画像における操作領域を決定する第２の決定手段と、前記第１の決定手段により単一の候補領域が決定された場合、該単一の候補領域を前記意図領域として決定し、前記第１の決定手段により複数の候補領域が決定された場合、前記第２の決定手段により決定された操作領域に基づいて前記複数の候補領域から単一の候補領域を選択し前記意図領域として決定する、第３の決定手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、資料における発言者の意図領域を好適に決定可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図２】情報処理装置を含むシステム全体のハードウェア構成を示す図である。
【図３】第１実施形態における情報処理装置の処理を示すフローチャートである。
【図４】第１の推定処理（Ｓ１４０）の詳細フローチャートである。
【図５】特徴テーブルの一例を示す図である。
【図６】第１の推定処理の具体例を示す図である。
【図７】第２の推定処理（Ｓ１６０）の詳細フローチャートである。
【図８】第１及び第２の推定処理を併用した具体例を示す図である。
【図９】第２実施形態における情報処理装置の処理を示すフローチャートである。
【図１０】第１の推定処理（Ｓ２６０）の詳細フローチャートである。
【図１１】第１の推定処理の具体例を示す図である。
【図１２】第２の推定処理（Ｓ２８０）の詳細フローチャートである。
【図１３】第１及び第２の推定処理を併用した具体例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、対象画像（車両のデザイン画像）に対するデザイン審議におけるユーザ発言に関連する、当該対象画像における領域を決定する情報処理装置を例に挙げて以下に説明する。なお、この領域は上述のユーザ発言が意図する領域であることから、以下では当該領域は「意図領域」と呼ぶ。
【００１２】
＜装置構成＞
図１は、第１実施形態に係る情報処理装置の機能構成を示すブロック図である。情報処理装置は、指示内容入力部１１０、指示操作入力部１２０、特徴管理部１３０、意図領域推定部１４０、情報記録部１５０を含んでいる。なお、指示内容入力部１１０及び指示操作入力部１２０に対する情報の入力は、１つ又は複数の入力装置を介してなされる。
【００１３】
指示内容入力部１１０は、議論対象となる資料に対する発言者の発言内容である音声データやテキストデータを入力する。発言内容は、例えば、資料に含まれる議論対象物に対する指摘事項などを含む。
【００１４】
指示操作入力部１２０は、上述の発言内容に関連して資料に対してなされた指示具の指示操作データを入力する。例えば、指示操作データは、タッチパネル、ペン、マウスなどの指示具の指示する座標情報の軌跡を示すデータである。
【００１５】
特徴管理部１３０は、会議資料である対象画像に含まれる構成要素の特徴量を予め設定し管理する。構成要素は、対象画像に含まれる画像オブジェクトである。特徴量としては、例えば、構成要素の名称、機能、形状、色、対象画像における領域座標の少なくとも１つを含む。
【００１６】
意図領域推定部１４０は、特徴情報に基づき、意図領域を推定する。詳細については後述するが、意図領域推定部１４０は、ユーザ発言における発言内容に基づいて候補領域を推定する。そして、単一の候補領域が決定された場合は、当該単一の候補領域を意図領域として決定する。一方、複数の候補領域が決定された場合は、指示具による指示操作に基づいて決定された操作領域に基づいて当該複数の候補領域から単一の候補領域を選択し意図領域として決定する。
【００１７】
情報記録部１５０は、指示内容と推定された意図領域とを関連付けて記録し管理する。
【００１８】
以下の説明においては、図１に示す各機能部は、ＣＰＵがプログラムを実行することにより実現されることを想定するが、一部または全部をＡＳＩＣなどのハードウェアによって実現してもよい。
【００１９】
図２は、情報処理装置を含むシステム全体のハードウェア構成を示す図である。
【００２０】
システムは、処理部１及び格納部２を含んでいる。以下の説明においては処理部１は１台であるとして説明するが、処理部１が複数台ある構成としても構わない。処理部１と格納部２とは、有線もしくは無線のネットワーク３で接続されている。なお、処理部１の抽出情報を格納部２に格納しても良いし、処理部１の抽出情報を処理部１内のデータ記憶部１０８に格納しても良い。
【００２１】
処理部１について詳細に述べる。デバイス１０１は、マイクやポインタ、マウス等であり、音声などの指示内容や軌跡などの指示操作の取得を行う機器である。ＣＰＵ１０２は、プログラム記憶部１０６からプログラムをＲＡＭ１０３に読み込み実行する。
【００２２】
通信ＩＦ１０４は、ネットワーク３に接続し、格納部２との間の通信を実行するためのインタフェースである。表示部１０５は、指示内容や推定された意図領域の描画情報を表示する液晶パネル等の表示装置である。制御部１０７は、意図領域の推定を行うための処理を制御する。データ記憶部１０８は、意図領域の推定に利用される各種の情報を格納する。一部のデータは格納部２から読取りコピーされたものである。
【００２３】
プログラム記憶部１０６及びデータ記憶部１０８は、例えばハードディスクやフラッシュメモリとして実現されるが、特定の記憶媒体に依存しないことは言うまでもない。
【００２４】
格納部２は、意図領域の推定結果を格納する。例えば、例えば、指示内容毎に、指示内容とそれに対応する意図領域の情報を対応付けて格納し管理する。
【００２５】
なお、ネットワーク３は、１拠点で会議が開催される場合はイントラネットであり、遠隔会議のように多数拠点で会議が開催される場合はインターネットである。また、ネットワークは、無線でも有線でもかまわない。
【００２６】
図１に示す各機能部を実現するプログラムは、図２に示すそれぞれ装置のメモリや記憶装置に保管され、それぞれの装置のＣＰＵによって実行される。そして、必要に応じて、ネットワークＩ／ＦやＵＳＢインタフェース、あるいは、各種コントローラを制御することで機能する。
【００２７】
＜装置の動作＞
図３は、第１実施形態における情報処理装置の処理を示すフローチャートである。
【００２８】
ステップＳ１１０では、情報処理装置は、会議に用いる資料を設定する。設定する資料は電子データでも良いし、紙媒体の資料を撮像して得られた画像データでも良い。ここでは、車両のデザイン画像を示す電子データを設定することを想定する。
【００２９】
ステップＳ１２０では、指示内容入力部１１０は、Ｓ１１０で設定された資料に対するおいて指示内容を入力する。ここでは、音声認識装置によりユーザ発言を音声認識し、当該ユーザ発言の発言内容を示す文字列（文章）を指示内容として入力することを想定する。
【００３０】
ステップＳ１３０では、指示操作入力部１２０は、指示内容に関連する指示操作の情報を入力する。ここでは、Ｓ１２０で入力された文字列に対応するユーザ発言がなされたときの、発言者による指示具の操作軌跡の情報を入力する。
【００３１】
ステップＳ１４０では、意図領域推定部１４０は、指示内容を解析し、指示内容から抽出された情報を、予め特徴管理部１３０で設定され管理されている特徴テーブルと比較し、意図領域の候補である候補領域を推定する。このＳ１４０における推定処理の詳細については図４〜図６を参照して後述する。
【００３２】
ステップＳ１５０では、意図領域推定部１４０は、指示内容による意図領域の特定ができたかどうかを判断する。例えば、単一の候補領域のみが推定された場合に意図領域の特定ができたと判断し、複数の候補領域が推定された場合に意図領域の特定ができなかったと判断する。意図領域の特定が出来なかった場合はＳ１６０に進み、特定ができた場合はＳ１８０に進む。
【００３３】
ステップＳ１６０では、意図領域推定部１４０は、Ｓ１３０で入力された指示操作情報に基づいて複数の候補領域から単一の候補領域を選択し意図領域として決定する。このＳ１６０における推定処理の詳細については図７及び図８を参照して後述する。
【００３４】
ステップＳ１７０では、意図領域推定部１４０は、意図領域の特定ができたかどうかを判断する。例えば、１つの意図領域のみが推定された場合は意図領域の特定ができたか否かに基づいて判断する意図領域の特定が出来なかった場合はＳ１９０に進み、特定ができた場合はＳ１８０に進む。
【００３５】
ステップＳ１８０では、情報記録部１５０は、決定された指示内容と意図領域と対応付けて記録する。一方、ステップＳ１９０では、情報記録部１５０は、決定された指示内容のみを記録する。
【００３６】
図４は、第１の推定処理（Ｓ１４０）の詳細フローチャートである。また、図５は、特徴管理部１３０で管理されている特徴テーブルの一例を示す図である。
【００３７】
特徴テーブルは、デザイン審議用の対象画像に含まれる複数の構成要素それぞれの属性値を設定したテーブルである。属性値として利用される特徴量としては、各構成要素の「機能」「形状」「色」を表現する情報や「座標情報」が設定されるがこれらに限定されるものではない。
【００３８】
すなわち、ここではスケッチ画像を会議用の資料とし、意図領域推定用の特徴量を画像の構成要素毎の特徴量とした。しかし、他の会議資料を用いる場合は、意図領域推定用の特徴量を当該会議資料に合わせて設定すると良い。
【００３９】
ステップＳ４１０では、意図領域推定部１４０は、指示内容の認識結果からキーワードを抽出する。このキーワード抽出処理は、文字列を単語に切り分ける形態素解析技術を活用すれば良い。
【００４０】
ステップＳ４２０では、意図領域推定部１４０は、抽出されたキーワードと特徴テーブルに登録されている各構成要素の属性値（特徴量）とのマッチング処理を行う。ステップＳ４３０では、意図領域推定部１４０は、構成要素毎にマッチングした用語の個数（一致の頻度・度合）を統計する。
【００４１】
ステップＳ４４０では、意図領域推定部１４０は、一致数が最も多い（一致の度合が最大の）構成要素が１つに特定できるか否かを判断する。１つに特定できる場合は、ステップＳ４５０において、意図領域推定部１４０は、当該構成要素を意図する領域と判断する。一方、１つに特定できない場合は、ステップＳ４６０において、意図領域推定部１４０は、意図領域の特定（絞り込み）ができないと判断する。
【００４２】
図６は、第１の推定処理の具体例を示す図である。会議資料６００ａは、審議対象画像の例である。ここでは、デザイン審議用のスケッチ画像を示している。指示内容６００ｂは、審議対象画像における発言者の発言内容の入力例である。ここでは、発言者の発言「後輪を大きくする方がいい」を文字列として入力した例を示している。
【００４３】
指示操作情報６００ｃは、審議対象画像における発言者の指示操作情報の例である。ここでは、上述の発言者の発言中における、指示具の動く範囲を入力した例を示している。なお、第１の推定処理（Ｓ１４０）においては指示操作情報６００ｃは使用されない。キーワード６００ｄは、指示内容から抽出されたキーワードの例を示している。ここでは、指示内容の認識結果から抽出されたキーワードを示している。
【００４４】
マッチング結果６００ｅは、抽出されたキーワードと特徴テーブルとのマッチングの結果例である。ここでは、複数キーワードの中から、「後輪」というキーワードが特徴テーブルと一致するものとして抽出されたため、発言者が意図している指摘領域は「後輪」であると特定できた例を示している。
【００４５】
図７は、第２の推定処理（Ｓ１６０）の詳細フローチャートである。
【００４６】
ステップＳ７１０では、意図領域推定部１４０は、指示操作の対象領域である操作領域を決定する。例えば、記録された軌跡の座標情報を包含する領域を操作領域とし、当該操作領域を特定可能な座標を記録する。操作領域の形状は円でもよいし矩形でも良い。
【００４７】
ステップＳ７２０では、意図領域推定部１４０は、特徴テーブルに登録されている画像の構成要素の領域情報に基づいて、操作領域と、Ｓ１４０で推定された複数の候補領域それぞれの座標情報と比較する。具体的には、複数の候補領域それぞれとの間の距離を導出し、最も近い候補領域を決定する。なお、距離の代わりに、領域の重なり具合などにより判定を行ってもよい。
【００４８】
ステップＳ７３０では、意図領域推定部１４０は、最も近い候補領域との距離が所定の閾値Ｔ以下であるか否かを判定する。閾値以下であれば、ステップＳ７４０では、意図領域推定部１４０は、当該候補領域を意図領域と特定する。閾値より大きい場合、ステップＳ７５０では、意図領域推定部１４０は、意図領域の特定ができないと判断する。
【００４９】
図８は、第２の推定処理の具体例を示す図である。会議資料８００ａは、審議対象画像の例である。ここでは、デザイン審議用のスケッチ画像を示している。指示内容８００ｂは、審議対象画像における発言者の発言内容の入力例である。ここでは、発言者の発言「この車輪を大きくする方がいい」を文字列として入力した例を示している。
【００５０】
指示操作情報８００ｃは、審議対象画像における発言者の指示操作情報の例である。ここでは、上述の発言者の発言中における、指示具の動いた軌跡（座標）を入力した例を示している。外接領域８１０ｃは、軌跡に外接する所定形状の領域である。ここでは、円形領域として示しているが矩形領域など他の形態でもよい。
【００５１】
キーワード８００ｄは、指示内容から抽出されたキーワードの例を示している。ここでは、指示内容の認識結果から抽出されたキーワードを示している。
【００５２】
マッチング結果８００ｅは、抽出されたキーワードと特徴テーブルとのマッチングの結果例である。この例では、「車輪」というキーワードが、特徴テーブルに登録されている「前輪」及び「後輪」の２つに一致するが、どちらか一方への絞り込みができない状態を示している。
【００５３】
距離解析結果８００ｆは、外接領域と各候補領域との距離の解析結果を示している。ここでは、候補領域である「前輪」と「後輪」に対する結果を示している。距離解析の結果、外接領域８１０ｃは「後輪」の座標との距離がより近く、かつ、その距離は閾値以下である。そのため、ここでは、意図領域を「後輪」と特定している。
【００５４】
以上説明したとおり第１実施形態によれば、ユーザ発言における発言内容に基づいて意図領域の候補となる候補領域を決定する。そして、単一の候補領域が決定された場合は、当該単一の候補領域を意図領域として決定する。一方、複数の候補領域が決定された場合は、指示具による指示操作に基づいて決定された操作領域に基づいて当該複数の候補領域から単一の候補領域を選択し意図領域として決定する。この構成により、発言者による発言内容に「この」などの指示代名詞を含む場合であっても、会議資料における発言者の意図領域を好適に決定することが可能となる。
【００５５】
なお、上述の説明においては、各構成要素の特徴量は、特徴テーブルとして特徴管理部１３０において予め管理されているとしたが、上述の処理に先立って各構成要素の特徴量を手動入力するよう構成してもよい。また、資料に設定されたオブジェクトのメタデータを各構成要素の特徴量として利用しても良い。更に、画像解析を行い自動的に各構成要素の特徴量を生成するよう構成してもよい。
【００５６】
（第２実施形態）
第２実施形態では、指示内容が複数存在する場合、或いは、指示操作が複数存在する形態について説明する。例えば、指示内容声が、単独であるが複雑な文章、あるいは複数の文章から構成される場合にあてはまる。
【００５７】
なお、第２実施形態に係る情報処理装置の機能構成は第１実施形態（図１）と同様であるため説明は省略する。また、当該情報処理装置を含むシステム全体のハードウェア構成についても第１実施形態（図２）と同様であるため説明は省略する。
【００５８】
＜装置の動作＞
図９は、第２実施形態における情報処理装置の処理を示すフローチャートである。なお、Ｓ２１０〜Ｓ２３０、Ｓ２９１、Ｓ２９２は、それぞれ、第１実施形態（図３）におけるＳ１１０〜Ｓ１３０、Ｓ１８０、Ｓ１９０と同様であるため説明は省略する。
【００５９】
ステップＳ２４０では、指示操作入力部１２０は、指示操作に複数の入力軌跡があるかどうかを判断する。指示操作が１つの場合はＳ２５０に進み、複数の場合はＳ２６０に進む。Ｓ２５０は、第１実施形態の（図３）におけるＳ１４０と同様である。
【００６０】
ステップＳ２６０では、意図領域推定部１４０は、Ｓ２５０に比較しより高度な処理（構文解析など）に基づき抽出されたキー用語を、特徴テーブルと比較し、意図領域の候補である候補領域を推定する。このＳ１４０における推定処理の詳細については図１０及び図１１を参照して後述する。
【００６１】
ステップＳ２７０では、意図領域推定部１４０は、指示内容による意図領域の特定ができたかどうかを判断する。例えば、単一の候補領域のみが推定された場合に意図領域の特定ができたと判断し、複数の候補領域が推定された場合に意図領域の特定ができなかったと判断する。意図領域の特定が出来なかった場合はＳ２８０に進み、特定ができた場合はＳ２９１に進む。
【００６２】
ステップＳ２８０では、意図領域推定部１４０は、Ｓ２３０で入力された指示操作情報に基づいて複数の候補領域から単一の候補領域を選択し意図領域として決定する。このＳ２８０における推定処理の詳細については図１２及び図１３を参照して後述する。
【００６３】
図１０は、第１の推定処理（Ｓ２６０）の詳細フローチャートである。
【００６４】
ステップＳ１００１では、意図領域推定部１４０は、指示内容に対して形態素解析を実行し、ステップＳ１００２では、形態素解析の結果を元に構文解析を行う。すなわち、文字列（文章）を構成する単語間の関係（係り受けなど）を解析する。そして、解析結果に基づき指示場所を示すキー用語を抽出する。この構文解析処理は、一般的な自然言語処理を適用すれば良い。
【００６５】
ステップＳ１００３では、意図領域推定部１４０は、抽出されたキー用語と特徴テーブルに登録されている各構成要素の属性値（特徴量）とのマッチング処理を行う。キー用語が特徴テーブルに含まれていれば、ステップＳ１００４において、意図領域推定部１４０は、当該キー用語が示す構成要素を意図領域として特定する。一方、特徴テーブルに含まれていなければ、ステップＳ１００５において、意図領域推定部１４０は、意図領域の特定が出来ないと判断する。
【００６６】
図１１は、第１の推定処理の具体例を示す図である。会議資料１１００ａは、審議対象画像の例である。指示内容１１００ｂは、審議対象画像における発言者の発言内容の入力例である。指示操作情報１１００ｃは、審議対象画像における発言者の指示操作情報の例である。
【００６７】
構文解析結果１１００ｄは、指示内容に対して形態素解析及び構文解析を実行した結果を示している。ここでは、解析結果から「前席」と「サイドステップ」が指示場所の候補を示すキー用語として抽出されている。
【００６８】
マッチング結果１１００ｅは、抽出されたキー用語と特徴テーブルとのマッチングの結果例である。ここでは、キー用語である「前席」「サイドステップ」がそれぞれ特徴テーブルに含まれているため、特徴テーブル内のこれらの領域をそれぞれ意図領域として特定している。
【００６９】
図１２は、第２の推定処理（Ｓ２８０）の詳細フローチャートである。
【００７０】
ステップＳ１２０１では、意図領域推定部１４０は、指示操作の対象領域である操作領域を決定する。例えば、記録された軌跡の座標情報を包含する領域を操作領域とし、当該操作領域を特定可能な座標を記録する。操作領域の形状は円でもよいし矩形でも良い。ここでは、図１３の指示操作情報１３００ｃで示される２つの領域（領域Ａ、Ｂ）が操作領域として指定されるものとする。
【００７１】
ステップＳ１２０２では、意図領域推定部１４０は、特徴テーブルに登録されている画像の構成要素の領域情報に基づいて、上述の２つの操作領域それぞれに対応する構成要素を探索する。
【００７２】
ステップＳ１２０３では、意図領域推定部１４０は、各指示操作の対象領域と対応する部分があるかどうかを判断する。各指示操作の対象領域と対応する部分があれば、Ｓ１２０４に進み、なければＳ１２０６に進む。ステップＳ１２０４では、意図領域推定部１４０は、指示内容の解析により抽出された候補領域を示す用語から、構成要素を示すキー用語を確定する。
【００７３】
ステップＳ１２０５では、意図領域推定部１４０は、当該キー用語が示す領域を意図領域として特定する。一方、ステップＳ１２０６では、意図領域推定部１４０は、意図領域の特定が出来ないと判断する。
【００７４】
図１３は、第２の推定処理の具体例を示す図である。会議資料１３００ａは、審議対象画像の例である。指示内容１３００ｂは、審議対象画像における発言者の発言内容の入力例である。指示操作情報１３００ｃは、審議対象画像における発言者の指示操作情報の例である。
【００７５】
構文解析結果１３００ｄは、指示内容に対して形態素解析及び構文解析を実行した結果を示している。ここでは、解析結果から「前席」と「ここ」が指示場所の候補を示す用語として抽出されている。ただし、指示代名詞である用語「ここ」は不確定な用語であり、特徴テーブルと直接の比較では一致するものがない。
【００７６】
マッチング結果１３００ｅは、抽出されたキー用語と特徴テーブルとのマッチングの結果例である。ここでは、指示場所の候補を示す用語である「前席」は特徴テーブルに含まれているため、特徴テーブル内の対応する領域を意図領域として特定している。
【００７７】
ところで、指示操作の解析に基づき、領域Ａは特徴テーブルに登録されている「６０，１２０，２２３，４４４」の領域に対応し、領域Ｂは特徴テーブルに登録されている「１２２，２０，５００，２３０」の領域に対応することが判定される。
【００７８】
ところで、「６０，１２０，２２３，４４４」の領域は「前席」という要素の領域なので、領域Ａは「前席」と対応するものと判断される。同様に、「１２２，２０，５００，２３０」は「サイドステップ」という要素の領域特徴なので、領域Ｂは「サイドステップ」と対応するものと判断される。
【００７９】
このような指示操作の解析に基づき、指示内容の解析処理で抽出された「ここ」という用語は、「サイドステップ」であると特定される。
【００８０】
以上説明したとおり第２実施形態によれば、指示内容が複数存在する場合、或いは、指示操作が複数存在する場合であっても、会議資料における発言者の意図領域を好適に決定することが可能となる。特に、発言者による発言内容に「ここ」などの指示代名詞を含む場合であっても意図領域を好適に決定することができる。
【００８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１１０  指示内容入力部；  １２０  指示操作入力部；  １３０  特徴管理部；  １４０  意図領域推定部；  １５０  情報記録部
【図１】
2018028736.tif 000003
【図２】
2018028736.tif 000004
【図３】
2018028736.tif 000005
【図４】
2018028736.tif 000006
【図５】
2018028736.tif 000007
【図６】
2018028736.tif 000008
【図７】
2018028736.tif 000009
【図８】
2018028736.tif 000010
【図９】
2018028736.tif 000011
【図１０】
2018028736.tif 000012
【図１１】
2018028736.tif 000013
【図１２】
2018028736.tif 000014
【図１３】
2018028736.tif 000015