(57)【要約】      （修正有）【課題】電子文書を用いて説明等を行う際に、元々用意していたシナリオとは異なる説明を要求されるた場合に、閲覧順を変更する情報処理装置、方法及びプログラムを提供する。【解決手段】電子文書を構成するコンテンツの閲覧順が予め決まっている電子文書を入力し、少なくとも１つの実物体の認識Ｓ６０３をする。前記認識ステップが認識した実物体に関連するコンテンツを優先する、表示コンテンツの推測Ｓ６０４をし、閲覧順を変更して該コンテンツを閲覧することを決定し、コンテンツの表示Ｓ６０５をする。【選択図】図６
2016152022.tif 000002
【特許請求の範囲】
【請求項１】
電子文書を構成するコンテンツの閲覧順が予め決まっている電子文書を入力する入力手段と、
少なくとも１つの実物体を認識する認識手段と、
前記認識手段が認識した実物体に関連するコンテンツを優先し、前記閲覧順を変更して該コンテンツを閲覧することを決定する決定手段と、
前記決定手段の決定に基づいて、コンテンツを出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記認識手段が実物体を認識する前の、コンテンツ閲覧における操作履歴情報に基づいてコンテンツの閲覧者の意図を抽出する抽出手段を更に備え、
前記決定手段は、前記認識した実物体に関連する複数のコンテンツのうち、前記抽出した意図に沿うコンテンツを優先することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記決定手段では、前記電子文書におけるコンテンツの閲覧順の変更、他の電子文書からのコンテンツの追加、前記電子文書のコンテンツの削除、もしくは、前記電子文書のコンテンツの一部を他の電子文書のコンテンツの一部への入れ替え、の少なくとも１つにより予め定められた閲覧順を変更することを特徴とする、請求項１または２に記載の情報処理装置。
【請求項４】
前記決定手段は、さらに、前記実物体に関連するコンテンツを前記実物体の近傍へ表示することを決定し、前記出力手段は前記実物体の近傍へ前記実物体に関連するコンテンツの表示を行うことを特徴とする、請求項１乃至３何れか１項に記載の情報処理装置。
【請求項５】
前記出力手段は、前記実物体に関連するコンテンツの少なくとも一つを、実物体の近傍に常に表示しておくことを特徴とする、請求項１乃至４何れか１項に記載の情報処理装置。
【請求項６】
前記出力手段は、テーブル面にコンテンツの画像を投影し、
投影されたコンテンツを用いて説明者が閲覧者に該コンテンツの説明を行うことを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
【請求項７】
前記認識手段は、閲覧者が説明を要求する実物体の認識を行うことを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
【請求項８】
前記認識手段は、前記実物体を撮像し、撮像された画像の特徴に基づいて前記実物体の認識を行うことを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
【請求項９】
前記電子文書のコンテンツの削除は、操作履歴情報に基づいて、前記コンテンツの閲覧者に興味を持たれないと判断された場合に行われることを特徴とする請求項３記載の情報処理装置。
【請求項１０】
情報処理装置を制御する情報処理方法であって、
電子文書を構成するコンテンツの閲覧順が決まっている電子文書を入力する入力工程と、
少なくとも１つの実物体を認識する認識工程と、
前記認識工程で認識した実物体に関連するコンテンツを優先し、前記閲覧順を変更して該コンテンツを閲覧することを決定する決定工程と、
前記決定工程の決定に基づいて、コンテンツを出力する出力工程と、
を備えることを特徴とする情報処理方法。
【請求項１１】
コンピュータを
電子文書を構成するコンテンツの閲覧順が予め決まっている電子文書を入力する入力手段と、
少なくとも１つの実物体を認識する認識手段と、
前記認識手段が認識した実物体に関連するコンテンツを優先し、前記閲覧順を変更して該コンテンツを閲覧することを決定する決定手段と、
前記決定手段の決定に基づいて、コンテンツを出力する出力手段と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、説明に適切なコンテンツの順序を柔軟に変更する情報処理装置に関するものである。
【背景技術】
【０００２】
電子文書の発達、普及に伴い、電子文書化したカタログを用いた商品等の説明が行われるようになってきている。そのための技術として、電子文書の表示の工夫を行うものが知られている。例えば特許文献１では、複数の商品を効果的に閲覧できるように商品を説明するコンテンツを順次拡大表示することを行っている。
【０００３】
また、大量に用意されている電子文書データの中から、使用するデータを検索し選択する技術も必要とされている。そのような技術として、例えば特許文献２では、ユーザが文書を閲覧した際の動作履歴の情報からユーザの知識背景や意図などのコンテキストを読み取り、そのコンテキストを利用して適切な参照文献の提供を行っている。また特許文献３では、スクリーン上に配置もしくは接近した実物体を認識し、その物体と結びついた電子文書を表示させることを行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９０８７０号公報
【特許文献２】特開２００７−１０２７６７号公報
【特許文献３】特開２００９−１１０４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの技術では以下のような課題がある。まず特許文献１に記載の技術では、表示するコンテンツの表示順を途中で変更して閲覧するといったことは不可能である。また特許文献２や３に記載の技術では、予め選択する文書がデータとして一意に対応付けられているため、対応付けられていない文書を呼び出すことはできない。従って、これらの技術を使用してもコンテンツの閲覧の順番やコンテンツの表示といった閲覧方法を状況に応じて柔軟に変更することはできない。
【０００６】
本発明は、上記の課題に鑑みてなされたものである。すなわち、コンテンツの閲覧順を柔軟に変更し、説明に適切なコンテンツを出力する情報処理装置を提供することを目的とする。また、その方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は以下の構成を備える。即ち、電子文書を構成するコンテンツの閲覧順が予め決まっている電子文書を入力する入力手段と、少なくとも１つの実物体を認識する認識手段と、前記認識手段が認識した実物体に関連するコンテンツを優先し、前記閲覧順を変更して該コンテンツを閲覧することを決定する決定手段と、前記決定手段の決定に基づいて、コンテンツを出力する出力手段。
【発明の効果】
【０００８】
本発明によれば、説明対象に適切なコンテンツを優先し、コンテンツの閲覧順を柔軟に変更することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態を適用すべき課題を有するシーンの例を示す模式図である。
【図２】本発明の第１の実施形態における保有データの例を示す模式図である。
【図３】本発明の第１の実施形態における処理結果を示す模式図である。
【図４】本発明の第１の実施形態に係る情報処理装置の概略構成の一例を示す模式図である。
【図５】本発明の第１の実施形態における機能構成を示した模式図である。
【図６】本発明の第１の実施形態に係る情報処理装置における情報処理方法の処理手順の一例を示すフローチャートである。
【図７】本発明の第１の実施形態に係る閲覧方法決定部の決定処理方法の一例を示す模式図である。
【図８】本発明の第１の実施形態に係る閲覧方法決定部のデータ処理方法の一例を示す模式図である。
【図９】本発明の第２の実施形態における処理結果を示す模式図である。
【図１０】本発明の第３の実施形態における処理結果を示す模式図である。
【図１１】本発明の第４の実施形態を適用すべき課題を有するシーンの例を示す模式図である。
【図１２】本発明の第４の実施形態に係る機能構成を示した模式図である。
【図１３】本発明の第４の実施形態における情報処理装置における情報処理方法の処理手順の一例を示すフローチャートである。
【図１４】本発明の第４の実施形態における処理結果を示す模式図である。
【図１５】本発明の第５の実施形態を適用すべき課題を有するシーンの例を示す模式図である。
【図１６】本発明の第５の実施形態における処理結果を示す模式図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１１】
（第１の実施形態）
本実施形態は、実物体をキーとして、電子文書を構成する各ページの新たな閲覧する順番を作成するものである。なお以降の説明において、電子文書の各ページを構成する図や表、文章もしくはそれらのまとまりのことをコンテンツと呼ぶこととする。また、説明を簡単にするために、本実施形態では、電子文書をプレゼンテーションで用いるスライドのまとまりとし、コンテンツは１スライド中に１つのみ存在していることとする。つまり、特別な説明がない限りコンテンツ＝スライドということになる。
【００１２】
図１は、本発明の第１の実施形態を適用すべき課題を有するシーンの例を示す模式図である。ここでは、２人のユーザが対面して商談をしているものとする。この場面において、ユーザ１０１はユーザ１０２に対してテーブル１０３上に置かれた商品Ａ１０４の説明をしている。ユーザ１０１は説明者であり、ユーザ１０２は閲覧者である。またユーザ１０１は、カメラ付きプロジェクタ１０５によってテーブル１０３上に投影されたスライド１０６を用いて説明を行っている。ここで、ユーザ１０２より、商品Ａ１０４とは別の商品Ｇ１０７について話を聞きたいというリクエストがあった場合を考える。このとき、ユーザ１０１は予め用意した説明用スライドデータから、商品Ｇ１０７の説明を行うことのできるスライドを探すことになる。このスライド、つまりコンテンツを説明する順にまとめた一つの電子文書をシナリオと呼ぶことにする。
【００１３】
図２は、本発明の第１の実施形態におけるユーザ１０１の保有データの例を示す模式図である。複数の説明シナリオを用意している。ここでは、現在のスライド２０１から遷移することのできるシナリオ、つまりスライドをまとめたものを示している。この中でユーザ１０２の所望する商品Ｇ１０７の説明を行うことができるスライドは、シナリオ２０２に含まれているスライド２０３である。そこでユーザ１０１はシナリオ２０２を新たに説明に使用するものとして選択し、スライド２０３まで手動でページを進めていくことになる。しかしスライド２０３は現在のスライド２０１の次のページにあるわけではなく、かなり後ろの方に存在している。従ってユーザ１０１は、スライド２０３が表示されるまで手動でページを進めるという手間がかかってしまう。
【００１４】
図３は本発明の第１の実施形態における処理結果を示す模式図である。これは、商品Ｇ１０７をテーブル１０３に置くと、カメラ付きプロジェクタ１０５により商品Ｇ１０７が認識される。そしてこの認識された商品Ｇ１０７をキーとして新しいシナリオを作成したものである。ここで作成されたシナリオ３０１では、現在のスライド３０２の次に目的としている商品Ｇの概要が含まれているスライド３０３を表示する。加えてその後に使用するスライドとして商品Ｇの詳細情報が含まれているスライド３０４を用意することができるようになる。
【００１５】
次に、この実施形態を実現する装置等について詳細に述べていく。
【００１６】
図４は、本実施形態に係る情報処理装置の概略構成の一例を示す模式図である。本実施形態に係る情報処理装置は、ＣＰＵ４０１、入力装置４０２、出力装置４０３、撮像装置４０４、記憶装置４０５、ＲＡＭ４０６、ＲＯＭ４０７およびこれらをつなぐＢＵＳ４０８から構成されている。ＣＰＵ４０１は、記憶装置４０５に格納されている制御プログラムを実行することにより、情報処理装置の制御をおこなう。記憶装置４０５としては、ハードディスク、フラッシュメモリ等を用いることができる。入力装置４０２は、出力装置４０３を通して出力するための電子データの入力を行う。出力装置４０３は電子データの投影を行う。撮像装置４０４は、処理を実行するためのキーとなる実物体の撮像を行う。記憶装置４０５は入力装置４０２から入力された電子データの記憶を行う。ＲＡＭ４０６は、各構成要素からの各種データを一時記憶する。ＲＯＭ４０７は、処理プログラム等の制御プログラムを記憶する。
【００１７】
なお、本実施形態では後述するフローチャートの各ステップに対応する処理を、ＣＰＵ４０１を用いてソフトウェアで実現するが、その処理の一部又は全部を電子回路などのハードウェアで実現するようにしても良い。
【００１８】
図５は本実施形態における機能構成を示した構成図である。電子文書入力部５０１では、ユーザが表示させたいと考えている電子文書データの入力を受け付ける。実物体認識部５０２では、図２および図３の例でのスライドに当たるコンテンツの新たな閲覧順の作成要求を行うための実物体を撮像装置４０４で撮像し、認識する。閲覧方法変更要求部５０３では、実物体認識部５０２で実物体が認識されたことを受けて閲覧方法の変更要求を発生させる。閲覧方法決定部５０４では、実物体認識部５０２で認識された実物体と、閲覧方法変更要求部５０３から閲覧方法の変更要求が発生するまでのコンテンツの閲覧履歴（操作情報などを含む閲覧情報）を基に新たなコンテンツの閲覧順の決定を行う。明示的に閲覧方法変更要求部５０３が変更要求を発生しなくても、実物体認識部５０２が説明対象の実物体を認識したことを契機に、閲覧方法決定部５０４が、新たなコンテンツの閲覧順を決定しても良い。電子文書出力部５０５では、閲覧方法決定部５０４で作成された新たなコンテンツの閲覧順に従ってコンテンツの表示を行う。本実施形態では、出力装置４０３によるテーブル面への投影である。
【００１９】
次に、本実施形態に係る情報処理装置の処理について図６に示すフローチャートを参照して説明する。まず、ステップＳ６０１において、ユーザ１０１が入力装置４０２を用いて予め記憶装置４０５に登録しておいた電子文書のシナリオを、出力装置４０３を通じて出力する。ここで、記憶装置４０５に登録されている電子文書のシナリオは図２に示したように複数存在している場合もある。そこで、複数登録されている場合には、ユーザ１０１によってその中の一つがこのステップＳ６０１において選択され、その選択された電子文書が表示される。次にステップＳ６０２において、撮像装置４０４によってテーブル１０３上を撮影し、新たな実物体が追加されたかどうかを検知する。追加されたことを検知するとステップＳ６０３に進み、その物体が何であるかを認識する。これは既知の一般物体認識技術等を用いて行う。撮像された実物体の画像の特徴と、予め登録されている画像の特徴との比較を行って、予め登録されている画像の属性情報を用いて実物体の認識を行っても良い。ステップＳ６０４に進むと、認識された実物体とこれまでに閲覧されたコンテンツの閲覧履歴をキーとして表示すべきスライドの推測・決定、つまり表示の制御をおこなう。これは、例えばキーとした情報を利用した系列パターンマイニングを行うことで実現する。つまり、これまで閲覧したスライドを系列データとして扱い、このデータに対しキー情報が入力された場合には次に何が来るのが最適かということをマイニングする。
【００２０】
このステップＳ６０４における、次に表示すべきスライドの決定処理について、詳細に述べる。図７はステップＳ６０４におけるコンテンツ閲覧方法決定部の決定処理方法の一例を示す模式図である。ここで、シナリオ７０１が最初に入力され表示されている電子文書の表示順である。この中で、商品Ｃの概要を説明するスライド７０２の説明中に、スライド７０３で説明する商品とは別の商品Ｇが置かれ、商品Ｇの説明をすることを要求されたとする。するとまず、商品Ｇが置かれた時点で、商品Ｇに関連するスライドの検索を行う。これは例えば、今回の説明より前の説明履歴の中で、商品Ｇを説明する際に使用したものを抽出するといった形で行われる。また、商品Ｇの画像が含まれているものや、スライドのタグ情報として商品Ｇが含まれているものを抽出してもよい。この際、対象としては同一文書内に限らず、保持している全ての電子文書内のスライドを対象とする。なおここで、対象として抽出されるスライドは複数のスライドを集めたものでもよい。また、一つのスライド中に複数のコンテンツが含まれている場合には、それらのコンテンツ一つ一つが対象となる。このようにして抽出された、スライド７０３の変更候補を木構造７０４として表わす。次に、ここまでの説明の流れを系列データとみなし、このデータから変更候補の対象とされた各スライドに対しての遷移確率（頻度）を算出する。これは、予めスライドの使用履歴等から系列パターンマイニングにより、現在説明している商品Ｃの説明スライド７０２の次に各遷移パターンの頻出度合い適正さ）を導き出しておき、これを使用する。木構造７０４の各候補の近傍に描かれた数字がその確率（頻度）である。その結果、一番確率（頻度）が高いものに遷移する。ここでは木構造７０４の場合には、商品Ｇの概要を説明するスライド７０５への遷移確率（頻度）が一番高いため、このスライド７０５が選ばれる。なお、遷移確率順に遷移候補スライドを表示し、その中からユーザに選ばせる、という形を取ってもよい。また、遷移確率の閾値を定めておき、その閾値以上になる候補がない場合にはエラーを返し処理を行わないといったことを行ってもよい。
【００２１】
マイニングした結果、次に表示されるスライドが当初とは変更され、そのスライドがステップＳ６０５においてテーブル１０３上に表示される。表示完了後にはステップＳ６０６に移り、操作が終了したかどうかを判断する。この判断は、終了命令を装置に入力する、テーブルから実物体を取り除く、装置の電源を切る等様々な方法が考えられる。ここで終了したと判断された場合には処理を終了し、終了していないと判断された場合にはステップＳ６０１に戻る。また、ステップＳ６０２において新たな物体を検知しなかった場合にもこのステップに移り、操作終了の判断を行う。
【００２２】
この際、実際に電子文書データ内で行われるデータ処理方法の一例を示したものが図８である。具体的には、スライドの並び替え８０１、追加８０２、削除８０３、入れ替え８０４が行われる。それぞれの処理について詳細に説明する。
【００２３】
並び替え８０１は、現状使用しているシナリオの中に所望のスライドが含まれている場合に行われる。例えば図８では、変更前に５番目に表示されることになっていたスライド８０５を３番目に優先して並び変えている。図７に示す例の場合、現在使用しているシナリオに商品Ｇの概要ページが含まれており、その後は元のスライドに戻るという場合に、この並び替え処理が行われる。
【００２４】
次に追加８０２は、現状使用しているシナリオの中に所望のスライドがない場合に、他のシナリオから対応スライドを抽出し、それを追加するという場合に行われる。例えば図８では、元々のシナリオになかったスライドＡ８０６を表示順序３番目に追加している。スライドＡ８０６を優先したことに伴い、元々３番目以降あったスライドの表示順は１つずつ後ろにずれている。図７に示す例の場合、現在使用していない別のシナリオ内に商品Ｇの概要ページが含まれており、その後は元のスライドに戻るという場合に、この追加処理が行われる。
【００２５】
また削除８０３は、現状使用しているシナリオの中に所望のスライドが含まれており、かつそのシナリオ中の他のスライドには触れる必要がない場合に行うこととなる。例えば図８では、元々のシナリオにおいて３番目に表示されることになっていたスライド８０７が削除されている。他のスライドを優先している。図７の例の場合、使用しているシナリオ内に商品Ｇの概要ページが含まれており、かつそれまでの操作履歴等から商品Ｇ以外には興味がないと判断した場合に、この削除処理が行われる。この興味がないかどうかの判断は、先述の系列パターンマイニングによる遷移パターンの遷移確率（頻度）の算出を応用する形で行う。例えばこの場合、２番目に表示したスライドまでの操作履歴から３番目のスライドへの遷移確率（頻度）を算出し、確率（頻度）が閾値以下であるかどうかで行う。またこの際に用いる操作履歴は、各種操作を行う度に入力装置４０２から記憶装置４０５へと送られ、保存される。この操作履歴情報は、閲覧方法変更要求部５０３からの変更要求、または、実物体認識部５０２が物体を検知したことに応じて処理を行うＣＰＵ４０１へと呼び出される。この削除８０３の別の例として、シナリオを変更した結果、元のスライドに戻る、つまり並び替えのパターンで処理するとスライドを説明する時間が足りなくなる場合にこの削除処理が行われる。これは、複数のシナリオ作成結果の一つとして用意しておき、時間が足りなくなるとユーザが判断した場合選択する、あるいはタイマーがセットされておりその残り時間を条件にして処理を行うといった使い方が考えられる。
【００２６】
最後に入れ替え８０４は、現状使用しているシナリオの中に所望のスライドがなく、かつ現状のシナリオ中の少なくとも一部のスライドに触れる必要がない場合に行われる。具体的には、他のシナリオから対応スライドを抽出し、それを元のシナリオのスライドと入れ替えるという処理を行うこととなる。例えば図８では、元々のシナリオにおいて３番目に表示されるスライド８０８と４番目に表示されるスライド８０９が、それぞれ優先するスライドＡ８１０とスライドＢ８１１に入れ替わっている。図７の例の場合、現在使用していない別のシナリオ内に商品Ｇの概要ページが含まれており、その後は元のスライドに戻らないという場合に、上記のような処理が行われる。
【００２７】
このようにして元データとは異なるシナリオとして、商品Ｃ概要までは遷移前と同じで、その後を変化させたシナリオ７０６が作成される。遷移後については、元々遷移したスライドの後ろに並んでいたスライドに移ってもよいし、上記の処理と同様に系列パターンマイニングにより次の遷移スライドを選択してもよい。また、本実施形態では撮像装置と出力装置が一体となったカメラ付きプロジェクタを利用しているが、必ずしも一体になったものである必要はない。例えば、撮像装置としてデジタルカメラ、出力装置としてディスプレイを別に用意してもかまわない。
【００２８】
本実施形態によれば、撮像装置４０４によって取得された実物体とコンテンツの閲覧履歴をキーにして、コンテンツの新しい表示シナリオを作成することができる。これにより、予め使用していたシナリオにはない、もしくは切り替えに手間のかかるコンテンツを容易に選択することができるようになる。
【００２９】
（第２の実施形態）
本実施形態は、実物体をキーにして作成されたシナリオ中のコンテンツを、当該実物体の近傍に表示させるものである。
【００３０】
なお、以下の第２の実施形態の説明では、第１の実施形態と同様の内容については説明を省略し、第１の実施形態の内容と異なる部分について説明を行う。尚、本実施形態に係る情報処理装置の構成は、実施形態１と同じである。
【００３１】
第１の実施形態と同じく、図１のシーンを考える。このシーンにおいて、第１の実施形態と同様に実物体が置かれたことをキーとして新しいシナリオの作成を行う。このシナリオに含まれるスライドを表示する際に、実物体と関連していることを強調できると、実物体から新しいシナリオが作られたことが分かりやすくなる。そこで本実施形態を適用することにより、関連していることを明示することができるようになる。
【００３２】
図９は本実施形態の処理結果を示すものである。本実施形態を適用すると、例えばシーン９０１のように新しいシナリオによって表示されたスライド９０２が、シナリオ作成のキーとなった実物体９０３の近傍に表示されるようになる。また、スライド中に複数のコンテンツが存在する場合には、それらのコンテンツ一つ一つが検索の対象となる。従って、例えばシーン９０４のようにスライド中のコンテンツの一つである文章９０５を表示させ、それをシナリオ作成のキーとなった実物体９０６の近傍に表示させるようにしてもよい。
【００３３】
以上の処理は、以下のようにして行われる。図６のステップＳ６０４において、表示されるスライドを決定したと同時に、その表示位置も閲覧方法決定部５０４を用いて決める。これは、スライドの表示位置を、実物体認識部５０２で認識した実物体の位置を基準にして、その位置に隣接もしくは予め定められた閾値以内の距離の場所に決定するものである。なお、閾値はユーザが手動で決めてもよいし、表示領域や実物体、スライドの大きさを基準にして決めてもよい。また、シナリオが進行し置かれている実物体と関係ないスライドが表示された場合には、実物体の近傍から離れ別の位置、例えば実物体が置かれる前に表示されていた位置に表示するようにしてもよい。
【００３４】
本実施形態によれば、撮像装置４０４によって取得された実物体とコンテンツの閲覧履歴をキーにして作成された新しい表示シナリオ中のコンテンツを、実物体の近傍に表示することができる。これにより、コンテンツと実物体が関連していることを強調して表示することができるようになる。
【００３５】
（第３の実施形態）
本実施形態は、説明中の第１のコンテンツとは異なる第２のコンテンツを、そのコンテンツに関連する実物体の近傍に表示させるものである。
【００３６】
なお、以下の第３の実施形態の説明では、第１、２の実施形態と同様の内容については説明を省略し、第１、２の実施形態の内容と異なる部分について説明を行う。尚、本実施形態に係る情報処理装置の構成は、実施形態１と同じである。
【００３７】
第１の実施形態と同じく、図１のシーンを考える。このシーンにおいて、第１の実施形態と同様に実物体が置かれたことをキーとして新しいシナリオの作成を行う。この際、元々説明に使用していた実物体を参照のために置いておき、その内容に触れながら新しいシナリオを用いた説明を行うことがある。そこで本実施形態を適用することにより、説明中のスライドとは別のスライドを表示しておくことができるようになる。
【００３８】
図１０は本実施形態の処理結果を示すものである。本実施形態を適用すると、例えばシーン１００１のように新しいシナリオによって表示されたスライド１００２を説明している際に、比較をしたい情報が含まれているスライド１００３が関連する実物体Ａ１００４の近傍に表示されるようになる。
【００３９】
以上の処理は、以下のようにして行われる。まず図６のステップＳ６０３において、シナリオ作成のキーとなる実物体Ｄ１００５の他に、元々説明に使用していた実物体Ａ１００４が置かれていることを実物体認識部５０２が認識する。次にステップＳ６０４において、表示されるスライドを決定したと同時に、元々表示していたスライド１００３の表示位置も閲覧方法決定部５０４を用いて決める。これは、スライドの表示位置を、実物体認識部５０２で認識した実物体Ａ１００４の位置を基準にして、その位置に隣接もしくは予め定められた閾値以内の距離の場所に決定するものである。なお、閾値はユーザが手動で決めてもよいし、表示領域や実物体、スライドの大きさを基準にして決めてもよい。また、シナリオが進行し置かれている実物体と関係ないスライドが表示された場合には、実物体の近傍から離れ別の位置、例えば実物体が置かれる前に表示されていた位置に表示するようにしてもよい。この際、スライド１００３はあくまでサブ情報なので、表示の大きさは説明に使用しているスライド１００２よりも小さく表示される。また、元々説明していた実物体が置かれていたら必ず関連スライドを表示するのではなく、例えば、ユーザがキープしておきたいと意思表示したスライドのみを表示しておくといったことを行ってもよい。さらには、表示されるのは関連スライドであればよいので、例えば実物体Ａ１００４の概要や複数の実物体に関連するスライド等、元々のスライドおよびその一部とは異なるものを表示してもよい。
【００４０】
本実施形態によれば、説明中の第１のコンテンツとは異なる第２のコンテンツを、撮像装置４０４によって取得された説明中の第１の実物体とは異なる第２の実物体の近傍に表示することができる。これにより、第２のコンテンツを参照しながら第１のコンテンツを説明することができるようになる。
【００４１】
（第４の実施形態）
本実施形態は、本装置を使用しているシーンで交わされた話の内容や装置の操作内容等から読み取れる、当該シーンの文脈を利用して新たなコンテンツの閲覧順を作成するものである。なお以降の説明において、この文脈や意図のことをコンテキストと呼ぶこととする。
【００４２】
なお、以下の第４の実施形態の説明では、第１〜３の実施形態と同様の内容については説明を省略し、第１〜３の実施形態の内容と異なる部分について説明を行う。尚、本実施形態に係る情報処理装置の構成は、実施形態１と同じである。
【００４３】
図１１は本発明の第４の実施形態を適用すべき課題を有するシーンの例を示す模式図である。概要としては図１と同じく、２人のユーザが対面して商談をしているものとする。この場面において、ユーザ１１０１はユーザ１１０２に対してテーブル１１０３上に置かれた商品Ａ１１０４の説明をしている。またユーザ１１０１は、カメラ付きプロジェクタ１１０５によってテーブル１１０３上に投影されたスライド１１０６を用いて説明を行っている。ここで、ユーザ１１０２より、商品Ａ１１０４とは別の商品Ｄ１１０７について話を聞きたいというリクエストがあった場合を考える。このとき、ユーザ１１０１は予め用意した説明用スライドデータから、商品Ｄ１１０７の説明を行うことのできるスライドを探すことになる。ここで、商談の中ではスライドの閲覧履歴のほかにも話した内容やユーザが指示した場所等複数種類の情報１１０８が生じている。従ってこれらの情報から商談をしている場のコンテキストを、例えばこの図１１のシーンでは「価格交渉」というコンテキスト１１０９を抽出し、新たなシナリオ作成に利用することにより、より的確なシナリオを作成できるようになる。
【００４４】
図１２は本発明の第４の実施形態における処理結果を示す模式図である。ここで電子文書入力部１２０１〜電子文書出力部１２０５は図５の電子文書入力部５０１〜電子文書出力部５０５と同一である。本実施形態では、本装置を使用している場のコンテキストを抽出するためにコンテキスト抽出部１２０６を追加している。これは、本装置を使用している場から得られる各種データから場のコンテキストを抽出するものである。
【００４５】
次に、本実施形態に係る情報処理装置の処理について図１３に示すフローチャートを参照して説明する。なお、このフローチャートに置いてステップＳ１３０１〜ステップＳ１３０３は図６のステップＳ６０１〜ステップＳ６０３と、ステップＳ１３０５〜ステップＳ１３０７はステップＳ６０４〜ステップＳ６０６とそれぞれ同一である。従ってここでは、追加された部分であるステップＳ１３０４および追加の影響を受けるステップＳ１３０５について説明する。
【００４６】
ステップＳ１３０４では、コンテキスト抽出部１２０６を用いて本装置を使用している場のコンテキストを抽出する。この抽出されたコンテキストと、認識された実物体とこれまでに閲覧されたスライドの閲覧履歴をキーとしてステップＳ１３０５において表示すべきスライドの推測、つまり表示の制御をおこなう。制御自体はステップＳ６０４と同じく、キーとした情報を利用した系列パターンマイニングを行うことで実現する。この処理結果の模式図を示したものが図１４である。図１１のシーンにおいては、価格交渉がコンテキストとして抽出されているので、例えば商品Ａ１１０４と商品Ｄ１１０７の価格比較表が載っているスライド１４０１を含むシナリオ１４０２が作成される。
【００４７】
本実施形態によれば、撮像装置４０４によって取得された実物体とコンテンツの閲覧履歴、及び本装置を使用している場のコンテキストをキーにして、コンテンツの新しい表示シナリオを作成することができる。これにより、予め使用していたシナリオにはない、もしくは切り替えに手間のかかるコンテンツを容易に選択することができるようになる。
【００４８】
（第５の実施形態）
本実施形態は、複数の実物体をキーとして新たなコンテンツの閲覧順を作成するものである。
【００４９】
なお、以下の第５の実施形態の説明では、第１〜４の実施形態と同様の内容については説明を省略し、第１〜４の実施形態の内容と異なる部分について説明を行う。
【００５０】
図１５は本発明の第４の実施形態を適用すべき課題を有するシーンの例を示す模式図である。概要としては図１、１１と同じく、２人のユーザが対面して商談をしているものとする。この場面において、ユーザ１５０２が、商品Ａ１５０３とは別の商品Ｅ１５０４と商品Ｆ１５０５の２つの実物体をテーブル面に置き、商品Ｅ１５０４、商品Ｆ１５０５について話を聞きたいというリクエストがあった場合を考える。このとき、ユーザ１５０１は予め用意した説明用スライドデータから、商品Ｅ１５０４と商品Ｆ１５０５の説明を行うことのできるスライドを探すことになる。
【００５１】
基本的な処理フロー及び処理内容としては第１の実施形態、コンテキストを利用する場合には第４の実施形態と同じである。ただし、本実施形態では複数の実物体が同時に置かれるため、実物体認識部５０２で認識される実物体が複数になる。同時に、閲覧方法決定部５０４で使用する実物体の情報も複数になる。これにより作成される新しいシナリオの模式図を示したものが図１６である。ここでは、商品Ｅの説明スライド１６０２の次に商品Ｆの説明スライド１６０３を表示させるシナリオ１６０１が生成されている。
【００５２】
本実施形態によれば、撮像装置４０４によって取得された複数の実物体とコンテンツの閲覧履歴をキーにして、コンテンツの新しい表示シナリオを作成することができる。これにより、予め使用していたシナリオにはない、もしくは切り替えに手間のかかるコンテンツを容易に選択することができるようになる。
【００５３】
（その他の実施形態）
その他の実施形態として、以下のものが挙げられる。
【００５４】
ここまでは第１〜５の実施形態をそれぞれ独立に扱う形で説明したが、これらを組み合わせて実施することも可能である。例えば、第４の実施形態によりコンテキストを利用して新たなシナリオを作成し、そのシナリオ中のコンテンツを第２の実施形態を実施することにより実物体の近傍に表示することもできる。
【００５５】
以上により、ユーザの邪魔にならないタイミングで事象の進行状況に応じたより適切な提示情報を選択し提示することができる。
【００５６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５７】
４０１  ＣＰＵ
４０２  入力装置
４０３  出力装置
４０４  撮像装置
４０５  記憶装置
４０６  ＲＡＭ
４０７  ＲＯＭ
４０８  ＢＵＳ
５０１  電子文書入力部
５０２  実物体認識部
５０３  閲覧方法変更要求部
５０４  閲覧方法決定部
５０５  電子文書出力部
【図１】
2016152022.tif 000003
【図２】
2016152022.tif 000004
【図３】
2016152022.tif 000005
【図４】
2016152022.tif 000006
【図５】
2016152022.tif 000007
【図６】
2016152022.tif 000008
【図８】
2016152022.tif 000009
【図９】
2016152022.tif 000010
【図１０】
2016152022.tif 000011
【図１１】
2016152022.tif 000012
【図１２】
2016152022.tif 000013
【図１３】
2016152022.tif 000014
【図１４】
2016152022.tif 000015
【図１５】
2016152022.tif 000016
【図１６】
2016152022.tif 000017
【図７】
2016152022.tif 000018