(57)【要約】【課題】会議で利用した資料を簡便に探し出させる。【解決手段】会議中に、スライドの表示の切替に応じてそのスライドの表示開始時点のノートの撮影画像と、表示切替時点のノートの撮影画像との差分を抽出し、その差分の領域画像データと表示切替時点の撮影画像とを含む差分情報を生成する差分抽出部１３と、表示制御部１５から送られてきた表示が切り替えられたスライドのスライドＩＤと差分情報とを関連付けて関連付け情報記憶部２２に登録する関連付け部１６と、を有する。また、会議後にノートの撮影画像と差分情報とを照合して撮影画像に含まれている領域画像データの差分情報を特定し、関連付けされたスライドＩＤを特定する照合部３３と、特定されたスライドＩＤから特定されるスライドを会議資料記憶部２１から取り出して表示部３５に表示させる会議資料取得部３４と、を有する。【選択図】図３
2010176603.tif 000002
【特許請求の範囲】
【請求項１】
会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する撮影手段と、
会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段と、
前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段と、
前記切替検知手段により検知された表示切替時点において前記撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段と、
前記差分情報と前記会議資料画像の特定情報とを関連付けして関連付け情報記憶手段に登録する登録手段と、
を有することを特徴とする会議資料検索支援装置。
【請求項２】
会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する撮影手段と、
会議中に表示された会議資料画像の特定情報と関連付けして関連付け情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段と、
特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段と、
を有することを特徴とする会議資料検索装置。
【請求項３】
請求項１記載の会議資料検索支援装置において、
差分情報には、前記切替時撮影画像と、当該切替時撮影画像と前記取込開始時撮影画像との差異部分を含む領域を特定する領域情報とが対応付けして含まれることを特徴とする会議資料検索支援装置。
【請求項４】
請求項１記載の会議資料検索支援装置において、
前記メモ媒体がページめくりされたことを検出するページめくり検出手段を有し、
前記取得手段は、前記ページめくり検出手段によりページめくりが検出された時点に表示されている会議資料画像の特定情報を取得し、
前記差分情報生成手段は、前記ページめくり検出手段によるページめくり検出時点において表示されている会議資料画像の表示開始時点において撮影された前記メモ媒体の撮影画像と、ページめくり検出時点において撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を生成することを特徴とする会議資料検索支援装置。
【請求項５】
請求項２記載の会議資料検索装置において、
前記出力手段は、前記特定手段が前記撮影手段により取得された撮影画像から複数の差分情報を特定した場合、複数の会議資料画像をまとめて出力することを特徴とする会議資料検索装置。
【請求項６】
請求項５記載の会議資料検索装置において、
前記出力手段は、複数の差分情報に基づき取得した複数の会議資料画像それぞれを、前記メモ媒体の撮影画像上における各メモの書込み位置に対応した位置に出力することを特徴とする会議資料検索装置。
【請求項７】
請求項５又は６記載の会議資料検索装置において、
前記出力手段は、複数の差分情報に基づき取得した複数の会議資料画像それぞれを、前記メモ媒体の撮影画像上における各メモの書込み領域に比例した大きさで出力することを特徴とする会議資料検索装置。
【請求項８】
コンピュータを、
会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する撮影手段、
会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段、
前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段、
前記切替検知手段により検知された表示切替時点において前記撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段、
前記差分情報と前記会議資料画像の特定情報とを関連付けして関連付け情報記憶手段に登録する登録手段、
として機能させる会議資料検索支援プログラム。
【請求項９】
コンピュータを、
会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する撮影手段、
会議中に表示された会議資料画像の特定情報と関連付けして対応情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段、
特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段、
として機能させる会議資料検索プログラム。
【請求項１０】
会議資料検索支援装置と、
会議資料検索装置と、
関連付け情報記憶手段と、
を有し、
前記会議資料検索支援装置は、
会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する第１の撮影手段と、
会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段と、
前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段と、
前記切替検知手段により検知された表示切替時点において前記第１の撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記第１の撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段と、
前記差分情報と前記会議資料画像の特定情報とを関連付けして前記関連付け情報記憶手段に登録する登録手段と、
を有し、
前記会議資料検索装置は、
会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する第２の撮影手段と、
会議中に表示された会議資料画像の特定情報と関連付けして前記関連付け情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記第２の撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記第２の撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記第２の撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段と、
特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段と、
を有することを特徴とする会議支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議資料検索装置、会議資料検索支援装置、会議資料検索支援プログラム、会議資料検索プログラム及び会議支援システムに関する。
【背景技術】
【０００２】
近年の会議では、セキュリティやエコの観点から紙資料の配布を行わずに、プロジェクタや電子黒板などに資料を表示する場合が少なくない。会議で利用した資料を文書共有サーバ等に保存することによって、参加者が後から自由に閲覧できるようにしておく場合がある。従来では、会議時に作成、表示された画像に会議日時や開催者、参加者を特定情報として対応付けることにより検索性を向上させる技術が提案されている（特許文献１）。
【０００３】
【特許文献１】特開２０００−１６５５７７号公報
【特許文献２】特開２００２−０３２３９７号公報
【特許文献３】特開平１１−２７２６７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、会議の参加者が、開催日時や参加者等閲覧したい資料を特定するための項目（検索キーワード）を必ずしも思い出せるとは限らない。また、定例会議などでは、参加者や開催曜日や日時が毎回同じであることが多いため、これらの情報が目的の資料を見つけ出すために有効な情報となるとは限らない。
【０００５】
本発明は、会議で利用した資料を簡便に探し出せることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る会議資料検索支援装置は、会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する撮影手段と、会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段と、前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段と、前記切替検知手段により検知された表示切替時点において前記撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段と、前記差分情報と前記会議資料画像の特定情報とを関連付けして関連付け情報記憶手段に登録する登録手段と、を有することを特徴とする。
【０００７】
本発明に係る会議資料検索装置は、会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する撮影手段と、会議中に表示された会議資料画像の特定情報と関連付けして関連付け情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段と、特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段と、を有することを特徴とする。
【０００８】
また、差分情報には、前記切替時撮影画像と、当該切替時撮影画像と前記取込開始時撮影画像との差異部分を含む領域を特定する領域情報とが対応付けして含まれることを特徴とする。
【０００９】
また、前記メモ媒体がページめくりされたことを検出するページめくり検出手段を有し、前記取得手段は、前記ページめくり検出手段によりページめくりが検出された時点に表示されている会議資料画像の特定情報を取得し、前記差分情報生成手段は、前記ページめくり検出手段によるページめくり検出時点において表示されている会議資料画像の表示開始時点において撮影された前記メモ媒体の撮影画像と、ページめくり検出時点において撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を生成することを特徴とする。
【００１０】
また、前記出力手段は、前記特定手段が前記撮影手段により取得された撮影画像から複数の差分情報を特定した場合、複数の会議資料画像をまとめて出力することを特徴とする。
【００１１】
また、前記出力手段は、複数の差分情報に基づき取得した複数の会議資料画像それぞれを、前記メモ媒体の撮影画像上における各メモの書込み位置に対応した位置に出力することを特徴とする。
【００１２】
また、前記出力手段は、複数の差分情報に基づき取得した複数の会議資料画像それぞれを、前記メモ媒体の撮影画像上における各メモの書込み領域に比例した大きさで出力することを特徴とする。
【００１３】
本発明に係る会議資料検索支援プログラムは、コンピュータを、会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する撮影手段、会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段、前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段、前記切替検知手段により検知された表示切替時点において前記撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段、前記差分情報と前記会議資料画像の特定情報とを関連付けして関連付け情報記憶手段に登録する登録手段、として機能させる。
【００１４】
本発明に係る会議資料検索プログラムは、コンピュータを、会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する撮影手段、会議中に表示された会議資料画像の特定情報と関連付けして対応情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段、特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段、として機能させる。
【００１５】
本発明に係る会議支援システムは、会議資料検索支援装置と、会議資料検索装置と、関連付け情報記憶手段と、を有し、前記会議資料検索支援装置は、会議中に会議の参加者によりメモが書き込まれるメモ媒体を常時撮影する第１の撮影手段と、会議中に表示された会議資料画像の表示が切り替わったことを検知する切替検知手段と、前記切替検知手段により検知された表示切替時点に表示が終了した会議資料画像の特定情報を取得する取得手段と、前記切替検知手段により検知された表示切替時点において前記第１の撮影手段により撮影された前記メモ媒体の切替時撮影画像と、その表示切替時点に表示が終了した会議資料画像の表示開始時点において前記第１の撮影手段により撮影された前記メモ媒体の取込開始時撮影画像との差異部分を特定する差分情報を生成する差分情報生成手段と、前記差分情報と前記会議資料画像の特定情報とを関連付けして前記関連付け情報記憶手段に登録する登録手段と、を有し、前記会議資料検索装置は、会議資料画像取出指示に応じて会議の参加者により会議でメモが書き込まれたメモ媒体を撮影する第２の撮影手段と、会議中に表示された会議資料画像の特定情報と関連付けして前記関連付け情報記憶手段に記憶された差分情報であって当該会議資料画像の表示開始時点において前記第２の撮影手段により撮影された前記メモ媒体の撮影画像と当該会議資料画像の表示終了時点において前記第２の撮影手段により撮影された前記メモ媒体の撮影画像との差異部分を特定する差分情報を、前記第２の撮影手段から取得した撮影画像と照合することにより、当該撮影画像に含まれている差分情報を特定する特定手段と、特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得し出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１６】
請求項１，８記載の発明によれば、会議の参加者によりメモ媒体にメモが書き込まれたときに表示されていた会議資料を容易に探し出させることができる。
【００１７】
請求項２，９，１０記載の発明によれば、撮影されたメモがメモ媒体に書き込まれたときに表示されていた会議資料を閲覧させることができる。
【００１８】
請求項３記載の発明によれば、ある会議資料画像が表示されていた間に書き込まれたメモの書込み領域及びその画像を特定することができる。
【００１９】
請求項４記載の発明によれば、メモ媒体がページめくりされた場合でもメモが書き込まれたときに表示されていた会議資料を探し出させることができる。
【００２０】
請求項５記載の発明によれば、会議資料画像取出指示に応じて撮影されたメモ媒体に複数の会議資料が対応付けられていた場合にも対応することができる。
【００２１】
請求項６記載の発明によれば、メモ媒体上のどのメモに対応した会議資料であるのかを容易に把握することができる。
【００２２】
請求項７記載の発明によれば、メモの書込量に応じた大きさで会議資料を出力することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
【００２４】
図１は、本実施の形態における会議支援システムを示した全体構成の概略図である。図１には、会議室に設置された会議端末装置１０と、コンピュータ室２に設置されたデータベース（ＤＢ）サーバ２０と、オフィス３に設置されたユーザ端末装置３０とが示されている。会議端末装置１０は、会議室１での会議の進行、スケジュール管理等に用いられるコンピュータであり、本発明の会議資料検索支援装置に相当する。会議端末装置１０に接続された表示板４には、会議室１にいる会議の参加者に共有して会議資料の画像データが表示される。また、カメラ５は、各参加者が個々にメモを書き込むために持ち込んだノート９を常時撮影する撮影手段である。なお、本実施の形態では、参加者によりメモが書き込まれるメモ媒体としてノート９を用いる場合を例にする。データベース（ＤＢ）サーバ２０には、追って説明するように、会議資料の電子データや本実施の形態において特徴的な関連付け情報が会議端末装置１０及びユーザ端末装置３０からアクセス可能に格納される。
【００２５】
ユーザ端末装置３０は、会議の参加者により利用されるコンピュータであり、本発明の会議資料検索装置に相当する。ユーザ端末装置３０には、会議資料画像が表示されるディスプレイ７と、当該参加者が会議に持ち込んだノート９を撮影するカメラ８とが接続されている。
【００２６】
図２は、本実施の形態における会議端末装置１０を形成するコンピュータのハードウェア構成図である。本実施の形態において会議端末装置１０を形成するコンピュータの基本構成は、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、コンピュータは、図２に示したようにＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、ハードディスクドライブ（ＨＤＤ）４４を接続したＨＤＤコントローラ４５、入力手段として設けられたマウス４６とキーボード４７、及び表示板４に相当するディスプレイ４８をそれぞれ接続する入出力コントローラ５０、通信手段として設けられたネットワークコントローラ５１を内部バス５２に接続して構成される。そして、本実施の形態では、図１に示したカメラ５に相当するカメラ４９が入出力コントローラ５０に更に接続されている。
【００２７】
本実施の形態におけるユーザ端末装置３０も、コンピュータであることから、そのハードウェア構成は、図２と同じように図示することができる。データベースサーバ２０も同様であるが、カメラ４９は搭載する必要はない。
【００２８】
図３は、本実施の形態における会議支援システムを示したブロック構成図である。なお、図３においてブロック間を結ぶ矢印のうち実線はデータの流れを、波線は制御の流れを、それぞれ示している。会議端末装置１０は、撮影部１１、画像取込部１２、差分抽出部１３、ページめくり検出部１４、表示制御部１５、関連付け部１６及び表示部１７を有している。撮影部１１は、カメラ５との協調動作により実現され、会議中に会議の参加者によりメモが書き込まれるノート９を常時撮影する。画像取込部１２は、カメラ５から送られてくる撮影画像を連続して取り込む。つまり、撮影画像を動画像として取得する。差分抽出部１３は、表示板４に表示されている会議資料画像が切り替わった時点で、その表示切替時点においてカメラ５により撮影されたノート９の撮像データ（切替時撮影画像）と、その表示切替時点に表示が終了した会議資料画像の表示開始時点においてカメラ５により撮影されたノート９の撮像データ（取込開始時撮影画像）との差異部分を特定する差分情報を生成する。また、差分抽出部１３は、ページめくりが検知された時点でも差分情報を生成する。ページめくり検出部１４は、画像取込部１２から送られてくる動画像を解析することでノート９がページめくりされたことを検出する。表示制御部１５は、表示板４に表示されている会議資料画像の表示制御を行う。関連付け部１６は、会議資料画像の表示が切り替わったときに差分抽出部１３が生成した差分情報と、当該会議資料画像の特定情報とを関連付ける。表示部１７は、表示制御部１５による制御のもと表示板４に会議資料画像を表示する。
【００２９】
会議端末装置１０における各構成要素１１〜１７は、会議端末装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ４１で動作するプログラムとの協調動作により実現される。
【００３０】
データベースサーバ２０は、会議資料記憶部２１及び関連付け情報記憶部２２を有している。会議資料記憶部２１には、会議において利用される会議資料の画像が記憶される。関連付け情報記憶部２２には、関連付け部１６により関連付けられた差分情報及び会議資料画像の特定情報を関連付け情報として記憶する。会議資料記憶部２１及び関連付け情報記憶部２２は、データベースサーバ２０に搭載されたＨＤＤ４４にて実現される。なお、厳密には、データベースサーバ２０のＣＰＵ４１にて実行されるソフトウェアが各装置１０，３０からのアクセス要求に応じてデータ送受信及びデータの読み書きを行うが、説明を簡略にするため省略している。
【００３１】
ユーザ端末装置３０は、撮影部３１、画像取得部３２、照合部３３、会議資料取得部３４及び表示部３５を有している。撮影部３１は、カメラ８との協調動作により実現され、会議資料画像取出指示に応じてノート９に書き込まれたメモを撮影する。画像取得部３２は、撮影部３１により撮影されたノート９の画像を取得する。この場合、静止画像を取得する。照合部３３は、関連付け情報記憶部２２に記憶されている差分情報と撮影画像とを照合することにより、当該撮影画像に含まれている差分情報を特定する。会議資料取得部３４は、特定された差分情報に関連付けられている会議資料画像の特定情報に基づき会議資料画像を取得する。表示部３５は、その取得された会議資料画像をディスプレイ７に表示する。
【００３２】
ユーザ端末装置３０における各構成要素３１〜３５は、ユーザ端末装置３０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ４１で動作するプログラムとの協調動作により実現される。
【００３３】
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがインストールプログラムを順次実行することで各種処理が実現される。
【００３４】
次に、本実施の形態における動作について説明する。まず、会議中において動作する会議端末装置１０における処理について図４に示したフローチャートを用いて説明する。
【００３５】
会議中、表示制御部１５は、会議進行者等の操作指示に応じて指定された会議資料を会議資料記憶部２１から取り出し表示部１７に表示させる。会議参加者は、表示板４の表示内容を参照しながら何らかのメモを会議室１に持ち込んだノート９に書き込む。撮影部１１は、このノート９を常時撮影している。そして、画像取込部１２は、撮影部１１により撮影された撮影画像を取り込み続ける。なお、ここでは、説明の便宜上、１人の会議参加者のノート９に着目して説明する。また、関連付け部１６は、表示制御部１５からの会議資料の切替えまたはページめくり検出部１４からのページめくりというイベントの発生の通知が送られてくるのを待つ。ここでは、まず会議資料画像の表示の切替えが発生した場合から説明する。
【００３６】
表示制御部１５は、会議進行者からの表示切替指示に応じて、指定された会議資料の画像データを会議資料記憶部２１から取り出し表示部１７に表示させることで、表示板４に表示する会議資料の画像を切り替える。このとき、表示制御部１５は、表示を切り替えた旨及び表示切替指示により表示が終了する会議資料画像の識別情報を関連付け部１６に送る。なお、会議資料は、複数のページで構成されている場合を想定して、会議資料を構成する各ページの画像データを「スライド」と称することにする。つまり、表示制御部１５は、表示切替指示により表示が終了するスライドの識別情報（スライドＩＤ）を表示切替えの旨と共に関連付け部１６に送る。なお、会議資料の切替えの場合、スライドＩＤの通知自体を、表示切替えの旨としてもよい。
【００３７】
関連付け部１６は、表示制御部１５からの通知により表示板４の表示内容が切り替わったことを検知するとともに（ステップ１０１）、表示が終了した会議資料を特定しうるスライドＩＤを取得すると（ステップ１０２）、差分抽出指示を差分抽出部１３に通知する。差分抽出部１３は、この通知を受けると、次のようにして差分を抽出し差分情報を生成する。この差分情報の生成について図５Ａ〜図５Ｃを用いて説明する。
【００３８】
まず、差分抽出部１３は、図５Ｂに例示したように関連付け部１６により検知された表示切替時点において撮影部１１により撮影されたノート９の静止画像データ（切替時撮影画像）と、図５Ａに例示したようにその表示切替時点において表示が終了したスライドの表示開始時点においてカメラ５により撮影されたノート９の静止画像データ（取込開始時撮影画像）との差異部分を抽出する。なお、差分抽出部１３は、関連付け部１６からの通知を受けた時点を表示切替時点として処理する。あるいは、関連付け部１６が差分抽出部１３への通知に表示制御部１５からの切替通知を受けた時刻を含めるようにして表示切替時点を知らせるようにしてもよい。取込開始時撮影画像は、直前のスライドの表示が終了した時点（又はその時点の直後、また１枚目のスライドの場合はスライドの表示を開始した時点）に撮影された撮像データなので、取り込んだ撮像データ（動画像）の中からその時点において取り込んだ撮像データ（静止画像）を特定して、取込開始時撮影画像としてマークしておけばよい。そして、図５Ｃに例示したように切替時撮影画像上において、抽出した差異部分を含む矩形領域６１を特定し、その矩形領域の各角の座標データを求める。そして、差分抽出部１３は、切替時撮影画像及び矩形領域６１の座標データを含む差分情報を生成すると（ステップ１０３）、これを関連付け部１６へ送る。以上の処理により生成される差分情報は、表示切替対象となったスライドが表示されている間に、会議参加者によって書き込まれたメモの記入範囲を示す情報となる。
【００３９】
差分抽出部１３から差分情報が送られてくると、関連付け部１６は、この差分情報と表示制御部１５から受け取ったスライドＩＤとを関連付けることで関連付け情報を生成して関連付け情報記憶部２２に登録する（ステップ１０４）。なお、本実施の形態では、差分情報を差分抽出部１３が生成するようにしたが、関連付け部１６が撮像データを画像取込部１２又は図示しない撮像データの保持手段から取り込むように構成した場合、関連付け部１６が差分情報を生成するよう構成してもよい。
【００４０】
図６は、本実施の形態における関連付け情報記憶部２２に記録される関連付け情報のデータ構成例を示した図である。関連付け情報に含まれる差分情報は、切替時撮影画像と、当該画像において当該スライドが表示されている間に書き込まれた矩形領域６１を特定するための座標データとにより構成される。なお、本実施の形態では、切替時撮影画像そのものを関連付け情報記憶部２２に蓄積するようにしたが、切替時撮影画像を別手段にて保持し、差分情報には、切替時撮影画像の格納先情報を含めるように構成してもよい。また、スライドＩＤは、当該スライドが含まれるファイル名とそのファイルにおけるページ番号とにより構成される。なお、各スライドが１ページのファイルのみで構成されていれば、ページ番号の情報は不要となる。
【００４１】
続いて、ノート９のページめくりが発生した場合について説明する。
【００４２】
ページめくり検出部１４は、画像取込部１２から送られてくる動画像を解析することでノート９がページめくりされたことを検出すると、その旨を関連付け部１６に通知する。ページがめくられたことの検出は、例えば各ページにマーカを付加しておき、このマーカが撮像データから確認できなくなった場合にページめくりがされていると認識する。あるいは、各ページにページ番号を含むデータコードを付加しておき、撮像データに含まれるデータコードのページ番号の変化によりページめくりがされたと認識するようにしてもよい。あるいは、会議参加者にページめくりをした旨を示す操作を入力させてもよい。
【００４３】
関連付け部１６は、ページめくり検出部１４からの通知によりノート９のページがめくられたことを検知すると（ステップ１０１）、関連付け部１６は、差分抽出指示を差分抽出部１３に通知する。また、これと同時に、関連付け部１６は、現時点で表示されている会議資料のスライドＩＤの通知指示を表示制御部１５に送る。この指示に応じて表示制御部１５から送られてきたスライドＩＤを取得する（ステップ１０２）。
【００４４】
差分抽出部１３は、関連付け部１６からの差分抽出指示を受けると、ページめくり検出時点において撮影部１１により撮影されたノート９の撮像データ（ページめくり時撮影画像）と、そのページめくり検出時点において表示されているスライドの表示開始時点においてカメラ５により撮影されたノート９の撮像データ（取込開始時撮影画像）との差異部分を抽出する。各ノート９の撮像データは、上記の通り静止画像データである。なお、差分抽出部１３は、関連付け部１６からの通知を受けた時点をページめくり検出時点として処理する。あるいは、関連付け部１６が差分抽出部１３への通知にページめくり検出部１４からの通知を受けた時刻を含めるようにしてページめくり検出時点を知らせるようにしてもよい。取込開始時撮影画像は、上記の通りページめくり検出時点において表示されているスライドの表示開始時点において撮影されたノート９の撮影画像である。換言すると、直前のスライドの表示が終了した時点（又はその時点の直後）に撮影された撮像データなので、取り込んだ撮像データ（動画像）の中からその時点において取り込んだ撮像データ（静止画像）を取込開始時撮影画像としてマークしておけばよい。
【００４５】
ところで、ページめくりは、ページが実際にめくられたことにより検出されるので、ページがめくられた後の撮像データからは、めくられる前のページを撮影できない。よって、ページめくり検出時点における撮像データというのは、会議参加者によるページめくりという行為が完了した時点ではなく、その行為が開始される直前の撮像データである。従って、差分抽出部１３は、実際にはページめくりが検出されたときに、画像取込部１２が取り込んだ動画像を、ページめくりの行為が開始される時点の撮像データまでさかのぼることによって差分抽出に用いる撮像データ（ページめくり時撮影画像）を抽出する必要がある。
【００４６】
このようにして、図５Ａ及び図５Ｂに相当する取込開始時撮影画像及びページめくり時撮影画像を動画像の中から抽出すると、差分抽出部１３は、図５Ｃに例示したようにページめくり時撮影画像上において、抽出した差異部分を含む矩形領域６１を特定し、その矩形領域の各角の座標データを求める。そして、差分抽出部１３は、ページめくり時撮影画像及び矩形領域６１の座標データを含む差分情報を生成すると（ステップ１０３）、これを関連付け部１６へ送る。この後は、前述したスライドの表示切替え時と同様に、関連付け部１６は、この差分情報と表示制御部１５から受け取ったスライドＩＤとを関連付けることで関連付け情報を生成して関連付け情報記憶部２２に登録する（ステップ１０４）。
【００４７】
次に、会議の参加者が会議終了後にその会議において用いられた会議資料を閲覧したい場合に行われる資料検索処理について図７に示したフローチャートを用いて説明する。
【００４８】
会議の参加者がノート９に書き込んだメモを参照しているときにそのメモに対応するスライドを閲覧したいとする。このとき、会議参加者は、そのスライドの表示中にメモを書き込んだページを開いて、所定の会議資料画像取出指示を行うことでカメラ８に撮影させる。なお、ノート９は、通常、見開き２ページの状態で使用するので、撮影画像は、図８のようになる。図８には、見開きの２ページに４枚のスライドに対するメモが書き込まれており、そのメモは、各スライドに対応した４つの領域６２〜６５に分類された例が示されている。
【００４９】
会議参加者の会議資料画像取出指示に応じて、画像取得部３２が撮影部１１により撮影された撮像データを取得すると（ステップ１１１）、照合部３３は、関連付け情報記憶部２２から順番に差分情報を読み出し、その読み出した差分情報に含まれる撮影画像の領域データにより特定される領域画像データと、撮影画像とを照合する。そして、領域画像データが撮影画像に含まれていれば、より正確には、領域画像データが撮影画像の当該領域の画像データと一致すれば、差分情報から特定される画像データ、すなわち、例えば図５Ｃにおける矩形領域６１に相当する画像データが撮影画像に含まれていると判断できる。これにより、照合部３３は、撮影画像に含まれている領域画像データの差分情報を特定する（ステップ１１２）。照合部３３は、この照合処理を全ての差分情報に対し繰り返し行うことで、領域６２〜６５の各撮影画像と一致する領域画像データの差分情報を特定する。
【００５０】
このようにして差分情報を特定すると、照合部３３は、その差分情報に対応付けされたスライドＩＤを関連付け情報記憶部２２から読み出し取得する（ステップ１１３）。そして、取得したスライドＩＤを会議資料取得部３４に送る。なお、図８の例に従うと、各領域６２〜６５に対応した４つのスライドＩＤが会議資料取得部３４に送られることになる。
【００５１】
会議資料取得部３４は、照合部３３からスライドＩＤを受け取ると、各スライドＩＤから特定されるスライドを会議資料記憶部２１から取り出し、表示部３５に表示させる（ステップ３５）。以上の処理によりディスプレイ７に表示された会議資料表示画面の例を図９に示す。
【００５２】
図９に例示したように、メモが書き込まれた各領域６２〜６５に対応した位置に、対応するスライドが表示される。特に、本実施の形態の場合、各領域６２〜６５の大きさに比例させて、表示するスライドの大きさを調整する。本実施の形態では、このように複数のスライドをまとめて一画面に表示する。もちろん、１枚のスライドを順番に切り替えながら表示するようにしてもよい。
【００５３】
以上の説明では、見開いた２ページ分全体に書き込まれたメモに対応する４枚のスライドが表示されることになるが、例えば、会議参加者は、図８において領域６２のメモに対応したスライドのみを閲覧したいとする。この場合、会議参加者は、領域６３〜６５を手で覆うなどしてから会議資料画像取出指示を行う。そうすると、領域６２のメモだけが撮影され、その他の領域６３〜６５のメモは、その全体が撮影されない。領域６２の撮影画像に対応する領域画像データは、差分情報に含まれているので、上記の通り関連付け情報からスライドＩＤを特定することができる。一方、手などで覆われた領域６３〜６５の各撮影画像と一致する領域画像データは、差分情報に存在しない。つまり、領域６３〜６５に対応するスライドＩＤを関連付け情報から取り出すことができない。この結果、領域６２のメモに対応するスライドだけがディスプレイ７に表示されることになる。この表示は、ディスプレイ７の画面全体に表示してもよいし、領域６２の大きさに応じた大きさで表示してもよい。
【００５４】
以上の説明から明らかなように、領域６２全体をカメラ８に撮影させれば、領域６２に書き込まれたメモに対応したスライドを閲覧させることができる。一方、領域６３〜６５の少なくとも一部を覆い隠せば、領域６３〜６５の各撮影画像は、差分情報から得られるいずれの領域画像データとも一致しないので、表示対象とさせないことができる。
【００５５】
本実施の形態では、物理的なノート９への書込みに基づいて該当するスライドを閲覧可能にするので、ノート９にスライドの内容を転記しなくても済むようになる。ただ、このためには、カメラ５，８による撮像データからノート９の画像データを確実に抽出する必要がある。また、複数の会議参加者のノートを同時に撮影するかもしれない。従って、本実施の形態を正しく動作させるには、撮像データからノート９を正しく抽出できるようにする必要がある。このためには、画像解析処理を利用して撮像データの中からノート９の画像を抽出するようにしてもよいし、ノート９の設置台を設けるなど撮像データに含まれるノート９の画像位置を固定するようにしてもよい。あるいは、ノート９にマーカを付加するなどして撮像データの中からノート９の画像が検出しやすくしてもよい。また、会議室１に複数台のカメラ５を設置して、複数の会議参加者に対応できるように構成してもよい。
【００５６】
なお、本実施の形態では、メモ媒体として見開き２ページとなるノートを例にして説明したが、これに限定する必要はない。
【００５７】
また、本実施の形態では、スライドの出力先をディスプレイ７としたが、用紙媒体上に印刷してもよい。
【図面の簡単な説明】
【００５８】
【図１】本実施の形態における会議支援システムを示した全体構成の概略図である。
【図２】本実施の形態における会議端末装置を形成するコンピュータのハードウェア構成図である。
【図３】本実施の形態における会議支援システムを示したブロック構成図である。
【図４】本実施の形態において会議中に実施される処理を示したフローチャートである。
【図５Ａ】本実施の形態においてスライドの表示開始時点において取得された撮影画像の例を示した図である。
【図５Ｂ】本実施の形態においてスライドの表示切替時点において取得された撮影画像の例を示した図である。
【図５Ｃ】図５Ａと図５Ｂに示した各撮影画像の差分を示す領域画像を示した図である。
【図６】本実施の形態における関連付け情報記憶部に記録される関連付け情報のデータ構成例を示した図である。
【図７】本実施の形態において会議終了後に行われる資料検索処理を示したフローチャートである。
【図８】本実施の形態において会議後に撮影されたノートの撮像画像の例を示した図である。
【図９】本実施の形態においてスライドを表示する会議資料表示画面の例を示した図である。
【符号の説明】
【００５９】
１  会議室、２  コンピュータ室、３  オフィス、４  表示板、５，８，４９  カメラ、７，４８  ディスプレイ、１０  会議端末装置、１１，３１  撮影部、１２  画像取込部、１３  差分抽出部、１４  ページめくり検出部、１５  表示制御部、１６  関連付け部、１７，３５  表示部、２０  データベースサーバ、２１  会議資料記憶部、２２  関連付け情報記憶部、３０  ユーザ端末装置、３２  画像取得部、３３  照合部、３４  会議資料取得部、４１  ＣＰＵ、４２  ＲＯＭ、４３  ＲＡＭ、４４  ハードディスクドライブ（ＨＤＤ）、４５  ＨＤＤコントローラ、４６  マウス、４７  キーボード、５０  入出力コントローラ、５１  ネットワークコントローラ、５２  内部バス。
【図１】
2010176603.tif 000003
【図２】
2010176603.tif 000004
【図３】
2010176603.tif 000005
【図４】
2010176603.tif 000006
【図５Ａ】
2010176603.tif 000007
【図５Ｂ】
2010176603.tif 000008
【図５Ｃ】
2010176603.tif 000009
【図６】
2010176603.tif 000010
【図７】
2010176603.tif 000011
【図８】
2010176603.tif 000012
【図９】
2010176603.tif 000013