(57)【要約】【課題】ホワイトボードに書き込まれた事項を解析する。【解決手段】ホワイトボードに対する書込過程を撮影した動画データを入力し（Ｓ１０）、人物の停留時刻の情報を取得する（Ｓ１４）。また、人物非表示データの時間変化に基づいて書き込まれた事項を認識する（Ｓ１８）とともに、その書込時刻を取得する（Ｓ２０）。そして、停留時刻の情報と書込時刻の情報とを対比させて、書込を行った人物を決定する。決定した人物は、動画データに対するパターン認識によって、他の人物から識別される。これにより、どの事項を誰がいつ書き込んだかについてのアノテーションを、動画データに対して設定することができる。【選択図】図３
2005197883.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データを入力する入力手段と、
前記時系列画像データにおける前記書込ボードの時間変化に基づいて、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析手段と、
前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析手段と、
前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定手段と、
を備える、ことを特徴とする書込解析装置。
【請求項２】
請求項１に記載の書込解析装置において、
前記事項解析手段は、識別した事項の位置についての情報を取得する手段を含み、
前記人物解析手段は、前記書込ボード付近に停留する人物が停留した位置についての情報を取得する手段を含み、
前記特定手段は、書き込まれた少なくとも一つの事項に対しては、その事項の位置と人物が停留した位置との対応関係にも基づいて書き込んだ人物を特定する、ことを特徴とする書込解析装置。
【請求項３】
請求項１に記載の書込解析装置において、
前記人物解析手段は、前記時系列画像データを用いてパターン認識解析を行うことで、前記書込ボード付近に停留する人物を識別する、ことを特徴とする書込解析装置。
【請求項４】
請求項１に記載の書込解析装置において、
前記人物解析手段は、各人物がもつＲＦＩＤタグの位置情報を取得することにより、前記書込ボード付近に停留する人物を識別する、ことを特徴とする書込解析装置。
【請求項５】
請求項１に記載の書込解析装置において、
前記書込ボード付近に停留する各人物を赤外撮影して作成された赤外画像データを入力する手段を備え、
前記人物解析手段は、前記赤外画像データを用いてパターン認識解析を行うことで、前記書込ボード付近に停留する人物を識別する、ことを特徴とする書込解析装置。
【請求項６】
請求項１に記載の書込解析装置において、
前記時系列画像データの時間変化に基づいて、前記書込期間の終了、または、次の書込期間の開始を検知する手段を備える、ことを特徴とする書込解析装置。
【請求項７】
請求項１に記載の書込解析装置において、
前記時系列画像データまたはそれを加工した加工画像データに対し、前記特定手段が特定した結果に基づいて、各事項の書込人物及びその書込タイミングの情報を付与したアノテーションを設定するアノテーション設定手段を備える、ことを特徴とする書込解析装置。
【請求項８】
請求項７に記載の書込解析装置において、
前記アノテーション設定手段は、ユーザ入力に基づいてアノテーションの付加または編集を行う手段を含む、ことを特徴とする書込解析装置。
【請求項９】
請求項７に記載の書込解析装置において、
前記時系列画像データまたは前記加工画像データに基づいて、動画像または静止画像を表示させる表示手段を備え、
前記表示手段は、静止画とともに、この静止画中の各事項の書込人物及びその書込タイミングの情報を示すアノテーションを表示させる、ことを特徴とする書込解析装置。
【請求項１０】
請求項９に記載の書込解析装置において、
前記表示手段は、表示されたアノテーションがユーザ選択された場合に、そのアノテーションに対応する事項が書き込まれた時間段階の画像データを表示させる、ことを特徴とする書込解析装置。
【請求項１１】
コンピュータが実行する方法であって、
複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データに基づいて前記書込ボードの時間変化を検知することで、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析ステップと、
前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析ステップと、
前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定ステップと、
を含む、ことを特徴とする書込解析方法。
【請求項１２】
コンピュータに対し、
複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データを入力する入力手順と、
前記時系列画像データにおける前記書込ボードの時間変化に基づいて、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析手順と、
前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析手順と、
前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定手順と、
を実行させる、ことを特徴とする書込解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトボードや黒板等の書込ボードに書き込まれた内容を記録する技術に関する。
【背景技術】
【０００２】
ホワイトボードに書き込まれた内容を、ホワイトボードに付属したスキャナ装置で撮像するシステムが広く普及している。このシステムにおいては、書込が複数の人物によって行われる場合に、書き込んだ内容と書き込んだ人物とを対応づけることができない欠点がある。
【０００３】
これに対し、特許文献１には、特殊なペンとそのペンによる書込を認識する機能を備えた電子掲示板の技術が記載されている。この技術では、例えば、各人物が異なるペンをもつことで、書込を行う人物の識別と、その書込内容とを対応づけて記録することが可能である。
【０００４】
【特許文献１】特開平０９−１７１４４８号公報
【０００５】
なお、画像データに対して付箋やメモなどのアノテーションを設定し、その画像と重ねて表示する技術が知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の技術においては、書込を行う人物の特定が容易となる利点がある一方で、書込を行う人物を識別するために用いる特殊な設備によって設置コストが高くなってしまう問題がある。
【０００７】
本発明の目的は、汎用性の高い設備を用いて、書込内容と書込を行った人物とを対応づけることにある。
【０００８】
本発明の別の目的は、対応づけた結果を認識容易な形態で表示することにある。
【課題を解決するための手段】
【０００９】
本発明の書込解析装置は、複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データを入力する入力手段と、前記時系列画像データにおける前記書込ボードの時間変化に基づいて、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析手段と、前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析手段と、前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定手段と、を備える。
【００１０】
書込ボードとは、ホワイトボード、黒板、貼り出された模造紙など、筆記具を用いて書込可能であり、かつ、書込内容を複数の人物が同時に閲覧可能に設けられた面状物を指す。書込ボードは、会議などのような複数の人物が会する場において、書込事項を共有するために用いられる。書込ボードに書込を行う人物は、書込ボードの前に移動して停留し、文字、記号、図などの事項を書き込み、その場を離れる。停留とは書込ボード付近に留まることを指しており、一所に留まることは勿論、書込ボードの前を行ったり来たりするような動作をも含んでいる。したがって、短期間だけ書込ボードの前を離れた場合にも、連続した停留とみなすことも可能である。他の人物は書込中あるいは書込後にその書込事項を閲覧する。事項の書込は、一般に、複数の人物によって行われ、書込ボードには累積的に複数の事項が書き込まれていく。なお、事項とは、書き込まれた内容のひとまとまりを指している。ここで、ひとまとまりとは、例えば、ある人物が連続して書き込んだ記載や、複数箇所に連続して書き込んだ場合の各箇所の記載、一定期間の間に書き込んだ記載など、適当な定義の元でくくられる記載の単位を指す。
【００１１】
入力手段は、この一連の書込過程において書込ボードを撮影して得られた時系列画像データを入力する。時系列画像データは、時間的に連続な動画データ、期間中に多数回撮影された静止画像データのセット、あるいはこれらの組み合わせであってもよい。事項解析手段は、書込ボードの前に現れる人物についての画像情報を取り除き、書込ボードについてのみの時間変化を解析することで、書き込まれた事項、あるいは、消去された事項を識別する。また、その書込がいつ行われたかについての書込タイミングの情報も取得する。人物解析手段は、前記時系列画像データまたは他の情報を利用して、前記書込ボード付近に停留する人物の識別を行う。すなわち、書込を行った複数の人物のうちの誰であるかを求める。また、前記時系列画像データまたは他の情報を利用して、その人物がいつ停留したかについての停留タイミングの情報も取得する。特定手段は、前記書込タイミングと前記停留タイミングとからどの人物がどの書込を行ったかの対応づけを行う。
【００１２】
各手段の実行順序は、特に限定されない。すなわち、事項解析手段、人物解析手段、特定手段の順に行われてもよいし、人物解析手段、事項解析手段、特定手段の順に行われてもよい。また、人物解析手段における人物の識別と停留タイミング情報の取得は別々に行ってもよく、例えば、停留タイミング情報の取得を前に行って特定手段を実施したあとで、人物の識別を行ってもよい。
【００１３】
この構成によれば、カメラやビデオカメラ等によって作成された時系列画像データを解析することで、書込事項と書込を行った人物とを対応づけることができる。カメラやビデオカメラは一般に広く普及しており、導入コストを抑制することが可能である。また、書込ボードの利用者は、特殊なペンを持つなどのように書込にあたって特別なことをする必要がないため、書込ボードを円滑に利用することが可能となる。なお、時系列画像データだけでなく、対応する音声データを取得してもよい。また、ホワイトボードに付属のスキャナ等によって別途取られた画像を取り込める場合には、例えば最終画像としてそうした画像を用いてもよい。なお、解析対象を書込操作だけでなく、例えば、ボード上に用紙をマグネットで固定するなどの掲示操作に拡張してもよい。
【００１４】
望ましくは、本発明の書込解析装置において、前記事項解析手段は、識別した事項の位置についての情報を取得する手段を含み、前記人物解析手段は、前記書込ボード付近に停留する人物が停留した位置についての情報を取得する手段を含み、前記特定手段は、書き込まれた少なくとも一つの事項に対しては、その事項の位置と人物が停留した位置との対応関係にも基づいて、書き込んだ人物を特定する。この構成によれば、特に、複数の人物が同時に書込ボード付近に停留した場合にも、どの人物によってどの書込が行われたかを容易に判定できる。
【００１５】
望ましくは、本発明の書込解析装置において、前記人物解析手段は、前記時系列画像データを用いてパターン認識解析を行うことで、前記書込ボード付近に停留する人物を識別する。パターン認識の手法については様々なアルゴリズムが知られており、それらを用いることで人物を識別できる。なお、パターン認識による識別を確実に行うために、事前にまたは事後に、書込を行う人物を別途撮影することで、認識パターンを学習させるようにしてもよい。また、書込を行う人物は、例えば、互いに異なる色のタスキやビブス（簡易服）などを着用するようにしてもよい。
【００１６】
望ましくは、本発明の書込解析装置において、前記人物解析手段は、各人物がもつＲＦＩＤタグの位置情報を取得することにより、前記書込ボード付近に停留する人物を識別する。ＲＦＩＤタグとは非接触で通信可能なＩＣチップである。チップの中に識別情報を入力しておくことで、どの人物がいつ前記書込ボード付近に停留したかの情報を算出することができる。
【００１７】
望ましくは、本発明の書込解析装置は、前記書込ボード付近に停留する各人物を赤外撮影して作成された赤外画像データを入力する手段を備え、前記人物解析手段は、前記赤外画像データを用いてパターン認識解析を行うことで、前記書込ボード付近に停留する人物を識別する。赤外画像データは、時系列データであっても良いし、例えば、人物の停留を感知した時にのみ撮影が行われた画像データであってもよい。赤外画像データは、撮影対象人物の温度を輝度情報として保持する。このため、書込を行う人物間に体温差があったり、衣服の違いによる温度差があったりする場合には、容易に各人物をパターン認識することができる。
【００１８】
望ましくは、本発明の書込解析装置は、前記時系列画像データの時間変化に基づいて、前記書込期間の終了、または、次の書込期間の開始を検知する手段を備える。一連の書込は、書込ボードに新たなスペースが無くなった場合や話題を変更する場合に、書込ボードの使用者によって消去されたり、ボードを裏返されたりすることで、時系列画像データ上から消失する。そこで、こうした事象を検知することで、一連の書込が複数回繰り返される場合に、各回の書込期間を切り分ける。
【００１９】
望ましくは、本発明の書込解析装置は、前記時系列画像データまたはそれを加工した加工画像データに対し、前記特定手段が特定した結果に基づいて、各事項の書込人物及びその書込タイミングの情報を付与したアノテーションを設定するアノテーション設定手段を備える、アノテーションとは、主たる情報である前記時系列画像データまたはそれを加工した加工画像データに対して付与された付加的な情報である。付加的な情報としては、具体的には、主たる情報の特定の箇所や領域に対し、強調したり、メモを残したり、他の箇所との関連づけを行ったりすることが挙げられる。アノテーションは、表示の際には、例えば、付箋、メモ、囲み枠、下線、色付け、濃淡付けなどの形態で表示することができる。アノテーション設定手段は、各事項に対してその事項の書込人物が認識可能となるようにアノテーションを設定する。なお、時系列画像データの加工画像データとしては、例えば、単に表示範囲を調整した時系列画像データ、書込ボードの前に停留する人物や書込ボードの前を横切る人物を消去して書込ボードだけを表示するようにした時系列画像データ、特定の時刻の画像を切り出した静止画像データなどを挙げることができる。
【００２０】
望ましくは、本発明の書込解析装置において、前記アノテーション設定手段は、ユーザ入力に基づいてアノテーションの付加編集を行う手段を含む。つまり、ユーザは、新たなアノテーションを追加したり、既に設定されたアノテーションにメモを書き込んだりすることができる。
【００２１】
望ましくは、本発明の書込解析装置は、前記時系列画像データまたは前記加工画像データに基づいて、動画像または静止画像を表示させる表示手段を備え、前記表示手段は、静止画とともに、この静止画中の各事項の書込人物及びその書込タイミングの情報を示すアノテーションを表示させる、書込タイミングの表示は、時刻情報であってもよいし、書込順番情報であってもよい。
【００２２】
望ましくは、本発明の書込解析装置において、前記表示手段は、表示されたアノテーションがユーザ選択された場合に、そのアノテーションに対応する事項が書き込まれた時間段階の画像データを表示させる。すなわち、アノテーションを頼りに、対応する事項が書き込まれた時間、またはその若干前の時間の画像データを表示させる。これにより、関心のある事項が書き込まれた経緯を容易に把握できるようになる。なお、アノテーションのユーザ選択とともに、時系列表示（アニメーション表示）が指定された場合には、そのアノテーションに対応する事項が書き込まれた時間段階の画像データを始点として時系列表示することができる。
【００２３】
本発明の書込解析方法は、コンピュータが実行する方法であって、複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データに基づいて前記書込ボードの時間変化を検知することで、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析ステップと、前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析ステップと、前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定ステップと、を含む。
【００２４】
本発明の書込解析プログラムは、コンピュータに対し、複数の人物によって複数の事項の書込が行われる書込ボードをその書込期間中撮影して作成された時系列画像データを入力する入力手順と、前記時系列画像データにおける前記書込ボードの時間変化に基づいて、書き込まれた各事項を識別し、識別した各事項の書込タイミングについての情報を取得する事項解析手順と、前記書込ボード付近に停留する人物の識別と、その停留タイミングについての情報の取得を行う人物解析手順と、前記書込タイミングと前記停留タイミングの対応関係に基づいて、各事項を書き込んだ人物を特定する特定手順と、を実行させる。
【発明を実施するための最良の形態】
【００２５】
以下に、本発明の代表的な実施の形態を説明する。
【００２６】
図１は、本実施の形態において利用する時系列画像データを作成する様子を模式的に示した斜視図である。書込ボードとしてのホワイトボード１０が、脚部１２に支えられて固定されている。そして、ホワイトボード１０には、既に事項１４、１６が書き込まれている。そして、図示した時点においては、ホワイトボード１０の前に立つ書込人１８が、ペン２０をもって、事項２２の書込を行っている。図示しない範囲には会議に参加する複数人がいて、このホワイトボード１０を見ながら議論を行っている。
【００２７】
ホワイトボード１０に各事項１４，１６，２２，．．．が書き込まれていく過程は、ホワイトボード１０の正面側に設置されたビデオカメラ２４によって撮影される。ビデオカメラ２４は、書込解析システムの一翼をなす撮影部としての役割を担っており、書込期間におけるホワイトボード１０及びその周辺部の様子を時系列画像データとしての動画データに記録する。ビデオカメラ２４が撮影する範囲２６は、ホワイトボード１０の外枠よりも若干広く、これにより、ホワイトボード１０の周辺部に書込が行われる場合にも、その書込人の少なくとも一部を撮影することができる。もちろん、ホワイトボード１０の撮影解像度を高めることを優先して、撮影領域をホワイトボードの枠に合わせてもよい。こうして生成された動画データは、書込解析装置としてのＰＣ（パーソナルコンピュータ）２８に入力される。ＰＣ２８は、次に示すように、入力された動画データをもとに、各事項の書込人を特定する他、特定した情報を利用しやすい形態でユーザに提示するための処理を行う。なお、ＰＣ２８は、動画データとともに生成される音声データも入力することができる。
【００２８】
次に、図２を用いて、書込解析装置の構成例を説明する。図２は、書込解析装置３０の概略的な機能ブロック図である。書込解析装置３０は、図１のＰＣ２８のように、演算機能を備えたハードウエアをソフトウエア（プログラム）によって動作規定することで処理を行う装置によって構成される。書込解析装置３０は、主たる構成として、入出力部３２、ユーザ入力部３４、表示部３６、表示処理部４０、記憶部５０、制御部６０、画像解析部７０、対応付け処理部１１０、アノテーション設定部１２０を備えている。
【００２９】
入出力部３２は、外部装置との間でデータや指令信号の入出力を行う。具体的には、動画データを生成するビデオカメラ２４等の撮影装置１５０から動画データを入力する。また、ネットワーク１６０に接続されており、ネットワーク１６０上の外部装置との間で各種データの通信を行ったり、外部装置からの書込解析装置３０を制御する指令信号を受け付けたりする。ユーザ入力部３４は、キーボードやマウス等の入力装置を備えており、ここからユーザの指令を受け付ける。また、表示部３６は、ディスプレイ等の表示装置を備えており、制御のための一般的な表示等を行う他、入力した動画データに基づく動画や静止画を表示する。
【００３０】
表示処理部４０は、表示部３６に表示するためのデータ処理を行っており、特徴的な構成として、動画データに関連した処理を行うアノテーション処理部４２とジャンプ処理部４４とを含んでいる。アノテーション処理部４２は、後述するアノテーション設定部１２０において動画データに設定されるアノテーションを表示部３６に表示するための処理を行う。具体的には、表示される動画や画像に重ねてメモや囲み枠などを表示するための前処理を行う。また、ジャンプ処理部４４は、動画あるいは静止画とともに表示されたアノテーションがユーザによって選択された場合に、そのアノテーションに対応した事項が書き込まれた時間付近の動画や静止画を表示させる処理を行う。
【００３１】
記憶部５０は、半導体メモリやハードディスク等の記憶装置を備えており、各種データやプログラム等を記憶する。記憶部５０には、動画データベース５２が設けられている。動画データベース５２には、入出力部３２を通じて入力される動画データの他、この動画データを加工して得られる動画データや静止画データ、アノテーション設定部１２０によって設定されるアノテーションデータ等も格納される。制御部６０は、ＭＰＵ（超小型処理装置）の演算処理機能を利用して構成されており、書込解析装置３０の各構成部の動作を制御する。
【００３２】
画像解析部７０は、動画データベース５２に記憶された動画データに対して画像処理を行う。画像解析部７０には、事項解析部８０、人物解析部９０、書込期間設定部１００が含まれている。事項解析部８０は、動画データに基づいて書き込まれた各事項を識別を行う構成部であり、主たる構成要素としてタイミング解析部８２、位置解析部８４を備えている。事項解析部８０は、ホワイトボード１０の記載事項をそれ以前の時間と比較して、変化があった場合には対応する書込（あるいは消去）が行われたことを検出する。タイミング解析部８２は、各事項の書込がどの時刻に行われたかという書込タイミング情報の取得を変化検出前の時刻と変化検出後の時刻の検出によって行う。また、位置解析部８４は、各事項がホワイトボード１０のどの位置に書き込まれたかの情報を取得する。
【００３３】
人物解析部９０は、動画データに基づいて書込を行った人物の識別を行う構成部であり、主たる構成要素としてタイミング解析部９２、位置解析部９４、パターン認識部９６を備えている。人物解析部９０は、動画データ内に出現する人物イメージを検出する。そして、タイミング解析部９２は、その人物の登場時刻と退場時刻を検出することで、その人物がホワイトボード１０の前に停留する停留タイミング情報を取得する。また、位置解析部９４は、その人物がどの位置にいたのかという停留位置の情報を取得する。パターン認識部９６は、動画データ中に出現する人物をパターン認識により識別する。パターン認識のアルゴリズムは特に限定されない。また、予めパターン認識すべき人物の特徴を登録するなどして、パターン認識を容易にしてもよい。さらに、予めあるいは識別後に、それらの人物の固有名詞の情報等を与えることで、書き込んだ人物を具体的に特定することが可能になる。
【００３４】
書込期間設定部１００は、動画データ中のホワイトボード１０の時間変化を監視して、一連の書込が行われる書込期間を検出する。一般にホワイトボード１０においては、ページの更新は、ホワイトボード１０に記載された事項を消去することで行われる。そこで、この消去を監視して、新たな書込期間に入ったことを検出する。事項解析部８０や人物解析部９０の処理は、この書込期間毎に行われる。
【００３５】
対応付け処理部１１０は、事項解析部８０と人物解析部９０の解析結果に基づいて、事項と人物を対応づけることで、その事項を書き込んだ人物を特定する。対応付け処理部１１０には、タイミング対応部１１２と位置対応部１１４が含まれている。タイミング対応部１１２は、事項解析部８０において得られた書込タイミングと、人物解析部９０において得られた停留タイミングとを比較することで、どの人物がどの書込を行ったかを検出する。すなわち、人物が停留している期間内に書き込まれた事項を、その人物が書き込んだ事項として扱う。また、位置対応部１１４は、事項解析部８０において得られた事項の位置の情報と、人物解析部９０において得られた停留の位置の情報とを比較する。これにより、同時に二人の人物がホワイトボード１０の前にいる場合には、書き込まれた事項に近い位置にいた人物がその事項を書き込んだとみなすことで、書込事項に対応する人物を特定することができる。なお、タイミング対応部１１２と位置対応部１１４を用いても依然としてある事項を書き込んだ人物の候補が複数いる場合には、対応付け処理部１１０はその事項を停留時間が最も長い人物と対応づけたり、書込人物を不明として扱ったりするなどの例外措置をとることができる。
【００３６】
アノテーション設定部１２０は、対応付け処理部１１０によって対応づけられた書込事項に対し、書込人物の情報や書込タイミングの情報をアノテーションとして設定する。アノテーションは、主たるデータとしての動画データあるいはそれを加工した加工動画データに対して付加的に与えられる。アノテーションは、主たるデータの特定箇所あるいは特定領域に対して設定することができ、表示の際には、例えば、付箋、メモ、囲み枠、下線、色付け、濃淡付けなどの形態で表現することができる。アノテーション設定部１２０には、付加編集部１２２が含まれている。付加編集部１２２は、設定されたアノテーションに対してメモを追加したり、新たなアノテーションを付与したりするなど、ユーザ指令に基づいてアノテーションの付加や編集を行うための構成である。
【００３７】
続いて、この書込解析装置３０が用いられる様子を、図３と図４のフローチャートを用いて説明する。
【００３８】
図３は、動画データが入力されてから、アノテーションが設定されるまでの過程を説明するフローチャートである。まず、撮影装置１５０としてのビデオカメラ２４によって動画データが生成され、入出力部３２を介して動画データが入力される（Ｓ１０）。入力された動画データは、記憶部５０の動画データベース５２に格納される。人物解析部９０は、この動画データに人物が含まれるか否かを解析する。解析は全ての画像に対して行わずに一定間隔毎（例えば１秒や５秒）毎に行ってもよい。そして、人物が含まれない画像データを集めた時系列データである人物非表示データを作成して動画データベース５２に格納する（Ｓ１２）。人物が含まれない期間においては、一般に、ホワイトボード１０に変化が見られないため、この人物非表示データの容量は非常に小さくて済む。人物解析部９０のタイミング解析部９２は、人物がホワイトボード１０の前にいた停留タイミング、すなわち、登場した時刻と退場した時刻の情報を取得する（Ｓ１４）。さらに、画像解析部７０が、書込期間設定部１００によって設定された一連の書込期間の終了時のホワイトボード１０を示す静止画を作成し（Ｓ１６）、作成された静止画は動画データベース５２に格納される。
【００３９】
次に事項解析部８０は、動画データベース５２に格納された人物非表示データの時間差分があるかを判断して、書き込まれた事項を認識する（Ｓ１８）。同時に、事項解析部８０のタイミング解析部８２は、この事項の書込タイミングとして、書込開始時刻と書込終了時刻を取得する（Ｓ２０）。
【００４０】
続いて、対応付け処理部１１０が、ステップＳ１４で得られた停留タイミングの情報と、ステップＳ２０で得られた書込タイミングの情報とを対比して、各書込を行った人物を決定する（Ｓ２２）。決定された人物は、人物解析部９０のパターン認識部９６によって認識される（Ｓ２４）。識別された各人物は、予め与えられた情報に基づいて、固有名詞によって区別される。アノテーション設定部１２０は、当初の動画データ、あるいは、人物非表示データにおける各項目に対し、それを書き込んだ人物の固有名詞の情報と、その書込タイミングの情報をアノテーションとして与える（Ｓ２６）。設定されたアノテーションのデータは、動画データベース５２に保存される。これにより、ネットワーク１６０を経由して各ユーザは、アノテーションが設定された動画データ（その加工データ）にアクセスすることができる。
【００４１】
図４は、アノテーションの表示過程を説明するフローチャートである。会議の内容を概要を把握したいユーザは、通常、ホワイトボード１０の最終状態の画像の表示を指示し、対応する静止画が表示部３６に表示される（Ｓ３０）。しかし、その内容がうまく理解できない場合には、ユーザは、ユーザ入力部３４を通じて制御部６０にアノテーション表示を行うよう指示を出す。制御部６０は、表示処理部４０のアノテーション処理部４２に対し、対応するアノテーションを表示するように指令し、これにより表示部３６には最終状態の静止画に重ねられてアノテーションが表示される（Ｓ３２）。アノテーションの表示は、例えば、書込の時間順に段階的に行われてもよい。すなわち、マウス等をクリックする毎に、一番最初の書込に対するアノテーションを表示し、次のクリックで２番目の書込に対するアノテーションを表示し、というように行うこともできる。各事項に対応するアノテーションには、それを書き込んだ人物の固有名詞が記されている。ユーザは、この書込人物の情報を頼りに、書込事項の理解を深めることができる。
【００４２】
さらに、詳細な状況を把握したいユーザは、動画表示を指示するとともに、関心のある事項のアノテーションを選択する（Ｓ３４）。これにより、この事項が書き込まれた時刻にジャンプして、対応する画像データの表示が行われる。そして、その時点から動画表示が行われる（Ｓ３８）。動画表示は、実時間で音声記録の再生とともに行われてもよいし、コマ送り状態（いわゆるパラパラ漫画状態）等で行われてもよい。
【００４３】
以上の説明においては、人物解析部９０は、動画データに基づいて人物の解析を行うこととして説明を行った。しかし、これ以外にも、人物の解析を行う方法を挙げることができる。例えば、各人物にＲＦＩＤタグを所持させ、このＲＦＩＤタグと通信を行って、ＲＦＩＤタグの所在位置を把握することができる。そして、このＲＦＩＤタグの識別情報と人物とを対応づけることにより、パターン認識部９６による解析を行うことなく事項を書き込んだ人物を特定することができる。また、例えば書込を行う人物を別途赤外線カメラで撮影することにより、各人物の温度差を利用した識別が可能になる。なお、このように、ＲＦＩＤタグや赤外線カメラの撮影画像を利用する場合には、これらの情報を利用して書込タイミングや書込位置を取得しても良いし、タイミング解析部９２や位置解析部９４に基づいて書込タイミングや書込位置を取得しても良い。
【００４４】
次に図５〜図８を用いて、アノテーション表示を行う例を説明する。
【００４５】
図５は、ある会議において書込がなされたホワイトボード１０の最終状態の静止画像１７０の例を示す図である。この静止画像には、文字、図、表などの様々な事項が書き込まれている。しかし、このままでは、書き込まれた順番や、書込を行った人物がわからず、内容を十分に把握できない場合がある。
【００４６】
図６〜図８は、図５と同じ静止画像１７０に重ねて、ユーザ指示に基づいて次々にアノテーション表示を行った例を示す図である。まず、図６においては、一番最初に書込が行われた部分が囲い枠１７２のアノテーションによって明示されている。そして、囲い枠１７２の近傍には、その事項を書き込んだ人物の固有名詞「宮崎さん」を示す注釈１７２ａのアノテーションが表示されている。また、この注釈１７２ａには、（１）の番号が付されており、一番最初に書き込んだものであることを示している。
【００４７】
図７は、図６の次の段階を示す図である。図７の表示は、図６の段階においてユーザがマウスをクリックすることにより行われる。ここでは、図６で示された囲い枠１７２及び注釈１７２ａに加えて、囲い枠１７４及び注釈１７４ａが表示されている。これによりユーザは、第２段階において、「寺尾さん」が囲い枠１７４で囲われた事項を記載したことがわかる。
【００４８】
図８は、最終段階における表示を示す図である。ここまでに、ユーザの指示に基づいて次々とアノテーションが累積的に表示され、各事項を領域分けした囲い枠１７２，１７４，１７６，１７８，１８０と、それぞれの事項を書き込んだ人物の固有名詞及び順番番号を表示する注釈１７２ａ，１７４ａ，１７６ａ，１７８ａ，１８０ａが順次表示される。そして、一番最後の段階において、さらに、事後的にユーザによって貼付されたアノテーションであるメモ１８２が表示される。このメモ１８２は、６ページからなる文字記載欄１８４と、ページ表示欄１８６、進行方向指示欄１８８が含まれている。ユーザは、マウス等によりポインタ１９０を操作して進行方向指示欄１８８の矢印をクリックすることで、他のページの記載内容をみることができる。このように、ユーザが事後的に編集した内容もアノテーションとして取り込み、領域等を示すアノテーションと共に表示することは、会議の内容の整理や閲覧をする上で効果的である。
【００４９】
この最終段階の図８において、さらに個々の事項について詳細に知りたい場合があり得る。そこで、例えば、囲い枠１７８で囲われた事項について詳細に知りたい場合には、囲い枠１７８をユーザ選択することで、この事項が記載された時刻にジャンプすることができる。すなわち、元の動画データやそれから人物を除去した時系列データなどにおける当該時刻の画像が表示される。さらに、同時に動画表示を行わせれば、この時刻付近の書込の詳細を把握することが可能となる。この場合には、音声データの再生を同時に行ったりすることも有効である。
【００５０】
なお、ここに示した表示例の他にも、アノテーションを様々な形で表示することができる。例えば、囲い枠を用いて領域を表示する代わりに、色や濃淡によって領域を表示することも有効である。この場合には、同一人物による記載は同一の色で表示したり、書込順序に応じて漸次色を変化させていくような表示をしたりしてもよい。また、動画表示においては、必ずしも書き込まれた事項を順次表示する必要はなく、一定時間分ごとにまとめて表示することで、表示時間の短縮を図ることができる。このような表示の指示は、その指示を行うための小ウインドウを設けて、そこから実施できるようにしてもよい。
【図面の簡単な説明】
【００５１】
【図１】ホワイトボードへの書込過程を撮影する例を示す図である。
【図２】書込解析装置の概略構成例を示す機能ブロック図である。
【図３】アノテーションの設定過程を示すフローチャートである。
【図４】アノテーションの表示過程を示すフローチャートである。
【図５】最終状態のホワイトボードを示す静止画像の図である。
【図６】図５の静止画像にアノテーション表示を一部行った状態を示す図である。
【図７】図６の続きの図である。
【図８】図５の静止画像にアノテーション表示を全て行った状態を示す図である。
【符号の説明】
【００５２】
１０  ホワイトボード、１２  脚部、１４，１６，２２  事項、１８  書込人、２０  ペン、２４  ビデオカメラ、２６  範囲、２８  ＰＣ、３０  書込解析装置、３２  入出力部、３４  ユーザ入力部、３６  表示部、４０  表示処理部、４２  アノテーション処理部、４４  ジャンプ処理部、５０  記憶部、５２  動画データベース、６０  制御部、７０  画像解析部、８０  事項解析部、８２  タイミング解析部、８４  位置解析部、９０  人物解析部、９２  タイミング解析部、９４  位置解析部、９６  パターン認識部、１００  書込期間設定部、１１０  対応付け処理部、１１２  タイミング対応部、１１４  位置対応部、１２０  アノテーション設定部、１２２  付加編集部、１５０  撮影装置、１６０  ネットワーク。
【図１】
2005197883.tif 000003
【図２】
2005197883.tif 000004
【図３】
2005197883.tif 000005
【図４】
2005197883.tif 000006
【図５】
2005197883.tif 000007
【図６】
2005197883.tif 000008
【図７】
2005197883.tif 000009
【図８】
2005197883.tif 000010