(57)【要約】【課題】被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようにする。【解決手段】筆記者が被筆記面に対して行った筆記の内容を撮像する撮像手段と、筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、撮像手段による撮像がなされる撮像領域内に、情報取得手段により得られた情報を表示する情報表示手段と、を備える情報処理システム。【選択図】図１
2019168894.tif 000002
【特許請求の範囲】
【請求項１】
筆記者が被筆記面に対して行った筆記の内容を撮像する撮像手段と、
筆記者による前記被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、
前記撮像手段による撮像がなされる撮像領域内に、前記情報取得手段により得られた情報を表示する情報表示手段と、
を備える情報処理システム。
【請求項２】
前記情報表示手段は、前記被筆記面に、前記情報取得手段により得られた情報を表示する請求項１に記載の情報処理システム。
【請求項３】
前記情報表示手段は、前記被筆記面のうち、前記筆記者により隠れてしまう箇所以外の箇所に、前記情報取得手段により得られた情報を表示する請求項２に記載の情報処理システム。
【請求項４】
前記情報表示手段は、前記被筆記面のうち、前記筆記者に対向する部分よりも上方に位置する部分に、前記情報を表示する請求項３に記載の情報処理システム。
【請求項５】
前記情報表示手段は、前記被筆記面が有する縁部および当該被筆記面の中央部のうちの、当該縁部に近い側に前記情報を表示する請求項２に記載の情報処理システム。
【請求項６】
前記情報表示手段は、前記被筆記面の上部に、前記情報を表示する請求項２に記載の情報処理システム。
【請求項７】
前記情報表示手段は、前記筆記者により隠れてしまう箇所以外の箇所に、前記情報取得手段により得られた情報を表示する請求項１に記載の情報処理システム。
【請求項８】
前記情報取得手段は、前記状況情報として、前記被筆記面の周辺に位置するユーザについての情報を取得し、
前記情報表示手段は、前記被筆記面の周辺に位置するユーザについての情報を表示する請求項１に記載の情報処理システム。
【請求項９】
前記情報取得手段は、前記状況情報として、前記筆記者についての情報である筆記者情報を取得し、
前記情報表示手段は、前記筆記者情報を表示する請求項１に記載の情報処理システム。
【請求項１０】
前記情報表示手段は、前記筆記者が複数いる場合、当該筆記者の各々に対応させて前記筆記者情報を複数表示する請求項９に記載の情報処理システム。
【請求項１１】
前記情報表示手段は、複数の前記筆記者情報を表示するにあたり、複数の前記筆記者に含まれる筆記者の並び順と、表示を行う当該複数の筆記者情報の並び順とが一致するように、当該複数の筆記者情報を表示する請求項１０に記載の情報処理システム。
【請求項１２】
前記情報取得手段は、前記状況情報として、前記被筆記面の周辺に位置する発話者が行った発話についての情報を取得し、
前記情報表示手段は、前記発話についての情報を表示する請求項１に記載の情報処理システム。
【請求項１３】
前記情報取得手段は、前記状況情報として、前記被筆記面の周辺の環境についての情報を取得し、
前記情報表示手段は、前記環境についての情報を表示する請求項１に記載の情報処理システム。
【請求項１４】
前記撮像手段による撮像結果を記憶する記憶手段を更に備え、
前記記憶手段は、前記撮像手段により得られる撮像結果の内容に変化があった場合に、撮像結果を記憶する請求項１に記載の情報処理システム。
【請求項１５】
前記情報表示手段は、前記情報取得手段により得られた情報を、予め定められた表示箇所に表示し、
前記記憶手段は、前記撮像結果のうちの前記表示箇所を撮像した部分に変化があった場合であっても、当該部分以外の箇所が変化していない場合には、撮像結果の記憶を行わない請求項１４に記載の情報処理システム。
【請求項１６】
前記撮像手段による撮像結果を記憶する記憶手段を更に備え、
前記記憶手段は、前記撮像手段により得られる撮像結果の内容に変化があり且つ筆記者による前記被筆記面への筆記が検知された場合に、撮像結果を記憶する請求項１に記載の情報処理システム。
【請求項１７】
前記撮像手段による撮像結果を、前記被筆記面に表示する撮像結果表示手段を更に備える請求項１に記載の情報処理システム。
【請求項１８】
前記撮像手段は、前記撮像結果表示手段により前記被筆記面に表示された前記撮像結果、および、当該撮像結果が表示されている状態にて当該被筆記面に対して行われた筆記の内容の両者を撮像する請求項１７に記載の情報処理システム。
【請求項１９】
前記撮像結果表示手段は、前記撮像手段による撮像結果のうちの、少なくとも、前記被筆記面を撮像した撮像部分を、当該被筆記面に表示するとともに、当該表示にあたり、当該撮像部分の一部を表示し、又は、当該撮像部分の大きさを変えて当該撮像部分を表示する請求項１７に記載の情報処理システム。
【請求項２０】
前記撮像結果表示手段は、前記撮像部分の大きさを変えて当該撮像部分を前記被筆記面に表示する場合、当該被筆記面の大きさよりも小さいサイズで当該撮像部分を表示する請求項１９に記載の情報処理システム。
【請求項２１】
前記情報表示手段は、前記被筆記面のうちの、前記撮像部分が表示される箇所の周囲に位置する余白の部分に、前記情報取得手段により得られた情報を表示する請求項２０に記載の情報処理システム。
【請求項２２】
筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、
前記被筆記面における筆記の内容と、当該筆記がなされる際に得られた前記状況情報の両者が載った画像の画像データを生成する生成手段と、
を備える情報処理システム。
【請求項２３】
筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、
前記被筆記面を撮像する撮像手段による撮像結果を取得する撮像結果取得手段と、
前記情報取得手段が取得した前記状況情報から、前記撮像手段による撮像領域内に表示される画像の元となる画像データを生成し又は前記被筆記面の撮像結果に合成される画像の元となる画像データを生成する生成手段と、
を備える情報処理システム。
【請求項２４】
筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得機能と、
前記被筆記面における筆記の内容と、当該筆記がなされる際に得られた前記状況情報の両者が載った画像の画像データを生成する生成機能と、
をコンピュータに実現させるためのプログラム。
【請求項２５】
筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得機能と、
前記被筆記面を撮像する撮像手段による撮像結果を取得する撮像結果取得機能と、
前記情報取得機能が取得した前記状況情報から、前記撮像手段による撮像領域内に表示される画像の元となる画像データを生成し又は前記被筆記面の撮像結果に合成される画像の元となる画像データを生成する生成機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムおよびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、スクリーンを撮像する撮像手段により得られた画像データから、スクリーンに投影されている映像データとは別にスクリーンに追記された付加情報を検出する検出手段を備えた投影装置が開示されている。
特許文献２には、立体動画像を撮影する立体カメラに設けられる複数のレンズ装置を制御するレンズ制御装置が開示されている。
特許文献３には、筆記面に書き込まれた情報を読み取り、読み取られた画像データと、その字や図形等が書き込まれた際に発言された音声とを対応付けてそれぞれ記憶する電子黒板が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１６１７４８号公報
【特許文献２】特開２０１２−１９９６７８号公報
【特許文献３】特開２００３−２６０８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被筆記面における筆記内容を撮像しておき、後に、撮像結果を見返す場合、筆記を行った者の情報など、筆記内容以外の情報については、把握することが難しい場合が多い。筆記内容以外の情報も得られれば、撮像結果に含まれる筆記内容をより円滑に理解できるようになる。
本発明の目的は、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようにすることにある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、筆記者が被筆記面に対して行った筆記の内容を撮像する撮像手段と、筆記者による前記被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、前記撮像手段による撮像がなされる撮像領域内に、前記情報取得手段により得られた情報を表示する情報表示手段と、を備える情報処理システムである。
請求項２に記載の発明は、前記情報表示手段は、前記被筆記面に、前記情報取得手段により得られた情報を表示する請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記情報表示手段は、前記被筆記面のうち、前記筆記者により隠れてしまう箇所以外の箇所に、前記情報取得手段により得られた情報を表示する請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記情報表示手段は、前記被筆記面のうち、前記筆記者に対向する部分よりも上方に位置する部分に、前記情報を表示する請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記情報表示手段は、前記被筆記面が有する縁部および当該被筆記面の中央部のうちの、当該縁部に近い側に前記情報を表示する請求項２に記載の情報処理システムである。
請求項６に記載の発明は、前記情報表示手段は、前記被筆記面の上部に、前記情報を表示する請求項２に記載の情報処理システムである。
請求項７に記載の発明は、前記情報表示手段は、前記筆記者により隠れてしまう箇所以外の箇所に、前記情報取得手段により得られた情報を表示する請求項１に記載の情報処理システムである。
請求項８に記載の発明は、前記情報取得手段は、前記状況情報として、前記被筆記面の周辺に位置するユーザについての情報を取得し、前記情報表示手段は、前記被筆記面の周辺に位置するユーザについての情報を表示する請求項１に記載の情報処理システムである。
請求項９に記載の発明は、前記情報取得手段は、前記状況情報として、前記筆記者についての情報である筆記者情報を取得し、前記情報表示手段は、前記筆記者情報を表示する請求項１に記載の情報処理システムである。
請求項１０に記載の発明は、前記情報表示手段は、前記筆記者が複数いる場合、当該筆記者の各々に対応させて前記筆記者情報を複数表示する請求項９に記載の情報処理システムである。
請求項１１に記載の発明は、前記情報表示手段は、複数の前記筆記者情報を表示するにあたり、複数の前記筆記者に含まれる筆記者の並び順と、表示を行う当該複数の筆記者情報の並び順とが一致するように、当該複数の筆記者情報を表示する請求項１０に記載の情報処理システムである。
請求項１２に記載の発明は、前記情報取得手段は、前記状況情報として、前記被筆記面の周辺に位置する発話者が行った発話についての情報を取得し、前記情報表示手段は、前記発話についての情報を表示する請求項１に記載の情報処理システムである。
請求項１３に記載の発明は、前記情報取得手段は、前記状況情報として、前記被筆記面の周辺の環境についての情報を取得し、前記情報表示手段は、前記環境についての情報を表示する請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、前記撮像手段による撮像結果を記憶する記憶手段を更に備え、前記記憶手段は、前記撮像手段により得られる撮像結果の内容に変化があった場合に、撮像結果を記憶する請求項１に記載の情報処理システムである。
請求項１５に記載の発明は、前記情報表示手段は、前記情報取得手段により得られた情報を、予め定められた表示箇所に表示し、前記記憶手段は、前記撮像結果のうちの前記表示箇所を撮像した部分に変化があった場合であっても、当該部分以外の箇所が変化していない場合には、撮像結果の記憶を行わない請求項１４に記載の情報処理システムである。
請求項１６に記載の発明は、前記撮像手段による撮像結果を記憶する記憶手段を更に備え、前記記憶手段は、前記撮像手段により得られる撮像結果の内容に変化があり且つ筆記者による前記被筆記面への筆記が検知された場合に、撮像結果を記憶する請求項１に記載の情報処理システムである。
請求項１７に記載の発明は、前記撮像手段による撮像結果を、前記被筆記面に表示する撮像結果表示手段を更に備える請求項１に記載の情報処理システムである。
請求項１８に記載の発明は、前記撮像手段は、前記撮像結果表示手段により前記被筆記面に表示された前記撮像結果、および、当該撮像結果が表示されている状態にて当該被筆記面に対して行われた筆記の内容の両者を撮像する請求項１７に記載の情報処理システムである。
請求項１９に記載の発明は、前記撮像結果表示手段は、前記撮像手段による撮像結果のうちの、少なくとも、前記被筆記面を撮像した撮像部分を、当該被筆記面に表示するとともに、当該表示にあたり、当該撮像部分の一部を表示し、又は、当該撮像部分の大きさを変えて当該撮像部分を表示する請求項１７に記載の情報処理システムである。
請求項２０に記載の発明は、前記撮像結果表示手段は、前記撮像部分の大きさを変えて当該撮像部分を前記被筆記面に表示する場合、当該被筆記面の大きさよりも小さいサイズで当該撮像部分を表示する請求項１９に記載の情報処理システムである。
請求項２１に記載の発明は、前記情報表示手段は、前記被筆記面のうちの、前記撮像部分が表示される箇所の周囲に位置する余白の部分に、前記情報取得手段により得られた情報を表示する請求項２０に記載の情報処理システムである。
請求項２２に記載の発明は、筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、前記被筆記面における筆記の内容と、当該筆記がなされる際に得られた前記状況情報の両者が載った画像の画像データを生成する生成手段と、を備える情報処理システムである。
請求項２３に記載の発明は、筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得手段と、前記被筆記面を撮像する撮像手段による撮像結果を取得する撮像結果取得手段と、前記情報取得手段が取得した前記状況情報から、前記撮像手段による撮像領域内に表示される画像の元となる画像データを生成し又は前記被筆記面の撮像結果に合成される画像の元となる画像データを生成する生成手段と、を備える情報処理システムである。
請求項２４に記載の発明は、筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得機能と、前記被筆記面における筆記の内容と、当該筆記がなされる際に得られた前記状況情報の両者が載った画像の画像データを生成する生成機能と、をコンピュータに実現させるためのプログラムである。
請求項２５に記載の発明は、筆記者による被筆記面への筆記がなされる際の状況についての情報である状況情報を取得する情報取得機能と、前記被筆記面を撮像する撮像手段による撮像結果を取得する撮像結果取得機能と、前記情報取得機能が取得した前記状況情報から、前記撮像手段による撮像領域内に表示される画像の元となる画像データを生成し又は前記被筆記面の撮像結果に合成される画像の元となる画像データを生成する生成機能と、をコンピュータに実現させるためのプログラムである。
【発明の効果】
【０００６】
請求項１の発明によれば、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようになる。
請求項２の発明によれば、被筆記面以外の箇所に、情報取得手段により得られた情報を表示する場合に比べ、この情報および被筆記面における筆記内容の両者の確認を行いやすくなる。
請求項３の発明によれば、被筆記面のうち、筆記者により隠れてしまう箇所に、情報取得手段により得られた情報を表示する場合に比べ、この情報の確認を行いやすくなる。
請求項４の発明によれば、情報取得手段により得られた情報を、被筆記面のうち、筆記者に対向する部分に表示する場合に比べ、筆記者によりこの情報が隠れてしまうことを起きにくくすることができる。
請求項５の発明によれば、情報取得手段により得られた情報を、被筆記面が有する縁部および被筆記面の中央部のうちの、中央部に近い側に表示する場合に比べ、筆記者によりこの情報が隠れてしまうことを起きにくくすることができる。
請求項６の発明によれば、情報取得手段により得られた情報を、被筆記面の下部に表示する場合に比べ、筆記者によりこの情報が隠れてしまうことを起きにくくすることができる。
請求項７の発明によれば、筆記者により隠れてしまう箇所に、情報取得手段により得られた情報を表示する場合に比べ、この情報の確認を行いやすくなる。
請求項８の発明によれば、被筆記面に対して行われた筆記の内容を後に参照する際に、被筆記面の周辺に位置していたユーザについての情報を得ることができる。
請求項９の発明によれば、被筆記面に対して行われた筆記の内容を後に参照する際に、被筆記面への筆記を行った筆記者についての情報を得ることができる。
請求項１０の発明によれば、被筆記面に対して行われた筆記の内容を後に参照する際に、被筆記面への筆記を行った複数の筆記者についての情報を得ることができる。
請求項１１の発明によれば、複数の筆記者に含まれる筆記者の並び順と、複数の筆記者情報の並び順とが一致しない場合に比べ、各筆記者についての情報をより正確に把握することが可能になる。
請求項１２の発明によれば、被筆記面に対して行われた筆記の内容を後に参照する際に、被筆記面の周辺に位置していた発話者が行った発話についての情報を得ることができる。
請求項１３の発明によれば、被筆記面に対して行われた筆記の内容を後に参照する際に、被筆記面の周辺の環境についての情報を得ることができる。
請求項１４の発明によれば、撮像手段により得られる撮像結果の内容の変化の有無に関わらず撮像結果を記憶する場合に比べ、撮像結果の記憶に用いる記憶装置の容量を低減できる。
請求項１５の発明によれば、情報取得手段により得られた情報の表示箇所以外の箇所が変化していないにも関わらず撮像結果を記憶する場合に比べ、撮像結果の記憶に用いる記憶装置の容量を低減できる。
請求頁１６の発明によれば、筆記者による被筆記面への筆記の有無に関わらず撮像結果を記憶する場合に比べ、撮像結果の記憶に用いる記憶装置の容量を低減できる。
請求項１７の発明によれば、撮像手段による撮像結果に対する筆記を行えるようになる。
請求項１８の発明によれば、撮像結果が表示されている状態にて被表示面に対して行われた筆記の内容を、後から見返すことが可能になる。
請求項１９の発明によれば、撮像部分をそのままの大きさで表示する場合に比べ、撮像部分の表示サイズを小さくしたり、撮像部分の一部を拡大表示したりすることができる。
請求項２０の発明によれば、被筆記面の大きさと同じサイズで撮像部分を表示する場合に比べ、被筆記面における余白領域を増やすことができる。
請求項２１の発明によれば、情報取得手段により得られた情報を、撮像部分が表示される箇所に表示する場合に比べ、情報取得手段により得られた情報をより見やすい状態で表示できる。
請求項２２の発明によれば、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようになる。
請求項２３の発明によれば、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようになる。
請求項２４の発明によれば、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようになる。
請求項２５の発明によれば、被筆記面における筆記内容の撮像結果のみを後から見返せる場合に比べ、撮像結果に含まれる筆記内容の理解をより円滑に行えるようになる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの全体構成を示した図である。
【図２】機器コントローラのハードウエアの構成を示した図である。
【図３】機器コントローラのＣＰＵ等により実現される機能部を示した図である。
【図４】（Ａ）〜（Ｄ）は、情報処理システム１にて実行される処理の流れの一例を示した図である。
【図５】（Ａ）〜（Ｅ）は、撮像結果の再生処理を示した図である。
【図６】（Ａ）〜（Ｄ）は、情報処理システムにおける他の処理例を示した図である。
【図７】（Ａ）〜（Ｅ）は、撮像結果の再生処理の他の処理例を示した図である。
【図８】上記にて説明した、撮像結果の登録処理の流れを示した図である。
【図９】筆記者の特定処理の流れを示した図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、情報処理システム１の全体構成を示した図である。
本実施形態の情報処理システム１には、筆記者による筆記が行われるホワイトボード１０が設けられている。このホワイトボード１０は、会議室８００内に設置されている。
【０００９】
ホワイトボード１０には、筆記者による筆記が行われる被筆記面１１が設けられている。被筆記面１１は、矩形状に形成され、また、上下方向（鉛直方向）に沿うよう配置されている。また、ホワイトボード１０には、筆記に用いられるマーカーペンや、筆記を消すための消去用部材が設けられている。
なお、本実施形態では、ホワイトボード１０を用いる場合を一例に説明するが、ホワイトボード１０に限らず、黒板を用いてもよい。また、ホワイトボード１０には、いわゆる電子ホワイトボードを用いてもよい。
【００１０】
さらに、本実施形態の情報処理システム１には、筆記者が被筆記面１１に対して行った筆記の内容を撮像する撮像手段の一例としてのボードカメラ２０が設けられている。
このボードカメラ２０は、図中符号２１で示す矩形状の撮像領域（以下、「撮像領域２１」と称する）の撮像を行う。本実施形態では、この撮像領域２１内に、ホワイトボード１０が含まれるように撮像領域２１が設定されている。
【００１１】
さらに、情報処理システム１には、ホワイトボード１０の上方に設けられ、ホワイトボード１０の前に立つユーザの顔を検出する顔検出カメラ３０が設けられている。
顔検出カメラ３０は、ホワイトボード１０の前にユーザが立った場合に、このユーザを検出し、さらに、公知の顔認証技術を用いて、このユーザを特定する。
なお、顔検出カメラ３０には、３Ｄカメラを併用してもよく、この場合は、人物の動きをより詳細に捉えられる。
また、顔検出カメラ３０の設置位置は、ホワイトボード１０の上方に限らず、例えば、顔検出カメラ３０をプロジェクター５０（後述）に組み込み、顔検出カメラ３０がホワイトボード１０側を向くようにしてもよい。ユーザは、筆記しながら発言する際にプロジェクター５０側を向くため、顔検出カメラ３０がホワイトボード１０側を向いていても、ユーザの顔の検出を行える。
【００１２】
さらに、会議室８００内には、ホワイトボード１０の前に立つユーザの音声を取得する音声入力マイク４０が設けられている。音声入力マイク４０は、ホワイトボード１０の周辺にいるユーザ（発話者）が行った発話についての情報（発話内容）を取得する。
さらに、会議室８００内であって、ホワイトボード１０の周辺には、温度センサ、湿度センサ、明度センサなどのセンサＳが設けられている。
【００１３】
ここで、本実施形態では、顔検出カメラ３０、音声入力マイク４０、センサＳ等は、情報取得手段の一部として機能する。顔検出カメラ３０、音声入力マイク４０、センサＳ等は、筆記者によるホワイトボード１０への筆記がなされる際の状況についての情報である状況情報を取得する。
さらに、本実施形態では、情報表示手段、撮像結果表示手段の一例としてのプロジェクター５０が設けられている。
【００１４】
プロジェクター５０は、ボードカメラ２０による撮像がなされる撮像領域２１内に（ホワイトボード１０の被筆記面１１に）、上記の状況情報（顔検出カメラ３０、音声入力マイク４０、センサＳ等により得られた状況情報）を表示する。
また、プロジェクター５０は、ボードカメラ２０により得られた撮像結果を、撮像領域２１内に（ホワイトボード１０の被筆記面１１に）、表示（投影）する。
【００１５】
さらに、情報処理システム１には、ユーザが所有する持ち込み機構６１からの情報を、無線通信により受信して、プロジェクター５０に出力する無線接続機６２が設けられている。
また、本実施形態では、会議室８００内に設置されている機器の制御を行う機器コントローラ６３が設けられている。
【００１６】
機器コントローラ６３は、筆記者によるホワイトボード１０への筆記がなされる際の、ホワイトボード１０の周辺の状況についての情報である状況情報を取得する。
具体的には、機器コントローラ６３は、顔検出カメラ３０、音声入力マイク４０、センサＳなど、ホワイトボード１０の周辺に設置されている機器（以下、「周辺機器」と称する）からの情報（状況情報）を取得する。付言すると、機器コントローラ６３は、筆記が行われる際における会議室８００内の状況情報を取得する。
【００１７】
また、機器コントローラ６３は、会議室８００内に設置されている機器の制御を行う。
具体的には、例えば、機器コントローラ６３は、プロジェクター５０を制御する。より具体的には、機器コントローラ６３は、制御用信号および上記の周辺機器から取得した状況情報を、プロジェクター５０に送信する。これにより、本実施形態では、ホワイトボード１０に、状況情報が表示される（詳細は後述）。
【００１８】
また、機器コントローラ６３は、例えば、制御用信号およびボードカメラ２０により得られた撮像結果を、プロジェクター５０に送信する。
これにより、本実施形態では、ボードカメラ２０により得られた撮像結果が、ホワイトボード１０に表示される（詳細は後述）。
また、本実施形態では、会議室８００における会議予定などの情報が会議室予約システムから取得され、この情報が、管理サーバ７０に格納される。
また、機器コントローラ６３は、有線もしくは無線で接続されているセンサＳなどの上記周辺機器から情報（状況情報）を取得し、取得したこの情報を管理サーバ７０へ送信する。
管理サーバ７０は、機器コントローラ６３から送信されてきた情報を格納する。また、管理サーバ７０は、機器コントローラ６３からのリクエストに応じて情報を送信する。例えば、管理サーバ７０は、自身が保持している状況情報などの情報を機器コントローラ６３に送信する。
【００１９】
さらに、本実施形態の情報処理システム１には、ボードカメラ２０により得られた撮像結果を記憶する画像データベース８２、画像データベース８２に登録（記憶）される撮像結果の管理を行うコンテンツサーバ８１が設けられている。
さらに、情報処理システム１には、例えば、ＬＡＮやインターネット回線により構成され、情報処理システム１を構成する上記各機器を接続する通信回線９０が設けられている。
【００２０】
図２は、機器コントローラ６３のハードウエアの構成を示した図である。
機器コントローラ６３は、コンピュータ装置により構成され、機器コントローラ６３には、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３が設けられている。また、ハードディスク装置などにより構成される記憶装置３０４が設けられている。さらに、機器コントローラ６３には、外部との通信を行うための通信インタフェース（通信Ｉ／Ｆ）３０５が設けられている。
【００２１】
ＣＰＵ３０１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、機器コントローラ６３へ提供しうる。また、ＣＰＵ３０１によって実行されるプログラムは、インターネットなどの通信手段を用いて機器コントローラ６３へダウンロードしてもよい。
【００２２】
図３は、機器コントローラ６３のＣＰＵ３０１等により実現される機能部を示した図である。なお、この図３では、後述する、情報の表示処理に関する機能部のみを表示している。
図３に示すように、機器コントローラ６３は、情報取得部３１１、撮像結果取得部３１２、画像生成部３１３を備える。
【００２３】
情報取得手段の他の一部として機能する情報取得部３１１は、筆記者によるホワイトボード１０への筆記がなされる際の、ホワイトボード１０の周辺の状況についての情報（会議室８００内の状況についての情報）である状況情報を取得する。
より具体的には、情報取得部３１１は、会議室８００内に設置されている上記周辺機器からの情報を得ることで、状況情報を取得する。
【００２４】
撮像結果取得手段の一例としての撮像結果取得部３１２は、ボードカメラ２０により得られた撮像結果を、ボードカメラ２０から取得する。
なお、撮像結果取得部３１２が取得したこの撮像結果は、コンテンツサーバ８１へ出力され、画像データベース８２に格納される。
【００２５】
生成手段の一例としての画像生成部３１３は、情報取得部３１１が取得した状況情報から、ボードカメラ２０による撮像領域２１内に表示される画像の元となる画像データを生成する。
生成されたこの画像データは、プロジェクター５０に出力され、この画像データに対応した画像が、ホワイトボード１０に表示される。これにより、本実施形態では、ホワイトボード１０の周辺の状況についての情報である状況情報が、ホワイトボード１０に表示される（詳細は後述）。
【００２６】
また、画像生成部３１３は、画像データベース８２（コンテンツサーバ８１）から、ボードカメラ２０による撮像領域２１内に表示される画像の元となる画像データ（ホワイトボード１０を撮像した過去の撮像結果）を取得する。
取得されたこの画像データは、プロジェクター５０に出力され、この画像データに対応した画像が、ホワイトボード１０に表示される。
これにより、本実施形態では、ボードカメラ２０により得られた撮像結果（ボードカメラ２０により得られ画像データベース８２に格納されていた過去の撮像結果）が、ホワイトボード１０に表示される（詳細は後述）。
なお、本実施形態では、画像データベース８２およびコンテンツサーバ８１がそれぞれ設けられた構成例を説明したが、画像データベース８２およびコンテンツサーバ８１を一緒にして１つの画像データベースとしてもよい。
また、画像データベース８２、コンテンツサーバ８１、および、状況情報等を格納する管理サーバ７０を一緒にして、一つのサーバとしてもよい。
本実施形態では、記録時（撮像結果の登録時）には、情報取得部３１１が取得したデータ（状況情報）が管理サーバ７０に送信され、撮像結果取得部３１２が取得した撮像結果がコンテンツサーバ８１に送信される（画像データベース８２に格納される）。
また、再生時（撮像結果の再生時）には、例えば、ユーザから得たキーワードを元に、画像生成部３１３が、コンテンツサーバ８１から撮像結果を取得し、管理サーバ７０から状況情報を取得し、そして、撮像結果および状況情報の両者が合成された合成画像を生成する（詳細は後述）。
【００２７】
図４（Ａ）〜（Ｄ）は、情報処理システム１にて実行される処理の流れの一例を示した図である。
図４（Ａ）は、ホワイトボード１０の初期状態を示しており、図４（Ａ）では、被筆記面１１に、未だ筆記がなされていない状態となっている。
図４（Ｂ）は、会議が開始され、ホワイトボード１０の前に、複数のユーザ（人物）が立った状態を示している。
【００２８】
本実施形態では、ホワイトボード１０の前にユーザが立つと、顔検出カメラ３０（図１参照）によって、このユーザが検知され、ボードカメラ２０による撮像が開始される。
さらに、本実施形態では、顔検出カメラ３０によって、ホワイトボード１０の前のユーザの各々が特定される。より具体的には、顔検出カメラ３０によって、顔認証が行われて、ホワイトボード１０の前のユーザの各々の人物ＩＤが特定される。なお、顔認証は、公知の技術を用いて行われる。
【００２９】
さらに、本実施形態では、顔検出カメラ３０によって、ホワイトボード１０への筆記を行う筆記者の人物ＩＤが特定される。
具体的には、顔検出カメラ３０は、ホワイトボード１０側を向いている人（ホワイトボード１０に正対している人）を、筆記者として特定し、この筆記者の人物ＩＤを特定する。また、顔検出カメラ３０は、ホワイトボード１０に正対している人が複数いる場合には、顔が最も大きい人（ホワイトボード１０の最も近くにいる人）を筆記者として特定し、この筆記者の人物ＩＤを特定する。
【００３０】
また、顔検出カメラ３０は、顔が最も大きい人が複数いる場合（同じ顔の大きさの人が複数いる場合）は、それぞれを筆記者として特定し、人物ＩＤを特定する。
本例では、図４（Ｂ）の「WorkerＡ」が筆記者として特定された場合を例示している（図４（Ｂ）の「WorkerＡ」の人物ＩＤが特定された場合を例示している）。
なお、本実施形態では、ホワイトボード１０の前のユーザの各々の人物ＩＤの特定、筆記者の人物ＩＤの特定を、顔検出カメラ３０にて行う場合を説明したが、これらの特定は、機器コントローラ６３にて行ってもよい。
【００３１】
人物ＩＤが特定された場合、本実施形態では、筆記者についての詳細情報が、管理サーバ７０に問い合わせた機器コントローラ６３を経由してプロジェクター５０に出力され、図４（Ｂ）の符号４Ｘに示すように、この筆記者についての詳細情報が、被筆記面１１に表示される。
より具体的には、管理サーバ７０は、顔検出カメラ３０や機器コントローラ６３が特定した人物ＩＤに基づき、人物情報システムに問い合わせを行い、名前などの詳細情報を取得する。そして、本実施形態では、この詳細情報が、機器コントローラ６３を経由してプロジェクター５０に出力され、被筆記面１１に表示される。
より具体的には、本実施形態では、機器コントローラ６３の情報取得部３１１が、管理サーバ７０が取得した上記の詳細情報を取得し、次いで、画像生成部３１３が、この詳細情報に基づき、被筆記面１１に表示する画像の元となる画像データを生成する。そして、この画像データを、プロジェクター５０に出力する。これにより、顔検出カメラ３０等により特定された、筆記者についての情報が、被筆記面１１に表示される。
【００３２】
本実施形態では、上記の筆記者の詳細情報を、ボードカメラ２０による撮像領域２１内に表示する。
言い換えると、本実施形態では、筆記者による被筆記面１１への筆記がなされる際の、被筆記面１１の周辺についての状況を示す状況情報が、ホワイトボード１０の被筆記面１１に表示される。
【００３３】
より具体的には、本実施形態では、情報表示手段の一例としてのプロジェクター５０により、情報取得部３１１が取得した状況情報が、被筆記面１１のうちの、予め定められた表示箇所４Ｙ（図４（Ｂ）参照）に表示される。
具体的には、本実施形態では、「WorkerＡ」という文字画像が、被筆記面１１の左上の部分に投影される。
【００３４】
本実施形態では、情報取得部３１１が、会議室８００内に設置された周辺機器からの情報（状況情報）を取得する。
そして、本実施形態では、取得されたこの状況情報が、プロジェクター５０に出力され、プロジェクター５０によって、この状況情報が、ホワイトボード１０に表示される。
【００３５】
なお、本実施形態では、得られた状況情報については、被筆記面１１に表示される他、ボードカメラ２０により得られる撮像結果（画像データベース８２に格納される撮像結果）の各々に対応付けられたうえで、管理サーバ７０に登録される。
具体的には、本実施形態では、状況情報として、筆記者情報、筆記者以外のユーザについての情報、会議室８００内の温度などの環境情報、発話情報などが得られるが、これらの情報は、撮像結果の各々に対応付けられたうえで、管理サーバ７０に登録される。
【００３６】
ここで、本実施形態では、状況情報を、ホワイトボード１０の被筆記面１１に表示するにあたり、筆記者により隠れてしまう箇所以外の箇所に表示する。
具体的には、本実施形態では、図４（Ｂ）の符号４Ｘで示すように、状況情報として、筆記者についての情報（筆記者情報）を、被筆記面１１に表示するが、この際、この状況情報を、筆記者４Ｚにより隠れてしまう箇所以外の箇所に表示する。
【００３７】
より具体的には、被筆記面１１の一部の領域であって、被筆記面１１の上部に、状況情報を表示する。より具体的には、本実施形態では、被筆記面１１の左上の領域に（被筆記面１１の左上の角部に）、状況情報を表示する。
また、本実施形態では、被筆記面１１が有する縁部１１Ｂおよび被筆記面１１の中央部１１Ｃのうちの、縁部１１Ｂに近い側に、状況情報を表示する。
【００３８】
また、本実施形態では、被筆記面１１のうち、筆記者４Ｚに対向する対向部分１１Ｅよりも上方に位置する部分に、状況情報を表示する。より具体的には、符号１１Ｇで示す破線よりも上方に位置する部分に、状況情報を表示する。
以上の表示を行うことにより、状況情報が筆記者４Ｚの背後に隠れることに起因して、状況情報が見えなくなることが抑制される。
【００３９】
なお、本実施形態では、状況情報として、筆記者情報を表示する場合を一例に説明するが、筆記者情報以外の他の情報を表示してもよい。
状況情報としては、その他に、例えば、被筆記面１１の周辺に位置するユーザについての情報を表示してもよい。すなわち、筆記者４Ｚ以外のユーザの情報を表示してもよい。
【００４０】
また、状況情報としては、その他に、被筆記面１１の周辺に位置する筆記者、ユーザ（発話者）が行った発話についての情報（発話情報）（発話内容）を表示してもよい。
なお、発話情報の表示を行う場合には、発話情報が、音声入力マイク４０によってまず取得される。次いで、音声入力マイク４０からの発話情報を、機器コントローラ６３の情報取得部３１１が取得する。
そして、画像生成部３１３が、音声入力マイク４０からのこの発話情報を解析して、発話情報をテキスト化する。その後、このテキスト化により得た情報を、プロジェクター５０に出力する。これにより、発話情報が被筆記面１１に表示される。
【００４１】
また、状況情報としては、その他に、被筆記面１１の周辺の環境についての情報である環境情報（会議室８００内の環境に関する情報）を表示してもよい。
具体的には、センサＳにより得られた、気温、湿度、照度などの情報を表示してもよい。
また、状況情報としては、その他に、例えば、時間情報、被筆記面１１の設置場所を示す場所情報などを表示してもよい。
また、状況情報を表示するにあたっては、表示を順次切り替えて、表示する状況情報を順次変更してもよい。
【００４２】
また、被筆記面１１に、複数の状況情報を表示してもよい。
なお、複数の状況情報を表示する場合は、表示の優先度を予め決めておくことが好ましい。
被筆記面１１には、そのサイズに大小があり、小さい場合には、全ての状況情報を表示することが困難になり、表示を行う状況情報を絞り込む必要が生じる。この場合に、上記のように、表示の優先度を予め決めておくと、この絞り込みを円滑に行える。
【００４３】
また、本実施形態では、筆記者４Ｚが、新たな筆記者に切り替わった場合には、この新たな筆記者の筆記者情報が表示される。
本実施形態では、リアルタイムに（予め定められた時間毎に）、筆記者４Ｚの特定、表示を行っており、筆記者４Ｚが新たな筆記者となった場合は、この新たな筆記者に対応した筆記者情報が表示される。
【００４４】
図４（Ｃ）は、筆記者による筆記がなされた後の状態を示した図である。
本実施形態では、ボードカメラ２０（図１参照）によって、図４（Ｃ）にて示す、筆記者４Ｚ、筆記者以外のユーザ、ホワイトボード１０の被筆記面１１が撮像される。
ホワイトボード１０の被筆記面１１には、筆記がなされ、また、状況情報が表示されており、本実施形態では、被筆記面１１が撮像されることで、被筆記面１１に筆記された内容である筆記内容と、状況情報とが撮像される。
【００４５】
ボードカメラ２０により得られた撮像結果は、画像データベース８２に登録される。
具体的には、ボードカメラ２０により得られた撮像結果は、コンテンツサーバ８１にまず出力され、コンテンツサーバ８１が、画像データベース８２への撮像結果の登録を行う。
ここで、コンテンツサーバ８１は、撮像結果を、動画ではなく、静止画で、画像データベース８２に登録する。
本実施形態では、コンテンツサーバ８１および画像データベース８２が、ボードカメラ２０による撮像結果を記憶する記憶手段として機能し、コンテンツサーバ８１および画像データベース８２によって、ボードカメラ２０からの撮像結果が、静止画の状態で記憶される。
【００４６】
なお、本実施形態では、ボードカメラ２０により得られる撮像結果の内容に変化があった場合に、画像データベース８２に、撮像結果を登録する。
より具体的には、本実施形態では、コンテンツサーバ８１が、ボードカメラ２０からの撮像結果の内容に変化があったか否かを判断し、変化があった場合に、この変化後の撮像結果を、図４（Ｄ）に示すように、画像データベース８２に登録する。
【００４７】
なお、画像データベース８２への撮像結果の登録は、撮像結果に変化があった場合に一律に行ってもよいし、撮像結果に変化があったとしても、この変化が、予め定められた箇所の変化である場合には、撮像結果の登録を行わないようにしてもよい。
具体的には、例えば、撮像結果の変化が、状況情報の表示箇所４Ｙ（図４（Ｃ）参照）にて起きた場合には、撮像結果の登録を行わないようにしてもよい。
【００４８】
付言すると、撮像結果の変化が、表示箇所４Ｙにて起きた場合であっても、この表示箇所４Ｙ以外の箇所が変化していない場合には、撮像結果の登録を行わないようにしてもよい。
より具体的には、本実施形態では、コンテンツサーバ８１が、撮像結果の内容を解析し、撮像結果の内容に変化があると、この撮像結果を登録するが、内容の変化が表示箇所４Ｙにて起きた場合には、撮像結果の登録を省略してもよい。
【００４９】
本実施形態では、表示箇所４Ｙにおける表示が切り替えられる場合があり、このような場合に、一律に撮像結果を登録する処理を行うと、筆記内容に変化がないにも関わらず、撮像結果が登録されてしまう。
これに対し、本実施形態のように、内容の変化が表示箇所４Ｙのみで起きた場合には登録を行わない処理を行うと、撮像結果の登録数が減り、撮像結果を記憶しておく記録装置の容量の低減を図れる。
また、画像データベース８２への撮像結果の登録は、撮像結果の内容に変化があり且つ筆記者による被筆記面１１への筆記が検知された場合に行うようにしてもよい。
この処理を行う場合、筆記者による被筆記面１１への筆記がないにも関わらず撮像結果が登録されることが抑制される。
ここで、例えば、プロジェクター５０により被筆記面１１に資料が表示され、さらに、この資料のページがめくられる場合がある。この場合、上記のように、筆記者による筆記が検知された場合に、撮像結果の登録を行うようにすれば、ページめくりのみに起因する撮像結果の登録が抑制される。言い換えると、筆記者による筆記がなされていないにも関わらず撮像結果が登録されることが抑制される。
なお、筆記者による被筆記面１１への筆記の検知は、例えば、被筆記面１１の振動を検知する振動センサを設けることで行える。
【００５０】
また、撮像結果を画像データベース８２に登録するにあたり、この撮像結果に含まれる状況情報が、一つ前に登録された撮像結果に含まれる状況情報と同じである場合には、被筆記面１１に表示されている状況情報を変更し、状況情報を変更した後の撮像結果を登録するようにしてもよい。
【００５１】
ここで、例えば、同じ筆記者が連続して筆記を行う場合、本実施形態の場合、同じ筆記者情報が、状況情報として連続して表示される。この場合、後に、撮像結果を見返した場合に、状況情報としては、筆記者情報しか得られない。
これに対し、上記のように、表示する情報を変更すると、後に、撮像結果を見返す場合に、異なる内容の状況情報を得られるようになる。
【００５２】
図５（Ａ）〜（Ｅ）は、撮像結果の再生処理を示した図である。
本実施形態では、ユーザの指示に応じ、被筆記面１１に対し、画像データベース８２に登録されている撮像結果の表示を行う。
撮像結果の表示にあたっては、本実施形態では、まず、図５（Ａ）に示すように、ユーザ（この例では、WorkerC）が、例えば、音声入力マイク４０（図１参照）を通じて、撮像結果を特定するためのキーワードを入力する。
そして、コンテンツサーバ８１が、図５（Ｂ）に示すように、画像データベース８２に格納されている撮像結果の検索を行い、キーワードに対応した撮像結果を特定する。
【００５３】
次いで、図５（Ｃ）に示すように、撮像結果表示手段の一例としてのプロジェクター５０（図１参照）により、この撮像結果が、ホワイトボード１０の被筆記面１１に表示される。より具体的には、本実施形態では、コンテンツサーバ８１により特定された撮像結果が、機器コントローラ６３を経由して、プロジェクター５０に出力され、撮像結果が、ホワイトボード１０の被筆記面１１に表示される。
【００５４】
ここで、本実施形態では、被筆記面１１への撮像結果の表示にあたり、少なくとも、被筆記面１１を撮像した撮像部分を、被筆記面１１に表示する。
具体的には、図５（Ｃ）の符号５Ｘで示す矩形状の枠の内側が、過去に被筆記面１１を撮像した撮像部分（以下、「被筆記面撮像部分」と称する）に該当し、少なくとも、この被筆記面撮像部分を、被筆記面１１に表示する。
【００５５】
ここで、本実施形態では、被筆記面撮像部分の表示にあたり、被筆記面撮像部分の大きさを変えて被筆記面撮像部分を表示する。
具体的には、本実施形態では、被筆記面撮像部分の大きさを小さくし、被筆記面１１の大きさよりも小さいサイズで被筆記面撮像部分を表示する。
【００５６】
さらに、本実施形態では、被筆記面１１のうちの、被筆記面撮像部分の表示箇所の周囲に位置する余白の部分に（符号５Ｘで示す矩形状の枠の外側に位置する余白の部分に）、情報取得部３１１が得た状況情報を表示する。
本実施形態のように、被筆記面１１の大きさよりも小さいサイズで被筆記面撮像部分を表示すると、この被筆記面撮像部分の周囲に余白が生じる。本実施形態では、この余白の部分に、その時点における状況情報を表示する。具体的には、本例では、状況情報として、筆記者が「WorkerC」であること示す情報（筆記者情報）を表示する。
【００５７】
なお、本実施形態では、被筆記面撮像部分のサイズを小さくすることで、余白を生じさせたが、被筆記面撮像部分の全部ではなく一部を表示することで、余白を生じさせてもよい。言い換えると、被筆記面撮像部分の一部の表示を省略することで、余白を生じさせてもよい。
また、被筆記面撮像部分の表示にあたっては、被筆記面撮像部分を大きくして表示してもよい。より具体的には、例えば、被筆記面撮像部分の一部の表示を省略するとともに、残りの他の部分を拡大して表示してもよい。この場合、被筆記面撮像部分が拡大されて表示され、細かな部分の確認を行いやすくなる。
【００５８】
また、被筆記面撮像部分の表示（再生表示）にあたっては、自動送りとしてもよいし、手動送りとしてもよい。また、巻き戻しを行えるようにしてもよい。
また、本実施形態では、音声入力マイク４０に対するユーザの指示により、被筆記面撮像部分の表示が行われる場合を一例に説明したが、タブレットなどの携帯端末に対するユーザからの指示を受け付けて、被筆記面撮像部分の表示を行ってもよい。
【００５９】
また、被筆記面撮像部分の表示（筆記内容の表示）にあたっては、筆記内容を構成する複数の描線（ストローク）を、描線毎に且つ時系列順に、順に表示してもよい。
また、筆記内容を構成する複数の描線に、筆記者が各々異なる複数の描線が含まれている場合、被筆記面撮像部分（筆記内容の表示）にあたっては、各描線がいずれの筆記者により筆記されたものであるかが分かるように表示してもよい。具体的には、例えば、筆記者毎に描画の色を変えたり、筆記者毎に、描線の背景を変えたりする表示を行ってもよい。
【００６０】
その後、この処理例では、図５（Ｄ）に示すように、被筆記面１１に対し、筆記者（WorkerC）による新たな筆記が行われる。
そして、この処理例では、この新たな筆記の内容、プロジェクター５０により被筆記面１１に表示されている撮像結果（被筆記面撮像部分）、および、プロジェクター５０により被筆記面１１に表示されている状況情報が、ボードカメラ２０により撮像される。
そして、図５（Ｅ）に示すように、ボードカメラ２０によるこの撮像結果が、画像データベース８２に登録される。さらに、状況情報が、画像データベース８２に登録される撮像結果に対応付けられたうえで、管理サーバ７０に登録される。
【００６１】
なお、本実施形態では、撮像結果がホワイトボード１０に表示され、ホワイトボード１０を見ることで、過去の撮像結果を確認する場合を一例に説明したが、撮像結果の確認方法はこれに限られない。
撮像結果の確認方法としては、その他に、ＰＣやタブレット端末などの端末装置（不図示）に、撮像結果を送信して、この端末装置にて、撮像結果の確認を行えるようにしてもよい。
【００６２】
図６（Ａ）〜（Ｄ）は、情報処理システム１における他の処理例を示した図である。より具体的には、図６は、ホワイトボード１０への筆記が行われる際の処理例を示した図である。
この処理例でも、上記と同様、筆記者が特定され、図６（Ｂ）の符号６Ａで示すように、特定したこの筆記者についての情報が、被筆記面１１に表示される。付言すると、この場合も、特定された筆記者についての情報が、ボードカメラ２０による撮像領域２１内に表示される。
【００６３】
より具体的には、この処理例では、筆記者が複数いる場合を例示しており、この場合は、筆記者の各々に対応させて、筆記者情報を複数表示する。
具体的には、この例では、筆記者として、「WorkerA」、「WorkerB」が、ホワイトボード１０の前に立っており、ホワイトボード１０には、この「WorkerA」、「WorkerB」の各々に対応した、筆記者情報「WorkerA」、「WorkerB」が表示される。
なお、本実施形態では、筆記者が複数いると判断された場合は、検知した筆記者の各々の顔の位置と、ホワイトボード１０における筆記位置から、各筆記者がどの筆記を行ったかを特定し、各筆記内容（各描線）と筆記者とを対応付けたうえで、画像データベース８２に登録する。
【００６４】
さらに、本実施形態では、複数の筆記者情報を表示するにあたり、複数の筆記者に含まれる筆記者の並び順と、表示を行う複数の筆記者情報の並び順とが一致するように、複数の筆記者情報を表示する。
より具体的には、本実施形態では、複数の筆記者である、「WorkerA」、「WorkerB」（図６（Ｂ）にて符号６Ｂで示す筆記者）が、図中左から右に向かって、「WorkerA」、「WorkerB」の順で並んでいる。
【００６５】
また、本実施形態では、被筆記面１１に表示される筆記者情報（符号６Ａで示す部分にて表示している筆記者情報）についても、図中左から右に向かって、「WorkerA」、「WorkerB」の順で並んでいる。
これにより、本実施形態では、複数の筆記者に含まれる筆記者の並び順と、複数の筆記者情報の並び順とが一致しない場合に比べ、各筆記者についての情報の把握をより正確に行える。
【００６６】
また、本実施形態では、各筆記者情報を表示するにあたり、被筆記面１１のうちの、各筆記者の対向箇所に位置する部分の上方に位置する部分に、筆記者情報を表示する。
その後、この例では、図６（Ｃ）に示すように、「WorkerA」、「WorkerB」のそれぞれにより、筆記が行われ、その後、図６（Ｄ）に示すように、ボードカメラ２０による、被筆記面１１の撮像結果が、画像データベース８２に登録される。
【００６７】
図７（Ａ）〜（Ｅ）は、撮像結果の再生処理の他の処理例を示した図である。
撮像結果の再生処理にあたっては、上記と同様、図７（Ａ）に示すように、ユーザ（この例では、「WorkerC」）による、音声入力マイク４０（図１参照）への発話が行われる。
次いで、上記と同様、図７（Ｂ）に示すように、画像データベース８２に格納されている撮像結果の検索が行われる。
【００６８】
そして、撮像結果が見つかると、図７（Ｃ）に示すように、見つかった撮像結果が、被筆記面１１に表示される。なお、この際、上記と同様、撮像結果は、サイズが小さくされたうえで、被筆記面１１に表示される。さらに、上記と同様、サイズを小さくすることにより得られる余白の部分に、状況情報が表示される。
その後、図７（Ｄ）、（Ｅ）に示すように、上記と同様、新たな筆記が行われると、この新たな筆記の内容、撮像結果（投影されている過去の撮像結果）、および、状況情報を撮像した新たな撮像結果（ボードカメラ２０により得られた新たな撮像結果）が、画像データベース８２に登録される。
【００６９】
ここで、本実施形態の情報処理システム１では、筆記内容の撮像結果が保存され、後に、この筆記内容を見返せば、会議内容などの把握を一応行える。
この場合に、本実施形態では、筆記内容の撮像結果以外に、筆記者情報などの状況情報の参照も併せて行える。この場合、状況情報を考慮に入れて筆記内容の確認を行えるようになり、筆記内容の理解をより円滑に行える。付言すると、本実施形態では、筆記がなされたときの背景状況も知ることができ、過去の筆記内容の理解をより円滑に行える。
【００７０】
なお、本実施形態の上記の処理内容は、遠隔会議などに用いてもよい。
上記の処理内容を遠隔会議に用いると、一方の場所にて行われた筆記の内容を、他方の場所にて確認する際に、この確認作業がより容易となる。
具体的には、他方の場所では、一方の場所における筆記内容のみならず、一方の場所における背景情報を知ることができ、他方の場所では、一方の場所にて行われた筆記の内容の確認をより行いやすくなる。
【００７１】
また、上記では、被筆記面１１への筆記が直接行われる場合を一例に説明したが、「被筆記面１１への筆記」とは、被筆記面１１への直接の筆記に限るものではなく、筆記が行われた付箋などの記録媒体を被筆記面１１に添付する場合も含む。
この場合も、状況情報を表示するようにすれば、この記録媒体における筆記内容の理解をより円滑に行える。
【００７２】
また、上記では、状況情報を被筆記面１１に投影し、この被筆記面１１を撮像することで、筆記の内容と状況情報の両者が載った画像の画像データを生成する場合を一例に説明したが（筆記の内容と状況情報の両者が載った撮像結果を得る場合を説明したが）、この両者が載った画像データは、他の方法により生成してもよい。
具体的には、例えば、被筆記面１１の撮像結果に対して、状況情報を示す画像を後から合成して、筆記の内容と状況情報の両者が載った画像の画像データを生成してもよい。
【００７３】
より具体的には、この場合は、例えば、生成手段として機能する画像生成部３１３が、管理サーバ７０に格納されている状況情報を用い、被筆記面１１の撮像結果（画像データベース８２に格納されている撮像結果）に合成される画像の元となる画像データを生成する。
そして、画像生成部３１３は、被筆記面１１の撮像結果に対し、生成したこの画像データを合成し、筆記の内容と状況情報の両者が載った画像の画像データを生成する。
言い換えると、この場合、画像生成部３１３は、管理サーバ７０に格納されている状況情報と、この状況情報に対応付けられている撮像結果（画像データベース８２に格納されている撮像結果）とを用い、筆記の内容と状況情報の両者が載った画像の画像データを生成する。付言すると、画像生成部３１３は、撮像結果および状況情報が合わさった合成画像を生成する。
【００７４】
また、上記では、状況情報を被筆記面１１に表示した場合を説明したが、被筆記面１１以外の箇所に、状況情報を表示してもよい。付言すると、撮像領域２１内ならば、被筆記面１１以外の箇所に、状況情報を表示してもよい。
また、上記では、一つの装置（一つのプロジェクター５０）で、撮像結果の表示、状況情報の表示の両者を行ったが、撮像結果の表示を行う装置、状況情報の表示を行う装置を各々設置してもよい。
【００７５】
また、上記では、状況情報の表示、撮像結果の表示を、投影により行ったが、ディスプレイなどの表示装置に、状況情報や撮像結果を表示してもよい。
また、上記では、撮像結果を、静止画で保存しておく場合を説明したが、撮像結果は、動画で保存してもよい。なお、静止画の方が、撮像結果の再生を行う際には、より短い時間で済むようになる。
また、撮像結果を動画で保存する場合にも、静止画の場合と同様、筆記内容に変化があった場合に、撮像結果を保存することが好ましい。
【００７６】
図８は、上記にて説明した、撮像結果の登録処理の流れを示した図である。
本実施形態の処理では、まず、ホワイトボード１０への筆記が行われる否かを判断する（ステップ１０１）。
具体的には、顔検出カメラ３０からの出力に基づき、ホワイトボード１０の前に、筆記者に該当する者がいるか否かを判断し、筆記者に該当する者がいると判断される場合、ホワイトボード１０への筆記が行われると判断する。
【００７７】
次いで、本実施形態では、状況情報を取得する。
具体的には、まず、顔検出カメラ３０にて、顔認証を行って、ホワイトボード１０の前にいる筆記者の各々を特定する（ステップ１０２）。具体的には、筆記者の各々の人物ＩＤを特定する。そして、上記のとおり、この人物ＩＤに基づき、筆記者の各々の詳細情報を取得する。
また、会議室８００内に設置されている周辺機器からの情報を取得し、発話情報、環境情報などの情報を取得する（ステップ１０３）。
【００７８】
そして、本実施形態では、被筆記面１１への筆記があると、筆記内容および状況情報が撮像された撮像結果（ボードカメラ２０による撮像結果）を、画像データベース８２に登録する（ステップ１０４）。また、状況情報については、撮像結果に対応付けたうえで管理サーバ７０に登録する。
その後、予め定められた時間をおいて（ステップ１０５）、処理を終了する。
なお、本実施形態では、ステップ１０１〜ステップ１０３の処理を繰り返し行い、被筆記面１１への筆記があると、ステップ１０４の処理に進み、画像データベース８２への撮像結果の登録を行う。
【００７９】
図９は、上記ステップ１０２にて実行される処理（筆記者の特定処理）の流れを示した図である。
この処理では、まず、顔検出カメラ３０が、自身が得た撮像結果を解析して、ホワイトボード１０の前に、ユーザがいるか否かを判断する（ステップ２０１）。
そして、ステップ２０１にて、ホワイトボード１０の前に、ユーザがいると判断された場合は、ユーザ情報が予め登録されたユーザ情報データベース（不図示）に、このユーザが登録されているか否かを判断する（ステップ２０２）。
【００８０】
そして、ユーザが登録されている場合には、ユーザ情報データベースから、このユーザの人物ＩＤ（このユーザを特定するための情報）を取得する。
さらに、特定した人物ＩＤの中から、ホワイトボード１０側を向いている人（ホワイトボード１０に正対している人）の人物ＩＤを特定し、そして、上記のとおり、特定したこの人物ＩＤに基づき、筆記者を特定する（筆記者の詳細情報を取得する）（ステップ２０３）。より詳細には、上記のとおり、管理サーバ７０が人物情報システムに問い合わせを行うことで、筆記者の詳細情報を取得し、筆記者を特定する。
【符号の説明】
【００８１】
１…情報処理システム、４Ｙ…表示箇所、１１…被筆記面、１１Ｂ…縁部、１１Ｃ…中央部、１１Ｅ…対向部分、２０…ボードカメラ、２１…撮像領域、３０…顔検出カメラ、４０…音声入力マイク、５０…プロジェクター、８１…コンテンツサーバ、８２…画像データベース、３１１…情報取得部、３１２…撮像結果取得部、３１３…画像生成部、Ｓ…センサ
【図１】
2019168894.tif 000003
【図２】
2019168894.tif 000004
【図３】
2019168894.tif 000005
【図４】
2019168894.tif 000006
【図５】
2019168894.tif 000007
【図６】
2019168894.tif 000008
【図７】
2019168894.tif 000009
【図８】
2019168894.tif 000010
【図９】
2019168894.tif 000011