(57)【要約】【課題】    アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させる。【解決手段】情報処理装置は、１又は複数の装置に入力された各データを受信する受信手段と、表示画面での表示位置が設定された各データを記憶する記憶手段と、距離が測定可能なデバイスから取得した情報に基づき、各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、投影された前記表示画面に対する指示物による指示を、測定結果により認識する指示認識手段と、表示画面に含まれる一のデータの表示領域に対する指示が認識された後、表示画面に含まれる他の領域に対する指示が認識された場合、他の領域に一のデータを移動させる変更制御手段と、を備える。【選択図】図４
2014102687.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の装置に入力された各データを受信する受信手段と、
表示画面での表示位置が設定された前記各データを記憶する記憶手段と、
距離が測定可能なデバイスから取得した情報に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、
投影された前記表示画面に対する指示物による指示を、前記測定結果により認識する指示認識手段と、
前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、
を備える情報処理装置。
【請求項２】
前記指示認識手段は、
平面推定された前記投影面と、前記指示物との距離が閾値以内であれば、指示を認識する請求項１記載の情報処理装置。
【請求項３】
前記表示画面に含まれるデータの数に応じて、前記データの表示倍率を変更する倍率変更手段をさらに備える請求項１又は２記載の情報処理装置。
【請求項４】
前記投影面に対するストロークを認識可能な筆記具からのデータに基づきストロークデータを認識するストローク認識手段をさらに備え、
前記表示制御手段は、
前記ストロークデータを前記表示画面に可視化する請求項１乃至３いずれか一項に記載の情報処理装置。
【請求項５】
前記変更制御手段は、
前記表示画面に含まれる色選択領域内の一の色に対する指示が認識された後、前記表示画面に含まれる一のデータに対する指示が認識された場合、該一のデータの色を、前記一の色に変更する請求項１乃至４いずれか一項に記載の情報処理装置。
【請求項６】
前記変更制御手段は、
前記表示画面に含まれる、前記データを整列させるための領域に対する指示が認識された場合、前記データの色に応じて前記各データをグループ化する請求項1乃至５いずれか一項に記載の情報処理装置。
【請求項７】
各情報処理装置と投影装置がネットワークを介して接続された情報処理システムであって、
１又は複数の情報処理装置に入力された各データを受信する受信手段と、
表示画面での表示位置が設定された前記各データを記憶する記憶手段と、
距離が測定可能なデバイスから取得された測定結果に基づき、前記投影装置により前記各データを含む表示画面が投影される投影面方向の物体の３次元位置を測定する測定手段と、
投影された前記表示画面に対する指示物による指示を、前記測定手段の測定結果により認識する指示認識手段と、
前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、
を備える情報処理システム。
【請求項８】
１又は複数の装置に入力された各データを受信する受信ステップと、
表示画面での表示位置が設定された前記各データを記憶部に記憶する記憶ステップと、
距離が測定可能なデバイスから取得された測定結果に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置を測定する測定ステップと、
投影された前記表示画面に対する指示物による指示を、前記測定ステップによる測定結果により認識する指示認識ステップと、
前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して他の装置とデータ通信を行う情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
会議の参加者でアイデアを出す方法の一つに、例えばＫＪ法がある。このＫＪ法を使ったアイデア発想を行う場合、参加者が付箋紙に自分のアイデアを書き、その付箋紙を皆が見える場所に貼り付け、議論をしながら付箋紙の配置を次々に変え、グループ化することでアイデアの整理が行われる。
【０００３】
しかし、付箋紙の移動や整理は、相当な手間がかかり、有用とされているＫＪ法を実施する際の１つの障壁になっている。そのため、ＫＪ法を含むアイデア発想会を電子化することで、手間を軽減しようとする技術がいくつか知られている。
【０００４】
例えば、筆圧センサ付きの特殊なペンを使って付箋に書くことで、筆圧センサの情報とカメラ情報とから筆跡が電子化され、付箋には無線タグが付いていて、特殊なドットパターンもあり、それらから位置を同定する技術がある（例えば特許文献１参照）。
【０００５】
また、ＫＪ法をタッチディスプレイなど高価な機器なしで便利に行うため、付箋にバーコードをつけておき、全体画像と個別画像とを撮り、最後に電子化するのを自動化する技術がある（例えば特許文献２参照）。
【０００６】
また、共有画面と、ペンタブレット、参加者の全景を互いに送り合い、遠隔でのブレーンストーミングを目的とし、共有画面で、参加者が入力した資料、ペンタブレットにより入力された資料を表示する技術がある（例えば特許文献３参照）。
【０００７】
また、データ入力の際、個々のユーザのＩ／Ｆに表示し、その後、複数ユーザが認識可能な共通のＩ／Ｆ部分にデータが転送される技術がある（例えば特許文献４参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の従来技術には、それぞれ問題点がある。例えば、特許文献１では、特殊な機器、紙を多数用意しなければならず、汎用性が少ない。また、特許文献１では、定期的に写真を撮らねばならず、そこで議論の流れが中断される可能性が高い。また、特許文献２では、バーコード付きの付箋が必要であり、準備に手間がかかる、又はその付箋を買う場合は費用が高い。また、特許文献３では、付箋の再配置に関しては記述されておらず、ＫＪ法には向かない。また、特許文献４では、特殊なディスプレイが必要であり、持ち運びが難しくコストも高い。
【０００９】
よって、従来技術では、アイデア発想会を電子化する際に、導入コストが高かったり、円滑に会を実行したりすることができなかった。
【００１０】
そこで、本発明は、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させることができることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様における情報処理装置は、１又は複数の装置に入力された各データを受信する受信手段と、表示画面での表示位置が設定された前記各データを記憶する記憶手段と、距離が測定可能なデバイスから取得した情報に基づき、前記各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する測定結果取得手段と、投影された前記表示画面に対する指示物による指示を、前記測定結果により認識する指示認識手段と、前記表示画面に含まれる一のデータの表示領域に対する指示が認識された後、前記表示画面に含まれる他の領域に対する指示が認識された場合、前記他の領域に前記一のデータを移動させる変更制御手段と、を備える。
【発明の効果】
【００１２】
本発明によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における情報処理システムの一例を示す図。
【図２】実施例１における情報処理システムの一概念を説明する図。
【図３】実施例１におけるサーバの構成の一例を示すブロック図。
【図４】実施例１における各装置の機能の一例を示すブロック図。
【図５】校正パターンの一例を示す図。
【図６】撮影画像の特徴点の一例を示す図。
【図７】ステレオカメラによる測距を説明する図。
【図８】投影元画像の座標値と、投影された画像の３次元座標値との対応関係を示す図。
【図９】ブロックマッチングを説明する図。
【図１０】タッチ検知を説明するための図。
【図１１】付箋データの移動の概念を説明する図。
【図１２】情報処理装置の表示画面の一例を示す図。
【図１３】データ位置情報の一例を示す図。
【図１４】キャンバス画像の一例を示す図。
【図１５】実施例１における情報処理装置の入力処理の一例を示すフローチャート。
【図１６】実施例１における情報処理の一例を示すフローチャート。
【図１７】実施例１における移動処理の準備処理の一例を示すフローチャート。
【図１８】実施例２における各装置の機能の一例を示すブロック図。
【図１９】実施例２における投影装置の情報処理の一例を示すフローチャート。
【図２０】実施例３における情報処理システムの一概念を説明する図。
【図２１】実施例３における各装置の機能の一例を示すブロック図。
【図２２】ストロークデータの一例を示す図。
【図２３】実施例３におけるストローク処理の一例を示すフローチャート。
【図２４】色選択の一概念を説明する図。
【図２５】付箋データの整列の一概念を説明する図。
【図２６】変形例２における情報処理システムの一概念を説明する図。
【発明を実施するための形態】
【００１４】
以下、本発明の各実施例を図面に基づいて説明する。
［実施例１］
＜システム＞
図１は、実施例１における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、投影装置１０と、サーバ２０と、複数の各情報処理装置３０とが有線又は無線のネットワークを介して接続され、相互にデータ通信を行うシステムである。サーバ２０は、情報処理装置とも称す。
【００１５】
情報処理システム１は、例えばアイデア発想会に用いられるシステムである。以降では、アイデア発想会としてＫＪ法を例にして説明する。なお、サーバ２０は、投影装置１０や情報処理装置３０に組み込まれてもよい。
【００１６】
図１に示す例では、情報処理システム１は、各情報処理装置３０−ｎ（ｎ＝１〜３、ｎは３以上でもよい）がネットワークを介してサーバ２０に接続されている。なお、各情報処理装置３０−ｎは、それぞれを区別する必要がなければ、情報処理装置３０として表記する。
【００１７】
各情報処理装置３０は、装置に入力されたアイデアなどのデータ（例えばアイデアが記載された付箋データ）をサーバ２０に送信する。
【００１８】
サーバ２０は、各情報処理装置３０から各データを受信すると、そのデータに対し、所定の表示画面内での配置位置を設定し、データ位置情報を記憶する。所定の表示画面は、各情報を表示するための画面であり、データ位置情報は、各データの属性を含む情報である。各データの属性には、配置位置、サイズ、倍率などを含む。サーバ２０は、各データを、データ位置情報に基づいて配置した表示画面の表示画面情報を投影装置１０に送信する。
【００１９】
投影装置１０は、サーバ２０から表示画面情報を受信すると、表示画面情報に基づく表示画面を投影面に投影する。このとき、投影装置１０は、距離を測定可能なデバイスを有し、投影面までの位置や、投影面と投影装置１０との間にある指示物までの距離を測定したりする。このデバイスを測距センサとも称す。
【００２０】
測距センサとして、複眼式のカメラ（ステレオカメラ）や赤外線センサや超音波センサなどがある。以下では、この測距センサとしてステレオカメラを例にして説明する。投影装置１０は、測距センサから得た測定結果（距離情報）を、サーバ２０に送信する。なお、測距センサが、測定結果を直接サーバ２０に送信してもよい。
【００２１】
サーバ２０は、投影装置１０から受信した測定結果に基づいて、表示画面が投影された投影面に対する指示物による指示を判定する。この指示としては、例えば指示物による投影面への接触がある。指示物としては、例えば、手や指し棒などが挙げられる。
【００２２】
サーバ２０は、指示を認識した場合には、その指示に従って表示されたデータが移動するようにしたり、データの色を変更したり、データの整理を行ったりする。サーバ２０は、更新後の表示画面情報を投影装置１０に送信することで、投影面には更新後の表示画面が投影される。
【００２３】
＜概念＞
図２は、実施例１における情報処理システム１の一概念を説明する図である。図２に示す情報処理システム１では、サーバ２０が、投影装置１０に組み込まれている例を示す。また、図２に示す例では、情報処理システム１を用いてＫＪ法を電子的に行う。
【００２４】
図２に示す情報処理装置３０は、例えばタブレット端末であり、このタブレット端末に手書きされたデータが付箋紙上に書いたかのように表示部に表示される。
【００２５】
各情報処理装置３０は、手書きされたデータを付箋データとして生成し、この付箋データの画像情報（例えばビットマップ形式の情報）を投影装置１０に送信する。投影装置１０のサーバ２０の機能を有する処理部が、これらの付箋データの配置位置を決定し、こられの付箋データを含む表示画面の表示画面情報を生成する。
【００２６】
投影装置１０は、各情報処理装置３０から送信された各データを含む表示画面を、投影面に投影する。投影装置１０に搭載された測距センサ４０は、投影面方向に存在する物体までの距離を測定する。投影装置１０は、測距センサ４０の測定結果に基づき、投影面に対するタッチを検知する。以下、指示としては、タッチを例にして説明する。
【００２７】
投影装置１０は、タッチを検知すると、タッチを検知した際の基準に従って、付箋データを移動したり、付箋データの色を変えたり、付箋データを整列させたり、最終結果として出力させたりする。
【００２８】
＜構成＞
図３は、実施例１におけるサーバ２０の構成の一例を示すブロック図である。図３に示すサーバ２０は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、及びネットワークＩ／Ｆ部１０６を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００２９】
制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたＫＪ法支援プログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、表示部１０８や記憶装置などに出力する。
【００３０】
主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００３１】
補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００３２】
ドライブ装置１０４は、記録媒体１０５、例えばＳＤカードなどからプログラムを読み出し、記憶装置にインストールする。また、記録媒体１０５に、例えばＫＪ法支援プログラムを格納し、ＫＪ法支援プログラムはドライブ装置１０４を介してサーバ２０にインストールされる。インストールされたＫＪ法支援プログラムは、サーバ２０により実行可能となる。
【００３３】
ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ、ＷＡＮなどのネットワークを介して接続された通信機能を有する周辺機器とサーバ２０とのインターフェースである。
【００３４】
なお、情報処理装置３０は、上記構成に加え、さらに入力部や表示部を備える。入力部は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部は、表示部と一体となったタッチパネルでもよい。
【００３５】
表示部は、ＬＣＤ（Liquid Crystal Display）等を有し、制御部１０１から入力される表示データに応じた表示が行われる。また、表示部は、情報処理装置１０と別体でもよく、この場合は、情報処理装置１０には、表示部を制御する表示制御部が設けられる。
【００３６】
＜機能＞
図４は、実施例１における各装置の機能の一例を示すブロック図である。まず、情報処理装置３０の機能について説明する。図４に示す情報処理装置３０は、作成手段２０１、及び通信手段２０２を備える。作成手段２０１は、例えば入力されたデータをＫＪ法による付箋データとして作成する。付箋データは、例えば手書きされたデータを含む画像データとして生成される。
【００３７】
通信手段２０２は、作成手段２０１により作成された付箋データをネットワークを介してサーバ２０に送信する。通信手段２０２は、例えばネットワークＩ／Ｆ部により実現され、作成手段２０１は、例えば入力部や制御部などにより実現されうる。
【００３８】
次に、サーバ２０の機能について説明する。サーバ２０は、通信手段３０１、配置手段３０２、記憶手段３０３、表示制御手段３０４、測定結果取得手段３０５、指示認識手段３０６、変更制御手段３０７、及び出力手段３０８を備える。
【００３９】
通信手段３０１は、情報処理装置３０や投影装置１０とデータの送受信を行う。例えば、通信手段３０１は、１又は複数の情報処理装置３０に入力された各データ（例えば付箋データ）を受信する受信手段として機能する。また、通信手段３０１は、投影装置１０に表示画面情報を送信したり、投影装置１０から、測距センサの測定結果を受信したりする。
【００４０】
配置手段３０２は、受信されたデータに対し、表示画面内での表示位置を設定し、位置情報を与える。
【００４１】
記憶手段３０３は、表示画面での表示位置が設定された各データ（データ位置情報）を記憶する。記憶手段３０３は、データ位置情報として、各データの位置、サイズ、画像データなどを保持する。
【００４２】
表示制御手段３０４は、記憶手段３０３に記憶されたデータ位置情報に基づいて、各データの画像情報を表示画面に配置し、表示画面情報を生成する。また、表示制御手段３０４は、後述する変更制御手段３０７により各データに変更が生じた場合は、その変更に従って、表示画面を更新する。
【００４３】
測定結果取得手段３０５は、距離が測定可能なデバイス（測距センサ４０）から取得した情報に基づき、各データを含む表示画面が投影される投影面方向の物体の３次元位置が測定された測定結果を取得する。投影面方向の物体には、投影面（壁やホワイトボード）、手や指し棒などが含まれる。
【００４４】
指示認識手段３０６は、投影された表示画面に対する指示物による指示を、測定結果取得手段３０５の測定結果により認識する。例えば、指示認識手段３０６は、平面推定された投影面と、指示物との距離が閾値以内であれば、指示（例えばタッチ）を認識する。
【００４５】
変更制御手段３０７は、指示認識手段３０６により指示が認識された場合、所定の基準に従って、その指示が何であるかを判断し、その指示に対応する変更を各データに加える。変更制御手段３０７は、変更内容を表示制御手段３０４に出力する。
【００４６】
変更制御手段３０７は、例えば、表示画面に含まれる一のデータの表示領域に対する指示が認識された後、表示画面に含まれる他の領域に対する指示が認識された場合、他の領域に一のデータを移動させる。
【００４７】
出力手段３０８は、ユーザから結果出力指示があった場合、結果出力時の表示画面の撮影画像、又はカテゴリ毎の付箋データを記憶手段３０３に記憶したり、出力したりする。
【００４８】
通信手段３０１は、例えばネットワークＩ／Ｆ部１０６により実現されうる。記憶手段３０３は、例えば主記憶部１０２及び／又は補助記憶部１０３により実現されうる。配置手段３０２、表示制御手段３０４、測定結果取得手段３０５、指示認識手段３０６、変更制御手段３０７、及び出力手段３０８は、例えば制御部１０１及びワークメモリとしての主記憶部１０２により実現されうる。
【００４９】
次に、投影装置１０の機能について説明する。投影装置１０は、例えばプロジェクタであり、通信手段４０１、投影手段４０２、及び測距手段４０３を備える。
【００５０】
通信手段４０１は、サーバ２０から表示画面情報を受信し、投影手段４０２に出力する。また、通信手段４０１は、測距手段４０３から取得した測定結果をサーバ２０に送信する。
【００５１】
投影手段４０２は、取得した表示画面情報に基づく表示画面を投影面に投影する。測距手段４０３は、例えば測距センサ４０であり、投影面方向に存在する物体までの距離などを測定する。測距手段４０３は、測定結果を通信手段４０１に出力する。
【００５２】
＜各処理＞
次に、情報処理システム１を用いてＫＪ法によるアイデア発想会を電子的に行う際の各処理について説明する。
【００５３】
≪移動処理準備≫
サーバ２０は、投影されたデータ（例えば付箋データ）の移動を行うための準備処理を行う。サーバ２０が投影装置１０に組み込まれている場合は、投影装置１０がこの準備処理を行う。
【００５４】
まず、投影装置１０は、校正パターンを投影面に投影する。図５は、校正パターンの一例を示す図である。図５に示すように、投影装置１０により、校正パターンｐ１１が、投影面に投影される。
【００５５】
校正パターンｐ１１は、ステレオカメラの測距センサ４０により撮影される。測距センサ４０は、校正パターンｐ１１を撮影した画像（以下、撮影画像とも称す）を、投影装置１０を介してサーバ２０に送信する。
【００５６】
測距手段４０３は、撮影画像から特徴点を抽出する。特徴点は、ＳＩＦＴ(Scale Invariant Feature Transform)などの手法を用いて、左右カメラで同一の点が抽出される。また、測距手段４０３は、左右両眼の画像から、Harris and Stephensのコーナー検出法などで、撮影画像のコーナーを求め、これを特徴点として使ってもよい（http://d.hatena.ne.jp/rebelwidow/20101108/1289240724、C. Harris and M. Stephens, A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference.(1988) 147-151）。
【００５７】
図６は、撮影画像の特徴点の一例を示す図である。図６に示す例では、撮影画像に対し、コーナーを特徴点とする例である。
【００５８】
また、測距手段４０３は、左右それぞれの画像における特徴点の位置座標を求め、三角測量の原理で距離を測る。測距手段４０３は、例えばステレオカメラにより撮影された画像を用いて測距する。
【００５９】
図７は、ステレオカメラによる測距を説明する図である。図７において、ステレオカメラは、第１の撮像レンズ４１ａ及び第２の撮像レンズ４１ｂを有する。また、ステレオカメラ４０は、第１の撮像レンズ４１ａ及び第２の撮像レンズ４１ｂの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子４２ａ及び第２の撮像素子４２ｂを有する。ここで、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【００６０】
第１の撮像レンズ４１ａと第２の撮像レンズ４１ｂとは、所定の間隔Ｄ（以下、基線長という。）で離間して配置されている。第１の撮像レンズ４１ａの光軸４３ａｘと第２の撮像レンズ４１ｂの光軸４３ｂｘは、平行である。第１の撮像素子４２ａ等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ４１ａ等の光軸４３ａｘ等は、第１の撮像素子４２ａ等の受光面の対角線の中心と一致するように位置決めされている。
【００６１】
測距手段４０３は、ステレオカメラが撮像した２つの撮像データに基づいて、上述の（対応点を抽出する動作）により、複数の対応点を抽出する。また、測距手段４０３、抽出された複数の対応点において、三角測量の原理により、画像処理装置から対応点（投影対象物）までの距離に関する距離データを算出する。
【００６２】
具体的には、第１の撮像レンズ４１ａを通して得られた投影対象物の第１の像は、第１の撮像素子４２ａ上の受光面に結像される。他方、第２の撮像レンズ４１ｂを通して得られた投影対象物の第２の像は、第２の撮像素子４２ｂ上の受光面に結像される。
【００６３】
ここで、投影対象物の第１の像と第２の像とは、視差Δだけ変位して、それぞれの受光面に結像されている。このとき、撮像素子４２ａ、４２ｂは、第１の像及び第２の像の光による明暗を電荷の量に光電変換し、画素出力信号として、測距手段４０３に出力する。測距手段４０３は、撮像素子４２ａ、４２ｂの画素出力信号を比較し、対応点における視差Δを検出する。
【００６４】
ここで、視差Δ、基線長Ｄ、画像処理装置と対応点との離間距離Ｌ、及び、撮像レンズ４１ａ等の焦点距離ｆとすると、Ｌ＞＞ｆを条件に、式（１）が成り立つ（三角測量の原理）。
【００６５】
【数１】
2014102687.tif 000003
この場合、Ｄとｆは既知である。測距手段４０３は、検出した視差Δから、式（１）により、離間距離Ｌを算出する。また、測距手段４０３は、算出した離間距離Ｌを対応点に対応する距離データとして、三次元点群の距離に関する距離データを取得する。
【００６６】
（平面を推定する動作）
測距手段４０３が投影対象物に対応する平面を推定する処理について説明する。測距手段４０３は、算出した三次元点群（対応点）の距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。
【００６７】
測距手段４０３は、三次元点群としてｎ個の対応点（ｘＡＢｉ，ｙＡＢｉ，ｚＡＢｉ）（ｉ＝１〜ｎ）が求められる。ここで、ｙ軸方向は、ステレオカメラ４０の光軸方向である。また、ｙＡＢｉは、測距手段４０３により測定された投影対象物（対応点（ｘＡＢｉ，ｚＡＢｉ））と画像処理装置との離間距離Ｌのｙ成分である。
【００６８】
測距手段４０３は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｙ＝ａｘ＋ｂｚ＋ｃと定義する。ここで、回帰平面と三次元点群とは、数式（２）が成り立つ。
【００６９】
【数２】
2014102687.tif 000004
ここで、式（２）の変数は、式（３）である。
【００７０】
【数３】
2014102687.tif 000005
このとき、ｅｉは残差を示す。
【００７１】
次に、正規方程式は、式（４）となる。
【００７２】
【数４】
2014102687.tif 000006
よって、βは、式（５）となる。
【００７３】
【数５】
2014102687.tif 000007
以上より、最小二乗法を用いて、残差ｅｉの平方和が最小となる定数ａ、ｂ、及び、ｃを算出することにより、回帰平面（ｙ＝ａｘ＋ｂｚ＋ｃ）を求めることができる。測距手段４０３は、回帰平面データとして、回帰平面の方程式（ｙ＝ａｘ＋ｂｚ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。
【００７４】
測距手段４０３は、求めた回帰平面データについて、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とし、この回帰平面を表す式を記録しておく。測距手段４０３は、特徴点の３次元座標と、撮影画像の特徴点の座標値との対応関係を保持する。測距手段４０３は、多数の特徴点から、３次元座標を投影対象画像上の座標値に変換するため、透視投影変換を行ってもよい。測距手段４０３は、３次元座標を（Ｘ，Ｙ，Ｚ）、投影対象画像の座標値を（ｕ，ｖ）とおくと、式（６）を用いて投影対象画像の座標値を求めることができる。
【００７５】
【数６】
2014102687.tif 000008
図８は、投影元画像の座標値と、投影された画像の３次元座標値との対応関係を示す図である。図８に示す例では、投影元画像の座標値（ｕ１２，ｖ１２）が、投影された画像の３次元座標値（Ｘ１２，Ｙ１２，Ｚ１２）に対応する。
【００７６】
測距手段４０３は、求めた投影対象画像上の座標値を含む測定結果を、サーバ２０に送信する。なお、測距手段４０３の距離データを求める処理や、平面推定処理は、サーバ２０側で行われてもよい。
【００７７】
≪移動処理≫
次に、付箋データの移動処理について説明する。まず、サーバ２０は、情報処理装置３０との通信を確立する。サーバ２０は、情報処理装置３０から取得した付箋データを投影装置１０に送信する。投影装置１０は、付箋データを投影面に投影する。
【００７８】
測距センサ４０は、投影面を撮影し、その撮影画像を利用して、スクリーン付近までの距離を測る。
【００７９】
測距手段４０３は、固定サイズのブロックを仮定し、左右でマッチングをとることにより、左右のカメラで撮影している同一の点が画像上のどこにあるかを求める。測距手段４０３は、候補となる点の座標を左（ｘｌ，ｙｌ）、右（ｘｒ，ｙｒ）とし、周囲数画素のブロックについて、左右の際をもとめ、下記ＳＡＤ又はＳＳＤの値が極大になる画素が対応する点となる（例えばhttp://www.cvl.iis.u-tokyo.ac.jp/~vanno/Programming/stereo_program.pdf参照）。
【００８０】
図９は、ブロックマッチングを説明する図である。図９に示す例では、第１の画像の特徴点ＵＬ＝（ｘＬ，ｙ）と、第２の画像の特徴点ＵＲ＝（ｘＲ，ｙ）とのマッチング処理が行われるとする。
【００８１】
【数７】
2014102687.tif 000009
【００８２】
【数８】
2014102687.tif 000010
測距手段４０３は、式（７）により求められるＳＡＤや、式（８）により求められるＳＳＤにより、第１の画像と、第２の画像とで対応する点を求める。なお、測距手段４０３の一部の処理を、サーバ２０側に行わせるようにしてもよい。
【００８３】
指示認識手段３０６は、投影面に対する指示があるかどうかの認識処理を行う。指示認識手段３０６は、投影画像上で数多くの点が測距された３次元座標値と、回帰平面との距離を、式（９）を用いて求める。
【００８４】
指示認識手段３０６は、例えば、点（ｘ０，ｙ０，ｚ０）と平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の距離は、式（９）で算出できる。
【００８５】
【数９】
2014102687.tif 000011
指示認識手段３０６は、求めた距離が一定範囲内にある点群を求める。これは、投影面に対するタッチ検知のためである。なお、指示認識手段３０６は、肌色検出を行って、肌色部分の特徴点（エッジ点）と、回帰平面との距離を用いてもよい。また、指示認識手段３０６は、指し棒の先にある特定の色を検出し、この色の部分を特徴点とし、この特徴点と回帰平面との距離を用いてもよい。
【００８６】
図１０は、タッチ検知を説明するための図である。図１０に示す例では、手で投影面にタッチする場合を示す。図１０に示すように、投影面までの距離を求めておけば、指示認識手段３０６は、投影面から所定距離以内に手の特徴点（黒菱形）があれば、タッチと認識することができる。所定距離は、予め実験などにより適切な値が設定されればよい。
【００８７】
また、指示認識手段３０６は、投影面から所定距離より離れたところに手の特徴点（白三角）があれば、タッチと認識しない。
【００８８】
変更制御手段３０７は、投影面から所定距離内にある点群が相当する場所に、付箋データがあれば、その付箋データが選択されたと検知する。変更制御手段３０７は、記憶手段３０３に記憶されているデータ位置情報を参照して、どの付箋データが選択されたかを判定する。
【００８９】
ここで、付箋データの位置は、投影元画像の座標値と関連付けて記憶手段３０３に記録されている。また、透視投影行列Ｐから、３次元点から投影元座標の相当する位置は、求められる。
【００９０】
変更制御手段３０７は、投影元画像で付箋データに相当する位置に、検知した手があれば、この付箋データがタッチされたと判断できる。変更制御手段３０７は、ある付箋データが選択された状態で、何もない場所にタッチが検知された場合は、その場所を付箋データの移動場所と判定する。
【００９１】
変更制御手段３０７は、付箋データの座標値を、移動先の座標値に変更するよう表示制御手段３０４に指示する。表示制御手段３０４は、付箋データの座標値を変更した場合、記憶手段３０３のデータ位置情報を同様に変更する。
【００９２】
表示制御手段３０４は、付箋データの座標値を変更した場合、更新後の表示画面の表示画面情報を投影装置１０に送信する。よって、投影される表示画面が最新の画像に更新される。
【００９３】
図１１は、付箋データの移動の概念を説明する図である。図１１（Ａ）に示す例では、投影面の表示画面に付箋データｓ１１と付箋データｓ１２とが表示されている。また、投影面付近に手が存在するが、この手は投影面からの距離が閾値（所定距離）より離れている。
【００９４】
図１１（Ｂ）に示す例では、指示認識手段３０６によりタッチが認識される。これは、手が投影面から所定距離以内にあるからである。また、変更制御手段３０７は、付箋データｓ１１内でのタッチであると認識し、付箋データｓ１１が選択状態であると判定する。
【００９５】
図１１（Ｃ）に示す例では、手が移動した状態を示す。図１１（Ｃ）に示す例では、タッチはまだ検知されていない。
【００９６】
図１１（Ｄ）に示す例では、指示認識手段３０６は、タッチを認識する。変更制御手段３０７は、他の領域でのタッチであるので、選択状態の付箋データｓ１１の移動であると判定する。
【００９７】
変更制御手段３０７は、例えばタッチされた手部分の中心と、付箋データｓ１１の中心とが一致するように位置を変更すればよい。また、表示画面に対し、付箋データの配置位置を区画割りしておいて、どの区画にタッチされたかを変更制御手段３０７が検知し、その区画に付箋データｓ１１を配置するように変更制御手段３０７が変更してもよい。
【００９８】
≪付箋作成処理≫
次に、付箋作成処理について説明する。図１２は、情報処理装置３０の表示画面の一例を示す図である。図１２に示す情報処理装置３０の画面中央部に、ユーザは、電子ペンで手書き文字を描くことができる。
【００９９】
画面の右端には操作を行うボタンがある。ユーザは、操作ボタンを用いることで、手書き文字の画像情報をサーバ２０側に送信したり、サーバ２０に蓄積された付箋データ類を出力（印刷など）したり、通信の確立、切断などができる。また、ユーザは、付箋紙の色を選択したり、書いた文字を消去（取り消し）したりすることもできる。
【０１００】
情報処理装置３０は、利用開始前に、サーバ２０との通信を確立しておく。情報処理装置３０は、例えばタッチパネル上で文字や図形が描かれ、これらを画像データとして端末内に一時保存する。
【０１０１】
ユーザが、情報処理装置３０の表示部に用意された「送信」ボタンを押すと、情報処理装置３０は、表示部に描かれた手書きデータの画像データをサーバ２０に送信する。
【０１０２】
サーバ２０は、情報処理装置３０から画像データを取得すると、画像データに基づき付箋データを作成する。配置手段３０２は、予め定めておいた初期位置と倍率とを付箋データに付与する。配置手段３０２は、例えば図２に示す例を用いると、「未分類」の位置にセットする。
【０１０３】
データ位置情報は、画像データと、画像データの位置、サイズ、倍率、カテゴリなどを含む情報である。
【０１０４】
≪付箋の表示処理≫
次に、付箋の表示処理について説明する。付箋は、デジタルデータ化されており、データ位置情報は、以下のデータを含んでいる。
・表示位置の左上座標（ｘ，ｙ）
・表示倍率（ａ）
・画像の幅と高さ（ｗ，ｈ）
・画像データ（ｉ）
図１３は、データ位置情報の一例を示す図である。図１３に示す例では、付箋データの位置、倍率、サイズ、画像データが関連付けられている。なお、図２に示すように、表示画面に分類がある場合は、データ位置情報は、さらに、カテゴリを対応付け、その付箋データが、どのカテゴリに属するかを保持するようにしてもよい。図２に示す例では、カテゴリは、ｙ座標の位置によって判別することができる。
【０１０５】
表示制御手段３０４は、投影装置１０が投影できるラスター画像を作り、このラスター画像の表示画面情報を投影装置１０に送信する。投影装置１０は、このラスター画像を投影することで表示を行う。ラスター画像は以下のように作られる。
【０１０６】
まず、表示制御手段３０４は、投影装置１０が投影できる最大ピクセル数の、何も描かれていない画像を作成する。以下では、この画像をキャンバス画像と呼ぶことにする。
【０１０７】
表示制御手段３０４は、データ配置情報から付箋データを１つ取得する。表示制御手段３０４は、画像データ（ｉ）を表示倍率（ａ）倍して画像を生成し、付箋画像とする。表示制御手段３０４は、表示位置（ｘ，ｙ）に従い、付箋画像をキャンバス画像に貼り付ける。表示制御手段３０４は、この処理を全ての付箋データに対して行う。
【０１０８】
表示制御手段３０４は、キャンバス画像に全ての付箋データを張りおわったら、更新後の表示画面情報を投影装置１０に送信する。投影装置１０は、投影画像を、受信されたキャンバス画像に入れ替えて、表示をリフレッシュする。また、表示制御手段３０４の一部の処理を投影装置１０に行わせるようにしてもよい。
【０１０９】
図１４は、キャンバス画像の一例を示す図である。図１４に示す例は、図１３に示すデータ位置情報に基づいて生成されたキャンバス画像である。
【０１１０】
≪出力処理≫
次に、出力処理について説明する。出力処理は、上述した電子的なＫＪ法の最終結果を出力する処理である。
【０１１１】
サーバ２０は、投影装置１０からの操作、投影面上の特定アイコンのタッチ、あるいは情報処理装置３０からの指示を受けつけ、出力指示の有無を確認する。サーバ２０は、出力指示がある場合、データ位置情報から画像を生成する。
【０１１２】
出力手段３０８は、表示用よりも高解像度の画像を生成してもよい。また、出力手段３０８は、キャンバス画像を大きくとり、倍率を大きくすることで高解像度の画像を生成することができる。
【０１１３】
出力の方法は様々であるが、例えば関係者にメールで画像を送る、印刷機に送って画像を印刷させる、画像ファイルとして記憶手段３０３などに保存する、などが考えられる。なお、画像ファイルとしては、後ほど編集が可能なように、カテゴリ毎に付箋データを関連付けて保持しておくとよい。
【０１１４】
≪終了処理≫
次に、終了処理について説明する。サーバ２０は、投影装置１０での操作、投影面上の特定アイコンのタッチ、あるいは情報処理装置３０からの指示を受けつけ、終了の指示があるかを確認する。
【０１１５】
サーバ２０は、終了指示がなければ投影・移動を続行し、終了指示があれば通信を切断して、上記処理を終了する。
【０１１６】
＜動作＞
次に、実施例１における情報処理システム１の動作について説明する。まず、情報処理装置３０の入力処理について説明する。
【０１１７】
図１５は、実施例１における情報処理装置３０の入力処理の一例を示すフローチャートである。図１５に示すステップＳ１０１で、通信手段２０２は、サーバ２０との通信を確立する。
【０１１８】
ステップＳ１０２で、作成手段２０１は、ユーザから手書き入力又はキー入力などによりデータが入力され、このデータを記載した付箋データを作成する。
【０１１９】
ステップＳ１０３で、情報処理装置３０は、送信ボタンの押下などにより、送信指示があるか否かを判定する。送信指示があれば（ステップＳ１０３−ＹＥＳ）ステップＳ１０４に進み、送信指示がなければ（ステップＳ１０３−ＮＯ）ステップＳ１０５に進む。
【０１２０】
ステップＳ１０４で、通信手段２０２は、作成された付箋データをサーバ２０に送信する。
【０１２１】
ステップＳ１０５で、情報処理装置３０は、終了ボタンの押下などにより、終了指示があるか否かを判定する。終了指示があれば（ステップＳ１０５−ＹＥＳ）ステップＳ１０６に進み、終了指示がなければ（ステップＳ１０５−ＮＯ）ステップＳ１０２に戻る。
【０１２２】
ステップＳ１０６で、通信手段２０２は、サーバ２０に終了コマンドを送信し、サーバ２０との通信を切断する。
【０１２３】
次に、サーバ２０と投影装置１０との動作について説明する。図１６は、実施例１における情報処理の一例を示すフローチャートである。図１６に示すステップＳ２０１で、サーバ２０は、上述した移動処理の準備を行う。この処理は、図１７を用いて後述する。
【０１２４】
ステップＳ２０２で、通信手段３０１は、情報処理装置３０との通信を確立する。ステップＳ２０３で、表示制御手段３０４は、初期表示画面を生成し、投影装置１０に送信する。投影装置１０では、初期表示画面を投影し、表示する。
【０１２５】
ステップＳ２０４で、通信手段３０１は、各情報処理装置３０からデータ（付箋データ）を受信したか否かを判定する。データが受信されていれば（ステップＳ２０４−ＹＥＳ）ステップＳ２０５に進み、データが受信されていなければ（ステップＳ２０４−ＮＯ）ステップＳ２０７に進む。
【０１２６】
ステップＳ２０５で、配置手段３０２は、付箋データを作成する。ステップＳ２０６で、配置手段３０２は、付箋データを初期表示位置に配置し、位置情報を与える。
【０１２７】
ステップＳ２０７で、測距手段４０３は、測距センサ４０からの情報により、投影方向の物体までの位置を測定する。測定結果取得手段３０５は、測距手段４０３から測定結果を取得する。
【０１２８】
ステップＳ２０８で、指示認識手段３０６は、投影面に対する指示物による指示を認識したとする。この認識は、指示物と投影面との距離が閾値以内であれば、指示（投影面に対するタッチ）を認識する。
【０１２９】
ステップＳ２０９で、変更制御手段３０７は、移動指示があったか否かを判定する。移動指示があれば（ステップＳ２０９−ＹＥＳ）ステップＳ２１０に進み、移動指示がなければ（ステップＳ２０９−ＮＯ）ステップＳ２１１に進む。
【０１３０】
ステップＳ２１０で、変更制御手段３０７は、付箋データを更新する。この更新は、付箋データの座標を変更する処理である。
【０１３１】
ステップＳ２１１で、表示制御手段３０４は、付箋データの表示位置を、変更後の位置に再配置する。
【０１３２】
ステップＳ２１２で、サーバ２０は、出力指示があるか否かを判定する。出力指示があれば（ステップＳ２１２−ＹＥＳ）ステップＳ２１３に進み、出力指示がなければ（ステップＳ２１２−ＮＯ）ステップＳ２１５に進む。
【０１３３】
ステップＳ２１３で、出力手段３０８は、出力データを作成する。どの出力データ（画像データ、画像ファイル、印刷画像など）を作成するかは、ユーザなどにより選択されればよい。ステップＳ２１４で、出力手段３０８は、結果情報の出力を行う。
【０１３４】
ステップＳ２１５で、通信手段３０１は、情報処理装置３０から終了指示の取得などにより、終了指示があるか否かを判定する。終了指示があれば（ステップＳ２１５−ＹＥＳ）ステップＳ２１６に進み、終了指示がなければ（ステップＳ２１５−ＮＯ）ステップＳ２０４に戻る。ステップＳ２１６で、通信手段３０１は、情報処理装置３０との通信を切断する。
【０１３５】
次に、移動処理の準備処理について説明する。図１７は、実施例１における移動処理の準備処理の一例を示すフローチャートである。
【０１３６】
図１７に示すステップＳ３０１で、投影手段４０２は、校正パターンを投影する（例えば図５参照）。
【０１３７】
ステップＳ３０２で、測距手段４０３は、投影面に投影された校正パターンを撮影し、撮影画像を生成する。
【０１３８】
ステップＳ３０３で、測距手段４０３は、撮影画像から特徴点を抽出する（例えば図６参照）。
【０１３９】
ステップＳ３０４で、測距手段４０３は、三角測量の原理により、特徴点までの距離を算出する。
【０１４０】
ステップＳ３０５で、測距手段４０３は、上述したように、特徴点の３次元座標を求める。
【０１４１】
ステップＳ３０６で、測距手段４０３は、上述したように、回帰平面を求める。ステップＳ３０７で、測距手段４０３は、式（６）等を用いて透視投影行列Ｐを求める。これにより、移動処理の準備処理が完了する。
【０１４２】
以上、実施例１によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することができる。
【０１４３】
また、実施例１によれば、投影装置１０に測距センサ４０を付与することで、特殊なハードウェアが不要となる。測距センサ４０は、既に販売されているものを用いることができ、測距センサ４０は廉価である。また、投影装置１０としてのプロジェクタは、持ち運びが容易で大きな画面が得られる。また、実施例１における情報処理システム１を導入することで、議論中には写真を撮るなど特殊な作業は必要なく、議論の流れを妨げず、円滑に会を実行することができる。
【０１４４】
［実施例２］
次に、実施例２における情報処理システムについて説明する。実施例２では、サーバ２０の機能を投影装置１０に組み込んでいる例であり、さらに、投影される付箋データの表示倍率を変更できる。実施例２における投影装置は、投影装置１０Ａと表記される。
【０１４５】
＜システム及び構成＞
実施例２におけるシステム及び構成は、実施例１におけるサーバ２０が投影装置１０Ａに組み込まれているところが、実施例１と異なる。
【０１４６】
＜機能＞
図１８は、実施例２における各装置の機能の一例を示すブロック図である。情報処理装置３０の機能は、実施例１と同様であるため、その説明を省略する。
【０１４７】
サーバ機能を有する投影装置１０Ａは、配置手段３０２、記憶手段３０３、表示制御手段３０４、指示認識手段３０６、変更制御手段３０７、出力手段３０８、投影手段４０２、測距手段４０３、通信手段５０１、及び倍率変更手段５０２を備える。
【０１４８】
図１８に示す投影装置１０Ａの機能で、図４に示す機能と同様のものは同じ符号を付す。以下では、実施例２において異なる機能について主に説明する。
【０１４９】
通信手段５０１は、各情報処理装置３０から、各データ（例えば付箋データ）を受信する。また、通信手段５０１は、出力手段３０８による出力データを、各情報処理装置３０に送信してもよい。
【０１５０】
倍率変更手段５０２は、例えば、投影される表示画面に含まれる付箋データの数に応じて、付箋データの表示倍率を変更する。倍率変更手段５０２は、例えば、表示画面内の付箋データの数が閾値以上になれば、データ位置情報の倍率（ａ）部分を現在値より小さくするよう書き換える。また、倍率変更手段５０２は、表示画面の付箋データの数が閾値未満になれば、データ位置情報の倍率（ａ）を現在値より大きくしてもよい。
【０１５１】
表示制御手段３０４は、倍率更新後の表示画面を生成し、投影手段４０２は、投影される表示画面を、更新後の表示画面にリフレッシュすればよい。また、倍率変更手段５０２は、投影画面に倍率変更ボタンを表示させ、この倍率変更ボタンがタッチされたことを検知した場合、倍率を変更するようにしてもよい。
【０１５２】
これにより、表示画面内の付箋データの数に応じて、付箋データの倍率を変更できるので、適切なサイズで付箋データを表示、投影することができる。
【０１５３】
＜動作＞
次に、実施例２における情報処理システムの動作について説明する。図１９は、実施例２における投影装置１０Ａの情報処理の一例を示すフローチャートである。図１９に示すステップＳ４０１〜Ｓ４１１の処理は、図１６に示すステップＳ２０１〜Ｓ２１１の処理と同様である。
【０１５４】
ステップＳ４１２で、倍率変更手段５０２は、倍率の変更指示があるか否かを判定する。倍率の変更指示は、表示制御手段３０４が、表示画面内の付箋データの数に応じて倍率変更手段５０２に変更指示を出してもよいし、操作ボタンなどによりユーザから明示的に変更指示されてもよい。
【０１５５】
倍率の変更指示があれば（ステップＳ４１２−ＹＥＳ）ステップＳ４１３に進み、倍率の変更指示がなければ（ステップＳ４１２−ＮＯ）ステップＳ４１５に進む。
【０１５６】
ステップＳ４１３で、倍率変更手段５０２は、付箋データを更新する。この更新は、付箋データの倍率を変更する処理である。
【０１５７】
ステップＳ４１４で、表示制御手段３０４は、付箋データを、変更後の倍率にして表示するよう表示画面を更新する。
【０１５８】
ステップＳ４１５〜Ｓ４１９の処理は、図１６に示すステップＳ２１２〜Ｓ２１６の処理と同様である。
【０１５９】
以上、実施例２によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することができる。また、実施例２によれば、付箋データが多くなった場合でも、多くの付箋を並べて表示することができる。この効果は、紙の付箋にはない効果である。
【０１６０】
［実施例３］
次に、実施例３における情報処理システムについて説明する。実施例３では、電子黒板の仕組みを合わせて導入することで、より利便性を増すことができる。また、実施例３でも、サーバ２０が投影装置１０に組み込まれた例を用いて説明する。実施例３における投影装置は、投影装置１０Ｂと表示される。
【０１６１】
＜概念＞
図２０は、実施例３における情報処理システムの一概念を説明する図である。図２０に示すように、実施例３では、赤外発光手段６０２を持つ筆記具（例えば専用ペン）６０が用いられる。この筆記具６０は、先端部を押すとその圧力を感圧手段６０１により検知し、先端部が赤外発光手段６０２により赤外発光する。
【０１６２】
赤外光をも検知可能な測距センサ４０Ｂ（ステレオカメラ）は、投影面内における発光位置を検知し、手書きストロークが描かれたと検知する。投影装置１０Ｂは、直前に検知された筆記具６０の位置（赤外発光部の位置）と新たに検知された位置を結ぶ直線を描画しつつ、手書きストロークのデータを更新する。
【０１６３】
＜システム及び構成＞
実施例３におけるシステム及び構成は、実施例１におけるサーバ２０が投影装置１０Ｂに組み込まれているところが、実施例１と異なる。
【０１６４】
＜機能＞
図２１は、実施例３における各装置の機能の一例を示すブロック図である。情報処理装置３０の機能は、実施例１と同様であるため、その説明を省略する。
【０１６５】
筆記具６０は、投影面に対するストロークを認識可能であり、感圧手段６０１及び赤外発光手段６０２を備える。感圧手段６０１は、筆記具６０の先端部が押された場合に、その圧力を検知する。感圧手段６０１は、圧力を検知した場合に、赤外発光手段６０２に赤外発光を指示する。
【０１６６】
赤外発光手段６０２は、感圧手段６０１から赤外発光の指示を受けた場合、赤外光を発光する。
【０１６７】
サーバ機能を有する投影装置１０Ｂは、配置手段３０２、指示認識手段３０６、変更制御手段３０７、出力手段３０８、投影手段４０２、測距手段４０３、通信手段５０１、ストローク認識手段７０１、記憶手段７０２、及び表示制御手段７０３を備える。
【０１６８】
図２１に示す投影装置１０Ｂの機能で、図４、図１８に示す機能と同じものは同じ符号を付す。以下では、実施例３において異なる機能について説明する。
【０１６９】
ストローク認識手段７０１は、測距センサ４０Ｂであるカメラに受光された赤外光の発光を検知した場合、その発光位置を算出する。このとき、測距センサ４０Ｂであるカメラは、赤外カットフィルタが外され、赤外光を受信できる状態になっている。
【０１７０】
ストローク認識手段７０１は、発光位置を順に算出し、記録していくことでストロークデータを認識できる。ストロークデータは、例えば記憶手段７０２に記憶される。このストロークデータは、次々に更新される。
【０１７１】
記憶手段７０２は、ストローク認識手段７０１により認識された座標値が次々にストロークデータとして記録される。
【０１７２】
図２２は、ストロークデータの一例を示す図である。図２２に示す例では、ストロークデータの先頭部は、ストロークの色、太さが格納されている。また、ストロークデータには、座標値が多数記録されている。
【０１７３】
図２１に戻り、表示制御手段７０３は、ストロークデータの記録順に、座標値をストロークの色、太さで順に結ぶ描画を行うことで、ストロークを表示することが可能になる。このストロークデータは、筆記具６０が圧力を検知してから検知しなくなるまで、次々に更新されていき、座標値が付け足されていく。
【０１７４】
筆記具６０の感圧が一旦なくなると、次に感圧したときに新たなストロークデータが生成され、また次々にストロークデータが追加されていく。
【０１７５】
なお、太さ及び色は、初期値として予め設定された太さ及び色を用いればよい。図２２に示す例では、太さの初期値として「５」が設定され、色の初期値として「赤」が設定されている。
【０１７６】
また、太さ及び／又は色は、ユーザにより変更されてもよい。太さ及び色が変更可能であるので、ストロークデータについて、例えば赤くて太いストロークから、青くて細いストロークに変更することが可能になる。
【０１７７】
＜動作＞
次に、実施例３における情報処理システムの動作について説明する。以下では、ストローク処理について主に説明する。
【０１７８】
図２３は、実施例３におけるストローク処理の一例を示すフローチャートである。図２３に示すステップＳ５０１で、測距センサ４０Ｂは、赤外光を検知したか否かを判定する。測距センサ４０Ｂにより赤外光が受光されていれば（ステップＳ５０１−ＹＥＳ）ステップＳ５０２に進み、赤外光が受光されていなければ（ステップＳ５０１−ＮＯ）処理が終了する。
【０１７９】
ステップＳ５０２で、ストローク認識手段７０１は、測距センサ４０Ｂが受光した赤外光の発光位置の座標値を算出する。ストローク認識手段７０１は、認識した座標値を、記憶手段７０２に記憶されるストロークデータに記録することで、ストロークデータを更新する。
【０１８０】
ステップＳ５０３で、表示制御手段７０３は、記憶手段７０２に記憶されるストロークデータが更新されると、更新されたストロークデータに基づいて、ストロークを可視化する。表示制御手段７０３により可視化されたストロークは、投影手段４０２により投影面に投影される。ステップＳ５０１〜Ｓ５０３の処理は、図１６に示すステップＳ２１１とＳ２１２の間に挿入される。
【０１８１】
これにより、最終的に結果を出力する際、ストローク情報も含めて出力すれば、強調するために入れた文字などを記録しておくことができるので、会議の結果を整理するうえで助けとなる。
【０１８２】
以上、実施例３によれば、アイデア発想会を電子化する際に、導入コストを抑え、円滑に会を実行することできる。また、実施例３によれば、手書きデータを描画することができる。
【０１８３】
［変形例］
次に、上記実施例の各変形例について説明する。
【０１８４】
（変形例１）
変形例１では、投影された付箋データの色を選択可能にする。例えば、表示画面に色選択ボタンを表示させ、ユーザにその色を選択させる。次に、色が選択された状態で、付箋データにタッチされた場合には、その付箋データの色が選択された色になるようにする。
【０１８５】
図２４は、色選択の一概念を説明する図である。図２４に示すように、表示画面の左側に、カラーパッチが配置される。図２４に示すように、ユーザがカラーパッチの色を選択した場合（ｃ２１の色）、変更制御手段は、タッチの位置からどの色が選択されたかを識別する。例えば、記憶手段に、色と位置とを対応付けた色情報を保持させておけばよい。変更制御手段は、タッチされた位置から色情報を参照することで、どの色が選択されたかを判断できる。
【０１８６】
さらに、変更制御手段は、色が選択された状態で、付箋データｓ２１がタッチ（指示）されたと認識すれば、そのタッチされた付箋データｓ２１の画像の色を、選択された色ｃ２１に変更する。
【０１８７】
つまり、変更制御手段は、表示画面に含まれる色選択領域内の一の色に対する指示が認識された後、表示画面に含まれる一のデータに対する指示が認識された場合、この一のデータの色を、指示された一の色に変更する。
【０１８８】
以上のように、付箋データの色を会の途中で変更することができる。また、表示されている付箋データを何らかの分類に沿って色をつければ、色を基準に自動的に並び替えることが可能になる。これは、紙の付箋を使った場合と比較したときのメリットである。
【０１８９】
図２５は、付箋データの整列の一概念を説明する図である。図２５に示す例では、整列を示すボタンｂ１１がタッチされた場合、付箋データの色に応じて、付箋データがグループ化される。
【０１９０】
上記処理について、変更制御手段は、表示画面に含まれる、データを整列させるための領域（例えばボタンｂ１１の領域）に対する指示が認識された場合、データの色に応じて各データをグループ化する。この場合、変更制御手段は、データ位置情報内の画像データ（ｉ）の色を判別し、色毎に付箋データの並べ替え（グルーピング）を行う。表示制御手段は、色毎に並べ替えられた付箋データを表示するための表示画面を生成する。これにより、実施例の情報処理システムにグルーピングを補助する機構をつけることで、考えの整理をつけやすくなる。
【０１９１】
（変形例２）
次に、変形例２における情報処理システムについて説明する。変形例２では、情報処理装置３０だけを用いて情報処理システムを構築する。例えば、一の情報処理装置（親装置とも称す）に、サーバ２０の機能を持たせる。親装置は、表示画面を投影する代わりに、自身の表示部に表示する。
【０１９２】
図２６は、変形例２における情報処理システムの一概念を説明する図である。図２６に示すように、親装置３５は、情報処理装置３０と同様の装置であり、各情報処理装置３０からデータを受信する。親装置３５は、サーバ２０が有していた機能を有するため、各データを含む表示画面を生成し、表示する。
【０１９３】
また、親装置３５は、タッチパネルを有するとすると、上述した処理のタッチ検知を、タッチパネル上でのタッチ検知に置き換える。これにより、親装置３５は、タッチ検知を行うことで、付箋データを移動させることができる。
【０１９４】
親装置３５の機能を実行させるプログラムを、所定の装置にインストールさせ、情報処理装置３０の機能を実行させるプログラムを、各装置にインストールさせることで、変形例２におけるシステムを構築することができる。
【０１９５】
なお、各実施例や変形例の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１９６】
また、各実施例や変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施例や変形例の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１９７】
また、各実施例や変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１９８】
なお、各実施例や変形例の情報処理装置、情報処理システム及びプログラムは、上記各施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施例に示される全構成要素からいくつかの構成要素を削除してもよい。
【符号の説明】
【０１９９】
１  情報処理システム
１０  投影装置
２０  サーバ（情報処理装置）
３０  情報処理装置
１０１  制御部
１０２  主記憶部
１０３  補助記憶部
３０１  通信手段
３０２  配置手段
３０３  記憶手段
３０４  表示制御手段
３０５  測定結果取得手段
３０６  指示認識手段
３０７  変更制御手段
３０９  出力手段
４０３  測距手段
５０２  倍率変更手段
７０１  ストローク認識手段
【先行技術文献】
【特許文献】
【０２００】
【特許文献１】特許第４７５３８４２号公報
【特許文献２】特開２００６−５９０２０号公報
【特許文献３】特開平６−３１１５１０号公報
【特許文献４】特表２０１１−５２３７３９号公報
【図１】
2014102687.tif 000012
【図３】
2014102687.tif 000013
【図４】
2014102687.tif 000014
【図５】
2014102687.tif 000015
【図６】
2014102687.tif 000016
【図７】
2014102687.tif 000017
【図８】
2014102687.tif 000018
【図９】
2014102687.tif 000019
【図１２】
2014102687.tif 000020
【図１３】
2014102687.tif 000021
【図１４】
2014102687.tif 000022
【図１５】
2014102687.tif 000023
【図１６】
2014102687.tif 000024
【図１７】
2014102687.tif 000025
【図１８】
2014102687.tif 000026
【図１９】
2014102687.tif 000027
【図２１】
2014102687.tif 000028
【図２２】
2014102687.tif 000029
【図２３】
2014102687.tif 000030
【図２】
2014102687.tif 000031
【図１０】
2014102687.tif 000032
【図１１】
2014102687.tif 000033
【図２０】
2014102687.tif 000034
【図２４】
2014102687.tif 000035
【図２５】
2014102687.tif 000036
【図２６】
2014102687.tif 000037