(57)【要約】【課題】ユーザの手書きによる書き込み操作、消去操作等の操作を取り消す処理を行うための仕組みを提供する。【解決手段】情報処理装置１１１は、ユーザによる筆記具を用いた書き込み及びイレーサーを用いた消去が行われる盤面３００に画像を投影するプロジェクタ１１２及び盤面３００を撮像するカメラ１１３に接続される。情報処理装置１１１は、操作の取り消しの指示を受け付ける場合に、当該操作の取り消しの指示に応じて取得する撮像画像と、当該操作の取り消しの指示を受け付ける前に取得した撮像画像との差分画像を生成する。情報処理装置１１１は、差分画像をプロジェクタ１１２に盤面３００に投影させることで、書き込み及び消去が行われた部分を明示する。【選択図】図１
2016157201.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる筆記具を用いた書き込み及びイレーサーを用いた消去が行われる盤面に、所定の投影手段により画像を投影させる表示制御手段と、
前記盤面を所定の撮像手段により撮像させる撮像制御手段と、
異なるタイミングで撮像された２つの撮像画像の差分を表す差分画像を、前記表示制御手段により、前記投影手段から前記盤面に投影させて、前記書き込み及び前記消去が行われた部分を明示する制御手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
指示を受け付ける入力手段を備え、
前記制御手段は、前記入力手段が操作の取り消しの指示を受け付ける場合に、当該操作の取り消しの指示に応じて取得する撮像画像と、当該操作の取り消しの指示を受け付ける前に取得した撮像画像との前記差分画像を生成することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記撮像制御手段は、前記撮像手段から撮像時刻を付した前記撮像画像を取得し、
前記制御手段は、前記撮像時刻が前記操作の取り消しの指示を受け付ける前で最も新しい撮像画像から順に、前記操作の取り消しの指示に応じて取得した撮像画像との差分が生じるまで比較を行うことを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
前記制御手段は、前記入力手段が前記操作の取り消しの指示を連続して受け付けるときに、最後に受け付けた前記操作の取り消しの指示に応じて取得した撮像画像と、最初に受け付けた前記操作の取り消しの指示の前に取得した撮像画像との前記差分画像を生成することを特徴とする、
請求項２又は３記載の情報処理装置。
【請求項５】
前記制御手段は、
時間的に新しい撮像画像に、時間的に古い撮像画像から追記された部分があれば、この追記された部分を明示するような画像を、前記表示制御手段により、前記投影手段から前記盤面に投影させ、
時間的に新しい撮像画像に、時間的に古い撮像画像から消去された部分があれば、この消去された部分の画像を、前記表示制御手段により、前記投影手段から前記盤面に投影させることを特徴とする、
請求項１〜４のいずれか１項記載の情報処理装置。
【請求項６】
前記制御手段は、前記追記された部分を枠線で囲む画像を、前記表示制御手段により、前記投影手段から前記盤面に投影させることを特徴とする、
請求項５記載の情報処理装置。
【請求項７】
所定の距離画像センサから前記盤面の距離画像を所定の時間間隔で取得し、取得した距離画像と前回取得した距離画像とから、前記盤面の手前で物体が動いた領域の有無を検出する距離画像処理手段を備え、
前記制御手段は、前記物体が動いた領域が有れば、前記撮像手段から前記撮像画像を取得することを特徴とする、
請求項１〜６のいずれか１項記載の情報処理装置。
【請求項８】
前記制御手段は、前記物体が動いた領域が隣接し且つ撮像時刻の時間差が所定の閾値未満で連続して取得した撮像画像を、ユーザの一連の動作中の撮像画像とし、前記差分画像を生成に一連の動作の最も撮像時刻が新しい撮像画像を用いることを特徴とする、
請求項７記載の情報処理装置。
【請求項９】
ユーザによる筆記具を用いた書き込み及びイレーサーを用いた消去が行われる盤面に画像を投影する投影手段及び前記盤面を撮像する撮像手段に接続され、入力手段を備える情報処理装置により実行される方法であって、
前記入力手段により操作の取り消しの指示を受け付ける場合に、当該操作の取り消しの指示に応じて取得する撮像画像と、当該操作の取り消しの指示を受け付ける前に取得した撮像画像との差分画像を生成し、この差分画像を前記投影手段から前記盤面に投影させて、前記書き込み及び前記消去が行われた部分を明示することを特徴とする、
操作取消方法。
【請求項１０】
ユーザによる筆記具を用いた書き込み及びイレーサーを用いた消去が行われる盤面に画像を投影する投影手段及び前記盤面を撮像する撮像手段に接続され、入力手段を備えるコンピュータに、
前記入力手段により操作の取り消しの指示を受け付ける場合に、当該操作の取り消しの指示に応じて取得する撮像画像と、当該操作の取り消しの指示を受け付ける前に取得した撮像画像との差分画像を生成し、この差分画像を前記投影手段から前記盤面に投影させて、前記書き込み及び前記消去が行われた部分を明示させるためのコンピュータプログラム。
【請求項１１】
請求項１０記載のコンピュータプログラムを記憶するコンピュータに読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばユーザがホワイトボード等に手書きする文字や図形、絵等の書き込み操作及び消去操作を取り消す技術に関する。
【背景技術】
【０００２】
パーソナルコンピュータ等の情報処理装置で実行されるアプリケーションソフトは、操作の取り消し機能、いわゆるアンドゥ（Undo）機能を備えるものがある。例えば、特許文献１には、画像処理コマンド（描画、消去、拡大、移動等）によって生成される画像と、表示中の画像との差分に基づき、操作の取り消し指示に応じて、画像処理コマンドの入力前の画像を表示する画像編集方法を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６―７６０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、ホワイトボードの書き込みが行われる面（以下、「盤面」という。）を投影面に用いて画像（投影画像）を投影し、ホワイトボードの記載を投影画像ごと撮像する、カメラ付きプロジェクタが提案されている。ホワイトボード及びカメラ付きプロジェクタを用いることで、ユーザは、投影画像に手書きで書き込みを行うことができる。
投影画像は、情報処理装置で生成される。そのために、投影画像に対する操作の取り消し処理は、例えば特許文献１の技術を用いることで行われる。しかし、ユーザにより手書きされた記載は、電子データとして扱うことができないために、操作の取り消しを行うことができない。例えば、手書きした文字や図形を消去した場合、消去した記載を操作の取り消し機能により復元することはできない。
【０００５】
本発明は、上記の問題を解決するために、ユーザの手書きによる書き込み操作、消去操作等の操作を取り消す処理を行うための仕組みを提供することを主たる課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明の情報処理装置は、ユーザによる筆記具を用いた書き込み及びイレーサーを用いた消去が行われる盤面に、所定の投影手段により画像を投影させる表示制御手段と、前記盤面を所定の撮像手段により撮像させる撮像制御手段と、異なるタイミングで撮像された２つの撮像画像の差分を表す差分画像を、前記表示制御手段により、前記投影手段から前記盤面に投影させて、前記書き込み及び前記消去が行われた部分を明示する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、２つの撮像画像の差分を表す差分画像を盤面に投影することで、書き込み及び消去が行われた部分を明示して、書き込み操作及び消去操作を取り消す処理を可能とする。
【図面の簡単な説明】
【０００８】
【図１】（ａ）、（ｂ）は全体構成の説明図。
【図２】（ａ）、（ｂ）は情報処理装置の構成図。
【図３】保存領域に保存される撮像画像の例示図。
【図４】書き込み、消去時の処理を表すフローチャート。
【図５】操作取消処理を表すフローチャート。
【図６】消去操作の操作取消処理の具体例の説明図。
【図７】書き込み操作の操作取消処理の具体例の説明図。
【図８】消去操作の操作取消処理を連続して行う場合の具体例の説明図。
【図９】第２実施形態のシステムの全体構成図。
【図１０】情報処理装置の機能ブロック図。
【図１１】撮像画像の取得処理を表すフローチャート。
【図１２】撮像画像の保存処理を表すフローチャート。
【図１３】保存領域に保存される撮像画像の例示図。
【図１４】撮像画像の一部を更新する処理の説明図。
【図１５】書き込み操作の操作取消処理の具体例の説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して実施形態を詳細に説明する。
【００１０】
［第１実施形態］
＜構成＞
図１は、本実施形態のシステムの全体構成の説明図である。図１（ａ）は、システム１１０の実施例示図であり、図１（ｂ）は、システム１１０の全体構成図である。本システム１１０は、ホワイトボード１１４の盤面３００に画像を投影するプロジェクタ１１２、ホワイトボード１１４の盤面３００を撮像するカメラ１１３、及び情報処理装置１１１を備える。ホワイトボード１１４の盤面３００は、ペン等の筆記具による書き込み、文字、図形、絵等が記入された紙等の貼り付けが行われる面である。筆記具による書き込みは、イレーサーにより消去可能である。
【００１１】
情報処理装置１１１は、プロジェクタ１１２から投影される投影画像の生成及び投影の指示を行い、プロジェクタ１１２の動作を制御する。情報処理装置１１１は、カメラ１１３に撮像を行わせる撮像指示を送信し、カメラ１１３から撮像画像を取得する。情報処理装置１１１は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク１３０を介して、他の情報処理装置等との通信が可能である。なお、本実施形態では、情報処理装置１１１、プロジェクタ１１２、及びカメラ１１３をそれぞれ独立した装置として説明するが、これらを一体に構成してもよい。また、いずれか２装置を一体構成としてもよい。
【００１２】
プロジェクタ１１２が盤面３００の大きさと同じ大きさに画像を投影するように、プロジェクタ１１２とホワイトボード１１４との位置が決められる。また、カメラ１１３がホワイトボード１１４の盤面３００の全域を撮像するように、カメラ１１３とホワイトボード１１４との位置が決められる。カメラ１１３は、撮像画像に、撮像時刻を表すタイムスタンプを付して、情報処理装置１１１へ出力する。
【００１３】
図２は、情報処理装置１１１の構成図である。図２（ａ）は、情報処理装置１１１のハードウェア構成図である。図２（ｂ）は、情報処理装置１１１の機能ブロック図である。情報処理装置１１１は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３を備え、システム１１０全体の動作制御を行う。情報処理装置１１１は、周辺装置とのインタフェースとして、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、外部Ｉ／Ｆ２０８、マウスＩ／Ｆ２１１、ネットワークＩ／Ｆ２１３を備える。情報処理装置１１１の各構成要素は、システムバス２０４で接続されて、相互に通信可能となっている。
【００１４】
キーボードＩ／Ｆ２０５及びマウスＩ／Ｆ２１１は入力インタフェースである。キーボードＩ／Ｆ２０５は、入力装置であるキーボード２０９が接続される。マウスＩ／Ｆ２１１は、入力装置であるマウス２１２が接続される。ＣＰＵ２０１は、キーボードＩ／Ｆ２０５及びマウスＩ／Ｆ２１１を介して、キーボード２０９及びマウス２１２から入力信号を受け付ける。
ディスプレイＩ／Ｆ２０６は、出力インタフェースであり、プロジェクタ１１２が接続される。ＣＰＵ２０１は、ディスプレイＩ／Ｆ２０６を介して、プロジェクタ１１２に投影画像を出力するとともに投影の指示を行う。
外部メモリＩ／Ｆ２０７は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の大容量記憶装置である外部メモリ２１０とのインタフェースである。外部Ｉ／Ｆ２０８は、カメラ１１３が接続される。ＣＰＵ２０１は、外部Ｉ／Ｆ２０８を介してカメラ１１３に撮像指示を送信し、カメラ１１３で撮像された撮像画像を外部Ｉ／Ｆ２０８を介して取得する。ＣＰＵ２０１は、取得した撮像画像を外部メモリＩ／Ｆ２０７を介して外部メモリ２１０に保存する。ＣＰＵ２０１は、予め設定された時間間隔、或いは、入力装置からの撮像指示を表す入力信号に応じて、カメラ１１３に撮像指示を送信する。
【００１５】
ＣＰＵ２０１は、ＲＯＭ２０３に格納されるコンピュータプログラムを読み込んで、ＲＡＭ２０２を作業領域に用いて実行することで、プロジェクタ１１２及びカメラ１１３の動作を制御するための図２（ｂ）の機能ブロックを実現する。情報処理装置１１１は、入力部３０１、撮像制御部３０２、撮像画像保存部３０３、差分画像処理部３０４、表示制御部３０５、及び制御部３０６として機能する。
【００１６】
入力部３０１は、キーボード２０９及びマウス２１２から入力される入力信号を受け付ける。撮像制御部３０２は、カメラ１１３による撮像動作を制御する。撮像画像保存部３０３は、カメラ１１３で撮像された撮像画像を、外部メモリ２１０に形成される保存領域に保存する。差分画像処理部３０４は、入力部３０１が操作取消指示（undo指示）を入力信号として受け付けたときに、異なるタイミングで撮像された２つの撮像画像の差分を表す差分画像を生成する。表示制御部３０５は、プロジェクタ１１２に画像を表示させる。差分画像処理部３０４が差分画像を生成した場合、表示制御部３０５は、それ以前の投影画像に差分画像を合成した合成画像をプロジェクタ１１２に表示させる。制御部３０６は、以上の各機能ブロックによる処理を制御して、情報処理装置１１１の動作を制御する。
【００１７】
図３は、外部メモリ２１０の保存領域に保存される撮像画像の例示図である。ＩＤ、撮像画像、及び撮像時刻が一つのレコードとして外部メモリ２１０の保存領域に保存される。撮像画像は、取得順に、識別情報であるＩＤが付される。撮像時刻は、タイムスタンプで表される。図３の例では、ＩＤ「１」〜ＩＤ「３」の撮像画像が保存される。ＩＤ「１」の撮像画像は、手書きの「あいうえおかきくけこさしすせそ」を含む。ＩＤ「２」の撮像画像は、手書きの「あいうえおかきくけこ」を含む。ＩＤ「３」の撮像画像は、手書きの「あいうえお」を含む。これらは、カメラ１１３が、ユーザが「あ行」、「か行」、「さ行」を手書きしたタイミング、ユーザが「さ行」を消去したタイミング、ユーザが「か行」を消去したタイミング、で撮像した撮像画像である。
【００１８】
＜操作の取り消し処理＞
以上のような構成のシステム１１０は、ホワイトボード１１４の盤面３００にユーザが筆記具を用いて手書きした文字や図形等、及びユーザがイレーサーを用いて消去した文字や図形等を、操作取消指示に応じて手書き前、消去前の状態に復元する。図４は、操作取消処理を含む、ユーザによる盤面３００への書き込み、消去時の情報処理装置１１１の処理を表すフローチャートである。
【００１９】
制御部３０６は、入力部３０１が、キーボード２０９又はマウス２１２から撮像指示を入力信号として受け付けたか否かを判定する（Ｓ４００）。入力部３０１が撮像指示を受け付けた場合（Ｓ４００：Y）、制御部３０６は、撮像制御部３０２により、カメラ１１３に撮像指示を送信する。カメラ１１３は、撮像指示を受信してホワイトボード１１４の盤面３００を撮像し、撮像画像を撮像制御部３０２を介して制御部３０６に送信する。これにより制御部３０６は、撮像画像を取得する（Ｓ４０１）。制御部３０６は、取得した撮像画像にＩＤを付して、撮像画像保存部３０３により保存領域に保存する（Ｓ４０２）。
【００２０】
撮像画像の保存後、或いは撮像指示を受け付けていない場合（Ｓ４００：N）、制御部３０６は、入力部３０１が、キーボード２０９又はマウス２１２から操作取消指示を入力信号として受け付けたか否かを判定する（Ｓ４０３）。操作取消指示を受け付けた場合（Ｓ４０３：Y）、制御部３０６は、後述する操作取消処理を行う（Ｓ４０４）。操作取消処理の終了後、或いは操作取消指示を受け付けていない場合（Ｓ４０３：N）、制御部３０６は、処理の終了が指示されれば処理を終了し（Ｓ４０５：Y）、処理の終了が指示されなければＳ４００以降の処理を繰り返し行う（Ｓ４０５：N）。
【００２１】
図５は、Ｓ４０４の操作取消処理を表すフローチャートである。
制御部３０６は、操作取消指示に応じて、撮像制御部３０２によりカメラ１１３に撮像指示を送信する。カメラ１１３は、撮像指示を受信して盤面３００を撮像し、撮像画像を撮像制御部３０２を介して制御部３０６に送信する。これにより制御部３０６は、操作取消指示に応じた撮像画像を取得する（Ｓ５００）。制御部３０６は、取得した撮像画像にＩＤを付さずに、撮像画像保存部３０３により保存領域に保存する（Ｓ５０１）。
【００２２】
制御部３０６は、差分画像処理部３０４により、Ｓ５００において操作取消指示に応じて取得した撮像画像と、操作取消指示を受け付ける前に撮像指示に応じて取得した撮像画像との差分画像を生成する（Ｓ５０２）。差分画像処理部３０４は、撮像指示に応じて取得した撮像画像のＩＤを、ポインタＮにより指定する。差分画像処理部３０４は、図４のＳ４０２で撮像画像が保存される際に、保存される撮像画像のＩＤを指定するようにポインタＮを更新する。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像と、ポインタＮで指定されるＩＤが付された撮像画像とから差分画像を生成する。
【００２３】
差分画像処理部３０４は、生成した差分画像の種類を特定する（Ｓ５０３）。差分画像の種類には、「消去差分」、「追記差分」、「差分なし」がある。時間的に古い撮像画像（ＩＤ＝Ｎ）と新しい撮像画像（操作取消指示に応じて取得した撮像画像）とで、文字が消される等の消去操作が行われている場合、これらの撮像画像から生成される差分画像の種類は「消去差分」である。時間的に古い撮像画像（ＩＤ＝Ｎ）と新しい撮像画像（操作取消指示に応じて取得した撮像画像）とで、文字が追加される等の書き込み操作が行われている場合、これらの撮像画像から生成される差分画像の種類は「追記差分」である。時間的に古い撮像画像（ＩＤ＝Ｎ）と新しい撮像画像（操作取消指示に応じて取得した撮像画像）とで、操作が行われていない場合、これらの撮像画像から生成される差分画像の種類は「差分なし」である。
【００２４】
差分画像の生成と差分画像の種類の特定は、同時に行うことができる。例えば、差分画像処理部３０４は、差分画像の生成及び種類を特定するために、差分画像の生成に用いる、操作取消指示に応じて取得した撮像画像と、ＩＤが付された撮像画像（ＩＤ＝Ｎ）との、画素毎の画素値の差の絶対値を算出する。
【００２５】
差分画像処理部３０４は、算出した絶対値が予め設定された閾値以上であるかを判定し、閾値以上となる画素を、差分のある画素であると判定する。差分のある画素の数が所定数未満である場合、差分画像処理部３０４は、差分画像の種類を「差分なし」と特定する。
差分のある画素の数が所定数以上ある場合、差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像の差分のある画素の色が下地色であるか否かを判定する。差分画像処理部３０４は、下地色と判定された画素の数が所定数以上ある場合、消去操作が行われたと判定する。この場合、差分画像処理部３０４は、差分画像の種類を「消去差分」と特定する。「消去差分」の場合、ＩＤが付された撮像画像（ＩＤ＝Ｎ）の差分のある画素だけを抽出した画像が、差分画像となる。
下地色と判定された画素の数が所定数未満の場合、差分画像処理部３０４は、書き込み操作が行われたと判定し、差分画像の種類を「追記差分」と特定する。この場合、操作取消指示に応じて取得した撮像画像の差分のある画素だけを抽出した画像が、差分画像となる。
【００２６】
なお、下地色は、予め何も書かれていないホワイトボードを撮像して得られた撮像画像の画素値の平均値や、ホワイトボードを撮像して背景推定法により得られた背景色の平均値である。
差分画像処理部３０４は、差分画像の種類の特定を、画素毎の画素値に代えて、撮像画像の矩形の領域（例えば８画素×８画素）毎の画素値で行うようにしてもよい。この場合、差分画像の生成に用いる２つの撮像画像をそれぞれ矩形に分割し、矩形内の画素値の平均値により差分画像の種類の特定を行う。差分画像を生成する別の方法として、比較する２つの撮像画像をそれぞれ二値化し、撮像画像の縦方向と横方向に対して生成するヒストグラムの形状から書き込みの状態が変化した領域を抽出して、差分画像とする方法もある。
【００２７】
差分画像の種類が「消去差分」である場合（Ｓ５０４：消去差分）、制御部３０６は、差分画像を投影画像に合成した合成画像を生成する（Ｓ５０５）。差分画像の種類が「追記差分」である場合（Ｓ５０４：追記差分）、制御部３０６は、差分とされた書き込みの消去を促すメッセージを投影画像に合成した合成画像を生成する（Ｓ５０６）。差分画像の種類が「差分なし」である場合（５０４：差分なし）、制御部３０６は、差分画像処理部３０４のポインタＮを「１」減算して（Ｓ５０７）、差分画像処理部３０４に、再度、差分画像を生成させる（Ｓ５０２）。これにより再度の差分画像の生成は、操作取消指示に応じた撮像画像及び撮像画像（ＩＤ＝Ｎ−１）により行われる。差分画像処理部３０４は、差分画像の種類が「消去差分」又は「追記差分」になるまで、ポインタＮを「１」ずつ減算して、操作取消指示の受け付け前で、最新の撮像画像から順に、差分画像の生成を繰り返す。
【００２８】
制御部３０６は、表示制御部３０５により、合成画像をプロジェクタ１１２から盤面３００に投影させる（Ｓ５０８）。以上の処理により、盤面３００には、ユーザが盤面３００に筆記具により書き込みした部分、或いはイレーサーにより消去した部分が明示される。具体的な消去操作の操作取消処理、及び書き込み操作の操作取消処理について説明する。
【００２９】
＜消去操作の操作取消処理＞
図６は、消去操作の操作取消処理の具体例の説明図である。図６では、時刻ｔ１から時刻ｔ６に時間が経過する。
【００３０】
時刻ｔ１では、ユーザがホワイトボード１１４の盤面３００に「あいうえおかきくけこ」と書き込んでいる。このとき、ユーザが撮像指示を入力すると、時刻ｔ２でカメラ１１３が盤面３００を撮像して、撮像画像６０１が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像６０１のＩＤは「１」である。
時刻ｔ３では、ユーザがホワイトボード１１４の盤面３００から、イレーサーにより「かきくけこ」を消去する。このとき、ユーザが撮像指示を入力すると、時刻ｔ４でカメラ１１３が盤面３００を撮像して、撮像画像６０２が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像６０２のＩＤは「２」である。
【００３１】
次に、ユーザが操作取消指示を入力すると、時刻ｔ５でカメラ１１３が盤面３００を撮像して、撮像画像６０３が保存領域に保存される（図４のＳ４０３、図５のＳ５００、Ｓ５０１）。この操作取消指示は、直前にユーザが行った「かきくけこ」を消去する操作を取り消すための指示である。
【００３２】
差分画像処理部３０４は、ポインタＮが「２」に設定される。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像６０３と、ＩＤが「Ｎ＝２」の撮像画像６０２とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。撮像画像６０３と撮像画像６０２とは、差分なしと特定されるため、差分画像処理部３０４のポインタＮが１減算されて「１」に設定される（図５のＳ５０４、Ｓ５０７）。
差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像６０３と、ＩＤが「Ｎ＝１」の撮像画像６０１とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。ここでは、差分画像６０４が生成され、種類が消去差分と特定される。差分画像６０４は、消去された「かきくけこ」となる。差分画像処理部３０４は、「かきくけこ」の文字により、画素値の差分が閾値以上となり、操作取消指示に応じて取得した撮像画像６０３における差分となる画素が下地色であるため、差分画像６０４の種類を「消去差分」に特定する。
【００３３】
制御部３０６は、生成された差分画像６０５を投影画像に合成して合成画像を生成し、プロジェクタ１１２により、盤面３００に合成画像を投影させる（図５のＳ５０５、Ｓ５０８）。これにより時刻ｔ６では、ホワイトボード１１４の盤面３００に、ユーザが手書きした「あいうえお」及びプロジェクタ１１２により投影される「かきくけこ」が表示される。時刻ｔ３でユーザが消去操作した「かきくけこ」が、時刻ｔ６でプロジェクタ１１２により表示される。このように、ユーザによる「かきくけこ」の消去操作の操作取消処理が行われ、消去前の盤面３００の状態（時刻ｔ１の状態）を復元することができる。
【００３４】
＜書き込み操作の操作取消処理＞
図７は、書き込み操作の操作取消処理の具体例の説明図である。図７では、時刻ｔ１から時刻ｔ７に時間が経過する。
【００３５】
時刻ｔ１では、ユーザがホワイトボード１１４の盤面３００に「あいうえお」と書き込んでいる。このとき、ユーザが撮像指示を入力すると、時刻ｔ２でカメラ１１３が盤面３００を撮像して、撮像画像７０１が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像７０１のＩＤは「１」である。
時刻ｔ３では、ユーザがホワイトボード１１４の盤面３００に「かきくけこ」を追記する。このとき、ユーザが撮像指示を入力すると、時刻ｔ４でカメラ１１３が盤面３００を撮像して、撮像画像７０２が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像７０２のＩＤは「２」である。
【００３６】
次に、ユーザが操作取消指示を入力すると、時刻ｔ５でカメラ１１３が盤面３００を撮像して、撮像画像７０３が保存領域に保存される（図４のＳ４０３、図５のＳ５００、Ｓ５０１）。この操作取消指示は、直前にユーザが行った「かきくけこ」を書き込む操作を取り消すための指示である。
【００３７】
差分画像処理部３０４は、ポインタＮが「２」に設定される。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像７０３と、ＩＤが「Ｎ＝２」の撮像画像７０２とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。撮像画像７０３と撮像画像７０２とは、差分なしと特定されるため、差分画像処理部３０４のポインタＮが１減算されて「２」に設定される（図５のＳ５０４、Ｓ５０７）。
差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像７０３と、ＩＤが「Ｎ＝１」の撮像画像７０１とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。ここでは、差分画像７０４が生成され、種類が書込差分と特定される。差分画像７０４は、時刻ｔ３で書き込まれた「かきくけこ」となる。差分画像処理部３０４は、「かきくけこ」の文字により、画素値の差分が閾値以上となり、操作取消指示に応じて取得した撮像画像７０３における差分となる画素が下地色ではないため、差分画像７０４の種類を「書込差分」に特定する。
【００３８】
制御部３０６は、生成された差分画像７０４の消去を促すメッセージを投影画像に合成して合成画像を生成し、プロジェクタ１１２により、盤面３００に合成画像を投影させる（図５のＳ５０６、Ｓ５０８）。これにより時刻ｔ６では、消去を促すメッセージとして、追記された「かきくけこ」を囲む枠線が表示される。枠線は、点滅や強調表示されてもよい。時刻ｔ７では、ユーザが、メッセージに応じて「かきくけこ」をイレーサーにより消去する。これにより操作取消処理が完了して、追記前の盤面３００の状態（時刻ｔ１の状態）を復元することができる。
【００３９】
＜連続する操作取消処理＞
図８は、消去操作の操作取消処理を連続して行う場合の具体例の説明図である。図８では、時刻ｔ１から時刻ｔ９に時間が経過する。
【００４０】
時刻ｔ１では、ユーザがホワイトボード１１４の盤面３００に「あいうえおかきくけこさしすせそ」と書き込んでいる。このとき、ユーザが撮像指示を入力すると、時刻ｔ２でカメラ１１３が盤面３００を撮像して、撮像画像８０１が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像８０１のＩＤは「１」である。
時刻ｔ３では、ユーザがホワイトボード１１４の盤面３００から、イレーサーにより「さしすせそ」を消去する。このとき、ユーザが撮像指示を入力すると、時刻ｔ４でカメラ１１３が盤面３００を撮像して、撮像画像８０２が保存領域に保存される（図４のＳ４００〜Ｓ４０２）。撮像画像８０２のＩＤは「２」である。
【００４１】
時刻ｔ５では、ユーザがホワイトボード１１４の盤面３００から、イレーサーにより「かきくけこ」を消去する。ここでユーザが操作取消指示を入力すると、時刻ｔ６でカメラ１１３が盤面３００を撮像して、撮像画像８０３が保存領域に保存される（図４のＳ４０３、図５のＳ５００、Ｓ５０１）。この操作取消指示は、直前にユーザが行った「かきくけこ」を消去する操作を取り消すための指示である。
【００４２】
差分画像処理部３０４は、ポインタＮが「２」に設定される。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像８０３と、ＩＤが「Ｎ＝２」の撮像画像８０２とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。ここでは、差分画像８０４が生成され、種類が消去差分と特定される。差分画像８０６は、時刻ｔ５で消去された「かきくけこ」となる。差分画像処理部３０４は、「かきくけこ」の文字により、画素値の差分が閾値以上となり、操作取消指示に応じて取得した撮像画像８０３における差分となる画素が下地色であるため、差分画像８０４の種類を「消去差分」に特定する。
【００４３】
制御部３０６は、生成された差分画像８０４を投影画像に合成して合成画像を生成し、プロジェクタ１１２により、盤面３００に合成画像を投影させる（図５のＳ５０５、Ｓ５０８）。これにより時刻ｔ７では、ホワイトボード１１４の盤面３００に、ユーザが手書きした「あいうえお」及びプロジェクタ１１２により投影される「かきくけこ」が表示される。時刻ｔ５でユーザが消去操作した「かきくけこ」が時刻ｔ７でプロジェクタ１１２により表示される。このように、ユーザによる「かきくけこ」の消去操作の操作取消処理が行われ、消去前の盤面３００の状態（時刻ｔ３の状態）を復元することができる。ユーザが消去操作や書き込み操作を行った後に、撮像指示を入力せずに操作取消指示を入力する場合でも、正しく操作取消処理を行うことができる。
【００４４】
合成画像の投影中にユーザが続けて操作取消指示を入力すると、時刻ｔ８でカメラ１１３が盤面３００を撮像して、保存領域に撮像画像８０５が保存される（図４のＳ４０３、図５のＳ５００、Ｓ５０１）。この操作取消指示は、時刻ｔ３にユーザが行った「さしすせそ」を消去する操作を取り消すための指示である。撮像画像８０５は、手書きされた「あいうえお」及び投影された「かきくけこ」を含む画像である。
【００４５】
差分画像処理部３０４は、ポインタＮが「２」に設定される。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像８０５と、ＩＤが「Ｎ＝２」の撮像画像８０２とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。撮像画像８０５と撮像画像８０２とは、差分なしと特定されるため、差分画像処理部３０４のポインタＮが１減算されて「１」に設定される（図５のＳ５０４、Ｓ５０７）。
差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像８０５と、ＩＤが「Ｎ＝１」の撮像画像８０１とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。ここでは、差分画像８０６が生成され、種類が消去差分と特定される。差分画像８０６は、消去された「さしすせそ」となる。差分画像処理部３０４は、「さしすせそ」の文字により、画素値の差分が閾値以上となり、操作取消指示に応じて取得した撮像画像８０５における差分となる画素が下地色であるため、差分画像８０６の種類を「消去差分」に特定する。
【００４６】
制御部３０６は、生成された差分画像８０４、８０６を投影画像に合成して合成画像を生成し、プロジェクタ１１２により、盤面３００に合成画像を投影させる（図５のＳ５０５、Ｓ５０８）。これにより時刻ｔ９では、ホワイトボード１１４の盤面３００に、ユーザが手書きした「あいうえお」及びプロジェクタ１１２により投影される「かきくけこさしすせそ」が表示される。時刻ｔ３でユーザが消去操作した「さしすせそ」が、時刻ｔ９でプロジェクタ１１２により表示される。このように、ユーザにより時刻ｔ３で行われた「さしすせそ」の消去操作の操作取消処理が行われ、消去前の盤面３００の状態（時刻ｔ１の状態）を復元することができる。
【００４７】
このように、連続して操作取消処理を行う場合、制御部３０６は、最後に受け付けた操作取消指示の後に取得する撮像画像と、最初に受け付けた操作取消指示の前に取得した撮像画像との比較により、差分画像を生成して表示する。また、投影時には、連続して操作取消指示を受け付ける間に生成される差分画像が、すべて合成画像に含まれる。
【００４８】
以上のように、プロジェクタ１１２及びカメラ１１３を用いて、ユーザによりホワイトボード１１４の盤面３００に書き込み操作で追記された記載、消去操作された記載をユーザに明示することができる。これにより、システム１１０は、ユーザの手による書き込み操作、消去操作等の操作を取り消す処理を行うことができる。
【００４９】
［第２実施形態］
第１実施形態では、ユーザからの撮像指示により盤面３００の撮像を行っているが、第２実施形態では、ユーザの盤面３００の手前における動作に応じて、盤面３００の撮像を行う。そのために第２実施形態のシステムは、距離画像センサにより取得する距離画像を用いて処理を行う。
【００５０】
図９は、第２実施形態のシステム１２０の全体構成図である。システム１２０は、第１実施形態のシステム１１０に、距離画像センサ１１５を追加した構成である。距離画像センサ１１５は、ホワイトボード１１４の盤面３００の距離画像を取得する。プロジェクタ１１２及びカメラ１１３は、第１実施形態と同様の構成であるために、説明を省略する。情報処理装置１１６は、第１実施形態の情報処理装置１１１と同様のハードウェア構成に、距離画像センサ１１５から距離画像を取得するためのインタフェースを追加した構成である。距離画像センサ１１５がホワイトボード１１４の盤面３００の全域を撮像するように、距離画像センサ１１５とホワイトボード１１４との位置が決められる。
【００５１】
図１０は、情報処理装置１１６の機能ブロック図である。ＣＰＵ２０１は、ＲＯＭ２０３に格納されるコンピュータプログラムを読み込んで、ＲＡＭ２０２を作業領域に用いて実行することで、システム１２０全体の動作を制御する機能を実現する。情報処理装置１１６は、入力部３０１、撮像制御部３０２、撮像画像保存部３０３、差分画像処理部３０４、表示制御部３０５、制御部３０６、距離画像処理部３０７、及び動体領域保存部３０８として機能する。入力部３０１、撮像制御部３０２、撮像画像保存部３０３、差分画像処理部３０４、表示制御部３０５、及び制御部３０６は、第１実施形態の情報処理装置１１１と同様の構成であるので説明を省略する。
【００５２】
距離画像処理部３０７は、距離画像センサ１１５から取得する距離画像により、ホワイトボード１１４の盤面３００の手前で物体（例えばユーザ）が動いた領域を検出する。距離画像処理部３０７は、距離画像センサ１１５から所定の時間間隔（例えば０．１秒間隔）で距離画像を取得する。距離画像処理部３０７は、取得した距離画像から物体の領域（動体領域）を検出し、前回取得した距離画像の動体領域と比較することで、物体が動いた領域を検出することができる。動体領域保存部３０８は、距離画像処理部３０７で検出された動体領域を、外部メモリ２１０に形成される保存領域に保存する。
【００５３】
以上のような構成のシステム１２０は、第１実施形態のシステム１１０と同様に、操作取消指示に応じて、ユーザの書き込み操作及び消去操作の取り消しを行うことができる。第２実施形態では、カメラ１１３による盤面３００の撮像が、第１実施形態のような撮像指示によらずに行われる。図１１は、撮像画像の取得処理を表すフローチャートである。この処理は、情報処理装置１１６が距離画像センサ１１５から距離画像を取得するたびに実行される。
【００５４】
距離画像処理部３０７は、距離画像センサ１１５から取得する距離画像から、ホワイトボード１１４の盤面３００の手前にある物体の領域を表す動体領域を検出する（Ｓ１１００）。距離画像処理部３０７は、検出した動体領域を動体領域保存部３０８により保存領域に保存する。距離画像処理部３０７は、動体領域保存部３０８から、前回取得した距離画像から検出された動体領域を取得する（Ｓ１１０１）。
【００５５】
距離画像処理部３０７は、今回検出した最新の動体領域と、前回検出した動体領域とを比較して、動体が無くなった領域の有無を判定する（Ｓ１１０２）。距離画像処理部３０７は、最新の動体領域と前回の動体領域とのうち、前回の動体領域にのみ含まれる領域を、動体が無くなった領域と判定する。
物体が無くなった領域が無い場合（Ｓ１１０２：N）、制御部３０６は、盤面３００の手前で物体が動いていないと判断して撮像画像の取得処理を終了し、図４のＳ４０３以降の処理を実行する。物体が無くなった領域が有る場合（Ｓ１１０２：Y）、制御部３０６は、盤面３００の手前で物体が動いたと判断して撮像画像の保存処理を行い、撮像画像保存部３０３により撮像画像を保存領域に保存する（Ｓ１１０３）。その後、制御部３０６は撮像画像の取得処理を終了して、図４のＳ４０３以降の処理を実行する。
【００５６】
図１２は、Ｓ１１０３の撮像画像の保存処理を表すフローチャートである。
制御部３０６は、図４のＳ４０１と同様に、カメラ１１３が撮像した盤面３００の撮像画像を、撮像制御部３０２を介して取得する（Ｓ１２００）。
制御部３０６は、取得した撮像画像から、Ｓ１１０２で判定した動体が無くなった領域の画像を切り出す（Ｓ１２０１）。制御部３０６は、切り出した領域の画像を、保存領域に保存されている前回取得した撮像画像に合成する（Ｓ１２０２）。制御部３０６は、切り出した領域の画像を合成した前回取得した撮像画像を、撮像画像保存部３０３に保存する（Ｓ１２０３）。これにより、前回取得した撮像画像の一部が更新されて保存される。
【００５７】
制御部３０６は、Ｓ１２０１で切り出した領域が、前回の処理で切り出した領域に隣接するか否かを判定する（Ｓ１２０４）。制御部３０６は、例えば、切り出した領域の座標を比較することで、隣接しているか否かの判定を行う。
【００５８】
隣接している場合（Ｓ１２０４：Y）、制御部３０６は、Ｓ１２００で取得した撮像画像の撮像時刻と前回の撮像画像の撮像時刻との時間差が、所定の閾値未満であるか否かを判定する（Ｓ１２０５）。撮像時刻は、撮像画像とともに撮像画像保存部３０３に保存されている。時間差が閾値未満である場合（Ｓ１２０５：Y）、制御部３０６は、前回の撮像画像と同一のＩＤをＳ１２０３で保存した撮像画像に付与する（Ｓ１２０６）。この場合、制御部３０６は、ユーザが一連の動作で書き込みや消去の動作を行っていると判断するために、一連の動作中の撮像画像として同一のＩＤを付与する。
【００５９】
切り出した領域が隣接していない場合（Ｓ１２０４：N）、或いは時間差が閾値以上である場合（Ｓ１２０５：N）、制御部３０６は、前回の撮像画像とは異なるＩＤをＳ１２０３で保存した撮像画像に付与する（Ｓ１２０７）。この場合、制御部３０６は、ユーザが一連の動作を終了して、他の動作を行っていると判断するために、異なる動作の撮像画像として異なるＩＤを付与する。
【００６０】
図１３は、このようにして撮像画像保存部３０３により保存領域に保存される撮像画像の例示図である。ＩＤ、撮像画像、及び撮像時刻が一つのレコードとして外部メモリ２１０の保存領域に保存される。図１３の例では、レコード１４０１〜１４０５が保存領域１４００に保存される。レコード１４０１〜１４０３は、ユーザの一連の動作（「あいうえお」の書き込み操作）として判断されており、同一のＩＤが付されている。レコード１４０４及びレコード１４０５は、ユーザの一連の動作（「かきくけこ」の書き込み操作）として判断されており、同一のＩＤが付されている。
【００６１】
図１４は、図１２のＳ１２０２の、撮像画像の一部を更新する処理の説明図である。図１４では、時刻ｔ１から時刻ｔ３にかけて、ユーザがホワイトボード１１４の盤面３００に筆記具による書き込み操作を行っている。カメラ１１３及び距離画像センサ１１５により撮像されるホワイトボード１１４の盤面３００は、所定の数に分割して認識される。本実施形態では、盤面３００が６４分割されて認識されるが、左右に二分割、四分割といった分割や、全画素を個別の領域とした画素単位の分割であってもよい。
【００６２】
時刻ｔ１の距離画像１３００は、動体領域１３０１を含む。時刻ｔ２の距離画像１３０５は、動体領域１３０６を含む。時刻ｔ３の距離画像１３１０は、動体領域１３１１を含む。
【００６３】
時刻ｔ２で距離画像１３０５を取得した距離画像処理部３０７は、動体領域１３０６を取得する（Ｓ１１００）。距離画像処理部３０７は、時刻ｔ１で取得した距離画像１３００の動体領域１３０１を取得する（Ｓ１１０１）。距離画像処理部３０７は、動体領域１３０１と動体領域１３０６とを比較して、動体が無くなった領域の有無を判定する（Ｓ１１０２）。この例では、動体が無くなった領域１３０８が抽出される。そのために、撮像画像の保存処理が行われる（Ｓ１１０３）。
【００６４】
制御部３０６は、撮像画像１３０９を取得する（Ｓ１２００）。制御部３０６は、撮像画像１３０９から、動体が無くなった領域１３０８を切り出す（Ｓ１２０１）。制御部３０６は、切り出した領域の画像を、前回取得した撮像画像１３０４に合成する（Ｓ１２０２）。ここでは、「うえ」が切り出され、撮像画像１３０４の「あい」に合成されるために、撮像画像１３０９と同様の画像が得られる。
【００６５】
制御部３０６は、切り出した領域が前回の処理で切り出した領域に隣接するか否かを判定する（Ｓ１２０４）。切り出した領域は、動体が無くなった領域と同じである。そのため、制御部３０６は、動体が無くなった領域１３０８と、動体が無くなった領域１３０３とが隣接するか否かを判定する。この例では、動体が無くなった領域１３０８と、動体が無くなった領域１３０３とが隣接するために（Ｓ１２０４：Y）、制御部３０６は、撮像画像１３０９と撮像画像１３０４との撮像時刻の時間差が閾値未満であるか否かを判定する（Ｓ１２０５）。図１３を参照すると、撮像画像１３０９と撮像画像１３０４との撮像時刻の時間差は、２秒である（レコード１４０１、１４０２）。閾値を５秒とすると、制御部３０６は、時間差が閾値未満であると判定する（Ｓ１２０５：Y）。制御部３０６は、合成して生成した撮像画像に前回の撮像画像１３０４と同一のＩＤを付与して、保存領域に保存する（Ｓ１２０６）。
【００６６】
時刻ｔ３で時刻ｔ２と同様の処理を行うと、撮像画像１３１４と同様の画像が、図１２のＳ１２０３で得られることになる。動体が無くなった領域１３１３は、前回の処理における動体が無くなった領域１３０８に隣接する。撮像画像１３１４及び撮像画像１３０９の撮像時刻の時間差が閾値未満であるために、制御部３０６は、合成して生成した撮像画像に前回の撮像画像１３０９と同一のＩＤを付与して、保存領域に保存する。
【００６７】
＜書き込み操作の操作取消処理＞
図１５は、第２実施形態の書き込み操作の操作取消処理の具体例の説明図である。図１５では、時刻ｔ１から時刻ｔ１３に時間が経過する。撮像画像の部分更新は図１４のように行われ、図１３のように撮像画像が保存される。ホワイトボード１１４の盤面３００には、時刻ｔ１〜時刻ｔ１０に示すように書き込み操作が行われる。また、情報処理装置１１１は、撮像画像１５００〜１５０４を取得する。撮像画像１５００〜１５０２は、ＩＤ「１」で保存され、撮像画像１５０３、１５０４は、ＩＤ「２」で保存される。
【００６８】
この状態でユーザが操作取消指示を入力すると、時刻ｔ１１でカメラ１１３が盤面３００を撮像して、撮像画像１５０５が保存領域に保存される（図４のＳ４０３、図５のＳ５００、Ｓ５０１）。この操作取消指示は、直前にユーザが行った「かきくけこ」を書き込む操作を取り消すための指示である。
【００６９】
差分画像処理部３０４は、ポインタＮが「２」に設定される。差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像１５０５と、ＩＤが「Ｎ＝２」の撮像画像１５０４とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。撮像画像１５０３と撮像画像１５０４とは同じＩＤであるが、撮像画像１５０４の方が撮像時刻が新しいため、差分画像処理部３０４は、撮像画像１５０４を用いて差分画像を生成する。
【００７０】
撮像画像７０３と撮像画像７０２とは差分なしと特定されるため、差分画像処理部３０４のポインタＮが１減算されて「２」に設定される（図５のＳ５０４、Ｓ５０７）。
差分画像処理部３０４は、操作取消指示に応じて取得した撮像画像１５０５と、ＩＤが「Ｎ＝１」の撮像画像１５０２とから差分画像を生成し、その種類を特定する（図５のＳ５０２、Ｓ５０３）。ここでは、差分画像１５０６が生成され、種類が書込差分と特定される。差分画像１５０６は、時刻ｔ９で書き込まれた「かきくけこ」となる。差分画像処理部３０４は、「かきくけこ」の文字により、画素値の差分が閾値以上となり、操作取消指示に応じて取得した撮像画像１５０５における差分となる画素が下地色でないため、差分画像１５０６の種類を「書込差分」に特定する。差分画像処理部３０４は、同じＩＤの撮像画像１５００〜１５０２のうち、最も撮像時刻が新しい撮像画像１５０２を用いて差分画像を生成する。
【００７１】
制御部３０６は、生成された差分画像１５０６の消去を促すメッセージを投影画像に合成して合成画像を生成し、プロジェクタ１１２により、盤面３００に合成画像を投影させる（図５のＳ５０６、Ｓ５０８）。これにより時刻ｔ１２では、消去を促すメッセージとして、追記された「かきくけこ」を囲む枠線が表示される。枠線は、点滅や強調表示されてもよい。時刻ｔ１３では、ユーザが、メッセージに応じて「かきくけこ」をイレーサーにより消去する。これにより操作取消処理が完了して、追記前の盤面３００の状態（時刻ｔ５の状態）を復元することができる。
【００７２】
第２実施形態では、盤面３００の手前で動体が動くたびに撮像画像が保存される。そのために、第１実施形態のような操作取消処理を行うと、文字単位で操作取消処理が実行されてしまい、操作の取消が煩雑となってしまう。そこで第２実施形態では、ユーザの一連の動作と判定される撮像画像に同一のＩＤを付与することで、一連の動作による書き込み操作や消去操作の操作取消処理を可能としている。なお、同一のＩＤが付された撮像画像は、撮像時刻が最新のものを残して保存領域から削除してもよい。
このように第２実施形態では、ユーザの動作に応じて撮像画像を取得する。そのために、第１実施形態のように、ユーザが撮像指示を入力する必要が無く、ユーザにとって使い易いものとなる。
【００７３】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016157201.tif 000003
【図２】
2016157201.tif 000004
【図３】
2016157201.tif 000005
【図４】
2016157201.tif 000006
【図５】
2016157201.tif 000007
【図６】
2016157201.tif 000008
【図７】
2016157201.tif 000009
【図８】
2016157201.tif 000010
【図９】
2016157201.tif 000011
【図１０】
2016157201.tif 000012
【図１１】
2016157201.tif 000013
【図１２】
2016157201.tif 000014
【図１３】
2016157201.tif 000015
【図１４】
2016157201.tif 000016
【図１５】
2016157201.tif 000017