(57)【要約】【課題】盤面に電子資料のページを投影中に盤面上から物理書き込みが消去された場合であっても、ページ切り替えによってこのページが再投影される際に、上記消去された物理書き込みを投影画像に再現する仕組みを提供する。【解決手段】画像処理システムが、電子資料を盤面に投影中にページの切り替え指示があった時に、盤面画像を取得してページに紐付けて格納する。画像処理システムが、所定のタイミングで、現在のページが投影されている盤面上での物理書き込みに係る第１の盤面画像と、現在のページの直前のページに紐付けて格納されている第２の盤面画像との差分に基づいて、格納している各々のページに対応する復元画像を決定する。そして、画像処理システムが、ページの切り替え指示による切り替え後のページに係る画像データとこのページに対応する復元画像とを合成して盤面に投影する。【選択図】図３
2015139085.tif 000002
【特許請求の範囲】
【請求項１】
電子資料の投影画像を盤面に投影する画像処理システムであって、
前記電子資料の投影画像の投影中に当該電子資料のページの切り替え指示があったタイミングで、前記盤面を撮影することで、当該盤面上での物理書き込みに係る盤面画像を取得する撮影手段と、
前記盤面画像を前記ページの切り替え指示がある前の電子資料のページに紐付けて格納する格納手段と、
所定のタイミングで、電子資料の現在のページが投影されている盤面の撮影により取得される当該盤面上での物理書き込みに係る第１の盤面画像と、現在のページの直前に投影されていたページに紐付けて格納されている第２の盤面画像とで差分があるかを判断し、前記第１の盤面画像と前記第２の盤面画像とで差分がある場合に、前記格納されている各々のページに紐付く盤面画像と前記差分に対応する差分画像との比較処理を実行して、各々のページに対応する復元画像を決定する決定手段と、
前記ページの切り替え指示による切り替え後のページに係る画像データと当該ページに対応する前記復元画像とを合成して前記投影画像を生成し、前記盤面に投影する投影手段とを備える
ことを特徴とする画像処理システム。
【請求項２】
前記電子資料の投影画像の投影中に当該電子資料のページの切り替え指示があった場合に、当該電子資料のページの投影時間が閾値を超えるかを判断する判断手段を備え、
前記撮影手段は、電子資料のページの投影時間が閾値を超えると判断された場合に、前記盤面を撮影することで、当該盤面上での物理書き込みに係る盤面画像を取得する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記格納手段は、前記判断手段によって、前記電子資料のページの投影時間が閾値以下であると判断された場合に、現在投影中のページに紐付けて格納されている盤面画像を削除する
ことを特徴とする請求項１または請求項２に記載の画像処理システム。
【請求項４】
前記所定のタイミングは、前記盤面上での前記物理書き込みの変化を検出したタイミングである
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
【請求項５】
前記決定手段は、前記第１の盤面画像に、前記第２の盤面画像から消去された差分画像がある場合に、前記格納されている盤面画像のうち、当該差分画像を含む盤面画像に紐付けられているページに対応する復元画像を生成／更新する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
【請求項６】
前記決定手段は、前記復元画像が生成／更新されたページに紐付けて格納されている盤面画像から、前記差分画像を削除する
ことを特徴とする請求項５に記載の画像処理システム。
【請求項７】
電子資料の投影画像を盤面に投影する画像処理装置であって、
前記電子資料の投影画像の投影中に当該電子資料のページの切り替え指示があったタイミングで、外部装置に指示して前記盤面を撮影させることで、当該盤面上での物理書き込みに係る盤面画像を取得する撮影手段と、
前記盤面画像を前記ページの切り替え指示がある前の電子資料のページに紐付けて格納する格納手段と、
所定のタイミングで、電子資料の現在のページが投影されている盤面の撮影により取得される当該盤面上での物理書き込みに係る第１の盤面画像と、現在のページの直前に投影されていたページに紐付けて格納されている第２の盤面画像とで差分があるかを判断し、前記第１の盤面画像と前記第２の盤面画像とで差分がある場合に、前記格納されている各々のページに紐付く盤面画像と前記差分に対応する差分画像との比較処理を実行して、各々のページに対応する復元画像を決定する決定手段と、
前記ページの切り替え指示による切り替え後のページに係る画像データと当該ページに対応する前記復元画像とを合成して前記投影画像を生成し、前記外部装置に指示して前記投影画像を前記盤面に投影させる投影手段とを備える
ことを特徴とする画像処理装置。
【請求項８】
前記電子資料のページに係る画像データを生成する生成手段を備える
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記電子資料のページに係る画像データを外部装置から取得する取得手段を備える
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記撮影手段は、外部装置から前記電子資料のページの切り替え指示を受け付ける
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
電子資料の投影画像を盤面に投影する画像処理方法であって、
前記電子資料の投影画像の投影中に当該電子資料のページの切り替え指示があったタイミングで、前記盤面を撮影することで、当該盤面上での物理書き込みに係る盤面画像を取得する工程と、
前記盤面画像を前記ページの切り替え指示がある前の電子資料のページに紐付けて格納する工程と、
所定のタイミングで、電子資料の現在のページが投影されている盤面の撮影により取得される当該盤面上での物理書き込みに係る第１の盤面画像と、現在のページの直前に投影されていたページに紐付けて格納されている第２の盤面画像とで差分があるかを判断し、前記第１の盤面画像と前記第２の盤面画像とで差分がある場合に、前記格納されている各々のページに紐付く盤面画像と前記差分に対応する差分画像との比較処理を実行して、各々のページに対応する復元画像を決定する工程と、
前記ページの切り替え指示による切り替え後のページに係る画像データと当該ページに対応する前記復元画像とを合成して前記投影画像を生成し、前記盤面に投影する工程とを有する
ことを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させる
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
プロジェクタなどの機器を用いて電子資料を全員に見えるようにホワイトボードをスクリーンとして投影しつつ会議を行い、参加者が必要に応じてその資料が投影されているホワイトボードに対してコメントやメモを書き込むことが行われている。
【０００３】
特許文献１は、ホワイトボードに投影中の電子資料の映像に対する物理書き込みの情報を格納する画像処理方法を開示している。
【０００４】
また、特許文献２は、投影する電子資料のページを変更する操作を検出した時に投影を切り替える前に警告表示を行い、書き込みの内容と電子資料の内容に食い違いが発生する可能性があることをユーザに報知する会議システムを開示している。
【０００５】
また、タッチパネル等の画面に対してデジタイザや電子ペンなどを用いて記入した書き込み（筆跡）を全て電子情報とし記録して表示する、電子ノート等に関する技術も製品化されている。この技術は、物理的なノートと同じ操作性を実現するために仮想的なページの概念を持っている。すなわち、書き込みを行った後にページを進める操作を行うとそれまでの書き込みが全て表示されなくなり、まっさらな新しいページが表示される。また、ページを戻す操作を行うと、内部記録されていた書き込み情報をもとに再表示することで、元のページが再現されるよう動作する。これはつまり、書き込み情報がページ番号と関連付けてデータ保存されていることを意味する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１４１５９９号公報
【特許文献２】特開２０１２−９０１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１が開示する画像処理方法、特許文献２が開示する会議システムのいずれも、ユーザが書き込みを消去した時の処理を定義していない。したがって、ホワイトボードに電子資料のページを投影中に物理書き込みが消去されると、ページ切り替えによってこのページが再投影される際に、上記消去された物理書き込みを投影画像に再現すことはできない。
【０００８】
本発明は、盤面に電子資料のページを投影中に盤面上から物理書き込みが消去された場合であっても、ページ切り替えによってこのページが再投影される際に、上記消去された物理書き込みを投影画像に再現する仕組みの提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一実施形態の画像処理システムは、電子資料の投影画像を盤面に投影する画像処理システムであって、前記電子資料の投影画像の投影中に当該電子資料のページの切り替え指示があったタイミングで、前記盤面を撮影することで、当該盤面上での物理書き込みに係る盤面画像を取得する撮影手段と、前記盤面画像を前記ページの切り替え指示がある前の電子資料のページに紐付けて格納する格納手段と、所定のタイミングで、電子資料の現在のページが投影されている盤面の撮影により取得される当該盤面上での物理書き込みに係る第１の盤面画像と、現在のページの直前に投影されていたページに紐付けて格納されている第２の盤面画像とで差分があるかを判断し、前記第１の盤面画像と前記第２の盤面画像とで差分がある場合に、前記格納されている各々のページに紐付く盤面画像と前記差分に対応する差分画像との比較処理を実行して、各々のページに対応する復元画像を決定する決定手段と、前記ページの切り替え指示による切り替え後のページに係る画像データと当該ページに対応する前記復元画像とを合成して前記投影画像を生成し、前記盤面に投影する投影手段とを備える。
【発明の効果】
【００１０】
本発明の画像処理システムによれば、盤面に電子資料のページを投影中に盤面上から物理書き込みが消去されても、ページ切り替えによってこのページが再投影される際に、上記消去された物理書き込みを投影画像に再現することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の画像処理システムの構成例を示す図である。
【図２】情報処理装置のハードウエア構成例を示す図である。
【図３】画像処理システムの機能ブロック図の一例である。
【図４】投影用の電子資料の例である。
【図５】盤面の状態遷移を示す図である。
【図６】画像処理システムの動作処理を説明するフローチャートである。
【図７】盤面画像の例である。
【図８】復元画像を生成する処理の例を説明するフローチャートである。
【図９】差分画像の例である。
【図１０】盤面の状態遷移を示す図である。
【図１１】盤面の状態遷移を示す図である。
【図１２】画像処理システムの動作処理を説明するフローチャートである。
【図１３】盤面の状態遷移を示す図である。
【図１４】画像処理システムの機能ブロック図である。
【図１５】画像処理システムの機能ブロック図である。
【図１６】画像処理システムの動作処理を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
（実施例１）
以下に、本実施形態の画像処理システムについて説明する。まず、本実施形態の画像処理システムの適用が想定される場面について説明する。
【００１３】
会議参加者が、ホワイトボードに電子資料をプロジェクタで投影しながら会議を行うことがある。ホワイトボードを用いているので、投影した電子資料に対してマーカーペンを用いてコメントを書くことが考えられる。また、投影する電子資料は複数ページで構成され、ユーザは、投影中の資料のページを切り替えるものとする。しかし、マーカーペンの書き込みは物理的に行われ、参加者が消去しない限り書き込みは残ってしまう。書き込みを残したままページを切り替えてしまうと、投影資料の内容と書き込みの内容との関係が崩れてしまう。
【００１４】
そこで、本実施形態の画像処理システムは、投影資料のページが切り替わるタイミングで物理書き込みの盤面画像を撮影し、投影資料のページと関連付けて内部格納しておく。盤面画像は、盤面（この例ではホワイトボード）上に物理的に書き込まれた書き込みの画像である。
【００１５】
また、画像処理システムは、任意のタイミングで取得した現在の物理書き込みの画像とそれら盤面画像群とを比較し、消去差分があった場合はその消去差分を復元画像として内部格納する。そして、画像処理システムは、投影資料のページが切り替えにより過去に投影したことがある資料のページを再投影するときに、そのページに関連付けられた復元画像があった場合には、そのページの画像データと復元画像とを合成して投影する。これにより、物理書き込みが消去されていても書き込みを復元できるようにする。
【００１６】
図１は、本実施形態の画像処理システムの構成例を示す図である。
図１に示す画像処理システムは、情報処理装置１０とカメラプロジェクタ１２とを備える。情報処理装置１０は、カメラプロジェクタ１２がホワイトボード１１を撮影した画像を保存し、後述する処理を行って、カメラプロジェクタ１２に対して画像を出力して画像の表示を行う。情報処理装置１０として、カメラプロジェクタが接続できるパーソナルコンピュータやワークステーションだけでなく、それらを内蔵するタブレットなどのコンピュータシステムを用いても良い。
【００１７】
ホワイトボード１１は、専用のマーカーペンで文字や図形などを書込むのに用いる白い板で、専用のイレーサーを使うことで書き込みを何度でも消去できる。壁面に貼るタイプの巻取り式のシート状の物等もあり、それを用いても良い。本実施形態では、ホワイトボード１１の盤面を、カメラプロジェクタ１２が画像を投影する投影面として用いる。
【００１８】
カメラプロジェクタ１２は、ホワイトボード１１に書き込まれた文字や図形を電子情報に変換し、情報処理装置１０へ送信する。またカメラプロジェクタ１２は、情報処理装置１０から送られてきた電子情報を変換し、ホワイトボート１１へ画像を投影する。
【００１９】
図２は、情報処理装置のハードウエア構成例を示す図である。
情報処理装置１０は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、ＨＤＤ２０３、ディスプレイ２０４、カメラＩ／Ｆ２０５、外部ディスプレイＩ／Ｆ２０６、キーボード２０７、マウス２０８を備える。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。ＣＰＵ２００乃至マウス２０８は、バス２０９を介して接続されている。
【００２０】
ＣＰＵ２００は、情報処理装置１０全体の制御を行う。ＣＰＵ２００は、ＲＯＭ２０１やＨＤＤ２０３などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、ＣＰＵ２００は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部として機能する。ＲＯＭ２０１は、ＣＰＵ２００を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は実行するプログラム用メモリとしてだけでなく、ワークメモリとしても用いられる。
【００２１】
図３は、本実施形態の画像処理システムの機能ブロック図の一例である。
画像処理システムは、制御部３０、記憶部３１、画像撮影部３２、投影制御部３３、操作部３４を備える。この例では、カメラプロジェクタ１２が、画像撮影部３２と画像投影部３３を備え、情報処理装置１０が制御部３０、記憶部３１、操作部３４を備えるが、この構成に限定されない。図３に示す全ての処理部を備える単体の装置を画像処理装置として実現してもよい。
【００２２】
制御部３０は、画像比較部３００、資料画像生成部３０１、画像合成部３０２、投影制御部３０３、画像取得部３０４を備える。また、記憶部３１には、資料データ３１０、盤面画像群３１１、復元画像群３１２が記憶される。
【００２３】
制御部３０が備える画像比較部３００は、画像取得部３０４から得られた画像と盤面画像群３１１に含まれる画像のうちの特定の画像との比較を行い、消去された画像の抽出を行う。また、画像比較部３００は、消去された差分画像と盤面画像群の各画像との比較を行って、差分画像が含まれているかを判定する。
【００２４】
資料画像生成部３０１は、資料データ３１０を読み出して投影用の画像をページごとに生成して投影制御部３３へ送ったり、画像合成部３０２へ送ったりする。画像合成部３０２は、投影用の資料画像と復元画像群３１２の画像とを合成したり、画像比較部３００が生成した差分画像を用いて盤面画像群３１１の画像や復元画像群３１２の画像を更新したりする。
【００２５】
投影制御部３０３は資料画像生成部３０１が生成した投影資料の画像を投影制御部３３に送ったり、その投影資料と復元画像群３１２とを後述する画像合成部３０２によって合成した画像を投影制御部３３に送ったりする。
【００２６】
画像取得部３０４は、画像撮影部３２が撮影により取得した画像を所定のタイミングで取り出し、盤面画像群３１１として保存したり、画像比較部３００に対して画像を比較用に供給したりする。画像取得部３０４は、例えば、ユーザが操作部３４を用いて手動で指示したタイミングで画像を取り出したり、図示しない計数部により決定される一定時刻間隔で画像を取り出したりする。この例では、画像取得部３０４は、ユーザが操作部３４を用いて手動で指示したタイミングで画像を取り出す。
【００２７】
図４は、資料画像生成部が資料データから生成した、投影用の電子資料の例である。この例では、資料データ３１０が４ページで構成されており、それぞれのページが電子資料画像４１から電子資料画像４４の画像からなる。
【００２８】
図５は、実際の会議を行った時のホワイトボードの盤面の状態遷移の例を表した図である。盤面状態５１は、ホワイトボードの右上に参加者の書き込み５１１が書かれた状態である。盤面状態５２は操作部３４などからの操作により、盤面状態５１に対して電子資料画像４１を投影画像５２１として投影開始した状態である。盤面状態５３は操作部３４などからの操作により電子資料画像４１から電子資料画像４２にページを切り替えて投影画像５３１として投影した状態である。
【００２９】
盤面状態５４は、盤面状態５３からユーザのホワイトボードに対するマーカーペンの書き込みによって物理書き込み５４１が書き込まれた状態である。盤面状態５５は操作部３４などからの操作により電子資料画像４２から電子資料画像４３にページを切り替えて投影画像５５１として投影した状態である。このとき盤面状態５４で書き込まれた物理書き込み５４１は、そのまま残っている。盤面状態５６は、ユーザのホワイトボードに対する消去操作によって物理書き込み５４１が消された状態である。以後、この盤面状態５１から盤面状態５６までの状態遷移を用いて処理の流れを説明する。
【００３０】
図６は、実施例１の画像処理システムの動作処理を説明するフローチャートである。この例では、盤面状態５１から盤面状態５２、盤面状態５２から盤面状態５３、盤面状態５４から盤面状態５５へ変化するきっかけとなった、操作部３４などからの操作による指示がされた場合の動作について説明する。本フローチャートの処理は，情報処理装置１０のＲＡＭ２０２上に実行コードが配置され、ＣＰＵ２００が実行することによって実現される。
【００３１】
Ｓ６０１では、ＣＰＵ２００が、電子資料の投影を新規に開始するかの判定を行う。新規の投影開始の場合には、Ｓ６０２とＳ６０３の処理は実行されない。これは盤面状態５１から盤面状態５２に変化した時の場合に相当する。一方、新規投影開始ではなく投影中のページの切り替えであった場合には、Ｓ６０２に進む。
【００３２】
Ｓ６０２で、画像撮影部３２が、ホワイトボードの物理マーカー書き込みのみを撮影する。盤面状態５２から盤面状態５３に変化した場合は、図７示す盤面画像７１のような画像が撮影される。盤面状態５４から盤面状態５５に変化した場合は、盤面画像７２のような画像が撮影される。次に、Ｓ６０３で、画像取得部３０４が、撮影された画像を現在投影中の資料のページと紐付け、盤面画像群３１１として記憶部３１に格納する。盤面画像７１は、電子資料画像４１と紐付けられ、盤面画像７２は電子資料画像４２と紐付けられて格納される。
【００３３】
Ｓ６０４で、ＣＰＵ２００が、電子資料の投影を終了する指示があったかを判定する。投影を終了する指示がある場合は、Ｓ６０５以降の処理は実行されずに終了する。投影を終了する指示がない場合は、Ｓ６０５に進む。
【００３４】
Ｓ６０５で、資料画像生成部３０１が、次に投影すべき電子資料画像の生成処理を行う。Ｓ６０６で、画像合成部３０２が、生成された電子資料画像に関連付けられた復元画像を復元画像群３１２から取得する。この時、対応する画像がなかったり、画像があってもホワイトボードの下地色に相当する色で塗りつぶされ復元に有効な情報が含まれていない状態であったりすることもある。
【００３５】
Ｓ６０７で、画像合成部３０２が、電子資料画像と取得した復元画像とを合成し、投影を行う。合成処理には、一般的なアルファブレンド処理などを用いても良い。Ｓ６０６で画像が得られなかった場合は、画像合成部３０２は、合成処理を行わずに電子資料画像のみを投影する。
【００３６】
図８は、復元画像を生成する処理の例を説明するフローチャートである。復元画像の生成処理は、ユーザが操作部３４を用いて、手動で撮影を指示したタイミングで実行される。本フローチャートの処理は、ＲＡＭ２０２上に実行コードが配置され、ＣＰＵ２００が実行することによって実現される。なお、復元画像を生成する処理の実行タイミングについては、ユーザの指示に限定する必要はなく、任意のタイミングで実行されてもよい。図８では、図５の盤面状態５５から盤面状態５６に変化した場合を例にとって説明する。
【００３７】
まず、Ｓ８０１で、画像撮影部３２が、ホワイトボードの物理書き込みのみを撮影する。盤面状態５６は、ユーザのホワイトボードに対するイレーサーによる消去によって物理書き込み５４１が消された状態である、撮影される画像としては書き込みが行われる前の状態である盤面状態７１と同等の画像（第１の盤面画像）が得られる。
【００３８】
Ｓ８０２では、画像比較部３００が、現在表示中の資料ページの直前に表示していた資料ページに紐付く盤面画像（第２の盤面画像）を記憶部３１から取得する。この時、当該資料ページに紐付く盤面画像がなかったり、盤面画像があってもホワイトボードの下地色に相当する色で塗りつぶされて有効な情報が含まれていない状態であったりすることもある。この例では、盤面状態５６は電子資料画像４３を表示しているが、その直前に表示していた電子資料画像は電子資料画像４２であるため、電子資料画像４２と紐付く盤面画像７２が得られる。
【００３９】
Ｓ８０３では、画像比較部３００が、Ｓ８０２で得られた盤面画像に、Ｓ８０１で得た画像に対して消去された差分（マイナス差分）があるかを検出するために、マイナス差分画像の抽出を行う。マイナス差分画像は、マイナス差分に対応する画像である。以下では、マイナス差分画像を単に差分画像とも記述する。
【００４０】
この例では、Ｓ８０２で盤面画像７２が、Ｓ８０１で盤面画像７１と同等の画像が得られるので、マイナス差分画像としては、図９に示す差分画像９１が得られる。差分画像９１は、盤面状態５５から盤面状態５６へ変化するときに、消去された画像差分に対応する画像である。
【００４１】
次に、Ｓ８０４で、画像比較部３００が、Ｓ８０３で差分画像が抽出されたかを判断する（ステップＳ８０４）。差分画像が抽出されなかった場合は、処理を終了する。差分画像が抽出された場合は、以下に説明するＳ８０５からＳ８１０までの処理が繰り返し実行される。この処理は、盤面画像群３１１に格納された全ての画像に対して実行され、処理すべき画像がなくなったら繰り返しを終了する。この例では、盤面画像７１と盤面画像７２が盤面画像群３１１に格納されている場合について説明する。
【００４２】
まず、Ｓ８０６で、画像比較部３００が、盤面画像の特定の１つのページを取得する。この例では、盤面画像７１が取得されたものとする。Ｓ８０７で、画像比較部３００が、得られた盤面画像と差分画像との比較処理を実行し、盤面画像に差分画像が含まれているかを判断する。この例では、画像比較部３００は、盤面画像７１と差分画像９１を比較し、盤面画像７１には差分画像９１の内容が含まれていないと判断する。盤面画像に差分画像が含まれていない場合は、Ｓ８１０からＳ８０５に戻り、再度Ｓ８０６へと処理が移る。
【００４３】
ここで、２度目のＳ８０６の処理では盤面画像７２が取得されたものとする。２度目のＳ８０７では、画像比較部３００は、盤面画像７２と差分画像９１を比較する。画像比較部３００は、盤面画像７２に差分画像９１の内容が含まれていると判断する。これにより、処理がＳ８０８に移行する。
【００４４】
Ｓ８０８で、画像比較部３００が、差分画像が含まれていた盤面画像に対応する、電子資料画像のページに関連付けられた復元画像の更新を行う。復元画像は復元画像群３１２に格納されており、盤面画像７２に対応する電子資料画像は電子資料画像４２である。したがって、画像比較部３００は、電子資料画像４２に紐付く復元画像を更新する。この時点で電子資料画像４２に紐付く復元画像が無かった場合には、画像比較部３００は、差分画像９１をそのまま電子資料画像４２に紐付く復元画像として格納することで更新処理とする。電子資料画像４２に紐付く復元画像があった場合には、この復元画像が差分画像を新たに含むようにこの復元画像に対して合成処理を行い格納する。この合成処理にも、一般的なアルファブレンド処理などを用いても良い。
【００４５】
上述したＳ８０８の処理によって、次回、図６に示す処理を実行するときにＳ６０５によって取得される画像が決定（生成／更新）される。これにより、電子資料画像４２を表示するようなページ切り替え操作が行われた場合に、図６のＳ６０４により電子資料画像４２が、また、Ｓ６０５の処理により差分画像９１が得られる。そして、Ｓ６０６の処理により、電子資料画像４２と差分画像９１との合成画像が投影される。
【００４６】
図８の説明に戻る。Ｓ８０９で、画像取得部３０４が、盤面画像の更新処理を行う。今回は差分画像９１に相当する書き込みの消去操作についての一連の処理を行ったが、次回以降Ｓ８０７で消去差分が検出されないように、盤面画像７２から差分画像９１に相当する部分を削除処理して再格納する。その結果、盤面画像７２は、盤面画像７１と同等の画像に更新され、以降の処理で、差分画像９１に相当する箇所が比較の対象にならなくなる。以上説明した処理により、盤面画像群３１１に含まれている盤面画像７１と盤面画像７２の処理が終了するので、図８に示す復元画像の生成処理が終了する。
【００４７】
図１０は、図８に示す処理を実行したことによって復元画像群３１２が更新された後の盤面の状態遷移を示す。盤面状態１０１は、図５の盤面状態５６と同等の状態である。この状態から操作部３４などからの操作により電子資料画像４３から電子資料画像４２にページを切り替える操作を行った時の状態が盤面状態１０２である。盤面状態１０１の時には、既にユーザの消去操作によって消去されてしまった書き込みが、復元画像の更新処理によって電子的に復元され、電子資料の画像データと合成されて投影される。
【００４８】
以上の処理により、ホワイトボード等にマーカーペンを用いてコメントなどを書込む機器を用いる会議で、電子資料のページをめくりつつペンによる書き込みとイレーサーを用いた消去を逐次行なっていても、電子資料の各ページに対応した書き込みを再現できる。
【００４９】
（実施例２）
実施例２の画像処理システムは、電子資料投影中にマーカー書き込みを行い、その書き込みを消さないままで投影する資料のページを変更した場合に、変更前のページの投影（表示）時間が短いときは、このページに紐付く盤面画像を消去する。
【００５０】
図１１は、実際の会議を行った時のホワイトボードの盤面の状態遷移を表した図である。盤面状態１１１は、ホワイトボードの右上に参加者の書き込み１１１が書かれた状態で、かつ電子資料画像４２を投影画像１１１１として投影した状態である。
【００５１】
盤面状態１１２は、盤面状態１１１からユーザのホワイトボードに対するマーカーペンの書き込みによって物理書き込み１１２１が書き込まれた状態である。盤面状態１１３は操作部３４などからの操作により電子資料画像４２から電子資料画像４３にページを切り替えて投影画像１１３１として投影した状態である。このとき、盤面状態１１２の時に書き込まれた物理書き込み１１２１は、そのまま残っている。
【００５２】
盤面状態１１４は、操作部３４などからの操作により電子資料画像４３から電子資料画像４４にページを切り替えて投影画像１１４１として投影した状態である。このとき盤面状態１１２時に書き込まれた物理書き込み１１２１は、そのまま残っている。盤面状態１１５は、ユーザのホワイトボードに対するイレーサーによる消去によって物理書き込み１１２１が消された状態である。以後、この盤面状態１１１から盤面状態１１５までの状態遷移を用いて処理の流れを説明する。
【００５３】
図１２は、実施例２の画像処理システムの動作処理を説明するフローチャートである。この例では、盤面状態１１２から盤面状態１１３、盤面状態１１３から盤面状態１１４へ変化するきっかけとなった、操作部３４などからの操作による指示があった場合の処理について説明する。本フローチャートの処理は、情報処理装置１０のＲＡＭ２０２上に実行コードが配置され、ＣＰＵ２００が実行することによって実現される。
【００５４】
Ｓ１２０１で、ＣＰＵ２００が、電子資料の投影を新規に開始するかの判定を行う。電子資料の投影を新規に開始する場合には、処理を終了する。新規の投影開始ではなく投影中のページの切り替えであった場合には、Ｓ１２０２で、画像処理システムが備える所定の計数部（図示を省略）が、ページ表示時間の計数を終了する。計数を開始するタイミングは後述するが、これによりページ切り替え指示があるまでに、当該ページがどのくらい長く表示されていたかの時間が得られる。
【００５５】
次に、Ｓ１２０３で、画像取得部３０４が、ページ表示時間が閾値以上であるかを確認する。例えば閾値が１秒、計数部が計測したページ表示時間が６０秒であった場合には、ページ表示時間が閾値以上である。したがって、この場合は、Ｓ１２０４とＳ１２０５の処理が実行される。Ｓ１２０４とＳ１２０５の処理は、図６に示すＳ６０２とＳ６０３の処理と同様であるので、説明を省略する。
【００５６】
閾値が１秒、計数部が計測したページ表示時間が０．５秒であった場合には、ページ表示時間が閾値以下である。したがって、この場合は、Ｓ１２０６で、画像取得部３０４が、盤面画像の削除処理を行う。具体的には、画像取得部３０４は、盤面画像群３１１に格納されている、現在表示中の電子資料に関連付けられた盤面画像を削除する。今回は盤面状態１１３から盤面状態１１４へ変化するときの表示時間が短いものと想定しているので、Ｓ１２０４とＳ１２０５で撮影、格納された物理書き込みが画像データとして存在していれば削除する。この削除処理による効果については、後述する。また、Ｓ１２０７からＳ１２０９の処理については、図６のＳ６０４からＳ６０６までの処理と同様であるので、説明を省略する。
【００５７】
Ｓ１２１０では、計数部が、ページ表示時間の計数を開始する。計数部は、直前のＳ１２０９で合成画像の投影が開始された直後に計数を開始し、Ｓ１２０２で計数を終了することで、当該合成画像の投影時間の計数を行う。
【００５８】
実施例２の画像処理システムは、図１２に示す処理と図８に示す復元画像を生成する処理とを組み合わせて全体の処理を実行する。ここで、Ｓ１２０６の盤面画像削除処理は、図８のＳ８０２からＳ８０４までの処理に影響する。Ｓ１２０６で盤面画像群から盤面画像が削除された場合には、図８のＳ８０２の盤面画像取得処理で、ページに紐付く盤面画像がないので、Ｓ８０３の差分画像の抽出も行えない。
【００５９】
差分画像の抽出が行えない場合は、画像比較部３００は、差分が無いと固定的に判定する。これにより、以後のＳ８０５からＳ８１０までの復元画像の生成処理を強制的に実行させなくする。例えば、盤面状態１１４の時にユーザの消去操作によって書き込みが消去されても、盤面状態１１３の時に残っていた物理書き込みが差分画像の抽出の対象にならず、結果として復元画像が生成されない。従って、盤面の状態遷移が図１１に示すような状態遷移である場合に、図１２の処理と図８の処理とを実行すると、復元画像群３１２が更新され、状態遷移は図１３のようになる。
【００６０】
盤面状態１３１は、図１１の盤面状態１１５と同等の状態である。この状態から操作部３４などからの操作により電子資料画像４４から電子資料画像４３にページを切り替えた時の状態が盤面状態１３２である。盤面状態１３１の時にユーザの消去操作によって消されてしまった書き込みは、電子資料画像４３とは紐付けられないので、電子的に復元されない。この状態からさらに操作部３４などからの操作により電子資料画像４３から電子資料画像４２にページを切り替えた時の状態が、盤面状態１３３である。盤面状態１３１の時にユーザの消去操作によって消去されてしまった書き込みが、電子資料画像４２と関連付けられることで電子的に復元され、電子資料画像の画像データと合成されて投影される。
【００６１】
以上の処理により、短時間で電子資料のページがめくられた場合には、後にそのページにページが切り替わった場合に、このページに紐付く盤面画像を削除することで、当該盤面画像を復元の対象から外すことが可能になる。
【００６２】
（実施例３）
図１４は、実施例３の画像処理システムの機能ブロック図である。図１４に示す画像処理システムは、画像処理装置１４０と外部装置１４１とを備える。画像処理装置１４０と外部装置１４１とは、ネットワーク１４２を介して通信する。
【００６３】
画像処理装置１４０が備える処理部のうち、図３に示す処理部と同じ番号を持つ処理部は、図３に示す処理部と同様である。画像処理装置１４０が備える資料画像取得部１４０１は、外部装置１４１に対して、通信部３５を介して資料画像を要求し、取得する。具体的には、資料画像取得部１４０１は、例えば、ＵＲＩ（Uniform Resource Identifier ）と、必要な資料のページ番号を用いて、資料画像の取得要求を行う。以下のＵＲＩは、 exampleという名称の装置からdenshi＿shiryou というディレクトリに格納された presentation.txt という電子資料の１０ページ目の画像を要求する場合のＵＲＩの例である。
https://example/denshi＿shiryou/presentation.txt#page=10
【００６４】
外部装置１４１は、通信部１４１１、資料画像生成部３０１、資料データ３１０を記憶する記憶部とを備える。通信部１１４１は、サーバ機能を持っており、他の機器からの通信要求に対して適宜応答を行う。通信部１４１１は、例えば、ＷＥＢサーバなどである。通信部１１４１は、上述したＵＲＩによる資料画像の取得要求を受信した場合は、外部装置１４１内のファイルシステムを検索し、指定のファイルを読み出して適宜データ変換を行い要求元へ返信する。
【００６５】
以上の構成と、図６及び図８もしくは図１２及び図８を参照して説明した一連の処理により、撮影、投影を行う機器と投影用資料を格納する機器を別々に構成した場合でも、一体に構成した場合と同等の機能が実現可能である。これにより、投影用資料の格納を１台の機器に集約したサーバー・クライアント形態の運用が可能になる。
【００６６】
（実施例４）
図１５は、実施例４の画像処理システムの機能ブロック図である。図１５に示す画像処理システムは、画像処理装置１５０と外部装置１５３とを備える。画像処理装置１５０と外部装置１５３とは、例えば所定のネットワークを介して通信する。
【００６７】
画像処理装置１５０が備える処理部のうち、図３に示す処理部と同じ番号を持つ処理部は、図３に示す処理部と同様である。画像処理装置１５０が備える画像入力部３６は、外部装置１５３から出力された画像を画像処理装置１５０の制御部３０に入力する。具体的には、映像表示に用いられるディスプレイ信号が外部装置１５３の画像出力部１５３１から通信路１５１を通じて画像入力部３６に入力される。
【００６８】
制御部３０が備える資料画像生成部１５０１は、入力されたディスプレイ信号から電子資料の資料画像を生成する。記憶部３１には、生成された資料画像が格納された資料画像群１５１１が記憶される。操作部１５２１は、外部装置１５３の操作部１５３２からの操作を入力する機能を備える。
【００６９】
外部装置１５３は、画像出力部１５３１、資料画像生成部３０１、操作部１５３２、資料データ３１０を記憶する記憶部を備える。画像出力部１５３１は、投影資料の画像情報をディスプレイ表示信号を用いて出力する。
【００７０】
操作部１５３２は、電子資料の投影開始指示、投影終了指示、電子資料のページ切り替え指示などのユーザが行った操作を受け付ける。受け付けられた操作の情報は、通信路１５２を通じて画像処理装置１５０の操作部１５２１に渡される。ページ切り替え指示は、資料切り替え検出部１５０２に渡され、資料切り替え検出部１５０２によって、電子資料のページ切り替えが指示されたことが検出される。また、資料画像生成部３０１は、操作部１５３２が受け付けた操作に応じて、資料画像の出力開始、出力終了、出力画像のページの切り替えを行う。
【００７１】
本実施例では、ユーザが投影開始指示、投影終了指示、電子資料のページ切り替え指示の操作を装置１５３の操作部１５３２で行うものとする。これらの指示は、資料画像生成部３０１の制御だけでなく、画像処理装置１５０の内部制御にも用いられる。
【００７２】
図１６は、実施例４の画像処理システムの動作処理を説明するフローチャートである。画像処理装置１５０の操作部１５２１へ入力された操作、または外部装置１５３の操作部１５３２へ入力された操作により、電子資料の投影を開始する指示、ページを切り替える指示があったものとする。本フローチャートの処理は、画像処理装置１５０内の図示しないＲＡＭ上に実行コードが配置され、図示しないＣＰＵによって実行されることで実現される。
【００７３】
Ｓ１６０１では、ＣＰＵが、電子資料の投影を新規に開始するかの判定を行う。新規にの投影を開始する場合にはＳ１６０２とＳ１６０３の処理は実行されない。新規の投影開始ではなく投影中のページの切り替えであった場合には、Ｓ１６０２で、画像撮影部３２が、ホワイトボード上（盤面上）の物理マーカー書き込みのみを撮影する。Ｓ１６０３で、画像取得部３０４が、撮影された画像を現在投影中の資料のページと紐付け、盤面画像群３１１として記憶部３１に格納する。
【００７４】
Ｓ１６０４で、資料画像生成部１５０１が、画像入力部３６から入力されたディスプレイ表示信号に基づいて、資料画像の生成を行う。Ｓ１６０５では、画像取得部３０４が、Ｓ１６０４で生成された資料画像が新規画像であるかの判定をするために、当該資料画像が資料画像群１５１１の中に既に格納されているか検索を行う。資料画像が、資料画像群１５１１に格納されている既知の資料画像であった場合には、Ｓ１６０６に処理を移す。資料画像が、資料画像群１５１１に格納されていない新規画像であった場合は、Ｓ１６０８へ処理を移す。そして、画像取得部３０４が、当該資料画像を新たに資料画像群１５１１へ格納する。
【００７５】
Ｓ１６０６では、画像取得部３０４が、Ｓ１６０４で生成された資料画像に対応する、書き込みを復元するのに必要な復元画像を、復元画像群３１２から取得する。この時、対応する復元画像がなかったり、復元画像があってもホワイトボードの下地色に相当する色で塗りつぶされた画像であったりすることもある。
【００７６】
Ｓ１６０７では、画像合成部３０２が、Ｓ１６０６で取得した復元画像とＳ１６０４で生成した資料画像との合成を行う。合成処理には、一般的なアルファブレンド処理などを用いても良い。Ｓ１６０６で画像が得られなかった場合は、画像合成部３０２は、合成処理を行わない。したがって、この場合は、投影画像のみが投影される。Ｓ１６０９では、Ｓ１６０７で合成した画像、もしくはＳ１６０４で生成した資料画像のいずれかの投影を開始する。
【００７７】
以上の構成により、撮影、投影を行う機器と投影用資料を格納する機器を別々に構成することが可能になる。これにより、既存のパーソナルコンピュータのディスプレイ信号による接続と、ユーザの操作情報を伝えるための接続を併用することで投影用資料データの可搬性を向上させることができる。
【００７８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７９】
１０  情報処理装置
１１  ホワイトボード
１２  カメラプロジェクタ
３０  制御部
【図１】
2015139085.tif 000003
【図２】
2015139085.tif 000004
【図３】
2015139085.tif 000005
【図４】
2015139085.tif 000006
【図５】
2015139085.tif 000007
【図６】
2015139085.tif 000008
【図７】
2015139085.tif 000009
【図８】
2015139085.tif 000010
【図９】
2015139085.tif 000011
【図１０】
2015139085.tif 000012
【図１１】
2015139085.tif 000013
【図１２】
2015139085.tif 000014
【図１３】
2015139085.tif 000015
【図１４】
2015139085.tif 000016
【図１５】
2015139085.tif 000017
【図１６】
2015139085.tif 000018