(57)【要約】【課題】人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する画像処理装置を提供する。【解決手段】スキャナから取得したスキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影する。【選択図】図１
2020177476.tif 000002
【特許請求の範囲】
【請求項１】
スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、
前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、
前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、
を備える画像処理装置。
【請求項２】
前記加工処理部は、前記第一対象物の前記撮影状態である前記第一スキャン領域における載置の向きに基づいて、前記第二対象物の画像情報の前記投影領域における向きを補正する加工を行う
請求項１に記載の画像処理装置。
【請求項３】
前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の大きさに基づいて、前記第二対象物の画像情報の大きさを加工する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の位置に基づいて、前記第二対象物の画像情報の位置を加工する
請求項１から請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記加工処理部は、前記第一対象物の前記撮影状態である前記第一画像領域中の色情報に基づいて、前記第二対象物の画像情報の色情報を加工する
請求項１から請求項４の何れか一項に記載の画像処理装置。
【請求項６】
請求項１から請求項５の何れか一項に記載の画像処理装置を備えたスキャナ。
【請求項７】
平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラと、
前記カメラから得た光学情報に基づいて生成したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、
前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、
前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、
を備えるスキャナ。
【請求項８】
スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、
前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、
前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域に投影する投影部と、
を備えるプロジェクタ。
【請求項９】
スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得し、
前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工し、
前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する
ことを特徴とする画像処理方法。
【請求項１０】
スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得手段、
前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理手段、
前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき情報を共有することがビジネス、教育などの様々な場面で存在する。紙媒体とは例えばノート、書面、本、パンフレット、記入用紙などである。このような紙媒体に記載されている情報やその他の情報の共有を行う場合において、情報を他の紙媒体に転写することや、人から人に伝えた関連情報をその情報の受け手が紙媒体に書き込むことが多く行われる。
【０００３】
関連する技術が特許文献１，２に開示されている。特許文献１には、投影データを投影装置と、投影データの投影面を撮像する撮像装置とに通信可能に接続されて、投影面上のオブジェクトの位置を特定し、その位置が所定領域内にある状態の投影面を撮像するように撮像装置を制御する技術が記載されている。特許文献1の技術に記載される情報処理装置は、紙媒体を用いて紙媒体に記載されている事項を説明したことの証跡を残すために利用される。
【０００４】
また特許文献２には、プロジェクタやカメラと通信接続され、平面上に投影された表示画面または操作キーに対して操作者が行った入力操作を識別する入出力装置の技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５８３５４１１号公報
【特許文献２】特開２０００−２９８５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のような人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力する技術が求められている。
【０００７】
そこでこの発明は、上述の課題を解決する画像処理装置、スキャナ、プロジェクタ、画像処理方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、画像処理装置は、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備えることを特徴とする。
【０００９】
本発明の第２の態様によれば、スキャナは上述の画像処理装置を備えることを特徴とする。
【００１０】
本発明の第３の態様によれば、スキャナは、平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラと、前記カメラから得た光学情報に基づいて生成したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部と、を備えることを特徴とする。
【００１１】
本発明の第４の態様によれば、プロジェクタは、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部と、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部と、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域に投影する投影部と、を備えることを特徴とする。
【００１２】
本発明の第５の態様によれば、画像処理方法は、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得し、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工し、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力することを特徴とする。
【００１３】
本発明の第６の態様によれば、プログラムは、スキャナから受信したスキャン画像であって前記スキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得手段、前記スキャン画像中の前記第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、前記スキャン画像中の前記第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理手段、前記加工した後の前記スキャン画像中の前記第二対象物の画像情報を、前記第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力手段、として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場合に、ある領域に載置された媒体に記載される情報を、他人が見やすい状態で出力することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による情報共有システムの概要を示す図である。
【図２】本発明の一実施形態による情報共有システムの構成を示す図である。
【図３】本発明の一実施形態による画像処理装置のハードウェア構成を示す図である。
【図４】本発明の一実施形態による画像処理装置の機能ブロック図である。
【図５】本発明の一実施形態による情報共有システムの利用時におけるスキャナとプロジェクタの配置例を示す図である。
【図６】本発明の一実施形態による画像処理装置の処理フローを示す図である。
【図７】本発明の一実施形態による画像処理装置の最小構成を示す図である。
【図８】本発明の一実施形態による最小構成の画像処理装置による処理フローを示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態による情報共有システムを、図面を参照して説明する。
図１は同実施形態による情報共有システムの概要を示す図である。
図２は同実施形態による情報共有システムの構成を示す図である。
この図で示すように情報共有システム１００は、画像処理装置１、スキャナ２、プロジェクタ３を少なくとも含んで構成される。画像処理装置１はスキャナ２、プロジェクタ３それぞれと無線または有線により通信接続する。なお好ましくは、画像処理装置１はスキャナ２、プロジェクタ３それぞれと無線により通信接続する。
【００１７】
情報共有システムは、人が他人と対面して紙媒体に表示されている情報とその情報に加えるべき関連情報を共有する場面で主に利用される。例えば、教育現場において指導者と生徒との間でテキストやノートなどの紙媒体に表示されている情報や、それ以外の関連情報を共有する際に、指導者と生徒は情報共有システム１００を利用する。また例えば、ビジネスの場面において営業担当者と顧客との間でパンフレットやその他の資料などの紙媒体に表示されている情報や、それ以外の関連情報を共有する際に、営業担当者と顧客は情報共有システム１００を利用する。ビジネスの場面の例としては、金融商品を販売する場面、サービスに関する情報を説明する場面などである。
【００１８】
なおスキャナ２とプロジェクタ３とはそれぞれ分離可能であり、それらは机などの平面上に載置される。またスキャナ２やプロジェクタ３は持ち運びが可能な程度の大きさである。
【００１９】
スキャナ２は、広角レンズを有している。スキャナ２は、机平面のスキャナ２を中心とする３６０度の周囲方向を一度に撮影できる構造となっていてよい。またはスキャナ２は、スキャナ２を中心とする１８０度以上の周囲の範囲方向を一度に撮影できる構造となっていてよい。これによりスキャナ２は机上平面においてユーザが任意に設定した第一スキャン領域と第二スキャン領域を撮影範囲に含むスキャン画像を生成する。
【００２０】
一例として第一スキャン領域は第一ユーザが着座する位置に対応する机上の範囲を示す。また第二スキャン領域は第二ユーザが着座する位置に対応する机上の範囲を示す。第一ユーザまたは第二ユーザは、スキャナ２に設けられたカメラの撮影範囲が第一スキャン領域と第二スキャン領域を含むようにスキャナ２を机上に載置する。
【００２１】
プロジェクタ３は、画像処理装置１の出力した画像を机上に投影する。この時、プロジェクタ３は第一スキャン領域または第二スキャン領域を判定し、何れか指定された領域、または特定した領域に画像を投影してよい。画像処理装置１の出力する画像は、画像処理装置１がスキャナ２から取得したスキャン画像に含まれる画像の一部であってもよい。画像処理装置１は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。そして画像処理装置１は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタ３に出力する。プロジェクタ３は画像処理装置１から取得した画像情報を投影する。
【００２２】
図３は画像処理装置のハードウェア構成を示す図である。
画像処理装置１は、図３で示すようにＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４、インタフェース１０５、通信モジュール１０６等の各ハードウェア構成を一例として備える。
【００２３】
図４は画像処理装置の機能ブロック図である。
画像処理装置１のＣＰＵ１０１は画像処理プログラムを実行する。これにより画像処理装置１は、取得部１１、加工処理部１２、出力部１３、制御部１４の機能を発揮する。
取得部１１は、スキャナ２から受信したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する。
加工処理部１２は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する。
出力部１３は、加工処理部１２によって加工された後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタ３に出力する。
制御部１４はスキャン画像に含まれる情報や、加工処理部１２の加工処理に基づいてプロジェクタ３による画像情報の投影を制御する。
【００２４】
なお加工処理部１２は、第一対象物の撮影状態である第一スキャン領域における載置の向きに基づいて、第二対象物の画像情報の投影領域における向きを補正する加工を行ってよい。
また加工処理部１２は、第一対象物の撮影状態である第一画像領域中の大きさに基づいて、第二対象物の画像情報の大きさを加工してよい。
また加工処理部１２は、第一対象物の撮影状態である第一画像領域中の位置に基づいて、第二対象物の画像情報の位置を加工してよい。
また加工処理部１２は、第一対象物の前記撮影状態である第一画像領域中の色情報に基づいて、第二対象物の画像情報の色情報を加工してよい。
【００２５】
図５は情報共有システムの利用時におけるスキャナとプロジェクタの配置例を示す図である。
図５＜ａ＞は、第一ユーザＵ１と第二ユーザＵ２とが机を挟んで対面し、紙媒体に表示されている情報とその情報に加えるべき関連情報を共有するミーティングを行う初期段階の状態を示している。この時、スキャナ２とプロジェクタ３とが机上に載置されている。
【００２６】
図５＜ｂ＞は、第一ユーザＵ１と第二ユーザＵ２とはミーティングを開始した後の段階を示している。ミーティングが開始されると、第一ユーザＵ１または第二ユーザＵ２は、スキャナ２のカメラのスキャン領域Ａが、第一ユーザＵ１が着座する位置の近傍の机上の領域である第一スキャン領域Ａ１と、第二ユーザＵ１が着座する位置の近傍の机上の領域である第二スキャン領域Ａ２とを含む。
【００２７】
なおスキャン領域Ａにおける第一スキャン領域Ａ１と第二スキャン領域Ａ２とは予め定められていてよい。またはスキャン領域Ａにおける第一スキャン領域Ａ１と第二スキャン領域Ａ２とを、画像処理装置１が何等かの手法によって検出してもよい。例えば画像処理装置１はスキャン領域Ａをスキャンして生成したスキャン画像においてプロジェクタ３が写っている場合には、そのプロジェクタ３の画像の投影方向をプロジェクタ３の画像のパターンマッチング等により判定し、投影方向のプロジェクタ前面の所定領域を第一スキャン領域Ａ１と判定してよい。スキャン領域Ａにおいて第一スキャン領域Ａ１と第二スキャン領域Ａ２の位置関係は逆であってもよい。
【００２８】
第一スキャン領域Ａ１には第一ユーザが利用する紙媒体（ノート、教科書など）が配置される。また第二スキャン領域Ａ2には第二ユーザが利用する紙媒体（模範解答印刷物や教科書など）が配置される。画像処理装置１は、スキャン画像を取得し、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物（ノート等）の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物（模範解答印刷物など）の画像情報を加工し、その画像情報をプロジェクタ３へ出力する。例えば加工処理の例としては、第二対象物が第一スキャン領域Ａ１において第一ユーザＵ１に視認しやすい方向となるように、第二対象物の向き、位置、大きさを加工する等の処理である。画像処理装置１は一例としてはタブレット端末である。第二ユーザはタブレット端末を用いて、スキャン画像に文字や図形を記入するなどの加工を行い、その加工したスキャン画像をプロジェクタ３に出力してもよい。
【００２９】
図６は画像処理装置の処理フローを示す図である。
次に、画像処理装置１の処理フローについて順を追って説明する。
まずスキャナ２は生成したスキャン画像を画像処理装置１へ送信する。画像処理装置１の取得部１１はスキャン画像を取得する（ステップＳ１０１）。取得部１１は加工処理部１２へスキャン画像を出力する。加工処理部１２は、スキャン画像を解析し、スキャン画像中の第一スキャン領域に対応する第一画像領域と、スキャン画像中の第二スキャン領域に対応する第二画像領域とを特定する（ステップＳ１０２）。加工処理部１２は、第一画像領域に第一対象物が、また第二画像領域に第二対象物が写っているかを判定する。以降、第一対象物がノート、第二対象物が模範解答印刷物であるとする。
【００３０】
加工処理部１２はスキャン画像中の第二画像領域から第二対象物である模範解答印刷物を認識すると、当該模範解答印刷物の画像を切り出し、プロジェクタ出力画像の一例である模範解答画像を生成する（ステップＳ１０３）。当該模範解答画像の生成は加工処理の一態様である。加工処理部１２は模範解答画像をプロジェクタ３へ出力する（ステップＳ１０４）。プロジェクタ３は模範解答画像を机上へ投影する。この時、プロジェクタ３の投影範囲が第一スキャン領域Ａ１となるように載置されている場合には、プロジェクタ３は第一スキャン領域Ａ１に模範解答画像を投影する。第一ユーザは、第一スキャン領域Ａ１に投影された模範解答画像を確認することができる。
【００３１】
なおスキャナ２がスキャン画像を生成するタイミング、画像処理装置１が模範解答画像をプロジェクタ３へ出力するタイミング、プロジェクタ３が模範解答画像を投影するタイミングは、第二ユーザが画像処理装置１を操作して指示することができる。
【００３２】
例えば、スキャン画像を生成するタイミングは、第二ユーザがスキャン指示を画像処理装置１へ入力し、画像処理装置１の制御部１４がスキャナ２へスキャン指示を出力したことに基づいてスキャナ２が検知してよい。スキャナ２はスキャン指示を入力した場合、スキャン領域のスキャンとスキャン画像の生成およびスキャン画像の画像処理装置１への送信を行う。なおスキャナ２によるスキャン領域のスキャンとは撮影であってよい。
【００３３】
また画像処理装置１が模範解答画像をプロジェクタ３へ出力するタイミングは、第二ユーザによる模範解答画像の出力指示の画像処理装置１への入力に基づいて、画像処理装置１の制御部１４が検知してよい。画像処理装置１の制御部１４は出力指示を入力すると、加工処理部１２へ加工処理と模範解答画像の出力指示を行う。
【００３４】
またプロジェクタ３が模範解答画像を投影するタイミングは、第二ユーザが投影指示を画像処理装置１へ入力し、画像処理装置１の制御部１４がプロジェクタ３へ投影指示を出力することに基づいてプロジェクタ３が検知してよい。プロジェクタ３は、投影指示を入力した場合、画像処理装置１から取得した模範解答画像を投影する。
【００３５】
画像処理装置１は模範解答画像を出力した後も、スキャナ２を制御してスキャン画像を取得する（ステップＳ１０５）。そして画像処理装置１の加工処理部１２は、模範解答画像の出力後に取得したスキャン画像に映る模範解答画像の向きや大きさと、第一スキャン領域に対応する第一対象物であるノートの向きや大きさとに基づいて、模範解答画像の向きや大きさを加工する（ステップＳ１０６）。この処理において、加工処理部１２は、模範解答画像の向きが、第一対象物であるノートの向きや大きさに合うように、当該模範解答画像の向きや大きさを加工してよい。模範解答画像の向きはノートの向きと一致する向き、模範解答画像の大きさはノートの大きさと同等の大きさであってよい。
【００３６】
加工処理部１２は、ノートや印刷物などの矩形の物を機械学習などの処理により生成した認識モデルを用いて認識してよい。加工処理部１２は第一対象物のノートに記載されている罫線や、ノートの縁の方向に基づいてノートの向きを認識する。例えば加工処理部１２がノートの罫線に基づいてノートの向きを認識する場合、罫線に直角な方向がノートの向きであると認識する。または加工処理部１２がノートの縁の方向に基づいてノートの向きを認識する場合、ノートの縁の長さに基づいて短い縁の直線が示す方向をノートの向きと認識する。または加工処理部１２はノートの四隅等に印字されているマークの形状、印字の向きに基づいてノートの向きを認識してよい。また加工処理部１２は第一対象物であるノートの大きさを認識する。
【００３７】
加工処理部１２はスキャン画像中の第一画像領域から認識した第一対象物であるノートと、模範解答画像との向きと大きさを判定すると、加工処理部１２は第一対象物であるノートの向きと大きさに、模範解答画像が一致するように模範解答画像の向きと大きさを加工する。そして、加工処理部１２は、再度加工した模範解答画像をプロジェクタ３へ出力する（ステップＳ１０７）。プロジェクタ３は模範解答画像を投影する。これにより、第一ユーザＵ１が模範解答画像を視認しやすいように加工して、第一ユーザＵ１の前方の第一スキャン領域Ａ１に模範解答画像を投影することができる。第一ユーザＵ１は、ノートに記載した自分の回答と、模範解答画像に映る模範解答を見比べることができる。制御部１４は投影終了かを判定し（ステップＳ１０８）、投影終了の指示を取得するまで処理を繰り返す。
【００３８】
上述の処理においては、画像処理装置１が取得したスキャン画像に映る、当該画像処理装置１がプロジェクタ３に送信した画像情報の向きと、第一対象物の向きとに基づいて、画像情報の向きを補正する例を示している。しかしながら、画像処理装置１は画像処理装置１が取得したスキャン画像に映る、当該画像処理装置１がプロジェクタ３に送信した画像情報の向きを、スキャン画像に映るプロジェクタ３の向きに基づいて補正してもよい。例えば加工処理部１２は、スキャン画像に映るプロジェクタ３の向きに基づいてパターンマッチング等により当該スキャン画像の画像空間におけるプロジェクタ３の投影方向を認識する。そして、加工処理部１２はプロジェクタ３の投影方向と、その投影範囲と、ノートの位置と向きとに基づいて、投影範囲に投影する画像情報がノートの向きや大きさに合うようにその画像情報の向きと大きさを同様に加工する。
【００３９】
なお上述の処理において加工処理部１２は、プロジェクタ３に出力する画像情報の投影領域における位置や色を加工してもよい。例えば加工処理部１２は、第一対象物であるノートの撮影状態である第一画像領域中の位置に基づいて、第二対象物である模範解答画像の位置を加工する。当該位置は、ノートと同じ位置であってもよいし、ノートの横に並ぶ位置であってもよい。この時、制御部１４は、加工処理部１２が加工した位置に基づいて、プロジェクタ３の投影位置を制御してもよい。例えば制御部１４は、プロジェクタ３の投影方向を変更する制御情報をプロジェクタ３に出力する。これによりプロジェクタ３は、模範解答画像を所定の位置に投影してよい。また加工処理部１２は、第一対象物であるノートの輝度に合わせて、模範解答画像の輝度を調整する加工を行ってよい。
【００４０】
加工処理部１２は、画像処理装置１に入力された情報や、第二対象物に書き込まれた情報を認識して、それらの情報を抽出した画像情報をプロジェクタに出力してもよい。例えば、加工処理部１２は第二対象物である模範解答に書き込まれた文字や図を認識する。例えば模範解答に書き込まれる文字や図が所定の色で書き込まれた場合、その所定の色の画素を文字や図を構成する画素と認識する。加工処理部１２はそれら文字や図を構成する画素の情報を抽出して文字や図を示す画像情報を生成する。出力部１３はその画像情報をプロジェクタ３へ出力する。これによりプロジェクタ３は文字や図を表す画像情報を投影することができる。
【００４１】
図５で示す例では、スキャナ２のスキャン領域Ａはスキャナ２の前方の１８０度未満の範囲である様子を示している。しかしながらスキャナ２のスキャン領域Ａはより広い領域であってもよい。例えばスキャナ２は、スキャナ２を中心とする所定半径の円の領域をスキャン領域とするものであってよい。
【００４２】
そして画像処理装置の加工処理部１２は、スキャン領域Ａにおいて２つ以上のｎ個の第１〜第ｎスキャン領域を特定してよい。例えば加工処理部１２は所定のノートが４つスキャン領域Ａに配置されていると認識した場合、それら４つのノートの領域を第一スキャン領域Ａ１〜第四スキャン領域Ａ４と認識してよい。そして加工処理部１２は、それら複数の第ｎスキャン領域のうちの何れか一つまたは複数の第ｎスキャン領域を特定し、その領域から生成した投影画像を、他の領域に投影するようプロジェクタ３に指示するようにしてもよい。これにより、例えば第一スキャン領域Ａ１と第四スキャン領域Ａ４から生成した投影画像の情報を、第二スキャン領域Ａ２と第三スキャン領域Ａ３に投影するといった処理を行うことができる。
【００４３】
上述の処理において画像処理装置１はタブレット端末である場合を例に説明している。しかしながら画像処理装置１はスキャナ２またはプロジェクタ３に備わる装置であってよい。
【００４４】
スキャナ２が画像処理装置１を備える場合、スキャナ２は、平面上の第一の領域と第二の領域とを撮影範囲に含む画角を有するカメラから得た光学情報に基づいて生成したスキャン画像であってスキャナのスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部１１を備える。またスキャナ２は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部１２を備える。またスキャナ２は加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する出力部１３を備える。
【００４５】
またプロジェクタ３が画像処理装置１を備える場合、プロジェクタ３は、スキャナ２から受信したスキャン画像であってスキャナ２のスキャン領域に含まれる第一スキャン領域と第二スキャン領域をスキャンしたスキャン画像を取得する取得部１１を備える。またプロジェクタ３は、スキャン画像中の第一スキャン領域に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域に対応する第二画像領域に映る第二対象物の画像情報を加工する加工処理部１２を備える。またプロジェクタ３は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域に投影する投影部を備える。
【００４６】
図７は画像処理装置の最小構成を示す図である。
図８は最小構成の画像処理装置による処理フローを示す図である。
画像処理装置１は少なくとも、取得部１１、加工処理部１２、出力部１３を備える。
取得部１１は、スキャナ２から受信したスキャン画像であってスキャナ２のスキャン領域Ａに含まれる第一スキャン領域Ａ１と第二スキャン領域Ａ２をスキャンしたスキャン画像を取得する（ステップＳ２０１）。
加工処理部１２は、スキャン画像中の第一スキャン領域Ａ１に対応する第一画像領域に映る第一対象物の撮影状態に基づいて、スキャン画像中の第二スキャン領域Ａ２に対応する第二画像領域に映る第二対象物の画像情報を加工する（ステップＳ２０２）。
出力部１３は、加工した後のスキャン画像中の第二対象物の画像情報を、第一スキャン領域を投影領域として情報を投影するプロジェクタに出力する（ステップＳ２０３）。
【００４７】
上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４８】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４９】
１・・・画像処理装置
２・・・スキャナ２
３・・・プロジェクタ３
１１・・・取得部
１２・・・加工処理部
１３・・・出力部
１４・・・制御部
【図１】
2020177476.tif 000003
【図２】
2020177476.tif 000004
【図３】
2020177476.tif 000005
【図４】
2020177476.tif 000006
【図５】
2020177476.tif 000007
【図６】
2020177476.tif 000008
【図７】
2020177476.tif 000009
【図８】
2020177476.tif 000010