(57)【要約】【課題】  スクリーン上に表示されていた他の画像と合成された画像を表す画像データを取得する。【解決手段】  第１画像データが表す画像を投影し、前記投影された画像における一部の領域を指定する手段と、指定領域の撮影指示を受け付ける手段と、撮影指示に応じて、指定領域に対する投影方法を他領域と異ならせると共に、指定領域に配置された物体を撮影することにより、第２画像データを生成する手段と、第１画像データと第２画像データから合成画像データを生成する手段とを備え、撮影指示が指定領域内にオブジェクト画像が表示された状態で行われ、オブジェクト画像が撮影された物体の有意画像の部分と重なっている場合には、オブジェクト画像の配置位置を制御することにより、オブジェクト画像と有意画像とが重ならない画像を表す合成画像データを生成する。【選択図】  図１
2012053545.tif 000002
【特許請求の範囲】
【請求項１】
第１画像データが表す画像を投影する画像投影手段と、
前記投影された画像における一部の領域を指定する領域指定手段と、
前記指定領域の撮影指示を受け付ける撮影指示手段と、
前記撮影指示に応じて、前記指定領域に対する投影方法を他領域と異ならせると共に、前記指定領域に配置された物体を撮影することにより、第２画像データを生成する撮影手段と、
前記第１画像データと第２画像データから合成画像データを生成する画像合成手段とを備え、
前記画像合成手段は、前記撮影指示が前記指定領域内にオブジェクト画像が表示された状態で行われ、前記オブジェクト画像が前記撮影された物体の有意画像の部分と重なっている場合には、前記オブジェクト画像の配置位置を制御することにより、前記オブジェクト画像と有意画像とが重ならない画像を表す合成画像データを生成することを特徴とする画像処理システム。
【請求項２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の画像処理システムとして機能させるコンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項４】
画像処理システムの制御方法であって、
画像投影手段により、第１画像データが表す画像を投影する工程と、
領域指定手段により、前記投影された画像における一部の領域を指定する工程と、
撮影指示手段により、前記指定領域の撮影指示を受け付ける工程と、
撮影手段により、前記撮影指示に応じて、前記指定領域に対する投影方法を他領域と異ならせると共に、前記指定領域に配置された物体を撮影することにより、第２画像データを生成する工程と、
画像合成手段により、前記第１画像データと第２画像データから合成画像データを生成する工程とを備え、
前記画像合成手段は、前記撮影指示が前記指定領域内にオブジェクト画像が表示された状態で行われ、前記オブジェクト画像が前記撮影された物体の有意画像の部分と重なっている場合には、前記オブジェクト画像の配置位置を制御することにより、前記オブジェクト画像と有意画像とが重ならない画像を表す合成画像データを生成することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面上に配置された物体を撮影することにより画像データを生成する技術に関する。
【背景技術】
【０００２】
従来、テーブル型のスクリーン上に画像を投影し、複数人で会議などを行うようなシステムが知られている。また、画像が投影されるスクリーンを撮影する技術や、その撮影時に、一部の領域に投影を行わないように制御する技術などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５６６２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上述したようなスクリーン上に配置された物体を撮影し、画像を取得する一手法を提供することを主な目的とする。特に、スクリーン上に表示されていた他の画像と合成された画像を表す画像データを取得する一手法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を解決するために、例えば、本発明の請求項１に記載の画像処理システムによれば、第１画像データが表す画像を投影する画像投影手段と、前記投影された画像における一部の領域を指定する領域指定手段と、前記指定領域の撮影指示を受け付ける撮影指示手段と、前記撮影指示に応じて、前記指定領域に対する投影方法を他領域と異ならせると共に、前記指定領域に配置された物体を撮影することにより、第２画像データを生成する撮影手段と、前記第１画像データと第２画像データから合成画像データを生成する画像合成手段とを備え、前記画像合成手段は、前記撮影指示が前記指定領域内にオブジェクト画像が表示された状態で行われ、前記オブジェクト画像が前記撮影された物体の有意画像の部分と重なっている場合には、前記オブジェクト画像の配置位置を制御することにより、前記オブジェクト画像と有意画像とが重ならない画像を表す合成画像データを生成することを特徴とする。
【発明の効果】
【０００６】
以上によれば、上述したようなスクリーン上に配置された物体を撮影し、スクリーン上に表示されていた他の画像と合成された画像を表す画像データを取得することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理システムの構成を示す図
【図２】会議システムの構成を示す図
【図３】操作者が画面を操作する様子を示す図
【図４】投影されたコンテンツ画像と、操作者による操作の例を示す図
【図５】アイデアカードを回転領域へ追加する様子を示す図
【図６】入力モダリティを指定する様子を示す図
【図７】ペンモードで投影画面上に書き込み（カード生成）を行う様子を示す図
【図８】テーブル型の投影画面上のカードを、壁面の投影面に移動させる様子を示す図
【図９】壁面に投影された画像をレーザポインタで操作する様子を示す図
【図１０】投影画面上の物体（文書）を撮影する様子を示す図
【図１１】物体（文書）を撮影する画像処理システムの動作手順を示すフローチャート
【図１２】物体（文書）を撮影する画像処理システムの動作手順を示すフローチャート
【図１３】物体（文書）を撮影する画像処理システムの動作手順を示すフローチャート
【図１４】物体（文書）を撮影する様子を示す図
【図１５】物体（文書）を撮影する様子を示す図
【図１６】物体（文書）とオブジェクト画像が合成される様子を示す図
【図１７】撮影画像からオブジェクト画像を作成する様子を示す図
【図１８】操作モードの切替メニューの表示例
【図１９】投影画面上に書き込み（カード生成）を行う様子を示す図
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施形態について説明していく。
【０００９】
［実施形態１］
図１（ａ）は、画像合成装置（画像処理システム）の機能構成図である。図１（ｂ）は、画像合成装置のハードウェア構成を示す外観図である。
【００１０】
１０１は、操作者がデジタイザなどのデバイスを使って座標を入力する座標入力部である。１０２は、その座標が撮影領域指定か他の指示かを判定する領域指定・指示判定部である。１０３は、後述するスクリーン（画面）に表示すべき内容を制御する表示制御部であり、１０４は、画像を表示する画像表示部である。なお、座標入力部１０１と画像表示部１０４は物理的には一体的に存在し、本実施形態においては、これらはテーブル型のスクリーンとして存在する。
【００１１】
１０５は、指示の状態を管理する指示状態管理部、１０６は、表示すべきコンテンツを編集するコンテンツ編集部である。１０７は、コンテンツの中のオブジェクトを管理するオブジェクト管理部、１０８は、カメラなどのデバイスを使って画像を撮影する画像撮影部である。１０９は、撮影した画像の切り出しや合成を行なう画像処理部、１１０は、処理部１０９で処理された画像からオブジェクトを作成するオブジェクト生成部である。
【００１２】
図１（ｂ）において、２０１は、コンテンツの閲覧やオブジェクトの作成を行なう操作者であり、２０２は、画像を撮影するためのカメラ、２０３は、コンテンツの画像を投影するプロジェクタ（画像投影装置）である。２０４は、操作者による座標入力を行なうテーブル型の光学遮光式デジタイザであり、上述したように、プロジェクタの投影先としてのスクリーンも兼ねている。また、スクリーン２０４に投影されたコンテンツ画像中のオブジェクト画像（カード）は、操作者はデジタイザを介して直接的に指で操作することができる。２０５は、図１の機能を搭載し２０２〜２０４のデバイスを制御するコンピュータである。
【００１３】
図２（ａ）は、画像合成装置（画像処理システム）を適用した会議システムの機能構成図である。図２（ｂ）は、会議システムのハードウェア構成を示す外観図である。
処理ブロック１００、１２０、１３０は、異なるコンピュータで実装されるブロックでそれぞれ実装され、通信部を介して互いに通信を行う。処理ブロック１００は、操作者の頭上から下方に向かって画像を投影して操作者がコンテンツを閲覧・編集するために利用される。処理ブロック１２０は、操作者に対して壁面に向かって画像を投影して操作者がコンテンツを閲覧・編集するために利用される。処理ブロック１３０は、各認識モジュールが認識を行なうために利用される。
【００１４】
１０１〜１１０は上述した図１と同じであるので説明を省略する。１１１は、１２０や１３０のブロックと通信するための通信部、１２１は、１０１や１３１の通信部と通信するブロック１２０の通信部である。１２２は、指示の状態を管理する指示状態管理部、１２３は、壁面の表示を制御する表示制御部、１２４は、壁面に画像を投影する壁面画像表示部である。１２５は、壁面に投影されている画像を撮影する壁面画像撮像部、１２６は、撮像された画像を認識する画像認識部、１２７は、投影されるコンテンツを編集するコンテンツ編集部である。１２８は、コンテンツの中のオブジェクトを管理するオブジェクト管理部、１３１は、１１１や１２１の通信部と通信するブロック１３０の通信部、１３２は、デジタルペンなど、１０１とは異なるデバイスから座標を入力する座標入力部である。１３３は、オブジェクトの作成や編集を行なうための音声を認識する音声認識部、１３４は、オブジェクトの作成や編集を行なうための音声を入力する音声入力部、１３５は、オブジェクトの作成を行なうための手書き文字入力部である。１３６は、オブジェクトの作成を行なうための手書きジェスチャ認識部、１３７は、コンテンツの閲覧操作を行なうための空間ジェスチャ認識部、１３８は、空間ジェスチャ動作を感知するための距離画像入力部である。
【００１５】
２０１〜２０３は、図１で説明したものと同じであるので説明を省略する。２１１は、会議に参加するもう一人の操作者、２１２は、空間ジェスチャ認識に使用する距離画像を入力するための距離画像センサ、２１３は、音声を入力するためのヘッドセットマイクである。２１４は、１３２の座標入力をおこなうためのデジタルペン、２１５は、指とデジタルペンの入力を補助するためのシートを兼用する光学遮光式デジタイザである。デジタイザ２１５は、プロジェクタの投影先のスクリーンも兼ねる。２１６は、壁面に投影されたコンテンツ内のオブジェクトを指し示すためのレーザポインター、２１７は壁面の画像を投影するプロジェクタ（画像投影装置）である。２１８は、投影画像とその上に投射されたレーザポインターの光点を撮影するビデオカメラ、２１９は、壁面に設置されたスクリーン、２２０はブロック１００、１２０、１３０を搭載するコンピュータである。
【００１６】
図３は、テーブル型のデジタイザ上にプロジェクタ（画像投影装置）で投影されたコンテンツ画像と、それを操作する操作者の様子を示す図である。ここでは、テーブル型のデジタイザ（スクリーン）２１５を、操作者の頭上に設置されたプロジェクタの位置から見下ろした様子を示す。３０１がテーブル型デジタイザ２１５の上面、３０２が投影されているコンテンツを示す。３０３はコンテンツ内のオブジェクトであり、３０４〜３０７の操作者はデジタイザの周りを囲むように位置し、各自の方向から、指やデジタルペンを使ってオブジェクトにアクセスする。光学遮光式デジタイザとデジタルペンを併用する場合には、デジタルペンによる操作は、デジタルペンの座標信号と、デジタイザの信号の両方を発生させる。双方の信号を操作者の操作と解釈すると操作が混乱するため、双方の信号が発生する状況ではデジタルペンの信号を優先させる必要がある。そのためデジタイザの信号が先行しないようデジタイザの座標信号の送信開始に一定の遅延を加える。
【００１７】
図４は、テーブル型のデジタイザ上に投影されたコンテンツ画像と、操作者がカード上のオブジェクト画像を移動したり拡大したりする様子を示す図である。
図４（ａ）の４０１は楕円の回転領域を示す。ここで、カード状のオブジェクト４０３は、楕円の上を左周りで回転している。なお、以降では、カード状のオブジェクト画像を、オブジェクト画像、あるいはオブジェクト、あるいはアイデアカードなどと呼ぶ。会議システムなどで利用することを考え、ここでは、会議の参加者（操作者）が発案したアイデアは、カード化して回転領域を回す。これにより、他の参加者も容易に閲覧できる。また、操作者が指４０３でアイデアカードを選択して回転領域から取り出すと、そのカードは回転を止める。その一方で、図４（ｂ）にあるように、残りのアイデアカードは回転領域で回転を続ける。また、操作者がアイデアカードをダブルタップすると、図４（ｃ）の４０４に示すように、アイデアカードが拡大表示され、操作者はその内容を詳細に見ることができる。すなわち、本実施形態では、テーブル上で表示されているカードのサイズは小さいが、実際はＡ４サイズなどの大きさを持つ文書または画像であることも有り得る。
【００１８】
図５は、作成されたアイデアカードの回転領域への追加の例を示す図である。図５（ａ）にあるように操作者の指をアイデアカード５０１に接触させた状態で、回転領域の方向へ高速に移動させる（掃う）。すると、図５（ｂ）のように、アイデアカードは操作者の高速移動に合わせて動きだし、初動速度から段々と速度を落としながら回転領域のほうへ移動する。そして、もし、回転領域に接触した状態で速度が停止すると、図５（ｃ）のように、回転領域内のアイデアカードとして他のカードとともに回転する。もし停止せずに、回転領域を通過すると、そのカードは回転せずに進み、速度が無くなった何処かの位置で停止する。
【００１９】
図６は、操作者が画面にタッチした状態でドラッグ操作を行うことにより領域を指定し、その指定した領域の大きさによって、アイデアカードの入力モダリティを変更する様子を示す図である。例えば、図６（ａ）の６０１の位置にタッチし、そのままドラッグ操作を行うと、指定領域が徐々に大きくなる。この領域指定の方法自体は公知なので詳細説明は省略する。
【００２０】
本実施形態では、操作者にとって所望の指定領域になった時点で指を離すことにより、領域指定が完了する。もし、指定範囲が用紙サイズのＡ８より大きくＡ７より小さくなった場合には、音声入力モードを起動する。また例えば、図６（ｂ）のように、入力範囲がＡ７より大きくＡ５より小さくなった場合には、手書き文字の入力モードを起動する。また例えば、図６（ｃ）のように、入力範囲がＡ５より大きくＡ４より小さくなった場合には、頭上のカメラによってスクリーン２０４上の物体を撮影するカメラ撮影モードを起動する。
【００２１】
図７は、手書き文字の入力モードに相当するペンモードにおける操作の一例を示した図である。ここでは、投影画面（スクリーン２０４）上の書き込みをアイデアカードとして追加する様子を示している。
図７（ａ）は、操作モードの切り替えを行う様子である。ペン７０１で一定時間、スクリーン２１５における同じ座標を指示すると、モード切替のメニュー７０２が表示される。例えば、そのメニューの各項目は、点線の円の外側の円に接するように配置され、それぞれ、操作モード、ペンモード、消去を指定できる。メニュー７０２が表示された場合、操作者は、ペンを選択したい項目の円部分にまでドラッグし、所望の項目に対応する円部分の内部でペンをアップすることによって、項目（各モードや消去）を選択できる。なお、上方のプロジェクタから投影された画像には、ペンとそれを持つ操作者の手による影ができるであろう。そして、その影によって、一部の表示部分が見えにくくなることが予想される。もし、メニュー７０２における各項目（３つの円）が影と重なると、操作者にとっては都合が悪い。よって、この場合には、頭上に設けた距離画像センサによって操作者の手や腕の位置を検知して影の位置を予測し、その影の位置を避けるように３つの円を配置するよう制御できる。さらに、上記距離画像センサを用いて、操作者の頭の位置や顔の向きも予測することによって、手、腕によって発生した操作者からの死角を知ることもできるであろう。その場合には、影の位置だけでなく、死角の位置も避けるように、上記３つの円を配置すれば良い。
【００２２】
図１８は、上記思想に基づいて構成した、メニュー７０２における各項目（３つの円）具体的な表示の一例である。ここでは操作者の手１７０１の影になる領域１７０２や、操作者の死角になっている領域１７０３を避けるように、各選択項目（ここでは各モードを選択するためのアイコン）１７０４を表示する。
【００２３】
図７（ｂ）は、ペン７０１によってハートマーク７０３に相当するオブジェクト画像（カード）を作成する様子を示した図である。ここでは、ハートマークを手書きジェスチャとして登録してはいないものとする。したがって、この場合には、ジェスチャ入力ではなく、何かしらの文書あるいはマークの書き込みであると解釈されるものとする。
図７（ｃ）は、ハートマーク７０３を一筆で書いた後、その周りに四角７０４を左回りの一筆書きで追記した後の様子を示している。本実施形態の画像処理システムにおいて、手書きジェスチャの認識機能が四角のジェスチャを認識した場合には、図７（ｄ）に示すように、そのストロークで囲まれた書き込みの内容（ハート）をデータとして有するアイデアカード７０５を作成する。ここでは、左回りで一筆書きされた四角形の開始位置をカードの左上の位置であると自動認識する。そして、４方向の操作者がそれぞれカードを生成した時、操作者の位置から書き込みの方向が正対するようにカードを生成するものである。なお、カードの生成方法は、上記方法に限らない。例えば、距離画像センサで操作者の腕の出現方向を検知し、腕の出現方向から書き込みの方向が正対するようにカードを生成してもよい。
【００２４】
図１９は、操作者の書き込みによってアイデアカードを新規作成する別の例を示す図である。操作者の腕１８０１の出現方向を検知し、腕の向いている先１８０３をカードの上、腕の出現方向１８０４をカードの下方向としてアイデアカードを生成する。
【００２５】
図８は、プロジェクタ２０３からスクリーン２１５に向けて投影された画像に含まれるアイデアカードを、操作者が行う空間ジェスチャにより、壁面のスクリーンへ移動させる例を示す図である。８０１は壁面に画像が投影されるスクリーンであって、図２のスクリーン２１９に相当する。８０２はスクリーン兼デジタイザであり、図２のスクリーン２１５に相当する。距離画像センサ２１２は、図２に示したものと同様に、スクリーン２１５の上部に設置され、下方を撮影することで操作者の腕の動きを感知できる。すなわち、この距離画像センサ２１２のセンサは下方を向いていることに注意されたい。ここでは、操作者（腕）８０４は、デジタイザ８０２をタップ操作することにより、３枚のアイデアカード８０３を選択している。次に、腕を下から上方向に（デジタイザ８０２から距離画像センサ２１２の方向に）移動する。すると、図８（ａ）に示すように、距離画像センサ２１２および空間ジェスチャ認識部１３７は、その移動を認識し、アイデアカードを段階的に拡大して表示するように変異させる。そして、図８（ｂ）に示すように、一定距離以上の上方向への移動が確認されたときに、本実施形態における画像処理システムは、選択中の３つのカードを移動可能な状態と認識し、またそれを知らせる報知音を出力する。さらに、図８（ｃ）に示すように、操作者が左から右方向へ（デジタイザ８０２からスクリーン８０１の方向へ）腕を移動させる動作を行う。すると、画像処理システムは、これを空間ジェスチャとして認識し、デジタイザ８０２に表示されていたアイデアカード８０３を消す代わりに、壁面のスクリーン８０１の方へ表示する。これにより、操作者は、スクリーン２１９からスクリーン２１５へ３つのカードが移動したものと認識する。なお、上述した「腕を移動させる動作」は、ある一定の幅および一定の角度で、腕が移動したことを認識した場合に、空間ジェスチャが開始されたと認識する。これにより、腕を一定量以上に動かした場合に、選択中の３つのカードは移動を開始する。なお、図８では、一人の操作者がジェスチャを行なっているが、複数の操作者が個別にカードを選択し、自身の選んだカードのみ壁面スクリーンへ移動させたい場合もある。このような場合に対応するため、例えば、距離画像センサで、オブジェクトを選択している時やジェスチャを行なっている時の腕の出現方向を検知する。そして、選択された各オブジェクトに対しては、それぞれで検知された方向と同じ方向で発生した空間ジェスチャのみが対応づけられて操作指示とされるようにすれば良い。
【００２６】
図９は、壁面のスクリーンに照射されたレーザポインタの位置を検知して、そのスクリーン上に投影されてるオブジェクトの表示状態を変更する例を示す図である。例えば、レーザーポインタの照射によって図９の（ａ）の状態から（ｂ）の状態に変化する。９０１は壁面に設置されたスクリーンであり、スクリーン２１９に相当する。また９０２は、スクリーン９０１に投影されているオブジェクトの一つである。９０３は、レーザポインタ９０４から照射された輝点である。２１８は、スクリーン９０１上の画像を撮像するビデオカメラである。画像認識部１２６は、ビデオカメラで撮影した画像を画像認識し、周囲より明るい状態になっている上記輝点９０３の座標を検出し、その座標上に表示されているオブジェクトを特定する。もし、レーザポインタ９０４から、１つのオブジェクトに対して一定時間以上、レーザ光が照射された場合には、本実施形態における画像処理システムは、これをレーザ光による操作指示と見なす。この場合には、画像処理システムは、図９（ａ）の表示から、図９（ｂ）に示すような表示に変更する。これにより、一定時間、レーザ光が照射されていたオブジェクトが拡大表示されることになる。なお、上記オブジェクトが拡大された後、かつ照射が一旦終わった後に、再びレーザポインターによる照射が一定時間あった場合には、上述した処理とは逆に、照射されたオブジェクトを元の大きさに縮小する表示変更を行う。
【００２７】
図１０は、図２のカメラ２０２によってスクリーン２１５上に配置された物体を撮影する様子を示す図である。上述したように、この画像処理システムでは、図１０（ａ）に示すように、ドラッグ操作をすることにより、そのドラッグした線が、領域の左上から右下に向かう対角線となる、領域の指定を行うことができる。もし、指定された領域がＡ５より大きくＡ７より小さい場合には、画像処理システムは、撮影領域を指定したものと認識する。１００１は撮影領域であり、１００２は撮影したい物体に相当する文書である。１００３は、上記物体（文書）と重ねて表示させたいアイデアカードである。ここでは、文書１００２は物理的に存在する紙などの物体であり、カード１００３はプロジェクタ（画像投影装置）などによって投影された画像であり、架空の物体である点に注目されたい。
【００２８】
ここでは、図１０（ｂ）に示すように、撮影領域に文書１００２を配置する。また、重ねて表示したいカード１００３（オブジェクト画像）を、文書１００２の上に表示されるようにドラッグする。通常、デジタルペンと専用のシートの場合には、間に紙を置くと座標を読み取ることができないが、光学遮光式デジタイザの場合、テーブル面と光線の間にわずかな隙間を空けることにより、紙を検知せず、その上にある指の座標を検知することができる。本実施形態では、操作者は、テーブル面よりわずかに指を浮かした状態で、アイデアカード１００３を文書１００２の上までドラッグできる。操作者によって、撮影を指示するボタンが押されると、図１０（ｃ）に示すように、撮影領域１００１に投影している画像（背景）を白く表示するなどして撮影する。この撮影により、撮影領域に配置された物体（文書１００２）に相当する画像データを取得する。このあと、撮影された文書１００２の一部領域にアイデアカード１００３が配置された画像を、合成画像１００５として生成し、これを表す画像データを保存する。合成画像１００５の作成方法としては、例えば、上記撮影で得られた画像データと、もともとカード１００３の表示に利用していた画像データを用いて、合成画像を生成すれば良い。
【００２９】
合成画像１００５がデータとして完成していることを視覚的に確認するために、図１０（ｄ）に示すように、操作者は、物体である文書１００２を撮影領域１００１から除去する。これにより、画像データに基づいて、文書１００２に相当する画像とカード１００３に相当する画像が合成された内容を確認することができる。ここで、図１０（ｅ）に示すように操作者がＯＫボタンを押すと、図１０（ｆ）に示すようなアイデアカード１００６が新たに作成される。このアイデアカード１００６の中身は、合成画像１００５に相当し、必要に応じて中身を拡大表示することができる。
【００３０】
図１１は、撮影領域の指定を開始し、新しいオブジェクト（アイデアカード）を作成するまでの処理の流れを示すフローチャートである。図１１（ａ）は、撮影直前に指定領域の表示を変更するものである。図１１（ｂ）は、領域指定直後に指定領域の表示を変更するものである。図１１（ｃ）は、領域指定直後と撮影直前に指定領域の表示の変更を行なうものである。
【００３１】
図１１（ａ）のステップＳ１１０１では、撮影領域の指定を行なう。もし、図６（ｃ）のように指定開始位置６０１と指定終了位置６０２で指定する領域の大きさがＡ５〜Ａ４の間ならば、撮影領域の指定が行なわれたとする。次に、ステップＳ１１０２において、操作者が撮影ボタンを押すなどの撮影指示があったかどうかの判定を行なう。もし撮影指示がない場合には、ステップＳ１１０７で撮影キャンセルの指示があったかどうかの判定を行い、キャンセルの場合にはそのまま終了する。もしキャンセルでない場合には、ステップＳ１１０２に戻り、操作者の指示の判定を繰り返す。ステップＳ１１０２で撮影の指示があったと判断した場合、ステップＳ１１０３へ進み、指定領域の表示の変更を行い、ステップＳ１１０４で指定領域の撮影を行う。次にステップＳ１１０５へ進み、撮影画像からオブジェクトを作成し、ステップＳ１１０６で作成したオブジェクトを表示して終了する。
【００３２】
図１４（ａ）は、図１１（ａ）のフローチャートに基づいた操作の具体例を示す。ここでは背景色を持つコンテンツ画像が、投影画面（例えばスクリーン２１５）上に投影されている。領域１４０１は操作者が撮影したい領域として指定した領域である。この指定領域へ、撮影対象となる物体である文書１４０２を配置することを考える。この場合、文書１４０２の上にはコンテンツの背景色（投影画像全体における壁紙に相当する画像または色）が投影されており、文書の内容と重なって読みづらい。したがって、本実施形態では、操作者から上記指定領域に対する撮影の指示があると、撮影の直前に、指定領域、即ち配置された文書に相当する領域を白く投影することにより、文書の内容を読みやすいものにする。撮影内容である文書の内容が撮影領域に表示され、撮影領域から文書１４０２を取り除くと、操作者はその内容１４０１Ａが確認できる。
図１１（ｂ）は、領域指定の直後に表示内容を変更するもので、ステップＳ１１０３における指定領域の表示変更がステップＳ１１０１の撮影領域を指定した直後に行なわれる。
【００３３】
図１４（ｂ）は、図１１（ｂ）の処理の流れの一例を示す。コンテンツには上述した背景があり投影画面上に表示されている。１４０１は操作者が指定した撮影領域である。ここでは指定直後に、指定領域の背景色は除去され、指定領域を白く表示する。文書１４０２を配置しても、コンテンツの背景と重複することなく文書の内容が読みやすくなっている。
【００３４】
図１１（ｃ）は、領域指定の直後と撮影の直前に内容を変更するもので、Ｓ１１０２の直後に、Ｓ１１０８で２度目の指定領域に対する表示変更が行なわれる。
図１２（ａ）〜（ｃ）は、表示内容の変更手段を示すフローチャートである。図１２（ａ）において、ステップＳ１２０１で指定領域内すべてを非表示として終了する。
図１４（ｄ）は、指定領域内にオブジェクトが存在し、図１２（ａ）の表示変更手段で撮影直前に表示を変更する例である。撮影時には、背景と同じくオブジェクト１４０３は文書１４０２上には表示されていない。図１２（ｂ）において、ステップＳ１２０１で指定領域内すべてを非表示とし、ステップＳ１２０２に進む。ステップＳ１２０２で指定領域内にオブジェクトが存在するかどうかの判定を行い、存在しない場合にはそのまま終了する。指定領域内にオブジェクトが存在する場合には、ステップＳ１２０３で指定領域内のオブジェクトを表示して終了する。
【００３５】
図１４（ｃ）は、指定領域内にオブジェクトが存在し、図１２（ｂ）の表示変更手段で撮影直前に表示を変更する例である。背景色は白く非表示となっているがオブジェクト１４０３は文書１４０２上に表示されている。
図１４（ｆ）は、指定領域内にオブジェクトが存在し、図１２（ｂ）の表示変更手段で、領域指定直後に表示を変更する例である。背景色は白く非表示となっているがオブジェクトは文書１４０２上に表示されている。
図１４（ｇ）は、指定領域内にオブジェクトが存在し、領域指定直後に図１２（ｂ）との変更手段で、撮影直前に図１２（ａ）の表示変更手段で表示を変更する例である。領域指定の後で、１４０１の背景色は白く非表示となっているが、オブジェクト１４０３は表示されている。そこへ文書１４０２を配置すると、紙文書１４０２上へオブジェクト１４０３が表示されて合成される画像をあらかじめ確認できる。撮影直前には、１４０１の領域は白く非表示となり、紙文書１４０２の画像のみ撮影される。
【００３６】
図１２（ｃ）は、ステップＳ１２０１で指定領域内すべてを非表示とし、ステップＳ１２０４に進む。ステップＳ１２０２で領域指定した後で領域内に移動してきたオブジェクト（領域内移動オブジェクト）が存在するかどうかの判定を行い、もし存在しない場合にはそのまま終了する。もし存在する場合には、ステップＳ１２０３で領域内移動オブジェクトを表示して終了する。
【００３７】
図１５（ｈ）は、領域指定時に指定領域内にオブジェクトが存在し、領域指定後に図１２（ｃ）の表示変更手段で表示を変更した例である。領域指定時に１４０１内に存在したオブジェクト１４０３は背景と同じく白く非表示となる。紙文書１４０２を配置した後に領域１４０１内に移動したオブジェクト１４０４のみ表示する。
【００３８】
図１３は、撮影画像から新しいオブジェクトを作成する手段を示すフローチャートである。図１３（ａ）は、ステップＳ１３０１で撮影した画像のみからオブジェクトを作成して終了する。図１４（ａ），  図１４（ｂ），  図１４（ｃ），  図１５（ｆ）の例が、図１３（ａ）の生成手段によってオブジェクトを生成した例である。撮影後の紙文書を取り去った後に表示されているものが新しいオブジェクトであり、撮影時の領域の状態と同じものがオブジェクトとして作成されている。図１４（ａ）と図１４（ｂ）は、指定領域すべてが非表示となり、紙文書の画像からオブジェクトが作成される。図１４（ｃ）と図１５（ｅ）は、背景のみ非表示でオブジェクト１４０３が紙文書上に表示されている画像を撮影してオブジェクトを生成する。これらは、撮影した画像から新しいオブジェクト１４０１Ａ，１４０１Ｂ，１４０１Ｃ，１４０１Ｆを作成して表示するものである。
【００３９】
図１３（ｂ）は、ステップＳ１３０２で指定領域内にオブジェクトが存在するかどうかの判定を行なう。もし存在しない場合には、ステップＳ１３０４へ進み画像からオブジェクトを作成する。ステップＳ１３０２でオブジェクトが存在すると判断した場合には、ステップＳ１３０３へ進み、撮影画像とオブジェクトの画像の合成を行い、ステップＳ１３０４へ進み合成画像からオブジェクトを作成する。図１４（ｄ）、図１５（ｇ）の例が、図１３（ｂ）の生成手段によってオブジェクトを生成した例である。撮影時には表示されていないオブジェクト１４０３の画像が新しいオブジェクト１４０１Ｄ，１４０１Ｇの画像内に合成されている。
【００４０】
図１６は、撮影された画像とカード（オブジェクト画像）とを合成する様子を示す図である。投影画像１５０１の全体における左上の座標を（０，０）とし、撮影対象となる領域である指定領域１４０１の左上の座標は、（１０００，６００）となる。また指定領域１４０１内には、オブジェクト画像Ｂ１４０３が存在する。ここで、投影画像１５０１の全体における、オブジェクト画像Ｂ１４０３左上の座標は（１０００，９４５）である。その後の時点における投影画像１５０２では、指定領域に文書１５０３が配置され、撮影される。投影画像１５０１の全体における、この文書１５０３の左上の座標は、指定領域１４０１と同様に、（１０００，６００）である。しかしながら、オブジェクト画像Ｂと合成する際には、指定領域の左上である（１０００，６００）を（０，０）と見なした場合の相対座標を用いて処理を行うものとする。すなわち、合成される対象の１つである文書１５０３の左上の座標は（０，０）である。また、合成される対象の１つであるオブジェクト画像Ｂの左上の座標は（０，３４５）である。図１６に示すように、文書１５０３とオブジェクト画像Ｂとの合成では、左上の座標の位置関係を考慮して合成が行われ、合成画像１５０５を取得する。そして、合成画像１５０５に対応する画像データを、新しいカードの内容として画像処理システム内に保存する。
【００４１】
図１３（ｃ）は、ステップＳ１３０５で領域指定を行なってから領域内に移動してきたオブジェクトが存在するかどうかの判定を行なう。存在しない場合には、ステップＳ１３０４へ進み画像からオブジェクトを作成する。ステップＳ１３０５でオブジェクトが存在すると判断した場合、ステップＳ１３０６へ進み、撮影画像と領域内移動オブジェクトの画像の合成を行い、ステップＳ１３０４へ進み、合成画像からオブジェクトを作成する。
【００４２】
図１５（ｅ）と図１５（ｈ）は、図１３（ｃ）の生成手段でオブジェクトを生成した例である。撮影時には表示されていないオブジェクト１４０４の画像が新しいオブジェクト１４０１Ｅ，１４０１Ｈの画像内に合成されている。
図１３（ｄ）は、撮影した画像の内容によって、オブジェクトの配置を変えるものである。ステップＳ１３０２で指定領域内にオブジェクトが存在するかどうかの判定を行なう。もし存在しない場合には、Ｓ１３０４へ進み画像からオブジェクトを作成する。ステップＳ１３０２でオブジェクトが存在すると判断した場合、ステップＳ１３０７で取り込み画像を無地の領域と、文字や画像のある領域に分離する。なお、これら文字や画像、或いはそれらが在る領域のことを有意画像と呼ぶこととする。次にステップＳ１３０９でオブジェクトの位置と文字や画像のある領域が重なるかどうか判定する。もし重ならない場合には、ステップＳ１３０３へ進む。もし重なる場合には、ステップＳ１３０９で重ならない位置へオブジェクトを移動して、ステップＳ１３０３へ進む。ステップＳ１３０３では、撮影画像とオブジェクトの画像を合成し、ステップＳ１３０４で画像からオブジェクトを作成して終了する。
【００４３】
図１５（ｉ）は、図１３（ｄ）の生成手段でオブジェクトを生成した例を示す図である。オブジェクト画像Ｂ１４０５とオブジェクト画像Ｃ１４０６は、領域１４０１内に表示されている。操作者が撮影を指示した後、指定領域１４０１の撮影を行う。そして、その撮影時には、領域１４０１に含まれるオブジェクト画像Ｂ１４０５とオブジェクト画像Ｃ１４０６を表示することなく、その領域１４０１内の全てを白色で投影する。なお、その際、領域１４０１の外領域については何ら表示の変更を行わない。以上のように、領域１４０１についてのみ、他の領域とは別の表示制御を行った状態で、文書１４０２の画像が撮影される。
【００４４】
最後に、撮影された文書１４０２と、既に画像データとして存在するオブジェクト画像Ｂ１４０５およびオブジェクト画像Ｃ１４０６とを、画像として合成する処理を行う。ここでは、文書１４０２が文字画像や写真画像などからなる有意画像の部分と、それ以外の余白部分などから構成されていることに注意されたい。もし、有意画像が位置する領域上に、オブジェクト画像Ｂ１４０５とオブジェクト画像Ｃ１４０６が重畳されてしまうと、合成された後で全ての内容を把握することができなくなってしまう。したがって、本実施形態における画像処理システムにおいては、上記有意画像にそれぞれのオブジェクト画像が重ならないように、各オブジェクト画像を合成する場所（配置位置）を移動させる。その結果、合成画像１４０１Ｉを生成するものである。
【００４５】
以上説明したように、本実施形態の画像処理システムによれば、コンテンツ画像（第１画像データ）を予め保有し、この第１画像データが表す画像を画面（スクリーン）上に投影する。そして、操作者によって投影された画像における一部の領域を指定すると、その画像処理システムは、指定領域の撮影指示を受け付ける。そして、この撮影指示に応じて、指定領域に対する投影方法を他領域と異ならせると共に、指定領域に配置された物体（文書）を撮影することにより、文書１４０２とオブジェクト画像１４０５、１４０６が１画面に合成された第２画像データを生成する。特に、本実施形態では、もし、上記撮影指示が指定領域内にオブジェクト画像が表示された状態で行われた場合には、各オブジェクト画像が上記撮影された物体の有意画像の部分（文字や写真のある領域）と重なっているか検知する。そして、もし重なっている場合には、例えば図１５（ｉ）に示す制御を行う。すなわち、オブジェクト画像（オブジェクト１４０５、１４０６）の位置を、上記有意画像の部分と重ならないように制御する。これにより、有意画像およびオブジェクト画像のそれぞれが表示される合成画像（合成画像データ）を生成することができる。
なお、上記の例では、撮影領域のすべての画像からオブジェクトを作成したが、一部分から取り出してもよい。
【００４６】
図１７は、撮影した画像を領域分離し、指定した座標を含む領域からオブジェクトを作成する例を示す図である。撮影した画像１６０１を表示しているときに文字領域１６０２の中の座標を選択した場合は、文字領域からオブジェクトを作成する。写真領域１６０３を選択した場合に、写真領域からオブジェクトを作成する。なお、撮影直後に紙を取り除いた場合に、紙の動きで座標指示が発生することがあり、トリミングの座標指示と混乱する可能性がある。この場合、撮影領域内の最初の座標入力をトリミングの座標指定としてその後の座標指示を無視するようにしてもよい。また、この時、トリミングの位置を再度変えたい場合もある。「ＯＫ」と「再撮影」のボタンを用意し、「ＯＫ」ボタンが押された場合に、オブジェクトの生成が承認されアイデアカード化する。「再撮影」ボタンが押された場合に、トリミング前の画像を表示し、トリミングのための座標入力を受け入れるようにしてもよい。なお、画像を合成するオブジェクトは、文字、静止画、動画のいずれであってもよい。動画の場合、合成する画像は、撮影した静止画上に動画を表示するものであってもよいし、サムネイル画像で合成し、新しく生成されたオブジェクトを拡大したときのみ動画表示をするものでもよい。また、物理物体の画像は、任意の長さを持つ動画として撮影してもよい。この場合、カードとして表示する場合には静止画で表示し、拡大した場合動画として表示してもよい。またカードで表示する場合にも動画で表示してもよい。
以上の実施形態では、図４の回転領域４０１などに示すオブジェクト４０３の回転方向は、左回りであるとして説明したが、必要に応じて右回りであっても構わない。
【００４７】
また、図７の四角７０４は左回りで追記するとして説明したが、必要に応じて右回りであっても構わない。この場合にも、右回りで一筆書きされた四角形の開始位置をカードの左上の位置であると自動認識すれば良い。
【００４８】
［変形例］
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【図１】
2012053545.tif 000003
【図２】
2012053545.tif 000004
【図３】
2012053545.tif 000005
【図４】
2012053545.tif 000006
【図５】
2012053545.tif 000007
【図６】
2012053545.tif 000008
【図７】
2012053545.tif 000009
【図８】
2012053545.tif 000010
【図９】
2012053545.tif 000011
【図１０】
2012053545.tif 000012
【図１１】
2012053545.tif 000013
【図１２】
2012053545.tif 000014
【図１３】
2012053545.tif 000015
【図１４】
2012053545.tif 000016
【図１５】
2012053545.tif 000017
【図１６】
2012053545.tif 000018
【図１７】
2012053545.tif 000019
【図１８】
2012053545.tif 000020
【図１９】
2012053545.tif 000021