(57)【要約】【課題】  投影装置付き撮像装置を用いる際、インタラクティブな操作中に、投影画像のリアルタイムな色合わせを可能にする。【解決手段】  物体位置検知部221は、投影面上の物体の位置を検知して位置情報を出力する。物体撮像画像生成部201は、投影面を撮像した画像から、投影面に配置された物体の画像を示す物体撮像画像203を生成する。投影撮像画像生成部202は、投影面を撮像した画像から、投影面に投影された画像を示す投影撮像画像204を生成する。補正パラメータ算出部225は、物体撮像画像203と投影撮像画像204に基づき色補正パラメータを算出する。投影画像生成部223は、色補正パラメータを用いて、位置情報が示す物体の移動に従い物体撮像画像203から投影面に投影する画像を生成する。【選択図】  図2
2015041233.tif 000002
【特許請求の範囲】
【請求項１】
投影面上の物体の位置を検知して位置情報を出力する検知手段と、
前記投影面を撮像した画像から、前記投影面に配置された物体の画像を示す物体撮像画像を生成する第一の生成手段と、
前記投影面を撮像した画像から、前記投影面に投影された画像を示す投影撮像画像を生成する第二の生成手段と、
前記物体撮像画像と前記投影撮像画像に基づき色補正パラメータを算出するパラメータ算出手段と、
前記色補正パラメータを用いて、前記位置情報が示す前記物体の移動に従い前記物体撮像画像から前記投影面に投影する画像を生成する第三の生成手段とを有する画像処理装置。
【請求項２】
さらに、前記物体撮像画像に含まれるオブジェクトを解析する解析手段を有し、
前記パラメータ算出手段は、オブジェクトごとに、前記色補正パラメータを算出する請求項1に記載された画像処理装置。
【請求項３】
前記第一の生成手段は、前記位置情報に基づき、前記投影面を撮像した画像から前記物体撮像画像を生成する請求項1または請求項2に記載された画像処理装置。
【請求項４】
さらに、前記物体撮像画像が生成された際の前記位置情報が示す初期位置に対応する投影位置を示す投影位置情報を出力する位置算出手段を有し、
前記第二の生成手段は、前記投影位置情報に基づき、前記投影面を撮像した画像から前記投影撮像画像を生成する請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
前記位置算出手段は、前記初期位置と異なる位置を示す位置情報が前記検知手段から出力されると、前記初期位置に対応する投影領域と前記位置情報に対応する原稿領域の差分を投影範囲として算出し、
前記第三の生成手段は、前記投影範囲に基づき前記物体撮像画像から生成した画像をマスキングする請求項4に記載された画像処理装置。
【請求項６】
前記第二の生成手段は、前記第三の生成手段が画像を出力する度に、前記投影撮像画像を生成する請求項5に記載された画像処理装置。
【請求項７】
前記パラメータ算出手段は、オブジェクトの全体が前記投影範囲に含まれる場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項6に記載された画像処理装置。
【請求項８】
前記パラメータ算出手段は、単色オブジェクトの一部が前記投影範囲に含まれる場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項6または請求項7に記載された画像処理装置。
【請求項９】
前記パラメータ算出手段は、少数色オブジェクトの一部が前記投影範囲に含まれ、かつ、当該オブジェクトの全色が前記投影範囲に描画されている場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項6から請求項8の何れか一項に記載された画像処理装置。
【請求項１０】
前記パラメータ算出手段は、文字オブジェクトの一部が前記投影範囲に含まれる場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項6から請求項9の何れか一項に記載された画像処理装置。
【請求項１１】
前記パラメータ算出手段は、背景または線画オブジェクトの一部が前記投影範囲に含まれ、かつ、当該オブジェクトがグラデーションをもたない場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項6から請求項10の何れか一項に記載された画像処理装置。
【請求項１２】
前記パラメータ算出手段は、前記背景または線画オブジェクトがグラデーションをもち、前記グラデーションの各色領域の色すべてが前記投影範囲に描画されている場合、前記物体撮像画像と前記投影撮像画像から当該オブジェクトの色補正パラメータを算出する請求項11に記載された画像処理装置。
【請求項１３】
さらに、前記第三の生成手段が出力する画像を前記投影面に投影する投影手段を有する請求項1から請求項12の何れか一項に記載された画像処理装置。
【請求項１４】
さらに、前記投影面を撮像する撮像手段を有する請求項1から請求項13の何れか一項に記載された画像処理装置。
【請求項１５】
投影面上の物体の位置を検知して位置情報を出力し、
前記投影面を撮像した画像から、前記投影面に配置された物体の画像を示す物体撮像画像を生成し、
前記投影面を撮像した画像から、前記投影面に投影された画像を示す投影撮像画像を生成し、
前記物体撮像画像と前記投影撮像画像に基づき色補正パラメータを算出し、
前記色補正パラメータを用いて、前記位置情報が示す前記物体の移動に従い前記物体撮像画像から前記投影面に投影する画像を生成する画像処理方法。
【請求項１６】
コンピュータを請求項1から請求項12の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項１７】
請求項16に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影面に載置された対象物のコピーを投影する画像処理に関する。
【背景技術】
【０００２】
撮像装置と、被写体に画像を投影可能な投影装置を組み合わせた投影装置付き撮像装置が提案されている（例えば、特許文献1）。撮像装置に投影装置を組み合わせることで、ユーザは、撮影画像に対して生成または選択される画像を被写体に投影して、リアルタイムに観察することが可能になる。
【０００３】
被写体の色と投影画像の色は、反射光と透過光の違い、装置の個体差、環境光などの要因から見た目が異なり、その差異を減らすことが望まれる。元画像と、複写画像の色を合わせる技術が提案されている（例えば、特許文献2）。
【０００４】
特許文献2の方法により色を合わせるには、一度画像全体を出力し、出力した画像を撮像する必要がある。しかし、この方法によれば、投影装置付き撮像装置において、投影面に物体が載置されている場合、投影面に画像全体を出力し、出力した画像を撮像したとしても色を合わせることができない。これは、インタラクティブな操作中に、投影画像のリアルタイムな色合わせを行う場合、支障となる。
【０００５】
つまり、投影面から物体が完全に取り除かれていない場合、投影画像の一部が物体に重畳する。言い換えれば、出力画像が不完全な状態にあり、物体画像と出力画像の間で色合わせを行うことができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2011-186537号公報
【特許文献２】特開2011-124885号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、投影装置付き撮像装置を用いる際、インタラクティブな操作中に、投影画像のリアルタイムな色合わせを可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理は、投影面上の物体の位置を検知して位置情報を出力する検知手段と、前記投影面を撮像した画像から、前記投影面に配置された物体の画像を示す物体撮像画像を生成する第一の生成手段と、前記投影面を撮像した画像から、前記投影面に投影された画像を示す投影撮像画像を生成する第二の生成手段と、前記物体撮像画像と前記投影撮像画像に基づき色補正パラメータを算出するパラメータ算出手段と、前記色補正パラメータを用いて、前記位置情報が示す前記物体の移動に従い前記物体撮像画像から前記投影面に投影する画像を生成する第三の生成手段とを有する。
【発明の効果】
【００１０】
本発明によれば、投影装置付き撮像装置を用いる際、インタラクティブな操作中に、投影画像のリアルタイムな色合わせが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施例の画像処理装置の構成例を示すブロック図。
【図２】画像処理の構成例を示す機能ブロック図。
【図３Ａ】画像処理装置が実行する画像処理を説明するフローチャート。
【図３Ｂ】画像処理装置が実行する画像処理を説明するフローチャート。
【図４】投影面を例示する図。
【図５】オブジェクト解析処理によって原稿から得られるオブジェクト群の一例を示す図。
【図６】投影範囲の一例を示す図。
【図７】投影画像の生成を説明するフローチャート。
【図８】補正パラメータ算出部の処理を説明するフローチャート。
【図９】原稿が移動される過程を説明する図。
【図１０】原稿の移動過程で投影される画像を示す図。
【図１１】最終的な投影画像が生成された状態における投影面を示す図。
【図１２】実施例2のオブジェクト解析処理によって原稿から得られるオブジェクト群の一例を示す図。
【図１３】実施例2の補正パラメータ算出部の処理を説明するフローチャート。
【図１４】原稿が移動される過程と原稿の移動過程で投影される画像を示す図。
【図１５】実施例3の補正パラメータ算出部の処理を説明するフローチャート。
【図１６】実施例3における処理の分岐条件を示す図。
【図１７】実施例3の変形例の補正パラメータ算出部の処理を説明するフローチャート。
【図１８】実施例3の変形例における処理の分岐条件を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１３】
［装置の構成］
図1のブロック図により実施例の画像処理装置の構成例を示す。
【００１４】
CPU103は、メモリ104のRAMをワークメモリとして、メモリ104のROMやハードディスクドライブ(HDD)などに格納された各種プログラムを実行し、システムバス106を介してカメラ101やプロジェクタ102を制御する。CPU103が実行するプログラムには、後述する画像処理のプログラムが含まれる。
【００１５】
カメラ101は、物体、物品、原稿などの被写体画像や投影画像を撮像しディジタル画像信号に変換する。プロジェクタ102は、画像処理よって生成された画像を投影する。なお、説明の簡略化のため、カメラ101の位置と撮像画角、プロジェクタ102の位置と投影画角は固定であるとする。
【００１６】
入力部107は、キーボード、マウス、タッチパネル、トラックパッドなどの入力デバイスである。CPU103は、入力部107を介して入力されるユーザ指示に従い各種処理を実行する。
【００１７】
なお、図1にはCPU103、カメラ101、プロジェクタ102などが一つの装置に含まれる構成を示す。しかし、CPU103を含むコンピュータ機器、独立したカメラ101、独立したプロジェクタ102がUSB、IEEE1394、Thunderboltなどのシリアルバス、あるいは、有線または無線ネットワークによって接続された構成としてもよい。また、実施例の画像処理プログラムは、上記シリアルバスやネットワークを介して画像処理装置に接続された記録媒体やサーバ装置から供給されてもよい。
【００１８】
［処理構成］
図2の機能ブロック図により画像処理の構成例を示す。図2に示す処理構成はCPU103が画像処理のプログラムを実行することにより実現される。
【００１９】
制御部220は、画像処理のプログラムを実行するCPU103に対応し、画像処理全体を制御する。撮像画像生成部200は、投影台に載置された被写体画像、投影台に投影された投影画像を撮影する。投影部210は、プロジェクタ102に対応し、投影台に画像を投影する。
【００２０】
撮像画像生成部200において、物体撮像画像生成部201は、カメラ101が撮像した画像と、制御部220の物体位置検知部221から取得した位置情報に基づき、物体撮像画像203を生成する。また、投影撮像画像生成部202は、カメラ101が撮像した画像と、制御部220の投影画像生成部223から供給される投影位置情報から、投影撮像画像204を生成する。
【００２１】
物体撮像画像生成部201は、投影台の面（以下、投影面）上のすべてを画角に収めた画像データをカメラ101から取得する。カメラ101が投影面に対して傾きをもつ場合は煽りが存在し、逆透視変換によって煽りを補正する。なお、逆透視変換は、画像中の長方形四頂点の座標がわかればよいので、予め投影面の四頂点の座標から逆透視変換用のパラメータを作成しておく。
【００２２】
物体撮像画像生成部201は、逆透視変換によって投影面に対応する矩形画像が得られると、物体位置情報に基づき矩形画像を切り出す。さらに、回転が存在する場合は、回転変換方法（例えばアフィン変換）を用いて回転を補正し、物体の矩形画像（物体撮像画像203）を得る。上記方法は一例であり、例えばカメラ101内で光学的に煽りを補正してもよいし、その他の方法を用いてもよい。
【００２３】
投影撮像画像生成部202は、投影面上のすべてを画角に収めた画像データをカメラ101から取得し、必要があれば逆透視変換により煽りを補正し、投影位置情報に基づき矩形画像を切り出し、必要があれば回転処理を施して投影撮像画像204を得る。
【００２４】
投影部210において、画像投影部211は、投影画像バッファ212に格納された画像を投影する。実施例において、画像投影部211が投影画像バッファ212に格納された画像を常に投影し、投影画像バッファ212の画像が更新されると投影画像も更新される動作を想定する。また、投影部210と投影台の傾きから生じる台形歪みは画像投影部211によって補正される。つまり、投影面に全面投影する、投影台と相似形の画像が投影画像バッファ212に格納されればよい。
【００２５】
制御部220において、物体位置検知部221は、投影面上に載置された物体の位置と形状を検知する。検知方法には、例えば、カメラ101の撮像画像にSobelフィルタやLaplacianフィルタによるエッジ強調処理を施し、物体のエッジに該当する画素を強調して物体の形状を検知する。例えば、物体が原稿のような矩形形状を有する場合、エッジ強調画像にハフ変換や最小近似法などの直線抽出手法を適用して物体の四辺を求めることができる。カメラ101の画角と投影面の相対位置が固定されていれば、撮像画像中の位置から投影面と物体の相対座標データが得られる。
【００２６】
勿論、上記方法は一例であり、例えば赤外線カメラと赤外線照射を用いて、投影面と物体の赤外線反射率の違いから物体の位置と形状を検知してもよいし、超音波センサなどの専用のセンサを用いてもよい。また、実施例において、物体位置検知部221は、所定の周期で物体位置を検知し、物体位置情報を出力することを想定する。
【００２７】
オブジェクト解析部222は、詳細は後述するが、物体撮像画像203についてオブジェクト解析処理を行う。位置算出部224は、物体撮像画像203の撮像位置を投影位置として投影位置情報を生成するとともに、後述する投影範囲を算出する。補正パラメータ算出部225は、投影撮像画像204の色と物体撮像画像203の色をカラーマッチングさせるための色補正パラメータを算出する。
【００２８】
投影画像生成部223は、物体撮像画像203に色補正などを施した投影用の画像を生成する。さらに、投影画像生成部223は、物体撮像画像203に対して例えばHDD105に格納された画像を選択し、選択した画像を投影用の画像に重畳したり、入力部107から入力されたユーザ指示に基づく画像を投影用の画像に重畳する機能を有する。そして、投影画像生成部223は、生成した投影用の画像を投影画像バッファ212に格納する。
【００２９】
［画像処理］
図3A、図3Bのフローチャートにより画像処理装置が実行する画像処理を説明する。図3A、図3Bに示す画像処理はCPU103が画像処理のプログラムを実行することにより実現される。以下では、説明を容易にするために、投影面に原稿が載置される場合を例に説明し、上記の物体撮像画像と物体位置情報を「原稿撮像画像」と「原稿位置情報」と表現する場合がある。
【００３０】
画像処理が開始されると、物体位置検知部221は、カメラ101の撮像画像から原稿位置情報を検知し、当該情報をPo(0)としてメモリ104の所定領域に格納する(S301)。
【００３１】
原稿位置情報Poは、投影面の左上頂点を座標原点(0, 0)として、原稿の左上頂点の座標(x1, y1)、右上頂点の座標(x2, y2)、右下頂点の座標(x3, y3)、左下頂点の座標(x4, y4)から構成される。Po(N)は、N回目の検知処理における原稿位置情報に対応し、Po(0)は原稿の初期位置（原稿撮像画像203の撮像位置）である。
【００３２】
物体撮像画像生成部201は、原稿位置情報Po(0)に基づき、カメラ101の撮像画像から原稿撮像画像203を生成する(S302)。オブジェクト解析部222は、原稿撮像画像203にオブジェクト解析処理を施し、文字、写真、図などのオブジェクトを抽出する(S303)。
【００３３】
次に、制御部220は、後述する投影画像の生成処理に使用する補正パラメータPaとカウンタNの初期化を行う(S304)。なお、Paはオブジェクトごとの補正パラメータであり、初期値は補正を行わない値である。また、カウンタNの初期値は「1」である。
【００３４】
次に、物体位置検知部221は、原稿位置情報を検知し、当該情報をPo(1)として格納する(S305)。制御部220は、Po(0)とPo(1)を比較して、原稿の位置などに変動があったか否かを判定する(S306)。つまり、Po(0)=Po(1)の場合は原稿の位置などに変動がないと判定して処理をステップS305に戻す（原稿移動待ち状態）。また、Po(0)≠Po(1)の場合は原稿の位置などに変動があったと判定して処理をステップS307に進める。
【００３５】
原稿の位置などに変動があると、位置算出部224は、Po(0)が示す原稿初期位置（投影位置）に対応する投影領域R(0)から、Po(N)に対応する原稿領域R(N)を除く領域を投影範囲として算出する(S307)。なお、投影範囲の算出方法の詳細は後述する。
【００３６】
次に、投影画像生成部223は、前回（N-1回目）の処理において算出された補正パラメータPaを用いて原稿撮像画像203を補正する。そして、ステップS307で算出された投影範囲に投影する画像を生成し、生成した画像を投影画像バッファ212に格納する(S308)。なお、投影画像の生成方法の詳細は後述する。
【００３７】
次に、投影撮像画像生成部202は、カメラ101の撮像画像から投影撮像画像204を生成する(S309)。補正パラメータ算出部225は、ステップS303のオブジェクト解析処理結果とステップS309で生成された投影撮像画像204に基づき、補正パラメータPaを算出する(S310)。なお、この処理の詳細は後述する。
【００３８】
次に、制御部220は、Po(0)が示す原稿初期位置（投影位置）の投影領域R(0)とPo(N)が示す原稿領域R(N)に重畳があるか否かを判定する(S311)。そして、重畳がなければ原稿の取除操作、および、補正パラメータPaの算出が完了したと判定して処理をステップS314に進め、重畳があれば処理をステップS312に進める。なお、重畳は、ステップS308で計算された投影範囲がPo(0)が示す原稿初期位置（投影位置）に一致するか否かによっても判定可能である。
【００３９】
領域R(0)とPo(N)に重畳がある場合、制御部220はカウンタNをインクリメントし(S312)、物体位置検知部221は原稿位置情報を検知し、当該情報をPo(N)に格納する(S313)。そして、処理はステップS307に戻る。また、領域R(0)とPo(N)に重畳がない場合、投影画像生成部223は、ステップS310で算出された補正パラメータPaを用いて最終的な画像を生成し、生成した画像を投影画像バッファ212に格納する(S314)。これにより処理は終了する。
【００４０】
●投影面と原稿
図4により投影面を例示する。投影面400には原稿410が載置される。原稿410は、背景オブジェクト411、文字オブジェクト412、線画オブジェクト413、写真オブジェクト414などから構成されている。
【００４１】
図5によりオブジェクト解析処理によって原稿410から得られるオブジェクト群の一例を示す。なお、オブジェクト群は、オブジェクトB(i)（i=1, 2, 3, …）からなる配列情報である。実施例では、B(1)を背景オブジェクトとし、その他のオブジェクトに関しては順不同とする。
【００４２】
図5は、原稿410から撮像された原稿撮像画像203を解析した結果得られるオブジェクト群を表形式で表した例である。オブジェクト群として背景オブジェクトB(1)を含め、B(4)まで四つのオブジェクトが得られ、各オブジェクトは、属性、原稿の左上を座標原点とする、相対位置(x, y)、矩形サイズ(w, h)の情報を有する。
【００４３】
背景オブジェクトB(1)の位置とサイズは原稿410の位置とサイズに等しく、相対位置(0, 0)、サイズ(210, 300)になる。文字オブジェクトB(2)、線画オブジェクトB(3)、写真オブジェクトB(4)はそれぞれの相対位置とサイズを有する。また、各オブジェクトの画素情報の列は、領域を表現するための画素集合、つまり画像データそのものを表す。
【００４４】
●投影範囲
図6により投影範囲の一例を示す。矩形領域600は、Po(0)が示す原稿初期位置（投影位置）の四頂点を結んで得られる投影領域R(0)に相当する。矩形領域601は、Po(N)が示す原稿位置の四頂点を結んで得られる原稿領域R(N)に相当する。斜線を施した領域602は、投影領域R(0)から原稿領域R(N)を除いた（減算した）領域であり、投影範囲として算出される領域である。つまり、投影範囲の算出処理により、現在の原稿領域に重ならないような画像が投影される。
【００４５】
●投影画像の生成
図7のフローチャートにより投影画像の生成(S308)を説明する。
【００４６】
投影画像生成部223は、投影画像を生成する下地として、原稿サイズの画像データを生成する(S701)。なお、ステップS701で生成する画像データの画素値は、後段の処理で上書きされるため、白画素値や任意の画素値でよい。
【００４７】
次に、投影画像生成部223は、カウンタiを1に初期化し(S702)、投影範囲にオブジェクトB(i)の少なくとも一部が含まれるか否かの判定、言い換えれば、オブジェクトB(i)の描画が必要か否かの判定を行う(S703)。そして、投影範囲にオブジェクトB(i)の少なくとも一部が含まれる場合は処理をステップS704に進め、投影範囲にオブジェクトB(i)が含まれない場合は処理をステップS707に進める。
【００４８】
ステップS703の判定は、投影範囲とオブジェクトの領域に重畳があるか否かの判定を行えばよい。例えば、投影範囲を‘1’、投影範囲外を‘0’とした二値の原稿サイズの画像を用意し、オブジェクトの領域に対応する二値画像中の画素を走査して、値‘1’の画素が一つでもあれば「重畳あり」、値‘1’の画素が一つもなければ「重畳なし」と判定する。なお、上記方法は一例であり、処理を高速化するために画素を間引いてもよいし、その他の判定手法を用いてもよい。
【００４９】
投影範囲にオブジェクトB(i)の少なくとも一部が含まれる場合、投影画像生成部223は、オブジェクトB(i)の補正パラメータPa(i)が初期値か否かを判定する(S704)。補正パラメータPa(i)が初期値ではない場合は補正パラメータPa(i)を用いてオブジェクトB(i)の画素情報を補正する(S705)。そして、補正パラメータPa(i)が初期値の場合は未補正のB(i)の画素情報、または、補正後のB(i)の画像情報をステップS701で生成した画像データに描画し(S705)、処理をステップS707に進める。
【００５０】
次に、投影画像生成部223は、全オブジェクトについてステップS703からS706の処理が終了したか否かを判定し(S707)、処理が未了のオブジェクトがあればカウンタiをインクリメントして(S708)、処理をステップS703に戻す。
【００５１】
全オブジェクトの処理が終了した場合、投影画像生成部223は、投影範囲にオブジェクトの少なくとも一部が含まれる場合に画素情報が描画された画像データを投影範囲の形状に合わせるため、画像データにマスキング処理を施す(S709)。そして、マスキング処理した画像データを投影画像バッファ212に格納する(S710)。これにより、投影画像バッファ212に格納された画像が投影面に投影される。
【００５２】
●補正パラメータ算出部
図8のフローチャートにより補正パラメータ算出部225の処理(S310)を説明する。
【００５３】
補正パラメータ算出部225は、カウンタiを1に初期化し(S801)、オブジェクトB(i)の補正パラメータPa(i)が初期値か否かを判定する(S802)。そして、初期値の場合は処理をステップS803に進め、初期値ではない場合は処理をステップS806に進める。
【００５４】
オブジェクトB(i)の補正パラメータPa(i)が初期値の場合、補正パラメータ算出部225は、オブジェクトB(i)の全体が投影されているか否かを判定する(S803)。そして、全体が投影されていれば処理をステップS804に進め、全体が投影されていなければ処理をステップS806に進める。
【００５５】
ステップS803の判定は、投影範囲がオブジェクトの領域を内包するか否かの判定を行えばよい。例えば、投影範囲を‘1’、投影範囲外を‘0’とした二値の原稿サイズの画像を用意し、オブジェクトの画素領域に対応する二値画像中の画素を走査し、全画素が値‘1’であれば「内包」、値‘0’の画素が一つでもあれば「非内包」と判定する。なお、上記方法は一例であり、処理を高速化するために画素を間引いてもよいし、その他の判定手法を用いてもよい。
【００５６】
オブジェクトB(i)の補正パラメータPa(i)が初期値、かつ、オブジェクトB(i)の全体が投影されている場合、補正パラメータ算出部225は、オブジェクトB(i)と投影撮像画像204の間の対応画素を検出する(S804)。なお、投影撮像画像204におけるオブジェクトの相対位置は既知であり、座標から単純に対応画素を検出することができる。
【００５７】
次に、補正パラメータ算出部225は、対応画素とオブジェクトB(i)の画素情報から、色合わせ用の補正パラメータPa(i)を算出する(S805)。
【００５８】
色合わせ方法には、例えば、特許文献2に記載されたような、周波数特性から補正パラメータを取得する方法を用いることができる。つまり、両画像を二次元フーリエ変換し、それらの差分を補正パラメータとして取得する。補正パラメータPa(i)は二つの画像の周波数特性の差分であるMTF補正量になる。
【００５９】
また、単色のオブジェクトの場合は、補正パラメータは、CIE1976色差式や、CMC色差式などの色差計算方法により二つの画像の色情報の差（色差）として算出すればよい。この場合、色差を示す補正パラメータを投影画像に加算する(S705)ことでオブジェクトの画素情報を補正する。
【００６０】
オブジェクトB(i)の全体が投影されていない場合、または、ステップS805の処理が終了すると、投影画像生成部223は、全オブジェクトについてステップS802からS805の処理が終了したか否かを判定する(S806)。そして、処理が未了のオブジェクトがあればカウンタiをインクリメントして(S807)、処理をステップS802に戻す。
【００６１】
●原稿の移動と投影画像の関係
図9により原稿が移動される過程を説明する。また、図10により原稿の移動過程で投影される画像を示す。
【００６２】
図9(a)は、投影面400において、原稿初期位置901から移動された原稿410を示し、最初に、原稿の位置の変動が検知される状態に対応する。つまり、ステップS305において、Po(1)として、原稿410の四頂点座標、例えば(40, 50)(250, 50)(250, 350)(40, 350)が得られている。
【００６３】
次に、図10(a)に示す投影画像1000に対応する投影範囲が算出される(S307)。例えば、投影範囲として、六頂点(20, 40)(230, 40)(230, 50)(40, 50)(40, 340)(20, 340)をもつ鍵型の領域が算出される。そして、投影範囲の投影画像1000が生成される(S308)。
【００６４】
次に、投影画像1000の投影撮像画像204が生成される(S309)。ここで得られる投影撮像画像204は、投影画像1000と形状は等しいが、プロジェクタ102の個体差や環境光などの影響を受け、投影画像1000とは異なる色値を有する。つまり、投影画像1000と形状は等しいが、投影画像1000と色が異なる投影撮像画像204が得られる。そして、投影画像1000の投影撮像画像204と、オブジェクト解析結果に基づき、補正パラメータPaの算出が実行される(S310)。しかし、この時点では、全体が投影されたオブジェクトがないため、補正パラメータPaは算出されない。
【００６５】
図9(b)は原稿初期位置901、N=1のタイミングt1における原稿位置902、N=2のタイミングt2における原稿410を示す。なお、原稿初期位置901の一部である鍵型の領域には投影画像1000が投影されている。また、ステップS313において、Po(2)として、原稿410の四頂点座標、例えば(110, 70)(320, 70)(320, 370)(110, 370)が得られる。
【００６６】
次に、図10(b)に示す投影画像1010に対応する投影範囲が算出される(S307)。例えば、投影範囲として、六頂点(20, 40)(230, 40)(230, 70)(110, 70)(110, 340)(20, 340)をもつ鍵型の領域が算出される。そして、N=1において補正パラメータPaは未算出のため原稿撮像画像203の補正は行われずに、投影範囲の投影画像1010が生成される(S308)。
【００６７】
次に、投影画像1010の投影撮像画像204が生成され(S309)、投影画像1010の投影撮像画像204と、オブジェクト解析結果に基づき、補正パラメータPaの算出が実行される(S310)。N=2においては、全オブジェクトが投影範囲に出現し、文字オブジェクトB(2)だけは全体が投影される。そのため、オブジェクトB(2)に対応する補正パラメータPa(2)が算出される。
【００６８】
図9(c)は原稿初期位置901、タイミングt2における原稿位置903、N=3のタイミングt3における原稿410を示す。なお、原稿初期位置901の一部である鍵型の領域には投影画像1010が投影されている。また、ステップS313において、Po(3)として、原稿410の四頂点座標、例えば(190, 90)(400, 90)(400, 390)(190, 390)が得られる。
【００６９】
次に、図10(c)に示す投影画像1020に対応する投影範囲が算出される(S307)。例えば、投影範囲として、六頂点(20, 40)(230, 40)(230, 90)(190, 90)(190, 340)(20, 340)をもつ鍵型の領域が算出される。そして、N=2において補正パラメータが算出されたオブジェクトB(2)に関して原稿撮像画像203の補正が行われ、投影範囲の投影画像1020が生成される(S308)。
【００７０】
次に、投影画像1020の投影撮像画像204が生成され(S309)、投影画像1020の投影撮像画像204と、オブジェクト解析結果に基づき、補正パラメータPaの算出が実行される(S310)。N=3においては、新たに線画オブジェクトB(3)の全体が投影される。そのため、オブジェクトB(3)に対応する補正パラメータPa(3)が算出される。
【００７１】
図9(d)は原稿初期位置901、タイミングt3における原稿位置904、N=4のタイミングt4における原稿410を示す。なお、原稿初期位置901の一部である鍵型の領域には投影画像1020が投影されている。また、ステップS313において、Po(4)として、原稿410の四頂点座標、例えば(250, 100)(460, 100)(460, 400)(250, 400)が得られる。
【００７２】
次に、図10(d)に示す投影画像1030に対応する投影範囲が算出される(S307)。例えば、投影範囲として、四頂点(20, 40)(230, 40)(230, 340)(20, 340)をもつ矩形の領域が算出される。つまり、Po(4)はPo(0)に重ならないため、初期原稿位置（投影位置）に対応する四頂点が投影範囲として算出される。そして、N=2、N=3において補正パラメータが算出されたオブジェクトB(2)、B(3)に関して原稿撮像画像203の補正が行われ、投影範囲の投影画像1030が生成される(S308)。
【００７３】
次に、投影画像1030の投影撮像画像204が生成され(S309)、投影画像1030の投影撮像画像204と、オブジェクト解析結果に基づき、補正パラメータPaの算出が実行される(S310)。N=4においては、新たに写真オブジェクトB(4)と背景オブジェクトB(1)の全体が投影される。そのため、オブジェクトB(1)、B(3)に対応する補正パラメータPa(1)、Pa(3)が算出される。
【００７４】
そして、N=4においては、Po(0)が示す原稿初期位置（投影位置）の矩形領域R(0)とPo(4)が示す矩形領域R(4)に重畳がないと判定され(S311)、全オブジェクトに補正を施した投影画像が生成される(S314)。
【００７５】
図11により最終的な投影画像が生成された状態(S314)における投影面を示す。投影面400には、投影範囲が原稿初期位置（投影位置）に等しい投影画像1040と、移動の結果、原稿初期位置（投影位置）から取り除かれた原稿410が存在する。投影画像1040は、すべてのオブジェクトの色が補正され、原稿410の画像に近いアピアランスを示す。
【００７６】
このように、原稿の移動に応じてオブジェクトを描画し、描画されるオブジェクトから順次色補正を行う。従って、原稿が移動され、原稿初期位置（投影位置）から原稿が取り除かれた時点で、投影される全オブジェクトの色補正が完了するユーザインタフェイスが実現される。
【００７７】
なお、上記では、説明の簡略化のため、N=4で原稿移動が完了するような原稿位置情報の取得間隔例を説明した。原稿位置情報の取得間隔を充分短くすれば、N-1時点の投影範囲に基づく投影画像と、N時点の原稿の位置と投影範囲の間隙が小さくなり、原稿移動に追従する投影範囲に投影画像が表示される。つまり、ユーザは、実施例のユーザインタフェイスによって、原稿移動に伴って原稿の投影画像が現れるエクスペリエンスを体験することになる。
【実施例２】
【００７８】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７９】
実施例1では、オブジェクトの全体が描画された時点で当該オブジェクトの補正パラメータを算出する例を説明した。しかし、補正パラメータの算出にオブジェクト全体の描画が必要なければ、オブジェクトの一部が描画された時点で当該オブジェクトの補正パラメータを算出することができる。実施例2では、オブジェクトの色数が一色か、写真オブジェクトなどの複数色かを判別して、一色のオブジェクトに関しては当該オブジェクトの一部が投影範囲に描画された時点で補正パラメータを算出する例を説明する。
【００８０】
図12により実施例2のオブジェクト解析処理によって原稿410から得られるオブジェクト群の一例を示す。実施例1のオブジェクト群と異なるのは、各オブジェクトの色情報が追加された点である。
【００８１】
なお、色情報の取得には、例えば、オブジェクトを構成する画素の色からヒストグラムを作成し、色の分散具合か取得するなどの方法を用いる。つまり、オブジェクトの構成画素の色すべてが所定範囲に含まれる場合は一色（単色）、所定範囲を超えて分散すれば複数色（多色）と判定する。
【００８２】
図12に示すように、例えば、背景オブジェクトB(1)はRGB24ビットの16進数記法で#E0E0E0の一色、文字オブジェクトB(2)は#000000の一色、線画オブジェクトB(3)は#FF0000の一色で構成されているとする。また、写真オブジェクトB(4)は複数色（非単色）から構成されているとする。
【００８３】
図13のフローチャートにより実施例2の補正パラメータ算出部225の処理(S310)を説明する。なお、図8に示す処理と略同様の処理には同一符号を付して、その詳細説明を省略する。
【００８４】
補正パラメータ算出部225は、ステップS803の判定においてオブジェクトB(i)の全体が投影されていないと判定した場合、投影範囲にオブジェクトB(i)の一部が含まれるか否かを判定する(S811)。そして、投影範囲にオブジェクトB(i)の一部も含まれない、言い換えれば、まったく投影されていないと判定した場合は処理をステップS806に進める。
【００８５】
また、投影範囲にオブジェクトB(i)の一部が含まれている場合、補正パラメータ算出部225は、オブジェクトB(i)が単色か否かを判定し(S812)、単色ではない場合は処理をステップS806に進める。また、単色の場合は処理をステップS804、S805に進めて補正パラメータPa(i)を算出する。なお、この場合、オブジェクトB(i)は一部しか投影されていないため、ステップS804では、不完全なオブジェクトが取得されるが、単色であるため、補正パラメータPa(i)の算出に影響はない。
【００８６】
図14により原稿が移動される過程と原稿の移動過程で投影される画像を示す。なお、比較のため、図14の左列は実施例2における投影画像を、図14の右列は実施例1における投影画像をそれぞれ示す。
【００８７】
タイミングT1において、原稿初期位置には背景オブジェクトB(1)の一部が表示される。単色のB(1)は、左列の実施例2において色補正されるが、右列の実施例1においては色補正されない。
【００８８】
タイミングT2（＞T1）において、原稿初期位置には背景オブジェクトB(1)の一部、文字オブジェクトB(2)の全体、並びに、線画オブジェクトB(3)と写真オブジェクトB(4)の一部が表示される。左列の実施例2において、B(1)は色補正済み、全体が表示されるB(2)と単色のB(3)は色補正され、非単色のB(4)は色補正されない。一方、右列の実施例1においては、全体が表示されるB(2)は色補正されるが、表示が一部のB(1)、B(3)、B(4)は色補正されない。
【００８９】
タイミングT3（＞T2）において、原稿初期位置には背景オブジェクトB(1)の一部、並びに、文字オブジェクトB(2)、線画オブジェクトB(3)および写真オブジェクトB(4)の全体が表示される。左列の実施例2において、B(1)、B(2)およびB(3)は色補正済み、全体が表示される非単色のB(4)は色補正され、投影画像の全体の色補正が完了する。一方、右列の実施例1においては、B(2)は色補正済み、全体が表示されるB(3)とB(4)は色補正されるが、表示が一部のB(1)は色補正されず、投影画像の全体の色補正は完了しない。
【００９０】
タイミングT4（＞T3）において、原稿初期位置には背景オブジェクトB(1)、文字オブジェクトB(2)、線画オブジェクトB(3)および写真オブジェクトB(4)の全体が表示される。その結果、右列の実施例1においても、全体が表示されるB(1)が色補正され、投影画像の全体の色補正が完了する。
【００９１】
このように、実施例1に比べて早いタイミングで色補正を行うことができ、原稿移動に伴い、原稿画像により忠実な色を有する画像を投影することができる。
【実施例３】
【００９２】
以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００９３】
実施例2では、単色のオブジェクトは、その一部が投影範囲に描画された時点で色補正を行う例を説明した。しかし、オブジェクトは単色と多色だけに限らず、例えば、二色や三色のオブジェクトや、同色系のグラデーションを有するような多色とは言えないオブジェクトが存在する。
【００９４】
実施例3では、そのような多色とは言えない少数色から構成されるオブジェクトについては、当該オブジェクトの色すべてが投影範囲に描画された時点で色補正を行う例を説明する。なお、単色、少数色、多色の判別は、例えば、オブジェクトの色のヒストグラムから、色の分散がない（または極めて狭い範囲R1に分散）場合は単色、R1より広い所定の範囲R2に分散する場合は少数色、範囲R2を超えて分散する場合は多色とすればよい。
【００９５】
図15のフローチャートにより実施例3の補正パラメータ算出部225の処理(S310)を説明する。なお、図13に示す処理と略同様の処理には同一符号を付して、その詳細説明を省略する。
【００９６】
補正パラメータ算出部225は、オブジェクトB(i)の全体が投影されていないと判定(S803)し、投影範囲にオブジェクトB(i)の一部が含まれていると判定(S811)した場合、オブジェクトB(i)の色数を判定する(S821)。そして、実施例2と同様に、単色オブジェックであれば色補正を行うために処理をステップS804に進め、多色オブジェックであれば処理をステップS806に進めて色補正を行わない。
【００９７】
他方、少数色オブジェクトの場合は、オブジェクトB(i)の色のすべてが投影範囲に描画されているか否かを判定する(S822)。そして、色のすべてが投影範囲に描画されている場合は色補正を行うために処理をステップS804に進め、未描画の色がある場合は処理をステップS806に進めて色補正を行わない。
【００９８】
図16により実施例3における処理の分岐条件を示す。つまり、単色オブジェクトは、一部描画を色補正条件として、補正パラメータとして色差を取得し、色補正を行う。また、少数色オブジェクトは、全色描画を色補正条件として、補正パラメータとして色ごとの色差を取得し、色補正を行う。また、多色オブジェクトは、全体描画を色補正条件として、補正パラメータとして全体の周波数特性の差分を取得し、色補正を行う。なお、差分は、原稿撮像画像203と投影撮像画像204の間で取得される。
【００９９】
［変形例］
上記では、オブジェクトの色数によって補正パラメータPaを算出する処理を制御する例を説明したが、オブジェクトの属性によって補正パラメータPaを算出する処理を制御することもできる。
【０１００】
図17のフローチャートにより実施例3の変形例の補正パラメータ算出部225の処理(S310)を説明する。なお、図13に示す処理と略同様の処理には同一符号を付して、その詳細説明を省略する。
【０１０１】
補正パラメータ算出部225は、オブジェクトB(i)の全体が投影されていないと判定(S803)し、投影範囲にオブジェクトB(i)の一部が含まれていると判定(S811)した場合、オブジェクトB(i)の属性を判定する(S831)。そして、文字オブジェックであれば色補正を行うために処理をステップS804に進め、写真オブジェックであれば処理をステップS806に進めて色補正を行わない。
【０１０２】
また、背景または線画オブジェクトの場合は、グラデーションを有するか否かを判定する(S832)。そして、グラデーションなしのオブジェックであれば色補正を行うために処理をステップS804に進める。
【０１０３】
また、グラデーションを有する背景または線画オブジェックの場合、グラデーションを幾つかの色領域に分割した場合の各色領域の色すべて（以下、全色領域色）が投影範囲に描画されているか否かを判定する(S833)。そして、各色領域の色すべてが描画されている場合は色補正を行うために処理をステップS804に進め、未描画の色があれば処理をステップS806に進めて色補正を行わない。
【０１０４】
図18により実施例3の変形例における処理の分岐条件を示す。つまり、文字オブジェクト、並びに、グラデーションなしの背景または線画オブジェクトは、一部描画を色補正条件として、補正パラメータとして色差を取得し、色補正を行う。
【０１０５】
また、グラデーションありの背景または線画オブジェクトは、全色領域色描画を色補正条件として、補正パラメータとして色領域ごとの色差を取得し、色補正を行う。また、多色オブジェクトは、全体描画を色補正条件として、補正パラメータとして全体の周波数特性の差分を取得し、色補正を行う。
【０１０６】
なお、図17に示す処理と図18に示す分岐条件は、少数色オブジェクトについて考慮していない。しかし、当業者にとって、図15から図18を参照して、オブジェクトの属性と色数を組み合わせた補正パラメータPaの算出処理を実現することは容易である。
【０１０７】
このように、単色オブジェクトに限らず、少数色オブジェクトやグラデーションを有するオブジェクトの場合も、実施例1に比べて早いタイミングで色補正を行うことができ、原稿移動に伴い、原稿画像により忠実な色を有する画像を投影することができる。
【０１０８】
また、上記では、投影面に載置した原稿の画像を投影する例を説明したが、投影面に配置可能な物体や物品は原稿に限らない。例えば、壁面などに配した投影面であるスクリーンの前に人物やマネキンを配置し、当該人物やマネキンの画像に衣服などの画像を重畳した画像を生成し、生成した画像をスクリーンに投影することもできる。また、スクリーンの前に物品を配置し当該物品の画像に文様や模様のテクスチャを重畳した画像を生成し、生成した画像をスクリーンに投影することもできる。その際、物体や物品の移動に伴い物体や物品の初期位置に画像が投影され、物体や物品に備わるオブジェクトには色補正が施される。つまり、投影面には任意の物体や物体を配置することができる。
【０１０９】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
2015041233.tif 000003
【図２】
2015041233.tif 000004
【図３Ａ】
2015041233.tif 000005
【図３Ｂ】
2015041233.tif 000006
【図４】
2015041233.tif 000007
【図５】
2015041233.tif 000008
【図６】
2015041233.tif 000009
【図７】
2015041233.tif 000010
【図８】
2015041233.tif 000011
【図９】
2015041233.tif 000012
【図１０】
2015041233.tif 000013
【図１１】
2015041233.tif 000014
【図１２】
2015041233.tif 000015
【図１３】
2015041233.tif 000016
【図１４】
2015041233.tif 000017
【図１５】
2015041233.tif 000018
【図１６】
2015041233.tif 000019
【図１７】
2015041233.tif 000020
【図１８】
2015041233.tif 000021