(57)【要約】【課題】被投影物と投影装置との位置のずれを補正する場合、人間が視認できないようにパターンを投影すること。【解決手段】画像処理装置は、被投影物と投影装置との位置のずれを補正するためのパターン画像を取得する取得手段と、第一のフレーム画像に前記パターン画像の特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理と、を行う処理手段と、前記第一の処理が行われた前記第一のフレーム画像と、前記第二の処理が行われた前記第二のフレーム画像と、を交互に出力する出力手段と、を備える。【選択図】図１
2020025228.tif 000002
【特許請求の範囲】
【請求項１】
被投影物と投影装置との位置のずれを補正するためのパターン画像を取得する取得手段と、
第一のフレーム画像に前記パターン画像の特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理と、を行う処理手段と、
前記第一の処理が行われた前記第一のフレーム画像と、前記第二の処理が行われた前記第二のフレーム画像と、を交互に出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記処理手段は、
前記第一の処理として、前記第一のフレーム画像の画素のうち、前記パターン画像が示すパターンに対応する画素の画素値に、所定の値を加算し、
前記第二の処理として、前記第二のフレーム画像の画素のうち、前記パターン画像が示すパターンに対応する画素の画素値から前記所定の値を減算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段による処理が行われたフレーム画像の時間的な輝度の変化が、緩やかになるように調整する調整手段をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記調整手段は、
前記処理手段で用いられる前記所定の値を、前記所定の値よりも低い第一の値から前記所定の値まで段階的に調整し、
前記処理手段は、
前記第一の処理として、前記第一のフレーム画像の前記画素値に前記調整手段によって調整された前記第一の値を加算し、前記第一のフレーム画像に続く奇数のフレーム画像の前記画素値に、前記第一の値よりも高い第二の値を加算し、
前記第二の処理として、前記第二のフレーム画像の前記画素値から前記調整手段によって調整された前記第一の値を減算し、前記第二のフレーム画像に続く偶数のフレーム画像の前記画素値から、前記第二の値よりも高い前記第二の値を減算し、
前記第二の値が前記所定の値になるまで、前記第一の処理と前記第二の処理とを繰り返す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記調整手段は、
前記第一のフレーム画像に前記第一の処理がされたことによる画素値の変化と前記第二のフレーム画像に前記第二の処理がされたことによる画素値の変化との合計値と、前記第二のフレーム画像に前記第二の処理がされたことによる画素値の変化と前記第二のフレーム画像に続く第三のフレーム画像に前記第一の処理がされたことによる画素値の変化との合計値と、の差が小さくなるように、前記処理手段で用いられる前記所定の値を段階的に調整する
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
入力された映像信号をＮ倍にすることにより、フレームレートがＮ倍になるようにフレーム画像を前記処理手段に出力する倍速手段をさらに備える
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記倍速手段は、直前のフレーム画像を複製してフレーム画像を作成することにより、フレームレートがＮ倍になるようにフレーム画像を前記処理手段に出力する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記倍速手段は、前後のフレーム画像を補間してフレーム画像を作成することにより、フレームレートがＮ倍になるようにフレーム画像を前記処理手段に出力する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記投影装置は、前記出力手段によって出力されたフレーム画像を投影するように構成され、前記投影装置から前記被投影物に投影されたコンテンツを撮像装置が撮像することで得られた画像から前記パターン画像の特徴を検出する検出手段をさらに有する
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記検出手段によって検出された前記パターン画像の特徴から、前記被投影物と前記投影装置との位置のずれを補正する補正手段をさらに有する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記出力手段は、
一定時間の間隔で、前記パターン画像の特徴を埋め込む処理がされたフレーム画像を出力する
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記出力手段は、
コンテンツの開始または終了時に、前記パターン画像の特徴を埋め込む処理がされたフレーム画像を出力する
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記出力手段は、
ユーザによる前記被投影物と前記投影装置との位置のずれを補正する指示を前記画像処理装置が取得した場合に、前記パターン画像の特徴を埋め込む処理がされたフレーム画像を出力する
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１４】
コンテンツに埋め込む電子透かしを取得する取得手段と、
前記コンテンツを構成するフレーム画像のフレームレートをＮ倍にする倍速手段と、
前記倍速手段によってＮ倍にされたフレーム画像のうち、第一のフレーム画像に前記電子透かしの特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理と、を行う処理手段と、
前記第一の処理をした前記第一のフレーム画像と、前記第二の処理をした前記第二のフレーム画像と、を交互に出力する出力手段と、
を備えることを特徴とする電子透かし埋め込み装置。
【請求項１５】
被投影物と投影装置との位置のずれを補正するためのパターン画像を取得する取得ステップと、
第一のフレーム画像に前記パターン画像の特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理と、を行う処理ステップと、
前記第一の処理が行われた前記第一のフレーム画像と、前記第二の処理が行われた前記第二のフレーム画像と、を交互に出力する出力ステップと、
を備えることを特徴とするパターン画像の埋め込み方法。
【請求項１６】
コンテンツに埋め込む電子透かしを取得する取得ステップと、
前記コンテンツを構成するフレーム画像のフレームレートをＮ倍にする倍速ステップと、
前記倍速ステップによってＮ倍にされたフレーム画像のうち、第一のフレーム画像に前記電子透かしの特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理とを行う処理ステップと、
前記第一の処理をした前記第一のフレーム画像と、前記第二の処理をした前記第二のフレーム画像とを交互に出力する出力ステップと、
を備えることを特徴とする電子透かし埋め込み方法。
【請求項１７】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１４に記載の電子透かし埋め込み装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被投影物と投影装置との位置ずれを補正するための技術に関する。
【背景技術】
【０００２】
被投影物と投影装置との位置ずれを補正することが行われている。特許文献１では、投影装置がパターンをスクリーンに投影し、投影されたパターンの形状から、投影装置が投影形状を補正することで被投影物と投影装置との位置ずれを補正する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３６３２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
投影装置の姿勢または位置は、経時的にずれてしまうことが分かっており、被投影物と投影装置との位置のずれは、投影システム使用中においても逐次修正されることが望ましい。
【０００５】
しかしながら、コンテンツの投影中に特許文献１のようなパターンをスクリーンに投影して、被投影物と投影装置との位置ずれを補正しようとすると、パターンがユーザに視認されてしまう。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、被投影物と投影装置との位置のずれを補正するためのパターン画像を取得する取得手段と、第一のフレーム画像に前記パターン画像の特徴を埋め込む第一の処理と、前記第一のフレーム画像に続くフレーム画像である第二のフレーム画像に前記第一の処理とは相補となる第二の処理と、を行う処理手段と、前記第一の処理が行われた前記第一のフレーム画像と、前記第二の処理が行われた前記第二のフレーム画像と、を交互に出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被投影物と投影装置との位置のずれを補正する場合、人間が視認できないようにパターンを投影することができる
【図面の簡単な説明】
【０００８】
【図１】投影システムの構成を示す図である。
【図２】パターン画像をフレーム画像に埋め込む処理を説明する図である。
【図３】パターン画像を埋め込む処理を示すフローチャートである。
【図４】投影システムの構成を示す図である。
【図５】調整部の処理を説明する図である。
【図６】パターン画像を埋め込む処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を図面に基づいて説明をする。なお、実施形態は本発明を限定するものではなく、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。
【００１０】
＜第一の実施形態＞
本実施形態は、被投影物と投影装置との位置のずれを補正するためのパターン画像を、人間の目に視認されにくいように、投影中のコンテンツに埋め込む処理をする画像処理装置に関わる形態である。
【００１１】
図１は、本実施形態に係るシステム構成図およびシステムの一部である画像処理装置１００の構成を示したものである。本システムは、画像処理装置１００、投影装置１２０、および撮像装置１３０を有する。
【００１２】
投影装置１２０は、画像処理装置１００から取得した動画などのコンテンツを投影する装置である。投影装置１２０はプロジェクタなどにより実現される。撮像装置１３０は、投影装置が投影したコンテンツを撮像する装置である。ビデオカメラ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのカメラにより構成され実現される。画像処理装置１００の説明は後述する。本実施形態では、画像処理装置１００、投影装置１２０および撮像装置１３０はそれぞれ異なる形態としているが、いずれかの２つまたは３つを一体とした形態でもよい。例えば、カメラを有したプロジェクタのように投影装置１２０および撮像装置１３０が一体となっている形態でもよい。
【００１３】
画像処理装置１００は、信号取得部１０１、倍速部１０２、パターン画像取得部１０３、処理部１０４、出力部１０５、検出部１０６および補正部１０７を有する。画像処理装置１００はＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）またはプロジェクタなどにより実現される。
【００１４】
信号取得部１０１は、画像処理装置１００に入力された映像信号を取得する。倍速部１０２は、入力された映像信号をＮ倍にする。また、Ｎ倍になった映像信号に対応してフレーム画像を生成することで、フレームレートをＮ倍に変換したフレーム画像データを出力する。ここでＮとは０より大きい任意の実数を指す。Ｎの具体例としては、２または４が挙げられる。即ち、倍速部１０２は、倍速化により映像信号を２倍速または４倍速することができる。
【００１５】
パターン画像取得部１０３は、後述する記憶部１１０からパターン画像２０４（図２参照）を示す画像データを取得する。パターン画像２０４とは、画像に二次元座標（位置情報）が符号化されており、投影装置１２０とスクリーンなどの被投影物との位置に応じて投影するコンテンツの形状を補正するために投影される画像である。本実施形態では、パターン画像２０４を示す画像データはあらかじめ記憶部１１０に記憶されている形態としたが、画像処理装置１００がパターン画像２０４を示す画像データを生成してもよい。
【００１６】
処理部１０４は、パターン画像２０４の特徴を、入力された映像信号から取得したフレーム画像に埋め込む処理をする。パターン画像２０４の特徴が埋め込まれたフレーム画像を「調整フレーム画像」とよぶ。処理部１０４が行うパターン画像２０４を埋め込む処理の説明については後述する。出力部１０５は、処理部１０４が生成した調整フレーム画像を投影装置１２０に出力する。
【００１７】
投影装置１２０から投影されたコンテンツを撮像装置１３０が撮像し、検出部１０６は、当該撮像された画像を取得する。検出部１０６は、当該撮像された画像からパターン画像２０４を検出してパターン画像２０４の符号化された座標情報を復号する。
【００１８】
補正部１０７は、検出部１０６が復号した座標情報を取得する。補正部１０７は、当該座標情報から、投影装置１２０と被投影物との位置のずれによって生じたコンテンツの形状の歪み等を補正するための補正値を計算する。補正部１０７は、計算した補正値を、出力部１０５を介して、投影装置１２０に出力する。
【００１９】
なお、検出部１０６および補正部１０７は画像処理装置１００とは別の装置の構成として実現されている形態でもよい。即ち、検出部１０６および補正部１０７が画像処理装置１００の構成に含まれない形態であってもよい。
【００２０】
これらの機能は不図示のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより、ＣＰＵが、図２に示す画像処理装置１００の各部として機能する。
【００２１】
記憶部１１０は、パターン画像を記憶している。記憶部はＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等により実現される。なお、本実施形態では、記憶部１１０は、ネットワーク等を介して画像処理装置１００と接続されていることとしたが、画像処理装置１００の構成に記憶部１１０を含めてもよい。
【００２２】
［パターン画像の埋め込みの処理の説明］
図２は、フレーム画像にパターン画像の特徴を埋め込む処理を説明したものである。本実施形態では、パターン画像のパターンに対応するフレーム画像の画素に、所定の画素値を加算または減算することによりパターン画像の特徴を埋め込む形態である。図２を用いて、処理部１０４が行う処理について説明する。
【００２３】
フレーム画像２０１は、信号取得部１０１が取得した映像信号に基づくフレーム画像である。本実施形態の説明では、入力される映像信号は６０Ｈｚとして説明する。映像信号が６０Ｈｚのとき出力されるフレーム画像のフレームレートは６０ｆｐｓである。よって、フレーム画像２０１は１／６０秒間ごと投影装置１２０から投影されるフレーム画像のうちの１つである。
【００２４】
倍速部１０２は、Ｎ倍になった映像信号に対応してフレーム画像を生成する。以下、倍速部１０２が倍速化する映像信号の倍速は、２倍速であるとして説明する。倍速部は、映像信号を２倍速にすることで、フレームレートが２倍のフレーム画像を出力する。即ち、倍速部１０２は、１／６０秒間ごとに映しだされるフレーム画像を２枚にする。第一のサブフレーム画像２０２と第二のサブフレーム画像２０３は、倍速部１０２が倍速化の処理をしたことにより生成したフレーム画像である。この倍速部１０２で生成されたこの２枚のフレーム画像を「サブフレーム画像」とよぶ。
【００２５】
なお、本実施形態では、倍速部１０２は、直前のフレーム画像２０１を複製して２枚のサブフレーム画像である第一のサブフレーム画像２０２、および第二のサブフレーム画像２０３を生成している。倍速部１０２は、第二のサブフレーム画像２０３を前後のフレーム画像から補間して作成してもよい。
【００２６】
パターン画像２０４は、前述のとおり、画像に二次元座標（位置情報）が符号化されており、投影装置１２０の位置と被投影物の位置とに応じて投影するコンテンツの形状などを補正するために投影される画像である。パターン画像２０４は、例えば各画素が「０」か「１」かの２値を示す画像である。即ち、図２のパターン画像２０４の、黒色の領域は「０」の領域であることを表し、白色の領域は「１」領域であることを表している。パターン画像２０４の白の領域である「１」領域を「パターン」とよぶ。
【００２７】
なお、パターン画像２０４の大きさはサブフレーム画像と同じ大きさではなくても構わない。また、パターン画像２０４の画素数はサブフレーム画像の画素数と同じではなくても構わない。
【００２８】
処理部１０４は、パターン画像２０４の特徴を第一のサブフレーム画像および第二のサブフレーム画像に埋め込む処理をする。本実施形態では、処理部１０４は、パターン画像２０４とサブフレーム画像とを重ね合わせた場合に、パターン画像２０４の「０」の領域に対応するサブフレーム画像の画素にはそのままサブフレーム画像の画素値を使用する。
【００２９】
処理部１０４は、パターン画像２０４と第一のサブフレーム画像とを重ね合わせた場合に、パターン画像の「１」の領域に対応する第一のサブフレーム画像の画素には、当該画素の画素値に所定の画素値を加算する。このようにして処理部１０４は、第一の調整フレーム画像２０５を生成する。
【００３０】
また、処理部１０４は、パターン画像２０４と第二のサブフレーム画像とを重ね合わせた場合に、パターン画像の「１」の領域に対応する第二のサブフレーム画像の画素には、当該画素の画素値に所定の画素値を減算する。このようにして処理部１０４は、第二の調整フレーム画像２０６を生成する。
【００３１】
例えば、サブフレーム画像の画素値は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の要素で区分し、それぞれの要素を８ビット（２５６通り）のＲＧＢ値（Ｒ（０〜２５５），Ｂ（０〜２５５），Ｇ（０〜２５５））で表すことができるとする。パターン画像２０４の「１」の領域に対応するサブフレーム画像の画素に加算する所定の画素値は、加算された後のＲＧＢ値のいずれかの要素の値が２５５を超える可能性を低くできるような値にする必要がある。同様に、所定の画素値は、減算された後のＲＧＢ値のいずれかの要素の値が０より小さい値になる可能性を低くできるような値にする必要がある。このため、例えば、ＲＧＢ値の上限（２５５，２５５，２５５）の四分の一の値である（６４，６４，６４）を、パターン画像２０４の「１」の領域に対応するサブフレーム画像の画素の画素値に加算または減算する。
【００３２】
処理部１０４は、その後に続くサブフレーム画像においても同様に加算および減算の処理をする。即ち、奇数のサブフレーム画像のうちパターン画像２０４の「１」の領域に対応する画素の画素値には、所定の値を加算する。偶数のサブフレーム画像のうちパターン画像２０４の「１」の領域に対応する画素の画素値には、所定の値を減算する。なお、ここではパターン画像２０４は、２値を示す画像の場合を例に挙げて説明したが、パターンの領域の画素の画素値が上記の所定の値で構成されているパターン画像を用いてもよい。
【００３３】
出力部１０５は、奇数のサブフレーム画像と偶数のサブフレーム画像を交互に投影装置１２０に出力する。即ち、所定の画素値が加算された第一の調整フレーム画像２０５と、所定の画素値が減算された第二の調整フレーム画像２０６とを交互に出力する。
【００３４】
サブフレーム画像にパターン画像２０４が埋め込まれたことにより、投影装置１２０から投影されるコンテンツにはパターン画像２０４が重畳されて投影されることになる。重畳されたパターン画像は、加算されたパターン画像２０４と、減算されたパターン画像２０４とが交互に投影されているため、重畳されたパターン画像２０４は、人間の目に視認されにくくなる。さらに、倍速部１０２によってフレームレートを２倍してからパターン画像２０４を埋め込む処理をすることにより、重畳されたパターン画像２０４は、実質的に人間の目には不可視の状態になる。
【００３５】
［パターン画像の埋め込み処理のフローチャート］
図３は、本実施形態における、画像処理装置１００が、パターン画像２０４をサブフレーム画像に埋め込む処理を示すフローチャートである。図３のフローチャートで示される一連の処理は、ＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されているプログラムコードをＲＡＭ（不図示）に展開し実行することにより行われる。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
【００３６】
Ｓ３０１において、信号取得部１０１は、画像処理装置１００に入力された映像信号を取得する。Ｓ３０２において、パターン画像取得部１０３は、記憶部１１０に記憶されているパターン画像２０４を取得する。
【００３７】
Ｓ３０３において、倍速部１０２は、信号取得部１０１が取得した映像信号の倍速化の処理を行い、第一のサブフレーム画像２０２および第二のサブフレーム画像２０３を生成する。
【００３８】
Ｓ３０４において、処理部１０４は、パターン画像２０４のパターンに対応する第一のサブフレーム画像の画素の画素値に、所定の画素値を加算して、第一の調整フレーム画像２０５を生成する。
【００３９】
Ｓ３０５において、処理部１０４は、パターン画像２０４のパターンに対応する第二のサブフレーム画像の画素の画素値から、所定の画素値を減算して、第二の調整フレーム画像２０６を生成する。Ｓ３０６において、出力部１０５は、投影装置１２０に、第一の調整フレーム画像２０５と第二の調整フレーム画像２０６とを交互に出力する。
【００４０】
Ｓ３０７において、撮像装置１３０は、投影装置１２０によって投影されたコンテンツを撮像する。検出部１０６は、当該撮像された画像を取得し、当該画像からパターン画像２０４を検知し、パターン画像２０４に符号化された座標情報を復号する。
【００４１】
Ｓ３０８において、補正部１０７は、検出部１０６が復号した座標情報を取得する。補正部１０７は、当該座標情報を利用して投影装置の位置補正のための補正値を計算し、出力部１０５を介して投影装置１２０に出力する。
【００４２】
このフローチャートでは、説明を単純化するために、第一の調整フレーム画像と第二の調整フレーム画像の２つの調整フレーム画像が生成され、検出部１０６が座標情報を復号することとしている。実際は、検出部１０６が座標情報を復号するまでＳ３０１〜Ｓ３０６の処理が継続的に行われることになる。
【００４３】
その後、投影装置１２０は、補正部１０７が計算した補正値に基づき、投影装置１２０と被投影物との位置のずれによって生じたコンテンツの形状の歪み等を、コンテンツの投影形状を変更することにより、補正する。または、投影装置１２０は、補正部１０７が計算した補正値に基づき、投影装置１２０と被投影物との位置のずれによって生じたコンテンツの形状の歪み等を、自らの姿勢を調整することにより補正する。
【００４４】
以上説明したように、本実施形態によれば、投影装置１２０と被投影物との位置のずれを補正する場合、人間が視認できないようにパターン画像２０４を投影することができる。この人間が視認できないようにコンテンツに重畳されたパターン画像２０４を画像処理装置１００が検出することにより、コンテンツを投影中においても投影装置１２０と被投影物との位置のずれの補正を行うことが可能になる。よって、コンテンツの投影を止めることなく投影装置１２０の姿勢または、投影装置１２０と被投影物との位置のずれを自動的に補正することが可能になる。
【００４５】
［変形例］
本実施形態では、補正部１０７が計算した補正値を使って、投影装置１２０が自動で、投影装置１２０と被投影物との位置のずれを補正する形態としたが、補正部１０７が計算した補正値を使ってユーザが手動で補正をする形態でもよい。
【００４６】
本実施形態では、入力される映像信号を６０Ｈｚとして説明している。入力される映像信号が１２０Ｈｚであれば、６０Ｈｚの映像信号を倍速部１０２によって１２０Ｈｚにした場合と同じである。よって、倍速部１０２がない形態でも構わない。倍速部１０２を介さない形態の場合は、信号取得部１０１は取得した映像信号を処理部１０４に出力する。
【００４７】
処理部１０４がサブフレーム画像にパターン画像２０４を埋め込む処理をするタイミングは、一定時間間隔で行ってもよいし、コンテンツの開始または終了時に行ってもよい。特にコンテンツの開始または終了時であれば、メインのコンテンツが投影されていない状態であるため、コンテンツに重畳されたパターン画像２０４を、ユーザに認識されにくくすることができる。また、ユーザが、被投影物と投影装置１２０との位置のずれを補正する指示を画像処理装置１００に対して行い、処理部１０４は、当該指示を受信したタイミングにおいてサブフレーム画像にパターン画像２０４を埋め込む処理を行ってもよい。その結果、出力部１０５は、上記のタイミングで調整フレーム画像を出力することになる。
【００４８】
＜第二の実施形態＞
パターン画像２０４をそのままフレームに埋め込む処理をすると、パターン画像２０４を埋め込む処理をした際に、瞬間的に調整フレーム画像の輝度が変化し、この輝度の変化がユーザにチラツキとして認識されてしまうことがある。本実施形態は、パターン画像２０４を埋め込む際に、ユーザが感じるチラツキを軽減するため、パターン画像２０４を少しずつ加算または減算して埋め込む形態である。本実施形態については、第一の実施形態からの差分を中心に説明する。特に明記しない部分については第一の実施形態と同じ構成および処理である。
【００４９】
図４は、本実施形態に係るシステム構成図およびシステムの一部である画像処理装置４００の構成を示したものである。画像処理装置４００は、信号取得部１０１、倍速部１０２、パターン画像取得部１０３、処理部１０４、出力部１０５、検出部１０６、補正部１０７および調整部４０８を有する。
【００５０】
投影装置１２０、撮像装置１３０、記憶部１１０、信号取得部１０１、倍速部１０２、パターン画像取得部１０３、処理部１０４、出力部１０５、検出部１０６および補正部１０７の機能は第一の実施形態と同じである。調整部４０８は、パターン画像２０４を埋め込む処理をしたことによるフレーム画像の時間的な輝度の変化が緩やかになるように調整する。詳細については後述する。
【００５１】
［調整部による処理の説明］
図５は、調整部４０８の処理の説明をするための図である。図５（ａ）は、画像処理装置４００に入力された６０Ｈｚの映像信号による連続した６枚のフレーム画像５０１を示す。即ち、映像信号が倍速部１０２によって倍速化されていない場合において、投影装置１２０から６／６０秒間に投影される連続した６枚のフレーム画像である。図５の「フレーム」に続く数字は、フレーム画像、サブフレーム画像または調整フレーム画像がフレーム１からフレーム６に時間方向で出力される順番で並んでいることを意味している。
【００５２】
図５（ｂ）は、倍速部１０２により映像信号が２倍速され１２０Ｈｚとなったときの図である。映像信号が１２０Ｈｚとなったことに応じてフレームレートも２倍になっている。即ち、図５（ｂ）は、倍速部１０２による倍速化の処理を経たのちに、投影装置１２０から６／６０秒間に投影される連続した１２枚のサブフレーム画像５０２を表している。
【００５３】
図５（ｃ）は、パターン画像２０４をそのままフレームに埋め込む処理をした際に、ユーザにチラツキとして認識されてしまう現象について説明する図である。画像処理装置４００がパターン画像２０４をサブフレーム画像に埋め込む処理をしたことよって、サブフレーム画像には輝度の変化が生じる。図５（ｃ）の５０３〜５０７は、パターン画像２０４を埋め込むことによって生じた輝度の変化を、１／６０秒間のサブフレーム画像で足し合わせていることを示す。この輝度の変化の合計値を累積輝度とよぶ。図５（ｃ）では倍速化されたことによりサブフレーム画像は１／６０秒に２枚表示される。よって累積輝度は２枚のサブフレーム画像の輝度の変化の和である。
【００５４】
人間の目の特性として、１／６０秒に表示される画像を１つのまとまりとして捉える特性がある。よって、本実施形態において累積輝度は、１／６０秒に表示される画像を１つのまとまりとして捉えた場合の変化の和として扱う。
【００５５】
フレーム６、フレーム７およびフレーム８において、それぞれのサブフレーム画像にはパターン画像２０４は埋め込まれていない。よって、フレーム６、フレーム７およびフレーム８においては、パターン画像２０４をサブフレーム画像に埋め込む処理をしたことよる輝度の変化はない。このためフレーム６とフレーム７との累積輝度５０３は±０であり、フレーム７とフレーム８との累積輝度５０４も±０である。
【００５６】
フレーム９では、サブフレーム画像に所定の画素値を加算して、パターン画像２０４を埋め込む処理がされている。所定の画素値が加算されると、サブフレーム画像の輝度が増す。図５（ｃ）のフレーム９では、所定の画素値を加算することによりサブフレーム画像にパターン画像２０４が埋め込まれたことによって、サブフレーム画像の輝度が増加したことを表すために「＋」と記載している。フレーム８は、前述のとおり輝度の変化は無いから、フレーム８とフレーム９との累積輝度５０５は０を大きく超えてしまう。この瞬間にユーザにはチラツキとして視認されてしまう。
【００５７】
その後、フレーム１０では、サブフレーム画像に所定の画素値が減算される。画素値が減算されると反対に輝度は減少する。フレーム１０ではサブフレーム画像には輝度が減少したことを表すために「−」と記載している。従って、フレーム９とフレーム１０の輝度の変化は相補の関係になるため１／６０秒間の累積輝度でみると輝度が相殺される。つまり、フレーム９とフレーム１０の輝度の変化の和である累積輝度５０６は±０になり、チラツキは起こらない。同様に、累積輝度５０７においても輝度の変化が相殺され±０になるためチラツキは起こらない。
【００５８】
図５（ｄ）は、このチラツキをおこさせないために行う調整部４０８の処理について示した図である。調整部４０８は、処理部１０４が行うパターン画像２０４を埋め込む処理によるフレーム画像の時間方向での累積輝度が緩やかになるように調整する。
【００５９】
調整部４０８は、処理部１０４が加算の処理をする際は、処理部１０４が加算する所定の画素値にαを乗算して加算する画素値を調整する。調整部４０８は、処理部１０４が減算の処理をする際は、処理部１０４が減算する所定の画素値にβを乗算して減算する画素値を調整する。αとβは０．００から１．００の乗算係数である。このαを加算調整値とよび、βを減算調整値とよぶ。また、加算調整値αおよび減算調整値βを合わせてレベル調整値という。
【００６０】
調整部４０８は、この加算調整値αおよび減算調整値βを２フレーム毎に段階的に変更し、加算または減算する画素値を制御する。図５（ｄ）では、調整部４０８は、加算調整値αおよび減算調整値βを０．００〜１．００まで０．２５ずつ増加させている。
【００６１】
具体例を説明する。処理部１０４がパターン画像２０４のパターンに対応するサブフレーム画像の画素の画素値に加算または減算する所定の画素値は、ＲＧＢ値（６４，６４，６４）であるとする。この場合、ＲＧＢ値は（１６，１６，１６）、（３２，３２，３２）、（４８，４８，４８）、（６４，６４，６４）のように段階的に加算または減算されるように調整される。このレベル調整値を段階的に増加されるときの増加幅を、加算調整値αについてはγ、減算調整値βについてはδであらわす。即ち、図５（ｄ）では、γおよびδは０．２５である。
【００６２】
このように、調整部４０８が画素値を調整することで、図５（ｄ）におけるフレーム２とフレーム３の累積輝度５０８は、±０ではないもののその値は、図５（ｃ）のように所定の値を一度に全て加算するときの累積輝度５０５に比べ小さくなる。よって、パターン画像２０４を埋め込む処理をしたことによるサブフレーム画像の時間的な累積輝度の変化が緩やかになるように調整されるため、ユーザが認識するチラツキを軽減させることができる。なお、図５（ｄ）の例ではγとδは通常同じ値としているためαとβは同じである。ただし、γとδは異なった値であってもよい。
【００６３】
［パターン画像の埋め込み処理のフローチャート］
図６は、サブフレーム画像に加算または減算する所定の画素値を調整しながらパターン画像２０４をフレーム画像に埋め込む処理を示すフローチャートである。Ｓ６０１〜６０２は、図３のＳ３０１〜３０２と同じ処理であるので、説明を省略する。
【００６４】
Ｓ６０３において、調整部４０８は、レベル調整値を初期化し、加算調整値αを０．００、減算調整値βを０．００にとする。Ｓ６０４は、図３のＳ３０３と同じ処理であるので、説明を省略する。
【００６５】
Ｓ６０５において、処理部１０４は、倍速化されたサブフレーム画像を第一サブフレーム画像および第一のサブフレーム画像に続く第二サブフレーム画像として取得する。Ｓ６０６において、調整部４０８は、加算調整値αに増加幅γを加えて、加算調整値αを更新する。更新後の加算調整値αが１．００より大きくなった場合、調整部４０８は１．００を加算調整値αとする。
【００６６】
Ｓ６０７において、調整部４０８は、処理部１０４が加算する所定の画素値に、更新後の加算調整値αを乗算して画素値を調整する。Ｓ６０８において、処理部１０４は、パターン画像２０４のパターンに対応する第一のサブフレーム画像の画素の画素値に、調整後の画素値を加算する。
【００６７】
Ｓ６０９において、調整部４０８は、減算調整値βに増加幅δを加えて、減算調整値βを更新する。更新後の減算調整値βが１．００より大きくなった場合、調整部４０８は１．００を更新後の減算調整値βとする。
【００６８】
Ｓ６１０において、調整部４０８は、処理部１０４が減算する所定の画素値に、更新後の減算調整値βを乗算して画素値を調整する。Ｓ６１１において、処理部１０４は、パターン画像２０４のパターンに対応する第二のサブフレーム画像の画素の画素値に、調整後の画素値を減算する。Ｓ６１２は図３のＳ３０６と同じであるため説明を省略する。
【００６９】
Ｓ６１３において、調整部４０８は、加算調整値αと減算調整値βのいずれもが最大値１．００であるかを確認する。両方とも１．００ではない場合、Ｓ６０５に戻り、続くサブフレーム画像を処理対象の第一のサブフレーム画像および第二のサブフレーム画像として取得し、処理を繰り返す。両方とも１．００の場合は、Ｓ６１４に進む。
【００７０】
Ｓ６１４〜６１５の処理は、図３のＳ３０７〜３０８と同じ処理であるので、説明を省略する。なお、実際は、加算調整値αと減算調整値βのいずれもが最大値１．００になった後、検出部１０６が座標情報を復号するまで、Ｓ６０４〜Ｓ６１２の処理が繰り返し行われることになる。このフローチャートでは調整部４０８の説明を中心に行うため、当該繰り返しの処理の記載については省略している。
【００７１】
被投影物と投影装置１２０との位置の調整が完了すると、パターン画像２０４をサブフレーム画像に埋め込む処理は終了することになる。パターン画像２０４をサブフレーム画像に埋め込む処理を終了する際も、輝度の変化が大きくなると、ユーザにはチラツキとして視認されてしまう。このため、以降の処理は、サブフレーム画像に加算または減算する画素値を段階的に減らすことにより、ユーザにチラツキとして視認されてしまうことを軽減させるための処理である。
【００７２】
Ｓ６１６において、処理部１０４は、続くサブフレーム画像を処理対象の第一サブフレーム画像および第二サブフレーム画像として取得する。Ｓ６１７において、調整部４０８は、加算調整値αから増加幅γを減じて、加算調整値αを更新する。αが０．００より小さくなった場合、調整部４０８は０．００を加算調整値αとする。Ｓ６１８〜６１９の処理は、Ｓ６０７〜６０８と同じ処理であるため説明を省略する。
【００７３】
Ｓ６２０において、調整部４０８は、減算調整値βから増加幅δを減じて、減算調整値βを更新する。更新後の減算調整値βが０．００より小さくなった場合、調整部４０８は０．００を更新後の減算調整値βとする。Ｓ６２１〜６２３の処理は、Ｓ６１０〜６１２と同じ処理であるため説明を省略する。
【００７４】
Ｓ６２４において、調整部４０８は、加算調整値αと減算調整値βのいずれもが最小値０．００であるかを確認する。両方とも０．００ではない場合、Ｓ６１６に戻り、続くサブフレーム画像を処理対象の第一のサブフレーム画像および第二のサブフレーム画像として取得し、処理を繰り返す。０．００の場合は処理を終了する。
【００７５】
以上説明したように、本実施形態によれば、通常のコンテンツを投影している状態から、パターン画像２０４をフレーム画像に埋め込む際に生じるチラツキを軽減することができる。同様に、フレーム画像にパターン画像２０４を埋め込んだ状態でコンテンツを投影している状態から、パターン画像２０４の埋め込みを終了させる際においてもチラツキを軽減させることができる。よって、パターン画像２０４を重畳させて投影装置１２０と投影物との位置のずれを補正する場合であっても、ユーザにチラツキを感じさせることなく、表示するコンテンツの品質を保ったまま補正をすることが可能になる。
【００７６】
［変形例］
本実施形態でも、第一の実施形態の変形例と同様の変形例を適用できる。
【００７７】
＜その他の実施形態＞
前述した実施形態では、位置を補正するために座標情報を符号化させたパターン画像２０４を埋め込むこととしたが、パターン画像２０４に限らず、著作権情報のような電子透かしを埋め込むための装置である電子透かし埋め込み装置とする形態も可能である。例えば、パターン画像２０４の代わりに二次元コードを不可視の状態で重畳させて映し出してもよい。
【００７８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１００：画像処理装置
１０３：パターン画像取得部
１０４：処理部
１０５：出力部
【図１】
2020025228.tif 000003
【図２】
2020025228.tif 000004
【図３】
2020025228.tif 000005
【図４】
2020025228.tif 000006
【図５】
2020025228.tif 000007
【図６】
2020025228.tif 000008