(57)【要約】【課題】映写装置が投射する投影映像の任意の位置を示す方法として、位置を示す指示者の動作と一体で視認性が高い指示を実現する電子機器を提供する。【解決手段】実施形態において、電子機器は、位置ずれ補正手段と、色・輝度補正手段と、影画像生成手段と、影画像位置特定手段と、出力画像処理手段と、を具備する。位置ずれ補正手段は、撮像した投影画像の位置を元画像と比較して補正し、透視変換画像を得る。色・輝度補正手段は、前記透視変換画像の色または輝度を前記元画像と比較して補正し、補正画像を得る。影画像生成手段は、前記補正画像と前記元画像とを比較して影画像を生成する。影画像位置特定手段は、前記影画像が指示する前記投影画像上の位置を特定する。出力画像処理手段は、前記影画像位置特定手段が特定した前記影画像を、前記投影画像と重ね合わせて出力する。【選択図】図２
2014092715.tif 000002
【特許請求の範囲】
【請求項１】
撮像した投影画像の位置を元画像と比較して補正し、透視変換画像を得る位置ずれ補正手段と、
前記透視変換画像の色または輝度を前記元画像と比較して補正し、補正画像を得る色・輝度補正手段と、
前記補正画像と前記元画像とを比較して影画像を生成する影画像生成手段と、
前記影画像が指示する前記投影画像上の位置を特定する影画像位置特定手段と、
前記影画像位置特定手段が特定した前記影画像を、前記投影画像と重ね合わせて出力する出力画像処理手段と、
を具備する電子機器。
【請求項２】
前記位置ずれ補正手段は、元画像と前記撮像した投影画像とを局所特徴量のクロスマッチングにより比較して前記透視変換画像を得る請求項１の電子機器。
【請求項３】
前記色・輝度補正手段は、前記透視変換画像の色または輝度を、画素毎に前記元画像と比較して補正する請求項１の電子機器。
【請求項４】
前記影画像生成手段は、前記補正画像と前記元画像との間の差分を求めた差分画像と前記補正画像から求めた暗所画像とに基づいて、前記影画像を生成する請求項１の電子機器。
【請求項５】
前記影画像位置特定手段は、前記影画像の向き及びその端部を特定し、前記影画像が特定する指定位置を求める請求項１の電子機器。
【請求項６】
前記影画像の向きは、前記撮像した投影画像が含む前記影画像の左右差に基づいて判定する請求項１の電子機器。
【請求項７】
前記出力画像処理手段は、前記影画像が特定する指定位置について、前記撮像した投影画像と重ね合わせる特定画像の位置及び前記特定画像を出力する請求項１の電子機器。
【請求項８】
撮像した投影画像の位置を元画像と比較して補正し、透視変換画像を生成し、
透視変換画像の色・輝度を元画像と比較して補正し、補正画像を生成し、
補正画像と元画像とを比較して影画像を生成し、
影画像が指示する投影画像上の位置を特定し、
影画像を、投影画像と重ね合わせる出力画像を生成し、出力する
情報処理方法。
【請求項９】
撮像した投影画像の位置を元画像と比較して補正し、透視変換画像を生成する手順と、
透視変換画像の色・輝度を元画像と比較して補正し、補正画像を生成する手順と、
補正画像と元画像とを比較して影画像を生成する手順と、
影画像が指示する投影画像上の位置を特定する手順と、
影画像を、投影画像と重ね合わせる出力画像を生成し、出力する手順と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、例えば情報処理装置である電子機器、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
情報を投影する情報処理装置（電子機器）、例えばプロジェクタ（映写装置）が、広く利用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映写装置（プロジェクタ）が投影する文書や画像あるいは写真等である投影映像の任意の位置を示す方法として、例えばポインタ等により投影映像の所定の位置を直接指示する方法、あるいは映写装置が保持する投影前の情報にカーソル表示等の映像情報を付加する方法、等がある。
【０００５】
ポインタ等を用いる方法は、ポインタ装置が必要となる。投影前の情報にカーソル表示等を付加する方法は、カーソル表示を移動するための操作が必要となる。
【０００６】
本発明の目的は、映写装置が投射する投影映像の任意の位置を示す方法として、位置を示す指示者の動作と一体で視認性が高い指示を実現する電子機器、情報処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
実施形態において、電子機器は、位置ずれ補正手段と、色・輝度補正手段と、影画像生成手段と、影画像位置特定手段と、出力画像処理手段と、を具備する。位置ずれ補正手段は、撮像した投影画像の位置を元画像と比較して補正し、透視変換画像を得る。色・輝度補正手段は、前記透視変換画像の色または輝度を前記元画像と比較して補正し、補正画像を得る。影画像生成手段は、前記補正画像と前記元画像とを比較して影画像を生成する。影画像位置特定手段は、前記影画像が指示する前記投影画像上の位置を特定する。出力画像処理手段は、前記影画像位置特定手段が特定した前記影画像を、前記投影画像と重ね合わせて出力する。
【図面の簡単な説明】
【０００８】
【図１】実施形態にかかる情報処理装置を用いる処理システムの一例を示す。
【図２】実施形態にかかる情報処理装置の一例を示す。
【図３】実施形態にかかる情報処理方法の一例を示す。
【図４】実施形態にかかる情報処理方法の一例(立ち位置判定)を示す。
【図５】実施形態にかかる情報処理方法の一例(クリック特定)を示す。
【図６】実施形態にかかる情報処理方法の一例を示す。
【図７】実施形態にかかる情報処理方法の一例を示す。
【発明を実施するための形態】
【０００９】
以下、実施形態について、図面を参照して説明する。
【００１０】
図１は、実施形態にかかる情報処理装置（電子機器）を用いる映写システム（情報処理システム）の一例を示す。なお、以下に説明する要素や構成または機能は、ハードウエアで実現するものであってもよいし、マイクロコンピュータ（ＣＰＵあるいは処理装置）等を用いてソフトウエアで実現するものであってもよい。
【００１１】
映写システム１は、電子機器すなわち情報処理装置１０１、情報処理装置１０１が出力する投影情報に対応する投影映像を、例えばスクリーン（投影面）に出力する映写装置２０１及び映写装置２０１による投影映像を撮像する撮像装置３０１を含む。操作者は、スクリーン（投影面）Ｓに対して所定の位置、例えば左側あるいは右側の任意の位置に位置できる。操作者は、例えば情報処理装置１０１が（一体的に含む表示画面が）表示する画面表示が見える位置に位置することは必須ではない。撮像装置３０１は、例えば情報処理装置１０１と一体であってもよい。
【００１２】
図２は、図１が示す映写システムが含む情報処理装置、例えばパーソナルコンピュータ（ＰＣ）等である電子機器の構成の一例を示す。
【００１３】
情報処理装置１０１は、例えばアプリケーションもしくは画像処理ソフト（ソフトウエア）である映写情報入力部１１１を経由して投影内容が入力する映写情報合成部１１３、映写情報合成部１１３が合成する投影情報を映写装置２０１が投影した投影映像を撮像装置３０１が撮像した撮像画像の位置ずれを補正する位置ずれ補正部１１５、及び映写装置２０１が投影する投影映像に対応する映写情報を取得する映写情報取得部（画面キャプチャ機能／画面キャプチャ部）１１７、を含む。
【００１４】
情報処理装置１０１はまた、位置ずれ補正部１１５からの透視変換画像の色または輝度を元画像に合致するように補正する色または輝度補正部（以下色・輝度補正部、と示す）１２１、色・輝度補正部１２１から送られた補正画像Ｉｃ（ｘ，ｙ）と元画像（キャプチャ画像）Ｉｏ（ｘ，ｙ）とを用いて、差分画像Ｉｄｉｆｆ（ｘ，ｙ）＝│Ｉｃ（ｘ，ｙ）−Ｉｏ（ｘ，ｙ）│を計算する差分生成部１２３、色・輝度補正部１２１から送られた補正画像Ｉｃ（ｘ，ｙ）と元画像（キャプチャ画像）Ｉｏ（ｘ，ｙ）から、暗所画像Ｉｄｉｍ＝ｔｈｒｅｓｈｏｌｄ（Ｉｃ，＜閾値１）を計算する暗所抽出部１２５、及び差分生成部１２３の出力と暗所抽出部１２５の出力と（ＩｄｉｆｆとＩｄｉｍと）から、影画像Ｉｓｈａｄｏｗ＝ｔｈｒｅｓｈｏｌｄ（Ｉｄｉｆｆ＊Ｉｄｉｍ，＜閾値２）を計算する影抽出部１２７、を含む。
【００１５】
情報処理装置１０１はまた、操作者がスクリーン（投影面）に対して、右または左のどちらの側にいる（立っている）かを判断する立ち位置検出部１３１、操作者の指先を検出する指先検出部１３３、過去の（操作者の）指先位置情報を用いて最終的な指先位置を出力する指先追跡部１３５、を含む。
【００１６】
情報処理装置１０１はさらに、最終的な指先位置が一定時間、概ね同じ位置を指差していることを検出する操作情報生成部１４１、最終的な指先位置をカーソル位置とし、一定時間（期間）位置することを検出して、クリック（入力確定）とみなし、同時に情報処理装置１０１への操作を出力する操作出力部１４３、操作出力部１４３が出力する映写情報合成部１１３において合成すべき映像、すなわち元画像にオーバーレイ等により合成するための重畳情報を生成する映写重畳情報入力部１４５を含む。
【００１７】
なお、情報処理装置１０１は、上述の各部を制御する制御ブロック（ＭＰＵ）１０３、ＭＰＵ１０３の動作に用いるプログラムを保持するＲＯＭ１０５、実際の処理において作業エリアとして機能するＲＡＭ１０７、及び数値データやアプリケーション等を保持する不揮発性メモリ１０９等を、含む。
【００１８】
図３は、図１及び図２が示す映写システムにおける動作の一例を示す。
【００１９】
［[位置ずれ補正]］    
投影内容が映写情報入力部１１１を介して映写情報合成部１１３に入力され、映写装置２０１により投影面に映写された画像（投影面画像）を撮像装置３０１が撮影する。撮像装置３０１が撮像した（得た）画像（以下撮影画像）を位置ずれ補正部１１５に送る(図３ａ)。
【００２０】
投影内容はまた同時に、映写情報取得部１１７において内部的に（例えば、ＰＣ１０１の画面キャプチャ機能等を用いてキャプチャ（取得））され、元画像として位置ずれ補正部１１５に供給する(図３ｂ)。
【００２１】
位置ずれ補正部１１５は、撮影画像に対し、いかなる（どのような）透視変換を行うと元画像と一致するかを計算する。例えば、両画像（元画像と撮影画像と）から、例えばＳＵＲＦ等の局所特徴量を抽出し、抽出した局所特徴量のクロスマッチングを行い、例えばＲＡＮＳＡＣにより、３×３行列のホモグラフィ行列を推定する[１]。
【００２２】
すなわち、位置ずれ補正部１１５から出力される画像(図３ｃ)は、ホモグラフィ行列による透視変換を行った後の撮影画像（以下透視変換画像）である。
【００２３】
［[色・輝度補正]］    
位置ずれ補正部１１５から送られた透視変換画像は、色／輝度補正部１２１に送られる[２]。
【００２４】
ここでは、透視変換画像の色ないし輝度を元画像に合致するように補正する。例えば、全ピクセルの各チャネル（あるいは輝度）において、透視変換画像の位置（ｘ，ｙ）の画素の色あるいは輝度Ｉｉ（値の範囲は例えば［0..255］）と元画像の位置（ｘ，ｙ）の画素の色あるいは輝度Ｉｊ（値の範囲は例えば［0..255］）とするとき、透視変換画像においてある値Ｉｉをとるすべての点［(ｘ，ｙ)］が元画像において取るＩｊの値の平均値ｍ（Ｉｊ）を計算し、Ｉｉに対して補正後の色あるいは輝度を返す関数ｆ（Ｉｉ）とする。Ｉｉに対するＩｊが少ない場合は、周囲のｆ（Ｉｉ）を用いて内挿しても良い。
【００２５】
色／輝度補正部１２１から出力される画像は、透視変換画像の画素すべてについて、ｆ（・）を適用したもの（以下補正画像）となる(図３ｄ)。
【００２６】
これにより、通常、背景が実質的に“白”である元画像と撮影画像が含む“色味”すなわち多くの場合、投影像に生じる背景への着色成分（本来“白”であるべき画像に僅かに色がつく）の影響をキャンセルできる。
【００２７】
［[影画像の生成]］    
色・輝度補正部１２１から送られた補正画像Ｉｃ（ｘ，ｙ）と元画像Ｉｏ（ｘ，ｙ）を用いて、差分生成部１２３にて、差分画像Ｉｄｉｆｆ（ｘ，ｙ）＝│Ｉｃ（ｘ，ｙ）−Ｉｏ（ｘ，ｙ）│を計算する。また、暗所抽出部１２５において、閾値１を用い、暗所画像Ｉｄｉｍ＝ｔｈｒｅｓｈｏｌｄ（Ｉｃ，＜閾値１）を計算する[３]。
【００２８】
ＩｄｉｆｆとＩｄｉｍとから、影抽出部１２７にて、閾値２を用い、影画像Ｉｓｈａｄｏｗ＝ｔｈｒｅｓｈｏｌｄ（Ｉｄｉｆｆ＊Ｉｄｉｍ，＜閾値２）を計算する。但し、ｔｈｒｅｓｈｏｌｄ（Ｉ，ｐｒｅｄ）は、（ｘ，ｙ）において、二値関数ｐｒｅｄを用いて、ｐｒｅｄ（Ｉ（ｘ，ｙ））が成立する場合に“１”となり、そうでない場合に“０”となるような画像を生成する関数である。
【００２９】
これらの処理は、投影面（スクリーン）と映写装置２０１との間にある物体と影をＩｄｉｆｆ、影を含む暗所をＩｄｉｍとして、それぞれ検出し、その積により影を抽出することに寄与する（影を抽出することを目的とする）(図３ｅ、図３ｆ)。
【００３０】
［[指先の追跡]］    
立ち位置検出部１３１において、影画像に関して、図４に示す“コ”の字型の部分における画素値の和を、領域（イ）、領域（ロ）に対応して、それぞれ、Ｌｓ，Ｒｓとする。Ｌｓ＜Ｒｓであれば、影がＲｓ側、すなわち右側に多いことになる。従って、Ｌｓ＜Ｒｓであれば、操作者は、右（領域（ロ））にいると判断され、そうでなければ逆に操作者は左（領域（イ））にいると判断する。
【００３１】
指先検出部１３３では、操作者が左にいる場合、Ｉｓｈａｄｏｗ（ｘ，ｙ）＞０を満たすｘが最大となるＰｆ＝（ｘ，ｙ）を計算する。さらに、Ｐｆの周囲［[閾値３]］画素の範囲内のＩｓｈａｄｏｗ（ｘ，ｙ）＞０となる比率を計算し、これが［[閾値４]］よりも小さい場合、Ｐｆは尖っていることを示す。これにより、［[Ｐｆ＜閾値４]］を指先として検出する[４]。
【００３２】
指先が検出されると、指先追跡部１３５において、ノイズを除去するために過去の指先位置情報を加味したフィルタ処理を、適宜行い、最終指先位置Ｐｆｉｎａｌを出力する。
【００３３】
例として、（ｘ，ｘ’，ｙ，ｙ’）を状態変数とするカルマンフィルタを用いて、ノイズ除去のためのフィルタ処理を行うことで、最終指先位置Ｐｆｉｎａｌが得られる(図３ｆ)。
【００３４】
［[操作の出力]］    
操作情報生成部１４１は、Ｐｆｉｎａｌの位置にカーソルを移動する[５]。
【００３５】
ここで、例えばＰｆｉｎａｌが一定時間狭い範囲にとどまる場合に“クリック”とみなす、等の規則に従い、操作情報を生成する。必要に応じ、Ｐｆｉｎａｌを“カーソル位置”として、または“クリック情報”、“クリックとみなされるまでの時間までの情報”等を、映写重畳情報入力部１４５に伝える[６]。
【００３６】
同時に、実際の機器への操作を操作出力部１４３にて行う。
【００３７】
映写重畳情報入力部１４５に伝えられた情報は、映写情報合成部１１３によって元画像にオーバーレイ等により合成され、次フレームにおいて、映写装置２０１に、映写画像として伝えられる。
【００３８】
このとき、スクリーン（投影面）Ｓには、表示映像内の所定の位置で交差する２つの線分の交点で示すカーソルＣ（Ｐｆｉｎａｌ）等である特定画像、“クリック”により、前のページの表示を表示するための制御コマンドの入力を指示する“戻る”ボタン表示Ｓ０１、“クリック”により、次のページの表示を表示するための制御コマンドの入力を指示する“次へ”ボタン表示Ｓ１１、及び図５により説明するが、例えばＰｆｉｎａｌ（２つの線分の交点）を“カーソル位置”として、または“クリック情報”として特定するまでの時間（指先の影の位置が動かないように維持すべき時間）を、例えば円の一周を規定時間とし、経過時間に相当する領域の色や明るさを残り時間に対して異なる色または明るさにする、等の手法により、明示的に示す時間表示Ｔ、等が表示される[７]。
【００３９】
図６は、図２及び図３により説明した上述の動作を、ソフトウエア的に示す。
【００４０】
まず、スクリーンＳ上の投影像をカメラ（撮像装置）２０１により撮像する[１１]。
【００４１】
撮像した投影像の位置、歪みを補正する（透視変換画像を得る）[１２]。
【００４２】
透視変換画像の色、明るさ（輝度）等を補正する（補正画像を得る）[１３]。
【００４３】
補正画像とキャプチャした元画像色とを比較し、図７により後段に説明する影（指先）画像を得る（指先の影画像を得る）[１４]。
【００４４】
影画像の動きを追跡して、最終指先位置Ｐｆｉｎａｌを得る[１５]。
【００４５】
Ｐｆｉｎａｌが一定時間移動しないことを検出して、実際の投影面に表示する画像へのカーソル等の表示のための操作（表示画像へのカーソル表示Ｃ等の重ね合わせ）を行う[１６]。
【００４６】
図７は、図２及び図３により説明した上述の動作（指先の影画像を得る）を、ソフトウエア的に示す。
【００４７】
補正画像Ｉｃ（ｘ，ｙ）と元画像Ｉｏ（ｘ，ｙ）を用いて、差分画像Ｉｄｉｆｆ（ｘ，ｙ）＝│Ｉｃ（ｘ，ｙ）−Ｉｏ（ｘ，ｙ）│を計算する[２１]。
【００４８】
閾値１を用い、暗所画像Ｉｄｉｍ＝ｔｈｒｅｓｈｏｌｄ（Ｉｃ，＜閾値１）を計算する[２２]。
【００４９】
Ｉｄｉｆｆ（差分画像）とＩｄｉｍ（暗所画像）とから、閾値２を用い、影画像Ｉｓｈａｄｏｗ＝ｔｈｒｅｓｈｏｌｄ（Ｉｄｉｆｆ＊Ｉｄｉｍ，＜閾値２）を計算する[２３]。
【００５０】
影画像から、操作者の位置を特定する[２４]。
【００５１】
特定した操作者の位置と関連づけて、Ｐｆの周囲［[閾値３]］画素の範囲内のＩｓｈａｄｏｗ（ｘ，ｙ）＞０となる比率を計算し、［[閾値４]］を用いて小さい場合を、指先、として特定する[２４]。
【００５２】
特定した指先について、最終指先位置Ｐｆｉｎａｌを出力する[２５]。
【００５３】
なお、上述した処理は、例えば    
(Ａ)閾値１，閾値２，閾値３，閾値４、は予め規定するだけでなく、実行時の条件により、動的に調整することもできる。    
例えば、周囲が明るい場合に閾値１を大きくすればよい。
【００５４】
例えば、プロジェクタ（映写装置２０１）の光量が小さい場合に、閾値２を小さくすればよい。
【００５５】
例えば、手（指先）の影が大きい場合に、閾値３を大きくすればよい。
【００５６】
例えば、操作者の指が太い、あるいは手の影が小さい時には、閾値４を小さくすることで、より適合する条件を広げることができる。
【００５７】
(Ｂ)影画像の生成において、Ｉｄｉｆｆ＝│Ｉｃ（ｘ，ｙ）−Ｉｏ（ｘ，ｙ）│に加えてＩｏ（ｘ，ｙ）の暗さを加味することができる。
【００５８】
例えば、Ｉｄｉｆｆ＝│Ｉｃ（ｘ，ｙ）−Ｉｏ（ｘ，ｙ）│／（Ｉｏ（ｘ，ｙ）＋ｃｏｎｓｔ．（定数））とすることで、投影内容の輝度が小さい部分における影検出の精度を高めることができる。
【００５９】
(Ｃ)映写画像合成部１１３において、投影内容に輝度が小さく面積の大きい図形が存在しないように、そのような図形の存在する箇所の輝度を底上げすることができる。
【００６０】
例えば、本来の輝度[0..255]を線形に[20..255]に写像するような変換が考えられる。これにより、投影内容の輝度が低い箇所における影検出の精度を高めることができる。
【００６１】
(Ｄ)映写装置２０１に情報を入力してから撮像装置がその情報を出力するまでに遅延が大きい時、映写情報取得部はいくつかの元画像を溜めておき、撮像装置が情報を撮像した瞬間に対応する元画像を出力するように構成しても良い。
【００６２】
以上により、映写装置が投射する投影映像の任意の位置を示す方法として、位置を示す指示者の動作と一体で視認性が高い指示を実現する電子機器、情報処理方法及び情報処理プログラムを提供することができる。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１…映写システム、１０１…情報処理装置（電子機器）、１０３…制御ブロック（ＭＰＵ）、１１１…映写情報入力部、１１３…映写情報合成部、１１５…位置ずれ補正部、１１７…映写情報取得部、１２１…色・輝度補正部、１２３…差分生成部、１２５…暗所抽出部、１２７…影抽出部、１３１…立ち位置検出部、１３３…指先検出部、１３５…指先追跡部、１４１…操作情報生成部、１４３…操作出力部、１４５…映写重畳情報入力部、２０１…映写装置（プロジェクタ）、３０１…撮像装置（カメラ）。
【図１】
2014092715.tif 000003
【図２】
2014092715.tif 000004
【図３】
2014092715.tif 000005
【図４】
2014092715.tif 000006
【図５】
2014092715.tif 000007
【図６】
2014092715.tif 000008
【図７】
2014092715.tif 000009