(57)【特許請求の範囲】
【請求項１】
表示装置に表示された図形の特徴量を検出する特徴量検出システムにおいて、
特徴量を検出しようとする目標図形の映像信号を表示装置に出力する映像信号発生手段と、
前記表示装置に表示された前記目標図形を含む領域を取得する入力手段と、
この取得した画素毎の画像情報を保持する記憶手段と、
この記憶手段に記憶された画素を走査処理する手段と、
この画素の画像情報を閾値と比較した結果を参照して、所定の膨張処理を施す手段と、
この膨張処理を行う場合、走査処理の対象である画素と膨張処理の対象である画素にラベルを付す手段と、
ラベル付けされた画素からなる図形を前記映像信号の目標図形と比較して最も近似する図形を目標図形として抽出する手段と、
この抽出された目標図形の特徴量の演算を行う手段と
を備え、
所定の膨張処理は、走査処理の対象である画素毎に、この走査処理の対象である画素の画像情報と閾値とを比較した結果を参照して、この走査処理の対象である画素に隣接、または近傍にあり、かつ走査処理を終えている画素と、この走査処理の対象である画素とを癒着する処理であり、
ラベルを付す処理は、膨張処理を行う場合、走査処理の対象である画素毎に、膨張処理の範囲に隣接し、かつ走査処理を終えている画素を参照し、この参照画素にラベルが付されている場合は、この走査処理の対象である画素と膨張処理される画素にこの参照画素と同一のラベルを付し、この参照画素にラベルが付されていない場合は、この走査処理の対象である画素と膨張処理される画素に新たなラベルを付す処理であること
を特徴とする表示図形の特徴量検出システム。
【請求項２】
ラベルを付す手段は複数の画素を参照すること
を特徴とする請求項１記載の表示図形の特徴量検出システム。
【請求項３】
参照した複数の画素に異なるラベルが付されている場合、この参照した複数の画素のラベルと、走査処理の対象である画素のラベルと、膨張処理される画素のラベルとを同一のラベルとすること
を特徴とする請求項１または請求項２に記載の表示図形の特徴量検出システム。
【請求項４】
参照画素数は、膨張処理の範囲に基づいて最も少なくなるように決定されること
を特徴とする請求項２または請求項３に記載の表示図形の特徴量検出システム。
【請求項５】
参照画素は、走査処理の対象である画素がある現フレーム内、または現フレームよりも時間的に前にあるフレーム内にあること
を特徴とする請求項２ないし請求項４のいずれかに記載の表示図形の特徴量検出システム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、表示手段に表示された特徴量を検出しようとする図形（以下、「目標図形」という）の特徴量を検出するシステムに関するものである。
【０００２】
【従来の技術】
直視型のＣＲＴ方式表示装置や投写型の表示装置では、画面歪補正、色ズレ補正、フォーカス調整等、表示装置のスクリーンに表示される映像をもとに調整されることが多い。この調整を安定して精度良く行うには、補正量を客観的に取得する手段として、目標図形の重心位置、輝度値、高周波成分の電力等、補正しようとする項目に関する特徴量を検出するシステムが必要となる。
【０００３】
以下、検出する特徴量が画面歪補正量である検出システムを例に説明する。
この検出システムは、目標図形を表示装置に表示し、表示された目標図形を含む領域を画像の入力手段として、例えばＣＣＤカメラで撮影し、この撮影によって得られた画像情報に含まれている目標図形の重心位置を演算で求めることにより、画面歪補正量を客観的に評価するものである。
【０００４】
図１７は従来の画面歪補正量検出システムの構成を示すブロック図で、１は目標図形の映像信号１０１を発生する映像信号発生装置、２は映像信号１０１を表示する表示装置、３は目標図形１０２を含む領域を撮影することによってその映像信号１０３を取得するＣＣＤカメラ、４は映像信号１０３を記憶してその画像情報１０４が読み出されるフレームメモリ、５はフレームメモリ４から読み出された画像情報１０４から目標図形の重心情報１０５を算出する演算処理手段で、画像情報１０４から閾値１５１を算出する閾値演算手段５１、および閾値１５１をもとにして重心情報１０５を算出する重心演算手段５４で構成されている。６はシステム全体を制御するシステム制御手段である。
【０００５】
次に、動作について説明する。システム制御手段６の指示で、映像信号発生装置１から目標図形の映像信号１０１が出力され、表示装置２に目標図形１０２が表示される。表示された目標図形１０２はＣＣＤカメラ３で撮影され、ＣＣＤカメラ３から出力された映像信号１０３は、システム制御手段６の指示で一旦フレームメモリ４に記憶され、画像情報１０４として閾値演算手段５１に読み出され、例えば、画像情報１０４の輝度値の最大値ｚmaxと最小値ｚminから閾値１５１が次式によって算出される。
δ＝（ｚmax ＋ ｚmin）／２                      ・・・・・（１）
【０００６】
次に、重心演算手段５４により、画像情報１０４の閾値δ以上の画素を対象として、次式を用いて目標図形１０２の重心情報１０５が算出される。
ｘg ＝Σ（ｘi・ｚi）／Σｚi                     ・・・・・（２）
ｙg ＝Σ（ｙi・ｚi）／Σｚi                     ・・・・・（３）
ここで、ｘi，ｙi，ｚiはそれぞれ、ｉ番目の画素のｘ座標，ｙ座標，輝度値を表し、（ｘg，ｙg）が重心情報を意味する。画面歪の補正量を得る場合は、重心情報１０５と、予め求めておいた理想画面における重心情報との差分を補正量とする。
【０００７】
【発明が解決しようとする課題】
上記のような従来の特徴量検出システムでは、例えば、図１８に示すように、表示装置２に表示された目標図形１０２をＣＣＤカメラで撮影した映像信号１０３には、目標図形１０２の外に、雑音や周囲の物体の映り込みによる図形ｂ，ｃが含まれている。このため、目標図形１０２の輝度情報以外の閾値δを超える図形ｂおよびｃの輝度情報も重心演算の対象となり、目標図形１０２以外の図形ｂおよびｃを含む重心位置Ｐを算出してしまうという問題点があった。
【０００８】
この発明は上述のような問題点の解消を目的としてなされたもので、目標図形以外の雑音や周囲の物体の映り込み等の図形による影響を排除できる表示図形の特徴量検出システムを得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る表示図形の特徴量検出システムは、
特徴量を検出しようとする目標図形の映像信号を表示装置に出力する映像信号発生手段と、
前記表示装置に表示された前記目標図形を含む領域を取得する入力手段と、
この取得した画素毎の画像情報を保持する記憶手段と、
この記憶手段に記憶された画素を走査処理する手段と、
この画素の画像情報を閾値と比較した結果を参照して、所定の膨張処理を施す手段と、
この膨張処理を行う場合、走査処理の対象である画素と膨張処理の対象である画素にラベルを付す手段と、
ラベル付けされた画素からなる図形を前記映像信号の目標図形と比較して最も近似する図形を目標図形として抽出する手段と、
この抽出された目標図形の特徴量の演算を行う手段と
を備え、
所定の膨張処理は、走査処理の対象である画素毎に、この走査処理の対象である画素の画像情報と閾値とを比較した結果を参照して、この走査処理の対象である画素に隣接、または近傍にあり、かつ走査処理を終えている画素と、この走査処理の対象である画素とを癒着する処理であり、
ラベルを付す処理は、膨張処理を行う場合、走査処理の対象である画素毎に、膨張処理の範囲に隣接し、かつ走査処理を終えている画素を参照し、この参照画素にラベルが付されている場合は、この走査処理の対象である画素と膨張処理される画素にこの参照画素と同一のラベルを付し、この参照画素にラベルが付されていない場合は、この走査処理の対象である画素と膨張処理される画素に新たなラベルを付す処理であること
としたものである。
【００１０】
【作用】
この発明における特徴量検出システムは、膨張処理とラベルを付す処理とを走査処理の対象である画素毎に行うので、処理手段の回路規模、または処理時間を小さくできる。
【００１１】
【実施例】
実施例１．
以下、この発明の一実施例を図について説明する。図１はこの実施例１の構成を示すブロック図で、図１７と同一符号はそれぞれ同一または相当部分を示しており、５２は閾値１５１をもとにして画像情報１０４の各画素にラベル付けをして図形を明らかにするラベル付け手段、５３は画像情報１０４に含まれている図形のなかから目標図形を抽出する図形抽出手段である。
【００１２】
次に、動作について説明する。閾値演算手段５１で閾値１５１を算出するまでの動作は従来例と同様であるので説明を省略する。ラベル付け手段５２では、画像情報１０４の各画素のうち閾値１５１以上の所定画素についてラベル付け操作を行う。ここでは、画像の左上から水平に走査し、順次下へ向かって走査しながら、所定画素として連続した画素を１画素ごとにラベル付けを行う場合を考える。
【００１３】
図２は走査中に各画素において行われるラベル付けの説明図、図３はそのフローチャートである。図２において、ウを現在走査中の画素とすると、ウを目標画素および目標領域、アとイを参照画素として考える。図３のフローチャートに沿って説明すると、目標画素ウの輝度値が閾値１５１以上であれば、目標画素ウをラベル付けの対象と判断し、参照画素であるアとイの画素に付けられたラベルを見て目標画素ウにラベルを付ける。すなわち、参照画素アまたはイのいずれか１画素にラベルが付いている場合にはそのラベルを目標画素ウに付け、参照画素アおよびイのいずれにもラベルが付いていない場合には目標画素ウに新しいラベルを付ける。また、参照画素アとイの両方にラベルが付いており、かつ、そのラベルが異なる場合には、それらのラベルを同一のラベルに書き換えることによってラベルの連結を行う。
【００１４】
図４はラベル付けされた画像情報１５２を表したもので、前記ラベル付けによって明らかになった図形Ａ，Ｂ，Ｃと目標図形１０２を比較することにより、表示装置２に表示した目標図形１０２を撮影した目標図形Ａを、他の図形Ｂ，Ｃと分離することができる。図形抽出手段５３は図形Ａ，Ｂ，Ｃのうち表示装置２に表示した目標図形１０２に最も近い大きさおよび形状をした目標図形Ａを抽出する。重心演算手段５４は、図形抽出手段５３で抽出された目標図形Ａのみを対象として、従来例と同様に重心情報１０５を算出する。画面歪の補正量を得たい場合にも、従来例と同様に、重心情報１０５と予め求めておいた理想画面における重心情報との差分を補正量とする。
【００１５】
実施例２．
上記実施例１では、映像情報１０４に含まれている目標図形Ａ以外の、一時的に発生する雑音等による図形Ｂ，Ｃにもラベル付けされるので、目標図形１０２と大きさや形状を比較する必要がある。本実施例２は、目標図形１０２が表示された表示面を複数回撮影して複数の画像情報を得、各画像情報を比較することにより、移動する図形や一時的に発生した図形を排除するように構成したものである。
【００１６】
本実施例２の検出システム全体の構成、および、検出システムにおける演算処理手段５の内部構成は実施例１と同様であるので説明を省略する。
【００１７】
次に、動作について説明する。複数の画像情報を比較するためには、取得する画像の枚数分だけ記憶できる記憶手段４を用意する必要があるが、本実施例２では、フレームメモリ４１の記憶容量を削減するために、前画面までの図形情報をラベル付け手段５２に保持されるラベル情報として保持することにする。映像情報１０４から閾値１５１を算出するまで、および、図形抽出手段５３以降の動作は実施例１と同様であるので説明を省略する。
【００１８】
ラベル付け手段５２において、最初の１枚目の画像情報については、実施例１と同様にラベル付けを行う。２枚目以降の画像については図５に示すように、現在走査している画素がケの位置であるとすると、ケを目標画素とし、前画面の同じ位置の画素カがラベル付けされていて、かつ、目標画素ケの輝度値が閾値１５１以上の場合のみ目標画素ケをラベル付けの対象とする。残りの処理は、カ、キ、クを参照画素、ケを目標領域として、実施例１と同様にラベル付けを行う。
この操作により、図６に示すように、雑音等による一時的に発生する図形、および移動している物体の映像等、動的要素を持った図形の画素にはラベル付けが行われず、静止画のみにラベル付けが行われるので、動的要素を持った図形を排除できる。
【００１９】
実施例３．
本実施例３では、表示手段に目標図形１０２を表示している場合と表示していない場合の画像情報１０４をそれぞれ１回以上取得することにより、目標図形Ａのみを抽出するようにしたものである。
【００２０】
本実施例３の検出システム全体の構成、および、検出システムにおける演算処理手段５の内部構成は実施例１と同様であるので説明を省略する。
【００２１】
次に、動作について説明する。表示手段２に表示する目標図形１０２の表示および消去の指示は、システム制御手段６が映像信号発生装置１に指示を出すことにより行われる。それ以外の、閾値１５１を算出するまで、および、図形抽出手段５３以降の動作は、実施例１と同様であるので説明を省略する。
【００２２】
本実施例３では、まず、目標図形１０２を表示した表示面を撮影した画像情報１０４について、ラベル付け手段５２において実施例１または実施例２と同じラベル付けを行う。次に、目標図形１０２を消去した表示面を撮影した画像情報１０４について、先の処理でラベルを付した画素と同じ位置の画素が閾値１５１以上の場合は先の処理で付したラベルを消去するとともに、閾値１５１以上の画素にもラベル付けを行わない処理を行う。この処理により、図７に示すように目標図形のみにラベル付けが行われ、目標図形以外の他の静止図形等を排除することができる。
【００２３】
実施例４．
上記実施例１から実施例３では、表示装置がＣＲＴ方式の前面投射型表示装置であった場合、図８に示すように走査線の間に隙間があるため、本来１個の図形であるにもかかわらず、走査線ごとに区分された図形Ｄ，Ｅ，Ｆ，Ｇのようにラベル付けされる。このため、結果として４個の図形に分離され、目標図形を発見できないか、誤認識されることになる。そこで、本実施例４では、ラベル付けを行う前に画素の縦方向に膨張処理を行って図形間の隙間を埋めることにより、図９に示すように走査線の隙間によって図形が分断されるのを回避するようにした。
【００２４】
本実施例４の検出システム全体の構成は従来例と同様であるので説明を省略する。図１０は本実施例４の演算処理手段５のブロック回路図で、図１と同一符号はそれぞれ同一または相当部分を示しており、５５は閾値１５１をもとにして画素の膨張処理を行う膨張手段、５２は膨張後の画像情報１５４の所定画素にラベル付けを施すラベル付け手段である。
【００２５】
次に、動作について説明する。閾値演算手段５１で閾値１５１を算出するまで、および、ラベル付け処理手段５２以降の動作は実施例１と同様であるので説明を省略する。膨張処理手段５５では、閾値１５１以上の画素について縦方向に所定の画素数だけ膨張させる。例えば、現在、図１１に示す画素スの位置を走査していた場合、画素スの輝度値が閾値１５１以上であれば、サ〜スの画素が閾値以上であると以下の処理手段に伝える。この操作により、図８に示す図形ＤとＥ，ＥとＦ，ＦとＧを互いに癒着させることでき、画像情報１０４の走査線の隙間を埋めることができる。ラベル付け処理には、この膨張後の画像情報を用いることによって、走査線の隙間にあたる位置で図形が分断されることなしに、画像情報１０４に含まれている各図形をそれぞれ１個の図形として処理することができる。
【００２６】
実施例５．
上記実施例４では、表示装置がシャドウマスク付きの直視型表示装置，液晶を用いた表示装置，背面投射型表示装置等であった場合、それぞれ、シャドウマスク，液晶の駆動用の電極，レンチキュラースクリーンのブラックストライプ等の陰影の影響で、図１２に示すように表示した図形が細かく分断されてしまい、縦方向の膨張だけでは分断した図形を１個の連続した図形に復元することは困難である。そこで、本実施例５では、ラベル付けを行う前に各画素について縦方向および横方向の膨張を行い、細かく分断された図形であっても図１３に示すように図形の隙間を埋めることにより、映像を分断している陰影によって図形の認識が阻害されるのを排除することができる。
【００２７】
本実施例５の検出システム全体の構成、および、検出システムにおける演算処理手段５の内部構成は実施例４と同様であるので説明を省略する。
【００２８】
次に、動作について説明する。図１０において、閾値演算手段５１で閾値１５１を算出するまで、および、ラベル付け処理手段５２以降の動作は実施例４と同様であるので説明を省略する。膨張処理手段５５では、閾値１５１以上の画素について図形を縦および横方向に所定画素膨張させる。例えば、現在、図１４に示す画素ニの位置を走査していた場合、画素ニの輝度値が閾値１５１以上であれば、画素セ〜ニが閾値以上であると以下の処理手段に伝える。この操作により、図１２に示す細かく分断されている図形を互いに癒着させることができ、画像情報１０４に含まれている図形の陰影による隙間を埋めることができる。ラベル付け処理には、この膨張後の画像情報を用いることによって、陰影の位置で図形が分断されることなしに、画像情報１０４に含まれている各図形をそれぞれ１個の図形として処理することができる。
【００２９】
実施例６．
上記実施例５では、２次元的な膨張処理のみを行っているため、表示装置２とＣＣＤカメラ３の垂直走査周波数が異なる場合、または、表示装置２とＣＣＤカメラ３の間を一時的に遮光物が通過した場合等、目標図形１０２を完全な形で撮影できない場合がある。そこで本実施例６では、目標図形１０２を複数回撮影して複数の画像情報１０４を得、各画像情報１０４の各画素にラベル付けを行う前に縦方向、横方向、および時間軸方向の３方向にわたって膨張を行うことにより、一時的に欠落した図形を時間的に補間することによって一個の図形と認識することにより、一時的な図形の隠蔽の影響を避けるようにしたものである。
【００３０】
本実施例６の検出システム全体の構成、および、検出システムにおける演算処理手段５の内部構成は実施例４と同様であるので説明を省略する。
【００３１】
次に、動作について説明する。図１０において、閾値演算手段５１で閾値１５１を算出するまで、および、ラベル付け処理手段５２以降の動作は他の実施例と同様であるので説明を省略する。膨張処理手段５５では、閾値１５１以上の画素について縦、横、および時間軸方向に所定画素数および所定時間だけ膨張させる。例えば、現在、図１５に示す画素ヌの位置を走査していた場合、画素ヌの輝度値が閾値１５１以上であれば、画素ネ〜ノが閾値以上であると以下の処理手段に伝える。この操作により、膨張済みの３次元画像が得られ、目標図形の一時的な隠蔽による隙間を埋めることができる。ラベル付け処理には、この膨張後の画像情報を用いることによって、一時的に隠蔽された時点で図形が分断されることなしに、目標図形を１個の図形として処理することができる。さらに、図形抽出の条件に時間的な制約も加わるため、一時的に発生する雑音等の影響も抑えることができる。
【００３２】
実施例７．
上記実施例４から実施例６では、膨張処理手段５５と、ラベル付け手段５２を別々の処理として説明したが、ラベル付けと膨張処理を同時に行うことができる。ここでは、実施例５に示した２次元の膨張処理の場合を例に説明する。
【００３３】
本実施例７の検出システム全体の構成、および、検出システムにおける演算処理手段５の内部構成は、膨張処理をラベル付け手段５２の中に取り込んだと考えると、実施例１と同様になるので説明を省略する。
【００３４】
次に、動作について説明する。図１において、閾値演算手段５１で閾値１５１を算出するまで、および、図形抽出手段５３以降の動作は他の実施例と同様であるので説明を省略する。ラベル付け手段５２では、図１６に示す画素ヨを現在走査している画素とし、ラベル付けを施す所定画素を水平，垂直方向ともに１画素単位、また、膨張する範囲を上方向および左方向ともに２画素とすると、ヨを目標画素、ハ〜ヘを参照画素、ホ〜ヨを目標領域として他の実施例同様のラベル付けを行う。この結果、ラベル付けを行いながら、同時に、上方向および左方向にそれぞれ２画素ずつ膨張される。この膨張処理とラベル付けを同時に行うことにより、処理手段の規模、または処理に要する時間を小さくすることができる。
【００３５】
ところで、上記各実施例では、この発明を表示図形の重心位置算出に適用した場合について述べたが、輝度値、色温度、フォーカス等、他の特徴量の算出にも同様に利用できることはいうまでもない。
【００３６】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【００３７】
膨張処理とラベルを付す処理とを走査処理の対象である画素毎に行うので、処理手段の回路規模を小さくでき、処理速度の向上、および部品点数の削減が可能となる。
【図面の簡単な説明】
【図１】  この発明の実施例１の構成を示すブロック図である。
【図２】  実施例１のラベル付けされる画素と周辺の画素との関係を示す図である。
【図３】  実施例１のラベル付けの手順を示すフローチャートである。
【図４】  実施例１のラベル付けされた画像情報を示す図である。
【図５】  この発明の実施例２のラベル付けされる画素と参照画素との関係を示す図である。
【図６】  実施例２の図形抽出の原理を示す図である。
【図７】  この発明の実施例３の図形抽出の原理を示す図である。
【図８】  この発明の実施例４の膨張を行う前の画像情報を示す図である。
【図９】  実施例４の膨張を行った後の画像情報を示す図である。
【図１０】  実施例４の演算処理手段の構成を示す図である。
【図１１】  実施例４の膨張を行う画素の関係を示す図である。
【図１２】  この発明の実施例５の膨張を行う前の画像情報を示す図である。
【図１３】  実施例５の膨張を行った後の画像情報を示す図である。
【図１４】  実施例５の膨張を行う画素の関係を示す図である。
【図１５】  この発明の実施例６の膨張を行う画素の関係を示す図である。
【図１６】  この発明の実施例７の膨張を行う画素の関係を示す図である。
【図１７】  従来の検出システムの構成を示すブロック図である。
【図１８】  従来例の閾値以上の画像情報を示す図である。
【符号の説明】
１  映像信号発生装置、２  表示装置、３  ＣＣＤカメラ、４  フレームメモリ、５  演算処理手段、６  システム制御手段、５１  閾値演算手段、５２  ラベル付け手段、５３  図形抽出手段、５４  重心演算手段、５５  膨張処理手段、１０１  映像信号、１０２  目標図形、１０３  映像信号、１０４  画像情報、１０５  重心情報、１５１  閾値、１５２  ラベル付け後の画像情報、１５３  図形抽出後の画像情報、１５４  膨張後の画像情報。
【図１】
0003677816.tif 000002
【図２】
0003677816.tif 000003
【図３】
0003677816.tif 000004
【図４】
0003677816.tif 000005
【図５】
0003677816.tif 000006
【図６】
0003677816.tif 000007
【図７】
0003677816.tif 000008
【図８】
0003677816.tif 000009
【図９】
0003677816.tif 000010
【図１０】
0003677816.tif 000011
【図１１】
0003677816.tif 000012
【図１２】
0003677816.tif 000013
【図１３】
0003677816.tif 000014
【図１４】
0003677816.tif 000015
【図１５】
0003677816.tif 000016
【図１６】
0003677816.tif 000017
【図１７】
0003677816.tif 000018
【図１８】
0003677816.tif 000019