(57)【要約】【課題】検出対象物にマーカや発光体を設けることなく、またロボットにレーザ計測装置を設けることなく、撮像した画像に基づきテレビ受像機を精度良く判別しその位置を検出させる。【解決手段】フレーム間差分算出手段３は、撮像手段１から出力される画像データとメモリ２に保存されている過去の画像とのフレーム間差分を算出し、予め決められた閾値により２値化した２値化フレーム間差分データを生成する。四角形検出手段４は、２値化フレーム間差分データに基づき四角形を検出する。検証手段５は、四角形検出手段４により検出される四角形についてテレビ画面として適当であるか否かを検証し、テレビ画面を判別することによりテレビ受像機を検出する。【選択図】      図３
2005004697.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出装置であって、前記撮像手段により撮像された画像データを処理してテレビ画面を判別することによりテレビ受像機を検出することを特徴とするテレビ受像機検出装置。
【請求項２】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出装置であって、前記撮像手段により異なる時刻に撮像された画像データ間の差分に基づき四角形領域を検出してテレビ画面を判別することによりテレビ受像機を検出することを特徴とするテレビ受像機検出装置。
【請求項３】
撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記２値化フレーム間差分データに基づき四角形を検出する四角形検出手段とからなることを特徴とするテレビ受像機検出装置。
【請求項４】
前記四角形検出手段は、前記２値化フレーム間差分データに基づきエッジに相当する線分群を抽出して四角形を検出することを特徴とする請求項３記載のテレビ受像機検出装置。
【請求項５】
前記四角形検出手段は、前記２値化フレーム間差分データに基づき同一値の画素の連結領域を探索して四角形の連結領域を検出することを特徴とする請求項３記載のテレビ受像機検出装置。
【請求項６】
前記四角形検出手段により検出された四角形についてテレビ画面らしさを検証する検証手段を備えることを特徴とする請求項３記載のテレビ受像機検出装置。
【請求項７】
前記検証手段は、前記四角形検出手段により検出された複数の四角形についてその面積を比較し最大のものをテレビ画面であると判別することを特徴とする請求項６記載のテレビ検出装置。
【請求項８】
前記検証手段は、前記四角形検出手段により検出された複数の四角形について距離を獲得して実際のサイズを推定し、そのサイズがテレビ画面サイズとして妥当である否かを検証することを特徴とする請求項６記載のテレビ検出装置。
【請求項９】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出装置であって、テレビ受像機が受信している放送チャンネルの画像データを取得し、前記撮像手段により撮像された画像データと照合してテレビ画面を判別することを特徴とするテレビ受像機検出装置。
【請求項１０】
撮像した画像データを出力する撮像手段と、テレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段と、このチャンネル特定手段により特定された放送チャンネルを受信する放送受信手段と、この放送受信手段で受信した画像データと前記撮像手段の画像データとを照合してテレビ画面を探索し判別する照合手段とを備えることを特徴とするテレビ受像機検出装置。
【請求項１１】
前記チャンネル特定手段は、テレビ受像機が受信している放送チャンネルを音声・文字・ＧＵＩなどのインタフェースを介してユーザに問い合わせて取得することを特徴とする請求項１０記載のテレビ受像機検出装置。
【請求項１２】
前記チャンネル特定手段は、テレビ受像機が受信している放送チャンネルを通信回線を介してテレビ受像機から取得することを特徴とする請求項１０記載のテレビ受像機検出装置。
【請求項１３】
前記チャンネル特定手段は、前記放送受信手段によりチャンネルを順次切り替えて取得した画像データと前記撮像手段の画像データとをそれぞれ照合して最も近い画像を探索することによりテレビ受像機が受信している放送チャンネルを特定することを特徴とする請求項１０記載のテレビ受像機検出装置。
【請求項１４】
前記チャンネル特定手段は、テレビ受像機から伝播してくる音声を電気信号に変換するマイクを有し、このマイクで取得した音声信号と前記放送受信手段によりチャンネルを順次切り替えて取得した音声信号とを照合し最も近い音声信号を探索することによりテレビ受像機が受信している放送チャンネルを特定することを特徴とする請求項１０記載のテレビ受像機検出装置。
【請求項１５】
前記照合手段は、前記撮像手段の画像データを複数の小領域に分割し、前記放送受信手段で受信した画像データと前記小領域の画像データとを照合することによりテレビ画像を判別することを特徴とする請求項１０記載のテレビ受像機検出装置。
【請求項１６】
撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記２値化フレーム間差分データに基づき四角形を検出する四角形検出手段と、テレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段と、このチャンネル特定手段により特定された放送チャンネルを受信する放送受信手段と、この放送受信手段で受信した画像データを前記四角形検出手段で検出された四角形と合同に変換して前記撮像手段の画像データと照合することによりテレビ画面を探索し判別する照合手段とを備えることを特徴とするテレビ受像機検出装置。
【請求項１７】
前記照合手段は、輝度値や色分布のヒストグラム等の画像の特徴を抽出して照合を行うことを特徴とする請求項１０，１５または１６記載のテレビ受像機検出装置。
【請求項１８】
前記照合手段は、輝度値や色分布のヒストグラム等の画像の特徴を抽出してその時間変化が起きる時刻の差に基づき照合を行うことを特徴とする請求項１０，１５または１６記載のテレビ受像機検出装置。
【請求項１９】
前記照合手段は、画像間の相関を用いて照合を行うことを特徴とする請求項１０，１５または１６記載のテレビ受像機検出装置。
【請求項２０】
撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、テレビ画面の画像を強制的に変化させる遠隔操作手段と、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記遠隔操作手段によってテレビ画面の画像に変化が生じる前後の前記２値化差分画像データを比較して画像データの変化領域を検出することによりテレビ画面を判別する変化領域検出手段とを備えることを特徴とするテレビ受像機検出装置。
【請求項２１】
請求項１乃至１９記載のテレビ受像機検出装置において、テレビ受像機のテレビ画面の画像を強制的に変化させる遠隔操作手段を具備することを特徴とするテレビ受像機検出装置。
【請求項２２】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出方法であって、前記画像データを処理してテレビ画面を判別することを特徴とするテレビ受像機検出方法。
【請求項２３】
前記撮像手段により異なる時刻に撮像された画像データ間の差分を求めて四角形を検出することによりテレビ画面を判別することを特徴とする請求項２２記載のテレビ受像機検出方法。
【請求項２４】
前記撮像手段から出力される現在の画像データと過去の複数枚の画像データとの差分を求め予め決められた閾値によりそれぞれ２値化し累積して２値化フレーム間差分データを求めるステップと、前記２値化フレーム間差分データに基づき四角形を検出するステップとを有することを特徴とする請求項２３記載のテレビ受像機検出方法。
【請求項２５】
前記四角形を検出するステップは、前記２値化フレーム間差分データに基づきエッジに相当する線分群を抽出して四角形を検出することを特徴とする請求項２４記載のテレビ受像機検出方法。
【請求項２６】
前記四角形を検出するステップは、前記２値化フレーム間差分データに基づき同一値の画素の連結領域を探索して四角形を検出することを特徴とする請求項２４記載のテレビ受像機検出方法。
【請求項２７】
検出された前記四角形についてテレビ画面らしさを検証する検証ステップを備えることを特徴とする請求項２３、２４、２５、２６記載のテレビ受像機検出方法。
【請求項２８】
前記検証ステップは、前記検出された複数の四角形についてその面積を比較し最大のものをテレビ画面であると判別することを特徴とする請求項２７記載のテレビ検出方法。
【請求項２９】
前記検証ステップは、前記検出された複数の四角形について距離を獲得して実際のサイズを推定し、そのサイズがテレビ画面サイズとして妥当である否かを検証することを特徴とする請求項２７記載のテレビ検出方法。
【請求項３０】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出方法であって、テレビ受像機が受信している放送チャンネルを特定するステップと、特定された放送チャンネルの画像データと前記撮像手段の画像データとを照合してテレビ画面を探索し判別する照合ステップとを備えることを特徴とするテレビ受像機検出方法。
【請求項３１】
前記放送チャンネルを特定するステップは、音声・文字・ＧＵＩなどのインタフェースを介してユーザに問い合わせて取得することを特徴とする請求項３０記載のテレビ受像機検出放送。
【請求項３２】
前記放送チャンネルを特定するステップは、通信回線を介してテレビ受像機から取得することを特徴とする請求項３０記載のテレビ受像機検出方法。
【請求項３３】
前記放送チャンネルを特定するステップは、特定された放送チャンネルの画像データと前記撮像手段の画像データとを照合して最も近い画像を探索することにより放送チャンネルを特定することを特徴とする請求項３０記載のテレビ受像機検出方法。
【請求項３４】
前記放送チャンネルを特定するステップは、テレビ受像機から伝播してくる音声信号とマイクにより取得されたた音声とを照合して最も近い音声を探索することにより放送チャンネルを特定することを特徴とする請求項３０記載のテレビ受像機検出方法。
【請求項３５】
前記照合ステップは、前記撮像手段の画像データを複数の小領域に分割し、前記特定された放送チャンネルの画像データと前記小領域の画像データとを照合することによりテレビ画像を判別することを特徴とする請求項３０記載のテレビ受像機検出方法。
【請求項３６】
撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出方法であって、前記撮像手段から出力される現在の画像データと過去の複数枚の画像データとの差分を求め予め決められた閾値によりそれぞれ２値化し累積して２値化フレーム間差分データを求めるステップと、前記２値化フレーム間差分データに基づき四角形を検出するステップと、テレビ受像機が受信している放送チャンネルを特定するステップと、特定された放送チャンネルの画像データを前記四角形検出手段で検出された四角形と合同に変換して前記撮像手段の画像データと照合することによりテレビ画面を探索し判別する照合ステップとを備えることを特徴とするテレビ受像機検出方法。
【請求項３７】
前記照合ステップは、輝度値や色分布のヒストグラム等の画像の特徴に基づき、その時間変化が起きる時刻の差に基づき、また画像間の相関を用いて照合を行うことを特徴とする請求項３０，３５または３６記載のテレビ受像機検出方法。
【請求項３８】
テレビ画面の画像を強制的に変化させ、テレビ画面の画像に変化が生じる前後の画像データの変化領域を検出することによりテレビ画面を判別することを特徴とするテレビ受像機検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテレビ受像機検出装置に関し、特に家庭用のロボット等に設けられて室内のテレビ受像機を判別してその位置を検出するテレビ受像機検出装置および方法に関する。
【０００２】
【従来の技術】
家庭内で使用される自走式ロボットにとって、室内のテレビ受像機を判別してその位置を検出することは重要な意味を持つ。
【０００３】
例えば、自走式の掃除ロボットでは、テレビ受像機を判別してその位置を知ることにより室内でのロボット自身の位置を認識でき、効率よく掃除を実行することが可能となる。
【０００４】
また、家庭内でユーザと情報のやりとりをするパーソナルロボットでは、テレビ受像機を判別してその位置を知ることにより、他の物体の位置関係を把握でき、それに応じた各種行動をとることが容易となる。
【０００５】
従来は、ロボットに室内の検出対象物の位置を検出させる手段としては、検出対象物に専用のマーカや発光体を設け、ロボットに設置した視覚センサによりマーカや発光体を認識させることにより検出対象物の位置を検出させている（例えば、特許文献１参照。）。
【０００６】
あるいは、ロボットに周囲の物体を判別させる手段として、テレビカメラおよびレーザ計測装置をロボットに取り付け、画像データおよびレーザ計測結果により物体の形状、距離、色、温度等を認識し、その対象物の種別を判別させている（例えば、特許文献２参照。）。
【０００７】
【特許文献１】
特開２００２−２８７８２４号公報（図３）
【特許文献２】
特開２００２−１２２４１５号公報（図２）
【０００８】
【発明が解決しようとする課題】
上述した従来例の前者では、マーカや発光体を設ける必要があり、ユーザの手間やコストがかかる。また、それらのマーカや発光体が視覚的に抵抗感を与えるという問題点がある。
【０００９】
また、従来例の後者では、対象物の種別を判別するためにテレビカメラおよびレーザ計測装置をロボットに設けているが、検出対象物としてテレビ受像機にその機能を限定した場合、コストおよび検出精度において問題点を有している。
【００１０】
本発明の目的は、検出対象物にマーカや発光体を設けることなく、またロボットにレーザ計測装置を設けることなく、撮像した画像に基づきテレビ受像機を精度良く判別しその位置を検出させることができるテレビ受像機検出装置および方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明のテレビ受像機検出装置は、撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出装置であって、前記撮像手段により撮像された画像データを処理してテレビ画面を判別することによりテレビ受像機を検出することを特徴とする。
【００１２】
本発明の第１のテレビ受像機検出装置は、撮像手段により異なる時刻に撮像された画像データ間の差分に基づき四角形領域を検出してテレビ画面を判別する。
【００１３】
具体的には、撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記２値化フレーム間差分データに基づき四角形を検出する四角形検出手段とを有する。
【００１４】
前記四角形検出手段は、前記２値化フレーム間差分データに基づきエッジに相当する線分群を抽出して四角形を検出してもよいし、前記２値化フレーム間差分データに基づき同一値の画素の連結領域を探索して四角形の連結領域を検出するようにしてもよい。
【００１５】
本発明の第２のテレビ受像機検出装置は、前記四角形検出手段により検出された四角形についてテレビ画面らしさを検証する検証手段を備える。
【００１６】
前記検証手段は、前記四角形検出手段により検出された複数の四角形についてその面積を比較し最大のものをテレビ画面であると判別してもよいし、前記四角形検出手段により検出された複数の四角形について距離を獲得して実際のサイズを推定して妥当である否かを検証するようにしてもよい。
【００１７】
本発明の第３のテレビ受像機検出装置は、テレビ受像機が受信している放送チャンネルの画像データを取得し、撮像手段により撮像された画像データと照合してテレビ画面を判別する。
【００１８】
具体的には、撮像した画像データを出力する撮像手段と、テレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段と、このチャンネル特定手段により特定された放送チャンネルを受信する放送受信手段と、この放送受信手段で受信した画像データと前記撮像手段の画像データとを照合してテレビ画面を探索し判別する照合手段とを備える。
【００１９】
前記チャンネル特定手段は、音声・文字・ＧＵＩなどのインタフェースを介してユーザに問い合わせて取得してもよいし、テレビ受像機が受信している放送チャンネルを通信回線を介してテレビ受像機から取得してもよいし、前記放送受信手段によりチャンネルを順次切り替えて取得した画像データと前記撮像手段の画像データとをそれぞれ照合して最も近い画像を探索することによりテレビ受像機が受信している放送チャンネルを特定してもよい。
【００２０】
また、前記チャンネル特定手段は、テレビ受像機から伝播してくる音声を電気信号に変換するマイクを有し、このマイクで取得した音声信号と前記放送受信手段によりチャンネルを順次切り替えて取得した音声信号とを照合することによりテレビ受像機が受信している放送チャンネルを特定するようにしてもよい。
【００２１】
更に、前記照合手段は、前記撮像手段の画像データを複数の小領域に分割し、前記放送受信手段で受信した画像データと前記小領域の画像データとを照合することによりテレビ画像を判別する。
【００２２】
本発明の第４のテレビ受像機検出装置は、撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記２値化フレーム間差分データに基づき四角形を検出する四角形検出手段と、テレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段と、このチャンネル特定手段により特定された放送チャンネルを受信する放送受信手段と、この放送受信手段で受信した画像データを前記四角形検出手段で検出された四角形と合同に変換して前記撮像手段の画像データと照合することによりテレビ画面を探索し判別する照合手段とを備える。
【００２３】
前記照合手段は、輝度値や色分布のヒストグラム等の画像の特徴を抽出して照合してもよいし、輝度値や色分布のヒストグラム等の画像の特徴を抽出してその時間変化が起きる時刻の差に基づき照合してもよいし、画像間の相関を用いて照合してもよい。
【００２４】
本発明の第５のテレビ受像機検出装置は、撮像した画像データを出力する撮像手段と、この撮像手段から出力される画像データを一時保存するメモリと、テレビ画面の画像を強制的に変化させる遠隔操作手段と、現在の画像データと前記メモリに保存されている過去の複数枚の画像データとの差分を求めて予め決められた閾値によりそれぞれ２値化した２値化フレーム間差分データを累積し出力するフレーム間差分算出手段と、前記遠隔操作手段によってテレビ画面の画像に変化が生じる前後の前記２値化差分画像データを比較して画像データの変化領域を検出することによりテレビ画面を判別する変化領域検出手段とを備える。
【００２５】
上記第１，２および３のテレビ受像機検出装置において、テレビ受像機のテレビ画面の画像を強制的に変化させる遠隔操作手段を具備させ、四角形検出および放送チャンネルの特定をより確実に処理できるように構成する。
【００２６】
本発明のテレビ受像機検出方法は、撮像手段から出力される画像データを処理してテレビ受像機を検出するテレビ受像機検出方法であって、前記撮像手段により撮像された画像データを処理してテレビ画面を判別することによりテレビ受像機を検出することを特徴とする。
【００２７】
すなわち、本発明の第１のテレビ受像機検出方法は、撮像手段により異なる時刻に撮像された画像データ間の差分に基づき四角形領域を検出してテレビ画面を判別する。
【００２８】
具体的には、撮像手段から出力される現在の画像データと過去の複数枚の画像データとの差分を求め予め決められた閾値によりそれぞれ２値化し累積して２値化フレーム間差分データを求めるステップと、前記２値化フレーム間差分データに基づき四角形を検出するステップとを有する。
【００２９】
前記四角形検出ステップは、前記２値化フレーム間差分データに基づきエッジに相当する線分群を抽出して四角形を検出してもよいし、前記２値化フレーム間差分データに基づき同一値の画素の連結領域を探索して四角形を検出するようにしてもよい。
【００３０】
本発明の第２のテレビ受像機検出方法は、前記四角形検出ステップにより検出された複数の四角形についてテレビ画面らしさを検証する検証ステップを備える。
【００３１】
前記検証ステップは、前記四角形検出ステップにより検出された複数の四角形についてその面積を比較し最大のものをテレビ画面であると判別してもよいし、検出された複数の四角形について距離を獲得して実際のサイズを推定して妥当である否かを検証するようにしてもよい。
【００３２】
本発明の第３のテレビ受像機検出方法は、テレビ受像機が受信している放送チャンネルの画像データを取得し、撮像手段により撮像された画像データと照合してテレビ画面を判別する。
【００３３】
具体的には、テレビ受像機が受信している放送チャンネルを特定するステップと、特定された放送チャンネルの画像データと前記撮像手段の画像データとを照合してテレビ画面を探索し判別する照合ステップとを備える。
【００３４】
前記放送チャンネルを特定するステップは、音声・文字・ＧＵＩなどのインタフェースを介してユーザに問い合わせて取得してもよいし、テレビ受像機が受信している放送チャンネルを通信回線を介してテレビ受像機から取得してもよい。また、放送チャンネルを順次切り替えて受信した画像データと前記撮像手段の画像データとを照合することにより放送チャンネルを特定してもよい。
【００３５】
更に、前記放送チャンネルを特定するステップは、マイクにより取得した音声信号と放送チャンネルを順次切り替えて受信した音声信号とを照合することにより放送チャンネルを特定してもよい。
【００３６】
更に、前記照合ステップは、前記撮像手段の画像データを複数の小領域に分割し、前記特定された放送チャンネルの画像データと前記小領域の画像データとを照合することによりテレビ画像を判別する。
【００３７】
本発明の第４のテレビ受像機検出方法は、撮像手段から出力される現在の画像データと過去の複数枚の画像データとの差分を求め予め決められた閾値によりそれぞれ２値化し累積して２値化フレーム間差分データを求めるステップと、前記２値化フレーム間差分データに基づき四角形を検出するステップと、テレビ受像機が受信している放送チャンネルを特定するステップと、特定された放送チャンネルの画像データを前記検出された四角形と合同に変換して前記撮像手段の画像データと照合することによりテレビ画面を探索し判別する照合ステップとを備える。
【００３８】
前記照合ステップは、輝度値や色分布のヒストグラム等の画像の特徴を抽出して照合してもよいし、輝度値や色分布のヒストグラム等の画像の特徴を抽出してその時間変化が起きる時刻の差に基づき照合してもよいし、画像間の相関を用いて照合してもよい。
【００３９】
本発明の第５のテレビ受像機検出方法は、テレビ受像機のテレビ画面の画像を強制的に変化させ、この変化の前後の画像データを比較して画像変化領域を検出することによりテレビ画面を判別する。
【００４０】
【発明の実施の形態】
次に本発明について図面を参照して説明する。
【００４１】
図１は本発明の第１の実施形態を示すブロック図であり、ロボットに設けられるテレビ受像機検出装置の構成例を示している。
【００４２】
ところで、テレビ受像機がテレビ放送を受信中であれば、通常、テレビ受像機の表示画面（以下、テレビ画面と称する。）に表示される画像は時間と共に変化する。また、テレビ画面は長方形であるので、このテレビ画面を外部から撮像した場合、例えば図１０に示すように、長方形がアフィン変換された四角形となる。
【００４３】
この第１の実施形態では、このようなテレビ画面の特徴を利用してテレビ受像機を検出する。
【００４４】
図１において、撮像した画像データを出力するビデオカメラ等の撮像手段１と、撮像手段１から出力される画像データを一時保存するメモリ２と、メモリ２に保存されている過去の画像データと現在の画像データとのフレーム間差分を算出し予め決められた閾値により２値化して２値化フレーム間差分データを出力するフレーム間差分算出手段３と、２値化フレーム間差分データに基づき四角形を検出する四角形検出手段４とを有している。
【００４５】
図２に示したフローチャートを参照して第１の実施形態の動作を説明する。
【００４６】
まず、撮像手段１は、撮像した画像データをフレーム間差分算出手段３へ送出する（ステップ１０１）。
【００４７】
フレーム間差分算出手段３は、撮像手段１から送出されてくる画像データとメモリ２に保存されている過去の画像データとの差分を算出して差分画像データを生成する（ステップ１０２）。
【００４８】
そして、撮像手段１から送出された画像データを過去の画像データとしてメモリ２に保存する。この場合、メモリ２に保存されている使用済みの古い画像データは廃棄していく（ステップ１０３）。
【００４９】
また、フレーム間差分算出手段３は、予め定められた閾値で差分画像データを２値化して２値化差分画像データを生成する。この場合、差分画像データの値が閾値より大きい画素の値を「１」とし、閾値より小さい画素の値を「０」とする（ステップ１０４）。
【００５０】
ここで、テレビ受像機がテレビ放送を受信中であれば、テレビ画面内の画像は時間とともに変化するので、撮像手段１から送出される画像データと過去の複数の画像データとの２値化差分画像データを算出して累積することにより、撮像された画像内においてのテレビ画面（四角形）の画素は「１」となる。
【００５１】
四角形検出手段４は、２値化差分画像データに基づき四角形を検出し、検出した四角形をテレビ画面であると判別する（ステップ１０５）。
【００５２】
その後、テレビ受像機の検出動作を停止するまで、ステップ１０１〜ステップ１０５を繰り返す（ステップ１０６）。
【００５３】
なお、四角形検出方法としては、例えば、２値化差分画像データを微分フィルタやｓｏｂｅｌフィルタ等を用いてエッジを抽出し、抽出したエッジ画像データからＨｏｕｇｈ変換などを用いて直線を抽出する。そして、抽出された直線の数が４本であれば四角形であると判別し、４本以外の場合は四角形ではないと判別する。
【００５４】
また他の例としては、２値化差分画像データについて、同じ値の画素が連結した領域を抽出してラべリングし、抽出した連結領域の形状が四角形であるか否かを検出する。
【００５５】
このようにして四角形を検出することによりテレビ画面を検出できるので、テレビ受像機を精度良く検出できる。
【００５６】
なお、検出した四角形の形状に基づきアフィン変換処理を行うことにより、テレビ画面の方向を算出することが可能である。
【００５７】
図３は本発明の第２の実施形態を示すブロック図である。
【００５８】
ここで、図１に示した第１の実施形態との相違点は、四角形検出手段４により検出された四角形についてテレビ画面らしさを検証するための検証手段５を設けている点である。
【００５９】
なお、撮像手段１、メモリ２、フレーム間差分算出手段３、および四角形検出手段４は、図１に示した構成要素と同じものであり、同一符号を付している。
【００６０】
図４は第２の実施形態の動作を説明するためのフローチャートである。
【００６１】
まず撮像手段１は、撮像した画像データをフレーム間差分算出手段３へ送出する（ステップ２０１）。
【００６２】
フレーム間差分算出手段３は、撮像手段１から送出されてくる画像データとメモリ２に保存されている過去の画像データとの差分を算出して差分画像データを生成し（ステップ２０２）、撮像手段１から送出された画像データを過去の画像データとしてメモリ２に保存する（ステップ２０３）。
【００６３】
フレーム間差分算出手段３は、予め定められた閾値で差分画像データを２値化して２値化差分画像データを生成し（ステップ２０４）、四角形検出手段４は、２値化差分画像データに基づき四角形を検出する（ステップ２０５）。
【００６４】
検証手段５は、四角形検出手段４により検出された四角形について、テレビ画面として適当であるか否かを検証する（ステップ２０６）。
【００６５】
検証手段５の検証方法としては、例えば、四角形検出手段４により検出された複数の四角形の内、面積が大きなものをテレビ画面であると判別する。
【００６６】
または、カメラの自動焦点機構やステレオ視により得られる四角形領域までの距離に基づき、検出された四角形の実際のサイズを算出し、そのサイズがテレビ画面に該当するか否かを検証する。なお、ステレオ視により距離を算出する方法については、例えば、文献「３次元ビジョン」（徐、辻著、共立出版（１９９８））に記載されている。
【００６７】
その後、テレビ受像機の検出動作を停止するまで、ステップ２０１〜ステップ２０６を繰り返す（ステップ２０７）。
【００６８】
このように検証手段５を設けることにより、テレビ受像画面以外にも動くものがあって複数の四角形が検出された場合においても、テレビ画面を確実に判別できるので、テレビ受像機の検出精度を高くすることができる。
【００６９】
図５は本発明の第３の実施形態を示すブロック図である。
【００７０】
この第３の実施形態では、放送受信手段を設けて検出対象のテレビ受像機と同じ放送チャンネルを受信し、放送受信手段の映像データと撮像手段の画像データとを照合することにより、テレビ画面を判別するように構成する。
【００７１】
図５において、撮像した画像データを出力するビデオカメラ等の撮像手段１と、検出対象のテレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段６と、チャンネル特定手段で特定された放送チャンネルを受信する放送受信手段７と、放送受信手段７で受信した画像データと撮像手段１の画像データとを照合してテレビ画面を探索する照合手段８とを有している。
【００７２】
次に図６に示すフローチャートを参照して動作を説明する。
【００７３】
撮像手段１は、撮像した画像データを照合手段８へ送出する（ステップ３０１）。
【００７４】
チャンネル特定手段６は、検出対象のテレビ受像機が受信している放送チャンネルを特定する（ステップ３０２）。
【００７５】
ここで、チャンネル特定手段６がチャンネルを特定する方法として、第１の例は、音声・文字・ＧＵＩなどのインタフェースを介してユーザに問い合わせる方法である。第２の例は、インタネットや赤外線やその他の通信回線を介してテレビ受像機と通信することによりテレビ受像機の動作状態情報（受信中の放送チャンネル等の情報）を取得する方法である。
【００７６】
また第３の例は、放送受信手段７に一定周期で複数の放送チャンネルを順次受信させ、照合手段８における照合結果により特定する方法。第４の例は、チャンネル特定手段６にマイクを設け、放送受信手段７に一定周期で複数の放送チャンネルを順次受信させてそのテレビ音声信号を出力させ、マイクで取得したテレビ受像機からの音声と放送受信手段７で受信した音声信号とを照合することにより特定する方法である。
【００７７】
なお、上述した方法を組み合わせて放送チャンネルを特定するようにしてもよい。
【００７８】
チャンネル特定手段６がテレビ受像機の受信チャンネルを特定できた場合（ステップ３０３）、放送受信手段７は特定された放送チャンネルの映像信号を画像データ化して照合手段へ送出する（ステップ３０４）。
【００７９】
照合手段８は、放送受信手段７により受信された画像が撮像手段１で撮像された画像中のどこに映っているかを算出し、テレビ画面を判別する（ステップ３０５）。
【００８０】
照合手段８での照合方法の第１の例は、濃淡や色分布のヒストグラムを用いる方法である。
【００８１】
まず、放送受信手段７の画像データに基づき、濃淡または色分布のヒストグラムを作成する。ここで、濃淡値または色を表すベクトルをｘとし、ベクトルｘの頻度をｈ（ｘ）とする。
【００８２】
また、撮像手段１で撮像された画像を複数の小領域に分割し、それぞれの小領域毎に濃淡または色分布のヒストグラムを作成する。ここで、各小領域に番号を付け、番号ｎの小領域についての濃淡値または色を表すベクトルをｘとし、ベクトルｘの頻度をＨ（ｎ，ｘ）とする。
【００８３】
そして、ｈ（ｘ）とＨ（ｎ，ｘ）との差が最小となる小領域をテレビ画面の位置として検出する。
【００８４】
第２の例は、画像列の変化に着目する方法である。
【００８５】
例えば、第１の例で示したヒストグラムなどの時系列の変化が撮像された画像と受信した画像で一致するかどうかを比較し、その差が最も小さい小領域をテレビの位置として検出する。
【００８６】
なお、時系列の変化の抽出に関しては、例えば、文献「コンピュータビジョン技術評論と将来展望」第１７章（松山他編、新技術コミュニケーションズ（１９９８））に記載されているシーン解析の技術を用い、照合する各画像からシーンチェンジの時刻を抽出し、一致しているかどうかを評価することにより実現できる。
【００８７】
その後、テレビ受像機の検出動作を停止するまで、ステップ３０１〜ステップ３０５を繰り返す（ステップ３０６）。
【００８８】
このようにすることにより、フレーム間差分データに基づき四角形を検出する第１および第２の実施形態とは異なる方法でテレビ受像機を検出できる。
【００８９】
図７は本発明の第４の実施形態を示すブロック図である。
【００９０】
この第４の実施形態は、図３に示した第２の実施形態および図５に示した第３の実施形態を組み合わせた構成となっている。
【００９１】
なお、撮像手段１、メモリ２、フレーム間差分算出手段３、および四角形検出手段４は、図３に示した第２の実施形態の構成要素と同じものであり、同一符号を付している。
【００９２】
図７において、撮像した画像データを出力するビデオカメラ等の撮像手段１と、撮像手段１から出力される画像データを一時保存するメモリ２と、メモリ２に保存されている過去の画像データと現在の画像データとのフレーム間差分を算出し予め決められた閾値により２値化して２値化フレーム間差分データを出力するフレーム間差分算出手段３と、２値化フレーム間差分データに基づき四角形を検出する四角形検出手段４と、四角形検出手段４により検出された四角形についてテレビ画面らしさを検証する検証手段９とを備えている。
【００９３】
また検証手段９は、検出対象のテレビ受像機が受信している放送チャンネルを特定するチャンネル特定手段９１と、チャンネル特定部で特定された放送チャンネルを受信する放送受信手段９２と、放送受信手段９２の受信した画像データおよび撮像手段１の画像データ並びに四角形検出手段４により検出された四角形を照合してテレビ画面を探索する照合手段９３とを有している。
【００９４】
なお、撮像手段１、メモリ２、フレーム間差分算出手段３および四角形検出手段４については、図３に示した第２の実施形態と同じであるので、説明は省略する。また、検証手段９のチャンネル特定手段９１および放送受信手段９２については、図５に示した第３の実施形態と同じであるので、説明は省略する。
【００９５】
ここで、検証手段９の照合手段９３について説明する。
【００９６】
照合手段９３は、放送受信手段により生成された受信映像の画像データを、四角形検出手段で抽出された四角形と合同な四角形の画像データに変換し、画像マッチングして同一か否かを判定する。そして、同一であると判定された四角形をテレビ画面であると判別する。
【００９７】
なお、画像マッチングの方法としては、輝度値や色の差の絶対値や二乗和、エッジ抽出等の画像の特徴を抽出して比較する等の様々な方法を用いることができる。また、文献「コンピュータ画像処理入門」５章（田村監修、総研出版（１９８５））などに記載されている画像マッチング方法を用いて実現してもよい。
【００９８】
図８は本発明の第５の実施形態を示すブロック図である。
【００９９】
この第５の実施形態では、テレビ受像機の受信チャンネルの切替等の操作を遠隔操作できるリモコン等の遠隔操作手段１０を設け、テレビ画面の画像を強制的に変化させることにより、テレビ画面の画像変化が少なくて差分が十分に得られない場合や、受信している放送チャンネルの特定ができない場合や、あるいはテレビ放送以外のビデオ画像が画面に表示されている場合等に対応できるように構成する。
【０１００】
図８において、撮像した画像データを出力するビデオカメラ等の撮像手段１と、撮像手段１から出力される画像データを一時保存するメモリ２と、メモリ２に保存されている過去の画像データと現在の画像データとのフレーム間差分を算出し予め決められた閾値により２値化したフレーム間差分データを出力するフレーム間差分算出手段３と、テレビ受像機を遠隔操作するための遠隔操作手段１０と、この遠隔操作手段１０の操作に同期して画像データの変化領域を算出し、テレビ画面を判別する変化領域検出手段１１とを有している。
【０１０１】
ここで、遠隔操作手段１０としては、例えば、赤外線信号を送出してテレビ受像機を操作できるリモコンや、ＬＡＮを介してテレビ受像機を操作できる装置や、テレビ放送電波と同じ周波数の微少電波を送出してテレビ画面に変化を生じさせる装置等で実現できる。
【０１０２】
次に図９に示すフローチャートを参照して第５の実施形態の動作を説明する。
【０１０３】
まず撮像手段１は、撮像した画像データをフレーム間差分算出手段３へ送出する（ステップ４０１）。
【０１０４】
フレーム間差分算出手段３は、撮像手段１から送出されてくる画像データとメモリ２に保存されている過去の画像データとの差分を算出して差分画像データを生成し（ステップ４０２）、撮像手段１から送出された画像データを過去の画像データとしてメモリ２に保存する（ステップ４０３）。
【０１０５】
フレーム間差分算出手段３は、予め定められた閾値で差分画像データを２値化して２値化差分画像データを生成し、変化領域検出手段１１へ送出する（ステップ４０４）。
【０１０６】
遠隔操作手段１０は、テレビ画面の画像に変化を生じさせるように、検査対象のテレビ受像機の受信チャンネルを別チャンネルに切り替えさせるリモコン信号等を送出する（ステップ４０５）。
【０１０７】
変化領域検出手段１１は、遠隔操作手段１０によってテレビ画面の画像に変化が生じる前後の２値化差分画像データを比較し、差異の生じた領域をテレビ画面であると判別することによりテレビ受像機を検出する（ステップ４０６）。
【０１０８】
その後、テレビ受像機の検出動作を停止するまで、ステップ４０１〜ステップ４０６を繰り返す（ステップ２０７）。
【０１０９】
このようにすることにより、テレビ画面の画像変化が少なくて差分が十分に得られない場合や、受信している放送チャンネルの特定ができない場合や、あるいはテレビ放送以外のビデオ画像が画面に表示されている場合でも、撮像した画像に基づきテレビ受像機を精度良く判別できる。
【０１１０】
【発明の効果】
以上説明したように本発明によれば、テレビ画面の画像が時間とともに変化することを利用して撮像画像に基づきテレビ画面を判別することにより、検出対象物に専用のマーカや発光体を設けることなく、またロボットにレーザ計測装置を設けることなく、撮像した画像に基づきテレビ受像機を精度良く判別しその位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示すブロック図である。
【図２】図１に示した第１の実施形態の動作を説明するためのフローチャートである。
【図３】本発明の第２の実施形態を示すブロック図である。
【図４】図３に示した第２の実施形態の動作を説明するためのフローチャートである。
【図５】本発明の第３の実施形態を示すブロック図である。
【図６】図５に示した第３の実施形態の動作を説明するためのフローチャートである。
【図７】本発明の第４の実施形態を示すブロック図である。
【図８】本発明の第５の実施形態を示すブロック図である。
【図９】図８に示した第５の実施形態の動作を説明するためのフローチャートである。
【図１０】長方形のテレビ画面がアフィン変換された状態を示す図である。
【符号の説明】
１    撮像手段
２    メモリ
３    フレーム間差分算出手段
４    四角形検出手段
５，９    検証手段
６，９１    チャンネル特定手段
７，９２    放送受信手段
８，９３    照合手段
１０    遠隔操作手段
１１    変化領域検出手段
【図１】
2005004697.tif 000003
【図２】
2005004697.tif 000004
【図３】
2005004697.tif 000005
【図４】
2005004697.tif 000006
【図５】
2005004697.tif 000007
【図６】
2005004697.tif 000008
【図７】
2005004697.tif 000009
【図８】
2005004697.tif 000010
【図９】
2005004697.tif 000011
【図１０】
2005004697.tif 000012