(57)【要約】【課題】テレビ受像機の位置を認識し放送チャンネルを識別する際の制約が少ないチャンネル識別システム、装置、方法及びプログラムを提供すること。【解決手段】チャンネル識別システム１は、互いに通信接続されたロボット１０及び判定サーバ２０を有し、ロボット１０は、撮像部１１と、撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出する検出部１２と、検出された領域内の画像情報を抽出する抽出部１４と、画像情報を判定サーバ２０に送信する通信部１５と、を備え、判定サーバ２０は、チャンネル毎の放送映像の画像情報を放送時刻と対応付けて記憶する記憶部２２と、受信した画像情報を、当該画像情報の撮像時刻に対応する記憶された画像情報と比較し、マッチング度合いに基づいて、テレビ受像機が選局しているチャンネルを判定する判定部２３と、を備える。【選択図】図１
2018019156.tif 000002
【特許請求の範囲】
【請求項１】
互いに通信接続された端末及びサーバを有し、
前記端末は、
撮像部と、
前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出する検出部と、
前記検出部により検出された領域内の画像情報を抽出する抽出部と、
前記画像情報を前記サーバに送信する通信部と、を備え、
前記サーバは、
チャンネル毎の放送映像の画像情報を放送時刻と対応付けて記憶する記憶部と、
前記端末から受信した画像情報を、当該画像情報の撮像時刻に対応する前記記憶部に記憶された画像情報と比較し、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定する判定部と、を備えるチャンネル識別システム。
【請求項２】
前記抽出部は、前記画像情報として、前記領域内の特徴点、及び当該特徴点毎の特徴量を抽出し、
前記記憶部は、前記放送映像の特徴点、及び当該特徴点毎の特徴量を記憶する請求項１に記載のチャンネル識別システム。
【請求項３】
前記抽出部は、前記領域内の画像をテレビ画面に相当する所定の形状に変換した後、前記領域内の画像情報を抽出する請求項１又は請求項２に記載のチャンネル識別システム。
【請求項４】
前記端末は、前記領域が前記撮像部により撮像された画像の外縁を含む場合、前記撮像部の撮像方向を当該外縁の方向へ移動させるための第１制御部を備える請求項１から請求項３のいずれかに記載のチャンネル識別システム。
【請求項５】
前記端末は、前記領域が所定の大きさに満たない場合、当該領域が所定の大きさ以上となるように前記撮像部のズーム設定を調整する第２制御部を備える請求項１から請求項４のいずれかに記載のチャンネル識別システム。
【請求項６】
前記判定部は、前記撮像時刻の前後所定範囲の画像情報を前記記憶部から抽出する請求項１から請求項５のいずれかに記載のチャンネル識別システム。
【請求項７】
撮像部と、
前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出する検出部と、
前記検出部により検出された領域内の画像情報を抽出する抽出部と、
前記画像情報をサーバに送信し、当該サーバに記憶されているチャンネル毎の放送映像の画像情報と比較することにより、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定させる通信部と、を備えるチャンネル識別装置。
【請求項８】
撮像部を備えたコンピュータに、
前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出させ、
検出された領域内の画像情報を抽出させ、
前記画像情報をサーバに送信し、当該サーバに記憶されているチャンネル毎の放送映像の画像情報と比較することにより、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定させるためのチャンネル識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受像機で提示中の放送チャンネルを識別するチャンネル識別装置、チャンネル識別方法及びチャンネル識別プログラムに関する。
【背景技術】
【０００２】
近年、ユーザと生活を共にするパートナーの役割を果たす家庭用ロボットが開発されてきている。このようなロボットは、テレビ受像機を認識して位置を把握することで、テレビ受像機とロボットとの位置関係を利用した制御をすることができる。さらに、テレビ受像機とロボットとの位置関係を把握した上で、テレビ受像機で選局中の放送チャンネルを識別することにより、ロボットは、選局中の放送チャンネルに関連した動作及び情報などをユーザに提供できる。
【０００３】
このような状況において、例えば、特許文献１では、自走可能ロボットがテレビ受像機の画面位置を取得するために、画面内の所定の位置に、所定の模様、色又は二次元バーコードなどの標識画像を埋め込む方法が提案されている。
また、特許文献２では、自走可能ロボットが放送チャンネルを特定するために４つの手法が提案されている。第１の手法は、音声又は文字などでユーザに問い合わせる方法である。第２の手法は、インターネット又は赤外線などの通信回線を介してテレビ受像機と通信することでテレビ受像機の動作状態情報を取得する方法である。第３の手法は、放送受信機能をロボットに搭載し、ロボットで受信中の放送チャンネルを順次切り替えて画像データを比較する方法である。第４の手法は、放送チャンネルを順次切り替えて出力させた音声信号を取得し、テレビ受像機から伝播してくる音声信号と比較することでテレビ受像機が受信している放送チャンネルを特定する方法である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１３６２号公報
【特許文献２】特開２００５−４６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザが放送番組を視聴している状況でロボットがテレビ受像機の位置を認識しようとした場合、特許文献１の技術では、テレビ受像機の表示画面内に標識画像が埋め込まれるため、番組視聴の妨げになる。
【０００６】
また、特許文献２の技術によりロボットが放送チャンネルを識別する場合、選局中の放送チャンネルをユーザに問い合わせる第１手法では、ロボットが自動で放送チャンネルを識別することができない。ロボットがテレビ受像機との通信を介して放送チャンネルを識別する第２の手法では、テレビ受像機がロボットとのデータ通信機能を有する必要がある。第３及び第４の手法では、ロボット内に放送受信手段を搭載する必要があり、さらに、放送波を受信できる状況が必要となるため、ロボット本体の位置に制限が生じる。
【０００７】
本発明は、テレビ受像機の位置を認識し放送チャンネルを識別する際の制約が少ないチャンネル識別システム、チャンネル識別装置、チャンネル識別方法及びチャンネル識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係るチャンネル識別システムは、互いに通信接続された端末及びサーバを有し、前記端末は、撮像部と、前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出する検出部と、前記検出部により検出された領域内の画像情報を抽出する抽出部と、前記画像情報を前記サーバに送信する通信部と、を備え、前記サーバは、チャンネル毎の放送映像の画像情報を放送時刻と対応付けて記憶する記憶部と、前記端末から受信した画像情報を、当該画像情報の撮像時刻に対応する前記記憶部に記憶された画像情報と比較し、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定する判定部と、を備える。
【０００９】
前記抽出部は、前記画像情報として、前記領域内の特徴点、及び当該特徴点毎の特徴量を抽出し、前記記憶部は、前記放送映像の特徴点、及び当該特徴点毎の特徴量を記憶してもよい。
【００１０】
前記抽出部は、前記領域内の画像をテレビ画面に相当する所定の形状に変換した後、前記領域内の画像情報を抽出してもよい。
【００１１】
前記端末は、前記領域が前記撮像部により撮像された画像の外縁を含む場合、前記撮像部の撮像方向を当該外縁の方向へ移動させるための第１制御部を備えてもよい。
【００１２】
前記端末は、前記領域が所定の大きさに満たない場合、当該領域が所定の大きさ以上となるように前記撮像部のズーム設定を調整する第２制御部を備えてもよい。
【００１３】
前記判定部は、前記撮像時刻の前後所定範囲の画像情報を前記記憶部から抽出してもよい。
【００１４】
本発明に係るチャンネル識別装置は、撮像部と、前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出する検出部と、前記検出部により検出された領域内の画像情報を抽出する抽出部と、前記画像情報をサーバに送信し、当該サーバに記憶されているチャンネル毎の放送映像の画像情報と比較することにより、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定させる通信部と、を備える。
【００１５】
本発明に係るチャンネル識別プログラムは、撮像部を備えたコンピュータに、前記撮像部により撮像された画像間の差分に基づいて、所定以上の差分が集合している四角形の領域を、テレビ受像機の領域として検出させ、検出された領域内の画像情報を抽出させ、前記画像情報をサーバに送信し、当該サーバに記憶されているチャンネル毎の放送映像の画像情報と比較することにより、マッチング度合いに基づいて、前記テレビ受像機が選局しているチャンネルを判定させる。
【発明の効果】
【００１６】
本発明によれば、テレビ受像機の位置を認識し放送チャンネルを識別する際の制約が少なくなる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係るチャンネル識別システムの機能構成を示す図である。
【図２】実施形態に係る画面領域の検出処理を示すフローチャートである。
【図３】実施形態に係る撮像部の動作例を示す図である。
【図４】実施形態に係る特徴量抽出の動作を示す図である。
【図５】実施形態に係る特徴量のデータ構造例を示す図である。
【図６】実施形態に係るチャンネル特定処理を示すフローチャートである。
【図７】実施形態に係る対応点判定処理を示す概念図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態の一例について説明する。
本実施形態に係るチャンネル識別システム１は、ロボットなどのデバイス（端末）に搭載しているカメラで撮像した画像からテレビ受像機の位置を認識し、認識したテレビ画像の画像特徴量と、放送画像の画像特徴量とを比較することで、テレビ受像機で選局中のチャンネルを識別する。
なお、テレビ受像機は、据え置き型の専用機に限られない。テレビ画面は、例えばＰＣのディスプレイに表示されるアプリケーションウインドウなども含み、放送映像が表示される領域を示す。
【００１９】
図１は、本実施形態に係るチャンネル識別システム１の機能構成を示す図である。
チャンネル識別システム１は、チャンネル識別装置としての複数のロボット１０（端末）と、判定サーバ２０とを備える。複数のロボット１０（１０−１、２、・・・、Ｎ）と判定サーバ２０とは、それぞれインターネットなどを介して通信接続されている。
なお、チャンネル識別装置は、家庭用のロボット１０には限られず、カメラを備えた他の情報処理装置、例えばスマートフォン又はタブレット端末などであってもよい。
【００２０】
ロボット１０は、撮像部１１と、検出部１２と、制御部１３（第１制御部、第２制御部）と、抽出部１４と、通信部１５とを備える。
判定サーバ２０は、抽出部２１と、記憶部２２と、判定部２３とを備える。
【００２１】
撮像部１１は、動画又は静止画を撮像するカメラであり、撮像、ズーム、輝度の変更などが制御部１３からの制御データにより制御される。また、撮像部１１は、制御部１３からの制御データによりカメラ方向（撮像方向）を変更する。
【００２２】
検出部１２は、撮像部１１により撮像された画像（フレーム）間の差分に基づいて、所定以上の差分がある画素が集合している四角形の領域を、テレビ受像機の領域として検出する。
【００２３】
制御部１３は、検出部１２による検出結果に応じて、撮像部１１の撮像方向又はズームを制御する。
具体的には、検出された領域が撮像部１１により撮像された画像の外縁を含む場合、すなわち、テレビ受像機の一部のみが撮像されている場合、制御部１３（第１制御部）は、撮像部１１の撮像方向をこの外縁の方向へ移動させる。
また、検出された領域が所定の大きさに満たない場合、制御部１３（第２制御部）は、この領域が所定の大きさ以上となるように撮像部のズーム設定を調整する。
【００２４】
図２は、本実施形態に係るテレビ受像機の画面領域の検出処理を示すフローチャートである。
なお、この検出処理では、一例としてケニーのエッジ検出アルゴリズム（例えば、「ディジタル画像処理［改訂新版］、ｐｐ２３２〜２３３、画像情報教育振興協会、２０１５」参照）を用いている。
【００２５】
ステップＳ１において、検出部１２は、撮像部１１で撮像された画像データを取得する。取得する画像データは、同位置で撮像した、例えば動画における連続したフレーム、又は撮像時刻が連続した複数の静止画像であってよい。
【００２６】
ステップＳ２において、検出部１２は、ステップＳ１で取得した複数の画像データを用いて、各画素における差分を算出する。画素（ｘ，ｙ）における画素値は、例えば輝度Ｇ（ｘ，ｙ）である。これにより、検出部１２は、時間的に連続する画像間で動きのある領域を、各画素の差分値が集合している領域として切り出す。
【００２７】
ステップＳ３において、検出部１２は、画像内のエッジ成分を検出すために、まずステップＳ２で得られた差分値からなる差分画像に対して、ノイズの影響を減らすために平滑化処理を施す。例えば、検出部１２は、ガウシアンフィルタを用いて差分画像を平滑化する。
検出部１２は、平滑化した差分画像を、さらに所定の閾値により２値化してもよい。
【００２８】
ステップＳ４において、検出部１２は、ｘ方向及びｙ方向の勾配ベクトルを、各方向に対する輝度値の微分により算出し、勾配強度及び勾配方向を算出する。
なお、ｘ方向の勾配ベクトルをｆｘ（ｘ，ｙ）、ｙ方向の勾配ベクトルをｆｙ（ｘ，ｙ）とすると、勾配強度ｇ（ｘ，ｙ）及び勾配方向ｄ（ｘ，ｙ）は、次の式（１）及び（２）で表される。
ｇ（ｘ，ｙ）＝（ｆｘ（ｘ，ｙ）２＋ｆｙ（ｘ，ｙ）２）１／２  ・・・（１）
ｄ（ｘ，ｙ）＝ｔａｎ−１（ｆｙ（ｘ，ｙ）／ｆｘ（ｘ，ｙ））  ・・・（２）
【００２９】
ステップＳ５において、検出部１２は、ステップＳ４の勾配強度を用いて、差分画像内のエッジ成分を検出する。エッジ点は、注目画素の近傍８点に比べて注目画素の勾配強度が局所的に最大になる点として定義される。
このとき、検出部１２は、一定の閾値Ｔｈを用いて、勾配強度が閾値Ｔｈ以上であればエッジ点とし、式（３）によりエッジ点のみを白色（Ｇ（ｘ，ｙ）＝１）とした画像を生成する。
ｇ（ｘ，ｙ）≧Ｔｈ：Ｇ（ｘ，ｙ）＝１
ｇ（ｘ，ｙ）＜Ｔｈ：Ｇ（ｘ，ｙ）＝０  ・・・（３）
【００３０】
なお、検出部１２は、勾配強度に対して、上側の閾値及び下側の閾値を設け、両閾値の間の勾配強度の点をエッジ点として検出してもよい。
また、輝度の勾配を検出する手法は、これに限定されず、例えば、Ｓｏｂｅｌオペレータ又はＰｒｅｗｉｔｔオペレータなどが用いられてもよい。
【００３１】
ステップＳ６において、検出部１２は、ステップＳ５で検出された、画像内の直線の候補であるエッジ成分から、テレビ受像機と判断できる四角形の領域を検出する。
具体的には、検出部１２は、まず、テレビ受像機の候補となる四角形領域を構成する線分を抽出する。線分を抽出するには、ハフ変換（例えば、「ディジタル画像処理［改訂新版］、ｐｐ２３８〜２４３、画像情報教育振興協会、２０１５」参照）などが利用可能である。
次に、検出部１２は、任意に選定した線分から別の線分が交差する交点を辿っていき、最初に選定した線分に辿りつき、かつ、交点が合計で４箇所ある場合に、辿った線分の組み合わせを四角形と判定し、この四角形の領域をテレビ受像機と判断する。一方、交点が４箇所未満（例えば、２箇所）の場合は、テレビ受像機の一部が検出されていると判断する。
【００３２】
ステップＳ７において、制御部１３は、ステップＳ６において四角形の領域を検出できたか否かを判定する。この判定がＹＥＳの場合、処理は終了し、判定がＮＯの場合、処理はステップＳ８に移る。
【００３３】
ステップＳ８において、制御部１３は、撮像部１１の撮像方向を変更し、ステップＳ１からＳ７を繰り返す。
【００３４】
図３は、本実施形態に係る制御部１３の制御による撮像部１１の動作例を示す図である。
検出部１２は、撮像した画像内における線分の交点３１の数を用いて、画像内にテレビ受像機Ａが存在しているか否かを判断する。図３（ａ）のように、テレビ受像機Ａの全体が検出されていれば、制御部１３は、撮像部１１に対する制御データの送信を実行しない。
【００３５】
一方、図３（ｂ）のように、撮像した画像内にテレビ受像機Ａの一部のみが存在していれば、制御部１３は、テレビ受像機Ａが撮像範囲に入るように撮像部１１の角度を制御する。
例えば、制御部１３は、撮像部１１の向いている角度を１５度右に変更するなどの制御データを送信する。また、撮像した画像内にテレビ受像機Ａが検出されなければ、例えば、制御部１３は、撮像部１１の向いている角度を３０度右に変更するなどの制御データを、撮像部１１へ送信する。
【００３６】
図１に戻り、抽出部１４は、検出部１２によりテレビ受像機と認識された画像領域から、画像情報として特徴点、及びこれら特徴点毎の特徴量を抽出する。
このとき、抽出部１４は、領域内の画像をテレビ受像機の画面に相当する所定の形状、すなわち長方形に変換した後、特徴量を抽出する。
【００３７】
特徴量の種類は限定されないが、以下では、一例としてＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）（例えば、「ディジタル画像処理［改訂新版］、ｐｐ２３４〜２３７、画像情報教育振興協会、２０１５」参照）を用いた手法について説明する。
【００３８】
図４は、本実施形態に係る抽出部１４における特徴量抽出の動作を示す図である。
抽出部１４は、検出部１２で用いた勾配強度及び勾配方向を利用して、特徴点４０における方向（オリエンテーション４１）と、特徴点周辺における１２８次元の特徴量とを算出する。
【００３９】
まず、抽出部１４は、勾配方向を３６方向（１０度単位）に量子化し、特徴点周辺における局所領域４２内の勾配強度を、特徴点の中心から近いほど高く重み付けして投票し、重み付き勾配方向ヒストグラム４３を作成する。勾配方向ヒストグラム４３の最大値から８０％以上となるピークの方向４４を、局所領域内のオリエンテーション４１とする。
【００４０】
次に、抽出部１４は、オリエンテーション４１に合致するように、特徴点周辺の画素値を取得するための局所領域４２を回転する（４５）。続いて、抽出部１４は、矩形領域の１辺を４ブロック（４６）、そして勾配方向を８方向（４７）に分割して勾配方向ヒストグラムを作成し、４＊４＊８＝１２８次元の特徴量を算出する。
【００４１】
なお、特徴量の抽出手法はこれに限定されるものでなく、例えば、ＳＵＲＦ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）を用いてもよい。
【００４２】
通信部１５は、抽出部１４から取得した画像情報に時刻情報を付加し、インターネットなどの通信回線を利用して判定サーバ２０の判定部２３へ送信する。
ここで、時刻情報は、撮像した時刻で、例えば西暦年、月、日、時、分、秒から構成され、ＹＹＹＹＭＭＤＤｈｈｍｍｓｓという文字列からなる。例えば、２０１６年３月１５日２３時５９分５９秒を表す場合、時刻情報は「２０１６０３１５２３５９５９」となる。
【００４３】
また、通信部１５は、撮像部１１により連続して撮像された複数の画像（フレーム）それぞれの画像情報を送信してもよい。これにより、判定サーバ２０において記憶されている放送映像とのフレームのずれを抑制でき、マッチングできる可能性が向上する。
【００４４】
判定サーバ２０の抽出部２１は、放送中の検出対象となるチャンネルをそれぞれ選局し、定期的に放送画像から、画像情報として、特徴点及びこれら特徴点毎の特徴量を抽出する。
記憶部２２は、抽出部２１から取得した各放送画像の特徴量を放送時刻情報と対応付けて記憶する。
【００４５】
判定部２３は、ロボット１０から受信した特徴量Ｖと、付加されている時刻情報に対応して記憶部２２に記憶されている特徴量Ｖ’とを比較して選局中のチャンネルを特定し、特定したチャンネル番号をロボット１０へ返信する。
【００４６】
このとき、判定部２３は、撮像時刻の前後所定範囲の画像情報（特徴量Ｖ’）を記憶部から抽出し、それぞれを受信した特徴量Ｖと比較してよい。
また、判定部２３は、ロボット１０から画像情報（特徴量Ｖ）を受信した時刻から、ロボット１０での処理時間及び通信時間などを含む所定時間を減じて、撮像時刻を算出してもよい。この場合、ロボット１０から送信される特徴量Ｖ’に時刻情報は付加されなくてよい。
【００４７】
図５は、本実施形態に係る特徴量のデータ構造例を示す図である。
ここでは、ロボット１０の抽出部１４において抽出された特徴量Ｖ（図５（ａ））、及び判定サーバ２０の抽出部２１により抽出された特徴量Ｖ’（図５（ｂ））のデータ構造例を示す。
特徴量Ｖに関するデータは、特徴量を抽出した（ｘ，ｙ）座標位置、オリエンテーションの角度、及び１２８次元の特徴量で構成され、抽出した特徴量の総数はｉ個である。特徴量Ｖ’に関しても同様の構成となるが、抽出した特徴量の総数はｊ個である。
【００４８】
図６は、本実施形態に係る判定部２３によるチャンネル特定処理を示すフローチャートである。
ステップＳ１１において、判定部２３は、ロボット１０の通信部１５から、抽出部１４において抽出された特徴量Ｖを取得する。
【００４９】
ステップＳ１２において、判定部２３は、特徴量Ｖと比較するチャンネル番号を選択する。
ステップＳ１３において、判定部２３は、特徴量Ｖと、ステップＳ１２で選択したチャンネルの放送画像から抽出された特徴量Ｖ’との距離をそれぞれの特徴点毎に算出する。このとき、特徴量Ｖと特徴量Ｖ’とは、付加された時刻情報に基づいて同時刻の情報で比較される。
【００５０】
特徴量Ｖと特徴量Ｖ’との距離は、例えば、ユークリッド距離が用いられる。特徴量Ｖと特徴量Ｖ’とのユークリッド距離ｄｉｓｔ（Ｖ，Ｖ’）は、式（４）で表される。
ｄｉｓｔ（Ｖ，Ｖ’）＝√｛Σ（ｖｋ−ｖｋ’）２｝
Ｖ＝（ｖ１，ｖ２，・・・，ｖ１２８）
Ｖ’＝（ｖ１’，ｖ２’，・・・，ｖ１２８’）  ・・・（４）
【００５１】
ステップＳ１４において、判定部２３は、特徴量Ｖ（Ｖ１，・・・，Ｖｉ）のそれぞれに対して、ステップＳ１３で算出されたユークリッド距離ｄｉｓｔの値が小さい順にソートし、最も距離が小さい点をｄ１、次に小さい点をｄ２とする。
次に、判定部２３は、式（５）を満たす点を画像間の対応点と判定する。
ｄ１＜ｄ２×Ｋ  ・・・（５）
ここで、係数Ｋは、例えばＫ＝０．６を用いるが、撮像部１１の特性を考慮して調整されてよい。
【００５２】
図７は、本実施形態に係る判定部２３における対応点判定処理を示す概念図である。
ロボット１０から取得した撮像画像５１において、例えば、抽出部１４で抽出される特徴量座標を（ｘ１，ｙ１）とする。
次に、判定サーバ２０の抽出部２１で扱う放送画像５２において、抽出される特徴量座標を（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、・・・、（ｘｊ’，ｙｊ’）とする。
【００５３】
図７では、（ｘ１，ｙ１）と（ｘ１’，ｙ１’）、（ｘ１，ｙ１）と（ｘ２’，ｙ２’）、（ｘ１，ｙ１）と（ｘ３’，ｙ３’）、（ｘ１，ｙ１）と（ｘｊ’，ｙｊ’）のユークリッド距離を算出している。この結果、（ｘ１，ｙ１）に対する放送画像５２の特徴点それぞれのユークリッド距離は、ｄｉｓｔ（１）＝１０、ｄｉｓｔ（２）＝７７、ｄｉｓｔ（３）＝６５、ｄｉｓｔ（ｊ）＝８４となっている。
この場合、ｄ１＝ｄｉｓｔ（１）、ｄ１＝ｄｉｓｔ（３）と置き換えられ、条件式（５）を満たす（１０＜６５×０．６＝３９）ので、（ｘ１，ｙ１）に対して（ｘ１’，ｙ１’）が対応点と判定される。
【００５４】
ステップＳ１５において、判定部２３は、撮像画像と放送画像との特徴点の合致率が所定以上か否かを判定する。すなわち、判定部２３は、対応点数をＮｕｍＭ、Ｖ’の特徴点数をＮｕｍＶ’、合致率の閾値をＰＭとすると、式（７）を満たすか否かを判定する。
（ＮｕｍＭ／ＮｕｍＶ’）＞ＰＭ  ・・・（７）
ここで、閾値ＰＭは、例えば０．６とするが、撮像時の環境又は撮像部１１の仕様によって調整されてよい。
この判定がＹＥＳの場合、判定部２３は、チャンネルが合致していると判断し、処理はステップＳ１６に移る。一方、判定がＮＯの場合、処理はステップＳ１２に戻り、判定部２３は、チャンネル番号を変更して、ステップＳ１２〜Ｓ１５を繰り返す。
【００５５】
ステップＳ１６において、判定部２３は、ステップＳ１２で選択したチャンネル番号を、ロボット１０に返信する。
【００５６】
なお、合致すると判断されるチャンネルが存在しない場合、判定部２３は、撮像画像内に検出された領域はテレビ受像機ではない、又は判定サーバ２０が対象としないチャンネルと判断し、エラー出力して処理を終了する。
【００５７】
以上のように、チャンネル識別システム１において、ロボット１０は、撮像部１１で撮像した画像からテレビ受像機を検出し、検出したテレビ受像機の画像の特徴量を算出した後、判定サーバ２０へ送信する。判定サーバ２０は、ロボット１０から送信された特徴量を、記憶されているチャンネル毎のデータと比較することにより、テレビ受像機で選局中のチャンネルを識別する。
本実施形態のチャンネル識別方法では、ロボット１０からインターネットを介して判定サーバ２０に問い合わせするため、複数台のロボット１０−１〜Ｎからの問い合わせに対応できる。
【００５８】
本実施形態によれば、チャンネル識別システム１は、テレビ受像機の画面内に標識画像を埋め込んだり、テレビ受像機に特殊な装置を付加したりすることなく、テレビ受像機の画面部分が時間的に変化する映像であるという特徴から、ロボット１０のカメラで撮像した画像からテレビ受像機を認識できる。
そして、チャンネル識別システム１は、ロボット１０が認識したテレビ画像から画像情報を抽出し、抽出したデータをインターネットなどの通信回線を介して判定サーバ２０へ送信し、判定サーバ２０が受信した画像情報と放送画像の画像情報とを比較して、合致したチャンネル番号をロボット１０に返すことで選局中のチャンネルを識別する。
このように、チャンネル識別システム１は、ロボット１０とテレビ受像機とが通信を行うことなく、テレビ受像機を認識し、さらに、選局中のチャンネルを識別できる。
【００５９】
したがって、チャンネル識別システム１では、テレビ受像機の位置を認識し放送チャンネルを識別する際の制約が少ない。この結果、ロボット１０に放送受信機能を搭載する必要がないのと同時に、テレビ受像機にロボット１０と通信を行うための特別な機能を必要とせず、チャンネルを特定することができる。このため、テレビ受像機がインターネットに接続していない環境、又はロボット１０などのデバイスやテレビ受像機が室内ではなく室外にある環境などにおいても、チャンネル識別システム１によりチャンネルを特定できる。
【００６０】
また、チャンネル識別システム１は、画像情報として特徴点、及び特徴点毎の特徴量を抽出する。したがって、ロボット１０と判定サーバ２０との間の通信負荷、及び判定サーバ２０におけるデータ蓄積量が低減され、さらに、画像情報のマッチング処理が効率化される。
【００６１】
チャンネル識別システム１は、撮像画像から検出したテレビ受像機の領域が長方形の画面形状と異なる場合、例えば画面を正面から撮像していないために台形として検出された場合などには、画面形状に画像変換した後に画像情報を抽出する。したがって、チャンネル識別システム１は、テレビ受像機の撮像画像と放送画像との差異を低減し、チャンネルの識別精度を向上できる。
【００６２】
また、チャンネル識別システム１は、テレビ受像機の一部のみが撮像された場合には、撮像方向を調整してテレビ画面の全体を撮像して画像情報を抽出する。したがって、チャンネル識別システム１は、テレビ受像機を探索することにより、精度良く放送チャンネルを識別できる。
【００６３】
さらに、チャンネル識別システム１は、撮像されたテレビ受像機の領域が所定の大きさに満たない場合、撮像部１１のズームを調整して画像情報を抽出する。したがって、チャンネル識別システム１は、適切な大きさの撮像画像から画像情報を抽出することにより、テレビ受像機の撮像画像と放送画像との差異を低減し、チャンネルの識別精度を向上できる。
【００６４】
チャンネル識別システム１は、ロボット１０から複数の連続した画像情報を判定サーバ２０へ送信する。したがって、チャンネル識別システム１は、ロボット１０と判定サーバ２０とで時刻情報が一致しない場合、例えばフレームが異なり画像が大きく異なる場合であっても、対応する画像情報が得られる可能性が高まるので、チャンネルの識別精度が向上する。
【００６５】
さらに、チャンネル識別システム１は、判定サーバ２０において撮像時刻の前後所定範囲の画像情報とマッチングを試みる。したがって、チャンネル識別システム１は、ロボット１０と判定サーバ２０とで両者が共に正確な時刻情報を持っていない場合にも、対応する画像情報を探索して精度良く放送チャンネルを識別できる。
【００６６】
また、チャンネル識別システム１は、ロボット１０から画像情報を受信した時刻から、想定される処理時間及び通信時間などを減じることにより、撮像時刻を算出できる。したがって、チャンネル識別システム１は、ロボット１０が正確な時刻情報を有していない場合にも、判定サーバ２０において対応する画像情報を適切に選択できる。
【００６７】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００６８】
本実施形態では、制御部１３は、ロボット１０に搭載された撮像部１１（カメラ）の向き及びズームを制御したが、これには限られない。テレビ受像機の全体が写っていない場合、又は形状若しくは大きさが適当でない場合など、ロボット１０全体を移動させることで位置を変更して撮像してもよい。
また、制御部１３は、テレビ受像機と判定される四角形の領域が検出できない場合、音声の方向に撮像部１１を向けて探索してもよい。
さらに、ロボット１０は、撮像部１１による撮像処理を、音声をトリガーとして開始し、定常時の負荷を低減してもよい。
【００６９】
本実施形態では、画像情報として特徴量を用いたが、これには限られず、ロボット１０は、例えば検出したテレビ受像機の領域の画像データそのものを送信してもよい。これにより、通信帯域に余裕があり即時性を必要としない場合には、より精度の良い画像マッチングが可能となる。
一方、特徴量を抽出した場合には、送信データ量を削減しつつも、解像度を落として送信する場合に比べて、マッチングによる判定精度を高く保つことが可能となる。
【００７０】
本実施形態では、テレビ受像機を撮像する端末をロボット１０として説明したが、これには限られず、例えば、スマートフォン又はタブレット端末などの携帯機器に同様の機能を搭載し、ユーザが外出先で使用してもよい。
この場合、ユーザは、例えば街頭テレビを携帯機器のカメラで撮影し、識別されたチャンネルの放送番組を携帯機器で続けて視聴したり、番組の関連情報を取得したりすることができる。
また、この場合、携帯機器は、テレビ受像機の全体を撮像するために、カメラの向き又はズームなどの調整指示を、画面表示又は音声出力してもよい。
【００７１】
チャンネル識別システム１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００７２】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【００７３】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００７４】
１  チャンネル識別システム
１０  ロボット（端末）
１１  撮像部
１２  検出部
１３  制御部
１４  抽出部
１５  通信部
２０  判定サーバ（サーバ）
２１  抽出部
２２  記憶部
２３  判定部
【図１】
2018019156.tif 000003
【図２】
2018019156.tif 000004
【図３】
2018019156.tif 000005
【図４】
2018019156.tif 000006
【図５】
2018019156.tif 000007
【図６】
2018019156.tif 000008
【図７】
2018019156.tif 000009