(57)【特許請求の範囲】
【請求項１】
画像認識に基づくスマートテレビのインタラクションコントロールシステムであって、
カードの画像を採集するための画像採集モジュールと、
カードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力するためのジェスチャー認識モジュールであって、前記ジェスチャー認識結果が、チャンネルを変えること、番組を選択すること或いは内容を検索することであるジェスチャー認識モジュールと、
前記カードの画像の内容を認識してカード内容認識結果を出力するためのカード認識モジュールと、
前記ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作を行うためのインタラクションコントロールモジュールと、を含むことを特徴とする画像認識に基づくスマートテレビのインタラクションコントロールシステム。
【請求項２】
前記カードの画像は、テレビ局のマーク、文字またはＱＲコードであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記画像採集モジュールは使用者の顔の画像を採集することに用いられ、
前記画像認識に基づくスマートテレビのインタラクションコントロールシステムは、
使用者の顔の画像を認識してこれに対応する既存使用者の情報を出力するための顔認識モジュールと、
前記対応する既存使用者の情報により該使用者の好みの応用情報を獲得し、かつ前記好みの応用情報を前記インタラクションコントロールモジュールに出力するための個人応用管理モジュールと、を含むことを特徴とする請求項１に記載のシステム。
【請求項４】
前記顔認識モジュールは、使用者の顔に対応する既存使用者の情報があるかどうかを判断し、あると判断した場合、前記対応する既存使用者の情報を出力し、ないと判断した場合、前記個人応用管理モジュールによって新使用者の情報を登録するための検出ユニットと、
前記新使用者の情報を記憶してそれを既存使用者の情報とするための記憶ユニットと、を含むことを特徴とする請求項３に記載のシステム。
【請求項５】
前記個人応用管理モジュールは、新使用者の情報を登録してそれを既存使用者の情報とするための登録ユニットと、
使用者が応用を観覧した回数または時間を総計し、かつ使用者が応用を観覧した回数または時間により該使用者の好きな応用情報を自動的に更新するための自動更新ユニットと、を含むことを特徴とする請求項３に記載のシステム。
【請求項６】
使用者がジェスチャーモードを予め設定してプリセットジェスチャーモードとし、前記プリセットジェスチャーモードと使用者のジェスチャーとを比較することによりジェスチャー認識結果を出力するためのジェスチャーモード設定モジュールを含むことを特徴とする請求項１に記載のシステム。
【請求項７】
画像認識に基づくスマートテレビのインタラクションコントロール方法であって、
カードの画像を採集するステップと、
カードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力するステップであって、前記ジェスチャー認識結果は、チャンネルを変えること、番組を選択すること或いは内容を検索することであるステップと、
前記カードの画像の内容を認識してカード内容認識結果を出力するステップと、
前記ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作を行うステップとを含むことを特徴とする画像認識に基づくスマートテレビのインタラクションコントロール方法。
【請求項８】
前記カードの画像は、テレビ局のマーク、文字またはＱＲコードであることを特徴とする請求項７に記載の方法。
【請求項９】
使用者の顔の画像を採集するステップと、
前記使用者の顔の画像を認識してこれに対応する既存使用者の情報を出力するステップと、
前記対応する既存使用者の情報により該使用者の好みの応用情報を獲得するステップと、
前記好みの応用情報により希望の応用を選択するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記使用者の顔の画像を認識してこれに対応する既存使用者の情報を出力するステップは、
前記使用者の顔の画像に対応する既存使用者の情報があるかどうかを判断し、あると判断した場合、対応する既存使用者の情報を出力し、ないと判断した場合、新使用者の情報を登録するステップと、
前記新使用者の情報を記憶してそれを既存使用者の情報とするステップと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記対応する既存使用者の情報により該使用者の好みの応用情報を獲得するステップは、
使用者が応用を観覧した回数または時間を総計し、かつ使用者が応用を観覧した回数または時間により該使用者の好みの応用情報を自動的に更新するステップと、
更新された使用者の好みの応用情報を獲得するステップとを含むことを特徴とする請求項９に記載の方法。
【請求項１２】
ジェスチャーモードを使用者が予め設定しプリセットジェスチャーモードとし、前記プリセットジェスチャーモードと使用者のジェスチャーとを比較することによりジェスチャー認識結果を出力するステップを含むことを特徴とする請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術およびテレビのコントロール技術に関し、特に画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法に関するものである。
【背景技術】
【０００２】
テレビは、余暇に利用される家庭用家電の一種であり、現在数多くの家庭で使われている。経済と技術の発展に伴って、特に有線テレビ技術、デジタルテレビ技術の発展に伴って、現在、一般の家庭でも数多くのチャンネル、例えば数十、百以上のチャンネルを受信することができる。テレビ番組を見る視聴者は、多数のチャンネルのうちよく見るチャンネルの番号を覚え、リモコンのボタンでチャンネルの番号を入力することにより、希望のチャンネルを選択している。希望のチャンネルの番号を忘れてしまった場合、リモコンでチャンネルを上方向または下方向へ１つずつ変える、すなわち、チャンネルを順番に変えていくことにより、希望のチャンネルを選択することができるが、時間がかかるという問題がある。したがって、多数のテレビチャンネルの中から、希望するチャンネルを迅速に選択することができる方法を研究する必要がある。
【０００３】
現在、よく利用される方法は、希望チャンネルを設定することにより、事前に希望するチャンネルを希望チャンネルリストに入れておき、リモコン上の希望チャンネルボタンを押して希望チャンネルリストを表示させた後、該リストから希望するチャンネルを迅速に選択する方法である。
【０００４】
しかしながら、当該方法では、一人または多数の人の希望するチャンネルを同じ希望チャンネルリストに入れるしかない。１台のテレビの使用者が多いとき、希望チャンネルリストに入れたチャンネルの数も増加するので、チャンネルの管理が面倒になるとともに時間がかかる。したがって、当該方法により希望のチャンネルを迅速に検索することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、異なる使用者であっても希望のチャンネルを迅速かつ容易に選択でき、さらに番組を迅速かつ容易に検索することができる、画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法を提供することにある。
【課題を解決するための手段】
【０００６】
画像認識に基づくスマートテレビのインタラクションコントロールシステムであって、
カードの画像を採集するための画像採集モジュールと、
カードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力するためのジェスチャー認識モジュールであって、前記ジェスチャー認識結果が、チャンネルを変えること、番組を選択すること或いは内容を検索することであるジェスチャー認識モジュールと、
前記カードの画像の内容を認識してカード内容認識結果を出力するためのカード認識モジュールと、
前記ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作を行うためのインタラクションコントロールモジュールとを含むことを特徴とするインタラクションコントロールシステム。
【０００７】
画像認識に基づくスマートテレビのインタラクションコントロール方法であって、
カードの画像を採集するステップと、
カードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力するステップであって、前記ジェスチャー認識結果は、チャンネルを変えること、番組を選択すること或いは内容を検索することであるステップと、
前記カードの画像の内容を認識してカード内容認識結果を出力するステップと、
前記ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作を行うステップとを含むことを特徴とするインタラクションコントロール方法。
【発明の効果】
【０００８】
上述した画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法は、画像採集モジュールによりカードの画像を採集し、ジェスチャー認識モジュールによりカードを持っている使用者のジェスチャーを認識するとともにジェスチャー認識結果を出力する。カード認識モジュールは当該カードの画像の内容を認識するとともにカード内容認識結果を出力し、当該インタラクションコントロールモジュールは当該ジェスチャー認識結果とカード内容認識結果により、チャンネルを変えること、番組を選択すること或いは内容を検索することなどのインタラクティブ操作をする。これにより、リモコンのボタンを押してチャンネルを選択する必要がなくなり、異なる使用者であっても希望のチャンネルを迅速かつ容易に選択でき、さらに番組を迅速かつ容易に検索することが可能となる。
【０００９】
本発明の実施例の技術的事項または従来の技術的事項を詳しく説明するため、以下、本発明の実施例または従来の事項に係る図面を簡単に説明する。注意されたいことは、下記の図面は本発明の好適な実施例を示しているに過ぎず、本技術分野の技術者は創造的な研究をしなくても下記の図面によって他の図面を想到することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の、画像認識に基づくスマートテレビのインタラクションコントロールシステムを示すモジュール図である。
【図２】カードの画像が文字である場合を示す図である。
【図３】カードの画像がテレビ局のマークである場合を示す図である。
【図４】本発明の一実施例においてカードを持っている使用者のジェスチャーを示す図である。
【図５】本発明の他の実施例においてカードを持っている使用者のジェスチャーを示す図である。
【図６】本発明の第三実施例においてカードを持っている使用者のジェスチャーを示す図である。
【図７】本発明の実施例の画像認識に基づくスマートテレビのインタラクションコントロール方法を示す流れ図である。
【図８】本発明の他の実施例の、画像認識に基づくスマートテレビのインタラクションコントロール方法を示す流れ図である。
【発明を実施するための形態】
【００１１】
図１を参照すると、本発明の実施例における画像認識に基づくスマートテレビのインタラクションコントロールシステムは、画像採集モジュール１１０、ジェスチャー認識モジュール１２０、カード認識モジュール１３０、インタラクションコントロールモジュール１４０、顔認識モジュール１５０および個人応用管理モジュール１６０を含む。
【００１２】
画像採集モジュール１１０は、専用のカメラであり、カードの画像と使用者の顔の画像を採集するために用いられる。当該カードの画像は、テレビ局のマーク、文字またはＱＲコードである。他の実施例において、当該カードの画像は、アニメ、動物、果物などの様々な画像でもよい。
【００１３】
使用者がテレビのチャンネルをＣＮＢＣに変えたい場合、使用者は、図２に示す「ＣＮＢＣ」という４文字が印刷されたカード、または図３に示すＣＮＢＣテレビ局のマークが印刷されたカードを、カメラの可視範囲に置けば、画像採集モジュール１１０は、図２または図３に示すカードの画像を採集することができる。例えば、使用者は「深セン（中国の地名）スポーツ」というチャンネルを最も好み、使用者の顔を認識することによりこのチャンネルを迅速に選択したい場合、使用者の顔をカメラの可視範囲内に向けると、画像採集モジュール１１０は使用者の顔の画像を採集する。
【００１４】
ジェスチャー認識モジュール１２０はカードを持っている使用者のジェスチャーを認識してジェスチャーの認識結果を出力する。ジェスチャー認識結果は、チャンネルの切替、番組の選択或いは内容の検索である。具体的に、使用者に異なるチャンネルの需要があるとき、使用者はカードを持って画像採集モジュール１１０の可視範囲内で異なるジェスチャーをする。使用者がカードを持って画像採集モジュール１１０の可視範囲内に現れると、ジェスチャー認識モジュール１２０は、自動的に画像採集モジュール１１０の可視範囲を、カードの内容を採集するための最適範囲に調節し（例えば、カードに合わせてズームインする）、同時に、ジェスチャー認識モジュール１２０はジェスチャー認識結果を出力する。
【００１５】
本実施例におけるシステムは、使用者がジェスチャーモードを予め設定してプリセットジェスチャーモードとするためのジェスチャーモード設定モジュールを更に含む。カードを持っている使用者が、図４に示すジェスチャーをする場合、ジェスチャー認識モジュール１２０は、使用者の当該ジェスチャーと予め設定されたジェスチャーモードとを比較し、「チャンネルを変える」というジェスチャー認識結果を出力する。カードを持っている使用者は、図５に示すジェスチャーをする場合、ジェスチャー認識モジュール１２０は、使用者の当該ジェスチャーと予め設定されたジェスチャーモードとを比較し、「番組を選択する」というジェスチャー認識結果を出力する。カードを持っている使用者が、図６に示すジェスチャーをする場合、ジェスチャー認識モジュール１２０は、使用者の当該ジェスチャーと予め設定されたジェスチャーモードとを比較し、「内容を検索する」というジェスチャー認識結果を出力する。他の実施例において、当該ジェスチャー認識結果は、カードの内容をコピーすること、カードの内容によって直接操作をすること（例えば、テレビの電源を切ったり入れたりすること）であってもよい。
【００１６】
カード認識モジュール１３０は、当該カードの画像の内容を認識してカード内容の認識結果を出力する。当該カードの画像がテレビ局のマーク、文字またはＱＲコードの何れであっても、カード認識モジュール１３０はカードの画像の内容を認識することができる。図２、図４および図５に示すカードの画像の内容は文字であり、図３に示すカードの画像の内容はテレビ局のマークである。カード認識モジュール１３０は、図２と図３に示すカードの画像の内容を認識した後、同一のカード内容認識結果を出力する。
【００１７】
インタラクションコントロールモジュール１４０は当該ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作を行う。また、インタラクションコントロールモジュール１４０は、個人応用管理モジュール１６０が出力した好みの応用情報により該使用者の好みの応用を選択することができる。
【００１８】
具体的に、カードを持っている使用者のジェスチャーとカードの画像が図４に示すとおりである場合、ジェスチャー認識モジュール１２０から出力されるジェスチャー認識結果はチャンネルを変えることであり、カード認識モジュール１３０から出力されるカード内容認識結果は「ＣＣＴＶ３（中国の一テレビ局）」であって、インタラクションコントロールモジュール１４０はテレビのチャンネルを「ＣＣＴＶ３」に変える。
【００１９】
同様に、使用者はあるチャンネルで「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ（番組の名称）」という番組が放送されていることを知っているが、このチャンネルの番号を忘れた場合、該使用者は「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ」という文字が書かれたカードを、図５に示すジェスチャーで持つと、ジェスチャー認識モジュール１２０は「番組を選択する」というジェスチャー認識結果を出力し、カード認識モジュール１３０は「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ」というカード認識結果を出力する。これにより、インタラクションコントロールモジュール１４０はチャンネルを「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ」という番組が放送されているチャンネルに変える。
【００２０】
また、カードを持っている使用者のジェスチャーとカードの画像が図６に示すとおりである場合、ジェスチャー認識モジュール１２０から出力されるジェスチャー認識結果は内容を検索することであり、カード認識モジュール１３０から出力されるカード内容認識結果は「ｌａｄｙ  ｇａｇａ」であって、インタラクションコントロールモジュール１４０は「ｌａｄｙ  ｇａｇａ」に関するすべてのニュース、ビデオ、歌などを表示する。また、カードを持っている使用者のジェスチャーとカードの画像が図６に示すとおりであるが、カード認識モジュール１３０から出力されたカード内容認識結果が「馬」であったとすると、インタラクションコントロールモジュール１４０は「馬」に関するすべての画象、ビデオおよび説明を表示するので、子供の学習を助けることができる。
【００２１】
また、カードを持っている使用者のジェスチャーが図６に示すとおりであり、カードの画像が図５に示すとおりである場合、ジェスチャー認識モジュール１２０から出力されるジェスチャー認識結果は内容を検索することであり、カード認識モジュール１３０から出力されるカード内容認識結果は「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ」となり、インタラクションコントロールモジュール１４０は「Ｔｈｅ  Ｖｏｉｃｅ  ｏｆ  Ｃｈｉｎａ」に関するビデオ情報を表示する。
【００２２】
顔認識モジュール１５０は、使用者の顔の画像を認識するとともに、これに対応する既存使用者の情報を出力する。本実施例において、顔認識モジュール１５０は検出ユニットと記憶ユニットを含む。
【００２３】
検出ユニットは使用者の顔に対応する既存使用者の情報があるかどうかを判断する。あると判断した場合、その既存使用者の情報を出力する。ないと判断した場合、当該個人応用管理モジュール１６０によって新使用者の情報を登録する。
【００２４】
通常、使用者が家族のメンバーであれば、該使用者の情報は既に記憶されている場合が多い。しかしながら、客人が家のテレビを初めて使うとき、顔認識モジュール１５０はこの使用者に対応する既存情報を出力することができない。そのとき、当該検出ユニットは個人応用管理モジュール１６０によって新使用者の情報を登録する。
【００２５】
記憶ユニットは新使用者の情報を記憶しそれを既存使用者の情報とする。
【００２６】
個人応用管理モジュール１６０は前記対応する既存使用者の情報により該使用者の好きな応用情報を獲得し、かつ該好きな応用情報をインタラクションコントロールモジュール１４０に出力する。これによってインタラクションコントロールモジュール１４０は現在の応用から使用者の好きな応用に変えることができる。本発明の一実施例において、応用とは、チャンネル、番組、ゲームおよび学習などを含む。
【００２７】
本実施例において、個人応用管理モジュール１６０は登録ユニットと自動更新ユニットを含む。
【００２８】
登録ユニットは新使用者の情報を登録してそれを既存使用者の情報とする。使用者がテレビを初めて使うとき、登録ユニットによって新使用者の情報を登録した後、この情報を顔認識モジュール１５０の記憶ユニットに記憶させて既存使用者の情報とする。
【００２９】
自動更新ユニットは使用者が応用を観覧する回数または時間を総計し、かつ使用者が応用を観覧する回数または時間により該使用者の好きな応用情報を自動的に更新する。例えば、最初は、使用者はスポーツのチャンネルを好んでいたが、後に娯楽のチャンネルを好むようになった場合、すなわち、常に手動でチャンネルを娯楽のチャンネルに変え、或いは娯楽のチャンネルを観覧した時間が長くなった場合、自動更新ユニットは使用者がチャンネルを観覧する回数または時間を総計し、かつこの回数または時間が所定の閾値に達したとき、当該使用者の好みの応用情報を自動的に更新する。使用者がこのテレビを初めて使うとき、観覧時間が最も長い応用を使用者の好みの応用とする。
【００３０】
本実施例において、観覧回数の閾値を３回とし、観覧時間の閾値を２時間とする。すなわち、使用者が手動でスポーツのチャンネルから娯楽のチャンネルに変えた回数が３回に達し、或いは娯楽のチャンネルを連続的に観覧した時間が２時間に達すると、使用者がテレビを次回再び使うとき、自動更新ユニットは該使用者の好きなチャンネルをスポーツのチャンネルから娯楽のチャンネルに変える。
【００３１】
他の実施例において、観覧回数の閾値と観覧時間の閾値を他の数値にすることもできる。例えば、観覧回数の閾値を５回にし、観覧時間の閾値を３時間にすることができるが、本発明はこれらを限定しない。
【００３２】
図７を参照すると、これは本発明の実施例に係る画像認識に基づくスマートテレビのインタラクションコントロール方法を示す図である。
【００３３】
当該画像認識に基づくスマートテレビのインタラクションコントロール方法は、次のステップを含む。
ステップＳ１１０において、カードの画像を採集する。
本実施例において、当該カードの画像は、テレビ局のマーク、文字またはＱＲコードである。
ステップＳ１２０において、カードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力する。
本実施例において、ジェスチャー認識結果は、チャンネルを変えること、番組を選択すること或いは内容を検索することである。
ステップＳ１３０において、当該カードの画像の内容を認識してカード内容認識結果を出力する。
ステップＳ１４０において、当該ジェスチャー認識結果とカード内容認識結果によりインタラクティブ操作をする。
他の実施例において、ステップＳ１２０とステップＳ１３０を逆の順序で実施するか或いは同時に実施してもよい。
本発明の一実施例において、ステップＳ１２０は、使用者がジェスチャーモードを予め設定してプリセットジェスチャーモードとするステップを更に含んでもよい。当該プリセットジェスチャーモードと使用者のジェスチャーを比較することによりジェスチャー認識結果を出力する。
【００３４】
図８を参照すると、これは本発明の他の実施例に係る画像認識に基づくスマートテレビのインタラクションコントロール方法を示す図である。
【００３５】
本実施例に係る、画像認識に基づくスマートテレビのインタラクションコントロール方法は、次のステップを含む。
ステップＳ２１０において、使用者の顔の画像を採集する。
ステップＳ２２０において、当該使用者の顔の画像を認識してこれに対応する既存使用者の情報を出力する。
本実施例において、当該ステップは、具体的に、
当該使用者の顔に対応する既存使用者の情報があるかどうかを判断し、あると判断した場合、該当既存使用者の情報を出力し、ないと判断した場合、新使用者の情報を登録するステップと、
当該新使用者の情報を記憶してそれを既存使用者の情報とするステップとを含む。
ステップＳ２３０において、当該所定の既存使用者の情報により該使用者の好みの応用情報を獲得する。
本実施例において、前記ステップは、具体的に
使用者が応用を観覧した回数または時間を総計し、かつ使用者が応用を観覧した回数または時間により該使用者の好きな応用情報を自動的に更新するステップと、
更新された使用者の好きな応用情報を獲得するステップとを含む。
ステップＳ２４０において、当該好みの応用情報により希望の応用を選択する。
【００３６】
当該画像認識に基づくスマートテレビのインタラクションコントロールシステムおよびその方法は、画像採集モジュールによりカードの画像を採集し、ジェスチャー認識モジュールによりカードを持っている使用者のジェスチャーを認識してジェスチャー認識結果を出力し、カード認識モジュールは前記カードの画像の内容を認識してカード内容認識結果を出力する。インタラクションコントロールモジュールは当該ジェスチャー認識結果とカード内容認識結果により、チャンネルを変えること、番組を選択すること或いは内容を検索することなどのインタラクティブ操作をする。これにより、リモコンのボタンを押してチャンネルを選択する必要がなくなり、異なる使用者であっても希望のチャンネルを迅速かつ容易に選択し、また、番組を検索することができる。
【００３７】
上述した複数の実施例により本発明の好適な実施例を詳述してきたが、本発明の構成は前記実施例にのみ限定されるものではない。本技術分野の当業者は本発明の要旨を逸脱しない範囲内で設計の変更等を行うことができ、このような設計の変更等があっても本発明の特許請求の範囲が定めたものに含まれることは勿論である。本発明の保護範囲は後述する特許請求の範囲が定めたことを基準にする。
【図１】
0006272553.tif 000002
【図２】
0006272553.tif 000003
【図３】
0006272553.tif 000004
【図４】
0006272553.tif 000005
【図５】
0006272553.tif 000006
【図６】
0006272553.tif 000007
【図７】
0006272553.tif 000008
【図８】
0006272553.tif 000009