(57)【要約】【課題】視聴者の確認結果に基づき視聴者の為の動作の制御を高速化する。【解決手段】テレビジョン受信装置１００では、画像入力部２２７より視聴者の画像データを入力すると、特徴量抽出部２０３にて顔特徴量を抽出し、エリア分割部２１７、サイズ検出部２１９および角度検出部２２１により顔の位置、サイズ、傾き角度を検出する。認証部２０５は、画像データにおいて検出した顔画像から抽出した顔特徴量に基づき本人確認をし、確認に成功すると、コンテンツ検索部２０９とコンテンツ出力部２１１により当該視聴者のためのコンテンツがメモリから読み出されて出力される。顔検出部２４０は、顔画像検出のための画像データスキャンの位置を、視聴者のテレビ視聴の姿勢に依拠した特徴量に基づき、検出頻度の高い位置から開始するように決定する。【選択図】図１３
2007235582.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョン受信装置であって、
視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、
前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、
視聴者の撮像により生成された画像データを取得する画像取得手段と、
前記画像取得手段により取得される画像データの複数部分について処理の対象となる順番を、予め前記画像取得手段により取得された各画像データから検出された視聴者の体勢を示す特徴量の各部分における検出頻度に基づき決定する順位付手段と、
前記画像取得手段により前記画像データが取得されると、当該画像データの前記複数部分を前記順位付手段により付与された順番に従い前記処理の対象とし、対象とされた前記部分の画像データと、前記顔特徴量記憶部に格納されている顔特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、
前記認証手段の確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段と、
視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の前記体勢を示す特徴量を、当該特徴量を検出した当該画像データの部分と前記検出頻度を関連付けて収集する収集手段を備え、
前記視聴者の体勢を示す特徴量は、視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含み、
前記相対位置に応じた特徴量は、前記複数部分のうち前記画像データから検出した視聴者の顔画像が位置する部分を示す位置情報であり、
前記順位付手段は、
前記画像取得手段により取得される画像データの各部分の前記処理の対象となる順番を、各部分を示す前記位置情報に関連付けられた前記検出頻度の昇順に従い決定し、
前記視聴者の体勢を示す特徴量は、視聴者の姿勢に応じた特徴量を含み、
前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズと傾き角度を含み、
テレビジョン装置は、
外部から発信された制御信号を受信する受信手段をさらに備え、
前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認し、
前記認証手段は、
前記取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する、テレビジョン受信装置。
【請求項２】
テレビジョン受信装置であって、
視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、
前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、
視聴者の撮像により生成された画像データを取得する画像取得手段と、
前記画像取得手段により取得される画像データの複数部分について処理の対象となる順番を、予め前記画像取得手段により取得された各画像データから検出された視聴者の体勢を示す特徴量の各部分における検出頻度に基づき決定する順位付手段と、
前記画像取得手段により前記画像データが取得されると、当該画像データの前記複数部分を前記順位付手段により付与された順番に従い前記処理の対象とし、対象とされた前記部分の画像データと、前記顔特徴量記憶部に格納されている顔特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、
前記認証手段の確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備える、テレビジョン受信装置。
【請求項３】
前記テレビジョン受信装置は、
視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の前記体勢を示す特徴量を、当該特徴量を検出した当該画像データの部分と前記検出頻度を関連付けて収集する収集手段をさらに備える、請求項２に記載のテレビジョン受信装置。
【請求項４】
前記視聴者の体勢を示す特徴量は、
視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含む、請求項３に記載のテレビジョン受信装置。
【請求項５】
前記相対位置に応じた特徴量は、前記複数部分のうち前記画像データから検出した視聴者の顔画像が位置する部分を示す位置情報である、請求項４に記載のテレビジョン受信装置。
【請求項６】
前記順位付手段は、
前記画像取得手段により取得される画像データの各部分の前記処理の対象となる順番を、各部分を示す前記位置情報に関連付けられた前記検出頻度の昇順に従い決定する、請求項５に記載のテレビジョン受信装置。
【請求項７】
前記視聴者の体勢を示す特徴量は、
視聴者の姿勢に応じた特徴量を含む、請求項２から６のいずれかに記載のテレビジョン受信装置。
【請求項８】
前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズを含む、請求項７に記載のテレビジョン受信装置。
【請求項９】
前記姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像の傾き角度を含む、請求項７または８に記載のテレビジョン受信装置。
【請求項１０】
外部から発信された制御信号を受信する受信手段をさらに備え、
前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認する、請求項２から９のいずれかに記載のテレビジョン受信装置。
【請求項１１】
前記認証手段は、
前記取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する、請求項２から１０のいずれかに記載のテレビジョン受信装置。
【請求項１２】
テレビジョン受信装置における視聴者認証方法であって、
前記テレビジョン受信装置は、視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、
前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、を備え、
前記視聴者認証方法は、
視聴者の撮像により生成された画像データを取得する画像取得ステップと、
前記画像取得ステップにより取得される画像データの複数部分について処理の対象となる順番を、予め前記画像取得ステップにより取得された各画像データから検出された視聴者の体勢を示す特徴量の各部分における検出頻度に基づき決定する順位付ステップと、
前記画像取得ステップにより前記画像データが取得されると、当該画像データの前記複数部分を前記順位付ステップにより付与された順番に従い前記処理の対象とし、対象とされた前記部分の画像データと、前記顔特徴量記憶部に格納されている顔特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証ステップと、
前記認証ステップの確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御ステップとを備える、テレビジョン受信装置における視聴者認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテレビジョン受信装置と視聴者認証方法に関し、特に、視聴者の本人確認をして、確認結果に応じて動作を制御するテレビジョン受信装置と視聴者認証方法に関する。
【背景技術】
【０００２】
視聴者は予め登録したコンテンツの表示など、視聴者に特有のテレビの動作を自動で制御することを希望している。このような要求のもと、カメラを備えて、カメラで撮像された被写体（視聴者）の画像データに基づき、視聴者の本人確認をして確認結果に応じたコンテンツを自動で表示するサービスを有するテレビジョン受信装置が提供されている。
【０００３】
また、視聴者は自動によるサービス提供に加えて、時間待ちをすることなく速やかにサービスが提供されることを希望している。
【０００４】
このような画像データからの本人確認ための技術として、特許文献１では、視聴場所から個人を特定して認識精度を向上させている。
【０００５】
また、特許文献２では、複数の顔画像から見え方の変化をモデル化して、モデルとの照合精度の向上が記載されている。
【０００６】
また、特許文献３では、認識の頻度である利用頻度に従い登録データの並べ替えを行い高速に認識処理ができるようにしている。
【０００７】
また、特許文献４では、多種類の確認システムを組合わせて用いることで個人の識別精度を向上させている。
【０００８】
また、特許文献５では、顔が所定の方向を向いたことを検出したときに、撮影動作を行なうようにしている。
【特許文献１】特開平０７−２２２２０８号公報
【特許文献２】特開２００１−３０７０９６号公報
【特許文献３】特開２００１−２６６１５１号公報
【特許文献４】特開平０７−０９５６２５号公報
【特許文献５】特開２００３−２２４７６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述特許文献１，２，４，５では、確認または識別の精度を向上させてはいるが、その処理の高速化の具体的な提案はされていない。
【００１０】
また、特許文献３では高速化が図られているが、認識の頻度に応じた高速化であるから、サービスの利用がされない場合には十分な頻度を得ることができないので、高速化を図ることは困難となる。
【００１１】
それゆえにこの発明の目的は、高速化を考慮した視聴者の確認処理の結果に基づき視聴者に独自の動作の制御を行なうためのテレビジョン受信装置と視聴者認証方法を提供することである。
【課題を解決するための手段】
【００１２】
この発明のある局面に従うと、テレビジョン受信装置は、視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、視聴者の撮像により生成された画像データを取得する画像取得手段と、前記画像取得手段により取得される画像データの複数部分について処理の対象となる順番を、予め前記画像取得手段により取得された各画像データから検出された視聴者の体勢を示す特徴量の各部分における検出頻度に基づき決定する順位付手段と、前記画像取得手段により前記画像データが取得されると、当該画像データの前記複数部分を前記順位付手段により付与された順番に従い前記処理の対象とし、対象とされた前記部分の画像データと、前記顔特徴量記憶部に格納されている顔特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証手段と、前記認証手段の確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御手段とを備える。
【００１３】
好ましくは、前記テレビジョン受信装置は、視聴者を予め複数回撮像することにより生成された各画像データから検出した視聴者の前記体勢を示す特徴量を、当該特徴量を検出した当該画像データの部分と前記検出頻度を関連付けて収集する収集手段をさらに備える。
【００１４】
好ましくは、視聴者の体勢を示す特徴量は、視聴者と前記テレビジョン受信装置との相対位置に応じた特徴量を含む。
【００１５】
好ましくは、相対位置に応じた特徴量は、前記複数部分のうち前記画像データから検出した視聴者の顔画像が位置する部分を示す位置情報である。
【００１６】
好ましくは、順位付手段は、前記画像取得手段により取得される画像データの各部分の前記処理の対象となる順番を、各部分を示す前記位置情報に関連付けられた前記検出頻度の昇順に従い決定する。
【００１７】
好ましくは、視聴者の体勢を示す特徴量は、視聴者の姿勢に応じた特徴量を含む。
好ましくは、姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像のサイズを含む。
【００１８】
好ましくは、姿勢に応じた特徴量は、前記画像データから検出した視聴者の顔画像の傾き角度を含む。
【００１９】
好ましくは、外部から発信された制御信号を受信する受信手段をさらに備え、前記認証手段は、前記制御信号の受信に応答して前記視聴者が前記テレビジョン受信装置に登録されているか否かを確認する。
【００２０】
好ましくは、前記認証手段は、前記取得手段により取得された視聴者の画像データに基づいて前記顔の画像の特徴量を算出し、当該算出した特徴量と前記特徴量記憶部に格納されている特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する。
【００２１】
この発明の他の局面に従う、テレビジョン受信装置における視聴者認証方法では、前記テレビジョン受信装置は、視聴者を予め撮像することにより生成された画像データから検出された前記視聴者の顔の特徴量を格納する顔特徴量記憶部と、前記視聴者に応じて前記テレビジョン受信装置の動作を制御するための制御データを格納する制御データ記憶部と、を備え、前記視聴者認証方法は、視聴者の撮像により生成された画像データを取得する画像取得ステップと、前記画像取得ステップにより取得される画像データの複数部分について処理の対象となる順番を、予め前記画像取得ステップにより取得された各画像データから検出された視聴者の体勢を示す特徴量の各部分における検出頻度に基づき決定する順位付ステップと、前記画像取得ステップにより前記画像データが取得されると、当該画像データの前記複数部分を前記順位付ステップにより付与された順番に従い前記処理の対象とし、対象とされた前記部分の画像データと、前記顔特徴量記憶部に格納されている顔特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する認証ステップと、前記認証ステップの確認の結果に応じて、前記制御データに基づいて前記テレビジョン受信装置の動作を制御する制御ステップとを備える。
【発明の効果】
【００２２】
本発明によれば、認証は、顔画像が検出される可能性が高い条件（体勢の特徴量の検出頻度）に従い行なわれるので、何らの情報も参照することなく無造作に顔画像の検出・認証を実行する場合に比較して、高速に顔画像の検出が可能となり、ひいては高速に本人確認の認証処理を行なうことができる。
【発明を実施するための最良の形態】
【００２３】
以下、この発明の実施の形態について図面を参照して説明する。
本実施の形態に係るテレビジョン受信装置（以下、テレビという）には撮像（撮影）の方向が固定の撮像装置（カメラ）が備えられる。当該撮像装置はテレビにより提示される放送番組などの各種コンテンツの視聴者を撮像して静止画を出力するために設けられたものである。ここでは、テレビ視聴する場合には視聴者はテレビの前の椅子などに座って居ると想定されるので、撮像用のレンズは視聴者を撮像することが可能な当該固定した位置の方向に向けられている。
【００２４】
また、ここでは、視聴者はテレビを、リモコン端末（リモートコントローラ端末）を手元で操作して遠隔制御すると想定する。
【００２５】
また、ここでは、正当であると確認された視聴者についてテレビの動作を制御するための制御データは、出力画像を制御するコンテンツデータとしているが、コンテンツデータに限定されず、画面の明るさ制御のためのデータ、音量制御のデータ、表示画像の比率を変更するデータなどであってもよい。
【００２６】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰返さない。
【００２７】
＜第１の実施の形態＞
図１を参照して、本発明の第１の実施の形態に係るテレビ１００の使用態様について説明する。図１は、部屋１０にテレビ１００が設置されている状態を表わす図である。
【００２８】
部屋１０には、テレビ１００と椅子１１とがそれぞれ配置されている。椅子１１には、視聴者１２が座っている。視聴者１２は、リモコン端末３００を有している。
【００２９】
ここでは視聴者１２は図１のように椅子１１に座っているが、椅子１１がソファであればソファーに寝転んでいる姿勢で視聴していることもあろうし、また、子供であればテレビ１００の画面を見上げる姿勢でみている場合もあろう。しかしながら、一般家庭におけるテレビ１００の位置はある程度決まっており、且つそれを見る視聴者もほぼ固定した椅子１１に座ってお決まりの姿勢で視聴することが多い。そこで、本実施の形態では、視聴時の視聴者とテレビ１００（後述の撮像装置１５０）との相対位置はある程度一定であること、また視聴時の視聴者の姿勢はお気に入りの姿勢が多くある程度決まっていることから、視聴者の視聴時の体勢を示す特徴量であるテレビ１００との相対位置に従う後述する顔の位置、ならびに視聴時の姿勢に従うサイズおよび角度の値は、ほぼ一定の範囲に収まると想定している。
【００３０】
テレビ１００は、撮像装置１５０とリモコン信号を受信する受光部１０６とを備える。
図２を参照して、テレビ１００の構成について説明する。図２は、テレビ１００を正面から表わす図である。
【００３１】
テレビ１００は、ディスプレイ１３０と、スピーカ１４０と、撮像装置１５０とを備える。スピーカ１４０は、たとえばステレオ音声の出力が可能なスピーカである。スピーカ１４０の位置は、図２に示されるものに限られない。たとえば、テレビ１００の筐体の側面に配置されてもよい。撮像装置１５０は、たとえばテレビ１００の正面の中心に配置されているが、中心でなくてもよい。
【００３２】
撮像装置１５０は、撮影可能な範囲に存在する被写体を撮影する。被写体には、テレビ１００の視聴者（視聴者の顔）が含まれる。撮像装置１５０は図２に示すようにテレビ１００に内蔵されるものに限定されず、テレビ１００に外付けされるものであってもよい。外付けの場合にはテレビ１００と撮像装置１５０とは有線または無線で通信すると想定する。
【００３３】
図３を参照して、テレビ１００の構成についてさらに説明する。図３は、テレビ１００のハードウェア構成を表わすブロック図である。
【００３４】
テレビ１００は、図２に示される構成に加えて、映像音声信号の放送信号を受信するアンテナ１０２と、アンテナ１０２に接続されて、かつアンテナ１０２を介して受信した放送信号から、選局を指示されたチャンネルで放送される映像音声信号を抽出して出力するチューナ１１４と、図示のない外部装置から与えられる映像音声信号を入力する外部入力部１０４と、リモコン端末３００からの信号を受信する受光部１０６と、手動操作されてテレビ１００に対する指示を入力する操作部１０８と、テレビ１００の動作を制御するＣＰＵ（Central  Processing  Unit）１１０とメモリ１１２を含む制御部１１３を備える。リモコン端末３００は、テレビ１００の動作を制御するための赤外線光を発する。リモコン端末３００の構成は、後述する。
【００３５】
テレビ１００はさらに、外部入力部１０４とチューナ１１４とに接続され、ＣＰＵ１１０からの信号に基づいて映像音声信号の入力先を外部入力部１０４とチューナ１１４のいずれかに切り換える切換回路１１６と、ＣＰＵ１１０からの信号に基づいて切換回路１１６から出力される信号を映像信号と音声信号とに分離して出力する信号処理回路１２０と、映像を表示するディスプレイ１３０と、与えられる音声信号に基づく音声を出力するスピーカ１４０とを備える。
【００３６】
信号処理回路１２０は、外部入力部１０４とチューナ１１４のいずれか一方からの信号を切換回路１１６を介して入力して、入力信号を映像信号と音声信号とに分離する分離回路１２２と、分離回路１２２から出力された映像信号を処理して出力する映像処理部１２３と、映像処理部１２３から出力された映像信号とＣＰＵ１１０からの信号とに基づいてディスプレイ１３０に表示される画像を生成するためのＯＳＤ（On  Screen  Display）回路１２４と、分離回路１２２から出力された音声信号を処理してスピーカ１４０に出力する音声処理部１２５を含む。
【００３７】
ＯＳＤ回路１２４はＣＰＵ１１０により起動される間は、ＣＰＵ１１０から与えられるデータ信号による画像が映像処理部１２３から出力される映像信号の画像に重畳して表示されるように処理する。ＣＰＵ１１０により起動が指示されない場合には、映像処理部１２３から出力された映像信号はＯＳＤ回路１２４を通過してディスプレイ１３０に与えられる。
【００３８】
撮像装置１５０は、たとえばＣＣＤ（Charge Coupled Device）を用いたカメラである。ＣＰＵ１１０の制御のもとに撮像装置１５０により撮像がされて出力されたデジタルの画像データは画像メモリ１５２に一旦格納される。撮像して出力された画像データはＣＰＵ１１０の制御の元に２値画像に変換される。
【００３９】
画像データは、撮像装置１５０による撮影によって生成される。あるいは、外部入力部１０４を介して入力されるものであってもよい。
【００４０】
図４には、メモリ１１２の内容例が示される。メモリ１１２は、コンテンツエリア１１２０、特徴パターンエリア１１２１、サンプリング結果エリア１１２２、画像データエリア１１２３、順位付データエリア１１２４および分割情報エリア１２５を有する。コンテンツエリア１１２０、特徴パターンエリア１１２１およびサンプリング結果エリア１１２２は、テレビ１００への電源供給が断たれても、その記憶内容が保持されるようなメモリである。
【００４１】
図５には、コンテンツエリア１１２０の内容例が示される。コンテンツエリア１１２０には、テレビ１００を利用する複数の視聴者のそれぞれに対応して、識別データＩＤｊ（ｊ＝１、２、３、…、ｍ）と、１つ以上のコンテンツデータＣＮＴｊと、コンテンツリストＣＮＴＬｉとが関連付けて予め格納される。識別データＩＤｊは、対応の視聴者を一意に識別するためのデータであり、たとえば名前、番号などで示されて、リモコン端末３００または操作部１０８の操作により入力される。コンテンツデータＣＮＴｊは、対応の視聴者を確認することができた場合に、テレビ１００を介して画像または音声で出力されるコンテンツ（情報またはデータ）である。コンテンツデータＣＮＴｊの例としては、対応の視聴者がお気に入りのテレビ番組のデータ、外部入力部１０４を介して入力した映画などのデータ、お気に入りのチャンネルの番組表のデータなどである。番組表のデータはアンテナ１０２を介して受信したＥＰＧ（Electric Program Guide）データに基づきＣＰＵ１１０が作成することで準備される。またコンテンツリストＣＮＴＬｉは関連付けされた１つ以上のコンテンツデータＣＮＴｊのタイトルなどからなるデータである。コンテンツリストＣＮＴＬｉが読出されてディスプレイ１３０に表示されて、表示されたリストから所望のタイトルがリモコン端末３００を操作して指定されると、指定されたタイトルのコンテンツデータＣＮＴｊがコンテンツエリア１１２０から読出されてディスプレイ１３０またはスピーカ１４０を介して出力される。
【００４２】
図６には特徴パターンエリア１１２１の内容例が示される。特徴パターンエリア１１２１には、テレビ１００を利用する複数の視聴者のそれぞれに対応して、特徴パターン１Ｐｊ（ｊ＝１、２、３、…、ｍ）が格納される。特徴パターン１Ｐｊは、対応の視聴者の識別データＩＤｊと特徴パターンデータＣＨＰｊとを関連付けて含む。特徴パターンデータＣＨＰｊは、撮像装置１５０を用いて撮像された視聴者の顔の画像データに基づき抽出された特徴量を示す。特徴量の抽出については後述する。
【００４３】
サンプリング結果エリア１１２２に格納されるデータについて、図７、図８および図９を参照し説明する。撮像装置１５０により撮像して画像メモリ１５２などに格納される画像データが示す画像は、図７に示すようにたとえば矩形状を有していると想定している。撮像された画像は、後述のエリア分割部２１７または２３６により矩形状の複数のエリア（部分画像）に分割される。図７に示すように、画像データの画像において矩形の直交する２辺に平行な２本の軸ｘと軸ｙを想定したとき（軸ｘと軸ｙは直交する）、矩形の画像の軸ｘに平行な辺について符号Ａ、Ｂ、Ｃ、Ｄ、ＥおよびＦの６等分の分割をし、同様にｙ軸に平行な辺について符号１、２、３および４の４分割をする。こうした場合、画像は図７に示されるように２４個のエリアに等分割されることになる。なお、エリア分割は実際に複数個のエリアの画像が作成されるというものではなく、ここでは、仮想的に分割をしている。
【００４４】
次に、各エリアに図７のｘ軸方向の符号とｙ軸方向の符号の組合せにより示される識別子を仮想的に割当てる。たとえば図７の左上端のエリアは識別子“Ａ１”が、右下端のエリアは識別子“Ｆ４”がそれぞれ割当てされる。エリア分割部２１７または２３６は分割された各エリアについて当該エリアの元の画像における位置を示す位置情報と割当てた識別子とを対応付けて有する分割情報１１２６を生成してメモリ１１２の分割情報エリア１１２５に格納する。図７の各エリアの位置情報は、ｘ軸に平行な辺の画素とｙ軸に平行な辺の画素を用いて示される。たとえば、識別子Ａ１のエリアの位置情報はｘ軸の辺では１番目〜１０番目の画素およびｙ軸に平行な辺では１番目〜１５番目の画素、また識別子Ａ２のエリアの位置情報は同様にｘ軸について１１番目〜２０番目の画素でｙ軸については１６番目〜３０番目の画素というように、元の画像データの画像の画素を用いて位置が示される。
【００４５】
なお、図７の各エリア内に記載した数値の説明については後述する。
サンプリング結果エリア１１２２には、テーブルＴＡ（図８参照）とテーブルＴＡのデータによって参照される図９の複数のテーブルＴＡＢｈ（ｈ＝１，２，３，・・・、ｌ）が格納される。
【００４６】
図８のテーブルＴＡは、図７に示す各エリアに対応して、当該エリアを一意に特定するためのエリアデータ３０１、検出回数データ３０２およびポインタ３０３を関連付けて含む。エリアデータ３０１は、図７に示した２４個の各エリアを特定するために、各エリアに仮想的に割当てされた識別子で指示される。
【００４７】
検出回数データ３０２は、関連付けされたエリアデータ３０１の値で指示される図７のエリアにおいて後述の顔検出部２１６または２４０により顔画像が検出された回数を示す。ポインタ３０３は、図９に示されるテーブルＴＡＢｈを指示するための値を示す。
【００４８】
図９を参照して、各テーブルＴＡＢｈは、当該テーブルＴＡＢｈを指示するポインタ３０３に関連付けされたエリアデータ３０１の値（エリアの識別子）を示すデータ３０４、データ３０４により指示されるエリアで検出された顔画像について後述のサイズ検出部２１９と角度検出部２２１により検出された顔サイズおよび角度からなる複数の組３０５、複数の組３０５のそれぞれに対応して当該組合せの顔画像が当該エリアで検出された回数を示す第１検出回数データ３０６および同一の顔サイズの顔画像が当該エリアで検出された回数を示す第２検出回数データ３０７を含む。
【００４９】
本実施の形態では、ある顔画像について検出される顔サイズは顔画像の横幅または縦幅の大きさ（単位は画素）を指すサイズａ０、ａ１、ａ２、ａ３およびａ４の５種類のうちのいずれか１つであり、同様に角度については角度ｂ０、ｂ１、ｂ２およびｂ３の４種類のうちのいずれか１つであると想定している。したがって顔画像毎に検出される顔サイズと角度の組合せとしては４×４の１６組のうちのいずれか１組の顔サイズと角度が検出され得て組３０５としてテーブルＴＡＢｈに格納されることになる。
【００５０】
第１検出回数データ３０６は、１６組の各組３０５について当該組３０５が示す顔サイズと角度の組合せを有する顔画像が検出された回数を示す。第２検出回数データ３０７は、顔サイズａ０〜ａ４のそれぞれについて、当該顔サイズの顔画像が検出された回数を示している。
【００５１】
図９は、一例として、識別子“Ｄ２”を指すエリアデータ３０１に関連付けされたポインタ３０３によって指示されるテーブルＴＡＢ１の内容が示されている。
【００５２】
顔画像の傾きの角度は、たとえば図１０のようにして検出することができる。図１０では、あるエリアで検出された顔画像の傾きを検出する態様が模式的に示される。傾き検出は、撮像装置１５０から出力された画像データの画像において仮想的に直交する２本の基準軸Ｂｌ１とＢｌ２を設定する。そして、検出された顔画像における左右の目の端点Ｐ１〜Ｐ４を結んだ直線Ｌと２本の基準軸Ｂｌ１とＢｌ２のいずれか一方とが交差して形成される角の角度θを求めることによって、求めた角度θを検出された顔についての傾き角度としている。なお、１本の直線上に端点Ｐ１〜Ｐ４が位置しない場合には、端点Ｐ１〜Ｐ４のうちの少なくとも２点を結んだ直線と２本の基準軸Ｂｌ１とＢｌ２のいずれか一方とが交差して形成される角の角度を求めることにする。この少なくとも２点は、たとえば点Ｐ１と点Ｐ４というように、予め指定された点である。
【００５３】
図４の画像データエリア１１２３には、撮像装置１５０から出力されて画像メモリ１５２に格納された画像データが画像メモリ１５２から読出されて格納されるとともに、後述するような縮小画像データが格納される。
【００５４】
図１１には、画像データエリア１１２３の内容例が示される。画像データエリア１１２３には、撮像装置１５０により撮像して出力された画像データＤＭ０、画像データＤＭ０から作成（生成）された縮小画像データＤＭ１〜ＤＭ４が格納される。
【００５５】
画像データＤＭ０は、矩形状の画像を示すデータであり、矩形の画像において矩形の一辺に平行な軸ｘと他の辺に平行な軸ｙを想定した場合に（ただし、一辺と他の辺は直交する）、当該画像は軸ｘに平行な辺はＭ１個の画素のサイズを有し、ｙ軸に平行な辺はＮ１個の画素のサイズを有するような画像である。
【００５６】
縮小画像データＤＭ１〜ＤＭ４は、後述の圧縮画像作成部２３４により、画像データＤＭ０を縮小（圧縮）処理することにより作成される矩形上の画像のデータである。縮小画像データＤＭ１は、画像データＤＭ０と同様に直交する２本の軸ｘおよび軸ｙについて、軸ｘに平行な辺のサイズが６４０画素およびｙ軸に平行な辺のサイズが４８０画素からなる。縮小画像データＤＭ２は、同様にｘ軸に平行な辺のサイズが３２０画素およびｙ軸に平行な辺のサイズが２４０画素である。画像データＤＭ３は、同様にｘ軸に平行な辺のサイズが１６０画素であり、ｙ軸に平行な辺のサイズが１２０画素である。画像データＤＭ４は、同様にｘ軸に平行な辺のサイズが８０画素であり、ｙ軸に平行な辺のサイズが６０画素である。ここでは、縮小画像データＤＭ１〜ＤＭ４と画像データＤＭ０のサイズの比として、たとえば、ＤＭ０：ＤＭ１：ＤＭ２：ＤＭ３：ＤＭ４は６４：６４：１６：４：１と示される想定する。縮小画像データＤＭ１〜ＤＭ４のそれぞれはこのような圧縮の比を示すデータを有する。
【００５７】
図１２は本実施の形態に係る撮像された顔画像を示しており、後述の顔画像領域の抽出と特徴量の抽出などの説明において参照する。
【００５８】
図１３には、テレビ１００の機能構成が示される。テレビ１００は、特徴パターン登録部２０１、特徴量抽出部２０３、認証部２０５、コンテンツ検索部２０９、コンテンツ出力部２１１、コンテンツ登録部２１３、サンプリング部２１５、画像入力部２２７、撮像制御部２２９、リモコン指示受付部２３１、メッセージ出力部２２３、圧縮画像作成部２３４およびサービス部２３５を備える。
【００５９】
特徴パターン登録部２０１は特徴パターンエリア１１２１に、複数の視聴者のそれぞれ毎に、その識別データＩＤｊと特徴パターンデータＣＨＰｊとが関連付けされた特徴パターンＩＰｊを格納する。具体的には、テレビ１００が特徴パターン登録モードにあるときに、撮像装置１５０を介して撮像された画像データにおいて特徴量抽出部２０３により視聴者の顔画像データが検出されて、検出された顔画像から特徴量が抽出されるので、抽出された特徴量と、その時点でリモコン指示受付部２３１を介してリモコン端末３００から受信した信号に基づく当該視聴者の識別子とを、特徴パターンデータＣＨＰｊと識別データＩＤｊとして関連付けた特徴パターンＩＰｊを生成して特徴パターンエリア１１２１に格納する。このように、テレビ１００が特徴パターン登録モードにあるときは、視聴者についての特徴パターン１Ｐｊが生成されて特徴パターンエリア１１２１に格納（登録）される。なお、顔画像データの検出と、検出された顔画像からの特徴量の抽出の詳細は後述する。
【００６０】
認証部２０５は、撮像装置１５０により撮像して出力された画像データ中の顔画像について検出された特徴量と特徴パターンエリア１１２１の各特徴パターン１Ｐｊの特徴パターンデータＣＨＰｊの特徴量とに基づいて被写体が登録された正当なものであるかの確認（以下、認証という）の処理を行なう。認証処理は、たとえば検出された特徴量と各特徴パターンデータＣＨＰｊの特徴量とを比較して、その差異を算出することにより行なわれる。この場合、差異が予め定められた範囲（域値）よりも小さい場合には、撮影された被写体（顔）は、予め登録されている視聴者の顔と同一であると確認される（以下、認証に成功するという）。そうでない場合には、登録されていない視聴者の顔が撮像されたと確認されることになる（以下、認証に成功しないという）。認証部２０５は認証に成功した場合には、認証に成功した特徴パターンＣＨＰｊに関連付けされた識別データＩＤｊを特徴パターンエリア１１２１から読出し出力する。
【００６１】
コンテンツ検索部２０９およびコンテンツ出力部２１１は、認証部２０５の確認結果に応じて、テレビ１００の動作（コンテンツ出力動作）を制御する制御部に相当する。コンテンツ検索部２０９は、認証部２０５において認証に成功した場合に出力される識別データＩＤｊを入力して、入力した識別データＩＤｊに基づきコンテンツエリア１１２０を検索して、当該識別データＩＤｊに関連付けて格納されているコンテンツリストＣＮＴＬｊを読出して、コンテンツ出力部２１１に出力する。コンテンツ出力部２１１は、与えられるデータに基づく映像または音声を、ディスプレイ１３０またはスピーカ１４０に出力する。
【００６２】
コンテンツ登録部２１３は、テレビ１００のコンテンツ登録モードにおいて、視聴者が指定するコンテンツデータＣＮＴｊを、当該視聴者の識別データＩＤｊと関連付けてコンテンツエリア１１２０に格納（登録）する。なお、ここでは、説明を簡単にするために、各視聴者に対応の識別データＩＤｊ、コンテンツデータＣＮＴｊおよびコンテンツリストＣＮＴＬｊは関連付けされて予めコンテンツエリア１１２０に格納されていると想定する。
【００６３】
サンプリング部２１５は、テレビ１００のサンプリングモードにおいて、視聴者毎に顔画像についての位置、サイズおよび傾き角度のデータをサンプリング（収集）しながら、サンプリングしたデータをサンプリング結果エリア１１２２のテーブルＴＡおよびテーブルＴＡＢｈに格納する。
【００６４】
なお、サンプリング結果エリア１１２２においては、テーブルＴＡおよび複数のテーブルＴＡＢｈのための領域が予め確保されており、エリア分割がされた時点でメモリ１１２に格納された分割情報エリア１１２５のエリア毎の識別子を読出し、テーブルＴＡのデータ３０１として格納する。この時点では検出回数データ３０２の値は０であり、ポインタ３０３は生成されているテーブルＴＡＢｈを指示する値に設定される。また、この時点で各テーブルＴＡＢｈ生成される。生成された各テーブルＴＡＢｈには当該テーブルＴＡＢｈを指示するポインタ３０３に関連付けされたエリアデータ３０１が指示する識別子がデータ３０４として格納されるとともに、前述した１６個の組３０５が生成されて格納される。この時点では関連付けされた第１および第２検出回数データ３０６と３０７の値はいずれも０である。
【００６５】
画像入力部２２７は、撮像装置１５０により撮像して出力された画像データを格納する画像メモリ１５２を含んで構成される。
【００６６】
サンプリング部２１５は、サンプリングモードにおいて画像データに基づき、前述したようなエリア分割を行なうエリア分割部２１７、顔画像の領域を検出するとともに検出した位置を出力する顔検出部２１６、顔画像のサイズおよび角度を検出するサイズ検出部２１９および角度検出部２２１、および検出回数更新部２２３を備える。
【００６７】
検出回数更新部２２３は、顔画像が検出される毎に検出回数データ３０２、第１および第２検出回数データ３０６と３０７の値をカウントアップする。
【００６８】
撮像制御部２２９は、ＣＰＵ１１０の指示に従い撮像装置１５０の撮像動作を制御する。リモコン指示受付部２３１は受光部１０６に対応しており、リモコン端末３００から送信された赤外線変調された指示信号を受信して、復調し、指示データに変換し出力する。
【００６９】
メッセージ出力部２３３は、ＯＳＤ回路１２４を介して各種メッセージをディスプレイ１３０に出力し、またはスピーカ１４０からメッセージを出力する。
【００７０】
サービス部２３５は、エリア分割部２３６、エリア順位付部２３７、サイズ順位付部２３８、角度順位付部２３９および顔検出部２４０を有する。顔検出部２４０は後述のスキャン処理に用いられるスキャン部としての機能を実現する。各部の機能の詳細は後述する。
【００７１】
（顔画像の検出）
顔検出部２１６および２４０は、撮像した画像データに基づいて、被写体の顔に相当する画像領域を抽出（検出）する。この抽出処理を図１２を参照して説明する。図１２には、撮像による画像データが指す顔画像が概念的に示される。
【００７２】
被写体が図１のようにテレビ１００のディスプレイ１３０の正面に位置した状態で撮像装置１５０により撮像がされると、撮像装置１５０から出力された画像データは、メモリ１５２などに格納される。被写体の顔は、肌色の部分とそうでない部分とを含む。たとえば頭髪、眉あるいは瞳は、多くの場合、黒色である。顔検出部２１６および２４０はこのような被写体の画像に対してたとえば画像データの２値化処理あるいは濃淡処理を行なうと、濃淡の程度が異なる画像が生成される。
【００７３】
濃淡の程度が異なる画像においては、たとえば、図１２に示されるように、眉１００２ａ，１００２ｂと、瞳１００４ａ，１００４ｂと、鼻１００６と、口１００８とがそれぞれ認識される。メモリ１５２の画像データが指す画像の実際の被写体の像に対する縮尺の値が予め特定されている場合には、たとえば、顔検出部２１６と２４０は画像データにおいて認識した目の間隔１０１２と、目の長さ１０１０，１０１４と、口の幅１０１６と、目尻と口の中心部との距離１０１８のそれぞれに該当する画素数を検出して、検出した画素数と縮尺値とに基づき、目の間隔１０１２と、目の長さ１０１０，１０１４と、口の幅１０１６と、目尻と口の中心部との距離１０１８のそれぞれを算出する。また、認識された眉１００２ａ，１００２ｂと、瞳１００４ａ，１００４ｂと、鼻１００６と、口１００８の位置も同様にして算出される。算出された情報は一旦メモリ１１２の所定領域に格納される。
【００７４】
この場合、たとえば間隔１０１２の値と間隔１０１８の値とをそれぞれ左右方向の情報、上下方向の情報としてメモリ１５２の所定領域に格納することにより、撮像装置１５０の撮像により出力された画像データの画像において被写体（顔）の画像が検出できたことが明示されるとともに、左右方向および上下方向の情報に基づき顔画像が画像全体のどの位置にいるかも容易に特定することができる。また、顔検出の処理後に左右方向の情報、上下方向の情報がメモリ１５２の所定領域に格納されていない場合には、撮像装置１５０の撮像により出力された画像において被写体（顔）の画像が検出できなかったことが明示される。メモリ１５２の上述の左右方向の情報、上下方向の情報が格納される所定領域は、顔画像の検出開始がされる毎に初期化されると想定する。
【００７５】
顔検出部２１６と２４０は、検出した顔画像に関する左右情報および上下情報に基づき、メモリ１１２の分割情報エリア１２５の分割情報１２６を検索して、当該左右情報および上下情報の範囲に該当する位置情報に関連付けされた識別子を読出し、出力する。これにより、顔検出部２１６（２４０）は、検出された顔画像の位置を、当該顔画像が存在するエリアの識別子として検出して出力する。
【００７６】
なお、顔の特徴点は、前述のものに限られず、目、鼻、口その他の顔の認識技術において通常使用されるものであればよい。
【００７７】
角度検出部２２１は、図１０のように顔の傾き角度を検出して出力する。顔画像における顔の傾き角度検出のために用いる図１０の点Ｐ１〜Ｐ４の位置は、顔検出部２１６により算出されてメモリ１１２に格納された距離と位置の情報を用いて算出する。
【００７８】
サイズ検出部２１９は、顔検出部２１６により算出されてメモリ１１２に格納された間隔１０１２の値と間隔１０１８の値とをそれぞれ示す左右方向の情報、上下方向の情報とを用いて、所定手順に従い顔画像の横幅、縦幅のサイズに換算して出力する。
【００７９】
（特徴量抽出）
特徴量抽出部２０３は、撮像して出力された画像データにおいて上述のような手順に従い顔の画像領域を検出する機能と、検出した顔画像の特徴量を算出する機能を有する。特徴量とは、抽出された領域を特定するためのデータから算出される当該領域の画像上の特徴を表わすデータをいう。本実施の形態においては、特徴量には、図１２で示した目の間隔、目と口の間隔、目元と目尻の間隔等が含まれる。これらの特徴量に加えて、目の大きさ、目の領域における瞳の領域の割合等が当該視聴者の顔に固有の特徴量として用いられてもよい。あるいは、眉毛、まつげ、肌のほくろのように、白黒の濃淡が表われ易い領域の長さ、面積、形状などが特徴量として用いられてもよい。
【００８０】
（リモコン端末）
図１４および図１５を参照して、テレビ１００に制御信号を送信するリモコン端末３００について説明する。図１４には、リモコン端末３００の外観が示される。
【００８１】
リモコン端末３００は、ユーザの操作に応答して赤外線信号を発光するための赤外線発光部３６０と、情報を表示するディスプレイ３０２１と、視聴者により操作されて指示の入力を受け付ける操作部３４０とを含む。操作部３４０は、テレビ１００の電源をオン/オフするための電源ボタン３０７１、ディスプレイ３０２１に表示される図示のないカーソルの移動と確定の入力を受け付けるキー群３０４１と、数字ボタン３０６１と、アップ／ダウンボタン３０８１とを含む。
【００８２】
なお、ここではテレビ１００は図示のない商用電源のコンセントにプラグを差し込むことで各部に電源が供給された状態にあると想定する。したがって、この状態で電源ボタン３０７１がオン操作されると、テレビ１００の内部ではディスプレイ１３０およびスピーカ１４０への出力を可能ならしめるための各部への電源の供給の開始がなされて、画面の表示、音声の出力がされる。一方、テレビ１００に電源が供給された状態で、電源ボタン３０７１がオン操作されない間は、テレビ１００の内部ではディスプレイ１３０およびスピーカ１４０への出力を可能ならしめるための各部への電源の供給はされないので画面の表示も音声の出力もされない。
【００８３】
キー群３０４１は、カーソルを左右方向あるいは上下方向に移動させるための移動キー３２４と、押下を検出することにより、選択された項目を確定するためのデータの入力を受け付ける確定ボタン３１４とを含む。アップ／ダウンボタン３０８は、チャンネルのアップ／ダウンの指示の入力を受け付ける選局ボタン３２８と、音量の増減を調整する音量調整ボタン３１８とを含む。
【００８４】
図１５には、リモコン端末３００によって実現される機能の構成が示される。リモコン端末３００は、制御回路３１０と、選局ボタン３２８の入力に応答して選択されたチャンネルを選局する指示を出力するためのチャンネル選局回路３２０と、操作部３４０とを含む。制御回路３１０は、赤外線発光部３６０に接続されて、チャンネル選局回路３０または操作部３４０から入力する信号に基づいて予め定められた処理を実行し、赤外線信号を発信する制御を実行する。制御回路３１０はリモコン端末３００を制御するためのデータまたはプログラムを格納するメモリ３１２を有する。なお、リモコン端末３００が通常有するその他の回路、たとえば、音量の増減を調整するための信号を生成する回路、オンスクリーンディスプレイの表示を指令する信号を生成する回路は、当業者にとって容易に理解できるものである。したがって、ここではそれらの説明は略す。
【００８５】
本実施の形態に係るテレビ１００は、サンプリングモードとサービスモードを含む複数種類の動作モードを有する。サンプリングモードにおいては、視聴時の視聴者の体勢を示す特徴量であるテレビ１００との相対位置に従う後述する顔の位置、ならびに視聴時の姿勢に従う顔画像サイズおよび傾き角度の値を繰返し検出して、検出結果をテーブルＴＡおよび複数のテーブルＴＡＢｈに格納さする。サービスモードにおいては、予めサンプリングモードで収集されたデータを用いることで顔確認の処理を高速に行なう。そして、その確認結果に基づき、正当と確認された視聴者についてのサービス処理を行なう。サンプリングモードの処理手順が図１６に示されてサービスモードの処理手順が図１７と図１８に示される。図１６〜図１８に示されるフローチャートに従うプログラムは予めメモリ１１２に格納されて、ＣＰＵ１１０により読出されて実行される。
【００８６】
（サンプリングモード）
図１６を参照し、サンプリングモードについて説明する。サンプリングモードに従う処理は、ＣＰＵ１１０により定期的に繰返し起動される。起動されると、まず、ＣＰＵ１１０は、図８のテーブルＴＡの検出回数データ３０２が示す検出回数のトータル（総数）値を算出、算出したトータル値と、メモリ１１２に予め記憶された所定数とを比較して、比較結果に基づき、所定数以上であるか否かを判定する（ステップＳ（以下を単にＳと略す）０）。所定数以上であると判定すると（Ｓ０でＹＥＳ）、既に十分なデータ数がサンプリングされているので、サンプリングモードを終了する。
【００８７】
なお、Ｓ０で比較される所定数は、本実施の形態における視聴者確認の処理を高速に行なうことを可能ならしめる値であり、予めシミューレーションの実験などにより決定されてメモリ１１２に格納されていると想定する。
【００８８】
一方、トータル値が所定数未満である場合には（Ｓ０でＮＯ）、ＣＰＵ１１０は、撮像制御部２２９に指示して、撮像装置１５０により撮像を行なわせる（Ｓ１）。撮像により出力された画像データは、撮像装置１５０から出力されて画像メモリ１５２に一旦格納されるとともに、画像入力部２２７により画像メモリ１５２から読出されて画像データエリア１１２３の画像データＤＭ０として格納される。サンプリング部２１５のエリア分割部２１７は、画像データＤＭ０を、図７に示されるように複数のエリアに分割するとともに、各エリアに識別子を仮想的に割当てて、分割情報１１２６を生成しメモリ１１２の分割情報エリア１１２５に格納する。
【００８９】
次に、サンプリング部２１５の顔検出部２１６は、画像メモリ１５２の画像データに基づき顔画像の検出処理を行ない、その検出結果に基づき顔画像が検出できたか否かを判定する（Ｓ４）。顔検出部２１６の出力結果に基づき顔画像が検出できないと判定されると（Ｓ４でＮＯ）、サンプリングモードの処理を終了する。一方、顔画像が検出できたと判定されると（Ｓ４でＹＥＳ）、顔検出部２１６から出力された検出顔画像の左右情報および上下情報をメモリ１１２から読出し、読出した情報に基づき、メモリ１１２の分割情報エリア１１２５の分割情報１１２６を検索して、該当する位置情報に関連付けされたエリアの識別子を読出して、検出された顔の位置として出力する（Ｓ５）。
【００９０】
その後、サイズ検出部２１９は、検出された顔画像について顔のサイズを検出する（Ｓ７）。次に、角度検出部２２１は検出された顔画像について顔の傾き角度を検出する（Ｓ９）。ここでは、顔のサイズおよび角度が、サイズａ０〜ａ４のいずれかであり、ｂ０〜ｂ３のいずれかに該当するよう検出される。たとえば、顔のサイズが８０画素から９０画素はサイズａ０に該当し、９１〜１００画素はサイズａ１に該当するというように検出する。また、角度に関してはたとえば角度θが１〜１０度は角度ｂ０に該当し、同様に１１〜２０度は角度ｂ１に該当し、同様に２１〜３０度は角度ｂ２に該当するというよう検出する。
【００９１】
次に、検出回数更新部２２３は、Ｓ５で出力されたエリアの識別子に基づきテーブルＴＡを検索して、当該識別子に一致する値を示すエリアデータ３０１に関連付けされた検出回数データ３０２の値を１カウントアップする（Ｓ１１）。そして、当該エリアデータ３０１に関連付けされたポインタ３０３により指示されるテーブルＴＡＢｈを、Ｓ７およびＳ９で検出された顔のサイズおよび顔の角度に基づき検索して、検出されたサイズおよび角度の組合せに該当する組３０５を特定する。そして特定した組３０５に関連付けされた第１検出回数データ３０６と第２検出回数データ３０７の値をそれぞれ１カウントアップする（Ｓ１３）。これにより、視聴者の視聴時の体勢による顔画像の特徴量（位置、サイズ、角度）について１個のデータがサンプリングされたことになる。
【００９２】
このようにしてサンプリングされる特徴量のデータ個数が、予め設定された所定数になるまで（Ｓ０でＹＥＳと判定されるまで）、図１６の処理が定期的に繰返し行なわれる。なお、メモリ１１２の分割情報エリア１１２５および画像データエリア１１２３の内容は図１６のサンプリング処理が行われる毎に上書きされて更新される。
【００９３】
（サービスモード）
次に、図１７および図１８のフローチャートに従い、サービスモードの動作について説明する。本実施の形態では、図１の状態でテレビ１００のディスプレイ１３０の前に居る視聴者が電源ボタン３０７１を操作してテレビ１００の電源オン操作をする毎に、テレビ１００では図１７と図１８に示されるフローチャートに従うサービスモードの動作が実行される。なお、ここでは、サンプリングモードの動作によりテーブルＴＡとＴＡＢｊには前述の所定数の検出データが格納されていると想定する。なお、サービスモードでは、サンプリング部２１５の機能が利用される。
【００９４】
また、メモリ１１２の分割情報エリア１１２５および画像データエリア１１２３の内容はサービスモードの処理が行われる毎に上書きされて更新される。
【００９５】
サービスモードに従う処理は、視聴者によりリモコン端末３００が操作されたか否か、すなわちリモコン端末３００から発信された電源オンの赤外線信号をリモコン指示受付部２３１により受信したか否かにより判定されて、受信した場合のみ、サービスモードの処理が実行開始される。
【００９６】
まず、ＣＰＵ１１０は、リモコン指示受付部２３１を介して、リモコン端末３００の操作による赤外線変調された電源オンの指示信号を受付けたか否かを判定する（Ｓ３１）。信号が受付けられない間は（Ｓ３１でＮＯ）Ｓ３１の判定処理が繰返されるが、信号を受付けたと判定されると（Ｓ３１でＹＥＳ）、ＣＰＵ１１０は撮像制御部２２９を介して撮像装置１５０により撮像を行なわせる（Ｓ３３）。撮像装置１５０から出力された撮像による画像データは画像メモリ１５２に格納されるとともに、画像入力部２２７によりメモリ１１２の画像データエリア１１２３に画像データＤＭ０として格納される（Ｓ３５）。
【００９７】
次に、エリア分割部２３６は画像データＤＭ０に基づき、画像を図７に従う複数のエリアに分割するとともに、各エリアに識別子を割当てて、分割情報１１２６を生成してメモリ１１２の分割エリア情報１１２５に格納する（Ｓ３９）。
【００９８】
また、圧縮画像作成部２３４は、画像データＤＭ０に基づき画像の圧縮処理を行ない、縮小画像データＤＭ１〜ＤＭ４を作成し、メモリ１１２に格納する（Ｓ３７）。ここでは画像の圧縮は間引きまたは補完により行なうが、この方法に限定されない。
【００９９】
次に、エリア順位付部２３７は、エリア順位付けの処理を行なう（Ｓ４１）。具体的には、テーブルＴＡを検索して、検出回数データ３０２が指示する検出回数の値に基づき、その値が大きいものから順に、すなわち昇順に、関連付けされたエリアデータ３０１で指示されるエリアの順位付けを行なう。たとえば、図７の各エリア内に記載の数値（検出回数データ３０２の値）に示されるように、関連付けされた検出回数データ３０２が指示する回数が多い順番に、エリアＤ２、Ｅ２、Ｃ２、Ｄ３、Ｃ１、Ｂ２およびＥ１の順番に順位付けをする（Ｓ４１）。各エリアについて順位付された結果を示すエリア順位データ１３００はメモリ１１２の順位付データエリア１１２４に格納される。エリア順位データ１３００は、各エリアに対応して、その識別子と順位を関連付けて有する。
【０１００】
その後、ＣＰＵ１１０は、制御の変数ｉとＦＬにそれぞれ０を設定する。変数ｉは、後述のスキャン処理が終了したエリアの個数をカウントする変数であり、変数ＦＬはスキャン処理の結果、顔画像が検出できた場合に１が設定され、検出できない場合には０のままとされる変数である。
【０１０１】
Ｓ４５以降の処理が図１８に示される。
図１８を参照して、次に、ＣＰＵ１１０は変数ｉの値を１カウントアップする（Ｓ４５）。これにより、Ｓ４１のエリア順位付け処理によって、ｉ番目の順位が付けられたエリアについて以降の処理が実行される。
【０１０２】
まず、サイズ順位付部２３８は順位付けデータエリア１１２４のエリア順位データ１３００を検索してｉ番目を指示する順位に関連付けされた識別子を読出す。そして、読出した識別子で指示されるエリアについて、顔サイズの順位付け処理を行なう（Ｓ４７）。
【０１０３】
具体的には、読出した識別子に基づきテーブルＴＡを検索して、当該識別子を指すエリアデータ３０１に関連付けされたポインタ３０３を特定し、特定したポインタ３０３によって指示されるテーブルＴＡＢｈを参照する。参照されるテーブルＴＢＡｈにおいては、サイズ順位付部２３８は第２検出回数データ３０７の値に従い、関連付けされた顔サイズａ０〜ａ４を検出回数の多い順に、すなわち昇順に順位付けする。この順位付けの結果はサイズ順位データ１３０１として生成されてメモリ１１２の順位付データエリア１１２４に格納される。図９の場合、たとえばエリアＤ２においては、顔サイズａ３、ａ０、ａ２、ａ１およびａ４の順番の順位付けを示すサイズ順位データ１３０１が作成されて順位付データエリア１１２４に格納されることになる。
【０１０４】
次に、ＣＰＵ１１０は、変数ｊに０をセットする（Ｓ４９）。変数ｊは、サイズ順位データ１３０１が示す順位を１づつインクリメントしながら指示する値である。
【０１０５】
次に、変数ｊの値が１カウントアップされる（Ｓ５１）。これにより、サイズ順位データ１３０１のｊ番目の顔サイズが指示されることになる。
【０１０６】
次に、サービス部２１５は、Ｓ５１の処理により指示されるｊ番目の顔サイズをサイズ順位データ１３０１から読出し、読出した顔サイズに応じたサイズの圧縮画像を画像データエリア１１２３から選択的に読出す（Ｓ５３）。この選択は、ｊ番目の顔サイズが大きいサイズを示すほど小さなサイズの圧縮画像が選択されて、小さいサイズを示すほど大きなサイズの圧縮画像が選択される。顔サイズに応じたサイズの圧縮画像の選択の基準は予め決められていると想定し、サービス部２１５は当該基準に従い選択をする。
【０１０７】
次に、角度順位付部２３９は、現在参照しているテーブルＴＡＢｈの組３０５を検索してｊ番目の顔サイズの組３０５を特定する。そして、特定した組３０５の角度（ｂ０〜ｂ３）それぞれに関連付けされた第１検出回数データ３０６に基づき、第１検出回数の多い順に、角度（ｂ０〜ｂ３）のに順位付けをする。その結果を、角度（ｂ０〜ｂ３）のそれぞれと順位とを関連付けたデータ１３０２として生成して順位付けデータエリア１１２４に格納する（Ｓ５５）。たとえば図９のエリアＤ２に対応のテーブルＴＡＢ１においては、顔サイズａ０と組合わせられた角度ｂ０〜ｂ３は、関連付けされた第１検出回数データ３０６に従えば角度ｂ０、ｂ３、ｂ１、ｂ２との順に順位付けされる。
【０１０８】
次に、ＣＰＵ１１０は、変数ｋの値を０に設定する。変数ｋは、ｊ番目の顔サイズと組合わされた角度のそれぞれを付けられた順位に従い指示するために用いられる。まず、変数ｋの値が１カウントアップされる（Ｓ５９）。そして、顔検出部２４０は、顔画像の領域を抽出するためにＳ５３で選択された圧縮画像をスキャン（走査）する（Ｓ６１）。
【０１０９】
具体的には、選択された圧縮画像において、現在の変数ｉの値が指示するエリアの位置を特定する。つまり、変数ｉの値に基づき分割情報１１２６を検索して対応の位置情報を読出し、選択されている圧縮画像データが有するの圧縮の比を用いて読出した位置情報を、所定手順で当該圧縮画像における位置情報に換算する。換算された位置情報がさすエリアは、元の画像データのエリアが当該比の大きさだけ縮小されたサイズを有する。そして、当該圧縮画像データの換算された位置情報が指すエリアにおいて、変数ｋが指す角度の顔画像を検出するようにしている。
【０１１０】
Ｓ６１のスキャン処理の結果、サービス部２３５は当該エリアにおいて顔画像が検出されて、その傾き角度（ｂ０〜ｂ３のいずれか）とｋ番目の角度（ｂ０〜ｂ３のいずれか）とを比較して、両者が一致したと判定すると（Ｓ６５でＹＥＳ）、後述のＳ７１以降の処理に移る。一方、両者が一致しないと判定すると（Ｓ６５でＮＯ）、ＣＰＵ１１０は変数ｋが指す順位が４未満を指しているか判定する（Ｓ６７）。４未満であれば（Ｓ６７でＹＥＳ）、Ｓ５９の処理に移り変数ｋをさらに１インクリメントして、次位の角度について同様にＳ６１以降の処理を行なう。４以上であると判定されると（Ｓ６７でＮＯ）４種の全ての角度についてＳ６１のスキャンが終了していることになるので、以下のように次位のサイズについてＳ５３以降の処理を行なうことが考慮される。
【０１１１】
まず、ＣＰＵ１１０は変数ｊが指す順位が５未満を指しているか判定する（Ｓ６９）。５未満であれば（Ｓ６９でＹＥＳ）、Ｓ５１の処理に移り変数ｊをさらに１インクリメントして、次位のサイズについて同様にＳ５３以降の処理を行なう。５以上であると判定されると（Ｓ６９でＮＯ）５種の全てのサイズについてＳ６１のスキャンが終了していることになる。そこで、ＣＰＵ１１０は変数ｉの指す順位が１６未満を指しているか否かを判定する（Ｓ８１）。１６未満であれば（Ｓ８１でＹＥＳ）、Ｓ４５の処理に移り変数ｉをさらに１インクリメントして、次位のエリアを対象にして同様にＳ４７以降の処理を行なう。１６以上であると判定されると（Ｓ８１でＮＯ）分割された全てエリアについてスキャンが終了していることになる。そのため、一連の処理は終了する。
【０１１２】
サイズに応じて選択された圧縮画像において顔画像が検出されて、かつ検出された顔画像の傾き角度がｋ番目の傾き角度に一致した場合には（Ｓ６５でＹＥＳ）、ＣＰＵ１１０は変数ＦＬの値を１に設定し（Ｓ７１）、認証部２０５は、選択された圧縮画像で検出された顔画像から抽出した特徴量と、各特徴パターン１Ｐｊの特徴パターンデータＣＨＰｊの特徴量とを比較して、比較結果に基づき本人確認の処理を行なう（Ｓ７３）。
【０１１３】
この場合に、画像は圧縮されているので圧縮の比に基づき、検出の特徴量と特徴パターンデータＣＨＰｊの特徴量とを比較することになる。
【０１１４】
顔画像の特徴量の比較による確認結果、認証に成功しない（認証部２０５から識別データＩＤｊが出力されない）と判定されると（Ｓ７５でＮＯ）、一連の処理は終了するが、認証に成功した（識別データＩＤｊが出力された）と判定されると（Ｓ７５でＹＥＳ）、検出回数更新部２２３は、変数ｉ、ｊおよびｋの現在値が指示する順位のエリアの識別子、顔サイズおよび顔の角度を、エリア順位データ１３００、サイズ順位データ１３０１および角度順位データ１３０２から検索して読出す。そして、読出したエリアの識別子に基づきテーブルＴＡを検索して、当該識別子を指示するデータ３０１に関連付けされた検出回数データ３０２の値を１インクリメントする、また、当該データ３０１に関連付けされたポインタ３０３により指示されるテーブルＴＡＢｈの組３０５を検索して、読出された顔サイズおよび顔の角度からなる組３０５を特定して、特定した組３０５に関連付けされている第１および第２検出回数データ３０６および３０７の値をそれぞれ１カウントアップする（Ｓ７７）。これにより、サービスモードにおいて認証に成功した場合には、認証に成功した視聴者の体勢の特徴量を示すデータのサンプリングができる。
【０１１５】
その後、サービス提供の処理がされて（Ｓ７９）、サービスモードの処理は終了する。サービス提供の処理では、コンテンツ検索部２０９は、認証に成功した、すなわち本人確認された視聴者について認証部２０５から出力された識別データＩＤｊに基づきコンテンツエリア１１２０を検索して、当該識別データＩＤｊに関連付けされたコンテンツリストＣＮＴＬｊを読出し、コンテンツ出力部２１１に与える。コンテンツ出力部２１１は、与えられるコンテンツリストＣＮＴＬｊを、ＯＳＤ回路１２４を介してディスプレイ１３０に表示する。視聴者は、出力されたコンテンツリストから、リモコン端末３００を操作して、所望のタイトルを選択する。コンテンツ検索部２０９は、選択されたタイトルに対応のコンテンツデータＣＮＴｊを当該コンテンツリストに関連付けされた複数のコンテンツデータＣＮＴｊ中から検索して、コンテンツ出力部２１１に与えるので、コンテンツ出力部２１１は与えられるコンテンツデータＣＮＴｊを、ディスプレイ１３０またはスピーカ１４０を介して出力する。
【０１１６】
以上のサービスモードでは、図７を例にすると、エリアＤ２→Ｅ２→Ｃ２→Ｄ３→Ｃ１→Ｂ２→Ｅ１・・・とスキャン処理の対象エリア、および視聴時の体勢を示す各特徴量の検出頻度が参照されるエリアが遷移することになる。
【０１１７】
以上のサービスモードでは、スキャン対象は検出頻度の高い顔サイズに応じたサイズの圧縮画像に変更されるので、撮像画像という一定の大きさの画像をスキャンするのに較べて、顔画像検出のために処理する画像データ量を少なくできるから、高速な処理が可能となる。
【０１１８】
このように本実施の形態のサービスモードでは、サンプリングモードで収集した視聴者の視聴時の体勢を示す各特徴量の検出頻度（検出回数）に従い、検出回数データ３０２の値が高い（顔画像の検出頻度が高い）エリアの、当該エリアにおける第２検出回数データ３０７の値が高い顔サイズに応じた圧縮画像の当該エリアに対応する位置において、当該顔サイズと組合わさって検出される回数（第１検出回数データ３０６の値）が高い傾き角度の顔画像を優先して検出するようにしている。したがって、Ｓ６１のスキャンは、顔画像が検出される可能性が高い条件（体勢の特徴量）を優先的にして、検出ができない場合には次に検出の可能性が高い条件へと変更しながら繰返し行なわれるので、何らの情報も参照することなく無造作に顔画像の検出・認証を実行する場合に比較して、高速に顔画像の検出が可能となり、ひいては高速に本人確認の認証処理を行なうことができる。
【０１１９】
（他の実施の形態）
図１７と図１８では、縮小画像データにおいて顔画像の検出をしているが、縮小画像を用いずに、撮像された元の画像データにおいて図７のように各エリアに記載の検出回数の昇順に従う順番で各エリアにおいて顔画像の検出をするようにしてもよい。
【０１２０】
図１７と図１８では、スキャン処理に関する順位付けはサービスモードの処理内で行うとしているが、これに限定されない。つまり、十分な個数の姿勢に関する特徴量のデータのサンプリングが終了していれば、順位付けはサービスモードの処理開始前に求めておくとしてもよい。このようにすると、図１７と図１８の手順に較べて顔画像検出の処理時間を短縮できる。
【０１２１】
図１７と図１８では、図７のように検出回数の多い順番にスキャン対象のエリアが移るが、次のようにしてもよい。つまり、最高の検出回数のエリアをスキャンしても顔画像を検出できないときは、次は当該エリアに隣接するエリアを検出対象に変更してもよい。つまり、上述したように視聴時の姿勢の特徴量はほぼ一定範囲に収まることを考慮すると、最高の検出回数のエリアの周辺エリアも検出回数は低くはないと考えられるからである。
【０１２２】
また、顔サイズの順番に従うサイズの縮小画像を選択するようにしているが、上述したように視聴時の姿勢の特徴量はほぼ一定範囲に収まることを考慮すると、ある順位のサイズの縮小画像で顔画像が検出できないときは所定の±αのサイズ変更をした縮小画像を作成して、それについて顔画像の検出をするようにしてもよい。このことは同様に、傾き角度についても言えて、ある順位の角度の顔画像が検出できないときは所定の±αの角度変更をした傾き角度の顔画像の検出をするようにしてもよい。
【０１２３】
また、最高の検出回数のエリアをスキャンしても顔画像を検出できないときは、図７のエリアを一筆書きのルートで巡るようにして対象のエリアを遷移させるようにしてもよい。これにより、同一エリアについて重複して検出がおこなわれるのを回避できる。
【０１２４】
また、最高の検出回数のエリアをスキャンし、エリアは全エリアのたとえば８０％、顔サイズは全サイズ種類のたとえば５０％についてスキャンが終了したならば、検出頻度にかかわらず未スキャンのエリアを処理するようにしてもよい。たとえば、図７の場合、最も検出頻度の高いエリアＤ２から顔画像の検出を開始する。その際、エリアＤ２の顔のサイズの頻度がａ３→ａ０→ａ２→ａ１→ａ４となっていたと想定する。この場合には、サイズａ３からサイズａ２まで順にスキャンをしていき、それでも顔画像の検出ができないときには、サイズａ２までスキャンを終えた時点で全体の５０％のスキャンが終了しているので残りのサイズは検出頻度にかかわらず大きさの順に変化させてスキャンする。エリアＤ２について顔画像が検出できない場合には、次に検出頻度の高いＥ２→Ｃ２→Ｄ３の順番にスキャン対象を変化させる。
【０１２５】
また、検出回数順にスキャンして、スキャンすべきエリアの検出回数が、検出回数データ３０２が示す検出回数のトータル（総数）値に対して、たとえば２％などの一定以下の割合になったときは、検出回数によらずスキャンするようにしてもよい。
【０１２６】
また、顔画像の高速検索のために視聴者の体勢特徴量として顔画像の位置、サイズ、角度を用いたが特徴量の種類・数はこれらに限定されない。たとえば、位置、サイズ、角度に関連付けて検出されやすい輝度情報を考慮にいれてもよい。
【０１２７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２８】
【図１】本発明の第１の実施の形態に係るテレビが設置されている状態を表わす図である。
【図２】テレビを正面から表わす図である。
【図３】テレビのハードウェア構成を表わすブロック図である。
【図４】メモリの内容例を示す図である。
【図５】コンテンツエリアの内容例を示す図である。
【図６】特徴パターンエリアの内容例を示す図である。
【図７】エリア分割を説明する図である。
【図８】サンプリング結果エリアの内容例を示す図である。
【図９】サンプリング結果エリアの内容例を示す図である。
【図１０】顔画像の傾き角度の検出を説明する図である。
【図１１】画像データエリアの内容例を示す図である。
【図１２】顔画像データを概念的に示す図である。
【図１３】実施の形態に係るテレビの機能構成図である。
【図１４】リモコン端末の外観図である。
【図１５】リモコン端末の機能構成図である。
【図１６】サンプリングモードの処理フローチャートである。
【図１７】サービスモードの処理フローチャートである。
【図１８】サービスモードの処理フローチャートである。
【符号の説明】
【０１２９】
１０  部屋、１１  椅子、１２  視聴者、１００  テレビ、１０２  アンテナ、１０４  外部入力部、１０６  受光部、１０８  操作部、１１０  ＣＰＵ、１１２  メモリ、１５０  撮像装置、２０５  認証部、２１５  サンプリング部、３００  リモコン端末。
【図１】
2007235582.tif 000003
【図２】
2007235582.tif 000004
【図３】
2007235582.tif 000005
【図４】
2007235582.tif 000006
【図５】
2007235582.tif 000007
【図６】
2007235582.tif 000008
【図７】
2007235582.tif 000009
【図８】
2007235582.tif 000010
【図９】
2007235582.tif 000011
【図１０】
2007235582.tif 000012
【図１１】
2007235582.tif 000013
【図１２】
2007235582.tif 000014
【図１３】
2007235582.tif 000015
【図１４】
2007235582.tif 000016
【図１５】
2007235582.tif 000017
【図１６】
2007235582.tif 000018
【図１７】
2007235582.tif 000019
【図１８】
2007235582.tif 000020