(57)【要約】【課題】ユーザーの嗜好を十分に反映した番組推薦を実現する。【解決手段】番組推薦装置（１０）は、所定のキーワードを含む話題を生成してユーザーに提示する話題提示部（１１）と、ユーザーの音声を音声解析して当該音声の韻律特徴を抽出する音声解析部（１２）と、話題に対してユーザーが応答する音声に関して音声解析部によって抽出された韻律特徴に基づいて、話題に含まれるキーワードに対するユーザーの嗜好度を評価する嗜好度評価部（１５）と、さまざまなキーワードについての嗜好度評価部による評価結果に基づいて、キーワードとユーザーの嗜好度とが対応付けられた嗜好情報データベース（１０３）を構築する嗜好ＤＢ構築部（１６）と、嗜好情報データベースを参照して、番組ガイド情報からユーザーの嗜好に合った番組を見つけて推薦する番組推薦部（１７）とを備えている。【選択図】図１
2014241498.tif 000002
【特許請求の範囲】
【請求項１】
所定のキーワードを含む話題を生成してユーザーに提示する話題提示部と、
ユーザーの音声を音声解析して当該音声の韻律特徴を抽出する音声解析部と、
前記話題に対してユーザーが応答する音声に関して前記音声解析部によって抽出された韻律特徴に基づいて、前記話題に含まれるキーワードに対するユーザーの嗜好度を評価する嗜好度評価部と、
さまざまなキーワードについての前記嗜好度評価部による評価結果に基づいて、キーワードとユーザーの嗜好度とが対応付けられた嗜好情報データベースを構築する嗜好ＤＢ構築部と、
前記嗜好情報データベースを参照して、番組ガイド情報からユーザーの嗜好に合った番組を見つけて推薦する番組推薦部とを備えている
ことを特徴とする番組推薦装置。
【請求項２】
ユーザーの音声を音声認識してキーワードを抽出する音声認識部を備え、
前記嗜好度評価部が、ユーザーが自由に発する音声に関して前記音声解析部によって抽出された韻律特徴に基づいて、前記音声認識部によって抽出されたキーワードに対するユーザーの嗜好度を評価する、請求項１に記載の番組推薦装置。
【請求項３】
ユーザーを撮影した画像を画像解析してユーザーのジェスチャを認識する画像解析部を備え、
前記嗜好度評価部が、前記画像解析部によって認識された前記話題に対するユーザーのジェスチャを加味して、前記話題に含まれるキーワードに対するユーザーの嗜好度を評価する、請求項１および２のいずれか一つに記載の番組推薦装置。
【請求項４】
前記話題生成部が、生成した話題を音声情報および／または文字情報としてユーザーに提示する、請求項１から３のいずれか一つに記載の番組推薦装置。
【請求項５】
所定のキーワードを含む話題を生成してユーザーに提示する話題提示部と、
前記話題に対するユーザーのジェスチャを撮影した画像を画像解析して当該ジェスチャの特徴を抽出する画像解析部と、
前記ジェスチャの特徴に基づいて前記話題に含まれるキーワードに対するユーザーの嗜好度を評価する嗜好度評価部と、
さまざまなキーワードについての前記嗜好度評価部による評価結果に基づいて、キーワードとユーザーの嗜好度とが対応付けられた嗜好情報データベースを構築する嗜好ＤＢ構築部と、
前記嗜好情報データベースを参照して、番組ガイド情報からユーザーの嗜好に合った番組を見つけて推薦する番組推薦部とを備えている
ことを特徴とする番組推薦装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルテレビやデジタルビデオレコーダなどのデジタル放送受信機に用いられる番組推薦装置に関する。
【背景技術】
【０００２】
デジタル放送受信機が有する機能の一つに番組推薦機能がある。典型的な番組推薦機能は、あらかじめユーザーが好みのキーワードやジャンルを機器に登録しておくことで、機器がＥＰＧ（Electronic Program Guide）などの番組ガイド情報から当該キーワードやジャンルに合致する番組を見つけてユーザーに推薦（例えば、自動録画予約など）するというものである。しかし、キーワードやジャンルなどを登録し、こまめに更新することはユーザーにとって煩わしい作業である。
【０００３】
そのようなキーワードの登録作業なしにユーザーの視聴嗜好を学習するためにこれまでいくつかの技術が提案されている。例えば、ユーザーによる機器の操作履歴を記録し、各番組ついてユーザーがどのような機器操作を行ったかに基づいてユーザーの嗜好を学習するものがある（例えば、特許文献１を参照）。また、コンテンツ視聴中のユーザーの顔の向きを検出して区間注視度を算出し、当該区間注視度に基づいて番組嗜好度を算出するものがある（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９４１０８号公報
【特許文献２】特開２０１１−７１７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ジャンルに基づく番組推薦ではジャンルという大まかな分類でしかユーザーの嗜好を反映できないのに対して、キーワードに基づく番組推薦はユーザーの嗜好をより細かく反映することができる。従来技術に係る機器の操作履歴や区間注視度に基づく嗜好評価によると、ユーザーが視聴中の番組に対する嗜好度、すなわち、番組のジャンルの嗜好度については評価することができるが、個別のキーワードに関してユーザーの嗜好度を評価することは困難である。このため、従来の番組推薦ではユーザーの嗜好を十分に反映できないおそれがある。
【０００６】
上記問題に鑑み、本発明は、ユーザーにキーワード入力などの作業負担を強いることなくユーザーの視聴嗜好を学習してユーザーの嗜好を十分に反映した番組推薦を実現する番組推薦装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面に従った番組推薦装置は、所定のキーワードを含む話題を生成してユーザーに提示する話題提示部と、ユーザーの音声を音声解析して当該音声の韻律特徴を抽出する音声解析部と、前記話題に対してユーザーが応答する音声に関して前記音声解析部によって抽出された韻律特徴に基づいて、前記話題に含まれるキーワードに対するユーザーの嗜好度を評価する嗜好度評価部と、さまざまなキーワードについての前記嗜好度評価部による評価結果に基づいて、キーワードとユーザーの嗜好度とが対応付けられた嗜好情報データベースを構築する嗜好ＤＢ構築部と、前記嗜好情報データベースを参照して、番組ガイド情報からユーザーの嗜好に合った番組を見つけて推薦する番組推薦部とを備えている。
【０００８】
これによると、話題提示部によって提示された話題に対してユーザーが応答する音声の韻律特徴から当該話題に含まれるキーワードに対するユーザーの嗜好度が評価され、当該キーワードとユーザーの嗜好度とが対応付けられて嗜好情報データベースが構築され、構築した嗜好情報データベースを参照してユーザーの嗜好に合った番組が推薦される。したがって、ユーザーにキーワード入力などの作業負担を強いることなくユーザーとのインタラクションを通じてユーザーの視聴嗜好を学習することができる。
【０００９】
上記番組推薦装置は、ユーザーの音声を音声認識してキーワードを抽出する音声認識部を備えていてもよく、前記嗜好度評価部が、ユーザーが自由に発する音声に関して前記音声解析部によって抽出された韻律特徴に基づいて、前記音声認識部によって抽出されたキーワードに対するユーザーの嗜好度を評価するものであってもよい。
【００１０】
上記番組推薦装置は、ユーザーを撮影した画像を画像解析してユーザーのジェスチャを認識する画像解析部を備えていてもよく、前記嗜好度評価部が、前記画像解析部によって認識された前記話題に対するユーザーのジェスチャを加味して、前記話題に含まれるキーワードに対するユーザーの嗜好度を評価するものであってもよい。
【００１１】
なお、前記話題生成部は、生成した話題を音声情報および／または文字情報としてユーザーに提示することができる。
【００１２】
本発明の別の局面に従った番組推薦装置は、所定のキーワードを含む話題を生成してユーザーに提示する話題提示部と、前記話題に対するユーザーのジェスチャを撮影した画像を画像解析して当該ジェスチャの特徴を抽出する画像解析部と、前記ジェスチャの特徴に基づいて前記話題に含まれるキーワードに対するユーザーの嗜好度を評価する嗜好度評価部と、さまざまなキーワードについての前記嗜好度評価部による評価結果に基づいて、キーワードとユーザーの嗜好度とが対応付けられた嗜好情報データベースを構築する嗜好ＤＢ構築部と、前記嗜好情報データベースを参照して、番組ガイド情報からユーザーの嗜好に合った番組を見つけて推薦する番組推薦部とを備えている。
【００１３】
これによると、話題提示部によって提示された話題に対するユーザーのジェスチャの特徴から当該話題に含まれるキーワードに対するユーザーの嗜好度が評価され、当該キーワードとユーザーの嗜好度とが対応付けられて嗜好情報データベースが構築され、構築した嗜好情報データベースを参照してユーザーの嗜好に合った番組が推薦される。したがって、ユーザーにキーワード入力などの作業負担を強いることなくユーザーとのインタラクションを通じてユーザーの視聴嗜好を学習することができる。
【発明の効果】
【００１４】
本発明によると、ユーザーにキーワード入力などの作業負担を強いることなくユーザーの視聴嗜好を学習してユーザーの嗜好を十分に反映した番組推薦を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る番組推薦装置の主要部のブロック図
【図２】一例に係る音声解析部のブロック図
【図３】一例に係る音声認識部のブロック図
【図４】一例に係る画像解析部のブロック図
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。
【００１７】
本発明の一実施形態に係る番組推薦装置は、ユーザーとのインタラクションを通じてユーザーの視聴嗜好を学習し、ユーザーの嗜好に合ったコンテンツ（番組）を推薦する装置である。当該番組推薦装置は、放送事業者やコンテンツ配信会社などから地上デジタル波や衛星デジタル波などの放送波および／またはインターネットなどのネットワークで配信される番組を受信するＴＶ装置、ビデオレコーダ、端末装置などに搭載されてそれら機器に番組推薦機能を提供する。
【００１８】
図１は、本発明の一実施形態に係る番組推薦装置１０の主要部のブロック図である。本実施形態に係る番組推薦装置１０は、話題提示部１１、音声解析部１２、音声認識部１３、画像解析部１４、嗜好度評価部１５、嗜好ＤＢ構築部１６、および番組推薦部１７を備えている。
【００１９】
話題提示部１１は、所定のキーワードを含むさまざまな話題を生成し、ユーザーに話題を提供してユーザーとのインタラクションを実現する。話題提示部１１は、生成した話題を音声合成してオーディオ信号を生成し、図示しないスピーカーから話題を音声情報として出力してユーザーに提示することができる。また、話題提示部１１は、生成した話題をテキスト化してＯＳＤ（On Screen Display）用のビデオ信号などを生成し、図示しない表示装置から話題を文字情報として出力してユーザーに提示することができる。
【００２０】
話題提示部１１は、キーワードデータベース１０１を参照して、話題を生成するのに適当なキーワードを取得することができる。キーワードデータベース１０１にはユーザーの視聴嗜好を探るのに適したキーワードが格納されている。キーワードデータベース１０１に格納されているキーワードは、例えば、「ドラマ」、「ニュース」、「スポーツ」などの番組ジャンルを表す言葉や、「東京スカイツリー」などの施設名や、地名、さらには人物名などである。
【００２１】
なお、番組推薦装置１０は、電子番組ガイドなどからキーワードを抽出してキーワードデータベース１０１に追加することができる。後述するように、電子番組ガイドは番組ガイド情報データベース１０４に格納されている。また、番組推薦装置１０がインターネットに接続されていれば、プッシュ型サービスにより、および／またはインターネットの特定のｗｅｂサイトから最新の注目ワードを取得することにより、キーワードデータベース１０１に最新キーワードを追加することができる。また、番組推薦装置１０は、古く使わなくなったキーワードをキーワードデータベース１０１から適宜削除することができる。
【００２２】
音声解析部１２は、図示しないマイクロフォンによって集音されたユーザーの音声を受け、それを音声解析して韻律特徴を抽出する。韻律特徴とは、音声の抑揚、音調、強勢、音長、リズム、話速などである。音声解析部１２はそのような韻律特徴を定量化することができる。
【００２３】
図２は、一例に係る音声解析部１２のブロック図である。音声解析部１２は、例えば、音声特徴抽出部１２１、および韻律パラメータ生成部１２２を備えている。
【００２４】
音声特徴抽出部１２１には、Ａ／Ｄ変換された音声データが入力される。音声特徴抽出部１２１は、入力された音声データを解析して音声区間を抽出し、例えば１フレームを１０ｍｓとして各フレームごとに基本周波数Ｆ０を算出する。また、音声特徴抽出部１２１は、音素アライメントを行って第１モーラの母音区間を特定する。
【００２５】
韻律パラメータ生成部１２２は、音声特徴部１２１の解析結果に基づいて、韻律特徴として、１）第１モーラの母音区間における基本周波数Ｆ０の傾き、２）音声区間全体における基本周波数Ｆ０のレンジ、および３）音声区間の最終音素の継続長、の少なくとも３つのパラメータを生成する。韻律パラメータ生成部１２２は、さらに、４）音声区間全体における２次回帰係数の２次の係数、５）ユーザーごとに平均をとって正規化した基本周波数Ｆ０の音声区間全体の平均値、６）最大値、および７）最小値、を韻律特徴に追加することもできる。
【００２６】
図１に戻り、音声認識部１３は、図示しないマイクロフォンによって集音されたユーザーの音声を受け、それを音声認識してキーワードを抽出する。
【００２７】
図３は、一例に係る音声認識部１３のブロック図である。音声認識部１３は、例えば、音声処理部１３１、形態素解析部１３２、およびキーワード抽出部１３３を備えている。
【００２８】
音声処理部１３１には、Ａ／Ｄ変換された音声データが入力される。音声処理部１３１は、入力された音声データを解析して音声区間を抽出し、例えば１フレームを１０ｍｓとして各フレームごとにメル周波数ケプストラム係数（ＭＦＣＣ）を算出する。さらに、音声処理部１３１は、有限状態トランスデューサ（ＦＳＴ）を用いて音声データをテキスト化する。
【００２９】
形態素解析部１３２は、音声処理部１３１から出力されるテキストデータを形態素解析して、テキストを単語群に分解する。
【００３０】
キーワード抽出部１３３は、形態素解析部１３２の処理結果から特定の品詞、特に名詞を抽出する。例えば、キーワード抽出部１３３は、キーワードデータベース１０１を参照して、キーワードデータベース１０１に登録されているキーワードを抽出してもよい。
【００３１】
図１に戻り、画像解析部１４は、図示しないカメラによって撮影されたユーザーの画像を受け、それを画像解析してユーザーのジェスチャを認識する。画像解析部１４が認識するジェスチャは、例えば、うなずき、かしげ、首振りなど、ユーザーの肯定的（ポジティブ）または否定的（ネガティブ）な反応を推し量ることができるユーザーの頭部の動きである。
【００３２】
図４は、一例に係る画像解析部１４のブロック図である。画像解析部１４は、例えば、領域抽出部１４１、オプティカルフロー抽出部１４２、領域平均処理部１４３、およびジェスチャ認識部１４４を備えている。
【００３３】
領域抽出部１４１は、入力された映像データからユーザーの頭部領域を抽出する。頭部領域は、例えば、肌や髪の色を用いることで背景画像から抽出することができる。
【００３４】
オプティカルフロー抽出部１４２は、領域抽出部１４１によって抽出されたユーザーの頭部領域のオプティカルフローを抽出する。具体的には、オプティカルフロー抽出部１４２は、勾配法によってオプティカルフローを抽出することができる。
【００３５】
領域平均処理部１４３は、頭部領域の重心を基準としてユーザーの頭部領域を縦横４つに分割した第１象限から第４象限について、各象限のオプティカルフローの平均値を算出する。当該平均値は各象限の全体的なフローを表す。
【００３６】
ジェスチャ認識部１４４は、領域平均処理部１４３から出力される各象限のオプティカルフローの平均値に基づいてユーザーの頭部領域の動きを特定してユーザーのジェスチャを認識する。例えば、第１から第４の全象限が上下に同じように動く場合、ジェスチャ認識部１４４は、ユーザーがうなずいていると認識することができる。第１から第４の全象限が左右に同じように動く場合、ジェスチャ認識部１４４は、ユーザーが首を振っていると認識することができる。第１象限と第３象限または第２象限と第４象限が原点を中心として対称に動く場合、ジェスチャ認識部１４４は、ユーザーが首をかしげていると認識することができる。
【００３７】
図１に戻り、嗜好度評価部１５は、話題提示部１１によって提示された話題に対するユーザーの音声およびジェスチャに応じて、その話題に含まれるキーワードに対するユーザーの嗜好度を評価する。具体的には、嗜好度評価部１５は、音声解析部１２によって抽出された韻律特徴および／または画像解析部１４によって認識されたユーザーのジェスチャに基づいて、その話題に含まれるキーワードに対するユーザーの嗜好度を評価する。
【００３８】
ユーザーに話題を提示すると、ユーザーはその話題に対して音声により肯定的または否定的な何らかの反応を示すと考えられる。例えば、「○○はいかがでしょうか？」（○○は所定のキーワード）という話題が提示された場合、ユーザーがその話題に含まれるキーワードに興味があればユーザーは「いいね」などと発話し、あまり興味がなければ「○○かあ」などと発話することがある。ユーザーの個別的な発話内容にかかわらず、肯定的な発話の場合、第１モーラの母音区間における基本周波数Ｆ０の傾きが比較的大きく、音声区間全体における基本周波数Ｆ０のレンジが比較的広く、音声区間の最終音素の継続長が比較的短いといった傾向が見られる。一方、否定的な発話の場合はこれとは逆の傾向が見られる。したがって、嗜好度評価部１５は、ユーザーの音声の韻律特徴に基づいてユーザーの反応が肯定的か否定的かを評価することができる。
【００３９】
具体的には、嗜好度評価部１５は、サポートベクターマシン（ＳＶＭ）などを利用して、ユーザーの反応が肯定的か否定的かを評価する。なお、サポートベクターマシンを利用するために、ユーザーのさまざまな音声応答に係る韻律特徴を肯定／否定モデル１０２としてモデル化しておく。
【００４０】
また、ユーザーに話題を提示すると、ユーザーはその話題に対してジェスチャにより肯定的または否定的な何らかの反応を示すこともある。例えば、「○○はいかがでしょうか？」（○○は所定のキーワード）という話題が提示された場合、ユーザーがその話題に含まれるキーワードに興味があればユーザーはうなずき、あまり興味がなければ首をかしげたり、首を振ったりすることがある。したがって、嗜好度評価部１５は、ユーザーのジェスチャに基づいてユーザーの反応が肯定的か否定的かを評価することができる。
【００４１】
ユーザーの応答に音声およびジェスチャの両方が含まれる場合、嗜好度評価部１５はそれらを総合的に評価することができる。例えば、韻律特徴が肯定的であり、ユーザーのジェスチャがうなずきであった場合、嗜好度評価部１５は、ユーザーは当該話題に含まれるキーワードに対して強い肯定の意思を持っていると評価することができる。一方、韻律特徴が否定的であり、ユーザーのジェスチャが首振りであった場合、嗜好度評価部１５は、ユーザーは当該話題に含まれるキーワードに対して強い否定の意思を持っていると評価することができる。
【００４２】
嗜好度評価部１５によって評価されるユーザーの嗜好度は、肯定／否定の２レベル、強い肯定／肯定／否定／強い否定の４レベルなどのように複数のレベルで表してもよいし、あるいは０から１までの範囲の確率値として表してもよい。
【００４３】
嗜好ＤＢ構築部１６は、嗜好度評価部１５による評価結果に基づいて嗜好情報データベース１０３を構築する。嗜好情報データベース１０３においてキーワードとユーザーの嗜好度とが対応対応付けされている。嗜好ＤＢ構築部１６は、話題提示部１１から、ユーザーに提示した話題に含まれるキーワードを受け、また、嗜好度評価部１５から当該話題に含まれるキーワードに対するユーザーの嗜好度の評価結果を受け、それらを対応付けて嗜好情報データベース１０３に登録する。
【００４４】
また、嗜好ＤＢ構築部１６は、ユーザーが自由に発する音声に含まれるキーワードに対するユーザーの嗜好度も嗜好情報データベース１０３に登録することができる。具体的には、嗜好度評価部１５は、音声認識部１３から、ユーザーが自由に発する音声に含まれるキーワードを受け、また、嗜好度評価部１５から当該キーワードに対するユーザーの嗜好度の評価結果を受け、それらを対応付けて嗜好情報データベース１０３に登録する。
【００４５】
このように、さまざまなキーワードについてユーザーの好き嫌いを嗜好情報データベース１０３に登録することで、番組推薦装置１０はユーザーの視聴嗜好を学習することができる。
【００４６】
番組推薦部１７は、嗜好情報データベース１０３を参照してユーザーの嗜好に合った番組を推薦する。例えば、番組推薦部１７は、ＥＰＧなどの番組ガイド情報を格納している番組ガイド情報データベース１０４を検索して、ユーザーの嗜好度が高いキーワードを多く含む番組の情報を見つける。そして、番組推薦部１７は、見つけた番組の放送予定をユーザーに通知したり、自動的に録画予約することで番組推薦を行う。
【００４７】
以上のように、本実施形態によると、ユーザーとのインタラクションを通じてさまざまなキーワードについてユーザーの嗜好度を学習し、その学習結果に基づいてユーザーの嗜好に合った番組を推薦することができる。これにより、興味のあるキーワードやジャンルなどを逐一登録するといった煩わしい作業からユーザーを解放することができる。
【００４８】
なお、本実施形態に係る番組推薦装置１０のユーザーは特定の１名に限定されず、複数のユーザーが１台の番組推薦装置１０を共有することができる。その場合、番組推薦装置１０は、ユーザーごとに嗜好情報を管理して各ユーザーの嗜好に合った番組を推薦することができる。
【００４９】
また、上述のような機器とユーザーとのインタラクションによるユーザーの嗜好情報の学習は番組推薦装置に限られず、ユーザーの嗜好情報をサービスに利用するその他の家庭電化製品に応用することができる。
【符号の説明】
【００５０】
１０    番組推薦装置
１１    話題提示部
１２    音声解析部
１３    音声認識部
１４    画像解析部
１５    嗜好度評価部
１６    嗜好ＤＢ構築部
１７    番組推薦部
１０３  嗜好情報データベース
【図１】
2014241498.tif 000003
【図２】
2014241498.tif 000004
【図３】
2014241498.tif 000005
【図４】
2014241498.tif 000006