(57)【要約】【課題】地上波放送や衛星放送などのテレビ番組のシーンの中からユーザーが興味を持ったシーンを特定する場合、視線、瞳孔、瞬目等の表情に関わる感性情報だけでは、ユーザーが興味を持ったシーンを抽出するには不十分であるという課題がある。【解決手段】    本発明のメディア処理装置では、画像取得部で取得した画像情報をもとに、ユーザー検出を行い、ユーザーの顔位置を推定する。またマイクロホンアレイで収録した音データより、音声区間の検出を行う。検出した音声区間の音源方向と顔位置とが一致した場合に、発話対象物がメディア処理装置であるとみなす。そしてその音声区間の発話をユーザーがメディア処理装置に表示される映像に対し、興味を持ったために発した発話であると判断し、音声区間と同じ時間の映像区間をユーザーが興味を持った映像区間であると判断する。【選択図】  図２
2007088803.tif 000002
【特許請求の範囲】
【請求項１】
カメラを介して映像を取得する画像取得部と、
マイクを介して音を取得する音声取得部と、
上記画像からユーザの正面顔を検出する顔位置推定部と、
該正面顔の位置を推定する顔位置推定部と、
上記取得された音からユーザの発声を検出する音声検出部と、
上記検出された音の音源方向を推定する音声位置推定部と、
上記推定された顔位置と上記音源方向とが所定範囲であるかを判定し、その顔又は音検出の時刻に表示部に表示されていたコンテンツに該所定範囲内である旨の判定結果をラベリングするラベリングと、
上記ラベリング結果を記録する記録部とを有することを特徴とする情報処理装置。
【請求項２】
上記ラベリングは、上記各ラベリングをコマーシャルからコマーシャルまでの区間単位で上記コンテンツを切り出し行うことを特徴とする請求項１記載の情報処理装置。
【請求項３】
さらにユーザ識別部を有し、
上記ラベリングは上記ユーザ識別部によって識別されたユーザの識別情報とともに上記ラベリングを行うことを特徴とする請求項１又は２に記載のデータ処理装置。
【請求項４】
上記ユーザ識別部は、上記画像取得部を介して取得した顔画像と登録画像とを照合することで上記ユーザ識別を行うことを特徴とする請求項３記載の情報処理装置。
【請求項５】
上記音声検出部は、上記検出された音声の音声認識を行い、該音声認識の結果から該音声が上記コンテンツに対して肯定的か否定的かを判断し、
上記ラベリング部は上記判断の結果もラベリングすることを特徴とする請求項1乃至４の何れかに記載の情報処理装置。
【請求項６】
それぞれカメラとマイクとを有する、コンテンツを表示する表示部と該表示部へのコンテンツ表示をコントロールする端末とに接続され、
上記各カメラを介して映像を取得する画像取得部と、
上記各マイクを介して音を取得する音声取得部と、
上記画像からユーザの正面顔を検出する顔位置推定部と、
該正面顔の位置を推定する顔位置推定部と、
上記取得された音からユーザの発声を検出する音声検出部と、
上記検出された音の音源方向を推定する音声位置推定部と、
上記推定された顔位置と上記音源方向とが所定範囲であるかを判定し、
上記表示部から取得された情報について、その顔又は音検出の時刻に表示部に表示されていたコンテンツ  に該判定結果をラベリングするラベリングと、
上記ラベリング結果を記録する記録部と、
上記所定範囲内であると判定された上記端末から取得された音については音声認識を行い、認識結果に基づくコマンド指示を上記端末に与える音声分析部とを有することを特徴とする情報処理装置
【請求項７】
さらに指示入力部を備え、
上記指示入力部を介してユーザ、時刻、番組チャンネル名又は番組名の指定を受け、
該指定されたユーザ、時刻、番組チャンネル名又は番組名に対応付けられており、かつ、上記ラベリングがなされている区間の映像を上記表示部に表示させることを特徴とする請求項1乃至６の何れかに記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ番組等の映像情報からユーザーが特に興味を持ったシーンを特定するメディア処理技術の分野に属する。
【背景技術】
【０００２】
従来、人間の感性情報を取得するための技術として、被験者の映像から視線、瞳孔、瞬目等の表情に関わる感性情報抽出するものがある（例えば、特許文献１参照）。本技術においては、提示した映像への興味を感性情報から把握して、興味ありと判定された映像を基にユーザが興味ありと思われる映像を検索して提示する。
また入力音声の音源方向を検出する方向検出部と、入力された画像から人間を抽出する人間検出部とを持ち、音源に人間が抽出された場合に発言者による発言と判断する技術が存在する（例えば  特許文献２）。
【０００３】
【特許文献１】特開平１１−２８２９２１号公報
【０００４】
【特許文献２】特開２００３−１８９２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ユーザが興味を持つであろうテレビ番組をテレビ番組の中から検索したり、特定の人間がどのような種類のテレビ番組に興味を持つのかを推論し、その人間が興味を持つテレビ番組を自動選択するシステムの実現において、上記従来技術では、視線などを用いてユーザの興味を判定する。が、視線等の情報だけではユーザの真意把握に不十分な場合がありうる。
【０００６】
この点、人間は、テレビ番組を観てその内容に興味を覚えた場合、感嘆して、又、笑うなど声を出すことが多いと考えられる。が、上記従来の技術では、こうした人間の特性を考慮した判断がなされていない。そこで、本願では、ユーザが声を出して笑うほど面白いテレビ番組や、人間が声を出して驚くほど引き込まれるような興味あるテレビ番組等をシステムが判別することのできる番組提示装置を開示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のメディア処理装置では、画像取得部で取得した画像情報をもとに、ユーザー検出を行い、ユーザーの顔位置を推定する。またマイクロホンアレイで収録した音データより、音声区間の検出を行う。検出した音声区間の音源方向と顔位置とが一致した場合に、発話対象物がメディア処理装置であるとみなす。そしてその音声区間の発話をユーザーがメディア処理装置に表示される映像に対し、興味を持ったために発した発話であると判断し、音声区間と同じ時間の映像区間をユーザーが興味を持った映像区間であると判断する。
【発明の効果】
【０００８】
本発明の構成によれば、ユーザーがテレビなどのメディア処理装置のほうを向き、かつ、声を出したり、笑ったりしているシーンを、つまりユーザーが興味を持っているシーンを特定することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本願発明の代表的な実施形態を図面を参照しつつ説明する。
【００１０】
図1は本発明の基本構成図である。メディア処理装置１は、筐体にカメラ２及びマイクロホンアレイ１０を保持する。メディア処理装置１は、テレビ番組などのコンテンツをユーザに提示する表示装置を有している。
【００１１】
本実施例ではマイクロホンアレイを用いるが、音声を取得する音声取得装置であればマイク等であっても良い。マイクロホンアレイは、単一のマイクロホンでは得られない音の到来方向という情報を得ることができ、本発明の発話対象判定部７の性能を上げることが可能となる。
【００１２】
図２は、本願実施例のブロック図である。尚、図１において、これらの処理部は表示部と一体であるが、処理部と表示部とは別体であって、別途有線・無線で接続されていることも可能である。カメラ２で取り込んだ画像は、画像取得部4に送られ、デジタルの画像データに変換される。画像取得部4でデジタルの画像データに変換された、画像データは、ユーザー検出部５に送られる。ユーザー検出部５では、送られた画像データから顔画像認識技術、または視線認識技術を使って、ユーザーの正面を向いている顔を検出する。用いる顔画像認識技術及び視線認識技術は、公知の技術を採用することが可能である。ユーザ検出部５に接続される顔位置推定部１１では、ユーザー検出部5の顔画像認識結果より、実空間上のユーザーの顔の位置推定する。マイクロホンアレイ１０では、複数チャンネルの音声信号を取り込む。マイクロホンアレイ１０で取り込んだ複数チャンネルの音声信号は、音声取得部6に送られ、複数チャンネルのデジタルデータに変換される。
【００１３】
次にデジタルデータは、音声検出部１２に送られる。音声検出部１２では、音声のパワーに基づく音声区間検出処理を、複数チャンネルのデジタルデータの時系列データのうち、一つの時系列データに対して施し、音声区間を検出する。マイクロホンに入る信号には、音声の他に、人間の足音など雑音が混入する。音声は、数ｓの音が連続するという性質があるのに対し、雑音は比較的短時間で途切れるものが多い。音声区間検出を行うことで、そのような短時間で途切れる雑音を除去し、数ｓの音が連続する音声のみを抽出することが可能となる。音声区間検出処理としては、音声のフレームパワーが予め定めるしきい値以上に変化するフレーム（音声始端）から音声のフレームパワーが予め定めるしきい値以下の値に変化するフレーム（音声終端）までを音声区間として切り出す単一しきい値音声区間検出処理や単一しきい値音声区間検出の音声始端検出に用いるしきい値と音声終端検出に用いるしきい値とで、異なるしきい値を用いる２段しきい値音声区間検出処理を用いる。音声は、音声区間の始端より終端のほうがパワーが大きいため、始端より終端のパワーのしきい値を小さくすることで、検出する音声区間から、始端が欠落することを防ぐことが可能となる。また単一しきい値音声区間検出処理や２段しきい値音声区間検出処理において、音声区間内に、予め定める長さ以下のポーズが入ることを許容するポーズ付き音声区間検出処理も適用可能である。音声は、一つの音声区間で、常にある一定以上のパワーとなるわけではなく、間に数百ｍｓのポーズが入ることがあるが、ポーズ付き音声区間検出処理を行うことで、そのような場合であっても、音声区間を適切に検出することが可能となる。
【００１４】
音源位置検出部１３では、音声検出部１２で検出された音声区間内で、最も優勢な音源の音源方向を推定する。音源方向の推定方法には、公知の技術を用いることができる。発話対象判定部7では、音源位置検出部１３が出力する音源方向と顔位置推定部１１が出力するユーザーの顔の位置が一致するかどうか判定する。この際、ユーザーの顔の位置と音源方向とは必ずしも厳密に一致している必要はなく、予め許容誤差を定めその範囲以内であれば、音源方向と顔の位置が一致していると判定することとする。こうすることで、顔位置もしくは、音源位置の推定に若干誤差があったとしても、発話対象物を正しく推定することができる。そして、音源方向と顔位置とが一致した場合、その音声区間の発話対象物がメディア処理装置１であると判定する。音源方向と顔位置が一致しない場合は、発話対象物はメディア処理装置１ではなく、映像に興味を持ったために、発話したのではない可能性が高い。例えば、複数人でお互いの顔を見ながら、話をしている場合などである。従って、音源方向と顔位置が一致する場合のみ、発話対象物をメディア処理装置１であるとし、映像に興味を持ったために、発話したと判定することで、ユーザーが映像に対して興味を持った区間を高精度に抽出することが可能となる。表示内容同定部１４では、音声検出部１２が検出した音声区間の発話が生成された時刻に放映していた番組名及びチャンネルを検出する。さらに、発話が成された時刻を含む、映像区間を切り出す。映像区間の切り出しは、番組単位で切り出しても良いし、予め定める時間長だけ、発話が成された時間の映像区間に前後の映像区間を付与して切り出しても良いし、CM検出を行い、音声区間の発話が成された時刻を含み、前後がCMで挟まれた映像区間を切り出しても良い。ユーザーが映像に対してもつ印象は、短時間で、頻繁に変化するものではなく、比較的ゆっくりと変化するものだと思われる。それに対して、ユーザーが映像に興味を持ち、声を出す時間は、比較的短時間であると思われる。つまりユーザーが興味を持ち、声を出すのは、その声を出した瞬間の映像だけに興味を持ったのではなく、その前の映像も含めて、興味を持ったと思われる。またユーザーの興味が比較的ゆっくりと変化することから、声を出した後の、映像に対してもユーザーが興味を持っている可能性が高いと考えられる。つまり、ユーザーが声を出した時の映像だけでなく、その前後の映像を含めた映像区間を切り出すことで、ユーザーが興味を持った映像区間をより正確に反映した映像区間の切り出しが可能となる。
【００１５】
ラベリング部8では、音声区間の発話対象物がメディア処理装置１である場合と、該音声区間の発話対象物がメディア処理装置１でない場合とで区別がつくようなラベルを、表示内容同定部１４が出力する映像区間毎にラベリングする。その上で、映像区間の開始時刻と終了時刻及び番組名及びチャンネルの情報及びラベル情報を記憶部９に記憶する。人間はテレビ番組を観て、面白いと思った場合、声を出して笑う。またテレビ番組に集中し引き込まれる時には、無意識に声を出して驚くことがある。このように人は興味を持ってテレビを見ている場合、声を出すことが多い。一方で、テレビを複数人でみながらテレビ番組とは関係ない話をしていることも想定される。この実施例の構成を用いることで、ユーザが表示画面をみてかつ声を出している場面を特定することができるので、表示されている番組にユーザが興味を持った映像区間と、そうではない映像区間とを分けることが可能となる。
【００１６】
図３は、記憶部９に記憶されるユーザーが興味を持った映像区間についてのデータ構造の一例である。該データ構造は、ユーザー名またはＩＤ及び興味を持った番組のチャンネル、及び興味を持った映像区間の開始時刻及び終了時刻から構成される。表示内容同定部１４で、ユーザーが興味を持った映像区間を番組単位で切り出した場合は該データ構造の項目に番組名など番組を特定する情報を加えても良い。複数のユーザが利用している場合にはユーザ図３のようにユーザ識別子と対応づけて記録することが望ましい。ユーザー識別については、マウスやキーボードやタッチパネルなど、ユーザーインターフェースを本発明に付随させ、初期設定時にテレビを使うユーザー名を全て登録しておき、テレビを見る時に、メディア処理装置１の画面に表示されるユーザー名を選択することができるようにしておいたり、顔画像認証技術や音声認証技術などを使い、自動でユーザー認証を行う装置と組み合わせても良い。顔画像認証技術をユーザー認証に用いる実施例については、本発明の２番目の実施例として後述する。
【００１７】
尚、音声検出部１２において、音声認識技術のワードスポット技術を用いて、ユーザの興味をあらわしていると考えられる特定の単語のみに（例えば、「面白い」など）反応するようにしても良い。ある特定の単語のみに反応するようにすることで、咳払いなどに反応しにくくなる効果がある。また音声認識辞書に「面白い」、「興味深い」などユーザーが映像区間に対し好印象を持ったことを表す単語と、「つまらない」、「面白くない」などの悪印象を持ったことを表す単語を登録しておく。その上で、図３の各映像区間ごとのデータに、ユーザー印象に関する項目を追加し、「好印象」「悪印象」等、ユーザが肯定的か否定的であるかが区別できるラベルを記載しても良い。このような構成にすることで、ユーザーが好印象を持った映像区間を検索するだけでなく、ユーザーが悪印象を持った映像区間を検索することも可能となる。また「好印象」「悪印象」の２値だけでなく、「しみじみとした」「かなしい」「楽しい」のようなラベルを該映像区間に関するデータに追加しても良い。この場合、予め「しみじみとした」などの各ラベルに対応する単語を音声認識辞書に登録しておき、音声認識辞書では各単語がどのラベルに対応するかを分かるように、各単語の読み方などの情報とともに、ラベル情報も保持する。このような構成にすることで、各映像区間を、ユーザーの印象に合わせて、より細かく分類することが可能となる。
図４は、本発明の２番目の実施例のブロック図である。本実施例は、図４に示した実施例にユーザ認証部15を設けた点が異なる。前述の構成と同じものについては説明を省く。ユーザー認証部１５は、予め登録しておいたユーザーの顔情報とユーザー検出部５が出力する顔画像とを照らし合わせ、該顔画像が誰であるかを判定する。本実施例では、ユーザー認証を組み合わせているため、自動でユーザーを認証することができ、興味を持った映像区間を、ユーザー毎に分類することが可能となる。
【００１８】
図５は、本発明の３番目の実施例の構成図である。本実施例においては、第２の処理装置であるロボット１６がメディア処理装置１の制御を担う。マイクロホンアレイ１０及びカメラ２−１はロボット１６の筐体に取り付けられている。上述したようにマイクロホンアレイ１０は単一マイクでも良い。カメラ２−２はメディア処理装置１に取り付けられている。計算機１７は、ロボット１６やメディア処理装置１の制御及びカメラ２−１、カメラ２−２、マイクアレイ１０の入力信号を使い、信号処理を行うことができる。
【００１９】
図６は、本発明の３番目の実施例のブロック図である。本実施例では、ラベリング部８、記憶部９、表示内容同定部１４、画像取得部４、ユーザー検出部５、音声取得部６、発話対象判定部７、音声検出部１２、音源位置推定部１３、ユーザー認証部１５、顔位置推定部１１、音声分析部１８をメディア処理装置１が担う。ここで、一部をロボット１６の処理部が担うことも可能である。尚、以下の説明において上述の実施例と同じものについての説明は省略する。
【００２０】
カメラ２−１及びカメラ２−２で取り込んだ画像データはそれぞれ画像取得部4に送られ、以降それぞれについて処理が行われる。発話対象判定部7では、音源位置検出部１３が出力する音源方向と顔位置推定部１１が出力するユーザーの顔の位置が一致するかどうかを、マイク２−１及びマイク２−２で取り込んだ画像データ中の顔毎に判定する。音源方向と顔位置とがあら予め定めた範囲した場合、カメラ２−１に映っている顔については、「発話対象物はロボット１６である」という結果を返えす。又、カメラ２−２に映っている顔であれば、「発話対象物はメディア処理装置１である」という判定結果を返す。音源方向と顔位置が所定範囲内にない場合、何も返さない。ラベリング部８では、発話対象部の判定に基いて表示内容に、音声区間の発話対象物がメディア処理装置１である場合と、該音声区間の発話対象物がメディア処理装置１でない場合とで、区別がつくようにラベリングを行う。そして発話対象物がメディア処理装置１であるとラベリングされた映像区間にユーザーが興味を持ったと判定し、この映像区間を記憶部９のユーザー毎の映像区間データベースに保存する。
【００２１】
またラベリング部８では、発話対象判定部7が返す発話対象物がロボット１６の時は、その音声区間データを音声分析部18に渡す。音声分析部１８では、公知の音声認識技術を用いて、入力された音声区間データを分析し、発話内容を示す文字列に変換する。発話対象物がロボット１６の場合は、その発話は、ロボット１６に対するコマンドであると考えられるため、その発話を音声認識し、コマンドが何であるかを認識し、そのコマンドに対応する必要がある。尚、前述したように、音声検出部１２において、音声認識技術のワードスポット技術を用いて、発声内容を分析することがある。この場合は、音声検出部１２と音声分析部１８で用いる音声認識の辞書を異なるものとする。音声検出部１２では、「面白い」などのユーザーの番組に対する印象・評価を表す単語を列挙した辞書を用いるのに対し、音声分析部１８では予め定めるロボットへのコマンドを既述した辞書を用いる。ロボット１６やメディア処理装置１は発話内容に応じて動作を切り替える。例えば、発話が「テレビを変えて」であれば、メディア処理装置１に付随の表示装置に表示する番組を切り替えたり、発話が「こっちを向いて」であれば、ロボット１６の首をユーザー方向に向けたりする。発話内容に応じて、メディア処理装置１及びロボット１６がどのように動作を切り替えるかは、予め音声認識辞書の各単語に紐付け定義しておく。
【００２２】
図７は、本発明の３番目の実施例の使用例である。ユーザー１９-１の顔はロボット１６のほうを向いているが、声は出していない。ユーザー１９−２の顔は、メディア処理装置１の方を向いており、声を出して笑っている。カメラ２−１には、ユーザー１９−１の正面顔が映っており、カメラ２−２には、ユーザー１９−２の正面顔が映っている。声を出しているのはユーザー１９−２であるため、発話対象判定部７は、ユーザーの発話対象物はメディア処理装置であると判定する。ラベリング部８は、メディア処理装置に対して顔が正面を向けられている映像区間にユーザーが興味を持ったと判定し、興味を持った映像区間だけを記憶部９のユーザー１９−２の映像区間データベースに保存する。本実施例では、ユーザー発話が、ロボットへの音声コマンドであるか、映像を観て、興味を持ったために、発した声であるかを、発話対象物毎に判別する。つまり映像を観て、興味を持ったために、発した声であると判別された発話に対しては、ロボットの音声コマンドとして、音声認識を行うことはしない。そのため、映像を観て、興味を持ったために、発した声を、ロボットが音声コマンドとして音声認識を行い、誤反応することが起き難い。同様にロボットへの音声コマンドとして発話したユーザー発話を、映像を観て、興味を持ったために、発した声であると思い、映像区間に誤ったラベルを付与することが起き難いという効果がある。
【００２３】
図８は、記憶部９に記憶される本願のデータ構造を用いたユーザーが興味を持った映像区間の検索システムのフローチャートである。ユーザーは、該検索システムのＧＵＩ等用いた指示入力部を介してユーザー名や日付を入力する。該検索システムは入力されたユーザー名及び日付と一致する映像区間を記憶部９から検索する。そして、ＧＵＩに検索結果をリストで表示する。ユーザーは表示されたリスト内の映像区間を選択することで、その映像区間を観ることができる。本検索システムでは、日付を指定し、検索するシステムの構成を示したが、指定するのは、日付だけでなく、テレビチャンネル名や、番組名などでも良い。放映中の番組だけでなく、過去に見た面白かった番組の面白かった映像シーンを見直したい場合が、頻繁に生じるが、本映像区間の検索システムを用いることで、簡単に、過去のユーザーが興味を持ったシーンを抽出し、見直すことができる。
【００２４】
尚、本願で開示した実施例は、コンピュータに本願発明を実行させるプログラムを読み込むことで実行される。その他、一部ハードウェアとの協調によって実行されることも可能である。
【図面の簡単な説明】
【００２５】
【図１】本発明の代表的な実施例の基本構成図
【図２】実施例１のブロック図の一例
【図３】ユーザーが興味を持った映像区間についてのデータ構造の一例
【図４】実施例２のブロック図の一例
【図５】実施例3の構成図の一例
【図６】実施例3のブロック図の一例
【図７】実施例3の使用例の一例
【図８】ユーザーが興味を持った映像区間の検索システムのフローチャートの一例
【符号の説明】
【００２６】
１・・・メディア処理装置、２・・・カメラ、３・・・マイク、４・・・画像取得部、５・・・ユーザー検出部、６・・・音声取得部、７・・・発話対象判定部、８・・・ラベリング部、９・・・記憶部、１０・・・マイクロホンアレイ、１１・・・顔位置推定部、１２・・・音声検出部、１３・・・音源位置推定部、１４・・・表示内容同定部、１５・・・ユーザー認証部、１６・・・ロボット、１７・・・計算機、１８・・・音声分析部、１９・・・ユーザー
【図１】
2007088803.tif 000003
【図２】
2007088803.tif 000004
【図３】
2007088803.tif 000005
【図４】
2007088803.tif 000006
【図５】
2007088803.tif 000007
【図６】
2007088803.tif 000008
【図７】
2007088803.tif 000009
【図８】
2007088803.tif 000010