(57)【要約】【課題】様々な視聴スタイルで映像コンテンツを視聴していても、その映像コンテンツを視聴しながら手話や口話によるコミュニケーションを行えるようにすること。【解決手段】映像表示装置５の映像コンテンツを視聴しているユーザ５０のカメラ映像から顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、顔の画像領域のみから成るユーザ映像を生成して、映像コンテンツに重畳して映像表示装置５に出力する。【選択図】図１
2014082704.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付手段と、
前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成手段と、
前記ユーザ映像が表示されるように前記ユーザ映像を前記映像コンテンツに重畳する映像合成手段と、
前記重畳されたユーザ映像及び映像コンテンツを前記映像表示装置に出力する映像出力手段と、
を有することを特徴とする映像データ制御装置。
【請求項２】
映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付手段と、
前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成手段と、
前記ユーザの視野内に位置する他の映像表示装置に前記ユーザ映像を出力する映像出力手段と、
を有することを特徴とする映像データ制御装置。
【請求項３】
前記ユーザ映像生成手段は、
前記カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成することを特徴とする請求項１又は２記載の映像データ制御装置。
【請求項４】
コンピュータにより、
映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付ステップと、
前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成ステップと、
前記ユーザ映像が表示されるように前記ユーザ映像を前記映像コンテンツに重畳する映像合成ステップと、
前記重畳されたユーザ映像及び映像コンテンツを前記映像表示装置に出力する映像出力ステップと、
を有することを特徴とする映像データ制御方法。
【請求項５】
コンピュータにより、
映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付ステップと、
前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成ステップと、
前記ユーザの視野内に位置する他の映像表示装置に前記ユーザ映像を出力する映像出力ステップと、
を有することを特徴とする映像データ制御方法。
【請求項６】
前記ユーザ映像生成ステップは、
前記カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成することを特徴とする請求項４又は５記載の映像データ制御方法。
【請求項７】
コンピュータを請求項１乃至３のいずれかに記載の映像データ制御装置として機能させるための映像データ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚障害者やその家族等、手話や口話を用いてコミュニケーションを行うユーザに対する映像データの制御技術に関する。
【背景技術】
【０００２】
「テレビを見ながら家族と会話をする」という行為は、聴覚に障害がない聴者であれば自然に行うことができる。聴者同士にとって、音声のみによるコミュニケーション方法は一般的な意思疎通方法であり、映像コンテンツの視聴を中断することなく実施できるからである。
【０００３】
一方、手話や口話を用いてコミュニケーションを行う聴覚障害者やその家族にとって、上記行為を行うことはほぼ不可能である。手話や口話は相手と目を合わせることで成立するコミュニケーション方法であり、映像コンテンツの視聴時に会話をするには視聴を中断して相手と向き合う必要があるためである。
【０００４】
ここで、このような課題を解決する方法として、複数のユーザ自身を撮影したカメラ映像を視聴中の映像コンテンツに合成することにより、ユーザ同士が映像コンテンツを視聴しながら互いの姿を視認し、映像越しに手話や口話でのコミュニケーションを行うようにする方法が考えられる（特許文献１参照）。
【０００５】
また、より簡易な方法としては、図１１に示すように、テレビの上に鏡を載置し、その鏡でユーザの姿を反射させることにより、テレビ画面の映像を見ながら手話や口話でのコミュニケーションを行うようにする方法も考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１７５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、家庭での映像コンテンツの視聴スタイルは、図１１に示したようなテレビ画面の近くに座って視聴するスタイルのみとは限らない。図１１のような間取りの部屋においては、例えば、ソファに寝転んで視聴するスタイル、食卓について視聴するスタイル、キッチンで炊事をしながら視聴するスタイル、掃除のため部屋全体を動き回りながら視聴するスタイル等が考えられる。
【０００８】
ゆえに、カメラや鏡へのユーザの映り方によってはユーザの下半身や余分な背景等がカメラ映像や鏡像に含まれてしまうため、必ずしも手話や口話によるコミュニケーションに適した映像や鏡像とは言えず、そのコミュニケーションを行うユーザは手先や指先の細かい表現、顔の表情、唇の微妙な動きをその映像等から注意深く読み取らなければならないという問題があった。
【０００９】
本発明は、上記事情を鑑みてなされたものであり、様々な視聴スタイルで映像コンテンツを視聴していても、その映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現することを課題とする。
【課題を解決するための手段】
【００１０】
請求項１記載の映像データ制御装置は、映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付手段と、前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成手段と、前記ユーザ映像が表示されるように前記ユーザ映像を前記映像コンテンツに重畳する映像合成手段と、前記重畳されたユーザ映像及び映像コンテンツを前記映像表示装置に出力する映像出力手段と、を有することを特徴とする。
【００１１】
本発明によれば、映像表示装置の映像コンテンツを視聴しているユーザのカメラ映像から顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、顔の画像領域のみから成るユーザ映像を生成して、映像コンテンツに重畳して映像表示装置に出力するため、映像コンテンツの視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現できる。
【００１２】
請求項２記載の映像データ制御装置は、映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付手段と、前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成手段と、前記ユーザの視野内に位置する他の映像表示装置に前記ユーザ映像を出力する映像出力手段と、を有することを特徴とする。
【００１３】
本発明によれば、映像表示装置の映像コンテンツを視聴しているユーザのカメラ映像から顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、顔の画像領域のみから成るユーザ映像を生成して、ユーザの視野内に位置する他の映像表示装置に出力するため、映像コンテンツの視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現できる。
【００１４】
請求項３記載の映像データ制御装置は、請求項１又は２記載の映像データ制御装置において、前記ユーザ映像生成手段は、前記カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成することを特徴とする。
【００１５】
本発明によれば、カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成するため、カメラ映像にユーザの下半身やユーザ間等の余分な背景等が含まれてしまうのを防止できる。
【００１６】
請求項４記載の映像データ制御方法は、コンピュータにより、映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付ステップと、前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成ステップと、前記ユーザ映像が表示されるように前記ユーザ映像を前記映像コンテンツに重畳する映像合成ステップと、前記重畳されたユーザ映像及び映像コンテンツを前記映像表示装置に出力する映像出力ステップと、を有することを特徴とする。
【００１７】
請求項５記載の映像データ制御方法は、コンピュータにより、映像コンテンツを表示可能な映像表示装置の画面側から撮影され、前記映像コンテンツを任意の視聴スタイルで視聴しているユーザのカメラ映像をビデオカメラから受信するカメラ映像受付ステップと、前記カメラ映像から前記ユーザの顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、前記顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、前記顔の画像領域のみから成るユーザ映像を生成するユーザ映像生成ステップと、前記ユーザの視野内に位置する他の映像表示装置に前記ユーザ映像を出力する映像出力ステップと、を有することを特徴とする。
【００１８】
請求項６記載の映像データ制御方法は、請求項４又は５記載の映像データ制御方法において、前記ユーザ映像生成ステップは、前記カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成することを特徴とする。
【００１９】
請求項７記載の映像データ制御プログラムは、コンピュータを請求項１乃至３のいずれかに記載の映像データ制御装置として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、様々な視聴スタイルで映像コンテンツを視聴していても、その映像コンテンツを視聴しながら手話や口話によるコミュニケーションを行うことができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態に係る視聴者映像表示システムの全体構成を示す図である。
【図２】視聴者映像表示システムの動作を示すシーケンス図である。
【図３】ユーザ映像生成部の機能ブロック構成を示す図である。
【図４】ユーザ映像の生成例（１人）を示す図である。
【図５】ユーザ映像の生成例（２人）を示す図である。
【図６】ユーザ映像の生成例（３人）を示す図である。
【図７】ユーザ映像のエフェクト処理前の例を示す図である。
【図８】ユーザ映像のエフェクト処理後の例（鏡像化）を示す図である。
【図９】ユーザ映像のエフェクト処理後の例（半透明化）を示す図である。
【図１０】第２の実施の形態に係る視聴者映像表示システムの全体構成を示す図である。
【図１１】映像コンテンツの視聴スタイルの例を示す図である。
【発明を実施するための形態】
【００２２】
本発明は、手話や口話によるコミュニケーションが顔の変化や指の動作を注視して行われることに着目し、映像コンテンツを視聴しているユーザのカメラ映像から顔と指先の可動域である上半身との画像領域を抽出して、映像コンテンツに重畳して表示又はユーザの視野内に単独表示することにより、特定の視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現するものである。
【００２３】
また、様々な視聴スタイルのうち距離的に遠いユーザ同士が上記コミュニケーションを行うスタイルに着目し、撮影されたユーザ間の距離によってはユーザ映像を分割した状態で表示することにより、カメラ映像にユーザの下半身やユーザ間等の余分な背景等が含まれてしまうのを防止している。
【００２４】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２５】
〔第１の実施の形態〕
最初に、図１を参照しながら、第１の実施の形態に係る視聴者映像表示システムの全体構成について説明する。
【００２６】
この視聴者映像表示システムは、映像コンテンツを画面に表示する映像表示装置５と、映像表示装置５の画面側から視聴者（以下、ユーザ）５０を撮影するビデオカメラ３と、映像コンテンツを視聴しているユーザ５０のカメラ映像を画像処理する映像データ制御装置１と、映像データ制御装置１を遠隔操作するリモコン端末７と、映像コンテンツを出力する映像コンテンツ出力装置９と、で主に構成される。
【００２７】
映像データ制御装置１は、視聴者映像表示システムにおいてカメラ映像からユーザ５０に係る画像領域を抽出等する中心的役割を担い、自機以外の全ての装置（映像表示装置５、ビデオカメラ３、リモコン端末７、映像コンテンツ出力装置９）に有線又は無線の通信経路を介してデータ通信可能に接続されている。
【００２８】
また、映像コンテンツ出力装置９としては、例えば、放送局から受信した地上デジタル信号を映像コンテンツとして出力する地上デジタルテレビ放送受信機や、ハードディスクやＤＶＤ等に録画された映像コンテンツを出力するブルーレイ・ＤＶＤレコーダ等が例とされる。
【００２９】
次に、映像データ制御装置１の機能について説明する。映像データ制御装置１は、カメラ映像受付部１１と、カメラ映像記憶部１２と、カメラ映像解析部１３と、ユーザ映像生成部１４と、映像合成部１５と、映像出力部１６と、調整データ受付部１７と、調整データ記憶部１８とを備えている。
【００３０】
カメラ映像受付部１１は、カメラ映像入力インタフェース３１を介して、映像コンテンツを視聴しているユーザ５０のカメラ映像をビデオカメラ３から受信し、カメラ映像記憶部１２に一時記憶させる機能を有している。
【００３１】
カメラ映像記憶部１２は、ビデオカメラ３から受信したカメラ映像を読み出し可能に記憶しておく機能を有している。例えば、カメラ映像をフレーム単位で受信した場合には、そのフレーム画像を時系列で記憶する。
【００３２】
カメラ映像解析部１３は、カメラ映像受付部１１からカメラ映像を受信（カメラ映像記憶部１２からの取得も可）し、そのカメラ映像からユーザ５０の顔部分や上半身部分を含む画像領域を検出し、その検出結果を後段のユーザ映像生成部１４に出力する機能を有している。また、必要に応じてカメラ映像を回転等の補正を行う機能を有している。
【００３３】
ユーザ映像生成部１４は、上記検出結果に基づき検出された画像領域をカメラ映像から抽出し、ユーザ５０の顔部分や上半身部分のみから成るユーザ映像を生成して、調整データ記憶部１８内の調整データに応じた処理（後述）を実行した後に、後段の映像合成部１５に出力する機能を有している。
【００３４】
映像合成部１５は、ユーザ映像生成部１４から出力されたユーザ映像と、映像コンテンツ入力インタフェース３３を介して映像コンテンツ出力装置９から出力された映像コンテンツとをユーザ映像が表示されるように重畳する機能を有している。
【００３５】
映像出力部１６は、映像合成部１５で重畳されたユーザ映像及び映像コンテンツを映像出力インタフェース３２から出力し、映像表示装置５に表示させる機能を有している。
【００３６】
調整データ受付部１７は、調整データ入力インタフェース３４を介して、リモコン端末７のユーザ操作によって選択・決定されたユーザ映像の表示位置等の調整データを受信し、調整データ記憶部１８に記憶させる機能を有している。
【００３７】
調整データ記憶部１８は、調整データ受付部１７で受信した調整データを読み出し可能に記憶しておく機能を有している。調整データとしては、例えば、コミュニケーションモードの選択（手話モード又は口話モード）、ユーザ映像の分割の有無、エフェクトパターンの選択、ユーザ映像のサイズ、ユーザ映像の表示位置等である。
【００３８】
以上が本実施の形態に係る映像データ制御装置１の機能である。このような映像データ制御装置１としては、メモリやＣＰＵを備えたコンピュータで実現可能である。例えば、映像表示装置５に接続されたパソコンや、テレビに搭載されたブラウザ等を用いて実現できる。また、各機能部の各処理はプログラムによって実行される。
【００３９】
次に、図２を参照しながら、視聴者映像表示システムの動作について説明する。最初に、映像表示装置５の画面近くに設置されたビデオカメラ３により、任意の視聴スタイルで映像コンテンツを視聴しているユーザ５０が撮影され、そのカメラ映像が映像データ制御装置１に入力される（ステップＳ１０１）。
【００４０】
次に、映像データ制御装置１において、カメラ映像受付部１１により、ビデオカメラ３から出力されたカメラ映像がカメラ映像入力インタフェース３１を介して受信される（ステップＳ１０２）。
【００４１】
次に、カメラ映像解析部１３により、受信したカメラ映像からユーザ５０の顔部分及び上半身部分の画像領域が検出される（ステップＳ１０３）。このとき、顔の傾きを検出した場合には、その顔の傾きが垂直になるように上半身を含めてカメラ映像が補正され、補正後のカメラ映像が上記検出結果（検出した画像領域の座標位置やサイズ等を含む）と共にユーザ映像生成部１４に出力される。
【００４２】
次に、ユーザ映像生成部１４により、上記検出結果に基づいてビデオ映像（補正された場合は、補正後のビデオ映像）からユーザ５０の顔及び上半身の画像領域が抽出され、その画像領域のみから成るユーザ映像が生成されて、映像合成部１５に出力される（ステップＳ１０４）。尚、この処理の詳細については後述する。
【００４３】
次に、映像合成部１５により、生成されたユーザ映像が映像コンテンツ出力装置９からの映像コンテンツにユーザ５０による指定サイズ及び指定位置で重畳される（ステップＳ１０５）。
【００４４】
次に、映像出力部１６により、重畳されたユーザ映像及び映像コンテンツが新たな映像データとして映像出力インタフェース３２を介して映像表示装置５に出力される（ステップＳ１０６）。
【００４５】
最後に、映像表示装置５により、上記新たな映像データが受信され、ユーザ映像が前、映像コンテンツが後になるように画面に表示される（ステップＳ１０７）。
【００４６】
尚、ステップＳ１０３で説明したユーザ５０の顔部分及び上半身部分を検出する手法としては、公知の技術を利用して実現することが可能である。例えば、顔の向きに応じた特徴量の抽出と、その特徴量を用いた類似度計算を行い、算出された類似度に基づいて顔を認識する方法を用いることができる（特開２００９−１５７７６６号公報）。
【００４７】
また、顔の傾きの検出や映像を補正する方法についても、公知の技術を利用して実現できる。例えば、顔部品である口の輪郭線を抽出し、この輪郭線にハフ（Ｈｏｕｇｈ）変換を施すことで口の傾きを推定し、これにより顔の傾きを推定する方法を用いることができる（李周文、「口のエッジ画像のＨｏｕｇｈ変換と両目の長さの差とを用いた顔画像の検出」、信学技報、電子情報通信学会、２００６年３月、ＨＩＰ２００５−１６１、ｐ．４３−４８）。
【００４８】
続いて、ユーザ映像生成部１４の機能及び動作（上記ステップＳ１０４の詳細）について詳述する。ユーザ映像生成部１４は、図３に示すように、ユーザ映像抽出部１４ａと、ユーザ映像分割処理部１４ｂと、ユーザ映像エフェクト処理部１４ｃと、ユーザ映像サイズ決定部１４ｄと、ユーザ映像位置座標決定部１４ｅとで構成される。
【００４９】
ユーザ５０は、リモコン端末７を使用して、（１）コミュニケーションモード（手話モード又は口話モード）、（２）ユーザ映像に複数のユーザが表示された場合の表示方法（そのまま表示又は分割して１人ずつ表示）、（３）ユーザ映像に適用するエフェクト処理のパターン、（４）ユーザ映像のサイズ、（５）ユーザ映像の表示位置等の各項目について選択し決定することができる。
【００５０】
ここで、それら各項目についてユーザ５０が適宜選択し、決定ボタン等の押下操作により選択・決定された調整データが送信された場合、調整データ受付部１７により、調整データ入力インタフェース３４を介して受信され、調整データ記憶部１８に記憶される。また、調整データを複数回受信した場合には、その受信毎に前回の調整データ値を書き換えて更新する。
【００５１】
そして、上記調整データは、更新される毎にユーザ映像生成部１４により取得され、以下の処理が実行される。尚、調整データ記憶部１８に予め記憶されたプリセット値を用いるようにしてもよい。
【００５２】
まず、ユーザ映像抽出部１４ａにより、選択・決定されたコミュニケーションモードに応じた画像領域がカメラ映像から抽出され、ユーザ映像分割処理部１４ｂに出力される（ステップＳ１０４ａ）。具体的には、手話モードの場合（手話によりコミュニケーションを行う場合）、顔の表情のみならず、手先や指先の表現も注視されることから、ユーザ５０の顔と上半身の両者を併せた画像領域を抽出する。一方、口話モードの場合（口話によりコミュニケーションを行う場合）には、唇の動きが注視されることから、ユーザ５０の顔の画像領域のみを抽出する。
【００５３】
ここで、ユーザ映像の抽出パターンを図４〜図６に示す。図４〜図６は手話モードの場合を例に図示している。まず、カメラ映像に映ったユーザが１人（入力されたユーザの顔部分及び上半身部分の検出結果が１領域）であった場合、図４に示すように、検出された画像領域をそのままユーザ映像として抽出する。
【００５４】
カメラ映像に映ったユーザが２人であり（検出結果が２領域）、検出結果からユーザ間のユーザ間距離ｄ（例えば、検出された各領域の中心点間の距離等）が予め設定した値（以下、閾値）よりも小さい場合には、図５（ａ）に示すように、その２人分の検出領域を含む最小矩形をユーザ映像として抽出する。
【００５５】
一方、カメラ映像に映ったユーザが２人であり（検出結果が２領域）、検出結果からユーザ間距離ｄが閾値よりも大きい場合には、図５（ｂ）に示すように、検出された各画像領域から１人ずつユーザ映像を抽出する。
【００５６】
カメラ映像に映るユーザが３人以上の場合（検出結果が３領域以上）には、図６に示すように、ユーザ間距離ｄが閾値よりも小さいユーザ同士は、それらのユーザの検出画像領域を含む最小矩形をユーザ映像として抽出し、それ以外のユーザは、そのユーザに関する検出画像領域をそのままユーザ映像として抽出する。
【００５７】
次に、複数のユーザを含むユーザ映像が抽出された場合、ユーザ映像分割処理部１４ｂにより、ユーザ５０によって選択・決定された表示方法に基づいて、複数のユーザを含むユーザ映像としてそのまま表示するか、複数のユーザを分割して１人ずつのユーザ映像として表示するかが決定され、分割が必要ない場合には抽出されたユーザ映像がそのままユーザ映像エフェクト処理部１４ｃに出力され、分割が必要な場合には分割処理を行った複数のユーザ映像が出力される（ステップＳ１０４ｂ）。
【００５８】
次に、ユーザ映像エフェクト処理部１４ｃにより、ユーザ映像分割処理部１４ｂから入力されたユーザ映像に対し、ユーザ５０によって選択・決定されたパターンのエフェクト処理が実行され、ユーザ映像サイズ決定部１４ｄに出力される（ステップＳ１０４ｃ）。
【００５９】
尚、ユーザ映像に施すエフェクト処理については、公知の映像処理技術を適用可能である。エフェクト処理を施していないユーザ映像を図７に示し、エフェクトをかけたユーザ画像例を図８及び図９に示す。図８は、鏡像化するエフェクト処理であり、図９は、半透明化するエフェクト処理である。
【００６０】
次に、ユーザ映像サイズ決定部１４ｄにより、ユーザ５０によって選択・決定された映像サイズに基づいて、ユーザ映像エフェクト処理部１４ｃから入力されたユーザ映像の大きさが調整され、ユーザ映像位置座標決定部１４ｅに出力される（ステップＳ１０４ｄ）。
【００６１】
尚、検出結果に含まれるユーザの顔部分及び上半身部分の大きさは、ユーザとカメラ間の距離によって異なるため、ユーザ映像サイズ決定部に入力されるユーザ映像のサイズも区々であると考えられる。ユーザ映像サイズ決定部１４ｄでは、それぞれのユーザ映像が等倍となるようサイズの調整を行うようにしてもよい。
【００６２】
最後に、ユーザ映像位置座標決定部１４ｅにより、ユーザ５０によって選択・決定された映像の位置座標に基づいて、ユーザ映像サイズ決定部１４ｄから入力されたユーザ映像の位置座標が書き換えられ、映像合成部１５に出力される（ステップＳ１０４ｅ）。
【００６３】
以上より、本実施の形態によれば、映像表示装置５の映像コンテンツを視聴しているユーザ５０のカメラ映像から顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、顔の画像領域のみから成るユーザ映像を生成して、映像コンテンツに重畳して映像表示装置５に出力するので、映像コンテンツの視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現できる。
【００６４】
また、本実施の形態によれば、カメラ映像に撮影されたユーザ間の距離が閾値よりも大きい場合、複数のユーザを分割した複数のユーザ映像を生成するので、カメラ映像にユーザの下半身やユーザ間等の余分な背景等が含まれてしまうのを防止できる。
【００６５】
〔第２の実施の形態〕
続いて、図１０を参照しながら、第２の実施の形態に係る視聴者映像表示システムについて説明する。
【００６６】
第１の実施の形態では、映像コンテンツにユーザ映像を重畳して表示する形態について説明した。一方、上述した「特定の視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを行えるようにする」という効果は、ユーザ５０を映したユーザ映像が映像コンテンツと共に視認可能な状態にあり、手話や口話によるコミュニケーションに必要とされる顔や上半身の領域を画像抽出して表示することにより得ることができる。
【００６７】
そこで、第２の実施の形態では、映像コンテンツにユーザ映像を重畳して表示するのに代えて、映像コンテンツを表示する映像表示装置５ａの近傍にユーザ映像専用のユーザ映像用映像表示装置５ｂを設置し、そのユーザ映像用映像表示装置５ｂの画面にユーザ映像を表示するようにする。
【００６８】
本実施の形態に係る映像データ制御装置１は、第１の実施の形態で説明した機能と基本的に同様の機能を備えるが、ユーザ映像を映像コンテンツに重畳する処理が不要であるため、図１０に示したように、映像コンテンツ入力インタフェース３３や映像合成部１５を備える必要はない。
【００６９】
一方、視聴者映像表示システムの構成要素から映像合成部１５を削除したことに伴い、映像出力部１６の一部機能が修正される。第１の実施の形態では、重畳されたユーザ映像及び映像コンテンツを出力して映像表示装置５ａに表示させていたが、第２の実施の形態では、ユーザ映像生成部１４で生成されたユーザ映像のみを出力し、映像コンテンツを表示している映像表示装置５ａとは異なる上記ユーザ映像用映像表示装置５ｂに表示させる。
【００７０】
また、映像コンテンツ出力装置９は、映像コンテンツを映像表示装置５ａに直接出力して表示させる。このような映像コンテンツ出力装置９及び映像表示装置５ａは、例えば、家庭内の地上デジタルテレビが例とされる。
【００７１】
尚、ユーザ映像用映像表示装置５ｂの設置場所については、映像表示装置５ａの上や横、前等、映像コンテンツを視聴しているユーザの視野内に位置するように設置されていればよい。
【００７２】
以上より、本実施の形態によれば、映像表示装置５ａの映像コンテンツを視聴しているユーザ５０のカメラ映像から顔及び上半身の画像領域を抽出し、手話によりコミュニケーションを行う場合には、顔及び上半身の画像領域のみから成るユーザ映像を生成し、口話によりコミュニケーションを行う場合には、顔の画像領域のみから成るユーザ映像を生成して、ユーザ５０の視野内に位置するユーザ映像用映像表示装置５ｂに出力するので、映像コンテンツの視聴スタイルに依存することなく、映像コンテンツを視聴しながら手話や口話によるコミュニケーションを実現できる。
【符号の説明】
【００７３】
１…映像データ制御装置
３…ビデオカメラ
５、５ａ…映像表示装置
５ｂ…ユーザ映像用映像表示装置
７…リモコン端末
９…映像コンテンツ出力装置
１１…カメラ映像受付部
１２…カメラ映像記憶部
１３…カメラ映像解析部
１４…ユーザ映像生成部
１５…映像合成部
１６…映像出力部
１７…調整データ受付部
１８…調整データ記憶部
３１…カメラ映像入力インタフェース
３２…映像出力インタフェース
３３…映像コンテンツ入力インタフェース
３４…調整データ入力インタフェース
５０…ユーザ
Ｓ１０１〜Ｓ１０７、Ｓ１０４ａ〜Ｓ１０４ｅ…ステップ
【図１】
2014082704.tif 000003
【図２】
2014082704.tif 000004
【図３】
2014082704.tif 000005
【図４】
2014082704.tif 000006
【図５】
2014082704.tif 000007
【図６】
2014082704.tif 000008
【図７】
2014082704.tif 000009
【図８】
2014082704.tif 000010
【図９】
2014082704.tif 000011
【図１０】
2014082704.tif 000012
【図１１】
2014082704.tif 000013