(57)【要約】      （修正有）【課題】直観的にコンテンツを利用するようにし、ユーザーでとってさらに興味を誘発させて、コンテンツに没入できるようにするディスプレイ装置およびその制御方法を提供する。【解決手段】ディスプレイ装置は、一連の複数の場面を含むコンテンツの映像を表示できるように処理する映像処理部と、前記コンテンツの映像を表示するディスプレイ部と、ユーザーの音声を入力する音声入力部と、前記コンテンツの複数の場面の中で第１場面を表示し、前記第１場面の表示の中で入力された前記ユーザーの音声が前記第１場面に対応すると判断されれば、前記コンテンツの複数の場面の中で前記第１場面の次の場面に該当する第２場面を表示するように制御を遂行する制御部と、を含む。【選択図】図２
2014068343.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置において、
一連の複数の場面を含むコンテンツの映像を表示できるように処理する映像処理部と；
前記コンテンツの映像を表示するディスプレイ部と；
ユーザーの音声を入力する音声入力部と；
前記コンテンツの複数の場面の中で第１場面を表示し、前記第１場面の表示の中で入力された前記ユーザーの音声が前記第１場面に対応すると判断されれば、前記コンテンツの複数の場面の中で前記第１場面の次の場面に該当する第２場面を表示するように制御を遂行する制御部と；
を含むことを特徴とするディスプレイ装置。
【請求項２】
前記複数の場面各々に対応する台詞に関する情報を保存する保存部をさらに含み、
前記制御部は、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分以上ならば、前記ユーザーの音声が前記第１場面に対応すると判断することを特徴とする請求項１に記載のディスプレイ装置。
【請求項３】
前記制御部は、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分未満ならば、前記ユーザーに前記第２場面の台詞を案内するように制御することを特徴とする請求項２に記載のディスプレイ装置。
【請求項４】
ユーザーの入力を受信するユーザー入力部をさらに含み、
前記制御部は、前記ユーザーの入力により前記ユーザーの音声と、前記第２場面の台詞との一致程度の基準を決めることを特徴とする請求項２に記載のディスプレイ装置。
【請求項５】
前記制御部は、前記第１場面の表示の中で前記ユーザーに前記第２場面の台詞をいう順序であることを案内するように制御することを特徴とする請求項１に記載のディスプレイ装置。
【請求項６】
前記ユーザーの姿を撮影するカメラ部をさらに含み、
前記制御部は、前記コンテンツの複数の場面の中で少なくとも一つに前記撮影されたユーザーの姿が反映されるように制御することを特徴とする請求項１に記載のディスプレイ装置。
【請求項７】
ディスプレイ装置の制御方法において、
コンテンツの一連の複数の場面の中で第１場面を表示する段階と；
前記第１場面の表示の中でユーザーの音声を入力する段階と；
前記入力されたユーザーの音声が前記第１場面に対応するかどうかを判断する段階と；
前記入力されたユーザーの音声が前記第１場面に対応すれば、前記コンテンツの複数の場面の中で前記第１場面の次の場面に該当する第２場面を表示する段階と；
を含むことを特徴とするディスプレイ装置の制御方法。
【請求項８】
前記第１場面に対応するかどうかを判断する段階は、前記ディスプレイ装置に保存された前記複数の場面各々に対応する台詞に関する情報を参照して、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分以上なのかどうかを判断する段階を含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
【請求項９】
前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分未満ならば、前記ユーザーに前記第２場面の台詞を案内する段階をさらに含むことを特徴とする請求項８に記載のディスプレイ装置の制御方法。
【請求項１０】
前記ユーザーの入力により前記ユーザーの音声と、前記第２場面の台詞との一致程度の基準を決める段階をさらに含むことを特徴とする請求項８に記載のディスプレイ装置の制御方法。
【請求項１１】
前記第１場面の表示の中で前記ユーザーに前記第２場面の台詞をいう順序であることを案内する段階をさらに含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
【請求項１２】
前記ユーザーの姿を撮影する段階と；
前記コンテンツの複数の場面の中で前記撮影されたユーザーの姿が反映された少なくとも一つの場面を表示する段階をさらに含むことを特徴とする請求項７に記載のディスプレイ装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置およびその制御方法に係り、さらに詳しくは、一連の場面を含むコンテンツを提供するディスプレイ装置およびその制御方法に関する。
【背景技術】
【０００２】
一般的に、ＴＶ、スマートパッド、ＰＣ等のようなディスプレイ装置は映像を含むコンテンツを再生して提供することができる。このようなコンテンツは様々で、例えば、一連の場面で構成された童話のようなコンテンツも含まれる。
【０００３】
このような童話のようなコンテンツを再生する場合、ある場面で次の場面へ渡ろうとする時、従来の技術によれば、単純にユーザーがリモコンや、ディスプレイ装置の操作パネルのボタンを押したりあるいは画面をタッチすることによって行われた。
【０００４】
したがって、このような単純な形態のインターフェースを越えて、さらに直観的であり、ユーザーでとってさらに興味を誘発させることによってコンテンツに没入できるようにするインターフェースが必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、一連の場面を含むコンテンツを再生することにおいて、さらに直観的であり、ユーザーでとってさらに興味を誘発させることによってコンテンツに没入できるようにするディスプレイ装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の前記目的は、ディスプレイ装置において、一連の複数の場面を含むコンテンツの映像を表示できるように処理する映像処理部と；前記コンテンツの映像を表示するディスプレイ部と；ユーザーの音声を入力する音声入力部と；前記コンテンツの複数の場面の中で第１場面を表示し、前記第１場面の表示の中で入力された前記ユーザーの音声が前記第１場面に対応すると判断されれば、前記コンテンツの複数の場面の中で前記第１場面の次の場面に該当する第２場面を表示するように制御を遂行する制御部と；を含むディスプレイ装置によって達成されることができる。
【０００７】
ディスプレイ装置は前記複数の場面各々に対応する台詞に関する情報を保存する保存部をさらに含み、前記制御部は、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分以上ならば、前記ユーザーの音声が前記第１場面に対応すると判断することができる。
【０００８】
前記制御部は、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分未満ならば、前記ユーザーに前記第２場面の台詞を案内するように制御することができる。
【０００９】
ディスプレイ装置は、ユーザーの入力を受信するユーザー入力部をさらに含み、前記制御部は、前記ユーザーの入力により前記ユーザーの音声と、前記第２場面の台詞との一致程度の基準を決めることができる。
【００１０】
前記制御部は、前記第１場面の表示の中で前記ユーザーに前記第２場面の台詞をいう順序であることを案内するように制御することができる。
【００１１】
ディスプレイ装置は、前記ユーザーの姿を撮影するカメラ部をさらに含み、前記制御部は、前記コンテンツの複数の場面の中で少なくとも一つに前記撮影されたユーザーの姿が反映されるように制御することができる。
【００１２】
本発明の前記目的は、ディスプレイ装置の制御方法において、コンテンツの一連の複数の場面の中で第１場面を表示する段階と；前記第１場面の表示の中でユーザーの音声を入力する段階と；前記入力されたユーザーの音声が前記第１場面に対応するかどうかを判断する段階と；前記入力されたユーザーの音声が前記第１場面に対応すれば、前記コンテンツの複数の場面の中で前記第１場面の次の場面に該当する第２場面を表示する段階と；を含むディスプレイ装置の制御方法によっても達成されることができる。
【００１３】
前記第１場面に対応するかどうかを判断する段階は、前記ディスプレイ装置に保存された前記複数の場面各々に対応する台詞に関する情報を参照して、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分以上なのかどうかを判断する段階を含むことができる。
【００１４】
ディスプレイ装置の制御方法は、前記ユーザーの音声と、前記第２場面の台詞との一致程度が所定分未満ならば、前記ユーザーに前記第２場面の台詞を案内する段階をさらに含むことができる。
【００１５】
ディスプレイ装置の制御方法は、前記ユーザーの入力により前記ユーザーの音声と、前記第２場面の台詞との一致程度の基準を決める段階をさらに含むことができる。
【００１６】
ディスプレイ装置の制御方法は、前記第１場面の表示の中で前記ユーザーに前記第２場面の台詞をいう順序であることを案内する段階をさらに含むことができる。
【００１７】
ディスプレイ装置の制御方法は、前記ユーザーの姿を撮影する段階と；前記コンテンツの複数の場面の中で前記撮影されたユーザーの姿が反映された少なくとも一つの場面を表示する段階と；をさらに含むことができる。
【発明の効果】
【００１８】
前述のように、本発明によれば、ユーザーは別途の操作装置なしでユーザーの音声を通じてコンテンツの場面を進行することができるので、さらに直観的で便利にコンテンツを楽しむことができる。
【００１９】
また、本発明によれば、ユーザーが直接に台詞を読むことによって、さらにコンテンツに没入して興味を感じることができる。
【００２０】
さらに、本発明によれば、子供の童話球宴能力、発声などの向上を助けることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態によるディスプレイ装置の構成を示すブロック図である。
【図２】本発明の一実施形態によるディスプレイ装置の制御方法を示すフローチャートである。
【図３】本発明の一実施形態によるコンテンツの各場面と、台詞間の対応関係を示す図である。
【図４】本発明の一実施形態によるディスプレイ装置の制御方法の他の実施形態を示すフローチャートである。
【図５】本発明の一実施形態によるキャラクター選択画面を示す図である。
【図６】本発明の一実施形態によるキャラクターを作る画面を示す図である。
【図７】本発明の一実施形態によるコンテンツ再生画面を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施形態に対して詳しく説明する。図１は本発明の一実施形態によるディスプレイ装置の構成を示すブロック図である。ディスプレイ装置１は受信部１１、映像処理部１２、ディスプレイ部１３、ユーザー入力部１４、制御部１５、保存部１６、音声入力部１７およびカメラ部１８を含むことができる。ディスプレイ装置１はＴＶ、スマートパッド、ＰＣ等で具現され、コンテンツを再生する機器ならば、その名称にかかわらず、皆本発明が適用されることができる。図１に示すディスプレイ装置１の構成は一つの実施形態に過ぎず、本発明のディスプレイ装置は多様に構成されることができる。例えば、図１に示すディスプレイ装置１の構成で、カメラ部１８等は除外されて具現されることもできる。
【００２３】
受信部１１はコンテンツを含む映像信号を受信する。受信部１１はＴＶ放送信号などの放送信号送信装置（図示せず）から放送信号を映像信号として受信したり、ＤＶＤプレーヤー、ＢＤプレーヤーなどの映像機器から映像信号を受信したり、ＰＣから映像信号を受信したり、スマートフォン、スマートパッドなどのモバイル機器から映像信号を受信したり、インターネットなどのネットワークを通じて映像信号を受信したり、ＵＳＢ保存媒体のような保存媒体に保存された映像コンテンツを映像信号として入力することができる。他の実施形態として、コンテンツは受信部１１を通じて受信されなくて、保存部１６に保存されて提供されることもできる。
【００２４】
本発明の一実施形態によるコンテンツは一連の場面で構成されたコンテンツである。例えば、コンテンツは童話の本を映像の形態で提供することもできる。コンテンツは場面単位で再生され、いずれか一つの場面が表示され、該当場面の表示中にユーザーの命令があれば、その命令により次の場面へ渡る。
【００２５】
映像処理部１２は受信部１１により受信される映像信号を処理して映像が表示されるようにする。ディスプレイ部１３は映像処理部１２により処理された映像信号に基づいて映像を表示する。ディスプレイ部１３が映像を表示する方式には限られず、ＬＣＤ、ＰＤＰ、ＯＬＥＤなどの方式を含む。この場合、ディスプレイ部１３はＬＣＤパネル、ＰＤＰパネル、ＯＬＥＤパネルなどを含むことができる。
【００２６】
ユーザー入力部１４はユーザーの入力を受信し、リモコンからユーザーの入力を含むリモコン信号を受信するリモコン受信部、ユーザーの直接入力のための操作ボタンあるいはタッチパネルなどを含むことができる。
【００２７】
保存部１６はフラッシュメモリー、ハードディスクなどの非揮発性のメモリーとしてディスプレイ装置１の動作に必要なプログラムおよびデータを保存する。このようなプログラムは、ＯＳ、アプリケーションプログラムなどを含む。また、保存部１６はコンテンツの各場面に対応する台詞に関する情報をさらに保存することができる。本実施形態の台詞は、例えば、童話である登場人物が話す台詞でありうる。
【００２８】
制御部１５はコンテンツの再生に関する制御を遂行する。すなわち、制御部１５はコンテンツを再生しながら、いずれか一つの場面（以下、‘第１場面’という）の表示の中に、ユーザーの音声が入力される場合、入力されたユーザーの音声が現在の第１場面に対応するかどうかを判断して、対応する場合、第１場面の次の場面（以下、‘第２場面’という）が表示されるように制御を遂行する。制御部１５の具体的な動作に対しては後述する。
【００２９】
音声入力部１７はユーザーの音声が入力される。例えば、音声入力部１７はマイクで具現されることができる。カメラ部１８はユーザーの姿を撮影する。
【００３０】
制御部１５は図示されはしないが、このような制御動作を可能にする制御プログラムが保存された非揮発性のメモリーと、保存された制御プログラムの少なくとも一部をローディングする揮発性のメモリーと、ローディングされた制御プログラムを実行するマイクロプロセッサーと、を含むことができる。保存部１６は制御プログラムが保存される非揮発性のメモリーを含むことができる。
【００３１】
図２は図１に示すディスプレイ装置１の制御方法を示すフローチャートである。動作Ｓ２１で、ディスプレイ装置１の制御部１５はコンテンツの一連の場面の中で第１場面を表示する。本実施形態によるコンテンツは童話の本であるとする。次に、動作Ｓ２２で、制御部１５は第１場面の表示の中で、音声入力部１７を通じてユーザーの音声が入力されたかを確認する。次に、動作Ｓ２３で、制御部１５は入力されたユーザーの音声が現在表示されているコンテンツの第１場面に対応するかどうかを判断する。次に、動作Ｓ２４で、制御部１５は入力されたユーザーの音声が現在表示されているコンテンツの第１場面に対応すると判断されれば、第１場面の次の場面である第２場面が表示されるように制御する。このような方法で、ディスプレイ装置１はユーザーとともにインタラクティブするように台詞をやり取りしながら、コンテンツのシナリオを進行していく。
【００３２】
図３に示すように、制御部１５は現在第１場面３１が表示される状況で、ユーザーの音声が入力されれば、保存部１６に保存された台詞に関する情報を参照する。保存部１６には該当コンテンツの各場面に対応する台詞の情報が設けられている。制御部１５は保存部１６の台詞の情報の中で、現在表示されている第１場面３１の次の場面である第２場面３２に対応する台詞ａ３３を参照する。続いて、制御部１５は入力されたユーザーの音声が台詞ａ３３に対応するかを判断し、その判断結果により第２場面が表示されるように制御する。
【００３３】
追加的な実施形態として、制御部１５は第１場面を表示する時、ユーザーが台詞をいう順序に該当するかどうかを確認し、該当すると判断されれば（図３の例では該当すること）、ユーザーに自身が台詞をいう順序であることを知らせる案内をするように制御することができる。例えば、制御部１５は第１場面と共に案内メッセージあるいは案内アイコンを表示したり、案内音声を出力することによって案内をすることができる。ディスプレイ装置１はこのような案内音声を出力するスピーカーを含む音声出力部（図示せず）をさらに含むことができる。
【００３４】
図４はディスプレイ装置１の制御方法の他の例を示すフローチャートである。本実施形態は図２の動作Ｓ２３のさらに具体的な過程に該当することができる。先に、動作Ｓ４１で、制御部１５は入力されたユーザーの音声を認識する。制御部１５はユーザーの音声を認識することにおいて、文章構造分析、語彙分析、意味分析などをすることができる。制御部１５は入力されたユーザーの音声を所定のソフトウェア
アルゴリズムを通じて、文章構造と語彙を認識し、コンテキスト単位で意味を分析することができる。
【００３５】
次に、動作Ｓ４２で、制御部１５は認識されたユーザーの音声の内容と、第２場面の台詞との一致程度を判断する。制御部１５はユーザーの音声の内容と、第２場面の台詞との一致程度を判断することにおいて、台詞のパターン一致、台詞の順序一致、台詞の主体一致などを確認することができる。次に、動作Ｓ４３で、制御部１５はユーザーの音声の内容と、第２場面の台詞との一致程度が所定分以上なのかどうかを確認する。動作Ｓ４３での確認結果、一致程度が所定分以上である場合、動作Ｓ４４で制御部１５は第２場面を表示する。
【００３６】
追加的な実施形態として、制御部１５はユーザーの入力によりユーザーの音声の内容と、第２場面の台詞との一致程度の基準を決めることができる。例えば、台詞の一致難易度は初級（一致程度の基準低さ）、中級（一致程度の基準中間）、高級（一致程度の基準高さ）等の色々なモードで設けられることができるし、各モードはユーザーの入力により選択されることができる。台詞の一致難易度に関するモード選択はＵＩ（図示せず）を利用して行われることができる。
【００３７】
一方、動作Ｓ４３での確認結果、一致程度が所定分以上ではない場合、動作Ｓ４５で制御部１５は台詞が一致しない回数が所定分以上なのかどうかを確認し、一致しない回数が所定分未満ならば、ユーザーが再び台詞をいえるように機会を与えて、動作Ｓ４１を再び遂行できる。この場合、制御部１５はユーザーに再び台詞をいうようにする案内メッセージなどを表示することができる。
【００３８】
動作Ｓ４５で台詞が一致しない回数が所定分（例えば、３回）以上だと判断されれば、制御部１５はユーザーが簡単に台詞をいえるように該当台詞を案内するように制御する。例えば、制御部１５は第２場面の台詞の内容をディスプレイ部１３に表示したり、あるいはユーザーが言わせるように第２場面の台詞を先に一度読んでくれることができる。ディスプレイ装置１はこのような台詞を読む音声を出力するスピーカーを含む音声出力部（図示せず）をさらに含むことができる。
【００３９】
他の実施形態として、制御部１５は台詞が一致しなければ（あるいは所定回数以上一致しなければ）、すぐ次の第２場面で進行することもできる。
【００４０】
図５は本発明の一実施形態によるキャラクター選択画面を図示する。制御部１５はコンテンツ再生動作開始時、ディスプレイ部５１にキャラクター選択画面５２を表示することができる。ユーザーはユーザー入力部１４等を利用して該当コンテンツで自身が台詞をいうキャラクター５３を選択することができる。制御部１５はコンテンツの場面の中で、ユーザーによって選択されたキャラクター５３の台詞順序になった場面で前記動作を遂行する。
【００４１】
図６は本発明の一実施形態によるキャラクター作る画面を図示する。追加的な実施形態で、制御部１５はキャラクター選択時、キャラクター作る画面６２をさらに表示することができる。この場合、制御部１５はカメラ部１８を利用してユーザーの姿を撮影するように制御する。本実施形態でユーザーは王冠とのような小物を頭に着用していることにする。制御部１５は撮影されたユーザーの姿のイメージで王冠の形態を識別し、これをキャラクターに反映する映像処理（例えば、イメージ合成）が行われるように制御する（符号６３参照）。この後、制御部１５はコンテンツの再生時ユーザーのキャラクターが登場する場面にもキャラクターに王冠の形態が反映されるようにする。これによって、ユーザーはさらに興味を感じることができる。
【００４２】
図７は本発明の一実施形態によるコンテンツ再生画面の一例を示す。図面に示すように、制御部１５はコンテンツの第１場面７２を表示し、ユーザーのキャラクターの相手方の台詞７３が出力されるようにする。続いて、ユーザーは自身のキャラクターの順序で、自身の台詞をいう。制御部１５はユーザーの音声を確認して、台詞の一致可否に従って次の場面に進行する。
【００４３】
以上、好ましい実施形態を通じて本発明に関して詳細に説明したが、本発明はこれに限定されず、特許請求の範囲内で多様に実施されることができる。
【符号の説明】
【００４４】
１    ディスプレイ装置
１１  受信部
１２  映像処理部
１３  ディスプレイ部
１４  ユーザー入力部
１５  制御部
１６  保存部
１７  音声入力部
１８  カメラ部
【図１】
2014068343.tif 000003
【図２】
2014068343.tif 000004
【図３】
2014068343.tif 000005
【図４】
2014068343.tif 000006
【図５】
2014068343.tif 000007
【図６】
2014068343.tif 000008
【図７】
2014068343.tif 000009