(57)【要約】【課題】音声の特徴を表示することができる情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、音声の出力を制御する音声出力制御部と、出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、を有する。【選択図】図４
2013161205.tif 000002
【特許請求の範囲】
【請求項１】
音声の出力を制御する音声出力制御部と、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、出力中の前記音声の特徴が変化する点において、アニメーションオブジェクトのサイズ、形状、色、及び表示角度の少なくともいずれかを変化させる、
請求項１に記載の情報処理装置。
【請求項３】
前記音声の前記特徴は、前記音声の音高、音長、及び音強の少なくともいずれかである、
請求項１に記載の情報処理装置。
【請求項４】
前記アニメーションオブジェクトは、テキスト上に重畳して表示される、
請求項１に記載の情報処理装置。
【請求項５】
前記テキスト上に重畳して表示される前記アニメーションオブジェクトは、出力中の音声位置に同期してサイズが変化するカーソルであり、前記カーソルの先端サイズは、前記音声の特徴が変化する点において前記形態が変化する、
請求項４に記載の情報処理装置。
【請求項６】
前記アニメーションオブジェクトは、前記音声に対応するテキストである、
請求項１に記載の情報処理装置。
【請求項７】
前記表示制御部は、出力中の前記音声の特徴に基づいて前記テキストの文字間隔を変化させる、
請求項６に記載の情報処理装置。
【請求項８】
前記音声に対応するテキストは、動画コンテンツの字幕テキストである、
請求項１に記載の情報処理装置。
【請求項９】
音声の出力を制御することと、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御することと、
を含む、情報処理方法。
【請求項１０】
コンピュータを、
音声の出力を制御する音声出力制御部と、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項１１】
前記表示制御部は、出力中の前記音声の特徴が変化する点において、アニメーションオブジェクトのサイズ、形状、色、及び表示角度の少なくともいずれかを変化させる、
請求項１０に記載のプログラム。
【請求項１２】
前記音声の前記特徴は、前記音声の音高、音長、及び音強の少なくともいずれかである、
請求項１０に記載のプログラム。
【請求項１３】
前記アニメーションオブジェクトは、テキスト上に重畳して表示される、
請求項１０に記載のプログラム。
【請求項１４】
前記テキスト上に重畳して表示される前記アニメーションオブジェクトは、出力中の音声位置に同期してサイズが変化するカーソルであり、前記カーソルの先端サイズは、前記音声の特徴が変化する点において前記形態が変化する、
請求項１３に記載のプログラム。
【請求項１５】
前記アニメーションオブジェクトは、前記音声に対応するテキストである、
請求項１０に記載のプログラム。
【請求項１６】
前記表示制御部は、出力中の前記音声の特徴に基づいて前記テキストの文字間隔を変化させる、
請求項１５に記載のプログラム。
【請求項１７】
前記音声に対応するテキストは、動画コンテンツの字幕テキストである、
請求項１０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
母国語以外の言語を学習しようとするとき、音声を聴くことにより発音を学習することがある。このとき音声に対応するテキストが表示されれば、ユーザは音声の内容を把握することが容易となる。例えば特許文献１には、映像に付加された字幕を中心に映像中の再生位置をサーチすることのできる再生装置が開示されている。この再生装置は、字幕に基づいて繰り返し再生を行うことができる。このため、聞き取り難い箇所を繰り返し再生することができ、学習効果が高められる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−１１５２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、表示されたテキストを見ることによって、ユーザは音声の内容を把握することはできても、音声の特徴を把握することはできない。そこで、本開示では、音声の特徴を表示することの可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
【課題を解決するための手段】
【０００５】
本開示によれば、音声の出力を制御する音声出力制御部と、出力中の上記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、を有する情報処理装置が提供される。
【０００６】
また、本開示によれば、音声の出力を制御することと、出力中の上記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御することと、を含む情報処理方法が提供される。
【０００７】
また、本開示によれば、コンピュータを、音声の出力を制御する音声出力制御部と、出力中の上記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、を有する情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、音声の特徴を表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の一実施形態に係る語学学習装置が表示する音声の特徴を示すアニメーションの概要を示す説明図である。
【図２】同実施形態に係る語学学習装置が表示する音声の特徴を示すアニメーションの概要を示す説明図である。
【図３】同実施形態に係る語学学習装置のハードウェア構成の一例を示すブロック図である。
【図４】同実施形態に係る語学学習装置の機能構成の一例を示すブロック図である。
【図５】同実施形態に係る語学学習装置の表示する表示画面の第１の例である。
【図６】同実施形態に係る語学学習装置の表示する表示画面の第２の例である。
【図７】同実施形態に係る語学学習装置の用いる音声特徴情報について説明するための説明図である。
【図８】同実施形態に係る語学学習装置の用いる音声特徴情報を含む字幕情報の一例を示す説明図である。
【図９】同実施形態に係る語学学習装置が音声特徴情報を用いて行う再生制御の一例を説明するための説明図である。
【図１０】同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの一例を示す説明図である。
【図１１】同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの他の一例を示す説明図である。
【図１２】同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの他の一例を示す説明図である。
【図１３】同実施形態に係る語学学習装置の第１の動作例を示すフローチャートである。
【図１４】同実施形態に係る語学学習装置の第２の動作例を示すフローチャートである。
【図１５】日本語と英語の音声の特徴を示す説明図である。
【図１６】テキストに音声の波形情報を重畳表示した例を示す説明図である。
【図１７】テキストを音声の長さにマッピングした表示例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．概要
２．ハードウェア構成例
３．機能構成例
４．表示画面例
５．音声特徴情報の例
６．アニメーション例
７．動作例
８．まとめ
【００１２】
＜１．概要＞
まず図１，図２，及び図１５〜図１７を参照しながら、本開示の一実施形態に係る語学学習サービスの概要について説明する。図１は、本開示の一実施形態に係る語学学習装置が表示する音声の特徴を示すアニメーションの概要を示す説明図である。図２は、同実施形態に係る語学学習装置が表示する音声の特徴を示すアニメーションの概要を示す説明図である。図１５は、日本語と英語の音声の特徴を示す説明図である。図１６は、テキストに音声の波形情報を重畳表示した例を示す説明図である。図１７は、テキストを音声の長さにマッピングした表示例を示す説明図である。
【００１３】
本開示の一実施形態に係る語学学習サービスを提供する語学学習装置１００は、音声の特徴をアニメーションによって示すことができる。なおここでは、日本人を対象として英語を学習する場合を想定して説明を行うが、本技術はかかる例に限定されず、母国語と異なる言語を学習するための学習サービスに適用することができる。
【００１４】
日本語と英語を比較すると、音声の音高（音の高低、以下ピッチという。）が異なるという特徴がある。日本語は比較的目で見る文字と耳で聞こえる文字との一致度が高い言語であるのに対し、英語は目に見える文字と耳で聞こえる文字とが異なることが多い。例えば図１５には、日本語の「緊急地震速報」の音声の特徴と、英語の「I'll inform you about our business hours.」の音声の特徴とが示される。日本語は、テキストの区切りがピッチの区切りと略一致し、ピッチが単語毎に小さな山を形成する。これに対し英語は、テキストの区切りがピッチの区切りとは一致せず、ピッチが文章全体で大きな山を形成する。このような違いがあるため、日本語を母国語とする人は、英語を聞き取ることが困難である。
【００１５】
そこで、英語のテキストと共に、テキストと対応する音声の特徴を表示することを提案する。ここで音声の特徴とは、例えば音声の音高（ピッチ）、音長（テンポ）、及び音強（インテンシティ）の少なくともいずれかを含んでよい。
【００１６】
音声の特徴を表示する方法としては、例えば図１６に示されるように、音声の波形情報をテキストに重ねて表示することが考えられる。ところが、波形情報をテキストに重ねる場合には、波形を表示する分の高さを確保するために、テキスト間の行間が広めにとられる。このため、波形を表示しない場合の高さｈ１と比較して、テキストに波形を重ねて表示した場合の高さｈ２は大きくなってしまう。
【００１７】
また英語のように音の長さと文字の長さが一致しない言語において、音の長さに合わせてテキストをマッピングすると、図１７に示すようにテキストのレイアウトが崩れて読みづらくなってしまう。また図示していないが、テキストの長さに合わせて音声を出力すると、当然ながら再生スピードが一定にならず聞き取りづらい。
【００１８】
このように、静的な表示によって音声の特徴を示そうとすると、様々な不都合が生じることがある。そこで本開示では、アニメーションを用いて音声の特徴を表示することを提案する。例えば図１及び図２に音声の特徴を示すアニメーションの一例が示される。
【００１９】
例えば「Then
he'll ask, "Can you make more?"」という文章に対して付加されるアニメーションとしては、図１に示されるようにカーソル表示が挙げられる。このカーソルは、いわゆるカラオケにおいて歌詞のうち現在歌う部分と同期してカーソル位置が移動する場合と同様に、音声の出力位置に合わせて移動する。図１の上図には、「he」の部分の音声が出力されているときのカーソルの状態が示される。また中図には、「ask」の部分の音声が出力されているときのカーソルの状態が示される。また下図には、「you」の部分の音声が出力されているときのカーソルの状態が示される。このように音声の出力位置とカーソル位置が同期される。これにより、音声のテンポがカーソル位置によって示される。
【００２０】
またここで表示されるカーソルの形態は、図２に示されるように変化してもよい。例えば音声のピッチ又はインテンシティに応じてカーソル先端部のサイズが変化してもよい。図２のパターン１には、文章末で音声のピッチ又はインテンシティが下がる場合のアニメーション例が示される。音声のピッチ又はインテンシティが下がる時点において、カーソル先端部のサイズが縮小される。また図２のパターン２には、文章末で音声のピッチ又はインテンシティが上がる場合のアニメーション例が示される。音声のピッチ又はインテンシティが上がる時点において、カーソル先端部のサイズが拡大される。また図２のパターン３には、文章の途中で音声のピッチ又はインテンシティが上がった後元に戻る場合のアニメーション例が示される。音声のピッチ又はインテンシティが上がる時点において、カーソル先端部のサイズが拡大された後、元のカーソルサイズに戻される。
【００２１】
上述の通り、出力される音声の特徴をテキスト全てについて静的に示す場合と比べて、“出力中の音声”の特徴をアニメーション（アニメーションオブジェクトの形態変化）で示す本技術によれば、限られたスペースで効果的に音声の特徴をユーザに示すことができる。このような語学学習サービスを実現するための語学学習装置１００について、以下に説明する。
【００２２】
＜２．ハードウェア構成例＞
まず図３を参照しながら、本開示の一実施形態に係る語学学習装置１００のハードウェア構成の一例について説明する。図３は、同実施形態に係る語学学習装置のハードウェア構成の一例を示すブロック図である。
【００２３】
語学学習装置１００は、例えばアプリケーションを実行することによって本開示の一実施形態に係る語学学習サービスを提供することのできる情報処理装置の一例である。例えば語学学習装置１００は、携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、映像処理装置、ゲーム機器、家電機器、音楽再生装置などの情報処理装置であってよい。
【００２４】
（語学学習装置１００）
語学学習装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０５と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１０と、不揮発性メモリ１１５と、表示装置１２０と、タッチセンサ１２５と、音声出力装置１３０とを主に有する。
【００２５】
ＣＰＵ１０５は、演算処理装置および制御装置として機能する。ＣＰＵ１０５は、各種プログラムに従って語学学習装置１００内の動作全般を制御する。またＣＰＵ１０５は、マイクロプロセッサであってよい。ＲＡＭ１１０は、ＣＰＵ１０５が実行するプログラムや、プログラムの実行において適宜変化するパラメータ等を一時記憶する。不揮発性メモリ１１５は、ＣＰＵ１０５が使用するプログラムや演算パラメータなどを記憶する。
【００２６】
表示装置１２０は、表示部の一例であり、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ  ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）装置、ブラウン管（ＣＲＴ：Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置などであってよい。
【００２７】
タッチセンサ１２５は、操作部の一例であり、表示装置１２０上に重畳して設けられる。タッチセンサ１２５は、位置入力装置であり、表示画面における位置情報に基づいて、操作を受付けることができる。
【００２８】
音声出力装置１３０は、音声を出力するスピーカである。この音声出力装置１３０は、例えば再生されるコンテンツに含まれる音声を出力することができる。また音声出力装置１３０は、再生されるコンテンツに含まれるテキストデータから生成された合成音声を出力することもできる。
【００２９】
以上、ここで示された語学学習装置１００のハードウェア構成は一例であり、本技術はかかる例に限定されない。語学学習サービスを実現するためのハードウェア構成については、本実施形態を実施する時々の技術レベルなどに応じて、適宜、利用する構成を変更することができる。
【００３０】
＜３．機能構成例＞
次に、図４を参照しながら語学学習装置１００の機能構成の一例について説明する。図４は、同実施形態に係る語学学習装置の機能構成の一例を示すブロック図である。
【００３１】
語学学習装置１００は、再生制御部１５０と、操作部１５５と、音声出力制御部１６０と、音声出力部１６５と、表示制御部１７０と、表示部１７５と、音声特徴情報記憶部１８０との機能を主に有する。
【００３２】
再生制御部１５０は、コンテンツの再生を制御する機能を有する。再生制御部１５０は、操作部１５５から供給される操作情報に基づいて動作することができる。再生制御部１５０は、操作情報に基づいて、再生するコンテンツを選択することができる。また再生制御部１５０は、音声出力制御部１６０及び表示制御部１７０を制御することによってコンテンツの再生を制御することができる。
【００３３】
操作部１５５は、ユーザが所望の操作を行うための入力装置であり、例えばタッチセンサ１２５であってよい。操作部１５５は、ユーザの操作に基づいた操作情報を生成して再生制御部１５０に共有することができる。操作部１５５は、例えばユーザが、再生するコンテンツを選択する操作、コンテンツ中の再生位置を選択する操作、及び再生に関する各種のパラメータ（例えば再生音量および再生速度など）を設定する操作を行うと、操作に応じた操作情報を生成することができる。
【００３４】
音声出力制御部１６０は、再生制御部１５０の制御に従って音声出力部１６５が出力する音声を制御することができる。音声出力制御部１６０は、再生制御部１５０の指定するコンテンツ中の指定された再生箇所に対応する音声の出力を制御する。音声出力制御部１６０は、指定されたコンテンツ中に音声データが含まれる場合には、この音声データの出力を制御することができる。また音声出力制御部１６０は、指定されたコンテンツのテキストから合成音声を生成し、生成した合成音声の出力を制御することができてもよい。
【００３５】
音声出力部１６５は、音声出力制御部１６０の制御に従って音声を出力する機能を有する。音声出力部１６５は、音声出力装置１３０であってよい。なおここでは語学学習装置１００が音声出力装置１３０を有することとしたが、本技術はかかる例に限定されない。例えば音声出力部１６５は、外部の音声出力装置に音声を出力するインタフェースであってもよい。
【００３６】
表示制御部１７０は、再生制御部１５０の制御に従って表示部１７５の出力する表示画面の内容を制御することができる。表示制御部１７０は、再生制御部１５０の指定するコンテンツ中の指定された再生箇所を表示するように表示部１７５の表示画面の内容を制御することができる。表示制御部は、音声出力部１６５が出力中の音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御することができる。ここでアニメーションオブジェクトは、例えば音声の内容を示すテキスト上に重畳して表示されるオブジェクトであってよい。またアニメーションオブジェクトは、例えば音声の内容を示すテキストに含まれる文字であってもよい。表示制御部１７０は、アニメーションオブジェクトの形態を変化させることにより、アニメーションで音声の特徴を示すことができる。ここでアニメーションオブジェクトの形態とは、例えば形状、サイズ、色、表示角度などであってよい。
【００３７】
表示部１７５は、表示制御部１７０の制御に従って表示画面をユーザに提供する機能を有する。表示部１７５は、表示装置１２０であってよい。ここでは語学学習装置１００が表示装置１２０を有することとしたが、本技術はかかる例に限定されない。例えば表示部１７５は、外部の表示装置に表示画面を出力させるためのインタフェースであってもよい。
【００３８】
音声特徴情報記憶部１８０は、音声特徴情報を記憶する機能を有する記憶部の一例である。音声特徴情報記憶部１８０は、例えば不揮発性メモリ１１５であってもよい。音声特徴情報の詳細については後述されるが、音声の特徴を示す情報であり、例えば音声が所定の特徴を有する点をコンテンツ中において特定するための情報が含まれてよい。例えば、音声特徴点とは、音声のピッチ、テンポ、又はインテンシティが変化する点であってよい。
【００３９】
以上、本実施形態に係る語学学習装置１００の機能の一例を示した。上記の各構成要素は、図３に示されたハードウェア構成により実現されてもよいし、汎用的な部材や回路が用いられてもよい。また上記の各構成要素は、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００４０】
なお、上述のような本実施形態に係る語学学習装置１００の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００４１】
＜４．表示画面例＞
次に、図５及び図６を参照しながら、本実施形態に係る語学学習装置１００の表示する表示画面例について説明する。図５は、同実施形態に係る語学学習装置の表示する表示画面の第１の例である。図６は、同実施形態に係る語学学習装置の表示する表示画面の第２の例である。
【００４２】
ここでは、映画などの動画像コンテンツを用いた語学学習サービスを提供する第１の表示画面と、テキストコンテンツに対して選択した箇所の音声を出力する第２の表示画面とを例に挙げて説明をする。
【００４３】
（第１の表示画面）
図５に示される第１の表示画面は、映画コンテンツを利用した語学学習サービスを提供する表示画面の一例である。図５に示される第１の表示画面は、コンテンツ表示領域１１と、字幕表示領域１２と、学習記録表示領域１３と、コンテンツリスト表示領域１４と、辞書表示領域１５と、関連動画表示領域１６とを含むことができる。字幕表示領域１２は、アクティブ字幕表示領域を含むことができる。現在出力中の音声は、このアクティブ字幕表示領域に表示される。このアクティブ字幕表示領域には、後に詳述されるアニメーションオブジェクトが表示される。
【００４４】
（第２の表示画面）
図６に示される第２の表示画面は、テキストデータのうち指定された箇所を音声出力する語学学習サービスを提供する表示画面の一例である。ここでは、インターネット上に公開されたＨＴＭＬコンテンツ中のテキストのうち指定された箇所の音声を出力することとしたが、本技術はかかる例に限定されない。例えばＨＴＭＬコンテンツに限らず、テキストデータを含むコンテンツ全般に対して本技術は適用されてよい。
【００４５】
＜５．音声特徴情報の例＞
次に、図７〜図９を参照しながら、本開示の一実施形態に係る語学学習装置１００の用いる音声特徴情報の一例について説明する。図７は、同実施形態に係る語学学習装置の用いる音声特徴情報について説明するための説明図である。図８は、同実施形態に係る語学学習装置の用いる音声特徴情報を含む字幕情報の一例を示す説明図である。図９は、同実施形態に係る語学学習装置が音声特徴情報を用いて行う再生制御の一例を説明するための説明図である。
【００４６】
映画のような動画像コンテンツの字幕及び音声データを再生する第１の表示画面の例を挙げると、音声特徴情報は、例えば図７に示されるフォーマットを有する。音声特徴情報は、例えばＣｏｍｍａｎｄＩＤと、音声の特徴点を特定するための時間と、それぞれの特徴点を区別するためのセパレータとを含んでよい。例えばＣｏｍｍａｎｄＩＤの一例としては、音高（ピッチ）が大きくなる点を示すＰＵ、音高が小さくなる点を示すＰＤ、テンポが変化する点を示すＳＰなどが挙げられる。記述例としては、ＰＵ２４８６８；ＳＰ２５０５８；等が挙げられる。ＰＵ２４８６８；は、２４８６８ミリ秒の時点においてピッチが大きくなることを示す。またＳＰ２５０５８；は、２５０５８ミリ秒の時点においてテンポが変わることを示す。
【００４７】
このような音声特徴情報は、例えば図８に示されるように、字幕情報の一部として含まれていてもよい。例えば字幕情報は、字幕ＩＤと、字幕表示時間と、音声特徴情報と、字幕テキストとを含むことができる。このような字幕情報を参照して、このコンテンツの再生を制御する場合の制御方法の一例が図９に示される。
【００４８】
ここでは、字幕ＩＤ９の字幕再生時間が「00:00:34,448」から「00:00:36,575」であり、この字幕に対応する音声に対して、「ＳＰ３４３４８；ＳＰ３５５６８；ＳＰ３５５７８；ＳＰ３６１８８」の４つの音声特徴情報が付加されている場合を例に挙げて説明する。この字幕の字幕テキストは、「I wasn't talking about China anymore, I was talking about me.」である。このとき、語学学習装置１００は、カーソルの表示をこの音声特徴情報に基づいて制御することができる。
【００４９】
この音声特徴情報は、３４３４８，３５５６８，３５５７８，３６１８８の４つの時点においてテンポが変化することを示す。従ってこの４つの時点は、字幕テキスト中の「I wasn't talking about China anymore,」の開始位置及び終了位置、及び「I was talking about me.」の開始位置及び終了位置に相当すると考えられる。そこで、語学学習装置１００は、これらの情報を用いてカーソル速度を割り当てることができる。具体的にこの例について言えば、「I wasn't talking about China anymore,」の開始時間を３４３４８ミリ秒、終了時間を３５５６８ミリ秒、そして「I was talking about me.」の開始時間を３５５７８ミリ秒、終了時間を３６１８８ミリ秒とすることができる。
【００５０】
＜６．アニメーション例＞
次に、図１０〜図１２を参照しながら、本開示の一実施形態に係る語学学習装置１００の表示するアニメーションオブジェクトの表示例について説明する。図１０は、同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの一例を示す説明図である。図１１は、同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの他の一例を示す説明図である。図１２は、同実施形態に係る語学学習装置が音声の特徴に基づいて表示するアニメーションの他の一例を示す説明図である。
【００５１】
表示制御部１７０は、例えば図１、図２、又は図１０〜図１２に示されるアニメーションを用いることによって、音声の特徴を表示することができる。図１０を参照すると、文字の形態を変化させることによって音声の特徴を示すアニメーションオブジェクトの一例が示される。ここでは、表示された文字を音声の特徴に基づいて変化させることによってアニメーション表現を実現することができる。例えば文字のサイズが拡大又は縮小されてよい。また文字の表示角度が回転されてもよい。また文字の一部（例えば頂部）が変形されてもよい。ここではアニメーションのパターンを表すグラフが複数示される。アニメーションオブジェクトは、このグラフに従って形態が変化されてよい。また図示されていないが、音声の特徴に応じて文字の色が変化されてもよい。表示制御部１７０は、音声特徴情報に示された特徴点においてアニメーションオブジェクトの形態を変化させることができる。
【００５２】
また図１１には、図２に示したカーソルの移動及び先端サイズ変化によるアニメーションオブジェクトに、文字サイズを変化させることによるアニメーションオブジェクトを組合わせた一例が示される。例えばテキストデータ中に含まれる、音声の特徴点において、カーソルの先端部のサイズ及び文字のサイズが拡大又は縮小されてよい。
【００５３】
また図１２に示されるように、文字の間隔によって音声の特徴を示してもよい。テキスト全体を音声のテンポに合わせて表示すると、図１７に示したように全体のレイアウトが崩れて読みづらくなり、また文字の間に音声のテンポに応じた空間が必要であるため、テキストを等間隔で詰めて表示する場合と比較して、表示領域が大きくなる。ところが、ここでは音声を出力している箇所のテキストを音声のテンポに合わせて表示し、出力している箇所以外のテキストについては詰めて表示される。またこのとき、出力中の音声に対応するテキストが拡大して表示領域が不足した分は、出力中の箇所以外のテキストが潰れて表示されてよい。これにより、テキストを等間隔で詰めて表示した場合と同じ大きさの表示領域で、出力中の箇所のテキストが音声のテンポに合わせて文字間隔が拡大して表示される。
【００５４】
＜７．動作例＞
次に図１３及び図１４を参照しながら、本開示の一実施形態に係る語学学習装置１００の動作例について説明する。なお、ここでは図５に説明した映画などの動画像コンテンツを用いた語学学習サービスを提供する第１の表示画面を提供する場合の第１の動作例と、図６に説明したテキストコンテンツに対して選択した箇所の音声を出力する第２の表示画面を提供する第２の動作例とについてそれぞれ説明する。図１３は、同実施形態に係る語学学習装置の第１の動作例を示すフローチャートである。図１４は、同実施形態に係る語学学習装置の第２の動作例を示すフローチャートである。
【００５５】
（第１の動作例）
まず図１３を参照しながら、第１の動作例について説明する。再生制御部１５０は、コンテンツ再生中であるか否かを判断する（Ｓ１００）。すなわち、コンテンツの再生が停止されるまで、以下に説明する動作は繰り返される。
【００５６】
そしてコンテンツ再生中であると判断されると、再生制御部１５０は、現在の再生時間を読込む（Ｓ１０５）。再生制御部１５０は、音声出力制御部１６０及び表示制御部１７０に、再生時間に対応する音声又は表示画面を出力するように制御する。ここで表示制御部１７０は、現在の再生時間から次に表示する字幕と、字幕時間を読込む（Ｓ１１０）。また表示制御部１７０は、音声特徴情報を読込む（Ｓ１１５）。
【００５７】
そして表示制御部１７０は、現在の再生時間に音声特徴点があるか否かを音声特徴情報に基づいて判断する（Ｓ１２０）。そして現在の再生時間に音声特徴点がある場合には、表示制御部１７０は、音声特徴情報に基づいたアニメーションを表示させる（Ｓ１２５）。
【００５８】
かかる動作により、映画などの動画像コンテンツにおいて、音声に特徴がある箇所、例えばピッチ又はインテンシティが所定の閾値以上変化する箇所、或いはテンポが変化する箇所において、字幕上にアニメーションが表示される。ここで表示されるアニメーションは、アニメーションオブジェクトの形態の変化により実現される。アニメーションオブジェクトは、テキスト上に重畳されるカーソルであってもよい。或いはアニメーションオブジェクトは、テキスト自体であってもよい。また形態の変化とは、サイズ、形状、色、配置などの変化であってよい。これにより、ユーザは、視覚的に音声の特徴を把握することができる。またアニメーションによって、「現在出力されている」音声の特徴だけを表示させることによって、表示領域を有効に利用することができる。
【００５９】
（第２の動作例）
次に図１４を参照しながら、第２の動作例について説明する。再生制御部１５０は、アプリケーション実行中であるか否かを判断する（Ｓ２００）。すなわち、アプリケーションの実行が停止されるまで、以下に説明する動作は繰り返される。
【００６０】
そしてアプリケーション実行中であると判断されると、再生制御部１５０は、操作部１５５がテキスト上のタッチ操作を検知したか否かを判断する（Ｓ２０５）。テキスト上でタッチ操作が検知されると、再生制御部１５０は、タッチ箇所のテキストに対応する音声データを特定する（Ｓ２１０）。再生制御部１５０は、特定した箇所の音声データを出力するように音声出力制御部１６０を制御し、これに応じた表示画面を表示するよう表示制御部１７０を制御する。ここで音声出力制御部１６０は、特定した音声データの出力を開始する（Ｓ２１５）。なおここでは予め音声データが存在するものとしたが、本技術はかかる例に限定されない。例えば上述の通り、タッチ箇所のテキストが特定されると、音声出力制御部１６０は、特定されたテキストから合成音声を生成してもよい。
【００６１】
そして表示制御部１７０は、音声特徴情報を読込む（Ｓ２２０）。また表示制御部１７０は、現在の音声出力時間を読込む（Ｓ２２５）。そして表示制御部１７０は、現在の音声出力時間に音声特徴点があるか否かを判断する（Ｓ２３０）。そして現在の音声出力時間に音声特徴点があるときには、表示制御部１７０は、音声特徴情報に基づいたアニメーションを表示させる（Ｓ２３５）。一方、現在の音声出力時間に音声特徴点がない場合には、このステップＳ２３５の処理は省略される。次に再生制御部１５０は、特定された音声データを最後まで出力したか否かを判断する（Ｓ２４０）。そしてまだ最後まで音声データが出力されていない場合には、ステップＳ２２５に戻って処理が繰り返される。一方、音声データが最後まで出力された場合には、ステップＳ２００に戻って処理が繰り返される。
【００６２】
＜８．まとめ＞
以上説明したように、本開示の一実施形態に係る語学学習装置１００によれば、音声の特徴を表示画面に効果的に示すことができる。アニメーションを用いることにより、コンテンツに含まれる音声全ての特徴を同時に示す場合と比較して、出力中の音声の特徴が効果的に示される。また出力中の音声の特徴のみを表示するため、限られた表示領域において、出力中の音声以外の箇所については通常の表示状態とすることができ、可読性も向上する。
【００６３】
また上記では添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６４】
例えば、本技術を適用する情報処理装置は、音声の特徴を表示する表示制御機能を有する装置全般に適用することができる。上記では、映画コンテンツの字幕上にカーソル表示する例と、ＨＴＭＬコンテンツのテキスト上にアニメーション表示する例とを示したが、かかる例に限定されない。映画コンテンツの字幕上で音声の特徴をアニメーション表示する実施例によれば、映画コンテンツを語学学習の教材として利用することができる。またコンテンツのテキスト上に音声の特徴をアニメーション表示する実施例によれば、一般的なあらゆるテキストを語学学習の教材として利用することができる。なおハードウェアとしては、上記ではタッチセンサを有するタブレット端末又はスマートフォンを例に挙げたが、かかる例に限定されない。あらゆる情報処理装置に適用することができる。
【００６５】
また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００６６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
音声の出力を制御する音声出力制御部と、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、出力中の前記音声の特徴が変化する点において、アニメーションオブジェクトのサイズ、形状、色、及び表示角度の少なくともいずれかを変化させる、
前記（１）に記載の情報処理装置。
（３）
前記音声の前記特徴は、前記音声の音高、音長、及び音強の少なくともいずれかである、
前記（１）または（２）のいずれかに記載の情報処理装置。
（４）
前記アニメーションオブジェクトは、テキスト上に重畳して表示される、
前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記テキスト上に重畳して表示される前記アニメーションオブジェクトは、出力中の音声位置に同期してサイズが変化するカーソルであり、前記カーソルの先端サイズは、前記音声の特徴が変化する点において前記形態が変化する、
前記（４）に記載の情報処理装置。
（６）
前記アニメーションオブジェクトは、前記音声に対応するテキストである、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記表示制御部は、出力中の前記音声の特徴に基づいて前記テキストの文字間隔を変化させる、
前記（６）に記載の情報処理装置。
（８）
前記音声に対応するテキストは、動画コンテンツの字幕テキストである、
前記（１）〜（７）のいずれかに記載の情報処理装置。
（９）
音声の出力を制御することと、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御することと、
を含む、情報処理方法。
（１０）
コンピュータを、
音声の出力を制御する音声出力制御部と、
出力中の前記音声の特徴に基づいて形態が変化するアニメーションオブジェクトの表示を制御する表示制御部と、
を備える、情報処理装置として機能させるためのプログラム。
（１１）
前記表示制御部は、出力中の前記音声の特徴が変化する点において、アニメーションオブジェクトのサイズ、形状、色、及び表示角度の少なくともいずれかを変化させる、
前記（１０）に記載のプログラム。
（１２）
前記音声の前記特徴は、前記音声の音高、音長、及び音強の少なくともいずれかである、
前記（１０）または（１１）のいずれかに記載のプログラム。
（１３）
前記アニメーションオブジェクトは、テキスト上に重畳して表示される、
前記（１０）〜（１２）のいずれかに記載のプログラム。
（１４）
前記テキスト上に重畳して表示される前記アニメーションオブジェクトは、出力中の音声位置に同期してサイズが変化するカーソルであり、前記カーソルの先端サイズは、前記音声の特徴が変化する点において前記形態が変化する、
前記（１３）に記載のプログラム。
（１５）
前記アニメーションオブジェクトは、前記音声に対応するテキストである、
前記（１０）〜（１４）のいずれかに記載のプログラム。
（１６）
前記表示制御部は、出力中の前記音声の特徴に基づいて前記テキストの文字間隔を変化させる、
前記（１５）に記載のプログラム。
（１７）
前記音声に対応するテキストは、動画コンテンツの字幕テキストである、
前記（１０）〜（１６）のいずれかに記載のプログラム。
【符号の説明】
【００６７】
１００    語学学習装置
１０５    ＣＰＵ
１１０    ＲＡＭ
１１５    不揮発性メモリ
１２０    表示装置
１２５    タッチセンサ
１３０    音声出力装置
１５０    再生制御部
１５５    操作部
１６０    音声出力制御部
１６５    音声出力部
１７０    表示制御部
１７５    表示部
１８０    音声特徴情報記憶部
【図１】
2013161205.tif 000003
【図２】
2013161205.tif 000004
【図３】
2013161205.tif 000005
【図４】
2013161205.tif 000006
【図５】
2013161205.tif 000007
【図６】
2013161205.tif 000008
【図７】
2013161205.tif 000009
【図８】
2013161205.tif 000010
【図９】
2013161205.tif 000011
【図１０】
2013161205.tif 000012
【図１１】
2013161205.tif 000013
【図１２】
2013161205.tif 000014
【図１３】
2013161205.tif 000015
【図１４】
2013161205.tif 000016
【図１５】
2013161205.tif 000017
【図１６】
2013161205.tif 000018
【図１７】
2013161205.tif 000019