(57)【要約】【課題】一実施形態は、クリエイターが定義した光アクションと識別可能なリップシンクによる光アクションを生成する。【解決手段】一実施形態に係る情報処理装置は、定義された発光波形で光源を発光させる定義アクションと、発話される音声に応じて光源を発光させるリップシンクアクションとを含むコンテンツの定義アクションでの発光波形の周波数成分を分析し、発光波形を代表する代表周波数成分を特定する特定部と、リップシンクアクションにおける光源の発光波形で使用する周波数を、代表周波数成分とは区別可能な周波数に調整する調整部と、を含む。【選択図】図５
2020166500.tif 000002
【特許請求の範囲】
【請求項１】
定義された発光波形で光源を発光させる定義アクションと、発話される音声に応じて前記光源を発光させるリップシンクアクションとを含むコンテンツの前記定義アクションでの前記発光波形の周波数成分を分析し、前記発光波形を代表する代表周波数成分を特定する特定部と、
前記リップシンクアクションにおける前記光源の発光波形で使用する周波数を、前記代表周波数成分とは区別可能な周波数に調整する調整部と、
を含む、情報処理装置。
【請求項２】
前記調整部は、
前記代表周波数成分に基づいて、前記代表周波数成分を含む抑制対象の周波数成分を決定し、
前記発話される音声に応じて生成された前記光源の発光波形に含まれる周波数成分のうちで、前記抑制対象の周波数成分を減衰させて、前記リップシンクアクションにおける前記光源の発光波形を生成する、
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記特定部は、前記定義アクションでの前記発光波形の周波数成分に、所定の条件を満たす偏りがない場合に、前記定義アクションの修正を促す警告情報を出力する、ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記特定部は、前記定義アクションのうちで、前記リップシンクアクションの直前に実行される第１の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定期間内における前記第１の定義アクションの発光波形に基づいて、前記代表周波数成分を特定する、
ことを特徴とする請求項２または請求項３に記載の情報処理装置。
【請求項５】
前記特定部は、前記定義アクションのうちで、前記リップシンクアクションの直前に実行される第１の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定期間内における前記第１の定義アクションの発光波形に基づいて、前記所定の条件を満たす偏りがあるか否かを判定する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記調整部は、前記第１の定義アクションと前記リップシンクアクションとの切り替わりのタイミングにおいて、前記抑制対象の周波数成分を減衰させる強度を第１の強度に設定し、前記第１の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定時間経過した第２のタイミングにおいて、前記第１の強度よりも弱い強度で前記抑制対象の周波数成分を減衰させる第２の強度に前記強度を設定する、ことを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記特定部は、前記定義アクションのうちで、前記リップシンクアクションの直後に実行される第２の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定期間内における前記第２の定義アクションの発光波形に基づいて、前記代表周波数成分を特定する、
ことを特徴とする請求項２から請求項４のいずれか１項に記載の情報処理装置。
【請求項８】
前記特定部は、前記定義アクションのうちで、前記リップシンクアクションの直後に実行される第２の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定期間内における前記第２の定義アクションの発光波形に基づいて、前記所定の条件を満たす偏りがあるか否かを判定する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項９】
前記調整部は、前記第２の定義アクションと前記リップシンクアクションとの切り替わりのタイミングにおいて、前記抑制対象の周波数成分を減衰させる強度を第１の強度に設定し、前記第２の定義アクションと前記リップシンクアクションとの切り替わりのタイミングから所定時間遡った第２のタイミングにおいて、前記第１の強度よりも弱い強度で前記抑制対象の周波数成分を減衰させる第２の強度に前記強度を設定する、ことを特徴とする請求項７または請求項８に記載の情報処理装置。
【請求項１０】
定義された発光波形で光源を発光させる定義アクションと、発話される音声に応じて前記光源を発光させるリップシンクアクションとを含むコンテンツの前記定義アクションでの前記発光波形の周波数成分を分析し、前記発光波形を代表する代表周波数成分を特定し、
前記リップシンクアクションにおける前記光源の発光波形で使用する周波数を、前記代表周波数成分とは区別可能な周波数に調整する、
ことを含む、情報処理装置が実行する光アクション生成方法。
【請求項１１】
定義された発光波形で光源を発光させる定義アクションと、発話される音声に応じて前記光源を発光させるリップシンクアクションとを含むコンテンツの前記定義アクションでの前記発光波形の周波数成分を分析し、前記発光波形を代表する代表周波数成分を特定し、
前記リップシンクアクションにおける前記光源の発光波形で使用する周波数を、前記代表周波数成分とは区別可能な周波数に調整する、
処理を情報処理装置に実行させる光アクション生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、光アクション生成方法、および光アクション生成プログラムに関する。
【背景技術】
【０００２】
近年、コミュニケーションやエンターテインメントなどの用途で利用されるコミュニケーション装置が開発されている。コミュニケーション装置は、例えば、関節などを動かして動作するロボット、並びに音声で視聴者とコミュニケーションを図るスマートスピーカおよびＡＩ（Artificial Intelligence）スピーカなどを含む。
【０００３】
コミュニケーション装置は、例えば、クリエイターが作成したアクションの定義に従って、光源を発光させたり、関節を動かしたりして動作する。例えば、クリエイターは、コミュニケーション装置の動作時に流す音楽に合わせて、光源の発光波形や関節の動きを定義することで、コミュニケーション装置を音楽に合わせて躍らせたりすることができる。
【０００４】
また、例えば、コミュニケーション装置は、発話する内容を指定する発話データに従って音声を出力し、会話をしたりする。そして、発話する音声に基づいて、光源の発光波形を生成するリップシンクと呼ばれる技術が知られている。リップシンクでは、発話される言葉に連動して人間の口の動きに模して光源を発光させることで、あたかも話しているかのように見せることができる。リップシンクにより、視聴者は、コミュニケーション装置の発話内容がより理解しやすくなる。なお、以下では、クリエイターが定義した光源の発光およびリップシンクにより生成された光源の発光を問わず、コミュニケーション装置の光源の発光によるアクションを光アクションと呼ぶことがある。
【０００５】
これに関し、コミュニケーション装置に関連する技術が知られている（例えば、特許文献１および特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２２６０５１号公報
【特許文献２】特表２００９−５０９６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、クリエイターが作成した光アクションでの光源の発光強度の波形と、リップシンクにより生成された光アクションの光源の発光強度の波形とが類似してしまい、視聴者にとって区別がつきにくくなることがある。その結果、光源が、例えば、クリエイターが定義した光アクションで発光しているのか、それともコミュニケーション装置が発話していることを表しているのかが区別がつかないことがある。
【０００８】
１つの側面では、本発明は、クリエイターが定義した光アクションと識別可能なリップシンクによる光アクションを生成することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの態様の情報処理装置は、定義された発光波形で光源を発光させる定義アクションと、発話される音声に応じて光源を発光させるリップシンクアクションとを含むコンテンツの定義アクションでの発光波形の周波数成分を分析し、発光波形を代表する代表周波数成分を特定する特定部と、リップシンクアクションにおける光源の発光波形で使用する周波数を、代表周波数成分とは区別可能な周波数に調整する調整部と、を含む。
【発明の効果】
【００１０】
クリエイターが定義した光アクションと識別可能なリップシンクによる光アクションを生成することができる。
【図面の簡単な説明】
【００１１】
【図１】コミュニケーション装置が実行するコンテンツの時系列の動作を例示する図である。
【図２】例示的なリップシンクにおける光源の発光波形の生成を示す図である。
【図３】コミュニケーション装置が実行する定義アクションとリップシンクとを例示する図である。
【図４】実施形態に係るリップシンクの期間の光アクションを生成する生成装置のブロック構成を例示する図である。
【図５】実施形態に係るリップシンクによる光アクションの生成の流れを例示する図である。
【図６】実施形態に係るリップシンクの期間における光アクションの発光波形の調整を例示する図である。
【図７】実施形態に係るコンテンツ情報を例示する図である。
【図８】実施形態に係るリップシンクにおける光アクションの生成処理の動作フローを例示する図である。
【図９】実施形態に係る所定期間のクリエイターの光アクションに基づいて偏りの判定および抑制対象の周波数成分の決定を行う例を示す図である。
【図１０】実施形態に係るリップシンクにおける抑制対象の周波数成分の抑制制御を例示する図である。
【図１１】別の実施形態に係るコミュニケーション装置のブロック構成を例示する図である。
【図１２】別の実施形態に係るコミュニケーション装置の制御部が実行するリップシンクにおける光アクションの生成処理の動作フローを例示する図である。
【図１３】実施形態に係る生成装置を実現するための情報処理装置のハードウェア構成を例示する図である。
【図１４】別の実施形態に係るコミュニケーション装置を実現するためのハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
【００１３】
図１は、コミュニケーション装置１００が実行するコンテンツの動作を時系列に例示する図である。コミュニケーション装置１００は、例えば、関節などを動かして動作するロボット、並びに音声で視聴者とコミュニケーションを図るスマートスピーカおよびＡＩスピーカなどの視聴者と言葉を用いてコミュニケーションを図る装置を含む。図１の例では、コミュニケーション装置１００としてロボットが例示されている。
【００１４】
また、コンテンツでは、例えば、コミュニケーション装置１００が実行する一連の動作が規定されている。コンテンツは、例えば、リップシンクの期間と、定義アクションの期間とを含んでよい。なお、コンテンツは、リップシンクの期間と、定義アクションの期間とを複数含んでもよい。
【００１５】
コミュニケーション装置１００は、例えば、ＬＥＤ（light emitting diode）などの光源１０１を含む。そして、リップシンクの期間では、コミュニケーション装置１００は、発話する内容を示す発話データに従って音声を出力する。また、コミュニケーション装置１００は、出力する音声に基づいて、リップシンクでの光源１０１の発光波形を生成し、生成した発光波形で光源１０１を発光させる。なお、リップシンクの期間における光源１０１の発光によるアクションを、リップシンクアクションと呼ぶことがある。
【００１６】
図２は、例示的なリップシンクにおける光源１０１の発光波形の生成を示す図である。例えば、図２（ａ）に示すように、リップシンクの期間において発話する文字列「みぎての  てんじぶつを  ごらん  ください」があるとする。
【００１７】
この場合に、図２（ｂ）に示すように、音声合成の技術を用いて、文字列から音声を合成して音声波形のデータを生成することができる。音声波形データは、例えば、コミュニケーション装置１００に発話させる際に再生される。
【００１８】
また、音声波形データに基づいて、リップシンクにより光源１０１の発光波形を生成することができる。例えば、人間の声の周波数は約１００Ｈｚ〜２０００Ｈｚの範囲に分布している。一方、人間が、光の強度変化を認識できるのは０．２Ｈｚ〜５０Ｈｚ程度の範囲が限界であると言われている。そのため、音声波形データを直接、光源１０１の発光波形として用いることは難しい。リップシンクでは、視聴者にコミュニケーション装置１００が話しているかのように光源１０１を発光させるため、人間が光の強度変化を認識し易い０．３〜６Ｈｚなどの範囲で光源１０１を発光させることが多い。そのため、１００Ｈｚ〜２０００Ｈｚの周波数範囲の人間の声の波形から、０．３〜６Ｈｚの周波数範囲などのリップシンクに適した周波数範囲の波形を生成する処理が行われる。一例では、リップシンクに適した波形は、音声波形データの包絡線を求めることで生成することができる。
【００１９】
図２（ｃ）は、音声波形データから得られた包絡線の波形を例示する図である。図２（ｃ）に例示するように、１００Ｈｚ〜２０００Ｈｚの周波数範囲の人間の声の波形を含む音声データに基づいて、０．３〜６Ｈｚの周波数範囲の波形を生成することができる。そして、リップシンクでは、例えば、音声波形データを再生する際に、このように得られた音声波形データの波形と相関を有する波形で、光源１０１の強度を変化させることで、コミュニケーション装置１００が話しているかのように視聴者に認識させることができる。そして、リップシンクにより、視聴者はコミュニケーション装置１００の発話内容がより理解し易くなる。
【００２０】
また、定義アクションの期間では、クリエイターが定義したアクションに従って、コミュニケーション装置１００は動作する。クリエイターは、例えば、生成する定義アクションの用途などに応じて、定義アクションの開始時刻からの経過時間と対応づけて、各関節の角度や光源１０１の発光強度を定義してよい。例えば、音楽に合わせて踊りを踊るアクションを定義する場合、クリエイターは、コミュニケーション装置１００の踊りの姿勢を時間ごとに定義し、コミュニケーション装置１００を踊らせてよい。また、クリエイターは、例えば、定義するアクションにおいて光源１０１の発光波形を定義してもよい。例えば、クリエイターは、コミュニケーション装置１００の動作時に流れる音楽、コミュニケーション装置１００の動き、および、発話の内容などに合わせて、光源１０１の発光波形を定義してよい。
【００２１】
しかしながら、上述のように、クリエイターが作成した定義アクションにおける光源１０１の発光波形と、リップシンクによる光源１０１の発光波形とが類似してしまい、見ている視聴者にとって区別がつきにくくなることがある。その結果、光源が、例えば、クリエイターが定義した光アクションで発光しているのか、それともコミュニケーション装置が発話していることを表しているのかが区別がつかないことがある。
【００２２】
図３は、コミュニケーション装置１００が連続して実行する定義アクションとリップシンクとを例示する図である。図３（ａ）は、時系列のコミュニケーション装置１００の動作を例示している。また、図３（ｂ）は、コミュニケーション装置１００の左腕の関節角の変化を例示している。コミュニケーション装置１００は、定義アクション１の期間において左腕関節の角度を水平になるように回転させた後、左腕を上下に振っている。その後、コミュニケーション装置１００は、リップシンクの期間において姿勢を維持し、定義アクション２の期間においてまた左腕を上下に振っている。
【００２３】
また、図３（ｃ）の発話に示すように、リップシンクの期間には、コミュニケーション装置１００は、「みぎての  てんじぶつを  ごらん  ください」と発話している。
【００２４】
図３（ｄ）および図３（ｅ）は、光アクションにおける光源１０１の発光波形を例示している。定義アクション１の期間の光源１０１の発光波形と、定義アクション２の期間の光源１０１の発光波形は、例えば、コミュニケーション装置１００のアクションを作成するクリエイターによって設定される。また、リップシンクの期間における光源１０１の発光波形は、例えば、図２を参照して例示したように、発話の音声波形データの波形に基づいて生成することができる。
【００２５】
ここで、例えば、定義アクション１または定義アクション２の期間における光源１０１の発光の周期と、リップシンクの期間における光源１０１の発光の周期とが、図３（ｄ）に示すように、区別可能な程度の大きさで異なっているとする。この場合、コミュニケーション装置１００の視聴者は、定義アクションの期間と、リップシンクの期間との切り替えを認識することができる。その結果、視聴者は、リップシンクの期間の光源１０１の発光から発話内容がより理解しやすくなる。
【００２６】
しかしながら、例えば、定義アクション１または定義アクション２の期間における光源１０１の発光の周期と、リップシンクの期間における光源１０１の発光の周期とが、図３（ｅ）に示すように、近いとする。この場合、コミュニケーション装置１００の視聴者は、定義アクションの期間と、リップシンクの期間との切り替えを認識することが難しい。その結果、視聴者は、光源１０１の発光が、定義アクションにおける発光なのか、それともコミュニケーション装置１００が話していることを表すリップシンクによる発光なのかが区別できなくなることがある。この場合、リップシンクによる視聴者の内容の理解を促す効果が得られなかったり、或いは、場合によっては、視聴者の理解を妨げてしまったりする恐れがある。そのため、クリエイターが生成する定義アクションのおける光源１０１の発光と、リップシンクによる光源１０１の発光とを識別可能に制御する技術の提供が望まれている。以下、第１の実施形態を説明する。
【００２７】
（第１の実施形態）
図４は、実施形態に係るリップシンクの期間の光源１０１のアクションを生成する生成装置４００のブロック構成を例示する図である。生成装置４００は、例えば、クリエイターがコンテンツや定義アクションの生成に用いるパーソナルコンピュータ（ＰＣ）、モバイルＰＣ、タブレット端末などの情報処理装置であってよい。生成装置４００は、例えば、制御部４０１、および記憶部４０２を含む。制御部４０１は、例えば特定部４１１および調整部４１２などとして動作してよい。生成装置４００の記憶部４０２は、例えば、後述するコンテンツ情報７００などの情報を記憶している。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。
【００２８】
また、以下で述べる実施形態では、クリエイターが定義した定義アクションにおける光源１０１の発光と識別可能なリップシンクによる光源１０１の発光波形を生成する。
【００２９】
図５は、実施形態に係るリップシンクによる光源１０１の発光波形の生成の流れを例示する図である。
【００３０】
ステップ５０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ５０１と表記する）において生成装置４００の制御部４０１は、リップシンクの期間における発話のデータに基づいて、光アクションを生成する。例えば、生成装置４００の制御部４０１は、図２で述べたように、発話の音声波形データに基づいてリップシンクの発光波形を生成してよい。
【００３１】
Ｓ５０２において、生成装置４００の制御部４０１は、同じコンテンツのリップシンク以外の期間に含まれる定義アクションで定義される光源１０１の発光波形の周波数を分析する。例えば、生成装置４００の制御部４０１は、リップシンクの期間と隣接している定義アクションの発光波形に含まれる周波数成分を分析してよい。
【００３２】
Ｓ５０３において生成装置４００の制御部４０１は、例えば、定義アクションの分析結果に基づいて、リップシンクの期間における光源１０１の発光波形を制御する。例えば、制御部４０１は、リップシンクの期間と隣接している定義アクションにおける光源１０１の発光波形の周波数成分の主な成分とは区別可能な周波数となるように、リップシンクの発光波形を調整してよい。それにより、コミュニケーション装置１００の視聴者が、クリエイターの作成した定義アクションと、リップシンクの期間との切り替わりを認識できずに、混同してしまうことを抑制することができる。
【００３３】
なお、リップシンクでは、音声強弱と大まかに対応している光の強度変化が見えていれば、視聴者は発話として認識する傾向がある。そのため、一部の周波数成分を用いなくても、リップシンクの期間における光源１０１の発光波形を生成することが可能である。
【００３４】
図６は、実施形態に係るリップシンクの期間における光源１０１の発光波形の調整を例示する図である。図６（ａ）は、例えば、図２（ｃ）で音声波形データから生成した光源１０１の発光波形であり、例えば、人が光の強度変化を認識し易い０．３〜６Ｈｚなどの範囲の周波数成分を含んでいる。
【００３５】
図６（ｂ）は、図６（ａ）の発光波形に含まれる周波数成分のうち、高周波数成分を抑制して得られた波形である。例えば、図６（ｂ）の発光波形は、図６（ａ）の発光波形をローパスフィルタに通すことで得ることができる。ここで、ローパスフィルタにより、例えば、０．５〜２Ｈｚ程度の周期で変化する成分が抽出されるとする。この場合にも、例えば、音声波形データにおいて０．５〜２Ｈｚ程度で変化する成分には、発話の際に生じる声の強弱に応じた成分が含まれる傾向がある。そのため、ローパスフィルタで高周波数成分を抑制して得られた発光波形で光源１０１の発光を制御したとしても、視聴者には、声の強弱の変化に応じて光源１０１の発光強度が変化しているように見える。その結果、光源１０１の発光で、コミュニケーション装置１００が話していると視聴者に錯覚させることができる。
【００３６】
また、図６（ｃ）は、図６（ａ）の発光波形に含まれる周波数成分のうち、低周波数成分を抑制して得られた波形である。例えば、図６（ｃ）の発光波形は、図６（ａ）の発光波形をハイパスフィルタに通すことで得ることができる。ここで、ハイパスフィルタにより、例えば、２〜６Ｈｚ程度の周期で変化する成分が抽出されるとする。この場合にも、例えば、音声波形データにおいて２〜６Ｈｚ程度の周期で変化する成分には、音声の１文字１文字の発話の際に生じる変化の成分が含まれる傾向がある。そのため、ハイパスフィルタで低周波数成分を抑制して得られた発光波形で光源１０１の発光を制御したとしても、視聴者には、文字の発声に応じて光源１０１の発光強度が変化しているように見える。その結果、光源１０１の発光で、コミュニケーション装置１００が話していると視聴者に錯覚させることができる。
【００３７】
このように、リップシンクでは、音声波形に対して相関のある波形を抽出すれば、一部の周波数成分を除いても視聴者に発話していると認識させることが可能である。そのため、クリエイターが作成した定義アクションで利用されている光源１０１の発光波形の周波数成分を避けてリップシンクの期間における光源１０１の発光波形を生成することが可能である。
【００３８】
また、上述のように、人間が、光の強度変化を認識できるのは０．２Ｈｚ〜５０Ｈｚ程度の範囲が限界であるといわれている。そして、その中でも、人間が光の強度変化を認識し易い範囲は０．３〜６Ｈｚなど、ある程度制限されている。そのため、クリエイターが定義アクションで光源１０１の発光に用いる周波数も、リップシンクにおいて光源１０１の発光に用いる周波数も、どちらも同じ０．３〜６Ｈｚなどの範囲の周波数を用いる傾向がある。
【００３９】
しかしながら、クリエイターは、コミュニケーション装置１００の動作を定義して定義アクションを作成する場合、定義アクションの用途に合わせた周期で光源１０１を発光させる傾向がある。例えば、コミュニケーション装置１００に案内をさせる場合、クリエイターは、車両のウィンカーの点滅の周期を参考にすることがあり、その周期に近い周期で強度変化するように光アクションを生成することがある。また、例えば、クリエイターが、コミュニケーション装置１００に音楽に合わせてダンスを踊らせる定義アクションを作成する場合、音楽のテンポに合わせて光アクションにおける発光の強度変化の周期を選択する傾向がある。
【００４０】
即ち、例えば、或る用途で流すコンテンツに含まれる定義アクションをクリエイターに自由に作成させたとしても、定義アクションで利用される光源１０１の発光波形に含まれる周波数成分には偏りがあることが多い。そのため、クリエイターが作成した定義アクションで利用されている光源１０１の発光波形の周波数成分を避けてリップシンクの期間における光源１０１の発光波形を生成することが可能である。
【００４１】
そして、コンテンツに含まれる定義アクションで定義される光アクションの発光の周期と識別可能な周期に、リップシンクの期間の光アクションの発光の周期を調整することで、クリエイターによる定義アクションとリップシンクとの切り替えの識別が容易になる。
【００４２】
一例として、クリエイターが、定義アクションにおいて１Ｈｚ程度のゆっくりした周期で光源１０１を発光させる光アクションを作成したとする。この場合に、例えば、リップシンクの期間の光源１０１の発光波形において２Ｈｚ未満の周波数をフィルタリングし、２Ｈｚ以上の早い周期で光源１０１の発光強度を制御する。それにより、例えば、定義アクションとリップシンクの期間とで、切り替わり時に発光のリズムに差が生じるため、視聴者はクリエイターが定義した定義アクションの期間と、リップシンクの期間とを識別することができる。また、別な例では、クリエイターが、定義アクションにおいて３Ｈｚ程度のはやい周期で光源１０１を発行させる光アクションを作成したとする。この場合に、例えば、リップシンクの期間の光源１０１の発光波形において２Ｈｚ以上の周波数をフィルタリングし、２Ｈｚ未満の遅い周期で光源１０１の発光強度を制御する。それにより、例えば、定義アクションとリップシンクの期間とで、切り替わり時に発光のリズムに差が生じるため、視聴者はクリエイターが定義した定義アクションの期間と、リップシンクの期間とを識別することができる。
【００４３】
従って、リップシンクの期間を、クリエイターが作成した定義アクションの期間と視聴者が混同してしまうことを抑制することができる。
【００４４】
以下、実施形態に係るリップシンクの期間における光アクションの生成について更に詳細に説明する。
【００４５】
図７は、実施形態に係るコンテンツ情報７００を例示する図である。コンテンツ情報７００には、コンテンツにおけるコミュニケーション装置１００の動作が規定されている。コンテンツ情報７００には、例えば、時間、発話、光アクション、関節角１、関節角２を対応づけたエントリが登録されている。時間は、例えば、コンテンツにおいてエントリの動作を実行する期間を示す情報である。発話は、例えば、コミュニケーション装置１００に発話させる文字列が登録されている。なお、図７の例では、エントリと対応する動作期間においてコミュニケーション装置１００が発話しない場合には、発話には「なし」が登録されている。光アクションには、エントリと対応する期間における光源１０１の発光を指定する情報が登録されている。なお、図７の例では、エントリと対応する動作期間においてコミュニケーション装置１００が光源１０１を発光させない場合には、光アクションに「なし」が登録されている。また、エントリと対応する動作期間においてコミュニケーション装置１００の光源１０１の発光を、リップシンクにより制御する場合には、コンテンツ情報７００のエントリの発話には「リップシンク」が登録されている。
【００４６】
関節角１および関節角２は、例えば、エントリと対応する動作期間におけるコミュニケーション装置１００が備えるそれぞれの関節の角度を定義する情報である。なお、コミュニケーション装置１００が備える関節は、関節角１および関節角２に限定されるものではなく、更に多くの関節を含んでもよいし、別の実施形態では、コミュニケーション装置１００は関節を含まなくてもよい。以下で述べる実施形態では、例えば、関節角１は、コミュニケーション装置１００と向かい合ってみた場合に視聴者から見て右側の腕関節の角度であり、また、関節角２は、左側の腕関節の角度である場合を例に説明を行う。
【００４７】
そして、クリエイターは、コンテンツ情報７００にコミュニケーション装置１００の動作を定義することで、コミュニケーション装置１００に様々な動作を行わせることができる。例えば、図７のコンテンツ情報７００の例では、時刻が０秒から３秒まではクリエイターが定義した定義アクションの期間である。クリエイターは０秒から３秒の期間においてコミュニケーション装置１００の発話の内容、光アクション、各関節角の角度などを設定することでコミュニケーション装置１００の動作を定義することができる。また、図７の例では、３秒から８秒まではリップシンクの期間であり、クリエイターは、光アクションにリップシンクと設定することで、エントリの発話の文字列に応じた音声の波形に合わせて、光源１０１の発光を制御することができる。
【００４８】
続いて、図８は、実施形態に係るリップシンクによる光アクションの生成処理の動作フローを例示する図である。例えば、コミュニケーション装置１００の制御部４０１は、コンテンツの動作の実行指示が入力されると、図８の動作フローを開始してよい。
【００４９】
Ｓ８０１において制御部４０１は、実行指示が入力されたコンテンツの動作を規定するコンテンツ情報７００を読み出す。
【００５０】
Ｓ８０２において制御部４０１は、読み出したコンテンツ情報７００に含まれる発話の情報を参照し、リップシンクの期間における音声波形データを取得する。例えば、制御部４０１は、コンテンツ情報７００の発話に登録されている文字列から、その文字列を発話した音声を合成して、音声波形データを取得してよい。或いは、別の実施形態では、例えば、コンテンツ情報７００には、発話の文字列の代わりに、または発話の文字列に加えて、音声波形データが登録されていてもよい。この場合、制御部４０１は、Ｓ８０２の処理において、コンテンツ情報７００からリップシンクの期間における音声波形データを読み出してよい。
【００５１】
Ｓ８０３において制御部４０１は、Ｓ８０２で生成した音声波形データから、リップシンクの期間における光源１０１の発光波形を生成する。制御部４０１は、例えば、音声波形データの振幅に応じて光源１０１の発光強度の波形を生成してよい。一例では、制御部４０１は、音声波形データの包絡線を求めることで、光源１０１の発光波形を生成してよい。なお、実施形態はこれに限定されるものではない。別の実施形態では制御部４０１は、リップシンクで利用する所定の周波数帯域（例えば、０．３〜６Ｈｚ）の成分を通過させる帯域通過フィルタで音声波形データを処理し、得られた波形の信号値に比例した光源１０１の発光強度を有する発光波形を生成してよい。また、更に別の実施形態では、比例ではなく指数関数を用いてもよく、或いは、発光強度が所定値を超える場合には、所定値に発光強度を制限する関数などの変換関数を用いて光源１０１の発光波形を生成してもよい。
【００５２】
Ｓ８０４において制御部４０１は、コンテンツ情報７００に含まれるリップシンク以外の期間における光源１０１の発光波形の周波数成分を分析する。制御部４０１は、一例では、コンテンツ情報７００に登録されているリップシンク以外の期間での光源１０１の発光波形の周波数成分をＦＦＴ（fast Fourier transform）を用いて分析してよい。なお、周波数成分の分析は、これに限定されるものではなく、その他の手法が用いられてもよい。
【００５３】
Ｓ８０５において制御部４０１は、分析結果に基づいて、リップシンク以外の期間における光源１０１の発光波形の周波数成分に所定の条件を満たす偏りがあるか否かを判定する。一例では、制御部４０１は、リップシンク以外の期間における光源１０１の発光波形に含まれる周波数成分が形成する帯域を特定する。そして、制御部４０１は、その帯域が、任意の周波数に対して±２０％で表すことが可能な範囲内に収まるか（例えば、１．０Ｈｚ±０．２Ｈｚ、２．０Ｈｚ±０．４Ｈｚ等）によって周波数成分に偏りがあるか否かを判断してよい。また、制御部４０１は、リップシンク以外の期間での光源１０１の発光波形に含まれる周波数成分が形成する帯域を特定する際に、所定の強度（例えば、最大ピークの３０％の強度）以上の周波数成分を抽出してから帯域を特定してもよい。
【００５４】
そして、リップシンク以外の期間における光源１０１の発光波形に含まれる周波数成分が形成する帯域が、任意の周波数に対して±２０％で表すことが可能な範囲を超えた幅を有する場合、制御部４０１は、帯域に偏りがないと判定してよい。この場合、リップシンク以外の期間における光源１０１の発光波形に含まれる周波数成分が、光アクションで利用される０．３〜６Ｈｚなどの所定の周波数範囲において、広範に分布していることを示している。この場合、リップシンクの発光周波数を、リップシンク以外の期間の周波数と混同を避けるように設定することが難しいことがある。そのため、制御部４０１は、Ｓ８０５でＮＯと判定してよく、Ｓ８０６で、コンテンツでの利用周波数を偏らせるように修正を促す警告情報を出力し、本動作フローは終了する。
【００５５】
一方、例えば、リップシンク以外の期間における光源１０１の発光波形に含まれる周波数成分が形成する帯域が、任意の周波数に対して±２０％で表すことが可能な範囲に収まる幅で分布しているとする。この場合、リップシンク以外の期間の光源１０１の発光波形に含まれる周波数成分に偏りがあり、リップシンクの期間の光アクションの周波数を、リップシンク以外の期間における光源１０１の発光波形に含まれる周波数成分を避けて設定することが可能である。そのため、制御部４０１は、Ｓ８０５でＹＥＳと判定してよく、フローはＳ８０７に進む。なお、Ｓ８０５における偏りの判定は、これに限定されるものではなく、その他の手法で実行されてもよい。例えば、偏りを判定するために用いる周波数範囲の幅は、±２０％に限定されるものではなく、±５％から±５０％などその他の範囲に設定されてもよい。また、偏りの判定に用いる周波数の幅は、％（パーセント）で表されなくてもよく、例えば、０．５〜２．０Ｈｚなど、所定の幅で偏りの判定が実行されてもよい。
【００５６】
Ｓ８０７において制御部４０１は、リップシンク以外の期間における光源１０１の発光波形を代表する代表周波数成分を特定する。一例では、制御部４０１は、リップシンク以外の期間における光源１０１の発光波形の周波数成分のうち、最大ピークの周波数をリップシンク以外の期間における光源１０１の発光波形を代表する代表周波数成分として特定してよい。
【００５７】
なお、代表周波数成分の特定は、これに限定されるものではなく、その他の手法で決定されてもよい。例えば、別の実施形態では、制御部４０１は、リップシンク以外の期間における光源１０１の発光波形の周波数成分をエネルギーの高い周波数成分順にソートする。そして、制御部４０１は、エネルギーの値が上位３０％に入る周波数成分の周波数の平均値を、代表周波数成分として特定してよい。また、平均値の算出の際には、エネルギーの値で重みづけをした重みづけ平均を用いてもよい。更に別の実施形態では、制御部４０１は、リップシンク以外の期間における光源１０１の発光波形の周波数成分をエネルギーの高い周波数成分順にソートし、エネルギーの値が上位３０％に入る成分が形成する周波数帯域を代表周波数成分として特定してもよい。
【００５８】
Ｓ８０８において制御部４０１は、代表周波数成分に基づいて、リップシンクの期間における光源１０１の発光波形において抑制する抑制対象の周波数成分を決定し、決定した抑制対象の周波数成分を抑制する。例えば、Ｓ８０７で代表周波数成分として１つの周波数を特定した場合、制御部４０１は、代表周波数成分のプラスおよびマイナス方向に所定の幅（例えば、±０．２Ｈｚ、代表する周波数×０．１Ｈｚの幅など）の帯域を抑制対象の周波数成分として決定する。そして、制御部４０１は、リップシンクの期間における光源１０１の発光波形のうちで、抑制対象の周波数成分を減衰させる。また、減衰の強度は、減衰帯域において１０〜５０％の通過利得に設定されてよい。一例では、減衰の強度は、抑制対象の周波数成分で形成される減衰帯域において３０％の通過利得、および減衰帯域の中心の周波数において２０％の通過利得に設定されてよい。
【００５９】
また、例えば、代表周波数成分として、Ｓ８０７で周波数帯域が特定された場合には、制御部４０１は、代表周波数成分を抑制対象の周波数帯域とし、抑制対象の周波数帯域を５０〜１０％の通過利得で減衰させてよい。一例では、制御部４０１は、抑制対象の周波数帯域を３０％の通過利得で減衰させる。
【００６０】
また、減衰に用いる帯域通過フィルタは、様々な方式で実装することができる。一例では、帯域通過フィルタは、光源１０１の発光波形をＦＦＴして、対象の周波数成分を減衰させた後、ＩＦＦＴ（inverse fast Fourier transform）により減衰後の発光波形データを取得することで実装されてよい。或いは、帯域通過フィルタは、ＦＩＲ（Finite Impulse Response）フィルタ等の実空間のフィルタを用いて近似的に実装されてもよい。
【００６１】
Ｓ８０９において制御部４０１は、取得した減衰後の発光波形のデータをリップシンクの期間における光アクションのデータとして記憶部４０２に保存し、本動作フローは終了する。一例では、制御部４０１は、コンテンツ情報７００の発話がリップシンクに設定されているエントリと対応づけて減衰後の発光波形データを記憶部４０２に保存してよい。
【００６２】
以上で述べたように、図８の動作フローによれば、制御部４０１は、クリエイターにより定義された定義アクションの期間における光源１０１の発光と区別可能に、リップシンクの期間の光アクションを生成することができる。
【００６３】
（変形例１）
続いて、第１の実施形態の変形例を説明する。上述の実施形態では、例えば、Ｓ８０４〜Ｓ８０７の処理で、コンテンツに含まれるリップシンク以外の期間における光アクションの周波数を用いて、偏りの判定や、抑制対象の周波数成分の決定を行っている。しかしながら、実施形態はこれに限定されるものではない。例えば、クリエイターが定義した光アクションと、リップシンクによる光アクションとの混同を防ぐには、切り替わりの前後において周波数を異ならせれば十分なことがある。そのため、変形例では、制御部４０１は、クリエイターが定義した光アクションのうちで、切り替わりの時点から所定期間内にある光アクションの周波数成分を用いて、偏りの判定や、抑制対象の周波数成分の決定を行う。
【００６４】
図９は、実施形態に係る所定期間の光アクションに基づいて、偏りの判定や、抑制対象の周波数成分の決定を行う例を示す図である。例えば、制御部４０１は、図９（ａ）に示すように、リップシンクの前に隣接するクリエイターが定義した光アクションにおいて、リップシンクに切り替わる直前の所定期間の波形を取得する。そして、制御部４０１は、取得した所定期間の波形の周波数成分に基づいて、偏りの判定や、抑制対象の周波数成分の決定を行ってよい。
【００６５】
また、制御部４０１は、図９（ｂ）に示すように、リップシンクの後に隣接するクリエイターが定義した光アクションにおいて、リップシンクから切り替わった直後の所定期間の波形を取得する。そして、制御部４０１は、取得した所定期間の波形の周波数成分に基づいて、偏りの判定や、抑制対象の周波数成分の決定を行ってよい。
【００６６】
更には、制御部４０１は、例えば、図９（ｃ）に示すように、リップシンクの前後に隣接するクリエイターが定義した光アクションと、リップシンクとの切り替わり時点から所定期間にあるクリエイターが定義した光アクションの波形を取得する。そして、制御部４０１は、取得した所定期間の波形の周波数成分に基づいて、偏りの判定や、抑制対象の周波数成分の決定を行ってよい。
【００６７】
以上のように、制御部４０１は、上述のＳ８０４において所定期間の光源１０１の発光波形を取得し、周波数を分析してよい。そして、Ｓ８０５では、制御部４０１は、抽出した所定期間の光源１０１の発光波形の周波数成分に偏りがあるか否かを判定してよい。また、Ｓ８０７およびＳ８０８において制御部４０１は、抽出した所定期間の光源１０１の発光波形の周波数成分に基づいて代表周波数成分を特定し、特定した代表周波数成分から抑制対象の周波数成分を決定してよい。一例では、制御部４０１は、抽出した所定期間の光源１０１の発光波形の周波数成分のうち、最大ピークの周波数を代表周波数成分として特定してよい。
【００６８】
例えば、以上のように、切り替わりから所定期間にあるクリエイターが定義した光アクションの発光波形を用いることで、クリエイターが定義した光アクションとリップシンクによる光アクションとの混同を効率的に抑制することができる。また、クリエイターは、所定期間以外の期間において自由に光源１０１の発光波形を設定して光アクションを生成することができる。
【００６９】
（変形例２）
続いて、第１の実施形態の別の変形例を説明する。上述のように、例えば、クリエイターが定義した光アクションと、リップシンクによる光アクションとの混同を防ぐには、切り替わりの前後において周波数を異ならせれば十分なことがある。そのため、以下の変形例では、制御部４０１は、Ｓ８０８の処理でクリエイターが定義した光アクションとリップシンクによる光アクションとの切り替わりの時点では、抑制対象の周波数成分の減衰強度を強くし、それ以外の期間では弱くするように制御する。
【００７０】
図１０は、変形例に係る抑制対象の周波数成分の抑制制御を例示する図である。図１０は、縦軸にフィルタの制御強度をとり、横軸にリップシンクにおける経過時間をとったグラフである。図１０に示す例では、リップシンクの開始時と終了時において、フィルタの制御強度を１００％としている。
【００７１】
また、図１０の例では、リップシンクの開始時からの経過時間に応じてフィルタ強度を下げており、所定時間経過後に０％としている。また、図１０の例では、リップシンクの終了時から所定時間前においてフィルタ強度を０％としており、そこから終了時間までの期間でフィルタ強度を徐々に上げている。
【００７２】
このようなフィルタの強度の制御は、例えば、以下により実行することができる。例えば、リップシンクへの切り替わりからの経過時間をＴ１とする。また、リップシンクの開始から終了までにかかる発話の所要時間は、例えば、発話の文字列などから見積もることができる。そして、リップシンクの残り時間は、発話の所要時間から経過時間：Ｔ１を差し引くことで求めることができ、この残り時間をＴ２とする。この場合に、フィルタの制御強度は、Ｔ１およびＴ２のいずれかが小さな場合に強くすればよい。例えば、Ｔ１およびＴ２のうちの小さい方の時間をＴとし、フィルタの強度の制御を行う所定時間の長さを１０秒とした場合、フィルタ強度は以下の式１で設定することができる。
（１０−Ｔ）／１０×１００［％］        ・・・式１
【００７３】
この場合、Ｔが１０秒以上ではフィルタの制御強度は０％となり、また、Ｔが１０以下の値である場合、Ｔが小さくなるにつれてフィルタの制御強度を強くすることができる。なお、フィルタの制御強度：１００％では、例えば、Ｓ８０８で抑制対象の周波数帯域を３０％の通過利得に設定している場合、制御部４０１は、３０％に対してフィルタの制御強度を１００％とし、３０％の通過利得でフィルタを動作させてよい。また、制御部４０１は、フィルタの制御強度：５０％では、３０％に対してフィルタの制御強度を５０％とし、１５％の通過利得でフィルタを動作させてよい。
【００７４】
例えば、以上で述べたように、フィルタをかける期間や強度を制御することで、リップシンクの期間においても、フィルタの強度を弱くしている期間では発話に応じて光源１０１を幅広い表現で発光させることができる。
【００７５】
また、例えば、図９（ｃ）で例示するように、リップシンクの前後のクリエイターの光アクションでリップシンクの期間における光源１０１の発光波形を制御する場合に、前と後のクリエイターの光アクションで使用している周波数が異なることもある。この場合、リップシンクの開始時に減衰させる周波数をリップシンクの前のクリエイターの光アクションから決定し、リップシンクの終了時に減衰させる周波数をリップシンクの後のクリエイターの光アクションから決定するというように、個別に決定してもよい。また、このようにリップシンクの開始時と終了時とで減衰させる周波数を個別に決定したとしても、図１０で述べたように、例えば、フィルタの制御強度を０％にするなど一旦弱めることで、減衰させる周波数が変わっても視聴者の違和感を抑えることができる。
【００７６】
（第２の実施形態）
続いて、第２の実施形態を説明する。上述の実施形態では、クリエイターがコンテンツを生成する際などに、コンテンツの生成に用いるコンピュータなどの情報処理装置を生成装置４００として、リップシンクにおける光アクションの生成処理が実行される場合を例示している。しかしながら、実施形態はこれに限定されるものではなく、実施形態に係るリップシンクにおける光アクションの生成処理は、その他のタイミングおよびその他の装置において実行されてもよい。一例では、実施形態に係るリップシンクにおける光アクションの生成処理は、コミュニケーション装置１００において実行されてもよい。
【００７７】
図１１は、実施形態に係るコミュニケーション装置１００のブロック構成を例示する図である。コミュニケーション装置１００は、例えば、制御部１１０１、記憶部１１０２、光源制御部１１０３、および光源１０１を含む。制御部１１０１は、例えば特定部１１１１および調整部１１１２などを含む。コミュニケーション装置１００の記憶部１１０２は、例えば、上述のコンテンツ情報７００などの情報を記憶している。光源制御部１１０３は、例えば、制御部１１０１の指示に従って、光源１０１の発光強度を制御する。
【００７８】
図１２は、実施形態に係るコミュニケーション装置１００の制御部１１０１が実行するリップシンクにおける光アクションの生成処理の動作フローを例示する図である。例えば、コミュニケーション装置１００の制御部１１０１は、コンテンツの動作の実行指示が入力されると、図１２の動作フローを開始してよい。
【００７９】
なお、Ｓ１２０１からＳ１２０７の処理は、図８のＳ８０１からＳ８０４、Ｓ８０７、およびＳ８０８の処理とそれぞれ対応していてよい。例えば、制御部１１０１は、Ｓ１２０１からＳ１２０７において、Ｓ８０１からＳ８０４、Ｓ８０７、およびＳ８０８の処理と同様の処理を実行してよい。なお、制御部１１０１は、Ｓ１２０１においてコンテンツ情報７００を記憶部１１０２から読み出してよい。
【００８０】
Ｓ１２０８において制御部１１０１は、Ｓ１２０１からＳ１２０７の処理で決定されたリップシンクの期間における光源１０１の発光波形を用いて、コンテンツの動作を実行し、本動作フローは終了する。
【００８１】
以上で述べたように、実施形態に係るリップシンクの期間における光源１０１の発光制御は、コミュニケーション装置１００において実行することもできる。
【００８２】
なお、コミュニケーション装置１００がコンテンツの中で実行する動作は、動的に生成されることもある。例えば、コミュニケーション装置１００が、センサで検出した視聴者の年齢や性別に応じて、コンテンツで実行するアクションの内容を動的に選択することがある。一例として、視聴者が小学生などの子供である場合、「今日は、小学生がたくさん来てくれたね。僕と一緒に踊ろうよ！」などのアップテンポで元気なコンテンツを流し、一方、視聴者が高齢者である場合、比較的落ち着いたコンテンツを流すといった制御を行うことがある。このように、例えば、コンテンツが動的に生成される場合にも、生成されたコンテンツに対して、制御部１１０１は、実施形態に係るリップシンクにおける光アクションの生成処理を実行してリップシンクの期間の光源１０１の発光を制御してよい。
【００８３】
以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、図８においてＳ８０５とＳ８０６の処理は、クリエイターに修正を促さない場合には、省略されてもよい。
【００８４】
また、上述の実施形態では、コミュニケーション装置１００がロボットである場合を例に説明を行っているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、スピーカと光源を含み、視聴者とのコミュニケーションを行うコミュニケーション装置１００において、実施形態が適用されてもよい。即ち、例えば、コミュニケーション装置１００は、腕などの稼働する関節を含まなくてもよく、その場合、コンテンツ情報７００は、関節角の情報を含まなくてもよい。また、上述の実施形態において、光源１０１の発光強度の制御には、例えば、パルス幅変調が用いられてもよい。
【００８５】
なお、上述の実施形態において、図８のＳ８０１〜Ｓ８０７までの処理では、生成装置４００の制御部４０１は、例えば、特定部４１１として動作する。また、Ｓ８０８の処理では、生成装置４００の制御部４０１は、例えば、調整部４１２として動作する。図１２のＳ１２０１〜Ｓ１２０６までの処理では、コミュニケーション装置１００の制御部１１０１は、例えば、特定部１１１１として動作する。また、Ｓ１２０７の処理では、コミュニケーション装置１００の制御部１１０１は、例えば、調整部１１１２として動作する。
【００８６】
図１３は、実施形態に係る生成装置４００を実現するための例えばコンピュータなどの情報処理装置１３００のハードウェア構成を例示する図である。図１３の生成装置４００を実現するためのハードウェア構成は、例えば、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、及び入出力インタフェース１３０７を備える。なお、プロセッサ１３０１、メモリ１３０２、記憶装置１３０３、読取装置１３０４、通信インタフェース１３０６、入出力インタフェース１３０７は、例えば、バス１３０８を介して互いに接続されている。
【００８７】
プロセッサ１３０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１３０１は、メモリ１３０２を利用して例えば上述の図８の動作フローの手順を記述したプログラムを実行することにより、上述した制御部４０１の一部または全部の機能を提供する。例えば、生成装置４００のプロセッサ１３０１は、記憶装置１３０３に記憶されているプログラムを読み出して実行することで、上述の特定部４１１および調整部４１２として動作してよい。
【００８８】
メモリ１３０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置１３０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
【００８９】
読取装置１３０４は、プロセッサ１３０１の指示に従って着脱可能記憶媒体１３０５にアクセスする。着脱可能記憶媒体１３０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。上述の記憶部４０２は、例えばメモリ１３０２、記憶装置１３０３、及び着脱可能記憶媒体１３０５を含んでいる。例えば、生成装置４００の記憶装置１３０３には、コンテンツ情報７００が格納されていてよい。
【００９０】
通信インタフェース１３０６は、プロセッサ１３０１の指示に従ってネットワークや他の装置とデータを送受信する。入出力インタフェース１３０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、及びスピーカなどの音声装置である。
【００９１】
また、図１４は、実施形態に係るコミュニケーション装置１００を実現するためのハードウェア構成を例示する図である。図１４のコミュニケーション装置１００を実現するためのハードウェア構成は、情報処理装置１４００、音出力装置１４０９、光源制御回路１４１１、光源１０１、駆動制御回路１４２１、および駆動回路１４２２を含む。情報処理装置１４００は、例えば、プロセッサ１４０１、メモリ１４０２、通信インタフェース１４０６、及び入出力インタフェース１４０７を備える。なお、プロセッサ１４０１、メモリ１４０２、通信インタフェース１４０６、入出力インタフェース１４０７は、例えば、バス１４０８を介して互いに接続されている。
【００９２】
プロセッサ１４０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１４０１は、メモリ１４０２を利用して例えば上述の図１２の動作フローの手順を記述したプログラムを実行することにより、上述した制御部１１０１の一部または全部の機能を提供する。例えば、コミュニケーション装置１００のプロセッサ１４０１は、メモリ１４０２に記憶されているプログラムを読み出して実行することで、上述の特定部１１１１および調整部１１１２として動作してよい。
【００９３】
メモリ１４０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。メモリ１４０２は、例えば、上述の記憶部１１０２の一例である。例えば、コミュニケーション装置１００のメモリ１４０２には、コンテンツ情報７００が格納されていてよい。
【００９４】
通信インタフェース１４０６は、プロセッサ１４０１の指示に従ってネットワークや他の装置とデータを送受信する。入出力インタフェース１４０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入出力インタフェース１４０７には、例えば、スピーカなどの音出力装置１４０９が接続されている。音出力装置１４０９は、例えば、プロセッサ１４０１の指示に従って、コンテンツ情報７００の発話に登録されている文字列を発話した音声を出力してよい。また、入力装置は、例えばユーザからの指示を受け付けるボタンやタッチパネルなどのデバイスであってよい。
【００９５】
また、光源制御回路１４１１は、プロセッサ１４０１の指示に従って、ＬＥＤなどの光源１０１の発光を制御する。光源制御回路１４１１は、上述の光源制御部１１０３の一例である。駆動制御回路１４２１は、プロセッサ１４０１の指示に従って、モータなどのコミュニケーション装置１００の関節を駆動する駆動回路１４２２を制御する。なお、図１４のハードウェア構成が、ロボットではなく、スマートスピーカなどのハードウェア構成である場合には、例えば、駆動制御回路１４２１と、駆動回路１４２２とは、省略されてもよい。
【００９６】
実施形態に係る各プログラムは、例えば、下記の形態で生成装置４００、およびコミュニケーション装置１００に提供される。
（１）記憶装置１３０３、およびメモリ１４０２に予めインストールされている。
（２）着脱可能記憶媒体１３０５により提供される。
（３）プログラムサーバなどのサーバから提供される。 
【００９７】
なお、図１３および図１４を参照して述べたハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の制御部４０１および制御部１１０１の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。
【００９８】
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【符号の説明】
【００９９】
１００    ：コミュニケーション装置
１０１    ：光源
４００    ：生成装置
４０１    ：制御部
４０２    ：記憶部
４１１    ：特定部
４１２    ：調整部
１１０１  ：制御部
１１０２  ：記憶部
１１０３  ：光源制御部
１１１１  ：特定部
１１１２  ：調整部
１３００  ：情報処理装置
１３０１  ：プロセッサ
１３０２  ：メモリ
１３０３  ：記憶装置
１３０４  ：読取装置
１３０５  ：着脱可能記憶媒体
１３０６  ：通信インタフェース
１３０７  ：入出力インタフェース
１３０８  ：バス
１４００  ：情報処理装置
１４０１  ：プロセッサ
１４０２  ：メモリ
１４０６  ：通信インタフェース
１４０７  ：入出力インタフェース
１４０８  ：バス
１４０９  ：音出力装置
１４１１  ：光源制御回路
１４２１  ：駆動制御回路
１４２２  ：駆動回路
【図１】
2020166500.tif 000003
【図２】
2020166500.tif 000004
【図３】
2020166500.tif 000005
【図４】
2020166500.tif 000006
【図５】
2020166500.tif 000007
【図６】
2020166500.tif 000008
【図７】
2020166500.tif 000009
【図８】
2020166500.tif 000010
【図９】
2020166500.tif 000011
【図１０】
2020166500.tif 000012
【図１１】
2020166500.tif 000013
【図１２】
2020166500.tif 000014
【図１３】
2020166500.tif 000015
【図１４】
2020166500.tif 000016