(57)【要約】  表示制御システムは、音情報が関連付けられた画像情報を取得する取得手段と、予め設定された音に関する複数のカテゴリのなかから、取得手段により取得された画像情報に関連付けられた音情報が該当するカテゴリを判定するカテゴリ判定手段と、カテゴリ判定手段により判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する選択生成手段と、表示データを音情報に代えて画像情報に関連付ける関連付け手段と、を備える。
2017203667.tif 000002
【特許請求の範囲】
【請求項１】
音情報が関連付けられた画像情報を取得する取得手段と、
予め設定された音に関する複数のカテゴリのなかから、前記取得手段により取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリを判定するカテゴリ判定手段と、
前記カテゴリ判定手段により判定された前記カテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成手段と、
前記表示データを前記音情報に代えて前記画像情報に関連付ける関連付け手段と、
を備える表示制御システム。
【請求項２】
所定の判断材料情報に基づいて前記表示データを選択または生成するか否かを判断する判断手段を更に備え、
前記選択生成手段は、前記判断手段により前記表示データを選択または生成すると判断された場合に、前記表示データを選択または生成する、
請求項１に記載の表示制御システム。
【請求項３】
前記画像情報は、ユーザの表情を表した画像を含み、
前記判断手段は、前記画像情報に含まれる画像におけるユーザの表情に基づいて、前記表示データを選択または生成するか否かを判断する、
請求項２に記載の表示制御システム。
【請求項４】
前記カテゴリに複数の表示データが関連付けられており、
前記選択生成手段は、前記音情報により示される音の特性に基づいて、特性ごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択する、
請求項１〜３のいずれか一項に記載の表示制御システム。
【請求項５】
前記選択生成手段は、前記音情報により示される音の特性に基づいて、少なくとも１以上の表示データを生成する、
請求項１〜４のいずれか一項に記載の表示制御システム。
【請求項６】
前記カテゴリに複数の表示データが関連付けられており、
前記選択生成手段は、前記判定手段により判定されたカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、該カテゴリごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択する、
請求項１〜５のいずれか一項に記載の表示制御システム。
【請求項７】
前記選択生成手段は、前記判定手段により判定されたカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、少なくとも１以上の表示データを生成する、
請求項１〜６のいずれか一項に記載の表示制御システム。
【請求項８】
前記関連付け手段により前記画像情報に関連付けられた前記表示データを、前記画像情報により表される前記画像と共に表示装置に表示させる表示制御手段を更に備える、
請求項１〜７のいずれか一項に記載の表示制御システム。
【請求項９】
前記表示データは、前記音情報に示される音を視覚的に表現する画像データであり、
前記表示制御手段は、前記画像データを前記表示装置に表示させる、
請求項８に記載の表示制御システム。
【請求項１０】
前記表示データは、前記音情報により示される音を表現する画像データに予め関連付けられた識別データであり、
前記表示制御手段は、
前記画像情報を受信する端末に構成され、
前記識別データに関連付けられた画像データを前記表示装置に表示させる、
請求項８に記載の表示制御システム。
【請求項１１】
前記表示制御手段は、前記音情報により示される音の特性に基づいて、前記選択生成手段により選択または生成された表示データの表示態様を変化させる、
請求項８〜１０のいずれか一項に記載の表示制御システム。
【請求項１２】
前記表示制御手段は、
前記判定手段により判定されたカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、前記選択生成手段により選択または生成された表示データの表示態様を変更させる、
請求項８〜１１のいずれか一項に記載の表示制御システム。
【請求項１３】
前記表示制御手段は、
前記画像中における前記物体の態様及び位置の少なくとも１つの変化に基づいて、前記選択生成手段により選択または生成された表示データの表示態様を動的に変化させる、
請求項１２に記載の表示制御システム。
【請求項１４】
前記表示制御手段は、
前記画像中における、前記判定手段により判定されたカテゴリに対応する位置に関連付けて前記表示データを表示させる、
請求項８〜１３のいずれか一項に記載の表示制御システム。
【請求項１５】
表示制御システムにおける表示制御方法であって、
音情報が関連付けられた画像情報を取得する取得ステップと、
予め設定された音に関する複数のカテゴリのなかから、前記取得ステップにおいて取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリを判定するカテゴリ判定ステップと、
前記カテゴリ判定ステップにおいて判定された前記カテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成ステップと、
前記表示データを前記音情報に代えて前記画像情報に関連付ける関連付けステップと、
を有する表示制御方法。
【請求項１６】
表示制御システムとしてコンピュータを機能させる表示制御プログラムであって、
前記コンピュータを、
音情報が関連付けられた画像情報を取得する取得手段、
予め設定された音に関する複数のカテゴリのなかから、前記取得手段により取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリを判定するカテゴリ判定手段、
前記カテゴリ判定手段により判定された前記カテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成手段、及び
前記表示データを前記音情報に代えて前記画像情報に関連付ける関連付け手段、
として機能させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御システム、表示制御方法及び表示制御プログラムに関する。
【背景技術】
【０００２】
ビデオ画像及び音声を伝達するビデオ通話システムが知られている（例えば、特許文献１参照）。このようなシステムでは、通話者を撮像した動画像及び通話者が発声した音声が端末間で相互に送受信される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２９７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビデオ通話システムのように、相手方に画像及び音声を伝送するシステムでは、全ての音声が相手方に伝達されると相手方において、その音声を聞き難い場合がある。また、全ての音声の情報が相手方に送信されるデータに含まれることにより、送信されるデータの総量が大きくなり、通信負荷が増大する。一方、音声が削除されたデータが送信される場合には、相手方において、音から認識される臨場感等の情報が失われることとなる。【０００５】
そこで本発明は、画像及び音声を伝送するシステムにおいて、音声から認識できる情報が失われることを防止しつつ、伝送にかかるデータ量を削減することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一形態に係る表示制御システムは、音情報が関連付けられた画像情報を取得する取得手段と、予め設定された音に関する複数のカテゴリのなかから、取得手段により取得された画像情報に関連付けられた音情報が該当するカテゴリを判定するカテゴリ判定手段と、カテゴリ判定手段により判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する選択生成手段と、表示データを音情報に代えて画像情報に関連付ける関連付け手段と、を備える。【０００７】
本発明の一形態に係る表示制御方法は、表示制御システムにおける表示制御方法であって、音情報が関連付けられた画像情報を取得する取得ステップと、予め設定された音に関する複数のカテゴリのなかから、取得ステップにおいて取得された画像情報に関連付けられた音情報が該当するカテゴリを判定するカテゴリ判定ステップと、カテゴリ判定ステップにおいて判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する選択生成ステップと、表示データを音情報に代えて画像情報に関連付ける関連付けステップと、を有する。【０００８】
本発明の一形態に係る表示制御プログラムは、表示制御システムとしてコンピュータを機能させる表示制御プログラムであって、コンピュータを、音情報が関連付けられた画像情報を取得する取得手段、予め設定された音に関する複数のカテゴリのなかから、取得手段により取得された画像情報に関連付けられた音情報が該当するカテゴリを判定するカテゴリ判定手段、カテゴリ判定手段により判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する選択生成手段、及び、表示データを音情報に代えて画像情報に関連付ける関連付け手段、として機能させる。【０００９】
上記の形態によれば、音情報を含む画像情報が取得され、音情報が該当するカテゴリが判定される。そして、判定されたカテゴリに基づいて選択または生成された表示データが画像情報に関連付けられる。従って、音声を表す音情報が表示データに代替されることにより、画像情報における音から得られる情報の量を不足させることなく、画像情報のデータ量が削減される。これにより、例えば画像情報の送信に際しての通信負荷が軽減される。【００１０】
別の形態に係る表示制御システムでは、所定の判断材料情報に基づいて表示データを選択または生成するか否かを判断する判断手段を更に備え、選択生成手段は、判断手段により表示データを選択または生成すると判断された場合に、表示データを選択または生成することとしてもよい。【００１１】
上記の形態によれば、画像情報に関連付けられた音情報が選択的に表示データに代替される。従って、例えば、音として伝達することが不適切な音情報が表示データに代替され、音として伝達するべき音情報が画像情報に関連付けられたまま残ることとなる。これにより、相手方に対して、音に関する情報を適切に認識させることができる。【００１２】
別の形態に係る表示制御システムでは、画像情報は、ユーザの表情を表した画像を含み、判断手段は、画像情報に含まれる画像におけるユーザの表情に基づいて、表示データを選択または生成するか否かを判断することとしてもよい。【００１３】
上記の形態によれば、画像情報により表される画像に捉えられた空間において発生した音の特性が、ユーザの表情を介して間接的に取得される。これにより、画像情報に関連付けられた音情報を表示データに代替すべきか否かが適切に判断される。【００１４】
別の形態に係る表示制御システムでは、カテゴリに複数の表示データが関連付けられており、選択生成手段は、音情報により示される音の特性に基づいて、特性ごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択することとしてもよい。【００１５】
上記の形態によれば、例えば、音情報の特性ごとに態様が異なる表示データを予め関連付けておくことにより、音情報の特性に応じた表示データが選択される。これにより、音情報の特性が反映された表示データを画像情報に関連付けることができる。従って、画像情報が、送信された相手方において表示された場合に、音情報の特性を表現することが可能となる。【００１６】
別の形態に係る表示制御システムでは、選択生成手段は、音情報により示される音の特性に基づいて、少なくとも１以上の表示データを生成することとしてもよい。【００１７】
上記の形態によれば、予めカテゴリに表示データを関連付けておくことを要さずに、表示データを画像情報に関連付けることができる。【００１８】
さらに別の形態に係る表示制御装置では、カテゴリに複数の表示データが関連付けられており、選択生成手段は、判定手段により判定されたカテゴリに対応する物体を画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、該カテゴリごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択することとしてもよい。【００１９】
判定されるカテゴリを介して音情報に関連付けられる物体の態様等には、音情報の特性が反映されている場合がある。上記形態によれば、例えば、カテゴリに対応する物体の態様等ごとに異なる表示データを予め関連付けておくことにより、物体の態様等に応じた表示データが選択される。これにより、音情報の特性が反映された表示データを画像情報に関連付けることができる。従って、画像情報が、送信された相手方において表示された場合に、音情報の特性を表現することが可能となる。【００２０】
別の形態に係る表示制御システムでは、選択生成手段は、判定手段により判定されたカテゴリに対応する物体を画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、少なくとも１以上の表示データを生成することとしてもよい。【００２１】
上記の形態によれば、予めカテゴリに表示データを関連付けておくことを要さずに、表示データを画像情報に関連付けることができる。【００２２】
別の形態に係る表示制御システムでは、関連付け手段により画像情報に関連付けられた表示データを、画像情報により表される画像と共に表示装置に表示させる表示制御手段を更に備えることとしてもよい。【００２３】
上記の形態によれば、表示装置に表示された表示データにより音情報が表現される。従って、画像情報の受信側において音情報を認識させることが容易となる。【００２４】
別の形態に係る表示制御システムでは、表示データは、音情報に示される音を視覚的に表現する画像データであり、表示制御手段は、画像データを表示装置に表示させることとしてもよい。【００２５】
上記の形態によれば、画像データが表示装置に表示されるので、表示装置において音情報が視覚的に表現される。【００２６】
別の形態に係る表示制御システムでは、表示データは、音情報により示される音を表現する画像データに予め関連付けられた識別データであり、表示制御手段は、画像情報を受信する端末に構成され、識別データに関連付けられた画像データを表示装置に表示させることとしてもよい。【００２７】
上記の形態によれば、音を表現する画像データに予め関連付けられた識別データが画像情報に関連付けられ、画像情報を受信した端末において、画像データが表示装置に表示される。これにより、画像データを識別する識別データが画像情報に関連付けられて送信されるので、画像を表す画像データが画像情報に関連付けられて送信される場合に比べて通信負荷が軽減される。【００２８】
別の形態に係る表示制御装置では、表示制御手段は、音情報により示される音の特性に基づいて、選択生成手段により選択または生成された表示データの表示態様を変化させることとしてもよい。【００２９】
上記形態によれば、音情報の特性に応じて変化された表示データを表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性を表現することが可能となる。また、この形態によれば、特性に応じた表示データを予め記憶しておく必要がないので、処理リソースの削減が可能となる。【００３０】
さらに別の形態に係る表示制御装置では、表示制御手段は、判定手段により判定されたカテゴリに対応する物体を画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、選択生成手段により選択または生成された表示データの表示態様を変更させることとしてもよい。【００３１】
判定されるカテゴリを介して音情報に関連付けられる物体の態様等には、音情報の特性が反映されている場合がある。上記形態によれば、物体の態様等に応じて変更された表示態様を有する表示データを表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性を表現することが可能となる。【００３２】
さらに別の形態に係る表示制御装置では、表示制御手段は、画像中における物体の態様及び位置の少なくとも１つの変化に基づいて、選択生成手段により選択または生成された表示データの表示態様を動的に変化させることとしてもよい。【００３３】
上記形態によれば、画像情報により表される動画像に含まれる物体の態様等の変化に応じて、表示データを動的に変化させながら表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性の動的な変化を表現することが可能となる。【００３４】
さらに別の形態に係る表示制御装置では、表示制御手段は、画像中における、判定手段により判定されたカテゴリに対応する位置に関連付けて表示データを表示させることとしてもよい。【００３５】
上記形態によれば、例えば、音情報のカテゴリに、その音情報に表される音の発生源となる物の情報を関連付けておくことにより、画像中におけるその物が表された位置に表示データを表示させることができる。これにより、音情報に表される音が何の音であるかを、より容易に認識することができる。
【発明の効果】
【００３６】
本発明の一側面によれば、画像及び音声を伝送するシステムにおいて、音声から認識できる情報が失われることを防止しつつ、伝送にかかるデータ量を削減することが可能となる。
【図面の簡単な説明】
【００３７】
【図１】本実施形態に係る表示制御システムの装置構成を示す図である。
【図２】表示制御装置の機能構成を示すブロック図である。
【図３】表示制御装置のハードウェア構成を示す図である。
【図４】表示データ記憶部の構成及び記憶されているデータの例を示す図である。
【図５】表示制御部により表示される画面の例を示す図である。
【図６】表示制御部により表示される画面の例を示す図である。
【図７】表示制御部により表示される画面の例を示す図である。
【図８】表示制御部により表示される画面の例を示す図である。
【図９】表示データを動的に変化させる表示制御の例を説明する図である。
【図１０】表示制御装置において実施される表示制御方法の処理内容を示すフローチャートである。
【図１１】表示制御プログラムの構成を示す図である。
【発明を実施するための形態】
【００３８】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００３９】
図１は、本実施形態に係る表示制御システムの装置構成を示す図である。表示制御システム１は、表示制御装置１０、端末ＴＡ，ＴＢを含み、これらの装置は、ネットワークＮを介して互いに通信可能である。
【００４０】
端末ＴＡには、カメラＣ及びマイクＭが接続されており、端末ＴＡは、カメラＣから動画像を取得し、マイクＭから音声を取得する。なお、端末ＴＡは、カメラ及びマイクを内蔵していてもよい。端末ＴＢには、表示装置Ｄ及びスピーカＳＰが接続されている。端末ＴＢは、表示装置Ｄに画像を出力できる。また、端末ＴＢは、スピーカＳＰに音声を出力できる。なお、端末ＴＢは、表示装置及びスピーカを内蔵していてもよい。
【００４１】
本実施形態の表示制御装置１０は、端末ＴＡから画像情報を取得し、取得した画像情報により表される画像、及び画像情報に含まれる音声を端末ＴＢの表示装置Ｄ及びスピーカＳＰに出力させる。即ち、本実施形態では、端末ＴＡを画像情報等の送信側とし、端末ＴＢを受信側（相手方）として説明する。なお、端末ＴＡ及び端末ＴＢが共に、カメラ、マイク、表示装置Ｄ及びスピーカを有し、双方向で画像及び音声を送受信するシステムを構成してもよい。双方向で画像及び音声を送受信するシステムには、例えば、ビデオチャットシステム、会議システム等が例示される。
【００４２】
端末Ｔは、例えば、据置型又は携帯型のパーソナルコンピュータ、高機能携帯電話機（スマートフォン）等により構成されるが、端末Ｔを構成する装置は限定されず、例えば携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。なお、図１では、例として２台の端末Ｔが示されているが、端末Ｔの数はこれに限定されない。
【００４３】
図２は、表示制御装置１０の機能的構成を示すブロック図である。表示制御装置１０は、例えば、サーバにより構成される。
【００４４】
本実施形態の表示制御装置１０は、図２に示すように、機能的には、取得部１１（取得手段）、カテゴリ判定部１２（カテゴリ判定手段）、選択生成部１３（選択生成手段）
判断部１４（判断手段）、関連付け部１５（関連付け手段）及び表示制御部１６（表示制御手段）を備える。
【００４５】
また表示制御装置１０は、表示データ記憶部２０といった記憶手段にアクセス可能である。表示データ記憶部２０は、表示制御装置１０に備えられることとしてもよいし、表示制御装置１０からのアクセスが可能に設けられた外部の記憶手段として構成されてもよい。
【００４６】
図３は、表示制御装置１０のハードウェア構成図である。表示制御装置１０は、物理的には、図３に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。表示制御装置１０は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。
【００４７】
図２に示した各機能は、図３に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。なお、端末Ｔも、図３に示すようなハードウェア構成を有するコンピュータシステムとして構成される。
【００４８】
続いて、表示制御装置１０の各機能部を説明する。取得部１１は、画像を表す画像情報を取得する。画像情報には、音情報が関連付けられている。音情報は、例えば、画像情報の画像に表される空間において発生した環境音及び画像に表される物体が発した音等を表す情報である。
【００４９】
本実施形態では、取得部１１は、端末ＴＡにおいて取得された動画像からなる画像情報を端末ＴＡから取得する。この画像情報には、端末ＴＡにおいて取得された音を表す音情報が関連付けられている。具体的には、画像情報は、端末ＴＡのユーザ及びユーザの背景を撮像した動画像を含む。また、動画像に関連付けられている音情報は、当該ユーザが発声した音声、当該動画像に表される環境において発声した環境音を含むことができる。環境音は、例えば、ユーザが発声した音声以外の音であってユーザが発生させた音及びユーザの周囲で発生した音等を含む。
【００５０】
カテゴリ判定部１２は、予め設定された音に関する複数のカテゴリのなかから、取得部１１により取得された画像情報に関連付けられた音情報が該当するカテゴリを判定する。音情報に関する複数のカテゴリは、音の発生源や発生原因との関連付けが可能な、当該音を分類するための概念であって、表示データ記憶部２０に予め設定されている。
【００５１】
表示データ記憶部２０は、表示データを記憶している記憶手段である。表示データ記憶部２０に記憶されている表示データは、音情報により表される音を視覚的に表現するデータであって、例えば、擬音語のテキストデータ、擬音語を表す画像データ、音を表す記号や画像等であって、表示装置に表示されるためのデータである。
【００５２】
図４は、表示データ記憶部２０の構成及び記憶されているデータの例を示す図である。図４に示すように、表示データ記憶部２０は、音情報に関するカテゴリ、及び、当該音情報が表す音の音量／対応する物体の動きの大きさに関連付けて表示データを記憶している。また、各カテゴリには、対応する物体が関連付けられている。対応する物体には、当該カテゴリに対応する任意の物体が記憶されているが、主に、当該カテゴリに対応する音情報の音の音源となる物体が記憶されている。
【００５３】
例えば、カテゴリ「咀嚼音」には、咀嚼音の音源である「口」が対応する物体として関連付けられている。また、カテゴリ「咀嚼音」には、音量／動きの大きさに応じた表示データ「もぐもぐ（ｍｏｇｕ−ｍｏｇｕ）」、「ぱくぱく（ｐａｋｕ−ｐａｋｕ）」、「ばくばく（ｂａｋｕ−ｂａｋｕ）」が関連付けられている。即ち、「もぐもぐ」、「ぱくぱく」、「ばくばく」は、咀嚼音を表す日本語表現であって、この順に音量または口の動きが大きくなる。
【００５４】
また、カテゴリ「風の音」には、風の強さが動きに反映される「木の枝」が対応する物体として関連付けられている。また、カテゴリ「風の音」には、音量／動きの大きさに応じた表示データ「そよそよ（ｓｏｙｏ−ｓｏｙｏ）」、「ビュービュー（ｂｙｕ−ｂｙｕ）」、「ゴー（ｇｏｕ）」が関連付けられている。即ち、「そよそよ」、「ビュービュー」、「ゴー」は、風の音を表す日本語表現であって、この順に音量または木の枝の動きが大きくなる。
【００５５】
また、カテゴリ「自動車のエンジン音」には、自動車のエンジン音の音源である「自動車」が対応する物体として関連付けられている。また、カテゴリ「自動車のエンジン音」には、音量／動きの大きさに応じた表示データ「ＢＲＲＲ」、「ＢＲＲＲＲＲＲ」が関連付けられている。
【００５６】
具体的には、カテゴリ判定部１２は、まず、取得部１１により取得された画像情報に関連付けられた音情報を取得する。続いて、カテゴリ判定部１２は、当業者に周知の音声処理技術により、音情報から所定の音声を抽出及び取得してもよい。カテゴリ判定部１２は、例えば、音情報から人の声を除去して環境音を取得してもよい。また、カテゴリ判定部１２は、ユーザが発声した音声を取得してもよい。また、カテゴリ判定部１２は、音情報に含まれる全ての音声を抽出してもよい。音情報から抽出及び取得する音声は、例えば予め設定されていてもよい。音情報から所定の音を抽出する処理は、周知の音声処理技術により当業者が実施可能であるので、詳細な説明を省略する。続いて、カテゴリ判定部１２は、取得した音をフーリエ変換し各周波数成分を取得する。
【００５７】
カテゴリ判定部１２は、周波数成分を正規化し、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）に入力して、カテゴリに分類する。ＳＶＭは教師あり学習を用いるパターン認識モデルの一つである。ＳＶＭでは、例えば、咀嚼音、風の音、波の音、雨の音、ガラスが割れた音、物が落ちた音、サイレン、インターフォンのチャイム、子供の泣き声、缶や瓶の開栓音等の音をクラスとして分類、記憶する。カテゴリ判定部１２は、取得した音の周波数成分の、カテゴリに対応する各クラスの所属確率を算出し、一定以上の確率が算出されたクラスに当該音を分類する。なお、ＳＶＭによる音の分類は、当業者に周知な技術及び通常に有する知見により可能であるので、更なる詳細な説明は省略する。カテゴリ判定部１２は、取得した音が、例えば咀嚼音であることを判定する（図４参照）。
【００５８】
選択生成部１３は、カテゴリ判定部１２により判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する。本実施形態では、選択生成部１３は、表示データ記憶部２０に記憶された１または複数の表示データから、少なくとも１以上の表示データを選択する。例えば、カテゴリ判定部１２により、音情報が該当するカテゴリが「咀嚼音」であることが判定された場合には、選択生成部１３は、表示データ記憶部２０において、カテゴリ「咀嚼音」に関連付けられた表示データ「もぐもぐ」，「ぱくぱく」，「ばくばく」のうち、「もぐもぐ」を選択する。なお、ここでは、例として、３つの表示データのうちのデフォルトとして「もぐもぐ」が選択されることとするが、複数の表示データから１つまたは複数の表示データを選択する選択処理については後述する。
【００５９】
なお、選択生成部１３は、カテゴリに基づいて、表示データ記憶部２０に記憶された表示データと同様の、音情報に対応する表示データを生成することとしてもよい。選択生成部１３は、例えば、音情報から抽出した音声の大きさ、当該音声に対応する物体の動きの大きさ等に基づいて決定したテキスト、文字の大きさ及び表示態様等を有する文字画像データを表示データとして生成することができる。
【００６０】
判断部１４は、所定の判断材料情報に基づいて表示データを選択または生成するか否かを判断する。具体的には、判断部１４は、相手方の端末ＴＢに音として伝達すべき音情報については、その音情報に対応する表示データを選択または生成すると判断しない。一方、判断部１４は、相手方の端末ＴＢに音として伝達することが不適切な音情報については、その音情報に対応する表示データを選択または生成すると判断する。選択生成部１３は、判断部１４により表示データを選択または生成すると判断された場合に、表示データの選択または生成を実施する。
【００６１】
表示データを選択または生成の判断に関する所定の判断材料情報は、例えば、ユーザにより予め設定された情報である。例えば、表示制御装置１０が、表示データの選択または生成の要否をカテゴリごとに予め設定した判断材料情報を記憶しており（例えば表示データ記憶部２０に記憶される）、判断部１４は、予め設定された判断材料情報を参照して表示データの選択または生成の要否を判断してもよい。
【００６２】
また、画像情報がユーザの表情を表した画像を含む場合において、判断部１４は、画像情報に含まれる画像におけるユーザの表情に基づいて、表示データを選択または生成するか否かを判断してもよい。即ち、所定の判断材料情報は、ユーザの表情を表す画像であってもよい。具体的には、例えば、判断部１４は、ユーザの表情の解析により、ユーザが不快感を持っていると判断した場合に、表示データを選択または生成することを判断する。即ち、判断部１４は、ユーザの表情に基づいて、発生している音が不快音であることを判定した場合に、当該音に対応する表示データを選択または生成することを判断する。
【００６３】
ユーザが不快感を持っているか否かは、例えば、ユーザの口、眉及び眼等の形状のゆがみに基づいて判断することが可能であり、例えば、周知の顔画像解析の手法（A  Method  for Measuring  Comfortableness／uncomfortableness  of  Human  by  Analyzing  Facial、http://ci.nii.ac.jp/naid/110004820683/）を適用できる。
【００６４】
また、判断部１４は、音情報における、ある音が発生している時間と、画像情報における、ユーザが不快感をもっていることを示す表情を検知した時間とが、一定時間以上一致した場合に、当該音が不快音であることを判断し、その音に対応するカテゴリが不快音に対応するカテゴリであることを表示データ記憶部２０に記憶させる。そして、その判断の後に、同様のカテゴリに分類される音情報が取得された場合には、判断部１４は、当該音に対応する表示データを選択または生成することを判断する。
【００６５】
関連付け部１５は、表示データを音情報に代えて画像情報に関連付ける。具体的には、関連付け部１５は、選択生成部１３により選択または生成された表示データを、予め関連付けられていた音情報に代えて、画像情報に関連付ける。即ち、画像情報に関連付けられていた音情報は削除される。このように表示データを画像情報に関連付けると共に音情報を削除することにより、画像情報における音から得られる情報の量を不足させることなく、画像情報のデータ量が削減される。これにより、例えば画像情報の送信に際しての通信負荷が軽減される。
【００６６】
表示制御部１６は、関連付け部１５により画像情報に関連付けられた表示データを、画像情報により表される画像と共に表示装置に表示させる。例えば、表示制御部１６は、関連付け部１５により画像情報に関連付けられた表示データを、画像情報により表される画像に重畳して表示装置Ｄに表示させてもよい。図５は、表示制御部１６により表示される画面の例を示す図である。
【００６７】
図５に示すように、取得部１１により取得された画像情報は、端末ＴＡのユーザを撮像した動画像を含んでいるので、表示制御部１６は、端末ＴＡのユーザの動画像を端末ＴＢの表示装置Ｄに表示させる。そして、表示制御部１６は、選択生成部１３により選択された表示データＴ１「もぐもぐ」を端末ＴＡのユーザの動画像に重畳して表示させる。
【００６８】
このように、表示データが表示装置Ｄに表示されることにより、端末ＴＡにおいて取得された環境音が端末ＴＢにおいて視覚的に表現される。従って、端末ＴＢのユーザにおいて、環境音を認識することが容易となる。また、端末ＴＡにおいて取得された音声信号をリアルタイムで端末ＴＢに伝送することと比較して、伝送にかかるリソースの削減が可能となる。
【００６９】
なお、図５を参照して説明した例では、表示データが音情報に示される音を視覚的に表現する画像データであって、表示制御部１６が、画像データ（表示データ）を相手方の端末ＴＢに送信し、端末ＴＢの表示装置Ｄに画像データを表示させることとしている。これに対して、以下に説明する態様では、画像データに代えて、画像データに関連付けられた識別データが端末ＴＢに対して送信されることにより、表示装置Ｄにおける画像データの表示が実現されることとしてもよい。即ち、画像情報に関連付けられる表示データが、画像データではなく、画像データに予め関連付けられた識別データであってもよい。
【００７０】
具体的には、この態様では、表示制御部１６が端末ＴＢに構成される。関連付け部１５は、カテゴリ判定部１２により判定されたカテゴリに基づいて選択生成部１３により選択された表示データに対応し、音情報により示される音を表現する画像データに予め関連付けられた識別データを画像情報に関連付ける。そして、関連付け部１５は、識別データが関連付けられた画像情報を端末ＴＢに送信する。端末ＴＢは、識別データと画像データとの関連付けを予め記憶している。そして、端末ＴＢに構成された表示制御部１６は、識別データに関連付けられた画像データを、表示装置Ｄに表示させる。
【００７１】
この態様によれば、音を視覚的に表現する画像データに予め関連付けられた識別データが画像情報に関連付けられ、画像情報を受信した端末において、画像データが表示装置に表示される。これにより、画像データを識別する識別データが画像情報に関連付けられて送信されるので、画像を表す画像データが画像情報に関連付けられて送信される場合に比べて通信負荷が軽減される。
【００７２】
次に、表示データの選択の例について説明する。選択生成部１３は、取得部１１により取得された音情報の特性に基づいて、特性ごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択することとしてもよい。音情報の特性は、例えば、音量、周波数の高さ等である。
【００７３】
具体的には、選択生成部１３は、カテゴリ判定部１２により判定されたカテゴリに対応付けられている複数の表示データであって、音量に関連付けられている複数の表示データの中から、音情報の音量等の特性に基づいて、１以上の表示データを選択する。図４に示した表示データ記憶部２０では、例えば、咀嚼音の音量に応じて３つの表示データがそれぞれ関連付けて記憶されている。選択生成部１３は、音情報の音量の大小を所定の閾値に基づいて判定する。そして、選択生成部１３は、判定した音量に関連付けられている表示データを選択する。ここでは、選択生成部１３が、音情報の音量が中程度であることを判定したこととする。
【００７４】
この場合には、選択生成部１３は、表示データ「ぱくぱく」を選択する。そして、関連付け部１５は、表示データ「ぱくぱく」を音情報に代えて画像情報に関連付ける。図６は、かかる場合において表示される画面の例を示す図である。図６に示すように、表示制御部１６は、関連付け部１５により画像情報に関連付けられた表示データＴ２「ぱくぱく」を、端末ＴＡのユーザの動画像に重畳して、端末ＴＢの表示装置Ｄに表示させる。
【００７５】
このように、音情報の特性ごとに態様が異なる表示データを予め関連付けておくことにより、音情報の特性に応じた表示データが選択される。これにより、音情報の特性が反映された表示データを表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性を表現することが可能となる。なお、音情報の特性が動的に変化した場合には、その変化に応じて、選択生成部１３が選択する表示データを動的に変更し、表示制御部１６が変更された表示データを表示装置Ｄに表示させることとしてもよい。また、選択生成部１３は、音情報により示される音の特性に基づいて、表示データ記憶部２０に記憶された表示データを選択することに代えて、音の特性に応じた表示データを生成することとしてもよい。
【００７６】
次に、図７を参照して、表示制御部１６による表示データの表示制御の例を説明する。表示制御部１６は、音情報の特性に基づいて、選択生成部１３により選択された表示データの表示態様を変化させることとしてもよい。
【００７７】
具体的には、例えば、表示制御部１６は、取得部１１により取得された音情報の音量を判断する。表示制御部１６は、所定の閾値に基づいて音量の大小を段階的に判断してもよいし、音量値を測定してもよい。ここでは、選択生成部１３により表示データ「もぐもぐ」が選択されたとすると、表示制御部１６は、図７に示すように、判断した音情報の音量に基づいて、表示データの表示態様の１つである大きさを、図５に比べてより大きく変化させて、表示データＴ３「もぐもぐ」を表示させる。
【００７８】
なお、特性に基づく表示態様の変化のさせ方は、例えば予め設定されている。また、表示制御部１６は、音量だけではなく、周波数に基づいて表示データの表示態様を変化させてもよい。また、図７に示した例のように表示データの大きさを変化させることの他に、表示制御部１６は、表示データのフォント、色、表示位置を変化させてもよい。また、表示制御部１６は、音情報の特性に基づいて、表示データを繰り返して表示させてもよい。
【００７９】
このように本実施形態では、音情報の特性に応じて変化された表示データを表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性を表現することが可能となる。また、この形態によれば、特性に応じた変化させた表示データを予め記憶しておく必要がないので、処理リソースの削減が可能となる。なお、音情報の特性が動的に変化した場合には、その変化に応じて、表示制御部１６が表示データの表示態様を動的に変化させることとしてもよい。
【００８０】
次に、画像中の物体に基づく表示データの選択の例について説明する。選択生成部１３は、カテゴリ判定部１２により判定されたカテゴリに対応する物体を画像中から特定し、その物体の態様及び位置の少なくとも１つに基づいて、カテゴリごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択することとしてもよい。図８は、かかる表示データの選択処理を説明するための画像及び表示データの表示の例を示す図である。
【００８１】
具体的には、カテゴリ判定部１２により、音情報が該当するカテゴリが「風の音」であることが判定された場合に、選択生成部１３は、表示データ記憶部２０（図４参照）において、カテゴリ「風の音」に対応する物体「木の枝」を取得し、画像Ｖ４から木の枝を表す物体Ｏｂ４を特定する。なお、画像中からの所定の物体の特定は、例えばパターンマッチング等の周知の画像処理技術により可能である。
【００８２】
選択生成部１３は、物体Ｏｂ４の態様及び位置の少なくとも１つを判定する。ここでは、選択生成部１３は、物体の態様として、物体Ｏｂ４（木の枝）の動きの大きさを取得する。なお、画像中の物体の動きの大きさの取得も、周知の画像処理技術により可能である。選択生成部１３は、物体Ｏｂ４の動きの大きさを所定の閾値に基づいて判定する。そして、選択生成部１３は、表示データ記憶部２０において、判定した動きの大きさに関連付けられている表示データを選択する。ここでは、選択生成部１３が、例えば、物体Ｏｂ４の動きの大きさが中程度であることを判定して、その動きの大きさに対応する表示データＴ４「ビュービュー」を選択する。そして、関連付け部１５は、表示データＴ４「ビュービュー」を音情報に代えて画像情報に関連付ける。図８に示すように、表示制御部１６は、関連付け部１５により画像情報に関連付けられた表示データＴ４「ビュービュー」を、端末ＴＡのユーザの動画像に重畳して、端末ＴＢの表示装置Ｄに表示させる。
【００８３】
このように、カテゴリに対応する物体の態様等には、音情報の特性が反映されている場合があることを考慮して、カテゴリに対応する物体の態様等ごとに異なる表示データを予め関連付けておくことにより、物体の態様等に応じた表示データが選択される。これにより、環境音の特性が反映された表示データを表示装置に表示させることができる。従って、表示装置に表示された表示データにより環境音の特性を表現することが可能となる。また、選択生成部１３は、カテゴリ判定部１２により判定されたカテゴリに対応する物体を画像中から特定し、その物体の態様及び位置の少なくとも１つに基づいて、表示データ記憶部２０に記憶された表示データを選択することに代えて、物体の態様及び位置の少なくとも１つに応じた表示データを生成することとしてもよい。
【００８４】
また、表示制御部１６は、カテゴリ判定部１２により判定されたカテゴリに対応する物体を画像中から特定し、その物体の態様及び位置の少なくとも１つに基づいて、選択生成部１３により選択された表示データの表示態様を変更させることとしてもよい。
【００８５】
具体的には、例えば、カテゴリ判定部１２により、環境音が該当するカテゴリが「風の音」であることが判定され、選択生成部１３により表示データ「ビュービュー」が選択された場合に、表示制御部１６は、表示データ記憶部２０（図４参照）において、カテゴリ「風の音」に対応する物体「木の枝」を取得し、画像情報により表される画像中から木の枝を表す物体を特定する。そして、表示制御部１６は、物体の態様及び位置の少なくとも１つを判定する。ここでは、表示制御部１６は、物体の態様として、物体（木の枝）の動きの大きさを取得する。そして、表示制御部１６は、取得した物体の動きの大きさに基づいて表示態様の１つである大きさを変更させた表示データ「ビュービュー」を、端末ＴＡのユーザの動画像に重畳して、端末ＴＢの表示装置Ｄに表示させる。
【００８６】
なお、特性に基づく表示態様の変化のさせ方は、例えば予め設定されている。また、表示データの大きさを変化させることに他に、表示制御部１６は、表示データのフォント、色、表示位置を変化させてもよい。また、表示制御部１６は、環境音の特性に基づいて、表示データを繰り返して表示させてもよい。
【００８７】
このように、カテゴリに対応する物体の態様等には、音情報の特性が反映されている場合があることを考慮して、物体の態様等に応じて変更された表示態様を有する表示データを表示装置に表示させることにより、表示装置に表示された表示データにより音情報の特性を表現することが可能となる。
【００８８】
また、表示制御部１６は、画像中におけるカテゴリに対応する物体の態様及び位置の少なくとも１つの変化に基づいて、前記選択手段により選択された表示データの表示態様を動的に変化させることとしてもよい。
【００８９】
図９は、表示データを動的に変化させる表示制御の例を説明する図である。図９は、取得部１１により取得された画像情報により表される動画像ＭＶ５を示しており、自動車を表す物体Ｏｂ５１が、物体Ｏｂ５２に示される位置に移動する様子が表されている。
【００９０】
この例では、まず、カテゴリ判定部１２が、図９に示される画像を表す画像情報に含まれる環境音が、カテゴリ「自動車のエンジン音」に該当することを判定する。そして、選択生成部１３が、カテゴリ「自動車のエンジン音」に関連付けられた表示データ「ＢＲＲＲ」を選択する。なお、この選択に際して、選択生成部１３は、環境音の音量に基づいて複数の表示データのうちの１つの表示データを選択することとしてもよいし、所定のデフォルトの表示データを選択することとしてもよい。関連付け部１５は、表示データ「ＢＲＲＲ」を音情報に代えて画像情報に関連付ける。
【００９１】
表示制御部１６は、カテゴリ「自動車のエンジン音」に対応する物体「自動車」を、ＭＶ５から特定する。即ち、表示制御部１６は、物体Ｏｂ５１を特定する。ここで、表示制御部１６は、画像中における、カテゴリ判定部１２により判定されたカテゴリに対応する位置に関連付けて表示データを表示させる。具体的には、表示制御部１６は、表示データＴ５１「ＢＲＲＲ」を、カテゴリ「自動車のエンジン音」に対応する物体「自動車」が表された位置である物体Ｏｂ５１の表示位置に関連付けて表示させる。
【００９２】
続いて、動画像ＭＶ５において、物体Ｏｂ５２に示される位置に自動車が移動すると、表示制御部１６は、物体Ｏｂ５２の表示位置に関連付けて、表示データＴ５２「ＢＲＲＲ」を表示させる。また、表示制御部１６は、物体Ｏｂ５１，Ｏｂ５２の位置及び大きさの変化に基づいて、表示サイズを大きく変化させた表示データＴ５２「ＢＲＲＲ」を表示させる。
【００９３】
このように、図９を参照して説明した例によれば、画像情報により表される動画像に含まれる物体の態様等の変化に応じて、表示データを動的に変化させながら表示装置に表示させることができる。従って、表示装置に表示された表示データにより音情報の特性の動的な変化を表現することが可能となる。また、音情報のカテゴリに、その音情報に示される音の発生源となる物の情報を関連付けておくことにより、画像中におけるその物が表された位置に表示データを表示させることができる。これにより、音情報の音が何の音であるか、より容易に認識することができる。
【００９４】
なお、動画像中の物体の位置の変化、特に画像の奥行き方向の物体の位置の変化は、端末ＴＡにおいて画像を取得するためのカメラＣを、例えば、ＲＧＢ−Ｄカメラにより構成することにより、容易に取得できる。ＲＧＢ−Ｄカメラは、深さ情報を伴う画像を取得できる。
【００９５】
また、動画像中の物体の位置が、画像中における奥の位置から手前に移動した場合において、音量の変化がない場合であっても、物体が手前に移動したときに、表示制御部１６は、表示データを大きく強調して表示させてもよい。
【００９６】
また、動画像中の物体の位置が、画像中における奥の位置であるか、手間であるかに基づいて、表示データの表示態様が補正されることとしてもよい。例えば、物体が画像中の奥に位置している場合には、当該物体を音源とする音の音量は相対的に小さい。このような場合に、表示制御部１６は、音量の小ささを補正するように、表示データの表示サイズ相対的に大きくして表示させることとしてもよい。
【００９７】
次に、図１０を参照して、本実施形態の表示制御装置１０の動作について説明する。図１０は、表示制御装置１０において実施される表示制御方法の処理内容を示すフローチャートである。
【００９８】
まず、取得部１１は、画像を表す画像情報であって、音情報が関連付けられた画像情報を取得する（Ｓ１）。続いて、カテゴリ判定部１２は、予め設定された音に関する複数のカテゴリのなかから、取得部１１により取得された画像情報に関連付けられた音情報が該当するカテゴリを判定する（Ｓ２）。
【００９９】
次に、選択生成部１３は、ステップＳ２において判定されたカテゴリに基づいて、音情報に対応する表示データを選択または生成する（Ｓ３）。そして、関連付け部１５は、ステップＳ３において選択生成部１３により選択された表示データを、音情報に代えて画像情報に関連付ける（Ｓ４）。
【０１００】
次に、図１１を参照して、コンピュータを表示制御装置１０として機能させるための表示制御プログラムを説明する。表示制御プログラムｐ１は、メインモジュールｍ１０、取得モジュールｍ１１、カテゴリ判定モジュールｍ１２、選択生成モジュールｍ１３、判断モジュールｍ１４、関連付けモジュールｍ１５及び表示制御モジュールｍ１６を備える。
【０１０１】
メインモジュールｍ１０は、表示制御処理を統括的に制御する部分である。取得モジュールｍ１１、カテゴリ判定モジュールｍ１２、選択生成モジュールｍ１３、判断モジュールｍ１４、関連付けモジュールｍ１５及び表示制御モジュールｍ１６を実行することにより実現される機能はそれぞれ、図１に示される表示制御装置１０の取得部１１、カテゴリ判定部１２、選択生成部１３、判断部１４、関連付け部１５及び表示制御部１６の機能と同様である。
【０１０２】
表示制御プログラムｐ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の記憶媒体ｄ１によって提供される。また、表示制御プログラムｐ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
【０１０３】
以上説明した本実施形態の表示制御システム１、表示制御方法及び表示制御プログラムｐ１によれば、音情報を含む画像情報が取得され、音情報が該当するカテゴリが判定される。そして、判定されたカテゴリに基づいて選択または生成された表示データが画像情報に関連付けられる。従って、音声を表す音情報が表示データに代替されることにより、画像情報における音から得られる情報の量を不足させることなく、画像情報のデータ量が削減される。これにより、例えば画像情報の送信に際しての通信負荷が軽減される。
【０１０４】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【０１０５】
例えば、本実施形態では、表示制御装置１０が取得部１１、カテゴリ判定部１２、選択生成部１３、判断部１４、関連付け部１５及び表示制御部１６を備えることとしているが、これらの機能部１１〜１６が、端末ＴＡ、ＴＢのいずれかに構成されることとしてもよい。即ち、表示制御システム１が、例えばサーバにより構成される表示制御装置１０を有さずに、端末ＴＡと端末ＴＢとが直接に通信を行うシステムとして実現されることとしてもよい。その場合には、機能部１１〜１６の全てが端末ＴＢに構成されることとしてもよい。また、機能部１１〜１６の全てが端末ＴＡに構成されることとしてもよい。また、機能部１１〜１６が、端末ＴＡ及び端末ＴＢに分散されて構成されることとしてもよい。
【符号の説明】
【０１０６】
１…表示制御システム、１０…表示制御装置、１１…取得部、１２…カテゴリ判定部、１３…選択生成部、１４…判断部、１５…関連付け部、１６…表示制御部、２０…表示データ記憶部、Ｄ…表示装置、ｄ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…カテゴリ判定モジュール、ｍ１３…選択生成モジュール、ｍ１４…判断モジュール、ｍ１５…関連付けモジュール、ｍ１６…表示制御モジュール、Ｎ…ネットワーク、ｐ１…表示制御プログラム、Ｔ，ＴＡ，ＴＢ…端末。
【図１】
2017203667.tif 000003
【図２】
2017203667.tif 000004
【図３】
2017203667.tif 000005
【図４】
2017203667.tif 000006
【図５】
2017203667.tif 000007
【図６】
2017203667.tif 000008
【図７】
2017203667.tif 000009
【図８】
2017203667.tif 000010
【図９】
2017203667.tif 000011
【図１０】
2017203667.tif 000012
【図１１】
2017203667.tif 000013
【手続補正書】
【提出日】平成30年8月2日(2018.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音情報が関連付けられた画像情報を取得する取得手段と、
予め設定された音に関する複数のカテゴリのうちの、前記取得手段により取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成手段と、
前記選択生成手段により選択または生成された前記表示データを、該表示データに対応する前記音情報に代えて前記画像情報に関連付ける関連付け手段と、
を備える表示制御システム。
【請求項２】
前記音情報は、前記画像情報の画像に表される空間において発生した音を表す情報であって、マイクにより取得される、
請求項１に記載の表示制御システム。
【請求項３】
前記関連付け手段は、前記選択生成手段により選択または生成された前記表示データに対応する前記音情報を前記画像情報から削除する、
請求項１または２に記載の表示制御システム。
【請求項４】
所定の判断材料情報に基づいて前記表示データを選択または生成するか否かを判断する判断手段を更に備え、
前記選択生成手段は、前記判断手段により前記表示データを選択または生成すると判断された場合に、前記表示データを選択または生成する、
請求項１〜３のいずれか一項に記載の表示制御システム。
【請求項５】
前記画像情報は、ユーザの表情を表した画像を含み、
前記判断手段は、前記画像情報に含まれる画像におけるユーザの表情に基づいて、前記表示データを選択または生成するか否かを判断する、
請求項４に記載の表示制御システム。
【請求項６】
前記カテゴリに複数の表示データが関連付けられており、
前記選択生成手段は、前記音情報が該当するカテゴリ及び前記音情報により示される音の特性に基づいて、特性ごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択する、
請求項１〜５のいずれか一項に記載の表示制御システム。
【請求項７】
前記選択生成手段は、前記音情報により示される音の特性に基づいて、少なくとも１以上の表示データを生成する、
請求項１〜６のいずれか一項に記載の表示制御システム。
【請求項８】
前記カテゴリに複数の表示データが関連付けられており、
前記選択生成手段は、前記音情報が該当するカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、該カテゴリごとに関連付けられている複数の表示データのうちの少なくとも１以上の表示データを選択する、
請求項１〜７のいずれか一項に記載の表示制御システム。
【請求項９】
前記選択生成手段は、前記音情報が該当するカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、少なくとも１以上の表示データを生成する、
請求項１〜８のいずれか一項に記載の表示制御システム。
【請求項１０】
前記関連付け手段により前記画像情報に関連付けられた前記表示データを、前記画像情報により表される前記画像と共に表示装置に表示させる表示制御手段を更に備える、
請求項１〜９のいずれか一項に記載の表示制御システム。
【請求項１１】
前記表示データは、前記音情報に示される音を視覚的に表現する画像データであり、
前記表示制御手段は、前記画像データを前記表示装置に表示させる、
請求項１０に記載の表示制御システム。
【請求項１２】
前記表示データは、前記音情報により示される音を表現する画像データに予め関連付けられた識別データであり、
前記表示制御手段は、
前記画像情報を受信する端末に構成され、
前記識別データに関連付けられた画像データを前記表示装置に表示させる、
請求項１０に記載の表示制御システム。
【請求項１３】
前記表示制御手段は、前記音情報により示される音の特性に基づいて、前記選択生成手段により選択または生成された表示データの表示態様を変化させる、
請求項１０〜１２のいずれか一項に記載の表示制御システム。
【請求項１４】
前記表示制御手段は、
前記音情報が該当するカテゴリに対応する物体を前記画像中から特定し、該物体の態様及び位置の少なくとも１つに基づいて、前記選択生成手段により選択または生成された表示データの表示態様を変更させる、
請求項１０〜１３のいずれか一項に記載の表示制御システム。
【請求項１５】
前記表示制御手段は、
前記画像中における前記物体の態様及び位置の少なくとも１つの変化に基づいて、前記選択生成手段により選択または生成された表示データの表示態様を動的に変化させる、
請求項１４に記載の表示制御システム。
【請求項１６】
前記表示制御手段は、
前記画像中における、前記音情報が該当するカテゴリに対応する位置に関連付けて前記表示データを表示させる、
請求項１０〜１５のいずれか一項に記載の表示制御システム。
【請求項１７】
表示制御システムにおける表示制御方法であって、
音情報が関連付けられた画像情報を取得する取得ステップと、
予め設定された音に関する複数のカテゴリのうちの、前記取得ステップにおいて取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成ステップと、
前記選択生成ステップにおいて選択または生成された前記表示データを、該表示データに対応する前記音情報に代えて前記画像情報に関連付ける関連付けステップと、
を有する表示制御方法。
【請求項１８】
表示制御システムとしてコンピュータを機能させる表示制御プログラムであって、
前記コンピュータを、
音情報が関連付けられた画像情報を取得する取得手段、
予め設定された音に関する複数のカテゴリのうちの、前記取得手段により取得された前記画像情報に関連付けられた前記音情報が該当するカテゴリに基づいて、前記音情報に対応する表示データを選択または生成する選択生成手段、及び
前記選択生成手段により選択または生成された前記表示データを、該表示データに対応する前記音情報に代えて前記画像情報に関連付ける関連付け手段、
として機能させる表示制御プログラム。
【国際調査報告】
2017203667.tif 000014
2017203667.tif 000015
2017203667.tif 000016
2017203667.tif 000017