(57)【要約】【課題】  発言間の関係を明確に示すことが可能な表示装置等を提供すること。【解決手段】  表示装置の一種であるプロジェクター１００が、発言者の発言ごとの発言内容を示す内容データ１５２を記憶する記憶部１５０と、内容データ１５２に基づき、発言間の関係を決定する決定部１６０と、決定部１６０による決定と、内容データ１５２に基づき、発言間の関係を示す画像を生成する画像生成部１７０と、当該画像を表示する表示部として機能する投写部１９０を含んで構成される。【選択図】  図１
2011204119.tif 000002
【特許請求の範囲】
【請求項１】
発言者の発言ごとの発言内容を示す内容データを記憶する記憶部と、
前記内容データに基づき、前記発言間の関係を決定する決定部と、
当該決定部による決定と、前記内容データとに基づき、前記発言間の関係を示す画像を生成する画像生成部と、
前記画像を表示する表示部と、
を含む表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記画像生成部は、前記画像として、前記発言ごとの吹き出し画像を線で結んだ画像を生成する、
表示装置。
【請求項３】
請求項１、２のいずれかに記載の表示装置において、
前記関係を決定するための指定を受け付ける受付部を含み、
前記決定部は、前記受付部によって受け付けられた指定に応じて、前記発言間の関係を決定する、
表示装置。
【請求項４】
請求項２に従属する請求項３に記載の表示装置において、
前記決定部による決定に応じて、前記発言間の関係を示す関係データを前記記憶部に記憶し、前記受付部によって受け付けられた前記関係を変更する指定に応じて、前記関係データを更新する更新部を含み、
前記画像生成部は、前記関係データと、前記内容データとに基づき、前記画像を生成する、
表示装置。
【請求項５】
請求項１〜４のいずれかに記載の表示装置において、
音声生成部と、
当該音声生成部によって生成される音声を出力する音声出力部と、
を含み、
前記記憶部は、前記発言ごとの音声を示す音声データを記憶し、
前記音声生成部は、前記決定部による決定と、前記音声データとに基づき、前記発言間の関係に応じた音声を生成する、
表示装置。
【請求項６】
請求項５に記載の表示装置において、
前記決定部は、前記発言間の関係として、各発言の表示順序を決定し、
前記画像生成部は、前記表示順序に応じて前記画像を生成し、
前記音声生成部は、前記表示順序に応じて前記画像と同期させて前記音声を生成する、
表示装置。
【請求項７】
請求項５、６のいずれかに記載の表示装置において、
前記発言者の音声が入力される音声入力部と、
前記音声入力部に入力された音声に基づいて、前記内容データと、前記音声データとを前記記憶部に記憶する、音声変換部と、
を含む表示装置。
【請求項８】
発言者の発言ごとの発言内容を示す内容データを記憶する記憶部と、表示部とを有する表示装置における表示方法であって、
前記表示装置は、
前記内容データに基づき、前記発言間の関係を決定し、
当該決定部による決定と、前記内容データとに基づき、前記発言間の関係を示す画像を生成し、
前記画像を表示する、
表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および表示方法に関する。
【背景技術】
【０００２】
例えば、特開２００７−２７９９０号公報に記載されているように、音声の特徴量に基づいて話者を特定し、音声認識したテキストデータを示す吹き出し画像を生成し、吹き出しの形や大きさ等を編集することが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２７９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特開２００７−２７９９０号公報の吹き出しの編集方法は、１つの吹き出しを対象として編集する方法である。例えば、会議において、複数の発言者が発言した場合、発言の順序と議題の順序が一致しないことがある。このような場合、上記手法を用いて吹き出しと議題を関連付けることは困難である。
【０００５】
本発明にかかるいくつかの態様は、上記課題を解決することにより、発言間の関係を明確に示すことが可能な表示装置および表示方法を提供するものである。
【課題を解決するための手段】
【０００６】
本発明の態様の１つである表示装置は、発言者の発言ごとの発言内容を示す内容データを記憶する記憶部と、前記内容データに基づき、前記発言間の関係を決定する決定部と、当該決定部による決定と、前記内容データとに基づき、前記発言間の関係を示す画像を生成する画像生成部と、前記画像を表示する表示部と、を含むことを特徴とする。
【０００７】
また、本発明の態様の１つである表示方法は、発言者の発言ごとの発言内容を示す内容データを記憶する記憶部と、表示部とを有する表示装置における表示方法であって、前記表示装置は、前記内容データに基づき、前記発言間の関係を決定し、当該決定部による決定と、前記内容データとに基づき、前記発言間の関係を示す画像を生成し、前記画像を表示することを特徴とする。
【０００８】
本発明によれば、表示装置は、内容データに基づいて発言間の関係を示す画像を表示することにより、発言間の関係を明確に示すことができる。
【０００９】
また、前記画像生成部は、前記画像として、前記発言ごとの吹き出し画像を線で結んだ画像を生成してもよい。これによれば、表示装置は、発言ごとの吹き出し画像を線で結んだ画像を表示することにより、発言間の関係を明確に示すことができる。
【００１０】
また、前記表示装置は、前記関係を決定するための指定を受け付ける受付部を含み、前記決定部は、前記受付部によって受け付けられた指定に応じて前記発言間の関係を決定してもよい。これによれば、表示装置は、指定に応じて発言間の関係を示す画像を表示することにより、発言間の関係を明確に示すことができる。
【００１１】
また、前記表示装置は、前記決定部による決定に応じて前記発言間の関係を示す関係データを前記記憶部に記憶し、前記受付部によって受け付けられた前記関係を変更する指定に応じて前記関係データを更新する更新部を含み、前記画像生成部は、前記関係データと、前記内容データとに基づき、前記画像を生成してもよい。これによれば、表示装置は、変更の指定に応じて発言間の関係を示す画像を表示することにより、発言間の関係を明確に示すことができる。
【００１２】
また、前記表示装置は、音声生成部と、当該音声生成部によって生成される音声を出力する音声出力部と、を含み、前記記憶部は、前記発言ごとの音声を示す音声データを記憶し、前記音声生成部は、前記決定部による決定と、前記音声データとに基づき、前記発言間の関係に応じた音声を生成してもよい。これによれば、表示装置は、発言間の関係に応じて音声を出力することができるため、発言間の関係を明確に示すことができる。
【００１３】
また、前記決定部は、前記発言間の関係として、各発言の表示順序を決定し、前記画像生成部は、前記表示順序に応じて前記画像を生成し、前記音声生成部は、前記表示順序に応じて前記画像と同期させて前記音声を生成してもよい。これによれば、表示装置は、表示順序に応じて画像と同期させて音声を出力することができるため、発言間の関係を明確に示すことができる。
【００１４】
また、前記表示装置は、前記発言者の音声が入力される音声入力部と、前記音声入力部に入力された音声に基づいて、前記内容データと、前記音声データとを前記記憶部に記憶する、音声変換部と、を含んでもよい。これによれば、表示装置は、マイク等の音声入力部から複数の発言者の音声が入力され、入力された音声に基づいて、発言間の関係を示す画像を生成して表示することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施例におけるプロジェクターの機能ブロック図である。
【図２】第１の実施例における投写手順を示すフローチャートである。
【図３】第１の実施例における画像の一例を示す図である。
【図４】第２の実施例におけるプロジェクターの機能ブロック図である。
【図５】第２の実施例における投写手順を示すフローチャートである。
【図６】第２の実施例における画像の一例を示す図である。
【図７】第２の実施例における結合時の画像の一例を示す図である。
【図８】第２の実施例における分割時の画像の一例を示す図である。
【図９】第２の実施例における消去時の画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明をプロジェクターに適用した実施例について、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００１７】
（第１の実施例）
図１は、第１の実施例におけるプロジェクター１００の機能ブロック図である。表示装置の一種であるプロジェクター１００は、記憶部１５０と、マイク等から音声が入力される音声入力部１３０と、当該音声を認識して発言内容を示す内容データ１５２と、当該音声を示す音声データ１５４を記憶部１５０に記憶する音声変換部１４０と、内容データ１５２に基づき、発言間の関係を決定する決定部１６０と、決定部１６０による決定と、内容データ１５２に基づき、発言間の関係を示す画像を生成する画像生成部１７０と、当該画像を表示する表示部として機能する投写部１９０と、音声データ１５４等に基づく音声を生成する音声生成部１８０と、当該音声を出力する音声出力部１８８を含んで構成されている。
【００１８】
なお、プロジェクター１００は、以下のハードウェアを用いてこれらの各部として機能してもよい。例えば、プロジェクター１００は、音声入力部１３０は音声入力端子等、音声変換部１４０はＣＰＵ、音声処理回路等、記憶部１５０はＲＡＭ等、決定部１６０はＣＰＵ等、画像生成部１７０は画像処理回路等、音声生成部１８０は音声処理回路等、音声出力部１８８はアンプ、スピーカー等、投写部１９０はランプ、液晶パネル、液晶駆動回路、レンズ等を用いてもよい。
【００１９】
次に、本実施例における画像の投写手順について説明する。図２は、第１の実施例における投写手順を示すフローチャートである。例えば、プロジェクター１００が会議室に設置され、複数の参加者がマイクを用いて発言し、マイクからの音声がプロジェクター１００に入力されるものとする。
【００２０】
音声変換部１４０は、音声入力部１３０に入力された音声に基づき、内容データ１５２と、音声データ１５４を記憶部１５０に記憶する（ステップＳ１）。なお、内容データ１５２は、例えば、音声認識によって識別される発言者ごとの発言者ＩＤ、発言を識別するための発言ＩＤ、発言開始日時を示す情報、音声認識によって当該発言が文字変換されたテキストデータ等を含んでもよい。また、音声データ１５４は、例えば、発言を識別するための発言ＩＤ、発言開始日時を示す情報、当該発言に対応した音声を示す音声情報等を含んでもよい。また、発言は、例えば、発言者が変わるまでという基準、一定時間（例えば、１分、５分等）ごとという基準、無音状態が所定時間（例えば、１０秒、１分等）以上続くまでという基準等によって区分されてもよい。
【００２１】
発言内容の確認指示等があった場合、決定部１６０は、内容データ１５２に基づき、発言間の関係を示す表示順序を決定する（ステップＳ２）。例えば、決定部１６０は、発言開始日時を示す情報に基づいて発言開始日時順に表示順序を決定したり、テキストデータに含まれるキーワードに応じて同じ議題についての発言が順番に表示されるように表示順序を決定したりしてもよい。画像生成部１７０は、決定部１６０によって決定された表示順序に応じて各発言が表示されるように、内容データ１５２に基づき、画像を生成し、投写部１９０は、当該画像を表示する（ステップＳ３）。
【００２２】
図３は、第１の実施例における画像２００の一例を示す図である。例えば、画像２００では、議題Ａについての３つの発言を示す３つの吹き出し画像が矢印（線）で結ばれた状態で表示される。また、各吹き出し画像は、発言者ごとに異なる形状で表示される。また、画像２００は、発言の個数が増加することによって複数のページに吹き出し画像が存在するようになった場合に、前のページを表示させるための画像、次のページを表示させるための画像、画像２００の表示を終了するための画像を含む。
【００２３】
音声生成部１８０は、決定部１６０による決定に応じて画像２００の表示と同期して音声が出力されるように、音声データ１５４に基づき、音声を生成し、音声出力部１８８は、当該音声を出力する（ステップＳ４）。例えば、画像２００では、吹き出し画像である「発言Ａ−２」が強調表示されている。この状態では、音声出力部１８８は、「発言Ａ−２」の音声を出力する。
【００２４】
以上のように、本実施例によれば、プロジェクター１００は、内容データ１５２に基づいて発言ごとの吹き出し画像を線で結んだ画像２００を投写することにより、発言間の関係を明確に示すことができる。
【００２５】
また、本実施例によれば、プロジェクター１００は、発言間の関係に応じて音声を出力することができるため、発言間の関係を明確に示すことができる。特に、本実施例によれば、プロジェクター１００は、表示順序に応じて画像と同期させて音声を出力することができるため、発言間の関係をより明確に示すことができる。
【００２６】
（第２の実施例）
第１の実施例では、プロジェクター１００は、表示順序を自動的に決定したが、ユーザーの指定に応じて表示順序等を調整してもよい。次に、このような機能を有するプロジェクターの機能ブロックについて説明する。
【００２７】
図４は、第２の実施例におけるプロジェクター１０１の機能ブロック図である。プロジェクター１０１は、プロジェクター１００と同様の構成であるが、記憶部１５１が発言間の関係を示す関係データ１５６を記憶し、決定部１６１が関係データ１５６に基づく決定を行い、画像生成部１７１が関係データ１５６に基づく画像を生成し、プロジェクター１０１が、ユーザーの指定を受け付ける受付部１１０と、当該指定に応じて関係データ１５６を更新する更新部１２０を含んでいる点でプロジェクター１００と異なっている。なお、受付部１１０は、例えば、リモコン（リモートコントローラー）からの指示光を受光する受光ユニット等、更新部１２０はＣＰＵ等であってもよい。また、関係データ１５６は、例えば、発言ＩＤ、発言ＩＤごとの表示順序を示す番号、発言ＩＤごとの表示有無を示すデータ等を含んでもよい。
【００２８】
次に、本実施例における画像の投写手順について説明する。図５は、第２の実施例における投写手順を示すフローチャートである。第１の実施例と同様に、記憶部１５１に内容データ１５２、音声データ１５４が記憶され、デフォルトの表示順序（例えば、発言開始日時順等）を示す関係データ１５６も記憶されているものとする。
【００２９】
更新部１２０は、受付部１１０からの情報に基づき、表示順序の変更等の指定があったかどうかを判定する（ステップＳ１１）。指定があった場合、更新部１２０は、当該指定に応じて関係データ１５６を更新する（ステップＳ１２）。
【００３０】
画像生成部１７１は、指定の有無に関わらず、内容データ１５２、関係データ１５６に基づき、画像を生成し、投写部１９０は、当該画像を投写する（ステップＳ１３）。プロジェクター１０１は、終了指示があるかどうかを判定し（ステップＳ１４）、終了指示があるまで上述した一連の処理（ステップＳ１１〜Ｓ１４）を繰り返し実行する。
【００３１】
図６は、第２の実施例における画像２１０の一例を示す図である。画像２１０は、例えば、発言ごとの画像、前のページを表示させるための画像、次のページを表示させるための画像、発言を結合するための画像、発言を分割するための画像、発言を消去するための画像、画像２００の表示を終了するための画像を含む。ここでは、ユーザーがリモコンを操作して「発言Ａ−２」を選択しているものとする。この状態で、ユーザーがリモコンを操作して「発言Ａ−３」も選択し、複数の発言を結合するための「結合」を選択した場合、以下の画像が投写される。
【００３２】
図７は、第２の実施例における結合時の画像２１１の一例を示す図である。ここでは、「発言Ａ−２」と「発言Ａ−３」が選択された状態で「結合」が選択されたため、「発言Ａ−２」と「発言Ａ−３」が結合された画像２１１が投写される。具体的には、例えば、更新部１２０は、受付部１１０からの情報に基づき、結合操作があった場合、選択された複数の発言ＩＤ等を１つの発言ＩＤ等にまとめるように内容データ１５２、音声データ１５４、関係データ１５６を更新する。また、「発言Ａ−２」が選択された状態で、１つの発言を複数の発言に分割するための「分割」が選択された場合、以下の画像が投写される。
【００３３】
図８は、第２の実施例における分割時の画像２１２の一例を示す図である。ここでは、「発言Ａ−２」が選択された状態で「分割」が選択されたため、「発言Ａ−２」が「発言Ａ−２−１」と「発言Ａ−２−２」に分割された画像２１２が投写される。具体的には、例えば、更新部１２０は、受付部１１０からの情報に基づき、分割操作があった場合、選択された１つの発言ＩＤ等を２つの発言ＩＤ等に分割するように内容データ１５２、音声データ１５４、関係データ１５６を更新する。なお、分割の場合、例えば、２分割であれば元の時間を２分割した時間分の発言に分割され、３分割であれば元の時間を３分割した時間分の発言に分割されてもよい。また、「発言Ａ−２」が選択された状態で、発言を消去するための「消去」が選択された場合、以下の画像が投写される。
【００３４】
図９は、第２の実施例における消去時の画像２１３の一例を示す図である。ここでは、「発言Ａ−２」が選択された状態で「消去」が選択されたため、「発言Ａ−２」が消去され、「発言Ａ−１」と「発言Ａ−３」が矢印で結ばれた状態の画像２１３が投写される。具体的には、例えば、更新部１２０は、受付部１１０からの情報に基づき、消去操作があった場合、選択された発言ＩＤ等を消去するように内容データ１５２、音声データ１５４、関係データ１５６を更新する。なお、更新部１２０は、消去操作時に、実際のデータを消去するのではなく、関係データ１５６における表示有無を示すデータを更新することによって「発言Ａ−２」が表示されないようにしてもよい。
【００３５】
以上のように、本実施例によっても、プロジェクター１０１は、第１の実施例と同様の作用効果を奏する。また、本実施例によれば、プロジェクター１００は、ユーザーによる変更の指定に応じて発言間の関係を示す画像２１０〜２１３を表示することにより、発言間の関係を明確に示すことができる。
【００３６】
また、本実施例によれば、ユーザーは、リモコン操作だけで発言内容を確認したり、所望の順序で発言を示す音声を再生したりすることができ、簡易な操作で会議や授業等を進行することができる。
【００３７】
（その他の実施例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、プロジェクター１００、１０１は、吹き出し画像における文字列や吹き出し画像を結合する矢印等を編集可能に表示したり、吹き出し画像を移動させたり、吹き出し画像を待機エリアに移動して待機させたり、吹き出し画像を待機エリアから使用対象エリアに移動させたりしてもよい。
【００３８】
また、画像２００、２１０〜２１３は、ページ単位で追加されたり、ページ単位で削除されたりしてもよい。また、ページ単位で削除することが指定された場合、投写部１９０は、削除対象のページにおける発言を消去するかどうかをユーザーに選択させる画像を投写してもよい。
【００３９】
また、プロジェクター１００、１０１は、内容データ１５２、音声データ１５４、関係データ１５６を外部の装置に出力したり、携帯型情報記憶媒体に記憶させたりしてもよい。
【００４０】
また、画像生成部１７０、１７１は、発言者ごとに異なる形状で吹き出し画像を表示する手法だけでなく、発言者ごとに異なる色、模様で吹き出し画像を表示したり、発言者ごとに異なる位置に吹き出し画像を表示したりする手法、発言者ごとに文字の色が異なるように吹き出し画像を表示したりする手法等を採用してもよい。
【００４１】
また、画像生成部１７０、１７１は、発言ごとの吹き出し画像を線で結ぶ場合、矢印に代えて、直線、曲線等を採用してもよい。また、発言間の関係を示す画像は、発言ごとの吹き出し画像を線で結ぶ画像に限定されず、発言者ごとの領域に発言を示す画像が配置された画像、発言日ごとの領域に発言を示す画像が配置された画像、発言場所ごとの領域に発言を示す画像が配置された画像等であってもよい。
【００４２】
また、音声変換部１４０は、マイクから入力される音声を変換する手法に代え、外部の装置や携帯型情報記憶媒体に記憶された音声データを変換する手法を採用してもよい。また、記憶部１５０、１５１および音声データ１５４等は必須ではない。例えば、第１の実施例では、プロジェクター１００は、吹き出し画像の表示順序と同期して音声を出力したが、音声を出力せずに、発言に対応した吹き出し画像を順番に投写することも可能である。また、表示装置は、プロジェクター１００、１０１に限定されず、例えば、テレビ、液晶モニター、携帯電話等であってもよい。
【００４３】
また、プロジェクター１００、１０１の有するコンピューターは、情報記憶媒体に記憶されたプログラムを読み取って決定部１６０、１６１等として機能してもよい。このような情報記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用できる。
【００４４】
また、プロジェクター１００、１０１は、液晶プロジェクター（透過型、ＬＣＯＳ等の反射型）に限定されず、例えば、デジタルマイクロミラーデバイスを用いたプロジェクター等であってもよい。また、投写部１９０は、ランプの代わりにＬＥＤ等の固体光源を含んでもよい。また、プロジェクター１００、１０１の機能を複数の装置（例えば、ＰＣとプロジェクター等）に分散してもよい。
【符号の説明】
【００４５】
１００、１０１  プロジェクター（表示装置）、１１０  受付部、１２０  更新部、１３０  音声入力部、１４０  音声変換部、１５０  記憶部、１５２  内容データ、１５４  音声データ、１５６  関係データ、１６０、１６１  決定部、１７０、１７１  画像生成部、１８０  音声生成部、１８８  音声出力部、１９０  投写部（表示部）、２００、２１０〜２１３  画像
【図１】
2011204119.tif 000003
【図２】
2011204119.tif 000004
【図４】
2011204119.tif 000005
【図５】
2011204119.tif 000006
【図３】
2011204119.tif 000007
【図６】
2011204119.tif 000008
【図７】
2011204119.tif 000009
【図８】
2011204119.tif 000010
【図９】
2011204119.tif 000011