(57)【要約】【課題】発話文におけるカテゴリを適切に決定し、当該カテゴリに基づいた表示を行うことにより、利用者にとって利便性の高い表示制御装置を提供する。【解決手段】１又は複数の発話文をセクションとして管理し、前記セクションに含まれる発話文を形態素解析し、前記形態素解析の結果から得られる前記セクションが管理する発話文に含まれる単語と、カテゴリに紐付けられた単語とに基づいて、前記セクションのカテゴリを決定し、前記セクション毎に管理されている発話文を表示し、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、識別表示を行う。【選択図】図１１
2019023805.tif 000002
【特許請求の範囲】
【請求項１】
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶手段と、
発話文を記憶する発話文記憶手段と、
１又は複数の前記発話文を読み出して形態素解析する形態素解析手段と、
前記形態素解析の結果から発話文単語を出力する発話文単語出力手段と、
読み出された前記発話文をセクションとして管理するセクション管理手段と、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定手段と、
前記発話文を表示する制御を行う表示制御手段と、
を備え、
前記表示制御手段は、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、発話文の表示態様を切り替える表示を行う又は識別表示を行う制御を行うことを特徴とする表示制御装置。
【請求項２】
前記識別表示は、線であることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示態様は、発話文の背景色であることを特徴とする請求項１に記載の表示制御装置。
【請求項４】
前記セクション管理手段は、読み出された前記発話文に含まれる発話文単語数と、セクション判定単語数とを比較することで、前記セクションを生成して管理することを特徴とする請求項１から３の何れか一項に記載の表示制御装置。
【請求項５】
前記カテゴリ決定手段は、
前記セクションとして管理されている発話文に含まれる発話文単語をセクション単語とし、
前記セクション単語と、前記カテゴリ単語との重複単語数をカテゴリ別に算出し、最も重複単語数の大きいカテゴリを前記セクションのカテゴリとして決定することを特徴とする請求項１から４の何れか一項に記載の表示制御装置。
【請求項６】
前記カテゴリ決定手段により決定されたセクションのカテゴリを、前後のセクションに基づいて平滑化するセクション平滑手段を更に有することを特徴とする請求項１から５の何れか一項に記載の表示制御装置。
【請求項７】
前記表示制御手段は、利用者から選択された場合には、セクションに含まれる発言文を折り畳んで表示する制御を行うことを特徴とする請求項１から６の何れか一項に記載の表示制御装置。
【請求項８】
入力された音声を、音声データとして記憶する音声データ記憶手段と、
前記音声データを音声認識して発話文を出力する音声認識手段と、
を更に備えることを特徴とする請求項１から７の何れか一項に記載の表示制御装置。
【請求項９】
前記セクション管理手段は、前記音声データに含まれる無音区間を検出し、当該無音区間と、セクション判定時間とを比較することで、前記セクションを生成して管理することを特徴とする請求項８に記載の表示制御装置。
【請求項１０】
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶手段と、
発話文を記憶する発話文記憶手段と、
１又は複数の前記発話文を読み出して形態素解析する形態素解析手段と、
前記形態素解析の結果から発話文単語を出力する発話文単語出力手段と、
読み出された前記発話文がセクション生成条件に該当した場合に、当該発話文を１つのセクションとして管理するセクション管理手段と、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定手段と、
を備えることを特徴とするカテゴリ決定装置。
【請求項１１】
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶ステップと、
発話文を記憶する発話文記憶ステップと、
１又は複数の前記発話文 を読み出して形態素解析する形態素解析ステップと、
前記形態素解析の結果から発話文単語を出力する発話文単語出力ステップと、
読み出された前記発話文をセクションとして管理する セクション管理ステップと、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定ステップと、
前記発話文を表示する制御を行う表示制御ステップと、
を備え、
前記表示制御ステップは、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、発話文の表示態様を切り替える表示を行う又は識別表示を行う制御を行うことを特徴とする表示制御方法。
【請求項１２】
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶ステップと、
発話文を記憶する発話文記憶ステップと、
１又は複数の前記発話文を読み出して形態素解析する形態素解析ステップと、
前記形態素解析の結果から発話文単語を出力する発話文単語出力ステップと、
読み出された前記発話文がセクション生成条件に該当した場合に、当該発話文を１つのセクションとして管理するセクション管理ステップと、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定ステップと、
を備えることを特徴とするカテゴリ決定方法。
【請求項１３】
コンピュータに、請求項１１の表示制御方法の各ステップを実行させるためのプログラム。
【請求項１４】
コンピュータに、請求項１２のカテゴリ決定方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置等に関する。
【背景技術】
【０００２】
従来から、録音した音声データに対して音声認識技術を適用することで、テキストデータに変換する技術が知られている。
【０００３】
一般的に、音声認識技術は音声データをそのままテキストデータにするものであり、例えば会議を録音した音声データを音声認識させても、変換されたテキストデータには見出しなどは振られない。したがって、テキストデータを読み直す場合には、テキストデータを先頭から読みつつ、話題が切り替わった箇所を認識しながら、読み進める必要があった。
【０００４】
そこで、テキストデータにインデックスを付与することで話題が変化した箇所を、会議の振り返りをするときなどに利便性の高める技術が提案されている。
【０００５】
例えば、重要であると判断した発言があったとき、あるいは後で確認すべき有効な発言があったときなどに、しおり挿入を指示することで、後で再生したい発言にインデックスを付与できる発明が開示されている（例えば、特許文献１参照）。
【０００６】
また、音声コンテンツを音声認識して得たテキストデータに含まれる単語から発話単語リストを生成し、生成された発話単語リストから発話密度を算出し、当該発話密度が所定の値を超える単語を単位時間における話題語として抽出し、音声コンテンツの発話開始時刻から発話終了時刻に至るまでの所定の単位時間ごとに、抽出された話題語を対応付けて列挙した話題語リストを生成し、生成された話題語リストにおいて、話題語のいずれも列挙が続かない時刻を話題転換点として抽出する。そして、抽出された話題転換点によって区切られる区間ごとに、話題語リストにおいて各区間で列挙された話題語からインデクスを生成するといった発明が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１００９２８号公報
【特許文献２】特開２００８−００９５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述した特許文献１の方法は、会議等の参加者がしおりを挿入する指示をすることで会話を妨げる恐れや、会話に集中するあまり、しおりを挿入する指示を忘れてしまう恐れがあった。
【０００９】
また、特許文献２の方法は、「発話密度が閾値以上の話題語のいずれも列挙が続かない時刻」が話題転換点として抽出される。ここで、発話密度が閾値より低い単語による会話が続いた場合を想定すると、発話密度が閾値以上である単語が少なかったり、逆に閾値を下げることで話題語を多く検出してしまったりすることで、適切に話題転換点を検出できないという問題があった。
【００１０】
上述した課題に鑑み、本願発明の目的とするところは、発話文におけるカテゴリを適切に決定し、当該カテゴリに基づいた表示を行うことにより、利用者にとって利便性の高い表示制御装置等を提供することである。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、本発明の表示制御装置は、
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶手段と、
発話文を記憶する発話文記憶手段と、
１又は複数の前記発話文を読み出して形態素解析する形態素解析手段と、
前記形態素解析の結果から発話文単語を出力する発話文単語出力手段と、
読み出された前記発話文をセクションとして管理する セクション管理手段と、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定手段と、
前記発話文を表示する制御を行う表示制御手段と、
を備え、
前記表示制御手段は、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、発話文の表示態様を切り替える表示を行う又は識別表示を行う制御を行うことを特徴とする。
【００１２】
本発明のカテゴリ決定装置は、
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶手段と、
発話文を記憶する発話文記憶手段と、
１又は複数の前記発話文を読み出して形態素解析する形態素解析手段と、
前記形態素解析の結果から発話文単語を出力する発話文単語出力手段と、
読み出された前記発話文がセクション生成条件に該当した場合に、当該発話文を１つのセクションとして管理するセクション管理手段と、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定手段と、
を備えることを特徴とする。
【００１３】
本発明の表示制御方法は、
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶ステップと、
発話文を記憶する発話文記憶ステップと、
１又は複数の前記発話文 を読み出して形態素解析する形態素解析ステップと、
前記形態素解析の結果から発話文単語を出力する発話文単語出力ステップと、
読み出された前記発話文をセクションとして管理する セクション管理ステップと、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定ステップと、
前記発話文を表示する制御を行う表示制御ステップと、
を備え、
前記表示制御ステップは、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、発話文の表示態様を切り替える表示を行う又は識別表示を行う制御を行う、
ことを特徴とする。
【００１４】
本発明のカテゴリ決定方法は、
カテゴリと、当該カテゴリに対応付けられたカテゴリ単語とを記憶するカテゴリ単語記憶ステップと、
発話文を記憶する発話文記憶ステップと、
１又は複数の前記発話文を読み出して形態素解析する形態素解析ステップと、
前記形態素解析の結果から発話文単語を出力する発話文単語出力ステップと、
読み出された前記発話文がセクション生成条件に該当した場合に、当該発話文を１つのセクションとして管理するセクション管理ステップと、
前記セクションとして管理されている発話文に含まれる発話文単語と、前記カテゴリ単語とに基づいて、前記セクションのカテゴリを決定するカテゴリ決定ステップと、
を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、１又は複数の発話文をセクションとして管理し、前記セクションに含まれる発話文を形態素解析し、前記形態素解析の結果から得られる前記セクションが管理する発話文に含まれる単語と、カテゴリに紐付けられた単語とに基づいて、前記セクションのカテゴリを決定し、前記セクション毎に管理されている発話文を表示し、表示する発話文のセクションのカテゴリが、それまでに表示された発話文のセクションのカテゴリと異なる場合には、識別表示を行うこととなる。これにより、話題が変化した箇所を示す識別表示を確認しながら発話文を読み直すことのできる、利便性の高い表示をすることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態における表示制御装置の機能構成を説明するための図である。
【図２】第１実施形態における単語テーブルのデータ構成の一例を示した図である。
【図３】第１実施形態における会議テーブルのデータ構成の一例を示した図である。
【図４】第１実施形態における発話文テーブルのデータ構成の一例を示した図である。
【図５】第１実施形態におけるセクションテーブルのデータ構成の一例を示した図である。
【図６】第１実施形態におけるメイン処理を説明するための動作フローである。
【図７】第１実施形態におけるセクション生成処理を説明するための動作フローである。
【図８】第１実施形態におけるセクション生成処理を説明するための動作フローである。
【図９】第１実施形態におけるセクション生成処理の動作例を説明するための図である。
【図１０】第１実施形態における会議データ表示処理を説明するための動作フローである。
【図１１】第１実施形態における会議データ表示処理の動作例を説明するための図である。
【図１２】第２実施形態におけるセクション生成処理の動作例を説明するための図である。
【図１３】第２実施形態における会議データ表示処理の動作例を説明するための図である。
【図１４】第３実施形態におけるメイン処理を説明するための動作フローである。
【図１５】第３実施形態における平滑化処理を説明するための動作フローである。
【図１６】第３実施形態における平滑化処理の動作例を説明するための図である。
【図１７】第４実施形態におけるセクションテーブルのデータ構成の一例を示した図である。
【図１８】第４実施形態における会議データ表示処理の動作例を説明するための図である。
【図１９】第５実施形態における会議データ表示処理の動作例を説明するための図である。
【図２０】第６実施形態における会議データ表示処理の動作例を説明するための図である。
【図２１】第７実施形態における発話文テーブルのデータ構成の一例を示した図である。
【図２２】第７実施形態における会議データ表示処理の動作例を説明するための図である。
【図２３】第８実施形態における全体構成を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を実施するための形態について説明する。なお、本実施形態では、一例として、本発明における表示制御装置を有する表示装置１０について説明する。
【００１８】
ここで、表示装置１０は、会議における発言を表示することが可能な装置である。例えば、大型のディスプレイ装置であっても良いし、タブレットや携帯電話（スマートフォン）等の小型の情報処理装置であってもよい。また、会議データが表示可能であれば良い事から、例えば、プロジェクタのような投影装置であってもよい。
【００１９】
詳細は後述するが、例えば表示装置１０には、会議の音声を入力するためのマイクが接続され、当該マイクにおいて入力された音声を利用して会議データを表示してもよいし、既に音声が記憶された音声データが利用されてもよい。
【００２０】
本実施形態においては、表示装置１０が表示制御装置を有しているが、表示装置と、当該表示装置に接続された表示制御装置とを有する表示システムと構成してもよい。
【００２１】
なお、本明細書においては、会議での利用場面を一例として説明するが、例えば授業や、ミーティング、議会等の種々の場面において利用可能なことは勿論である。
【００２２】
［１．  第１実施形態］
［１．１  機能構成］
最初に、表示装置１０の機能構成について、図１に基づいて説明する。表示装置１０は、制御部１１０と、音声入力部１２０と、音声認識部１３０と、形態素解析部１４０と、表示部１５０と、記憶部１６０とを備えて構成されている。
【００２３】
制御部１１０は、表示装置１０の全体を制御するための機能部である。制御部１１０は、記憶部１６０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Processing Unit）等により構成されている。
【００２４】
音声入力部１２０は、音声入力装置（例えば、マイク）から入力された音声を、記憶部１６０にある音声データ記憶領域１７０に音声データとして出力する機能部である。なお、音声入力部１２０から出力される音声データは、例えば、ＭＰ３（MPEG Audio Layer-3）やＡＡＣ（Advanced Audio Coding）、ＷＡＶ等の音声符号化器により符号化された情報であるのが一般的である。なお、音声入力部１２０としては、マイク等の音声入力装置が予め備えられていてもよいし、入力ＩＦとして外部マイク等が接続されてもよい。
【００２５】
また、通信部（不図示）を介して、外部サーバ等から音声データを受信することにより、入力されてもよい。
【００２６】
音声認識部１３０は、音声データを認識し、テキストデータに変換し、出力するための機能部である。音声データを認識してテキストデータに変換するために用いる技術としては、いずれか公知の手法を用いればよく、例えば、汎用大語彙連続音声認識エンジンであるＪｕｌｉｕｓ等を用いることができる。
【００２７】
形態素解析部１４０は、テキストデータが入力され、入力されたテキストデータの形態素解析を行うための機能部である。形態素解析されたテキストデータは、品詞や単語毎に区切られたデータとして出力される。ここで、品詞や単語毎にデータが出力されてもよいし、テキストデータの文に区切り記号が挿入されて出力されてもよい。
【００２８】
また、テキストデータを形態素解析するために用いる手法としては、いずれか公知の方法を用いればよく、例えば、ＪＵＭＡＮやＭｅＣａｂ等を用いることができる。
【００２９】
表示部１５０は、利用者の操作のために必要な情報や、会議データ（会話文）を表示するための機能部である。例えば、ＬＣＤ（liquid crystal display）や、有機ＥＬディスプレイ、プロジェクタ等により構成されている。
【００３０】
記憶部１６０は、表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１６０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。
【００３１】
ここで、記憶部１６０には、単語テーブル１６２と、会議テーブル１６４と、発話文テーブル１６６と、セクションテーブル１６８とが記憶され、音声データを記憶する音声データ記憶領域１７０が確保されている。
【００３２】
以下、記憶部１６０に記憶されているデータについて説明する。はじめに、単語テーブル１６２について図２を参照して説明する。単語テーブル１６２には、会話のカテゴリ（例えば、「プロジェクトの目的」）と、カテゴリ単語（例えば、「目的、意義、…」）とが対応付けて記憶されている。
【００３３】
カテゴリ単語とは、対応するカテゴリに属するものと規定された単語である。例えば、「目的」という単語は「プロジェクトの目的」というカテゴリに属するため、カテゴリに対応して記憶される。１つのカテゴリに対して、１又は複数の単語を記憶させることができ、例えば、「プロジェクトの目的」というカテゴリには、「目的」以外にも、「意義」「顧客」「期待」といった複数の単語を記憶させることができる。
【００３４】
また、カテゴリ単語としては、本実施形態では「名詞」が記憶されているが、他の品詞であってもよい。また、単語には、複数の単語からなるものが含まれている。例えば、「顧客」「満足度」と２つの単語からなる「顧客満足度」を一つのカテゴリ単語として記憶してもよい。
【００３５】
また、複数のカテゴリを設定することができる。先述した「プロジェクトの目的」以外にも、「システム概要」や「日程コスト」といったカテゴリを設定し、それぞれのカテゴリに対応づけて、カテゴリ単語を記憶することができる。
【００３６】
さらに、単語テーブル１６２には、複数のカテゴリをまとめた大分類を設けてもよい。これにより、例えば、会議に対して大分類を指定することで、後述するセクションのカテゴリを決定する処理において、決定されるカテゴリを絞ることができる。
【００３７】
会議テーブル１６４について図３を参照して説明する。会議テーブル１６４は、記憶される会議に関するデータである会議データが記憶されており、会議名（例えば、「ＫＯＭ２０１７」）と、会議日時（例えば、会議開始日時である「２０１７年４月３日  １０：００」）と、音声データ（例えば、「20170403_1000_001.MP3」）とが対応付けて記憶されている。会議テーブル１６４には、会議日時として会議終了日時であってもよいし、会議日時以外にも、例えば、会議場所や参加者と行った、種々の会議の属性を記憶してもよい。
【００３８】
また、音声データとは、音声データ記憶領域１７０に記憶される音声データを特定するための情報であり、例えばファイル名が記憶されている。なお、音声データを直接会議テーブル１６４に含めてもよいし、音声データの記憶場所としては、クラウドサーバ上に記憶されていてもよい。すなわち、何らかの方法で音声データを特定できれば、いずれの手段を用いても良い。また、会議の属性から音声データが一意に特定できるのであれば、音声データという属性を設けなくてもよい。
【００３９】
発話文テーブル１６６について図４を参照して説明する。発話文テーブル１６６は、会議データを特定する会議名（例えば、「ＫＯＭ２０１７」）と、発話文を特定する文番号（例えば、「１」）と、発話文（例えば、「それでは、ただいまから……」）と、発話文単語（例えば、「キックオフ、ミーティング」）とが対応付けて記憶されている。
【００４０】
ここで、会議データにおけるテキストデータを文に区切る方法としては、例えば、テキストデータ内の句点や、改行といった文字の情報や、その発話がされた時間を手がかりにしてもよい。区切られた文は発話文として記憶され、その発話文が記憶された順番（すなわち、会議において発話された順番）に文番号が付与される。文番号は会議内において発話文が特定できればよく、例えば会議毎に１から始まる連番を付与してもよいし、任意の識別番号が付されてもよい。
【００４１】
発話文単語は、発話文に含まれる単語のうち、後述するセクションのカテゴリを特定するときに利用されるものを記憶したものである。発話文から単語を抽出する方法としては、発話文を形態素解析部１４０に入力し、形態素解析を実行する。そして、形態素解析後に出力された解析結果から、形態素の品詞情報や原形に基づいて単語を抽出する。ここで、本実施形態では、会話文に含まれる単語を出力すればよく、例えば、発話文に現れる単語のうち名詞のみを抽出する。これ以外にも用言の原形を用いたり、類義語の関係にある単語同士を特定の単語にしたりしても良い。
【００４２】
セクションテーブル１６８について図５を参照して説明する。セクションテーブル１６８は、会議データを特定する会議名（例えば、「Ａ製品ＭＴＧ」）と、セクションに含まれる発話文の範囲（以下、「セクション範囲」という。）の先頭を特定するための文番号である開始文番号（例えば、「１」）と、セクションに含まれる発話文の範囲の最後を特定するための文番号である終了文番号（例えば、「１０」）と、セクションに含まれる発言文単語を集約したセクション単語（例えば、「開発、中、製品、定例、試作、進捗、……」）と、セクション単語から決定されるカテゴリ（例えば、「状況説明」）とが記憶されている。
【００４３】
ここで、セクションとは、１又は複数の発話文を管理するための単位であり、１つの同じカテゴリに属する発話文を管理するための単位である。例えば、第１のセクションでは、発話文のうち、１〜１０の発話文が管理される。また、同じセクションに含まれる発話文から集約されたものがセクション単語である。
【００４４】
また、各セクションには、カテゴリが決定され、記憶されている。すなわち、セクションで管理されている各発話文は、セクションに割り当てられているカテゴリが割り当てられていることとなる。
【００４５】
また、セクション範囲として、本実施形態では開始文番号と、終了文番号とが記憶されているが、何れか記憶されているだけでもよい。例えば、開始番号又は終了番号の一方が記憶されていればよい。
【００４６】
セクション単語とは、セクションに含まれる発話文における発話文単語を集約したものであり、セクション生成処理により集約される。また、カテゴリとは、セクション単語から決定される、当該セクションのカテゴリを示したものである。
【００４７】
［１．２  処理の流れ］
つづいて、本実施形態における処理の流れについて説明する。
【００４８】
［１．２．１  メイン処理］
図６は表示装置１０のメイン処理について説明するフローチャートである。
【００４９】
まず、表示装置１０の利用者により、何らかの操作があったかどうかを判定する（ステップＳ１００２）。利用者の行う操作については、例えば、キーボードによる入力操作であってもよいし、表示部１５０に操作メニューを表示し、マウスの操作による選択操作であってもよい。
【００５０】
何らかの操作があれば（ステップＳ１００２；Ｙｅｓ）、その操作に応じた処理を行う。はじめに、利用者が行った操作が単語テーブル編集操作であったかを判定する（ステップＳ１００４）。単語テーブル編集操作であれば、単語テーブル１６２の編集処理を実行する（ステップＳ１００４；Ｙｅｓ→ステップＳ１００６）。単語テーブル１６２の編集処理とは、単語テーブル１６２にカテゴリを追加又は削除をしたり、すでに単語テーブル１６２に存在しているカテゴリのカテゴリ単語を追加又は削除したりする処理をいう。
【００５１】
つづいて、利用者が行った操作が録音操作であったかを判定する（ステップＳ１００８）。録音操作であった場合には、利用者から会議を特定するための会議名の入力を受け付け、会議名の入力後に会議の録音を開始する（ステップＳ１００８；Ｙｅｓ→ステップＳ１０１０）。なお、会議名の入力の際に、会議名以外にも、会議開始日時の属性が記憶されたり、会議場所、参加者といったその他の属性が記憶されたりしてもよい。
【００５２】
録音は、会議が終了するまで継続し、会議が終了したら録音を停止する。会議の終了は、利用者によって入力されてもよいし、時刻によって判定されてもよい。その後、ステップＳ１０１０で入力された会議名と、当該会議の日時（開始日時及び／又は終了日時）と、音声データとを会議データとして会議テーブル１６４に記憶する（ステップＳ１０１２；Ｙｅｓ→ステップＳ１０１４）。
【００５３】
ここで、音声データは、記憶部１６０の音声データ記憶領域１７０に記憶され、当該音声データのパスが会議データとして記憶される。なお、当該音声データを直接会議テーブル１６４に記憶してもよい。
【００５４】
つづいて、記憶された音声データから、発話文と発話文を形態素解析して抽出した発話文単語とを対応付けて、発話文テーブル１６６に記憶する（ステップＳ１０１６）。具体的な処理としては、はじめに、音声認識部１３０は、記憶された音声データに基づいて音声認識を実行する。音声認識が実行されることにより、音声データを認識した結果であるテキストデータが出力される。
【００５５】
次に、出力されたテキストデータを文単位に分割し、会議の発話文として発話文テーブル１６６に記憶する。さらに、形態素解析部１４０は、発話文の形態素解析を実行し、発話文に含まれる単語を発話文単語として発話文テーブル１６６に記憶する。すなわち、会議名と、文番号とに対応づけて、発話文と、発話文に含まれる発話文単語とが発話文テーブル１６６に記憶される。
【００５６】
なお、本実施形態では、後述するセクション生成条件の判定において、発話文に含まれる単語数を用いるため、１つの発話文に同一の単語（名詞）が複数含まれていても同一の単語を集約させず、発話文に出現したとおりに、発話文単語を記憶させる。
【００５７】
また、本実施形態では、形態素解析部１４０は、発話文の形態素解析を実行することにより、発話文に含まれる名詞を発話文単語として出力する。発話文単語として出力されるものは、名詞句であったり、動詞等の他の品詞を含む物であったりしてもよい。
【００５８】
つづいて、セクション生成処理を行う（ステップＳ１０１８）。セクション生成処理については、図７を参照して後述する。
【００５９】
なお、本実施形態では、音声を認識し発話文を記憶する処理と、セクション生成処理とを、音声データを記憶させた後に行っているが、音声データ記憶時には行わず、後述する閲覧処理において閲覧する会議が選択されたときに行ってもよいし、利用者の明示的な操作によって行ってもよいし、決められた時間にバッチ処理によって行われてもよい。
【００６０】
つづいて、利用者の操作が閲覧操作であったかを判定する（ステップＳ１０２０）。当該操作が閲覧操作であれば、会議データ表示処理を行う（ステップＳ１０２０；Ｙｅｓ→ステップＳ１０２２）。会議データ表示処理については、図１０を参照して後述する。
【００６１】
つづいて、利用者の操作が終了操作であったかを判定する（ステップＳ１０２４）。終了操作であれば、メイン処理を終了する（ステップＳ１０２４；Ｙｅｓ）。終了操作としては、電源ＯＦＦの操作であったり、プログラムを終了する操作であったりする。
【００６２】
上述した操作以外であれば、ステップＳ１００２へ戻り、処理を繰り返し実行する。なお、図６で説明した以外の操作（例えば印刷操作）等が実行される場合があるが、当該操作に対応する処理については、説明を省略する。
【００６３】
［１．２．２  セクション生成処理］
図７及び図８はセクション生成について説明するフローチャートである。
【００６４】
はじめに、セクション生成処理で用いる一時的に使用する単語リスト（以下、テンポラリ単語リスト）を初期化する（ステップＳ１０５２）。ここで、テンポラリ単語リストの初期化は、例えば空の配列を代入すればよい。
【００６５】
次に、対象となっている会議名に対応する会議データの先頭の発話文を読み出す（ステップＳ１０５４）。
【００６６】
つづいて、テンポラリ単語リストに、現在読み出している発話文の発話文単語を追加する（ステップＳ１０５６）。ここで、テンポラリ単語リストは、発話文を読み出す度に当該発話文に対応した発話文単語が追加され、後述するセクションの記憶をした後に初期化される。したがって、テンポラリ単語リストには、生成しようとしているセクションに含まれる発話文に対応する発話文単語がすべて含まれることとなる。
【００６７】
つづいて、セクション生成条件であるかを判定する（ステップＳ１０５８）。セクション生成条件に合致したときに、セクションテーブル１６８にセクションを記憶させる。
【００６８】
セクションを生成する条件としては、例えば以下のようなものである。
（１）会話中の無音区間がセクション判定時間以上存在した場合
（２）発話文がセクション判定発話文数に到達した場合
（３）発話文単語の単語数がセクション判定単語数に到達した場合
（４）利用者により、セクションを切り分ける指示がされた場合
（５）セクション特定単語（例えば、「セクション切替え」といった単語）が登場した場合
これらのセクション生成条件は１つであってもよいし、複数組み合わせてもよい。
【００６９】
ここで、セクション判定時間は、セクションを判定するのに用いられる時間である。会話中の無音の区間の時間と、セクション判定時間とを比較し、無音の区間がセクション判定時間以上存在した場合には、セクションが生成される。すなわち、セクション判定時間は、話題を変化したと判定するのに十分な時間（例えば、「５秒間」）が設定される。ここで、セクション判定時間は、予め設定されても良いし、利用者が設定してもよい。また、会話から自動的に判定され、可変するものであってもよい。
【００７０】
また、セクション判定発話文数は、セクションを判定するのに用いられる発話文数である。発話文の数と、セクション判定発話文数とを比較し、発話文の数がセクション判定発話文数となった場合又は超えた場合には、セクションが生成される。すなわち、セクション判定発話文数は、セクションと判定するのに十分な発話文の数（例えば、「１０発話文」）として設定される。
【００７１】
また、セクション判定単語数は、セクションを判定するのに用いられる単語数である。ここで、セクション判定単語数は、発話文に含まれる全体の単語数の閾値が設定されてもよいし、発話文単語の中で、カテゴリを決定するための単語数の閾値が設定されてもよい。発話文単語の単語数（発話文単語数）と、セクション判定単語数とを比較し、発話文単語数が、セクション判定単語数となった場合又は超えた場合には、セクションが生成される。すなわち、セクション判定単語数は、セクションと判定するのに十分な単語数（例えば、累計の単語数として「１００単語」や、カテゴリ決定に必要な単語数として「２０単語」）として設定される。
【００７２】
本実施形態では、これらの条件を組み合わせて利用する。例えば、現在注目している発話文を発話し終わった後に無音区間の中でセクション判定時間の無音区間が存在し、かつ、発話文単語のうち、カテゴリの決定に必要な単語数（例えば「２０単語以上」）に到達（テンポラリ単語リストに含まれる単語の数が所定の数以上）した場合にセクションが生成される。２つ組み合わせたのは、無音区間の有無の他に、セクションに含まれる単語数を参照することで、細かいセクションが数多く追加されてしまうことを防ぐ効果があるためである。
【００７３】
なお、この手法以外にも、単位時間あたりの発話文に基づく条件を設定しても良い。また、最後の発話文を読み込んでいる場合も、セクションの追加条件としてもよい。これにより、全ての発話文がいずれかのセクションに属することが保証できる。
【００７４】
セクション生成条件に合致した場合は、テンポラリ単語リストを集約し、セクション単語を決定する（ステップＳ１０６０）。そして、決定されたセクション単語を含むセクションを生成し、セクションテーブル１６８に記憶する（ステップＳ１０６２）。
【００７５】
具体的に説明すると、はじめに、テンポラリ単語リストに含まれる単語で、同一の単語が２以上存在する場合には、それらを１つに集約する。これにより、テンポラリ単語リストに含まれている単語が集約される。
【００７６】
その後、現在対象となっている会議名と、当該セクションの先頭の文番号である開始文番号と、現在読み出している発話文の文番号である終了文番号と、テンポラリ単語リストに含まれている単語をセクション単語とから、セクションを生成する。この時点においてはセクションのカテゴリは決定してないため、「カテゴリ」の値は「null」にしてもよい。
【００７７】
なお、セクション単語としては、上述したように、テンポラリ単語リストを集約したものを用いてもよいし、テンポラリ単語リストに記憶されている単語をそのまま記憶させてもよい。この場合は、発話文に含まれる単語が全てセクション単語に含まれるため、単語の出現頻度という情報を用いることができる。出現頻度の情報があることにより、後述するセクションのカテゴリを決定する処理において、出現頻度の情報に基づいてカテゴリを決定することができる。
【００７８】
セクションを生成し記憶したら、テンポラリ単語リストを初期化する（ステップＳ１０６４）。これは、次のセクションに含める単語を決定するときに、それまでに読み出した発話文の情報を含ませないようにするためである。
【００７９】
つづいて、対象となっている会議データの発話文を全て読み出したかを判定する（ステップＳ１０６４）。発話文全てを読み出していなければ、次の発話文を発話文テーブル１６６から読み出し（ステップＳ１０６６；Ｎｏ→ステップＳ１０６８）、ステップＳ１０５６へ戻る。
【００８０】
つづいて、発話文を全て読み出した後、セクションのカテゴリを決定する処理を実行する。まず、生成したセクションの数が所定の数（例えば「２」）以上であるかを判定する（ステップＳ１０７０）。所定の数に満たない場合は、セクション生成処理を終了する（ステップＳ１０７０；Ｎｏ）。この判定をすることにより、セクションに対するカテゴリの決定が有効である会議データに限って、セクションに対するカテゴリの決定を行うことができる。
【００８１】
生成したセクションの数が所定の数以上であれば（ステップＳ１０７０；Ｙｅｓ）、ステップＳ１０６２で生成したセクションに対して、セクションのカテゴリを決定し記憶する。ここで先のステップＳ１０６２の説明のとおり、セクション記憶した時点においてはカテゴリを決定していない。そこで、単語テーブル１６２の各カテゴリのカテゴリ単語と、注目しているセクションのセクション単語とに基づいて、そのセクションのカテゴリとして記憶する。
【００８２】
具体的には、はじめに、先頭のセクションを読み出す（ステップＳ１０７２）。次に、単語テーブル１６２から、先頭のカテゴリを読み出す（ステップＳ１０７４）。
【００８３】
ここで、ステップＳ１０７２で読み出したセクションにはセクション単語が、ステップＳ１０７４で読み出したカテゴリにはカテゴリ単語がそれぞれ記憶されており、セクション単語に含まれる単語の一部は、カテゴリ単語にも含まれる。そこで、セクション単語と、カテゴリ単語との両方に含まれる単語の数を重複単語数として算出する（ステップＳ１０７６）。
【００８４】
つづいて、単語テーブル１６２のカテゴリを全て読み出したかを判定する（ステップＳ１０７８）。全てのカテゴリを読み出していない場合は、単語テーブル１６２から次のカテゴリを読み出して、ステップＳ１０７６へ戻る（ステップＳ１０７８；Ｎｏ→ステップＳ１０８０）。
【００８５】
単語テーブル１６２のカテゴリを全て読み出した場合には（ステップＳ１０７８；Ｙｅｓ）、重複単語数の最も大きいカテゴリを、セクションのカテゴリとして決定する（ステップＳ１０８２）。ここで、単語帳複数が最も大きいカテゴリをセクションのカテゴリとして決定するのは、セクションで話題としているカテゴリに近いと判定されるからである。
【００８６】
具体例として、カテゴリの決定を４回行った場合の動作について、模式的に示した図９に基づいて説明する。図９の表は、セクションと、単語テーブル１６２のカテゴリを列として並べたものと、重複単語数によって決定されるセクションのカテゴリとを並べた表である。
【００８７】
この図において、例えば１番目のセクションの行には、カテゴリ「状況説明」に「２」が、カテゴリ「日程コスト」と「推進」に「１」がそれぞれ記載されている。これらの単語テーブルのカテゴリの下に記載している数字は、そのカテゴリにおける重複単語数を表している。すなわち、１番目のセクションのセクション単語と、カテゴリ「状況説明」のカテゴリ単語とに含まれている重複単語数は「２」である。
【００８８】
同様に、セクション単語と、単語テーブル１６２のカテゴリ「日程コスト」と「推進」のカテゴリ単語との重複単語数が「１」であることを示している。他方、例えばカテゴリ「プロジェクトの目的」のカテゴリ単語と、セクション単語との重複単語数は「０」であり、これは、同じ単語は含まれていないこととなる。
【００８９】
このように、セクションテーブル１６８に記憶されるセクション毎のセクション単語と、単語テーブル１６２のカテゴリ毎のカテゴリ単語とで重複する単語の数を調べていく。
【００９０】
そして、セクション内において、最も重複単語数が大きかったカテゴリを、そのセクションのカテゴリとして決定する。例えば、１番目のセクションのセクション単語は、カテゴリが「状況説明」における重複単語数が「２」、「日程コスト」と「推進」における重複単語数が「１」であるため、カテゴリ「状況説明」の重複語数が最も大きい。したがって、当該セクションのカテゴリは「状況説明」に決定される。このようにして、他のセクションに対しても、カテゴリ単語とセクション単語との重複単語数を算出し、セクションのカテゴリを決定する。
【００９１】
図８に戻って、セクションのカテゴリが決定したら、そのカテゴリを当該セクションのカテゴリとして追加して更新する（ステップＳ１０８４）。具体的には、ステップＳ１０８０で読み出したセクションには、カテゴリの属性には具体的な値が含まれていない（ｎｕｌｌ値）ため、ステップＳ１０８２で決定したカテゴリを追加し、セクションを更新する。
【００９２】
つづいて、対象となっている会議データのセクションの全てを読み出したかを判定する（ステップＳ１０８６）。読み出していなければ、次のセクションを読み出し（ステップＳ１０８６；Ｎｏ→ステップＳ１０８８）、ステップＳ１０７４へ戻る。全て読み出していた場合は、セクション生成処理を終了する（ステップＳ１０８６；Ｙｅｓ）。
【００９３】
［１．２．３  会議データ表示処理］
つづいて、会議データ表示処理について図１０を参照して説明する。この処理は、利用者に会議データを閲覧するための表示を、表示部１５０を介して行う処理である。ここで、会議データとは、会議における属性や、発話文及びセクションのカテゴリが変化した箇所を明示するためのデータを含めたものをいう。
【００９４】
はじめに、会議テーブル１６４を読み出し、会議データの一覧を表示する（ステップＳ１１０２）。会議データの一覧の表示には、会議名の他に、会議の属性を表示してもよい。
【００９５】
つづいて、ステップＳ１１０２で表示した会議データの一覧から、利用者により１つの会議データが選択されたかを判定する（ステップＳ１１０４）。会議データの選択は、キーボードによる入力や、マウスの操作によってなされる。
【００９６】
つづいて、会議データが選択された場合は、セクションテーブル１６８から、選択された会議データに対応する最初のセクションを読み出す（ステップＳ１１０４；Ｙｅｓ→ステップＳ１１０６）。
【００９７】
つづいて、出力しようとしている発話文が属するカテゴリを示すために、現在読み出しているセクションのカテゴリを出力する（ステップＳ１１０８）。そして、当該セクションに含まれる開始文番号と、終了文番号とに基づき、発話文テーブル１６６から発話文を抽出し表示する（ステップＳ１１１０）。
【００９８】
つづいて、読み出したセクションが、選択された会議データにおける最後のセクションであるかを判定する（ステップＳ１１１２）。最後のセクションであれば、会議データ表示処理は終了する（ステップＳ１１１２；Ｙｅｓ）。
【００９９】
最後のセクションでなければ（ステップＳ１１１２；Ｎｏ）、次のセクションを読み出す（ステップＳ１１１４）。そして、ステップＳ１１１４で読み出す前に読み出していたセクションのカテゴリと、ステップＳ１１１４で読み出したセクションのカテゴリとが変化していないかを判定する（ステップＳ１１１６）。
【０１００】
すなわち、隣接する２つのセクションのカテゴリが異なるかを判定する。比較した結果、セクションのカテゴリが変化した場合（ステップＳ１１１６；Ｙｅｓ）、識別表示を出力する（ステップＳ１１１８）。
【０１０１】
これにより、１つ前に読み出したセクションと、現在読み出しているセクションとの間で、話題の転換が起きたと判定することができる。そのために、利用者に話題の転換が起きたことを視認させるために、識別表示を行っている。なお、識別表示によって区切られた区間、すなわち、同じカテゴリのセクションをまとめたものをチャプタという。
【０１０２】
ここで、識別表示としては区切り線を表示してもよく、１本線、２本線、点線、一点鎖線等種々の方法が考えられ、カテゴリ毎に色や線種を変更してもよい。また、チャプタ毎に背景色を変えるといった表示態様をしてもよい。具体的にはカテゴリごとに背景色を設定し、チャプタ内のセクションのカテゴリに対応した背景色を、発話文の背景に表示する。こうすることで、表示された発話文がどのカテゴリに関するものかを容易に視認することが可能となる。
【０１０３】
なお、ステップＳ１１１４でセクションを読み出す前のカテゴリは、変数に記憶しても良いし、セクションテーブル１６８から読み出し直しても良い。
【０１０４】
つづいて、ステップＳ１１１４で読み出したセクションのカテゴリを出力する（ステップＳ１１２０）。ここで、カテゴリの出力はステップＳ１１０８と、ステップＳ１１２０で行われているが、いずれも、チャプタの先頭にチャプタタイトルとしてカテゴリを出力する。なお、チャプタタイトルは表示してもよいし、表示しなくてもよい。
【０１０５】
つづいて、ステップＳ１１１４で読み出したセクションの発話文を出力するためにステップＳ１１１０へ戻る。
【０１０６】
会議データ表示処理において表示部１５０に出力される画面の具体例を、図１１を参照して説明する。図１１（ａ）は、表示部１５０に会議データの一覧を表示している画面の例であり、図１１（ｂ）は、会議データが選択された後の画面の例である。
【０１０７】
図１１（ａ）は、閲覧したい会議データを選択するためのユーザインターフェイスである表示画面Ｗ１００を示している。表示画面Ｗ１００には、選択が可能な会議データを示す会議名Ｅ１００が表示されている。また、選択できる会議が多いなどの理由により、表示画面Ｗ１００には選択可能なすべての会議が表示しきれない場合は、他の会議を表示するためのスクロールバーＥ１０２が表示されてもよい。なお、画面の例として表示される図において、スクロールバーが記載されている場合は、表示画面に入りきれなかったものを表示するための操作に用いるものとして配置しているものであり、その説明を省略する。
【０１０８】
表示画面Ｗ１００において、利用者はマウスやキーボードの操作により、Ｅ１００を選択することで、閲覧したい会議データを指定することができる。
【０１０９】
図１１（ｂ）は、表示画面Ｗ１００において利用者が選択した会議の会議データを閲覧するためのインターフェイス（以下、会議データ閲覧画面という）である表示画面Ｗ１１０を示している。
【０１１０】
表示画面Ｗ１１０においては、チャプタタイトルＥ１１２と、セクションに含まれる発話文Ｅ１１４と、カテゴリの変化を示す識別表示としての区切り線Ｅ１１６とが配置されている。また、表示画面Ｗ１００の画面に戻るためのボタンＥ１１８が配置されている。
【０１１１】
利用者は、チャプタタイトルＥ１１２や、区切り線Ｅ１１６を参考にして、閲覧したい箇所の発話文Ｅ１１４を特定し、読むことができる。
【０１１２】
このように、本実施形態によれば、利用者が会議データを閲覧表示する場合に、テキストデータを表示する場合、会話の区切り（チャプタ）を表示することができる。したがって、利用者はどこで話題が変わったかを、容易に視認することが可能となる。
【０１１３】
また、表示される会話の区切りは、会話の内容に基づいて自動的に挿入されるものである。したがって、利用者が自ら設定する必要がなくなり、チャプタを手動で設定するといった手間を省略することが可能となる。
【０１１４】
なお、１つのセクションに含まれる発話文の数を１とすることで、発話文ごとにカテゴリを決定して付与することも可能である。これにより、発話文の中で、重要な発話文を視認することが可能となる。例えば、単語テーブル１６２にカテゴリ名を「価格」とし、カテゴリ単語を「金額」「円」としたカテゴリを作り、セクション生成条件を「発話文の数が１に達した時」とする。このようにすることで、金額の部分が別のチャプタとして表示され、金額の部分を視認しやすくなることが期待できる。
【０１１５】
［２．  第２実施形態］
つづいて、第２実施形態について説明する。第２実施形態は、セクション生成処理において、セクションのカテゴリを決定する際に、何れのカテゴリに属さない場合には、そのセクションに対して空のカテゴリ（空白カテゴリ）を決定する実施形態である。なお、第２実施形態は、第１実施形態と同一の機能構成であり、処理についても同様であるため、その説明を省略し、第１実施形態と異なる内容を中心に説明する。
【０１１６】
第１実施形態のステップＳ１０８２では、単語テーブル１６２の各カテゴリのカテゴリ単語と、注目しているセクションのセクション単語とで一致する単語の数を算出し、ステップＳ１０８４では最も重複単語数の大きいカテゴリを、そのセクションのカテゴリとしていた。しかし、どのカテゴリにおいても、一致する単語の数が少ない場合は、この方法によって適切なカテゴリが決定されるとは限らない。そこで、本実施形態では、一致する単語の数が閾値（例えば「３」）に満たない場合は、そのセクションに対して、単語テーブル１６２に記憶されている何れのカテゴリでもない、空白カテゴリとして決定される。
【０１１７】
具体例を、図１２と図１３を参照して説明する。図１２は、セクションテーブル１６８の例である。この例では、会議名が「Ａ製品ＭＴＧ」である会議において、文番号が「１」と「２」で特定される発話文が、１番目のセクションに含まれ、このセクションのカテゴリとして「状況説明」が付与されていることを示している。同様に、３番目と４番目のセクションに対しては、単語テーブル１６２のいずれのカテゴリにも属さないものとして「空白カテゴリ」が付与されていることを示している。
【０１１８】
この場合における、会議データ閲覧画面である表示画面Ｗ２００の例を図１３に示す。表示画面Ｗ２００において、Ｅ２００で示した箇所が、空白カテゴリとして記憶されているチャプタ（セクション）の発話文を表示した部分である。この部分は、空白カテゴリが記憶されていないセクションと異なる表示をしても良く、図１３の例では、Ｅ２００にはチャプタタイトルを示さないことによって、空白カテゴリであることを示している。これ以外にも、空白カテゴリが決定されている区間を表す方法として、例えば、発話文を表示するときの文字色を変えても良い。
【０１１９】
これにより、空白カテゴリの部分と、そうでない部分とを視覚的に表現でき、利用者が会議データを振り返るときの効率を上げられる効果が期待できる。
【０１２０】
［３．  第３実施形態］
つづいて、第３実施形態について説明する。第３実施形態は、セクション生成処理において、セクションのカテゴリを付与した後、再度セクションテーブル１６８を読み出し、セクションのカテゴリを平滑化する処理を行う実施形態である。ここで、平滑化とは、例えば、突発的に別のカテゴリが決定されたセクションがあった場合に、当該セクションのカテゴリを前後のセクションのカテゴリに揃える修正を行うことをいう。
【０１２１】
なお、第３実施形態は、第１実施形態と同一の機能構成であり、処理についても同様であるため、その説明を省略し、第１実施形態と異なる内容を中心に説明する。
【０１２２】
本実施形態は、第１実施形態の図６の処理を、図１４の処理に置き換えた実施形態である。ここで、第３実施形態における表示装置１０について、第３実施形態の表示装置１０の機能構成は、第１実施形態と同一であるため、その説明を省略する。また、図６の処理と同一の処理については、同一の符号を付すことで、その詳細な説明を省略する。
【０１２３】
本実施形態では、図１４において、セクション生成処理（ステップＳ１０１８）を実行した後に、平滑化処理を実行する（ステップＳ３００２）。
【０１２４】
平滑化の方法については様々な方法があるが、本実施形態では、連続した３つのセクションを抽出し、１番目及び３番目のセクションとの関係で、２番目のセクションのカテゴリを修正する場合について説明する。
【０１２５】
平滑化処理について、図１５を用いて説明する。はじめに、セクションテーブル１６８から、平滑化処理の対象である会議名が属性として設定されているセクションを読み出す（ステップＳ３０５２）。
【０１２６】
つづいて、読み出したセクションの数が所定の数（例えば「３」）以上であるかを判定する（ステップＳ３０５４）。所定の数に満たない場合は、平滑化処理を終了する（ステップＳ３０５４；Ｎｏ）。この判定をすることにより、平滑化処理が可能である場合に限って、平滑化処理を行うことができる。
【０１２７】
つづいて、先頭の平滑化対象区間に含まれるセクションを読み出す（ステップＳ３０５６）。平滑化対象区間とは、平滑化を行うために参照するセクションの範囲である。本実施形態のように、連続した３つのセクションを抽出し、２番目のセクションのカテゴリを修正する場合であれば、平滑化対象区間に含まれるセクションの数は３である。この場合、先頭の平滑化対象区間のセクションとは、解析対象の会議のセクションのうち、１番目、２番目、３番目の３セクションをいう。
【０１２８】
つづいて、平滑化が必要であるかを判定する（ステップＳ３０５８）。平滑化が必要であるかは、どのような平滑化を行うかにもよるが、例えば、注目している３つのセクションについて、以下の条件である。
（１）１番目と３番目のセクションのカテゴリが一致する
（２）２番目のセクションのカテゴリが、隣接するセクションのカテゴリと異なる
（３）２番目のセクションに属する発話文の数が所定の数（例えば「２」）以下である
（４）１番目と３番目のセクションに属する発話文の数が、それぞれ所定の数（例えば「１０」）以上である
【０１２９】
上記の条件を満たした場合に平滑化が必要であるとすることができる。この例では、特定のカテゴリの話題が続いていたときに、１又は２発話だけ別の話題になった場合に、平滑化が必要であるとしている。
【０１３０】
つづいて、平滑化が必要であると判定された場合は、平滑化対象のセクションのカテゴリを修正し記憶する（ステップＳ３０５８；Ｙｅｓ→ステップＳ３０６０）。すなわち、ステップＳ３０５６で読み出した平滑化対象区間に含まれるセクションのうち、セクション生成処理において決定したカテゴリに修正が必要だと判定されたセクションは、カテゴリを修正して記憶し直す。
【０１３１】
先述した平滑化が必要な場合の判定の例で平滑化が必要と判定された場合は、２番目のセクションのカテゴリを修正する。これにより、１番目及び３番目のセクションのカテゴリと揃うため、この連続する３セクションは話題の変化がなかったものと扱うことができる。
【０１３２】
つづいて、全てのセクションを読み出したかを判定する（ステップＳ３０６２）。すなわち、全てのセクションに対して平滑化が必要であるかの判定が行われたかを判定する。全てのセクションを読み出していた場合は、平滑化処理は終了する（ステップＳ３０６２；Ｙｅｓ）。全てのセクションを読み出していない場合は、次の平滑化対象区間のセクションを読み出し、ステップＳ３０５８へ戻る（ステップＳ３０６２；Ｎｏ→ステップＳ３０６４）。
【０１３３】
平滑化処理の具体例を、図１６を参照して示す。図１６は、セクションテーブル１６８を抽出したものであり、説明のために開始文番号と終了文番号とを具体的な文番号で表したものである。すなわち、例えば１番目のセクションには文番号が「１」の発話文から、文番号が「１７」である発話文まで、合わせて１７の発話文が含まれる。また、「平滑化処理前」の下に記載しているカテゴリは平滑化処理を行う前に付与されたカテゴリであり、「平滑化処理後」の下に記載しているカテゴリは、平滑化処理をしたあとのカテゴリである。
【０１３４】
平滑化の方法については、本実施形態で説明した例をそのまま用いることとして説明する。したがって、３セクションを単位として、平滑化を行う。
【０１３５】
はじめに、先頭の３つのセクションを読み出し、平滑化が必要であるかを判定する。
（１）１番目と３番目のセクションのカテゴリは「状況説明」であり一致している
（２）２番目のセクションのカテゴリは、隣接しているセクションのカテゴリとは異なる「商談関係」である
（３）２番目のセクションに属する発話文の数は１であり、２以下である
（４）１番目と３番目のセクションの範囲に含まれる発話文の数はともに１０以上である
【０１３６】
この場合、２番目のセクションのカテゴリを「商談関係」から「状況説明」に修正（平滑化）する。
【０１３７】
つづいて、次の平滑化対象区間であるセクション、すなわち、２番目から４番目までのセクションを読み込む。これらの３セクションに対して、平滑化が必要であるかを判定する。
【０１３８】
（１）２番目のセクションのカテゴリは、すでに「状況説明」に修正しているため、２番目と４番目のセクションのカテゴリは「状況説明」であり一致している
（２）３番目のセクションのカテゴリも「状況説明」であるため、隣接するセクションのカテゴリとは異なってはいない
このように、平滑化が必要である条件の全てを満たしていないため、３番目のセクションについては、平滑化は必要であるとは判定されない。
【０１３９】
さらに、次の平滑化対象区間であるセクション、すなわち、３番目から５番目までのセクションを読み出す。３番目のセクションのカテゴリは「状況説明」であるが、５番目のセクションのカテゴリは「商談関係」であるため、平滑化が必要であるかの条件のうち（１）に合致せず、平滑化は必要であるとは判定されない。
【０１４０】
この時点で、図１６に示した全てのセクションを読み出したので、平滑化処理は終了する。平滑化処理の結果、２番目のセクションのカテゴリが修正されたため、図１６の「平滑化処理後」の下のカテゴリが付与されたこととなる。
【０１４１】
なお、本実施例では、連続する３セクションを平滑化対象区間として扱うこととして説明したが、これよりに平滑化対象区間を広く設定したり、動的に決定したりできることは勿論である。また、平滑化が必要であるかの判定も、所定の基準に基づいて行う方法以外にも、解析対象とする会議の性質や、発現頻度等の情報を利用する。
【０１４２】
平滑化を行うことにより、カテゴリが変化した箇所の数を抑制することができ、同じ話題が続く区間を広くすることができる。したがって、区切り線の出力を抑えられ、また、後述する話題が続く区間の表示を切り替える際に、ある程度まとまった範囲の切り替えが可能となる。これにより、利用者が会議データを振り返るときの効率を上げられる効果が期待できる。
【０１４３】
［４．  第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は、第１実施形態と構成は同じであるが、セクションに対して重要度（スコア）を算出する実施形態である。
【０１４４】
本実施形態におけるセクションテーブル１６８について、図１７を参照して説明する。図１７は、第１実施形態のセクションテーブル１６８に、スコアの属性を追加したものである。スコアは、ある一定の指標に基づいて算出すればよい。例えば、セクション名詞とカテゴリ名詞との重複名詞数を、セクション内の全名詞数で割った値を用いても良い。
【０１４５】
また、スコアを算出するステップは、カテゴリを決定するステップ（ステップＳ１０８２）において行っても良いし、会議データ表示処理時に行っても良い。
【０１４６】
さらに、セクション単位ではなく、発話文単位又はチャプタ単位にスコアを算出してもよい。
【０１４７】
図１８に、スコアを考慮した会議データ閲覧画面の例を示す。表示画面Ｗ４００では、重要度を文字の表示方法の違いで表現した例である。表示画面Ｗ４００において、Ｅ４００の発話文は、スコアが比較的高いセクションに属するものであり、下線を引くことでスコアが高いことを表現している。
【０１４８】
また、表示画面Ｗ４１０においては、Ｅ４１０の部分でチャプタタイトルと併せてスコアを星の数で表している。
【０１４９】
これにより、利用者が会議データを振り返るとき、重要度を考慮して閲覧できるため、会議の振り返りの効率を上げられる効果が期待できる。
【０１５０】
［５．  第５実施形態］
つづいて、第５実施形態について説明する。第５実施形態は、第１実施形態と構成は同じであるが、会議データ表示処理において、チャプタに含まれる発話文の表示が切り替えられる実施形態である。
【０１５１】
具体例を、図１９を参照して説明する。図１９は、会議データ閲覧画面である表示画面Ｗ５００を示している。表示画面Ｗ５００では、チャプタタイトルの横に、チャプタの表示を切り替えるためのアイコンを表示する。
【０１５２】
Ｅ５００は、チャプタに含まれる発話文が表示されているチャプタにおける、チャプタタイトルの表示例である。この例では、チャプタタイトルの横に下向きの三角のアイコンを表示することで、発話分が表示されていることを示している。
【０１５３】
一方でＥ５０２は、チャプタに含まれる発話文を折り畳んで表示する、すなわち表示画面には表示されないチャプタにおける画面例である。この例では、チャプタタイトルの横に右向きの三角のアイコンを表示することで、発話文が表示されておらず、折り畳まれていることを示している。さらに省略記号を併せて表示することで、発話文の表示がされていないことと表示の切り替えができることを強調している。
【０１５４】
このようにすることで、利用者が発話文を表示される場合に、必要なチャプタのみ表示することができ、会議の振り返りの効率を上げられる効果が期待できる。
【０１５５】
［６．  第６実施形態］
つづいて、第６実施形態について説明する。第６実施形態は、第１実施形態と構成は同じであるが、会議データ表示処理において、表示するセクションのカテゴリを利用者が選択できる実施形態である。
【０１５６】
具体例を、図２０を参照して説明する。図２０は、会議データ閲覧画面である表示画面Ｗ６００を示している。表示画面Ｗ６００では、表示するカテゴリを選択するチェックボックスリストＥ６００と、会議データを表示する領域Ｅ６０２を表示する。
【０１５７】
利用者はチェックボックスリストＥ６００から、閲覧したいカテゴリのチェックを入れる。これにより、表示領域Ｅ６０２では、チェックを入れたカテゴリのセクションの発話文だけが表示される。なお、セクションを表示する際に、セクション範囲が連続しない場合（すなわち、別のチャプタを表示する場合）は、チャプタが異なることを示す区切り線（図２０におけるＥ６０４）を表示しても良い。
【０１５８】
このようにすることで、利用者が会議データを振り返るとき、必要なカテゴリに属する発話文に限って表示することができ、会議の振り返りの効率を上げられる効果が期待できる。
【０１５９】
［７．  第７実施形態］
つづいて、第７実施形態について説明する。第７実施形態は、第１実施形態と構成は同じであるが、会議データ表示処理において、発言者ごとに表示を変える実施形態である。
【０１６０】
具体例を、図２１と図２２を参照して説明する。図２１は、図４に示した発話文テーブル１６６に、発話文に示した文を発言した者を記憶する属性である「発言者」を追加したものである。発言者の属性は、ステップＳ１０１６において発話文テーブル１６６に発話文が記憶されるときに、発言者も記憶することとする。
【０１６１】
発話者を特定する手法としては、１つの音声データに多人数の発言を記憶し、音声の特徴量をもとに特定する方法や、音声入力装置としてのマイクを人数分用意し、参加者ごとの音声データを音声認識部に入力して、発話文テーブルに統合してもよい。
【０１６２】
また、図２２は会議データ閲覧画面である表示画面Ｗ７００である。表示画面Ｗ７００には、発言者Ｅ７００と、発話文Ｅ７０２とが表示されている。また、Ｅ７０４は別の発言者である。図２２では、発言者の違いを、発言者の背景を変えたり、発言者ごとに異なるアイコンを表示したりすることで示している。
【０１６３】
発言者の部分以外にも、発話文の表示方法を発言者ごとに異なるものとしてもよい。例えば、発話文の背景色を変えたり、発話文の文字を修飾したりしてもよい。
【０１６４】
また、第６実施形態のように、表示画面Ｗ７００に表示する発言者を切り替えるためのチェックボックスを設けてもよい。
【０１６５】
このようにすることで、利用者が会議データを振り返るとき、発言者によって発話文を絞り込んで表示することが可能となる。これにより、必要とする発言者の発話文のみを効率的に振り返ることが期待できる。
【０１６６】
［８．  第８実施形態］
つづいて、第８実施形態について説明する。第８実施形態は、表示装置１０をクライアントサーバモデルに置き換えたものである。
【０１６７】
本実施形態におけるクライアントサーバモデルの全体構成を図２３に示す。図に示すように、全体構成としては表示装置１０とサーバ装置２０とがネットワークを介して接続されている。図に示すように、表示装置１０は複数接続されていてもよい。本図では、例えば端末装置１２が更に接続されている。また、図においては、表示装置１０とサーバ装置２０とは、外部ネットワークに接続されているものとしているが、ネットワークで接続されていれば、同一ネットワークで接続されていてもよい。
【０１６８】
クライアントである表示装置１０は、ディスプレイとマイクとが接続されたＰＣであってよい。会議は、当該表示装置１０が設置された部屋で行われ、表示装置１０で会話の録音及び資料の表示等を行うこととなる。
【０１６９】
表示装置１０にて、会議開始の指示を行うと、表示装置１０からサーバ装置２０へ接続し、これと同時に音声の記憶が始まる。なお、会議開始の指示を行うときに、会議名などの属性を入力してもよい。
【０１７０】
会議中は、表示装置１０に接続されたマイクから音声が集音され、表示装置１０にて音声認識を行う。そして、認識されたテキストデータである発話文をサーバ装置２０へ送信する。このとき、表示装置１０には、送信した発話文を表示してもよい。
【０１７１】
サーバ装置２０が発話文を受信したら、当該発話文を形態素解析し、発話文と発話文に含まれる単語とを対応付けて、発話文テーブル１６６に記憶する。なお、発話文テーブルにおける文番号は、受信した発話文の順に、連番を付与してもよい。
【０１７２】
つづいて、サーバ装置２０は発話文テーブル１６６に記憶された発話文から、セクションの生成と、セクションのカテゴリの決定とを行い、セクションテーブル１６８を更新する。
【０１７３】
つづいて、サーバ装置２０はセクションテーブル１６８に記憶されているセクションに基づき、発話文と識別表示とを表示装置１０が表示できる画面表示用データを表示装置１０に送信する。画面表示用データとしては、セクションテーブル１６８に記憶しているセクションの情報であってもよいし、ＨＴＭＬなどのＷｅｂブラウザ上で表示できるデータであってもよい。
【０１７４】
つづいて、表示装置１０は画面表示用データを受信したら、当該画面表示用データに基づき、発話文や、識別表示をディスプレイ等の表示部に表示する。
【０１７５】
なお、表示装置１０におけるテキストデータの送信や発話文の送信に関しては、専用のアプリケーションによって実現してもよいし、Ｗｅｂブラウザ上で実行するＷｅｂアプリケーションによって実現してもよい。また、サーバ装置２０におけるテキストデータの受信やセクションの情報の送信を、専用のアプリケーションによって実現してもよいし、Ｗｅｂサーバを介して実現してもよい。また、音声認識を実行するためのプログラムは表示装置１０に予め用意してもよいし、サーバ装置２０から配信されてもよい。
【０１７６】
本実施形態においては、音声データを認識して発話文に変換する処理と、会議データ表示処理とを表示装置１０で行い、形態素解析処理と、セクション生成処理とをサーバ装置２０が行う。
【０１７７】
表示装置１０とサーバ装置２０の間で送受信されるデータは、テキストデータとセクションの情報である。これらのデータは音声データと比較して、一般的にデータサイズは小さいものなので、リアルタイム性の高い会議データ及び識別表示の出力が可能となる。これにより、一定の議論が進んでいるかを把握しながら会議を進められるなど、利便性の高い会議データ表示システムを提供することが可能となる。
【０１７８】
なお、例えば、端末装置１２の場合は、端末装置１２で音声認識を行うのではなく、音声データをサーバ装置２０へ送信し、サーバ装置で音声認識からセクションに対するカテゴリの決定までを行ってもよい。このようにすることで、端末装置１２は会議音声の録音（音声入力）と、サーバ装置２０への音声データや会議の属性情報の送信と、サーバ装置２０から送信される会議データの表示のみを行えばよく、性能の高くない装置においても、会議データの表示を行うことができる。
【０１７９】
［９．第９実施形態］
つづいて、第９実施形態について説明する。上述実施形態においては、会議データを生成後にセクションを生成していたが、会議データ表示時に生成する実施形態である。
【０１８０】
具体的には、図６のステップＳ１０１８においてセクション生成処理を実行していたが、この時点ではセクション生成処理を実行しない。そして、会議データを表示するときに、各会話文からセクションを判定し、カテゴリを決定する。
【０１８１】
具体的には、発話文を読み出して表示し、表示している間にセクション生成条件に該当したか判定する。このとき、表示された発話文単語は、セクション単語としてセクションＩＤ（識別番号）に対応づけて記憶されていく。
【０１８２】
そして、セクション生成条件に該当した場合に、現在のセクションと、その前に表示されたセクションとが同一のカテゴリかを判定する。ここで、カテゴリが異なっている場合には、その前に表示されたセクション最後の発話文と、今回のセクションの最初の発話文との間に区切りを挿入する。すなわち、この区切りの位置に識別表示がされることとなる。
【０１８３】
このように、本実施形態によれば、会議データを表示時に、セクションの区切りを挿入することが可能となる。
【０１８４】
［１０．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【０１８５】
上述した実施形態は、説明の都合上、各実施形態を分けて説明しているが、可能な範囲で組み合わせて実行することが可能である。例えば第１実施形態と、第２実施形態と、第３実施形態とを組み合わせることにより、空白カテゴリの付与及び、カテゴリの平滑化が行われて、よりまとまりのあるチャプタの生成が可能となる。
【０１８６】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、ＨＤＤやＳＳＤ（solid state drive）などの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。
【０１８７】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【符号の説明】
【０１８８】
１０  表示制御装置
１１０  制御部
１２０  音声入力部
１３０  音声認識部
１４０  形態素解析部
１５０  表示部
１６０  記憶部
１６２  単語テーブル
１６４  会議テーブル
１６６  発話文テーブル
１６８  セクションテーブル
１７０  音声データ記憶領域
【図１】
2019023805.tif 000003
【図２】
2019023805.tif 000004
【図３】
2019023805.tif 000005
【図４】
2019023805.tif 000006
【図５】
2019023805.tif 000007
【図６】
2019023805.tif 000008
【図７】
2019023805.tif 000009
【図８】
2019023805.tif 000010
【図９】
2019023805.tif 000011
【図１０】
2019023805.tif 000012
【図１１】
2019023805.tif 000013
【図１２】
2019023805.tif 000014
【図１３】
2019023805.tif 000015
【図１４】
2019023805.tif 000016
【図１５】
2019023805.tif 000017
【図１６】
2019023805.tif 000018
【図１７】
2019023805.tif 000019
【図１８】
2019023805.tif 000020
【図１９】
2019023805.tif 000021
【図２０】
2019023805.tif 000022
【図２１】
2019023805.tif 000023
【図２２】
2019023805.tif 000024
【図２３】
2019023805.tif 000025