(57)【要約】　　　（修正有）【課題】原子力発電プラント等のプラントのようなシミュレータを用いた運転員の訓練状況を、ＶＴＲ等の動画記録媒体に保存した場合において、動画とともに音声情報を操作可能にテキスト表示し、時間的な訓練状況の推移とともにコミュニケーションによる情報伝達内容を把握することが可能な分析評価システムである。【解決手段】動画音声分析評価システム１は、動画表示部、音声波形表示部および分析評価チャート表示部を有するディスプレイ２Ｂと演算記憶装置２Ａとを具備した情報処理システム２で構成される。そして、演算記憶装置２Ａに、動画データファイル、音声データファイルおよび時刻情報が保存され、演算記憶装置２Ａは、音声データファイルを参照して音声波形信号を音声波形表示部に表示するとともに音声を同期出力し、かつ動画データファイルを参照して動画を動画表示部に同期表示するように構成される。【選択図】　図１
2004102116.tif 000002
【特許請求の範囲】
【請求項１】
動画表示部、音声波形表示部および分析評価チャート表示部を有するディスプレイと演算記憶装置とを具備した情報処理システムで構成され、前記演算記憶装置に、動画データファイル、音声データファイルおよび時刻情報が保存され、この演算記憶装置は、前記音声データファイルを参照して音声波形信号を前記音声波形表示部に表示するとともに音声を同期出力し、かつ前記動画データファイルを参照して動画を前記動画表示部に同期表示し、さらに音声データファイルに含まれる対話のうち抽出した一部あるいは全部をテキスト形式に変換した対話テキストと時刻情報から得られた時刻とを前記分析評価チャート表示部に同期表示するようにしたことを特徴とする動画音声分析評価システム。
【請求項２】
前記演算記憶装置に分析評価情報が保存され、前記演算記憶装置は、前記対話テキストと前記分析評価情報とから作成された分析評価結果を、前記分析評価チャート表示部に同期表示する構成としたことを特徴とする請求項１記載の動画音声分析評価システム。
【請求項３】
前記演算記憶装置に、シミュレータパラメータ情報が保存され、前記演算記憶装置は、前記シミュレータパラメータ情報を前記時刻情報から得られた時刻とともに前記分析評価チャート表示部に同期した状態でテキスト表示する構成としたことを特徴とする請求項１記載の動画音声分析評価システム。
【請求項４】
前記情報処理システムは、情報入力手段を具備し、前記音声波形表示部から情報入力手段により出力指示情報が入力されることにより音声波形信号、音声および動画が再生速度および再生方向の調整可能に同期出力制御されるようにしたことを特徴とする請求項１記載の動画音声分析評価システム。
【請求項５】
前記情報処理システムは、情報入力手段を具備し、前記音声波形表示部から情報入力手段により範囲指示情報が入力されることにより音声波形信号、音声および動画の同期出力範囲が設定されるようにしたことを特徴とする請求項１記載の動画音声分析評価システム。
【請求項６】
前記音声波形表示部から情報入力手段により音声波形信号の任意の部位を選択すると、選択した音声波形信号の部位に相当する時刻が、前記演算記憶装置に保存された時刻情報に基づき自動計算されて前記分析評価チャート表示部にテキスト表示されるようにしたことを特徴とする請求項１記載の動画音声分析評価システム。
【請求項７】
音声波形表示部を有するディスプレイと演算記憶装置と情報入力手段とを具備した情報処理システムで構成され、前記演算記憶装置に音声データファイルが保存され、この演算記憶装置は、前記音声データファイルを参照して音声波形信号を前記音声波形表示部に表示するとともに、音声波形表示部に前記情報入力手段により出力指示情報を入力することで再生速度および再生方向が調整可能に同期出力制御され、また、音声波形表示部に前記情報入力手段により範囲指示情報を入力することで音声の再生範囲が設定されるようにしたことを特徴とする動画音声分析評価システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画とともに音声テキストおよびその音声波形をディスプレイ表示して、対話による情報伝達の分析評価を可能とした動画音声分析評価システムに関する。
【０００２】
【従来の技術】
原子力発電所のような、信頼性とともに運転員の技量が要求されるプラントでは、シミュレータを用いた運転員の訓練が定期的に行われ、その結果はＶＴＲで記録再生され分析評価される。
【０００３】
しかし、ＶＴＲの再生のみでは、シミュレータの動作状態やプラントパラメータの状態あるいは各運転員間の情報伝達が正確に実施されたか等の分析評価に必要な情報を十分に把握することができない。
【０００４】
そこで、ＶＴＲの動画再生中に音声をテキストデータとして表示するシステムである特開平１０−３２６１７７号公報に記載された図４に示す動画音声表示システムを利用することが考えられる。
【０００５】
従来の動画音声表示システムＡは、動画データファイルＢを制御する動画表示制御部Ｃ、音声テキストデータファイルＤを制御するテキスト表示制御部Ｅおよび言語選択部ＦがディスプレイＧに接続された構成である。
【０００６】
音声テキストデータファイルＤは動画データファイルＢの音声を図示しない音声認識部で認識してテキストデータに変換して保存したものである。
【０００７】
テキスト表示制御部Ｅには、動画表示制御部Ｃから動画情報Ｈが、言語選択部Ｆから表示すべき言語情報Ｉが、タイムチャートファイルＪから動画情報Ｈに対応する音声テキストデータファイルＤの時間情報Ｋがそれぞれ入力される。
【０００８】
動画音声表示システムＡは、そのテキスト表示制御部Ｅが、動画情報Ｈに適した時間情報Ｋに対応し指定された言語情報Ｉの音声テキストデータファイルＤを選択し、音声テキスト情報Ｌを、動画表示制御部Ｃから出力される動画情報ＨとともにディスプレイＧに送信し表示するようにしたものである。
【０００９】
【発明が解決しようとする課題】
原子力発電プラント等のシミュレータを用いた運転員の訓練では、従来の動画音声表示システムＡを利用して音声をテキストとして表示するのみでは、着目すべきコミュニケーションの抽出や繰返し再生等のテキスト情報の処理操作が煩雑で、また、時間的な経緯を正確に把握することが困難である。
【００１０】
また、シミュレータの動作状態やプラントパラメータの状態あるいはシミュレータの各エリアで作業する運転員間の情報伝達の確実性を、動画および音声情報からその適切さを考察して判断する必要がある。
【００１１】
本発明は上述した従来の事情に対処するためになされたものであり、原子力発電プラント等のプラントのようなシミュレータを用いた運転員の訓練状況を、ＶＴＲ等の動画記録媒体に保存した場合において、動画とともに音声情報を操作可能にテキスト表示し、時間的な訓練状況の推移とともにコミュニケーションによる情報伝達内容を把握することが可能な動画音声分析評価システムを提供することを目的とする。
【００１２】
また、本発明の他の目的は、シミュレータに記録されたログ情報を利用可能とし、コミュニケーションによる情報伝達の確実性を容易に確認できることが可能な動画音声分析評価システムを提供することである。
【００１３】
【課題を解決するための手段】
本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項１に記載したように、動画表示部、音声波形表示部および分析評価チャート表示部を有するディスプレイと演算記憶装置とを具備した情報処理システムで構成され、前記演算記憶装置に、動画データファイル、音声データファイルおよび時刻情報が保存され、この演算記憶装置は、前記音声データファイルを参照して音声波形信号を前記音声波形表示部に表示するとともに音声を同期出力し、かつ前記動画データファイルを参照して動画を前記動画表示部に同期表示し、さらに音声データファイルに含まれる対話のうち抽出した一部あるいは全部をテキスト形式に変換した対話テキストと時刻情報から得られた時刻とを前記分析評価チャート表示部に同期表示するようにしたことを特徴とするものである。
【００１４】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項２に記載したように、前記演算記憶装置に分析評価情報が保存され、前記演算記憶装置は、前記対話テキストと前記分析評価情報とから作成された分析評価結果を、前記分析評価チャート表示部に同期表示する構成としたことを特徴とするものである。
【００１５】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項３に記載したように、前記演算記憶装置に、シミュレータパラメータ情報が保存され、前記演算記憶装置は、前記シミュレータパラメータ情報を前記時刻情報から得られた時刻とともに前記分析評価チャート表示部に同期した状態でテキスト表示する構成としたことを特徴とするものである。
【００１６】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項４に記載したように、前記情報処理システムは、情報入力手段を具備し、前記音声波形表示部から情報入力手段により出力指示情報が入力されることにより音声波形信号、音声および動画が再生速度および再生方向の調整可能に同期出力制御されるようにしたことを特徴とするものである。
【００１７】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項５に記載したように、前記情報処理システムは、情報入力手段を具備し、前記音声波形表示部から情報入力手段により範囲指示情報が入力されることにより音声波形信号、音声および動画の同期出力範囲が設定されるようにしたことを特徴とするものである。
【００１８】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項６に記載したように、前記音声波形表示部から情報入力手段により音声波形信号の任意の部位を選択すると、選択した音声波形信号の部位に相当する時刻が、前記演算記憶装置に保存された時刻情報に基づき自動計算されて前記分析評価チャート表示部にテキスト表示されるようにしたことを特徴とするものである。
【００１９】
また、本発明に係る動画音声分析評価システムは、上述の目的を達成するために、請求項７に記載したように、音声波形表示部を有するディスプレイと演算記憶装置と情報入力手段とを具備した情報処理システムで構成され、前記演算記憶装置に音声データファイルが保存され、この演算記憶装置は、前記音声データファイルを参照して音声波形信号を前記音声波形表示部に表示するとともに、音声波形表示部に前記情報入力手段により出力指示情報を入力することで再生速度および再生方向が調整可能に同期出力制御され、また、音声波形表示部に前記情報入力手段により範囲指示情報を入力することで音声の再生範囲が設定されるようにしたことを特徴とするものである。
【００２０】
【発明の実施の形態】
本発明に係る動画音声分析評価システムの実施の形態について添付図面を参照して説明する。
【００２１】
図１は本発明に係る動画音声分析評価システムの実施形態を示す構成図である。
【００２２】
動画音声分析評価システム１は、情報処理システム２に動画入力システム３およびシミュレータデータ保存媒体４を並列に接続した構成である。
【００２３】
情報処理システム２は、演算記憶装置２Ａにディスプレイ２Ｂおよびマウスあるいはキーボード等の情報入力手段２Ｃを接続した構成である。
【００２４】
また、動画入力システム３は、ビデオキャプチャーユニット５、ビデオデッキ６およびＶＴＲ（Ｖｉｄｅｏ　Ｔａｐｅ　Ｒｅｃｏｒｄｅｒ）７が直列に接続された構成で、ビデオキャプチャーユニット５が情報処理システム２の演算記憶装置２Ａに接続される。
【００２５】
一方、シミュレータデータ保存媒体４も、情報処理システム２の演算記憶装置２Ａに接続される。
【００２６】
次に動画音声分析評価システム１の情報処理の手順について説明する。
【００２７】
まず、分析評価対象となる動画音声情報をＶＴＲ７等の動画音声記録媒体に保存する。動画音声分析評価システム１では、分析評価対象は、複数のタスクを有する原子力発電プラントのシミュレータを用いて、各タスクに従事する各運転員の訓練状況であり、この訓練状況が動画音声情報として動画音声記録媒体であるＶＴＲ７に保存される。
【００２８】
また、動画音声分析評価システム１において、分析評価する内容は、原子力発電プラントのシミュレータの運転員間のコミュニケーション伝達と、そのタイミングの適切さである。
【００２９】
次に、このＶＴＲ７に記録された動画音声情報を、動画入力システム３のビデオデッキ６で再生して、ビデオキャプチャーユニット５に取り込み変換された動画音声デジタルデータを、情報処理システム２の演算記憶装置２Ａに入力する。
【００３０】
また、シミュレータデータ保存媒体４には、シミュレータによる訓練の各時刻における、例えば、シミュレータの運転員によるシミュレータの操作器具スイッチのオンオフ操作、警報の発報あるいはクリア等のシミュレータパラメータ情報が入力保存され、このシミュレータパラメータ情報は情報処理システム２の演算記憶装置２Ａに入力される。
【００３１】
一方、情報処理システム２の演算記憶装置２Ａには、複数のＡＶＩ（Ａｕｄｉｏ　Ｖｉｄｅｏ　Ｉｎｔｅｒｌｅａｖｅ）ファイル、基本情報、フォーマット情報および評価チャート情報がそれぞれ保存される。
【００３２】
演算記憶装置２Ａ内の各ＡＶＩファイルは、ＡＶＩファイル名、動画データファイルおよび音声データファイルで構成され、動画入力システム３のビデオキャプチャーユニット５から入力された各動画音声デジタルデータを、演算記憶装置２Ａ内で、それぞれファイルとして保存したものである。すなわちＡＶＩファイルは、分析評価対象となるシミュレータの訓練状況の動画および音声の情報である。
【００３３】
演算記憶装置２Ａに保存される基本情報には、タスク情報テーブルと動画音声情報テーブルの２つのディレクトリが作成され、タスク情報テーブルにはタスク名称と原点時刻が、動画音声情報テーブルには動画データファイル番号、音声データファイル番号、ＡＶＩファイル名および原点が保存される。
【００３４】
基本情報は、演算記憶装置２ＡにＡＶＩファイルを保存する際に別途、情報入力手段２Ｃで入力して作成される各ＡＶＩファイルに付随する固有の情報である。すなわち基本情報は、シミュレータの訓練状況の分析評価に必要な情報であるがＡＶＩファイルからは得られない情報である。
【００３５】
基本情報のタスク情報テーブルに保存される原点時刻、および基本情報の動画音声情報テーブルに保存される原点は、ＡＶＩファイルに含まれる動画データファイルおよび音声データファイル上の、あるいはシミュレータの訓練状況の分析評価に必要な時刻を知るための時刻情報である。
【００３６】
基本情報の動画音声情報テーブルに保存される原点は、ＡＶＩファイルに含まれる音声データファイルの音声を波形として表したときの時間軸の基準となる時点である。この音声データファイルから得られる音声波形の原点を指定すると、同時に原点における相対時間、すなわち音声波形の開始から原点までの時間が決定される。
【００３７】
基本情報のタスク情報テーブルに保存される原点時刻は、音声データファイルから得られる音声波形上に設定した原点における時刻であり、相対時間を原点時刻で補正することで、ＡＶＩファイルに含まれる動画データファイルおよび音声データファイル上の各時点での時刻を求めることができる。
【００３８】
すなわち、原子力発電プラントのシミュレータにおいて、各タスクに従事する各運転員の訓練状況について分析評価をするためには、訓練中の時刻情報が必要であるが、ＡＶＩファイルには時刻情報が含まれないため、別途、基本情報に原点および原点時刻の情報を作成することにより、シミュレータにおける訓練状況についての分析評価への時刻情報の利用が可能とされる。
【００３９】
基本情報の動画音声情報テーブルに保存される動画データファイル番号、音声データファイル番号およびＡＶＩファイル名は、基本情報に対応するＡＶＩファイルとして保存された選択すべき動画データファイルおよび音声データファイルの識別情報である。
【００４０】
演算記憶装置２Ａに保存されるフォーマット情報はタスク数、エレメント数、マークとマーク番号、記号と記号番号および線種と線番号で構成され、シミュレータにおいて各タスクに従事する各運転員の訓練状況の分析評価の結果を、情報処理システム２が具備するディスプレイ２Ｂに表示する際の、表示方法および規則を定める情報である。
【００４１】
このフォーマット情報は、あらかじめ決定しておき、ＡＶＩファイルの保存とは別に、情報処理システム２が具備する情報入力手段２Ｃで入力設定される。
【００４２】
演算記憶装置２Ａに保存される評価チャート情報には、分析データテーブルというディレクトリが作成され、この分析データテーブルには、ＩＤ、時刻データ、テキスト情報、マーク番号、記号番号および線表示情報が保存される。評価チャート情報は、各ＡＶＩファイルに対応したシミュレータにおけるタスクの分析評価結果の表示内容のとなる分析評価情報である。
【００４３】
シミュレータにおける訓練状況の分析評価対象となるＡＶＩファイルの音声データファイルからは、分析評価に必要とされる複数の断片情報のみが抽出され、識別のためにＩＤが割り当てられる。
【００４４】
同様に、情報処理システム２の演算記憶装置２Ａに、シミュレータパラメータ保存媒体４から入力され、分析評価対象となる各シミュレータパラメータ情報から得られる情報にも、識別のために、それぞれＩＤが割り当てられる。
【００４５】
識別のためのＩＤが割り当てられたシミュレータパラメータ情報等の各情報は、時刻データ、テキスト情報、マーク番号、記号番号および線表示情報でそれぞれ構成され、評価チャート情報に設けられたディレクトリである分析データテーブル内に保存される。
【００４６】
動画音声分析評価システム１では、分析評価対象は、複数のタスクを有する原子力発電プラントのシミュレータを用いて、各タスクに従事する各運転員の訓練状況であり、分析評価する内容は、運転員間のコミュニケーション伝達と、そのタイミングの適切さである。
【００４７】
次に、演算記憶装置２Ａに保存される評価チャート情報に設けられた分析データテーブル内の時刻データ、テキスト情報について説明する。
【００４８】
シミュレータデータ保存媒体４から情報処理システム２の演算記憶装置２Ａに入力されるシミュレータパラメータ情報は記号化されており、直接シミュレータパラメータ情報を、シミュレータの各タスクに従事する運転員が確認しても内容を知ることができない。
【００４９】
そこで情報処理システム２の演算記憶装置２Ａには、記号化されたシミュレータパラメータ情報を解読可能な言語に変換するための情報が、評価チャート情報の分析データテーブル内に、テキスト情報としてあらかじめ入力保存される。
【００５０】
例えば、（０９：３２：２６　Ｃ０１２Ｓ　Ｄ）で表されるシミュレータパラメータ情報は、０９：３２：２６は時刻、Ｃはコントロールスイッチ、０１２Ｓは主制御器速度設定、Ｄは減少をそれぞれ表すため、演算記憶装置２Ａが具備する評価チャート情報の分析データテーブル内に設けられたテキスト情報に基づいて、（０９：３２：２６　ＰＬＲ　主制御器　速度設定　減）と変換される。
【００５１】
同様に（０９：３２：２３　Ａ２１３　ＯＦ）で表されるシミュレータパラメータ情報は、０９：３２：２３は時刻、Ａは警報、２１３は復水器一次Ｈ・Ｗ水位低、ＯＦはクリアをそれぞれ表すため、テキスト情報に基づいて、（０９：３２：２６　　復水器一次Ｈ・Ｗ水位低　クリア）と変換される。
【００５２】
また、評価チャート情報の分析データテーブル内に設けられたテキスト情報に基づいてシミュレータパラメータ情報を変換する際に、シミュレータパラメータ情報が警報を表す場合と、シミュレータの運転員の操作を表す場合との識別が視覚的に可能となるように表示される。
【００５３】
例えば、（０９：３２：２６　ＰＬＲ　主制御器　速度設定　減）は警報を、（０９：３２：２６復水器一次Ｈ・Ｗ水位低　クリア）は運転員の操作をそれぞれ表すが、（０９：３２：２６　ＰＬＲ　主制御器　速度設定　減）の時刻と言語メッセージとの間隔はブランクが１つ、（０９：３２：２６　　復水器一次Ｈ・Ｗ水位低　クリア）の時刻と言語メッセージとの間隔はブランクが２つに設定され、視覚的に識別可能に変換される。
【００５４】
シミュレータパラメータ情報を解読可能な言語に変換するための情報とともに、変換後の各シミュレータパラメータ情報にはそれぞれＩＤが割り当てられ、各シミュレータパラメータ情報の言語メッセージの部分は評価チャート情報の分析データテーブル内の構成要素であるテキスト情報として、また、シミュレータパラメータ情報の時刻を表す部分は時刻データとしてそれぞれＩＤごとに保存される。
【００５５】
一方、情報処理システム２の演算記憶装置２Ａに保存されるＡＶＩファイルの、音声データファイルにより得られる音声情報からは、対話部分が抽出され、複数のテキスト形式の対話テキストに変換される。このとき、各対話部分に当たるそれぞれの時刻が時刻データとして保存される。この複数の対話テキストおよび時刻データが、評価チャート情報の分析データテーブル内の構成要素であるテキスト情報および時刻データとしてＩＤごとに保存される。
【００５６】
この評価チャート情報の分析データテーブル内に保存される対話テキストは、警報あるいはシミュレータの運転員の操作を表すシミュレータパラメータ情報と同様に時刻と言語メッセージを表す部分で構成される。このため、対話テキストと警報あるいはシミュレータの運転員の操作を表すシミュレータパラメータ情報の視覚的な識別が可能となるように、対話テキストの時刻と言語メッセージを表す部分の間のブランクは３つとなるように変換される。
【００５７】
図２は図１に示されたディスプレイ２Ｂの表示内容を示す図である。
【００５８】
ディスプレイ２Ｂは、音声波形表示部２０、動画表示部２１および分析評価チャート表示部２２で構成される。
【００５９】
ディスプレイ２Ｂの音声波形表示部２０には、波形位置設定部２３が設けられ、演算記憶装置２ＡにＡＶＩファイルとして保存された音声データファイルから得られる音声波形信号２４が表示される。
【００６０】
演算記憶装置２Ａが具備する基本情報のタスク情報テーブルに保存すべき原点および原点時刻は、音声波形表示部２０から情報入力手段２Ｃで決定し作成することができる。
【００６１】
音声波形表示部２０に表示された音声波形信号２４の原点を波形位置設定部２３において、情報処理システム２が具備するマウス等の情報入力手段２Ｃにより設定する。このとき、音声波形表示部２０に表示される音声波形信号２４の原点が指定されると同時に、原点における相対時間が得られる。
【００６２】
また、音声波形表示部２０に表示される音声波形信号２４の原点における時刻を原点時刻として情報入力手段２Ｃで入力設定することができる。この設定された原点時刻と原点における相対時間とにより、音声波形信号２４上の各時点における相対時間を時刻に変換するための値が得られる。
【００６３】
一方、ディスプレイ２Ｂの動画表示部２１には、演算記憶装置２ＡにＡＶＩファイルとして保存された動画データファイルにより動画が再生される。この動画表示部２１に表示される動画は、音声波形表示部２０に表示された音声波形信号２４のうち再生すべき範囲である範囲指示情報を、マウス等の情報入力手段２Ｃで入力設定することで音声波形信号２４に同期して、設定された出力範囲のみ出力する。
【００６４】
また、ディスプレイ２Ｂの音声波形表示部２０に表示された音声波形信号２４の位置を情報入力手段２Ｃで選択、あるいは音声波形信号２４の移動等の出力指示情報を与えることで、動画および音声の再生速度、再生箇所および再生、逆再生、早送りあるいは巻戻し等の再生方向を制御できる。
【００６５】
動画、音声および音声波形信号２４のディスプレイ２Ｂへの出力制御は、音声波形信号２４そのものを情報入力手段２Ｃで操作する他、別途、ディスプレイ２Ｂ上に設けられた、波形表示ボタン２５、再生ボタン２６、停止ボタン２７および音声波形表示部２０の両端に設けられた前進ボタン２８と後退ボタン２９を情報入力手段２Ｃで操作することで制御可能である。
【００６６】
ディスプレイ２Ｂ上に表示された波形表示ボタン２５では、音声波形表示部２０における音声波形信号２４の表示と非表示の切換が指定され、再生ボタン２６と停止ボタン２７とで動画、音声および音声波形信号２４の再生と停止の指令、前進ボタン２８と後退ボタン２９とで、動画、音声および音声波形信号２４の再生と逆再生が指定される。
【００６７】
ディスプレイ２Ｂ上の音声波形表示部２０に表示された音声波形信号２４が平坦である部分は無音状態を示す。このため、音声波形表示部２０において、音声波形信号２４が平坦でない有音の、すなわち対話が存在する部分の音声データファイルあるいは音声データファイルに同期した動画データファイルのみを抽出して、シミュレータの訓練状況を分析評価することが可能となり、分析評価に要する時間を低減させることができる。
【００６８】
また、情報処理システム２が具備する情報入力手段２Ｃで、音声波形表示部２０において範囲選択の指定により、抽出して表示された各音声波形信号２４は、それぞれの対話があった時刻とともにテキスト形式の対話テキストにそれぞれ変換され、時刻は時刻データとして、対話テキストはテキスト情報として、図１に示す演算記憶装置２Ａに設けられた評価チャート情報の分析データテーブル内にそれぞれ格納される。
【００６９】
音声データファイルから得られる対話のテキスト形式への変換は、直接情報入力手段２Ｃで入力する方法あるいは、図示しない音声認識機能を具備した音声テキスト自動変換システムにて変換する方法のどちらでも可能である。
【００７０】
このときの時刻データは、ディスプレイ２Ｂ上の音声波形表示部２０に表示された音声波形信号２４の範囲を情報入力手段２Ｃで指定し選択するのみで、基本情報に格納された原点時刻と選択範囲に相当する原点からの相対時間とから計算され自動的に入力される。
【００７１】
ディスプレイ２Ｂ上の分析評価チャート表示部２２は、時刻、プロトコル＋主要シーケンスおよび複数のタスク（図２の例ではタスク１およびタスク２の２つ）についての分析評価結果をマーク、記号あるいは線でそれぞれ表現したチャートを示す列で構成される。
【００７２】
分析評価チャート表示部２２の各行には、図１のあらかじめ作成された評価チャート情報の、分析データテーブル内の構成要素である各ＩＤに対応する時刻データおよびテキスト情報が時系列に、それぞれ時刻を示す列とプロトコル＋主要シーケンスを示す列とに表示される。
【００７３】
すなわち、分析評価チャート表示部２２の時刻およびプロトコル＋主要シーケンスの列には、各時刻に対応する、シミュレータで発生した警報等の情報源、運転員の操作内容および運転員の対話内容が表示される。
【００７４】
分析評価チャート表示部２２の分析評価結果を示す列は、複数のタスク（図２の例ではタスク１およびタスク２の２つ）で構成され、各タスクの列は、さらに、各タスクに従事するそれぞれの運転員を示す複数の列で構成される。図２に示す例では運転員を示す列は、主盤運転員を示すｍ、主任を示すｓ、原子炉補機運転員を示すａ，ＢＯＰ（Ｂａｌａｎｃｅ　ｏｆ　Ｐｌａｎｔ）盤運転員を示すｂの４名および現場を示すｉおよび給電司令所等の外部を示すｏの６つの列で構成される。
【００７５】
各タスクに従事する運転員を示すアルファベット記号と運転員との対応は、ディスプレイ２Ｂ上の分析評価チャート表示部２２の近傍に設けられた運転員表示部３０に表示される。
【００７６】
分析評価チャート表示部２２の分析評価結果を示す列において、タスクを複数としたのは、複数のタスク発生を考慮して、タスク内容が分かりやすくなるように配慮したためであり、同時並行しているタスクの数に合わせて設定することができる。
【００７７】
分析評価チャート表示部２２の各タスクに従事する運転員を示す列には、分析評価対象である、原子力発電プラントシミュレータによる各運転員の訓練状況に対する、分析評価内容、すなわちシミュレータの運転員間のコミュニケーションタイミングと、その情報伝達結果の適切性等の分析評価結果および参照すべきシミュレーションパラメータ情報等の情報源が、マーク、記号あるいは線として、それぞれＩＤに対応して表示される。
【００７８】
これら各ＩＤに対応したそれぞれの分析評価結果を表示するマーク、記号あるいは線を決定する情報は、分析評価チャート表示部２２から設定入力して、評価チャート情報の分析データテーブル内に、時刻データおよびテキスト情報とともにマーク番号、記号番号および線表示情報として数値情報としてＩＤごとに格納される。
【００７９】
そして、再度分析評価結果を、ディスプレイ２Ｂ上の分析評価チャート表示部２２に表示するときには、数値情報であるマーク番号、記号番号および線表示情報を、演算記憶装置２Ａのフォーマット情報に格納された数値情報とマーク、記号および線種との対応情報から、マーク番号、記号番号および線表示情報をマーク、記号および線種に変換して表示することができる。
【００８０】
分析評価チャート表示部２２の表示に必要となる情報である、タスク数、運転員数を表すエレメント数、マーク、記号および線種は、図１に示す演算記憶装置２Ａに設けられたフォーマット情報にあらかじめ設定し格納されており、これらの情報が用いられる。
【００８１】
次に、ディスプレイ２Ｂ上にシミュレータパラメータ情報等の情報源として表示されるマーク、記号および線種の内容と意味について説明する。
【００８２】
図３は図１および図２で使用するマーク、記号および線の種類と内容を示す図である。
【００８３】
分析評価内容である運転員のコミュニケーションタイミングは、適切、尚早、遅れの３分類で評価し、それぞれ○、□、△のマークに対応される。
【００８４】
運転員間の情報交換の際の情報伝達結果は、受信側の認知状況として、受理、未受理、誤伝達の３分類で評価し、それぞれ●、×、｜●のマークに対応される。尚、このうち誤伝達の場合は、マーク（｜●）は発信側と受信側の双方に表示される。
【００８５】
シミュレータの運転員間の情報の質的内容は、方針決定（タスク表示）、状況報告、ディスカッション、指示あるいは操作報告その他の内容、意思表示の５種類に分類し、発信側と受信側を、図３に示すそれぞれ異なる線種で結び表現する。
【００８６】
さらにシミュレータの運転員間における情報伝達の根拠となった情報源の種類である警報、ＣＲＴ、レコーダ・計器、ランプ、ディスカッション、自発／予測および外部を、それぞれＡ、Ｃ、Ｉ、Ｌ、Ｄ、Ｓ／Ｐ、Ｏの記号を用いて表現する。
【００８７】
また、シミュレータの運転員間の情報伝達内容に誤りがある場合にはエラー発生を示すＥの記号を記述する。
【００８８】
尚、図２に示されたディスプレイ２Ｂ上の、分析評価チャート表示部２２の各運転員を示す列に表示される垂直方向の実線は、各タスクに従事する運転員を示す。例えば、タスク１に従事する運転員は一貫して主任ｓであり、同様に、タスク２に従事する運転員は一貫して原子炉補機運転員ａであることが示される。
【００８９】
また、分析評価チャート表示部２２に表示されるマーク、記号および線種は、図１示す演算記憶装置２Ａに設けられたフォーマット情報で、ユーザが使用形態により自由に変更可能である。
【００９０】
評価分析対象となるＡＶＩファイルについての、基本情報、フォーマット情報および評価チャート情報の設定が完了し、各情報が情報処理システム２の演算記憶装置２Ａに格納されると、ディスプレイ２Ｂ上で、音声波形表示部２０における音声波形信号２４の表示、動画表示部２１における動画の再生および分析評価チャート表示部２２のスクロールを時刻で同期して実行することが可能となる。
【００９１】
次に、図２に示したディスプレイ２Ｂの具体的な表示例における動作および意味を説明する。
【００９２】
ディスプレイ２Ｂ上の分析評価チャート表示部２２から、タスクはタスク１およびタスク２の２つで構成され、運転員は、運転員表示部３０から主盤運転員ｍ、主任ｓ、原子炉補機運転員ａ，ＢＯＰ盤運転員ｂ、現場ｉおよび外部ｏで構成されることが分かる。
【００９３】
さらに、タスク１には、主任ｓが、タスク２には、原子炉補機運転員ａが一貫して従事したことが、列に平行な実線表示から分かる。
【００９４】
分析評価チャート表示部２２の表題を示す行の次の１行目に、着目すると、９時３２分２３秒に復水器についての「一次Ｈ・Ｗ　水位低」という内容のアラームがクリアされ、同時に原子炉補機運転員ａが「タービン復水濾過ポンプ室床漏洩出ています」と情報伝達をしたが、他の運転員は受理しなかったことが●印のマークから分かる。
【００９５】
また、情報伝達の根拠がシミュレータのランプによるものであるため、●印の横にＬの記号が付される。
【００９６】
一方、９時３２分２５秒に、主任ｓが「復水濾過ポンプダメね。」と発言し、さらに９時３２分２６秒に、「ＰＬＲ主制御器　速度設定　減」という警告が発せられると同時に「一台しか回ってないから。」という内容の情報伝達が主盤運転員ｍに対してされる。このときの情報伝達内容は方針決定であり、タイミングが適切であることから、○印のマークから実線が主盤運転員を示すｍの列に向かって表示される。
【００９７】
主任ｓからの情報伝達に対して、９時３２分２８秒に主盤運転員ｍが、「はい。」と再び主任ｓに情報伝達される。この情報伝達も適切なタイミングであり、かつ情報の内容が操作報告であることから○印のマークから点線が主任ｓの列に向かって表示される。
【００９８】
次に、９時３２分２９秒に、ＢＯＰ盤運転員ｂが「Ａトリップしたから、Ａプルロックします。」との点線で表示された操作報告を主任ｓに対して行なう。この操作報告に対して主任ｓは、９時３２分３１秒に「はい。」という返事とともに受理する。
【００９９】
さらに、９時３２分３３秒には、原子炉補機運転員ａが「タービン復水濾過ポンプ室床漏洩出ています。」と、主盤運転員ｍ、主任ｓおよびＢＯＰ盤運転員ｂに対してされた。これは原子炉補機運転員ａがランプを確認して、適切なタイミングで状況報告したが、受理されなかったということが原子炉補機運転員ａの列の○マークおよびＬの記号と原子炉補機運転員ａの列から主盤運転員ｍ、主任ｓおよびＢＯＰ盤運転員ｂの列に向かって引かれる実線、および各列の×マークから判明する。
【０１００】
また、ディスプレイ２Ｂ上の分析評価チャート表示部２２の例では、９時３２分３３秒の原子炉補機運転員ａが「タービン復水濾過ポンプ室床漏洩出ています。」という情報伝達部分が選択表示された状態で、このときの音声波形信号２４が音声波形表示部２０に、動画が動画表示部２１に同期して表示される。
【０１０１】
動画音声分析評価システム１では、例えば原子力プラント等のシミュレータを用いた運転訓練のみならず、動画として記録保存される訓練において、シミュレータパラメータ情報とともに、運転員のコミュニケーションおよび動作の分析評価を行い、分析評価結果の簡易なシンボルによる表示と訓練時の音声および動画を同期させて表示することで、訓練効果を高めることができる。
【０１０２】
次に、動画音声分析評価システム１の応用例について説明する。
【０１０３】
分析評価チャート表示部２２には、シミュレータパラメータ情報あるいは運転員の対話をテキスト形式で表示するのみならず、他の情報を表示することも可能である。
【０１０４】
例えば、動画および音声に対する解説をテキスト形式で表示することも可能である。動画あるいは音声に加え、解説を時刻で同期をとり表示することで更に、訓練効果を向上させることが可能である。
【０１０５】
また、動画音声分析評価システム１は、ディスプレイ２Ｂ上に必ずしも動画表示部２１、音声波形表示部２０および分析評価チャート表示部２２をすべて具備する必要はない。
【０１０６】
例えば、分析評価作業が不要であり、音声のテキスト表示のみが要求される場合は、ディスプレイ２Ｂ上に音声波形表示部２０の音声波形信号２４および、音声波形信号２４から得られる対話のテキスト表示のみを表示することも可能である。音声波形表示部２０に表示される音声波形信号２４および対話のテキスト表示で構成される動画音声分析評価システム１は、例えば、テープライタ分野の録音対話の書起しのサポートシステムとして利用することも可能である。
【０１０７】
動画音声分析評価システム１を、録音対話の書起しとして利用する場合においては、音声がディスプレイ２Ｂ上の音声波形表示部２０に、音声波形信号２４として表示されるため、音声波形信号２４から聞くべき箇所を検索して容易して選択することができる。このため、作業時間の短縮に繋がる。
【０１０８】
また、音声が音声波形信号２４としてデジタル化された情報であるため、繰返し再生あるいは編集等の情報処理をすることが簡易にかつ迅速に可能となる。
【０１０９】
尚、図１に示した動画音声分析評価システム１の情報処理システム２は、演算記憶装置２Ａに、ディスプレイ２Ｂおよびマウスあるいはキーボード等の情報入力手段２Ｃを接続した構成であるが、ディスプレイ２Ｂあるいは情報入力手段２Ｃが、演算記憶装置２Ａに内蔵され一体となった構成、または、複数のディスプレイ２Ｂと情報入力手段２Ｃとが、情報処理システム２にそれぞれ設けられた構成としてもよい。
【０１１０】
また、この動画音声分析評価システム１は、原子力発電プラントの運転員の訓練に用いられるだけでなく、火力発電プラント、コンバインドサイクル発電プラント、風力発電プラント等の各種発電プラントや、化学プラント、鉄鋼プラント、焼却プラント等の各種産業プラント、電力保護系統、航空管制システム等の各種システムに適用できる。
【０１１１】
【発明の効果】
本発明に係る動画音声分析評価システムにおいては、例えば原子力発電プラントのようなシミュレータを用いた訓練における運転員の訓練状況を、ＶＴＲ等の動画記録媒体に保存した場合において、動画とともに音声を波形表示および時系列にテキスト表示するため、時間的な推移とともに各運転員間のコミュニケーション分析が可能となり訓練効果を高めることができる。
【０１１２】
また、シミュレータに記録されたログ情報を参照可能で、コミュニケーション分析結果を記号で簡易に表示させるため、容易に訓練状況を把握することができる。
【図面の簡単な説明】
【図１】本発明に係る動画音声分析評価システムの実施形態を示す構成図。
【図２】図１のディスプレイの表示内容を示す図。
【図３】図１および図２で使用するマーク、記号および線の種類と内容を示す図。
【図４】従来の従来の動画音声表示システムの構成図。
【符号の説明】
１　動画音声分析評価システム
２　情報処理システム
２Ａ　演算記憶装置
２Ｂ　ディスプレイ
２Ｃ　情報入力手段
３　動画入力システム
４　シミュレータデータ保存媒体
５　ビデオキャプチャーユニット
６　ビデオデッキ
７　ＶＴＲ
２０　音声波形表示部
２１　動画表示部
２２　分析評価チャート表示部
２３　波形位置設定部
２４　音声波形信号
２５　波形表示ボタン
２６　再生ボタン
２７　停止ボタン
２８　前進ボタン
２９　後退ボタン
３０　運転員表示部
【図１】
2004102116.tif 000003
【図２】
2004102116.tif 000004
【図３】
2004102116.tif 000005
【図４】
2004102116.tif 000006