(57)【特許請求の範囲】
【請求項１】
文書編集システム及び、メモリに記憶された第１の複数の文書とともに使用するためのコンピュータ実装の方法であって、
（Ａ） 前記メモリに記憶された第１の複数の文書を編集するために、ユーザによって前記文書編集システムに適用された第１の実際の編集行動を、コンピュータデバイスで実行する編集行動監視装置により識別するステップと、
（Ｂ） コンピュータデバイスで実行する生産性評価装置により、第１の識別された編集行動と、編集者の生産性との相関に係る統計を導出するステップと、
（Ｃ） 導出した統計に基づいて、生産性を改善するために、コンピュータデバイスで実行する編集システム修正器により前記文書編集システムを修正するステップと、
を含む、方法。
【請求項２】
（Ａ）は、
（Ａ）（１）前記第１の複数の文書を編集するために、前記ユーザによって前記文書編集システムに提供された入力を監視するステップと、
（Ａ）（２）監視した入力の記録を格納するステップと、
を含む、請求項１に記載の方法。
【請求項３】
（Ａ）（１）は、前記ユーザによって提供された複数の入力、および複数の関連する入力時間を監視するステップを含み、（Ａ）（２）は、前記複数の入力および前記複数の関連する入力時間の記録を格納するステップを含む、請求項２に記載の方法。
【請求項４】
（Ａ）（２）は、前記第１の複数の文書のうちの少なくとも１つに関する前記監視した入力の前記記録を格納するステップを備える、請求項２に記載の方法。
【請求項５】
（Ｄ）前記第１の複数の文書のうちの前記少なくとも１つを編集するために、第２のユーザによって前記文書編集システムに適用された第２の実際の編集行動を識別するステップと、
（Ｅ）前記第１の複数の文書のうちの前記少なくとも１つに関する、前記第２の実際の編集行動の記録を格納するステップと、
をさらに含む、請求項４に記載の方法。
【請求項６】
前記統計の値は、前記第１の実際の編集行動が、前記ユーザによる前記文書編集システムの特定の特徴の使用を含むかどうかを示す、請求項１に記載の方法。
【請求項７】
前記統計の値は、前記第１の実際の編集行動において前記文書編集システムの特定の特徴として表される頻度を示す、請求項１に記載の方法。
【請求項８】
前記文書編集システムは、前記ユーザの制御の下で音声ストリームを再生するための手段を含み、前記統計の値は、前記ユーザが、前記再生するための手段を使用して、前記音声ストリームの全体を再生したかどうかを示す、請求項１に記載の方法。
【請求項９】
前記第１の実際の編集行動は、前記第１の複数の文書を編集するための入力を含む、請求項１に記載の方法。
【請求項１０】
前記文書編集システムは、文書と共通する内容を表す口語音声ストリームを再生するための手段を含み、前記第１の実際の編集行動は、前記文書編集システムが前記口語音声ストリームを再生する速度を変化させる命令を含む、請求項１に記載の方法。
【請求項１１】
（Ａ）は、
（Ａ）（１）前記第１の複数の文書を形成するために、少なくとも１人のユーザによって提供されたキー入力を監視するステップ
を含む、請求項１に記載の方法。
【請求項１２】
文書編集システムおよびメモリに記憶された第１の複数の文書とともに使用するためのコンピュータデバイスを利用した装置であって、
前記メモリに記憶された第１の複数の文書を編集するために、ユーザによって前記文書編集システムに適用された第１の実際の編集行動を識別するための、実際の編集行動の識別手段と、
第１の識別された編集行動と、編集者の生産性との相関に係る統計を導出するための統計導出手段と、
導出した統計に基づいて、生産性を改善するために、コンピュータデバイスで実行する編集システム修正器により前記文書編集システムを修正する修正手段と、
を含む、装置。
【請求項１３】
前記実際の編集行動の識別手段は、
前記第１の複数の文書を編集するために、前記ユーザによって前記文書編集システムに提供された入力を監視するための入力監視手段と、
監視した入力の記録を格納するための記録格納手段と、
を含む、請求項１２に記載の装置。
【請求項１４】
前記記録格納手段は、前記第１の複数の文書のうちの少なくとも１つに関する前記監視した入力の前記記録を格納するための手段を含む、請求項１３に記載の装置。
【請求項１５】
前記統計の値は、前記第１の実際の編集行動が、前記ユーザによる前記文書編集システムの特定の特徴の使用を含むかどうかを示す、請求項１２に記載の装置。
【請求項１６】
前記統計の値は、前記第１の実際の編集行動において前記文書編集システムの特定の特徴として表される頻度を示す、請求項１２に記載の装置。
【請求項１７】
前記文書編集システムは、前記ユーザの制御の下で音声ストリームを再生するための手段を含み、前記統計の値は、前記ユーザが、前記再生するための手段を使用して、前記音声ストリームの全体を再生したかどうかを示す、請求項１２に記載の装置。
【請求項１８】
前記第１の実際の編集行動は、前記第１の複数の文書を編集するための入力を含む、請求項１２に記載の装置。
【請求項１９】
前記文書編集システムは、文書と共通する内容を表す口語音声ストリームを再生するための手段を含み、前記第１の実際の編集行動は、前記文書編集システムが前記口語音声ストリームを再生する速度を変化させる命令を含む、請求項１２に記載の装置。
【請求項２０】
前記実際の編集行動の識別手段は、
前記第１の複数の文書を形成するために、少なくとも１人のユーザによって提供されたキー入力を監視するための手段を含む、請求項１２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
多くのコンテキストでは、人間の発話に基づいて構造化テキスト文書を生成することが望ましい。
【背景技術】
【０００２】
＜関連出願の相互参照＞
本出願は、２００７年１月２４日に出願の共同所有された米国暫定特許出願第６０／８８６，４８７号、名称「Ｍｏｎｉｔｏｒｉｎｇ  Ｕｓｅｒ  Ｉｎｔｅｒａｃｔｉｏｎｓ  Ｗｉｔｈ  Ａ  Ｄｏｃｕｍｅｎｔ  Ｅｄｉｔｉｎｇ  Ｓｙｓｔｅｍ」からの優先権を主張するものであり、参照することにより本願明細書に組み込まれる。
【０００３】
本出願は、２００４年８月２０日に出願の共同所有された米国特許出願第１０／９２３，５１７号、名称「Ａｕｔｏｍａｔｅｄ  Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  Ｓｅｍａｎｔｉｃ  Ｃｏｎｔｅｎｔ  ａｎｄ  Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  ａ  Ｓｔｒｕｃｔｕｒｅｄ  Ｄｏｃｕｍｅｎｔ  ｆｒｏｍ  Ｓｐｅｅｃｈ」に関するものであり、参照することにより本願明細書に組み込まれる。
【０００４】
法律専門職では、例えば、記録転写士は、公判および供述録取において提供された証言を書き起こして、証言を書面にしたトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）を作成する。同様に、医療専門職では、医師および他の医療専門家によって口述された診断、予後、処方、および他の情報のトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）が作成される。結果として生じるトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）に置かれる信頼性、および（不適切な処方薬品を患者に提供するような）不正確さによって生じる可能性がある損害の理由で、多数の分野におけるトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）は、一般的に、（元の発話の意味内容（意味）と、結果として生じるトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）の意味内容との間の相関関係の程度に関して測定したときに）非常に正確であることが必要とされる。（１）発話が書き起こされる話者の特徴（例えば、アクセント、音量、方言、速さ、（２）外部条件（例えば、背景騒音）、（３）記録転写士または転写システム（例えば、不完全な聴取または音声の取り込み能力、不完全な言語の理解）、または（４）記録／伝送媒体（例えば、紙、アナログ音声のテープ、アナログ電話網、デジタル電話網に適用される圧縮アルゴリズム、および携帯電話チャネルによる雑音／アーチファクト）、におけるばらつきのような種々の理由から、非常に正確な初期のトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）を作成することが困難な場合がある。
【０００５】
例えば、図１を参照すると、文書を書き起こして編集するための、従来技術のシステム１００のデータフロー図が示されている。システム１００は、転写システム１０４を含み、口語音声ストリーム１０２に基づいて草案文書１０６を作成する。医療用語専門家（Ｍｅｄｉｃａｌ  Ｌａｎｇｕａｇｅ  Ｓｐｅｃｉａｌｉｓｔ：ＭＬＳ）のような人間の編集者１１２は、編集コマンド１１４を文書編集システム１０８に提供して、文書１０６の編集済みバージョン１１０を作成する。編集プロセスを補助するために、文書編集システム１０８は、草案文書１０６が編集者１１２によって編集されているときに、該文書の内容を表示する等の、出力１１６を人間の編集者１１２に提供する。
【０００６】
したがって、人間の記録転写士または自動音声認識システムのいずれかによる作成に関わらず、草案文書１０６は、種々の誤りを含む場合がある。一般的に、人間の編集者１１２は、草案文書１０６に含まれる誤りを訂正するために、該文書を校正および編集する必要がある。修正を必要とする転写の誤りは、例えば、以下のいずれかを含む場合がある。単語または単語順序の欠落、過度の言い回し、単語のスペルミス、キー入力ミス、誤認識、句読点の欠落または過多、および不適切な文書構造（不適切な、欠落した、または冗長なセクション、列挙、パラグラフ、またはリスト）。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような誤り訂正は、単調で、時間がかかり、高コストであり、また、それ自体が誤りを起こし得る。したがって、草案文書内の誤りを訂正する効率および正確さを改善するための手法が必要である。
【課題を解決するための手段】
【０００８】
人間の編集者は、文書編集システムを使用して、人間の転写者または自動文書生成システムのいずれかによって記録された発話から作成された文書のような、草案文書を編集する。編集者の編集行動は、監視され、ログが取られる。編集者の生産性評価を作成するように、ログから統計が展開される。この評価は、他の編集者の評価と組み合わせて用いて、編集行動と生産性との間の相関を示す行動計量を展開することができる。行動計量を用いて、編集の効果面において、その行動が不利益であるか、またはこれに寄与するか、識別することができ、各編集行動の効果的な編集に対する相対的な寄与を含む。個々の編集行動についてのこのような情報を使用して、個々の編集者の編集行動に基づいて、個々の編集者の生産性を評価すること、個々の編集者の生産性を改善するために個々の編集者が採用し得る行動を識別すること、および編集者の生産性を改善するための編集システム自体に対する変更を識別することができる。生産性が低い原因の自動識別が困難であるか、または不可能であると判明した場合、編集者の編集行動は、編集者の生産性が低い原因を識別するために、人間によって記録された編集ログから「再生」して、観察することができる。
【０００９】
例えば、本発明の一実施形態では、文書編集システムおよび第１の複数の文書とともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）第１の複数の文書を編集するように、ユーザによって文書編集システムに適用された第１の実際の編集行動を識別するステップと、（Ｂ）第１の識別された編集行動から統計を導出するステップと、（Ｃ）導出した統計に基づいて、ユーザが文書編集システムに適用して文書を編集するのに適合した、有用性編集行動を識別するステップとを含む。
【００１０】
本発明の別の実施形態では、文書編集システムおよび複数の文書とともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）複数の文書を編集するように、ユーザによって文書編集システムに適用された実際の編集行動を識別するステップと、（Ｂ）実際の編集行動に基づいて、文書編集システムに対する修正を識別するステップとを含む。
【００１１】
本発明のさらに別の実施形態では、文書編集システムおよび複数の文書とともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）複数の文書を編集するように、ユーザによって文書編集システムに適用された実際の編集行動を識別するステップと、（Ｂ）実際の編集行動が、望ましいユーザ編集行動の複数の既定の基準を満たしているかどうかを判断するステップとを含み、複数の既定の基準は、（１）編集行動のための最小効率閾値を定義する効率基準と、（２）編集行動のための最小正確度閾値を定義する正確度基準とを含む。
【００１２】
本発明のさらなる一実施形態では、文書編集システムおよび複数の文書とともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）複数の文書を編集するように、ユーザによって文書編集システムに適用された、記録された実際の編集行動の提示を識別するステップと、（Ｂ）提示に基づいて、実際の編集行動が、望ましいユーザ編集行動のための少なくとも１つの既定の基準を満たすかどうかを判断するステップとを含む。
【００１３】
本発明のさらなる実施形態では、文書編集システムおよび文書の元のバージョンとともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）文書の元のバージョンを編集し、それによって文書の編集済みバージョンを作成するための文書編集システムにユーザによって適用された実際の編集行動を識別するステップであって、編集行動は元の一時的プロファイルを有するステップと、（Ｂ）実際の編集行動の記録を作成するために実際の編集行動を記録するステップと、（Ｃ）文書の元のバージョンを編集するために元の一時的プロファイルに従って、記録からの実際の編集行動を文書編集システムへ適用するステップとを含む。
【００１４】
本発明の別の実施形態では、文書編集システムおよび第１の複数の文書とともに使用するためのコンピュータ実装の方法が提供される。該方法は、（Ａ）第１の複数の文書を編集するように、第１のユーザによって文書編集システムに適用された、既定のタイプの第１の実際の編集行動を識別するステップと、（Ｂ）第１の識別された編集行動から、第１のユーザの第１の生産性評価を導出するステップと、（Ｃ）第２の複数の文書を編集するように、第２のユーザによって文書編集システムに適用された、既定のタイプの第２の実際の編集行動を識別するステップと、（Ｄ）第２の識別された編集行動から、第２のユーザの第２の生産性評価を導出するステップと、（Ｅ）第１および第２の生産性評価から、既定のタイプの編集行動と生産性との間の相関の程度を示す行動計量を導出するステップとを含む。
【００１５】
本発明の様々な態様および実施形態の他の特徴および効果は、以下の発明を実施するための最良の形態および特許請求の範囲から明らになろう。
【図面の簡単な説明】
【００１６】
【図１】文書を書き起こして編集するための従来技術システムのデータフロー図である。
【図２】本発明の一実施形態による、文書を編集するためのシステムのデータフロー図である。
【図３】本発明の一実施形態による、図２のシステムによって実行される方法のフローチャートを示す図である。
【図４Ａ】および
【図４Ｂ】図２の編集プロセスをさらに詳細に例示したデータフロー図である。
【図５】本発明の一実施形態による、編集行動ログの内容を例示した図である。
【図６】本発明の一実施形態による、人間の編集者の生産性評価を展開するための方法のフローチャートを示す図である。
【図７】本発明の一実施形態による、図６の方法を実行するためのシステムのデータフロー図である。
【図８】本発明の一実施形態による、複数の編集者のための生産性評価を展開し、次いでそれらの評価を編集行動と相関させて、編集行動と生産性との相関の程度を識別するための方法のフローチャートを示す図である。
【図９】本発明の一実施形態による、図８の方法を実行するためのシステムのデータフロー図である。
【図１０】本発明の一実施形態による、人間の編集者の行動の評価を作成するための方法のフローチャートを示す図である。
【図１１】本発明の一実施形態による、図１０の方法を実行するためのシステムのデータフロー図である。
【図１２】本発明の一実施形態による、ログを取った編集コマンドのグラフを示す図である。
【発明を実施するための形態】
【００１７】
図１に関して上述したように、一般的に、人間の編集者１１２は、草案文書１０６に含まれる誤りを訂正するために、該文書を校正および編集する必要がある。このような誤り訂正は、単調で、時間がかかり、高コストであり、また、それ自体が誤りを起こし得る。したがって、草案文書１０６の誤りを訂正することによってではなく、単純に初めから口語音声ストリーム１０２を再び書き起こすことによって、誤りの無い文書を作成することが、人間の編集者１１２のためにより効率的となるかどうかが問題となり得る。
【００１８】
初めから口語音声ストリーム１０２を再び書き起こすことによってではなく、草案文書１０６を編集することによって誤りが取り除かれる、図１に示したプロセスを使用して得られる生産性向上の程度は、人間の編集者１１２と文書編集システム１０８との相互作用によって図１に表された、編集プロセスの効率および正確度に依存する。これは、同様に、人間の編集者１１２の技能だけでなく、文書編集システム１０８によって提供される生産性特徴にも依存する。本発明の実施形態を用いて、（ａ）文書編集プロセスの効率および正確度を改善し、（ｂ）人間の編集者の目標とする訓練を行って、文書転写プロセスの効率および正確度の全体的な向上を達成することができる。
【００１９】
人間の編集者は、文書編集システムを使用して、人間の転写者または自動文書生成システムのいずれかによって記録された発話から作成された文書のような、草案文書を編集する。編集者の編集行動は、監視され、ログが取られる。編集者の生産性評価を作成するように、ログから統計が展開される。この評価は、他の編集者の評価と組み合わせて用いて、編集行動と生産性との間の相関を示す行動計量を展開することができる。行動計量を用いて、効果的な編集に対して不利益であるか、またはこれに寄与する行動を識別することができ、各編集行動の効果的な編集に対する相対的な寄与を含む。個々の編集行動についてのこのような情報を使用して、個々の編集者の編集行動に基づいて、個々の編集者の生産性を評価すること、個々の編集者の生産性を改善するために個々の編集者が採用し得る行動を識別すること、および編集者の生産性を改善するための編集システム自体に対する変更を識別することができる。生産性が低い原因を自動識別することが困難であるか、または不可能であると判明した場合、編集者の編集行動を、編集者の生産性が低い原因を識別するために、人間によって記録された編集ログから「再生」して、観察することができる。
【００２０】
図２を参照すると、本発明の一実施形態による、文書の書き起こしおよび編集のためのシステム２００のデータフロー図が示されている。図３を参照すると、本発明の一実施形態による、図２のシステム２００によって実行される方法３００のフローチャートが示されている。
【００２１】
転写システム２０４は、口語音声ストリーム２０２を書き起こして、草案文書２０６を作成する（ステップ３０２）。口語音声ストリーム２０２は、例えば、外来患者に説明する医師による口述とすることができる。口語音声ストリーム２０２は、あらゆる形態を取ることができる。例えば、直接的または（電話またはＩＰ接続等を通じて）間接的に受信されるライブ音声ストリーム、または任意の媒体上に、任意のフォーマットで記録された音声ストリームとすることができる。
【００２２】
転写システム２０４は、人間の記録転写士、自動音声認識装置、またはそれらの任意の組み合わせを使用して、草案文書２０６を作成することができる。転写システム２０４は、例えば、上述の特許出願、名称「Ａｕｔｏｍａｔｅｄ  Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  Ｓｅｍａｎｔｉｃ  Ｃｏｎｔｅｎｔ  ａｎｄ  Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  ａ  Ｓｔｒｕｃｔｕｒｅｄ  Ｄｏｃｕｍｅｎｔ  ｆｒｏｍ  Ｓｐｅｅｃｈ」に開示された手法のうちのいずれかを用いて、草案文書２０６を作成することができる。該出願に記載されているように、草案文書２０６は、例えば、口語音声ストリーム２０２のそのままの（逐語的な）トランスクリプト（ｔｒａｎｓｃｒｉｐｔ）とするか、または口語音声ストリーム２０２内の発話を表す他の文書とすることができる。いずれの場合も、口語音声ストリーム２０２および草案文書２０６は、少なくともいくつかの共通する内容を表す。該出願にさらに記載されているように、草案文書２０６は、平易なテキスト文書とすることができるが、草案文書２０６はまた、例えば、文書部分および他の種類の文書構造を描写するＸＭＬ文書のような、構造化文書とすることもできる。
【００２３】
草案文書２０６は、種々の誤りを含む場合がある。医療用語専門家（ＭＬＳ）のような人間の編集者２１２は、一連の編集コマンド２１４ａ−ｎを文書編集システム２０８に提供して、文書２０６の編集済みバージョン２１０を作成する（ステップ３０４）。参照番号２１４は、本願明細書では、全体として、集合的に編集コマンド２１４ａ−ｎを指すために用いられ、一方で、２１４ａおよび２１４ｂのような参照番号は、編集コマンド２１４ａ−ｎの各々を指すために用いられ、ここで、ｎは、編集コマンド２１４ａ−ｎの個数である。
【００２４】
編集者２１２は、例えば、草案文書２０６から誤りを取り除くために、編集コマンド２１４を提供することができる。編集プロセスを補助するために、文書編集システム２０８は、音声ストリーム２０２の音声再生、および編集者２１２によって編集されている草案文書２０６の内容の表示のような、出力２１６を人間の編集者２１２に提供する。
【００２５】
図４Ａを参照すると、編集プロセスをさらに詳細に例示したデータフロー図が示されている。図４Ａに示されるように、文書編集システム２０８は、状態４０２ａ−ｍを含み、ここで、ｍは、状態４０２ａ−ｍの個数である。状態４０２ａは、文書編集システム２０８の初期状態である。参照番号４０２は、本願明細書では、全体として、集合的に状態４０２ａ−ｍを指すために用いられ、一方で、４０２ａおよび４０２ｂのような参照番号は、状態４０２ａ−ｍの各々を指すために用いられる。
【００２６】
図４Ａに例示された特定の実施例では、文書編集システム２０８の初期状態４０２ａは、文書編集システム２０８によって編集されている草案文書２０６の現在バージョン４０４ａを含む。現在バージョン４０４ａは、人間の編集者２１２が、編集コマンド２１４を使用して、これまでに草案文書２０６に行った任意の変更を反映する。換言すれば、現在バージョン４０４ａは、草案文書２０６と図２に示される編集済み文書２１０との間の中間的な文書のバージョンである。編集者２１２が編集プロセスを終えたときに、現在の文書４０４ａは、編集済み文書２１０として提供される。
【００２７】
図４Ａに例示された実施例では、文書編集システム２０８の初期状態４０２ａは、編集カーソル位置４０４ｂも含み、文書編集システム２０８が、次の編集コマンド（文字の追加または削除等）を適用する、現在の文書４０４ａ内の位置を示す。従来のテキストエディタまたはワードプロセッサと同様に、文書編集システム２０８は、現在の文書４０４ａのテキスト内に、キャレット、アンダーライン、または他の視覚的なマーカを使用して、スクリーン上に編集カーソル位置４０４ｂを表示することができる。
【００２８】
口語音声ストリーム２０２が記録された口語音声ストリームである場合、または口語音声ストリーム２０２の記録を文書編集システム２０８で利用できる場合、文書編集システム２０８は、人間の編集者２１２に対してそのような記録を再生して、編集プロセスを支援することができる。そのような場合、文書編集システム２０８の状態４０２ａは再生カーソル位置４０４ｃを含むことができ、人間の編集者２１２に対して現在再生されている口語音声ストリーム２０２内の位置を示す。再生カーソル位置４０４ｃは、例えば、時間単位（ミリ秒等）で、またはデータ単位（バイト等）で表すことができる。
【００２９】
文書編集システム２０８の状態４０２ａは、例えば、現在の時間４０４ｄを含むことができる。現在の時間４０４ｄは、例えば、最も近いミリ秒まで現在の日付および時間を示すことができる。代替的に、例えば、現在の時間４０４ｄは、現在の編集セッションを開始してから経過した時間量を、任意選択で一時停止を除外して、示すことができる。
【００３０】
再び図３を参照すると、文書編集システム２０８は、以下のように、草案文書２０６を編集して、編集済み文書２１０を作成することができる。人間の編集者２１２は、第１の編集コマンド２１４ａを提供し（ステップ３０６）、該コマンドは、文書編集システム２０８内の状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６によって受信される（ステップ３０８）。編集コマンド２１４ａは、例えば、人間の編集者２１２によってタイプされた文字を挿入するコマンド、編集カーソル位置４０４ｂの文字を削除するコマンド、または（例えば、１つの文字を左、右、上、または下に移動させることによって）現在の文書４０４ａ内をナビゲートするコマンドとすることができる。
【００３１】
図４Ｂに示されるように、第１の編集コマンド２１４ａの受信に応答して、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、編集コマンド２１４ａに基づいて、文書編集システム２０８の初期状態４０２ａを修正し（ステップ３１０）、それによって、第２の状態４０２ｂを作成する。例示のために、図４Ａ内の状態情報４０４ａ−ｄの全ては、図４Ｂ内の更新された状態情報４０４ａ’、４０４ｂ’、４０４ｃ’、および４０４ｄ’を作成するように更新されるものとして示される。
【００３２】
状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６によって行われる状態変更の性質は、編集コマンド２１４ａの性質に依存する。例えば、編集コマンド２１４ａが特定の文字を挿入するコマンドである場合、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、規定の文字を現在の文書４０４ａ内の現在の編集カーソル位置４０４ｂに挿入することによって、初期状態４０２ａを修正することができる。人間の編集者２１２が左矢印キーを押すことによってコマンド２１４ａが生じた場合、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、編集カーソル位置４０４ｂの値を減少させることによって、状態４０２ａを修正することができる。コマンド２１４ａが口語音声ストリーム２０２の再生を巻き戻すコマンドである場合、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、再生カーソル位置４０４ｃを適切な時に後方に移動させることによって、状態４０２ａを修正することができる。
【００３３】
これらは、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６が、人間の編集者２１２によって発行された編集コマンド２１４に応答して、初期状態４０２ａを修正することができる方法の実施例に過ぎない。現在の時間４０４ｄのような状態４０２の特定の態様は、人間の編集者２１２によって修正できないように構成することができる。さらに、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、人間の編集者２１２によって発行された編集コマンド２１４ａとは無関係に状態４０２の特定の態様を更新することができる。例えば、状態機械（ｓｔａｔｅ  ｍａｃｈｉｎｅ）４０６は、人間の編集者２１２によって発行された編集コマンド２１４とは無関係に、システムクロックに基づいて、現在の時間４０４ｄを自動的かつ定期的に更新することができる。
【００３４】
文書編集システム２０８は、出力モジュール４０８を含み、編集出力２１６ａの形態で、更新された状態２０２ｂを人間の編集者２１２に与える（ステップ３１０）。編集出力２１６ａは、例えば、現在の文書４０４ａ’の更新されたバージョンを表示することができ、人間の編集者２１２によって該文書に行われた変更を反映する。編集出力２１６ａは、例えば、その更新された位置４０４ｂ’で編集カーソルを表示することができる。更新された再生カーソル位置４０４ｃ’は、例えば、新しい再生カーソル位置４０４ｃ’に位置する口語音声ストリーム２０２の部分に対応する、草案文書２０６内のテキストを強調することによって、人間の編集者２１２に与えることができる。これらは、文書編集システム２０８の更新された状態４０２ｂが、人間の編集者２１２に与えることができる方法の実施例に過ぎない。
【００３５】
ステップ３０８〜３１２は、文書編集システム２０８（現在の文書４０４ａの内容を含む）の状態４０２の修正を何回も繰り返すことができ、それによって、追加的な更新された状態４０２ｃ−ｍおよび追加的な出力２１６ｂ−ｍを作成する。文書編集プロセスは、編集者２１２が現在の文書４０４ａを保存して閉じたときのような、文書編集システム２０８が編集コマンド２１４のうちの最後の１つを処理した後に終了させることができ、その位置で、現在の文書４０４ａは、最終的な編集済み文書２１０となる。
【００３６】
編集プロセスの態様は、その後の解析のために監視してログを取る（記録する）ことができる。例えば、図２のシステム２００は、編集行動監視装置２２０を含む。編集行動監視装置２２０は、例えば、編集コマンド２１４ａ−ｎのそれぞれを観察（監視）すること、および編集行動ログ２２２内に記録する（ログを取る）ことができる。例えば、図３に示されるように、人間の編集者２１２が編集コマンド２１４ａを発行したときに（ステップ３０４）、編集行動監視装置２２０は、編集コマンド２１４ａを受信し（ステップ３２０）、編集コマンド２１４ａを編集行動ログ２２２内に記録する（ステップ３２２）。ステップ３２０および３２２は、例えば、ステップ３０８〜３１２と並行して、またはこれらと連続的に実行することができる。編集行動監視装置２２０は、人間の編集者２１２によって発行された順に、編集コマンド２１４のそれぞれを編集行動ログ２２２内に記録することができる。
【００３７】
編集行動監視装置２２０は、種々の情報のうちのいずれかを編集行動ログ２２２内に格納することができる。例えば、図５を参照すると、本発明の一実施形態による、編集行動ログ２２２の内容の図が示されている。図５では、編集行動ログ２２２は、編集開始時間５０２、編集終了時間５０６、および編集行動の表５０４を含むものとして例示されている。編集行動監視装置２２０は、開始時間５０２における編集セッションの開始を表す時間、および終了時間５０６における編集セッションの終了を表す時間を格納する。編集行動監視装置２２０は、例えば、編集のために草案文書２０６が編集者２１２に最初に示されたときに、開始時間５０２を更新し、図３の方法３００の完了時に、終了時間５０６を更新することができる。
【００３８】
編集行動テーブル５０４は、３つの列５０８ａ−ｃ、および５つの行５１０ａ−ｅを含む。行５１０ａ−ｅのそれぞれは、監視された編集コマンド２１４のうちの１つに対応するデータを格納する。各行の列５０８ａは、コマンドに対するデータが行内に格納されたコマンド識別子（コマンドＩＤ）を格納する。各行の列５０８ｂは、もしあれば、コマンドに関連して監視されるデータを格納する。最後に、各行の列５０８ｃは、対応する編集コマンドが監視された時間を示すタイムスタンプを格納する。
【００３９】
例えば、行５１０ａ内の記録は、現在の時間４０４ｄが０分１０秒（列５０８ｃ）になったときに、人間の編集者２１２がコマンド「ＭｏｖｅＲｉｇｈｔＯｎｅＣｈａｒ」（列５０８ａ）を入力したことを示している。行５１０ａの列５０８ｂは、いかなるデータも「ＭｏｖｅＲｉｇｈｔＯｎｅＣｈａｒ」コマンドに関連しないので、空白（ＮＵＬＬ）である。
【００４０】
行５１０ｂ内の記録は、現在の時間４０４ｄが０分１１秒（列５０８ｃ）になったときに、人間の編集者２１２が「Ｈ」というデータ値を有するコマンド「ＩｎｓｅｒｔＴｅｘｔ」（列５０８ａ）を入力したことを示している。これは、現在の編集カーソル位置４０４ｂに単一の文字「Ｈ」を挿入するコマンドを示す。同様に、行５１０ｃ内の記録は、現在の時間４０４ｄが０分１２秒（列５０８ｃ）になったときに、人間の編集者２１２が「ｅ」というデータ値を有するコマンド「ＩｎｓｅｒｔＴｅｘｔ」（列５０８ａ）を入力したことを示している。これは、現在の編集カーソル位置４０４ｂで単一の文字「ｅ」を挿入するコマンドを示す。
【００４１】
行５１０ｄ内の記録は、現在の時間４０４ｄが０分１３秒（列５０８ｃ）になったときに、人間の編集者２１２が空白のデータ値を有するコマンド「ＤｅｌｅｔｅＣｈａｒ」（列５０８ａ）を入力したことを示している。これは、現在の編集カーソル位置４０４ｂで単一の文字を削除するコマンドを示す。最後に、行５１０ｅ内の記録は、現在の時間４０４ｄが０分１４秒（列５０８ｃ）になったときに、人間の編集者２１２が空白のデータ値を有するコマンド「ＥＮＴＥＲ」（列５０８ａ）を入力したことを示している。これは、現在の編集カーソル位置４０４ｂで、段落分割を挿入するコマンドを示す。
【００４２】
図５に示された特定の列は、例示を目的として示したものに過ぎず、本発明を限定する構成ではないことに留意されたい。例えば、図５に示される列は取り除くことができ、また、図５に示されていない追加的な列を編集行動ログ２２２に追加することができる。例えば、ログ２２２は、編集コマンド２１４のそれぞれを発行した人間の編集者２１２のアイデンティティ、音声ストリーム２０２の話者のアイデンティティ、および／または編集を行うために使用した文書編集システム２０８のバージョンを記録することができる。より具体的には、編集行動ログ２２２は、編集コマンド２１４のそれぞれが発行されたときに、文書編集システム２０８の状態４０２の任意のサブセットの全てを記録することができる。
【００４３】
さらに、編集行動ログ２２２は、編集コマンド２１４に関する情報を格納することに限定されず、また、編集コマンド２１４が発行されたときにだけ状態情報を格納することに限定されない。むしろ、編集行動監視装置２２０は、例えば、人間の編集者２１２が編集コマンドを発行したかどうかに関わらず、編集行動ログ２２２内に、状態情報４０２のいくつか、または全てを定期的に（例えば、１秒に１回）記録することができる。さらに、編集行動ログ２２２内の記録のうちの１つ以上は、人間の編集者２１２によって発行されたどれかの編集コマンドに関する情報が欠如している場合がある。例えば、編集行動ログ２２２内の記録は、人間の編集者２１２によって発行された編集コマンド２１４のうちのいずれかに関する情報を記録せずに、編集カーソル位置４０４ｂまたは現在の文書４０４ａの内容を記録することができる。
【００４４】
図５に示された実施形態では、コマンド２１４のそれぞれは、コマンド識別子（列５０８ａ）および関連データ（列５０８ｂ）を参照することによって記録されるが、これは、コマンド２１４のログを取ることができる方法の一実施例に過ぎない。別の実施例として、コマンド２１４は、コマンド２１４の発行をもたらしたマウスクリック、キーストローク、またはフットペダルの動きのような、物理的な入力のインジケーションを記録することによって、ログを取ることができる。
【００４５】
図２には、編集行動ログ２２２がシステム２００とは異なる要素として例示されているが、ログ２２２は、例えば、システム２００の他の要素と組み合わせることができる。例えば、ログ２２２は、編集済み文書２１０自体の中に格納することができる。編集行動監視装置２２０は、潜在的に異なる人々によって文書が複数回編集された場合のような、複数の編集行動ログを生成することができる。そのような場合、編集済み文書２１０は、複数の編集行動ログを含むことができる。
【００４６】
編集行動監視装置２２０は、種々の方法のうちのいずれかで、編集コマンド２１４を「監視する」、または「観察する」ことができる。例えば、文書編集システム２０８は、コマンド２１４、および文書編集システム２０８の状態４０２に関する情報を、外部ソフトウェアアプリケーションにアクセス可能なものとする、アプリケーションプログラムインタフェース（ＡＰＩ）を提供することができる。そのような場合、編集行動監視装置２２０は、文書編集システム２０８の外部にあり、ＡＰＩを通じて編集コマンド２１４に関する情報を得る、ソフトウェアアプリケーションとして実装することができる。編集行動監視装置２２０は、次いで、ＡＰＩを通じて得た情報を編集行動ログ２２２内に記録することができる。
【００４７】
別の実施例として、文書編集システム２０８および編集行動監視装置２２０は、単一のソフトウェアアプリケーションとして、または、統合ソフトウェアアプリケーションセットとして実装することができる。編集行動監視装置２２０および文書編集システム２０８は、例えば、ソースコードを共有すること、および／または互いにリンクされた実行可能なモジュールを含むことができる。その結果、編集行動監視装置２２０は、ＡＰＩの使用を必要とせずに、編集コマンド２１４に関する情報、および文書編集システム２０８の状態４０２に関する情報へアクセスすることができる。
【００４８】
編集行動監視装置２２０は、編集コマンド２１４の、またはそのあらゆるサブセットの全てを監視することができる。同様に、編集行動監視装置２２０は、その状態４０２の各移行後の文書編集システム２０８の状態４０２、またはそのあらゆるサブセットを監視することができる。本発明の一実施形態では、編集行動監視装置２２０は、発行された編集コマンド２１４の全ての時間を示すタイムスタンプを含む、人間の編集者２１２によって発行された編集コマンド２１４の全てを監視する。それぞれ、このようなタイムスタンプは、タイムスタンプが記録されたときに、現在の時間４０４ｄの値を反映することができる。下記に詳述するように、編集コマンド２１４のこのような包括的なタイムスタンプされたログを保持することで、編集コマンド２１４のリアルタイムの「再生」が可能となり、人間の編集者２１２の生産性を改善するための、人間の編集者２１２の編集行動の評価を容易にする。
【００４９】
編集行動監視装置２２０は、異なる詳細のレベルで編集コマンド２１４のログを取るように構成することができ、それによって、文書ごとにログを取った情報量に対する柔軟性を提供する。例えば、編集行動監視装置２２０は、（１）何もログを取らない、（２）編集コマンド２１４および状態情報４０２のログを取る、または、（３）編集コマンド２１４、状態情報４０２、および編集コマンド２１４のそれぞれによって現在の文書４０４ａ内に作成されたあらゆる差異のログを取る、ように構成することができる。
【００５０】
システム２００は、種々の方法のうちのいずれかで編集行動ログ２２２を表示するための手段を含むことができる。例えば、システム２００は、編集コマンド２１４および対応する状態情報４０２のテキストリストとして、編集行動ログ２２２を表示することができる。代替的に、例えば、システム２００は、図１２に示されたグラフ１２００のような、編集行動ログ２２２を二次元グラフとして表示することができ、グラフ中、ｘ軸１２０２ａは、再生カーソル位置を表し、ｙ軸１２０２ｂは、（絶対的または相対的な）現在の時間を表す。図１２の実施例では、（キーを押した、ペダルを踏んだ、および解放した、等の）ログを取ったイベントは、そのようなイベントが生じた再生時間と編集時間との組み合わせに対応する座標で、十字マークを使用して示される。図の簡略化のため、同じ２秒の間隔の間に生じたイベントが、図１２のグラフ１２００上の同じｙ座標に表示されている。このようなグラフ１２００は、テキストだけの表現よりも容易に理解できる、編集行動ログ２２２の表現をユーザに提供することができる。
【００５１】
人間の編集者の編集行動を分析して、編集システム２０８の特徴である編集者の使用に関連した統計を作成することができる。これらの統計を用いて、編集者の生産性を評価すること、および編集者の生産性を改善するための、ならびに編集システム２０８自体を改善するための推薦を作成することができる。
【００５２】
例えば、図６を参照すると、本発明の一実施形態による、編集者２１２の生産性評価を展開するための方法６００のフローチャートが示されている。図７を参照すると、本発明の一実施形態による、図６の方法６００を実行するためのシステム７００のデータフロー図が示されている。
【００５３】
概して、図６および図７に示された実施形態では、複数の草案文書７０２が、複数の口語音声ストリーム７０４に対応する。編集者２１２は、文書編集システム２０８を使用して草案文書７０２を編集し、それによって、対応する編集行動ログ７０８を有する編集済み文書７０６を作成する。
【００５４】
より具体的には、図６を参照すると、草案文書７０２ごとに（ステップ６０２）、編集者２１２は、編集システム２０８を使用して草案文書を編集し、それによって、編集済みトランスクリプト（ｔｒａｎｓｃｒｉｐｔ）７０６および行動ログ７０８のうちの対応する１つを作成する（ステップ６０４）。
【００５５】
生産性評価者７１２は、現在の編集行動ログ、草案文書、および編集済み文書に基づいて、編集者２１２の生産性評価７１８を作成する（ステップ６０６）。生産性評価者７１２は、例えば、行動ログ７０８のうちの現在の１つから、行動統計７１４を導出すること、および行動統計７１４を生産性評価７１８内に含めることができる（ステップ６０８）。
【００５６】
行動統計７１４は、例えば、「コア」統計、およびコア統計から導出された高次統計を含むことができる。コア統計は、編集セッション中に特定のキーボードのショートカットが押された回数のような、編集セッション中の編集者の編集行動の直接測定から作成されたものである。１つ以上のコア統計から導出することができる高次統計の一実施例は、編集者が正確に３回再生した音声ストリームの割合である。高次統計の別の実施例は、編集効率であり、これは、編集者が草案文書の編集にかけた時間量（例えば、編集開始時間と終了時間との差異）を、対応する口語音声ストリームの長さで除算したものとして測定することができる。
【００５７】
コア統計は、特定の編集セッションに関連する。しかしながら、高次統計は、複数の編集セッションから導出することができる。その結果、高次統計の初期値を、１つ以上の編集セッションから導出することができる。それらの初期値は、より多くの編集行動データをより多くの編集セッションから利用できるようになるので、時間とともに精緻化することができる。
【００５８】
生産性評価者７１２は、コア統計から複数のレベルの統計を導出することができる。例えば、生産性評価者７１２は、コア統計から高次統計の第１のセットを導出し、次いで、コア統計に直接依存せずに、第１のセットから高次統計の第２のセットを導出することができる。
【００５９】
コアおよび導出された統計の両方を含む行動統計７１４の他の実施例は、これに限定されないが、不活動期間の数および長さ（すなわち、人間の編集者２１２が、文書編集システム２０８に対していかなる入力も提供しなかった期間）、編集セッション中の音声の再生速度の最小、最大、平均、および標準偏差、編集セッション中に実行された編集操作の割合、少なくとも１度、２度、３度等再生された口語音声ストリームの割合、マウスクリックの頻度、特定の編集カーソル位置決めキーおよび／またはキーボードショートカットの使用頻度、特定の音声カーソル位置決めキー、キーボードショートカット、および／またはフットペダル操作の使用頻度、リスト、部分、およびブックマークのオン／オフをトグルするためのキーボードショートカットの使用頻度、および、スペルチェック機能を使用したかどうか、を含む。
【００６０】
使用頻度は、（１）バイナリ表示器（「使用した」か「使用していない」）、（２）絶対値（「ｘ回使用した」）、または（３）相対値（「時間のｘ％を使用した」）、のような種々の方法のうちのいずれかで測定することができる。
【００６１】
生産性評価者７１２は、現在の草案文書と、対応する編集済み文書との差異の程度を示す編集距離７１６を展開して、それを生産性評価７１８内に含めることもできる（ステップ６１０）。草案文書７０２および編集済み文書７０６が編集行動ログ７０８内に記録されていない場合、草案文書７０２および編集済み文書７０６は、編集距離７１６の計算に使用するために、生産性評価者７１２への直接的な入力として提供することができる。
【００６２】
編集者２１２に対する生産性評価７１８は、同じ編集者２１２によって編集された追加的な文書に対してステップ６０４〜６１０を繰り返すことによって、拡張することができる（ステップ６１２）。このような追加的な編集セッションによって提供された追加的なデータを使用して、行動統計７１４を精緻化することができ、その結果、編集セッションの全てにわたる合計の行動統計を表すことができる。同様に、編集距離７１６は、編集セッションの全てにわたる合計の（例えば、平均の）編集距離７１６を表すことができる。
【００６３】
図８を参照すると、複数の編集者の生産性評価を展開し、次いで、それらの評価を編集行動と相関させて、異なる編集行動が寄与する程度、または生産性を損なう程度を識別するための方法のデータフロー図が示されている。図９を参照すると、図８の方法８００を実行するためのシステム９００のデータフロー図が示されている。
【００６４】
複数の人間の編集者９０２ａ−ｃのそれぞれは、文書編集システム２０８を使用して、複数の文書（図示せず）を編集し、それによって、上述の手法を使用して、複数の編集済み文書（現在示される）および編集行動ログ９０８ａ−ｃを作成する（ステップ８０２）。生産性評価者７１２は、上述の手法を使用して、編集者９０２ａ−ｃの生産性評価９０６ａ−ｃをそれぞれ作成する（ステップ８０４）。
【００６５】
行動計量識別子９１０は、生産性評価および行動ログ９０８ａ−ｃに基づいて、一組の行動計量９１２を作成する（ステップ８０６）。「行動計量」は、例えば、特定の編集行動と生産性との間の相関の尺度とすることができる。例えば、ある行動計量は、「１つの単語を右に移動させる」コマンドを高頻度で使用することが、生産性に正に寄与するかどうかを示すことができ、一方で、別の行動計量は、「全ての単語を削除する」コマンドを高頻度で使用することが、生産性に正に寄与するかどうかを示すことができる。行動計量は、例えば、バイナリ（すなわち、行動が生産性に寄与するかどうかを示す）または、リニアスケール（例えば、−５乃至＋５のスケールであり、−５は、生産性への大きな負の効果を示し、ゼロは、生産性にいかなる影響も及ぼさないことを示し、＋５は、生産性への大きな正の効果を示す）で測定するか、または他の方法で表すことができる。
【００６６】
行動計量９１２は、特定の編集行動の使用／不使用と、生産性との間の相関の程度だけでなく、その行動の使用の他の特性が生産性に寄与する程度も示すことができる。例えば、特定の計量は、特定の頻度での特定の行動の使用が生産性に寄与する程度を示すことができる。その結果、同じ編集行動に対して複数の計量が存在する場合があり、それぞれが、異なる状況の下でのその行動と生産性との間の相関の程度を示す。
【００６７】
行動計量識別子９１０によって作成された行動計量９１２は、例えば、文書編集システム２０８によって許可された行動ごとの、または（行動計量識別子９１０によって処理された編集ログ９０８ａ−ｃ内に観察されたサブセットのような）そのあらゆるサブセットのための行動計量を含むことができる。概して、行動計量識別子９１０は、（編集ログ９０８ａ−ｃ内に記録されたように）編集者９０２ａ−ｃの編集行動と、対応する生産性評価９０６ａ−ｃとの間の統計的相関を識別することによって、行動計量９１２を作成することができる。概して、例えば、（個々の文字単位ではなく、全ての単語単位で編集カーソルを右へ移動させるような）特定の編集行動の使用が、高い編集効率と強い相関を有することが分かった場合、全ての単語単位で編集カーソルを右へ移動させる行動に対する行動計量は、高い値（例えば、−５乃至＋５のスケールで＋５）を有し得る。
【００６８】
種々の既知の統計的手法のうちのいずれかを用いて、このような相関を実行し、それによって、行動計量９１２を作成することができる。さらに、代替的に、行動計量９１２は、行動ログ９０８ａ−ｃおよび生産性評価９０６ａ−ｃの統計解析に基づいて作成されたものではなく、全体的に、または、部分的に予め定めたものとすることができる。例えば、行動計量９１２は、編集行動と生産性との間の相関の予測に基づいて、既定の値に初期化することができ、より多くのデータが収集されたときに、統計解析の結果によって更新するか、またはこれと置き換えることができる。
【００６９】
例えば、一方の行動計量は、１つの単語内の全ての文字を個々に削除するためのＤＥＬＥＴＥキーの反復使用が、生産性に強い負の効果を有することを示すように初期化することができ、他方の行動計量は、単一の文字を削除するためのＤＥＬＥＴＥキーの反復使用が、生産性に強い正の効果を有することを示すように初期化することができる。しかしながら、このような初期値は、ＤＥＬＥＴＥキーの使用と生産性との間の観察された相関に基づいて、修正または置き換えることができる。
【００７０】
行動計量９１２を用いて、編集者２１２の生産性を評価すること、および編集者の生産性を改善するための推薦を展開することができる。図１０を参照すると、例えば、本発明の一実施形態による、行動計量９１２に基づいて、編集者２１２の行動評価を作成するための方法１０００のフローチャートが示されている。図１１を参照すると、本発明の一実施形態による、図１０の方法１０００を実行するためのシステム１１００のデータフロー図１１００が示されている。
【００７１】
方法１０００は、図８および図９に関して上述した手法を使用して、行動計量９１２を識別する（ステップ１００２）。方法１１００は、図６および図７に関して上述した手法を使用して、編集者２１２の生産性評価７１８を識別する（ステップ１１０４）。行動評価者１１０２は、行動計量９１２および生産性評価７１８に基づいて、編集者２１２の行動評価１１０４を展開する（ステップ１１０４）。
【００７２】
概して、行動評価１１０４は、（例えば、編集者の行動ログ７０８内にあるように）観察された編集者２１２の編集行動が生産性と相関するかどうか、およびその程度を示すことができる。行動評価者１１０２は、例えば、特定の編集者２１２による（特定のコマンドのような）編集システム２０８の特定の特徴の使用に関連する統計と、対応する行動計量９１２とを比較することによって、行動評価１１０４を展開することができる。例えば、行動計量９１２が、特定のコマンドを高頻度で使用することが高生産性と強く相関していることを示し、かつ、編集者２１２の生産性評価７１８が、編集者２１２がそのコマンドを頻繁に使用していることを示した場合、行動評価１１０４は、編集者のそのコマンドの使用に対して高いスコアを示すことができる。同様に、行動計量９１２が、特定のコマンドを低頻度で使用することが高生産性と強く相関していることを示し、かつ、生産性評価７１８が、編集者２１２がそのコマンドを頻繁に使用していることを示した場合、行動評価１１０４は、編集者のそのコマンドの使用に対して低いスコアを示すことができる。このようにして、複数の編集者によって多数の編集セッションから得られた知識を使用して、特定の編集者２１２（および、他の特定の編集者）の生産性を測ることができる。
【００７３】
行動評価１１０４は、編集者の行動をあらゆるレベルの細かさで評価することができる。例えば、行動評価１１０４は、編集者２１２によって実行される編集行動ごとに、異なる評価を含むことができる。代替的に、例えば、行動評価１１０４は、編集者２１２の単一の「生産性スコア」を表す合計の値を含むことができる。このような合計の値は、例えば、高生産性に大きく寄与すると判断された特定の行動のような、編集者２１２によって実行された異なる行動に対する個々の行動評価から導出することができる。これらは、行動評価１１０４が取ることができる形態の実施例に過ぎない。
【００７４】
行動評価１１０４を用いて、人間の編集者２１２の生産性を改善するための推薦を展開することができる。例えば、システム１１００は、行動評価１１０４が、編集者２１２がどの非生産的な編集行動に関与したことを示すかどうかを判断する（ステップ１００８）、行動推薦器１１０６を含むことができる。この判断は、例えば、編集者の特定の編集行動の使用頻度が特定の閾値を下回るかどうかを判断することによって、行うことができる。このような閾値は、例えば、他の編集者の編集行動と関連して識別することができる。例えば、編集者２１２の編集行動は、その行動が全体的な生産性と負の相関を有し、かつ、その行動に、全ての編集者の中で下位１０％の全体的な生産性を有する編集者が関与するが、全ての編集者の中で上位１０％の全体的な生産性を有する編集者は関与しない場合、「非生産的」であると判断することができる。これらは、編集者２１２の編集行動が「非生産的」であると判断することができる方法の実施例に過ぎない。
【００７５】
行動推薦器１１０６が、編集者２１２が１つ以上の非生産的な行動に関与したと判断した場合、行動推薦器１１０６は、編集者２１２に１つ以上の行動推薦１１０８を提供する（ステップ１０１０）。推薦１１０８は、種々の方法のうちのいずれかで展開することができ、編集者が種々のアクションのうちのいずれかを取ることを推薦することができる。
【００７６】
推薦１１０８は、例えば、編集者２１２が将来的に適用して、彼または彼女の編集生産性を改善することができる、編集行動を推薦することができる。概して、編集者の行動評価１１０４が、編集者２１２が特定の低生産性の特徴を高頻度で使用することを示した場合、推薦器１００６は、編集者２１２がその特徴をあまり頻繁に使用しないように推薦することができる。同様に、行動評価１１０４が、編集者２１２が特定の高生産性の特徴を低頻度で使用することを示した場合、推薦器１００６は、編集者２１２がその特徴をより頻繁に使用するように推薦することができる。
【００７７】
例えば、行動評価１１０４が、人間の編集者２１２が削除する文字ごとにＤＥＬＥＴＥキーを繰り返し押すことによって単語を頻繁に削除していることを示した場合、行動推薦器１１０６は、ＣＴＲＬキーとＤＥＬＥＴＥキーとの組み合わせを使用して、より効率的に全ての単語を削除するように推薦することができる。
【００７８】
別の実施例として、最小および／または最大値を、行動統計７１４のそれぞれと関連付けることができる（図７）。編集者２１２に対する特定の統計値がその関連付けられた最小値を下回った場合、推薦１１０８は、編集者２１２が、対応する統計値を増加させることを目的とした行動に関与するように推薦することができる。例えば、編集者の平均再生速度が規定の最小値を下回った場合、推薦１１０８は、編集者２１２が平均再生速度を増加するように推薦することができる。同様に、編集者２１２に対する特定の統計値がその関連付けられた最大値を上回った場合、推薦１１０８は、編集者２１２が、対応する統計を減少させることを目的とした行動に関与するように推薦することができる。
【００７９】
行動統計の別の実施例は、音声ストリーム２０２が再生されている間に行われるキーストローク数と、音声ストリーム２０２が一時停止されている間に行われているキーストローク数との比率である。該比率は、編集者２１２が音声ストリーム２０２を聞いている間にキー入力し、それによってマルチタスクを行っていたことを示すので、この比率の値が高いほど、より効率的な編集行動であることを示す。この比率が低い場合、行動推薦器１１０６は、編集者２１２が音声ストリーム２０２をあまり頻繁に一時停止しないように推薦することができる。
【００８０】
文書編集システム２０８は、編集者２１２が、テキストカーソルを、現在再生されている音声ストリーム２０２の部分に対応するテキストへ移動させることができる特徴を含むことができる。同様に、文書編集システム２０８は、編集者２１２が、現在のテキストカーソル位置のテキストに対応する音声ストリーム２０２の部分へ、再生カーソルを移動させることができる特徴を含むことができる。このような特徴は、例えば、事前設定したキーボードショートカットを使用して動作させることができる。このような特徴を使用することで、（フットペダルによって動作させるような）従来の巻き戻しおよび早送り機能を使用したものと比較して、編集効率を大きく向上させることができる。例えば、再生カーソルを、現在のテキストカーソル位置に対応する音声ストリーム２０２の部分へ移動させることで、編集者は、マークを行き過ぎるリスクを冒さずに、現在編集しているテキストの場所へ正確に、直ちに音声ストリーム２０２を巻き戻すか、または早送りすることができる。したがって、これらの特徴の使用は、高生産性の指示として扱うことができる。編集者２１２がこれらの特徴を使用できなかった場合、行動推薦器１１０６は、編集者２１２が将来的にそれらを使用するように推薦することができる。
【００８１】
生産性評価者７１２を高生産性の表示として扱うことができる他の編集行動の実施例は、音声ストリーム２０２の部分の比較的低頻度の再生、音声ストリーム２０２の再生の増速、全ての単語単位で前方および後方に移動させるような機能を実行するための、および文書の最初および終わりに移動させるための、ナビゲーション用のキーボードショートカットの使用、および、テキストの切り取り、コピー、貼り付けのような機能を実行するための編集用キーボードショートカットの使用、を含む。これらの特徴を使用できなかった、または使用頻度が不十分であったときに、行動推薦器１１０６は、編集者２１２がそれらの特徴をより頻繁に使用するように推薦することができる。
【００８２】
編集者の生産性評価７１８を作成するときに、生産性評価者７１２は、（タイムスタンプ５０８ｃを使用して）編集者２１２が特定の編集行動に関与した時間も考慮することができる。例えば、生産性評価者７１２は、音声再生の終わり近くで音声再生速度を上げるよりも生産性への寄与が大きいものとして、音声再生の始まり近くで音声再生速度を上げる編集行動を扱うことができる。
【００８３】
推薦１１０８は、推薦された行動を説明する報告、推薦された行動を説明するポップアップウインドウ、または推薦された行動を実行するのに必要なキーストローク、および／または他のアクションを表示するスクリーン上のアニメーションのような、種々の形態のうちのいずれかを取ることができる。推薦１１０８は、編集者の生産性評価７１８および／または行動評価１１０４を含むことができ、同様に種々の形態のうちのいずれかで編集者２１２に示すことができる。
【００８４】
推薦１１０８は、オンデマンドで、１日に／週に／月に１回、または他のあらゆるスケジュールに従うような、種々のスケジュールで提供することができる。推薦１１０８の第２の、およびその後のセットは、生産性評価７１８および／または行動評価１１０４を含むことができ、編集者２１２の以前の評価および推薦に対する比較を含むことができ、編集者の特定の行動の使用が最後の評価から増加または減少しているかどうか、または編集者の全体的な生産性の程度が最後の評価から増加または減少しているかどうかのような情報を提供する。
【００８５】
図１０および図１１に示された手法を用いて、複数の編集者の行動評価を展開することができる。このような評価を用いて、編集者２１２の行動評価１１０４を他の編集者の行動評価と比較することによって、他の編集者に対して編集者２１２をランク付けすること、および、それによって、過剰および過小達成者を識別することができる。例えば、編集者２１２は、編集者の全体的な行動評価スコアが全ての行動評価スコアの下位１０％であった場合は、過小達成者として分類し、編集者の全体的な行動評価スコアが全ての行動評価スコアの上位１０％であった場合は、過剰達成者として分類することができる。
【００８６】
行動評価１１０４は、文書編集システム２０８自体を改善するのに用いることもできる。例えば、再び図１０および図１１を参照すると、システム１１００は、編集システムの修正識別子１１１０も含むことができ、文書編集システム２０８に対する修正１１１２を識別して、文書編集システム２０８を使用したときの人間の編集者２１２の生産性を改善する（ステップ１０１２）。例えば、人間の編集者２１２が、草案文書２０６を編集したときに、口語音声ストリーム２０２の再生速度を頻繁に２０％上げている場合、編集システムの修正識別子７２４は、文書編集システム２０８のデフォルトの再生速度を２０％上げるように推薦することができる。
【００８７】
別の実施例として、行動評価１１０４を用いて、既存の、または新しく追加された編集特徴が編集効率と相関するかどうかを判断することができる。例えば、特定の編集特徴がいかなる人間の編集者の編集効率とも相関していないと判断された場合、その特徴は、意図したように使用されていないか、またはその特徴は、編集効率の改善という点では効果的でないと結論付けることができる。このプロセスを用いて、新しい、または提案された新しい編集特徴が、編集効率の改善という点で実際に効果的かどうかを評価することができる。その結果、提案された新しい特徴は、例えば、それらを限られたユーザ調査に展開して、それらを実際に市場に展開する前に、編集効率の改善におけるそれらの実際の有効性を測定することによって、試験を行うことができる。
【００８８】
システム１１００は、編集システム修正器１１１４をさらに含み、修正コマンド１１１６を文書編集システム２０８に提供することによって、推薦された修正１１１２を文書編集システム２０８に行う（ステップ１０１４）。修正１１１２は、全てのコンテキストに適用する必要がないことに留意されたい。例えば、修正１１１２は、特定の人間の編集者２１２に関連付けられたユーザープロファイル内に記録することができ、そのため、その特定の人間の編集者２１２が文書編集システム２０８を使用するときにだけ、修正１１１２（および人間の編集者２１２の生産性評価７１８によって生じた他のあらゆる修正）が、文書編集システム２０８に適用される。他の人間の編集者（図示せず）の生産性評価に基づいて行われた修正は、同様にそれらの編集者のプロファイル内に格納して、それらの編集者が文書編集システム２０８を使用するときに適用することができ、それによって、文書編集システム２０８を、編集者のそれぞれの行動に合うように調整することが可能となる。
【００８９】
生産性評価者７１２は、最初に人間の編集者２１２によって発行された編集コマンド２１４を「再生する」ことによって、生産性評価７１８を展開することができることを上述した。このような再生は、元の草案文書２０６を文書編集システム２０８に提供し、編集行動ログ２２２内に記録された時間間隔で、編集コマンド２１４を、編集行動ログ２２２内に記録されたように、文書編集システム２０８に発行することによって実行することができる。コマンドのそれぞれを、順に、かつそれらが最初に編集者２１２によって提供されたときに編集システム２０８に、発行することによって、編集者の行動を再構成し、それによって「再生する」ことができる。
【００９０】
このような再生は、例えば、編集者の生産性が低いが、その原因が、編集ログ２２２だけに基づいただけでは容易に識別できない場合に実行するのに有用となり得る。この場合、編集者の生産性が低い原因を識別するために、訓練を受けた技術者が編集者の行動を再生して観察することができる。
【００９１】
本発明の実施形態は、種々の利点を有する。例えば、概して、本発明の実施形態を用いて、自動音声認識装置および他の手段を使用して作成した草案文書の編集を課せられた、医療用語専門家およびその他の人々の編集効率を改善することができる。より具体的には、人間の編集者２１２が文書編集システム２０８を非生産的に使用している方法を識別することができる。それに応じて、システムは、編集者がシステムをより生産的に使用する方法を推薦することができる。さらに、システムは、人間の編集者の観察された行動に基づいて、例えばデフォルトの再生速度を増加させることによって、システム自体を修正し、それによって、将来、編集者がより生産的に使用するようにシステムを微調整することができる。
【００９２】
本願明細書に開示された手法は、特定の推薦が編集者２１２に提供されないときであっても有用である。例えば、編集者２１２の生産性評価７１８を、目標とするフィードバックとして編集者２１２に示すことができ、それに応じて、編集者２１２は、どのように生産性を向上させるのかに関する彼または彼女自身の結論を出すことができる。同様に、複数の編集者の生産性評価を互いに比較して、編集者に共通の特に効率的または非効率的な行動を識別することができ、それによって、生産性の問題に正確に優先順位を付けることが可能となる。
【００９３】
全てのユーザインタラクション（キーストローク、マウスクリック、およびフットペダル操作）の監視およびロギングは、種々の利益を有する。例えば、このような包括的なタイムスタンプされたロギングは、編集行動の全ての関連する態様を取り込むので、編集行動解析を後回しに、および潜在的にサイト外で実行することが可能となる。複数のサイトで異なる時間に実行された複数の編集セッションは、収集した合計の統計とともに、バッチで、１つのサイトにおいて分析することができる。これは、実行される生産性解析のコストの削減、および速度、能力、並びに柔軟性の向上の両方を行うことができる。
【００９４】
本願明細書に開示された手法を用いて導出した生産性評価および他の尺度は、編集者のための生産性ベースの補正スキーム、および学習曲線の追跡（すなわち、経時的な生産性の改善）のような、種々の目的に使用することができる。その性能が平均以下である編集者、および／または経時的に十分に改善しない編集者は、追加的なフォローアップ訓練に値するものとして識別することができる。
【００９５】
より具体的には、本願明細書に開示された手法を用いて導出した生産性評価および他の測定を用いて、編集者２１２が正しく使用しなかった、または十分な頻度で使用しなかった、文書編集システム２０８の特定の生産性の特徴を識別すること等によって、編集者の訓練を支援することができる。同じ尺度を用いて、追加的な生産性の特徴をシステム２０８の将来のバージョンに追加すべきであるという見識を提供する等によって、編集システム２０８のさらなる開発を誘導することができる。
【００９６】
本発明を特定の実施形態に関して上述したが、上述の実施形態は、例示目的のみに提供したものであり、本発明の範囲を限定または規定するものではないことを理解されたい。以下を含むがこれに限定されない様々な他の実施形態もまた、特許請求の範囲内である。例えば、本願明細書に開示された要素および構成要素は、追加的な構成要素にさらに分割するか、または結合させて、より少ない構成要素で同じ機能を実行するように形成することが可能である。
【００９７】
生産性評価者７１２によって提供される生産性評価７１８は、人間の編集者２１２の生産性を直接表すスコアまたは他のあらゆる尺度を含む必要はない。例えば、編集行動ログ７０８自体は、生産性評価７１８の役割を果たすことができ、その場合には、行動計量９１２、行動評価１１０４、推薦された編集行動７１８、および推薦された編集システムの修正７２６を、別個の生産性評価を生成せずに、編集行動ログ７０８に基づいて識別することができる。同様に、行動評価１１０４は、別個の行動計量９１２を生成せずに、生産性評価７１８および／または行動ログ７０８に直接基づいて展開することができる。
【００９８】
ちょうど生産性評価７１８および編集行動ログ２２２によって実行された機能を組み合わせることができるように、それらも追加的な要素に分けることができる。例えば、生産性評価７１８は、（統計のような）編集行動ログ２２２から引き出された結論、およびそれらの結論から導出された１つ以上の生産性スコアの両方を含むことができる。
【００９９】
生産性評価７１８、行動計量９１２、および行動評価１１０４のような行動ログ７０８から導出された情報は、さらに編集者２１２のアイデンティティに基づくことができる。例えば、生産性評価者７１２は、少なくとも既定の最低年数の経験を有するか、特定の職位を有するか、または既定の閾値レベルを下回る生産性を有する編集者に対してのみ、特定の行動を推薦することができる。
【０１００】
「編集」、「編集行動」、および「編集コマンド」のような用語は、本願明細書では、（文書内でのテキストの追加、削除、または移動のような）文書への変更を生じさせるアクションのことだけではなく、（文書内で編集カーソルを移動させるような）文書内をナビゲートするためのアクション、および人間の編集者２１２が文書を編集するときに実行する他のアクションのことも指す。概して、人間の編集者２１２によって文書編集システム２０８に提供されるあらゆる入力は、本願明細書で使用する「編集行動」の一実施例である。したがって、編集行動は、例えば、そのような入力が編集している文書を修正するかどうかに関わらず、あらゆるマウスクリック、キーストローク、またはフットペダルの動きを含み得る。さらに、編集行動監視装置２２０によって監視することができ、編集行動ログ２２２内にログを取ることができる「編集行動」は、人間の編集者２１２が取るアクションだけでなく、人間の編集者２１２が取らないアクションも含む。例えば、人間の編集者２１２による入力の不足（例えば、規定の最長期間内にプロンプトに応答できなかった）は、編集行動監視装置２２０によって識別することができ、編集行動ログ２２２内にログを取ることができる「編集行動」とみなすことができる。
【０１０１】
さらに、人間の編集者２１２は、草案文書２０６内の誤りを修正するために草案文書２０６を編集することができるが、草案文書２０６に情報を補うこと、および草案文書２０６のフォーマットを修正して、適用可能なレポートフォーマットに適合させるような、誤りの修正以外の理由によって編集を実行することができる。したがって、「編集」および「編集行動」のような用語は、本願明細書では、誤りを修正するために実行される編集に限定されない。
【０１０２】
本願明細書に開示された手法は、あらゆる文書編集システムとともに使用することができる。このような文書編集システムの一実施例は、Ｐｉｔｔｓｂｕｒｇｈ，ＰｅｎｎｓｙｌｖａｎｉａにあるＭｕｌｔｉＭｏｄａｌ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｉｎｃ．から入手可能なＡｎｙＭｏｄａｌ  Ｅｄｉｔである。ＡｎｙＭｏｄａｌ  Ｅｄｉｔは、具体的には、対応する口述による草案文書の効率的な校正のために開発された編集アプリケーションである。
【０１０３】
特定の実施形態を、臨床的文書のコンテキストにおいて本願明細書に記載したが、本発明は、そのコンテキストでの使用に限定されない。より一般的には、本発明の実施形態は、あらゆるコンテキストでの文書の転写に適用することができ、さらにより一般的には、あらゆるコンテキストでの文書の編集に適用することができる。例えば、本願明細書に開示された手法は、自動音声認識装置および／または自然言語処理技術を使用して生成されなかった文書の編集に適用することができる。
【０１０４】
本願明細書に開示された特定の実施形態では、音声ストリーム２０２が再生される。音声スピーカ等による、記録された音声ストリームの再生は、マルチメディアのストリームを「提示する」一実施例である。このような提示は、例えば、音声、ビデオ、テキスト、および画像のあらゆる組み合わせを含むことができ、元の記録された媒体のストリームの全ての特徴を複製する必要がない。例えば、提示は、あらゆる一時的プロファイルに従って、媒体ストリームのタイムスケールを拡大または縮小（すなわち、減速または増速）すること、および／または媒体のストリームに実行された他の処理を反映することができる。
【０１０５】
上述した手法は、例えば、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせで実装することができる。上述した手法は、プロセッサ、プロセッサによって読み取ることができるストレージ媒体（例えば、揮発性および不揮発性メモリ、および／またはストレージ要素を含む）、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスを含む、プログラム可能なコンピュータによって実行する１つ以上のコンピュータプログラム内に実装することができる。プログラムコードは、入力デバイスを使用して入力された情報に適用して、上述の機能を実行して出力を生じさせることが可能である。出力は、１つ以上の出力デバイスに提供することができる。
【０１０６】
以下の特許請求の範囲内の各コンピュータプログラムは、アセンブリ言語、機械語、高水準手続きプログラミング言語、またはオブジェクト指向プログラミング言語のような、あらゆるプログラミング言語で実装することが可能である。プログラミング言語は、例えば、コンパイル型またはインタプリタ型プログラミング言語とすることが可能である。
【０１０７】
このような各コンピュータは、コンピュータプロセッサによって実行するための機械が読み取り可能なストレージデバイスに明白に組み込まれた、コンピュータプログラム製品に実装することが可能である。本発明の方法ステップは、コンピュータが読み取り可能な媒体に明白に組み込まれたプログラムを実行するコンピュータプロセッサによって実行して、入力を操作して出力を生成することによって本発明の機能を実行することが可能である。一例として、適切なプロセッサには、汎用および専用マイクロプロセッサの両方が挙げられる。概して、プロセッサは、読み取り専用メモリおよび／またはランダムアクセスメモリから命令およびデータを受信する。コンピュータプログラム命令を明白に組み込まれる望ましいストレージデバイスには、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む半導体メモリデバイス、内蔵ハードディスクおよびリムーバルディスクのような磁気ディスク、光磁気ディスク、およびＣＤ−ＲＯＭのような全ての形態の不揮発性メモリが挙げられる。上述のいずれかは、専用のＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって補うか、またはその中に組み込むことができる。コンピュータは、概して、内蔵ディスク（図示せず）またはリムーバブルディスクのような記憶媒体からプログラムおよびデータを受信することもできる。これらの要素は、従来のデスクトップまたはワークステーションコンピュータ、および、本願明細書に記述された方法を実装するコンピュータプログラムの実行に望ましい他のコンピュータにも見出され、あらゆるデジタル印刷エンジンまたはマーキングエンジン、ディスプレイモニタ、または紙、フィルム、ディスプレイスクリーン、または他の出力媒体上にカラーまたはグレースケールの画素を作成することができる、他のラスタ出力装置とともに使用することが可能である。
【図１】
0005878282.tif 000002
【図２】
0005878282.tif 000003
【図３】
0005878282.tif 000004
【図４Ａ】
0005878282.tif 000005
【図４Ｂ】
0005878282.tif 000006
【図５】
0005878282.tif 000007
【図６】
0005878282.tif 000008
【図７】
0005878282.tif 000009
【図８】
0005878282.tif 000010
【図９】
0005878282.tif 000011
【図１０】
0005878282.tif 000012
【図１１】
0005878282.tif 000013
【図１２】
0005878282.tif 000014