(57)【要約】【課題】画像、音声情報などを時系列で記録した時系列情報に対し、適切に、また簡便にインデックスを付与する。【解決手段】ユーザ１２がコピー機１０を操作する様子を、画像情報、音声情報を含む時系列の情報により記録する。一方、機器（コピー機）１０を操作するユーザ１２の口元をビデオカメラ２０により撮影し、発話検出部２２にて、取得した画像からユーザの口形に基づきユーザの発話を検出する。ユーザが発話した時点に対応するユーザの操作の様子を撮影した時系列情報の位置（時点）に、インデックス書き込み部２６にてインデックスを書き込む。また、発話が検出された期間の音声情報に基づき、音声認識部２８にて音声認識を行い、テロップ作成部３０にて解析された言語情報を文字情報化する。そして、テロップ書き込み部３２にて時系列情報に書き込む。【選択図】図１
2005250317.tif 000002
【特許請求の範囲】
【請求項１】
所定機器の表示画面の表示に従って当該機器を操作するユーザを撮影した画像情報と、前記ユーザの発話内容を集音した音声情報と、前記機器の表示画面の画像情報とを含む時系列情報を記録する時系列情報記録手段と、
前記ユーザを撮影した画像情報内のユーザの口の形に基づき、ユーザの発話を検出する発話検出手段と、
前記発話検出手段が発話を検出した時点に対応する前記時系列情報上の時点に、インデックスを付与するインデックス付与手段と、
を有する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、さらに、
前記発話検出手段がユーザの発話を検出している間の前記音声情報について音声認識を行い文字情報に変換する音声認識手段を有し、
前記時系列情報記録手段は、前記音声認識手段により変換された文字情報を、この文字情報に対応する発話が行われた前記時系列情報上の時点に書き込む、
情報処理装置。
【請求項３】
プレゼンテーションまたは会議の出席者を撮影した画像情報と、前記出席者の発話内容を集音した音声情報と、を含む時系列情報を記憶する時系列情報記録手段と、
前記出席者を撮影した画像情報内の出席者の口の形に基づき、出席者の発話を検出する発話検出手段と、
前記発話検出手段が発話を検出した時点に対応する前記時系列情報上の時点に、インデックスを付与するインデックス付与手段と、
を有する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、さらに、
前記発話検出手段が出席者の発話を検出している間の前記音声情報について音声認識を行い文字情報に変換する音声認識手段を有し、
前記時系列情報記録手段は、前記音声認識手段により変換された文字情報を、この文字情報に対応する発話が行われた前記時系列情報上の時点に書き込む、
情報処理装置。
【請求項５】
請求項３または４に記載の情報処理装置であって、前記インデックスには、そのインデックスに関連する発話をした出席者を特定するための情報が含まれる、情報処理装置。
【請求項６】
所定機器の表示画面の表示に従って当該機器を操作するユーザを撮影した画像情報を取得し、この画像情報内のユーザの口の形に基づき、ユーザの発話を検出する機能と、
前記ユーザを撮影した画像情報と前記ユーザの発話内容を集音した音声情報と前記機器の表示画面の画像情報を含む時系列情報を記録した媒体に書き込みを行う装置に対し、前記時系列情報の、前記ユーザの発話が検出された時点にインデックスを書き込む指示を行う機能と、
をコンピュータに実行させるための、コンピュータに読み取り可能なプログラム。
【請求項７】
所定機器の表示画面の表示に従って当該機器を操作するユーザを撮影した画像情報を取得し、この画像情報内のユーザの口の形に基づき、ユーザの発話を検出するステップと、
前記ユーザを撮影した画像情報と前記ユーザの発話内容を集音した音声情報と前記機器の表示画面の画像情報を含む時系列情報を記録した媒体に書き込みを行う装置に対し、前記時系列情報の、前記ユーザの発話が検出された時点にインデックスを書き込む指示を行うステップと、
を含む、情報処理の指示方法。
【請求項８】
プレゼンテーションまたは会議の出席者を撮影した画像情報を取得し、この画像情報内の出席者の口の形に基づき、出席者の発話を検出する機能と、
前記出席者を撮影した画像情報と前記ユーザの発話内容を集音した音声情報とを含む時系列情報を記録した媒体に書き込みを行う装置に対し、前記時系列情報の、前記出席者の発話が検出された時点にインデックスを書き込む指示を行う機能と、
をコンピュータに実行させるための、コンピュータに読み取り可能なプログラム。
【請求項９】
プレゼンテーションまたは会議の出席者を撮影した画像情報を取得し、この画像情報内の出席者の口の形に基づき、出席者の発話を検出するステップと、
前記出席者を撮影した画像情報と前記ユーザの発話内容を集音した音声情報とを含む時系列情報を記録した媒体に書き込みを行う装置に対し、前記時系列情報の、前記出席者の発話が検出された時点にインデックスを書き込む指示を行うステップと、
を含む、情報処理の指示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像や音声などの時系列の情報に対し、所定の時点に対してインデックスを付与する機能を有する情報処理装置に関する。
【背景技術】
【０００２】
画像情報や音声情報の少なくとも一方、さらに場合によってはテキスト情報も含む時系列情報（このような情報をマルチメディア情報と呼ぶことがある）に対し、検索を容易にするためにインデックスを付与する技術が知られている。例えば、下記特許文献１には、会議状況の時系列情報を記録するにあたって、当該会議の出席者の発言（発話）を音声情報により取得し、発言が行われた時点を定め、発言から、これに対応する時系列情報の位置（時点）を検索する技術が開示されている。
【０００３】
【特許文献１】特開平１１−５３３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述の公報に記載の装置は、音声情報に基づき発言を抽出しており、発言とそれ以外の音声（ノイズ）を分離したり、発言した出席者を特定することが困難な場合があった。   
【０００５】
本発明は、発話に基づきインデックスを付与する際、発話を適切に検出する。
【課題を解決するための手段】
【０００６】
本発明は、発話を、発話をした者の口の形に基づき検出し、発話が検出された、時系列上の位置（時点）にインデックスを付与する。画像情報より発話を検出するので、周囲の騒音などの影響を受けずに発話を検出することができる。
【０００７】
本発明の一つの態様として、機器のユーザビリティテスト装置がある。近年の事務機器、情報機器は、画面を見ながら機能を選択するように作られており、表示された機能群から一つを選択すると、その機能群のさらに詳細な設定、選択内容が示される。この階層構造が多層になっている場合も多く、また一つの作業を実行するのに、複数の機能を設定する必要がある。このような機能選択の操作が、ユーザにとってわかりやすいかを確認するのがユーザビリティテストである。このテストを行う装置では、テスト対象の機器の表示画面の情報と、操作するユーザを撮影した画像情報と、ユーザの発話内容を集音した音声情報とを時系列の情報として収録する。また、カメラによってユーザの口の形をとらえ、この口の形に基づき、そのユーザが声を発しているか、すなわち発話しているかを検出する。ユーザが発話した時点に対応する時系列情報の位置（時点）にインデックスを書き込む。このインデックスに基づき検索を行うことで、時系列情報へのアクセスが容易になり、ユーザビリティテストの解析が進めやすくなる。
【０００８】
また、ユーザが発話している間の音声情報について音声認識を行ない、音声を文字情報に変換して、これを時系列情報に書き込むことができる。
【０００９】
本発明の他の態様として、プレゼンテーションや会議の収録装置がある。会議等の出席者の様子と発話を時系列の情報として記録し、後に会議等の議事録の作成などに利用する。この装置においても、出席者の口の形からその者の発話を検出し、検出された時点に対応する時系列情報の時点にインデックスを付与する。このインデックスに基づき検索を行うことで、時系列情報へのアクセスが容易となり、後に会議等の内容を確認する際の助けとなる。また、この装置においても、出席者が発話しているときの音声情報に基づき、その発話内容を文字情報化して、時系列情報上に書き込むことも可能である。また、発話時の口の形を判定しているのであるから、発話した出席者を特定することができ、この情報もインデックスに含めることもできる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。図１には、本実施形態の概略構成が示されている。この実施形態は、機器の操作、取扱いがスムースにできるかを検証する、いわゆるユーザビリティテストに適用した例を示している。ユーザビリティテストの対象となる機器１０は、例えばコピー機であり、以下コピー機のユーザビリティテストを例として説明する。コピー機１０は、コピーの枚数、片面／両面の選択、用紙の種類の選択、拡大・縮小率の選択など、コピーを行う際に様々な設定が必要となる。このような設定を行うためにコピー機１０は、表示部と入力部を含むユーザインタフェイスを備えている。このインタフェイスは、例えば表示部と入力部が一体となったタッチパネルセンサとすることができる。表示部には、選択・設定内容を示す表示がなされ、ユーザはこの表示内容から自分の所望の設定内容を入力部より入力する。このコピー機の機能の選択、設定の表示は階層的となっている。例えば拡大コピーを行う場合には、初期画面の「倍率選択」を選び、この選択により変更された倍率選択の画面にて任意の倍率を選択して、所定の設定を行う。さらに、用紙の種類を設定するためのトレイの選択、両面コピーの指示など、順次、設定画面を表示させて所定の機能の選択を行う。
【００１１】
このように、近年コピー機は多くの機能を有する反面、その機能を選択する操作が複雑になっている。この操作が適切に行うことができるか、すなわち画面の表示内容、指示内容などが適切かなどを検証するのがユーザビリティテストである。
【００１２】
ユーザビリティテストにおいては、ユーザ１２がコピー機１０の選択・設定の操作をスムースに行えたかの検証を行う。例えば、「７０パーセントの倍率で、両面原稿から片面原稿に、８部をコピーする」などの操作内容をユーザ（被検者）１２に与え、ユーザが、この操作を行っているときの、操作手順すなわち表示画面の履歴、ユーザの様子など、コピー機の表示画面およびその周囲の状況を画像、音声などの情報を時系列で記録する。この時系列情報を後に解析して、ユーザビリティの検証を行う。
【００１３】
コピー機１０のインタフェイス、特に入力インタフェイスの画面の情報がスキャンコンバータ１４に入力されて、時系列の画像情報として時系列情報記録部１６に送られ、時系列情報書き込み部１８により所定の記録媒体に書き込まれ、記憶される。また、コピー機１０を操作しているユーザ１２の様子をビデオカメラ２０で撮影し、画像情報、音声情報として時系列情報記録部１６に送られ、記憶される。これらのコピー機１０自身およびビデオカメラで撮られた、その周囲の状況の時系列情報は、後に再生することができ、この再生画像、音声がユーザビリティの検証に用いられる。また、コピー機１０からは、ユーザ１２が行った操作内容を示す情報が、操作記録部２２に送出され、ここに順次記憶される。操作記録部２２に記録される情報は、操作した順序に従った操作の流れ、すなわち操作の系列となっている。
【００１４】
ビデオカメラ２０は、ユーザ１２の口元を撮影するように配置されている。撮影された画像情報は発話検出部２２に送られ、ここでユーザの口の形からユーザ１２が言葉を発しているか、すなわち発話しているかが判定される。口形からユーザの発話を検出には、例えば特開２００１−５１６９３号公報に記載される技術を用いることができる。ユーザ１２の発話が検出されると、インデックス作成部２４は、その発話の先頭部分の時点に対応する、時系列情報の時点にインデックスの書き込みを行うように時系列情報記録部１６に指示を行う。時系列情報記録部１６においては、インデックス書き込み部２６にて、記憶媒体に記憶された時系列情報の指定された時点にインデックスを付与する。
【００１５】
また、発話検出部２２によりユーザ１２の発話が検出されると、音声認識部２８にて、この発話の期間の音声情報に基づき、音声認識が行われ、発話内容を言語情報とする。さらに、言語情報となった発話内容をテロップ作成部３０にて文字情報化したテロップとし、このテロップを時系列情報記録部１６にて時系列情報の、当該テロップに対応する発話の時点にテロップを書き込む。テロップが書き込まれた時系列情報を再生すると、画像上に発話内容が文字として表示される。テロップの表示される時間は、実際の発話の期間と一致させることもできるし、また、内容が長い場合には、読み取りを容易にするために、発話の期間よりも長くするようにもできる。
【００１６】
以上の説明においては、発話の内容を文字情報として記録する、すなわち画像にテロップを挿入する場合を示したが、インデックスのみを書き込み、テロップを省略することも可能である。また、一旦ビデオカメラ２０で録画、録音した情報を再生し、この再生情報に基づきインデックス等の書き込みを行うようにすることができる。
【００１７】
また、ビデオカメラ２０は、ユーザの口元のみを撮影するカメラと、ユーザの操作の様子を録画できるように、比較的広い範囲を撮影するカメラとを別個に設置することもできる。さらにまた、コピー機１０の表示画面を記録することを省略することができ、この場合には、ビデオカメラでこの操作画面を撮影することも好適である。
【００１８】
上記実施形態の情報処理装置は、コンピュータを所定のプログラムで動作させることによって実現できる。ビデオカメラ２０からの情報をコンピュータが取得して、コンピュータが所定のプログラムにより発話検出部２２、インデックス作成部２４、音声認識部２８、テロップ作成部３０として機能する。時系列情報記録部１６は、外部記録装置とすることも、ハードディスクなどコンピュータ内部の記録装置とすることも可能である。コンピュータは検出部２２の検出結果に従って、記録装置に対してインデックスの書き込み指示を行う。
【００１９】
図２には、本発明の他の実施形態の概略構成が示されている。この実施形態は、プレゼンテーションの記録を想定したものであり、図１に示す実施形態と同様の構成については、同一の符号を付してその説明を省略する。
【００２０】
プレゼンテーションの発表者４０は、プレゼンテーションの内容に沿った画像をあらかじめ準備し、コンピュータ４２などの情報機器を操作して、プレゼンテーションの進行に合わせて順次、準備した画像を提示画面４４に表示してプレゼンテーションの他の出席者（以下聴衆と記す）４６に提示する。この提示画像がスキャンコンバータ１４を介して時系列情報記録部１６に送られ、またビデオカメラが、プレゼンテーションの出席者の画像、音声を録画する。ビデオカメラは、発表者４０を撮影するビデオカメラ２０Ａと、聴衆４６を撮影するビデオカメラ２０Ｂ，２０Ｃを含む。ビデオカメラ２０Ａ，２０Ｂ，２０Ｃで撮影された画像情報、音声情報は、時系列情報記録部１６にて所定の記憶媒体に記憶される。このとき、ビデオカメラの画像情報、スキャンコンバータ１４からの画像情報それぞれを、一つの表示画面を例えば４つに分割した部分の一つに対応させるように記録することができる。この場合には、時系列情報を再生するときに、前記の４つの画像情報が、表示画面上に同時に表示される。また、各画像情報を別個に記録して、再生時に一つ、または複数を選んで表示させることを可能にするように記録させておくこともできる。
【００２１】
また、それぞれのビデオカメラ２０Ａ，２０Ｂ，２０Ｃにて取得された情報は、図１に示す実施形態と同様の構成を有する発話検出部２２、インデックス作成部２４、音声認識部２８、テロップ作成部３０にて処理され、時系列情報記録部１６に送られる。なお、図においては、ビデオカメラ２０Ｂ，２０Ｃに対応する上記の構成は、省略されて示されている。また、プレゼンテーションの会場の様子全体を撮影するビデオカメラを別途設けることも好ましい。
【００２２】
インデックスの書き込みは、時系列情報の書き込みと並行して行うことができ、また一旦記録された時系列情報を再生し、再生されている情報に基づきインデックス、テロップの書き込みを後から行うようにしてもよい。テロップは、発話した者の画像に対応して書き込むようにすることができる。このようにすれば、前述のように再生時に必要な画像を選択することができる場合において、選択された画像に写っている発話した者のテロップが再生時に表示することができる。このように、複数のビデオカメラが取得した個々の時系列情報に対するインデックスおよびテロップの書き込みは、時系列情報ごとに独立して行うこともでき、また全てに対し共通に書き込むこともできる。例えば、ある出席者に発話に基づくインデックス等は、その出席者に係る時系列情報に対してのみ付与することができる。また、一人の出席者の発話に基づき、他の出席者の時系列情報へもインデックス等を書き込むようにすることができる。さらに、複数の出席者の発話に基づくインデックス等を、一つの時系列情報に書き込むようにもできるし、また複数の出席者に係る時系列情報に書き込むようにもできる。
【００２３】
プレゼンテーションや会議の出席者が多い場合には、インデックス付与のために撮影対象とする出席者を限定することもできる。また、提示された画像の情報は、スキャンコンバータ１４を介して所得される必要はなく、例えば、会場の全景を撮影するビデオカメラにより、掲示された画像を撮影してこれを記録することもできる。
【００２４】
また、プレゼンテーション、すなわち一人または少人数の発表者がいて、他の参加者はこの発表を聞くという形態の会合のみならず、参加者が対等に意見を述べあう、いわゆる会議や、複数人の講演者が意見を述べ、これに基づく討論を他の参加者と行うシンポジウムなどにおいても、上記実施形態を適用することができる。
【００２５】
図２の実施形態も、図１の実施形態と同様にコンピュータを所定のプログラムで動作させることによって実現できる。
【図面の簡単な説明】
【００２６】
【図１】実施形態の概略構成を示すブロック図である。
【図２】他の実施形態の概略構成を示すブロック図である。
【符号の説明】
【００２７】
１０  コピー機（機器）、１２  ユーザ（被検者）、１４  スキャンコンバータ、１６  時系列情報記録部、１８  時系列情報書き込み部、２０  ビデオカメラ、２２  発話検出部、２４  インデックス作成部、２６  インデックス書き込み部、２８  音声認識部、、３０  テロップ作成部、３２  テロップ書き込み部、４０  ユーザ（発表者）、４２  コンピュータ（情報機器）、４４  提示画面、４６  聴衆。
【図１】
2005250317.tif 000003
【図２】
2005250317.tif 000004