(57)【要約】【課題】画像、音声情報などを時系列で記録した時系列情報に対し、適切に、また簡便にインデックスを付与する。【解決手段】機器（コピー機）１０に対しユーザ１２が行った操作の内容を取得し、操作記録部２２に記録する。一方、機器１０のユーザインタフェイス画面の表示、ユーザの動作、発話内容を順次、時系列情報として記録する。操作記録部２２に記録された操作の流れの中で、標準操作記憶部２４に記憶された標準的な操作の流れに対して、外れた操作を検出部２６により検出する。検出された操作がなされた時系列情報上の時点に対しインデックス書き込み部２８がインデックスを付与する。【選択図】図１
2005250981.tif 000002
【特許請求の範囲】
【請求項１】
所定の機器に対しユーザが行った操作の内容を取得する操作取得手段と、
前記機器およびその周辺の状況の時系列情報を記録する時系列情報記録手段と、
前記ユーザの行った操作のうち所定の操作を検出し、この所定操作が実行されたという情報を、前記時系列情報の当該所定操作が実行された時点に書き込む書き込み手段と、
を有する、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記ユーザが操作する機器は、画面表示によるユーザインタフェイスを有し、
前記記録される時系列情報は、前記ユーザインタフェイスの表示画面を含む、
前記書き込み手段は、あらかじめ定められている標準的なユーザの操作の流れに対し、これに相異する操作を前記所定操作として検出する、
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、前記記録される時系列情報は、さらに前記ユーザの動作を撮影した画像を含む、情報処理装置。
【請求項４】
請求項１に記載の情報処理装置において、
前記機器は、プレゼンテーションまたは会議で提示される画像の制御を行う表示機器であって、
前記記録される時系列情報は、プレゼンテーションまたは会議において提示された画像と、当該プレゼンテーションまたは会議の出席者の音声とを含み、
前記書き込み手段は、プレゼンテーションまたは会議で提示される前記画像の制御操作のうち、所定の操作を検出する、
情報処理装置。
【請求項５】
所定の機器に対しユーザが行った操作の内容を、前記機器の操作コマンドから取得する機能と、
前記ユーザの行った操作のうち所定の操作を検出する機能と、
前記検出された所定の操作が実行されたという情報を、前記機器およびその周辺の状況の時系列情報の、その所定情報が実行された時点に記録する指示を、前記時系列情報を記録した媒体に書き込みを行う装置に対して行う機能と、
をコンピュータに実行させるための、コンピュータに読み取り可能なプログラム。
【請求項６】
所定の機器に対しユーザが行った操作の内容を、前記機器の操作コマンドから取得するステップと、
前記ユーザの行った操作のうち所定の操作を検出するステップと、
前記検出された所定の操作が実行されたという情報を、前記機器およびその周辺の状況の時系列情報の、その所定情報が実行された時点に記録する指示を、前記時系列情報を記録した媒体に書き込みを行う装置に対して行うステップと、
を有する、情報処理の指示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像や音声などの時系列の情報に対し、所定の時点に対してインデックスを付与する機能を有する情報処理装置に関する。
【背景技術】
【０００２】
画像情報や音声情報の少なくとも一方、さらに場合によってはテキスト情報も含む時系列情報（このような情報をマルチメディア情報と呼ぶことがある）に対し、検索を容易にするためにインデックスを付与する技術が知られている。例えば、下記特許文献１には、会議状況の時系列情報を記録する際に、当該会議の出席者が、インデックスを付与したいとする時点で、所定の機器を操作して時系列情報にインデックスを付与する技術が開示されている。
【０００３】
【特許文献１】特開平１０−８３４０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述の公報に記載の技術においては、インデックスを付与する時系列情報上の位置（時点）は、ユーザが指定した位置であり、ユーザ自らがインデックスを付与する操作を行う必要がある。また、ユーザが会議の出席者であった場合、議事内容を理解しつつ、インデックスを付与する位置を適切に判断してインデックス付与の操作を行わなければならず、ユーザの負担が大きい。また、インデックス付与の時点に付いても、ユーザごとに個性が出てばらつきが生じる。
【０００５】
本発明は、画像情報や音声情報などの時系列情報の適切な位置に、自動的にインデックスを付与する情報処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、所定の機器に対しユーザが行った操作に基づき、前記機器およびその周辺の状況の時系列情報にインデックスを付与する。周辺状況は、例えば画像情報と音声情報の少なくとも一方を含む情報である。ユーザが行う操作のうちの所定の操作が行われたときに、時系列情報上のその時点にインデックスを書き込むようにする。所定の操作が行われたときにインデックスが自動付与されるので、ユーザがインデックス付与の操作を行う必要がない。
【０００７】
ユーザが操作する機器は、当該機器の設定されている動作、機能などを画面表示によってユーザに知らせるユーザインタフェイスを有するものとすることができる。ユーザは画面表示を見て、当該機器の操作を行うが、この操作の流れには標準的な流れがあり、この標準的な流れから外れる操作を、インデックス付与を行う操作とすることができる。標準的な操作の流れから外れた操作が行われた場合は、ユーザが操作を間違えた可能性が高く、この時点にインデックスを付与しておくことで、この部分を解析する際に有利となる。
【０００８】
また、ユーザが操作する機器は、プレゼンテーションや会議などで用いる画像を制御する機器とすることができる。ユーザの操作によって、所定の画像およびこれを含む情報を他の出席者に提示し、また提示した画像を更新したり、提示されている画像を拡大、縮小するなどの処理を行うことができる。この画像に対するユーザの操作のうち、所定の操作に対して、インデックスを付与することができる。
【０００９】
インデックスの付与は、実時間で、すなわち時系列情報を記録しているときに行うこともでき、また一旦時系列情報とユーザが行った操作の流れに関する情報を記憶しておき、ユーザの所定の操作の情報が行われた、時系列情報上の位置（時点）にインデックスを書き込むようにすることもできる。また、インデックスは、ユーザの操作の内容を特定する情報を含むものであっても、これを含まず、単に何らかの操作が行われた時点を示すものであってもよい。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を、図面に従って説明する。図１には、本実施形態の概略構成が示されている。この実施形態は、機器の操作、取扱いがスムースにできるかを検証する、いわゆるユーザビリティテストに適用した例を示している。ユーザビリティテストの対象となる機器１０は、例えばコピー機であり、以下コピー機のユーザビリティテストを例として説明する。コピー機１０は、コピーの枚数、片面／両面の選択、用紙の種類の選択、拡大・縮小率の選択など、コピーを行う際に様々な設定が必要となる。このような設定を行うためにコピー機１０は、表示部と入力部を含むユーザインタフェイスを備えている。このインタフェイスは、例えば表示部と入力部が一体となったタッチパネルセンサとすることができる。表示部には、選択・設定内容を示す表示がなされ、ユーザはこの表示内容から自分の所望の設定内容を入力部より入力する。このコピー機の機能の選択、設定の表示は階層的となっている。例えば拡大コピーを行う場合には、初期画面の「倍率選択」を選び、この選択により変更された倍率選択の画面にて任意の倍率を選択して、所定の設定を行う。さらに、用紙の種類を設定するためのトレイの選択、両面コピーの指示など、順次、設定画面を表示させて所定の機能の選択を行う。
【００１１】
このように、近年コピー機は多くの機能を有する反面、その機能を選択する操作が複雑になっている。この操作が適切に行うことができるか、すなわち画面の表示内容、指示内容などが適切かなどを検証するのがユーザビリティテストである。
【００１２】
ユーザビリティテストにおいては、ユーザ１２がコピー機１０の選択・設定の操作をスムースに行えたかの検証を行う。例えば、「７０パーセントの倍率で、両面原稿から片面原稿に、８部をコピーする」などの操作内容をユーザ（被検者）１２に与え、ユーザが、この操作を行っているときの、操作手順すなわち表示画面の履歴、ユーザの様子など、コピー機の表示画面およびその周囲の状況を画像、音声などの情報を時系列で記録する。この時系列情報を後に解析して、ユーザビリティの検証を行う。
【００１３】
コピー機１０のインタフェイス、特に入力インタフェイスの画面の情報がスキャンコンバータ１４に入力されて、時系列の画像情報として時系列情報記録部１６に送られ、時系列情報書き込み部１７により所定の記録媒体に書き込まれ、記憶される。また、コピー機１０を操作しているユーザ１２の様子をカメラ１８、マイク２０で画像情報、音声情報としてとらえて、これらも時系列情報記録部１６に送られ、記憶される。これらのコピー機１０自身およびその周囲の状況の時系列情報は、後に再生することができ、この再生画像、音声がユーザビリティの検証に用いられる。また、コピー機１０からは、ユーザ１２が行った操作内容を示す情報が、操作記録部２２に送出され、ここに順次記憶される。操作記録部２２に記録される情報は、操作した順序に従った操作の流れ、すなわち操作の系列となっている。
【００１４】
この操作の流れについて、テストのためにユーザ１２に与えられた指示内容に対して標準的な操作の流れが想定されている。この標準的な操作の流れは、実際には、このコピー機、特に操作系の設計者が意図した操作の流れのことである。この標準の流れが標準操作記憶部２４に記憶されている。検出部２６は、標準の操作の流れと実際に操作された流れとを比較し、相異した操作を検出する。標準の流れと相異する操作が行われると、検出部２６は、この操作が行われた時点にインデックスを付与するように、時系列情報記録部１６のインデックス書き込み部２８に書き込みの指示を行う。標準の操作の流れと相異するとは、誤操作の他、操作するまでにより時間を要した遅延、同じ操作を繰り返す反復などを含む。インデックス書き込み部２８は、時系列情報の、標準の流れと相異する操作がなされた時点にインデックスを書き込む。
【００１５】
インデックスの書き込みは、時系列情報の書き込み中に行うことができる。また、時系列情報を一旦書き込み、後から、所定の操作がなされた時点に対応してインデックスを書き込むこともできる。後者の場合には、時系列情報および操作記録の情報の双方に時間に関する情報を記録しておき、この時間の情報に基づき、インデックスの書き込みを行うようにできる。具体的には、基準時点からの経過時間を付加して時系列情報を記録し、一方、各操作については、その操作が行われた時点を操作内容とともに記録する。そして、ある操作が検出部２６で検出されると、その操作が行われた時点が記録から読み出され、時系列情報上のこの時点に対応する位置にインデックスの書き込みが行われる。
【００１６】
以上の説明においては、標準的な操作の流れから外れた、すなわち想定された操作と異なる操作がなされた時点にインデックスを付与する例を示したが、他の操作が行われたときにインデックスを付与するようにすることもできる。例えば、初期画面に戻ったときにインデックス書き込みを実行することができ、またこれと前述の標準的な操作から外れたときの双方に対してインデックス付与を行うこともできる。
【００１７】
また、インデックスに含まれる情報は、操作の内容を示す情報を含まず、何らかの操作がなされた時点のみの情報とすることもできるし、また操作の内容に関する情報を含めることもできる。
【００１８】
また、時系列情報は、少なくともコピー機１０のユーザインタフェイス画面が含まれればよく、スキャンコンバータ１４からの入力ではなく、カメラ１８でこれを撮影するようにすることもできる。
【００１９】
上記実施形態の情報処理装置は、コンピュータを所定のプログラムで動作させることによって実現できる。コピー機１０のインタフェイスとコンピュータのインタフェイスを接続し、ユーザの操作指令をコンピュータが取得して、コンピュータ内部の記憶領域に記憶させる。標準操作記憶部も、コンピュータ内部の記憶装置にあらかじめ標準の操作の流れを記憶させることで実現できる。検出部２６は、コンピュータの演算部が、取得した操作指令と記憶されている標準操作とを比較することにより実現できる。時系列情報記録部１６は、外部記録装置とすることも、ハードディスクなどコンピュータ内部の記録装置とすることも可能である。コンピュータは検出部２６の検出結果に従って、記録装置に対してインデックスの書き込み指示を行う。
【００２０】
図２には、本発明の他の実施形態の概略構成が示されている。この実施形態は、プレゼンテーションの記録を想定したものであり、図１に示す実施形態と同様の構成については、同一の符号を付してその説明を省略する。
【００２１】
プレゼンテーションの発表者３０は、プレゼンテーションの内容に沿った画像をあらかじめ準備し、コンピュータ３２などの情報機器を操作して、プレゼンテーションの進行に合わせて順次、準備した画像を提示画面３４に表示してプレゼンテーションの他の出席者（以下聴衆と記す）３６に提示する。この提示画像がスキャンコンバータ１４を介して時系列情報記録部１６に送られ、またカメラ１８、マイク２０で収録されたプレゼンテーション会場内の状況も時系列情報記録部１６に送られて、所定の記録媒体に時系列情報として記録される。操作記録部２２は、発表者３０がコンピュータ３２に対して行った提示画像に関する処理操作の流れを記録する。検出部２６は、この処理操作のうち所定の操作を検出し、その操作が行われた時点にインデックスを書き込む指示を行う。所定の処理操作は、例えば、画像を切り替えた時点、すなわち新たな画像を提示した時点や、画像を拡大する操作を行った時点、表示される画像を追加し、マルチ画面とした時点などである。
【００２２】
インデックスの書き込みは、時系列情報の書き込みと並行して行うことができ、また一旦記録された時系列情報に対して、後から書き込みを行うようにしてもよい。また、インデックスとして書き込む情報は、何らかの画像操作がなされた時点のみの情報とすることも、またさらに操作の内容を含む情報とすることもできる。さらにまた、時系列情報としては、提示された画像と、音声情報が少なくとも含まれていればよく、聴衆の様子を撮影した画像は、必須ではない。また、提示された画像の情報は、スキャンコンバータ１４を介して所得される必要はなく、例えば、カメラ１８により表示された画像を撮影してこれを記録することもできる。
【００２３】
また、プレゼンテーション、すなわち一人または少人数の発表者がいて、他の参加者はこの発表を聞くという形態の会合のみならず、参加者が対等に意見を述べあう、いわゆる会議や、複数人の講演者が意見を述べ、これに基づく討論を他の参加者と行うシンポジウムなどにおいても、上記実施形態を適用することができる。例えば、会議の司会者が資料として提示される画像を制御操作して、その操作に基づきインデックスを付与するようにすることができる。
【００２４】
図２の実施形態も、図１の実施形態と同様にコンピュータを所定のプログラムで動作させることによって実現できる。また、発表者３０が捜査する対象がコンピュータ３２であるので、操作記録部２２、検出部２６は、コンピュータ３２がこれらの機能を実行するものとできる。
【００２５】
図３には、本発明の更に他の実施形態の概略構成が示されている。この実施形態は、通信回線を介して複数のユーザ４０Ａ，４０Ｂが行う会話または会議に対応したものである。図では、ふたりのユーザが示されているが、より多くのユーザに対応することも可能である。また、各構成要素は、前述の実施形態と基本的には同一であり、同一の符号を付している。ただし、通信回線を介するユーザごとにそれぞれの構成要素が設けられているので、ユーザ４０Ａにかかる構成については従前の符号に「Ａ」を、ユーザＢに係る構成については従前の符号「Ｂ」を付している。各構成の詳細な説明は、すでに述べたので、ここでは省略する。
【００２６】
ユーザ４０Ａの使用するコンピュータ４２Ａと、ユーザ４０Ｂが使用するコンピュータ４２Ｂとは、通信回線を介して接続されている。それぞれのコンピュータ４２Ａ、４２Ｂは、表示される画像の少なくとも一部を共有することができる。それぞれのコンピュータ４２Ａ，４２Ｂに表示されている画像は、スキャンコンバータ１４Ａ，１４Ｂを介して、それぞれ時系列情報記録部１６Ａ，１６Ｂに送られる。この実施形態においては、一方のユーザ例えばユーザ４０Ａが、コンピュータ４２Ａに対して行った画像に関する操作に係るインデックスが、ユーザ４０Ａ側の時系列情報記録だけでなく、ユーザ４０Ｂ側の記録にも書き込まれる。ユーザ４０Ａ側の検出部２６Ａが所定の操作が行われたことを判断すると、時系列情報記録部１６Ａに対してインデックスの書き込み指示を行う一方、相手側の時系列情報記録部１６Ｂに対しても書き込み指示を行う。相手側に対してインデックス書き込み指令を行うには、実際には通信回線を介して相手側コンピュータ４２Ｂに指示を行い、相手側コンピュータ４２Ｂがインデックスの書き込み指示を行う。逆の場合についても同様である。また、図は、簡略化のために二つの時系列情報記録部１６Ａ，１６Ｂの双方に対しインデックス書き込み指示を行うように表されているが、前記のように相手側へのインデックス書き込み指示は通信回線を介して行われる。
【図面の簡単な説明】
【００２７】
【図１】実施形態の概略構成を示すブロック図である。
【図２】他の実施形態の概略構成を示すブロック図である。
【図３】更に他の実施形態の概略構成を示すブロック図である。
【符号の説明】
【００２８】
１０  コピー機（機器）、１２  ユーザ（被検者）、１４  スキャンコンバータ、１６  時系列情報記録部、１７  時系列情報書き込み部、１８  カメラ、２０  マイク、２２  操作記録部、２４  標準操作記憶部、２６  検出部、２８  インデックス書き込み部、３０  ユーザ（発表者）、３２，４２Ａ，４２Ｂ  コンピュータ（情報機器）、３４  提示画面、３６  聴衆、４０Ａ，４０Ｂ  ユーザ。
【図１】
2005250981.tif 000003
【図２】
2005250981.tif 000004
【図３】
2005250981.tif 000005