(57)【要約】【課題】時間の経過を伴う事象に対する感情の継続を考慮して当該事象について注目すべきタイミングを評価可能とすること。【解決手段】注目度算出プログラムは、時間の経過を伴う事象に対する人の感情の状態についての評価値が継続して入力される入力部に対する各入力操作に関して、当該入力操作の開始時期及び終了時期を示す情報と、当該入力操作の終了後の評価値とを取得する取得手順と、前記入力操作ごとに、当該入力操作の開始前の前記評価値と当該入力操作の終了後の前記評価値との差分に基づく値を、前記事象に関する注目度の大きさを示す指標値として算出する算出手順と、をコンピュータに実行させる。【選択図】図２
2019008420.tif 000002
【特許請求の範囲】
【請求項１】
時間の経過を伴う事象に対する人の感情の状態についての評価値が継続して入力される入力部に対する各入力操作に関して、当該入力操作の開始時期及び終了時期を示す情報と、当該入力操作の終了後の評価値とを取得する取得手順と、
前記入力操作ごとに、当該入力操作の開始前の前記評価値と当該入力操作の終了後の前記評価値との差分に基づく値を、前記事象に関する注目度の大きさを示す指標値として算出する算出手順と、
をコンピュータに実行させることを特徴とする注目度算出プログラム。
【請求項２】
前記算出手順は、更に、前記差分を前記入力操作の所要時間が短いほど前記指標値が大きくなるように、前記指標値を算出する、
ことを特徴とする請求項１記載の注目度算出プログラム。
【請求項３】
前記算出手順は、更に、前記入力操作の終了後の前記評価値の絶対値が大きいほど前記指標値が大きくなるように、前記指標値を算出する、
ことを特徴とする請求項１又は２記載の注目度算出プログラム。
【請求項４】
前記算出手順は、更に、前記入力操作の開始前の前記評価値と前記入力操作の終了後の前記評価値とに基づいて感情の方向が変化したと判定した場合に前記指標値が大きくなるように、前記指標値を算出する、
ことを特徴とする請求項１乃至３いずれか一項記載の注目度算出プログラム。
【請求項５】
前記算出手順は、更に、直前の入力操作との間隔が長いほど前記指標値が大きくなるように、前記指標値を算出する、
ことを特徴とする請求項１乃至４いずれか一項記載の注目度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目度算出プログラムに関する。
【背景技術】
【０００２】
人はどのようなことに喜びを覚え、不安を抱くのか。どのようなことが面白いと感じ、どのようなときに飽きてしまうのか。このようなことを明らかにするために、インタビュー調査等の質的調査が行われる。
【０００３】
インタビューなどの質的調査のデータ分析には、非常に長い時間を要する。分析の際には，インタビューの際に取得したデータ（映像データや音声データ）を見返すが、この際に注目すべきポイント（タイミング）のみを抽出、再生することで、効率的な分析を可能とする技術がある。
【０００４】
この技術では、調査協力者がユーザビリティ評価実験等において、実際に作業をしている最中に、指定された感情（例えばイライラ感など）が生じると、加圧測定器等の連続的な入力が可能なデバイスにより、感情の強さに応じた強さの入力を行う。その入力の強さ及び入力されたタイミングを用いて、記録された映像・音声データから注目すべきポイントを抽出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５３５４７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、感情が生じたと感じたときに感情の強さが入力される。したがって、感情が有るか無いか、有るとすればどのくらいの強さかがわかる。しかしながら、この技術では、感情の継続については考慮されていない。つまり、強い感情が生じ、継続したが、あるタイミングでその感情が弱くなった場合にも、強い感情が生じたタイミングしか記録に残らない。
【０００７】
本発明は、上記の点に鑑みてなされたものであって、時間の経過を伴う事象に対する感情の継続を考慮して当該事象について注目すべきタイミングを評価可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するため、注目度算出プログラムは、時間の経過を伴う事象に対する人の感情の状態についての評価値が継続して入力される入力部に対する各入力操作に関して、当該入力操作の開始時期及び終了時期を示す情報と、当該入力操作の終了後の評価値とを取得する取得手順と、前記入力操作ごとに、当該入力操作の開始前の前記評価値と当該入力操作の終了後の前記評価値との差分に基づく値を、前記事象に関する注目度の大きさを示す指標値として算出する算出手順と、をコンピュータに実行させる。
【発明の効果】
【０００９】
時間の経過を伴う事象に対する感情の継続を考慮して当該事象について注目すべきタイミングを評価可能とすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態における分析ポイント抽出装置１０のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における分析ポイント抽出装置１０の機能構成例を示す図である。
【図３】評価入力部２１の一例を示す図である。
【図４】評価値の入力処理の処理手順の一例を説明するためのフローチャートである。
【図５】蓄積部１４の構成例を示す図である。
【図６】出力画面の出力処理の処理手順の一例を説明するためのフローチャートである。
【図７】出力画面の第１の例を示す図である。
【図８】出力画面の第２の例を示す図である。
【図９】注目得点算出処理の処理手順の一例を説明するためのフローチャートである。
【図１０】注目得点の算出結果の記憶例を示す図である。
【図１１】時刻情報及び評価値の記録例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面に基づいて本発明の実施の形態を説明する。本実施の形態は、調査協力者が、時間の経過を伴う事象に対して抱く感情的な変化（喜びと不安、面白さと飽きなど）が有るときに、なぜそのような変化が生じるのかを明らかにするような調査を実施し、それを分析する際に、注目すべきポイント（タイミング）を、当該事象に関する映像データ又は音声データの中から抽出し、提示する機能を有する分析ポイント抽出装置１０について説明する。
【００１２】
ここで、時間の経過を伴う事象とは、例えば、「子供と１日過ごすこと」、「音楽の活性度の変化」、「映画の面白さ評価の変化」など、継時的に感情を変化させるような事象や、このような事象を回想してのインタビュー調査等が一例として挙げられる。
【００１３】
本実施の形態においては、子育てをする中で人がどのようなことに喜びを覚え、どのようなことが精神的な負担となっているのかを明らかにするための調査を例に挙げる。調査協力者は子供と過ごす１日についてのインタビューに応じており、１日のうちの感情の変化（ポジティブ／ネガティブ）を、インタビューに回答しながら入力する。分析ポイント抽出装置１０では、調査協力者の入力情報に基づいて、インタビューに関する映像データ又は音声データについて調査実施者が分析の際に注目すべき分析ポイント（タイミング）を抽出する。分析ポイント抽出装置１０は、更に、調査実施者による分析ポイントの確認が容易になるよう、抽出された分析ポイントに対応する映像又は音声の再生をする。
【００１４】
図１は、本発明の実施の形態における分析ポイント抽出装置１０のハードウェア構成例を示す図である。図１の分析ポイント抽出装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００１５】
分析ポイント抽出装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１６】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って分析ポイント抽出装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００１７】
図２は、本発明の実施の形態における分析ポイント抽出装置１０の機能構成例を示す図である。図２において、分析ポイント抽出装置１０は、入力処理部１１、得点算出部１２及び出力処理部１３等を有する。これら各部は、分析ポイント抽出装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。分析ポイント抽出装置１０は、また、蓄積部１４を利用する。蓄積部１４は、例えば、補助記憶装置１０２、又は分析ポイント抽出装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【００１８】
分析ポイント抽出装置１０には、また、外部デバイス（ハードウェア）として、評価入力部２１、映像取得部２２、調査者入力部２３及び出力部２４等が接続される。
【００１９】
評価入力部２１は、調査協力者の感情の状態（感情の方向及び大きさ）を示す評価値を継続して入力可能なスライダである。図３は、評価入力部２１の一例を示す図である。
【００２０】
図３において、評価入力部２１は、インタビューに対する回答の最中において調査協力者の感情の評価値をスライダのつまみによって入力可能とされている。図３においては、０を中心として、一方向にポジティブ、他方向にネガティブな感情の大きさを入力可能とされている。ここで、つまみの位置が０から離れるほどポジティブ又はネガティブな方向への感情の変化が大きいことを示す。また、スライダの両端が、各方向への感情の変化の最大値である。つまみは、スライド可能（連続的に移動可能）であるため、評価値として連続的な値を入力可能である。また、つまみは、移動後の位置を維持するため、次に感情の変化が発生するまでの間の評価値を保持することができる。評価入力部２１は、すなわち、感情の継続に対応した評価値を入力可能である。また、０を挟んで逆方向につまみを移動可能であるため、感情の方向を入力可能である。但し、０を一端として一方向につまみが移動可能とされてもよい。
【００２１】
評価入力部２１は入力処理部１１に、その時点でのつまみの位置に対応する評価値を常時送信する。但し、つまみの位置が変化したときのみ変化分（差分）を示す値が評価値として送信されてもよい。なお、評価値は、感情の状態が数値化された値である。
【００２２】
なお、評価入力部２１の構成は、図３に示したものに限定されない。例えば、評価入力部２１、ハンドルを前後に動かすようなデバイス、又は左右に針を動かすようなデバイスであってもよい。又は、評価入力部２１、物理的なデバイスではなく、タブレット端末等に表示される仮想的なスライダでもよい。この場合、タブレット端末の操作等で入力が行われる。また、評価入力部２１は、分析ポイント抽出装置１０にインストールされたプログラムが分析ポイント抽出装置１０の表示装置に表示される仮想的なスライダであってもよい。その場合は、分析ポイント抽出装置１０に接続されるキーボード又はマウスのキー操作やマウス操作等によって入力が行われる。いずれにせよ、評価入力部２１は、連続的なレベルでの評価値の入力が可能であり、最後の入力状態が保持されるようなデバイスであればどのようなものでもよい。
【００２３】
また、評価入力部２１に入力される評価値の履歴を示すグラフを表示する機能が、評価入力部２１や分析ポイント抽出装置１０等に実装されてもよい。そうすることで、調査協力者は過去の自分の入力を参考にしながら次に入力する評価値を決めることができるようになる。
【００２４】
また、入力を行うのは調査協力者ではなく調査実施者であってもよい。例えば、調査実施者が、インタビューしながら感情の動きを調査協力者に確認して評価値を入力してよい。
【００２５】
入力処理部１１は、評価入力部２１から入力される評価値に基づいて特定される所定のタイミングごとに、入力開始時刻、入力終了時刻、入力前評価値、最終評価値等を蓄積部１４に送信する。入力開始時刻とは、つまみの移動が開始された（つまり、評価値の入力が開始された）タイミングを示す時刻である。入力終了時刻とは、つまみの移動が完了した（つまり、つまみが停止した）タイミングを示す時刻である。入力前評価値は、つまみの移動前に位置に対応する評価値である。最終評価値は、つまみの移動が完了したタイミングで入力された評価値である。
【００２６】
映像取得部２２は、調査協力者のインタビュー映像を取得するデジタルビデオカメラである。映像取得部２２で取得された映像データは、蓄積部１４に送信される。
【００２７】
映像取得部２２は、映像データを取得可能であれば、ビデオカメラ以外のデバイスであってもよい。また、音声データを取得するデバイスが映像取得部２２の代わりに利用されてもよい。また、分析ポイント抽出装置１０の外部デバイスではなく、分析ポイント抽出装置１０に内蔵されたデジタルカメラやマイク等が、映像取得部２２として利用されてもよい。また、映像取得部２２は、映像データを再生する装置のディスプレイに表示されている画像をキャプチャするデバイス又はソフトウェア等でもよい。
【００２８】
蓄積部１４は、映像取得部２２から送信される映像データと、入力処理部１１から入力される時刻情報（入力開始時刻、入力終了時刻）及び評価値（入力前評価値、最終評価値）を蓄積する。蓄積部１４は、また、得点算出部１２から受信した情報呼出信号に応じて、蓄積された情報を出力処理部１３に送信する。蓄積部１４は、更に、出力処理部１３からの制御情報に従い、映像データを出力処理部１３に送信する。
【００２９】
調査者入力部２３は、調査実施者からの入力指示を受け付けるためのキーボード等のデバイス又は外部デバイスである。調査者入力部２３は、入力指示に応じ、蓄積部１４に蓄積されている情報を出力部２４に出力するための出力要求信号を得点算出部１２へ送信する。調査者入力部２３は、また、入力指示に応じ、蓄積された映像データの再生、停止といった制御信号を出力処理部１３に送信する。なお、分析ポイント抽出装置１０にインストールされたプログラムによって分析ポイント抽出装置１０の表示装置に表示される仮想的な入力装置によって調査者入力部２３が構成されてもよい。
【００３０】
得点算出部１２は、調査者入力部２３からの出力要求信号に応じ、蓄積部１４に情報呼出信号を送信し、蓄積部１４から時刻情報及び評価値を受信し、入力開始時刻ごとに、インタビューにおける当該タイミング（当該分析ポイント）の注目度の高さを示す指標値（以下、「注目得点」という。）を算出する。得点算出部１２は、各分析ポイントの注目得点を出力処理部１３に送信する。
【００３１】
出力処理部１３は、蓄積部１４から受信した映像データと、得点算出部１２から受信した各分析ポイントの注目得点とを出力するための画面（以下、「出力画面」という。）を出力部２４に出力する。出力処理部１３は、また、出力画面に対する操作に応じた映像データの再生処理を制御する。例えば、調査者入力部２３から再生や停止といった制御信号を受信すると、出力処理部１３は、蓄積部１４に映像データを問合せ、制御信号に対応した映像を出力部２４へ出力する。
【００３２】
出力部２４は、液晶ディスプレイ等の表示装置であり、出力処理部１３から受信される映像を出力（再生）する。又は、出力部２４は、スピーカーであってもよい。この場合、出力部２４は、出力処理部１３から受信される音声を出力（再生）する。なお、出力部２４は、再生装置に専用にディスプレイ等でなくてもよく、テレビ等のディスプレイやその他の外部出力装置でもよい。
【００３３】
なお、分析ポイント抽出装置１０は、必ずしもローカルなＰＣ（Personal Computer）等でなくてもよい。例えば、インターネット等のネットワークを介したコンピュータが図２に示す機能を有してもよく、ローカルなＰＣは、当該機能のユーザインタフェースとして機能してもよい。
【００３４】
以下、分析ポイント抽出装置１０が実行する処理手順について説明する。図４は、評価値の入力処理の処理手順の一例を説明するためのフローチャートである。すなわち、図４は、評価入力部２１からの入力処理部１１への評価値の入力に応じ、入力処理部１１が蓄積部１４へ送信する情報を生成するために実行する処理手順である。
【００３５】
入力処理部１１には常に（継続的に）評価入力部２１から評価値が入力されている。ステップＳ１０１において、入力処理部１１は、現在時刻ｔに対して、ｔΔ秒前の評価値（Ｈ（ｔ−ｔΔ））と、２×ｔΔ秒前の評価値（Ｈ（ｔ−２ｔΔ））とを比較し、各評価値が同じか否かを判定する。すなわち、入力処理部１１は、評価入力部２１から入力される評価値について、現在時刻ｔの値、ｔΔ秒前の値、２×ｔΔ秒前の値を保持している。なお、ｔΔは任意の値であり、例えば、予め設定される。
【００３６】
Ｈ（ｔ−ｔΔ）とＨ（ｔ−２ｔΔ）とが同じ場合（Ｓ１０１でＹ）、入力処理部１１は、現在時刻ｔの評価値（Ｈ（ｔ））と、ｔΔ秒前の評価値（Ｈ（ｔ−ｔΔ））とを比較し、各評価値が同じか否かを判定する（Ｓ１０２）。Ｈ（ｔ）とＨ（ｔ−ｔΔ）とが同じ場合（Ｓ１０２でＹ）、すなわち、２×ｔΔ秒前から現在にかけて評価値の変化が無い場合、ステップＳ１０１に戻る。なお、ステップＳ１０１が再実行されるまでｔΔ秒間の待機が行われる。
【００３７】
Ｈ（ｔ）とＨ（ｔ−ｔΔ）とが異なる場合（Ｓ１０２でＮ）、すなわち、２×ｔΔ秒前からｔΔ秒前までは値の変化がなく、ｔΔ秒前から現在にかけて値の変化があった場合、入力処理部１１は、ｔ−ｔΔを「入力開始時刻」、Ｈ（ｔ−ｔΔ）を「入力前評価値」として蓄積部１４に送信する（Ｓ１０３）。この場合、蓄積部１４に新たなレコード（以下、「対象レコード」という。）が生成され、対象レコードに当該入力開始時刻と、当該入力前評価値とが記憶される。
【００３８】
一方、Ｈ（ｔ−ｔΔ）と、Ｈ（ｔ−２ｔΔ）とが異なる場合（Ｓ１０１でＮ）、入力処理部１１は、Ｈ（ｔ）とＨ（ｔ−ｔΔ）とを比較し、各評価値が同じか否かを判定する（Ｓ１０４）。Ｈ（ｔ）とＨ（ｔ−ｔΔ）とが異なる場合（Ｓ１０４でＮ）、すなわち、２×ｔΔ秒前から現在にかけて入力値が変化し続けた場合、入力処理部１１は、入力操作の最中（継続中）と判定し、ステップＳ１０１へ戻る。この場合、ステップＳ１０１の再実行までｔΔ秒間の待機が行われる。
【００３９】
Ｈ（ｔ）とＨ（ｔ−ｔΔ）とが同じ場合（Ｓ１０４でＹ）、すなわち、２×ｔΔ秒前からｔΔ秒前までは値の変化があったが、ｔΔ秒前から現在にかけては値の変化がなかった場合、入力処理部１１は、ｔ−ｔΔを「入力終了時刻」、Ｈ（ｔ−ｔΔ）を「最終評価値」として蓄積部１４に送信する（Ｓ１０５）。この場合、当該入力終了時刻、当該最終評価値が対象レコードに記憶される。
【００４０】
図５は、蓄積部１４の構成例を示す図である。図５に示されるように、蓄積部１４には、評価入力部２１に対する入力操作ごと（すなわち、感情の評価値の変化ごと）に、レコードが記憶される。各レコードは、入力番号、入力開始時刻、入力終了時刻、入力前評価値、及び最終評価値等を含む。なお、本実施の形態では、各レコードに対応するタイミングが分析ポイントに相当する。
【００４１】
入力番号は、レコードごと（すなわち、分析ポイントごと）に割り当てられる番号である。入力開始時刻とは、入力操作（つまみの移動）の開始時刻の推定値である。入力終了時刻は、入力操作の終了時刻の推定値である。入力前評価値は、入力操作の開始前までの評価値である。最終評価値は、入力操作の終了後の評価値である。すなわち、本実施の形態では、つまみの移動に伴って刻々と評価値が変化するため、つまみの移動が完了した時点の評価値が最終評価値とされる。
【００４２】
なお、基本的に、入力前評価値は、直前のレコード（直前の入力操作）における最終評価値と同じである。したがって、入力前評価値は、必ずしも各レコードに記憶されなくてもよい。
【００４３】
また、図４では、入力処理部１１が、現在時刻ｔ、ｔΔ秒前、２×ｔΔ秒前の３時点の評価値を保持する例について説明したが、４時点以上の評価値が保持され、４時点以上の評価値に基づいて、入力開始時刻及び入力終了時刻等が判定（推定）されてもよい。例えば、ｔΔ秒以外の時間間隔が採用されてもよい。また、評価値の保持数は、時点の数ではなく、期間（例えば、３秒間分）等によって規定されてもよい。また、秒数等の時間間隔ごとに、評価値の変化の有無が判定されてもよい。
【００４４】
また、インタビューが全て終了した後に、インタビューの内容を見直して評価値の修正が行われてもよい。
【００４５】
図６は、出力画面の出力処理の処理手順の一例を説明するためのフローチャートである。
【００４６】
ステップＳ２０１において、得点算出部１２は、調査者入力部２３からの出力要求信号の受信を待機している。調査実施者が調査者入力部２３に出力要求の入力を行い、調査者入力部２３からの出力要求信号を得点算出部１２が受信すると（Ｓ２０１でＹ）、得点算出部１２は、蓄積部１４に情報を問い合わせる（Ｓ２０２）。具体的には、得点算出部１２が、蓄積部１４に情報呼出信号を送信すると、蓄積部１４が、図５に示したように記憶している全てのレコードを得点算出部１２に送信する。
【００４７】
続いて、得点算出部１２は、当該各レコードに基づいて注目得点算出処理を実行する（Ｓ２０３）。注目得点算出処理では、当該レコードごと（すなわち、分析ポイントごと）に、注目得点が算出される。なお、注目得点算出処理の詳細については後述する。注目得点算出処理の処理結果は、出力処理部１３に送信される。
【００４８】
続いて、出力処理部１３は、当該処理結果に基づいて出力画面を生成し、当該出力画面を出力部２４へ出力（表示）し（Ｓ２０４）、ステップＳ２０１に戻る。
【００４９】
図７は、出力画面の第１の例を示す図である。図７において、出力画面５１０は、再生状態表示領域５１１、キャプチャ画像表示領域５１２、注目得点表示領域５１３、及び再生部分表示バー５１４等を含む。
【００５０】
再生状態表示領域５１１は、インタビューの映像データの再生状態（再生中であるか停止中であるか）を表示する領域である。図７の状態は、再生中であることを示す。調査者入力部２３を介して停止要求が入力された場合、再生状態表示領域５１１には、例えば、停止中を示す「■」が表示される。
【００５１】
キャプチャ画像表示領域５１２には、各入力開始時刻（各分析ポイント）における映像データからのキャプチャ画像（静止画）が表示される。なお、映像データにもインタビューの撮影時刻の時刻情報が含まれているため、当該時刻情報に基づいて、映像データにおける入力開始時刻の静止画を特定可能である。
【００５２】
注目得点表示領域５１３は、ステップＳ２０３においてレコードごと（分析ポイントごと）に算出された注目得点が、注目開始時刻に対応させて棒グラフの形式で表示される領域である。すなわち、当該棒グラフにおいて横軸は時刻であり、縦軸は注目得点である。再生部分表示バー５１４は、映像データにおいて再生されている部分を示す領域である。
【００５３】
一方、出力画面５１０の表示後において、出力処理部１３は、調査者入力部２３からの出力画面５１０の制御信号の受信を待機する（Ｓ２０５）。すなわち、調査実施者は、調査者入力部２３を介して映像データの再生又は停止の指示を入力可能であり、当該指示が入力された場合、当該指示に応じた制御信号が調査者入力部２３から出力処理部１３へ送信される。
【００５４】
出力処理部１３は、当該制御信号を受信すると（Ｓ２０５でＹ）、当該制御信号に応じた再生制御を実行する（Ｓ２０６）。例えば、出力画面５１０のキャプチャ画像表示領域５１２に表示されているいずれかのキャプチャ画像が選択されて再生指示が入力されると、出力処理部１３は、蓄積部１４に記憶されている映像データについて、当該キャプチャ画像に対応する入力開始時刻からの映像を出力部２４へ再生出力する。但し、入力開始時刻の少し前（例えば５秒前等）からの映像が再生出力されてもよい。この場合の少し前の秒数は、任意に設定されてもよい。また、再生中に停止が指示されると、出力処理部１３は、出力部２４への再生出力を停止する。なお、再生制御は、再生及び停止に限られなくてもよい。例えば、早送りや巻き戻し、次の入力開始時刻への移動（スキップ）など、他の制御が可能とされてもよい。
【００５５】
なお、蓄積部１４に記憶された情報（図５や映像データ又は音声データ等）は、出力画面５１０以外の形態で出力されてもよい。分析の際に見直す事象（映像データ又は音声データ等に記録された時系列の事象）と、時系列の事象のうちのどの事象を重点的に見直せばよいかが把握可能であればどのような形態で出力されてもよい。例えば、図８に示されるような出力画面が出力されてもよい。
【００５６】
図８は、出力画面の第２の例を示す図である。図８において、出力画面５２０は、文字データ表示領域５２１、ポイント発言表示領域５２２、注目得点表示領域５２３、評価値表示領域５２４、及び再生部分表示バー５２５等を含む。
【００５７】
文字データ表示領域５２１は、映像データ又は音声データに含まれる音声が音声認識によって文字データへ変換された結果が表示される領域である。音声認識については、公知の技術を利用することができる。
【００５８】
ポイント発言表示領域５２２は、各入力開始時刻前後のインタビューの発言内容が文字データに変換された結果が表示される領域である。
【００５９】
評価値表示領域５２４は、評価値の推移が表示される領域である。
【００６０】
注目得点表示領域５２３、再生部分表示バー５２５は、図７における注目得点表示領域５１３、再生部分表示バー５１４と同じである。
【００６１】
なお、分析ポイントが多数存在する場合（すなわち、感情の変化した時点が多数有る場合）、出力画面５１０又は５２０の表示内容が煩雑となる可能性が有るため、注目得点が相対的に高い分析ポイント（例えば、注目得点が閾値以上の分析ポイント）のみが表示対象としてピックアップされるようにしてもよい。又は、時間軸の縮尺を出力画面上で変更可能とし、縮尺に合わせてピックアップされる分析ポイントの粒度が変わるように（例えば、ピックアップのための閾値が変化するように）してもよい。
【００６２】
続いて、図６のステップＳ２０３の詳細について説明する。図９は、注目得点算出処理の処理手順の一例を説明するためのフローチャートである。
【００６３】
ステップＳ３０１において、得点算出部１２は、変数ｉに１を代入する。変数ｉは、図５に示されるレコードのうち処理対象のレコードの順番（入力番号）を示す変数である。続いて、得点算出部１２は、ｉ番目のレコードに対する注目得点（以下、「注目得点［ｉ］」と表記する。）に０を代入する。すなわち、注目得点［ｉ］が０によって初期化される。
【００６４】
続いて、得点算出部１２は、ｉ番目のレコードについて、｜最終評価値−入力前評価値｜を計算し、計算結果を注目得点［ｉ］に加算する（Ｓ３０３）。すなわち、最終評価値と入力前評価値との差分（の絶対値）が、注目得点［ｉ］に加算される。なお、ステップＳ３０３における注目得点の算出ルールを「ルール１」という。ルール１は、評価値の変動幅が大きかったタイミングほど、調査協力者の感情の変化が大きかったため、注目度は高いであろうという考えに基づく。
【００６５】
続いて、得点算出部１２は、ｉ番目のレコードについて、（｜最終評価値−入力前評価値｜÷｜入力終了時刻−入力開始時刻｜）×０．１を計算し、計算結果を注目得点［ｉ］に加算する（Ｓ３０４）。すなわち、最終評価値と入力前評価値との差分（の絶対値）を入力操作の所要時間で除した結果に、所定の係数（ここでは、０．１）を乗じた結果が、注目得点［ｉ］に加算される。したがって、当該所要時間が短いほど、加算値が大きくされる。なお、ステップＳ３０４における注目得点の算出ルールを「ルール２」という。ルール２は、評価値が変更された速度が速かったタイミング（調査協力者が早くつまみを動かしたタイミング）ほど、調査協力者の感情の変化が急激であったことが推定されるため、注目度は高いであろうという考えに基づく。
【００６６】
続いて、得点算出部１２は、ｉ番目のレコードについて、｜最終評価値｜２×０．０１を計算し、計算結果を注目得点［ｉ］に加算する（Ｓ３０５）。すなわち、最終評価値の絶対値を２乗した結果に所定の係数（ここでは、０．０１）を乗じた結果が、注目得点［ｉ］に加算される。なお、ステップＳ３０５における注目得点の算出ルールを「ルール３」という。ルール３は、最終評価値が、最大値又は最小値に近いタイミング（すなわち、最終評価値の絶対値が大きいタイミング）は、調査協力者の感情が大きく変化している状態であるため、注目度は高いであろうという考えに基づく。
【００６７】
続いて、得点算出部１２は、ｉ番目のレコードについて、最終評価値と入力評価値との積が０未満（マイナス）であるか否かを判定する（Ｓ３０６）。すなわち、最終評価値と入力評価値との符号が異なるか否かが判定される。最終評価値と入力評価値との符号が異なるということは、感情の方向に変化（ポジティブ→ネガティブ、又はネガティブ→ポジティブ）が有ったことを意味する。当該積が０未満である場合（Ｓ３０６でＹ）、得点算出部１２は、注目得点［ｉ］に定数（例えば、１０）を加算する（Ｓ３０７）。当該積が０以上である場合（Ｓ３０６でＮ）、定数の加算は行われない。なお、ステップＳ３０６の条件とステップＳ３０７とによるに注目得点の算出ルールを「ルール４」という。ルール４は、感情の方向が変化したタイミング（例えば、逆の感情になった場合）は、注目度が高いであろうという考えに基づく。
【００６８】
続いて、得点算出部１２は、変数ｉの値が１であるか否かを判定する（Ｓ３０８）。変数ｉの値が１である場合（Ｓ３０８でＹ）、得点算出部１２は、注目得点［ｉ］に定数（例えば、１０）を加算する（Ｓ３０９）。変数ｉが１でない場合（Ｓ３０８でＮ）、得点算出部１２は、ｉ番目のレコードについて、√（（ｉ−１の入力開始時刻−ｉの入力開始時刻）÷全入力間隔の平均値）×１０を計算し、計算結果を注目得点［ｉ］に加算する（Ｓ３１０）。すなわち、ｉ番目の入力開始時刻とｉ−１番目の入力開始時刻との間隔を、全入力間隔の平均値で除した結果の平方根に対して所定の係数（ここでは、１０）を乗じた結果が、注目得点［ｉ］に加算される。なお、全入力間隔の平均値とは、図５の全てのレコードについて、直前のレコードとの間における入力開始時刻の間隔の平均値である。なお、ステップＳ３０９及びＳ３１０による注目得点の算出ルールを「ルール５」という。ルール５は、長い間感情の変化が無かった場合に感情が変化したタイミングは、注目度が高いであろうという考えに基づく。なお、１番目のレコードについては、当該間隔を求めることができないために、便宜上、定数が加算されている。
【００６９】
続いて、得点算出部１２は、変数ｉの値がレコードの総数に達したか否かを判定する（Ｓ３１１）。変数ｉの値がレコードの総数に達していない場合（Ｓ３１１でＮ）、得点算出部１２は、変数ｉに１を加算してステップＳ３０２以降を繰り返す。変数ｉの値がレコードの総数に達すると（Ｓ３１１でＹ）、図９の処理手順は終了する。その結果、図５の各レコードについて、注目得点が算出される。
【００７０】
なお、ルール１〜ルール５のうち、いずれか１以上が省略されてもよい。
【００７１】
また、各ルールの内容は一例に過ぎない。例えば、ルール１では最終評価値と入力前評価値との差分の絶対値を注目得点の加算値としているが、例えば、当該絶対値の定数倍や当該絶対値の累乗が加算値とされてもよいし、当該絶対値が或る閾値以上の場合のみ定数が加算されるようにしてもよい。他のルールについても同様である。
【００７２】
また、ルール５では、前回の入力開始時刻からの期間（間隔）について、全入力間隔の平均値に対する割合に基づいて注目得点が加算されるが、全入力間隔の平均値に対する割合ではなく、例えば、映像データの時間長に対する割合でもよい。又は、全入力間隔を順位付けした場合における、ｉ番目の入力間隔の順位に基づく値が、注目得点に加算されてもよい。
【００７３】
また、ルール５において、「ｉ−１の入力開始時刻−ｉの入力開始時刻」の代わりに「ｉ−１の入力終了時刻−ｉの入力開始時刻」が用いられてもよい。また、ルール５において、ｉ＝１の場合には、定数ではなく、映像データの開始時刻から、ｉ番目の入力開始時刻までの経過時間に基づく値が加算されるようにしてもよい。
【００７４】
なお、図９の処理手順（すなわち、図６のステップＳ２０３）は、出力要求信号に応じてではなく、予め実行されていてもよい。例えば、図５のレコードの記録が終了した時点で、当該処理手順が実行され、各レコードに対して算出された注目得点が、例えば、図１０に示されるように、蓄積部１４に記憶されてもよい。
【００７５】
図１０は、注目得点の算出結果の記憶例を示す図である。図１０では、入力番号及び入力開始時刻に対応付けられて、当該入力番号に係るレコード（分析ポイント）について算出された注目得点が記憶される例が示されている。
【００７６】
この場合、図６のステップＳ２０４では、図１０に示したように記憶された情報に基づいて出力画面５１０（又は出力画面５２０等）が出力されればよい。
【００７７】
また、本実施の形態では、入力処理部１１が、図４のステップＳ１０１〜Ｓ１０５を実行し、その結果を蓄積部１４に蓄積する例を示したが、入力処理部１１は、図４の処理手順を実行せずに、評価入力部２１からの時刻情報及び評価値を、例えば、ｔΔ以下の間隔で、図１１に示すような形式で蓄積部１４に記録してもよい。この場合、得点算出部１２が出力要求信号の受信後にステップＳ１０１からＳ１０５を実行してもよい。また、図１１に示す情報が、出力画面５２０の評価値表示領域５２４の生成に利用されてもよい。
【００７８】
また、本実施の形態では、映像取得部２２が調査協力者のインタビュー映像を取得するビデオカメラであるとしたが、映像取得部２２が取得する映像は調査協力者のインタビュー映像でなくてもよい。例えば、映画の楽しさの評価を行う際であれば、当該映画の映像データが取得されてもよいし、音楽の活性度の評価であれば、当該音楽の音声データが取得されてもよい。すなわち、映像や音声の内容は任意である。映画や音楽の場合、調査協力者は、映画又は音楽を鑑賞しながら、自らの感情の状態に応じた評価値を、評価入力部２１を介して入力する。すなわち、本実施の形態では、１日におけるポジティブ又はネガティブの感情の変化について評価値が入力される例を示したが、例えば、映像の面白さ／つまらなさ、ワクワクする感情など、自分の感情状態の評価値が入力されてもよい。又は、他人の感情状態の推測など、人間が認知可能なことについての評価値が入力されてもよい。
【００７９】
また、図５や図１１において、蓄積部１４には入力開始時期（又は入力終了時期）について時刻が記憶される例を示したが、映像データや音声データと同期をとることが可能な情報によって時刻が置き換えられてもよい。例えば、映画の映像データが利用される場合には、映像データの開始時からの経過時間や、開始時からのフレーム数等によって入力開始時期（又は入力終了時期）が記録されてもよい。
【００８０】
上述したように、本実施の形態によれば、時間の経過を伴う事象に対して人の感情の状態の評価値が継続的に入力され、その入力のされ方によって注目度の高さの程度を示す指標値（注目得点）が算出される。この際、感情の変化の前後の評価値に基づいて、注目得点が算出される。したがって、時間の経過を伴う事象に対する感情の継続を考慮して当該事象について注目すべきタイミングを評価可能とすることができる。
【００８１】
また、評価結果を提示することによって、当該事象に対しての感情の強さの変化がなぜ生じたのかについて、当該事象に関する映像データ又は音声データ等のうちどこを重点的に確認すべきかを容易に把握することが可能となり、分析に要する時間を短縮することができる。
【００８２】
なお、本実施の形態において、分析ポイント抽出装置１０は、注目度算出装置の一例である。
【００８３】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００８４】
１０          分析ポイント抽出装置
１１          入力処理部
１２          得点算出部
１３          出力処理部
１４          蓄積部
２１          評価入力部
２２          映像取得部
２３          調査者入力部
２４          出力部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
Ｂ            バス
【図１】
2019008420.tif 000003
【図２】
2019008420.tif 000004
【図３】
2019008420.tif 000005
【図４】
2019008420.tif 000006
【図５】
2019008420.tif 000007
【図６】
2019008420.tif 000008
【図７】
2019008420.tif 000009
【図８】
2019008420.tif 000010
【図９】
2019008420.tif 000011
【図１０】
2019008420.tif 000012
【図１１】
2019008420.tif 000013