(57)【要約】【課題】利用者が映像視聴時に発話した映像シーンに容易にアクセスする。【解決手段】利用者が発話した音声を音声蓄積部１３に蓄積するとともに、利用者の発話中の映像を利用者の音声と関連付けて映像蓄積部１４に蓄積する。これにより、利用者は映像視聴時に発話した音声に対応する映像シーンに容易にアクセスすることが可能となる。また、音声蓄積部１３に音声だけを蓄積しておくことで、入力されたキーに対応する音声を音声蓄積部１３から検索することが可能となり、所望の映像シーンの検索が用意となる。【選択図】図１
2015084157.tif 000002
【特許請求の範囲】
【請求項１】
利用者が発話した音声を記録する音声蓄積手段と、
前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて記録する映像蓄積手段と、
前記映像蓄積手段に蓄積された映像とともに当該映像に関連付けられた音声を出力する出力手段
を有することを特徴とする記録装置。
【請求項２】
利用者が発話した音声を記録する音声蓄積手段と、
前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて記録する映像蓄積手段と、
音声あるいはテキストで入力されたキーに対応する音声を前記音声蓄積手段から検索する検索手段と、
を有することを特徴とする記録装置。
【請求項３】
前記検索手段が検索した音声と当該音声に関連付けられた前記映像とを出力する出力手段をさらに有することを特徴とする請求項２記載の記録装置。
【請求項４】
利用者が発話した音声を音声蓄積手段に記録するステップと、
前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて映像蓄積手段に記録するステップと、
前記映像蓄積手段に蓄積された映像とともに当該映像に関連付けられた音声を出力するステップと、
を有することを特徴とする記録方法。
【請求項５】
利用者が発話した音声を音声蓄積手段に記録するステップと、
前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて映像蓄積手段に記録するステップと、
音声あるいはテキストで入力されたキーに対応する音声を前記音声蓄積手段から検索するステップと、
を有することを特徴とする記録方法。
【請求項６】
請求項１又は２に記載の記録装置の各手段としてコンピュータを動作させることを特徴とする記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像とともに利用者の音声を記録する技術に関する。
【背景技術】
【０００２】
利用者が映像を検索して視聴する技術として、動画コンテンツのハイライトシーンを抽出する技術（非特許文献１）、分割したシーンを利用者に提示して目的のシーンを検索させる技術（非特許文献２）が利用できる。
【０００３】
また、映像と検索に関連する技術として、利用者が情報検索を意識的に行わなくても、視聴しているＴＶコンテンツと予め蓄積されたライフログ情報との関連性を監視し、利用者にとって有効と類推される情報を提示する技術が開示されている（非特許文献３）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】鶴田伸一、他４名、「映像と音声特徴に基づく映画のハイライトシーン抽出に関する研究」、電子情報通信学会技術研究報告、電子情報通信学会、2010年3月、pp.31-36
【非特許文献２】長谷山美紀、「映像のシーン検索のための可視化インタフェース」、電子情報通信学会技術報告、電子情報通信学会、2009年5月、pp.153-157
【非特許文献３】茂木学、他２名、「ＴＶコンテンツとライフログ情報の連携を考慮したセカンドスクリーンの検討」、電子情報通信学会技術報告、電子情報通信学会、2011年7月、pp.1-5
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１，２の方法は、単に映像を分割するものであり、利用者の記憶に直接対応しない部分も含む映像全体が解析や検索の対象となり、データが膨大な量となるために、利用者が一度見た映像について利用者の記憶に基いて所望の映像シーンを検索することは困難である。
【０００６】
非特許文献３の方法は、利用者のライフログ情報を用いるので利用者の記憶に関連した映像を検索することができるが、利用者が自身のライフログを用意しなければならない点で負担が大きいという問題がある。
【０００７】
本発明は、上記に鑑みてなされたものであり、利用者が映像視聴時に発話した映像シーンに容易にアクセスすることを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明に係る記録装置は、利用者が発話した音声を記録する音声蓄積手段と、前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて記録する映像蓄積手段と、前記映像蓄積手段に蓄積された映像とともに当該映像に関連付けられた音声を出力する出力手段を有することを特徴とする。
【０００９】
第２の本発明に係る記録装置は、利用者が発話した音声を記録する音声蓄積手段と、前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて記録する映像蓄積手段と、音声あるいはテキストで入力されたキーに対応する音声を前記音声蓄積手段から検索する検索手段と、を有することを特徴とする。
【００１０】
上記記録装置において、前記検索手段が検索した音声と当該音声に関連付けられた前記映像とを出力する出力手段をさらに有することを特徴とする。
【００１１】
第３の本発明に係る記録方法は、利用者が発話した音声を音声蓄積手段に記録するステップと、前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて映像蓄積手段に記録するステップと、前記映像蓄積手段に蓄積された映像とともに当該映像に関連付けられた音声を出力するステップと、を有することを特徴とする。
【００１２】
第４の本発明に係る記録方法は、利用者が発話した音声を音声蓄積手段に記録するステップと、前記利用者の発話期間毎に、前記利用者が視聴している映像を前記利用者の音声と関連付けて映像蓄積手段に記録するステップと、音声あるいはテキストで入力されたキーに対応する音声を前記音声蓄積手段から検索するステップと、を有することを特徴とする。
【００１３】
第５の本発明に係る記録プログラムは、上記記録装置の各手段としてコンピュータを動作させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、利用者の音声に関連付けて、利用者の発話期間毎に映像を記録することにより、利用者が映像視聴時に発話した映像シーンに容易にアクセスすることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施の形態における記録装置の構成を示す機能ブロック図である。
【図２】本実施の形態における記録装置が映像と音声を記録する処理の流れを示すフローチャートである。
【図３】利用者に映像の一覧を表示させた例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を用いて説明する。
【００１７】
図１は、本実施の形態における記録装置の構成を示す機能ブロック図である。同図に示す記録装置は、映像表示部１１、音声分離部１２、音声蓄積部１３、映像蓄積部１４、検索部１５を備える。記録装置が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは記録装置が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部について説明する。
【００１８】
映像表示部１１は、外部から入力した映像（音声を含む）を表示する。また、映像蓄積部１４に蓄積された映像を表示する。映像表示部１１と映像蓄積部１４の入力と出力は互いに接続されている。映像蓄積部１４に蓄積された映像を表示する場合は、利用者に映像を選択させるためのプレビュー表示を行う。映像表示部１１は、リモコン３により操作される。利用者はリモコン３を用いて映像表示部１１のオン・オフ、動作モード（単なる映像の視聴か映像蓄積部１４に蓄積された映像の視聴か）の切替を行う。
【００１９】
音声分離部１２は、映像表示部１１とマイク２に接続し、映像表示部１１から音声を入力するとともに、マイク２からの音声を入力し、利用者の音声を抽出して音声蓄積部１３へ出力する。マイク２に入力される音声には利用者の音声と映像表示部１１が出力する音声が含まれるので、音声分離部１２は、マイク２から入力した音声から映像表示部１１の音声を減算することで利用者の音声のみを抽出する。
【００２０】
音声蓄積部１３は、音声分離部１２が出力する利用者の音声を入力して蓄積するとともに、利用者の音声を映像蓄積部１４へ出力する。
【００２１】
映像蓄積部１４は、利用者が発話している間、映像表示部１１から入力する映像を音声蓄積部１３から入力する利用者の音声と関連付けて蓄積する。映像蓄積部１４は、バッファ１４１を備え、映像表示部１１から入力する映像を数秒〜数十秒分バッファリングしておき、音声蓄積部１３から利用者の音声を入力したタイミングつまり利用者が発話したタイミングで、バッファ１４１に蓄積された一定時間前からの映像を開始点として、利用者の発話が終了後一定時間前までの映像を蓄積する。
【００２２】
また、利用者がリモコン３を用いて映像表示部１１を操作して蓄積された映像を視聴するときには、映像蓄積部１４は、利用者が選択した映像とその映像に関連付けられた利用者の音声を映像表示部１１に出力する。
【００２３】
検索部１５は、音声認識技術を利用し、利用者がマイク２から入力した音声やキーボード４で入力したテキストをキーにして、対応する音声を音声蓄積部１３に蓄積された利用者の音声から検索し、検索した利用者の音声に関連付けられた映像を列挙して利用者に提示する。利用者は、提示された映像を探索することで所望の映像を容易に探り当てることが可能となる。
【００２４】
次に、本実施の形態における記録装置の処理の流れについて説明する。
【００２５】
図２は、本実施の形態における記録装置が映像と音声を記録する処理の流れを示すフローチャートである。
【００２６】
まず、利用者がリモコン３を操作して本記録装置の電源を入れて、映像表示部１１が表示する映像の視聴を開始する（ステップＳ１１）。
【００２７】
映像表示部１１が映像の表示を開始すると、映像蓄積部１４は映像のバッファリングを開始し（ステップＳ１２）、音声分離部１２はマイク２から利用者の音声を入力する（ステップＳ１３）。音声分離部１２は、マイク２から入力され音声から映像表示部１１から入力される映像の音声を減算して利用者の音声を抽出する。
【００２８】
音声分離部１２は利用者の音声を検出し（ステップＳ１４）、利用者の音声を検出した場合（ステップＳ１４のＹＥＳ）、音声蓄積部１３は利用者の音声の蓄積を開始する（ステップＳ１５）。
【００２９】
また、映像蓄積部１４は音声蓄積部１３から利用者の音声を入力し、利用者が発話をする所定時間前（例えば２秒前）を開始点として映像の蓄積を開始する（ステップＳ１６）。
【００３０】
利用者が発話を終了するまで映像と利用者の音声は蓄積される（ステップＳ１７）。
【００３１】
利用者が発話を終了すると、所定時間後（例えば２秒後）、映像蓄積部１４は映像の蓄積を終了する（ステップＳ１８）。
【００３２】
利用者がリモコン３を操作して本記録装置の電源を切ると処理は終了し（ステップＳ１９のＹＥＳ）、電源を切らない場合は（ステップＳ１９のＮＯ）、ステップＳ１３に戻って利用者の発話を待つ。
【００３３】
以上の処理により、映像蓄積部１４には、利用者の発話期間毎に、映像表示部１１に映された映像が利用者の音声に関連付けられて蓄積される。
【００３４】
次に、利用者が映像蓄積部１４に蓄積された映像を視聴する処理について説明する。
【００３５】
発話時の映像を視聴したい場合、利用者はリモコン３を操作して映像蓄積部１４に蓄積された利用者の発話毎の映像を呼び出して映像表示部１１に一覧を表示させる。図３に、映像表示部１１に映像の一覧を表示させた例を示す。同図では、画面５内に、フレームレートを間引きした縮小ムービー５１を並べて利用者に提示している。縮小ムービー５１を映像の時系列順に並べることで、利用者は順を追って映像を視聴できるので、記憶がたどりやすい効果が期待できる。この時、画面５内全ての縮小ムービー５１が一度に動いてしまうと見づらいので、個々の縮小ムービー５１の特定フレーム（例えば先頭フレーム）を静止させて表示しておき、利用者が選択した縮小ムービー５１のみを再生させる。
【００３６】
以上説明したように、本実施の形態によれば、利用者が発話した音声を音声蓄積部１３に蓄積するとともに、利用者の発話中の映像を利用者の音声と関連付けて映像蓄積部１４に蓄積することにより、利用者は映像視聴時に発話した音声に対応する映像シーンに容易にアクセスすることが可能となる。また、音声蓄積部１３に音声だけを蓄積しておくことで、入力されたキーに対応する音声を音声蓄積部１３から検索することが可能となり、所望の映像シーンの検索が用意となる。さらに、発話の前後に余裕を持たせて映像を蓄積することで、見逃しや聴き逃がしを防ぐことができる。
【符号の説明】
【００３７】
１１…映像表示部
１２…音声分離部
１３…音声蓄積部
１４…映像蓄積部
１５…検索部
２…マイク
３…リモコン
４…キーボード
５…画面
５１…縮小ムービー
【図１】
2015084157.tif 000003
【図２】
2015084157.tif 000004
【図３】
2015084157.tif 000005