(57)【要約】【課題】従来の動画再生編集装置は、ユーザの好みにあった箇所を抽出するのが困難であった。【解決手段】記録媒体１０８に記録された動画を再生する動画再生装置であって、音声を集音する集音部１０３と、集音部１０３による音声を解析する音声解析部１０４と、動画の再生時に、音声解析部１０４の解析結果を再生位置とともに記録する音声記録部１０５と、音声記録部１０５における解析結果に基づき、動画の再生位置毎の優先順位を算出する優先順位算出部１０７と、優先順位を基に、動画を再生する再生部１０９と、を備えることにより、ユーザの興味のあるシーンのみを簡単に再生、及び、編集することが可能となる。【選択図】図１
2010098636.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体に記録された動画を再生する動画再生装置であって、
音声を集音する集音部と、
前記集音部による音声を解析する音声解析部と、
前記動画の再生時に、前記音声解析部の解析結果を再生位置とともに記録する音声記録部と、
前記音声記録部における解析結果に基づき、動画の再生位置毎の優先順位を算出する優先順位算出部と、
前記優先順位を基に、前記動画を再生する再生部と、
を備えた動画再生装置。
【請求項２】
早送り、スロー再生を含む操作指示を受け付ける操作部と、
前記動画の再生時に、前記操作部による操作履歴を再生位置とともに記録する操作履歴部と、を備え、
前記優先順位算出部は、前記音声記録部における解析結果、及び前記操作履歴に基づき、動画の再生位置毎の優先順位を算出する
請求項１に記載の動画再生装置。
【請求項３】
被写体を撮像する撮像部と、
前記撮像部による動画を解析する動画解析部と、
前記動画の再生時に、前記動画解析部による解析結果を再生位置とともに記録する動画記録部と、を備え、
前記優先順位算出部は、前記音声記録部における解析結果、及び前記動画記録部における解析結果に基づき、動画の再生位置毎の優先順位を算出する
請求項１に記載の動画再生装置。
【請求項４】
記録媒体に記録された動画を編集する動画編集装置であって、
音声を集音する集音部と、
前記集音部による音声を解析する音声解析部と、
前記動画の再生時に、前記音声解析部の解析結果を再生位置とともに記録する音声記録部と、
前記音声記録部における解析結果に基づき、動画の再生位置毎の優先順位を算出する優先順位算出部と、
前記優先順位を基に、前記動画を編集する編集部と、
を備えた動画編集装置。
【請求項５】
早送り、スロー再生を含む操作指示を受け付ける操作部と、
前記動画の再生時に、前記操作部による操作履歴を再生位置とともに記録する操作履歴部と、を備え、
前記優先順位算出部は、前記音声記録部における解析結果、及び前記操作履歴に基づき、動画の再生位置毎の優先順位を算出する
請求項４に記載の動画編集装置。
【請求項６】
被写体を撮像する撮像部と、
前記撮像部による動画を解析する動画解析部と、
前記動画の再生時に、前記動画解析部による解析結果を再生位置とともに記録する動画記録部と、を備え、
前記優先順位算出部は、前記音声記録部における解析結果、及び前記動画記録部における解析結果に基づき、動画の再生位置毎の優先順位を算出する
請求項４に記載の動画編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の条件に基づき特定箇所を抽出可能、かつ、再生可能な動画再生装置、及び動画編集装置に関する。
【背景技術】
【０００２】
近年、光ディスクや半導体メモリなどの記録媒体に、映像信号をファイル化して記録する装置が一般的になってきている。記録媒体の大容量化に伴い、記録可能な動画像データの数も増大している。過去に見たことがある動画像データから、ユーザが所望する箇所を抽出するためには、従来は、膨大な動画像データの中から早送りや再生を繰り返しながら、抽出することが主であったが、この方法では、過去に見たときと同じような操作を繰り返すことになり、非常に効率が悪い方法であった。
【０００３】
このような問題を解決するために、特許文献１はユーザが再生時に操作した履歴を保持する操作履歴保持手段と、その操作履歴保持手段に格納されている操作履歴データからユーザの好みとする箇所を算出できる履歴演算手段を備えた動画再生編集装置を提案している。この装置によれば、ユーザが再生時に行った操作を、動画像データの再生位置と合わせて記録し、その操作結果によって、動画像データの重要度を評価し、重要度に応じて動画像データをユーザに表示することにより、効率的にユーザが好むと思われる箇所を自動で検出し、表示することが可能である。
【特許文献１】特開平５―０５４０８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のように、従来の動画再生編集装置は、ユーザが再生時に操作した履歴を記録するだけであり、不必要な部分をカットするための編集点を検索するためにスロー再生を行ったのか、重要なシーンでありじっくりと見るためにスロー再生を行ったのか、といった再生操作を行ったユーザの意図がわからないために、ユーザにとって重要でない箇所を誤って抽出してしまうという課題があった。
【０００５】
そこで本発明は、動画像データを再生時に、再生操作を行っている瞬間にユーザが発した笑い声や歓声といった音声データも記録し、その音声データを解析した結果を用いることによって、よりユーザの好みにあった箇所を抽出することができる動画再生装置、及び動画編集装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の動画再生装置は、記録媒体に記録された動画を再生する動画再生装置であって、音声を集音する集音部と、前記集音部による音声を解析する音声解析部と、前記動画の再生時に、前記音声解析部の解析結果を再生位置とともに記録する音声記録部と、前記音声記録部における解析結果に基づき、動画の再生位置毎の優先順位を算出する優先順位算出部と、前記優先順位を基に、前記動画を再生する再生部と、を備えている。
【０００７】
このような構成により、ユーザが発した音声データも記録し解析することができるため、この音声データの解析結果を用いることによって、よりユーザの好みに合わせた箇所を自動で抽出することができる。
【発明の効果】
【０００８】
以上のように本発明の動画再生装置によれば、ユーザが発した音声データを記録し解析することができるため、よりユーザの好みに合わせた箇所を自動で抽出することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１の動画再生編集装置の構成を示すブロック図である。図１において、１０１は早送り、スロー再生、通常再生を含む各種操作を行う操作部、１０２は動画毎に操作部１０１による操作履歴を記録する操作履歴部、１０３は音声を集音するマイクロホン、１０４はマイクロホン１０３による音声を解析する音声解析部、１０５は再生時に動画毎に音声解析部１０４の解析結果を記録する音声記録部、１０６は操作種別毎のポイントと音声の解析結果毎のポイントとを保持するポイント記憶部、１０７は操作履歴部１０２における操作履歴、音声記録部１０５における解析記録、及びポイント記憶部１０６におけるポイントとを基に、各動画の再生時間に対応した優先順位を算出する優先順位算出部、１０８は動画像データが記録されている記録媒体、１０９は記録媒体１０８に記録されている動画像データを優先順位に基づいて再生するための動画再生部、１１０は記録媒体１０８に記録されている動画像データを編集するための動画編集部、１１１は動画再生部１０９からの入力を表示するための表示装置である。
【００１０】
上記のように構成された本発明の動画再生編集装置の動作について、図２、図３を参照しながら説明する。まず、音声情報の記録、及び、再生操作履歴の記録について、図２を参照しながら説明する。動画像データの再生を開始すると（Ｓ２０１）、マイクロホン１０３から音声が入力されているかどうかを判定する（Ｓ２０２）。音声が入力されていると判定された場合（Ｓ２０２でＹｅｓ）、音声解析部１０４で音声を解析し（Ｓ２０３）、その解析結果を記録媒体１０８の動画像データの現在の再生位置とともに、音声記録部１０５に記録する（Ｓ２０４）。マイクロホンからの音声入力がなしと判定された場合（Ｓ２０２でＮｏ）、及び、音声記録部１０５に記録した後、操作部１０１から再生関連操作が入力されているかどうかを判定する（Ｓ２０５）。再生関連操作の入力がない場合（Ｓ２０５でＮｏ）は、再度Ｓ２０２に戻り、音声入力の有無を再び判定する。再生関連操作の入力があった場合（Ｓ２０５でＹｅｓ）、再生操作情報を記録媒体１０８の動画像データの現在の再生位置とともに操作履歴部１０２に記録する（Ｓ２０６）。その再生関連操作が再生停止操作であるかどうかを判定し（Ｓ２０７）、再生停止操作であった場合は再生を停止する（Ｓ２０８）。再生停止操作以外の場合は、再生継続となるため、再度Ｓ２０２に戻り、音声入力の有無を再び判定する。このようにして再生を開始すると、再生を停止するまでの間、常にマイクロホン１０３からの入力、及び、操作部１０１からの再生関連操作の入力を検出し、その検出結果に応じて音声情報や再生操作履歴情報を記録することが可能となる。
【００１１】
なお、本実施の形態においては、Ｓ２０３の再生関連操作の入力があるかどうかの判定を、Ｓ２０２の音声入力があるかどうかの判定よりも先に行っているが、この順番が逆であっても、同時であっても、ユーザが選択した優先度に応じて動的に変わっても良い。また、音声のみを重要視する場合は、Ｓ２０２の再生関連操作があるかどうかの判定を飛ばして、音声入力があるかどうかのみを記録するとしても良い。
【００１２】
また、本実施の形態においては、Ｓ２０３の再生関連操作の入力があるかどうかの判定を、再生関連操作に限定してあるが、再生操作だけでなく、編集操作も対象としても良い。たとえば、動画像データを再生中に、ユーザが興味のある場面で一時停止を実行し、その瞬間の動画像データを写真として切り出すようなことが考えられる。このとき、ユーザが動画像データから写真として切り出すという編集動作を行っているのであるが、ユーザの興味のある箇所であるという強い意志の表れであり、この箇所のポイントを高くすることで、よりユーザの興味のある箇所を特定しやすくなる。
【００１３】
次に、記録された音声情報、及び、再生操作履歴情報に基づく優先順位の付け方について、図３を参照しながら説明する。まず、優先順位付けを開始すると（Ｓ３０１）、音声記録部１０５から音声情報を取得する（Ｓ３０２）。続いて、操作履歴部から再生操作履歴情報を取得する（Ｓ３０３）。ポイント記憶部１０６の記憶情報から音声情報、及び、再生操作履歴情報から、記録媒体１０８に記録された動画像データの位置に対してのポイントを計算する（Ｓ３０４）。計算されたポイントを基にして優先順位を算出し（Ｓ３０５）、優先順位付けを終了する（Ｓ３０６）。
【００１４】
なお、本実施の形態においては、Ｓ３０３の再生履歴の取得を、Ｓ３０２の音声情報の取得よりも先に行っているが、この順番が逆であっても、同時であっても、ユーザが選択した優先度に応じて動的に変わっても良い。また、音声のみを重要視する場合は、Ｓ３０２の再生履歴情報の取得を飛ばして、音声のみでポイントを計算し、優先順位を算出しても良い。
【００１５】
上記優先順位付けの処理は、ユーザが動画を選択し、優先順位の高い部分を選んで再生する処理を実行する際、又は優先順位の高い部分を選んで編集する処理を実行する際に、行われる。また、図２に示す再生処理の再生停止直後に実行しても良い。
【００１６】
Ｓ３０４、Ｓ３０５のポイントに基づく優先順位の算出方法について、図４を参照しながら説明する。まず、再生操作に関しては、各再生操作にポイントを用意し、それらのポイントを１０６のポイント記憶部に覚えておく。たとえば、早送りは１点、通常再生は５点、スロー再生は１０点などである。このようにして、再生操作に応じて、動画像データの再生位置にポイントを付加する。同様に、ユーザが動画像データ視聴しているときの歓声や笑い声といった音声状況を記録、解析し、解析した音声に応じて、１０６のポイント記憶部で記憶された得点を付与する。たとえば、静穏時は０点、歓声があがった時は５点、歓声と笑い声が同時にあがった時は１０点などである。再生操作によって得られたポイントと、ユーザの音声状況を解析して得られたポイントとを基にして、動画像データの再生位置に応じた最終ポイントを決定している。
【００１７】
なお、本実施の形態における図４の再生操作の例では、ゆっくりと再生したものに対して高いポイントを付与したが、通常再生以外の動作をさせたときのポイントを高くしても良いし、またその逆で通常再生時のポイントを高くしても良い。
【００１８】
次に算出した優先順位を用いた再生（以下、ダイジェスト再生）の処理について、図５のフローチャートを用いて説明する。ユーザは、操作部１０１を用いて、ダイジェスト再生を開始する（Ｓ５０１）。ユーザは、表示装置１１１上に表示される問い合わせに応じて、ダイジェスト再生時に選択される動画の優先順位、又はダイジェスト再生時の再生時間を入力する（Ｓ５０２）。優先順位が入力された場合には、動画像データ中で、入力された優先順位以上の位置が抽出され、再生時間が入力された場合には、動画像データ中で優先順位の高い順に、指定された再生時間に達するまでの動画像データが抽出される（Ｓ５０３）。
動画再生部１０９は、抽出された動画像データを再生する（Ｓ５０４）。
【００１９】
抽出された動画像データは、優先順位に関わらず時間順に再生しても良いし、優先順位順に再生しても良い。
【００２０】
算出した優先順位を用いた編集処理についても同様である。ユーザは、編集に際して、選択される動画の優先順位、又は編集時間を入力する。優先順位が入力された場合には、動画像データ中で入力された優先順位以上の位置が抽出され、編集時間が入力された場合には、動画像データ中で優先順位の高い順に、指定された編集時間に達するまでの動画像データが抽出される。動画編集部１１０は、抽出された動画像データを記録媒体１０８に記録する。
【００２１】
このように、記録媒体１０８の動画像データの位置に応じた優先度が得られ、この優先度を用いた再生又は編集を行うことにより、ユーザの興味のあるシーンのみを簡単に再生することが可能となり、また優先度の低い箇所を削除するというように、優先度に応じた編集を簡単に行うことが可能となる。
【００２２】
なお、本実施の形態では、音声情報、及び再生操作履歴情報の両方の情報を用いて、優先順位を決定しているが、音声情報のみを用いて優先順位を決定しても良い。
【００２３】
（実施の形態２）
実施の形態１では、再生関連操作の履歴だけでなく、ユーザが視聴した際に発した音声情報を同時に使用して、優先順位を決定し、その優先順位に基づいて、再生、編集を行う動画再生編集装置に関して説明した。しかしながら、再生履歴情報と、ユーザが視聴した際に発した音声情報だけでなく、ユーザが視聴した状況をさらに取り入れることにより、よりユーザの興味に即した優先順位付けが可能となる。そこで、さらにユーザが視聴した状況を記録し、それを用いてよりユーザの興味に即した優先順位付けを行う装置について、図６を参照しながら説明する。
【００２４】
図６は、本発明の実施の形態２の動画記録再生編集装置の構成を示すブロック図である。図６において、１０１〜１１１は図１と同様の構成であり、６０１はユーザの動きを動画として捕らえるカメラ、６０２はカメラ６０１による動画を解析する動画解析部、６０３は再生時に動画毎に動画解析部６０２の解析結果を記録する動画記録部である。
【００２５】
上記のように構成された動画記録再生編集装置の動作について、実施の形態１との違いを中心に説明する。まず、音声情報の記録、及び、再生操作履歴の記録については図２の通りであり、実施の形態１と同様である。これに加えて、動画情報の記録も行うため、これについて説明する。動画像データの再生を開始すると、カメラ６０１から動画データが入力される。この入力された動画データは、動画解析部６０２で動画を解析し、その解析結果を記録媒体１０８の動画像データの現在の再生位置とともに、動画記録部６０３に記録する。動画解析部６０２は、ユーザの表情やしぐさなどを解析し、解析結果に応じて、１０６のポイント記憶部で記憶された得点を付与する。たとえば、ユーザの表情が変わらずに静かに視聴している時は０点、ユーザの表情が笑い顔になった時は５点、ユーザが笑いながら飛び上がった時は１０点などである。
【００２６】
再生時にユーザを撮影した動画データを解析することによって、ユーザが再生中の動画像データにどのような興味を示しているかをより正確に抽出できるようになる。このようにして記録された動画情報を、音声情報、再生操作履歴情報と一緒に用いることにより、よりユーザの興味に即した優先順位付けを行うことができ、よりユーザの興味に即した再生や編集を行うことが可能となる。
【産業上の利用可能性】
【００２７】
本発明の動画再生編集装置によれば、操作履歴情報、及び、音声情報を用いて、ユーザの興味に即した再生、編集ができるので、再生、及び、音声記録が可能なディジタルビデオカメラやＩＣレコーダー等、広い範囲において有用である。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態１における動画再生編集装置の構成を示すブロック図
【図２】本発明の実施の形態１における動画再生編集装置の再生履歴、及び音声情報の記録動作を示すフローチャート
【図３】本発明の実施の形態１における動画再生編集装置の優先順位付けの動作を示すフローチャート
【図４】本発明の実施の形態１における再生履歴、及び、音声情報に基づくポイント付与の概要を示す図
【図５】本発明の実施の形態１におけるダイジェスト再生の動作を示すフローチャート
【図６】本発明の実施の形態２における動画再生編集装置の構成を示すブロック図
【符号の説明】
【００２９】
１０１    操作部
１０２    操作履歴部
１０３    マイクロホン
１０４    音声解析部
１０５    音声記録部
１０６    ポイント記憶部
１０７    優先順位算出部
１０８    記録媒体
１０９    動画再生部
１１０    動画編集部
１１１    表示装置
６０１    カメラ
６０２    動画解析部
６０３    動画記録部
【図１】
2010098636.tif 000003
【図２】
2010098636.tif 000004
【図３】
2010098636.tif 000005
【図４】
2010098636.tif 000006
【図５】
2010098636.tif 000007
【図６】
2010098636.tif 000008