(57)【要約】【課題】大量の映像の概要の把握を可能としつつ、映像に対する興味の低下を回避し得る要約映像を作成することを可能とする要約映像作成装置等を提供する。【解決手段】録画映像または蓄積映像等から要約映像を作成する要約映像作成装置において、ユーザの視聴履歴情報及び録画方法情報を利用することによって、重要区間だけでなく、各映像に対してユーザが必要であると考えられるシーンの選択や区間の抽出、そして一定の映像再生構成に収束しないユーザの嗜好に適応的な映像を再生する際の構成を可能とし、最終的にユーザの視聴スタイルに合致する要約映像を作成することを可能とする。【選択図】図１
2007184781.tif 000002
【特許請求の範囲】
【請求項１】
映像に基づいて要約映像を作成する要約映像作成装置であって、
ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段と、
前記視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成手段と、
前記映像のメタデータ情報を蓄積する映像情報蓄積手段と、
作成された前記映像抽出パターンに従って、前記映像情報蓄積手段の前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成手段と
を備えることを特徴とする要約映像作成装置。
【請求項２】
前記要約映像作成装置は、さらに、
映像の録画方法に関する録画方法情報を蓄積する録画方法蓄積手段を備え、
前記映像抽出パターン作成手段は、前記視聴履歴蓄積手段から抽出した視聴履歴情報と前記録画方法蓄積手段から抽出した録画方法情報とを用いて、前記映像抽出パターンを作成する
ことを特徴とする請求項１記載の要約映像作成装置。
【請求項３】
前記要約映像作成装置は、さらに、
ユーザからの入力として、映像抽出パターンの作成の開始及び要約を行う複数映像の指定及び要約の全再生時間の情報と、要約映像の作成に必要な操作を受け付ける操作入力手段を備え、
前記要約映像作成手段は、前記操作入力手段において受け付けた操作に従って、前記要  約映像プレイリストを作成する
ことを特徴とする請求項２記載の要約映像作成装置。
【請求項４】
前記映像抽出パターン作成手段は、
予め設定された時刻になると前記映像抽出パターンの作成開始の指示を行うタイマ部と、
前記タイマ部の指示により、前記視聴履歴蓄積手段から前記視聴履歴情報と前記録画方法蓄積手段から前記録画方法情報を抽出する履歴情報抽出部とを備える
ことを特徴とする請求項２記載の要約映像作成装置。
【請求項５】
前記映像抽出パターン作成手段は、さらに、
前記履歴情報抽出部において抽出された情報を用いて、映像の優先度を決定する映像優先度決定部と、
前記履歴情報抽出手段で抽出された情報と、前記映像優先度決定部で決定された優先度とを用いて、各映像に対してユーザの視聴形態に合致する映像を選択し、ユーザの映像視聴時毎に適する再生順序および再生割合を決定し、要約映像の構成を規定する映像抽出パターンを作成して出力する抽出パターン出力部とを備える
ことを特徴とする請求項１記載の要約映像作成装置。
【請求項６】
前記映像抽出パターン作成手段は、さらに、
前記履歴情報抽出部において抽出された情報を用いて、映像のジャンルの優先度を決定するジャンル優先度決定部を備え、
前記抽出パターン出力部は、
前記履歴情報抽出部において抽出された情報と、前記映像優先度決定部で決定された優先度と、前記ジャンル優先度決定部で決定された優先度とを用いて、各映像に対してユーザの視聴形態に合致する映像を選択し、ユーザの映像視聴時毎に適する再生順序および再生割合を決定し、要約映像の構成を規定する映像抽出パターンを作成して出力する
ことを特徴とする請求項５記載の要約映像作成装置。
【請求項７】
前記映像抽出パターン作成手段は、さらに、
予め設定された時刻または録画数が一定数に達した時の開始条件により、前記ジャンル優先度決定部で優先度が決定される度に更新され、その優先度が蓄積されるジャンル優先度テーブル蓄積部を備え、
前記ジャンル優先度決定部は、前記映像抽出パターンの作成時に、前記ジャンル優先度テーブル蓄積部に蓄積されている優先度を抽出して、前記映像の優先度とする
ことを特徴とする請求項６記載の要約映像作成装置。
【請求項８】
前記ジャンル優先度決定部は、あるジャンルの優先度をジャンルの視聴回数または視聴時間と全視聴回数または全視聴時間を用いて、又はそれらに加えて、あるジャンルの録画回数と全録画回数を用いて前記映像のジャンルの優先度を算出する
ことを特徴とする請求項６記載の要約映像作成装置。
【請求項９】
前記映像抽出パターン作成手段は、さらに、
予め設定された時刻または録画済みの映像データが一定数に達した場合に、前記映像優先度決定部において優先度が決定される度に更新され、その優先度が蓄積される映像優先度テーブル蓄積部を備え、
前記映像優先度決定部は、前記映像抽出パターンの作成時に、前記映像優先度テーブル蓄積部に蓄積されている優先度を抽出して、前記映像の優先度とする
ことを特徴とする請求項５記載の要約映像作成装置。
【請求項１０】
前記映像優先度決定部は、ユーザの各映像に対する過去の視聴回数及び過去の視聴時間情報、又はそれらに加えて録画方法の種類情報を用いて前記映像の優先度を算出する
ことを特徴とする請求項５記載の要約映像作成装置。
【請求項１１】
前記抽出パターン出力部は、さらに、
前記履歴情報抽出部において抽出された情報と、前記映像優先度決定部で決定された優先度とを用いて、各映像において重要シーンを含む最適なシーンを選択し、予め設定された手順に従って各映像の再生順序および再生時間を決定し、これらの情報から前記映像抽出パターンを作成する再生シーン選択決定部を備える
ことを特徴とする請求項５記載の要約映像作成装置。
【請求項１２】
前記抽出パターン出力部は、さらに、
前記履歴情報抽出手段において抽出された情報と、前記映像優先度決定部で決定された優先度と、前記ジャンル優先度決定部で決定された優先度とを用いて、各映像に対して重要シーンを含む最適なシーンを選択し、予め設定された手順に従って各映像の再生順序および再生時間を決定し、これらの情報から前記映像抽出パターンを作成する再生シーン選択決定部を備える
ことを特徴とする請求項５記載の要約映像作成装置。
【請求項１３】
前記抽出パターン出力部は、さらに、
前記映像優先度決定部で決定された優先度または前記ジャンル優先度決定部で決定された優先度と、予め設定されている、または、前記操作入力手段において受け付けた要約映像の全再生時間とを用いて、各映像の再生時間を決定し、当該再生時間を前記映像抽出パターン出力手段に出力する時間配分決定部と、
前記映像優先度決定部で決定された優先度または前記ジャンル優先度決定部で決定された優先度を用いて、各映像の再生順序を決定し、前記再生シーン選択決定手段に出力する再生順序決定部とを備え、
前記再生シーン選択決定部は、前記時間配分決定手段から出力された各映像の再生時間と、前記再生順序決定手段から出力された各映像の再生順序を用いて映像抽出パターンを作成して出力する
ことを特徴とする請求項１２記載の要約映像作成装置。
【請求項１４】
前記要約映像作成装置は、さらに、
テレビ映像やカメラにより撮影された映像の映像データを蓄積する映像蓄積手段と、
前記視聴履歴蓄積手段において抽出された視聴履歴情報を、または前記視聴履歴情報及び前記録画方法蓄積手段において抽出された録画方法情報を用いて、前記映像蓄積部に蓄積されている映像データから、要約映像を作るためのメタデータ情報を抽出し、抽出された当該メタデータ情報を前記映像情報蓄積部に蓄積るデータ抽出手段を備える
ことを特徴とする請求項１記載の要約映像作成装置。
【請求項１５】
前記データ抽出手段は、
前記視聴履歴蓄積手段から抽出した視聴履歴情報を、又は前記視聴履歴情報及び前記録画方法蓄積手段から抽出した録画方法情報を用いて、各映像の要約を作るためのシーン情報であるメタデータ情報を抽出するための映像解析方法を選択決定する映像解析方法決定部と、
前記映像蓄積部に蓄積されている映像データ信号を、前記映像解析方法決定部により決定された方法によって、解析し、各映像の要約を作るためのシーン情報であるメタデータ情報を抽出する特徴シーン抽出部とを備える
ことを特徴とする請求項１４記載の要約映像作成装置。
【請求項１６】
前記データ抽出手段は、さらに、
前記視聴履歴蓄積手段から抽出した視聴履歴情報、又は前記視聴履歴情報及び前記録画方法蓄積手段から抽出した録画方法情報から、各映像のタイトル、出演者、放送時間およびジャンルの映像の属性情報であるメタデータ情報を抽出して管理する映像情報管理部を備える
ことを特徴とする請求項１４記載の要約映像作成装置。
【請求項１７】
前記要約映像作成装置は、さらに、
ネットワークを介して予め設定されているサイトから、各映像のタイトル、出演者、放送時間およびジャンルのうち少なくとも１つの属性情報又はシーン情報であるメタデータ情報を取得し、取得した当該メタデータ情報を前記映像情報管理部に出力する通信手段を備え、
前記映像情報管理部は、前記メタデータ情報を前記映像情報蓄積部に蓄積する
ことを特徴とする請求項１６記載の要約映像作成装置。
【請求項１８】
映像に基づいて要約映像を作成する要約映像作成方法であって、
ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成ステップと、
作成された前記映像抽出パターンに従って、映像情報蓄積手段に蓄積されている前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成ステップと
を有することを特徴とする要約映像作成方法。
【請求項１９】
映像に基づいて要約映像を作成する要約映像作成装置に用いる、コンピュータに実行させるためのプログラムであって、
前記プログラムは、
ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成ステップと、
作成された前記映像抽出パターンに従って、映像情報蓄積手段に蓄積されている前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成ステップと
を含むプログラム。
【請求項２０】
映像に基づいて要約映像を作成する要約映像作成装置に用いるプログラムが記録された記録媒体であって、
前記プログラムは、
ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成ステップと、
作成された前記映像抽出パターンに従って、映像情報蓄積手段に蓄積されている前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成ステップと
を含むことを特徴とする、コンピュータが読み取り可能な記録媒体。
【請求項２１】
映像に基づいて要約映像を作成する集積回路であって、
ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段と、
前記視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成手段と、
前記映像のメタデータ情報を蓄積する映像情報蓄積手段と、
作成された前記映像抽出パターンに従って、前記映像情報蓄積手段の前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送や撮影された動画などの映像データから要約映像を作成する映像処理技術に関し、特に、ユーザの視聴嗜好に合わせつつ、大量の映像であっても効率良くユーザにその概要を把握させることを可能にする要約映像作成装置等に関するものである。
【背景技術】
【０００２】
近年、デジタル放送の開始やビデオ機器等の普及により、個人であっても、テレビ放送や撮影された動画などのＡＶ（Audio-Visual）データ（以下「映像データ」ともいう。）を大量に保有する場合が少なくない。ところが、これら大量の映像データから視聴したい映像を見つける、又は各映像の概要を把握するためには、多大な時間と労力を必要とする。
【０００３】
そこで、映像データから要約映像を作成し、その要約映像視聴することにより大まかな映像の内容を把握するための方法及び装置が提案されている。例えば、従来の要約映像作成方法としては、１つの映像を対象として、その映像から類似画像検出やシーンチェンジ検出を行う画像解析や音声レベルや音声内容の変化を検出する音響解析等により、画像や音声の特徴量を抽出し、その特徴量から重要と考えられる映像フレームまたは映像シーンを抽出し、要約映像を作成する方法が知られている。これらの手法では、抽出した特徴量に対して重要度を付加し、その重要度が予め設定した閾値を超えた場合に、その重要度を持つシーンを集めて要約映像とする方式が一般的である。また、映像に付随する属性情報を利用することにより（例えば、ジャンル毎に適した処理や閾値を設定することにより）、さらに要約映像に適した映像フレームや映像シーンの抽出を行う方法が知られている（例えば、特許文献１参照）。ここで、「映像」とは、放送番組やオンデマンド配信等における動画コンテンツや撮影された動画のことをいい、「要約映像」とは、これらの映像を短くまとめた映像をいう。
【０００４】
また、複数の映像を対象として要約映像を作成する場合には、単に各映像の要約映像をつなぎ合わせて要約映像セットを作成する方法や、ジャンル等の属性情報毎にユーザの映像に対する再生要求回数の操作履歴から、属性情報に優先度をつけ、ユーザの関心が高いと考えられる映像の要約映像から優先的に配置し、かつ再生時間の配分を考慮して再生する映像装置がある（例えば、特許文献２参照）。
【特許文献１】特開２００２-４４５７２号公報
【特許文献２】特開２００２−２８１４４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の構成では、生成された要約映像がユーザにとって必ずしも満足できる要約映像になっていない場合があるという問題点がある。
【０００６】
例えば、映像全体の流れを把握したいユーザに対して、全体の流れを無視した重要なシーンばかりを提示する要約映像を作成してユーザに煩雑さを感じさせてしまったり、ドラマのように映像の核心部分をじっくり鑑賞したいユーザに対して、核心部分の映像を提示してしまうことにより、映像全体を鑑賞する興味を低下させてしまう場合などが該当する。
【０００７】
また、ジャンル等のキーワードやユーザの再生操作履歴に基づいて映像に優先度を付け、映像の再生順序や再生時間の割合を変えることにより、ユーザが所望する映像に短時間でたどり着くといった従来の手法では、個々のユーザの嗜好に関係なく一定の要約映像の構成に収束してしまい、要約映像の再生順序や再生時間の割合が、常に似通った構成になってしまう。つまり、常に似通った構成の要約映像を提示するため、真に個々のユーザの嗜好を反映した要約映像が生成できないという課題を有していた。
【０００８】
こうした従来手法で生成された要約映像に対する不満感や興味低下は、映像の重要シーンのみを要約映像に利用していることに問題がある。また、複数の映像の再生順序や再生時間の割合が一定の構成として収束してしまうのは、ユーザの映像視聴中における操作履歴を基づいて決めているためであり、長時間解析するとある一定の内容に収束する情報のみを利用していることに問題がある。
【０００９】
本発明は、上記の課題を解決するものであり、大量の映像の概要の把握を可能としつつ、映像に対する興味の低下を回避し得る要約映像を作成することを可能とする要約映像作成装置等を提供することを目的とする。さらに、本発明は、個々のユーザの視聴嗜好を反映した要約映像の作成を可能とする要約映像作成装置等を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る要約映像作成装置は、映像に基づいて要約映像を作成する要約映像作成装置であって、ユーザの映像に対する視聴履歴情報を蓄積する視聴履歴蓄積手段と、前記視聴履歴蓄積手段から視聴履歴情報を抽出し、抽出した視聴履歴情報を用いて、各映像に対してユーザの視聴形態に合致する映像抽出パターンを作成する映像抽出パターン作成手段と、前記映像のメタデータ情報を蓄積する映像情報蓄積手段と、作成された前記映像抽出パターンに従って、前記映像情報蓄積手段の前記映像のメタデータ情報を利用して、要約映像の再生に必要な情報を記述した要約映像プレイリストを作成する要約映像作成手段とを備えることを特徴とする。
【００１１】
本構成によって、録画映像または蓄積映像から要約映像を作成する際に、視聴履歴情報を用いると共にユーザの視聴スタイルに合わせて要約映像に採用する映像を選択するため、ユーザに映像の概要を把握させつつ、興味低下を生じさせない要約映像を作成することができる。
【００１２】
また、前記要約映像作成装置は、さらに、映像の録画方法に関する録画方法情報を蓄積する録画方法蓄積手段を備え、前記映像抽出パターン作成手段は、前記視聴履歴蓄積手段から抽出した視聴履歴情報と前記録画方法蓄積手段から抽出した録画方法情報とを用いて、前記映像抽出パターンを作成することを特徴とする。
【００１３】
本構成によって、請求項１の効果に加えて、視聴履歴情報及び録画方法情報を用いることにより、長期的に本装置を利用した場合でも、一定の似通った映像が優先的に再生されるような構成に収束しない、ユーザに適応的な再生順序や再生時間を可能とする映像抽出パターンの作成が可能となり、ユーザが所望する映像を見つけることが可能な要約映像を生成することができる。
【００１４】
また、前記要約映像作成装置は、さらに、ユーザからの入力として、映像抽出パターンの作成の開始及び要約を行う複数映像の指定及び要約の全再生時間の情報と、要約映像の作成に必要な操作を受け付ける操作入力手段を備え、前記要約映像作成手段は、前記操作入力手段において受け付けた操作に従って、前記要約映像プレイリストを作成することを特徴とする。
【００１５】
本構成によって、上記請求項２の効果に加えて、操作入力手段によって、要約映像の視聴時間の指定、予め設定された視聴時間幅の選択、視聴する複数映像の指定、要約映像の視聴開始の入力等のユーザの要約映像に対する意思を反映することができる。また、映像抽出パターンのテンプレートの選択等の要約映像の詳細な設定を行うことによって、さらにユーザが満足できる要約映像を作成することができる。
【００１６】
また、前記映像抽出パターン作成手段は、予め設定された時刻になると前記映像抽出パターンの作成開始の指示を行うタイマ部と、前記タイマ部の指示により、前記視聴履歴蓄積手段から前記視聴履歴情報と前記録画方法蓄積手段から前記録画方法情報を抽出する履歴情報抽出部とを備えることを特徴とする。
【００１７】
本構成によって、上記請求項２の効果に加えて、タイマ部によって、予め設定した時刻になると、自動的に映像抽出パターンが作成され、要約映像プレイリストを作成することができるので、ユーザは任意のタイミングで待ち時間無く、要約映像を作成することができる。
【００１８】
また、前記映像抽出パターン作成手段は、さらに、前記履歴情報抽出部において抽出された情報を用いて、映像の優先度を決定する映像優先度決定部と、前記履歴情報抽出手段で抽出された情報と、前記映像優先度決定部で決定された優先度とを用いて、各映像に対してユーザの視聴形態に合致する映像を選択し、ユーザの映像視聴時毎に適する再生順序および再生割合を決定し、要約映像の構成を規定する映像抽出パターンを作成して出力する抽出パターン出力部とを備えることを特徴とする。
【００１９】
本構成によって、上記請求項１の効果に加えて、映像優先度決定部により決定した映像の優先度を映像抽出パターンの作成時に用いることによって、その優先度に基づいて、予め設定された映像を要約映像として選択し、その再生順序や再生時間の決定をすることができる。
【００２０】
また、前記映像抽出パターン作成手段は、さらに、前記履歴情報抽出部において抽出された情報を用いて、映像のジャンルの優先度を決定するジャンル優先度決定部を備え、前記抽出パターン出力部は、前記履歴情報抽出部において抽出された情報と、前記映像優先度決定部で決定された優先度と、前記ジャンル優先度決定部で決定された優先度とを用いて、各映像に対してユーザの視聴形態に合致する映像を選択し、ユーザの映像視聴時毎に適する再生順序および再生割合を決定し、要約映像の構成を規定する映像抽出パターンを作成して出力することを特徴とする。
【００２１】
本構成によって、上記請求項５の効果に加えて、映像の優先度だけではなく、ジャンル優先度決定部により決定した映像のジャンル優先度を映像抽出パターンの作成時に用いることができるため、優先的なジャンルの作成等のより詳細にユーザに適応させた映像を要約映像として選択し、その再生順序や再生時間の決定をすることができる。
【００２２】
また、前記映像抽出パターン作成手段は、さらに、予め設定された時刻または録画数が一定数に達した時の開始条件により、前記ジャンル優先度決定部で優先度が決定される度に更新され、その優先度が蓄積されるジャンル優先度テーブル蓄積部を備え、前記ジャンル優先度決定部は、前記映像抽出パターンの作成時に、前記ジャンル優先度テーブル蓄積部に蓄積されている優先度を抽出して、前記映像の優先度とすることを特徴とする。
【００２３】
本構成によって、上記請求項６の効果に加えて、映像優先度テーブル蓄積部及びジャンル優先度テーブル蓄積部によって、常に更新された映像優先度及びジャンル優先度を保有しておくことができるため、映像抽出パターンの作成時に、各映像の映像優先度及びジャンル優先度を逐次算出する必要が無くなり、映像抽出パターン作成に必要な処理時間を減少させることができる。
【００２４】
また、前記ジャンル優先度決定部は、あるジャンルの優先度をジャンルの視聴回数または視聴時間と全視聴回数または全視聴時間を用いて、又はそれらに加えて、あるジャンルの録画回数と全録画回数を用いて前記映像のジャンルの優先度を算出することを特徴とする。
【００２５】
本構成によって、上記請求項６の効果に加えて、ユーザの各ジャンルに対する優先度を、ジャンルの視聴回数または視聴時間、あるいは録画回数といったユーザのジャンルに対する嗜好性を表す情報に基づいて算出することによって、ユーザの嗜好を十分に反映したジャンル優先度とすることができる。
【００２６】
また、前記映像抽出パターン作成手段は、さらに、予め設定された時刻または録画済みの映像データが一定数に達した場合に、前記映像優先度決定部において優先度が決定される度に更新され、その優先度が蓄積される映像優先度テーブル蓄積部を備え、前記映像優先度決定部は、前記映像抽出パターンの作成時に、前記映像優先度テーブル蓄積部に蓄積されている優先度を抽出して、前記映像の優先度とすることを特徴とする。
【００２７】
本構成によって、上記請求項５の効果に加えて、映像優先度テーブル蓄積部によって、常に更新された映像優先度を保有しておくことができるため、映像抽出パターンの作成時に、各映像の映像優先度を逐次算出する必要が無くなり、映像抽出パターン作成に必要な処理時間を減少させることができる。
【００２８】
また、前記映像優先度決定部は、ユーザの各映像に対する過去の視聴回数及び過去の視聴時間情報、又はそれらに加えて録画方法の種類情報を用いて前記映像の優先度を算出することを特徴とする。
【００２９】
本構成によって、上記請求項５の効果に加えて、ユーザの各映像に対する過去の視聴回数または過去の視聴時間情報または録画方法の種類情報といったユーザの映像に対する嗜好性を表す情報に基づいた映像優先度の算出を行うことによって、ユーザの嗜好を十分に反映した映像優先度とすることができる。
【００３０】
また、前記抽出パターン出力部は、さらに、前記履歴情報抽出部において抽出された情報と、前記映像優先度決定部で決定された優先度とを用いて、各映像において重要シーンを含む最適なシーンを選択し、予め設定された手順に従って各映像の再生順序および再生時間を決定し、これらの情報から前記映像抽出パターンを作成する再生シーン選択決定部を備えることを特徴とする。
【００３１】
本構成によって、上記請求項５の効果に加えて、各映像の再生シーンの選択決定に、映像優先度またはジャンル優先度を反映させることが可能となり、各映像に関して、よりユーザの嗜好に合うシーンを要約映像として選択することができる。
【００３２】
また、前記抽出パターン出力部は、さらに、前記履歴情報抽出手段において抽出された情報と、前記映像優先度決定部で決定された優先度と、前記ジャンル優先度決定部で決定された優先度とを用いて、各映像に対して重要シーンを含む最適なシーンを選択し、予め設定された手順に従って各映像の再生順序および再生時間を決定し、これらの情報から前記映像抽出パターンを作成する再生シーン選択決定部を備えることを特徴とする。
【００３３】
本構成によって、上記請求項３の効果に加えて、各映像の再生シーンの選択決定に、映像優先度またはジャンル優先度を反映させることが可能となり、各映像に関して、よりユーザの嗜好に合うシーンを要約映像として選択することができる。
【００３４】
また、前記抽出パターン出力部は、さらに、前記映像優先度決定部で決定された優先度または前記ジャンル優先度決定部で決定された優先度と、予め設定されている、または、前記操作入力手段において受け付けた要約映像の全再生時間とを用いて、各映像の再生時間を決定し、当該再生時間を前記映像抽出パターン出力手段に出力する時間配分決定部と、前記映像優先度決定部で決定された優先度または前記ジャンル優先度決定部で決定された優先度を用いて、各映像の再生順序を決定し、前記再生シーン選択決定手段に出力する再生順序決定部とを備え、前記再生シーン選択決定部は、前記時間配分決定手段から出力された各映像の再生時間と、前記再生順序決定手段から出力された各映像の再生順序を用いて映像抽出パターンを作成して出力することを特徴とする。
【００３５】
本構成によって、上記請求項９の効果に加えて、各映像の再生シーンの選択決定または再生順序、再生時間の決定に、映像優先度またはジャンル優先度を反映させることが可能となり、各映像に関して、よりユーザの嗜好に合うシーンを要約映像として選択することができる。
【００３６】
また、前記要約映像作成装置は、さらに、テレビ映像やカメラにより撮影された映像の映像データを蓄積する映像蓄積手段と、前記視聴履歴蓄積手段において抽出された視聴履歴情報を、または前記視聴履歴情報及び前記録画方法蓄積手段において抽出された録画方法情報を用いて、前記映像蓄積部に蓄積されている映像データから、要約映像を作るためのメタデータ情報を抽出し、抽出された当該メタデータ情報を前記映像情報蓄積部に蓄積るデータ抽出手段を備えることを特徴とする。
【００３７】
本構成によって、上記請求項１の効果に加えて、映像から直接映像解析を行い、メタデータを取得する際に、ジャンルに応じた映像解析方法の選択を行うことができる。また、録画方法情報を用いた場合には、その情報によって、ジャンルで決めるといった画一的な手法ではなく、ユーザが見たい可能性が高いシーンを抽出できる映像解析方法等の各ユーザに適した映像解析方法の選択を行うことができる。
【００３８】
また、前記データ抽出手段は、前記視聴履歴蓄積手段から抽出した視聴履歴情報を、又は前記視聴履歴情報及び前記録画方法蓄積手段から抽出した録画方法情報を用いて、各映像の要約を作るためのシーン情報であるメタデータ情報を抽出するための映像解析方法を選択決定する映像解析方法決定部と、前記映像蓄積部に蓄積されている映像データ信号を、前記映像解析方法決定部により決定された方法によって、解析し、各映像の要約を作るためのシーン情報であるメタデータ情報を抽出する特徴シーン抽出部とを備えることを特徴とする。
【００３９】
本構成によって、上記請求項１４の効果に加えて、ジャンルに適応した映像解析方法、または録画方法情報から得られるユーザに適する映像解析方法を予め設定する事ができるため、視聴履歴情報または録画方法情報を用いて、各映像に対して適宜最適な映像解析方法を選択して、ユーザに最適なメタデータ情報を取得することができる。
【００４０】
また、前記データ抽出手段は、さらに、前記視聴履歴蓄積手段から抽出した視聴履歴情報、又は前記視聴履歴情報及び前記録画方法蓄積手段から抽出した録画方法情報から、各映像のタイトル、出演者、放送時間およびジャンルの映像の属性情報であるメタデータ情報を抽出して管理する映像情報管理部を備えることを特徴とする。
【００４１】
本構成によって、上記請求項１４の効果に加えて、各映像のタイトル、出演者、放送時間およびジャンル等の映像の属性情報を利用する事ができるため、より詳細な映像解析をすることができる。また、要約映像の再生時に各映像の属性情報を表示することができるため、ユーザの映像に対する理解度を向上させることができる。
【００４２】
また、前記要約映像作成装置は、さらに、ネットワークを介して予め設定されているサイトから、各映像のタイトル、出演者、放送時間およびジャンルのうち少なくとも１つの属性情報又はシーン情報であるメタデータ情報を取得し、取得した当該メタデータ情報を前記映像情報管理部に出力する通信手段を備え、前記映像情報管理部は、前記メタデータ情報を前記映像情報蓄積部に蓄積することを特徴とする。
【００４３】
本構成によって、上記請求項１６の効果に加えて、通信部を用いることにより、機器内では得られなかった映像の属性情報及びシーン情報であるメタデータ情報を得ることができるため、要約映像パターンの作成に必要な情報を補完することができる。また、様々な映像に関する情報を取得し利用することができるため、よりユーザに適応的な要約映像パターンを作成することができる。
【００４４】
さらに、本発明は、上記要約映像作成装置における特徴的な構成手段を備える集積回路として実現したり、上記構成手段をステップとする要約映像作成方法として実現したり、それらのステップをパーソナルコンピュータ等に実行させるプログラムとして実現したりすることもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【発明の効果】
【００４５】
本発明に係る要約映像作成装置によれば、ユーザの視聴履歴情報及び録画方法情報を利用することによって、重要なシーンだけではなく、各映像に対してユーザが必要であると考えるシーンの選択や区間の抽出、そして一定の映像再生構成に収束しないユーザの嗜好に適応可能な要約映像の作成が可能となり、ユーザの視聴スタイルに合う構成の要約映像を作成することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００４７】
（実施の形態１）
図１は、本実施の形態における、個々のユーザの視聴嗜好を反映した要約映像を生成し得る要約映像作成装置１０の機能構成を示すブロック図である。図１に示されるように、要約映像作成装置１０は、視聴履歴蓄積部１００、映像抽出パターン作成部１１０、録画方法蓄積部２００、映像情報蓄積部１２０、要約映像作成部１３０、映像蓄積部１４０、映像データ読取り部１５０、要約映像表示部１６０、およびユーザからの操作を受け付ける操作入力部３００を備える。
【００４８】
視聴履歴蓄積部１００は、各映像に対応する視聴履歴情報が蓄積されるストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。ここで、「視聴履歴情報」とは、各映像に対するユーザの視聴履歴を示す情報であり、例えば、図２に示すような各映像に対するユーザの視聴回数や視聴時間などが記載されている情報である。図２において、情報「エ）映像時間」及び情報「オ）録画日」は、例えば、録画時または予約時に記録される情報であり、情報「ウ）ジャンル」は、映像の付属情報として、存在する場合に記録される。情報「ア)過去の視聴回数」は、情報「オ）録画日」より以前に放送されている同じタイトルの映像を、何回視聴したのかを表す情報であり、ユーザが視聴を開始する際にカウントされ、記録される。情報「イ)過去の視聴時間」は、情報「オ）録画日」より以前に放送されている同じタイトルの映像を、どれだけの時間視聴したのかを表す情報である。例えば、ユーザによる視聴の始めと終わりの時刻が計測され、その差により視聴時間が決定され、順次合計され記録される。
【００４９】
映像抽出パターン作成部１１０は、要約映像を構成する映像又はシーン（以下、単に「映像」という。）を選択すると共に、要約映像の構成を表す映像抽出パターンを作成し、出力する。ここで、「映像抽出パターン」とは、映像から要約映像を作成するための構成を規定したものをいう。例えば、図３に示すように、複数の映像の再生順序、再生時間およびシーン抽出方法が１つの映像抽出パターンとして記述される。この映像抽出パターンは、前述の視聴履歴蓄積部１００に蓄積されたユーザの視聴履歴情報を利用して作成される。各映像の再生順序及び再生時間は、例えば、前述の映像に対する過去の視聴時間及び視聴回数等により決定される。また、要約映像に採用する映像は、図４のフローチャートに示す処理の流れに沿って決定される。そして、複数の映像からユーザに適した内容、時間および順序で映像抽出パターンが作成される。映像抽出パターンを作成する例として、ある所定の時刻になった場合に、未視聴映像である映像Ａ〜映像Ｄの４映像から映像抽出パターンが作成される場合を想定する。この場合の総再生時間としては、例えば「８分間」とする。映像Ａ〜映像Ｄに関する情報は、上記図２に示す例を用いることとする。
【００５０】
まず、図２に示す情報「ア）過去の視聴回数」〜情報「ウ）ジャンル」に基づいて、各映像の時間および順序を決める。情報「ウ）ジャンル」から、ジャンル毎の全視聴回数を参照し、例えば、全視聴回数をジャンル別の優先度とする。そのジャンル別の優先度として、例えばドラマが「５」、ニュースが「２」、スポーツが「３」とする（この場合、その値が大きいほど優先度が高いものとする）。すると、再生順序は「１.ドラマ」、「２.スポーツ」、「３.ニュース」となる。また、ジャンルが同じ映像の再生順序は、例えば情報「イ）過去の視聴時間」が長い順とすると、ドラマ同士であれば、映像Ａの値が映像Ｄの値よりも大きいので、映像Ａ〜映像Ｄの再生順序は、「１.映像Ａ」、「２.映像Ｄ」、「３.映像Ｃ」、「４.映像Ｂ」となる。各映像の再生時間は、例えば、全再生時間の半分が各映像に均等に割り振られ、残り半分が４映像に対する情報「ア）過去の視聴回数」の比率と情報「イ）」の比率の和、つまり映像Ａ：映像Ｂ：映像Ｃ：映像Ｄ＝５＋５：３＋２：０：２＋３＝２：１：０：１で割り振られるとする。この場合、全再生時間は８分であるから、各映像の再生時間は、映像Ａは、８／２／４＋８／２＊（２／４）＝３．０［ｍｉｎ］となる。同様に、映像Ｂは２．０［ｍｉｎ］、映像Ｃは１．０［ｍｉｎ］、映像Ｄは２．０［ｍｉｎ］となる。
【００５１】
次に、図２に示す情報を用いて、図４のフローチャートに基づいて、再生シーンであるPatternを決める。図５にPatternの決め方を示すフローチャートを示す。具体的に説明すると、図４に示す条件Ｓ１の判断基準が、図２に示す情報「ア）過去の視聴回数」が「１以上」であれば「ＹＥＳ」であり、「０」であれば「ＮＯ」とする。また、例えば条件Ｓ２は、情報「ア）過去の視聴回数」と情報「イ）過去の視聴時間」より得られる過去の視聴１回あたりの平均視聴時間が情報「エ）映像時間」の半分以上であれば、映像への興味が高いとして「ＹＥＳ」であり、半分未満であれば「ＮＯ」とする。また、例えば条件Ｓ３は、ジャンル別の優先度が閾値として「３以上」であれば「ＹＥＳ」、「３未満」であれば「ＮＯ」とする。
【００５２】
以上Ｓ１〜Ｓ３の条件分岐を考慮して、映像ＡはＳ１が「ＹＥＳ」、Ｓ２が「ＮＯ」であるため、「PatternＢ」と決定される。同様にして、映像ＢはＳ１が「ＹＥＳ」、Ｓ２が「ＮＯ」であるため、「PatternＢ」となり、映像ＣはＳ１が「ＮＯ」、Ｓ３が「ＹＥＳ」であるため、「PatternＣ」となり、映像Ｄは、Ｓ１が「ＹＥＳ」、Ｓ２も「ＹＥＳ」であるため、「PatternＡ」と決まる。以上から、図３に示す映像抽出パターンを作成することが可能である。
【００５３】
映像情報蓄積部１２０は、要約映像を作成するためのメタデータ情報が蓄積されるストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。ここで、「メタデータ情報」とは、例えば、図６に示すように映像毎のカテゴリ情報または映像内の出演者やイベント等のキーワード、またカメラの撮影方法や画像特徴量解析や音響特徴量解析等の解析結果後に得られる映像内のシーン毎の優先度や重要度等の情報をいう。この場合、映像解析方法は映像を解析し得る方法であればどのような方法でもよく、例えば「情報の構造化と検索、西尾他著、岩波書店、第８巻、２０００年発行、第１０１−１６６頁」に記載されている方法などが挙げられる。また、優先度や重要度の決定には、映像の特徴量に応じた尤度関数を用いて閾値設定を行い、その閾値によって抽出する方法等があり、例えば、特開２００３−１６９２９８号公報に記載されている方法を用いてもよい。
【００５４】
要約映像作成部１３０は、映像抽出パターン作成部１１０から映像抽出パターンの出力を受けて、要約映像を作成するための要約映像プレイリストを作成し、出力する。ここで、「要約映像プレイリスト」とは、要約映像を再生するために必要な、各映像の再生シーン情報及び再生時間と順序情報が記述されているプレイリストのことである。例えば、図７に示すように、再生順序、映像名および再生シーン情報が順番に記述されているものをいう。要約映像プレイリストは、映像抽出パターンに従って、映像情報蓄積部１２０から得られる各映像のメタデータ情報を利用し、各映像のシーン優先度と時間と再生シーン種別から要約映像に用いるシーンを抽出し、作成される。例えば、図３に示す映像抽出パターンに従い、図６に示すメタデータ情報を利用して要約映像プレイリストを作成する場合を考える。映像抽出パターンにより、１番目は、映像Ａであり、抽出時間は３．０分で、シーン抽出方法は、PatternＢの重要シーン本編、つまり重要シーンだけを集める方法であるので、メタデータ情報のシーン情報から優先度の高い順に抽出時間になるまで集める。この場合、映像Ａから抽出するシーンは、優先度１９のシーン（２）は１．６７分であり、優先度１８のシーン（８）は０．５分であり、優先度１７のシーン（１８）は１．０分であり、この時点で抽出時間を越えるので以上の３シーンが映像Ａから時系列順に抽出される。
【００５５】
同様に、２番目は映像Ｄであり、抽出時間は２．０分で、シーン抽出方法は、PatternＡの重要前シーン予告編、つまり重要シーンの前だけを集める方法であるので、優先度２０の前のシーンとして、優先度２のシーン（１３）は１．２分であり、優先度１９の前のシーンとして優先度８のシーン（１)は１．６７分であり、この時点で抽出時間を越えるので以上の２シーンが映像Ｄから時系列順に抽出される。
【００５６】
同様に、３番目は映像Ｃであり、抽出時間は１．０分で、シーン抽出方法は、PatternＣの重要前シーン流れ＋予告編、つまり重要前シーンを映像全体の流れがわかるように映像全体から集める方法であるので、優先度の高いシーンの前シーンを映像から少しずつ集める。よって、シーンの後半２０秒だけを集めてくるようにすると、３シーンで１．０分になり、抽出時間となるので、優先度が高い３シーンの前シーンが映像Ｃから時系列順に抽出される。
【００５７】
さらに、４番目は映像Ｂであり、映像Ａと同じシーン抽出方法であるから、優先度１６のシーン（４）は０．５２分であり、優先度１７のシーン（１０）は１．０５分であり、優先度１８のシーン（１２）は０．７７分であり、この時点で抽出時間を越えるので以上の３シーンが映像Ｂから時系列順に抽出される。なお、抽出時間が設定した時間よりも大きく超える場合には、各シーンの途中までや後半だけを抽出する事なども可能である。また、予告編では、シーンを時系列順に抽出するのではなく、優先度順のまま抽出する方法も考えられる。以上から、図７に示す要約映像プレイリストを作成することが可能である。
【００５８】
映像蓄積部１４０は、テレビ映像や映画またはユーザによりカメラ等で撮影された映像などの映像データが蓄積されるストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。
【００５９】
映像データ読取り部１５０は、ユーザから要約映像の再生指示がされると、要約映像作成部１３０で作成された要約映像プレイリストに従い、映像蓄積部１４０から必要な情報を読み取り、要約映像表示部１６０にその情報を出力する。
【００６０】
要約映像表示部１６０は、映像データ読取り部１５０から入力された映像データを表示する手段である。具体的には、プラズマテレビ、液晶テレビ、プロジェクタ等の映像表示機器である。
【００６１】
以上のように、本発明に係る要約映像作成装置は、例えば、通信部またはタイマ部を備えることにより時刻を取得し、その時刻が予め設定された時刻になった場合や、未視聴録画番組がある数に達して要約映像を作成する旨の指示が入力を受け付けると、ユーザの視聴スタイルに適した要約映像を作成する。そして、ユーザがその要約映像の再生を行って視聴することにより、ユーザは快適に大量の蓄積映像の概要を把握することが可能となる。
【００６２】
以下、本発明のポイントとなる映像抽出パターン作成部１１０の動作に関して、図８を参照しながらより詳しく説明する。図８は、映像抽出パターン作成部１１０のより詳細な機能構成を示すブロック図である。図８に示すように、映像抽出パターン作成部１１０は、タイマ部１１１、履歴情報抽出部１１、映像優先度決定部１２、ジャンル優先度決定部１３、抽出パターン出力部１４、映像優先度テーブル蓄積部１５およびジャンル優先度テーブル蓄積部１６を備える。
【００６３】
タイマ部１１１は、例えば予め設定された時刻になると、要約映像を作成する指示又は優先度の決定開始の指示を履歴情報抽出部１１に出力する。
【００６４】
履歴情報抽出部１１は、視聴履歴蓄積部１００から上記図２に示すような各映像に関するユーザの視聴履歴情報を抽出し、映像優先度決定部１２、ジャンル優先度決定部１３および抽出パターン出力部１４に出力する。
【００６５】
映像優先度決定部１２は、各映像に対するユーザの重要度として映像優先度を決定する。
【００６６】
ジャンル優先度決定部１３は、映像のジャンルに対するユーザの重要度としてジャンル優先度を決定する。
【００６７】
ここで、映像優先度を決める方法の具体例について説明する。映像優先度をＢP、映像を見た回数を変数ｘ、映像の視聴時間を変数ｙ、ａおよびｂを一定の係数とした場合に、以下の（１）式が成立するものとする。
【００６８】
【数１】
2007184781.tif 000003
【００６９】
映像優先度の決定方法としては、上記（１）式のような優先度関数を作成する他、前述の映像毎の視聴履歴情報に点数を情報毎に予め付けておき、その点数を加算することにより優先度を決定する方法、または視聴時間の比自体を優先度にする方法等が考えられる。次に、ジャンル優先度を決める方法の具体例について説明する。ジャンルがスポーツであった場合、ジャンル優先度をJp、スポーツ視聴回数を変数ＳＷn、全視聴回数を変数ＡＷn、スポーツ視聴時間を変数ＳＴn、全スポーツ録画回数を変数ＡＴn、とした場合に以下のような（２）式、（３）式が成立するものとする。
【００７０】
【数２】
2007184781.tif 000004
【００７１】
【数３】
2007184781.tif 000005
【００７２】
ジャンル優先度は、（２）式、（３）式等により求められる。なお、上記（１）式の変数の値に関して正規化処理を行い、優先度に対する変数の重みを均一にすることも出来る。また、映像優先度及びジャンル優先度の決定は、視聴履歴蓄積部１００に蓄積されたユーザの視聴履歴情報を利用して得られる方法であれば方法は問わない。ここで、「ジャンル」とは、映像の種類、様式および内容によって区分するものであり、映像の付属情報として取得可能なものである。例えば特開平８-２７５０７７に記載されているようなテレビ放送の映像を選択するガイドを表示画面に映す電子映像ガイド（ＥＰＧ：Electrical Program Guide）を用いて、映像のジャンル情報等を取得することが可能である。
【００７３】
なお、本実施の形態において、映像優先度決定部１２とジャンル優先度決定部１３はどちらか一方でもよく、映像の区分情報として、ジャンル優先度決定部１３を設けたが、ジャンルのように映像の枠組みを決めるものによる優先度決定部としてもよい。
【００７４】
抽出パターン出力部１４は、要約映像の再生順序、時間配分および再生シーン等を映像抽出パターンとして、要約映像作成部１３０に出力する。
【００７５】
映像優先度テーブル蓄積部１５は、映像優先度決定部１２から出力された映像の優先度を映像毎に蓄積するストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。
【００７６】
ジャンル優先度テーブル蓄積部１６は、ジャンル優先度決定部１３から出力されたジャンルの優先度をジャンル毎に蓄積するストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。
【００７７】
次に、以上のように構成される要約映像作成装置１０を用いて映像抽出パターンを作成する際の処理の流れについて説明する。具体例として、映像優先度及びジャンル優先度が、要約映像作成時毎に決定される場合について説明する。図１０に示すフローチャートのように、各映像の優先度が履歴情報抽出部１１から得られる情報により決定される。そして、抽出パターン出力部１４に入力され、映像抽出パターンが特定される。
【００７８】
次に、タイマ部１１１により時刻が計測され、予め設定された時刻になる度に、映像優先度及びジャンル優先度が更新され蓄積される場合について説明する。この場合は、映像優先度テーブル蓄積部１５及びジャンル優先度テーブル蓄積部１６のテーブルが更新され蓄積されている。そのため、図１１に示すフローチャートのようになり、各映像の優先度は各テーブルから抽出される。そして、これらの優先度が抽出パターン出力部１４に入力されると、抽出パターン出力部１４から映像抽出パターンが出力される。
【００７９】
抽出パターン出力部１４において、具体的な映像抽出パターンを作成する方法を、図１２を参照しながら説明する。図１２は、抽出パターン出力部１４のより詳細な機能構成を示すブロック図である。図１２に示すように、抽出パターン出力部１４は、再生シーン選択決定部４ａ、時間配分決定部４ｂおよび再生順序決定部４ｃを備える。
【００８０】
再生シーン選択決定部４ａは、各映像内のどのようなシーンを要約映像として再生するのかを選択決定し、その情報を出力する。履歴情報抽出部１１から出力された情報または映像優先度決定部１２から出力された映像優先度またはジャンル優先度決定部１３から出力されたジャンル優先度を受けて、上記図４に示すフローチャートに従って自動的に選択決定を行う。また、映像の再生時間、再生順序は、予め録画順で均一な再生時間が設定されており、再生シーン選択決定部４ａは、変更がある場合にはその内容を変更し、選択決定された再生シーン情報と共に映像抽出パターンとして出力する。
【００８１】
時間配分決定部４ｂは、各映像に対する時間配分を決定し、再生シーン選択決定部４ａに出力する。予め設定された全ての再生時間から、映像優先度決定部１２で決定された映像優先度とジャンル優先度決定部１３で決定されたジャンル優先度とを用いて、例えば、優先度の高い順または低い順に優先度に従って映像の時間配分を決定する。具体的には、ジャンル毎に優先度に比例した時間配分を決め、次に各ジャンル内の映像の映像優先度に比例して映像の時間配分を決定する。また、前述の配分方法は、比例関数ではなく、指数関数や対数関数等を用いてもよい。なお、映像優先度のみにより時間配分を決定することも可能である。
【００８２】
再生順序決定部４ｃは、各映像の再生順序を決定し、再生シーン選択決定部４ａに出力する。上記映像優先度決定部１２で決定された映像優先度とジャンル優先度決定部１３で決定されたジャンル優先度とを用いて、例えば、優先度の高い順または低い順に映像の再生順序を決定する。具体的には、まずジャンル毎にジャンル優先度が高い順または低い順に映像を並べ、次に違うジャンル内で映像優先度が高い順または低い順に映像を並べ、再生順序を決定する。なお、映像優先度とジャンル優先度はどちらか一方のみでもよく、ジャンル優先度のみを利用する場合には、ジャンル内の順番はランダムにして映像毎の再生順序を決定することも可能である。
【００８３】
なお、本実施の形態において、再生シーン選択決定部４ａは常に存在するが、時間配分決定部４ｂ及び再生順序決定部４ｃは、いずれか１つだけでもよく、また可能な組み合わせで用いる事が可能である。今回は、要約映像に用いるシーンの決定手段として、これらの手段を設けたが、視聴履歴蓄積部１００に蓄積された情報を利用するシーンを決定する手段であればその手段は問わない。
【００８４】
次に、抽出パターン出力部１４の再生シーン選択決定部４ａにおいてシーン抽出方法の選択決定方法について、具体例を示し、図４のフローチャートを参照しながら説明する。図４は、再生シーン選択決定部４ａの選択決定アルゴリズムを示すフローチャートである。一般に、要約映像には、映像内の重要と考えられるシーンを抽出するが、例えばユーザによって毎週手動で録画が行われ、後で全ての録画内容について再生されるような場合には、重要シーンではなく、その前のシーンだけを簡単に確認したい事や、見たことが無いが時間が無いので、全体的な映像のストーリーの流れを知りたい事などがある。このように、要約映像に求める要求内容はユーザによって違うと考えられるので、単純に重要シーンを集めてくるだけの要約映像よりも、場合に応じて再生シーンを選択して作成する要約映像の方が望ましい。
【００８５】
図１３は、要約映像の構成内容の一例を示す図である。図１３に示すように、例えば、重要シーンを見せずに重要シーンの直前のシーン（以下、「重要前シーン」という。）を見せる予告編や重要シーンのみを見せる本編または個々のシーンを短くし映像の流れを見せる場合等が考えられる。ここで、「重要前シーン」とは、図１４に示すように、優先度の上で重要であると考えられるシーンよりも前に存在する優先度がより低いシーンであり、これから重要な場面へ推移する前のシーンのことである。
【００８６】
上述したように、要約映像の構成内容を、ユーザが１つ１つ決めるのは煩雑な作業である。そこで、履歴情報抽出部１１から得られた情報と前述の映像優先度とジャンル優先度から図４に示すフローチャートのように得られた情報を利用した条件分岐により自動的に選択決定される場合は、ユーザの煩わしさが解消され効果的である。条件分岐によって自動的に要約映像の構成内容を決定できるのは、図１５に示すように、条件からユーザの要約映像に求めることがわかるからである。例えば、図１５に示す条件のＳ１から映像の流れを見せるかどうかを決定し、条件のＳ２またはＳ３から予告編か本編かを決定できる。なお、要約映像の構成を決定できる条件で、履歴情報抽出部１１から得られた情報と前述の映像優先度とジャンル優先度から判別できる条件であれば種別は問わない。また、シーン抽出方法を設定しておき、条件によりどの抽出方法を選ぶのかを、ユーザが選択決定できるように、ユーザに合わせたテンプレートを用意しておくことも出来る。
【００８７】
以上のように、本発明のポイントとなる映像抽出パターン作成部１１０により、ユーザの視聴スタイルに適した映像抽出パターンを作成する事が出来る。よって、ユーザが映像に対する理解不足、興味低下を起こさない構成の要約映像プレイリストを作成できるので、ユーザが効果的に大量の蓄積映像の内容を把握し得る要約映像の再生及び視聴が可能になるという効果が得られる。
【００８８】
（実施の形態２）
図１は、本実施の形態における、要約映像を利用した要約映像作成装置１０の機能構成を示すブロック図である。
【００８９】
録画方法蓄積部２００は、各映像の録画方法または取得方法に関する情報が蓄積されるストレージデバイスであり、例えばＨＤＤやＤＶＤ等の大容量メディアディスク、半導体メモリ等である。ここで、「録画方法情報」とは、録画の仕方を示した情報であり、例えば、図１６に示すようなキーワードに基づく自動録画であるのか、類似映像に基づく自動録画であるのか、または手動録画で録画されたのか、手動であればその録画方法は一度のみであるのか毎週であるのか、またはＶＯＤ（Video On Demand）で取得されたのか、等を示す情報である。
【００９０】
以下、映像抽出パターン作成部１１０において、視聴履歴情報に加えて、録画方法情報を用いて映像抽出パターンを作成する場合について説明する。この場合、映像抽出パターンは、視聴履歴蓄積部１００に蓄積されたユーザの視聴履歴情報と、録画方法蓄積部２００に蓄積されたユーザの録画方法情報とを利用して作成される。各映像の再生順序及び再生時間は、前述の映像に対する過去の視聴時間及び視聴回数等及び録画方法の種別により決定される。また、各映像の要約内容として抽出する映像は、図１７に示すようなフローチャートに従って決定される。映像抽出パターンを作成する例として、実施の形態１と同様に、ある一定時刻になり、未視聴映像である映像Ａ〜映像Ｄの４映像から映像抽出パターンの作成が開始される場合の処理の流れについて説明する。なお、総再生時間の設定は、例えば「８分間」とする。映像Ａ〜映像Ｄの情報は、上記図２及び図１６に示す例を用いる。ジャンル別の優先度から、再生順序は「１.ドラマ」、「２.スポーツ」、「３.ニュース」である。ここで、同ジャンル内での再生順序は、例えば録画情報で毎週の手動録画の方が一度だけの手動録画よりも優先度が高いとすると、ドラマ内で映像Ｄが映像Ａよりも優先され、映像Ａ〜映像Ｄの再生順序は、「１.映像Ｄ」、「２.映像Ａ」、「３.映像Ｃ」、「４.映像Ｂ」となる。各映像の再生時間は、例えば、全再生時間の半分が、手動録画：自動録画＝３：１の割合で均等に割り振られ、残り半分が４映像に対する情報「ア）過去の視聴回数」の比率と情報「イ）過去の視聴時間」の比率の和、つまり、映像Ａ：映像Ｂ：映像Ｃ：映像Ｄ＝５＋５：３＋２：０：２＋３＝２：１：０：１で割り振られるとする。この場合、全再生時間は８分であるから、各映像の再生時間は、映像Ａ：８／２／８＊３＋８／２＊（２／４）＝  ３．５［ｍｉｎ］、同様にして映像Ｂ：１．５［ｍｉｎ］、映像Ｃ：０．５［ｍｉｎ］、映像Ｄ：１．５  ［ｍｉｎ］となる。
【００９１】
次に、図２及び図１６に示す情報を用いて、図１７のフローチャートに従って映像再生パターンを決める。図４に示す条件Ｓ１〜Ｓ３に加えて、図１９に示す条件Ｓ４は、手動録画であれば「ＹＥＳ」、自動録画であれば「ＮＯ」とする。また、例えば条件Ｓ５は、キーワードに基づく録画であれば「ＹＥＳ」、それ以外の類似映像録画等であれば「ＮＯ」とする。
【００９２】
以上、Ｓ１〜Ｓ５の条件分岐を考慮して、映像Ａは、Ｓ４が「ＹＥＳ」、Ｓ１が「ＹＥＳ」、Ｓ２が「ＮＯ」であるため、PatternＢと決まる。同様にして、映像ＢはＳ４が「ＮＯ」、Ｓ５が「ＹＥＳ」、Ｓ３が「ＮＯ」であるため、PatternＤとなり、映像ＣはＳ４が「ＮＯ」、Ｓ５が「ＮＯ」、Ｓ１が「ＹＥＳ」であるため、PatternＢとなり、映像Ｄは、Ｓ４が「ＹＥＳ」、Ｓ１が「ＹＥＳ」、Ｓ２が「ＹＥＳ」であるため、PatternＡと決まる。以上から、図１８に示す映像抽出パターンを作成することが可能となる。
【００９３】
以上のように、再生順序、再生時間の決定及び再生シーンの選択決定に録画方法情報を用いることによって、今までの視聴履歴では優先度が低かった映像でも、手動録画を優先的に再生することや、時間配分を長くすること、または、後で見ることを考慮して短くすること等が可能となる。また、長期的な視聴履歴の解析を行うと、優先的に再生する映像が、ある程度収束してしまうが、手動録画を優先的に再生する設定や、自動録画の映像でユーザの興味が高い映像を優先的に再生する設定にすれば、ユーザが発見的に見たい映像を見つけることが可能となる。よって、長期的な利用をした場合でも、収束しないユーザの嗜好に適応した再生順序・再生時間での映像抽出パターンの作成が可能となる。
【００９４】
要約映像作成部１３０は、映像抽出パターン作成部１１０から出力された映像抽出パターンに従い、例えば図２０に示すような要約映像プレイリストを作成し、出力することが出来る。
【００９５】
映像抽出パターン作成部１１０の動作に関して、録画方法情報を用いた場合にどのような効果があるのかを、図８を参照しながら具体的に説明する。このうち、タイマ部１１１〜ジャンル優先度テーブル蓄積部１６、再生シーン選択決定部４ａ〜再生順序決定部４ｃの各構成要素は、それぞれ実施の形態１の構成要素に準じるものとする。
【００９６】
履歴情報抽出部１１は、視聴履歴蓄積部１００及び録画方法蓄積部２００から図２、図１６に示すような各映像に関するユーザの視聴履歴情報及び録画方法情報を抽出し、映像優先度決定部１２及びジャンル優先度決定部１３及び抽出パターン出力部１４に出力する。
【００９７】
映像優先度を決める方法の例では、前述のＢp、ｘ、ｙに加えて、毎週録画なのか一度だけ録画なのかといった録画状態を数値情報として表したものをｚ、手動録画であるのか自動録画であるのかといった録画状態を数値情報として表したものをｗ、ａ、ｂ、ｃ、ｄを一定の係数とした場合に、以下のような（４）式が成立するものとする。
【００９８】
【数４】
2007184781.tif 000006
【００９９】
映像優先度の決定は、（４）式のような録画方法情報を加えた優先度関数を作成することによって、よりユーザの視聴スタイルを反映させた優先度とすることが出来る。次に、ジャンル優先度を決める方法の例では、ジャンルがスポーツであった場合、前述のＪp、ＳＷn、ＡＷn、ＳＴn、ＡＴn、に加えて、そのジャンルの手動録画回数をＳＨn、全録画回数をＡＨn、ｐ、ｑを一定の係数とした場合に以下のような（５）式、（６）式が成立するものとする。
【０１００】
【数５】
2007184781.tif 000007
【０１０１】
【数６】
2007184781.tif 000008
【０１０２】
ジャンル優先度は、（５）式、（６）式等により求められる。なお、（４）式〜（６）式の変数の値に関して正規化処理を行い、優先度に対する変数の重みを均一にすることも出来る。
【０１０３】
なお、映像優先度の決定は、視聴履歴蓄積部１００に蓄積されたユーザの視聴履歴情報と、録画方法蓄積部２００に蓄積されたユーザの録画方法情報とを利用して得られる方法ではあれば方法は問わない。
【０１０４】
再生シーン選択決定部４ａは、前述の視聴履歴情報と映像優先度とジャンル優先度に加えて、履歴情報抽出部１１で新たに抽出される録画方法情報を用いて、図１７に示すフローチャートに従って再生シーンを自動的に選択決定する。
【０１０５】
以上に示すように、録画方法情報を用いることによって、よりユーザの視聴スタイルを反映させた優先度の決定及び再生シーンの選択が可能となり、よりユーザに適した映像抽出パターンの作成を行うことが可能となる。
【０１０６】
録画方法情報を用いた場合の再生シーン選択決定部４ａにおけるシーン抽出方法の選択決定方法について、具体例を示しながら説明する。図１７のフローチャート例を参照しながら説明する。図１５に示す条件に加えて、録画方法情報から判断する事が出来る図１９に示す条件を利用する事が可能であるので、ユーザの要約映像に求める事がさらに正確にわかる。例えば、図１９に示す条件のＳ４を利用する場合、手動録画では興味を持っている可能性が高く、自動録画では興味があるかわからないということがわかる。また、条件のＳ５を利用する場合、キーワードでの録画であれば、そのキーワードに相当する映像または、全体内容を簡単に知りたいと思う可能性が高いということがわかる。以上のような条件が加わることによって、視聴履歴情報のみを使う場合に比べて、よりユーザの状況が詳しくわかり、ユーザの視聴したい再生シーンの選択が可能となる。例えば、図３及び図１８に示す映像Ｂのシーン抽出方法の違いを説明する。録画方法情報がわからない図３に示す例では、映像ＢはPatternＢの本編となっている。
【０１０７】
しかし、録画方法情報がある図１８に示す例では、映像ＢがPatternＤの流れ＋本編となっている。これは、映像Ｂの録画方法が、キーワードによる自動録画であるという情報から、図１９の条件Ｓ５に示すようにユーザは映像Ｂの全体内容を知りたい可能性が高いということがわかり、映像の流れを見せるべきだと判断できるからである。よって、よりユーザの視聴したい再生シーンの選択が可能となっている。なお、これらの条件は、要約映像の構成内容を決定できる条件で、履歴情報抽出部１１から得られた情報と前述の映像優先度とジャンル優先度から判別できる条件であれば種別は問わない。
【０１０８】
以上のように、録画方法情報を用いることによって、用いない場合に比べて、よりユーザの視聴スタイルに適し、かつ優先的に再生される映像が収束しない映像抽出パターンを作成する事が出来る。よって、ユーザの視聴スタイルにより適応的な構成の要約映像プレイリストを作成できるので、ユーザが、大量の録画映像をさらに効果的に把握し得る要約映像の再生及び視聴ができる効果が得られる。
【０１０９】
（実施の形態３）
図１は、本実施の形態における、要約映像を利用した要約映像作成装置の機能構成を示すブロック図である。なお、本実施の形態において、上記実施の形態１と同じ機能構成については同じ符番を付し、その説明は省略する。
【０１１０】
操作入力部３００は、ユーザによる様々な操作を受け付ける手段である。具体例としては、リモコンやマウス、キーボード、音声入力等の入力機器である。入力の例としては、要約映像の視聴時間を指定するための入力や、機器により提示される予め設定された視聴時間幅の選択入力がある。また、視聴する複数映像の入力として、映像の指定を１つずつ行うことや、ある一日分の映像の選択指定、未視聴番組全ての指定、あるジャンル全ての映像の指定等がある。そして、要約映像の視聴の開始を決定するための入力等がある。なお、要約映像を作成するために必要な条件であれば種別は問わない。
【０１１１】
以下では、操作入力部３００による入力情報を用いることによって、上記実施の形態１や実施の形態２とは違う効果を奏する実施例について説明する。
【０１１２】
本実施の形態における映像抽出パターン作成部１１０の動作について、図９を参照しながら、より詳しく説明する。図９は映像抽出パターン作成部１１０の構成例を示す図である。操作入力手段が存在する場合には、ユーザによる直接の入力によって、要約映像作成の指示を任意のタイミングで行うことが出来るので、映像抽出パターン作成部１１０において、ある一定時間毎に映像抽出パターンの作成をする事などが不必要となる。よって、ユーザの入力による作成指示があった場合のみ、映像抽出パターンの作成をすればよい。また、要約映像の再生時間を任意に決定する事が出来るので、ユーザが視聴したい時に、好きな時間だけ要約映像を視聴する事が可能となる。
【０１１３】
再生シーン選択決定部４ａにおけるシーン抽出方法を選択決定する際の条件について、ユーザによる入力情報がある場合について説明をする。例えば、図１９に示す条件のＥ１を利用すると、時間がある場合は、見たい映像があれば後で見ると考えられ、主に予告編を選択することになる。また、時間が無い場合には、要約映像により内容を把握したいと考えられるので、主に本編を選択することになる。よって、ユーザの入力情報から判断する事が可能な図１９に示す条件Ｅ１またはＥ２のような条件を用いることが出来るので、ユーザの入力情報が無い場合に比べて、ユーザの要約映像に求める意思をダイレクトに反映させることが可能となる。そして、よりユーザに適した映像抽出パターンを作成することが出来る。さらに、ユーザが再生シーン選択決定の分岐条件を選べるような、ユーザに合わせたテンプレートを用意した場合、条件によって各ユーザがどのように機器に判断して欲しいのかという意思を反映することが出来る。そのため、各ユーザに的確に対応することが可能となり、さらに正確なユーザに適する映像抽出パターンの作成が可能となる。
【０１１４】
（実施の形態４）
図２１は、本実施の形態における、要約映像を利用した要約映像作成装置４０の機能構成を示すブロック図である。なお、本実施の形態において、上記実施の形態１と同じ機能構成については同じ符番を付し、その説明は省略する。
【０１１５】
本発明のポイントは、映像情報蓄積部１２０に蓄積されるメタデータ情報の抽出方法にユーザの視聴履歴情報及び録画方法情報を利用していることである。
【０１１６】
データ抽出部４００は、視聴履歴蓄積部１００及び録画方法蓄積部２００に蓄積されている情報及び映像蓄積部１４０に蓄積されている映像データを利用して、映像情報蓄積部１２０に蓄積する映像毎のメタデータ情報を抽出し、出力する。
【０１１７】
データ抽出部４００から映像情報蓄積部１２０に蓄積するメタデータ情報の取得方法の具体例を、図２２を参照しながら説明する。図２２は、映像情報を取得する方法の構成例を示す図である。図２２に示すように、データ抽出部４００は、映像解析方法決定部４０１、特徴シーン抽出部４０２、映像情報管理部４０３および通信部４０４を備える。
【０１１８】
映像解析方法決定部４０１は、映像データからどのようなシーンをどのような優先度または重要度で抽出するのかを決定する。
【０１１９】
特徴シーン抽出部４０２は、映像蓄積部１４０から映像データを読み出し、映像解析方法決定部４０１で決定された方法により、映像データを解析し、シーン毎の始まりと終わりの時間及びシーンの優先度または重要度を抽出し、映像情報蓄積部１２０に出力する。
【０１２０】
映像情報管理部４０３は、視聴履歴蓄積部１００または録画方法蓄積部２００の情報を抽出すると共に通信部４０４からの出力を受けて、各映像のタイトル、出演者、放送時間、ジャンル及びシーン情報等の情報が存在する場合には、それらをメタデータ情報として必要な情報を抽出し、映像情報蓄積部１２０に出力する。
【０１２１】
通信部４０４は、インターネットまたは無線ネットワークを介して事前に設定した場所にアクセスを行い、映像毎のメタデータ情報を取得し、映像情報管理部４０３に出力する。
【０１２２】
本発明のポイントとなる映像解析方法決定部４０１の動作に関して、より具体的に説明する。映像解析手法は、上記実施の形態１の映像情報蓄積部１２０の説明の際に記述したような映像解析方法がある。ジャンル、特に野球やサッカーといった形式が決まっている映像に合わせて、シーン毎のカット数や音量またはカメラ動き解析や音響解析により、各シーンの始まりと終わり及びそのシーンの優先度または重要度を抽出することが可能である。また、各映像のジャンルに合わせて特有な解析を行う場合には、そのジャンルに合わせて映像解析方法を決定する事が可能である。例えば、特開２００３−１０１９３９号公報に記載されている、という方法を用いてもよい。本発明では、さらに、視聴履歴蓄積部１００に蓄積されたユーザの視聴履歴情報と録画方法蓄積部２００に蓄積されたユーザの録画方法情報とを利用して、ユーザに合う映像解析方法を決定する事が可能である。例えば、毎週見ている映像であれば、毎週存在するまたは類似するシーンとは違うシーンを見たい可能性が高いと考えられるので、そのシーンとは違うシーンのみを抽出する方法がある。また、キーワードにより自動録画された映像であれば、そのキーワードが含まれる場面をユーザが見たい可能性が高いので、その場面を主に抽出する方法等が考えられる。このような映像解析方法を設定しておき、視聴履歴情報及び録画方法情報から、シーン抽出方法を選択決定し、特徴シーン抽出部４２における抽出方法を設定する。これらの映像解析方法は、ユーザの視聴スタイルに関わる内容であり、ユーザ毎に違うため、ジャンル等の映像の種別情報だけでは、行うことが出来ない。なお、視聴履歴蓄積部１００または録画方法蓄積部２００に蓄積された情報を用いて特徴的なシーンを抽出する方法であれば、手段は問わない。
【０１２３】
以上のように、本発明では、ユーザの視聴履歴情報及び録画方法情報を利用することによって、ジャンルに応じた映像解析方法の選択だけではなく、ユーザが見たい可能性が高いシーンを抽出できる映像解析方法の選択が可能となる。よって、ジャンルで決めるといった画一的な手法ではなく、各ユーザに適した映像解析方法により、ユーザにとってより見たいシーンを映像から抽出できる効果が得られる。
【産業上の利用可能性】
【０１２４】
本発明にかかる要約映像作成装置は、ユーザの視聴履歴情報及び録画方法情報を利用することによって、重要区間だけではなく、各映像に対してユーザが必要であると考えられるシーンの選択や区間の抽出、そして一定の映像再生構成に収束しないユーザの嗜好に適応的な映像再生構成の作成ができるようになり、ユーザの視聴スタイルに合う構成の要約映像の作成機能を有し、蓄積型ビデオレコーダ等として有用である。また編集用パソコンソフト等の用途にも応用できる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の実施の形態１〜３における要約映像作成装置の機能構成を示すブロック図である。
【図２】図１における視聴履歴蓄積部の視聴履歴情報の一例を示す図である。
【図３】図１における映像抽出パターン作成部から出力される映像抽出パターンの一例を示す図である。
【図４】図１における映像抽出パターン作成部の再生シーン抽出方法を決定するアルゴリズムを示すフローチャートの一例である。
【図５】図１における映像抽出パターン作成部の再生シーン抽出方法を決定する処理例の流れを示すフローチャートである。
【図６】図１における映像情報蓄積部のメタデータ情報の一例を示す図である。
【図７】図１における要約映像作成部から出力される要約映像プレイリストの一例を示す図である。
【図８】図１における映像抽出パターン作成部の機能構成例を示すブロック図である。
【図９】図１における映像抽出パターン作成部のその他の機能構成例を示すブロック図である。
【図１０】図１における映像抽出パターン作成部の処理の流れを示すフローチャートの一例を示す図である。
【図１１】図１における映像抽出パターン作成部の処理の流れを示すフローチャートのその他の例を示す図である。
【図１２】図８における抽出パターン出力部の機能構成例を示すブロック図である。
【図１３】図１１における再生シーン選択決定部で選択決定される要約映像の構成内容としての再生シーンの一例を示す図である。
【図１４】重要前シーンを説明するための図である。
【図１５】図１１における再生シーン選択決定部で選択決定される要約映像の構成内容としての再生シーンを決める条件の一例を示す図である。
【図１６】図１における録画方法蓄積部の録画方法情報の一例を示す図である。
【図１７】図１における映像抽出パターン作成部のシーン抽出方法を決定するアルゴリズムを示すフローチャートの一例を示す図である。
【図１８】図１における映像抽出パターン作成部から出力される映像抽出パターンの一例を示す図である。
【図１９】図１１における再生シーン選択決定部で選択決定される要約映像の構成内容としての再生シーンを決める条件のその他の例を示す図である。
【図２０】図１における要約映像作成部から出力される要約映像プレイリストのその他の例を示す図である。
【図２１】本発明の実施の形態４における要約映像作成装置の機能構成を示すブロック図である。
【図２２】本発明の実施の形態４におけるデータ抽出部の機能構成例を示すブロック図である。
【符号の説明】
【０１２６】
４ａ    再生シーン選択決定部
４ｂ    時間配分決定部
４ｃ    再生順序決定部
１０    要約映像作成装置
１１    履歴情報抽出部
１２    映像優先度決定部
１３    ジャンル優先度決定部
１４    抽出パターン出力部
１５    映像優先度テーブル蓄積部
１６    ジャンル優先度テーブル蓄積部
４０    要約映像作成装置
１００    視聴履歴蓄積部
１１０    映像抽出パターン作成部
１１１    タイマ部
１２０    映像情報蓄積部
１３０    要約映像作成部
１４０    映像蓄積部
１５０    映像データ読取り部
１６０    要約映像表示部
２００    録画方法蓄積部
３００    操作入力部
４００    データ抽出部
４０１    映像解析方法決定部
４０２    特徴シーン抽出部
４０３    映像情報管理部
４０４    通信部
【図１】
2007184781.tif 000009
【図２】
2007184781.tif 000010
【図３】
2007184781.tif 000011
【図４】
2007184781.tif 000012
【図５】
2007184781.tif 000013
【図６】
2007184781.tif 000014
【図７】
2007184781.tif 000015
【図８】
2007184781.tif 000016
【図９】
2007184781.tif 000017
【図１０】
2007184781.tif 000018
【図１１】
2007184781.tif 000019
【図１２】
2007184781.tif 000020
【図１３】
2007184781.tif 000021
【図１４】
2007184781.tif 000022
【図１５】
2007184781.tif 000023
【図１６】
2007184781.tif 000024
【図１７】
2007184781.tif 000025
【図１８】
2007184781.tif 000026
【図１９】
2007184781.tif 000027
【図２０】
2007184781.tif 000028
【図２１】
2007184781.tif 000029
【図２２】
2007184781.tif 000030