(57)【要約】【課題】映像視聴中の視聴行動を分析して視聴者が興味を持った映像区間を抽出し、要約映像のＩＮ／ＯＵＴ点が中途半端な時点に設定されることが少なく、任意の時間長の要約映像を作成でき、要約映像のみから元の映像の内容を把握したり、要約映像の各シーンの選択意図を理解したりすることを可能にする。【解決手段】本発明は、映像のカット点を含む変化点による映像インデクスの抽出を行い、映像視聴中に行った視聴行動による、視聴行動インデクスを抽出し、映像の時間長の各時点におけるユーザの興味の度合を表す興味強度関数を設定し、抽出された区間から興味強度が所定の閾値以上の区間を抽出し、抽出された区間を連続再生する。【選択図】      図１
2004159192.tif 000002
【特許請求の範囲】
【請求項１】
映像から要約を作成する映像要約方法において、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出処理と、
ユーザが映像視聴中に行った視聴行動による、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出処理と、
映像の時間長の各時点におけるユーザの興味の度合を表す興味強度関数を設定する興味強度関数設定処理と、
前記視聴行動抽出処理により抽出された区間から興味強度が所定の閾値以上の区間を抽出する興味強度区間抽出処理と、
前記興味強度区間抽出処理で抽出された区間を連続再生する再生処理と、からなることを特徴とする映像要約方法。
【請求項２】
前記視聴行動抽出処理において、
前記視聴行動の強度／長さ、もしくはその両方を計測する視聴行動インデクシング処理を含み、
前記興味強度関数設定処理において、
前記視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、映像インデクスの変化点で該興味強度を変化させる処理を含む請求項１記載の映像要約方法。
【請求項３】
前記興味強度が所定の閾値以上の区間を抽出して、該区間に前記視聴行動を合成する処理を含む請求項１または、２記載の映像要約方法。
【請求項４】
前記変化点抽出処理と、前記視聴行動抽出処理で抽出された前記映像インデクスと前記視聴行動インデクスとで区間が一致するインデクスを抽出する処理と、
一致する前記インデクスの開始点及び終了点における興味強度の変化量を増加させる処理を含む請求項１乃至３記載の映像要約方法。
【請求項５】
前記変化点抽出処理において抽出された映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する処理と、
前記興味強度が所定の閾値以上の区間を抽出して、該区間に前記区間と前記特徴量が一致するインデクスに対応するすべての視聴行動を合成する処理を含む請求項１乃至４記載の映像要約方法。
【請求項６】
映像から要約を作成する映像要約プログラムであって、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出ステップと、
ユーザが映像視聴中に行った視聴行動による、強度／長さまたは、その両方を計測することにより、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出ステップと、
前記視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、前記映像インデクスの変化点で該興味強度を変化させる興味強度関数設定ステップと、
前記変化点抽出ステップと、前記視聴行動抽出ステップで抽出された前記映像インデクスと前記視聴行動インデクスとで区間が一致するインデクスを抽出する区間一致インデクス抽出ステップと、
前記インデクスの開始点及び終了点における興味強度の変化量を増加させる変化量増加ステップと、
前記変化点抽出ステップにおいて抽出された前記映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する特徴量一致インデクス抽出ステップと、
前記興味強度が所定の閾値以上の区間を抽出して、該区間に前記区間と前記特徴量が一致するインデクスに対応するすべての視聴行動を合成するステップと、
抽出された映像区間に該抽出された映像区間の視聴行動を合成して、連続再生する再生ステップと、を実行することを特徴とする映像要約プログラム。
【請求項７】
映像から要約を作成する映像要約プログラムを格納した記憶媒体であって、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出ステップと、
ユーザが映像視聴中に行った視聴行動による、強度／長さまたは、その両方を計測することにより、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出ステップと、
前記視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、前記映像インデクスの変化点で該興味強度を変化させる興味強度関数設定ステップと、
前記変化点抽出ステップと、前記視聴行動抽出ステップで抽出された前記映像インデクスと前記視聴行動インデクスとで区間が一致するインデクスを抽出する区間一致インデクス抽出ステップと、
前記インデクスの開始点及び終了点における興味強度の変化量を増加させる変化量増加ステップと、
前記変化点抽出ステップにおいて抽出された前記映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する特徴量一致インデクス抽出ステップと、
前記興味強度が所定の閾値以上の区間を抽出して、該区間に前記区間と前記特徴量が一致するインデクスに対応するすべての視聴行動を合成するステップと、
抽出された映像区間に該抽出された映像区間の視聴行動を合成して、連続再生する再生ステップと、からなるプログラムを格納したことを特徴とする映像要約プログラムを格納した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体に係り、特に、映像から要約を作成するための映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体に関する。
【０００２】
【従来の技術】
今日、一般利用者向けのパーソナルコンピュータや、ハードディスクビデオレコーダにノンリニア編集機能が付き、個人で撮影した映像や番組映像の要約映像を個人で作成することが可能となってきている。
【０００３】
しかしながら、一般的な映像編集ソフトは操作が繁雑なため、一般利用者には扱い辛い。そこで、撮影映像中、または、番組映像視聴中に、お気に入りシーンの時点でボタン押下げ等の操作を行い、その操作履歴に基づいて、自動で要約映像を生成する技術が提案されている。
【０００４】
従来の第１の方法として、映像視聴中にユーザがお気に入りのシーンで押しボタンを押し、その時点から予め設定された任意の値にオフセット値を加算・減算してＩＮ点、ＯＵＴ点等とすることで、お気に入りシーンの編集を行う方法がある（例えば、特許文献１参照）。
【０００５】
また、従来の第２の方法として、映像の各シーンの物理的特徴から、当該シーンの重要度を計算し、重要度が一定の閾値を越えるシーンをつなぎ合わせて要約映像を得る方法がある（例えば、特許文献２参照）。
【０００６】
【特許文献１】
特開２００１−５７６６０
【特許文献２】
特開２００１−１１９６４９
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の第１の方法には、ＩＮ点、ＯＵＴ点が映像のカット構成等の面で中途半端な時点に設定される場合があるという問題がある。例えば、ダンスの一連の動きを映したひと続きのシーンの途中がＩＮ点等に設定される場合があり、その場合、一連の動きが要約映像ではわからない。
【０００８】
また、上記の技術は、ユーザによる押しボタン操作回数と、ＩＮ点とＯＵＴ点設定用のオフセット値とによって映像の長さが決まるので、要約映像を作成した後に任意の時間長の要約映像に作り直すことはできないという問題がある。
【０００９】
さらに、映像を見ている間に興味を持ったシーンで押しボタンを押す操作は煩わしく、映像に夢中になって押しボタンを押すのを忘れる場合があるという問題がある。
【００１０】
また、上記従来の第２の方法には、要約映像を他人が視聴した場合に、映像が断片化されているために、内容を把握しずらいという問題がある。例えば、ドラマ番組の場合、単一シーンを見ても当該シーン以前のストーリ展開が分からないので、内容が把握できない。また、各シーンが選択された意図がわからない。例えば、お気に入りの車が映っているシーンを含む要約映像を、お勧め映像として友人に送って当該友人が視聴した場合、当該シーンにおいて車がお勧めなのか、それ以外で映っているものがお勧めなのかがわからない。
【００１１】
本発明は、上記の点に鑑みなされたもので、視聴者が映像を見ているときの自然な視聴行動（発声、ジェスチャ等）を計算機が分析して視聴者が興味を持った映像区間を抽出し、その際に、（１）要約映像のＩＮ点、ＯＵＴ点が、映像のカット構成等の面で中途半端な時点に設定されることが少なく、（２）また、任意の時間長の要約映像を作成でき、（３）また、要約映像のみから元の映像の内容を把握したり、要約映像の各シーンの選択意図を理解したりすることが可能な映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１３】
本発明は、映像から要約を作成する映像要約方法において、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出処理（ステップ１）と、
ユーザが映像視聴中に行った視聴行動による、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出処理（ステップ２）と、
映像の時間長の各時点におけるユーザの興味の度合を表す興味強度関数を設定する興味強度関数設定処理（ステップ３）と、
視聴行動抽出処理により抽出された区間から興味強度が所定の閾値以上の区間を抽出する興味強度区間抽出処理（ステップ４）と、
興味強度区間抽出処理で抽出された区間を連続再生する再生処理（ステップ５）と、からなる。
【００１４】
また、本発明は、視聴行動抽出処理（ステップ２）において、
視聴行動の強度／長さ、もしくはその両方を計測する視聴行動インデクシング処理を含み、
興味強度関数設定処理（ステップ３）において、
視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、映像インデクスの変化点で該興味強度を変化させる処理を含む。
【００１５】
また、本発明は、興味強度が所定の閾値以上の区間を抽出して、該区間に視聴行動を合成する処理を含む。
【００１６】
また、本発明は、変化点抽出処理（ステップ１）と、視聴行動抽出処理（ステップ２）で抽出された映像インデクスと視聴行動インデクスとで区間が一致するインデクスを抽出する処理と、
一致するインデクスの開始点及び終了点における興味強度の変化量を増加させる処理を含む。
【００１７】
本発明は、変化点抽出処理（ステップ１）において抽出された映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する処理と、
興味強度が所定の閾値以上の区間を抽出して、該区間に区間と特徴量が一致するインデクスに対応するすべての視聴行動を合成する処理を含む。
【００１８】
本発明は、映像から要約を作成する映像要約プログラムであって、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出ステップと、
ユーザが映像視聴中に行った視聴行動による、強度／長さまたは、その両方を計測することにより、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出ステップと、
視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、映像インデクスの変化点で該興味強度を変化させる興味強度関数設定ステップと、
変化点抽出ステップと、視聴行動抽出ステップで抽出された映像インデクスと視聴行動インデクスとで区間が一致するインデクスを抽出する区間一致インデクス抽出ステップと、
インデクスの開始点及び終了点における興味強度の変化量を増加させる変化量増加ステップと、
変化点抽出ステップにおいて抽出された映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する特徴量一致インデクス抽出ステップと、
興味強度が所定の閾値以上の区間を抽出して、該区間に区間と特徴量が一致するインデクスに対応するすべての視聴行動を合成するステップと、
抽出された映像区間に該抽出された映像区間の視聴行動を合成して、連続再生する再生ステップと、を実行する。
【００１９】
本発明は、映像から要約を作成する映像要約プログラムを格納した記憶媒体であって、
入力された映像のカット点を含む変化点による映像インデクスの抽出を行う変化点抽出ステップと、
ユーザが映像視聴中に行った視聴行動による、強度／長さまたは、その両方を計測することにより、発声区間抽出、身体動作区間抽出、演奏区間抽出のいずれか、または全部の視聴行動インデクスの抽出を行う視聴行動抽出ステップと、
視聴行動の強度／長さに応じて、興味強度関数を連続値として設定し、映像インデクスの変化点で該興味強度を変化させる興味強度関数設定ステップと、
変化点抽出ステップと、視聴行動抽出ステップで抽出された映像インデクスと視聴行動インデクスとで区間が一致するインデクスを抽出する区間一致インデクス抽出ステップと、
インデクスの開始点及び終了点における興味強度の変化量を増加させる変化量増加ステップと、
変化点抽出ステップにおいて抽出された映像インデクスの中で、区間と特徴量が一致するインデクスを抽出する特徴量一致インデクス抽出ステップと、
興味強度が所定の閾値以上の区間を抽出して、該区間に区間と特徴量が一致するインデクスに対応するすべての視聴行動を合成するステップと、
抽出された映像区間に該抽出された映像区間の視聴行動を合成して、連続再生する再生ステップと、からなるプログラムを格納する。
【００２０】
上記のように、本発明では、映像のカット点等の抽出を行い、発声等の視聴行動のインデクシング処理を行い、映像のインデクスの変化点で興味強度を変化させる関数を設定し、興味強度が閾値以上の区間を抽出し、抽出区間の連続再生を行うことにより、要約映像のＩＮ点、ＯＵＴ点が、映像のカット構成等の面で中途半端な時点に設定されることが少なくなる。
【００２１】
また、本発明では、映像のカット点等の抽出を行い、発声等の視聴行動の強度／長さ、もしくは、その両方を計測し、視聴行動の強度／長さに応じて、興味強度関数を連続値として設定、映像インデクスの変化点で興味強度を変化させる興味強度関数を設定し、興味強度が閾値以上の区間を抽出し、抽出区間の連続再生を行うことにより、任意の時間長の要約映像を作成することが可能となる。
【００２２】
また、本発明では、映像のカット点等の抽出を行い、発声等の視聴行動のインデクシング処理を行い、発声等の視聴行動のインデクシング処理を行い、映像インデクスの変化点で興味強度を変化させる興味強度関数を設定し、興味強度が閾値以上の区間を抽出し、抽出区間に視聴行動を合成し、抽出区間の連続再生を行うことにより、要約映像のみから元の映像の内容を把握したり、要約映像の各シーンの選択意図を理解したりすることが可能となる。
【００２３】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態を説明する。
【００２４】
図２は、本発明の一実施の形態におけるシステム構成を示す。同図に示すシステムには、モニタ５０１、マイク５０２、カメラ５０３、鍵盤５０４、押しボタン５０５及び計算機５０６から構成される。
【００２５】
モニタ５０１には、番組映像などが表示され、ユーザが視聴する。
【００２６】
マイク５０２は、ユーザが映像視聴中に行う発声を記録する。例えば、スポーツ番組のファインプレーのシーンで「すごい」という発声を記録する。
【００２７】
カメラ５０３は、ユーザのジェスチャ等の身体動作を記録する。例えば、スポーツ番組でユーザのお気に入りの選手の勝利の瞬間のシーンでユーザがガッツポーズをする様子を記録する。
【００２８】
鍵盤５０４は、ユーザの演奏を記録する。例えば、ドキュメンタリ番組で、出演者が何等かの成功をしたシーンで、ユーザが行うお祝いの演奏を記録する。
【００２９】
押しボタン５０５は、ユーザの押しボタン操作を記録する。ここで、当該押しボタン５０５は、ＯＮ，ＯＦＦの２値情報の他に、ボタンの押し下げ圧力と、押し下げ継続時間を記録することができるものである。例えば、料理番組で、材料のフリップが提示されるシーンでユーザが行う押しボタン操作を記録する。
【００３０】
計算機５０６は、モニタ５０１への映像の送出と、マイク５０２、カメラ５０３、鍵盤５０４からの信号入力と、各種処理を行う。
【００３１】
このシステムでは、ユーザは各種視聴行動（発声、身体動作等）をマイク等で取得し、当該視聴行動が発生した映像区間を重要なシーンとして要約映像を生成する。
【００３２】
視聴行動としては、以下のようなものが考えられる。
【００３３】
・発声：
例：「凄い」、「うまそうだ」、「それだね」、歌唱
・身体動作：
例：ガッツポーズ、ウィンク、跳躍
・楽器の演奏：
例：ギターの即興演奏、「君が代」のピアノ演奏
・押しボタンの押し下げ
これらの視聴行動の中で、「発声」、「身体動作」、「楽器の演奏」は、ユーザが映像視聴中に自然に行う行動であり、「押しボタンの押し下げ」と比べ、ユーザへの精神的負担が少ないことから、要約映像生成のために取得する視聴行動として望ましい。
【００３４】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における動作のフローチャートである。
【００３５】
ステップ１０１）  入力映像のカット点抽出、音声区間抽出、音楽区間抽出等のインデクシング処理を行う。このための処理としては、例えば、［谷口行信、外村佳伸、浜田洋：映像ショット切り換え検出方法とその映像アクセスインタフェースへの応用，電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ２，  Ｎｏ．４，ｐｐ．５３８−５４６  ］、［南憲一、阿久津明人、浜田洋、外村佳伸：  音情報を用いた映像インデクシングとその応用，  電子情報通信学会論文誌、Ｖｏｌ．Ｊ８１−Ｄ２，  Ｎｏ．３，ｐｐ．５２９−５３７  ］等を用いることができる。ここでは、映像処理により検出可能なインデクスを例として挙げたが、字幕放送の情報等に基づいてニュース項目の切れ目やドラマのシーンを検出してインデクスとすることもできる。
【００３６】
ステップ１０２）  ユーザが映像視聴中に行った発声・身体動作・演奏等に対する発声区間抽出、身体動作区間抽出、演奏区間抽出等のインデクシング処理を行う。詳細については後述する。
【００３７】
また、上記のステップ１０１とステップ１０２の順序は逆であってもよい。また、ステップ１０１とステップ１０２は同時に行ってもよい。
【００３８】
ステップ１０３）  図４のような興味強度関数を設定する。興味強度関数は、映像の時間長の各時点におけるユーザの興味の度合を表すものであり、０から１の値をとり、値が大きいほど興味が強いことを示す。興味強度関数の推定方法については後述する。
【００３９】
ステップ１０４）  図５のような興味強度が一定の閾値以上の区間（シーン１〜３）を抽出する。閾値はユーザが任意に設定する。また、ユーザが要約映像時間を任意に設定し、要約映像時間に応じて閾値を決定してもよい。
【００４０】
ステップ１０５）  ステップ１０４において抽出した映像区間の映像に、視聴行動を合成する。詳細については後述する。
【００４１】
ステップ１０６）  ステップ１０４において抽出した区間を連続再生する。これが要約映像である。また、抽出区間の映像をつなぎ合わせて一つの映像ファイルとして要約映像を作成してもよい。また、抽出区間の時間情報のリストとして要約映像を実現してもよい。
【００４２】
次に、上記のステップ１０２における視聴行動インデクシング処理について詳細に説明する。
【００４３】
図６は、本発明の第１の実施の形態における視聴行動インデクシング処理のフローチャートである。
【００４４】
ステップ２０１）  視聴行動の種別（発声・身体動作・演奏・ボタン押し下げ等）を判定する。これは、マイク５０２、カメラ５０３、鍵盤５０４、押しボタン５０５等から得た信号を、計算機５０５において別々のファイルとして保存しておき、解析対象がどのファイルかを判定することで、視聴行動の種別を判定する。また、マイク５０２、カメラ５０３、鍵盤５０４、押しボタン５０５等から得た信号を同一のファイル中の別々のトラックに保存しておき、解析対象がどのトラックのものかを判定することで、視聴行動の種別を判定してもよい。
【００４５】
ステップ２０２）  ステップ２０１で判定した種別が発声かどうかを判定する。発声である場合は、ステップ２０３に移行する。発声でない場合には、ステップ２０５に移行する。
【００４６】
ステップ２０３）  発声の音声信号の強度計算を行う。発声の音声信号の強度計算は、音声信号のパワー値とする。強度計算を音声信号のパワーや音声の発話測度、声の大きさ等に基づいて計算してもよい。
【００４７】
ステップ２０４）  ステップ２０３で得られた音声強度が一定の閾値以上の時間区間を抽出し（図７）、発声区間（Ｌ）とする。この方法は、［南憲一，阿久津明人，浜田洋、外村佳伸：音情報を用いた映像インデクシングとその応用，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８１−Ｄ２，Ｎｏ．３，ｐｐ．５２９−５３７］等に開示されている方法を用いることができる。ここで、発声区間の時間長が一定時間以上の場合のみ発声区間と判断するようにしてもよい。
【００４８】
ステップ２０５）  ステップ２０１で判定した種別が身体動作かどうかを判定する。身体動作である場合には、ステップ２０６に移行する。身体動作でない場合には、ステップ２０８に移行する。
【００４９】
ステップ２０６）  身体動作の強度計算を行う。カメラ５０３で撮影した映像のフレーム間の差分値を身体動作の強度とする。フレーム間の差分値の計算は、カット点検出等で用いられる手法［谷口行信、外村佳伸、浜田洋：映像ショット切り換え検出方法とその映像アクセスインタフェースへの応用，電子情報通信学会論文誌、Ｖｏｌ．Ｊ７９−Ｄ２，  Ｎｏ．４，ｐｐ．５３８−５４６  ］を用いるものとする。
【００５０】
ステップ２０７）  ステップ２０６で得られた身体動作強度が一定の閾値以上の時間区間を身体動作区間とする。ここで、身体動作区間の時間長が一定時間以上の場合のみ身体動作区間と判断するようにしてもよい。
【００５１】
ステップ２０８）  ステップ２０１で判定した種別が演奏かどうかを判定する。演奏である場合には、ステップ２０９に移行し、演奏でない場合にはステップ２１１に移行する。
【００５２】
ステップ２０９）  演奏の強度計算を行う。演奏の音響信号のパワーを計算し、演奏強度とする。また、演奏のテンポ、打鍵速度等に基づいて強度計算を行ってもよい。
【００５３】
ステップ２１０）  ステップ２０９で得られた演奏強度が一定の閾値以上の時間区間を抽出し、演奏区間とする。ここで、演奏区間の時間長が一定時間以上の場合のみ演奏区間と判断するようにしてもよい。
【００５４】
ステップ２１１）  ステップ２０１で判定した種別がボタン押し下げかどうか判定する。ボタン押し下げである場合は、ステップ２１２に移行する。ボタン押し下げでない場合には、ステップ２１６に移行する。
【００５５】
ステップ２１２）ボタン押し下げの強度計算を行う。ボタン押し下げの圧力を取得し、押し下げの強度とする。また、押し下げの速度検出や連射検出に基づいて強度計算を行ってもよい。例えば、ボタンの連射をした場合、通常の押し下げよりも高い強度値とすることが考えられる。
【００５６】
ステップ２１３）  ステップ２０９で得られたボタン押し下げ強度が一定の閾値以上の時間区間を抽出し、ボタン押し下げ区間とする。
【００５７】
ステップ２１４）  ステップ２０４または、ステップ２０７または、ステップ２１０または、ステップ２１３で抽出された区間を、後の処理のために視聴行動区間のリストとして保存する。視聴行動区間は、例えば、区間の開始時刻・終了時刻、視聴行動種別の組として表現できる。
【００５８】
ステップ２１５）  すべての視聴行動について処理が終了したかどうかの判定を行う。終了した場合は当該処理を終了する。終了していない場合は、ステップ２０１に移行し、別の視聴行動について処理を行う。
【００５９】
ステップ２１６）  ユーザにエラーの通知を行い、処理を終了する。また、発声・身体動作・演奏・ボタン押し下げ以外の視聴行動を扱う場合は、エラー通知を行わずに、当該行動に関して発声等と同様の処理を行ってもよい。
【００６０】
次に、上記のステップ１０３の興味強度関数設定処理について詳細に説明する。
【００６１】
図８は、本発明の第１の実施の形態における興味強度関数設定処理のフローチャートである。
【００６２】
以下では、すべの視聴行動区間について、ステップ３０１からステップ３０９の処理を繰り返す。
【００６３】
ステップ３０１）  視聴行動を一つ選び、その行動種別（発声・身体動作・演奏・押しボタン等）を判定する。これは、マイク５０２、カメラ５０３、鍵盤５０４、押しボタン５０５等から得た信号を、計算機５０５において別々のファイルとして保存しておき、解析対象がどのファイルかを判定することで、視聴行動の種別を判定する。また、マイク５０２・カメラ５０３、鍵盤５０４、押しボタン５０５等から得た信号を同一のファイル中の別々のトラックに保存しておき、解析対象がどのトラックのものかを判定することで、視聴行動の種別を判定してもよい。
【００６４】
ステップ３０２）  興味強度の極大値を表すＨ値を次式によって計算する。
【００６５】
【数１】
2004159192.tif 000003
Ｈ値は、当該視聴行動の記録からユーザの興味の度合を推定した値であり、０から１の値を取り、値が大きいほど興味が強いことを示す。
【００６６】
ここで、ｃｋ  値は、表１のように各視聴行動種別に応じて定められており、当該視聴行動種別と興味の度合との関連の強さに相対的に示したものである。
【００６７】
【表１】
2004159192.tif 000004
例えば、表１のような値の場合、興味の度合と発声との関連は、ジェスチャとの関連よりも強いことを示す。
【００６８】
Ｌ値は、視聴行動区間の時間長である（図７）。視聴行動の時間が長いほど、Ｈ値が大きくなり、興味強度が大きくなる。例えば、ユーザがジェスチャを長時間行った場合は、興味強度が大きい。
【００６９】
Ｐ値は、音声信号の強度や、身体動作強度等の各種視聴行動の強度の時間平均値である（図７）。各種視聴行動の強度が大きいほど、Ｈ値が大きくなり、興味強度が大きい。例えば、ユーザが大きい声で発声した場合は、興味強度が大きい。Ｃ値は適当な定数である。Ｈ値の計算にシグモイド関数を用いたのは、値の範囲を０から１の範囲にするためである。また、０から１の値を返す任意の関数を用いてもよい。
【００７０】
以下のステップ３０３からステップ３０９までの処理を図９を用いて説明する。
【００７１】
ステップ３０３）  視聴行動区間の開始点からｔ秒間だけ時間的に遡った時点から視聴行動区間の終了点までの区間の興味強度をＨと設定する。ここでは、ｔ値は表２のように、各視聴行動種別に応じて定められている。
【００７２】
【表２】
2004159192.tif 000005
ｔ値は、映像中の興味深いシーンの出現から、ユーザが視聴行動をとるまでの時間的な遅れを表す。例えば、表２の場合は、興味深いシーンが出現してから、０．５秒後に、ユーザが発声することが多いことを示す。
【００７３】
ステップ３０４）  視聴行動区間から時間的に遡り、映像のインデクス点で興味強度をｄ値だけ減算する。ここで、映像のインデクス点とは、映像のカット点、音声区間の開始点・終了点、音楽区間の開始点・終了点等を表す。ｄ値は、表３のように各映像インデクス、各視聴行動種別に応じて定められている。
【００７４】
【表３】
2004159192.tif 000006
これは、映像のインデクス点では映像の内容面で変化が生じる場合が多く、そのために興味の度合も同様に変化していると考えられるため、映像のインデクス点において興味強度を減算する。ｄ値の大きさは、各インデクス点の種別と興味強度の変化との間の関連の強さを示す。ｄ値が大きいほど、当該インデクス点において興味強度の変化が大きい。ここで、図９のように複数の視聴行動に基づいて設定された興味強度関数が時間的に重なった区間は、興味強度が大きい方の値を当該区間の興味強度とする。また、興味強度を平均して当該区間の興味強度としてもよい。
【００７５】
ステップ３０５）  興味強度が０以上かを判定する。０以上の場合は、ステップ３０６に移行する。０以上でない場合は、ステップ３０８に移行する。
【００７６】
ステップ３０６）  さらに、時間的に遡り、ステップ３０４と同様に映像のインデクス点で興味強度をｄ値だけ減算する。
【００７７】
ステップ３０７）  興味強度が０以上かを判定する。０以上の場合は、ステップ３０８に移行し、０以上でない場合には、ステップ３０６に移行する。
【００７８】
ステップ３０８）  ０未満の興味強度を０とする。これは、興味強度を０から１の範囲の値にするために行う。
【００７９】
ステップ３０９）  視聴行動の時間的に後の区間についても、同様にステップ３０４以降の処理を行う。
【００８０】
ステップ３１０）  全ての視聴行動に対して興味強度関数の設定処理を終了したかどうかを判定する。終了した場合は当該処理を終了する。終了していない場合には、ステップ３０１に移行し、別の視聴行動に対して興味強度関数の設定処理を行う。
【００８１】
次に、上記のステップ１０５における抽出区間に視聴行動合成する処理について説明する。
【００８２】
図１０は、本発明の第１の実施の形態における視聴区間に視聴行動合成する処理のフローチャートである。
【００８３】
ステップ４０１）  ステップ１０４で抽出した映像区間のＩＮ点、ＯＵＴ点を取得する。
【００８４】
ステップ４０２）  視聴行動の記録（発声・ジェスチャ等）に対して、ステップ４０１で取得したＩＮ点・ＯＵＴ点で切り出し処理を行う。ここで、映像と視聴行動のタイムコードは同期がとれているものとする。例えば、映像視聴中の発声を合成する場合、映像視聴中の発声のタイミングと同じタイミングでの発声区間が抽出される。
【００８５】
ステップ４０３）  ステップ４０２で切り出した視聴行動を映像に合成する処理を行う。視聴行動の種別が「発声」の場合は、映像の音声信号に発声の音声信号を加算して合成する。また、音声の別トラックに、発声の音声信号を記録し、要約映像再生時に合成してもよい。また、発声の時間遅れを考慮して、表２の時間だけ時間的に早めてもよい。
【００８６】
視聴行動の種別が「身体動作」の場合は、映像の画面中に小画面を設け、表示する。また、映像と、身体動作の映像とを交互に切り換えて表示してもよい。また、身体動作の時間遅れを考慮して、表２の時間だけ時間的に早めて合成してもよい。
【００８７】
視聴行動の種別が「演奏」の場合は、映像の音声信号に演奏の音声信号を加算して合成する。また、音声の別トラックに、演奏の音響信号を記録し、要約映像再生時に合成してもよい。また、演奏の時間遅れを考慮して、表２の時間だけ時間的に早めて合成してもよい。
【００８８】
視聴行動の種別が「押しボタン」の場合は、ステップ４０４に移行する。また、映像にボタン印等を合成してもよい。また、押しボタン操作の時間遅れを考慮して、表２の時間だけ時間的に早めて合成してもよい。
【００８９】
ステップ４０４）  全ての視聴行動について処理が終了したかどうかの判定を行う。終了した場合は当該処理を終了する。終了していない場合にはステップ４０１に移行し、別の視聴行動について処理を行う。
【００９０】
上記のように、図３に示すステップ１０３とステップ１０４及び、図８に示す興味強度関数設定処理により、映像の切れ目となるカット点等で興味強度を不連続に変化させることで、興味強度が閾値以上の区間を抽出する処理において（ステップ１０４）、図５に示すように、要約映像のＩＮ点、ＯＵＴ点が映像の切れ目と一致する。
【００９１】
また、図６に示す興味強度計算及び図３のステップ１０４に示す処理により、視聴行動の強度（発声の大きさや継続時間に基づいて計算する）から、重要シーンの興味強度を０から１の連続値として計算する。その際に、視聴行動の強度が大きい場合に、興味強度が大きく、視聴行動の強度が小さい場合に、興味強度が小さくなるように計算する。そして、図５に示すように閾値以上の区間を要約映像のシーンとすることにより、要約映像の時間長を可変にできる。
【００９２】
また、図１０のステップ１０５により、映像から切り出された重要シーンにそのシーンにおいて時間的に同期して行われた視聴行動（発声等）を当該シーンに合成することが可能となる。
【００９３】
［第２の実施の形態］
本実施の形態は、前述の第１の実施の形態における興味強度関数設定を、インデクス点以外の区間で一定値とするのではなく、図１１のように視聴行動からの時間差に比例して値を減少させるものである。
【００９４】
前述のステップ１０３における興味強度設定処理を説明する。
【００９５】
図１２は、本発明の第２の実施の形態における興味強度設定処理のフローチャートである。同図において、前述の図８と同一動作については、同一ステップ番号を付与してその説明を省略する。
【００９６】
ステップ３０１〜ステップ３０２は、前述の第１の実施の形態と同様である。
ステップ６０３）  興味強度関数の初期設定を行う。詳細については後述する。
【００９７】
ステップ３０４〜ステップ３１０は、前述の第１の実施の形態と同様である。
次に、上記のステップ６０３の興味強度関数設定処理について説明する。
【００９８】
図１３は、本発明の第２の実施の形態における興味強度関数設定処理のフローチャートである。
【００９９】
ステップ７０１）  視聴行動区間の興味強度をＨと設定する。
【０１００】
ステップ７０２）  視聴行動区間以外の区間について、視聴行動区間からの時間差に比例して、興味強度を減算する。興味強度の傾きは適当に設定する。また、視聴行動の種別に応じて当該傾きを別々に設定してもよい。また、視聴行動区間から時間差が大きくなるにつれて減少する任意の関数（例：ガウス関数）を用いてもよい。
【０１０１】
ステップ７０３）  ０未満の興味強度を０にする。これは、興味強度を０から１の範囲の値にするために行う。
【０１０２】
本実施の形態では、図３のステップ１０４において閾値の増減に対して要約映像の時間長が連続的に増減するので、第１の実施の形態と比べて要約映像を任意の長さに設定できるという特徴がある。なぜなら、第１の実施の形態では、図４のような階段状の興味強度関数になるため、閾値を連続的に増減させても生成される要約映像の時間長は不連続にしか変化しないのに対し、本実施の形態では、興味強度関数に連続的に変化する区間があるため、閾値の増減に対して要約映像の時間長が連続的に変化するからである。但し、本実施の形態では、要約映像の一部で、ＩＮ点、ＯＵＴ点が、映像のカット構成等の面で中途半端な時点に設定される可能性が高くなるという問題がある。
【０１０３】
上記の第２の実施の形態において、図１３のステップ７０２により、興味強度が図１１に示すように、時間方向に連続的な変化が生まれるので、ステップ１０４の重要シーン抽出処理における閾値の増減に対して要約映像の時間長も同様に連続的に増減する（但し、一部で不連続に変化する）。
【０１０４】
［第３の実施の形態］
本実施の形態では、第１の実施の形態において、映像インデクスと視聴行動のインデクスとの間で、区間が一致するものがある場合に、興味強度関数設定におけるｄ値を大きくすることにより、当該区間が要約映像の１シーンとなりやすくするものである。例えば、映像インデクスの音楽区間と、視聴行動のインデクスの発声区間が一致する場合は、当該音楽区間でユーザが音楽に合わせて歌唱したと考えられるので、当該視聴行動に関する興味強度をｄ値を大きくすることによって当該音楽区間に局在させる。これにより、当該区間が要約映像の１シーンとなりやすくなる。
【０１０５】
図１４は、本発明の第３の実施の形態における動作のフローチャートである。
同図において、図３のフローチャートと同一動作については、同一ステップ番号を付し、その説明を省略する。
【０１０６】
ステップ１０１〜ステップ１０２は、第１の実施の形態と同様である。
【０１０７】
ステップ８０３）  ステップ１０１で得た映像インデクスと、ステップ１０２で得た視聴行動インデクスとの間で区間が一致するものを検出する。区間が一致するとは、区間の開始・終了時刻がある誤差の範囲内で一致することを意味する。
【０１０８】
ステップ８０４）  ステップ８０３で一致する区間が検出されたかどうかを判定する。一致区間が有る場合は、ステップ８０５に移行し、一致区間がない場合は、ステップ１０３に移行する。
【０１０９】
ステップ８０５）  ｄ値を表４のようなｄ’のものに更新する。
【０１１０】
【表４】
2004159192.tif 000007
ｄ’は、ｄと比べて大きい値を予め設定しておく。また、ｄ値に一定の値を加算してもよい。また、ｄ値に一定の値を掛けてもよい。また、前述の加算値、掛ける値を、インデクスの種別と視聴行動の種別に応じて別々に設定してもよい。図１５は、本発明の第３の実施の形態で生成される興味強度関数の例である。
【０１１１】
ステップ１０３〜ステップ１０６は、第１の実施の形態と同様である。
【０１１２】
上記の第３の実施の形態において、図１４のステップ８０３〜ステップ８０５により、映像インデクスと視聴インデクスとで、区間が一致するものを検出し（ステップ８０３）、当該区間の開始点、終了点における興味強度関数の減算値を、通常の値よりも大きくする（ステップ８０５）により、図１５に示すように、興味強度関数の形状が高層ビル型になり、ステップ１０４で重要シーンを抽出する際に、当該区間がそのまま抽出される可能性が大きくなる。
【０１１３】
［第４の実施の形態］
本実施の形態は、前述の第１の実施の形態において、映像インデクスで、区間長、特徴量が一致する映像区間群が存在する場合に、当該映像区間群に同期する区間群で複数の視聴行動（Ａ）が存在する場合に、任意の一つの視聴行動（Ｂ）を除く視聴行動に関する興味強度を小さくして、要約映像のシーンとして採用されにくくし、また、映像への視聴行動合成時に、（Ｂ）が元となって切り出された映像区間に複数の視聴行動（Ａ）を合成するものである。
【０１１４】
例として、映像中に同一のＢＧＭが２つの区間で演奏され、ユーザが当該２つの区間でＢＧＭに合わせて歌唱した場合、片方の映像区間は要約映像には用いないが、もう片方の区間へ、２つの歌唱を合成する。これにより、要約映像では１つのＢＧＭ区間で、２つの歌唱が重複して合成されたものが得られる。より一般的には、１つのシーンに、複数の視聴行動が合成された映像が得られる。これにより、要約映像の１つのシーンで、複数の視聴行動が視聴できる。ユーザは、当該シーンに関するより多くの付加情報を得られるという特徴がある。
【０１１５】
図１６は、本発明の第４の実施の形態における動作のフローチャートである。同図において、図３のフローチャートと同様の動作には、同一ステップ番号を付し、その説明を省略する。
【０１１６】
ステップ１０１〜ステップ１０２は第１の実施の形態と同様である。
【０１１７】
ステップ１１０３）  映像インデクス中の一致インデクスを検出する。全映像インデクスのすべての２つの組み合わせについて、時間長と各種視聴行動の強度値との類似度を計算し、類似度が一定の閾値以上である場合には、一致インデクスとして検出する。また、視聴行動の時間長や強度値の他の任意の特徴量を用いてもよい。また、類似度計算の手法は、時間長等の差分を計算し、逆数をとることなどの方法がある。
【０１１８】
ステップ１１０４）  ステップ１１０３で一致インデクスが検出されたかどうかを判定する。検出された場合はステップ１１０５に移行する。検出されなかった場合は、ステップ１０３に移行する。
【０１１９】
ステップ１１０５）  ステップ１１０３で検出した一致インデクスを保存する。
【０１２０】
ステップ１０３は、第１の実施の形態と同様である。
【０１２１】
ステップ１１０７）  一致インデクス区間の興味強度抑制処理を行う。興味強度関数で、ステップ１１０５において保存したインデクスに含まれるインデクスが元となって生成されたものに関して、図１７のように興味強度関数に一定の値を掛けて興味強度を小さくする。その際に掛ける値は適当に設定する。また、視聴行動の種別に応じて、掛ける値を別々に設定してもよい。但し、一致インデクス群のうち、任意の一つが元になって生成された興味強度関数に関しては値はそのままとする。
【０１２２】
ステップ１０４は、第１の実施の形態と同様である。
【０１２３】
ステップ１１０９）  抽出区間に視聴行動合成処理を行う。詳細は後述する。
ステップ１０６は、第１の実施の形態と同様である。
【０１２４】
以下にステップ１１０９の抽出区間に視聴行動を合成する処理について説明する。
【０１２５】
図１８は、本発明の第４の実施の形態における視聴行動合成処理のフローチャートであり、図１９は、本発明の第４の実施の形態における視聴行動合成処理を説明するための図である。
【０１２６】
図１８において、前述の図１０に示すフロチャートと同一動作については、同一ステップ番号を付し、その説明を省略する。
【０１２７】
ステップ４０１〜ステップ４０２は、第１の実施の形態と同様である。
【０１２８】
ステップ１２０３）  ステップ４０２で抽出した区間が一致インデクスかどうかを判定する。当該区間が図１６のステップ１１０５で保存したものに含まれる場合は、一致インデクスであり、含まれない場合は一致インデクスでない。
【０１２９】
ステップ１２０４）  視聴行動を映像へ合成する際のＩＮ点とＯＵＴ点を変換する。図１９のように、興味強度が抑制されていない興味強度関数の元となった映像インデクスの区間の先頭を合成時のＩＮ点とする。また、当該ＩＮ点に視聴行動の区間長を加算した点を合成時のＯＵＴ点とする。
【０１３０】
ステップ４０３〜ステップ４０４は、第１の実施の形態と同様である。
【０１３１】
上記の第４の実施の形態の図１６のステップ１１０３〜ステップ１１０５、１１０７、１１０９により、映像インデクスの中で、区間／特徴量が一致する組み合わせを検出し（Ａ）（ステップ１１０３）、その中の任意の１つのインデクス（Ｂ）を除くものの興味強度関数を図１７に示すように小さくする（ステップ１１０７）。これにより、ステップ１０４で重要シーンを抽出する際に、（Ｂ）のみが重要シーンとして抽出される可能性が大きくなる。次に、ステップ１１０９で、図１９のように、（Ａ）の区間で行われた視聴行動を（Ｂ）の区間に重複させて合成することができる。
【０１３２】
なお、上記の第１〜第４の実施の形態における図３、図６、図８、図１０、図１２、図１３、図１４、図１６、図１８に示すフローチャートをプログラムとして構築し、映像要約装置として利用されるコンピュータにインストールすることも可能である。また、ネットワークを介して流通させることも可能である。
【０１３３】
さらに、構築されたプログラムを、映像要約装置として利用されるコンピュータのハードディスク装置や、フレキシブルディスクやＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際に、当該装置にインストールして実行することも可能である。
【０１３４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１３５】
【発明の効果】
上述のように、本発明によれば、ユーザの視聴行動に基づいた要約映像を生成することが可能になる。
【０１３６】
本発明では、要約映像中の各重要シーンが、映像カット点や音声区間開始・終了点等映像構成の面で切れ目の自然な要約映像ができる。ここで、要約映像の各重要シーンにつなぎ目が、映像の切れ目と一致していることが自然な要約映像であると考える。例えば、ダンスの一連の動きを映したひと続きのシーンが映像中にあって、当該シーンが重要シーンとして抽出される場合、当該シーンの途中にＩＮ点、ＯＵＴ点が設定されることは無く、当該シーンのＩＮ点、ＯＵＴ点や、その前後のカット点等が重要シーンのＩＮ点、ＯＵＴ点となり、区切れの自然な要約映像を生成できる。
【０１３７】
また、本発明によれば、ユーザが興味強度の度合を指定して要約映像の構成を変えることができる。また、要約映像の時間長を大まかに指定して要約映像を生成できる。
【０１３８】
さらに、興味強度の閾値の増減が可能になることにより、要約映像の時間長をより高精度に設定できる。
【０１３９】
また、映像から切り出された重要シーンに、そのシーンにおいて時間的に同期して行われた視聴行動を当該シーンに合成することいより、要約映像で、元の映像と視聴行動とを同時に視聴できる。例えば、ある観光地の紹介のシーンに「去年の夏に行ったなあ」という発声を付加することで、後の視聴時での記憶想起の支援となり、また、友人等へ送った場合は、当該シーンのコメントとしての役割を果たす。
【０１４０】
また、映像インデクスと視聴インデクスとで区間が一致するものを検出し、当該区間の開始点、終了点における興味強度関数の減算値を通常の値よりも大きくすることにより、ユーザが映像のカット構成、音楽区間等に対して区間の点で意図的な視聴行動を行った場合に、当該意図を反映した重要シーンから構成される要約映像ができる。例えば、映像中で演奏された楽曲に合わせてユーザが歌唱した場合、当該歌唱区間が要約映像の１シーンとなる可能性が高い（当該区間の前後に余計なシーンが付加されることがない）。
【０１４１】
また、区間／特徴量が一致する組み合わせを検出することにより、映像にアナウンスやＢＧＭ等の面で冗長な内容がある場合、当該冗長な内容がない要約映像を生成でき、例えば、映像中で同一のＢＧＭが２ヵ所で演奏され、ユーザが両方の区間で歌唱した場合に、要約映像では１つのＢＧＭ区間で、２つの歌唱が重複して合成されたものが得られ、元来２つのシーンで行った視聴行動を、要約映像では１つのシーンでまとめて視聴できる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の一実施の形態におけるシステム構成図である。
【図３】本発明の第１の実施の形態における動作のフローチャートである。
【図４】本発明の第１の実施の形態における興味強度関数の例である。
【図５】本発明の第１の実施の形態における閾値以上の興味強度関数の例である。
【図６】本発明の第１の実施の形態における視聴行動インデクシング処理のフローチャートである。
【図７】本発明の第１の実施の形態における音声強度区間を求める例である。
【図８】本発明の第１の実施の形態における興味強度関数設定処理のフローチャートである。
【図９】本発明の第１の実施の形態における興味強度関数設定処理を説明するための図である。
【図１０】本発明の第１の実施の形態における抽出区間に視聴行動合成する処理のフローチャートである。
【図１１】本発明の第２の実施の形態における興味強度関数設定処理を説明するための図である。
【図１２】本発明の第２の実施の形態における興味強度設定処理のフローチャートである。
【図１３】本発明の第２の実施の形態における興味強度関数設定処理のフローチャートである。
【図１４】本発明の第３の実施の形態における動作のフローチャートである。
【図１５】本発明の第３の実施の形態で生成される興味強度関数の例である。
【図１６】本発明の第４の実施の形態における動作のフローチャートである。
【図１７】本発明の第４の実施の形態における興味強度関数設定処理を説明するための図である。
【図１８】本発明の第４の実施の形態における視聴行動合成処理のフローチャートである。
【図１９】本発明の第４の実施の形態における視聴行動合成処理を説明するための図である。
【符号の説明】
５０１  モニタ
５０２  マイク
５０３  カメラ
５０４  鍵盤
５０５  押しボタン
５０６  計算機
【図１】
2004159192.tif 000008
【図２】
2004159192.tif 000009
【図３】
2004159192.tif 000010
【図４】
2004159192.tif 000011
【図５】
2004159192.tif 000012
【図６】
2004159192.tif 000013
【図７】
2004159192.tif 000014
【図８】
2004159192.tif 000015
【図９】
2004159192.tif 000016
【図１０】
2004159192.tif 000017
【図１１】
2004159192.tif 000018
【図１２】
2004159192.tif 000019
【図１３】
2004159192.tif 000020
【図１４】
2004159192.tif 000021
【図１５】
2004159192.tif 000022
【図１６】
2004159192.tif 000023
【図１７】
2004159192.tif 000024
【図１８】
2004159192.tif 000025
【図１９】
2004159192.tif 000026