(57)【要約】【課題】  録画情報のうちの所望の内容部分を、見落とすことなく迅速かつ容易に検索できるように提示する方法及び装置を提供すること。【解決手段】  動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する方法であって、情報を記録する段階では、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って記録すると共に、音声を時間軸に沿って記録することによって、対象物体を音声付動画で録画し、情報を表示して提示する段階では、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する。【選択図】  図２
2006033504.tif 000002
【特許請求の範囲】
【請求項１】
動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する方法であって、
情報を記録する段階では、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って記録すると共に、音声を時間軸に沿って記録することによって、対象物体を音声付動画で録画し、
情報を表示して提示する段階では、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する
ことを特徴とする録画情報提示方法。
【請求項２】
動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する方法であって、
情報を記録する段階では、予め記録された音声付動画情報を用いて、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って抽出または変換すると共に、音声を時間軸に沿って抽出または変換することによって、対象物体を音声付動画で編集し、
情報を表示して提示する段階では、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する
ことを特徴とする録画情報提示方法。
【請求項３】
対象物体を、対話を行う人体頭部として、
対話者の双方に関して、映像情報及び音声情報を表示する
請求項１または２に記載の録画情報提示方法。
【請求項４】
独立した３方位が、
略水平方向に回転する方位（ヨー）と、その略水平回転方位に対して垂直に回転する前後回転方位（ピッチ）と、それら略水平回転方位とも前後回転方位とも垂直に回転する左右回転方位（ロール）である
請求項１ないし３に記載の動作間接伝達方法。
【請求項５】
時間軸での１ないし１０フレームに相当する情報を、１ドット幅として表現して提示する
請求項１ないし４に記載の動作間接伝達方法。
【請求項６】
対象物体の動作を表す独立した３方位への各変動を示す映像情報と、
対象物体のサムネイル化された画像を表す映像情報とを、重ねて表示する
請求項１ないし５に記載の動作間接伝達方法。
【請求項７】
対象物体の動作情報や音声情報を分析し、動作を分類した結果に得られた分類グループを示す指標を、時間軸に沿って表示する
請求項１ないしに記載の動作間接伝達方法。
【請求項８】
動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する装置であって、
情報を記録する段階で、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って記録すると共に、音声を時間軸に沿って記録することによって、対象物体を音声付動画で録画する記録手段と、
情報を表示して提示する段階で、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する提示手段と
を備えることを特徴とする録画情報提示装置。
【請求項９】
動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する装置であって、
情報を記録する段階で、予め記録された音声付動画情報を用いて、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って抽出または変換すると共に、音声を時間軸に沿って抽出または変換することによって、対象物体を音声付動画で編集する記録手段と、
情報を表示して提示する段階で、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する提示手段と
を備えることを特徴とする録画情報提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録画情報のうちの所望の内容部分を、迅速かつ容易に検索できるように提示する方法及び装置に関する。
【背景技術】
【０００２】
インターネット回線等を用いてTV電話やTV会議をする機会が増加しつつある。それに伴い、対話の内容を振り返って再生したい場面も増加している。
そのような録画情報を再生する際、所望の内容部分を捜すのに手間取ることが少なくない。
【０００３】
録画情報の「頭出し」や「検索」をするための従来技術としては、情報のユニット毎にインデックスを自動的に付与しておく手段や、利用者が所望位置に予めインデックスを付与しておく手段がある。
例えば、特許文献１によると、インデックスの付与された位置については、迅速確実に検索することができる。
【特許文献１】特開２００２−１３３８３７
【０００４】
しかし、インデックスの付与されていない位置については、容易に検索することはできない。
また、インデックスは、一般的に「内容」に関してのインデックスであることが多く、例えば「盛り上がり」など、場の「状態」に対してインデックスを付与することは皆無であった。これは、内容検索を優先するあまり、状態検索に関しては技術的に置き去りになってきたことを意味している。
【０００５】
一般に、人間は、対話などイベントの時間的順序は、容易に理解し記憶することができるが、その各イベントが行われた日時までは覚えていないことが多い。これは、記憶をイベント順に理由付けて関連付けてトレースすることは容易だが、通常は絶対的相対的な時間との関連付けが行われていないためであると考えられる。
このことは、１度見た対話（例えば漫才）などから何か特定のシーンを探す場合には、イベントの発生順に次々に頭出しをして内容確認するのが最適であることを示唆する。
イベントのインデックスが付与されておらず、書き起こしたテキストも無い場合、ランダムに再生して検索するのではなく、盛り上がりなどの状態を基準にして順に頭出しをして内容確認をすることが、時間の節約になると思われる。
このためには「状態」を一瞥できる表示技術が要となる。
【０００６】
音声情報から内容を確認するときには、めぼしいところの少し前の部分から、時間軸に対して正方向でかつ理解できる再生速度で再生を行う。また、逆方向の再生（巻き戻し再生）は理解が困難なため一般的ではない。
この２つの事象は、音声での検索に時間をかけさせる要因となっている。
短時間に多くの検索をしなくてはならない場合、正誤判断に音声を用いるのは最後の確認手段とし、なるべく音声確認手順を減らすほうが好ましい。
そのためには「めぼしいところ」を、より絞り込めるような手段が必要とされる。
【０００７】
対話内容がテキスト化された情報を一気に眺めるのは、音声を聞き返すより全体を見通しやすく、実際に聞くよりも短時間で内容を把握することができる。
しかし、対話等で生じたイベント内容をテキスト化するのは容易ではなく、また、テキストには一般的に、会話の内容を指し示す要となる頷きや笑い、会話の間などの非言語情報が削ぎ落とされてしまっている。フィラーに関しては、抑揚が削ぎ落とされた単なるテキスト情報だと、肯定か否定かさえ意味が不明となり、かえって内容推定が煩わしくなることがある。
【０００８】
対話を録画したビデオの早送りは、音声内容が聞き取れないほどの高速再生であっても、内容はそこそこに理解できる。これは、非言語情報である「身体動作情報」は「音声情報」よりも時間的に疎な（時間軸に対する情報密度が低い）情報であるのが主要な原因と思われる。
しかしながら、情報密度が低いとはいえ、十分に有用な情報である。
また、これを指標にして積極的に利用する従来技術は存在しなかった。
【０００９】
図１は、従来の動画編集ソフトの表示例を示す説明図である。
記録の段階では、身体等の動作を時間軸に沿って記録する手段と、音声を時間軸に沿って記録する手段とによって、それぞれの話者をビデオなど音声付動画で録画する。従来の動画編集ソフトによると、サムネイル化された各フレームなどの映像情報と、波形グラフなどの音声情報とが、単に時間軸に沿って並列に配置されるだけなので、映像情報の多さが原因で検索が困難になっている。映像で全フレームを示せば、僅かな部分しか表示できず、また映像情報を、５秒につき１フレーム表示するなど間引けば、間引かれた部分に重要な部位があった場合に見落としてしまうというジレンマがあり、インタフェースとして未熟であった。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで、本発明は、録画情報のうちの所望の内容部分を、見落としがないように迅速かつ容易に検索できるように提示する方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の録画情報提示方法は次の構成を備える。
すなわち、動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する方法であって、情報を記録する段階では、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って記録すると共に、音声を時間軸に沿って記録することによって、対象物体を音声付動画で録画し、情報を表示して提示する段階では、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示することを特徴とする。
【００１２】
また同様に、動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する方法であって、情報を記録する段階では、予め記録された音声付動画情報を用いて、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って抽出または変換すると共に、音声を時間軸に沿って抽出または変換することによって、対象物体を音声付動画で編集し、情報を表示して提示する段階では、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示することを特徴とする。
【００１３】
ここで、対象物体を、対話を行う人体頭部として、対話者の双方に関して、映像情報及び音声情報を表示するように構成して、対話の記録再生に利用してもよい。
【００１４】
独立した３方位を、略水平方向に回転する方位（ヨー）と、その略水平回転方位に対して垂直に回転する前後回転方位（ピッチ）と、それら略水平回転方位とも前後回転方位とも垂直に回転する左右回転方位（ロール）として、動作の簡易な認知に寄与させてもよい。
【００１５】
時間軸での１ないし１０フレームに相当する情報を、１ドット幅として表現して提示して、時間経過に関して広いを範囲を一瞥して検索できるようにしてもい。
【００１６】
対象物体の動作を表す独立した３方位への各変動を示す映像情報と、対象物体のサムネイル化された画像を表す映像情報とを重ねて表示して、視覚的に動作の内容を把握しやすくしてもよい。
【００１７】
対象物体の動作情報や音声情報を分析し、動作を分類した結果に得られた分類グループを示す指標を時間軸に沿って表示して、動作の内容把握に寄与させてもよい。
【００１８】
本発明の録画情報提示装置は次の構成を備える。
すなわち、動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する装置であって、情報を記録する段階で、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って記録すると共に、音声を時間軸に沿って記録することによって、対象物体を音声付動画で録画する記録手段と、情報を表示して提示する段階で、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する提示手段とを備えることを特徴とする。
【００１９】
また同様に、動作を行う物体を対象として、その物体に関する録画情報の所望の内容部分を検索できるように提示する装置であって、情報を記録する段階で、予め記録された音声付動画情報を用いて、対象物体の動作に関して、独立した３方位への各変動を示す情報を時間軸に沿って抽出または変換すると共に、音声を時間軸に沿って抽出または変換することによって、対象物体を音声付動画で編集する記録手段と、情報を表示して提示する段階で、対象物体の動作を表す独立した３方位への各変動を示す映像情報と、音声を表す音声情報とを、時間軸に沿って並列に配置すると共に、圧縮または伸張することで、略一瞥できる表示画面内に展開して表示する提示手段とを備えることを特徴とする。
【発明の効果】
【００２０】
本発明によると、インデックスの付与されていない位置であっても、またインデックスが付与される前の段階であっても、録画情報の所望の内容部分を容易に提示して、見落とすことなく迅速な検索に寄与することができる。
【発明を実施するための最良の形態】
【００２１】
以下に、図面を基に本発明の実施形態を説明する。
ここでは、録画の対象物体をTV電話等で対話を行う人体とし、更に、検出する動作を、人体頭部のヨー・ピッチ・ロール動作として説明する。しかし、本発明は、録画対象を任意に選択でき、検出する動作も、任意の独立した３方位への変動であればよい。
【００２２】
図２は、本発明による動画編集ソフトの表示例を示す説明図である。
対象物体を人体頭部として、記録の段階では、そのヨー・ピッチ・ロール動作を時間軸に沿って記録する手段と、音声を時間軸に沿って記録する手段とによって、話者をビデオなど音声付動画で録画する。
なお、ビデオなどの既知装置で予め録画された情報を用いて、上記のヨー・ピッチ・ロール動作及び音声に関する情報を、抽出またはコンバートさせて記録してもよい。
【００２３】
ヨー動作の変動量であるヨー角は、略水平回転方位に回転する水平回転角であり、ピッチ動作の変動量であるピッチ角は、前後回転方位に回転する前後回転角であり、ロール動作の変動量であるロール角は、左右回転方位に回転する左右回転角を示す。
【００２４】
記録された録画情報は、図示のように、ヨー・ピッチ・ロール動作を表す映像情報と、波形グラフなどの音声情報として、時間軸に沿って並列に配置されて表示される。
この映像情報であると、情報を間引かない場合でも、時間軸での１フレームに相当する情報を１ドット幅等として表現できる。例えば、横幅で３００ドットを表示する装置ならば、３００フレームを一度に提示できるので、検索の利便性が高い。
従来では、３００フレームを表示しようとすると、仮に１つのサムネイルの横幅を６４ドットとすると、３００×６４＝１９２００ドットの表示幅が必要となってしまい、情報の間引き等の処理を要した。それに対し、本発明によると、情報を間引かなくても、時間軸上で広範囲を表示できる。
なお、１ドット幅は、時間軸での１ないし１０フレームに相当させてもよい。例えば、人間の頷き動作は１秒間に３回ぐらいが限度であり、１回の頷き動作は、５フレームのダウンと５フレームのアップとから成る１０フレームに相当するので、５フレームを１ドットで表しても、「頷き」の波形を判別できる。
【００２５】
所望の情報部分を検索するに当たっては、本発明による上記方式で、その位置をある程度目星つけてから、従来の動画編集ソフトを用いてもよい。
【００２６】
図３は、別実施例の動画編集ソフトの表示例を示す説明図である。
本実施例の映像情報では、ヨー・ピッチ・ロール動作を表す映像情報と、サムネイル化された画像を表す映像情報とが、重ねて表示される。
この場合のサムネイルは、表示中の時間軸に合わせて間引きして表示することが好ましい。
【００２７】
図４は、別実施例の動画編集ソフトの表示例を示す説明図である。
本実施例では、クラスター番号が、ヨー・ピッチ・ロール動作を表す映像情報や、波形グラフなどの音声情報と共に、時間軸に沿って並列に配置されて表示される。
クラスター番号は、動作を分類した結果に得られた分類グループを示す指標である。動作の分類は、群平均法（ＵＰＧＭＡ）など、公知のクラスター分析方法を適宜利用できる。
分類グループを示す指標は、クラスター番号の代わりに、図形や記号や色分け等示してもよい。
なお、例えば「声のある頷き」と「声の無い頷き」とでは意味が異なることがあるように、動作情報と音声情報とによって、クラスター分析してもよい。
【産業上の利用可能性】
【００２８】
本発明の録画情報提示方法及び装置によると、インデックスの付与されていない位置であっても、またインデックスが付与される前の段階であっても、例えば、「対話者が双方盛り上がっている状態」や「無言で頷いて聞き役になっている状態」など、内容面でトピックスのあった位置など、録画情報の所望の内容部分を、利用者にわかりやすく提示できるので、用途が広く産業上非常に有用である。
【図面の簡単な説明】
【００２９】
【図１】従来の動画編集ソフトの表示例を示す説明図
【図２】本発明による動画編集ソフトの表示例を示す説明図
【図３】同、別実施例
【図４】同、別実施例
【図１】
2006033504.tif 000003
【図２】
2006033504.tif 000004
【図３】
2006033504.tif 000005
【図４】
2006033504.tif 000006