(57)【要約】【課題】映像コンテンツの編集に関し、映像コンテンツの内容を提示しつつ視聴時間を短縮させる映像要約生成装置を提供する。【解決手段】映像コンテンツを入力する映像コンテンツ入力部と、映像コンテンツ入力部により入力された映像コンテンツを保持する映像コンテンツ保持部と、映像コンテンツ保持部に保持された映像コンテンツ内のフレーム画像から被写体を判定する被写体判定部と、被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知して一連動作と判定する被写体動作感知判定部と、被写体動作感知判定部で判定された一連動作に対応する連続フレームを特定する一連動作フレーム特定部と、一連動作フレーム特定部で特定された連続フレームから少なくとも一部のフレームを削除するコンテンツ編集部とを備える。【選択図】図１
2006333189.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを入力する映像コンテンツ入力部と、
前記映像コンテンツ入力部により入力された映像コンテンツを保持する映像コンテンツ保持部と、
前記映像コンテンツ保持部に保持された映像コンテンツ内のフレーム画像から被写体を判定する被写体判定部と、
前記被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知して一連動作と判定する被写体動作感知判定部と、
前記被写体動作感知判定部で判定された一連動作に対応する連続フレームを特定する一連動作フレーム特定部と、
前記一連動作フレーム特定部で特定された連続フレームから少なくとも一部のフレームを削除するコンテンツ編集部と
を備えたことを特徴とする映像要約生成装置。
【請求項２】
前記被写体判定部は、
前記映像コンテンツ保持部に保持された映像コンテンツ内の連続フレーム内で常に存在するオブジェクトを被写体と判定する
ことを特徴とする請求項1記載の映像要約生成装置。
【請求項３】
前記被写体動作感知判定部は
前記被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知し、
被写体の動きが物理法則に従い動作する場合に一連動作として判定する
ことを特徴とする請求項１または２記載の映像要約生成装置。
【請求項４】
前記コンテンツ編集部は
一連動作フレーム特定部で特定された連続フレームを連続する３つのフレーム群に分割し第２フレーム群について少なくとも一部のフレームを削除するように構成した
ことを特徴とする請求項１、２または３記載の映像要約生成装置。
【請求項５】
映像コンテンツの各フレームの音データを判定する音判定部を更に備え、
前記コンテンツ編集部は、前記音判定部の判定結果を基に
前記一連動作フレーム特定部で特定された連続フレームを連続する３つのフレーム群に分割し、
第２フレーム群について少なくとも一部のフレームを削除するように構成した
ことを特徴とする請求項１〜４の何れかに記載の映像要約生成装置。
【請求項６】
映像コンテンツの各フレームの音データを判定する音判定部を更に備え、
前記コンテンツ編集部は、前記音判定部の判定結果を基に前記一連動作フレーム特定部で特定された連続フレームの少なくとも一部のフレームを削除するように構成した
ことを特徴とする請求項１〜４の何れかに記載の映像要約生成装置。
【請求項７】
前記音判定部は音データとして音声の有無を判定することを特徴とする
請求項５または６記載の映像要約生成装置。
【請求項８】
前記音判定部は音データとして音量を判定することを特徴とする
請求項５または６記載の映像要約生成装置。
【請求項９】
前記音判定部は音データとして音量の変化量を判定することを特徴とする
請求項５または６記載の映像要約生成装置。
【請求項１０】
前記一連動作フレーム特定部が特定した連続フレームの映像または音声に加工を加えるフレーム加工部を更に加えた
ことを特徴とする請求項１〜９の何れかに記載の映像要約生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツの編集に関し、映像コンテンツの内容を提示しつつ視聴時間を短縮させるようにした映像要約生成装置に関するものである。
【背景技術】
【０００２】
特許文献１では、画像、音、字幕その他の映像コンテンツの要素が変化する位置に注目し、その位置、いわばその映像の節目、節目を表わす画像を代表画像として抽出し、要約を生成する際に、音の存在意義を大きく認め、要約表示の際に、その映像コンテンツの内容理解を深めるために、要約表示に係る人の声をも合わせて再生することで映像コンテンツの内容理解を可能にする方法を開示している。
【０００３】
特許文献２では、映像コンテンツから、あるレベルを超える音声に対応する画像フレームを検索対象画像フレームとし、利用者に提示する手法を開示している。利用者は検索対象画像フレームにより動画像中で重要なシーンを迅速に検索し、視聴することができる。
【特許文献１】特開平11-88807号公報
【特許文献２】特開平8-79674号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１で開示された手法では、要約表示された代表画像においては、その音声を合わせて再生されることで、内容理解を深めることができるが、要約表示された以外の画像の内容については、その内容を推測するように考慮されていない。
【０００５】
また、特許文献２で開示された手法では、検索対象画像フレームは、他のフレームの内容を考慮して選択されるのでは無いため、利用者は検索対象画像フレームを利用して重要なシーンを迅速に検索しつつ視聴する場合に、視聴していないフレームの内容を推測することはできない。
【０００６】
従って、映像コンテンツの要約を生成する際に、要約として選ばれないフレームの内容を推測できるように要約を生成する映像要約生成装置を提供することが本発明の目的である。
【課題を解決するための手段】
【０００７】
第１の発明に係る映像要約生成装置は、
映像コンテンツを入力する映像コンテンツ入力部と、
映像コンテンツ入力部により入力された映像コンテンツを保持する映像コンテンツ保持部と、
映像コンテンツ保持部に保持された映像コンテンツ内のフレーム画像から被写体を判定する被写体判定部と、
被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知して一連動作と判定する被写体動作感知判定部と、
被写体動作感知判定部で判定された一連動作に対応する連続フレームを特定する一連動作フレーム特定部と、
一連動作フレーム特定部で特定された連続フレームから少なくとも一部のフレームを削除するコンテンツ編集部と
を備えている。
【０００８】
この構成により、映像コンテンツ内の被写体の一連動作のフレームから一部のフレームを削除する映像コンテンツの編集を行うことができる。
【０００９】
第２の発明に係る映像要約生成装置は、
映像コンテンツを入力する映像コンテンツ入力部と、
映像コンテンツ入力部により入力された映像コンテンツを保持する映像コンテンツ保持部と、
映像コンテンツ保持部に保持された映像コンテンツ内のフレーム画像から被写体を判定する被写体判定部と、
被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知して一連動作と判定する被写体動作感知判定部と、
被写体動作感知判定部で判定された一連動作に対応する連続フレームを特定する一連動作フレーム特定部と、
映像コンテンツの各フレームの音データを判定する音判定部と、
音判定部の判定結果を基に一連動作フレーム特定部で特定された連続フレームを連続する３つのフレーム群に分割し第２フレーム群について少なくとも一部のフレームを削除するように構成したコンテンツ編集部とを
備えている。
【００１０】
この構成により、映像コンテンツ内の被写体の一連動作のフレームから音データを基に削除するフレームの分割を行い、第２フレーム群から一部のフレームを削除し、映像コンテンツの編集を行うことができる。
【００１１】
第３の発明に係る映像要約生成装置は、
映像コンテンツを入力する映像コンテンツ入力部と、
映像コンテンツ入力部により入力された映像コンテンツを保持する映像コンテンツ保持部と、
映像コンテンツ保持部に保持された映像コンテンツ内のフレーム画像から被写体を判定する被写体判定部と、
被写体判定部で判定された被写体の動きを映像コンテンツ内の連続フレームの画像から感知して一連動作と判定する被写体動作感知判定部と、
被写体動作感知判定部で判定された一連動作に対応する連続フレームを特定する一連動作フレーム特定部と、
映像コンテンツの各フレームの音データを判定する音判定部と、
音判定部の判定結果を基に一連動作フレーム特定部で特定された連続フレームの少なくとも一部のフレームを削除するように構成したコンテンツ編集部と
を備えている。
【００１２】
この構成により、映像コンテンツ内の被写体の一連動作のフレームから音データを基に削除するフレームを特定し、映像コンテンツの編集を行うことができる。
【００１３】
第４の発明に係る映像要約生成装置は、
上記構成に加え、一連動作フレーム特定部が特定した連続フレームの映像または音声に加工を加えるフレーム加工部を備えている。
【００１４】
この構成により、一部のフレームを削除した一連動作に対応するフレームに映像または音声に加工を加えることができる。
【発明の効果】
【００１５】
本発明によれば、被写体の一連動作の一部を削除する要約の作成が可能となり、被写体の一連動作を把握しつつ、短い時間で映像コンテンツの内容を視聴することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【００１７】
（実施の形態１）
図1は本発明の実施の形態１における映像要約生成装置のブロック図である。
【００１８】
映像コンテンツ入力部は、映像コンテンツを入力する装置であり、TV等の放送コンテンツもしくは個人的に撮影したビデオなどの映像コンテンツをTVチューナー、画像キャプチャーボードなどを用いて入力する。
【００１９】
映像コンテンツ入力部で入力された映像コンテンツは映像コンテンツ保持部で保持する。
【００２０】
被写体判定部は、映像コンテンツ保持部から映像コンテンツを読み出し、それぞれのフレームの画像解析を行い、被写体候補の領域を特定し保持する。
【００２１】
被写体候補の領域は、例えば画像の明度差、色相差、彩度差に注目して領域を分割しても良いし、他の技術を用いて画像から領域を分割しても良い。次に各フレームの被写体候補から、連続したフレームで画像内に存在している候補を被写体とする。具体的にはサッカー中継番組では、サッカーボールや特定の選手等の、撮影者が意図して撮影しているものが被写体となる。
【００２２】
被写体動作感知判定部は、被写体の各フレームの位置からその動きを検出し保持する。
【００２３】
次に、被写体の移動軌跡が比較的単純な物理法則に従う運動に当てはまるか否かを判定し、比較的単純な物理法則に従う運動が当てはまる場合に被写体の動作を一連動作とする。
【００２４】
一連動作フレーム特定部は、一連動作に対応する連続フレームを一連動作フレームとして特定する。
【００２５】
コンテンツ編集部は、一連動作フレームから一部のフレームを削除する編集を行う。その編集は、連続したフレームをまとめて削除しても良いし、フレームを間引きする様にしても良い。また、一連動作フレームを３つのフレーム群に分割してその第２フレーム群を削除する処理としても良い。この処理は、一連動作の開始部分と終了部分を削除せずに中間部分を削除する処理であり、その処理により、生成した要約を視聴する際に、一連動作の開始部分と終了部分は視聴することとなるため、視聴者は削除されたフレームを推測することが可能となり、削除されたフレームの軌跡を把握しつつ、短時間で映像コンテンツを視聴することができる。
【００２６】
次に、図２から図５を利用しながら、より具体的な動作を説明する。
【００２７】
図２から図５は、サッカー中継の連続したフレームにおける映像コンテンツの映像を示したものである。
【００２８】
F1からF20までのフレーム中でF5からF16までのフレームは、ロングパスにより、攻撃側が前方の選手にボールを送っている場面となる（ボールの軌跡は図１１に提示）。
【００２９】
F1からF20までのフレームでは人物A、人物B、人物C、人物D、人物E、及びボールがそれぞれフレーム画像中にあるため、それぞれが被写体として判定される。
【００３０】
人物の特定及び、追跡については、特に人物の同定は行わなくとも、連続したフレームにおいて、最も近隣し、かつ同様の色彩の領域を検出し人物を追跡してもよいし、監視等で用いられる従来の技術を利用しても良い。
【００３１】
ここで、比較的単純な物理法則に従う運動とは、直線運動、放物運動、等加速度運動、円運動等を指し、それ以外にも、他からの外力に影響されない運動、重力のみに影響される運動、一定の速度で場所や角度が変化する運動、一定の加速度で場所や角度が変化する運動等の、人が容易にその動きを理解できる運動一般を意味する。
【００３２】
次に、それぞれの被写体の動きの軌跡が比較的単純な物理法則に従う運動に当てはまるかを判定する。
【００３３】
フレーム毎の位置座標から、例えば最小二乗法を用い、被写体の位置座標が比較的単純な物理法則に従う運動と、あらかじめ定めた閾値の範囲で近似できる場合に被写体の軌跡が比較的単純な物理法則に従う運動を満たすと判定する。
【００３４】
動きの軌跡は、3次元的であるので、単純に１つのカメラからの映像では判定できない場合も発生するが、別のカメラからの映像を利用したステレオ視で3次元的な軌跡を計測し判定しても良い。
【００３５】
図２から図５に示した場合においては、各人物A〜Eは、その軌跡がいずれも単純な物理法則に従う運動に従ってはいないが、ボールはF5からF16までのフレームにおいて、その軌跡が放物線を描いている（図１１）そこで、F5からF16の間は、ボールは比較的単純な物理法則に従う運動に含まれる放物運動をしたと判定する。
【００３６】
ここで、F5からF16までの、一連動作をしたフレームを３つのフレーム群に分割し第１フレーム群、第２フレーム群、第３フレーム群とする。
【００３７】
第１フレーム群は、一連動作の初期動作に当たるフレーム群であり、視聴者はこのフレーム群によりボールの動きを予想する。
【００３８】
第２フレーム群では、ボールは予想された軌跡に沿って動くため、削除しても視聴者はそのボールの動きを把握することができる。
【００３９】
第３フレーム群は、動作後期にあたるフレーム群であり、視聴者は、このフレーム群から削除されたフレームにおけるボールの動きを確認できる。また、このフレーム群は以降のフレーム、つまり予測できない動きをするボールの動きを追うためにも重要なフレームである。
【００４０】
フレームの分割は、F５からF１６までのフレームを4フレームずつ、等分に3分割しても良いし、それぞれのフレーム数が異なっても良い。
【００４１】
例えば、F５からF８を動作初期フレーム、F9からF14を動作中期フレーム、F15からF16を動作後期フレームとした場合、動作中期フレームであるF9からF14を削除する編集をすることで、１２フレームのロングパスの映像コンテンツから6フレームの要約を生成することができる。
【００４２】
つまり、本来１２フレームで表現されるロングパスを６フレームで表現し、視聴者が把握できる映像コンテンツの要約を作成できる。
【００４３】
また、スムーズな視聴と時間短縮効果を勘案し、第２フレーム群の全てを削除するのではなく、例えばF9,F11,F13を削除するような、一部を削除する要約を作成しても良い。
【００４４】
また、単純なフレーム間引きではなく、ロングパスの前半でボールが加速し、後半で減速するようにフレーム間引きを行ってもかまわない。
【００４５】
なお、被写体動作感知判定部は、映像コンテンツ内の被写体の位置ではなく、動作を感知しても良い。例えば、例えば、図６から図８は、人物が振り向くシーンの映像コンテンツの各フレームを図示したものであり、F４からF１２までのフレームでは、顔向きを変えている。
【００４６】
映像コンテンツとして、図６から図８で示される人物が振り向くシーンの映像コンテンツが入力された場合、被写体動作感知判定部は、被写体である人物の動作を感知してもよく、具体的には人物の顔向きを感知する。人物の顔向きを感知するために必要な人物検出技術や顔向き検出技術は、例えば、画像の認識・理解シンポジウム2004論文集ＩＩ,ＩＩ−271〜ＩＩ−276（高速全方向顔検出,オムロン株式会社）に記載の技術を用いても良い。
【００４７】
顔向き角度として、Ｆ１の向きを−９０度、Ｆ８の向きを０度、Ｆ１６の向きを９０度とする場合、F４からF１２までのフレームは、それぞれ、−６０度、−４５度、−３０度、−１５度、０度、１５度、３０度、４５度、６０度の顔向き角度となり、連続する各フレーム間での顔向き変化量は、一定であるため、被写体の軌跡は、比較的単純な物理法則に従う運動のひとつである等速回転運動を満たすと判定する。
【００４８】
よって、F４からF１２までのフレームを（実施の形態１）と同様に３つのフレーム群に分割し、第２フレーム群に関してその全部もしくは一部を削除する編集を行い、要約を作成することが出来る。
【００４９】
（実施の形態２）
図１２は本発明の実施の形態２における映像要約生成装置のブロック図である。
【００５０】
映像コンテンツ入力部は、映像コンテンツを入力する装置でありTV等の放送コンテンツもしくは個人的に撮影したビデオなどの映像コンテンツをTVチューナー、画像キャプチャーボードなどを用いて入力する。
【００５１】
映像コンテンツ入力部で入力された映像コンテンツは映像コンテンツ保持部で保持する。
【００５２】
被写体判定部は、映像コンテンツ保持部から映像コンテンツを読み出し、それぞれのフレームの画像解析を行い、被写体候補の領域を特定し保持する。
【００５３】
被写体候補の領域は、例えば画像の明度差、色相差、彩度差に注目して領域を分割しても良いし、他の技術を用いて画像から領域を分割しても良い。
【００５４】
次に各フレームの被写体候補から、連続したフレームで画像内に存在している候補を被写体とする。
【００５５】
具体的にはサッカー中継番組では、サッカーボールや特定の選手等の、撮影者が意図して撮影しているものが被写体となる。
【００５６】
被写体動作感知判定部は、被写体の各フレームの位置からその動きを検出し保持する。
【００５７】
次に、被写体の移動軌跡が比較的単純な物理法則に従う運動に当てはまるか否かを判定し、比較的単純な物理法則に従う運動が当てはまる場合に被写体の動作を一連動作とする。
【００５８】
一連動作フレーム特定部は、一連動作に対応する連続フレームを一連動作フレームとして特定する。
【００５９】
音判定部は音声の有無、音量、音量の変化量を判定し、音判定結果をコンテンツ編集部に出力する。
【００６０】
コンテンツ編集部は、一連動作フレームから一部のフレームを削除する編集を行う。その編集は、連続したフレームをまとめて削除しても良いし、フレームを間引きする様にしても良く、音判定結果を利用して削除するフレームを決定してもよい。
【００６１】
また、一連動作フレームを３つのフレーム群に分割してその第２フレーム群を削除する処理としても良い。この処理は、一連動作の開始部分と終了部分を削除せずに中間部分を削除する処理であり、その処理により、生成した要約を視聴する際に、一連動作の開始部分と終了部分は視聴することとなるため、視聴者は削除されたフレームを推測することが可能となり、削除されたフレームの軌跡を把握しつつ、短時間で映像コンテンツを視聴することができる。なお、一連動作をしたフレームを３つのフレーム群に分割する際に、おいても映像から得られる情報のみでなく、音判定結果を利用しても良い。
【００６２】
図９は、図２から図５の各フレームにおける音声の大きさ（音声量）、音声以外の音量、前２者の和（音量）及び音量の変化量の絶対値を表記したものである。
【００６３】
図４（ｄ）で音量の変化量の絶対値の大きい２フレームを検出すると、Ｆ７及びＦ１２となる。よって、例えば、一連動作をしたフレーム（Ｆ５〜Ｆ１６）を３つのフレーム群に分割する際に、音量の変化量の絶対値の大きい２フレームである、Ｆ７及びＦ１２を用いてＦ５〜Ｆ６を第１フレーム群、Ｆ７〜Ｆ１１を第２フレーム群、Ｆ１２〜Ｆ１６を第３フレーム群としても良い。同様に、音声の有無や音量を基準にしてフレームの分割をおこなっても良い。
【００６４】
また、一連動作内のフレームを削除する際に、映像から得られる情報のみでなく、音判定結果を用いて、例えばＦ８〜Ｆ１１は音声は無いため（図９（a））、これらのフレームを削除対象としても良い。
【００６５】
（実施の形態３）
図１２は本発明の実施の形態３における映像要約生成装置のブロック図である。
【００６６】
映像コンテンツ入力部は、映像コンテンツを入力する装置でありTV等の放送コンテンツもしくは個人的に撮影したビデオなどの映像コンテンツをTVチューナー、画像キャプチャーボードなどを用いて入力する。
【００６７】
映像コンテンツ入力部で入力された映像コンテンツは映像コンテンツ保持部で保持する。
【００６８】
被写体判定部は、映像コンテンツ保持部から映像コンテンツを読み出し、それぞれのフレームの画像解析を行い、被写体候補の領域を特定し保持する。
【００６９】
被写体候補の領域は、例えば画像の明度差、色相差、彩度差に注目して領域を分割しても良いし、他の技術を用いて画像から領域を分割しても良い。
【００７０】
次に各フレームの被写体候補から、連続したフレームで画像内に存在している候補を被写体とする。
【００７１】
具体的にはサッカー中継番組では、サッカーボールや特定の選手等の、撮影者が意図して撮影しているものが被写体となる。
【００７２】
被写体動作感知判定部は、被写体の各フレームの位置からその動きを検出し保持する。
【００７３】
次に、被写体の移動軌跡が比較的単純な物理法則に従う運動に当てはまるか否かを判定し、比較的単純な物理法則に従う運動が当てはまる場合に被写体の動作を一連動作とする。
【００７４】
一連動作フレーム特定部は、一連動作に対応する連続フレームを一連動作フレームとして特定する。
【００７５】
音判定部は音声の有無、音量、音量の変化量を判定し、音判定結果をコンテンツ編集部に出力する。
【００７６】
コンテンツ編集部は、一連動作フレームから一部のフレームを削除する編集を行う。その編集は、連続したフレームをまとめて削除しても良いし、フレームを間引きする様にしても良く、音判定結果を利用して削除するフレームを決定してもよい。
【００７７】
また、一連動作フレームを３つのフレーム群に分割してその第２フレーム群を削除する処理としても良い。この処理は、一連動作の開始部分と終了部分を削除せずに中間部分を削除する処理であり、その処理により、生成した要約を視聴する際に、一連動作の開始部分と終了部分は視聴することとなるため、視聴者は削除されたフレームを推測することが可能となり、削除されたフレームの軌跡を把握しつつ、短時間で映像コンテンツを視聴することができる。なお、一連動作をしたフレームを３つのフレーム群に分割する際に、おいても映像から得られる情報のみでなく、音判定結果を利用しても良い。
【００７８】
フレーム加工部は、一連動作フレームに対して映像もしくは音声に加工を加える。
【００７９】
図１０は、映像に加工を加える例を示したものである。
【００８０】
フレーム加工部での処理は図１０(a)で図示したように画像の周りに枠をつける処理でも良いし、あらかじめ定めた記号の表示もしくは点滅（図１０(b)）や、特に図示しないが、音量の制御、信号音追加、再生速度変更などの、映像コンテンツの映像もしくは音響に加工を加える処理でも良い。
【００８１】
なお、一連動作フレームの映像もしくは音声に直接加工を加えるのではなく、各フレームに一連動作フレームであることを記すタグなどの映像/音響以外の情報を付加しても良い。
【産業上の利用可能性】
【００８２】
本発明に係る映像要約生成装置は、例えば、HDレコーダ、DVDレコーダ、DVDプレーヤー、ネットワークを介する映像コンテンツの送受信装置などの分野において好適に利用できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態１における映像要約生成装置のブロック図
【図２】映像コンテンツ（サッカー）の各フレーム画像の例示図（Ｆ１〜Ｆ５）
【図３】映像コンテンツ（サッカー）の各フレーム画像の例示図（Ｆ６〜Ｆ１０）
【図４】映像コンテンツ（サッカー）の各フレーム画像の例示図（Ｆ１１〜Ｆ１５）
【図５】映像コンテンツ（サッカー）の各フレーム画像の例示図（Ｆ１６〜Ｆ２０）
【図６】映像コンテンツ（振り向き）の各フレーム画像の例示図（Ｆ１〜Ｆ６）
【図７】映像コンテンツ（振り向き）の各フレーム画像の例示図（Ｆ７〜Ｆ１２）
【図８】映像コンテンツ（振り向き）の各フレーム画像の例示図（Ｆ１３〜Ｆ１６）
【図９】映像コンテンツの各フレームにおける音データの例示図
【図１０】フレーム加工の例示図
【図１１】映像コンテンツ（サッカー）のボールの軌跡図
【図１２】本発明の実施の形態２および３における映像要約生成装置のブロック図
【符号の説明】
【００８４】
１    映像コンテンツ入力部
２    映像コンテンツ保持部
３    被写体判定部
４    被写体動作感知判定部
５    一連動作フレーム特定部
６    コンテンツ編集部
７    人物Ａ
８    人物Ｂ
９    人物Ｃ
１０    人物Ｄ
１１    人物Ｅ
１２    ボール
１３    フレーム加工（枠表示）の一例
１４    フレーム加工（記号点滅）の一例
１５    音判定部
１６    フレーム加工部
【図１】
2006333189.tif 000003
【図２】
2006333189.tif 000004
【図３】
2006333189.tif 000005
【図４】
2006333189.tif 000006
【図５】
2006333189.tif 000007
【図６】
2006333189.tif 000008
【図７】
2006333189.tif 000009
【図８】
2006333189.tif 000010
【図９】
2006333189.tif 000011
【図１０】
2006333189.tif 000012
【図１１】
2006333189.tif 000013
【図１２】
2006333189.tif 000014