(57)【要約】【課題】  野球の試合に特化し、野球のスコアブックとその野球の試合映像とを対応付けることによってスコアブックに含まれる情報を映像に付与する。【解決手段】  本発明は、イニング毎のスコアデータから対応付けに必要なイベントＳｉを抽出し、抽出された各イベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該イベントＳｉに設定すると共に、該各イベントＳｉ毎にイベント発生時刻を設定し、試合映像を攻守交替タイミング毎に分割し、分割された試合映像毎にメディア解析を行い、バッティング・キャッチングの瞬間を検出し、各瞬間毎にイベントＶｊとし、瞬間時刻を該映像イベントＶｊに設定すると共に、バッティング・キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定し、イベントの集合ＳのイベントＳｉとイベントの集合ＶのイベントＶｊについて対応付けを行う。【選択図】  図１
2005236541.tif 000002
【特許請求の範囲】
【請求項１】
野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援方法において、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出過程と、
抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出過程と、
野球の試合映像・音声が記録された映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割して分割映像記憶手段に格納するイニング分割過程と、
前記分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出過程と、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け過程と、からなることを特徴とする野球映像対応付け支援方法。
【請求項２】
前記スコアイベント検出過程において、
前記イベント発生時刻を設定する際に、
前記スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、前記イベント発生時刻として設定する請求項１記載の野球対応付け支援方法。
【請求項３】
前記イニング分割過程において、
前記スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する過程と、
前記攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する過程と、を行う請求項１記載の野球映像対応付け支援方法。
【請求項４】
前記イニング分割過程において、
前記試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う過程と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する過程と、を行う請求項１記載の野球映像対応付け支援方法。
【請求項５】
前記映像中イベント検出過程において、
前記メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する、または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する、または、双方を組み合わせることによりイベントを検出する請求項１記載の野球映像対応付け支援方法。
【請求項６】
前記対応付け過程は、
前記スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択する過程と、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める過程と、
前記対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する過程と、を行う請求項１記載の野球映像対応付け支援方法。
【請求項７】
前記対応付け過程において、
前記評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える手段と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する過程と、を行う請求項６記載の野球映像対応付け支援方法。
【請求項８】
野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援装置であって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段と、
前記スコアブック記憶手段からイニング毎のデータを読み込むスコアデータ読み込み手段と、
対応付けに必要なスコアイベントＳｉを抽出し、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出手段と、
野球の試合映像・音声が記録された映像記憶手段と、
前記映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段に格納するイニング分割手段と、
前記分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出手段と、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け手段と、を有することを特徴とする野球映像対応付け支援装置。
【請求項９】
前記スコアイベント検出手段は、
前記イベント発生時刻を設定する際に、
前記スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、前記イベント発生時刻として設定する手段を含む請求項８記載の野球対応付け支援装置。
【請求項１０】
前記イニング分割手段は、
前記スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する手段と、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する手段と、を含む請求項８記載の野球映像対応付け支援装置。
【請求項１１】
前記イニング分割手段は、
読み込まれた前記試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う手段と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する手段と、を含む請求項８記載の野球映像対応付け支援装置。
【請求項１２】
前記映像中イベント検出手段は、
前記メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する音響解析手段、
または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析手段、
または、前記音響解析手段と前記画像解析手段を組み合わせる手段のいずれかを含む請求項８記載の野球映像対応付け支援装置。
【請求項１３】
前記対応付け手段は、
前記スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、前記映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択する手段と、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める手段と、
前記対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する手段と、を含む請求項８記載の野球映像対応付け支援装置。
【請求項１４】
前記対応付け手段は、
前記評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える手段と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する手段と、を含む請求項１３記載の野球映像対応付け支援装置。
【請求項１５】
野球の試合映像と試合のスコアブックのデータとを対応付けるコンピュータに実行させるための野球映像対応付け支援プログラムであって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出ステップと、
抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出ステップと、
野球の試合映像・音声が記録された映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段に格納するイニング分割ステップと、
前記分割映像記憶手段に格納された分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出ステップと、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付けステップと、をコンピュータに実行させることを特徴とする野球映像対応付け支援プログラム。
【請求項１６】
前記スコアイベント検出ステップにおいて、
前記イベント発生時刻を設定する際に、
前記スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定するステップを実行させる請求項１５記載の野球対応付け支援プログラム。
【請求項１７】
前記イニング分割ステップにおいて、
前記スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算するステップと、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定するステップと、を実行させる請求項１５記載の野球映像対応付け支援プログラム。
【請求項１８】
前記イニング分割ステップにおいて、
前記試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行うステップと、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納するステップと、を実行させる請求項１５記載の野球映像対応付け支援プログラム。
【請求項１９】
前記映像中イベント検出ステップにおいて、
前記メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する音響解析ステップ、
または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析ステップ、
または、前記音響解析ステップと前記画像解析ステップを組み合わせたステップのいずれかを実行させる請求項１５記載の野球映像対応付け支援プログラム。
【請求項２０】
前記対応付けステップは、
前記スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択するステップと、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求めるステップと、
前記対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力するステップと、を実行させる請求項１５記載の野球映像対応付け支援プログラム。
【請求項２１】
前記対応付けステップにおいて、
前記評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与えるステップと、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定するステップと、を実行させる請求項２０記載の野球映像対応付け支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、野球映像対応付け支援方法及び装置及びプログラムに係り、特に、野球のスコアブックとその野球の試合映像を対応付けるための野球映像対応付け支援方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ドキュメンタリー映像において、台本からの字幕作成のために、台本とその台本に基づいて作成された映像を対応付けるという研究が行われている。
【０００３】
従来の字幕スーパーを映像に自動的に表示するための方法においては、文頭の単語をキーワードとして指定した、キーワードスポッティングを用いて対応付けを行っている（例えば、特許文献１参照）。
【特許文献１】特開平１０−２５４４７８「音声原稿最適照合装置及び方法」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の方法では、例えば、キーワードとなる文頭に、同じ単語が頻出するような場合においては、正しい対応付けが困難であるという問題がある。
【０００５】
本発明は、上記の点に鑑みなされたもので、野球の試合に特化し、野球のスコアブックとその野球の試合映像とを対応付けることによってスコアブックに含まれる情報を映像に付与することを可能とし、また、対応付けを補正することが可能な野球映像対応付け支援方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
本発明は、野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援方法において、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出過程（ステップ１）と、
抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出過程（ステップ２）と、
野球の試合映像・音声が記録された映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段に格納するイニング分割過程（ステップ３）と、
分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出過程（ステップ４）と、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け過程（ステップ５）と、を行う。
【０００８】
また、本発明のスコアイベント検出過程において、
イベント発生時刻を設定する際に、
スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定する。
【０００９】
また、本発明のイニング分割過程において、
スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する過程と、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する過程と、を行う。
【００１０】
また、本発明のイニング分割過程において、
試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う過程と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する過程と、を行う。
【００１１】
また、本発明の映像中イベント検出過程において、
メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する、または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する、または、双方を組み合わせることによりイベントを検出する。
【００１２】
また、本発明の対応付け過程は、
スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択する過程と、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める過程と、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する過程と、を行う。
【００１３】
また、本発明の対応付け過程において、
評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える過程と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する過程と、を行う。
【００１４】
図２は、本発明の原理構成図である。
【００１５】
本発明は、野球の試合映像と試合のスコアブックのデータとを対応付けるための野球映像対応付け支援装置であって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段６０と、
スコアブック記憶手段６０からイニング毎のデータを読み込むスコアデータ読み込み手段９０と、
イニング毎のデータの対応付けに必要なスコアイベントＳｉを抽出し、抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出手段２０と、
野球の試合映像・音声が記録された映像記憶手段５０と、
映像記憶手段５０から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段７０に格納するイニング分割手段１０と、
分割映像記憶手段７０に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出手段３０、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付け手段４０と、を有する。
【００１６】
また、本発明のスコアイベント検出手段２３は、
イベント発生時刻を設定する際に、
スコアブック記憶手段６０抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定する手段を含む。
【００１７】
また、本発明のイニング分割手段１０は、
スコアブック記憶手段６０から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算する手段と、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定する手段と、を含む。
【００１８】
また、本発明のイニング分割手段１０は、
読み込まれた試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行う手段と、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納する手段と、を含む。
【００１９】
また、本発明の映像中イベント検出手段３０は、
メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する音響解析手段、
または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析手段、
または、音響解析手段と画像解析手段を組み合わせる手段のいずれかを含む。
【００２０】
また、本発明の対応付け手段４０は、
スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択する手段と、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求める手段と、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力する手段と、を含む。
【００２１】
また、本発明の対応付け手段４０は、
評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与える手段と、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定する手段と、を含む。
【００２２】
本発明は、野球の試合映像と試合のスコアブックのデータとを対応付けるコンピュータに実行させるための野球映像対応付け支援プログラムであって、
電子化された野球の試合のスコアブックデータが格納されたスコアブック記憶手段からイニング毎のデータを読み込み、対応付けに必要なスコアイベントＳｉを抽出するスコアイベント抽出ステップと、
抽出された各スコアイベントＳｉ毎にキャッチングまたはバッティングのいずれかのタイプを決定し、該スコアイベントＳｉに設定すると共に、該各スコアイベントＳｉ毎にイベント発生時刻を設定するスコアイベント検出ステップと、
野球の試合映像・音声が記録された映像記憶手段から試合映像を読み込み、該試合映像における全試合時間と、投球数の情報、あるいは、該映像中のテロップとして表示されるイニング情報及びカウント情報を用いて、該試合映像を攻守交替タイミング毎に分割し、分割映像記憶手段に格納するイニング分割ステップと、
分割映像記憶手段に格納されている分割された試合映像毎にメディア解析を行い、バッティングが行われた瞬間及びキャッチングが行われた瞬間を検出し、各瞬間毎に映像イベントＶｊとし、該バッティング及び該キャッチングの瞬間時刻を該映像イベントＶｊに設定すると共に、該バッティング及び該キャチングの動作をそれぞれタイプとして該映像イベントＶｊに設定する映像中イベント検出ステップと、
スコアイベントの集合ＳのイベントＳｉと映像イベントの集合ＶのイベントＶｊについて対応付けを行う対応付けステップと、をコンピュータに実行させる。
【００２３】
また、本発明のスコアイベント検出ステップにおいて、
イベント発生時刻を設定する際に、
スコアブック記憶手段に抽出されたスコアイベントに対応する時間情報が存在する場合には、該時間情報をイベント発生時刻として設定し、存在しない場合には、該スコアイベントが発生した時刻を所定の方法により予測し、イベント発生時刻として設定するステップを実行させる。
【００２４】
また、本発明のイニング分割ステップにおいて、
スコアブック記憶手段から読み込まれたデータから全投球数と試合時間を取得し、該投球数と該試合時間の比例配分により攻守交替タイミングを計算するステップと、
攻守交替のタイミングの前後ｎ分間を所定の時間単位でサムネイル表示し、オペレータにより選択されたサムネイルＮのメディアタイムに基づいて、攻守交替タイミングの時間を設定するステップと、を実行させる。
【００２５】
また、本発明のイニング分割ステップにおいて、
試合映像にイニング情報がテロップとして含まれる場合に、該テロップとして出現する映像の区域において、該イニング情報が出現する区域においてテロップ認識を行うステップと、
記憶手段に一時的に格納されている前に認識されたテロップ認識結果と現在のテロップ認識結果とを比較して、異なる場合に、現在の時刻を攻守交替のタイミングとして設定すると共に、該現在のテロップ認識結果を該記憶手段に格納するステップと、を実行させる。
【００２６】
また、本発明の映像中イベント検出ステップにおいて、
メディア解析として、
映像に付随する音声情報から、所定の閾値以上の打球音、捕球音を検出する音響解析を行うことによりイベントを検出する音響解析ステップ、
または、該映像から画像解析により投手の投球タイミングを検出した結果を用いてイベントを検出する画像解析ステップ、
または、音響解析ステップと画像解析ステップを組み合わせたステップのいずれかを実行させる。
【００２７】
また、本発明の対応付けステップは、
スコアイベントＳのうち、打球音が伴うイベントＳ＊を選択し、映像イベントＶのうち、打球音であると分類されたイベントＶ＊を選択するステップと、
選択されたイベントＳ＊，Ｖ＊のイニング内における時間的な順序関係を保持したまま生成が可能な対応付けの組Ｍｘを求めるステップと、
対応付けの組Ｍｘについて評価値を求め、該評価値の最も高いものを対応付けの結果として出力するステップと、を実行させる。
【００２８】
また、本発明の対応付けステップにおいて、
評価値を求める際に、
誤りのタイプ毎にペナルティ値を設定し、誤りの生起確率の少ない誤りに対しては大きなペナルティ値を与え、該誤りの生起確率の多い誤りに対しては小さなペナルティ値を与えるステップと、
イベント毎にペナルティ値の和を求め、最も和の小さいイベントの評価値を最も高く設定するステップと、を実行させる。
【発明の効果】
【００２９】
本発明は、電子化された野球のスコアブックとその野球の試合映像を対応付けることにより、スコアブックに含まれる情報を映像に付与することができる。
【００３０】
詳しくは、本発明では、野球映像には、打球音や捕球音が繰り返し含まれ、また重要なキーワードのような役割を担っていることに着目し、「１イニング−１打席−１球」といった構造に分解できる野球のようなスポーツにおいて、１打席の中に含まれるイベントの中でも、映像からの精度が高く、かつ数が少ないイベントを用いて候補を作成することによって高速な対応付けが可能である。
【００３１】
また、イベントに誤りが含まれている場合に、その誤りを精度は低いながら量的に勝るイベントとを組み合わせることによって、補正することが可能である。
【発明を実施するための最良の形態】
【００３２】
以下、図面と共に本発明の実施の形態を説明する。
【００３３】
本発明では、野球の試合のスコアブックとその野球の試合映像とを対応付けることによって電子的に記憶されたスコアブックに含まれる情報を映像に付与するものである。
【００３４】
以下では、電子スコアブックからイベントを抽出する処理、映像からイベントを抽出する処理、抽出された２つのイベントを対応付ける処理からなる映像へのメタデータ付与するための処理と共に、イベントを対応付ける処理の際に、精度が高く、少数であるイベントを用いて対応付けを行い、その後、量的に勝るイベントを用いて対応付けを補正する処理について説明する。
【００３５】
図３は、本発明の一実施の形態における野球映像対応付け支援装置の構成を示す。
【００３６】
同図に示す野球映像対応付け支援装置は、電子化スコアブック情報読み取り部９０、イニング分割部１０、スコアブック中イベント検出部２０、イベント対応表２１、映像中イベント検出部３０、イベント対応付け部４０、野球試合映像記憶部５０、電子化スコアブック記憶部６０、イニング分割野球試合映像記憶部７０、及び、入出力装置８０から構成される。
【００３７】
電子化スコアブック情報読み取り部９０は、電子化スコアブック記憶部６０から電子化されたスコアブックデータを読み込む。
【００３８】
イニング分割部１０は、野球試合映像記憶部５０に記憶されている野球試合映像・音声を読み込み、電子スコアブック情報読み取り部９０で読み取られたスコアブックデータのイニング毎の投球数、ストライク、ボール当の１球１球の結果を用いて攻守交替のタイミング毎に分割する。また、野球試合映像にイニング情報としてテロップが含まれている場合には、テロップ認識を行い、テロップに応じて攻守交替のタイミングを取得する。このようにして取得したイニング分割の映像・音声情報をイニング分割野球試合映像記憶部７０に格納する。
【００３９】
スコアブック中イベント検出部２０は、電子化スコアブック記憶部６０から読み出されたスコアブックデータから対応付けに当たり必要となるイベントを抽出する。さらに、抽出されたイベントをイベント対応表２１を用いて、イベントごとのタイプに変換する。また、イベント毎の生起時刻を予測し、各イベント毎の予測発生時間を設定する。
【００４０】
映像中イベント検出部３０は、イニング分割野球試合映像記憶部７０に記憶されている映像・音声についてメディア解析を行い、バッティングを行った瞬間、キャッチングを行った瞬間を検出する。
【００４１】
イベント対応付け部４０は、スコアブックイベント検出部２０で検出されたスコアイベントの集合と、映像中イベント検出部３０から取得した映像イベントの集合の最適な対応付けを行う。
【００４２】
野球試合映像記憶部５０は、野球試合の映像・音声が記憶されており、映像中にテロップが含まれていてもよい。
【００４３】
電子化スコアブック記憶部６０は、図４に示すように、スコアブックデータ、守備状態、時間情報の各テーブルを有する。（Ａ）スコアブックデータテーブルには、イニング毎の情報が格納される。守備状態テーブル（Ｂ）は、（Ａ）の守備状態の欄に対応するテーブルであり、守備状態番号毎に各ポジションの選手名が記録されている。時間情報テーブル（Ｃ）は、（Ａ）のメディアタイムの欄に対応するものであり、イニングＩＤとメディアタイムから構成されている。
【００４４】
イニング分割野球試合映像記憶部７０は、イニング分割部１０で分割された映像・音声情報を格納する。
【００４５】
次に、上記の構成における動作を説明する。
【００４６】
図５は、本発明の一実施の形態における全体の動作のフローチャートである。
【００４７】
ステップ１００）  電子化スコアブック情報読み取り部９０が、電子化スコアブック記憶部６０から電子化された野球のスコアブックデータテーブルの内容を読み込み、スコアブック中イベント検出部２０に転送すると共に、イニング毎の投球数、ストライク、ボールなどの１球１球の結果などといったイニング分割に必要な情報をイニング分割部１０に転送する。
【００４８】
ステップ１０１）  イニング分割部１０は、野球試合映像記憶部５０から野球映像を入力し、全試合時間と投球数の情報、あるいは、テロップとして表示されるイニング、カウントの情報を用いて攻守交替タイミング毎に分割し、イニング分割された野球映像をイニング分割野球試合映像記憶部７０に記憶する。
【００４９】
ステップ１０２）  スコアブック中イベント検出部２０は、ステップ１００で読み込まれたスコアブックデータから対応付けにあたって必要となるスコアイベントを抜き出す。さらに、それらの、スコアイベントをイベント対応表２１を用いて、例えば、最初のバッターが｛ストライク、ボール、ファール、センター前ヒット｝であれば、
Ｓ１＝ストライク  Ｔｙｐｅ（Ｓ１）＝Ｃａｔｃｈｉｎｇ
Ｓ２＝ボール      Ｔｙｐｅ（Ｓ２）＝Ｃａｔｃｈｉｎｇ
Ｓ３＝ファール    Ｔｙｐｅ（Ｓ３）＝Ｂａｔｔｉｎｇ
Ｓ４＝ヒット      Ｔｙｐｅ（Ｓ４）＝Ｂａｔｔｉｎｇ
のように変換する。また、そのイベントが起こった時刻を予測し、全てのスコアイベントＳｉに対して、Ｓｉの予測発生時間Ｔｉｍｅ（Ｓｉ）を設定する。また、Ｓｉの集合をＳと表すことにする。
【００５０】
ステップ１０４）  映像中イベント検出部３０は、イニング分割野球試合映像記憶部７０の映像からメディア解析によって、バッティングを行った瞬間、キャッチングを行った瞬間を検出する。キャチャーがボールを捕った瞬間の音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｃａｔｃｈｉｎｇ
とし、バッターがボールを打った瞬間を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｂａｔｔｉｎｇ
とする。また、検出した時の時間をＴｉｍｅ（Ｖｊ）に設定する。また、映像イベントＶｊの集合をＶと表すこととする。
【００５１】
ステップ１０５）  イベント対応付け部４０は、スコアブック中イベント検出部２０で取得した、スコアイベントの集合Ｓと、映像中イベント検出部３０で取得した映像イベントの集合Ｖの最適な対応付けＭ（Ｓ）を求めて出力する。
【００５２】
例えば、スコアイベントＳが、
Ｓ１＝ストライク    Ｔｙｐｅ（Ｓ１）＝Ｃａｔｃｈｉｎｇ  Ｔｉｍｅ（Ｓ１）＝１０
Ｓ２＝ボール        Ｔｙｐｅ（Ｓ２）＝Ｃａｔｃｈｉｎｇ  Ｔｉｍｅ（Ｓ２）＝３０
Ｓ３＝ファール      Ｔｙｐｅ（Ｓ３）＝Ｂａｔｔｉｎｇ    Ｔｉｍｅ（Ｓ３）＝５０
Ｓ４＝ヒット        Ｔｙｐｅ（Ｓ４）＝Ｂａｔｔｉｎｇ    Ｔｉｍｅ（Ｓ４）＝７０
というスコアブックの集合Ｓに対して、
Ｔｙｐｅ（Ｖ１）＝Ｃａｔｃｈｉｎｇ    Ｔｉｍｅ（Ｖ１）＝１１
Ｔｙｐｅ（Ｖ２）＝Ｃａｔｃｈｉｎｇ    Ｔｉｍｅ（Ｖ２）＝１５
Ｔｙｐｅ（Ｖ３）＝Ｃａｔｃｈｉｎｇ    Ｔｉｍｅ（Ｖ３）＝２８
Ｔｙｐｅ（Ｖ４）＝Ｂａｔｔｉｎｇ      Ｔｉｍｅ（Ｖ４）＝４６
Ｔｙｐｅ（Ｖ５）＝Ｃａｔｃｈｉｎｇ    Ｔｉｍｅ（Ｖ５）＝５２
Ｔｙｐｅ（Ｖ６）＝Ｂａｔｔｉｎｇ      Ｔｉｍｅ（Ｖ６）＝６９
という映像からの映像イベント列（Ｖ）が得られた場合、
Ｓ１―――Ｖ１
Ｓ２―――Ｖ３
Ｓ３―――Ｖ４
Ｓ４―――Ｖ６
という対応付けの組を出力する。これを、
Ｍａｔｃｈ（Ｓ１）＝Ｖ１
Ｍａｔｃｈ（Ｓ２）＝Ｖ３
Ｍａｔｃｈ（Ｓ３）＝Ｖ４
Ｍａｔｃｈ（Ｓ４）＝Ｖ６
と表し、スコアイベントＳ全体に対する対応付けを、
Ｍ（Ｓ）＝｛Ｖ１，Ｖ３，Ｖ４，Ｖ６｝
と表すこととする。
【００５３】
次に、上記のステップ１００について詳細に説明する。
【００５４】
イニング分割部１０は、データベースである電子化スコアブック記憶部６０から、電子化されたスコアブックデータの読み込みを行う。スコアブックデータは、通常のスコアブックと略等価な情報をもつ（通常のスコアブックのサブセット）。
【００５５】
図４は、本発明の一実施の形態における電子化スコアブック記憶部のテーブル例を示す。
【００５６】
電子化スコアブック記憶部６０から読み出されるスコアブックデータテーブル（Ａ）は、イニングの情報、打順、打者名、カウント、得点、１塁ランナーの有無のフラグ、２塁ランナーの有無のフラグ、３塁ランナーの有無のフラグ、守備状態テーブルを参照する番号、結果、メディアタイム、イニング内での投球ＩＤであるｉＩＤ、試合全体での投球ＩＤの各情報を有する。但し、メディアタイムに関しては、図４（Ｃ）に示すように、別のテーブルとしても構わない。また、守備状態テーブル（Ｂ）は、スコアブックデータテーブル（Ａ）から参照されるＩＤ及び、各守備位置の選手名を持つ。
【００５７】
次に、イニング分割部１０における、上記のステップ１０１の野球映像を攻守交替のタイミング毎に分割するイニング分割の動作を詳細に説明する。
【００５８】
図６は、本発明の一実施の形態におけるイニング分割処理のフローチャート（その１）である。
【００５９】
ステップ２０１）  イニング分割部１０は、読み込まれたスコアブックデータテーブルから全投球数と全試合時間を取得し、その比例配分で、攻守交替タイミングを決定する。全投球数がＭ球、全試合時間Ｔで、１回表に投手がｍ１球投じたのであれば、最初の攻守交替のタイミングは、
Ｃｈａｎｇｅ（１）＝Ｔ×ｍ１／Ｍ
となり、以降、
Ｃｈａｎｇｅ（ｎ）＝Ｔ×Σ（ｍｎ）／Ｍ
となる。ここで、ｍｎは、ｎ回目の攻守切替の時の投球数である。しかしこのままでは不正確であるので、以降の処理によって補正を行う。
【００６０】
ステップ２０２）  ｉ＝に初期化する。
【００６１】
ステップ２０３）  ｉ＝ｉ＋１とする。
【００６２】
ステップ２０４）  Ｃｈａｎｇｅ（ｉ）の前後ｎ分間を、ａ秒単位で入出力装置８０のディスプレイにサムネイル表示を行い、オペレータに提示する。
【００６３】
ステップ２０５）  オペレータは、攻守交替のタイミングであるサムネイル（Ｎ）をクリックする。
【００６４】
ステップ２０６）  イニング分割部１０は、ステップ２０５でオペレータがクリックしたサムネイルＮのメディアタイムであるＴｉｍｅ（Ｎ）によって、ｉ回目の攻守交替のタイミングＣｈａｎｇｅ（ｉ）をＴｉｍｅ（Ｎ）に設定する。
【００６５】
ステップ２０７）  全てのイニングの終了タイミングが設定済みであれば処理を終了し、そうでなければステップ２０３に移行する。
【００６６】
また、次に、ステップ１０１の別の処理形態として、テロップ認識を用いる方法について説明する。
【００６７】
図７は、本発明の一実施の形態におけるイニング分割処理のフローチャート（その２）である。
【００６８】
ステップ３０２）  メモリ（図示せず）内の前の認識結果にφを代入して初期化する。
【００６９】
ステップ３０３）  認識対象時刻を所定の単位時間進める。
【００７０】
ステップ３０４）  野球試合映像記憶部５０から読み込んだ映像において、イニング情報がテロップとして出現する区域において、テロップが出現しているか否かの判断を行い、テロップが出現していれば、ステップ３０５に移行し、なければステップ３０３に移行する。
【００７１】
ステップ３０５）  イニング情報が出現する区域において、テロップ認識を行い、認識結果を一時的にメモリ等に格納する。
【００７２】
ステップ３０６）  前のテロップ認識結果と現在のテロップ認識結果を比較して、同じであれば、ステップ３０３に移行し、異なればステップ３０７に移行する。
【００７３】
ステップ３０７）  現在の時刻ｔを攻守交替のタイミングとし、ｉ回目の攻守交替タイミングＣｈａｎｇｅ（ｉ）にｔを設定する。
【００７４】
ステップ３０８）  メモリに格納された前のテロップ認識結果に、現在のテロップ認識結果を記録する。
【００７５】
ステップ３０９）  全イニングが終了のタイミングが設定済みであるかをチェックして、終わっていなければステップ３０３に移行する。
【００７６】
次に、前述のステップ１０４のスコアブック中イベント検出部２０における、読み込んだスコアブックデータからストライク、ボール等の対応付けに必要なイベントを抜き出し、その発生時刻を予測するスコアブックデータからのイベント検出処理について説明する。
【００７７】
図８は、本発明の一実施の形態におけるスコアブックデータからの検出処理のフローチャートである。
【００７８】
ステップ４０１）  ｉ＝０と初期化する。
【００７９】
ステップ４０２）  ｉをインクリメントする。
【００８０】
ステップ４０３）  読み込んだスコアブックデータからｉＩＤ（イニング内での投球ＩＤ）＝ｉのイベントを取り出す。
【００８１】
ステップ４０４）  スコアイベントＳｉを図９に示すイベント対応表２１と照合する。イベント対応表２１にスコアイベントＳｉが存在していれば、ステップ４０５に移行し、存在していなければステップ４０３に移行する。
【００８２】
ステップ４０５）  スコアイベントＳｉに対応するＴｙｐｅ属性を、スコアイベントＳｉのイベントタイプＴｙｐｅ（Ｓｉ）として設定する。例えば、『Ｓｉ＝ヒット』であれば、
Ｔｙｐｅ（Ｓｉ）＝Ｂａｔｔｉｎｇ
となる。
【００８３】
ステップ４０６）  スコアブックデータに付随する時間情報の有無を判定する。電子化スコアブック記憶部６０に時間情報テーブルが付随しているかを判定し、付随している場合にはステップ４０７に移行し、ない場合にはステップ４０８に移行する。
【００８４】
ステップ４０７）  スコアブックデータテーブルのメディアタイム欄に記録が付けられた時刻が記録されている場合に行われる処理であり、記録が入力された時刻（試合を見ながらスコアブックを記入した時刻）をスコアイベントＳｉの暫定的なイベント発生時刻Ｔｉｍｅ（Ｓｉ）として設定する。
【００８５】
ステップ４０８）  スコアブックデータテーブルに記録が付けられた時刻が記録されていない場合には、スコアイベントＳｉが発生した時刻を予測して、Ｔｉｍｅ（Ｓｉ）に設定する。
【００８６】
その予測方法の一例を説明する。あるイニングがＴの時間を要し、その間にＮ人の打者が登場し、打者毎の投球数をｐ（ｎ）、経験的に打者交代に係る時間を、Ｔｃとしたときに、イベントＳｋをｉ番目のバッターのｊ球目の場合には、
Ｔｉｍｅ（Ｓｋ）＝（Ｔ−Ｔｃ×（N―１））×ｊ／Σｐ（ｎ）＋（i−１）×Ｔｃ
となる。
【００８７】
なお、投手毎、シチュエーション毎のインターバル時間の知識データベースを作成し、その知識からより高精度にＴｉｍｅ（Ｓｋ）を予測することも可能である。
【００８８】
ステップ４０９）  スコアブックデータテーブルのデータを最後まで処理しているかを判定する。終わっていれば、当該処理を終了し、終わっていなければステップ４０２に移行する。
【００８９】
次に、前述のステップ１０４の映像中イベント検出部３０において、映像から映像イベントＶｊを検出する処理について説明する。
【００９０】
図１０は、本発明の一実施の形態における映像中イベント検出処理のフローチャートである。
【００９１】
以下では、映像中イベント検出部３０が、映像中イベントとして、映像中の音響解析を用いて、バッティングやキャッチングに伴って発生する音（打球音・捕球音）を検出する処理について説明する。
【００９２】
ステップ５０１）  ｊ＝０と初期化する。
【００９３】
ステップ５０２）  ｊ＝ｊ＋１とする。
【００９４】
ステップ５０３）  音響解析により、打球音、捕球音の検出を行い、打球音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｂａｔｔｉｎｇ
捕球音を検出した場合には、
Ｔｙｐｅ（Ｖｊ）＝Ｃａｔｔｉｎｇ
と設定する。
【００９５】
ここで、音響解析の方法の一例を示す。なお、音響解析には、バンドパスフィルタ、パワーサンプラ、比較器を有する音響解析装置を利用するものとする。
【００９６】
図１１は、本発明の一実施の形態における音響解析処理のフローチャートである。
【００９７】
ステップ１２０１）  音響信号をｗａｖ（ｊ）に格納する。
【００９８】
ステップ１２０２）  ｗａｖ（ｊ）をバンドパスフィルタに通す。
【００９９】
ステップ１２０３）  ｊ番目のサンプルから、Ｘサンプル取り出し、ｗサンプル幅ずつ、ｓサンプルずらして切り出して、その区間のパワーを計算し、順にｐ（ｉ）とする。
【０１００】
ステップ１２０４）  パワーｐ（ｉ）が、図１２に示すように、所定の閾値ｔｈ１より大きくなり、所定の閾値ｔｈ２よりも大きくなってから、ｔｈ１より小さくなるまでに要する時間が、所定の閾値ｔｈ３以上かつ閾値ｔｈ４以下である部分を取り出す。
【０１０１】
ステップ１２０５）  ステップ１２０４で取り出された部分に関して近傍Ｙサンプルとの相関をとる。
【０１０２】
ステップ１２０６）  相関が所定の閾値以上であれば、ステップ１２０８に移行し、閾値以下であれば、ステップ１２０７に移行する。
【０１０３】
ステップ１２０７）  打球音、捕球音のパワー変化、周波数分布の特徴から作成されたテンプレートとのマッチングを行い、打球音か捕球音かの分類を行う。
【０１０４】
ステップ１２０８）  全サンプル終了しているかを確認し、終了していなければ、ステップ１２０９に移行する。
【０１０５】
ステップ１２０９）  ｊ＝ｊ＋αとし、ステップ１２０３に移行する。
【０１０６】
ステップ５０４）  映像の最後の音声について検出処理が終了したかを確認し、終了していれば当該処理を終了し、終了していなければステップ５０２に移行する。
【０１０７】
次に、ステップ１０４において、映像にテロップ表示が挿入されている場合に、当該テロップの認識結果を用いることが考えられる。その例を以下に示す。
【０１０８】
図１３は、本発明の一実施の形態におけるテロップ認識結果を用いて映像中のイベントを検出する処理のフローチャートである。
【０１０９】
ステップ６０１）  ｉ＝１，ｔ＝０に初期化する。
【０１１０】
ステップ６０２）  時間間隔α＝５秒と設定する。
【０１１１】
ステップ６０３）  時刻ｔからｔ＋αにおける、ストライク・ボール・アウトに関する情報が記述された部分のテロップの変化から、投手の投球数をカウントする。
【０１１２】
ステップ６０４）  ｔからｔ＋αの投球数Ｎが一意に確定するか判断する。この例を図１４を用いて説明する。図１４（ａ）に示すような変化が起きた場合、ボールが１球投げられたということが確定する。しかし、同図（ｂ）のような場合、ファールは２ストライク以降、カウントには変化が生じないため、何球投げられたのかがわからない。αを小さく設定し、その間に２球投じられることがないように設定すれば、（ｂ）のような場合には１球であると判断可能であるが、それでも同図（ｃ）のような場合には、ファールが打たれているかも知れないし、ボールが投げられているのかもしれない。
【０１１３】
しかしこのような場合でも、同図（ｄ）のような状況になれば、打者が変わっていることが分かり、スコアブックの情報を用いれば、その間に何球投げられたかを確定することが可能である。
【０１１４】
確定できる場合には、ステップ６０５に移行し、確定できない場合にはステップ６０６に移行する。
【０１１５】
ステップ６０５）  時刻ｔからｔ＋αにおいて、N球の打球音あるいは捕球音を検出し、
Ｔｙｐｅ（Ｖ（ｊ＋ｎ））、  Ｔｉｍｅ（Ｖ（ｊ＋ｎ））  （ｎ＝１，２，…，Ｎ）
と設定し、ステップ６０７に移行する。
【０１１６】
ステップ６０６）  時間間隔αを大きくしてステップ６０４に移行する。なお、時間間隔αは、予め決定された時間間隔分大きくするものとする（例えば３秒）。
【０１１７】
ステップ６０７）  ｉ＝ｉ＋１とする。
【０１１８】
ステップ６０８）  映像の最後まで検出が行われていれば、処理を終了し、そうでなければステップ６０９に移行する。
【０１１９】
ステップ６０９）  ｔ＝ｔ＋αとしてステップ６０２に移行する。
【０１２０】
上記の処理は、ある時刻tにおけるテロップの状態と、別の時刻ｔ＋αのテロップ状態を比較して、その差を見ることで、時間間隔αにおける投球数を知るためのものである。例えば、（Ａ）５秒間に投球がなかった場合、（Ｂ）２ストライクの後でのファールでカウントの変化がなかった場合などの状況でテロップ状態に変化がなく、時間間隔α秒での投球数が不明となるため、ステップ６０６において、時間間隔αを所定の値大きくすることで、テロップの状態に変化があったかを判断する。そして、変化があった時点で、スコアブックから得られた情報を用いて時間間隔αにおける投球数を知ることが可能になる。
【０１２１】
さらに、上記のステップ１０４における他の方法として、映像からの画像解析により、投手の投球タイミングを検出した結果を用いることを考える。
【０１２２】
図１５は、本発明の一実施の形態における映像の画像解析によるイベント検出処理のフローチャートである。
【０１２３】
ステップ７０１）  ｋ＝１，ｊ＝１，ｉ＝１と初期化する。
【０１２４】
ステップ７０２）  映像の動き解析により、投球イベントを検出し、Ｐｋとし、その時の時刻をＴｉｍｅ（Ｐｋ）にセットする。映像の動き解析の手法としては、例えば、「K.Fujii and K. Arakawa,“Video editing based on motion recognition using temporal templates”Proceeding of ACM User Interface Software Technology(UIST)2003」に示される方法がある。当該文献の手法を当該ステップの処理に適用し、イニング分割野球試合映像記憶部７０に格納されているイニングに分割された野球映像を入力し、Ｐｋ（ピッチングまたは、牽制球）のイベントを検出し、検出した時の映像の時刻をＴｉｍｅ（Ｐｋ）に設定することが可能である。
【０１２５】
ステップ７０３）  ｋをインクリメントする。
【０１２６】
ステップ７０４）  映像の最後まで検出が行われたかを判断し、終わっていなければ、ステップ７０２に移行し、終わっていればステップ７０５に移行する。
【０１２７】
ステップ７０５）  映像の音響解析異より打捕球音を検出し、Ｓｊとし、そのときの時刻をＴｉｍｅ（Ｓｊ）にセットする。
【０１２８】
ステップ７０６）  ｊをインクリメントする。
【０１２９】
ステップ７０７）  映像の最後まで検出が行われているかを判定し、終了していなければステップ７０５に移行し、音響解析によって得られたイベントＳｊについて、全てのＰｋに対して、
ｂ＜Ｔｉｍｅ（Ｓｊ）−Ｔｉｍｅ（Ｐｋ）＜Ｔｈ
つまり、打捕球音Ｓｊの直前に投球フォームＰｋが検出されているようなＰｋを検索する。上記の式を満たすようなＰｋがあれば、Ｓｊをイベント検出結果Ｖｉとする。
【０１３０】
ステップ７０９）  ｉをインクリメントする。
【０１３１】
ステップ７１０）  全てのＳｊについて、チェックしたかを検証し、終わっていれば、当該処理を終了し、終わっていなければステップ７０８に移行する。
【０１３２】
次に、前述のステップ１０５のイベント対応付け部４０における、スコアブックデータからのスコアイベントＳと、映像からの映像イベントＶとの最適な対応付け処理について説明する。
【０１３３】
図１６は、本発明の一実施の形態におけるイベント対応付け処理のフローチャートである。
【０１３４】
ステップ８０１）  スコアブック中イベント検出部２０においてスコアブックデータから検出したスコアイベントＳのうち、打球音が伴うイベントを選び出し、これをＳ＊とする。
【０１３５】
ステップ８０２）  映像中イベント検出部３０において映像から検出した映像イベントＶのうち、打球音であると分類されたＶｊを選び出し、これをＶ＊とする。
【０１３６】
ステップ８０３）  上記のＳ＊、Ｖ＊内のイベントをイニング内における時間的な順序関係を保持したまま生成が可能である全ての対応付けの組を求める。これを、Ｍｘ（ｘ＝１，２，…）とする。
【０１３７】
ステップ８０４）  ステップ８０３で生成した全ての対応付けの組について評価を行う。
【０１３８】
ステップ８０５）  評価の最も良いものを選択し、対応付けの結果として出力する。
【０１３９】
ここで、上記のステップ８０３における対応付けの組を求める処理について詳細に説明する。
【０１４０】
図１７は、本発明の一実施の形態における対応付けの組を求める処理のフローチャートである。以下では、ｉ１，ｉ２，ｉ３，…，ｉＭの複数のカウンタを利用する。
【０１４１】
ステップ９０１）  ｉ1＝０と初期化する。
【０１４２】
ステップ９０２）  ｉ２＝ｉ１＋１と初期化する。
【０１４３】
ステップ９０３）  ｉ３=ｉ２＋１と初期化する。
【０１４４】
ステップ９０４）  ｉＭ＝ｉ（Ｍ−１）＋１と初期化する。
【０１４５】
ステップ９０５）  スコアブック中イベント検出部２０で検出された打球音が伴うイベントＳ＊と、映像中イベント検出部３０で検出された打球音の伴うイベントＶ＊の対応付けの組を、
Ｍｘ＝｛(Ｓ＊ｉ１，Ｖ＊ｉ１)，(Ｓ＊ｉ２，Ｖ＊ｉ２)，…，(Ｓ＊ｉＭ，Ｖ＊ｉＭ)｝
を生成する。
【０１４６】
ステップ９０６）  Mｘのｘをインクリメントする。
【０１４７】
ステップ９０７）  ｉＭが映像中に含まれる打球音の数を超えているか判断し、こえていなければステップ９０８に移行し、そうでなければステップ９０９へ移行する。
【０１４８】
ステップ９０８）  ｉＭをインクリメントする。
【０１４９】
ステップ９０９）  ｉ３がｉ４より小さいか判断し、小さければステップ９１０に移行し、そうでなければステップ９１１へ移行する。
【０１５０】
ステップ９１０）  ｉ３をインクリメントしてステップ９０４へ移行する。
【０１５１】
ステップ９１１）  ｉ２がｉ３より小さいか判断し、小さければステップ９１２へ移行し、そうでなければ、ステップ９１３に移行する。
【０１５２】
ステップ９１２）  ｉ２をインクリメントし、ステップ９０３に移行する。
【０１５３】
ステップ９１３）  ｉ１がｉ２より小さいか判断し、小さければステップ９１４へ移行し、そうでなければ処理を終了する。
【０１５４】
ステップ９１４）  ｉ１をインクリメントしてステップ９０２へ移行する。
【０１５５】
次に、上記のステップ８０４の評価処理について説明する。
【０１５６】
以下では、打球音だけを用いて生成した対応付けの組Ｍｘ（ｘ＝１，２，…）について以下の処理を繰り返す。
【０１５７】
図１８は、本発明の一実施の形態における対応付けの組に対する評価処理のフローチャートである。
【０１５８】
ステップ１００１）  イベント対応付け部４０は、映像中イベント検出部３０で取得した打球音だけを用いて生成した対応付けの組Ｍｘ（ｘ＝１，２，…）について以下の処理を繰り返す。
【０１５９】
ステップ１００２）  対応付けの組Ｍｘを打球音区間に分割する。ここで、打球音区間とは、スコアブックのデータのイニング開始から打球音、または打球音から打球音、または、打球音からイニング終了のいずれかとし、スコアブックのデータ上では、打球音区間の間には打球音は含まれないものとする。
【０１６０】
ステップ１００３）  各打球音区間について、スコアブック中イベント検出部２０でスコアブックのデータから検出したスコアイベントＳのうち、捕球音を伴うイベントを選択し、Ｓ’とする。
【０１６１】
ステップ１００４）  打球音区間に含まれる、映像中イベント検出部３０で検出された映像イベントをＶ’とする。
【０１６２】
ステップ１００５）  上記のＳ’とＶ’の全ての対応付けの組を求める。
【０１６３】
ステップ１００６）  各対応付けについて、対応付けの誤りのタイプを判定し、ペナルティ値を設定する。
【０１６４】
ステップ１００７）  ステップ１００５で作成した全ての対応付けのうち、ペナルティ値が最も小さい対応付けを選択し、打球音区間の対応付け結果とする。また、そのときのペナルティ値を当該打球音区間の評価値とする。
【０１６５】
ステップ１００８）  ステップ１００２で作成した打球音区間すべてについて、上記の評価値を全て足し合わせ対応付けの評価値とする。
【０１６６】
次に、上記のステップ１００４における打球音区間のイベントの処理について説明する。図１９は、本発明の一実施の形態における打球音区間のイベントの処理のフローチャートである。
【０１６７】
ステップ１１０１）  イベント対応付け部４０は、スコアブック中イベント検出部２０で検出された打球音に対する打球音区間の各イベントについて以下の処理を行う。
【０１６８】
ステップ１１０２〜ステップ１１１１の処理は、誤りのタイプを判定し、ペナルティ値を設定している処理である。誤りのタイプは以下の４種類がある。
・タイプ１：スコアブックのデータの捕球音を打球音として検出してしまった場合；
・タイプ２：スコアブックのデータの捕球音を検出漏れしてしまった場合；
・タイプ３：スコアブックのデータの打球音でも捕球音でもないところで、捕球音を検出してしまった場合；
・タイプ４：スコアブックのデータの打球音でも捕球音でもないところで、打球音を検出してしまった場合；
ステップ１１０３、１１０５、１１０７、１１０９、１１１１において、上記の誤りのタイプによるペナルティ値の大きさを設定する。
【０１６９】
ペナルティ値の大きさは、タイプごとに誤りの生起確率によって決めるものとする。生起確率の少ない誤りのタイプには大きいペナルティ値を設定し、生起確率の大きな誤りのタイプには小さいペナルティ値を設定する。図１８におけるＰはペナルティ値を示す。
【０１７０】
ここで、ステップ１１０３において、Ｐ＝ｐ０としているが、例えば、イベントＳｉの生起測時刻Ｔｉｍｅ（Ｓｉ）と、実際に生起した時刻との差（Ｔ）をペナルティ値を決定する要素に加え、
Ｐ＝ｐ０×αＴ
のように設定することも可能である。
【０１７１】
ステップ１１１２）  打球音区間内のイベント毎の認識誤りによるペナルティ値Ｐの和を求める。
【０１７２】
ステップ１１１３）  全てのイベントについて処理が終了しているかを判断し、終了していなければステップ１１０２に移行し、そうでなければステップ１１１４に移行する。
【０１７３】
ステップ１１１４）  ステップ１１１２で求められた累積されたペナルティ値Ｐを対応付けの評価値として終了する。
【０１７４】
なお、上記の実施の形態における図５〜図８、図１０、図１１、図１３、図１５〜図１８に示すフローチャートをプログラムとして構築し、野球映像対応付け支援装置として利用されるコンピュータのＣＰＵ等の制御手段に実行させることも可能である。
【０１７５】
また、構築されたプログラムを野球映像対応付け支援装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実行時にコンピュータにインストールすることも可能である。
【０１７６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【０１７７】
本発明は、野球のようなスポーツの試合映像と、スコアブック等のように試合中または、試合終了後に編集されたデータとを対応付け、映像に編集されたデータを付与するようなシステムに適用可能である。
【図面の簡単な説明】
【０１７８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における野球映像対応付け支援装置の構成図である。
【図４】本発明の一実施の形態における電子化スコアブック記憶部のテーブルの例である。
【図５】本発明の一実施の形態における全体の動作のフローチャートである。
【図６】本発明の一実施の形態におけるイニング分割処理のフローチャート（その１）である。
【図７】本発明の一実施の形態におけるイニング分割処理のフローチャート（その２）である。
【図８】本発明の一実施の形態におけるスコアブックデータからのイベント検出処理のフローチャートである。
【図９】本発明の一実施の形態におけるイベント対応表の例である。
【図１０】本発明の一実施の形態における映像中イベント検出処理のフローチャートである。
【図１１】本発明の一実施の形態における音響解析処理のフローチャートである。
【図１２】本発明の一実施の形態における音響信号の区間のパワーの抽出処理を説明するための図である。
【図１３】本発明の一実施の形態におけるテロップ認識結果を用いて映像中のイベントを検出する処理のフローチャートである。
【図１４】本発明の一実施の形態におけるテロップの変化から投球数を求める例である。
【図１５】本発明の一実施の形態における映像の画像解析によるイベント検出処理のフローチャートである。
【図１６】本発明の一実施の形態におけるイベント対応付け処理のフローチャートである。
【図１７】本発明の一実施の形態における対応付けの組を求める処理のフローチャートである。
【図１８】本発明の一実施の形態における対応付けの組に対する評価処理のフローチャートである。
【図１９】本発明の一実施の形態における打球音区間のイベントの処理のフローチャートである。
【符号の説明】
【０１７９】
１０  イニング分割手段、イニング分割部
２０  スコアイベント検出手段、スコアイベント検出部
２１  対応表
３０  映像中イベント検出手段、映像中イベント検出部
４０  対応付け手段、対応付け部
５０  映像記憶手段、野球試合映像記憶部
６０  スコアブック記憶手段、電子化スコアブック記憶部
７０  分割映像記憶手段、イニング分割野球試合映像記憶部
８０  入出力装置
９０  スコアデータ読み込み手段、電子化スコアブック情報読み取り部
【図１】
2005236541.tif 000003
【図２】
2005236541.tif 000004
【図３】
2005236541.tif 000005
【図４】
2005236541.tif 000006
【図５】
2005236541.tif 000007
【図６】
2005236541.tif 000008
【図７】
2005236541.tif 000009
【図８】
2005236541.tif 000010
【図９】
2005236541.tif 000011
【図１０】
2005236541.tif 000012
【図１１】
2005236541.tif 000013
【図１２】
2005236541.tif 000014
【図１３】
2005236541.tif 000015
【図１４】
2005236541.tif 000016
【図１５】
2005236541.tif 000017
【図１６】
2005236541.tif 000018
【図１７】
2005236541.tif 000019
【図１８】
2005236541.tif 000020
【図１９】
2005236541.tif 000021