(57)【要約】【課題】  野球放送の映像の中から投球シーンを抽出して、重要な場面だけのダイジェスト画像を自動的に作成する。【解決手段】  シーン解析装置４は、デコーダ３からの入力画像の水平方向のエッジ検出を行って、検出したエッジの垂直方向の分布を検出し、検出した分布の特徴から入力画像が野球における投球シーンであるか否かを判別する。【選択図】  図１
2006203498.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の水平方向のエッジ検出を行うエッジ検出手段と、
前記エッジ検出手段によって検出されたエッジの垂直方向の分布を検出する分布検出手段と、
前記分布検出手段によって検出された分布の特徴から入力画像が野球における投球シーンであるか否かを判別するシーン判別手段と、
を備えた画像処理装置。
【請求項２】
前記シーン判別手段は、入力画像から作成した分布と予め与えられた見本画像から作成した分布との類似度によって入力画像が野球における投球シーンであるか否かを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーン判別手段は、入力画像から作成した分布の最大値が垂直方向の所定範囲内にあるか否かによって入力画像が野球における投球シーンであるか否かを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジ検出手段は、入力画像を２値化した後にエッジ検出を行うことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
入力画像の水平方向のエッジ検出を行う第１のステップと、
前記第１のステップによって検出されたエッジの垂直方向の分布を検出する第２のステップと、
前記第２のステップによって検出された分布の特徴から入力画像が野球における投球シーンであるか否かを判別する第３のステップと、
を実行する画像処理のプログラム。
【請求項６】
前記第３のステップは、入力画像から作成した分布と予め与えられた見本画像から作成した分布との類似度によって入力画像が野球における投球シーンであるか否かを判別することを特徴とする請求項５に記載の画像処理のプログラム。
【請求項７】
前記第３のステップは、入力画像から作成した分布の最大値が垂直方向の所定範囲内にあるか否かによって入力画像が野球における投球シーンであるか否かを判別することを特徴とする請求項５に記載の画像処理のプログラム。
【請求項８】
前記第１のステップは、入力画像を２値化した後にエッジ検出を行うことを特徴とする請求項５ないし７のいずれか１項に記載の画像処理のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理のプログラムに関し、特に、野球の入力画像を処理する画像処理装置および画像処理のプログラムに関するものである。
【背景技術】
【０００２】
テレビ放送の画像や録画された画像を構成する複数の連続するフレーム画像の動画像から、必要なフレーム画像を選択してダイジェスト画像を生成する画像処理は広く知られている。
ある提案のダイジェスト作成方法においては、特定のテレビ番組の開始時刻にあわせて番組の内容と構成を表現するダイジェストを作成する場合に、映像信号中のSync信号が検出される度にフレーム画像の取り込み、新しいフレームが取り込まれた順に番号nを付し、取り込まれたフレーム画像fnについて色ヒストグラムHnを作成し、作成した色ヒストグラムHnと、１つ前のフレームfn-1の色ヒストグラムHn-1との間の相違点R1nを求め、相違点R1nが閾値th1を超えている場合には、カットの変わり目と判定し、フレーム画像fnをダイジェスト情報としてファイルに記録するような構成になっている。（特許文献１参照）
また、ある提案のダイジェスト作成システムにおいては、映像情報に同期して付加されている音情報をもとに、映像情報の特徴画像又は特徴シーンを抽出する音情報抽出手段と、映像情報から文字情報を含むテロップ映像を抽出するテロップ抽出手段と、音情報抽出手段により抽出された特徴画像又は特徴シーン、およびテロップ抽出手段により抽出されたテロップ映像を組合わせて新たな特徴映像を抽出する組み合わせ処理手段と、組み合わせ処理手段により抽出された特徴映像をもとにダイジェスト映像を作成するダイジェスト作成手段とを備えている。この場合において、テロップ抽出手段は、番組映像画面全体を対象に色情報の時間軸上の変化状態をチェックし、時間軸上の過去に抽出した色と離れた色が設定比率以上になった状態を検出することが記載されている。（特許文献２参照）
また、ある提案の画像処理装置においては、対象動画を構成するシーンに関する情報、および対象画像の内容に関する情報に基づいて、対象画像を構成するシーンの中の所定のシーンを判定する判定手段と、判定手段により判定されたシーンを再生する再生手段とを備えている。この場合において、対象動画を構成するシーンに関する情報は、シーンの代表のフレームがほぼ単一色である規則情報を含むことが記載されている。（特許文献３参照）
【特許文献１】特開平９−２８４６９８号公報
【特許文献２】特開２０００−２３０６２号公報
【特許文献３】特開２００２−１９９３３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
スポーツ中継のテレビ放送において、サッカーやバスケットボールなどの試合では、ゴールが決まるまではほとんどの選手が常に動いているが、同じ団体競技の試合でも、野球の試合ではピッチャーの投球を区切りとしてバッター、キャッチャー、および他の野手の動きが始まる。すなわち、ピッチャーの投球をトリガとして試合が進行する。しかし、試合中の映像の中には、ベンチの中の選手や観客を写した場面、ピッチャーの投球後に次のバッターが打席に入る場面、監督がピッチャー交代を告げてから次のピッチャーがマウンドに上がってウォーミングアップを行う場面など、勝敗には直接関係しない場面の映像が多く含まれている。このため、野球放送を録画した後においては、例えば、放送局側で編集されたダイジェスト版を放送する場合やユーザが録画した映像を早送りで再生する場合のように、あまり重要でないシーンを飛ばして重要なシーンだけを再生することが行われている。野球の場合には、特殊な場合を除いて、大半の投球シーンはセンタカメラからの映像に含まれるので、早送りで再生しても投球シーンを抽出することは可能である。
【０００４】
しかしながら、上記特許文献１ないし特許文献３の提案、および他の従来の技術においても、野球放送の映像の中から投球シーンを自動的に抽出することは実現されていない。このため、放送局側においてピッチャーの投球シーンを抽出しながら行う編集は、早送りで再生しながら投球シーンの開始タイミングを検出し、ボールを投げている部分をつないだピッチバイピッチ映像を抽出して編集することになり、煩雑な作業を伴っている。同様に、ユーザが録画した映像の中からピッチャーの投球シーンを抽出しながら早送りで再生する操作も煩雑であった。
また、野球放送は長時間に及ぶため、例えば、デイゲームの場合には時間経過や天候に伴う日照環境の変化の影響を受けて画像の色も変動することになる。このため、センタカメラからの見本画像と比較して投球シーンを自動編集するとしても、上記特許文献１ないし特許文献３のように、色情報を用いて特定のシーンを抽出する方法では、ロバスト性が低いので、野球放送の映像の中から投球シーンを抽出することは極めて困難である。
本発明は、このような従来の課題を解決するためのものであり、野球放送の映像の中から投球シーンを抽出して、重要な場面だけのダイジェスト画像を自動的に作成することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、入力画像の水平方向のエッジ検出を行うエッジ検出手段（実施形態においては、図２のシーン解析装置４の境界線強調画像生成部４１に相当する）と、エッジ検出手段によって検出されたエッジの垂直方向の分布を検出する分布検出手段（実施形態においては、図２のシーン解析装置４のヒストグラム生成部４２に相当する）と、分布検出手段によって検出された分布の特徴から入力画像が野球における投球シーンであるか否かを判別するシーン判別手段（実施形態においては、図２のシーン解析装置４の判別部４４に相当する）と、を備えた構成になっている。
【０００６】
請求項１の画像処理装置において、請求項２に記載したように、シーン判別手段は、入力画像から作成した分布と予め与えられた見本画像から作成した分布との類似度によって入力画像が野球における投球シーンであるか否かを判別するような構成にしてもよい。
【０００７】
請求項１の画像処理装置において、請求項３に記載したように、シーン判別手段は、入力画像から作成した分布の最大値が垂直方向の所定範囲内にあるか否かによって入力画像が野球における投球シーンであるか否かを判別するような構成にしてもよい。
【０００８】
請求項１ないし３のいずれかの画像処理装置において、請求項４に記載したように、エッジ検出手段は、入力画像を２値化した後にエッジ検出を行うような構成にしてもよい。
【０００９】
請求項５に記載の画像処理のプログラムは、入力画像の水平方向のエッジ検出を行う第１のステップと、第１のステップによって検出されたエッジの垂直方向の分布を検出する第２のステップと、第２のステップによって検出された分布の特徴から入力画像が野球における投球シーンであるか否かを判別する第３のステップと、を実行する構成になっている。
第１のステップないし第３のステップは、実施形態においては、図１のシーン解析装置４が実行する制御プログラムの処理に相当する。
【００１０】
請求項５の画像処理のプログラムにおいて、請求項６に記載したように、第３のステップは、入力画像から作成した分布と予め与えられた見本画像から作成した分布との類似度によって入力画像が野球における投球シーンであるか否かを判別するような構成にしてもよい。
【００１１】
請求項５の画像処理のプログラムにおいて、請求項７に記載したように、第３のステップは、入力画像から作成した分布の最大値が垂直方向の所定範囲内にあるか否かによって入力画像が野球における投球シーンであるか否かを判別するような構成にしてもよい。
【００１２】
請求項５ないし７のいずれかの画像処理のプログラムにおいて、請求項８に記載したように、第１のステップは、入力画像を２値化した後にエッジ検出を行うような構成にしてもよい。
【発明の効果】
【００１３】
本発明の画像処理装置および画像処理のプログラムによれば、野球放送の映像の中から投球シーンを抽出して、重要な場面だけのダイジェスト画像を自動的に作成するという効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明による画像処理装置の実施形態について、図１ないし図１１を参照して説明する。
図１は、実施形態における画像処理装置の構成を示す概略ブロック図である。アンテナ１で受信されたテレビ放送の複数のチャンネルの電波は、チューナ２において１つのチャンネルが選択されて搬送波が除去され、符号化された映像情報および音声情報、すなわち圧縮画像および圧縮音声が出力される。なお、音声情報については本発明に関係しないので、以下の説明は映像情報に限定する。
チューナ２からの圧縮画像はデコーダ３において伸長処理されて出力される。デコーダ３から出力された画像は、シーン解析装置４およびハードディスクやＤＶＤなどの記録媒体５に入力される。シーン解析装置４は、デコーダ３からの入力画像と見本画像記憶部６に予め記憶されている見本画像とを比較して、その比較結果に応じた画像を記録媒体５に入力する。記録媒体５は、デコーダ３から入力された画像又はシーン解析装置４から入力された画像を記録する。
【００１５】
図２は、シーン解析装置４の内部構成を示している。境界線強調画像生成部４１は、見本画像記憶部６から予め入力された見本フレーム画像Ｆｓに対して、水平方向のエッジ検出のために境界線を強調した処理を行って見本フレーム画像Ｆｓ’をヒストグラム生成部４２に入力する。ヒストグラム生成部４２は、見本フレーム画像Ｆｓ’における水平方向エッジの垂直方向分布度に基づくヒストグラムＩｓ（ｙ）を生成して出力する。ヒストグラム生成部４２から出力された見本フレーム画像Ｆｓ’のヒストグラムＩｓ（ｙ）は、見本画像ヒストグラム保存部４３に保存される。一方、境界線強調画像生成部４１は、デコーダ３から順次入力されたフレーム画像Ｆに対して、水平方向のエッジ検出のために境界線を強調した処理を行ってフレーム画像Ｆ’をヒストグラム生成部４２に入力する。ヒストグラム生成部４２は、フレーム画像Ｆ’における水平方向エッジの素直方向分布度に基づくヒストグラムＩ（ｙ）を生成して出力する。ヒストグラム生成部４２から出力されたフレーム画像Ｆ’のヒストグラムＩ（ｙ）は、判別部４４に入力される。判別部４４は、フレーム画像ＦのヒストグラムＩ（ｙ）と見本フレーム画像Ｆｓ’のヒストグラムＩｓ（ｙ）とを比較して、その比較結果を記録媒体５に入力する。
【００１６】
次に、図１および図２に示した画像処理装置の動作について、図３ないし図９におけるフローチャート、図１０における画面、および図１１におけるモザイク図の画面を参照して説明する。
図３は、受信した野球の実況放送の録画処理のフローチャートである。録画開始（ステップＳ１１）の後、シーン解析処理を実行する（ステップＳ１２）。図４にシーン解析処理のフローチャートを示す。この処理では、動画中からフレーム画像を１つ選択する（ステップＳＡ１）。例えば、センタカメラから撮影された図１０（Ａ）に示すフレーム画像を選択する。このフレーム画像の構成は、観客席、塀、グラウンドの３つの領域に分類することができる。これら３つの領域の中で塀とグラウンドの２つの領域に注目すると、２つの領域の境界線は以下の性質を持っている。
１）画面に対してほぼ水平である
２）カメラの動きが少ないのでほぼ同じ位置である。
３）境界線の上下の近傍に他の境界線が存在しない。
【００１７】
これらの性質を利用して、以下の手順で任意の画像から抽出した特徴と見本画像から抽出した特徴とを比較することにより、任意の画像が投球シーンであるか否かを判別する。
まず、フレーム画像の輝度によって塀領域とグラウンド領域とが別々になるように、選択したフレーム画像の２値化画像の生成を行う（ステップＳＡ２）。この２値化において、例えば、各地の球場における境界線の位置のデータをインプットして記憶し、各球場の境界線を含む領域において、画素の輝度を用いたモード法によって２値化の閾値である輝度値を決定する。あるいは、投球シーンを判別する実際の球場の境界線を含む領域において、フレーム画像の輝度によって塀領域とグラウンド領域とが別々になるように、操作に応じて閾値を決定する。図１０（Ｂ）の画面は、図１０（Ａ）のフレーム画像を２値化した画像を示している。
【００１８】
図４において、ステップＳＡ２の２値化の後、フレーム画像に対して水平方向のエッジを強調する１次微分フィルタ処理を行って、水平方向のエッジを強調した画像を生成する（ステップＳＡ３）。図１０（Ｃ）の画面は、図１０（Ｂ）のフレーム画像に対して水平方向のエッジを強調する１次微分フィルタ処理を行った状態を示している。この後は、境界線強調画像の生成を行う。境界線強調画像の生成は、孤立点の除去（ステップＳＡ４）、垂直に長い塊の除去（ステップＳＡ５）、他の塊の除去（ステップＳＡ６）、再び孤立点の除去（ステップＳＡ７）の各処理で構成されている。
【００１９】
なお、孤立点および塊を除去する処理において、理解を容易にするために図１１のモザイク画面を参照する。
まず、ステップＳＡ４の孤立点の除去処理を行う。図５は、この処理のフローチャートである。図１１（Ａ）は孤立点の除去を行う画面の様子を模式化したモザイクの画面で示したものである。この図において、各升目はフレーム画像の各画素を表わし、黒の升目は画素の値が１、白の升目は画素の値が０を表わしている。図５において、順番に各画素に注目し（ステップＳＢ１）、画素の値が１であるか又は０であるかを判別する（ステップＳＢ２）。画素の値が１である場合には、その画素の近傍の８個の画素の値がすべて０であるか否かを判別する（ステップＳＢ３）。近傍の８個の画素の値がすべて０である場合には、注目している画素の値を１から０に変更する（ステップＳＢ４）。画素の値を変更した後、又は、注目している画素の値がステップＳＢ２において０と判別した場合、若しくは、注目している画素の近傍の８個の画素の値がすべてが０でないとステップＳＢ３において判別した場合には、すべての画素に注目したか否かを判別する（ステップＳＢ５）。注目すべき画素がまだ残っている場合には、ステップＳＢ１に移行して、ステップＳＢ５までの処理を繰返す。すべての画素に注目した場合には、孤立点の除去処理によって、図１１（Ａ）の左の画面から孤立点である黒の升目（画素）が白に変更されて、右の画面になる。
【００２０】
次に、ステップＳＡ５の垂直に長い塊の除去処理を行う。図６は、この処理のフローチャートである。ラスタスキャン順に注目する画素位置を（ｘ，ｙ）とする（ステップＳＣ１）。そして、画素（ｘ，ｙ）の値が１であるか否かを判別する（ステップＳＣ２）。画素（ｘ，ｙ）の値が１である場合には、画素のｙ座標をインクリメントする変数ｉ、値が１の画素をカウントする変数Ｎ、および、値が１の画素の塊を０にリセットする（ステップＳＣ３）。次に、画素（ｘ，ｙ＋ｉ）を塊に追加し、ｉおよびＮをインクリメントする（ステップＳＣ４）。この後、画素（ｘ，ｙ＋ｉ）の値が０であるか否かを判別する（ステップＳＣ５）。画素（ｘ，ｙ＋ｉ）の値が１である場合には、ステップＳＣ４において画素（ｘ，ｙ＋ｉ）を塊に追加し、ｉおよびＮをインクリメントする。したがって、垂直方向に連続して値が１である画素数が変数Ｎにストアされる。
【００２１】
ステップＳＣ５において画素（ｘ，ｙ＋ｉ）の値が０である場合には、Ｎの画素数が所定の値であるＮ＿ｖｅｒより大きいか否かを判別する（ステップＳＣ６）。Ｎの画素数がＮ＿ｖｅｒの値より大きい場合には、塊の属している画素の値を１から０に変更する（ステップＳＣ７）。Ｎ＿ｖｅｒの値は、画像サイズの応じて決定する。すなわち、垂直方向の画素数に応じて決定する。画素の値を変更した後、又は、ステップＳＣ２において画素（ｘ．ｙ）が０である場合、若しくは、ステップＳＣ６においてＮの画素数がＮ＿ｖｅｒの値以下である場合には、すべての画素に注目したか否かを判別する（ステップＳＣ８）。注目すべき画素がまだ残っている場合には、ステップＳＣ１に移行して、ステップＳＣ８までの処理を繰返す。すべての画素に注目した場合には、このフローチャートを終了する。
【００２２】
図１１（Ｂ）は垂直に長い塊の除去を行う画面の様子を模式化したモザイクの画面で示したものであり、垂直方向の画素数は９である。図１１（Ｂ）の左の画面において、Ｎ＿ｖｅｒの値を垂直方向の画素数の１／３である３とすると、Ｎの画素数が３より大きい場合には塊の属している画素の値を１から０に変更し、図１１（Ｂ）の右の画面になる。
【００２３】
図４においてステップＳＡ５の垂直に長い塊の除去の後は、他の塊の除去処理を行う（ステップＳＡ６）。図７は、この処理のフローチャートである。ラスタスキャン順に注目する画素位置を（ｘ，ｙ）とする（ステップＳＤ１）。そして、画素（ｘ，ｙ）の値が１であるか否かを判別する（ステップＳＤ２）。画素（ｘ，ｙ）の値が１である場合には、画素のｙ座標をインクリメントする変数ｉ、値が０の画素数をカウントする変数Ｍ、および、値が１の画素の塊を０にリセットする（ステップＳＤ３）。次に、画素（ｘ，ｙ＋ｉ）を塊に追加し、ｉをインクリメントする（ステップＳＤ４）。この後、画素（ｘ，ｙ＋ｉ）の値が０であるか否かを判別する（ステップＳＤ５）。画素（ｘ，ｙ＋ｉ）の値が１である場合には、ステップＳＣ４において画素（ｘ，ｙ＋ｉ）を塊に追加し、ｉをインクリメントする。
【００２４】
ステップＳＤ５において画素（ｘ，ｙ＋ｉ）の値が０である場合には、Ｍおよびｉの値をインクリメントする（ステップＳＤ６）。そして、画素（ｘ，ｙ＋ｉ）の値が１であるか否かを判別する（ステップＳＤ７）。画素（ｘ，ｙ＋ｉ）の値が０である場合には、ステップＳＤ６においてＭおよびｉの値をインクリメントする。したがって、値が１の画素の塊が途切れた後は、値が０の画素数をＭにストアする。ステップＳＤ７において画素（ｘ，ｙ＋ｉ）の値が１である場合、すなわち、画素（ｘ，ｙ＋ｉ）が境界線の画素に達したときは、Ｍの画素数が所定の値であるＭ＿ｖｅｒ以下であるか否かを判別する（ステップＳＤ８）。Ｍの画素数がＭ＿ｖｅｒの値以下である場合には、塊の属している画素の値を１から０に変更する（ステップＳＤ９）。画素の値を変更した後、又は、ステップＳＤ２において画素（ｘ．ｙ）が０である場合、若しくは、ステップＳＤ８においてＭの画素数がＭ＿ｖｅｒの値より大きい場合には、すべての画素に注目したか否かを判別する（ステップＳＤ１０）。注目すべき画素がまだ残っている場合には、ステップＳＤ１に移行して、ステップＳＤ１０までの処理を繰返す。すべての画素に注目した場合には、このフローチャートを終了する。
【００２５】
図１１（Ｃ）は他の塊の除去を行う画面の様子を模式化したモザイクの画面で示したものである。図１１（Ｃ）の左の画面において、Ｍ＿ｖｅｒの値を境界線からの値が０の画素数２とすると、Ｍの画素数が２以下である場合には塊の属している画素の値を１から０に変更し、図１１（Ｃ）の右の画面になる。Ｍの画素数が３以上の場合には、値が１の画素は除去されずに残る。
【００２６】
図４のステップＳＡ６において他の塊の除去処理が終了した後は、再び孤立点の除去処理を行う（ステップＳＡ７）。すなわち、図５に示したフローチャートの処理を行う。したがって、図１１（Ｃ）の右の画面において除去されずに残った画素はステップＳＡ７の孤立点の除去処理によって除去されることになる。ステップＳＡ７の孤立点の除去の後は、ヒストグラムＩ（ｙ）の生成を行う（ステップＳＡ８）。
【００２７】
ステップＳＡ４〜ステップＳＡ７の処理を経て除去されずに残った画素の値を水平方向に積分して、垂直方向の座標値と積分値とからなるヒストグラムを生成する。図１０（Ｄ）は、図１０（Ｃ）から孤立点と塊の除去を行ったフレーム画像とヒストグラムＩ（ｙ）とを示している。
【００２８】
ステップＳＡ８においてヒストグラムＩ（ｙ）を生成した後は、フレーム画像判別処理を行う（ステップＳＡ９）。図８は、この処理のフローチャートである。まず、フレーム画像から生成したヒストグラムＩ（ｙ）を、画像の垂直方向の座標値ｙがＮｑ段階に線形量子化してＩＱ（ｙ）を生成する（ステップＳＥ１）。次に、見本画像のヒストグラムＩｓ（ｙ）をＮｑ段階に線形量子化してＩＱｓ（ｙ）を生成し、塀とグラウンドとの境界線の位置であるＩｓ（ｙ）のピーク値であるｙｃの値に応じた重み係数Ｗｙに基づく下記の演算式により、線形量子化したフレーム画像のヒストグラムＩＱ（ｙ）と見本画像のヒストグラムＩＱｓ（ｙ）との距離Ｄを算出する（ステップＳＥ２）。
【数１】
2006203498.tif 000003
そして、算出した距離Ｄの値が所定の閾値Ｄｔｈより大きいか否かを判別して、見本画像との類似度を検出する（ステップＳＥ３）。
【００２９】
Ｄの値がＤｔｈの値以下である場合、すなわち、フレーム画像が見本画像と類似している場合には、フレーム画像を投球シーンと判別し（ステップＳＥ４）、そうでない場合はフレーム画像を非投球シーンと判別する（ステップＳＥ５）。フレーム画像を投球シーン又は非投球シーンと判別した後は、図４のステップＳＡ９からステップＳＡ１０に移行して、判別結果を記録媒体５に保存する。そして、図４のフローチャートすなわち図３のステップＳ１２におけるシーン解析処理を終了する。
【００３０】
次に、図３において、シーン解析処理の結果に基づいてフレーム画像が投球シーンであるか否かを判別する（ステップＳ１３）。フレーム画像が投球シーンである場合には、そのフレーム画像のプログラムタイム、すなわち投球シーンの開始時間を記録媒体５に記録する（ステップＳ１４）。この後、番組終了か否かを判別し（ステップＳ１５）、番組終了でない場合には、次のフレーム画像についてステップＳ１２のシーン解析処理を繰返す。番組終了の場合には録画処理を終了する。
【００３１】
図９は、ダイジェスト再生処理のフローチャートである。ダイジェスト再生を開始して（ステップＳ２１）、記録されたプログラムタイムによって投球シーンの開始時間を収集する（ステップＳ２２）。次に、収集した開始時間に基づいて、投球シーンにスキップして通常の再生を開始する（ステップＳ２３）。そして、再生開始から所定時間が経過したか否かを判別する（ステップＳ２４）。所定時間としては、投球開始に応じてバッターが打って、そのボールが処理されるまでの時間が設定される。したがって、ホームランの場合も考慮すると、数１０秒程度の時間が設定される。所定時間が経過した後は再生を停止する（ステップＳ２５）。次に、投球シーンは全て再生したか否かを判別し（ステップＳ２６）、投球シーンが残っている場合には、ステップＳ２３に移行して次の投球シーンにスキップする。投球シーンを全て再生したときは、このダイジェスト再生を終了する。
【００３２】
以上のように、この実施形態によれば、シーン解析装置４は、デコーダ３からの入力画像の水平方向のエッジ検出を行って、検出したエッジの垂直方向の分布を検出し、検出した分布の特徴から入力画像が野球における投球シーンであるか否かを判別する。
したがって、塀とグラウンドとの境界線を認識することにより、野球放送の映像の中から投球シーンを抽出して、重要な場面だけのダイジェスト画像を自動的に作成することが可能になる。また、周囲の環境の影響を受ける色情報を用いないので、投球シーン判別のロバスト性を高めることができる。
【００３３】
この場合において、シーン解析装置４は、入力画像から作成した分布と、見本画像記憶部６に記憶されている予め与えられた見本画像から作成した分布との類似度によって、入力画像が野球における投球シーンであるか否かを判別する。
したがって、非投球シーンであることが明確な見本画像と比較することにより、投球シーン判別のロバスト性をよりいっそう高めることができる。
【００３４】
またさらに、シーン解析装置４は、入力画像を２値化した後にエッジ検出を行う。
したがって、ディジタル画像処理によって、野球放送の映像の中から投球シーンを高速に抽出して、重要な場面だけのダイジェスト画像を自動的且つ迅速に作成することが可能になる。また、ディジタル画像処理をハードウェアで構成することが可能になり、よりいっそう高速な投球シーンの抽出ができる。
【００３５】
また、ヒストグラム作成後の判定は、ヒストグラムＩＱ（ｙ）の最大値が垂直方向の所定の範囲内に存在しているかどうかによって判定しても良い。この場合のフレーム画像判定のフローチャートを図１２に示す。図１２において、ステップＳＥ６だけが図８のフローチャートと異なる。一般にセンタカメラからの投球シーンの映像ではこの最大値は、試合が行われている球場や中継を行っている放送局により若干の違いがあるものの、ほぼ垂直方向の中央付近に存在する。ＩＱ（ｙ）が最大値を示すｙ座標を、ｙ＿ｉｑｍａｘ、球場や放送局による偏差を反映させた判定用下限値をｙ１、上限値をｙ２として、ｙ＿ｉｑｍａｘがｙ１とｙ２の間の値であるかどうかを判定する（ステップＳＥ６）。ｙ＿ｉｑｍａｘがｙ１とｙ２の間の値であればフレーム画像を投球シーンとみなし（ステップＳＥ４）、そうでなければ非投球シーンとみなす（ステップＳＥ５）。
したがって、この場合にも、野球放送の映像の中から投球シーンを正確に抽出して、重要な場面だけのダイジェスト画像を自動的に作成することが可能になる。
【００３６】
なお、上記実施形態においては、シーン解析装置４のプログラムＲＯＭにあらかじめ記憶された画像処理のプログラムを実行する装置の発明について説明したが、ハードディスクなどの不揮発性メモリを備えたパソコンとシーン解析装置４とを組み合わせたシステム、あるいはパソコンによってシーン解析装置４を構成することも可能である。すなわち、フレキシブルディスク（ＦＤ）、ＣＤ、ＭＤなどの記憶媒体に記録されている画像処理のプログラムを不揮発性メモリにインストールしたり、インターネットなどのネットワークからダウンロードした画像処理のプログラムを不揮発性メモリにインストールして、そのプログラムを実行することも可能である。この場合には、プログラムの発明やそのプログラムを記録した記録媒体の発明を実現できる。
【００３７】
すなわち、本発明による画像処理のプログラムは、
入力画像の水平方向のエッジ検出を行う第１のステップと、前記第１のステップによって検出されたエッジの垂直方向の分布を検出する第２のステップと、前記第２のステップによって検出された分布の特徴から入力画像が野球における投球シーンであるか否かを判別する第３のステップと、を実行する。
【００３８】
前記第３のステップは、入力画像から作成した分布と予め与えられた見本画像から作成した分布との類似度によって入力画像が野球における投球シーンであるか否かを判別することを特徴とする。
前記第３のステップは、入力画像から作成した分布の最大値が垂直方向の所定範囲内にあるか否かによって入力画像が野球における投球シーンであるか否かを判別することを特徴とする。
前記第１のステップは、入力画像を２値化した後にエッジ検出を行うことを特徴とする。
【図面の簡単な説明】
【００３９】
【図１】本発明の画像処理装置の構成を示すブロック図。
【図２】図１のシーン解析装置の内部構成を示すブロック図。
【図３】図１のシーン解析装置によって実行される録画処理のフローチャート。
【図４】図３の録画処理におけるシーン解析処理のフローチャート。
【図５】図４のシーン解析処理における孤立点の除去処理のフローチャート。
【図６】図４のシーン解析処理における垂直に長い塊の除去処理のフローチャート。
【図７】図４のシーン解析処理における他の塊の除去処理のフローチャート。
【図８】図４のシーン解析処理におけるフレーム画像判別処理のフローチャート。
【図９】図１のシーン解析装置によって実行されるダイジェスト再生処理のフローチャート。
【図１０】図１のシーン解析装置によって画像処理が実行された画面を示す図。
【図１１】図１のシーン解析装置によって画像処理が実行された際のモザイク画面を示す図。
【図１２】図４のシーン解析装置におけるフレーム画像判別処理の変形例のフローチャート。
【符号の説明】
【００４０】
１  アンテナ
２  チューナ
３  デコーダ
４  シーン解析装置
５  記録媒体
６  見本画像記憶部
４１  境界線強調画像生成部
４２  ヒストグラム生成部
４３  見本画像ヒストグラム保存部
４４  判別部
【図１】
2006203498.tif 000004
【図２】
2006203498.tif 000005
【図３】
2006203498.tif 000006
【図４】
2006203498.tif 000007
【図５】
2006203498.tif 000008
【図６】
2006203498.tif 000009
【図７】
2006203498.tif 000010
【図８】
2006203498.tif 000011
【図９】
2006203498.tif 000012
【図１０】
2006203498.tif 000013
【図１１】
2006203498.tif 000014
【図１２】
2006203498.tif 000015