(57)【要約】【課題】低コスト、かつ、プロのカメラマン、編集スタッフを必要としないデジタルカメラワークを利用したデジタルカメラワーク装置、方法、プログラムを提供する。【解決手段】デジタルカメラワーク装置１００は、素材となるスポーツ映像を入力する映像入力手段１１０と、前記入力したスポーツ映像から、各選手の移動情報（各選手の位置、動いている方向、動きの大きさ（移動量）など）を検出する動き検出手段１４０と、前記スポーツ映像から前記ボールの位置及び動きベクトルを検出するボール検出手段１５０と、前記各選手の移動情報の大きさ及び前記各選手の位置、さらにはボール位置及びその動きベクトルに基づき、前記新たなカメラワークの映像のフレーム位置を設定するカメラワーク設定手段１６０と、前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段１７０と、前記切り出した映像を出力する映像出力手段１８０とを具える。本装置によって新たなカメラワークの映像を人手を介さずに自動的に生成する。【選択図】図１
2005223487.tif 000002
【特許請求の範囲】
【請求項１】
スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置であって、
前記スポーツ映像を入力する映像入力手段と、
前記入力したスポーツ映像から、各選手の移動情報を検出する動き検出手段と、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定手段と、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段と、
前記切り出した映像を出力する映像出力手段と、
を含むデジタルカメラワーク装置。
【請求項２】
請求項１に記載のデジタルカメラワーク装置において、
前記カメラワーク設定手段は、
前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワーク装置。
【請求項３】
請求項１または２に記載のデジタルカメラワーク装置において、
前記カメラワーク設定手段は、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正する手段を含む、
ことを特徴とするデジタルカメラワーク装置。
【請求項４】
請求項１〜３のいずれか１項に記載のデジタルカメラワーク装置において、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク装置は、
前記スポーツ映像から前記ボールの位置を検出するボール検出手段をも含み、
前記カメラワーク設定手段は、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワーク装置。
【請求項５】
請求項４に記載のデジタルカメラワーク装置において、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定手段と、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定手段と、
前記判定手段で前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定手段を制御する手段と、
をも含むことを特徴とするデジタルカメラワーク装置。
【請求項６】
請求項４または５に記載のデジタルカメラワーク装置において、
前記ボール検出手段は、前記ボールの動きベクトルを検出する手段を含み、
前記ボール追跡用フレーム設定手段は、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワーク装置。
【請求項７】
スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク方法であって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレーム間にわたる各位置に基づき、前記演算手段を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワーク方法。
【請求項８】
請求項７に記載のデジタルカメラワーク方法において、
前記カメラワーク設定ステップは、
前記演算手段を使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワーク方法。
【請求項９】
請求項７または８に記載のデジタルカメラワーク方法において、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、
ことを特徴とするデジタルカメラワーク方法。
【請求項１０】
請求項７〜９のいずれか1項に記載のデジタルカメラワーク方法において、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク方法は、
前記演算手段を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワーク方法。
【請求項１１】
請求項１０に記載のデジタルカメラワーク方法において、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とするデジタルカメラワーク方法。
【請求項１２】
請求項１０または１１に記載のデジタルカメラワーク方法において、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワーク方法。
【請求項１３】
スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク方法をコンピュータに実行させるためのデジタルカメラワークプログラムであって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワークプログラム。
【請求項１４】
請求項１３に記載のデジタルカメラワークプログラムにおいて、
前記カメラワーク設定ステップは、
使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とするデジタルカメラワークプログラム。
【請求項１５】
請求項１３または１４に記載のデジタルカメラワークプログラムにおいて、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、
ことを特徴とするデジタルカメラワークプログラム。
【請求項１６】
請求項１３〜１５のいずれか1項に記載のデジタルカメラワークプログラムにおいて、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワークプログラムは、
前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とするデジタルカメラワークプログラム。
【請求項１７】
請求項１６に記載のデジタルカメラワークプログラムにおいて、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とするデジタルカメラワークプログラム。
【請求項１８】
請求項１６または１７に記載のデジタルカメラワークプログラムにおいて、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とするデジタルカメラワークプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラムに関するものであり、より詳細には、スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
昨今の放送の多チャンネル化とデジタル技術の発展によるさらなる多チャンネル化により放送コンテンツの不足が発生している。しかしながら、映像制作者側では、数多くの放送コンテンツを用意することや、その放送コンテンツにメタ情報を付与するなど、作業量の増大と人件費や制作費のコストが問題となり、十分な放送コンテンツの供給ができていないという状態である。また、コストの問題を解決したとしてもプロのカメラマンや編集者などの数は限られているため、十分な放送コンテンツを生成することができない状況にある。この問題から、低コストかつプロの放送関係者を必要としない映像生成技術が求められている。
【０００３】
放送コンテンツの中でもとりわけスポーツ中継映像は人気の高いものであるが、コストや人材不足の理由から中継・配信されないスポーツの試合や競技、例えば、規模の小さい民間のスポーツ試合などが数多くある。しかしながら、このようなスポーツの映像素材は、想定される視聴者の数、映像作成スタッフ、映像制作コストなどの観点からコンテンツ作成することが困難であった。
ところで、現状の放送品質であるSD(Standard Definition) と比較して最大で6 個分に相当する解像度を持つHD(High Definition)の映像をクリッピング（切り出す）し、切り出すフレームの位置とサイズを制御することで仮想的な自動撮影が想定できる。映像をクリッピングすることで仮想的なパンやズームなどのカメラワークを実現する概念は、デジタルカメラワーク（非特許文献１を参照されたい。）と呼ばれている。一方、撮影済みの素材映像からプロのカメラマンや編集スタッフという人手をかけて新たな映像を切り出すことも可能であるが、スピード面、コスト面で割に合わない。
また、映像の生成に関する研究としては，プロのカメラマンが撮影した映像を素材としてハイライトなどを自動抽出するもの（非特許文献２を参照されたい。）や、要約映像を生成するもの（非特許文献３を参照されたい。）などがある。しかし、これらのアプローチでは、プロのカメラマンが撮影したものを加工できる範囲でしか映像を生成できないという制約がある。このアプローチに対し、ロボットカメラマンを導入する自動撮影技術がある。現在、ロボットカメラを用いた自動撮影の研究は、講義シーンの撮影や料理番組の撮影といった対象が一人の場合など、比較的単純な対象について研究が行われている（非特許文献４、５）。しかし、スポーツの場合、対象が複数存在し、しかも急激なシーンの変化を伴う場合が多い。このようなスポーツを対象とした知的ロボット撮影システムの研究も行われている（非特許文献６、７）。
カメラマンには、試合の進行を予測しながら撮影するなど、人間にとっても失敗を伴う高度な撮影技術が必要であり、実時間以上の処理や予測技術が求められる。そのため、現在の画像処理技術では、人間と同程度のシステムを構築することは難易度が高い問題である。また、このロボットカメラを用いたシステムにおいては，プロのカメラマンの模倣をするという意味のシステムであるので、一度撮影が行われるとそのカメラワークを後で変更することが困難であるという問題がある。これに対し、前述したデジタルカメラワークを用いた映像生成では、一旦撮影された映像から様々なフレームを切り出し新たな映像を作成できるという利点がある。
【０００４】
また、試合進行を視聴者へ正確に伝えるようにフレームサイズと撮影位置を決定し、余計な意図を発生させないよう滑らかにこの試合進行を追従する必要がある。しかし、例えば、サッカーでのボールは、ドリブルやパスでは小刻みに激しく動き、ロングパスやシュートでは大きく動く。また選手はボールより比較的遅い動きではあるが、ボールの周辺で選手が激しく動くという特徴がある。つまり、サッカー映像の撮影では、試合進行を正確に伝えるために、どこをどのような大きさで撮影するかによって映像の価値が決まる。このように、サッカー映像でのデジタルカメラワークでは、小刻みな動きについてはボールがフレームから外れない程度に動きを抑え、ボールが大きく動く時には素早く追従する手法が求められる。
【非特許文献１】大西正輝、泉正夫、福永邦雄著、「デジタルカメラワークを用いた自動映像生成」（画像の認識・理解シンポジウム, MIRU2000, pp.I-331-I-336, Jul,2000）
【非特許文献２】Dennis Yow, Boon-Lock Yeo, Minerva Yeung, Bede Liu: “ANALYSIS AND PRESENTATION OF SOCCER HIGHLIGHTS FROM DIGITAL VIDEO”, ACCV’1995.
【非特許文献３】益満建、越後富夫著、「映像重要度を用いたパーソナライズ要約映像作成手法」（電子情報通信学会論文誌,Vol. J84-D-II, No.8, pp.1848-1855 (2001.08)）
【非特許文献４】大西正輝、泉正夫、福永邦雄著、「講義映像における板書領域のブロック抽出とその自動撮影」（ 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解,Vol. 99 Num. 448 pp.197-204 (1999.11)）
【非特許文献５】綿織、菅沼他著、「黒板講義を対象とした遠隔講義のための講義自動撮影システムの構築」（電子情報通信学会技術研究報告. ET, 教育工学, Vol. 100 Num. 352 pp.63-70(2000.10)）
【非特許文献６】松本圭介、須藤智、斉藤英雄、小沢慎治著、「サッカーシーンにおけるボール追跡に基づく最適視点決定システム」（電子情報学会技術報告PRMU2000, 6, pp.29-36(2000.06)）
【非特許文献７】加藤大一郎著、「新しい番組制作支援技術知的ロボットカメラと放送番組への応用」（NHK 技研R ＆ D, No.48,  pp.34-47, 1998）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した諸課題を解決したデジタルカメラワーク装置、方法、プログラムを提供することを目的とする。即ち、低コスト、かつ、プロのカメラマンや編集スタッフなどを必要としないデジタルカメラワークを利用した自動映像生成技法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明によるデジタルカメラワーク装置は、
静止状態のカメラで撮影されたスポーツ映像から新たなカメラワークの映像を自動的に生成する、即ち、理想的なカメラワークで仮想的に撮影する（時系列でフレームを連続的に切り出す）デジタルカメラワーク装置（即ちデジタルカメラワークを利用した自動映像生成装置）であって、
前記スポーツ映像を入力する映像入力手段（回路）と、
前記入力したスポーツ映像から、各選手の移動情報（複数のフレームにわたる各選手の各位置、これらに基づく各選手の動きベクトル、動きベクトルの大きさ（移動量）など）を検出する動き検出手段（回路）と、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置（例えばフレームの4隅の座標など。フレームサイズが固定である場合は、切り出しフレームの中心座標などのように１つの座標で足りる。）として設定するカメラワーク設定手段（回路）と、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段（回路）と、
前記切り出した映像を出力する映像出力手段（回路）と、
を含むデジタルカメラワーク装置である。
本発明によれば、カメラワークを行わない動作を固定した無人のカメラ（例えば、競技場に設置されている競技場全体を広角で撮影し得る定点撮影カメラ）で撮影した映像から、選手の動きに追従し、かつ、試合の重要なシーンを捉えた映像を自動的に生成することが可能となる。即ち、競技場の全景を撮影する固定カメラワーク映像から、あたかもカメラマンが選手や試合の重要なシーンを含む「領域」を追従して撮影したかのような臨場感溢れる映像を人手を介さずに自動的に生成することが可能となる。従って、新たなスポーツ競技映像コンテンツを自動的、安価かつ大量に作成することが可能となる。また、素材映像の撮影段階、及び、映像の切り出しの段階（デジタルカメラワーク段階）において、プロのカメラマンやカメラマンアシスタント（或いは映像の編集を行うスタッフさえも原則的には必要ない）などの人手を全く必要としないため人件費を大幅に削減でき、映像作成に関するトータルコストを顕著に軽減することが可能となる。従って、今までコスト面や人材面などでコンテンツにすることが困難であった多数のスポーツ中継映像を放送コンテンツとして提供することが可能となる。また、現在のデジタル技術やCPUなどの演算力によれば、上述した処理をほぼリアルタイムで行うことが可能であり、従って、スポーツ中継の低コストなライブ中継も可能になる。
【０００７】
また、本発明によるデジタルカメラワーク装置は、
前記カメラワーク設定手段は、
前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
ことを特徴とする。
本発明によれば、複雑な演算を要せずに比較的軽微な演算でフレーム位置の設定を行うことが可能である。
【０００８】
さらにまた、本発明によるデジタルカメラワーク装置は、
スポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成手段（回路）をも含む、
ことを特徴とする。
デジタルカメラワークでは１つのカメラ映像からその数分の１の映像フレームを切り出すため、元映像が十分な高解像度を保持していなければ切り出した映像の品質が視聴に適さない程度まで低解像度になってしまう恐れもある。そこで、本発明のように、広い競技場を幾つかのエリアに分割し「複数のカメラ」でそれぞれのエリアを撮影した「複数の映像」を既知のパノラマ作成技術を用いて「１つに繋ぎ合わせる」ことによって、切り出し映像を十分高品質の映像とすることが可能となる。即ち、本発明によれば、解像度の低いカメラで撮影した映像であっても、映像を繋ぎ合わせるという事前処理を行うことで十分視聴に耐え得る解像度の映像を自動生成することが可能となる。
【０００９】
さらにまた、本発明によるデジタルカメラワーク装置は、
前記カメラワーク設定手段は、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正する手段を含む、
ことを特徴とする。
本発明によれば、各選手の移動情報（例えば動きベクトルなど）や各選手の位置からフレームを設定する場合は、選手の移動の仕方など試合のシーンによっては、設定フレームの位置が不規則かつ不自然な移動軌跡を描く、即ち不規則でガクガクとしたカメラワークを描く場合や、算出したフレーム位置が前後のフレームで大きく位置が変化する場合もあるが、本発明によれば、プロのカメラマンの撮影のような近接したフレーム間において直線状の滑らかで自然なカメラワークを実現できるため視聴者にとって非常に見易い映像を提供することが可能となる。
【００１０】
さらにまた、本発明によるデジタルカメラワーク装置は、
前記スポーツ映像は、ボールを使用するスポーツ（サッカー、ラグビー、バスケットボールなどボールに準じた対象物を使うスポーツ）であり、
デジタルカメラワーク装置は、
前記スポーツ映像から前記ボールの位置を検出するボール検出手段（回路）をも含み、
前記カメラワーク設定手段は、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
本発明によれば、ボールを使用するスポーツではボールの位置が重要なファクターとなるのでスポーツで使用されるボール位置を加味してフレーム位置を設定することができるため、より適切なフレームを切り出すことが可能となり、試合状況をよりわかり易く適切に表現した映像を生成することができるようになる。
【００１１】
さらにまた、本発明によるデジタルカメラワーク装置は、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定手段（回路）と、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定手段（回路）と、
前記判定手段で前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定手段を制御する手段（回路）と、
をも含むことを特徴とする。
本発明によれば、ボール追跡用フレームからボールが外れずにボール追跡用フレーム内でボールが細かく移動する場合にはこの細かいボール移動に追従したフレーム設定にならずに、ぶれの少ない自然な映像を切り出すことが可能となる。
【００１２】
さらにまた、本発明によるデジタルカメラワーク装置は、
前記ボール検出手段は、前記ボールの動きベクトルを検出する手段（回路）を含み、
前記ボール追跡用フレーム設定手段は、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、
ことを特徴とする。
ボール位置が大きく変化する場合には、ボール追跡用フレーム（内枠）がボールの移動する方向と反対側に大きく移動するため、ボールが早めに内枠から外れることとなり、大きなボール位置の変動に迅速に対応した、より的確な切り出し映像を提供することが可能となる。
【００１３】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現され得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記のプログラムや方法の各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり入力したデータや加工・生成したデータなどを磁気テープ、HDDなどの記憶装置に格納するものである。
例えば、本発明を方法として実現させると、本発明によるデジタルカメラワーク方法は、
静止状態のカメラで撮影されたスポーツ映像から新たなカメラワークの映像を自動的に生成する、即ち、理想的なカメラワークで仮想的に撮影する、或いは切り出すデジタルカメラワーク方法であって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段（CPUなど）を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、前記演算手段（CPUなど）を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置（好適には切り出しフレームの中心座標）として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワーク方法である。
【００１４】
また、本発明によるデジタルカメラワーク方法は、
前記カメラワーク設定ステップは、
前記演算手段を使用して前記各選手の複数のフレームにわたる各位置に基づき、選手ごとにその重心位置及び移動量を求め、これらに基づき前記新たなカメラワークの映像のフレーム位置を設定する、
或いは、前記演算手段（CPUなど）を使用してスポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成ステップをも含む、
ことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、ことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワーク方法は、
演算手段（CPUなど）を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
【００１５】
さらにまた、本発明によるデジタルカメラワーク方法は、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とする。
さらにまた、本発明によるデジタルカメラワーク方法は、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、ことを特徴とする。
【００１６】
本発明によるデジタルカメラワークプログラムは、
スポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク方法をコンピュータに実行させるためのデジタルカメラワークプログラムであって、
前記スポーツ映像を入力する映像入力ステップと、
前記入力したスポーツ映像から、演算手段を使用して各選手の移動情報を検出する動き検出ステップと、
前記各選手の移動情報に含まれる前記各選手の複数のフレームにわたる各位置に基づき、前記演算手段を使用して最も前記各選手が集中しかつ前記各選手の動きが大きい領域を求めこれを前記新たなカメラワークの映像のフレーム位置として設定するカメラワーク設定ステップと、
前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成ステップと、
前記切り出した映像を出力する映像出力ステップと、
を含むデジタルカメラワークプログラムである。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記演算手段を使用してスポーツ競技シーンを同時に撮影した複数のスポーツ映像を繋ぎ合わせて１つの前記スポーツ映像を合成する合成ステップをも含む、
ことを特徴とする。
【００１７】
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記カメラワーク設定ステップは、
前記フレーム位置の中心座標を複数のフレームにわたって求め、これら複数の中心座標が線形回帰分析による回帰直線上に位置するように前記フレーム位置を補正するステップを含む、ことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記スポーツ映像は、ボールを使用するスポーツであり、
デジタルカメラワークプログラムは、
前記演算手段を使用して前記スポーツ映像から前記ボールの位置を検出するボール検出ステップをも含み、
前記カメラワーク設定ステップは、
前記検出したボール位置にも基づき前記フレーム位置を設定する、
ことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記設定したフレーム位置によるフレーム内のほぼ中央にボール追跡用フレームを設定するボール追跡用フレーム設定ステップと、
前記ボール位置が前記ボール追跡用フレームの範囲内にあるか否かを判定する判定ステップと、
前記判定ステップで前記ボールが範囲内にある場合は、前記ボール位置に基づくフレーム位置の設定は実行せず、範囲外にある場合のみ前記ボール位置に基づくフレーム位置の設定を実行するよう、前記カメラワーク設定ステップを制御するステップと、
をも含むことを特徴とする。
さらにまた、本発明によるデジタルカメラワークプログラムは、
前記ボール検出ステップは、前記ボールの動きベクトルを検出するステップを含み、
前記ボール追跡用フレーム設定ステップは、前記検出したボール動きベクトルの大きさに応じて、前記ボール動きベクトルの方向の反対方向に前記ボール追跡用フレームを移動させる、ことを特徴とする。
【発明を実施するための最良の形態】
【００１８】
以降、諸図面を参照しつつ、本発明の実施態様を詳細に説明する。
図１は、本発明によるスポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置（映像生成装置）の基本的な構成を示すブロック図である。図に示すように、デジタルカメラワーク装置１００は、少なくとも１つの素材となるスポーツ映像を入力する映像入力手段１１０と、このスポーツ映像を一旦格納したりその後の処理で発生する様々なデータを格納したりする記憶手段（装置）１２０、素材映像がスポーツ競技シーンを同時に撮影した複数のスポーツ映像である場合にそれらを繋ぎ合わせて１つの前記スポーツ映像を合成する合成手段１３０、前記入力（或いは繋ぎ合わされた）したスポーツ映像から、各選手の移動情報（各選手の位置、動いている方向、動きの大きさ（移動量）など）を検出する動き検出手段１４０と、前記スポーツ映像から前記ボールの位置及び動きベクトルを検出するボール検出手段１５０と、前記各選手の移動情報の大きさ及び前記各選手の位置、さらにはボール位置及びその動きベクトルに基づき、前記新たなカメラワークの映像のフレーム位置を設定するカメラワーク設定手段１６０と、前記設定されたフレーム位置に基づき、前記スポーツ映像から前記新たなカメラワークの映像を切り出す映像生成手段１７０と、前記切り出した映像を出力する映像出力手段１８０とを具える。
【００１９】
上述したように、本発明では各選手の位置及びその動きベクトルとボールの位置及び動きベクトルの情報を用いてカメラワークを決定する。図２に本発明によるデジタルカメラワーク技法で行われる処理の流れの概要を示す（詳細は後述する）。スポーツ映像としてサッカー映像を例示として用いる。映像には動くオブジェクトは選手の他に観客、コーチ、或いは審判などがあるが、審判はボールに追随して動くため選手とみなしても問題とはならない。素材映像によっては、コーチ、観客、スタッフなど撮影されている場合もあるが、選手と比べて移動速度が極端に低いため、一定の動きベクトル以下のものを対象から除外することで選手のみを「動くオブジェクト」として抽出可能である。まず選手は、ボールの近くにいる場合動きが激しく、かつボールの近くに密集する傾向にあることから、選手の動きベクトルの大きさ、方向及び位置に着目する。なお、一般に「動きベクトル」はフレーム間での一定の画素単位（マクロブロック）の移動量を指すが、本明細書でいう「選手・ボールの動きベクトル」は「選手・ボールというオブジェクトの移動量」を意味するものとする。さらに、現在のフレームから数フレームの先読みを行い、大きな速度ベクトルが密集した領域を探索し、その領域内での速度ベクトルの重心を現在フレームの中心座標とする。この先読みした数フレームの連続した中心座標系列から回帰直線を求め、PAN（tiltも含む）追従方向（即ちカメラ追従方向）と定める手法が本発明の基本原理である。このように、選手の速度ベクトルにより重心とPANの移動方向を求める場合と、ボールの動き及び位置に着目した場合に分けて、以降、詳細に説明する。
【００２０】
本発明では、個々の選手の詳しい動きを解析することは不要であり、各選手の移動情報を用いて、どの場所をどのようなカメラワークで撮影すべきであるかという点に重点を置き、選手の抽出や追跡といった画像解析部には比較的簡単な処理を用いることが計算コストの観点から望ましい。第一段階として、選手の移動の解析だけでカメラワークを実現する手法を説明する。
【００２１】
図３は、デジタルカメラワークの概念を説明する模式図である。図に示すように、デジタルカメラワークとは、カメラを固定して撮影された映像素材を対象に一部分をクリッピングし、位置やサイズを連続的に変化させることにより、パンやズームを表現するというデジタル処理によって映像を生成する技術である。つまり、デジタルカメラワークは自動撮影技術の一種である。この技法を活用すれば１つの素材映像から任意のカメラワークによる映像を幾通りも生成することができ、視聴者の嗜好に合わせた映像生成にも対応できる。この図は、サッカーの試合のシーンを撮影した素材映像から、図中の左の部分をデジタルカメラワークで切り出した様子を示したものであり、例えば、図に示すように切り出しフレームを仮想的に右側に徐々に移動するようなカメラワークを実行して別の領域を切り出すことができる。本発明では、このフレームの切り出し方、即ちカメラワークを自動的に決定し新たな映像コンテンツを自動的に生成する。
【００２２】
このように素材映像から一部分をクリッピングし提示するため、画質の劣化という問題が想定されるが、近年はHD(High Definition) の規格が整備され、現行放送における480iの画面比率4:3 であるSD(Standard Definition) と比較して最大で６つ分に相当する画質が期待できる。そのためHD映像の一部をSD 品質で切り取ることができれば、SD 映像品質と同程度の映像の生成が可能となる。また、次世代では、さらに高解像度の映像規格が予定されているため、本発明を実施する場合に画質については大きな問題とはならない。
【００２３】
図３に示すように、HDカメラを用いてサッカーコート全体を固定撮影しておき、この素材映像にデジタルカメラワークを適用することで１つの素材から異なった見せ方によるサッカー映像コンテンツを生成することができる。現在のサッカー中継ではカメラマンの経験と判断によって映像が生成されている。基本的にボールを持っている選手を中心に撮影し、この先イベントが発生すると予想される方向に空きを取りながらカメラワークを設定する。
【００２４】
しかし、サッカーなどのスポーツシーンは意外性のある動きが多くカメラマンが予測したものとは違う方向にイベントが発生した場合、そのイベントをうまく追従することができずサッカーの試合進行を適切に表現していない映像を配信することになるという問題がある。これに対し、デジタルカメラワークでは、潜在的な能力として、プロがこれまで撮影してきたサッカー映像を模倣することができるだけでなく、別の視点によるサッカー映像も生成できる可能性があるため、これらの問題を補うことも可能である。また，映像コンテンツでは、ライブ映像の商品価値が高いと言われる。この場合、システムには実時間性が要求される。サッカーなどを撮影する際のカメラワークは、パンの方向やズームの仕方について、試合進行の内容追従に関して予測的な動作設定が必要となる。カメラマンによる撮影においても、この予測を失敗すると、試合内容を適切に撮影できない場合がある。しかし、これまでの撮影法では、ライブ性のため取り直しができない。しかし、デジタルカメラワークの場合、実際の試合進行からリアルタイム性を損なわない程度の僅かな時間的遅延（例えば僅か数十フレーム程度）を許せば、映像を一旦システムの中に取り込みバッファリングを行って、フレームの先読みをしながら処理することで、確実に未来の展開を知ったうえでカメラワークを設定できる。このことから、固定映像の切り出し位置を変更するだけで予測の誤り問題も解決できる。
【００２５】
素材映像の撮影としては、デジタルハイビジョンカメラを用いることが望ましい。HD の映像を用いて解析し、SDの映像を切り出し配信することで、現行の放送で用いられているレベルの画質を保つことが可能である。しかし、撮影を行った競技場においてカメラを設置する位置の関係から１台のカメラでコートの全景を撮影することはできない恐れがあり、例えばコートの半分が撮影範囲の限界となる場合も有り得る。このような場合は、複数台のカメラによりコートを撮影し、それをパノラマ的に合わせ1 枚の画像にすることでサッカーコートの全景映像が生成するべきである。この問題に対しては、従来技術としてHDカメラ２台と反射板を用いて２つの映像を統合して配信するシステムが提案されており、様々なパノラマ作成技法を使用してパノラマ映像を生成することが可能である。
【００２６】
背景差分法
本発明では、選手やボールなどの動くオブジェクトの抽出技法として様々な技法を使用することができるが、以下の理由で背景差分法を用いることが好適である。背景差分法とは、映像の中から背景画像を作成し、その背景画像と各フレームの差分画像を作成する手法であり、画像中の動オブジェクトを検出する為の有効な手法として用いられる。この手法は固定された映像においてのみ利用できる。
【００２７】
また、従来はサッカー中継における選手の抽出に背景差分法は用いられなかったが、これは従来はカメラマンが撮影した放送映像を対象としているため、背景を固定できないことが原因である。他にも移動物体を抽出するためのものとしてオプティカルフローを抽出する手法がある。これは過去と現在の画素の輝度値の等しいブロックを探し、その間を移動と定義するものである。しかしこの手法では画素の対応関係だけを観測するので、精度があまり良くなく計算コストも高い。従って、本実施態様では、カメラマンの撮影した放送映像ではなく固定したカメラで撮影した映像を用いることを想定しているため、背景差分法を用いて選手の抽出を行うことが好適である。背景差分法を用いるには、まず、背景画像の生成を行わなければならない。
【００２８】
2005223487.tif 000003
【００２９】
背景差分法により生成された画像には、様々な要因から細かなノイズが発生する。これを除去するために膨張・縮小処理、ラベリング処理、孤立点の除去を行うことが好適である。背景差分法によって生成された2 値画像fkにおいて、一人の選手の領域がノイズにより複数の領域に分散され抽出されることがある。その中で明らかに選手の大きさより小さなオブジェクト領域を、膨張処理と縮小処理を繰り返し、最も近くにある選手と思われる大きな領域に吸収させることにより正しい選手の領域を復元する。
【００３０】
図４は、膨張処理と縮小処理によって孤立点を除去する様子を示す模式図である。図のようにｎ回の膨張処理とｍ回の縮小処理（nとmは異なってもよい）を行うことによって孤立点（孤立ブロックを含む）を除去する。なお、膨張処理とは、背景画素に注目したとき、そのまわりの8 近傍にオブジェクト画素が1 つ以上あれば、その背景画素をオブジェクト画素に変える処理である。この処理を画像中の全背景画素に独立に実行することによって、オブジェクト画素の領域が外側に1 画素だけ膨張する。2 値画像において、背景を黒、オブジェクトを白にするか、或いはその反転の背景を白、オブジェクトを黒に設定する。いずれも、背景画素とオブジェクト画素を区別できるように輝度値を設定する。縮小処理は逆に、オブジェクト画素に注目したときその回り8 近傍に背景画素が1つ以上あれば、そのオブジェクト画素を背景画素に変える処理である。これを画像中の全オブジェクト画素に独立に実行する．この処理によって、オブジェクト画素の領域が内側に1 画素だけ縮小する。
【００３１】
領域ラベリング
コンピュータの内部画像を画素単位で扱っている。よって、一人の選手の領域であっても、その領域に存在する画素に同一のラベルを付与しなければ同じ選手の領域であるとは認識はされない。そのため、領域ラベリング処理を用いて、同一グループには同一のラベルを付与する。この結果、領域ごとに重心の位置を求めることができ、それを選手の座標とすることができる。以下にラベリングについて詳しく述べる。本明細書においてラベリングするとは、連結している領域毎にラベルを与える処理のことである。2値画像において選手領域の画素として検出された部分に対しては「-１」、背景画素には「0」を割り振っておく。領域ラベリングは図５に示すように、図中左側の逆L 型のマスクによって右側の2値画像を左上から右下に走査し、画像の右下まで順次操作していく。このマスクの窓が新たな領域にぶつかる度に新しい番号を領域に割り振っていく。この順序で走査すると、図中の画素Aを走査するときには、画素B、Cはすでにラベル付けされていることになる。ラベリングのルールを以下に示す。このルールにしたがってラベリングすればそれぞれの選手の領域にラベルが貼られることになる。
【００３２】
処理フロー
−Aの画素が0であればそのままにする。
−Aが1であり、かつB、Cが0であれば、Aに新しいラベル番号を付与する。
−Aが-1であり、かつB、Cのどちらかにラベルが振られていれば、Aはその割り振られている方のラベル番号を付与する。
−Aが-1であり、かつB、Cに異なるラベルが付与されていればAに小さなラベル番号を付与し、B、Cの領域が同じ領域であることを記憶する。
−画像全体に対してこの処理の後、同一領域として記憶されているラベルを同じラベルに割り当て直す。
−再度同じ処理を行うことによりラベリングを終了する。
【００３３】
また、ラベリングされた画像を用いて、明らかに選手より面積の小さい領域を除去する。そのために、ラベリングされた画像において、同一ラベルの領域に含まれる画素数が閾値以下ならば、そのラベルの領域を孤立点、またはノイズとみなし除去する。ここでの閾値は、例えば、カメラからの距離で分けた各ブロックにおける選手の大きさの平均などを基準に設定する。
【００３４】
2005223487.tif 000004
【００３５】
2005223487.tif 000005
【００３６】
なお、重心には２つあり、第1には、１フレーム画像内で、一人の選手領域としてラベリングされた画素集合中の画素について、その平均位置Ｐを表している。また、連続する６０フレーム上の選手の位置Ｐを１つの画像にプロットすると、動いた選手の軌跡がほぼ連続した線として出現する。この画像に膨張・縮小処理を適用すると、とぎれた選手の動きが連続した軌跡となる可能性が高くなり、この処理によって得られた軌跡Ｌごとにラベリングを行う。この軌跡に含まれる画素集合中の画素について位置の平均をとったものがもう１つの重心Ｇとなる。即ち、重心とは含まれる各座標の平均値である。
【００３７】
線形回帰分析に基づくフレームワーク設定の補正
選手の移動情報からカメラワークを決定する場合は、選手の移動の仕方など試合のシーンによっては、設定フレームの位置が不規則かつ不自然な移動軌跡を描く、即ち不規則でガクガクとしたカメラワークを描く場合や、算出したフレーム位置が前後のフレームで大きく位置が変化する場合もある。従って、カメラワークは撮影したい場所を忠実に追うのでは無く、おおまかにとらえて滑らかな移動軌跡を描く方が望ましい。そのため各フレームからの切り出し位置を複数フレーム分まとめて扱い、線形回帰直線で近似することで自然なカメラワークを実現させる。
【００３８】
図７は、上述した計算で求めた各重心値（補正前のデジタルカメラワークによるフレームの中心座標）とそれらに基づき線形回帰分析で求めた回帰直線（補正後の中心座標）との例を示すグラフである。図の線形回帰直線は、60 フレームの間で移動の大きな点を逃さずに撮影できる直線であり、この回帰直線に沿って切り出し部分を移動させることが好適である。60 フレームごとに独立してカメラワークを決定すると、前後の関係を無視してしまうためカメラワークが不自然になってしまう。そこでfkからfk+59 までの処理を行い、fkからfk+29までのカメラワークを決定する。次に同様にしてfk+30からfk+80までの処理を行い、fk+30からfk+59までのカメラワークを決定する。このように常に処理フレームを重ねることで、次のフレームを考慮したカメラワークとなり自然な見易い動きを実現することができる。また、1フレーム目を座標始点とし、30フレーム目を終点とした。この間は30フレームであるので、1フレームあたり
2005223487.tif 000006
でxとyを変化させる速さでカメラワークを決定した。
【００３９】
ボール情報を用いたデジタルカメラワーク
サッカー中継映像のカメラワークを決定するうえで、ボール位置は重要度の高い情報である。その際ボールの位置は各フレームのほぼ中心に配置することが基本的には望ましい。しかし、フレームの中心に正確にボールを配置するのではなく、試合の展開を考慮し、進行方向を広く空けるように配置させることがより望ましい。また、常にボールを追従することで必要以上に細かなカメラワークを行うことになり、視聴者に不快感を与えてしまうため、フレームの中心付近でのボールの細かな動きに対してはカメラをほぼ静止させ、視聴者に見やすい映像を生成する。このように、サッカー映像でのデジタルカメラワークでは、小刻みな動きについてはボールがフレームから外れない程度に動きを抑え、ボールが大きく動く時には素早く追従する必要がある。これらの問題の解決手法を説明する。
【００４０】
小刻みなボールの移動に反応しないカメラワーク
小刻みなボールの動きにフレームが影響を受けないように図８のように切り出しフレーム内のほぼ中央に切り出しフレームよりも小さい面積のボール追跡用フレーム、即ち内枠を設定する（図８のA）。次の時刻（図８のB）でボールの座標がこの内枠の外に出るとき、図のようにボールが内枠に収まるように切り出しフレームを移動させる（図８のC）。逆に内枠の中にボールが存在する時はフレームを静止させる。このことにより、内枠の中でボールが細かな動きを行ってもフレームがボールの細かな動きを追従することはなく、ぶれの少ない自然で見易い映像が生成できる。
【００４１】
ボールの速度ベクトルを用いたフレームの移動
内側に内枠を設定したことで、後続のフレームでボールの座標が内枠の中にあるような細かいボールの動きには反応しなくなったが、この内枠の大きさ、位置は一定のためボールが大きな動きをし、内側の内枠を出るとき急にフレームが移動する。この問題に対して、内枠に移動を許しボールの移動ベクトルを用いて移動させた。これにより、ボール座標が大きく移動し始める時に早い段階から反応できるようになる。まず、ボールの前後2 フレームのボールの移動ベクトルの加重平均をとり、その値の反対方向に内枠を移動させる。
図９は、ボールの移動を考慮してボール追跡用フレーム（内枠）を移動した場合の効果を示す説明図である。図中のAに示すように、右下の方に大きなベクトルが発生した場合、加重平均は右下側に大きくなる。このベクトルの発生を受け、図中のBに示すように内枠をあらかじめ左上側に動かすと、より早くボールが内枠をはずれることになり、より早くフレーム位置の修正を行うことが可能になる。
【００４２】
本発明によるデジタルカメラワーク装置の性能を評価するため実際の２つのサッカー試合の素材映像からデジタルカメラワークによる自動映像生成実験を行った。比較のため、この2 つの映像とは別途カメラマンが撮影したＴＶ映像とＨＤカメラでサッカーコートの半分を撮影した映像を用意した。この4 種類の映像を２つずつ用いて6人の評価者で映像の評価実験を行った。
【００４３】
AHPによる評価実験と生成映像の許容度アンケート
本手法の評価は主観評価で有望とされ、順位付けが可能なAHP法（詳細は、木下栄蔵著、「AHP の理論と実際」（日科技連出版社）を参照されたい。）による主観評価方法を用いた。上述したように、評価に用いた映像は、同じサッカーの試合を撮影した４種類の映像であり、各種類ごとに6 個の映像を用意し、被験者6 人に対しそれぞれ種類ごとにランダムに選択した2 種類の映像を見せて評価した。図１０にサッカー映像の評価用AHP階層図を示す。また、本実験ではデジタルカメラワークのPAN の品質に関する評価を行うため、AHP における一対比較を行う際に用いる評価基準として、図１０の中間層に示す４つを用いた。なお、HDは、カメラワークが存在せずサッカーコートを一望する映像であるが、これはカメラワークを用いた映像に対する比較として導入した。
【００４４】
図１１は、AHPの評価結果と許容度のアンケート結果を示す図である。実験の結果、中間層の嗜好重みはA1,A2,A6,A7=0.15,0.12,0.25,0.48となり、サッカー映像では試合進行の提示が重要であり、次に画質が問われるという結果が出た。図１１左がAHP の結果であり、プロカメラマンによる撮影（M1）が最も良い値を示しており、次に定点映像であるHD映像(M2)であった。HDはA6とA7の嗜好の重みの高さが評価値の高得点に起因していると思われる。ここで、図１１右に示す通り、本発明によるデジタルカメラワーク装置を使用した実験で生成した映像がサッカー映像として受け入れられるかは、許容できるという傾向が見受けられた。AHPの結果として、実験手法ではM3（実験１：選手のみに基づくデジタルカメラワーク）よりM4（実験２：ボールのみに基づくデジタルカメラワーク）が良く、M4はM1より評価が低いものの、各嗜好の含有比率はA1と同程度であり、プロの品質には及んでいないが、サッカー映像として十分鑑賞し得るレベルには到達しているものと考えられる。
【００４５】
本明細書では、様々な実施態様で本発明の原理を説明してきたが、本発明は上述した実施例に限定されず幾多の変形および修正を施すことが可能であり、これら変形および修正されたものも本発明に含まれることを理解されたい。
【図面の簡単な説明】
【００４６】
【図１】本発明によるスポーツ映像から新たなカメラワークの映像を自動的に生成するデジタルカメラワーク装置（映像生成装置）の基本的な構成を示すブロック図である。
【図２】本発明によるデジタルカメラワーク技法で行われる処理の流れの概要を示す概略図である。
【図３】デジタルカメラワークの概念を説明する模式図である。
【図４】膨張処理と縮小処理によって孤立点を除去する様子を示す模式図である。
【図５】領域ラベリングの手法を説明する説明図である。
【図６】４つのオブジェクト（ラベル）の移動情報（軌跡）から重心を取り出すことを説明する模式図である。
【図７】上述した計算で求めた各重心値（補正前のデジタルカメラワークによるフレームの中心座標）とそれらに基づき線形回帰分析で求めた回帰直線（補正後の中心座標）との例を示すグラフである。
【図８】切り出しフレーム内にボール追跡用フレームを設定した場合の切り出しフレームの設定手法を示す説明図である。
【図９】ボールの移動を考慮してボール追跡用フレーム（内枠）を移動した場合の効果を示す説明図である。
【図１０】サッカー映像の評価用AHP階層図である。
【図１１】AHPの評価結果と許容度のアンケート結果を示す図である。
【符号の説明】
【００４７】
１００  デジタルカメラワーク装置
１１０  映像入力手段
１２０  記憶手段
１３０  合成手段
１４０  動き検出手段
１５０  ボール検出手段
１６０  カメラワーク設定手段
１７０  映像生成手段
１８０  映像出力手段
【図１】
2005223487.tif 000007
【図２】
2005223487.tif 000008
【図３】
2005223487.tif 000009
【図４】
2005223487.tif 000010
【図５】
2005223487.tif 000011
【図６】
2005223487.tif 000012
【図７】
2005223487.tif 000013
【図８】
2005223487.tif 000014
【図９】
2005223487.tif 000015
【図１０】
2005223487.tif 000016
【図１１】
2005223487.tif 000017