(57)【要約】【課題】画像のうちの必要な部分を適切に切り出す。【解決手段】入力映像から第一の被写体の位置を検出する第一検出手段と、複数の第二の被写体の位置を検出する第二検出手段と、切り出し対象とする被写体を検出する領域を決定する第一決定手段と、前記第一の被写体と前記第二の被写体と前記第一決定手段を用いて切り出し範囲を決定する第二決定手段と、前記第二決定手段で決まった切り出し範囲を入力映像より切り出す切り出し手段とを備え、前記第一の被写体位置から一定の距離となる前記領域を決定し、前記領域内の第一または第二の被写体が水平もしくは垂直方向、または両方において前記切り出し範囲の中に含まれるように、前記切り出し範囲を決定する。【選択図】図１
2016009966.tif 000002
【特許請求の範囲】
【請求項１】
入力映像から第一の被写体の位置を検出する第一検出手段と、
複数の第二の被写体の位置を検出する第二検出手段と、
切り出し対象とする被写体を検出する領域を決定する第一決定手段と、
前記第一の被写体と前記第二の被写体と前記第一決定手段を用いて切り出し範囲を決定する第二決定手段と、
前記第二決定手段で決まった切り出し範囲を入力映像より切り出す切り出し手段と、
前記切り出し手段によって切り出された映像を所定の大きさにリサイズするリサイズ手段と、
リサイズされた映像を出力する映像出力手段を備え、
前記第一決定手段は、前記第一の被写体位置から一定の距離となる前記領域を決定し、前記第二決定手段は、前記領域内の第一または第二の被写体が水平もしくは垂直方向、または両方において前記切り出し範囲の中に含まれるように、前記切り出し範囲を決定することを特徴とする画像処理装置。
【請求項２】
単フレームにおいて決定した切り出し範囲を、複数フレームにおいて平均し、実際の切り出し範囲を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力映像を遅延させる遅延回路を備え、前記平均するための複数フレームは切り出し範囲を決定するフレームの後のフレームの切り出し範囲を使用することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
固定した第三の被写体の位置を記憶しておく第三被写体位置記憶手段を備え、前記領域内の第一、第二、第三の被写体が水平もしくは垂直方向、または両方において切り出し範囲の中に含まれることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラで撮影を行う際、撮影者がパン、チルト、ズーム等の操作を行い、最適と思われる画角で撮影を行う。しかしながらスポーツを撮影する際には、長時間であることが多いことや被写体が動き続けることなどから、長時間の撮影中に常にパン、チルト、ズーム等の操作が必要となり、撮影者に大きな負担がかかる。
【０００３】
撮影者に負担がかからないように、カメラを固定して競技全体を撮影する方法もある。この方法ではパン、チルト、ズーム等の必要がなく、カメラを固定して撮影しておけばよい。ただし、撮影されている領域に対して必要な部分は限られており、視聴性を良くするためにはシーンに応じて必要な部分を切り出す必要がある。
【０００４】
必要な部分を切り出す方法が特許文献１で考案されている。特許文献１では選手の密集度と動きの大きい領域を検出し、その領域を切り出す手法が提案されている。また、この方法に加えて、ボールの位置も利用し領域を切り出す手法も提案されている。この手法では中央部にボール追跡用の枠を設定し、その枠の中での動きでは切り出す領域を変更しないことにより、ボールの小刻みな動きに反応しないような手法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２２３４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来例ではボールと選手の関係について明記されていない。そのため、選手の位置情報のみを使用してフレーム位置を決定するときは、ボールがフレームに入らない場合が生じる。また、ボールを使用した方法においても、ボールがなるべく中央部に位置するようにしているため、密集している選手に対して中央付近にボールが無い時、良い切り出し範囲とならない。
【０００７】
また、ゴールのある競技において、ボールや選手に加えてゴールを切り出し範囲内に含めたい場合も多い。特にボールがゴールに近づいてきた際にはゴールとボールや選手との位置関係を知るためにもゴールを含めた切り出し範囲とする必要性が高まる。
【０００８】
そこで、本発明は、画像のうちの必要な部分を適切に切り出すことが可能な装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置の構成は、入力映像から第一の被写体の位置を検出する第一検出手段と、複数の第二の被写体の位置を検出する第二検出手段と、切り出し対象とする被写体を検出する領域を決定する第一決定手段と、前記第一の被写体と前記第二の被写体と前記第一決定手段を用いて切り出し範囲を決定する第二決定手段と、前記第二決定手段で決まった切り出し範囲を入力映像より切り出す切り出し手段と、前記切り出し手段によって切り出された映像を所定の大きさにリサイズするリサイズ手段と、リサイズされた映像を出力する映像出力手段を備え、前記第一決定手段は、前記第一の被写体位置から一定の距離となる前記領域を決定し、前記第二決定手段は、前記領域内の第一または第二の被写体が水平もしくは垂直方向、または両方において前記切り出し範囲の中に含まれるように、前記切り出し範囲を決定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像のうちの必要な部分を適切に切り出すことが可能となる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置の構成を示す図である。
【図２】切り出し範囲の決定方法を示すフローチャートである。
【図３】切り出し範囲を示す図である。
【図４（ａ）】切り出し範囲を示す図である。
【図４（ｂ）】切り出し範囲を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１３】
＜第１の実施形態＞
本実施例ではバスケットボールの競技において、あらかじめ広角に固定したカメラで競技中の映像を撮影しておき、その映像の一部を切り出して出力する方法を例に挙げて説明を行う。
【００１４】
図１に本実施形態の概略構成図を示す。入力された映像信号は検出部１０１と遅延部１０２に送られる。検出部１０１では制御部１０３より送信される指示や情報に基づき被写体を検出し、制御部１０３に被写体の位置の座標情報を送信する。制御部１０３は検出部１０１に対して、メモリ１０４に格納されている検出に必要な情報や、検出するタイミング等を送信する。また、制御部１０３では検出部１０１より送信される座標情報とメモリに格納されている算出用の情報に基づき、遅延フレーム数、切り出し範囲、リサイズの倍率を算出し、遅延部１０２、切り出し部１０５、リサイズ部１０６にそれぞれの値を送信する。遅延部１０２では制御部１０３より送信された値に基づき入力された映像を遅延させる。切り出し部１０５では制御部１０３より送信された値に基づき遅延部１０２で遅延された映像の一部を切り出す。リサイズ部１０６では制御部１０３より送信された値に基づき切り出し部１０５で切り出された映像をリサイズし、所望のサイズの映像を出力する。
【００１５】
検出部１０１では映像の１フレームにおけるボールや人物のような特定の被写体の座標を検出する。検出方法は様々な手法が考案されている。例えば背景差分法とパターンマッチングを使用する方法が考えられる。背景差分法はあらかじめ記憶されている背景画像と現在の画像を比較し、変化が生じた部分を抽出する方法である。この方法によりボールや人物を含む領域を検出することができる。また、パターンマッチングはあらかじめ準備した画像と現在の画像を比較し、同様もしくは近いものがあるかどうかを検出する方法である。背景差分法で抽出した領域の映像に対して、パターンマッチングを行い、所望の被写体と比較し、一致した箇所の座標を得る。得られた被写体の位置の座標は制御部１０３に送信される。
【００１６】
制御部１０３では得られた被写体の座標とあらかじめメモリ１０４に格納してあるデータに基づいて、遅延フレーム数、切り出し範囲、リサイズの倍率を決定する。遅延フレーム数は切り出し範囲の算出方法により決まる。またリサイズの倍率は切り出し範囲に基づいて決まる。以下、切り出し範囲の算出方法を示した後、遅延フレーム数、リサイズの倍率の決定方法を述べる。
【００１７】
図２は切り出し範囲を決定方法を示すフローチャートである。また、図３には実施例１を用いた時の単フレーム映像イメージ例１に対する切り出し範囲を示す。第一の被写体はボールであり、複数の第二の被写体は人物となる。図に示すように映像の左上を座標（ｘ，ｙ）＝（０，０）とする。以下、図２のフローを図３を用いて説明していく。
【００１８】
まず切り出し対象被写体検出領域の決定を行う（Ｓ２０１）。ボールの水平位置Ｘｂに対して、水平方向に一定距離Ａ離れた領域を検出領域とする。この領域を図３に斜線部として示す。
次に領域内の最も端の被写体の座標を取得（Ｓ２０２）する。水平方向においてはボールと人物のＸ座標の中でＸｂ−ＡからＸｂ＋Ａの範囲内での最大値Ｘｓｍａｘと最小値Ｘｓｍｉｎを取得する。垂直方向には制限を設けていないため、ボールと人物のＹ座標の中で最大値Ｙｓｍａｘと最小値Ｙｓｍｉｎを取得する。図３にこのシーンにおけるＸｓｍｉｎ、Ｘｓｍａｘ、Ｙｓｍｉｎ、Ｙｓｍａｘを示す。
【００１９】
次に単フレームを使用した切り出し範囲の決定（Ｓ２０３）を行う。検出位置に対して、被写体をフレーム内に収めるための水平方向のオフセット値Ｂと垂直方向のオフセット値Ｃをあらかじめ決めておく。Ｓ２０２で求めた被写体の座標の最大値とオフセットから単フレームを使用した切り出し範囲としてＸｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、Ｙｍｉｎを次の式より算出する。
【００２０】
Ｘｍａｘ＝Ｘｓｍａｘ＋Ｂ・・（式１）
Ｘｍｉｎ＝Ｘｓｍｉｎ−Ｂ・・（式２）
Ｙｍａｘ＝Ｙｓｍａｘ＋Ｃ・・（式３）
Ｙｍｉｎ＝Ｙｓｍｉｎ−Ｃ・・（式４）
式１〜４の結果を用いて
水平の中心位置Ｘｃｅｎｔｅｒ１とサイズＸｓｉｚｅ１
垂直の中心位置Ｙｃｅｎｔｅｒ１とサイズＹｓｉｚｅ１
を以下の式より算出する。
【００２１】
Ｘｃｅｎｔｅｒ１＝（Ｘｍａｘ＋Ｘｍｉｎ）／２・・（式５）
Ｘｓｉｚｅ１＝Ｘｍａｘ−Ｘｍｉｎ・・（式６）
Ｙｃｅｎｔｅｒ１＝（Ｙｍａｘ＋Ｙｍｉｎ）／２・・（式７）
Ｙｓｉｚｅ１＝Ｙｍａｘ−Ｙｍｉｎ・・（式８）
式５〜８で求めた値が、単フレームを使用した切り出し範囲となる。
【００２２】
図３にＸｃｅｎｔｅｒ１、Ｙｃｅｎｔｅｒ１、Ｘｓｉｚｅ１を利用して４：３で切り出した時の切り出し範囲を実線で示す。Ｙｓｉｚｅ１を使用すると水平方向の人物が一部含まれなくなるため、ここではＸｓｉｚｅ１で切り出し範囲を決めている。ボールから一定距離以内にいる人物を含む最大の切り出し範囲となっていることが分かる。
【００２３】
最後に実際に切り出す範囲の決定（Ｓ２０４）を行う。Ｓ２０３で求めた切り出し範囲では、単フレームで切り出し範囲を決定しているため、連続したフレームにおいて切り出し範囲が大きく異なる場合が出てくる。そこで、連続した複数のフレームの切り出し範囲を平均し実際の切り出し範囲とする。例えばＸｃｅｎｔｅｒ１、Ｘｓｉｚｅ１、Ｙｃｅｎｔｅｒ１、Ｙｓｉｚｅ１の前後数フレームの値を平均してＸｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ２、Ｙｓｉｚｅ２を求める。平均するフレーム数は多いとフレーム間の切り出し範囲の変動が滑らかだが、単フレームで決定した切り出し範囲に変動するまでに時間がかかる。
【００２４】
ここで、サイズに関して、このままではＸとＹの比率が一定とならない。切り出し範囲の縦横比は一定である必要がある。そこで本実施例の切り出した映像の出力比が４：３であるとすると、
Ｘｓｉｚｅ３＝Ｙｓｉｚｅ２×４／３・・（式９）
Ｙｓｉｚｅ３＝Ｘｓｉｚｅ２×３／４・・（式１０）
を求め、Ｘｓｉｚｅ２とＸｓｉｚｅ３（またはＹｓｉｚｅ２とＹｓｉｚｅ３）を比較し、大きい方を採用して切り出しサイズとする。これは４：３の出力比で切り出した際により大きく切り出される方を選択しており、水平と垂直の両方において被写体が切り出し範囲内に入るようにするための処理である。この判定によりＸｓｉｚｅ２とＹｓｉｚｅ３かＸｓｉｚｅ３とＹｓｉｚｅ２のどちらかが最終的な切り出しサイズのＸｓｉｚｅ４とＹｓｉｚｅ４として選択される。その結果、Ｘｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ４、Ｙｓｉｚｅ４が最終的な切り出し範囲となる。
【００２５】
最終的な切り出し範囲を決める際に、切り出すフレームの後のフレームの切り出し範囲を利用して、実際の切り出し範囲を決めている。そのため、後のフレームを使用する量に応じて、遅延部１０２で映像を遅延させる必要がある。例えば前後５フレームの平均で切り出し範囲を決定する際には５フレーム以上遅延させる必要がある。ただし、後のフレームを使用しないときは、遅延させる必要はなく、遅延部１０２も不要となる。
【００２６】
リサイズの割合はＸｓｉｚｅ４もしくはＹｓｉｚｅ４と出力サイズによって決まる。例えば出力が６４０×４８０であるとすると、リサイズの割合はＳ２０３の結果に基づき、６４０／Ｘｓｉｚｅ４（または４８０／Ｙｓｉｚｅ４）となる。この割合でリサイズを行い、常に６４０×４８０の出力映像を取得する。
【００２７】
以上述べたように切り出し範囲、遅延フレーム数、リサイズの割合を算出する。このような手法で切り出し範囲を決めれば、ボールと人物の位置のみを使用し、比較的簡単に切り出し範囲を決定することができる。また、ボールから一定距離以内の被写体に最適なフレームサイズとなるため、不必要に広角になることを減らすことができる。また、切り出し対象被写体検出領域への人物の出入りが無い場合や、ボールが端でない場合は、ボールの移動に伴う画角の変動が無く、ボール小刻みな変動に伴う切り出し範囲の変動が無い。また、切り出し範囲を決める段階ではボールと人物を区別しないため、人物に対するボールの位置に関わらず、切り出し範囲を設定することができる。また、切り出しサイズの決定において、前後数フレームの平均値を使用するため、切り出し範囲の急激な変動を抑制することができる。
【００２８】
＜第２の実施形態＞
実施例１ではボールと人物に関して最適となるように切り出し範囲を決定した。しかしながら例えばゴールのような固定している被写体を含めて切り出し範囲を決めたいことも多い。そこで実施例２ではボールと人物に加え、固定した被写体を含める場合の切り出し範囲を決める方法に関して述べる。
【００２９】
実施例１と同様にバスケットボールの映像から切り出す例を挙げて説明する。固定の被写体としてはゴールとし、切り出し範囲を決定する際にゴールの位置も考慮に入れて決める方法について説明する。
【００３０】
概略構成としては実施例１で示した図１と同様である。検出部１０１では実施例１と同様、ボールと人物の座標を検出する。制御部１０３ではボールと人物の座標と、あらかじめメモリ１０４に格納してあるゴールの座標を用いて切り出し範囲を決める。
【００３１】
図４（ａ）、（ｂ）に実施例２を用いた時の単フレーム映像イメージ例１、２に対する切り出し範囲を示す。図示してあるゴールの水平座標Ｘｇ１、Ｘｇ２、垂直座標Ｙｇは固定となる。まず切り出し対象被写体検出領域は実施例１と同様、ボールの水平位置Ｘｂから水平方向にＡ離れた領域とする。次に切り出し対象被写体検出領域にあるボール、人物の座標とゴールの座標の中から、水平の最大値Ｘｓｍａｘ、最小値Ｘｓｍｉｎと垂直の最大値Ｙｓｍａｘ、最小値Ｙｓｍｉｎを取得する。Ｘｓｍａｘ、Ｘｓｍｉｎ、Ｙｓｍａｘ、Ｙｓｍｉｎを使用し、実施例１と同様の手法で切り出し範囲を決定する。
【００３２】
図４（ａ）は図３と同様の映像イメージ例１から実施例２を用いて切り出し範囲を示した例である。図３に比べてゴールが出力映像に残るためボール、人物、ゴールの位置関係が分かりやすい。また、図４（ｂ）はボールがゴールから一定距離離れている例であり、このような場合は実施例１と同様の切り出し範囲となり、不必要に広角になることが無い。
【００３３】
以上のように求めたＸｓｍａｘ、Ｘｓｍｉｎ、Ｙｓｍａｘ、Ｙｓｍｉｎを使用し、実施例１と同様の手法でＸｃｅｎｔｅｒ２、Ｙｃｅｎｔｅｒ２、Ｘｓｉｚｅ４、Ｙｓｉｚｅ４を算出し、最終的な切り出し範囲を決める。
【００３４】
以上述べたような方法で切り出し範囲を定めれば、ゴールがボールから一定距離以内に入ったとき、ゴールを含めるような切り出し範囲とすることができる。
【００３５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００３６】
１０１  検出部、１０２  遅延部１０２、１０３  制御部、１０４  メモリ、
１０５  切り出し部、１０６  リサイズ部
【図１】
2016009966.tif 000003
【図２】
2016009966.tif 000004
【図３】
2016009966.tif 000005
【図４（ａ）】
2016009966.tif 000006
【図４（ｂ）】
2016009966.tif 000007