(57)【要約】【課題】射影変換による被写体の歪みを抑制する視点変換装置を提供する。【解決手段】視点変換装置３は、被写体を追跡する被写体追跡部３０と、被写体領域を抽出する被写体抽出部３１と、撮影映像から背景画像を生成する背景画像生成部３２と、背景画像を俯瞰視点の画像に射影変換する射影変換部３３と、被写体領域を射影変換部が射影変換した俯瞰画像に合成する画像合成部３４と、合成映像を出力する出力部３５とを備える。【選択図】図２
2019215708.tif 000002
【特許請求の範囲】
【請求項１】
固定カメラで撮影した撮影映像の視点を俯瞰視点に変換する視点変換装置であって、
前記撮影映像に含まれる被写体を追跡する被写体追跡部と、
前記撮影映像から、前記被写体追跡部が追跡中の被写体の領域を抽出する被写体抽出部と、
前記撮影映像から背景画像を生成する背景画像生成部と、
前記背景画像生成部が生成した背景画像を前記俯瞰視点の画像である俯瞰画像に射影変換する射影変換部と、
前記被写体抽出部が抽出した被写体領域を前記俯瞰画像上で射影変換後の位置に合成する画像合成部と、
を備えることを特徴とする視点変換装置。
【請求項２】
前記撮影映像は、サッカーの試合を撮影した映像であることを特徴とする請求項１に記載の視点変換装置。
【請求項３】
前記画像合成部は、前記被写体領域の下端部を基準として、当該被写体領域を前記俯瞰画像に合成することを特徴とする請求項１又は請求項２に記載の視点変換装置。
【請求項４】
前記撮影映像に強校正処理を施すカメラ校正部、をさらに備え、
前記被写体追跡部は、前記カメラ校正部が校正した撮影映像に含まれる前記被写体を追跡し、
前記背景画像生成部は、前記カメラ校正部が校正した撮影映像から前記背景画像を生成することを特徴とする請求項１から請求項３の何れか一項に記載の視点変換装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の視点変換装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影映像の視点を変換する視点変換装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来より、サッカーの映像解析において、カメラで撮影した映像に含まれる被写体(例えば、サッカー選手やサッカーボール)の位置を、競技のフィールドの座標系と対応させるために、射影変換行列を利用することが知られている（特許文献１、非特許文献１）。この射影変換行列は、カメラ座標とフィールド座標との間で対応する対応点を４つ以上手動で指定することで求められる。この射影変換行列を用いて、カメラで撮影した映像をフィールド座標系に合うように変換すれば、図１１（ａ）に示すように、フィールド９０を上空から俯瞰したような映像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−９９９４１号公報
【非特許文献】
【０００４】
【非特許文献１】片岡裕雄、青木義満、“単眼カメラを用いたサッカー戦術解析のための複数選手とボールの追跡”、画像電子学会誌、ｖｏｌ.４１、ｎｏ.２、ｐｐ.１５２−１５９、２０１２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の映像解析技術では、図１１（ｂ）に示すように、サッカー選手９４などの被写体が射影変換により著しく歪み、試合状況を把握することが困難になるという問題がある。
【０００６】
そこで、本発明は、射影変換による被写体の歪みを抑制する視点変換装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本発明に係る視点変換装置は、固定カメラで撮影した撮影映像の視点を俯瞰視点に変換する視点変換装置であって、被写体追跡部と、被写体抽出部と、背景画像生成部と、射影変換部と、画像合成部とを備える構成とした。
【０００８】
被写体追跡部は、撮影映像に含まれる被写体を追跡する。
被写体抽出部は、撮影映像から、被写体追跡部が追跡中の被写体の領域を抽出する。
背景画像生成部は、撮影映像から背景画像を生成する。
射影変換部は、背景画像生成部が生成した背景画像を俯瞰視点の画像である俯瞰画像に射影変換する。
画像合成部は、被写体抽出部が抽出した被写体領域を俯瞰画像上で射影変換後の位置に合成する。
このように、視点変換装置は、射影変換せずに被写体領域を俯瞰画像に合成するので、射影変換による被写体の歪みを抑制することができる。
【０００９】
なお、本発明に係る視点変換装置は、一般的なコンピュータを前記した各手段として協調動作させるプログラムで実現することもできる。
【発明の効果】
【００１０】
本発明によれば、射影変換による被写体の歪みを抑制し、撮影映像を俯瞰視点から見たような映像効果を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における撮影システムの全体構成図である。
【図２】第１実施形態に係る視点変換装置の構成を示すブロック図である。
【図３】第１実施形態において、（ａ）は撮影映像の一例を説明する説明図であり、（ｂ）は（ａ）の撮影映像に含まれる被写体を拡大したものである。
【図４】第１実施形態において、（ａ）は背景差分法で生成するマスク画像の一例を説明する説明図であり、（ｂ）は（ａ）のマスク画像に含まれる被写体領域を拡大したものである。
【図５】第１実施形態における背景画像の一例を説明する説明図である。
【図６】第１実施形態における俯瞰画像の一例を説明する説明図である。
【図７】第１実施形態における合成映像の一例を説明する説明図である。
【図８】図２の視点変換装置の動作を示すフローチャートである。
【図９】第２実施形態に係る視点変換装置の構成を示すブロック図である。
【図１０】変形例における撮影システムの全体構成図である。
【図１１】従来技術において、（ａ）は俯瞰視点に変換した映像の一例であり、（ｂ）は（ａ）の映像に含まれる被写体を拡大したものである。
【発明を実施するための形態】
【００１２】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。
【００１３】
（第１実施形態）
［撮影システムの全体構成］
図１を参照し、第１実施形態における撮影システム１の全体構成について説明する。
撮影システム１は、例えば、サッカースタジアム等の撮影現場に設置され、サッカーの試合を撮影し、その撮影映像を俯瞰視点に変換した合成映像を生成するものである。図１に示すように、撮影システム１は、固定カメラ２と、視点変換装置３とを備える。
【００１４】
固定カメラ２は、撮影位置及び撮影姿勢（パン、チルト、ズーム）が固定された一般的な撮影カメラである。本実施形態では、固定カメラ２は、広範囲なフィールド９０を１台で撮影するため、広角カメラであることとする。また、固定カメラ２は、フィールド９０の奥側まで撮影できるように、図示を省略した三脚に搭載し、フィールド９０よりも高い位置（例えば、メインスタンド）に設置するとよい。
固定カメラ２は、図示を省略したケーブルを介して、サッカー試合の撮影映像を視点変換装置３に伝送する。
【００１５】
視点変換装置３は、固定カメラ２で撮影した撮影映像の視点を俯瞰視点に変換するものである。本実施形態では、視点変換装置３は、ケーブルを介して、固定カメラ２に接続されているため、任意の場所に設置できる。また、視点変換装置３は、俯瞰視点に変換した合成映像を、映像表示装置や映像蓄積装置といった外部装置（不図示）に出力する。
【００１６】
［視点変換装置の構成］
図２を参照し、第１実施形態に係る視点変換装置３の構成について説明する。
図２に示すように、視点変換装置３は、被写体追跡部３０と、被写体抽出部３１と、背景画像生成部３２と、射影変換部３３と、画像合成部３４と、出力部３５とを備える。ここで、視点変換装置３は、固定カメラ２から入力された映像を、被写体追跡部３０と背景画像生成部３２にそれぞれ分配して出力する。
【００１７】
被写体追跡部３０は、固定カメラ２からの撮影映像に含まれる被写体を追跡するものである。この被写体追跡部３０は、任意の手法で被写体を追跡できる。本実施形態では、被写体追跡部３０は、被写体抽出部３１に被写体領域を出力することが目的であるため、一般的な背景差分法を用いる。
【００１８】
例えば、被写体追跡部３０は、図３（ａ）に示すサッカー試合の撮影映像ＰＡに背景差分法を適用し、図４（ａ）に示すマスク画像ＰＭを生成する。図３（ａ）の撮影映像ＰＡ及び図４（ａ）のマスク画像ＰＭは、同一画素数であり、各画素が１対１で対応する。このマスク画像ＰＭは、画素値が０又は２５５の２値画像であり、黒色が背景（画素値＝０）、白色が前景（画素値＝２５５）を表す。なお、前景とは、撮影映像に含まれる被写体（例えば、サッカー選手やサッカーボール）のことである。
【００１９】
被写体追跡部３０は、固定カメラ２からの撮影映像と、撮影映像から生成したマスク画像とを被写体抽出部３１に出力する。
【００２０】
被写体抽出部３１は、撮影映像から、被写体追跡部３０が追跡中の被写体領域を抽出するものである。このとき、被写体抽出部３１は、矩形の「ｂｏｕｎｄｉｎｇ  ｂｏｘ」ではなく、画素毎に前景又は背景を表すマスク画像に基づいて、撮影映像に含まれる全ての被写体領域を抽出する。例えば、被写体抽出部３１は、図３（ａ）に示すサッカー試合の撮影映像ＰＡから、図４（ｂ）のマスク画像ＰＭが表すサッカー選手９４の輪郭内側領域を切り出して、図３（ｂ）のサッカー選手９４の被写体領域を抽出する。なお、図４（ｂ）は、図４（ａ）のマスク画像に含まれるサッカー選手の領域を拡大したものである。
被写体抽出部３１は、撮影映像から抽出した被写体領域を画像合成部３４に出力する。
【００２１】
背景画像生成部３２は、固定カメラ２より入力された撮影映像から背景画像を生成するものである。この背景画像生成部３２は、任意の手法で背景画像を生成できる。本実施形態では、背景画像生成部３２は、撮影映像の前景と背景とを分離し、背景のみを取り出すことで背景画像を生成する。
【００２２】
例えば、背景画像生成部３２は、下記の式（１）で表される移動平均法により、背景画像（移動平均画像）を生成する。ここで、動きがある前景に対して背景は動きがないため、十分な時間の移動平均法を適用することで、背景画像を生成することができる。なお、式（１）において、ｆが撮影映像（入力画像）、ｇが移動平均画像（出力画像）、αが移動平均画像の更新速度を表す係数である。この係数αは、任意の値で予め設定しておくこととする。つまり、移動平均画像は、撮影映像で時間方向に連続するフレームの各画素の画素値を平均したものである。
【００２３】
【数１】
2019215708.tif 000003
【００２４】
すなわち、背景画像生成部３２は、撮影映像を構成するフレームの各画素に式（１）を適用し、背景画像を生成する。例えば、背景画像生成部３２は、図３（ａ）に示すサッカー試合の撮影映像ＰＡから、図５に示すフィールドの背景画像ＰＢを生成する。つまり、図５に示すように、フィールドの背景画像ＰＢは、図３（ａ）に示すサッカー試合の撮影映像ＰＡから、サッカー選手９４などの動きのある被写体領域を除いたものである。
背景画像生成部３２は、生成した背景画像を射影変換部３３に出力する。
【００２５】
射影変換部３３は、背景画像生成部３２からの背景画像を俯瞰視点の画像である俯瞰画像に射影変換するものである。本実施形態では、射影変換部３３は、下記の式（２）で表される射影変換行列を用いて、背景画像を俯瞰画像に変換する。なお、式（２）では、ｐが背景画像の座標（カメラ座標）、ｐ´が俯瞰画像の座標（フィールド座標）、Ｈが射影変換行列を表す。
【００２６】
【数２】
2019215708.tif 000004
【００２７】
例えば、射影変換部３３は、図５に示すフィールドの背景画像ＰＢを、図６に示すフィールドの俯瞰画像ＰＣに変換する。なお、図６の俯瞰画像ＰＣでは、固定カメラ２の撮影画角から外れて背景画像ＰＢに含まれない領域をハッチングで図示した。実際には、このハッチングの領域は、黒色で表示すればよい。
射影変換部３３は、生成した俯瞰画像を画像合成部３４に出力する。
【００２８】
なお、本実施形態では、図示を省略したマウス、キーボード等の操作手段を用いて、撮影システム１の利用者が、４つ以上の対応点を予め設定し、射影変換行列を予め生成しておくこととする。この対応点は、背景画像と俯瞰画像との座標系の対応関係を表している。例えば、対応点として、コーナー９１、センターラインとサイドラインとの交点９２、センターマーク９３などの特徴点を設定すればよい（図１）。
【００２９】
画像合成部３４は、被写体抽出部３１からの被写体領域を、射影変換部３３からの俯瞰画像上で射影変換後の位置に合成するものである。例えば、画像合成部３４は、図６に示すフィールドの俯瞰画像ＰＣと、図３（ｂ）に示すサッカー選手９４の被写体領域とを合成し、図７に示す合成映像ＰＧを生成する。このとき、画像合成部３４は、俯瞰画像上に被写体領域を合成する位置を、式（２）の射影変換行列を用いて求めることとする。
【００３０】
ここで、画像合成部３４は、被写体領域の下端部（つまり、サッカー選手の足元）を基準として合成することが好ましい。通常、フィールド面（地面）上にサッカー選手が位置し、そのフィールド面上の対応点で射影変換が行われる。従って、画像合成部３４は、フィールド面に接するサッカー選手の足元を基準とすることで、正しい位置にサッカー選手を合成し、自然な合成映像を生成できる。さらに、サッカー選手のトラッキング装置でも、サッカー選手の足元を基準としているので、その装置と整合性を保つこともできる。
画像合成部３４は、生成した合成映像を出力部３５に出力する。
【００３１】
出力部３５は、画像合成部３４からの合成映像を任意の形式で外部装置に出力する。
【００３２】
［視点変換装置の動作］
図８を参照し、視点変換装置３の動作について説明する。
図８に示すように、被写体追跡部３０は、固定カメラ２からの撮影映像に含まれる被写体を追跡する。例えば、被写体追跡部３０は、一般的な背景差分法により、被写体を追跡する（ステップＳ１）。
【００３３】
被写体抽出部３１は、撮影映像から、ステップＳ１で追跡した被写体領域を抽出する。例えば、被写体抽出部３１は、背景差分法により生成されたマスク画像に基づいて、被写体領域を抽出する（ステップＳ２）。
背景画像生成部３２は、撮影映像から背景画像を生成する。例えば、背景画像生成部３２は、撮影映像に移動平均法を施して、背景画像を生成する（ステップＳ３）。
【００３４】
射影変換部３３は、ステップＳ３で生成した背景画像を俯瞰画像に射影変換する。例えば、射影変換部３３では、４つ以上の対応点を予め設定し、射影変換行列を予め生成しておく。そして、射影変換部３３は、生成した射影変換行列を用いて、背景画像を俯瞰画像に変換する（ステップ４）。
【００３５】
画像合成部３４は、ステップＳ２で抽出した被写体領域を、ステップＳ４で射影変換した俯瞰画像上で射影変換後の位置に合成する。このとき、画像合成部３４は、俯瞰画像に被写体領域を合成する位置を、射影変換行列を用いて求める（ステップＳ５）。
出力部３５は、ステップＳ５で生成した合成映像を任意の形式で出力する（ステップＳ６）。
【００３６】
視点変換装置３は、例えば、撮影映像の最終フレームに達したか否かにより、動作を終了するか否かを判定する（ステップＳ７）。
撮影映像の最終フレームに達していない場合（ステップＳ７でＮｏ）、視点変換装置３は、ステップＳ１に戻り、次フレームの処理を行う。
撮影映像の最終フレームに達した場合（ステップＳ７でＹｅｓ）、視点変換装置３は、動作を終了する。
【００３７】
なお、図８において、ステップＳ１及びステップＳ２と、ステップＳ３及びステップＳ４とを実行する順番は任意である。例えば、ステップＳ３及びステップＳ４を先に実行し、ステップＳ１及びステップＳ２を後に実行してもよい。また、ステップＳ１及びステップＳ２と、ステップＳ３及びステップＳ４とを並列で実行してもよい。
【００３８】
［作用・効果］
以上のように、視点変換装置３は、射影変換によるサッカー選手の歪みを抑制し、サッカー試合の撮影映像を俯瞰視点から見たような映像効果を得ることができる。すなわち、視点変換装置３は、サッカー選手の被写体領域を射影変換せずに合成するので（図３（ｂ）参照）、従来技術のように、サッカー選手の被写体領域が歪むことがなく（図１１（ｂ）参照）、高品質な合成映像を提供することができる。さらに、視点変換装置３は、広範囲のフィールドに小さなサッカー選手を合成するので、俯瞰視点のフィールドと、カメラ視点のサッカー選手との角度差が目立ちにくく、高品質な合成映像を提供することができる。
【００３９】
（第２実施形態）
図９を参照し、第２実施形態に係る撮影システム１Ｂについて、第１実施形態と異なる点を説明する。
【００４０】
撮影システム１Ｂでは、固定カメラ２の光学系による歪みを校正する点が第１実施形態と異なる。図９に示すように、撮影システム１Ｂは、固定カメラ２と、視点変換装置３Ｂとを備える。
視点変換装置３Ｂは、被写体追跡部３０Ｂと、被写体抽出部３１と、背景画像生成部３２Ｂと、射影変換部３３と、画像合成部３４と、出力部３５と、カメラ校正部３６とを備える。
【００４１】
カメラ校正部３６は、固定カメラ２からの撮影映像に強校正処理を施すものである（参考文献１）。例えば、カメラ校正部３６は、固定カメラ２が白黒のチェスボードパターンを撮影した画像を用いて、固定カメラ２の光学系の歪みを表す内部パラメータを求める。そして、カメラ校正部３６は、この内部パラメータを用いて、固定カメラ２が撮影した撮影映像を補正する。
カメラ校正部３６は、校正した撮影映像を被写体追跡部３０Ｂ及び背景画像生成部３２Ｂに出力する。
【００４２】
参考文献１：「OpenCV  Camera Calibration」、［online］、［平成３０年５月２８日検索］、インターネット〈URL：https://docs.opencv.org/3.4.1/dc/dbb/tutorial_py_calibration.html>
【００４３】
被写体追跡部３０Ｂは、カメラ校正部３６が校正した撮影映像に含まれる被写体を追跡する。
背景画像生成部３２Ｂは、カメラ校正部３６が校正した撮影映像から背景画像を生成する。
なお、被写体追跡部３０Ｂ及び背景画像生成部３２Ｂの処理内容は、第１実施形態と同様のため、これ以上の説明を省略する。
【００４４】
［作用・効果］
以上のように、視点変換装置３Ｂは、強校正処理により固定カメラ２の光学系の歪みを抑制できるので、より高品質な合成映像を提供することができる。
【００４５】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００４６】
前記した各実施形態では、撮影映像がサッカー試合の映像であることとして説明したが、本発明は、これに限定されない。例えば、本発明は、フィールド上に４つ以上の対応点を設定可能であれば、サッカー以外のスポーツ映像や、スポーツ以外の映像にも適用できる。
前記した各実施形態では、被写体がサッカー選手であることとして説明したが、本発明では、動いている被写体であれば特に制限されない。
【００４７】
前記した各実施形態では、１組の撮影システムを用いることとして説明したが、本発明は、これに限定されない。例えば、１台の固定カメラでフィールド全体を撮影できない場合、複数台の固定カメラを用いてもよい。図１０に示すように、フィールド９０の同一サイドに撮影システム１を２組配置し、それぞれの固定カメラ２でフィールド９０の右半分及び左半分を撮影してもよい。
【００４８】
前記した各実施形態では、視点変換装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した視点変換装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【００４９】
例えば、本発明に係る視点変換装置は、サッカー等のフィールドで行われるスポーツにおいて、その解説やトレーニングに利用することができる。
【符号の説明】
【００５０】
１，１Ｂ  撮影システム
２  固定カメラ
３，３Ｂ  視点変換装置
３０,３０Ｂ  被写体追跡部
３１  被写体抽出部
３２，３２Ｂ  背景画像生成部
３３  射影変換部
３４  画像合成部
３５  出力部
３６  カメラ校正部
９０  フィールド
９１  コーナー
９２  交点
９３  センターマーク
９４  サッカー選手
ＰＡ  撮影映像
ＰＢ  背景画像
ＰＣ  俯瞰画像
ＰＧ  合成映像
ＰＭ  マスク画像
【図１】
2019215708.tif 000005
【図２】
2019215708.tif 000006
【図３】
2019215708.tif 000007
【図４】
2019215708.tif 000008
【図５】
2019215708.tif 000009
【図６】
2019215708.tif 000010
【図７】
2019215708.tif 000011
【図８】
2019215708.tif 000012
【図９】
2019215708.tif 000013
【図１０】
2019215708.tif 000014
【図１１】
2019215708.tif 000015