(57)【要約】【課題】  取得された画像データから対象の向きを容易に特定可能なデータ処理装置、画像配信システム、画像解析方法及び画像解析プログラムを提供する。【解決手段】  データ処理装置は、取得された画像データ中の、対象の所定の部位に対応する特徴点の位置を特定する特定部と、前記画像データが取得された位置及び方向と、前記所定の部位の高さとに基づいて、前記画像データにおいて特定された特徴点の位置の２次元座標を３次元座標に変換する第１の変換部と、前記特徴点の位置の３次元座標に基づいて、所定の視点における前記対象の向きを示す情報を取得する取得部とを有する。【選択図】図６
2020188914.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像データ中の、対象の所定の部位に対応する特徴点の位置を特定する特定部と、
前記画像データが取得された位置及び方向と、前記所定の部位の高さとに基づいて、前記画像データにおいて特定された特徴点の位置の２次元座標を３次元座標に変換する第１の変換部と、
前記特徴点の位置の３次元座標に基づいて、所定の視点における前記対象の向きを示す情報を取得する取得部と
を有するデータ処理装置。
【請求項２】
前記画像データは、俯瞰の視点から撮影されており、
前記取得部は、前記特徴点の位置の３次元座標に基づいて導出される前記対象の向きを示す情報を、前記所定の視点の投影画像データに投影することで、前記所定の視点における前記対象の向きを示す情報を取得する、請求項１に記載のデータ処理装置。
【請求項３】
前記対象は人物であり、
前記特定部は、前記人物の左肩に対応する特徴点の位置と右肩に対応する特徴点の位置とを特定し、
前記第１の変換部は、前記人物の左肩に対応する特徴点の位置の２次元座標と、前記人物の右肩に対応する特徴点の位置の２次元座標とを、それぞれ３次元座標に変換する、請求項２に記載のデータ処理装置。
【請求項４】
前記取得部は、前記人物の左肩に対応する特徴点の位置の３次元座標と右肩に対応する特徴点の位置の３次元座標とに基づいて導出されるベクトルを、前記所定の視点の投影画像データに投影することで、前記所定の視点における前記対象の向きを示す情報である、前記人物の体の向きを表すベクトルを取得する、請求項３に記載のデータ処理装置。
【請求項５】
前記取得部は、俯瞰撮影された範囲を含む所定領域を上方から見た上面図である前記投影画像データに投影する、請求項４に記載のデータ処理装置。
【請求項６】
時系列の前記画像データに基づいて、所定時間が経過する間の前記人物の移動ベクトルを算出する算出部と、
前記画像データが取得された位置及び方向に基づいて、前記移動ベクトルの始点と終点の位置の２次元座標を、世界座標系における３次元座標に変換する第２の変換部と、を更に有し、
前記取得部は、３次元座標に変換された前記移動ベクトルが所定の長さを有する場合、前記人物の左肩に対応する特徴点の位置と右肩に対応する特徴点の位置とに基づいて導出されるベクトルに代えて、３次元座標に変換された前記移動ベクトルを、前記所定の視点の投影画像データに投影することで、前記所定の視点における前記対象の向きを示す情報である、前記人物の体の向きを表すベクトルを取得する、請求項４に記載のデータ処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載のデータ処理装置と、
前記所定の視点における前記対象の向きを示す情報を受信して表示する端末と
を有する画像配信システム。
【請求項８】
取得された画像データ中の、対象の所定の部位に対応する特徴点の位置を特定する特定工程と、
前記画像データが取得された位置及び方向と、前記所定の部位の高さとに基づいて、前記画像データにおいて特定された特徴点の位置の２次元座標を３次元座標に変換する変換工程と、
前記特徴点の位置の３次元座標に基づいて、所定の視点における前記対象の向きを示す情報を取得する取得工程と
を有する画像解析方法。
【請求項９】
コンピュータに、
取得された画像データ中の、対象の所定の部位に対応する特徴点の位置を特定する特定工程と、
前記画像データが取得された位置及び方向と、前記所定の部位の高さとに基づいて、前記画像データにおいて特定された特徴点の位置の２次元座標を３次元座標に変換する変換工程と、
前記特徴点の位置の３次元座標に基づいて、所定の視点における前記対象の向きを示す情報を取得する取得工程と
を実行させるための画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、データ処理装置、画像配信システム、画像解析方法及び画像解析プログラムに関する。
【背景技術】
【０００２】
従来より、競技中の選手を３次元カメラで撮影し、選手の体の向き等を解析する画像解析技術が知られている（例えば、下記特許文献１等参照）。当該画像解析技術によれば、例えば、体操競技における選手の姿勢を、様々な視点で精度よく判定することができる。
【０００３】
一方で、サッカー等の団体競技においても、各選手の体の向き（あるいは、顔や足等の向きであってもよい。以下、これらをまとめて"対象の向き"と称す）について解析を求められる場合がある。対象の向きを特定することで、例えば、各選手のフォーメーション等を確認するのに役立つからである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１６／２０８２９０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、取得された画像データから対象の向きを容易に特定可能なデータ処理装置、画像配信システム、画像解析方法及び画像解析プログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様によるデータ処理装置は、例えば、以下のような構成を有する。即ち、
取得された画像データ中の、対象の所定の部位に対応する特徴点の位置を特定する特定部と、
前記画像データが取得された位置及び方向と、前記所定の部位の高さとに基づいて、前記画像データにおいて特定された特徴点の位置の２次元座標を３次元座標に変換する第１の変換部と、
前記特徴点の位置の３次元座標に基づいて、所定の視点における前記対象の向きを示す情報を取得する取得部とを有する。
【図面の簡単な説明】
【０００７】
【図１】画像配信システムのシステム構成の一例を示す図である。
【図２】画像解析サービス提供部による処理の概要を説明する第１の図である。
【図３】画像解析サービス提供部による処理の概要を説明する第２の図である。
【図４】画像解析サービス提供部による処理の概要を説明する第３の図である。
【図５】データ処理装置のハードウェア構成の一例を示す図である。
【図６】画像解析サービス提供部の機能構成の一例を示す第１の図である。
【図７】変換処理の詳細を説明するための図である。
【図８】画像解析サービス提供処理の流れを示す第１のフローチャートである。
【図９】画像解析サービス提供部の機能構成の一例を示す第２の図である。
【図１０】画像解析サービス提供処理の流れを示す第２のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【０００９】
［第１の実施形態］
＜画像配信システムのシステム構成＞
はじめに、第１の実施形態に係るデータ処理装置が適用される画像配信システムのシステム構成について説明する。図１は、画像配信システムのシステム構成の一例を示す図である。
【００１０】
図１に示すように、本実施形態の画像配信システム１００は、撮像装置１１０＿１〜１１０＿ｎと、画像データ配信装置１２０と、第１の実施形態に係るデータ処理装置１４０と、端末１５０とを有する。画像配信システム１００において、例えば、画像データ配信装置１２０と、データ処理装置１４０と、端末１５０とは、ネットワーク１３０を介して通信可能に接続される。
【００１１】
撮像装置１１０＿１〜１１０＿ｎは、団体競技（例えば、サッカー、ラグビー、アメリカンフットボール等）の競技場（フィールド）全体を、俯瞰撮影する２次元カメラである。撮像装置１１０＿１〜１１０＿ｎにより得られた画像データは、画像データ配信装置１２０に送信される。
【００１２】
なお、本実施形態において、撮像装置１１０＿１〜１１０＿ｎの撮影位置（世界座標系における３次元座標データ）と、撮像装置１１０＿１〜１１０＿ｎの撮影方向（仰俯角、方位角）とは、固定された既知の値であるとする。
【００１３】
画像データ配信装置１２０は、撮像装置１１０＿１〜１１０＿ｎより送信された画像データを蓄積する。また、画像データ配信装置１２０は、蓄積した画像データのうち、データ処理装置１４０に解析を依頼する解析対象画像データを抽出し、データ処理装置１４０に送信する。また、画像データ配信装置１２０は、データ処理装置１４０より送信された解析済み画像データを受信する。
【００１４】
更に、画像データ配信装置１２０は、例えば、端末１５０からの要求に応じて、蓄積した画像データ及び受信した解析済み画像データを、端末１５０に配信する。
【００１５】
データ処理装置１４０には、画像解析サービス提供プログラムがインストールされており、当該プログラムを実行することで、データ処理装置１４０は、画像解析サービス提供部１４１として機能する。
【００１６】
画像解析サービス提供部１４１は、画像解析サービスを提供する。具体的には、画像解析サービス提供部１４１は、画像データ配信装置１２０から解析を依頼された解析対象画像データを受信し、受信した解析対象画像データを解析することで、解析済み画像データを生成する。また、画像解析サービス提供部１４１は、生成した解析済み画像データを、画像データ配信装置１２０に送信する。
【００１７】
端末１５０は、画像データ及び解析済み画像データの配信を受けるユーザが利用する端末であり、例えば、パーソナルコンピュータ、スマートフォンまたはタブレット端末等である。端末１５０は、画像データ配信装置１２０に対して、画像データ等の配信要求を行うことで、画像データ配信装置１２０から配信される画像データ及び解析済み画像データを受信する。なお、端末１５０は、ディスプレイ等の表示部を備えていてもよい。これにより、端末１５０のユーザは、画像データ配信装置１２０から配信される画像データ及び解析済み画像データを視聴することができる。
【００１８】
＜画像解析サービス提供部による処理の概要＞
次に、本実施形態の画像解析サービス提供部１４１による処理の概要について説明する。図２〜図４は、画像解析サービス提供部による処理の概要を説明する第１乃至第３の図である。
【００１９】
このうち、図２（ａ）は、サッカーの競技場２００を、複数の撮像装置（図２（ａ）では、撮像装置１１０＿１〜１１０＿４の４台のみを図示）が、それぞれ、俯瞰撮影する様子を示している。なお、複数の撮像装置は、それぞれの撮影位置から、競技場２００全体を撮影範囲として俯瞰撮影してもよいし、競技場２００の一部の領域を撮影範囲として俯瞰撮影してもよい。
【００２０】
図２（ｂ）は、所定の撮像装置（図２（ａ）において不図示）が、競技場２００全体を、競技場２００の横方向から俯瞰撮影することで取得された画像データの一例を示す図である。なお、以下では、図２（ｂ）に示す画像データを、画像解析サービス提供部１４１が解析する解析対象画像データ２１０であるとして説明する。
【００２１】
図２（ｂ）に示すように、画像解析サービス提供部１４１では、まず、解析対象画像データ２１０中の人物の領域を特定し、抽出画像データ２１１を抽出する。図２（ｃ）は、抽出画像データ２１１を拡大して示したものである。
【００２２】
続いて、画像解析サービス提供部１４１では、抽出画像データ２１１中の人物の頭や肩、腰などの各部位に対応する特徴点の位置を特定する。図３（ａ）は、抽出画像データ２１１中の人物の各部位に対応する特徴点の位置（白丸）が特定された様子を示している。この特徴点の位置の特定は、例えば、画像解析により行うことができる。例えば、対象が映った画像を入力として対象の骨格を出力可能な訓練済みモデルにより、対象の骨格を推定し、得られた骨格の一部分を特徴点とすることができる。このように対象の骨格に基づいて特徴点を特定することにより、例えば、肩、腰、膝など対象の動きまたは向きに影響が大きい部分を特徴点として容易に抽出することができる。
【００２３】
続いて、画像解析サービス提供部１４１では、特定した特徴点の位置のうち、人物の左肩に対応する特徴点の位置（以下、単に、左肩の位置と称す）の座標データと、人物の右肩に対応する特徴点の位置（以下、単に、右肩の位置と称す）の座標データとを算出する。
【００２４】
図３（ｂ）は、人物の左肩の位置の座標データが（ｘｌｓ，ｙｌｓ）、人物の右肩の位置の座標データが（ｘｒｓ，ｙｒｓ）と算出されたことを示している。なお、これらの座標データ（２次元座標データ）は、例えば、解析対象画像データ２１０の所定の位置を原点とし、横方向をｘ軸、縦方向をｙ軸と規定することで算出される。
【００２５】
図３（ｃ）は、算出した２次元座標データを、世界座標系の３次元座標データに変換した様子を示している。具体的には、人物の左肩の位置の２次元座標データが、世界座標系における３次元座標データ（Ｘｌｓ，Ｙｌｓ，Ｚｌｓ）に変換された様子を示している。また、人物の右肩の位置の２次元座標データが、世界座標系における３次元座標データ（Ｘｒｓ，Ｙｒｓ，Ｚｒｓ）に変換された様子を示している。
【００２６】
なお、画像解析サービス提供部１４１では、解析対象画像データ２１０を俯瞰撮影した撮像装置の世界座標系における撮影位置及び撮影方向等を用いて、解析対象画像データ２１０上の２次元座標データを、世界座標系における３次元座標データに変換する。ただし、当該"変換処理"の詳細は後述する。
【００２７】
続いて、画像解析サービス提供部１４１では、人物の左肩の位置の３次元座標データと、人物の右肩の位置の３次元座標データとに基づいて、人物の体の向き（より具体的には人物の胸の向き）を表すベクトルを導出する。
【００２８】
図４（ａ）は、人物の体の向きを表すベクトルを導出した様子を示している。図４（ａ）に示すように、本実施形態の画像解析サービス提供部１４１では、世界座標系において、
・人物の左肩の位置と、人物の右肩の位置とを含む面であって、Ｚ軸方向に平行な面に対して直交し、かつ、
・人物の左肩の位置と、人物の右肩の位置との中点を始点とし、かつ、
・人物の正面側を終点とし、かつ、
・所定の長さを有する、
ベクトル４００を導出する。図４（ａ）の例は、人物の両肩の位置の３次元座標データ（（Ｘｌｓ，Ｙｌｓ，Ｚｌｓ）、（Ｘｒｓ，Ｙｒｓ，Ｚｒｓ））を用いることで、
・ベクトル４００の始点の３次元座標データとして（Ｘｖ１，Ｙｖ１，Ｚｖ１）、
・ベクトル４００の終点の３次元座標データとして（Ｘｖ２，Ｙｖ２，Ｚｖ２）、
が導出されたことを示している。
【００２９】
続いて、画像解析サービス提供部１４１では、ベクトル４００を、世界座標が対応付けられた所定領域の画像データ（ここでは、競技場２００全体を上方から見た上面図。以下、"投影画像データ"と称す）に投影する。
【００３０】
図４（ｂ）は、各画素の位置に世界座標が対応付けられた、競技場２００全体を上方から見た上面図である投影画像データ４１０に、ベクトル４００を投影した様子を示している。
【００３１】
図４（ｂ）に示すように、投影画像データ４１０上において、ベクトル４００の始点及び終点の３次元座標データからＺ軸座標を除いた座標データ（Ｘｖ１，Ｙｖ１）、（Ｘｖ２，Ｙｖ２）の位置に、ベクトル４００が投影される。このように、画像解析サービス提供部１４１によれば、解析対象画像データ２１０とは異なる視点の投影画像データ４１０にて、人物の体の向きを表すベクトルを特定することができる。
【００３２】
なお、図４（ｂ）の例では、ベクトル４００を、解析対象画像データ２１０とは異なる視点の投影画像データ４１０に投影する場合について説明したが、ベクトル４００を、解析対象画像データ２１０に投影してもよい。
【００３３】
この場合、上記図３（ｃ）において説明した、２次元座標データから３次元座標データへ変換する変換処理とは反対の逆変換処理を、ベクトル４００の始点及び終点の３次元座標データそれぞれに対して行う。
【００３４】
図４（ｃ）は、ベクトル４００の始点及び終点の３次元座標データに対して逆変換処理を行うことで、２次元座標データ（ｘｖ１，ｙｖ１）、（ｘｖ２，ｙｖ２）を算出し、ベクトル４００を、解析対象画像データ２１０に投影した様子を示している。このように、画像解析サービス提供部１４１によれば、解析対象画像データ２１０とは異なる視点の投影画像データ４１０においてのみならず、解析対象画像データ２１０そのものにおいても、人物の体の向きを表すベクトルを特定することができる。
【００３５】
なお、ベクトル４００は、投影画像データ４１０や解析対象画像データ２１０に投影されずに、他の用途に利用されてもよい。例えば、ベクトル４００は、別の機械学習モデルの訓練用データとして利用されてもよい。
【００３６】
＜データ処理装置のハードウェア構成＞
次に、本実施形態のデータ処理装置１４０のハードウェア構成について説明する。図５は、データ処理装置のハードウェア構成の一例である。図５に示すように、本実施形態のデータ処理装置１４０は、プロセッサ５０１、メモリ部５０２、補助記憶部５０３、操作部５０４、表示部５０５、通信部５０６、ドライブ部５０７を有する。データ処理装置１４０は、例えば、これらの各構成要素がバス５０８を介して接続されたコンピュータとして実現される。
【００３７】
なお、図５の例では、データ処理装置１４０は、各構成要素を１個ずつ有するものとしているが、データ処理装置１４０は、同じ構成要素を複数個ずつ有していてもよい。また、図５の例では、１台のデータ処理装置１４０により構成される場合を示しているが、複数台のデータ処理装置により構成されてもよい。この場合、ソフトウェア（例えば、画像解析サービス提供プログラム）は当該複数台のデータ処理装置にインストールされ、各データ処理装置は当該ソフトウェアの異なる一部の処理を実行するように構成してもよい。また、この場合、複数のデータ処理装置それぞれがネットワークインタフェース等を介して、相互に通信してもよい。また、撮像装置１１０＿１〜１１０＿ｎや画像データ配信装置１２０、端末１５０等において、データ処理装置１４０により行われる一部の処理を行ってもよい。
【００３８】
プロセッサ５０１は、ＣＰＵ（Central Processing Unit）等の演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ５０１は、データ処理装置１４０内の各構成要素などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各構成要素に出力する。具体的には、プロセッサ５０１は、ＯＳ（Operating System）やアプリケーションなどを実行することにより、データ処理装置１４０内の各構成要素を制御する。
【００３９】
なお、プロセッサ５０１は、上記のような処理を行うことができれば特定の処理回路に限られるものではない。ここで、処理回路とは、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を指す場合、各電子回路は有線または無線により通信してもよい。
【００４０】
メモリ部５０２は、プロセッサ５０１が実行する命令およびデータなどの電子情報を記憶する記憶装置である。メモリ部５０２に記憶された電子情報はプロセッサ５０１により直接読み出される。補助記憶部５０３は、メモリ部５０２以外の記憶装置である。なお、これらの記憶装置は、電子情報を記憶可能な任意の電子部品を指すものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれであってもよい。データ処理装置１４０内において電子情報を記憶するためのメモリは、メモリ部５０２または補助記憶部５０３により実現されてもよい。
【００４１】
操作部５０４は、データ処理装置１４０の管理者が、データ処理装置１４０に対して各種指示を入力するための入力デバイスである。表示部５０５は、プロセッサ５０１が画像解析サービス提供プログラムを実行することで得られる解析済み画像データ等を表示する表示デバイスである。
【００４２】
通信部５０６は、ネットワーク１３０に接続し、画像データ配信装置１２０と通信するための通信デバイスである。
【００４３】
ドライブ部５０７は、記録媒体５１０をセットするためのデバイスである。ここでいう記録媒体５１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００４４】
なお、補助記憶部５０３にインストールされる各種プログラムは、例えば、配布された記録媒体５１０がドライブ部５０７にセットされ、該記録媒体５１０に記録された各種プログラムがドライブ部５０７により読み出されることでインストールされる。あるいは、補助記憶部５０３にインストールされる各種プログラムは、ネットワーク１３０からダウンロードされることでインストールされてもよい。
【００４５】
＜画像解析サービス提供部の機能構成＞
次に、本実施形態の画像解析サービス提供部１４１の機能構成の詳細について説明する。図６は、画像解析サービス提供部の機能構成の一例を示す図である。図６に示すように、本実施形態の画像解析サービス提供部１４１は、解析対象画像データ取得部６１０、人物領域抽出部６２０、部位特定部６３０、変換部６４０、ベクトル算出部６５０、ベクトル投影部６６０を有する。
【００４６】
解析対象画像データ取得部６１０は、画像データ配信装置１２０から解析を依頼された解析対象画像データ（例えば、解析対象画像データ２１０）を取得する。また、解析対象画像データ取得部６１０は、取得した解析対象画像データを、人物領域抽出部６２０に通知する。
【００４７】
人物領域抽出部６２０は、解析対象画像データ中の人物の領域を特定し、特定した人物の領域を含む抽出画像データ（例えば、抽出画像データ２１１）を抽出する。また、人物領域抽出部６２０は、抽出した抽出画像データを部位特定部６３０に通知する。
【００４８】
部位特定部６３０は特定部の一例であり、抽出画像データ中の人物の各部位に対応する特徴点の位置を特定する。また、部位特定部６３０は、特定した特徴点の位置のうち、人物の左肩に対応する特徴点の位置（左肩の位置）の２次元座標データと、人物の右肩に対応する特徴点の位置（右肩の位置）の２次元座標データとを算出する。更に、部位特定部６３０は、算出した２次元座標データを変換部６４０に通知する。
【００４９】
変換部６４０は第１の変換部の一例であり、２次元座標データが算出された解析対象画像データを俯瞰撮影した撮像装置の、世界座標系における撮影位置及び撮影方向を、撮像装置情報格納部６７０より読み出す。また、変換部６４０は、人物の左肩の位置の２次元座標データと、人物の右肩の位置の２次元座標データとを、読み出した撮影位置及び撮影方向等を用いて、世界座標系における３次元座標データに変換する。
【００５０】
更に、変換部６４０は、人物の左肩の位置の３次元座標データと、人物の右肩の位置の３次元座標データとを、ベクトル算出部６５０に通知する。
【００５１】
ベクトル算出部６５０は、人物の左肩の位置の３次元座標データと、人物の右肩の位置の３次元座標データとに基づいて、人物の体の向きを表すベクトル（世界座標系における始点及び終点の３次元座標データ）を導出する。また、ベクトル算出部６５０は、導出したベクトル（例えば、ベクトル４００）をベクトル投影部６６０に通知する。
【００５２】
ベクトル投影部６６０は取得部の一例であり、所定の視点における対象の向きを示す情報（ここでは、人物の体の向きを表すベクトル）を取得する。具体的には、ベクトル投影部６６０は、投影画像格納部６８０に予め格納された投影画像データ（例えば、投影画像データ４１０）を読み出し、通知されたベクトルを投影する。また、ベクトル投影部６６０は、ベクトルを投影した投影画像データを、解析済み画像データとして、画像データ配信装置１２０に送信する。
【００５３】
＜変換部の変換処理の説明＞
次に、変換部６４０が、解析対象画像データ中の２次元座標データを、世界座標系における３次元座標データに変換する"変換処理"の詳細について説明する。図７は、変換処理の詳細を説明するための図である。
【００５４】
図７に示すように、撮像装置１１０＿ｎの撮影位置の座標データ（世界座標系における３次元座標データ）が、（ＸＣｎ，ＹＣｎ，ＺＣｎ）であるとする。また、撮像装置１１０＿ｎの撮影方向（仰俯角、方位角）が、（θＣｎ，φＣｎ）であるとする。
【００５５】
かかる撮影条件のもとで俯瞰撮影することで取得された解析対象画像データ２１０において、部位特定部６３０では、人物の左肩の位置の２次元座標データ（ｘｌｓ，ｙｌｓ）を算出する。ここで、上述したとおり、撮影位置（ＸＣｎ，ＹＣｎ，ＺＣｎ）から見た、解析対象画像データ２１０の中心位置の方向（仰俯角、方位角）は、（θＣｎ，φＣｎ）である。このため、変換部６４０では、人物の左肩の位置の２次元座標データ（ｘｌｓ，ｙｌｓ）の中心位置からのずれ量に基づいて、人物の左肩の位置の方向（仰俯角、方位角）を算出することができる（（θｌｓ，φｌｓ））。
【００５６】
同様に、上記撮影条件のもとで俯瞰撮影することで取得された解析対象画像データ２１０において、部位特定部６３０では、人物の右肩の位置の２次元座標データ（ｘｒｓ，ｙｒｓ）を算出する。このため、変換部６４０では、人物の右肩の位置の２次元座標データ（ｘｒｓ，ｙｒｓ）の中心位置からのずれ量に基づいて、人物の右肩の位置の方向（仰俯角、方位角）を算出することができる（（θｒｓ，φｒｓ））。
【００５７】
ここで、人物の肩の高さ位置は概ね一定であることから、世界座標系におけるＺ座標を"Ｚｓ"と仮定する（ここでは、世界座標系における競技場２００の地面のＺ座標が"０"であるとし、Ｚｌｓ＝Ｚｒｓ＝Ｚｓと仮定する）。このような仮定のもとで、変換部６４０では、撮像装置１１０＿ｎの撮影位置（ＸＣｎ，ＹＣｎ，ＺＣｎ）を始点として、人物の左肩の位置の方向（（θｌｓ，φｌｓ））に向けて伸ばした線と、Ｚ座標がＺｓでＸＹ平面に平行な平面との交点を算出する。これにより、変換部６４０では、人物の左肩の位置の、世界座標系におけるＸ座標（Ｘｌｓ）及びＹ座標（Ｙｌｓ）を算出することができる。
【００５８】
同様に、変換部６４０では、撮像装置１１０＿ｎの撮影位置（ＸＣｎ，ＹＣｎ，ＺＣｎ）を始点として、人物の右肩の位置の方向（（θｒｓ，φｒｓ））に向けて伸ばした線と、Ｚ座標がＺｓでＸＹ平面に平行な平面との交点を算出する。これにより、変換部６４０では、人物の右肩の位置の、世界座標系におけるＸ座標（Ｘｒｓ）及びＹ座標（Ｙｒｓ）を算出することができる。
【００５９】
このように、変換部６４０では、簡易な方法により、解析対象画像データ中の２次元座標データを世界座標系における３次元座標データに変換することができる（３次元座標データを再構築することができる）。この結果、ベクトル投影部６６０では、当該３次元座標データを用いることで、人物の体の向きを表すベクトルを、任意の視点に変換することが可能となる。つまり、ベクトル投影部６６０では、人物の体の向きを表すベクトルを、様々な視点の投影画像データにて容易に特定することができる。
【００６０】
＜画像解析サービス提供処理の流れ＞
次に、データ処理装置１４０の画像解析サービス提供部１４１による画像解析サービス提供処理の流れについて説明する。図８は、画像解析サービス提供処理の流れを示す第１のフローチャートである。
【００６１】
ステップＳ８０１において、解析対象画像データ取得部６１０は、解析対象画像データを取得する。
【００６２】
ステップＳ８０２において、人物領域抽出部６２０は、解析対象画像データに含まれるフレームをカウントするカウンタｉに"１"を入力する。
【００６３】
ステップＳ８０３において、人物領域抽出部６２０は、ｉフレーム目において人物の領域を特定し、特定した人物の領域を含む抽出画像データを抽出する。
【００６４】
ステップＳ８０４において、部位特定部６３０は、抽出画像データ中の人物の各部位に対応する特徴点の位置を特定し、左肩及び右肩の位置の２次元座標データを算出する。
【００６５】
ステップＳ８０５において、変換部６４０は、左肩及び右肩の位置の２次元座標データを、世界座標系における３次元座標データに変換する。
【００６６】
ステップＳ８０６において、ベクトル算出部６５０は、左肩及び右肩の位置の３次元座標データを用いることで、人物の体の向きを表すベクトル（両肩の位置に基づくベクトル）を導出する。
【００６７】
ステップＳ８０７において、人物領域抽出部６２０は、ｉフレーム目から抽出した全ての抽出画像データについて、両肩の位置に基づくベクトルを導出したか否かを判定する。ステップＳ８０７において、両肩の位置に基づくベクトルを導出していない抽出画像データがあると判定した場合には（ステップＳ８０７においてＮｏの場合には）、ステップＳ８０４に戻る。
【００６８】
一方、ステップＳ８０７において、ｉフレーム目から抽出した全ての抽出画像データについて、両肩の位置に基づくベクトルを導出したと判定した場合には（ステップＳ８０７においてＹｅｓの場合には）、ステップＳ８０８に進む。
【００６９】
ステップＳ８０８において、ベクトル投影部６６０は、導出された全てのベクトルを、投影画像データに投影する。また、ベクトル投影部６６０は、ベクトルを投影した投影画像データを、解析済み画像データとして、画像データ配信装置１２０に送信する。
【００７０】
ステップＳ８０９において、人物領域抽出部６２０は、取得された解析対象画像データに含まれる全てのフレームについて処理を実行したか否かを判定する。ステップＳ８０９において、処理を実行していないフレームがあると判定した場合には（ステップＳ８０９においてＮｏの場合には）、ステップＳ８１０に進む。
【００７１】
ステップＳ８１０において、人物領域抽出部６２０は、カウンタｉをインクリメントし、ステップＳ８０３に戻る。
【００７２】
一方、ステップＳ８０９において、取得された解析対象画像データに含まれる全てのフレームについて処理を実行したと判定した場合には、画像解析サービス提供処理を終了する。
【００７３】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係るデータ処理装置は、
・取得された解析対象画像データ中の、人物の左肩及び右肩の位置を特定する。
・解析対象画像データが取得された位置及び方向と、人物の左肩及び右肩の高さとに基づいて、解析対象画像データにおいて特定された、人物の左肩及び右肩の位置の２次元座標データを、世界座標系における３次元座標データに変換する。
・人物の左肩及び右肩の位置の３次元座標データに基づいて、人物の体の向きを表すベクトルを導出する。
・人物の左肩及び右肩の位置の３次元座標データに基づいて、所定の視点におけるベクトルを取得する。
【００７４】
このように、第１の実施形態によれば、解析対象画像データ中の人物の所定の部位に対応する特徴点の位置を、３次元座標データに変換することができる。この結果、特徴点の位置に基づいて導出される、人物の体の向きを表すベクトルを、様々な視点の投影画像データにて特定することができる。
【００７５】
つまり、第１の実施形態によれば、取得された画像データから対象の向きを容易に特定可能なデータ処理装置、画像配信システム、画像解析方法及び画像解析プログラムを提供することができる。
【００７６】
［第２の実施形態］
上記第１の実施形態では、人物の体の向きを表すベクトルを導出するにあたり、人物の右肩及び左肩の位置を特定するものとして説明した。しかしながら、人物が所定の速度以上の速度で移動している場合には、移動方向に基づいて人物の体の向きを表すベクトルを導出することができる。所定の速度以上で人物が移動している場合（例えば、人物が走っている場合）、通常、人物の移動方向と人物の体の向きとは一致するからである。
【００７７】
そこで、第２の実施形態では、人物が所定の速度以上の速度で移動している場合、移動方向に基づいて人物の体の向きを表すベクトルを導出する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００７８】
＜画像解析サービス提供部の機能構成＞
はじめに、画像解析サービス提供部の機能構成の詳細について説明する。図９は、画像解析サービス提供部の機能構成の一例を示す第２の図である。図９に示すように、第２の実施形態に係るデータ処理装置１４０の画像解析サービス提供部９００の場合、第１の実施形態に係るデータ処理装置１４０の画像解析サービス提供部１４１とは、
・移動ベクトル算出部９１０を有する点、
・変換部９２０を有する点、
・ベクトル投影部９３０の機能が、ベクトル投影部６６０の機能とは異なる点、
において相違する。
【００７９】
移動ベクトル算出部９１０は算出部の一例であり、解析対象画像データに含まれる各フレーム（時系列の画像データ）において、人物の領域を特定し、特定した人物の領域を含む抽出画像データを抽出する。また、移動ベクトル算出部９１０は、抽出した抽出画像データの位置（２次元座標データ）を算出し、前フレームにおける対応する抽出画像データの位置（２次元座標データ）と対比する。これにより、移動ベクトル算出部９１０は、所定時間が経過する間に（１フレーム周期の間に）当該人物が移動する距離及び方向を表す移動ベクトル（２次元座標データ）を算出することができる。
【００８０】
なお、本実施形態において、移動ベクトル算出部９１０は、抽出画像データの位置として、競技場２００の地面の位置の２次元座標データを算出するものとする。３次元座標データに変換する際、Ｚｓ＝０とおくことができるからである。
【００８１】
また、移動ベクトル算出部９１０は、フレーム内に含まれる全ての人物について移動ベクトルを算出するとともに、解析対象画像データに含まれる全てのフレーム間において移動ベクトルを算出する。更に、移動ベクトル算出部９１０は、算出した移動ベクトル（２次元座標データ）を、変換部９２０に通知する。
【００８２】
変換部９２０は第２の変換部の一例であり、撮像装置情報格納部６７０より、解析対象画像データを俯瞰撮影した撮像装置の、世界座標系における撮影位置及び撮影方向を読み出す。また、変換部９２０は、算出された移動ベクトル（始点及び終点の２次元座標データ）を、読み出した撮影位置及び撮影方向等を用いて、世界座標系における３次元座標データに変換する。更に、変換部９２０は、変換した移動ベクトル（始点及び終点の３次元座標データ）を、ベクトル投影部９３０に通知する。なお、解析対象画像データ上の移動ベクトル（始点及び終点の２次元座標データ）を、世界座標系における３次元座標データに変換する変換処理は、上記第１の実施形態において説明済みであるため、ここでは説明を省略する。ただし、第２の実施形態の場合、Ｚｓ＝０として変換処理が行われるものとする。
【００８３】
ベクトル投影部９３０は、ベクトル算出部６５０により導出された、両肩の位置に基づくベクトル（３次元座標データ）と、変換部９２０により変換された移動ベクトル（３次元座標データ）とを取得する。
【００８４】
また、ベクトル投影部９３０は、変換部９２０により変換された移動ベクトル（３次元座標データ）が所定の長さを有しているか否か（つまり、人物が所定の速度以上の速度で移動しているか否か）を判定する。
【００８５】
そして、ベクトル投影部９３０は、変換された移動ベクトルが所定の長さを有している場合には（人物が所定の速度以上の速度で移動している場合には）、変換部９２０により変換された移動ベクトル（３次元座標データ）を投影画像データに投影する。一方、ベクトル投影部９３０は、変換された移動ベクトルが所定の長さを有していない場合には（人物が所定の速度以上の速度で移動していない場合には）、ベクトル算出部６５０により導出された、両肩の位置に基づくベクトルを投影画像データに投影する。
【００８６】
＜画像解析サービス提供処理の流れ＞
次に、データ処理装置１４０の画像解析サービス提供部９００による画像解析サービス提供処理の流れについて説明する。図１０は、画像解析サービス提供処理の流れを示す第２のフローチャートである。図８に示した画像解析サービス提供処理との相違点は、ステップＳ１００１〜Ｓ１００６、Ｓ１００７である。
【００８７】
ステップＳ１００１において、移動ベクトル算出部９１０は、ｉフレーム目において、人物の領域を特定し、特定した人物の領域を含む抽出画像データを抽出する。また、移動ベクトル算出部９１０は、抽出した抽出画像データの２次元座標データを算出する。
【００８８】
ステップＳ１００２において、移動ベクトル算出部９１０は、（ｉ−１）フレーム目において算出された、対応する抽出画像データの２次元座標データを取得する。
【００８９】
ステップＳ１００３において、移動ベクトル算出部９１０は、ステップＳ１００１において算出した２次元座標データと、ステップＳ１００２において取得した２次元座標データとに基づいて、特定した人物の移動ベクトル（２次元座標データ）を算出する。また、変換部９２０は、算出された移動ベクトル（２次元座標データ）を、世界座標系における３次元座標データに変換する。
【００９０】
ステップＳ１００４において、ベクトル投影部９３０は、ステップＳ１００３において変換された移動ベクトルが所定の長さを有しているか否かを判定する。ステップＳ１００４において、変換された移動ベクトルが所定の長さを有していないと判定した場合には（ステップＳ１００４においてＮｏの場合には）、ステップＳ１００５に進む。
【００９１】
ステップＳ１００５において、ベクトル投影部９３０は、ステップＳ８０６において導出された、両肩の位置に基づくベクトルを、投影画像データに投影するベクトルとして選択する。
【００９２】
一方、ステップＳ１００４において、変換された移動ベクトルが所定の長さを有していると判定した場合には（ステップＳ１００４においてＹｅｓの場合には）、ステップＳ１００６に進む。
【００９３】
ステップＳ１００６において、ベクトル投影部９３０は、ステップＳ１００３において変換された移動ベクトルを、投影画像データに投影するベクトルとして選択する。
【００９４】
ステップＳ１００７において、ベクトル投影部９３０は、３次元座標データを用いることで、ステップＳ１００５またはステップＳ１００６において選択されたベクトルを、投影画像データに投影する。また、ベクトル投影部９３０は、選択されたベクトルを投影した投影画像データを、解析済み画像データとして、画像データ配信装置１２０に送信する。
【００９５】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係るデータ処理装置は、上記第１の実施形態に係るデータ処理装置の機能に加え、
・取得された解析対象画像データにおいて、各フレーム間の人物の移動ベクトルを算出し、世界座標系における３次元座標データに変換する。
・変換された移動ベクトルが所定の長さを有している場合には、世界座標と対応付けられた上面図である投影画像データに、両肩の位置に基づくベクトルに代えて、変換された移動ベクトルを投影する。
【００９６】
これにより、第２の実施形態に係るデータ処理装置によれば、人物が所定の速度以上の速度で移動している場合、（両肩の位置の３次元座標データを算出することなく）移動方向に基づいて、人物の体の向きを表すベクトルを導出することが可能となる。この結果、第２の実施形態によれば、データ処理装置の処理負荷を低減させることができる。
【００９７】
［第３の実施形態］
上記第１の実施形態の画像解析サービス提供処理では、フレームごと、人物ごとに処理を実行する場合について説明したが、画像解析サービス提供処理における処理順序は、これに限定されない。
【００９８】
また、上記第１の実施形態では、人物領域抽出部６２０や部位特定部６３０の具体的な実現方法について言及しなかったが、人物領域抽出部６２０や部位特定部６３０は、例えば、画像を入力として適宜必要な出力を得る訓練済みモデルにより実現されてもよい。
【００９９】
また、上記第１の実施形態では、両肩の位置に基づくベクトルとして、人物の体の向きを表すベクトルを導出するものとして説明した。しかしながら、データ処理装置１４０が両肩の位置に基づいて導出する情報は、人物の体の向きを表すベクトルに限定されず、人物の体の向きを表すベクトル以外の情報を導出してもよい。
【０１００】
また、上記第１の実施形態では、人物の体の向きを表すベクトルを導出するにあたり、両肩の位置を用いるものとして説明した。しかしながら、人物の体の向きを表すベクトルを導出するにあたっては、両肩の位置以外の他の部位の位置を用いてもよい。例えば、両肩の位置に加えて、両肩の下にある腹部の位置を用い、３点から構成される平面に直交するベクトルを算出することで、人物の体の向きを表すベクトルを導出してもよい。
【０１０１】
また、上記第１の実施形態では、人物の肩の高さ位置は概ね一定であることから、世界座標系におけるＺ座標を"Ｚｓ"と仮定した。しかしながら、予め人物ごとに肩の高さ位置を登録したデータベースを保持しておいてもよい。この場合、人物の肩の位置の、世界座標系におけるＸ座標及びＹ座標を算出する際、人物を特定したうえで、特定した人物についての肩の高さ位置をデータベースから読み出すように構成してもよい。これにより、特定した人物の肩の位置の、世界座標系におけるＸ座標及びＹ座標を、高精度に算出することができる。なお、上記第１の実施形態のように、人物の肩の高さ位置が概ね一定であると仮定した方が、データ処理装置１４０の処理負荷を低減できることはいうまでもない。
【０１０２】
また、上記第１の実施形態では、解析対象画像データ中の人物の両肩の位置を算出するものとして説明した。しかしながら、データ処理装置１４０が算出する解析対象画像データ中の位置は、人物の両肩の位置に限定されず、人物の他の部位の位置であってもよい。例えば、人物の左右の位置や、人物の左右の腰の位置、人物の左右の膝の位置等を算出するように構成してもよい。これらの位置を算出することで、例えば、耳の位置の場合であれば、人物の顔の向きを表すベクトルを導出することができ、腰やひざの位置であれば、足の向きを表すベクトル等を導出することができる。ただし、この場合、変換部６４０には、算出する部位の高さ方向の位置（世界座標系におけるＺ座標）が予め設定されているものとする。
【０１０３】
また、上記第１の実施形態では、撮像装置の撮影位置及び撮影方向が固定された値であるとし、撮像装置情報格納部６７０から、撮像装置の撮影位置及び撮影方向を読み出すものとして説明した。
【０１０４】
しかしながら、例えば、撮像装置の撮影方向が可変である場合、撮像装置の撮影方向が、解析対象画像データに含まれる各フレームに、付帯情報として対応付けられていることが想定される。このような場合、変換部６４０では、当該付帯情報を参照することで撮影方向を読み出すように構成してもよい。
【０１０５】
また、上記第１の実施形態では、競技場２００全体を上方からみた上面図を、投影画像データとしたが、上面図以外の任意の視点から見た鳥瞰図を、投影画像データとしてもよい。
【０１０６】
また、上記第１の実施形態では、１台の撮像装置が、競技場２００全体を撮影範囲として俯瞰撮影する場合について説明した。しかしながら、複数の撮像装置が、競技場２００の一部の領域を撮影範囲として俯瞰撮影する場合にあっては、それぞれの領域に含まれる人物について導出された、それぞれの人物の体の向きを表すベクトルを、１の投影画像データに投影する。これにより、競技場２００内の全ての選手の向きを特定することができる。
【０１０７】
また、上記各実施形態では、団体競技としてサッカーを例に挙げて説明したが、サッカー以外の団体競技についても適用可能であることはいうまでもない。
【０１０８】
また、上記各実施形態では、競技場を俯瞰撮影する場合について説明したが、俯瞰撮影する領域は、競技場に限定されない。群衆がいる場所（多人数の人が集まっている領域）を俯瞰撮影してもよい。これにより、データ処理装置１４０では、雑踏管理を行うことが可能になる。
【０１０９】
また、上記各実施形態においては、端末１５０は画像データ配信装置１２０に要求することで、画像データ及び解析済み画像データの配信を受けるものとして説明した。しかしながら、端末１５０は、解析済み画像データについて、データ処理装置１４０に要求することで、配信を受けるように構成してもよい。
【０１１０】
［その他の実施形態］
上記各実施形態において、画像解析サービス提供部１４１、９００の機能は、プロセッサ５０１が、画像解析サービス提供プログラムを実行することで実現されるものとして説明した。しかしながら、画像解析サービス提供部１４１、９００の機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路により実現されてもよい。また、画像解析サービス提供部１４１、９００の機能を実現する制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。
【０１１１】
また、上記各実施形態において、画像解析サービス提供プログラムを実行するにあたっては、画像解析サービス提供プログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体であってもよい。また、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。
【０１１２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１３】
１００                  ：画像配信システム
１１０＿１〜１１０＿ｎ  ：撮像装置
１２０                  ：画像データ配信装置
１３０                  ：ネットワーク
１４０                  ：データ処理装置
１４１                  ：画像解析サービス提供部
１５０                  ：端末
２１０                  ：解析対象画像データ
２１１                  ：抽出画像データ
４００                  ：ベクトル
４１０                  ：投影画像データ
４２０                  ：投影画像データ
６１０                  ：解析対象画像データ取得部
６２０                  ：人物領域抽出部
６３０                  ：部位特定部
６４０                  ：変換部
６５０                  ：ベクトル算出部
６６０                  ：ベクトル投影部
９１０                  ：移動ベクトル算出部
９２０                  ：変換部
９３０                  ：ベクトル投影部
【図１】
2020188914.tif 000003
【図２】
2020188914.tif 000004
【図３】
2020188914.tif 000005
【図４】
2020188914.tif 000006
【図５】
2020188914.tif 000007
【図６】
2020188914.tif 000008
【図７】
2020188914.tif 000009
【図８】
2020188914.tif 000010
【図９】
2020188914.tif 000011
【図１０】
2020188914.tif 000012