(57)【要約】  校正装置（１０）にて取得部（１１）は、互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、該人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得する。カメラパラメータ算出部（１２）は、取得部（１１）にて取得された複数の画像平面内位置を画像特徴点として用いて、上記複数のカメラのカメラパラメータを算出する。
2020194486.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得する取得部と、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出するカメラパラメータ算出部と、
を具備する校正装置。
【請求項２】
各撮影画像は、同じ複数の人物の人物画像を含み、
前記取得部は、各撮影画像において各人物に対応する人物画像を検出して、検出された各人物画像について基準ポイントを含む前記複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を検出し、
前記校正装置は、前記取得部によって検出された、複数の前記基準ポイントにそれぞれ対応する複数の画像平面内位置に基づいて、前記複数の撮影画像において各同一人物に対応する複数の人物画像を特定する人物同定部をさらに具備する、
請求項１記載の校正装置。
【請求項３】
前記人物同定部は、前記取得部によって検出された前記複数の基準ポイントにそれぞれ対応する複数の画像平面内位置に基づいて、前記複数の撮影画像にそれぞれ対応する複数の画像平面についての平面射影変換行列を算出し、算出された平面射影変換行列と前記複数の基準ポイントにそれぞれ対応する複数の画像平面内位置との幾何的整合性に基づいて、前記複数の撮影画像において各同一人物に対応する複数の人物画像を特定する、
請求項２記載の校正装置。
【請求項４】
前記複数のカメラは、第１カメラ及び第２カメラであり、
前記複数の撮影画像は、第１撮影画像及び第２撮影画像であり、
前記人物同定部は、前記第１撮影画像及び前記第２撮影画像に含まれる複数の基準ポイントから、前記第１撮影画像における基準ポイント及び前記第２撮影画像における基準ポイントを含む対応点セットを順次選択し、選択された対応点セットについて平面射影変換行列を算出し、該算出された平面射影変換行列の算出に用いられた対応点セットに含まれない前記第１撮影画像における基準ポイントを該算出された平面射影変換行列によって変換した変換後基準ポイントと該変換後基準ポイントに対応する前記第２撮影画像における基準ポイントとの差分が閾値以下であるときに、該算出された平面射影変換行列の算出に用いられた対応点セットの基準ポイントに対応する複数の人物画像を、同一人物の人物画像として特定する、
請求項３記載の校正装置。
【請求項５】
前記取得部は、検出された各人物画像に対して固有の人物画像識別子を割り当て、
前記人物同定部は、特定された各人物に対応する複数の人物画像にそれぞれ対応する複数の人物画像識別子を同一人物識別子グループとしてグルーピングし、
前記カメラパラメータ算出部は、対応する人物画像識別子が属する同一人物識別子グループ及び対応する部位ポイントの組み合わせが一致する、複数の画像平面内位置に基づいて、前記カメラパラメータを算出する、
請求項２から４のいずれか１項に記載の校正装置。
【請求項６】
前記基準ポイントは、人物の右足部に含まれる部位ポイント及び左足部に含まれる部位ポイントを含む、
請求項２から５のいずれか１項に記載の校正装置。
【請求項７】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する、
校正方法。
【請求項８】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する、
処理を、校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、校正装置、校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
複数のカメラで構成された多視点カメラシステムを用いて３次元的な画像解析を行うために、カメラの光学的な特性及びカメラ同士の位置関係を明らかにすることが必要である。光学的な特性は、個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して「内部パラメータ」と呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。また、カメラ同士の位置関係を表すパラメータは、回転行列及び並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、３次元座標の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方もしくは両方を計算することは、「カメラ校正（カメラキャリブレーション）」と呼ばれる。また、内部パラメータ及び外部パラメータの一方を、又は、これらの両方を区別することなく、単に「カメラパラメータ」と呼ぶことがある。【０００３】
このカメラ校正に関する種々の技術が提案されている（例えば、特許文献１）。特許文献１に開示されているカメラ校正に関する技術では、第１カメラ及び第２カメラによってそれぞれ撮影された第１フレーム画像及び第２フレーム画像のそれぞれにおいて対象者（人物）の顔の複数の特徴点を抽出し、抽出された対象者の顔の複数の特徴点を用いて、外部パラメータを算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１４９６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている技術では、対象者（人物）の向きによっては撮影画像に顔が全く写らない可能性があり、この場合には、カメラ校正を精度良く実行することができない可能性がある。【０００６】
本開示の目的は、撮影画像中の人物の向きに関わらずカメラ校正の精度を維持することができる、校正装置、校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【０００７】
第１の態様にかかる校正装置は、互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得する取得部と、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出するカメラパラメータ算出部と、
を具備する。【０００８】
第２の態様にかかる校正方法は、互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する。【０００９】
第３の態様にかかる非一時的なコンピュータ可読媒体は、互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する、
処理を、校正装置に実行させるプログラムが格納する。
【発明の効果】
【００１０】
本開示により、撮影画像中の人物の向きに関わらずカメラ校正の精度を維持することができる、校正装置、校正方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における校正装置の一例を示すブロック図である。
【図２】第２実施形態における校正装置の一例を示すブロック図である。
【図３】第２実施形態における校正装置の処理動作の一例を示すフローチャートである。
【図４】第２実施形態における校正装置の処理動作の一例の説明に供する図である。
【図５】第２実施形態における校正装置の処理動作の一例の説明に供する図である。
【図６】第２実施形態における校正装置の処理動作の一例の説明に供する図である。
【図７】第２実施形態における校正装置の処理動作の一例の説明に供する図である。
【図８】校正装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
【００１３】
＜第１実施形態＞
図１は、第１実施形態における校正装置の一例を示すブロック図である。図１において校正装置１０は、取得部１１と、カメラパラメータ算出部１２とを有している。
【００１４】
取得部１１は、互いに異なる位置に配設された複数のカメラ（不図示）によって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、該人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得する。
【００１５】
例えば、取得部１１は、上記の複数の撮影画像が入力されると、該複数の撮影画像のそれぞれにおいて、人物の全身に分散された複数の部位ポイントを検出し、該検出された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置（座標）を検出する。複数の部位ポイントは、例えば、カーネギーメロン大学（ＣＭＵ）で開発された「オープンポーズ（OpenPose）」で用いられる部位ポイント群の一部であってもよい。例えば、複数の部位ポイントは、人物の全身に分散された複数の関節ポイントであってもよい。
【００１６】
カメラパラメータ算出部１２は、取得部１１にて取得された複数の画像平面内位置を画像特徴点として用いて、上記複数のカメラ（不図示）のカメラパラメータを算出する。
【００１７】
以上の校正装置１０の構成により、人物の全身に分散された複数の部位ポイントの画像平面内位置を特徴点として用いてカメラパラメータを算出できるので、撮影画像中の人物の向きに関わらず、つまり、複数のカメラ（不図示）に対する人物の相対的な向きに関わらず、カメラ校正の精度を維持することができる。
【００１８】
＜第２実施形態＞
第２実施形態は、撮影画像中に複数の人物の画像（人物画像）が含まれる場合の実施形態に関する。
【００１９】
＜校正装置の構成例＞
図２は、第２実施形態における校正装置の一例を示すブロック図である。図２において校正装置２０は、取得部２１と、人物同定部２２と、カメラパラメータ算出部２３とを有している。
【００２０】
取得部２１は、第１実施形態の取得部１１と同様に、互いに異なる位置に配設された複数のカメラ（不図示）によって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像が入力される。ここで、該複数の撮影画像には、上記の通り、同じ複数の人物の人物画像が含まれている。例えば、複数のカメラ（不図示）が交差点の周辺の異なる位置に配設されて、交差点における共通の撮影エリアを異なるアングルから撮影することによって、このような複数の撮影画像が得られる。
【００２１】
取得部２１は、各撮影画像において各人物に対応する人物画像を検出して、検出された各人物画像に対して固有の「人物画像識別子（人物ＩＤ）」を割り当てる。「人物画像識別子（人物ＩＤ）」には、例えば、撮影画像を区別するための識別子（つまり、撮影画像の撮影に用いられたカメラの識別子（カメラＩＤ））の情報も含まれる。これとともに、取得部２１は、検出された各人物画像について「基準ポイント」を含む複数の部位ポイントのそれぞれに対応する複数の画像平面内位置を検出する。すなわち、取得部２１は、同じ人物についての複数の人物画像であっても、人物画像を検出した撮影画像が異なれば、その複数の人物画像に対して異なる人物画像識別子を割り当てることになる。そして、取得部２１は、各人物画像の人物画像識別子と各人物画像に含まれる複数の部位ポイントのそれぞれに対応する複数の画像平面内位置とを対応づけた状態で、人物同定部２２及びカメラパラメータ算出部２３へ出力する。以下では、「互いに対応づけられた、各人物画像の人物画像識別子と各人物画像に含まれる複数の部位ポイントのそれぞれに対応する複数の画像平面内位置と」をまとめて、「人物画像単位グループ情報ユニット」と呼ぶことがある。
【００２２】
人物同定部２２は、取得部２１から受け取る複数の「人物画像単位グループ情報ユニット」に基づいて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する。例えば、人物同定部２２は、複数の「人物画像単位グループ情報ユニット」の複数の「基準ポイント」にそれぞれ対応する複数の画像平面内位置に基づいて、複数の撮影画像にそれぞれ対応する複数の画像平面についての平面射影変換行列を算出する。そして、人物同定部２２は、算出された平面射影変換行列と上記の複数の「基準ポイント」にそれぞれ対応する複数の画像平面内位置との「幾何的整合性」に基づいて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する。
【００２３】
より詳細には、人物同定部２２は、例えば次のように、「幾何的整合性」に基づいて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する。ここでは、説明を簡単にするために、上記の複数のカメラ（不図示）は、第１カメラ及び第２カメラであり、上記の複数の撮影画像は、第１撮影画像及び第２撮影画像であるものとして説明する。人物同定部２２は、第１撮影画像及び第２撮影画像に含まれる複数の基準ポイントから、第１撮影画像における基準ポイント及び第２撮影画像における基準ポイントを含む「対応点ペア」を順次選択する。そして、人物同定部２２は、選択された「対応点ペア」について平面射影変換行列を算出する。そして、人物同定部２２は、算出された平面射影変換行列の算出に用いられた対応点ペアに含まれない第１撮影画像における基準ポイントを該算出された平面射影変換行列によって変換した「変換後基準ポイント」と該変換後基準ポイントに対応する第２撮影画像における基準ポイントとの差分が閾値以下であるときに、該算出された平面射影変換行列の算出に用いられた「対応点ペア」の基準ポイントに対応する複数の人物画像を、同一人物の人物画像として特定する。この「幾何的整合性」に基づく各同一人物に対応する複数の人物画像の特定については、具体例を用いて後に詳しく説明する。
【００２４】
そして、人物同定部２２は、特定された各同一人物に対応する複数の人物画像にそれぞれ対応する複数の人物画像識別子を「同一人物識別子グループ」としてグルーピングする。そして、人物同定部２２は、各「同一人物識別子グループ」の識別子と各「同一人物識別子グループ」に含まれる複数の人物画像識別子とをまとめて、カメラパラメータ算出部２３へ出力する。すなわち、各人物画像識別子に対して同一人物識別子グループの識別子が対応づけられている。
【００２５】
カメラパラメータ算出部２３は、同じ同一人物識別子グループに属する人物画像識別子を含む複数の「人物画像単位グループ情報ユニット」において同じ部位ポイントに対応する複数の画像平面内位置に基づいて、カメラパラメータを算出する。換言すれば、カメラパラメータ算出部２３は、対応する人物画像識別子が属する同一人物識別子グループ及び対応する部位ポイントの組み合わせが一致する、複数の画像平面内位置に基づいて、カメラパラメータを算出する。すなわち、カメラパラメータ算出部２３は、同じ同一人物識別子グループに属する人物画像識別子を含む複数の「人物画像単位グループ情報ユニット」に含まれる全部位ポイントの画像平面内位置を用いて、該全部位ポイントの画像平面内位置を画像特徴点とするＳｆＭ（Structure from Motion）問題（つまり、多視点幾何問題）を解くことにより、全カメラ（不図示）のカメラパラメータを算出する。
【００２６】
＜校正装置の動作例＞
以上の構成を有する校正装置２０における処理動作の一例について説明する。図３は、第２実施形態における校正装置の処理動作の一例を示すフローチャートである。図４−７は、第２実施形態における校正装置の処理動作の一例の説明に供する図である。
【００２７】
まず、図４に示すような状況で、カメラＡ（第１カメラ）及びカメラＢ（第２カメラ）によって同時期に共通の撮影エリアが撮影される。図４に示す状況では、３人の人物が撮影エリアに存在しており、カメラＡ及びカメラＢそれぞれによって撮影された撮影画像には、図５に示すように３人の人物画像が含まれることになる。
【００２８】
このような撮影画像ＰＡ，ＰＢが校正装置２０に入力されると、図３の処理フローがスタートする。
【００２９】
取得部２１は、撮影画像ＰＡ，ＰＢのそれぞれにおいて各人物に対応する人物画像を検出して、検出された各人物画像に対して固有の「人物画像識別子（人物ＩＤ）」を割り当てる（ステップＳ１）。図５に示すように、撮影画像ＰＡでは、３つの人物画像が検出され、それぞれ、Ａ−１，Ａ−２，Ａ−３の人物画像識別子が割り当てられている。また、撮影画像ＰＢでは、３つの人物画像が検出され、それぞれ、Ｂ−１，Ｂ−２，Ｂ−３の人物画像識別子が割り当てられている。上記の通り、人物画像識別子には、カメラの識別子であるＡ，Ｂが含まれている。
【００３０】
また、取得部２１は、検出された各人物画像について、「基準ポイント」を含む複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を検出する（ステップＳ１）。このステップＳ１による処理によって、図６に示すように、「互いに対応づけられた、各人物画像の人物画像識別子、及び、各人物画像に含まれる複数の部位ポイントのそれぞれに対応する複数の画像平面内位置」である「人物画像単位グループ情報ユニット」が形成されることになる。ここで、複数の部位ポイントは、上記の通り、人の全身に分散されているが、どの程度の粒度で部位ポイントを検出するかは自由に定義することができる。例えば、手の検出において、手の甲のみを対象としてもよいし、各指の第３関節まで対象としてもよい。また、後述するように、「基準ポイント」は、好ましくは、人物の右足部に含まれる部位ポイント（例えば、右足首の関節ポイント）及び左足部に含まれる部位ポイント（例えば、左足首の関節ポイント）の一方又は両方を含む。なお、図６の例では、各人物画像について、１０個の部位ポイントにそれぞれ対応する１０個の画像平面内位置が検出されている。
【００３１】
次いで、人物同定部２２は、取得部２１にて得られた複数の「人物画像単位グループ情報ユニット」に基づいて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する（ステップＳ２）。
【００３２】
例えば、人物同定部２２は、図７に示すように、複数の「人物画像単位グループ情報ユニット」における複数の「基準ポイント」を用いて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する。ここでは、図７に示すように、各基準ポイントは、人物の右足部に含まれる部位ポイント及び左足部に含まれる部位ポイントの両方を含む。基準ポイントが足部に含まれる部位ポイントを含むことにより、頑健な人物同定が可能となる。なぜならば、人の身長に寄らず足部に含まれる部位ポイントは常に地面や床面の近く存在するため、平面上の画像特徴点としてみなすことで、探索範囲を限定できるからである。すなわち、各基準ポイントは、最も地面に近い部位ポイント（例えば、足首、踵、つま先、又は、足の甲）であることが好ましい。以下では、各人物画像単位グループ情報ユニットにおける右足部に含まれる部位ポイントの画像平面内位置及び左足部に含まれる部位ポイントの画像平面内位置をまとめて、「クラス」と呼ぶことがある。
【００３３】
例えば、人物同定部２２は、クラスＡ−１，Ａ−２，Ａ−３とクラスＢ−１，Ｂ−２，Ｂ−３との間で、ランダムに２つのクラスペア（つまり、「対応点ペア」）を選択する。ここで選択されたクラスペアの全体（つまり、ここでは２つのクラスペアの全体）を、「クラスセット（対応点セット）」と呼んでもよい。例えば、クラスＡ−１とクラスＢ−１とを第１ペアとし、クラスＡ−２とクラスＢ−２を第２ペアとする。そして、人物同定部２２は、第１ペアにおけるクラスＡ−１の画像平面内位置とクラスＢ−１の画像平面内位置とを対応点とするとともに、第２ペアにおけるクラスＡ−２の画像平面内位置とクラスＢ−２の画像平面内位置とを対応点として、平面射影変換行列を算出する。ここで、平面射影変換行列とは、平面を異なる角度から観測した場合に、平面上の点の座標変換を記述する３行３列で定義される行列である。ホモグラフィ行列やＨ行列などとも呼ばれる。
【００３４】
そして、人物同定部２２は、クラスペアとして選択されていない、残りのクラスＡ−３及びクラスＢ−３を用いて、上記の第１ペアの対応及び第２ペアの対応が正しいか否かを検証する。すなわち、人物同定部２２は、クラスＡ−３の画像平面内位置に対して上記算出された平面射影変換行列を適用して変換後の画像平面内位置を算出し、該算出された変換後の画像平面内位置がクラスＢ−３の画像平面内位置と一致するか否かを判定する。一致する場合、上記の第１ペアの対応及び第２ペアの対応は正しいと判定され、クラスＡ−１に対応する人物画像とクラスＢ−１に対応する人物画像は、同一人物の人物画像であることになり、クラスＡ−２に対応する人物画像とクラスＢ−２に対応する人物画像も同一人物の人物画像であることになる。一方で、一致しない場合、上記の第１ペアの対応及び第２ペアの対応は正しくないと判定される。この場合、再度、ランダムに又は未だ選択されていない、クラスペアを選択して、上記の処理が繰り返されればよい。ここで、「一致する」とは、変換後の画像平面内位置の誤差が所定の閾値以下であればよい。このように変換後の画像平面内位置の誤差を評価することを「幾何的整合性の検証」という。なお、以上では、ランダムな選択に基づく方法を説明したが、Iterative Closest PointやConsensus Set Maximizationと呼ばれる方法が用いられてもよい。図７では、同じマークを用いることによって、クラスＡ−１及びクラスＢ−３が同一人物に対応するものであり、クラスＡ−２及びクラスＢ−２が同一人物に対応するものであり、クラスＡ−３及びクラスＢ−１が同一人物に対応するものであることが示されている。
【００３５】
図３の説明に戻り、カメラパラメータ算出部２３は、人物同定が行われた後の複数の「人物画像単位グループ情報ユニット」に含まれる全部位ポイントの画像平面内位置を用いて、該全部位ポイントの画像平面内位置を画像特徴点とするＳｆＭ（Structure from Motion）問題（つまり、多視点幾何問題）を解くことにより、全カメラ（不図示）のカメラパラメータを算出する（ステップＳ３）。
【００３６】
以上のように第２実施形態によれば、校正装置２０にて人物同定部２２は、取得部２１にて得られた複数の「人物画像単位グループ情報ユニット」の複数の「基準ポイント」にそれぞれ対応する複数の画像平面内位置に基づいて、複数の撮影画像にそれぞれ対応する複数の画像平面についての平面射影変換行列を算出する。そして、人物同定部２２は、算出された平面射影変換行列と上記の複数の「基準ポイント」にそれぞれ対応する複数の画像平面内位置との「幾何的整合性」に基づいて、複数の撮影画像において各同一人物に対応する複数の人物画像を特定する。
【００３７】
この校正装置２０の構成により、複数の人物に対応する複数の人物画像が複数の撮像画像のそれぞれに含まれている場合でも、複数の撮像画像において同一人物に対応する人物画像を精度良く特定することができる。
【００３８】
各基準ポイントは、人物の右足部に含まれる部位ポイント及び左足部に含まれる部位ポイントの両方を含む。これにより、頑健な人物同定が可能となる。なぜならば、人の身長に寄らず足部に含まれる部位ポイントは常に地面や床面の近く存在するため、平面上の画像特徴点としてみなすことで、探索範囲を限定できるからである。
【００３９】
＜他の実施形態＞
＜１＞第２実施形態の校正装置２０は、３つ以上のカメラから３つ以上の撮影画像が入力される場合には、２つずつの画像ペアに分割して逐次的に処理をしてもよいし、全画像を一括で処理をしてもよい。逐次処理の場合、カメラパラメータ算出部２３は、算出された全カメラのパラメータを１つの世界座標系へ統合する機能を備える。
【００４０】
＜２＞画像のみを用いてＳｆＭ問題を解く場合、絶対的な長さ（例えばメートル）が不明なため、カメラの外部パラメータは、相対的な位置関係として表される。第１実施形態及び第２実施形態の校正装置１０，２０は、絶対的な量へ変換するために、画面内に存在する人の身長を入力として受け付けてもよい。この場合、カメラパラメータ算出部１２，２３は、３次元形状復元した部位ポイント間の長さ（例えば、関節の長さ）が入力された身長値と一致するように、スケーリングを施す機能を備える。
【００４１】
＜３＞第２実施形態では、幾何的整合性を検証する指標として変換座標の誤差、すなわちユークリッド距離を用いたが、これに限らない。例えば、代数的距離又はサンプソン距離が用いられてもよい。
【００４２】
＜４＞図８は、校正装置のハードウェア構成例を示す図である。図８において校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
【００４３】
第１実施形態及び第２実施形態の校正装置１０，２０は、それぞれ、図８に示したハードウェア構成を有することができる。第１実施形態及び第２実施形態の校正装置１０，２０の取得部１１，２１と、カメラパラメータ算出部１２，２３と、人物同定部２２とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、校正装置１０，２０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって校正装置１０，２０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを校正装置１０，２０に供給できる。
【符号の説明】
【００４４】
１０  校正装置
１１  取得部
１２  カメラパラメータ算出部
２０  校正装置
２１  取得部
２２  人物同定部
２３  カメラパラメータ算出部
【図１】
2020194486.tif 000003
【図２】
2020194486.tif 000004
【図３】
2020194486.tif 000005
【図４】
2020194486.tif 000006
【図５】
2020194486.tif 000007
【図６】
2020194486.tif 000008
【図７】
2020194486.tif 000009
【図８】
2020194486.tif 000010
【手続補正書】
【提出日】令和3年8月27日(2021.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得する取得部と、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出するカメラパラメータ算出部と、
を具備する校正装置。
【請求項２】
各撮影画像は、同じ複数の人物の人物画像を含み、
前記取得部は、各撮影画像において各人物に対応する人物画像を検出して、検出された各人物画像について基準ポイントを含む前記複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を検出し、
前記校正装置は、前記取得部によって検出された、複数の前記基準ポイントにそれぞれ対応する複数の画像平面内位置に基づいて、前記複数の撮影画像において各同一人物に対応する複数の人物画像を特定する人物同定部をさらに具備する、
請求項１記載の校正装置。
【請求項３】
前記人物同定部は、前記取得部によって検出された前記複数の基準ポイントにそれぞれ対応する複数の画像平面内位置に基づいて、前記複数の撮影画像にそれぞれ対応する複数の画像平面についての平面射影変換行列を算出し、算出された平面射影変換行列と前記複数の基準ポイントにそれぞれ対応する複数の画像平面内位置との幾何的整合性に基づいて、前記複数の撮影画像において各同一人物に対応する複数の人物画像を特定する、
請求項２記載の校正装置。
【請求項４】
前記複数のカメラは、第１カメラ及び第２カメラであり、
前記複数の撮影画像は、第１撮影画像及び第２撮影画像であり、
前記人物同定部は、前記第１撮影画像及び前記第２撮影画像に含まれる複数の基準ポイントから、前記第１撮影画像における基準ポイント及び前記第２撮影画像における基準ポイントを含む対応点セットを順次選択し、選択された対応点セットについて平面射影変換行列を算出し、該算出された平面射影変換行列の算出に用いられた対応点セットに含まれない前記第１撮影画像における基準ポイントを該算出された平面射影変換行列によって変換した変換後基準ポイントと該変換後基準ポイントに対応する前記第２撮影画像における基準ポイントとの差分が閾値以下であるときに、該算出された平面射影変換行列の算出に用いられた対応点セットの基準ポイントに対応する複数の人物画像を、同一人物の人物画像として特定する、
請求項３記載の校正装置。
【請求項５】
前記取得部は、検出された各人物画像に対して固有の人物画像識別子を割り当て、
前記人物同定部は、特定された各人物に対応する複数の人物画像にそれぞれ対応する複数の人物画像識別子を同一人物識別子グループとしてグルーピングし、
前記カメラパラメータ算出部は、対応する人物画像識別子が属する同一人物識別子グループ及び対応する部位ポイントの組み合わせが一致する、複数の画像平面内位置に基づいて、前記カメラパラメータを算出する、
請求項２から４のいずれか１項に記載の校正装置。
【請求項６】
前記基準ポイントは、人物の右足部に含まれる部位ポイント及び左足部に含まれる部位ポイントを含む、
請求項２から５のいずれか１項に記載の校正装置。
【請求項７】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する、
校正方法。
【請求項８】
互いに異なる位置に配設された複数のカメラによって同時期に共通の撮影エリアが撮影されることにより得られ且つ同じ人物の画像を含む複数の撮影画像のそれぞれにおける、前記人物の全身に分散された複数の部位ポイントにそれぞれ対応する複数の画像平面内位置を取得し、
前記取得された複数の画像平面内位置を画像特徴点として用いて、前記複数のカメラのカメラパラメータを算出する、
処理を、校正装置に実行させるプログラム。
【国際調査報告】
2020194486.tif 000011
2020194486.tif 000012