(57)【要約】【課題】  複数のカメラの合焦範囲の共通部分が大きくなるように制御することにより、高画質の仮想視点画像の生成を可能とする。【解決手段】  制御装置２２０は、指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラの合焦位置を制御する。具体的には、制御装置２２０は、カメラ群１００に含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する。そして制御装置２２０は、取得された撮影パラメータに対応する対象カメラから当該対象カメラの合焦位置までの距離が、当該対象カメラから注視点までの距離よりも短くなるように、撮影パラメータに基づいて当該対象カメラの合焦位置を制御する。【選択図】  図６
2019161462.tif 000002
【特許請求の範囲】
【請求項１】
指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する制御装置であって、
前記複数のカメラに含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する取得手段と、
前記取得手段により取得された前記撮影パラメータに対応する対象カメラから当該対象カメラの光軸上の合焦位置までの距離が、当該対象カメラから当該対象カメラの光軸上の位置のうち前記複数のカメラに含まれる他のカメラの光軸に最も近接する位置までの距離よりも短くなるように、前記撮影パラメータに基づいて当該対象カメラの合焦位置を制御する制御手段とを有することを特徴とする制御装置。
【請求項２】
前記制御手段は、前記最も近接する位置が当該対象カメラの合焦範囲に含まれるように、前記撮影パラメータに基づいて当該対象カメラの合焦位置を制御することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記制御手段は、前記最も近接する位置が当該対象カメラの合焦範囲の中心に対応するように、前記撮影パラメータに基づいて当該対象カメラの合焦位置を制御することを特徴とする請求項１又は２に記載の制御装置。
【請求項４】
前記制御手段は、当該対象カメラへ合焦位置の変更に係る調整パラメータを出力することで、当該対象カメラの合焦位置を制御することを特徴とする請求項１乃至３の何れか１項に記載の制御装置。
【請求項５】
前記複数のカメラの少なくとも何れかの撮影範囲内に位置する所定のオブジェクトの位置を特定する特定手段を有し、
前記制御手段は、当該対象カメラの合焦位置が前記特定手段により特定される前記所定のオブジェクトの位置に合致するように当該対象カメラの合焦位置を制御した後に、当該合焦位置が当該対象カメラに近づくように当該対象カメラの合焦位置を制御することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
【請求項６】
前記複数のカメラの少なくとも何れかの撮影範囲内に位置する所定のオブジェクトの位置を特定する特定手段と、
前記特定手段により特定される前記所定のオブジェクトの位置に前記複数のカメラが向けられるように、前記複数のカメラの位置及び向きの少なくとも何れかを調整するための制御を行う第２制御手段とを有することを特徴とする請求項１乃至４の何れか１項に記載の制御装置。
【請求項７】
指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する制御装置であって、
前記複数のカメラに含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する取得手段と、
前記取得手段により取得された前記撮影パラメータに対応する対象カメラの光軸上の位置のうち前記複数のカメラに含まれる他のカメラの光軸に最も近接する位置が、前記撮影パラメータに応じた高さになるように、当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行う制御手段とを有することを特徴とする制御装置。
【請求項８】
前記複数のカメラの少なくとも何れかの撮影範囲内に位置する所定のオブジェクトの位置を特定する特定手段を有し、
前記制御手段は、前記特定手段により特定される前記所定のオブジェクトの位置に基づいて、当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行うことを特徴とする請求項７に記載の制御装置。
【請求項９】
前記制御手段は、前記最も近接する位置が、前記特定手段により特定される前記所定のオブジェクトの位置から鉛直方向に離れた位置になるように、当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行うことを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記制御手段は、当該対象カメラの合焦範囲に前記特定手段により特定される前記所定のオブジェクトの位置が含まれるように、当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行うことを特徴とする請求項８又は９に記載の制御装置。
【請求項１１】
前記制御手段による当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御には、カメラの位置及び向きの少なくとも何れかの変更に係る調整パラメータを当該対象カメラに出力する処理が含まれることを特徴とする請求項７乃至１０の何れか１項に記載の制御装置。
【請求項１２】
前記制御手段による当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御には、カメラの位置及び向きの少なくとも何れかの変更に係る情報を表示部に表示させる処理が含まれることを特徴とする請求項７乃至１１の何れか１項に記載の制御装置。
【請求項１３】
前記取得手段により取得される撮影パラメータは、カメラのズーム値、フォーカス値、及び絞り値の少なくとも何れかを含むことを特徴とする請求項１乃至１２の何れか１項に記載の制御装置。
【請求項１４】
前記制御手段による制御に応じて当該対象カメラの絞り値を制御する第３制御手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の制御装置。
【請求項１５】
請求項１乃至１４の何れか１項に記載の制御装置と、前記複数のカメラとを有する画像処理システム。
【請求項１６】
指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する制御方法であって、
前記複数のカメラに含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する取得工程と、
前記取得工程において取得された前記撮影パラメータに対応する対象カメラから当該対象カメラの光軸上の合焦位置までの距離が、当該対象カメラから当該対象カメラの光軸上の位置のうち前記複数のカメラに含まれる他のカメラの光軸に最も近接する位置までの距離よりも短くなるように、前記撮影パラメータに基づいて当該対象カメラの合焦位置を制御する制御工程とを有することを特徴とする制御方法。
【請求項１７】
前記制御工程においては、前記最も近接する位置が当該対象カメラの合焦範囲に含まれるように、前記撮影パラメータに基づいて当該対象カメラの合焦位置が制御されることを特徴とする請求項１６に記載の制御方法。
【請求項１８】
指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する制御方法であって、
前記複数のカメラに含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する取得工程と、
前記取得工程において取得された前記撮影パラメータに対応する対象カメラの光軸上の位置のうち前記複数のカメラに含まれる他のカメラの光軸に最も近接する位置が、前記撮影パラメータに応じた高さになるように、当該対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行う制御工程とを有することを特徴とする制御方法。
【請求項１９】
前記取得工程において取得される撮影パラメータは、カメラのズーム値、フォーカス値、及び絞り値の少なくとも何れかを含むことを特徴とする請求項１６乃至１８の何れか１項に記載の制御方法。
【請求項２０】
コンピュータを、請求項１乃至１５の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて仮想視点画像を生成するための技術に関する。
【背景技術】
【０００２】
従来、異なる位置に設置された複数のカメラにより複数の方向から同期して被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように生成される仮想視点画像は、カメラの設置位置に限定されない仮想的な視点における見え方を表す画像である。
【０００３】
特許文献１には、複数のカメラを用いて被写体を複数の方向から撮影した画像に基づいて３次元モデルを生成し、生成した３次元モデルにテクスチャを貼り付けることで、ユーザが指定した視点に応じた仮想視点画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数のカメラにより取得される撮影画像を用いて所定領域の仮想視点画像を生成する場合に、各カメラの合焦範囲（ピントが合っている範囲）の共通部分にその所定領域が含まれていれば、高画質の仮想視点画像を生成することができる。しかしながら、各カメラの合焦範囲の共通部分が小さい場合には、生成される仮想視点画像における当該共通部分に含まれない領域が大きくなることで、仮想視点画像の画質が低くなる虞がある。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、その目的は、複数のカメラの合焦範囲の共通部分が大きくなるように制御することにより、高画質の仮想視点画像の生成を可能とすることである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明に係る制御装置は、例えば以下の構成を有する。すなわち、指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する制御装置であって、前記複数のカメラに含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する取得手段と、前記取得手段により取得された前記撮影パラメータに対応する対象カメラから当該対象カメラの光軸上の合焦位置までの距離が、当該対象カメラから当該対象カメラの光軸上の位置のうち前記複数のカメラに含まれる他のカメラの光軸に最も近接する位置までの距離よりも短くなるように、前記撮影パラメータに基づいて当該対象カメラの合焦位置を制御する制御手段とを有する。
【発明の効果】
【０００８】
本発明によれば、複数のカメラの合焦範囲の共通部分が大きくなるように制御することにより、高画質の仮想視点画像の生成が可能になる。
【図面の簡単な説明】
【０００９】
【図１】複数カメラの配置例を示す図である。
【図２】実施形態に係る画像処理システムの構成を示す図である。
【図３】実施形態に係る制御装置の機能構成を示す図である。
【図４】合焦点とボケ量の関係を示す図である。
【図５】注視点を合焦点としたときの合焦領域を示す図である。
【図６】合焦点を手前に変更したときの合焦領域を示す図である。
【図７】焦点距離と合焦点の関係を示す図である。
【図８】合焦点を手前に変更するときの制御装置の動作について説明するためのフローチャートである。
【図９】注視点を空中に設定したときの合焦領域を示す図である。
【図１０】注視点を空中に設定したときの合焦領域を示す図である。
【図１１】焦点距離と画角の関係を示す図である。
【図１２】焦点合わせ時のカメラの画面の例を示す図である。
【図１３】注視点を空中に設定するときの制御装置の動作について説明するためのフローチャートである。
【図１４】注視点を空中に設定し、かつ合焦点を手前に変更したときの合焦領域を示す図である。
【図１５】注視点を空中に設定し、かつ合焦点を手前に変更したときの合焦点の移動量を示す図である。
【図１６】注視点を空中に設定し、かつ合焦点を手前に変更するときの制御装置の動作について説明するためのフローチャートである。
【図１７】絞り値とボケ量の関係を示す図である。
【図１８】絞り値の変更を行う場合の制御装置の動作について説明するためのフローチャートである。
【図１９】制御装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
［システム構成］
図２は、本実施形態における仮想視点画像を生成する画像処理システム１０の構成の一例を示している。画像処理システム１０は、複数のカメラ１０１〜１１０を有するカメラ群１００と、ハブ２１０と、ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部２６０と、制御装置２２０と、画像生成装置２３０と、仮想視点設定部２４０を有する。
【００１１】
カメラ群１００に含まれるカメラの配置例を図１に示す。複数のカメラが撮影対象となる競技場を取り囲むように配置されており、すべてのカメラが同一の注視点１３０に向けられ、それぞれ異なる方向から撮影を行って仮想視点画像の生成に用いられる複数の撮影画像を取得する。本実施形態における注視点は、複数のカメラの光軸が交わる点、即ち複数のカメラにおける撮影画像の中心に対応する点である。ただし、必ずしもすべてのカメラの光軸が注視点において交わらなくてもよく、少なくとも複数のカメラの撮影画像内に注視点が含まれていればよい。すなわち、あるカメラの光軸上の位置のうち他のカメラの光軸に最も近接する位置が、そのカメラにとっての注視点となる。カメラ群１００に含まれる各カメラは、例えばデジタルカメラであり、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像と動画像の両方を撮影するカメラであってもよい。本実施形態では、画像という文言を、特に断りがない限り静止画及び動画を含むものとして説明する。なお本実施形態では、撮像センサを有する撮像部と、光線を撮像センサに集めるレンズとをあわせてカメラと呼ぶ。画像処理システム１０は、カメラ群１００で撮影した画像を用いて、注視点１３０付近で発生するシーンの仮想視点画像を生成するものである。
【００１２】
なお、本実施形態では簡略化のために注視点が１つである場合を中心に説明するが、これに限らず、注視点が複数存在していてもよい。すなわち、カメラ群１００に含まれる一部のカメラは第１の注視点を向いて撮影を行い、その他のカメラは第１の注視点とは異なる第２の注視点を向いて撮影を行ってもよい。また、カメラ群１００に含まれるカメラの台数は１０台に限定されるものではなく、複数のカメラが含まれていればよい。また、カメラ群１００は注視点１３０を全方向から取り囲んでいなくてもよい。また、カメラ群１００の設置場所は競技場に限らず、劇場やライブステージなどであってもよい。
【００１３】
カメラ群１００で撮影された画像は、ハブ２１０を介して制御装置２２０と画像生成装置２３０へ送られる。制御装置２２０は、ＵＩ部２６０を介して指示を受け付け、カメラ群１００に含まれる各カメラを制御する。具体的には、ＵＩ部２６０は操作用のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示する表示部と、マウスやキーボード、操作ボタン、タッチパネルなどの操作部を有し、ユーザによる操作を受け付ける。そして制御装置２２０は、ＵＩ部２６０からユーザ操作に応じた情報を取得し、その情報に基づいて、撮影に係る撮影パラメータの変更指示や撮影位置及び撮影方向の変更指示などを各カメラに送信する。本実施形態における撮影パラメータには、例えばカメラのズーム値、フォーカス値、及び絞り値の少なくとも何れかが含まれる。ただし、撮影パラメータの内容はこれらに限定されない。各カメラは、制御装置２２０から受信した指示に応じて撮影パラメータを変更する。また、各カメラが電動型の雲台を有している場合などには、制御装置からの指示によって雲台を制御することで、各カメラの撮影位置や撮影方向を変更する。
【００１４】
画像生成装置２３０では、仮想視点設定部２４０で設定された仮想視点の位置と方向に従って仮想視点画像を生成する。具体的には、仮想視点設定部２４０は、ユーザによる操作に基づいて指定された仮想視点や、自動で指定された仮想視点を設定する。画像生成装置２３０は、カメラ群１００から取得した複数の撮影画像をもとに、画像内の所定のオブジェクト領域とその他の領域を分離する前景背景分離を実行し、分離した前景画像から３Ｄモデルを生成する。そして画像生成装置２３０は、仮想視点設定部２４０から指定された仮想視点の位置及び向きを示す視点情報を取得し、指定された仮想視点に応じて３Ｄモデルを用いたレンダリング処理を行うことで、仮想視点における見えを表す仮想視点画像を生成する。本実施形態における仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。
【００１５】
上記のように撮影画像から仮想視点画像を生成する処理には、Ｖｉｓｕａｌ  Ｈｕｌｌなどの既知の方法を用いることができる。なお、仮想視点画像を生成するアルゴリズムはこれに限るものではなく、ビルボード方式など、３Ｄモデルを作らない方式でもよい。生成された仮想視点画像は、例えば視聴者が保持する視聴端末（不図示）などに送信され、その端末において仮想視点画像が表示される。
【００１６】
なお、画像処理システム１０の構成は図２に示すものに限定されるものではない。カメラ群１００に含まれる複数のカメラは、制御装置２２０や画像生成装置２３０に直接接続されていても良いし、カメラ同士がデイジーチェーンで接続されていても良い。画像生成装置２３０は、単一の装置として構成されていてもよいし、互いに接続された複数の装置により構成されていてもよい。また、制御装置２２０がＵＩ部２６０を内部に有していてもよいし、制御装置２２０と画像生成装置２３０とが一体となって構成されていてもよい。画像処理システム１０に含まれる各装置は有線で接続されていてもよいし、無線で接続されていてもよい。
【００１７】
図１９に、制御装置２２０のハードウェア構成の一例を示す。制御装置２２０は、ＣＰＵ２２０１、ＲＯＭ２２０２、ＲＡＭ２２０３、補助記憶装置２２０４、通信Ｉ／Ｆ２２０５、及びバス２２０６を有する。ＣＰＵ２２０１は、ＲＯＭ２２０２やＲＡＭ２２０３に格納されているコンピュータプログラムやデータを用いて制御装置２２０の全体を制御する。なお、制御装置２２０がＣＰＵ２２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２２０３は、補助記憶装置２２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２２０５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２２０４は、例えばハードディスクドライブ等で構成され、画像や音声などの種々のコンテンツデータを記憶する。
【００１８】
通信Ｉ／Ｆ２２０５は、カメラ群１００や画像生成装置２３０などの外部の装置との通信に用いられる。例えば、制御装置２２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２２０５に接続される。制御装置２２０が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ２２０５はアンテナを備える。バス２２０６は、制御装置２２０の各部を繋いで情報を伝達する。なお、制御装置２２０がＵＩ部２６０を内部に有している場合には、図１９に示す構成に加え、制御装置２２０は表示部や操作部を有する。また、画像生成装置２３０のハードウェア構成も制御装置２２０の構成と同様である。
【００１９】
図３を用いて、制御装置２２０の機能構成について説明する。画像取得部２２１は各カメラによる撮影に基づく画像を取得してＵＩ部２６０に送る。ユーザはＵＩ部２６０により表示された画像を見ながら操作を行い、カメラの位置及び向きの調整を指示したり、カメラの焦点の調整を指定したりする。コマンド送信部２２２は各カメラへコマンドを送信するもので、撮影開始や撮影終了のコマンドの他に、カメラの焦点を合わせる合焦位置（合焦点）の制御や、カメラのズーム値や絞り値の制御のなどのコマンドも送信する。焦点設定部２２５はカメラの合焦点を任意の場所に設定するもので、撮影画像の中心から外れた領域にも合焦点を設定することができる。
【００２０】
パラメータ取得部２２３は、現在のズーム値、フォーカス値、絞り値などの撮影に関するパラメータをカメラから取得するもので、フォーカス値に関してはレンズのフォーカスエンコーダ値だけでなく、フォーカス領域のコントラスト値も取得してもよい。合焦範囲計算部２２６は、パラメータ取得部２２３により取得されたパラメータに基づいて、合焦点の前後におけるピントが合う範囲（合焦範囲）を計算する。合焦点移動量計算部２２７では、カメラの合焦点を変更させる場合に、合焦点の移動量をレンズの焦点距離の移動量に変換する計算を行う。パラメータ設定部２２４では、焦点距離の移動量をフォーカスエンコーダ値として設定し、コマンド送信部２２２によるコマンド送信を介してカメラのフォーカス値を変更する。なお、パラメータ設定部２２４は、フォーカス値の設定だけでなく、ズーム値や絞り値の設定も行ってもよい。
【００２１】
［合焦点の制御］
本実施形態における合焦点の制御手順について説明する前に、合焦点とボケ量について説明する。図４は、絞り値と合焦点を固定した場合のカメラからの距離とボケ量の関係を示している。例えばカメラの焦点を特定の被写体に合わせた場合、その被写体の位置が合焦点３４０になる。このとき、合焦点３４０からカメラ側に向かう方向（図４における左方向）においてカメラからの距離の変化と共に急激にボケ量が増加し、カメラから遠ざかる方向（図４における右方向）においては緩やかにボケ量が増加する。撮影画像から生成される仮想視点画像の画質に大きく影響しない程度のボケ量を許容ボケ量３１０と定義すると、ピントが合っている領域（ボケ量が許容ボケ量３１０以下となる領域）は合焦範囲３５０となる。合焦範囲の大きさは例えばカメラの被写界深度に対応する。合焦範囲３５０の前端３５１から合焦点３４０までの距離はＡ、後端３５３から合焦点３４０までの距離はＢ＋Ｃになり、合焦範囲３５０の中心３５２は合焦点３４０よりもカメラから遠い位置になる。なお、Ａ＋Ｂの長さはＣと同じである。
【００２２】
図５は、地面上に置かれたマーカー４２０を注視点４３０としてカメラを向け、マーカー４２０に焦点を合わせて合焦点４４０とした場合の様子を示している。すなわち、マーカー４２０と注視点４３０と合焦点４４０は同じ位置である。以下では簡略化のため、カメラ群１００のうち対向して配置されるカメラ１０１及びカメラ１０８に着目して説明を行うが、同一の注視点に向けられる他のカメラについても同様である。図５の状況において、各カメラの合焦範囲は合焦点の奥の方が合焦点の手前よりも大きいので、カメラ１０１の合焦範囲とカメラ１０８の合焦範囲の共通部分である合焦領域４５０は、注視点４３０からカメラに向かって距離Ａだけ離れた位置までの領域になる。合焦領域４５０は厳密には矩形とはならない場合があるが、ここでは説明の簡略化のため矩形で表している。なお、注視点４３０から各カメラまでの距離が異なる場合には、距離Ａもそれぞれのカメラで異なる値になる。
【００２３】
図６は、合焦領域を広げるために、各カメラの合焦点を注視点４３０よりもカメラ側に移動させた場合の様子を示している。カメラ１０１の焦点は合焦点５４１、カメラ１０８の焦点は合焦点５４２に合される。このとき合焦領域５５０は注視点４３０からカメラに向かって距離Ａ＋Ｂだけ離れた位置までの領域になり、図５で示した合焦点が注視点４３０と一致している場合よりも拡大する。なお、注視点４３０から各カメラまでの距離が異なる場合には、注視点４３０から合焦点までの距離Ｂもそれぞれのカメラで異なる長さになる。
【００２４】
図７を用いて、合焦点を移動させる方法について説明する。カメラのレンズ６１０に対して、合焦点６４０までの距離ａとセンサ６２０までの距離ｂには、１／ａ＋１／ｂ＝１／ｆという関係式が成り立っている。ｆはレンズ６１０に平行光が入射したときに結像される位置までのレンズ６１０からの距離（焦点距離）である。このとき、結像されるセンサ６２０の位置をレンズに対してｄだけ移動させると、合焦点６４０はＤだけ移動する。すなわち、移動させるべき合焦点６４０の移動量Ｄが決まれば、センサ６２０の移動量ｄを計算できる。なお実際には、レンズ６１０に対してセンサ６２０を移動させる代わりに、センサ６２０に対してレンズ６１０を移動させる。また、図７では簡略化のために単一のレンズ６１０を示しているが、実際には複数のレンズを組み合わせてそれぞれの位置を制御することで焦点距離やズーム値を変更する。
【００２５】
続いて、図８のフローチャートを用いて、合焦点を注視点から手前に移動して合焦領域を拡大する場合の制御装置２２０の動作について説明する。図８に示す処理は、カメラ群１００が設置され、仮想視点画像の生成前にカメラ群１００の調整を行うための指示が制御装置２２０に入力されたタイミングで開始される。調整を行うための指示は、ＵＩ部２６０を介したユーザ操作により行われてもよいし、他の装置から指示が入力されてもよい。ただし図８の処理の開始タイミングはこれに限定されない。図８に示す処理は、ＣＰＵ２２０１がＲＯＭ２２０２に格納されたプログラムをＲＡＭ２２０３に展開して実行することで実現される。なお、図８に示す処理の少なくとも一部を、ＣＰＵ２２０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後に説明する図１３、図１６、及び図１８のフローチャートに示す処理についても同様である。
【００２６】
Ｓ７００において、制御装置２２０は、カメラ群１００の中から制御対象とする対象カメラを選択し、対象カメラから撮影パラメータを取得する。Ｓ７１０において、コマンド送信部２２２は、注視点を決定して対象カメラを注視点に向かせる指示を行う。例えば、撮影対象となる競技場に、注視点を設定するための２Ｄマーカーなどの所定のオブジェクトが設置される。そして、何れかのカメラの撮影範囲内に位置するそのマーカーの位置を指定するユーザ操作をＵＩ部２６０が受け付け、その指定に応じた座標情報をパラメータ取得部２２３が取得する。パラメータ設定部２２４は、注視点の位置がマーカーの位置に合致するように、取得された座標情報に基づいて対象カメラの位置及び向きの少なくとも何れかを調整するためパラメータを設定する。そしてコマンド送信部２２２は、設定されたパラメータに応じた指示を対象カメラに送信する。このようにマーカーを用いて注視点を設定することで、カメラ群１００に含まれる複数のカメラを同じ注視点に向けるための手間を削減することができる。なお、マーカー位置に限らず、ユーザが任意に指定した位置に応じて注視点が決定されてもよい。また、制御装置２２０は、画像取得部２２１により取得された撮影画像内のマーカー位置や所定の特徴点を画像解析により検出し、自動で注視点を決定してもよい。また、対象カメラとは別のカメラが向いている方向に合わせて対象カメラの注視点を決定してもよい。
【００２７】
Ｓ７２０において、コマンド送信部２２２は、焦点設定部２２５による設定に基づき、注視点に対象カメラの焦点を合わせる指示を行う。Ｓ７３０において、合焦点移動量計算部２２７は、対象カメラから合焦点までの距離が、対象カメラから注視点までの距離よりも短くなるように、対象カメラの撮影パラメータに基づいて合焦点の注視点からの移動量を計算する。具体的には、合焦範囲計算部２２６が、パラメータ取得部２２３が取得した対象カメラの撮影パラメータに基づいて合焦点の前後の合焦範囲を計算し、合焦点移動量計算部２２７は、注視点が合焦範囲の中心になるように、合焦点の注視点からの移動量を計算する。Ｓ７４０において、合焦点移動量計算部２２７は、合焦点の移動量からレンズのフォーカス変更量を計算する。Ｓ７５０において、コマンド送信部２２２は、計算されたフォーカス変更量に応じた調整パラメータを対象カメラに送信することで、対象カメラの合焦点を変更する指示を行う。なお、ここでは合焦点の制御において、対象カメラの合焦範囲の中心が注視点に対応するように制御するものとする。合焦点をこのように設定することにより、複数のカメラの合焦範囲の共通部分（図６の合焦領域５５０）の大きさを最も大きくすることができる。ただしこれに限らず、合焦点が注視点よりも対象カメラに近い位置になるように制御されれば良い。なお、対象カメラの合焦範囲に注視点が含まれるように制御することで、注視点の近傍を含む仮想視点画像を高画質に生成することができる。
【００２８】
Ｓ７６０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについてＳ７１０からＳ７５０の処理が完了したか確認し、完了していなければＳ７００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、すべてのカメラについての処理が完了していれば、図８の処理を終了する。なお、ここでは制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ７１０からＳ７５０の処理を行ってもよい。
【００２９】
なお、図８を用いた上記の説明では、対象カメラの合焦点がマーカーの位置に合致するように対象カメラの合焦点を制御した後に、合焦点が対象カメラに近づくように対象カメラの合焦点を制御するものとした。このような方法によれば、複数のカメラの撮影範囲に共通に含まれるマーカーの位置を基準として合焦点を調整するため、複数のカメラの合焦点を自動で正確に調整することができる。ただし、合焦点の制御の手順はこれに限らない。例えば制御装置２２０は、マーカーの位置情報と対象カメラの位置情報を取得し、それらの位置情報に基づいて、一旦マーカーに焦点を合わせることなく直接合焦点をマーカーより対象カメラに近い位置に設定してもよい。また、制御装置２２０は、対象カメラの合焦点を対象カメラに近づける代わりに、対象カメラの位置を撮影方向の反対方向に移動させることで、注視点よりも合焦点が対象カメラに近くなるように制御してもよい。
【００３０】
図６から図８を用いて説明したように、本実施形態における制御装置２２０は、指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラの合焦位置を制御する。具体的には、制御装置２２０は、カメラ群１００に含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する。そして制御装置２２０は、取得された撮影パラメータに対応する対象カメラから当該対象カメラの合焦位置までの距離が、当該対象カメラから注視点までの距離よりも短くなるように、撮影パラメータに基づいて当該対象カメラの合焦位置を制御する。これにより、カメラ群１００に含まれる各カメラの合焦範囲の共通部分である合焦領域を大きくすることができ、カメラ群１００により取得された撮影画像を用いて注視点近傍の撮影領域の仮想視点画像を高画質に生成することが可能となる。
【００３１】
次に、注視点を空中に設定することにより、合焦領域を拡大する方法について述べる。図５のように、地面上に置いたマーカー４２０を注視点４３０としてその位置を合焦点４４０とした場合、合焦領域のうち合焦点よりカメラから遠い側の部分は地面の下に存在するため、合焦領域全体を有効に利用できない。そこで、注視点を空中に設定することで、有効に利用可能な（地上に存在する）合焦領域を拡大した例を図９に示す。図９に示す例では、注視点８３０の位置がマーカー４２０の位置から鉛直方向に離れた位置になるように、複数のカメラの位置及び向きが調整されている。このように注視点を設定し、設定された注視点の位置を合焦点とすると、地上にある合焦領域の中心に合焦点が位置し、図５に示す場合と比べて有効に利用可能な合焦領域が２倍の大きさになる。図１０は、図４を用いて説明したように合焦点が各カメラの合焦範囲の中心よりも手前に位置することを考慮して、注視点を図９の場合よりもさらに高い位置に設定した場合の様子を示している。この場合には、合焦領域の全体が地上に存在することになり、有効に利用可能な合焦領域が図９の場合よりもさらに大きくなる。なお、注視点をマーカーの真上に設定する場合、各カメラに対して同様の制御を行えばよいため処理を簡単にできるが、例えばマーカーの配置場所や注視点の位置に制限があるような場合には、マーカーの真上から水平方向にずれた位置に注視点を設定してもよい。
【００３２】
図１１は、注視点をマーカー４２０の上方に設定したときの、センサ６２０上でマーカー４２０の像が結像する位置を示している。マーカー４２０と注視点１０３０はセンサ６２０上に投影され、注視点１０３０の高さＧがセンサ６２０上での長さｇになる。ただし、センサ６２０上の位置はレンズ６１０のズーム値によって変化し、あるズーム値でセンサ６２０上の距離がｇだったものが、ズーム値を大きくするとｇ’になる。すなわち、注視点を設定すべき位置のマーカーからの高さを決定すると、ズーム値などの撮影パラメータに基づいて、マーカー４２０がセンサ６２０上のどの位置にくるようにすればよいかが求まる。
【００３３】
図１２はカメラにより取得された撮影画像が表示された画面を示したものである。注視点とマーカー４２０のセンサ６２０上の距離ｇが求まったら、センサ６２０の中心からｇだけ離れた位置にマーカー４２０の像が映るようにカメラの位置及び向きを調整することで、所望の高さの位置に注視点を設定できる。また、カメラのフォーカス領域１０４０をマーカー４２０に合わせることで、カメラからマーカー４２０までの距離に対応する位置に合焦点が設定される。このとき、カメラはマーカー４２０に対して斜め上方から撮影しているため、マーカー位置で焦点を合わせると、実際には合焦点は注視点よりも少しカメラから離れた位置になる。
【００３４】
図１３を用いて、注視点を空中に設定する場合の制御装置２２０の動作について説明する。図１３の処理の開始タイミングは図８に示す処理と同様である。まずＳ１２００において、制御装置２２０は、カメラ群１００の中から制御対象とする対象カメラを選択し、対象カメラの撮影パラメータを取得する。Ｓ１２１０において、制御装置２２０は、対象カメラから取得した撮影画像やＵＩ部２６０から取得したユーザ操作に応じた情報を用いて、注視点の設定の基準となる地面に置かれたマーカーを特定する。Ｓ１２２０において、合焦範囲計算部２２６は、対象カメラの撮影パラメータに基づいて、焦点をマーカーに合わせた場合に地面の下に隠れてしまう合焦領域の大きさを計算する。その計算結果に基づいて、パラメータ設定部２２４は、設定すべき注視点の高さを設定する。注視点の高さは、図９のように注視点が地上にある合焦領域の中心になるように設定されてもよいし、図１０のように地上にある合焦領域の大きさが最大になるように設定されてもよいし、その他の高さに設定されてもよい。
【００３５】
Ｓ１２３０において、パラメータ設定部２２４は、設定された注視点の高さに応じたセンサ上でのマーカー位置を計算する。Ｓ１２４０においてコマンド送信部２２２は、センサ上でのマーカー位置が所望の位置にくるように、すなわち注視点の位置が撮影パラメータに応じて設定された高さになるように、対象カメラの位置及び向きの少なくとも何れかを調整する指示を行う。具体的には、コマンド送信部２２２は、対象カメラの位置及び向きの少なくとも何れかの変更に係る調整パラメータを対象カメラに出力することで、調整の指示を行う。Ｓ１２５０において、コマンド送信部２２２は、マーカー位置に対象カメラの焦点が合うように対象カメラのフォーカス値を変更する指示を行う。なお、制御装置２２０は、対象カメラの焦点を注視点などマーカー以外の位置に合わせてもよい。焦点を注視点に合せる場合、対象カメラの合焦範囲にマーカーの位置が含まれる範囲内で注視点の高さを調整すれば、マーカー近傍の撮影領域に対応する仮想視点画像を高画質に生成できる。
【００３６】
Ｓ１２６０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについてＳ１２１０からＳ１２５０の処理が完了したか確認し、完了していなければＳ１２００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、すべてのカメラについての処理が完了していれば、図１３の処理を終了する。なお、ここでは制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ１２１０からＳ１２５０の処理を行ってもよい。
【００３７】
なお、図１３を用いた上記の説明では、制御装置２２０が地面に置かれたマーカーの位置を基準として注視点の位置を設定するものとした。これにより、カメラの合焦範囲に応じた適切な高さに注視点を自動で正確に設定することができる。ただし、注視点の位置の設定方法はこれに限らない。例えば、マーカーが地面よりも高い位置にあってもよいし、マーカーの代わりに撮影画像から抽出された所定の特徴点が用いられてもよい。また、制御装置２２０が各カメラの設置位置の高さを特定する情報を取得し、取得した情報に基づいて注視点の位置を制御してもよい。
【００３８】
また、上記の説明では、制御装置２２０が対象カメラの位置や向きを変更する指示を対象カメラに出力するものとした。このような方法によれば、カメラ群１００に含まれるカメラが電動の雲台などを備えている場合には、注視点の位置を自動で調整することができ、カメラ群１００の管理者の手間を削減することができる。ただし、制御装置２２０による対象カメラの位置や向きを調整するための制御の内容はこれに限定されない。例えば制御装置２２０は、カメラの位置及び向きの少なくとも何れかの変更に係る情報（どのカメラの向きをどの程度調整すればよいかなどを示す情報）を表示部に表示させたり、音声出力部から出力させたりしてもよい。表示部や音声出力部は制御装置が備えるものであってもよいし、カメラの設置や調整を行う管理者が有する端末が備えるものであってもよい。このような方法によれば、カメラの位置や向きを自動で調整できない場合であっても、表示された情報や出力された音声に基づいて管理者がカメラの位置や向きを適切に調整することができる。
【００３９】
図９から図１３を用いて説明したように、本実施形態における制御装置２２０は、指定された視点に応じた仮想視点画像の生成のためにそれぞれ異なる方向から撮影を行う複数のカメラを制御する。具体的には、制御装置２２０は、カメラ群１００に含まれる１又は複数のカメラの撮影に係る撮影パラメータを取得する。そして制御装置２２０は、複数のカメラが向けられる注視点の位置が、取得された撮影パラメータに応じた高さになるように、当該撮影パラメータに対応する対象カメラの位置及び向きの少なくとも何れかを調整するための制御を行う。これにより、カメラ群１００に含まれる各カメラの合焦範囲の共通部分である合焦領域を大きくすることができ、カメラ群１００により取得された撮影画像を用いて注視点近傍の撮影領域の仮想視点画像を高画質に生成することが可能となる。注視点を空中に設定して、合焦点を注視点の位置に設定することで、地面に注視点を設定する場合よりも、地上に存在する有効に利用可能な合焦領域を大きくすることができる。
【００４０】
次に、注視点を空中に設定し、さらに合焦点を注視点よりもカメラ寄りに設定することにより、合焦領域をより拡大する方法について述べる。図１４は、図９のようにマーカー４２０に対して注視点１３３０を空中に設定し、さらに図６のように合焦点を注視点１３３０よりもカメラに近い位置に設定した場合の様子を示している。カメラ１０１の焦点は合焦点１３４１、カメラ１０８の焦点は合焦点１３４２に合っており、注視点１３３０から合焦範囲の後端までの距離は図４における長さＣ（＝Ａ＋Ｂ）になる。なお、注視点１３３０から各カメラまでの距離が異なる場合は、Ａ，Ｂ，Ｃの長さがカメラ毎に異なる。
【００４１】
図１６を用いて、図１４のように合焦点を設定する場合の制御装置２２０の動作について説明する。図１６に示す処理の開始タイミングは図８の処理と同様である。Ｓ１４００〜Ｓ１４５０は図１３のＳ１２１０〜Ｓ１２５０と同様の処理であり、制御装置２２０は、注視点がマーカーの上方に位置するようにカメラの位置及び向きを制御し、マーカー位置に焦点を合わせる。Ｓ１４６０〜Ｓ１４８０は図８のＳ７３０〜Ｓ７５０の処理と同様であり、制御装置２２０は、合焦点が注視点よりも対象カメラに近くなるように対象カメラの合焦点を制御する。
【００４２】
ただし、図１５に示すように、カメラ１０８はマーカー４２０を斜め上方から撮影している。そのため、カメラ１０８からマーカー４２０までの距離Ｍはカメラ１０８から注視点１３３０までの距離Ｖよりも長くなり、マーカー位置で焦点を合わせると、合焦点は注視点１３３０よりカメラ１０８から遠い位置になる。注視点１３３０から移動後の合焦点１３４２までの距離はＢなので、マーカー４２０に焦点を合わせた後の調整における合焦点の移動量はＭ−Ｖ＋Ｂで表される。Ｓ１４９０で全カメラの処理が完了したか確認し、完了していなければ全カメラ台数分繰り返す。こうすることにより、注視点を空中に設定して地面の下に隠れている合焦領域を有効活用し、さらに合焦範囲も無駄なく活用することが可能になる。
【００４３】
Ｓ１４９０において、制御装置２２０は、カメラ群１００に含まれるすべてのカメラについてＳ１４１０からＳ１４８０の処理が完了したか確認し、完了していなければＳ１４００に戻って未処理のカメラを制御対象のカメラとして選択する。一方、すべてのカメラについての処理が完了していれば、図１６の処理を終了する。なお、ここでは制御装置２２０がすべてのカメラを制御する場合について説明しているが、これに限らず、制御装置２２０はカメラ群１００に含まれるカメラのうちの一部のカメラに対してのみＳ１４１０からＳ１４９０の処理を行ってもよい。
【００４４】
図１４から図１６を用いて説明したように、注視点を空中に設定し、且つ合焦点を注視点よりもカメラ寄りに設定することで、図６や図９を用いて説明した場合よりもさらに合焦領域を大きくすることができる。
【００４５】
以上では、カメラの絞り値が固定されているものとして、合焦点や注視点を移動させることで合焦領域を拡大する場合を中心に説明してきたが、制御装置２２０は各カメラの絞り値などの撮影パラメータを変更してもよい。図１７に示すように、カメラの絞り値を変化させるとボケ量が変化する。具体的には、絞り値を大きくすると絞り値が小さい場合よりもボケ量が小さくなる。すなわち、許容ボケ量３１０が同じ場合に、絞り値が大きい方が合焦範囲１５５０は大きくなる。この特徴を利用して、制御装置２２０は、合焦領域が所望の大きさになるように絞り値を設定してもよい。
【００４６】
図１８は、図１６を用いて説明した処理フローに絞り値を設定する処理を挿入した場合の制御装置２２０の動作フローを示している。制御装置２２０は、Ｓ１４００において選択された対象カメラの注視点をＳ１４００からＳ１４４０の処理により設定したのち、Ｓ１６４５において対象カメラの絞り値を設定する。例えばＳ１６４５において、パラメータ取得部２２３は、対象カメラのズーム値と、仮想視点画像の生成対象となる撮影範囲内の所定領域を示す情報を取得する。パラメータ設定部２２４は、取得された所定領域を示す情報とズーム値とに基づいて、その所定領域の大きさよりも合焦範囲の大きさが大きくなるように絞り値を設定し、コマンド送信部２２２により対象カメラに絞り値を変更する指示を行う。その後、図１６の場合と同様にＳ１４５０〜Ｓ１４９０の処理が行われる。なお、絞り値を設定する処理はＳ１４４０とＳ１４５０の間に限らず、例えばＳ１４８０とＳ１４９０の間でもよい。また、絞り値を設定する処理を、図８や図１３を用いて説明した処理フローに挿入してもよい。
【００４７】
このように、制御装置２２０が注視点や合焦点の制御に応じてカメラの絞り値を制御することにより、注視点の変更や合焦点の変更だけでは合焦領域の大きさが十分な大きさとならないような場合にも、合焦領域をより拡大することができる。なお、絞り値の調整量は上記に限定されるものではなく、例えばＵＩ部２６０を介してユーザにより絞り値が指定されてもよい。
【００４８】
なお、本実施形態ではカメラ群１００に含まれるすべてのカメラが同一の注視点に向けられる場合を中心に説明したが、これに限らず、注視点が複数存在し、第１グループのカメラと第２グループのカメラとが異なる注視点に向けられてもよい。この場合には、同じ注視点に向けられるカメラのグループごとに上述のフローチャート等で示した処理が行われる。
【００４９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００５０】
１０  画像処理システム
１００  カメラ群
２２０  制御装置
２３０  画像生成装置
【図１】
2019161462.tif 000003
【図２】
2019161462.tif 000004
【図３】
2019161462.tif 000005
【図４】
2019161462.tif 000006
【図５】
2019161462.tif 000007
【図６】
2019161462.tif 000008
【図７】
2019161462.tif 000009
【図８】
2019161462.tif 000010
【図９】
2019161462.tif 000011
【図１０】
2019161462.tif 000012
【図１１】
2019161462.tif 000013
【図１２】
2019161462.tif 000014
【図１３】
2019161462.tif 000015
【図１４】
2019161462.tif 000016
【図１５】
2019161462.tif 000017
【図１６】
2019161462.tif 000018
【図１７】
2019161462.tif 000019
【図１８】
2019161462.tif 000020
【図１９】
2019161462.tif 000021