(57)【要約】【課題】複数のカメラで被写体を撮像する撮像システムにおいて、従来の映像データを圧縮して伝送する方法に比べて、画質を低下させることなく、効率的に映像データを伝送する。【解決手段】本発明の撮像システムは、複数の撮像装置と、画像処理装置とを備え、画像処理装置に、複数の撮像装置により撮像された撮像画像を伝送する撮像システムであって、複数の撮像装置は、複数の撮像グループに組み分けられ、撮像装置は、撮像グループ毎に、互いに異なるタイミングで撮像画像を画像処理装置に伝送する伝送手段を有し、撮像グループは、少なくとも２つ以上の撮像装置を備える。【選択図】図４
2019033315.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置と、画像処理装置とを備え、
前記画像処理装置に、前記複数の撮像装置により撮像された撮像画像を伝送する撮像システムであって、
前記複数の撮像装置は、複数の撮像グループに組み分けられ、
前記撮像装置は、
前記撮像グループ毎に、互いに異なるタイミングで撮像画像を前記画像処理装置に伝送する伝送手段
を有し、
前記撮像グループは、少なくとも２つ以上の撮像装置を備えることを特徴とする撮像システム。
【請求項２】
前記画像処理装置は、前記撮像画像を取得する上で、基準となる同期信号を生成する同期信号生成手段を備え、
前記撮像装置は、前記撮像グループ毎の撮像タイミングが、順に、前記同期信号の周期分、シフトされるように撮像タイミングを制御することを特徴とする請求項１に記載の撮像システム。
【請求項３】
複数の撮像装置と、画像処理装置とを備え、
前記画像処理装置に、前記複数の撮像装置により撮像された撮像画像を伝送する撮像システムであって、
前記複数の撮像装置は、複数の撮像グループに組み分けられ、
前記撮像装置は、
撮像画像を、フレーム内予測を用いて符号化またはフレーム間予測を用いて符号化する符号化手段と、
前記符号化手段により符号化された撮像画像を前記画像処理装置に伝送する伝送手段と
を有し、
前記伝送手段は、前記撮像グループ毎に、互いに異なるタイミングで、フレーム内予測を用いて符号化された撮像画像であるイントラフレームを伝送することを特徴とする撮像システム。
【請求項４】
前記画像処理装置は、前記符号化する上で、基準となる同期信号を生成する同期信号生成手段をさらに備え、
前記符号化手段は、前記撮像グループ毎の前記イントラフレームの符号化タイミングが、順に、前記同期信号の周期分、シフトされるように符号化することを特徴とする請求項３に記載の撮像システム。
【請求項５】
被写体を視認できる度合いを示すビジビリティ情報に基づいて、前記複数の撮像グループそれぞれが、複数の角度から前記被写体を撮像することができるように、前記複数の撮像装置を、前記複数の撮像グループに組み分ける組分け手段を有することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
【請求項６】
前記ビジビリティ情報は、前記撮像装置の位置及び姿勢、並びに前記被写体の位置に基づいて、生成されることを特徴とする請求項５に記載の撮像システム。
【請求項７】
コンピュータを請求項１から６のいずれか１項に記載の撮像システムとして機能させるためのプログラム。
【請求項８】
複数の撮像装置と、画像処理装置とを備えた撮像システムにおける画像データ伝送方法であって、
前記撮像装置により、前記複数の撮像装置を組み分けた複数の撮像グループ毎に、互いに異なるタイミングで撮像画像を前記画像処理装置に伝送する伝送ステップを含み、
前記撮像グループは、少なくとも２つ以上の撮像装置を備えることを特徴とする画像データ伝送方法。
【請求項９】
複数の撮像装置と、画像処理装置とを備えた撮像システムにおける画像データ伝送方法であって、
前記撮像装置により、撮像画像を、フレーム内予測を用いて符号化またはフレーム間予測を用いて符号化する符号化ステップと、
前記撮像装置により、符号化された撮像画像を前記画像処理装置に伝送する画像伝送ステップと
を含み、
前記画像伝送ステップにおいて、前記複数の撮像装置を組み分けた複数の撮像グループ毎に、互いに異なるタイミングで、フレーム内予測を用いて符号化された撮像画像であるイントラフレームを伝送することを特徴とする画像データ伝送方法。
【請求項１０】
撮像モードに応じて、請求項８に記載の画像データ伝送方法と、請求項９に記載の画像データ伝送方法とを切り替えることを特徴とする画像データ伝送方法。
【請求項１１】
前記撮像モードが固定視点で撮像するモードである場合に、請求項９に記載の画像データ伝送方法に切り替えることを特徴とする請求項１０に記載の画像データ伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部により撮像された撮像画像を伝送する技術に関する。
【背景技術】
【０００２】
従来、複数のカメラで被写体を撮像する多視点撮像システムを用いて、仮想的な視点から見た映像を生成する仮想視点映像生成技術が知られている。仮想視点映像の生成は、同期して撮影を行う複数のカメラ映像をサーバ等の画像処理装置に伝送し、画像処理装置がこれらの映像データを処理することで行われ得る。
【０００３】
一方、映像データを効率的に圧縮して伝送する方法として、ＭＰＥＧやＨ．２６４等、単フレームの情報を用いて符号化したイントラフレームと、異なるフレーム間の差分情報を用いて符号化した予測フレームを混在させながら伝送する動画符号化技術がある。このような動画符号化技術に関して、例えば、特許文献１には、フレーム間の変化が大きいフレームをイントラフレームとして圧縮することにより、効率的に伝送する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−６１２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、仮想視点映像を生成するために、複数のカメラ映像を伝送する場合、限られた通信帯域で複数のカメラ映像を伝送するために複数のカメラ映像を圧縮して伝送することが考えられる。しかしながら、特許文献１では、被写体の動きが大きいフレームでデータ量が多くなり、逆に、被写体の動きが小さいフレームで映像品質が低下するため、仮想視点映像を生成する場合、均一な画質で生成することが難しい。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであって、画質の変動を低減させつつ、効率的に撮像画像を伝送することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像システムは、複数の撮像装置と、画像処理装置とを備え、前記画像処理装置に、前記複数の撮像装置により撮像された撮像画像を伝送する撮像システムであって、前記複数の撮像装置は、複数の撮像グループに組み分けられ、前記撮像装置は、前記撮像グループ毎に、互いに異なるタイミングで撮像画像を前記画像処理装置に伝送する伝送手段を有し、前記撮像グループは、少なくとも２つ以上の撮像装置を備えることを特徴とする。
【発明の効果】
【０００８】
本発明により、画質の変動を低減させつつ、効率的に撮像画像を伝送することができる。
【図面の簡単な説明】
【０００９】
【図１】多視点撮像システムの構成を示す図である。
【図２】撮像装置の内部構成を示すブロック図である。
【図３】画像処理装置の内部構成を示すブロック図である。
【図４】多視点撮像システムの処理の手順を示すフローチャートである。
【図５】カメラグループを決定する処理の手順を示すフローチャートである。
【図６】撮像装置のビジビリティ情報を示す図である。
【図７】組み分けされたカメラグループを示す図である。
【図８】同期タイミングを決定する処理の手順を示すフローチャートである。
【図９】撮像装置の同期タイミングを示す図である。
【図１０】第２実施形態における多視点撮像システムの処理の手順を示すフローチャートである。
【図１１】撮像装置におけるイントラフレームに符号化するタイミングを示す図である。
【図１２】第３実施形態における多視点撮像システムの処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して、詳細に説明する。なお、以下の実施形態は、本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段に必須のものとは限らない。その他、以下の説明において、同一の構成については、同じ符号を付して説明する。
【第１実施形態】
【００１１】
図１は、複数の撮像装置を備えた多視点撮像システムの構成を示す図である。多視点撮像システムは、図１に示されるように、被写体１１８を取り囲むように配置された、１６台の撮像装置１０１−１１６と、各撮像装置と接続された画像処理装置１１７を備え、また、１６台の撮像装置が楕円周上に均等に配置されている。
【００１２】
多視点撮像システムは、ユーザ又は画像処理装置１１７の指示に基づいて、この楕円周上に均等に配置された各撮像装置により、同一の被写体を複数の視点位置から撮像することで、所定の画像群（例えば、カラー画像群等）を取得することができる。
【００１３】
なお、図１に示す例では、撮像装置の数を１６台として説明したが、多視点撮像システムが、複数の撮像装置を有する限りにおいて、撮像装置の数に依らず、本発明を適用することができる。また、ここでは１６台の撮像装置を楕円周上に配置する構成として示したが、少なくとも２台の撮像装置が被写体を撮像する限りにおいて、撮像装置の配置に依らず、本発明を適用することができる。したがって、例えば、被写体を取り囲むようにして、撮像装置をドーム状に配置することもできる。
【００１４】
また、図１では、撮像装置１０１−１１６と画像処理装置１１７が、有線で接続される例を示したが、撮像装置１０１−１１６と画像処理装置１１７は、無線ＬＡＮ（Local Area Network）やインターネット等で接続することもできる。
【００１５】
図２は、撮像装置（撮像装置１０１−１１６）の内部構成を示すブロック図である。なお、図２では、撮像装置１０１を、その一例として説明する。
【００１６】
撮像装置１０１は、図２に示されるように、撮像部２０１、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、バス２０５、撮像制御部２０６、通信インタフェース２０７、タイミング制御部２０８、符号化部２０９、画像処理部２１０を備える。
【００１７】
撮像部２０１は、主にズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター、光学フィルタ、センサ、Ａ／Ｄ変換部等を備え、センサにより被写体の光情報を受光（取得）する。なお、センサはＣＭＯＳやＣＣＤ等の撮像素子で構成され、受光した光情報はＡ／Ｄ変換部によってデジタルデータに変換される。
【００１８】
ＣＰＵ（Central Processing Unit）２０２は、各部（ＲＡＭ２０３−画像処理部２１０）を統括的に制御する。ＲＡＭ（Random Access Memory）２０３は、ＣＰＵ２０２のメインメモリ、ワークエリア等として機能する。ＲＯＭ（Read Only Memory）２０４は、ＣＰＵ２０２で実行される制御プログラム等を格納する。バス２０５は、各種データの転送経路である。例えば、撮像部２０１により取得されたデジタルデータは、バス２０５を介して、所定の処理部に送信される。
【００１９】
撮像制御部２０６は、フォーカスの合焦、シャッターの開閉、絞りの調節等のＣＰＵ２０２からの指示に基づいて、撮像部２０１を制御する。通信インタフェース２０７は、無線ＬＡＮ（Local Area Network）やイーサネット等の所定のネットワークに接続することで、ＰＣやその他の外部装置とデジタルデータ（例えば、撮像画像等の画像データ）を送受信する。即ち、通信インタフェース２０７は、画像データ伝送を行う。
【００２０】
タイミング制御部２０８は、撮像タイミングを制御する。タイミング制御部２０８は、通信インタフェース２０７により受信した外部信号に基づいて、撮像部２０１のシャッターを閉じるタイミングを制御する。なお、タイミング制御部２０８における処理の詳細については、後述する。符号化部２０９は、デジタルデータをＪＰＥＧやＭＰＥＧ等の所定のファイルフォーマットに変換する処理を行う。画像処理部２１０は、バス２０５を介して受信したデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種画像処理を実行する。なお、撮像装置１０１−１１６は、上記以外の構成要素も備えるが、本発明の主眼ではないため、ここでは説明を省略する。
【００２１】
図３は、画像処理装置１１７の内部構成を示すブロック図である。画像処理装置１１７は、通信インタフェース３０１、ＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、バス３０５、同期信号生成部３０６、復号部３０７、画像処理部３０８、操作部３０９、表示部３１０を備える。
【００２２】
通信インタフェース３０１は、無線ＬＡＮ（Local Area Network）やイーサネット等の所定のネットワークに接続することで、ＰＣやその他の外部装置（例えば、撮像装置１０１−１１６等）とデジタルデータを送受信する。
【００２３】
ＣＰＵ３０２は、各部（ＲＡＭ３０３−表示部３１０）を統括的に制御する。ＲＡＭ３０３は、ＣＰＵ３０２のメインメモリ、ワークエリア等として機能する。ＲＯＭ３０４は、ＣＰＵ３０２で実行される制御プログラム等を格納する。バス３０５は、各種データの転送経路である。
【００２４】
同期信号生成部３０６は、撮像装置１０１−１１６においてシャッターを閉じるタイミングを知らせるための信号を生成する。復号部３０７は、撮像装置１０１−１１６の符号化部２０９により符号化されたデジタルデータを復号する。
【００２５】
画像処理部３０８は、バス３０５を介して受信したデジタルデータに対して、仮想的に別の視点を設定し、その視点からの映像を生成する等の画像処理を実行する。操作部３０９は、ユーザが設定可能なパラメータを入力（操作）するためのインタフェースである。表示部３１０は、画像処理部３０８で処理したデジタルデータや設定メニュー等を表示する表示装置であり、例えば、液晶ディスプレイ等である。
【００２６】
図４は、多視点撮像システムの処理の手順を示すフローチャートである。ステップＳ４０１において、画像処理装置１１７のＣＰＵ３０２は、ＲＯＭ３０４に格納されたプログラムに基づいて、撮像装置１０１−１１６の中から同期撮像するカメラグループ（撮像グループ）を決定する。即ち、ステップＳ４０１において、画像処理装置１１７のＣＰＵ３０２は、撮像装置１０１−１１６を、複数のカメラグループに組み分けし、撮像グループを決定する。
【００２７】
なお、カメラグループは、少なくとも２台以上の撮像装置から構成され、広い方位から被写体が見えるように決定される（即ち、様々な角度から被写体が見えるように決定される）。したがって、撮像装置１０１を基準とする場合、後述のビジビリティ情報を考慮した上で、例えば、撮像装置１０１から遠い撮像位置にある撮像装置１０９、撮像装置１０５、撮像装置１１３の順に、撮像装置と撮像装置の間隔が均等になるように選択される。
【００２８】
ここで、同期撮像するカメラグループの決定に関して、図５を用いて、説明を補足する。図５は、カメラグループを決定する処理の手順を示すフローチャートである。ステップＳ５０１において、画像処理装置１１７は、各撮像装置１０１−１１６のビジビリティ情報を取得する。ビジビリティ情報とは、撮像装置から特定の被写体やエリアがどの程度、見えているか、その度合いを示す情報（即ち、被写体を視認できる度合いを示す情報）である。なお、ビジビリティ情報は、各撮像装置の位置・姿勢情報と特定の被写体やエリアの位置情報に基づいて算出することも、また、予め、ＲＯＭ３０４等に保持しておくこともできる。
【００２９】
補足として、ビジビリティ情報に関して、図６を用いて、さらに説明を加える。図６は、撮像装置のビジビリティ情報を、その一例として示す図である。図６において、各撮像装置１０１−１１６において、特定の被写体やエリアが見える場合を「○」、見えない場合を「×」で示している。
【００３０】
図６に示されるように、撮像装置１０１は、エリア１、エリア２のいずれも「○」であり、どちらのエリアも見えることを示している。なお、ビジビリティ情報に加え、各撮像装置１０１−１１６の位置情報を、予めＲＯＭ３０４等に保持しておくことが望ましい。図６に示す例では、撮像エリアの中央から見た撮像装置の方位角をビジビリティ情報と共に保持している。
【００３１】
図５に戻り、各撮像装置１０１−１１６のビジビリティ情報を取得すると（Ｓ５０１）、画像処理装置１１７の操作部３０９は、ユーザの指示に基づいて、カメラグループの数を取得する（Ｓ５０２）。カメラグループの数は少なくとも１以上の値であり、撮像装置の総数を２で割った数よりも小さければ、自動的に算出する等してもよい。例えば、カメラグループの構成数が、予め決定されていれば、そのカメラグループの構成数に基づいて、撮像装置の総数から自動的に算出することができる。
【００３２】
画像処理装置１１７は、ステップＳ５０１においてビジビリティ情報を、ステップＳ５０２においてカメラグループの数を決定（取得）すると、それらに基づいて、カメラグループの構成を決定する（即ち、カメラグループに組分けする）（Ｓ５０３）。
【００３３】
なお、カメラグループの組分けは、被写対象において、撮像されない部分がないように、ビジビリティ情報のうち「○」の数が少ない撮像装置から順に行われる。したがって、先ず、ビジビリティ情報に「○」が１つしかない撮像装置に対して、同じビジビリティ情報の値を有する撮像装置を選択する。次に、選択された撮像装置が複数であった場合に、その複数の撮像装置から位置情報が遠い撮像装置を、カメラグループの構成数に到達するまで繰り返し選択する。そして、カメラグループの構成が決定すると、画像処理装置１１７は、通信インタフェース３０１を介して、各撮像装置１０１−１１６にカメラグループ情報を通知する。
【００３４】
図７は、ビジビリティ情報に基づいて、組み分けされたカメラグループの一例を示す図である。図７では、１６台の撮像装置１０１−１１６を４つのカメラグループに組み分けし、カメラグループ内の撮像装置は広い方位から被写体が見えるように決定されている。
【００３５】
図４に戻り、同期撮像するカメラグループを決定すると、画像処理装置１１７の同期信号生成部３０６は各撮像装置１０１〜１１６においてシャッターを閉じるタイミングの基準となる同期信号を生成する（Ｓ４０２）。なお、本実施形態では、仮想視点映像のフレームレートが６０［ｆｐｓ］となるように、６０［Ｈｚ］の同期信号を生成するものとする。
【００３６】
次に、ステップＳ４０３において、各撮像装置１０１−１１６のタイミング制御部２０８は、ステップＳ４０２で生成した同期信号に基づいて、同期タイミングを決定する。なお、同期タイミングとは各撮像装置１０１−１１６がシャッターを閉じるタイミングであり、同期タイミングに関して、同じカメラグループの撮像装置は同じ周期となり、また、カメラグループ毎に、互いに異なるように決定（設定）される。
【００３７】
ここで、同期タイミングの決定に関して、図８を用いて、説明を補足する。図８は、同期タイミングを決定する処理の手順を示すフローチャートである。ステップＳ８０１において、各撮像装置１０１−１１６は、通信インタフェース２０７を介して、画像処理装置１１７から基準同期信号を取得する。なお、基準同期信号は、ステップＳ４０２で画像処理装置１１７により生成された信号である。
【００３８】
次に、ステップＳ８０２において、各撮像装置１０１−１１６は、通信インタフェース３０１を介して、画像処理装置１１７からカメラグループ情報を取得する。なお、カメラグループ情報は、ステップＳ４０１で画像処理装置１１７により決定された情報であり、より具体的には、カメラグループの番号である。
【００３９】
各撮像装置１０１−１１６は、基準同期信号及びカメラグループ情報を取得すると（Ｓ８０１、Ｓ８０２）、カメラグループ情報に基づいて、基準同期信号から同期タイミングを決定する（Ｓ８０３）。なお、同期タイミングは、カメラグループ毎（撮像グループ毎）に互いに異なるように決定することができる。例えば、本実施形態では、各々のカメラグループの同期タイミングに関して、４つの同期信号（４周期）毎に、同期信号の１周期分をシフトすることにより設定している。
【００４０】
補足として、同期タイミングに関して、図９を用いて、説明を補足する。図９は、各撮像装置１０１−１１６における同期タイミングの一例を示す図である。図９に示されるように、同じカメラグループの撮像装置は同じ周期となり、異なるカメラグループの撮像装置は互いに異なる撮像タイミングとなるように同期タイミングが決定されている。また、本実施形態では、基準同期信号を６０［Ｈｚ］に設定していることから、各撮像装置１０１−１１６の同期タイミングは１５［Ｈｚ］となり、低フレームレートの撮像が可能となっている。
【００４１】
再び、図４に戻り、各撮像装置１０１−１１６において同期タイミングを決定すると、各撮像装置１０１−１１６の撮像制御部２０６は、ステップＳ４０３の同期タイミングに基づいて、撮像処理を実行する（Ｓ４０４）。そして、各撮像装置１０１−１１６は、撮像処理を実行すると（Ｓ４０４）、画像処理装置１１７に、その撮像した画像（即ち、デジタルデータ）を出力する（Ｓ４０５）。
【００４２】
これにより、画像処理装置１１７は、基準同期信号の各周期において、４つの視点における同期されたカメラ映像を受信することができる。また、各視点のカメラ映像は被写体を広い方位から撮像するようにカメラグループを決定しているため、仮想視点映像を均一な画質として生成しやすい利点がある。さらに、各撮像装置１０１−１１６は、生成する仮想視点映像のフレームレートよりも低いフレームレートで撮像できるため、撮像装置の消費電力を抑えることができる。そして、これにより、仮想視点映像生成にとって、効率的に映像データを伝送することができる（即ち、映像データのデータ量を低減させた上で、伝送することができる）。
【第２実施形態】
【００４３】
上述の第１実施形態では、異なる同期タイミングを有するカメラグループを作成し、各撮像装置において低フレームレートで撮像する方法について説明した。本実施形態では、カメラグループ内の各撮像装置はイントラフレームの符号化タイミングを同一にし、高フレームレートで撮像する方法について説明する。これにより、画像処理装置１１７は、すべての撮像装置のカメラ映像を高フレームレートで取得できるとともに、仮想視点映像の生成において画質を低下させにくいカメラ映像を生成することができる。
【００４４】
図１０は、第２実施形態における多視点撮像システムの処理の手順を示すフローチャートである。なお、図１０に示す処理に関して、第１実施形態の図４と同様の処理は、ここでの詳細な説明は省略する。具体的には、図１０のステップＳ１００１、Ｓ１００２、Ｓ１００４、Ｓ１００６は、図４のステップＳ４０１、Ｓ４０２、Ｓ４０４、Ｓ４０５に各々、対応している。
【００４５】
ステップＳ１００３において、各撮像装置１０１−１１６のタイミング制御部２０８は、ステップＳ１００２で生成した同期信号に基づいて、イントラフレームの生成タイミングを決定する。イントラフレームの生成タイミングは、第１実施形態における同期タイミングと同様、同じカメラグループの撮像装置は同じ周期となり、異なるカメラグループの撮像装置は、同期信号に基づいて、互いに異なるように決定される。また、各撮像装置の同期タイミングは、基準同期信号の周期と同じ周期となるように決定される。
【００４６】
図１１は各撮像装置１０１−１１６のイントラフレームの生成タイミングの一例を示す図である。図１１において、Ｉはイントラフレーム（即ち、フレーム内予測を用いて符号化されたフレーム）、Ｐは予測フレーム（即ち、フレーム間予測を用いて符号化されたフレーム）を表わしている。また、同じカメラグループの撮像装置は同じ周期となり、異なるカメラグループの撮像装置は互いに異なるようにイントラフレームの生成タイミングを決定している。
【００４７】
ステップＳ１００５において、各撮像装置１０１−１１６の符号化部２０９は、ステップＳ１００４で撮像したデジタルデータを、ステップＳ１００３の生成タイミングに基づいて符号化する。具体的には、イントラフレームの生成タイミングでは単フレームの情報を用いて符号化を行い、その他のタイミングでは異なるフレーム間の差分情報を用いて符号化する。
【００４８】
このように時間軸に沿ってイントラフレームと予測フレームを混在させることで、効率的な画像伝送を担保した上で、基準同期信号の各タイミングにおいて、４つの視点におけるイントラフレームを含むカメラ映像を取得することができる。イントラフレームは予測フレームよりもＳ／Ｎ比が良いため、仮想視点映像の生成において、画質を低下させにくい利点がある。また、仮想視点映像を生成しない場合でも、いずれかの撮像装置のカメラ映像を高フレームレートで再生することができる。また、圧縮率が低いフレーム内予測を用いた符号化方式であるイントラ符号化により符号されたイントラフレームをすべての撮像装置が一斉に伝送しなので、伝送量を低減することができる。なお、撮像画像の符号化を、フレーム内予測を用いたイントラ符号化方式とフレーム間予測を用いたインター符号化方式とを用いる例を説明したが必ずしもこれに限定されない。例えば、第１符号化方式と、第１符号化方式より圧縮率が大きい第２符号化方式とを撮像画像の符号化方式に用いてもよい。そして、上述の処理において、各撮像装置１０１−１１６は、フレーム内予測を用いたイントラ符号化方式の代わりに第１符号化方式を用い、フレーム間予測を用いたインター符号化方式の代わりに第２符号化方式を用いてもよい。
【第３実施形態】
【００４９】
上述の第１実施形態では、異なる同期タイミングを有するカメラグループを作成し、各撮像装置において低フレームレートで撮像する方法について説明した。この第１実施形態では、各撮像装置のフレームレートが低いため、固定視点のカメラ映像の再生には若干、不向きであるが、仮想視点映像のフレームレートや画質を落とすことなく、各撮像装置の消費電力を抑えることができる。
【００５０】
また、上述の第２実施形態では、カメラグループ内の各撮像装置はイントラフレームの生成タイミングを同一にし、高フレームレートで撮像する方法について説明した。この第２実施形態では、第１実施形態との関係で、各撮像装置の消費電力は大きく、また、データ伝送量も相対的に多くなるが、仮想視点映像や固定視点のカメラ映像を高フレームレートで再生することができる。
【００５１】
以上を踏まえ、固定視点のカメラ映像の再生を必要とするか否かに基づいて、動作モードを切り替えることが望ましい。例えば、ライブ中継等では、主に固定視点のカメラ映像を必要とするため、第２実施形態の処理の方が望ましいと推測される。そこで、本実施形態では、撮像時において、複数のモードを有し、撮像目的に応じて映像データを好適に伝送する方法について説明する。
【００５２】
図１２は、第３実施形態における多視点撮像システムの処理の手順を示すフローチャートである。なお、図１２に示す処理に関して、第１実施形態の図４及び第２実施形態の図１０と同様の処理は、ここでの詳細な説明は省略する。
【００５３】
図１２では、ステップＳ１２０３において、撮像目的（ライブ中継モード）に応じて、映像データを伝送する方法を切り替えている。即ち、ステップＳ１２０３において、各撮像装置１０１−１１６は、撮像モードがライブ中継モードであるか否かを判定する。そして、撮像モードがライブ中継モードであれば、処理をステップ１２０６（即ち、第２実施形態の処理）に移行し、また、ライブ中継モードでなければ、処理をステップＳ１２０４（即ち、第１実施形態の処理）に移行する。
【００５４】
つまり、ステップＳ１２０４以後の処理（即ち、Ｓ１２０５、Ｓ１２０９の処理）は、図４のステップＳ４０３−Ｓ４０５の処理に対応し、第１実施形態と、同様の処理となる。また、ステップＳ１２０６以後の処理（即ち、Ｓ１２０７−Ｓ１２０９の処理）は、図１０のステップＳ１００３、図４のステップＳ４０４、図１０のステップＳ１００５、図４のステップＳ４０５の処理に対応し、第２実施形態と、同様の処理となる。これにより、撮像目的に応じて、映像データを好適に伝送することができる。
【００５５】
なお、本実施形態では、撮像目的としてライブ中継をその一例として説明したが、他のユースケースに基づいて、動作モードを切り替えても、本実施形態の効果を有する限りにおいては、これに限定されるものではない。したがって、例えば、被写対象の動きの程度に応じて、動作モードを切り替えて撮像することができる。
【その他の実施形態】
【００５６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（又は、ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても、実現できるものである。
【００５７】
さらに、上述の実施形態は、すべて本発明を例示的に示すものであって、限定的に示すものではなく、本発明は、他の種々の変形態様及び変更態様で実施することができる。
【符号の説明】
【００５８】
１０１−１１６  撮像装置
１１７          画像処理装置
２０１          撮像部
２０７          通信インタフェース
２０８          タイミング制御部
２０９          符号化部
３０１          通信インタフェース
【図１】
2019033315.tif 000003
【図２】
2019033315.tif 000004
【図３】
2019033315.tif 000005
【図４】
2019033315.tif 000006
【図５】
2019033315.tif 000007
【図６】
2019033315.tif 000008
【図７】
2019033315.tif 000009
【図８】
2019033315.tif 000010
【図９】
2019033315.tif 000011
【図１０】
2019033315.tif 000012
【図１１】
2019033315.tif 000013
【図１２】
2019033315.tif 000014