(57)【要約】【課題】  多視点画像の特徴を損なわずに、通信状況や受信機器の処理能力に応じて送信データ量を削減することを可能とする。【解決手段】    複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置であって、  前記ネットワークの通信状況を測定する測定手段と、  前記測定手段で測定された通信状況に応じて、前記画像データを構成する画像フレームのフレーム間引き処理を実行する場合において、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するために、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する制御手段と  を備えることを特徴とする画像処理装置。【選択図】  図４
2014082686.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置であって、
前記ネットワークの通信状況を測定する測定手段と、
前記測定手段で測定された通信状況に応じて、前記画像データを構成する画像フレームのフレーム間引き処理を実行する場合において、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するために、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記測定手段は、前記通信状況として、前記ネットワークの通信帯域を測定し、
前記制御手段は、前記測定手段で測定した通信帯域と前記複数の視点位置の構成とに応じて、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記測定手段は、前記通信状況として、前記画像フレームの送信先の受信装置の処理能力を測定し、
前記制御手段は、前記測定手段で測定した前記受信装置の処理能力と前記視点位置の構成とに応じて、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の視点位置から撮像された画像データを圧縮符号化する符号化手段を更に備え、
前記制御手段は、前記符号化手段の符号化方式に応じて、前記制御手段における前記送信フレーム間引きタイミングを制御する送信フレーム間引き方法を切り換える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記測定手段で測定された通信状況に応じて、複数の視点位置で同一時刻に撮像された画像フレームと、複数の視点位置で異なる時刻に撮像された画像フレームのいずれかを送信する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記複数の視点位置から撮像された画像データを視点間予測を利用して符号化する符号化手段を更に備え、
前記制御手段は、ベースビューとして符号化される画像データを構成する画像フレームについての前記フレーム間引き処理の実行を禁止し、非ベースビューとして符号化される画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記制御手段は、非ベースビューとして符号化される画像データの内、隣り合う視点位置の同一時刻の画像データを構成する画像フレームを送信しないよう、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置の制御方法であって、
測定手段が、前記ネットワークの通信状況を測定する測定工程と、
制御手段が、前記測定工程で測定された通信状況に応じて、前記画像データを構成する画像フレームのフレーム間引き処理を実行する場合において、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するために、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する制御工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記ネットワークの通信状況を測定する測定手段と、
前記測定手段で測定された通信状況に応じて、前記画像データを構成する画像フレームのフレーム間引き処理を実行する場合において、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するために、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する制御手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
一台の撮像装置に複数の撮像部を備える多眼方式の撮像装置や、一つ以上の撮像部を備える複数の撮像装置で撮像された多視点画像の撮像タイミングを制御する方法がいくつか提案されている（特許文献１〜３参照）。
【０００３】
また、複数の視点位置から撮像された画像を効率的に符号化する方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が規格化されている。ＭＶＣはＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の拡張規格である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−０６２２９０号公報
【特許文献２】特開平０６−０８６３３２号公報
【特許文献３】特開２００２−０１０２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、複数の視点位置から撮像した画像データの送信データ量を削減する方法は提案されていなかった。また、単一視点位置の画像データのみを送信することにより送信データ量の削減が可能になるが、多視点画像ならではの特徴（ＨＤＲ、リフォーカス等）が失われてしまうという課題があった。
【０００６】
本発明は上記の課題を解決するためになされたものであり、多視点画像の特徴を損なわずに、通信状況や受信機器の処理能力に応じて送信データ量を削減することを可能とする画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
複数の視点位置から撮像された画像データをネットワークを介して送信する画像処理装置であって、
前記ネットワークの通信状況を測定する測定手段と、
前記測定手段で測定された通信状況に応じて、前記画像データを構成する画像フレームのフレーム間引き処理を実行する場合において、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するために、各視点位置の前記画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する制御手段と
を備える。
【発明の効果】
【０００８】
本発明によれば、多視点画像の特徴を損なわずに、通信状況や受信機器の処理能力に応じて送信データ量を削減することできる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１の複数の撮像部を備える多眼方式の撮像装置の一例を示す図である。
【図２】実施形態１の撮像装置の内部構成を示すブロック図である。
【図３】実施形態１の撮像装置と受信装置の接続形態を示す図である。
【図４】実施形態１の通信制御部の内部構成を示すブロック図である。
【図５】実施形態１の通信制御部におけるフレーム間引き処理を示すフローチャートである
【図６】実施形態１の送信フレームレートが所定の閾値以上の場合に、受信装置へ送信される画像データと撮像部の関係を時間経過と共に示す図である。
【図７】実施形態１の送信フレームレートが所定の閾値未満の場合に、受信装置へ送信される画像データと撮像部の関係を時間経過と共に示す図である。
【図８】実施形態２の通信制御部におけるフレーム間引き処理を示すフローチャートである。
【図９】実施形態２の撮像部のグループ分けの結果の一例を示すテーブルである。
【図１０】実施形態２の受信装置へ送信される画像データと撮像部の関係を時間経過と共に示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を用いて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。  ＜実施形態１＞
図１は実施形態１の複数の撮像部を備える多眼方式による撮像装置の一例を示す図である。
【００１１】
１００は撮像装置の筐体であり、カラー画像を取得する９個の撮像部１０１〜１０９及び撮像ボタン１１０を備えている。９個の撮像部は、正方格子状に均等に配置されている。
【００１２】
ユーザが撮像ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報である信号をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。
【００１３】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。
【００１４】
尚、ここでは撮像部の数を９個としたが、撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、ここでは９個の撮像部が正方格子状に均等に配置される例について説明しているが、撮像部の配置は任意である。例えば、放射状や直線上に配置してもよいし、まったくランダムに配置してもよい。
【００１５】
図２は実施形態１の撮像装置１００の内部構成を示すブロック図である。
【００１６】
２０１は中央処理装置（ＣＰＵ）であり、以下に述べる各構成要素を統括的に制御する。２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。２０３はＲＯＭであり、ＣＰＵ２０１で実行される制御プログラム等を格納している。２０４は各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送信される。
【００１７】
２０５はユーザ指示を受け取る操作部であり、ボタンやモードダイヤル等が含まれる。２０６は撮像画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。２０７は表示制御部であり、表示部２０６に表示される撮像画像や文字の表示制御を行う。
【００１８】
２０８は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節する等の、ＣＰＵ２０１からの指示に基づいて撮像部１０１〜１０９の制御を行う。２０９はデジタル信号処理部であり、バス２０４を介して受信したデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種信号処理を行う。２１０はエンコーダ部であり、デジタルデータをＭｏｔｉｏｎ−ＪＰＥＧ方式にて圧縮符号化する処理を行う。
【００１９】
尚、撮像部の数や配置は任意であり、上記以外の構成も考えられるが、本願発明の主眼ではないので、説明を省略する。
【００２０】
２１１は外部メモリ制御部であり、ＰＣ（パーソナルコンピュータ）やその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。２１２は画像処理部であり、撮像部１０１〜１０９で取得されたカラー画像（デジタルデータ）群あるいはデジタル信号処理部２０９から出力されるカラー画像（デジタルデータ）群から出力されるデジタル画像群を利用して画像処理を行う。
【００２１】
２１３は撮像画像データや受信装置に対する制御情報の送受信を行う通信部である。一般的に画像データは情報量が大きいため、ネットワークを介して画像データを送受信する場合には、エンコーダ部２１０で圧縮符号化されたデータを用いる。通信に用いる転送プロトコルとしては、例えば、ＴＣＰやＵＤＰ等を用いる。また、受信装置に対する制御プロトコルとしては、例えば、ＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）やＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）等を用いる。２１４は通信制御部であり、受信装置へ送信する画像データや制御情報の通信制御を行う。画像データの送信制御処理の詳細については後述する。
【００２２】
尚、撮像装置の構成要素は上記以外にも存在するが、本願発明の主眼ではないので、説明を省略する。
【００２３】
次に、実施形態１のシステム全体の処理について、図３を用いて説明する。
【００２４】
図３は実施形態１の撮像装置１００と受信装置３０２の接続形態の一例を示す図である。撮像装置１００と受信装置３０２は、ネットワーク３０１を介して相互に接続されている。撮像装置１００は、受信装置３０２からネットワーク３０１を介して送信される画像配信リクエストに従って、画像データの送信を開始・停止する。
【００２５】
一方、受信装置３０２は、撮像装置１００からネットワーク３０１を介して送信される画像データを受信し、再生する。
【００２６】
続いて、実施形態１の撮像装置１００による画像データ送信制御の詳細について、図４及び図５を用いて説明する。
【００２７】
図４は実施形態１の通信制御部２１４の内部構成を示すブロック図である。
【００２８】
４０１は撮像部構成情報取得部であり、撮像部１０１〜１０９の構成情報を取得する。取得する構成情報の内容は、例えば、撮像部１０１〜１０９の配置（複数の視点位置の構成）や撮像部の総数等の情報を用いることが可能である。
【００２９】
４０２はフレーム間引き制御部であり、エンコーダ部２１０から入力される画像データを構成する画像フレームのフレーム間引き処理を行い、プロトコル制御部４０４へ出力する。制御処理の詳細については図５を用いて後述する。
【００３０】
４０３は通信状況測定部であり、撮像装置１００と受信装置３０２間のネットワーク３０１の通信状況を測定する。測定方法としては、例えば、撮像装置１００と受信装置３０２間の往復遅延時間（Ｒｏｕｎｄ  Ｔｒｉｐ  Ｔｉｍｅ、以下単にＲＴＴと称す）を定期的に測定する方法がある。それ以外にも、使用可能な通信帯域を超えて測定パケットを一時的に送信し、受信装置３０２が受信に要する時間（処理能力）を測定することにより通信帯域を推定する等の方法がある。このように、通信状況測定部４０３は、画像データの送信先である受信装置の処理能力を測定する測定部としても機能する。
【００３１】
４０４はプロトコル制御部であり、エンコーダ部２１０からフレーム間引き制御部４０２を介して入力される画像データの送信や、受信装置３０２から送信される画像配信リクエストに対する応答送信等の制御を行う。
【００３２】
次に、実施形態１の画像処理装置としても機能する撮像装置１００によるフレーム間引き処理の詳細について、図５を用いて説明する。
【００３３】
図５は実施形態１の通信制御部２１４におけるフレーム間引き処理の詳細を示すフローチャートである。
【００３４】
まず、通信状況測定部４０３が、撮像装置１００と受信装置３０２間のネットワーク３０１の通信状況を測定する（ステップＳ５０１）。
【００３５】
次に、撮像部構成情報取得部４０１が、撮像部１０１〜１０９の構成情報を取得する（ステップＳ５０２）。前述した通り、構成情報としては撮像部の配置や総数等が考えられるが、実施形態１では撮像部の総数を取得するものとする。
【００３６】
次に、フレーム間引き制御部４０２が、エンコーダ部２１０から入力される画像データのビットレートとフレームレート値を計測する（ステップＳ５０３）。
【００３７】
続いて、フレーム間引き制御部４０２が、帯域不足であるか否かを判定する（ステップＳ５０４）。ここでの判定は、ステップＳ５０１で測定した通信状況から得られる通信帯域と、ステップＳ５０３で計測したビットレートとの比較によって判定することが可能であり、通信帯域よりもビットレートが大きい場合は帯域不足と判定される。
【００３８】
ステップＳ５０４で、帯域不足でないと判定された場合（ステップＳ５０４でＮＯ）、フレーム間引きの必要はなく、ステップＳ５０１へと処理を戻し、再度、通信状況を測定する。測定のタイミングとしては任意のタイミングで測定することが可能であるが、実施形態１の撮像装置１００は一定周期で測定を行うものとする。
【００３９】
一方、ステップＳ５０４で、帯域不足であると判定された場合（ステップＳ５０４でＹＥＳ）、送信する画像データ量を削減するべくフレーム間引きを行うため、ステップＳ５０５へ進む。
【００４０】
フレーム間引き制御部４０２が、フレーム間引きタイミング（送信フレームレートｆ）を算出する（ステップＳ５０５）。ここでの算出方法は、通信状況測定部４０３が計測した通信帯域ｂと、撮像部構成情報取得部４０１が取得した総撮像部数ｎと、フレーム間引き制御部４０２が計測した画像データのビットレートｖｂ及びフレームレートｖｆから、以下の計算式１により算出する。
【００４１】
ｆ＝（ｖｆ×ｂ）÷（ｎ×ｖｂ）  ・・・（式１）
続いて、フレーム間引き制御部４０２が、送信フレーム間引き後のフレームレートとして算出した送信フレームレートｆが、所定の閾値以上か否であるかを判定する（ステップＳ５０６）。
【００４２】
ステップＳ５０５で、送信フレームレートｆが閾値以上であると判定された場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０７に進む。そして、フレーム間引き制御部４０２が、算出した送信フレームレートｆから算出される時間期間（所定期間）内で、撮像部１０１〜１０９で同一時刻に撮像された画像フレームを送信するようにフレーム間引きを行う（ステップＳ５０７）。
【００４３】
一方、ステップＳ５０５で、送信フレームレートｆが閾値未満であると判定された場合（ステップＳ５０５でＮＯ）、ステップＳ５０８に進む。フレーム間引き制御部４０２が、算出した送信フレームレートｆから算出される期間内で、撮像部１０１〜１０９で異なる時刻に撮像された画像フレームを送信するようにフレーム間引きを行う（ステップＳ５０８）。
【００４４】
このように、通信状況に応じて、複数の視点位置で同一時刻に撮像された画像フレームと、複数の視点位置で異なる時刻に撮像された画像フレームのいずれかを送信する。ステップＳ５０７及びステップＳ５０８のように、送信フレームレートに応じて送信フレーム間引きを制御することで、受信装置３０２へ送信される各視点位置の画像フレームが一定時間更新されないことを防ぐことが可能になる。
【００４５】
図６及び図７は実施形態１の通信制御部２１４のフレーム間引き処理の結果、受信装置３０２へ送信される画像フレームを時間経過と共に示す図である。
【００４６】
図６は、送信フレームレートが閾値以上と判定され、撮像部１０１〜１０９で同一時刻に撮像された画像フレームを送信するようフレーム間引きを行った結果である。
【００４７】
６０１〜６０９は、時刻Ｔ１に撮像部１０１〜１０９でそれぞれ撮像された画像フレームである。また、６１０〜６１８は、時刻Ｔ１後から時刻Ｔ２までの間に、撮像部１０１〜１０９でそれぞれ撮像された画像フレームである。
【００４８】
また、６１９〜６２７は、時刻Ｔ２に撮像部１０１〜１０９でそれぞれ撮像された画像フレームである。また、６２８〜６３６は、時刻Ｔ２後から時刻Ｔ３までの間に、撮像部１０１〜１０９でそれぞれ撮像された画像フレームである。
【００４９】
同様に、６３７〜６４５は、時刻Ｔ３に撮像部１０１〜１０９でそれぞれ撮像された画像フレームである。
【００５０】
尚、時刻Ｔ３以降にも画像フレームが存在するが、図６ではこれらの画像フレームは省略している。
【００５１】
また、図中、時刻Ｔ１からＴ２の間隔と時刻Ｔ２からＴ３の間隔は同一のΔＴであり、以下の計算式２で算出される時間である。
【００５２】
ΔＴ＝１÷ｆ  ・・・（式２）
ここで、ｆは、式１により算出された送信フレームレート値である。
【００５３】
撮像部１０１〜１０９で撮像され通信制御部２１４へ入力された画像フレームは、ΔＴ間隔でフレーム間引きが行われる。その結果、図６に示す通り、時刻Ｔ１の画像フレーム６０１〜６０９、時刻Ｔ２の画像フレーム６１９〜６２７、時刻Ｔ３の画像フレーム６３７〜６４５を除く全てのフレームが間引いて送信される。
【００５４】
また、図７は、送信フレームレートが閾値未満と判定され、撮像部１０１〜１０９でそれぞれ異なる時刻に撮像された画像フレームを送信するようフレーム間引きを行った結果である。
【００５５】
７０１〜７０９は、時刻Ｔ１からＴ２までの間に撮像部１０１〜１０９でそれぞれ異なる時刻に撮像された画像フレームである。また、７１０〜７１８は、時刻Ｔ２からＴ３までの間に撮像部１０１〜１０９でそれぞれ異なる時刻に撮像された画像フレームである。
【００５６】
尚、時刻Ｔ３以降にも画像フレームが存在するが、図７ではこれらの画像フレームは省略している。
【００５７】
図中、時刻Ｔ１からＴ２の間隔と時刻Ｔ２からＴ３の間隔は同じΔＴであり、計算式２で算出される時間であるが、図６の場合よりも間隔が大きくなっている。また、各撮像部１０１〜１０９間では異なる時刻（Δｔ間隔）に撮像された画像フレームが送信される。Δｔは、以下の計算式３で算出される時間である。
【００５８】
Δｔ＝ΔＴ÷ｎ  ・・・（式３）
ここで、ｎは、総撮像部数ｎである。
【００５９】
撮像部１０１〜１０９で撮像され通信制御部２１４へ入力された画像フレームは、ΔＴ間隔でフレーム間引きが行われる。しかし、図７の場合は、図６の場合と異なり、個々の撮像部間でΔｔ間隔で異なる時刻に撮像された画像フレームを送信するよう制御される。その結果、図７に示す通り、撮像部１０１〜１０９間で同一時刻に撮像された画像フレームが送信されないよう、画像フレーム７０１〜７１８を除く全てのフレームが間引いて送信される。
【００６０】
以上説明したように、実施形態１によれば、所定時間内に少なくとも二つ以上の視点位置の画像フレームを送信するよう、各視点位置の画像データを構成する画像フレームの送信フレーム間引きタイミングを制御する。これにより、多視点画像の特徴を損なわずに、通信状況や受信機器の処理能力に応じて画像データの送信データ量を削減することができる。
【００６１】
＜実施形態２＞
実施形態１では、エンコーダ部２１０が画像データをＭｏｔｉｏｎ−ＪＰＥＧ方式にて圧縮符号化する機能を有しているが、これに限定されない。つまり、符号化方式としてはＭｏｔｉｏｎ−ＪＰＥＧ方式に限らず、例えば、ＭＶＣ方式等、視野間予測（視点間予測）を行う類似の符号化方式を用いることが可能である。ＭＶＣ方式は、視野間の類似性を利用して、複数の視点位置から撮像された画像を効率的に符号化することが可能である。
【００６２】
実施形態２では、エンコーダ部２１０が画像データをＭＶＣ方式にて圧縮符号化する。撮像装置１００の機能構成は、実施形態１と同様であるため説明を省略する。また、説明を簡単にするため、複数の撮像部１０１〜１０９の内、中央に配置される撮像部１０５で撮像した画像をベースビュー（基準視点）とし、その他の周辺に配置される撮像部１０１〜１０４、及び１０６〜１０９で撮像した画像を非ベースビューとする。撮像部１０１〜１０４、及び１０６〜１０９で撮像した画像は、撮像部１０５で撮像した画像との間で視野間予測符号化を行うものとする。中央に配置した撮像部１０５をベースビューとすることで、視野間予測符号化の差分データを小さくすることが可能になる。
【００６３】
尚、ベースビューとなる撮像部の数や配置、及び非ベースビューが参照するベースビューの配置は任意であり、上記以外の構成も考えられるが、本願発明の主眼ではないので、説明を省略する。
【００６４】
図８は実施形態２の通信制御部２１４におけるフレーム間引き処理の詳細を示すフローチャートである。
【００６５】
ステップＳ８０１からステップＳ８０４までの処理は、図５のステップＳ５０１からステップＳ５０４までの処理と同様であるため、ここでの説明は省略する。
【００６６】
ステップＳ８０４で、帯域不足であると判定された場合（ステップＳ８０４でＹＥＳ）、実施形態２では、撮像部１０１〜１０９をグループ分けして送信フレーム間引きタイミングをずらすよう制御する。そのため、フレーム間引き制御部４０２は、非ベースビューとなる撮像部１０１〜１０４及び１０６〜１０９をグループ分けする（ステップＳ８０５）。
【００６７】
ここでのグループ分けの方法は、例えば、隣り合う視点位置の撮像部が同一グループにならないようにグループ分けする等の方法が考えられる。図９は、撮像部１０１〜１０９のグループ分けの結果の一例を示すテーブルである。
【００６８】
図９に示す通り、撮像部１０５のビューはベースビューであるため、グループ分けされない。一方、撮像部１０１、１０３、１０７及び１０９の非ベースビューがグループ１に、撮像部１０２、１０４、１０６及び１０８の非ベースビューがグループ２にグループ分けされる。
【００６９】
尚、実施形態２では、非ベースビューを２グループにグループ分けしているが、グループ数としては２つに限らず、ステップＳ８０１で計測した通信帯域に応じて３つ以上のグループに分割することも可能である。
【００７０】
続いて、図８へ説明を戻し、フレーム間引き制御部４０２は、エンコーダ部２１０から入力される画像フレームが、ベースビューの画像フレームであるか否かを判定する（ステップＳ８０６）。
【００７１】
ステップＳ８０６で、ベースビューの画像フレームであると判定された場合（ステップＳ８０６でＹＥＳ）、フレーム間引きは行わずに、つまり、フレーム間引きを禁止して、ベースビューの全ての画像フレームを送信する（ステップＳ８０７）。
【００７２】
一方、ステップＳ８０６で、ベースビューの画像フレームでない（非ベースビューの画像フレームである）と判定された場合（ステップＳ８０６でＮＯ）、送信する画像データ量を削減するべくフレーム間引きを行うため、ステップＳ８０８へ進む。実施形態２では、フレーム間引き制御部４０２は、ステップＳ８０５のグループ分け結果に従い、同一グループでは同一時刻に撮像された画像フレームを送信し、異なるグループでは異なる時刻に撮像された画像フレームを送信するようフレーム間引きを行う（ステップＳ８０８）。つまり、フレーム間引き制御部４０２は、非ベースビューとして符号化される画像データを構成する画像フレームの内、隣り合う視点位置の同一時刻の画像フレームを送信しないよう各視点位置の送信フレーム間引きタイミングを制御する。
【００７３】
図１０は実施形態２の通信制御部２１４のフレーム間引き処理の結果、受信装置３０２へ送信される画像フレームを時間経過と共に示す図である。
【００７４】
１００１〜１００５は、時刻Ｔ１に撮像部１０１、１０３、１０５、１０７及び１０９でそれぞれ撮像された画像フレームである。また、１００６〜１０１０は、時刻Ｔ２に撮像部１０２、１０４、１０５、１０６及び１０８でそれぞれ撮像された画像フレームである。
【００７５】
同様に、１０１１〜１０１５は、時刻Ｔ３に撮像部１０１、１０３、１０５、１０７及び１０９でそれぞれ撮像された画像フレームである。１０１６〜１０２０は、時刻Ｔ４に撮像部１０２、１０４、１０５、１０６及び１０８でそれぞれ撮像された画像フレームである。
【００７６】
尚、時刻Ｔ４以降にも画像フレームが存在するが、図１０ではこれらのフレームは省略している。
【００７７】
図中、括弧内のＩはフレーム内符号化された画像フレームを示しており、Ｐはフレーム間予測符号化または視野間予測符号化された画像フレームを示している。
【００７８】
図１０に示す通り、ベースビューとなる撮像部１０５で撮像された画像フレームは、フレーム間引きされずに全てのフレームが送信される。一方、非ベースビューとなる撮像部１０１〜１０４及び１０６〜１０９で撮像された画像フレームは、グループ分けの結果に応じて間引いて送信される。
【００７９】
以上説明したように、実施形態２によれば、視点位置とグループに応じて送信フレーム間引きを制御することで、エンコーダ部２１０が画像データをＭＶＣ方式にて圧縮符号化する場合にも、多視点画像の特徴を損なわずに、通信状況に応じて送信データ量を削減することが可能になる。
【００８０】
＜実施形態３＞
エンコーダ部２１０における、画像データの圧縮符号化の符号化方式として、実施形態１ではＭｏｔｉｏｎ−ＪＰＥＧ方式を使用し、実施形態２ではＭＶＣ方式を使用しているが、これらの両者を画像データの特定に応じて適応的に切り換えて使用しても良い。
【００８１】
その場合、エンコーダ部２１０が使用する符号化方式に応じて、実施形態１の通信制御部２１４における送信フレーム間引き方法と、実施形態２の通信制御部２１４における送信フレーム間引き方法を適応的に切り換えて使用しても良い。
【００８２】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014082686.tif 000003
【図２】
2014082686.tif 000004
【図３】
2014082686.tif 000005
【図４】
2014082686.tif 000006
【図５】
2014082686.tif 000007
【図６】
2014082686.tif 000008
【図７】
2014082686.tif 000009
【図８】
2014082686.tif 000010
【図９】
2014082686.tif 000011
【図１０】
2014082686.tif 000012