(57)【要約】【課題】画像情報の歪み補正遅延を低減する。【解決手段】書き込み制御部は、入力画像の画像情報をメモリに書き込む。検出部は、入力画像を複数に分割したブロックのうち、そのブロックを形成する画像情報の、メモリへの書き込みが完了したブロックを検出する。補正処理部は、検出部で検出されたブロックから順に、入力画像に生じている歪みの補正処理を行う。ライン単位ではなく、ブロック単位で画像情報の歪み補正処理を行うことができるため、歪み補正遅延を低減することができる。そして、歪み補正処理した画像情報をネットワーク等を介して他の機器に転送する場合には、転送遅延を低減することができる。【選択図】図８
2015130632.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画像情報をメモリに書き込む書き込み制御部と、
前記入力画像を複数に分割したブロックのうち、当該ブロックを形成する前記画像情報の、前記メモリへの書き込みが完了したブロックを検出する検出部と、
前記検出部で検出された前記ブロックから順に、前記入力画像に生じている歪みの補正処理を行う補正処理部と
を有する画像処理装置。
【請求項２】
前記入力画像に生ずる歪みに応じて前記メモリへの書き込みが完了する前記ブロックの順番を示すメタデータが記憶されたメタデータメモリを有し、
前記検出部は、前記メタデータで示されるブロック順に、前記メモリに対する前記画像情報の書き込み完了の有無を検出すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記書き込み制御部は、水平ライン単位で、前記入力画像の画像情報をメモリに書き込むこと
を特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
入力画像の画像情報をメモリに書き込む書き込み制御部と、
前記入力画像を複数に分割したブロックのうち、当該ブロックを形成する前記画像情報の、前記メモリへの書き込みが完了したブロックを検出する検出部と、
前記検出部で検出された前記ブロックから順に、前記入力画像に生じている歪みの補正処理を行う補正処理部と、
前記補正処理された前記画像情報を、所定のネットワークを介して送信する送信部と
を備えた端末装置を複数有し、
前記各端末装置間で、前記ネットワークを介して前記画像情報の送受信を行う
送受信システム。
【請求項５】
書き込み制御部が、入力画像の画像情報をメモリに書き込む書き込み制御工程と、
検出部が、前記入力画像を複数に分割したブロックのうち、当該ブロックを形成する前記画像情報の、前記メモリへの書き込みが完了したブロックを検出する検出工程と、
補正処理部が、前記検出された前記ブロックから順に、前記入力画像に生じている歪みの補正処理を行う補正処理工程と
を有する画像処理方法。
【請求項６】
コンピュータを、
入力画像の画像情報をメモリに書き込む書き込み制御部と、
前記入力画像を複数に分割したブロックのうち、当該ブロックを形成する前記画像情報の、前記メモリへの書き込みが完了したブロックを検出する検出部と、
前記検出部で検出された前記ブロックから順に、前記入力画像に生じている歪みの補正処理を行う補正処理部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、送受信システム、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
今日知られているテレビジョン会議システム（ＴＶ会議システム又はビデオ会議システムと言う）において、カメラ装置から入力される画像データの画像補正処理は、通常、フレーム単位で行われる。すなわち、カメラ装置から入力される画像データは、端末装置に設けられているメモリに対して、フレーム単位でバッファリングされる。そして、バッファリングが完了した１フレーム分の画像データ毎に、歪曲収差補正処理、または、あおり補正処理等の所定の画像補正処理が施される。
【０００３】
ここで、ＴＶ会議システムの場合、画像データの送信遅延を低減し、遅延が無いようにリアルタイムで画像データを送受信することが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来のＴＶ会議システムは、フレーム単位で画像補正処理を行うため、カメラ装置から入力される１フレーム分の画像データのバッファリングが完了するまでの間、画像補正処理が待機状態となる。このため、画像データに大きな歪みが生じていた場合、１フレーム分の画像データのバッファリングが完了するまでに時間を要し、画像補正処理の開始タイミングが遅延し、大きな送信遅延が発生する問題があった。
【０００５】
本願は、上述の課題に鑑みてなされたものであり、画像データの送信遅延を低減可能な画像処理装置、送受信システム、画像処理方法、およびプログラムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本願は、入力画像の画像情報をメモリに書き込む書き込み制御部と、入力画像を複数に分割したブロックのうち、ブロックを形成する画像情報の、メモリへの書き込みが完了したブロックを検出する検出部と、検出部で検出された前記ブロックから順に、入力画像に生じている歪みの補正処理を行う補正処理部とを有する。
【発明の効果】
【０００７】
本願によれば、画像データの送信遅延を低減できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態のＴＶ会議システムの全体構成を示す図である。
【図２】図２は、比較例となる画像補正処理の処理順序を説明するための図である。
【図３】図３は、比較例となる画像補正処理で生ずる遅延を説明するための図である。
【図４】図４は、実施の形態のＴＶ会議システムの端末装置に設けられている映像処理部のブロック図である。
【図５】図５は、映像処理部に設けられている入力Ｉ／Ｆの機能ブロック図である。
【図６】図６は、映像処理部に設けられている画像処理部の機能ブロック図である。
【図７】図７は、映像処理部に設けられている出力Ｉ／Ｆの機能ブロック図である。
【図８】図８は、実施の形態における画像補正処理の処理順序を説明するための図である。
【図９】図９は、入力Ｉ／Ｆの動作を説明するためのフローチャートである。
【図１０】図１０は、画像処理部の動作を説明するためのフローチャートである。
【図１１】図１１は、出力Ｉ／Ｆの動作を説明するためのフローチャートである。
【図１２】図１２は、実施の形態における画像補正処理で遅延が軽減される様子を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、画像処理装置、送受信システム、画像処理方法、およびプログラムを適用したテレビジョン会議システム(ＴＶ会議システム又はビデオ会議システムと言う)の実施の形態を詳細に説明する。
【００１０】
（概要）
実施の形態のＴＶ会議システムは、１フレームの入力画像を複数のブロックに、仮想的に分割し（入力画像に複数のブロックを割り当て）、ブロック単位で画像補正処理を行う。画像補正処理を行うブロックの順番は、画像の歪具合に応じて決定する。画像補正処理を開始可能な水平走査ライン数を示す情報を、ブロック毎に記憶しておく。そして、一列のブロックのうち、最初に画像補正処理を行うブロックの水平走査ライン数に対応する画像データが揃ったタイミングで、ブロックの画像補正処理を開始する。これにより、画像データの送信遅延を低減して、送受信する画像データのリアルタイム性を確保する。
【００１１】
（実施の形態）
図１に、実施の形態のＴＶ会議システムの構成を示す。この図１は、ＴＶ会議システムにおける、画像データの処理系のみを図示している。図１に示すように、ＴＶ会議システムは、例えば東京都等の第１の拠点に設置された第１拠点システム１と、福岡市等の第２の拠点に設置された第２拠点システム２と、サーバ装置３とを有している。サーバ装置３は、インターネットまたはイントラネット等の所定のネットワーク４上に設けられている。サーバ装置３は、ネットワーク４を介して行われる第１拠点システム１および第２拠点システム２の間のデータの送受信を中継する。
【００１２】
第１拠点システム１は、カメラ部１０Ａ、ディスプレイ装置１２Ａ、端末装置１４Ａ、およびマイクロホン部２６Ａを有している。カメラ部１０Ａは、撮像した被写体の画像データを端末装置１４Ａに供給する。ディスプレイ装置１２Ａは、第２拠点システム２から受信した画像および音声を出力する。このディスプレイ装置１２Ａには、第２拠点システム２から受信した音声を出力するスピーカが設けられている。マイクロホン部２６Ａは、周囲の音声を集音し、音声データを端末装置１４Ａに供給する。
【００１３】
端末装置１４Ａは、エンコーダ１６Ａ、デコーダ１８Ａ、ネットワーク状態検知部２０Ａ、相手局画像表示状態判別部２２Ａ、音声判別部２４Ａ、および映像処理部５０Ａを有している。詳しくは後述するが、映像処理部５０Ａは、カメラ部１０Ａから供給された画像データに対して、例えば歪曲収差補正処理、または、あおり補正処理等の所定の画像補正処理を施して出力する。音声判別部２４Ａは、マイクロホン部２６Ａにより集音された音声に対応する音声データをエンコーダ１６Ａに供給する。エンコーダ１６Ａは、例えばＭＰＥＧ（Moving  Picture  Experts  Group）−４やＨ．２６４等の動画・音声圧縮符号化技術を用いて画像データおよび音声データを圧縮符号化処理し、ネットワーク４およびサーバ装置３を介して第２拠点システム２に送信する。
【００１４】
ネットワーク状態検知部２０Ａは、ネットワーク４の混雑状況等を判別し、エンコーダ１６Ａに通知する。また、相手局画面表示状態判別部２２Ａは、第２拠点システム２における画像の表示状態をエンコーダ１６Ａに通知する。エンコーダ１６Ａは、通知されたネットワーク４の混雑状況、および第２拠点システム２における画像の表示状態等応じて、例えば画像データおよび音声データの圧縮率を変更する等の処理を行う。デコーダ１８Ａは、第２拠点システム２から受信した画像データおよび音声データを復号化処理し、ディスプレイ装置１２Ａに供給する。これにより、第２拠点システム２側で撮像された被写体の画像、および第２拠点システム２側で集音された音声が、ディスプレイ装置１２Ａを介して出力される。
【００１５】
なお、第２拠点システム２は、上述の第１拠点システム１と同じ構成を有している。すなわち、第２拠点システム２は、カメラ部１０Ｂ、ディスプレイ装置１２Ｂ、端末装置１４Ｂ、およびマイクロホン部２６Ｂを有している。端末装置１４Ｂは、エンコーダ１６Ｂ、デコーダ１８Ｂ、ネットワーク状態検知部２０Ｂ、相手局画像表示状態判別部２２Ｂ、音声判別部２４Ｂ、および映像処理部５０Ｂを有している。第２拠点システム２の動作は、第１拠点システム１と同じである。このため、以下、第１拠点システム１の構成に従って、実施の形態のＴＶ会議システムの動作を説明する。
【００１６】
まず、図２は、比較例となる画像補正処理を説明するための図である。図２の（ａ）の符号を付した図は、カメラ部により撮像された被写体の画像データ（＝入力画像）である。例えば、広角レンズまたは魚眼レンズ等を用いて撮像した場合、図２の（ａ）の符号を付した図に示すように、歪曲収差等の歪みが入力画像に生ずる。このため、映像処理部において、入力画像に歪曲収差補正処理等の画像補正処理を施す。図２の（ｂ）の符号を付した図は、画像補正処理後の画像データ（＝出力画像）である。なお、図２に示す画像補正処理は、図２の（ａ）の符号を付した図の中央部を縮小させて歪を低減させた例である。逆に、端部を拡大して歪を低減させてもよい。
【００１７】
比較例となる画像補正処理においては、１フレームの画像を、例えば１０×８のブロックに分割する。そして、図２の（ａ）の符号を付した図に示すブロック番号順（１→２→３→４→５・・・）に、ブロック単位で画像補正処理を行う。
【００１８】
このような比較例となる画像補正処理の場合、図２の（ａ）の符号を付した図に示す横一列全てのブロックの画像データが揃ったタイミングで、ブロック番号順に画像補正処理を開始する。換言すると、図２の（ａ）の符号を付した図の例の場合、水平走査ラインに沿って並ぶ、ブロック番号１のブロック〜ブロック番号１０のブロックまでが１ブロックラインとなっている。比較例となる画像補正処理の場合、１ブロックラインを形成するブロック番号１〜ブロック番号１０の各ブロックの画像データが揃うタイミングは、図２の（ａ）の符号を付した図に示すようにＮライン分の水平ライン走査が完了したタイミングである。なお、「Ｎ」は、２以上の自然数である。また、「Ｎ」は、カメラレンズの歪率によって決まり、歪率の大きいレンズほどＮの値は大きくなる。
【００１９】
図３の（ａ）の符号を付した図は、各フレームの画像データのメモリに対する書き込み処理のタイミングを示している。図３の（ｂ）の符号を付した図は、メモリに書き込まれた画像データに対する画像補正処理のタイミングを示している。図３の（ａ）の符号を付した図、および図３の（ｂ）の符号を付した図を見比べてわかるように、メモリに対する画像データの書き込みが開始されてからＮライン分の水平走査時間を経て、画像補正処理が開始される。
【００２０】
このため、比較例となる画像補正処理の場合、Ｎライン分の水平ライン走査が完了するまでは、画像補正処理を開始することができず、画像データの送信にＮライン分の送信遅延が発生する。そして、画像の歪みが大きくなるほど、画像データの送信遅延が長時間化する。
【００２１】
実施の形態のＴＶ会議システムの場合、画像の歪みに応じて、水平走査で早く画像データが揃うブロックから順番に画像補正処理を行う。これにより、１ブロックラインの全てのブロックの画像データが揃う前に、画像補正処理を開始することができ、画像データの送信遅延の短縮化を図ることができる。
【００２２】
図４は、第１拠点システム１の端末装置１４Ａに設けられている映像処理部５０Ａのブロック図である。図４に示すように、映像処理部５０Ａは、入力インターフェイス（入力Ｉ／Ｆ）６１、画像処理部６２、出力インターフェイス（出力Ｉ／Ｆ）６３、およびＤＤＲ（Double  Data  Rate）メモリ６４とを有している。なお、入力Ｉ／Ｆ６１〜出力Ｉ／Ｆ６３は、ハードウェアで構成してもよいし、一部または全部をソフトウェアで構成してもよい。
【００２３】
図５は、入力Ｉ／Ｆ６１の機能ブロック図である。入力Ｉ／Ｆ６１は、図５に示すように書き込みラインカウンタ７１、書き込み制御部７２、およびライン通知部７３を有している。書き込みラインカウンタ７１は、ＤＤＲメモリ６４に書き込んだ画像データの水平ライン数をカウントする。書き込み制御部７２は、ＤＤＲメモリ６４に対する画像データの書き込み制御を行う。ライン通知部７３は、ＤＤＲメモリ６４に対して書き込みが完了した水平ラインのライン数を通知する。なお、書き込みラインカウンタ７１、書き込み制御部７２、ライン通知部７３は、ハードウェアで構成してもよいし、一部または全部をソフトウェアで構成してもよい。
【００２４】
図６は、画像処理部６２の機能ブロック図である。画像処理部６２は、図６に示すように処理ブロック検出部７６、ライン判断部７７、ブロック処理部７８、およびブロック通知部７９を有している。処理ブロック検出部７６は、１フレームの画像データを分割した複数のブロックのうち、画像補正処理を施すブロックを検出する。ライン判断部７７は、画像補正処理を施すブロックの全画像データを満たす水平ラインの画像データが、ＤＤＲメモリ６４に書き込み完了したか否かを判断する。処理ブロック検出部７６およびライン判断部７７は、検出部の一例である。
【００２５】
ブロック処理部７８は、補正処理部の一例である。ブロック処理部７８は、ブロックの画像データに対して、例えば歪曲収差補正処理、または、あおり補正処理等の画像補正処理を施す。ブロック通知部７９は、画像補正処理が完了したブロックのブロック番号を通知する。なお、処理ブロック検出部７６、ライン判断部７７、ブロック処理部７８、ブロック通知部７９は、ハードウェアで構成してもよいし、一部または全部をソフトウェアで構成してもよい。
【００２６】
図７は、出力Ｉ／Ｆ６３の機能ブロック図である。出力Ｉ／Ｆ６３は、図７に示すように出力ラインカウンタ８１、ブロック判断部８２、読み出し制御部８３、およびライン転送部８４を有している。出力ラインカウンタ８１は、エンコーダへ転送する画像データの水平ライン数をカウントする。ブロック判断部８２は、画像処理部６２のブロック通知部７９から通知されるブロック番号から、エンコーダ１６Ａへ転送する水平ラインの画像データが全て揃ったか否かを判別する。
【００２７】
読み出し制御部８３は、画像データが全て揃った水平ラインを、ＤＤＲメモリ６４から読み出す。ライン転送部８４は、送信部の一例である。ライン転送部８４は、読み出し制御部８３によりＤＤＲメモリ６４から読み出された水平ラインの画像データを、エンコーダ１６Ａへ転送する。なお、出力ラインカウンタ８１、ブロック判断部８２、読み出し制御部８３、ライン転送部８４は、ハードウェアで構成してもよいし、一部または全部をソフトウェアで構成してもよい。
【００２８】
ＤＤＲメモリ６４には、各ブロックのメタデータが予め登録されている。すなわち、一例として、１フレームの画像データを、横×縦が１０ブロック×８ブロックの計８０ブロックに、仮想的に分割したとする。なお、１０ブロックの横一列のラインをブロックラインという。カメラ部１０Ａのカメラレンズの歪率から、１フレームの画像データに生ずる歪みの大きさがわかる。また、１フレームの画像データに生ずる歪みの大きさから、フレーム内における各ブロックの表示位置がわかる。そして、各ブロックの表示位置から、各ブロックの全画像データが揃う水平ライン番号が分かる。さらに、各ブロックの全画像データが揃う水平ライン番号から、横一列のブロックラインを形成する各ブロックの、全画像データが揃う順番がわかる。
【００２９】
このため、「全画像データが揃う水平ライン番号」、「横一列のブロックライン中における処理の順番」、「参照画像（画像補正対象となる入力画像）エリアの座標およびサイズ」、および「各画素毎に固有となる座標データ」等の各メタデータを、ブロック毎にＤＤＲメモリ６４に予め登録しておく。
【００３０】
換言すると、「全画像データが揃う水平ライン番号」のメタデータは、画像の歪み具合（例えば、レンズ特性値から算出）に応じて変化するメタデータである。そして、ＤＤＲメモリ６４に対して何ライン目の画像データの書き込みが完了すれば、画像補正処理が開始できるか、ということを示すメタデータである。
【００３１】
図８の（ａ）の符号を付した図は、カメラ部１０Ａからの入力画像を示す図である。例えば、広角レンズ、または、魚眼レンズを用いて撮像した場合、この入力画像のような歪みが発生する。図８の（ｂ）を付した図は、画像補正処理により歪みを補正した出力画像を示す図である。図８の（ａ），（ｂ）の符号を付した図におけるブロック中の数字は、上述のメタデータで決定される各ブロックの画像補正処理の順番を示している。なお、図８の（ａ），（ｂ）の符号を付した図に示す例は、入力画像である図８（ａ）の中央部を縮小処理して歪を低減させて出力画像である図８（ｂ）に画像補正処理した例である。これに対して、入力画像である図８（ａ）の端部を拡大処理して歪みを低減させた出力画像に画像補正処理してもよい。
【００３２】
図８の（ａ）の符号を付した図の例の場合、入力画像に生じた歪みにより、ＤＤＲメモリ６４に対してＭ水平ライン分の画像データの書き込みが完了した時点で、最上位ブロックラインの左から５番目のブロックおよび右から５番目のブロックの画像データが揃う。このため、画像補正処理を施す順番として、最上位ブロックラインの左から５番目のブロックに対して１番目の処理順番を示すメタデータが、また、最上位ブロックラインの右から５番目のブロックに対して２番目の処理順番を示すメタデータが、それぞれ付されている。
【００３３】
また、ＤＤＲメモリ６４に対してＮ水平ライン分（Ｎ＞Ｍ）の画像データの書き込みが完了すると、最上位ブロックラインの各ブロックの全画像データが揃う。しかし、最上位ブロックラインの各ブロックの全画像データが揃う前に、第２ブロックラインの左から５番目のブロックおよび右から５番目のブロックの画像データが揃う。このため、画像補正処理を施す順番が、最上位ブロックラインの両端の各ブロックよりも、第２ブロックラインの左から５番目のブロックおよび右から５番目のブロックの方が早くなる。従って、第２ブロックラインの左から５番目のブロックに対しては９番目の処理順番を示すメタデータが、第２ブロックラインの右から５番目のブロックに対しては、１０番目の処理順番を示すメタデータが、それぞれ付されている。また、最上位ブロックラインの左端のブロックに対しては１３番目の処理順番を示すメタデータが、最上位ブロックラインの右端のブロックに対しては１４番目の処理順番を示すメタデータが、それぞれ付されている。
【００３４】
１ブロックラインの全てのブロックの画像データの書き込みが完了する水平ライン数を示す上述の数値「Ｎ」は、カメラ部１０Ａのカメラレンズの歪率に応じて変化する。しかし、ブロック番号が「１」のブロックの画像データの書き込みが完了する水平ライン数を示す上述の数値「Ｍ」は、カメラレンズの歪率の影響が小さい。このため、数値「Ｍ」で示される画像補正処理の遅延時間は比較的安定した時間となる。
【００３５】
また、この例の場合、カメラ部１０Ａのカメラレンズの歪曲収差補正処理を行う例である。この場合、最上位ブロックラインの中央のブロックから画像補正処理が行われる。これに対して、例えばカメラ部１０Ａがテーブルに設置され、テレビ会議に参加する参加者を撮影する際に生ずるような、下から上に向かって撮影される「あおり」に対して、あおり補正を行う場合、最上位ブロックラインの右端のブロックから画像補正処理を行う。このように、画像補正処理を行うブロックの順番は、歪の特性に応じて適宜変更する。
【００３６】
次に、図９〜図１１のフローチャートを用いて、映像処理部５０Ａの画像補正処理動作を説明する。まず、図９は、図４および図７に示した入力Ｉ／Ｆ６１の動作を示すフローチャートである。図２および図３を用いて説明した比較例の場合、左上のブロックから順に画像補正処理を行ったのに対し、実施の形態のＴＶ会議システムの映像処理部５０Ａの場合、画像データ（参照画像＝補正対象画像）が揃ったブロックから画像補正処理を行う。
【００３７】
図９のフローチャートのステップＳ１では、入力Ｉ／Ｆ６１の書き込みラインカウンタ７１が、カメラ部１０Ａから新しいフレームの入力画像の受信処理を行うべく、ＤＤＲメモリ６４に対する書き込み済みライン数のカウント値を初期化する。これにより、処理は、ステップＳ２に進む。
【００３８】
ステップＳ２では、書き込み制御部７２が、カメラ部１０Ａから入力された新しいフレームの入力画像の画像データを、水平ライン単位で、ＤＤＲメモリ６４に書き込み制御する。書き込みラインカウンタ７１は、ステップＳ３において、ＤＤＲメモリ６４に書き込みが完了した水平ライン数をカウントする。これにより、ＤＤＲメモリ６４に対する水平ラインの画像データの書き込みが完了する毎に、書き込み済みラインのカウント値が「１」ずつインクリメントされる。ライン通知部７３は、書き込み済みラインのカウント値を画像処理部６２に通知する。
【００３９】
ステップＳ４では、書き込み制御部７２が、書き込み済みラインのカウント値を参照することで、ＤＤＲメモリ６４に対する１フレーム分の画像データの書き込みが完了したか否かを判別する。書き込み制御部７２により、１フレーム分の画像データの書き込みが完了していないものと判別された場合（ステップＳ４：Ｎｏ）、処理がステップＳ２に戻る。そして、１フレーム分の画像データの書き込みが完了するまでの間、ステップＳ２〜ステップＳ４の処理が繰り返し実行される。
【００４０】
書き込み制御部７２により、１フレーム分の画像データの書き込みが完了したものと判別された場合（ステップＳ４：Ｙｅｓ）、処理がステップＳ１に戻る。そして、新しいフレームの入力画像の受信処理を行うべく、ＤＤＲメモリ６４に対する書き込み済みライン数のカウント値が初期化され、ステップＳ１〜ステップＳ４の処理が繰り返し実行される。
【００４１】
次に、図１０は、図４および図６に示した画像処理部６２の動作を示すフローチャートである。図１０のフローチャートのステップＳ１１では、新しいフレームの画像補正処理を開始するために、処理ブロック検出部７６が、画像補正処理が完了したブロックを示すブロック番号を初期化する（Ａ＝１）。これにより、処理がステップＳ１２に進む。
【００４２】
ステップＳ１２では、ライン判断部７７が、第１番目のブロックの画像補正処理を開始可能な数の水平ラインの画像データが、ＤＤＲメモリ６４に書き込まれたか否かを判別する。すなわち、図８の（ａ）の符号を付した図を用いて説明したように、ＤＤＲメモリ６４には、各ブロックの画像補正処理の順番、および、画像補正処理を開始可能な水平ライン数等を示すメタデータが、ブロック毎に予め記憶されている。ライン判断部７７は、全ブロックの中から第１番目に画像補正処理を施すブロックのメタデータをＤＤＲメモリ６４から検出する。また、ライン判断部７７は、検出したメタデータから、画像補正処理を開始可能な水平ライン数を検出する。
【００４３】
ライン判断部７７は、メタデータから検出した画像補正処理を開始可能な水平ライン数と、入力Ｉ／Ｆ６１のライン通知部７３から通知される書き込み済みラインのカウント値とを比較する。ブロック処理部７８は、ライン判断部７７により、通知された書き込み済みラインのカウント値が、画像補正処理を開始可能な水平ライン数になったものと判別されるまでの間（ステップＳ１２：Ｎｏ）、画像補正処理の待機状態となる。
【００４４】
ステップＳ１３は、ライン判断部７７により、通知された書き込み済みラインのカウント値が、画像補正処理を開始可能な水平ライン数になったものと判別された場合（ステップＳ１２：Ｙｅｓ）におけるブロック処理部７８の処理である。ステップＳ１３では、ブロック処理部７８が、第１番目のブロックの画像補正処理を実行する。
【００４５】
処理ブロック検出部７６は、第１番目のブロックの画像補正処理が完了すると、画像補正処理が完了したブロックを示すブロック番号（＝Ａ）を「１」インクリメントする（Ａ＋１）。また、ブロック通知部７９は、画像補正処理が完了したブロックのブロック番号を出力Ｉ／Ｆ６３に通知する。
【００４６】
ステップＳ１５では、処理ブロック検出部７６が、画像補正処理が完了したブロックのブロック番号を参照することで、１フレーム分の各ブロックの画像補正処理が完了したか否かを判別する。１フレーム分の各ブロックの画像補正処理が完了していない場合（ステップＳ１５：Ｎｏ）、処理がステップＳ１２に戻る。そして、第２番目のブロックの画像補正処理を開始可能な数の水平ラインの画像データが、ＤＤＲメモリ６４に書き込まれるのを待って、第２番目のブロックの画像補正処理を実行する。これにより、図８の（ａ）の符号を付した図に示すように、画像データが早く揃う順に付されたブロック番号順に（１→２→３→４→５・・・）、各ブロックの画像補正処理が実行される。
【００４７】
このように各ブロックに対して順次、画像補正処理が施され、１フレーム分の各ブロックの画像補正処理が完了すると（ステップＳ１５：Ｙｅｓ）、処理がステップＳ１１に戻る。そして、カメラ部１０Ａから供給される新たなフレームの入力画像に対して、上述の画像補正処理が施される。
【００４８】
比較例となる画像補正処理の場合、１ブロックラインの全てのブロックの画像データが揃うタイミングは、Ｎライン分の水平ライン走査が完了したタイミングである（図８中のＮラインを参照のこと）。このため、比較例となる画像補正処理の場合、Ｎライン分の水平ライン走査が完了するまでの間、画像補正処理を開始できない。
【００４９】
しかし、実施の形態のＴＶ会議システムの画像処理部６２の場合、図８（ａ）に示したように、ＤＤＲメモリ６４に対して画像データの書き込みが早く完了するブロックから順に、画像補正処理を施す。このため、図８（ａ）に示すように、第１番目のブロックの画像データが揃うタイミングである、Ｍライン分の水平ライン走査が完了したタイミングで画像補正処理を開始することができる（Ｍ＜Ｎ）。
【００５０】
図１２は、ＤＤＲメモリ６４に対する書き込みタイミングと、画像補正処理の開始タイミングを示している。図１２の（ａ）の符号を付した図は、ＤＤＲメモリ６４に対する書き込みタイミングを示している。図１２の（ｂ）の符号を付した図は、実施の形態のＴＶ会議システムの画像処理部６２の画像補正処理のタイミングを示している。図１２の（ｃ）の符号を付した図は、比較例となる画像補正処理のタイミングを示している。この図１２の（ａ）〜（ｃ）の符号を付した各図を見比べてわかるように、短時間の開始待ち時間（Ｍ水平ライン分の待ち時間）で、画像補正処理を開始することができる。
【００５１】
次に、図１１は、出力Ｉ／Ｆ６３の画像データの転送動作を示すフローチャートである。図１１のフローチャートのステップＳ２１では、新しいフレームの送信処理を行うべく、エンコーダ１６Ａへ転送する画像データの水平ライン数をカウントする出力ラインカウンタ８１が、カウント値を初期化する（Ｌ＝１）。これにより、処理がステップＳ２２に進む。
【００５２】
ステップＳ２２では、ブロック判断部８２が、転送を行う水平ラインの全ての画像データに対して、画像補正処理済みであるか否かを判別する。すなわち、画像処理部６２のブロック通知部７９は、画像補正処理が完了したブロックのブロック番号を出力Ｉ／Ｆ６３に通知している。ブロック判断部８２は、転送を行う水平ラインの画像データが、通知されたブロック番号のブロックに含まれているか否かを判別することで、転送を行う水平ラインの全ての画像データが、画像補正処理済みであるか否かを判別する。
【００５３】
転送を行う水平ラインの全ての画像データが、画像補正処理済みではない場合、ブロック判断部８２で、転送を行う水平ラインの全ての画像データが画像補正処理済みと判別されるまでの間、出力Ｉ／Ｆは、処理を待機状態とする。これに対して、ブロック判断部８２により、転送を行う水平ラインの全ての画像データが、画像補正処理済みであるものと判別された場合、処理はステップＳ２３に進む。
【００５４】
ステップＳ２３では、読み出し制御部８３が、転送を行う水平ラインの画像データをＤＤＲメモリ６４から読み出す。そして、ライン転送部８４が、読み出された水平ラインの画像データをエンコーダ１６Ａに転送する。これにより、処理がステップＳ２４に進む。
【００５５】
ステップＳ２４では、１本の水平ラインの画像データの転送が完了したため、次の新しいフレームの送信処理を行うべく、出力ラインカウンタ８１が、水平ラインのカウント数を「１」インクリメント（Ｌ＋１）する。これにより、処理がステップＳ２５に進む。
【００５６】
ステップＳ２５では、ライン転送部８４が、出力ラインカウンタ８１のカウント値を参照することで、１フレームの全水平ラインに対応する画像データの送信が完了したか否かを判別する。ライン転送部８４により、１フレームの全水平ラインに対応する画像データの送信が完了していないものと判別された場合、処理がステップＳ２２に戻り、上述のステップＳ２２〜ステップＳ２５の処理が繰り返し実行される。
【００５７】
ライン転送部８４により、１フレームの全水平ラインに対応する画像データの送信が完了したものと判別された場合、処理がステップＳ２１に戻り、再度、新しいフレームの送信処理を行うべく、出力ラインカウンタ８１がカウント値を初期化し、上述のステップＳ２２〜ステップＳ２５の処理が繰り返し実行される。図８の（ｂ）の符号を付した図は、エンコーダ１６Ａに転送された画像データ（出力画像）の一例となる模式図である。転送された画像データは、図８の（ｂ）の符号を付した図のように、歪み補正等の画像処理が施されてエンコーダ１６Ａに転送される。そして、画像データは、エンコーダ１６Ａにより音声データと共に所定のエンコード処理が施され、ネットワーク４およびサーバ装置３を順に介して、第２拠点システム２に転送される。
【００５８】
なお、第２拠点システム２から第１拠点システム１に画像データを転送する場合も、上述と同様の動作で転送される。このため、第２拠点システム２から第１拠点システム１に画像データを転送する場合の動作は、上述の第１拠点システム１の動作説明を参照されたい。
【００５９】
実施の形態のＴＶ会議システムの場合、上述のように、画像補正処理の待ち時間をＭラインに短縮化することができる（図８および図１２参照）。このため、画像データの送信遅延も低減することができる。
【００６０】
以上の説明から明らかなように、実施の形態のＴＶ会議システムは、カメラ部１０Ａからの入力画像を複数のブロックに分割する。入力画像に生じている歪みに応じて、最初にＤＤＲメモリ６４に対する画像データの書き込みが完了するブロックから順に、画像補正処理を実行する。これにより、入力画像に歪みが生じていても、ＤＤＲメモリ６４に対してブロックの画像データの書き込みが完了したタイミングで、画像補正処理を開始することができる。
【００６１】
従って、ＤＤＲメモリ６４に対する１ブロックラインの全てのブロックの画像データの書き込みが完了するのを待つことなく、画像データの書き込みが完了したブロックから順に、画像補正処理を行うことができる。このため、画像補正処理のための待ち時間を短縮化し、牽いては、画像補正処理およびエンコード処理を施した画像データ（および音声データ）の送信遅延も低減することができる。
【００６２】
例えば、広角レンズまたは魚眼レンズで撮像した入力画像に対しては、歪率の少ない中央部分からブロック単位で画像補正処理を行う等のように、出力画像生成手順を最適化する。すなわち、入力画像の歪み具合に応じて、どのブロックから処理していくかを最適化する。これにより、画像補正処理を開始するタイミングを早めて、相手局への画像転送遅延時間を低減させることができる。
【００６３】
本実施形態の装置（サーバ装置、端末装置等）は、例えば、ＣＰＵなどの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えたハードウェア構成となっている。
【００６４】
本実施形態の装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
【００６５】
また、本実施形態の装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００６６】
また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００６７】
本実施形態の装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【００６８】
上述の実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態および実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
１  第１拠点システム
２  第２拠点システム
３  サーバ装置
４  ネットワーク
１０Ａ  カメラ部
１０Ｂ  カメラ部
１２Ａ  ディスプレイ装置
１２Ｂ  ディスプレイ装置
１４Ａ  端末装置
１４Ｂ  端末装置
１６Ａ  エンコーダ
１６Ｂ  エンコーダ
１８Ａ  デコーダ
１８Ｂ  デコーダ
２０Ａ  ネットワーク状態検知部
２０Ｂ  ネットワーク状態検知部
２２Ａ  相手局画像表示状態判別部
２２Ｂ  相手局画像表示状態判別部
２４Ａ  音声判別部
２４Ｂ  音声判別部
２６Ａ  マイクロホン部
２６Ｂ  マイクロホン部
５０Ａ  映像処理部
５０Ｂ  映像処理部
６２  画像処理部
６４  ＤＤＲメモリ
７１  書き込みラインカウンタ
７２  書き込み制御部
７３  ライン通知部
７６  処理ブロック検出部
７７  ライン判断部
７８  ブロック処理部
７９  ブロック通知部
８１  出力ラインカウンタ
８２  ブロック判断部
８３  読み出し制御部
８４  ライン転送部
【先行技術文献】
【特許文献】
【００７０】
【特許文献１】特開２０１２−０９８８８３号公報
【特許文献２】特開２０１３−１３４７３３号公報
【図１】
2015130632.tif 000003
【図２】
2015130632.tif 000004
【図３】
2015130632.tif 000005
【図４】
2015130632.tif 000006
【図５】
2015130632.tif 000007
【図６】
2015130632.tif 000008
【図７】
2015130632.tif 000009
【図８】
2015130632.tif 000010
【図９】
2015130632.tif 000011
【図１０】
2015130632.tif 000012
【図１１】
2015130632.tif 000013
【図１２】
2015130632.tif 000014