(57)【要約】【課題】符号化前の画像にノイズが含まれていても送信される画質の低下を抑制可能な通信装置等を提供すること。【解決手段】画像データを送信する通信装置１０１であって、周囲の状況に対しノイズを低減するための画像処理パラメータが対応づけられたパラメータ情報を参照して、周囲の状況に対応した画像処理パラメータを決定する画像処理パラメータ決定手段２２４と、前記画像処理パラメータ決定手段が決定した前記画像処理パラメータで画像データに対し画像処理を施す画像処理手段２０９と、前記画像処理手段が画像処理を施した画像データを符号化する符号化手段２０８と、前記符号化手段が符号化した画像データを送信する送信手段２０７と、を有することを特徴とする。【選択図】図１
2016058975.tif 000002
【特許請求の範囲】
【請求項１】
画像データを送信する通信装置であって、
周囲の状況に対しノイズを低減するための画像処理パラメータが対応づけられたパラメータ情報を参照して、周囲の状況に対応した画像処理パラメータを決定する画像処理パラメータ決定手段と、
前記画像処理パラメータ決定手段が決定した前記画像処理パラメータで画像データに対し画像処理を施す画像処理手段と、
前記画像処理手段が画像処理を施した画像データを符号化する符号化手段と、
前記符号化手段が符号化した画像データを送信する送信手段と、
を有することを特徴とする通信装置。
【請求項２】
前記画像処理パラメータは、送信される画像データの明度により決定される請求項１に記載の通信装置。
【請求項３】
前記画像処理パラメータは、送信される画像データの鮮明さにより決定される請求項１に記載の通信装置。
【請求項４】
前記画像処理パラメータは、エッジ強調を抑え、かつ、ノイズを低減する画像処理を指示する請求項１〜３のいずれか１項に記載の通信装置。
【請求項５】
通信帯域情報を取得する取得手段を有し、
前記画像処理手段は、通信帯域情報に前記画像処理パラメータが対応づけられた画像処理情報を参照して、前記取得手段が取得した通信帯域情報に対応づけられた前記画像処理パラメータで画像データに対し画像処理を施す請求項１〜４いずれか１項に記載の通信装置。
【請求項６】
前記画像処理パラメータは、通信帯域が広いほどエッジ強調を強く行いノイズ低減を弱く行い、通信帯域が狭いほどエッジ強調を弱く行いノイズ低減を強く行う画像処理を指示する請求項５に記載の通信装置。
【請求項７】
画像データの送信元の通信装置、送信先の通信装置、及び、情報処理装置を有する通信システムであって、
前記情報処理装置は、通信装置との間の通信帯域情報を取得する通信帯域情報取得手段と、
前記通信帯域情報取得手段が取得した通信帯域情報を前記送信元の通信装置に送信する第１の送信手段と、を有し、
前記送信元の通信装置は、
通信帯域情報に画像処理パラメータが対応づけられた画像処理情報を参照して、前記情報処理装置から送信された通信帯域情報に対応づけられた画像処理パラメータを決定する画像処理パラメータ決定手段と、
前記画像処理パラメータ決定手段が決定した前記画像処理パラメータで画像データに対し画像処理を施す画像処理手段と、
前記画像処理手段が画像処理を施した画像データを符号化する符号化手段と、
前記符号化手段が符号化した画像データを前記送信先の通信装置に送信する第２の送信手段と、を有する通信システム。
【請求項８】
前記通信帯域情報取得手段は、前記送信元の通信装置と前記情報処理装置の間の第１の通信帯域情報、及び、前記送信先の通信装置と前記情報処理装置の間の第２の通信帯域情報をそれぞれ取得し、
前記第１の送信手段は、第１の通信帯域情報と第２の通信帯域情報のうち狭い方を前記送信元の通信装置に送信し、
前記画像処理手段は、前記画像処理情報を参照して、前記情報処理装置から送信された狭い方の通信帯域情報に対応づけられた画像処理パラメータで画像データに対し画像処理を施す、請求項７記載の通信システム。
【請求項９】
画像データを送信する情報処理装置に、
周囲の状況に対しノイズを低減するための画像処理パラメータが対応づけられたパラメータ情報を参照して、周囲の状況に対応した画像処理パラメータを決定する画像処理パラメータ決定ステップと、
前記画像処理パラメータ決定ステップにより決定された前記画像処理パラメータで画像データに対し画像処理を施す画像処理ステップと、
前記画像処理ステップにより画像処理が施された画像データを符号化する符号化ステップと、
前記符号化ステップにより符号化された画像データを送信する送信ステップと、を実行させるためのプログラム。
【請求項１０】
前記画像処理パラメータは、送信される画像データの明度により決定される請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置、通信システム及びプログラムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して遠隔地に配置されたそれぞれの端末装置が遠隔会議を行うビデオ会議システムが普及している。ビデオ会議システムでは、遠隔会議に参加する参加者等の一方がいる会議室において、端末装置が参加者などを含む会議室の画像を撮像しまた発言などの音声を収集する。端末装置は、それらをデジタルデータに変換して通信相手の参加者が操作する端末装置に送信し、通信相手の端末装置は会議室のディスプレイ等に画像を表示しまたスピーカから音声を出力する。ビデオ会議システムのこのような動作により、遠隔地のそれぞれの参加者は実際の会議に近い状態で会議を行うことができる。
【０００３】
ビデオ会議システムでは、遠隔地のそれぞれの端末装置が画像を送信するため、通信の帯域が狭いと画質が劣化してしまう。例えば、Ｈ．２６４などの符号化方式で画像を符号化するビデオ会議システムでは、画像を階層符号化してネットワークへ送出する場合があるが、帯域が狭くなると低画質用の画像データしか相手側の端末装置に到達しないため、相手側で再生される画像の画質が大きく低下するという不都合がある。
【０００４】
相手側で画質が低下しているのであれば、低画質用の画像のみを送信すれば送信側の端末装置の負荷が低下するなどのメリットがあるため、低画質用の画像のみを送信することも検討される（例えば、特許文献１参照。）。特許文献１には、画質が劣化して表示される場合、エンコード負荷の軽減、ビットレートの削減等を図るため、送信映像信号ＴＳに対してエンコード処理を行う際に、受信映像の表示画質（表示解像度、表示色数、表示フレームレート）に対応した状態でエンコード処理を行う映像送信装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の符号化方式では、符号化する際に、符号化前の画像にノイズが含まれていると圧縮効率が悪くなるという問題がある。また、圧縮効率が悪くなることで、符号化時に多くの情報量を削減してしまうという問題も引き起こす。このため、画像の劣化が生じてしまっている。つまり、高性能なカメラで撮像しても被写体の輪郭部や、壁の細かいテクスチャ、暗部などではノイズがあるため、ビデオ会議システムで使用すると、符号化時の情報圧縮によって画質が劣化し、画質が低下する。
【０００６】
本発明は、上記課題に鑑み、符号化前の画像にノイズが含まれていても送信される画質の低下を抑制可能な通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像データを送信する通信装置であって、周囲の状況に対しノイズを低減するための画像処理パラメータが対応づけられたパラメータ情報を参照して、周囲の状況に対応した画像処理パラメータを決定する画像処理パラメータ決定手段と、前記画像処理パラメータ決定手段が決定した前記画像処理パラメータで画像データに対し画像処理を施す画像処理手段と、前記画像処理手段が画像処理を施した画像データを符号化する符号化手段と、前記符号化手段が符号化した画像データを送信する送信手段と、を有することを特徴とする。
【発明の効果】
【０００８】
符号化前の画像にノイズが含まれていても送信される画質の低下を抑制可能な通信装置等を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態のビデオ会議システムの概略的な特徴を説明する図の一例である。
【図２】本実施形態に係るビデオ会議システムのシステム構成図の一例である。
【図３】ビデオ会議装置のハードウェア構成図の一例である。
【図４】サーバーのハードウェア構成図の一例である。
【図５】階層符号化を模式的に説明する図の一例である。
【図６】時間階層符号化、空間階層符号化、及び、ＳＮＲ階層符号化を説明する図の一例である。
【図７】画像処理と符号化のブロック図の一例である。
【図８】画像処理パラメータが登録されたパラメータテーブルＴｂ１の一例を示す図である。
【図９】パラメータテーブルＴｂ１の画像処理パラメータを選択するための選択テーブルの一例を示す図である。
【図１０】鮮明さとエッジ強調強度の関係、及び、鮮明さとＮＲ強度の関係をそれぞれ示す図の一例である。
【図１１】照度とエッジ強調強度の関係、及び、照度とＮＲ強度の関係をそれぞれ示す図の一例である。
【図１２】ビデオ会議装置が画像を送信する動作手順を示すフローチャート図の一例である。
【図１３】本実施例のビデオ会議システムの概略的な特徴を説明する図の一例である（実施例２）。
【図１４】画像処理と符号化のブロック図の一例である（実施例２）。
【図１５】帯域・画像処理テーブルＴｂ２の一例を示す図である。
【図１６】ビデオ会議装置が画像を送信する動作手順を示すフローチャート図の一例である。
【図１７】ビデオ会議システムが画像を送信する動作手順を示すシーケンス図の一例である。
【図１８】ビデオ会議装置（送信側）の表示部に表示される設定画面の一例である。
【図１９】ビデオ会議システムが画像を送信する動作手順を示すシーケンス図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら実施例を上げて説明する。本実施形態のビデオ会議システムは、符号化前の画像に対してノイズを低減させる処理を行うことで、符号化後の画像の画質の劣化を抑えて、臨場感のある画質の良い画像を送信する。
【実施例１】
【００１１】
＜ビデオ会議システムの概略的な特徴＞
図１は、本実施形態のビデオ会議システム１００の概略的な特徴を説明する図の一例である。ビデオ会議に参加する拠点にはビデオ会議装置１０１が配置され、各ビデオ会議装置１０１はサーバー１０２を介して互いに通信することができる。
【００１２】
ビデオ会議装置１０１はパラメータテーブルＴｂ１を保持している。このパラメータテーブルＴｂ１には画像処理パラメータ（例えば、ＮＲ（ノイズリダクション）強度、エッジ強調強度、縮小率）が登録づけて登録されている。なお、パラメータテーブルＴｂ１はテーブル形式でなくてもかまわない。
【００１３】
ビデオ会議システム１００は以下のように動作する。
【００１４】
(i)ビデオ会議装置１０１は周囲の状況を検出し、状況に対しノイズの低減に最適な画像処理パラメータをパラメータテーブルＴｂ１から読み出す。
【００１５】
(ii)ビデオ会議装置１０１は読み出した画像処理パラメータで画像に対し画像処理を施す。
【００１６】
(iii)次に、画像に対し階層符号化(以降、単に「符号化」という場合がある)を施す。
【００１７】
(iv)画像を通信相手のビデオ会議装置１０１に送信する。
【００１８】
したがって、画像処理と階層符号化の一連の処理で最良な画質となるようにパラメータテーブルＴｂ１を用意しておき、その画像処理パラメータにより符号化前の画像を画像処理することでノイズを低減して、劣化が抑制された画質で画像を送信することができる。すなわち、パラメータテーブルＴｂ１の画像処理パラメータで画像に対し画像処理することでノイズを低減でき、ノイズの低減後の画像に対し符号化するので、周囲の状況に対し最適な画質で画像を送信できる。
【００１９】
なお、本実施形態では画像や画像データという言葉を用いるが両者は明確に区別されない。また、画像又は画像データは静止画及び動画を含み、画像の代わりに映像という言葉を用いてもよい。
【００２０】
＜ビデオ会議システムの構成例＞
図２は、本実施形態に係るビデオ会議システム１００のシステム構成図の一例である。ビデオ会議システム１００は、ネットワーク１０３に接続された複数のビデオ会議装置１０１（区別する場合、符号を１００＋自然数で示す）と、サーバー１０２とを有している。ネットワーク１０３は、インターネット、ＷＡＮやＬＡＮなどの主に有線で構築される通信網と、携帯電話網や無線ＬＡＮなどの主に無線で構築される通信網とから構成される。有線のみ又は無線のみで構築されていてもよい。
【００２１】
ビデオ会議システム１００は、通信システムがビデオ会議用のデータを送受信する際の呼称に過ぎず、ビデオ会議システム１００はビデオ会議用のデータのみを送受信するのではない。例えば、本実施形態でビデオ会議システム１００と呼ばれる通信システムは、監視カメラシステム、映像配信システム、カーナビゲーションシステム等、カメラ等の撮像手段を有する他の通信システムに好適に適用できる。すなわち、ビデオ会議装置１０１は、テレビ会議システム、監視カメラシステム、映像配信システム、カーナビゲーションシステム等に用いられるカメラ等の撮像手段が撮像した画像を送信し、また、通信相手のビデオ会議装置１０１が送信した画像を受信する通信装置である。
【００２２】
ビデオ会議装置１０１は、ビデオ会議システム１００に対応した通信装置としての端末装置である。ビデオ会議装置１０１は、ビデオ会議システム１００に専用の端末の場合と、汎用的な情報処理装置がビデオ会議装置１０１して用いられる場合がある。ビデオ会議システム１００に専用の端末には、プロジェクタや電子黒板などが含まれる。汎用的な情報処理装置とは、例えば、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、携帯電話、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ等である。ビデオ会議装置１０１が汎用の情報処理装置である場合、ビデオ会議装置１０１の各機能は、例えば、情報処理装置にインストールされたアプリケーションプログラム等によって実現される。上記ＰＣ等は、普段は情報処理装置として利用されるが、ビデオ会議のためのアプリケーションプログラムを実行すると、専用の端末と同等の機能を提供する。
【００２３】
つまり、ビデオ会議システム１００では、ビデオ会議を行うための通信装置により、お互いに画像及び音声を送受信することができる構成となっている。
【００２４】
サーバー１０２は、例えば、ビデオ会議装置１０１と接続しているか否かの接続状態のモニター、ビデオ会議の開始／終了時の接続制御、ビデオ会議中の画像や音声等のデータの送受信等、ビデオ会議の制御を行う。サーバー１０２が、ビデオ会議装置１０１から得られた画像や音声のデータをエンコードしたり、ビデオ会議装置１０１から得られたエンコードされた画像や音声のデータをデコードしたりするコーデック機能を備えていてもよい。
【００２５】
このような構成により、例えば、ビデオ会議装置１０１-１のユーザーは、他のビデオ会議装置１０１-２のユーザーと、リアルタイムに送受信される画像や音声を介してビデオ会議を行うことができる。
【００２６】
なお、図２の構成は一例である。例えば、ビデオ会議システム１００を構成するビデオ会議装置１０１の数は２つ以上の任意の数であればよい。また、サーバー１０２は、複数のサーバーに機能が分散して配置されていてもよいし、同じ機能のサーバー１０２が複数台、存在してもよい。
【００２７】
図３は、ビデオ会議装置１０１のハードウェア構成図の一例である。ビデオ会議装置１０１は、一般的なコンピュータの構成を含んでおり、例えば、バス２１３で互いに接続された、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＲＯＭ（Read Only Memory）２０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２０４、カメラ２０５、スピーカ２０６、通信Ｉ／Ｆ（Interface）部２０７、コーデック部２０８、画像処理部２０９、表示部２１０、操作部２１１、及び、マイク２１２等を有する。
【００２８】
ＣＰＵ２０１は、ＲＯＭ２０３等からプログラムやデータを読み出し処理を実行することで、ビデオ会議装置１０１が備える様々な機能を実現する演算装置である。ＲＡＭ２０２は、ＣＰＵ２０１のワークエリア等として利用される揮発性のメモリである。例えば、このＲＡＮ２０２にはパラメータテーブルＴｂ１が記憶されて、利用される状態にある。
【００２９】
ＲＯＭ２０３は、プログラムやデータ等を記憶する不揮発性のメモリである。ＲＯＭ２０３はプログラム２１４を記憶している。
【００３０】
ＥＥＰＲＯＭ２０４は、例えば、ビデオ会議装置１０１の設定値や、補正情報等を記憶する不揮発性のメモリである。
【００３１】
カメラ２０５は、例えば、ＣＰＵ２０１等の制御に従って、ビデオ会議の参加者等の画像を撮像する手段であり、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を含む。なお、カメラ２０５は内蔵されている必要はなく、着脱可能に外付けされてもよい。
【００３２】
スピーカ２０６は、通信相手のビデオ会議装置１０１等から受信した音声信号を音声に変換して出力する。マイク２１２は、例えば、ビデオ会議の参加者の音声等を収集し音声信号に変換する。
【００３３】
通信Ｉ／Ｆ部２０７は、ビデオ会議装置１０１をネットワーク１０３に接続し、他のビデオ会議装置１０１や、サーバー１０２等とデータの送受信を行うためのインタフェースである。
【００３４】
コーデック部２０８は、サーバー１０２を介して通信相手のビデオ会議装置１０１に送信する画像や音声を符号化し、また、通信相手のビデオ会議装置１０１から受信したデータを画像や音声に復号する。
【００３５】
画像処理部２０９は、例えば、ＣＰＵ２０１等の制御に従って、送受信する会議画像等に画像処理を施す。詳細は図７，８等で説明する。
【００３６】
表示部２１０は、例えば、通信相手のビデオ会議装置１０１から受信した画像等を表示する、例えば、ＬＣＤ（Liquid Crystal Display）ディスプレイ、プロジェクタ等の表示装置である。
【００３７】
操作部２１１は、操作ボタンや、キーボード等、ビデオ会議装置１０１がユーザーの操作を受け付けるための手段である。タッチパネルや音声入力装置を備えていてもよい。バス２１３は、例えば、アドレスバス、データバス、及び各種制御信号等を伝達する。
【００３８】
なお、上記構成はあくまで一例であって、本実施形態を限定するものではない。例えば、ＲＯＭ２０３とＥＥＰＲＯＭ２０４は、一つのフラッシュＲＯＭ等であっても良い。また、ビデオ会議装置１０１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のストレージデバイスをさらに有していても良い。
【００３９】
また、コーデック部２０８は、図１の説明で述べたようにサーバー１０２が有していても良いし、ＣＰＵ２０１で動作するプログラム等によって実現されるものであってもよい。また、画像処理部２０９は、例えば、ＣＰＵ２０１で動作するソフトウェア等によって実現されるものであってもよい。
【００４０】
図４は、サーバー１０２のハードウェア構成図の一例である。サーバー１０２は、ハードウェア構成として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、補助記憶装置１４、入力装置１５、表示装置１６、及び、通信装置１７を有する。ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３についてはビデオ会議装置１０１と同様である。
【００４１】
補助記憶装置１４は、ＨＤＤやＳＳＤ等のストレージデバイスであり、サーバー１０２が実行するプログラム１９及びパラメータテーブルＴｂ１を記憶している。パラメータテーブルＴｂ１は、サーバー１０２からダウンロードしてビデオ会議装置１０１のＲＡＭ１３にダウンロードされてもよいし、ネットワーク１０３上の他の機器からビデオ会議装置１０１に送信されてもよい。
【００４２】
入力装置１５は、例えばキーボードやマウスなどの操作を受け付けるための装置である。表示装置１６は、ディスプレイである。通信装置１７は、ネットワーク１０３に接続してビデオ会議装置１０１との通信を行う。
【００４３】
＜階層符号化について＞
階層符号化とは、予め画像を画質が異なるいくつかの階層の画像データに符号化し、それぞれを通信相手に送信する符号化方式である。
【００４４】
図５は階層符号化を模式的に説明する図の一例である。送信元のビデオ会議装置１０１は、１つの画像を基本階層データＬ０、第１階層データＬ１、第２階層データＬ２に符号化する。さらに、第３階層以下に符号化してもよい。第１階層以下の層を補強階層データという。Ｌ０のみを復号しても低品質な画像しか再生できず、Ｌ０とＬ１を復号すると中品質の画像を再生でき、Ｌ０、Ｌ１、Ｌ２のすべての画像を復号すると高品質の画像を再生できる。送信元のビデオ会議装置１０１はＬ０、Ｌ１、Ｌ２の全てを送信するが、通信帯域が狭いためＬ０のみが通信相手に到達しても画像の再生は可能である。通信帯域が広い場合にはＬ０、Ｌ１、Ｌ２が通信相手に到達するので高画質な画像の再生が可能になる。
【００４５】
階層符号化には、時間階層符号化、空間階層符号化、及び、ＳＮＲ階層符号化の三種類がある。図６はそれぞれの階層符号化を説明する図の一例である。Ｈ．２６４ＳＶＣなどの階層符号化方式では、この３つの階層符号化を組み合わせて使用している。
【００４６】
図６（ａ）は時間階層符号化の一例を説明する図である。Ｉ,Ｂ,Ｐはそれぞれフレームを表している。Ｉ０フレームは、画面内の画素値のみが符号化されたものである。Ｐフレームは符号化された前方の画面との差分が符号化されたものである。Ｂフレームは符号化された前方と後方の両画面との差分が符号化されたものである。図中の矢印は符号化の際に差分を取るために必要な画面を表している。通信相手がＩ０〜Ｐ６までの全てのフレームを復号すると正しい画像に複合できるが、Ｉ０、Ｐ３、Ｐ６だけを復号しても画面を正しく復号できる。
【００４７】
したがって、IフレームとＰフレームは基本階層データ、Ｂフレームは補強階層データに相当する。十分な帯域のネットワーク１０３においては時間的に滑らかな画像が復号される一方で、ネットワーク１０３が狭帯域の場合には画像の更新が間に合わないためスムーズに画像を再生できない場合が生じうる。
【００４８】
図６（ｂ）は空間階層符号化の一例を説明する図である。画像は水平、垂直の二次元空間のため、その周波数成分は、水平周波数と垂直周波数で表現される。空間周波数において、水平周波数の低域部分と垂直周波数の低域部分が基本階層データとなる。一方で、水平周波数の高域と垂直周波数の高域部分が補強階層データとなる。基本階層データのみを復号化すると、空間解像度の低い(画像サイズが小さい)、細かな柄のディテールが失われた画像が復号される。したがって、十分な帯域のネットワーク１０３においては高解像度な画像が得られる一方で、ネットワーク１０３が狭帯域の場合には解像度が低く、ディテールの失われた画像が得られることになる。
【００４９】
図６（ｃ）はＳＮＲ階層符号化の一例を説明する図である。周波数変換された各画素の画素値のビット数を最上位ビットと最下位ビットの間で分割して、最上位ビットに近いビットで構成される部分を基本階層データ、それ以外を補強階層データとする。ＳＮＲ階層符号化の基本階層データは、粗い量子化に相当するＭＳＢに近いビットで構成されている。このため、基本階層データのみを復号すると、階調が低くなっているのでなめらかな明るさの変化が表現できずに擬似輪郭が見えることもある。したがって、十分な帯域のネットワーク１０３においては明るさの階調がなめらかな復号画像が得られる一方で、ネットワーク１０３が狭帯域の場合には階調が低く、擬似輪郭の発生がありうる復号画像が得られることになる。
【００５０】
以上の図６についての説明により、十分な通信帯域の時と狭い通信帯域では、送信されるデータ量がそもそも違うため、前者の画像の画質が良くなるのは当然である。その前提の元で、狭帯域時に可能な限り画質を良くするためには、少ないデータの中に効率よく画像データを含めれば良いことになる。
【００５１】
例えば、「画質が良い」を「解像感が高い」と定義する。一般にコンシューマー向けのデジタルカメラの場合、被写体のエッジ部がしっかり立っていれば、エッジ部分にチリチリするようなノイズや平坦部のノイズが多少あっても解像感が高く良い画像と感じられる(エッジ部の強調が強すぎると、不自然な画像となるが、ここでは理想的な解像感が得られるレベルのエッジとする)。しかし、Ｈ．２６４ＳＶＣなどの符号化方式では、動きのない場所のデータ更新を抑える一方で、動きのある場所のデータ更新を頻繁に行うことで、送信データ量を抑えている。したがって、動きの少ない画像は送信データ量が少ないことになるが、エッジ部や平坦部にノイズが多いと、動きがあると誤検出され、送信データ量が多くなってしまう。すなわち、圧縮効率が低下するだけでなく、ビデオ会議装置１０１は本来、解像感を良くするために必要な細かな絵柄のディテール情報ではなく、ノイズ部分のデータを更新してしまうのである。
【００５２】
ノイズ部分のデータ更新を抑えるためには、画像処理により画像からノイズを減らせば良い。例えば、エッジ強調処理を強めることで、輪郭部のエッジや、細かい柄のディテール情報は増やせるが、エッジ部、平坦部にノイズが増える。一方で、ノイズリダクション(ＮＲ)を行うことで、輪郭部や細かい柄のディテールはぼやけるが、ノイズを減らすことが出来る。したがって、ノイズ部分のデータ更新を抑えるためには、エッジ強調を抑えて、ノイズリダクションを追加すればよい。
【００５３】
なお、上記の例では、「解像感」を「画質が良い」と定義したが、画像の良し悪しは、明るさ、階調性、ノイズ、解像感、色彩など複数の官能特性により決まる。そのため、例えばＳＮＲ階層符号化の影響で、階調性が下がるレベルの帯域では、ガンマ補正カーブを調整し、明るさ、色のコントラストを高めたり、空間階層符号化の影響で、解像度が下がるレベルの帯域では、予め画像処理部２０９で縮小処理し、縮小後の画像に最適な画像処理を施した上で符号化させたりすることで、符号化パラメータに応じて、設計者の意図する画質の良い画像を送ることができる。なお、後者の縮小処理について、予め画像処理に特化した画像処理部２０９でハードウェア処理することで、ＣＰＵ２０１などでソフトウェア符号化する際に演算量を減らすこともできる。
【００５４】
縮小処理は大きい画像から画素を単純間引きする縮小方式や、近傍画素の情報を元に縮小する方式など様々な方式がある。空間階層符号化で縮小するより、符号化の前にカメラ等で画質良く縮小したほうが結果として画質が良くなる。
【００５５】
＜画像処理パラメータによる画像処理＞
従来のビデオ会議システム１００では、通信帯域に応じて、符号化パラメータが変更され、カメラが撮像した画像を階層符号化し、ネットワーク１０３へ送出する。どのような通信帯域の広さであってもカメラが撮像した画像は同じであるため、通信帯域が広い場合は画質の良い画像が送出されるが、通信帯域が狭い場合は、符号化の影響を受け画質が劣化する。
【００５６】
本実施形態では、以下に説明するように、画像処理と階層符号化の一連の処理で最良な画質となるように、符号化前にノイズを除去する画像処理を行うので、画質の劣化を抑えた最適な画質で画像を送信することができる。
【００５７】
図７は画像処理と符号化のブロック図の一例を示す。レンズ２２１を通過した光はセンサー（固体撮像素子）２２２によりデジタルデータとしての画像データに変換される。この画像データは画像処理部２０９に入射され、画像処理部２０９は、ガンマ補正、露出補正、ホワイトバランス、色変換、輪郭強調（エッジ強調）、ノイズリダクションなどの画像処理を行う。
【００５８】
次に、スケーラー部２２３ではコントローラ部２２４の制御により画像データに対し変倍やフィルタ処理が行われる。コントローラ部２２４は画像処理と符号化の全体を制御する制御部でありＣＰＵ２０１などで実現される。コントローラ部２２４は周囲の状況に応じた画像処理パラメータをパラメータテーブルＴｂ１から読み出し、画像処理部２０９に指示する。なお、フィルタ処理は例えば輪郭強調やノイズリダクションなどである。スケーラー部２２３と画像処理部２０９では異なる種類の輪郭強調やノイズリダクションが行われるが、両者の機能を１つにまとめてもよい。
【００５９】
スケーラー部２２３で変換された画像データはコーデック部２０８でＨ．２６４ＡＶＣ、Ｈ．２６４ＳＶＣなどの符号化方式で符号化される。コーデック部２０８では、コントローラ部２２４からの制御信号によりフレームレートやビットレート、変倍率などを変更する符号化パラメータが変更される。通信Ｉ／Ｆ部２０７はサーバー１０２に対して画像データ及び音声データを送受信する。
【００６０】
本実施形態では、画像処理部２０９（又はスケーラー部２２３でもよい）が、パラメータテーブルＴｂ１から読み出された画像処理パラメータで画像処理することで、階層符号化で最良な画質となるようにノイズを低減させる処理を行うことが特徴の１つになっている。
【００６１】
具体的には、通信帯域が狭くても画質劣化が低減されて、最大限高画質化するような画像処理を、符号化処理前に提供する。カメラ単体で使用した場合、必ずしも最良な画質ではないが、会議等の伝送された画像として見た時に最も画質が良くなるように、解像感を保ちつつ可能な限りノイズを低減する画像処理方法である。
【００６２】
解像感の高い画像は被写体の輪郭が人の目で見た風景のようにリアルに出ている。そのためにはエッジ強調処理が強めに行われる必要があるが、上記のようにそうするとエッジ部にノイズが発生、平坦部のノイズが目立つ等の副作用がある。その副作用のために符号化時により情報量が削られて会議の画像の画質は下がる。
【００６３】
そこで、次述するパラメータテーブルＴｂ１では、被写体の輪郭を強調する画像処理パラメータが弱めに設定される。例えば、明部→暗部のエッジ強調は弱に設定され、暗部→明部のエッジ強調はOFFに設定されることで、暗部側の輪郭は判明しある程度、被写体の輪郭は強調されるが、明部側の強調が無いためにノイズの強調を抑制できる。ノイズの低減で圧縮効果が高まり、画質劣化を低減することが出来る。
【００６４】
また、エッジ強調を周囲の明るさレベルに応じて変えることも有効である。例えば、暗時はノイズが増えるため、エッジ強度が更に弱く設定され、明時はノイズが暗時より少ないのでエッジ強度が少し強められるように設定される。
【００６５】
また、パラメータテーブルＴｂ１では、ノイズを低減するためにノイズを低減する画像処理パラメータが強めに設定されることで、圧縮効率が高まる。例えば、暗時は色ノイズを削減するために色のゲインが明時よりも下げて設定される。ノイズの低減により符号化の圧縮効率が高まり、画質劣化の低減が可能となる。また、壁やカーペットのテクスチャをあえてぼやけさせるような画像設計も有効である。
【００６６】
上記のエッジ強調処理やノイズリダクション処理を、どのような通信帯域でも画像が最大限に高画質化されるように行うことが本実施例の特徴の１つとなる。
【００６７】
＜＜画像処理パラメータ＞＞
図８は、画像処理パラメータが登録されたパラメータテーブルＴｂ１の一例を示す図であり、図９はパラメータテーブルＴｂ１の画像処理パラメータを選択するための選択テーブルの一例を示す図である。このパラメータテーブルＴｂ１にはＮＲ（ノイズリダクション）強度、エッジ強調強度及び縮小率が対応づけて登録されている。ＮＲ強度、エッジ強調強度及び縮小率が画像処理パラメータの一例である。画像処理パラメータを変更することで、階層符号化に対して最適な（画質劣化の少ない）画像処理を施すことが出来る。
【００６８】
なお、ノイズリダクションとは、画像データに混在するノイズを低減すること又はＳ／Ｎ比を上げることをいう。例えば、画像データから輝度信号(Ｙ)と色信号(Ｃ)を分離し、それぞれをフィルタなどに通過させることで輝度信号中のノイズを低減できる。また、画像の各フレームごとの差分からノイズを検出し除去する手法もある。ＮＲ強度が高いほどノイズは除去されるが元の画像から情報が失われるためＮＲ強度が極端に大きいと画質は劣化する傾向になる。
【００６９】
エッジ強調強度は画像の輪郭部の濃度勾配を急峻にし、画像を鮮明（シャープ）にする処理である。具体的にはエッジ強調用のフィルタをかけることでエッジが強調される。エッジが強調されている方が、臨場感がある画質に見られる傾向がある。
【００７０】
縮小とは、画像のサイズを縮小することである。画像のサイズが小さいほど画像が含むデータ量も少なくなる。
【００７１】
例えば、鮮明さに対しエッジ強調強度とＮＲ強度を調整することができる。図１０（ａ）は鮮明さとエッジ強調強度の関係を、図１０（ｂ）は鮮明さとＮＲ強度の関係をそれぞれ示す図の一例である。
【００７２】
例えば、カメラ２０５からの画像の鮮明さに応じてエッジ強調及びノイズリダクションする場合がある。ここで、エッジ強調を高めていくと鮮明さが増すがノイズも増え、ＮＲ強度を高めるとノイズは減るが鮮明さが失われるのでエッジ強度とＮＲ強度にはトレードオフの関係がある。ネットワーク越しの映像の場合、効率的に画像を送信できるように画像データは符号化されるが、画像によっては符号化の効率が低下する。例えば、トレードオフの関係によりエッジ強度を高めてノイズが増えると符号化効率が低下する。逆に、ノイズリダクションを強くするとノイズは減るが解像度が下がってしまい臨場感が失われる。
【００７３】
したがって、単にエッジ強度を弱くしてＮＲ強度を強くするだけではネットワーク越しによい画像を送信できない。このため、図１０に関して説明するように、例えば鮮明さに応じて最適な画像処理パラメータを設定しておくことが好ましい。
【００７４】
図１０（ａ）では鮮明さがγとβの間では一様にエッジ強度が大きくなっている。しかしながら、エッジ強度が大きくなりすぎるとノイズも大きくなるため、鮮明さβにおけるエッジ強度はあまり大きくせず中程度（図のエッジ強度β程度）に止めることが好ましい。すなわち、画像データの鮮明さに対しβ〜αのエッジ強度は使用しない。
【００７５】
また、図１０（ｂ）では鮮明さがγとβの間では一様にＮＲ強度が小さくなっている。しかしながら、ＮＲ強度が小さすぎるとノイズが残ってしまうため、鮮明さβにおけるＮＲ強度はあまり小さくせず中程度（図のＮＲ強度β程度）に止めることが好ましい。すなわち、画像データの鮮明さに対しβ〜αのＮＲ強度は使用しない。
【００７６】
エッジ強調がβ程度の画像処理パラメータでは、被写体の輪郭を強調する画像処理パラメータは中から弱めに設定される。例えば、明部→暗部のエッジ強調は弱に設定され、暗部→明部のエッジ強調はOFFに設定される。
【００７７】
図９の選択テーブルは、図１０のような鮮明さに対するエッジ強調強度とＮＲ強度の関係が定められている場合に、画像から画像処理パラメータを選択するためのテーブルである。なお、図１０では鮮明さに対するエッジ強調強度とＮＲ強度が線形の関係だが非線形の関係でもよい。
【００７８】
図１０（ａ）で鮮明さγとβの時のエッジ強度を０，２０、図１０（ｂ）で鮮明さγとβの時のＮＲ強度を４０、２０とすれば、コントローラ部２２４は鮮明さγの時はＮｏ２１の画像処理パラメータを、鮮明さβの時はＮｏ１３の画像処理パラメータの画像処理パラメータを選択する。鮮明さαのエッジ強度とＮＲ強度に関しては、鮮明さγとβに対するαの比率でエッジ強度とＮＲ強度を決定する。
【００７９】
鮮明さに対し適切なエッジ強調が行われることにより、暗部側の輪郭はわかるのである程度被写体の輪郭は強調されるが、明部側の強調が無いためにノイズの強調を抑制出来る。ノイズの低減で圧縮効果が高まり、画質劣化を低減することが出来る。すなわち、ネットワーク越しに高い符号化効率で臨場感がありノイズの少ない画像を送信するための最適な画像処理を行うことができる。
【００８０】
また、エッジ強調を周囲の明るさレベルに応じて変えることも有効である。図１１（ａ）は照度とエッジ強調強度の関係を、図１１（ｂ）は照度とＮＲ強度の関係をそれぞれ示す図の一例である。例えば、カメラ２０５からの画像が暗い場合、周囲が暗いと判断できるが、暗時はノイズが増えるため、エッジ強度は明時よりも弱めるように設定される。また、ノイズを抑制するためにＮＲ強度は明時よりも強められるように設定される。
【００８１】
また、カメラ２０５からの画像により周囲が明るいと判断された場合、明時はノイズが暗時より少ないのでエッジ強度が少し強めて設定される。また、ノイズはそれほど抑制する必要がないのでＮＲ強度は弱め又はゼロに設定される。
【００８２】
図１１では、照度がＡ−Ｂ間ではＡ−Ｂ間を線形にエッジ強度を強めていき、照度がＢ−Ｃ間ではＢ−Ｃ間を線形にエッジ強度を強めることを示している。
【００８３】
照度Ａ、Ｂ、Ｃの時のエッジ強度を１０，３０，４０、照度Ａ、Ｂ、Ｃの時のＮＲ強度を４０、３０，１０とすれば、コントローラ部２２４は照度Ａの時はＮｏ２２の画像処理パラメータを、照度Ｂの時はＮｏ１９の画像処理パラメータを、照度Ｃの時はＮｏ１０の画像処理パラメータを選択する。このような設定により圧縮効率が高まる。
【００８４】
なお、さらに、例えば、暗時は色ノイズを削減するために色のゲインは明時よりも下げるように設定されることも有効である。ノイズの低減により符号化の圧縮効率が高まり、画質劣化の低減が可能になる。
【００８５】
なお、鮮明さと照度の両方の情報が得られる場合は、いずれか一方の情報に基づいて画像処理パラメータを選択してもよいし、それぞれから決定したＮＲ強度とエッジ強調強度を平均してもよい。選択テーブルに挙げられている以下の周囲状況についても同様である。
【００８６】
会議室の壁やカーペットのテクスチャをあえてぼやけさせるような画像設計も有効である。カメラ２０５からの画像により壁やカーペットに複雑なテクスチャがあると判断された場合、ＮＲ強度は強く設定され、エッジ強調はゼロに設定される。このような設定のため、コントローラ部２２４は選択テーブルを参照して例えばＮｏ２１の画像処理パラメータを選択する。なお、複雑なテクスチャの有無は、エッジの密度が閾値以上であることなどにより判断できる。
【００８７】
さらに、ノイズが多少増えても、コントローラ部２２４は解像感の高い設定(エッジ強度を強めて解像感を高く、ＮＲ強度を弱めてぼやけを抑えて、縮小なし)を選択してもよい。例えば、ビデオ会議装置１０１が設置されている拠点に多くの参加者が会議に参加している場合、ノイズよりも解像度を優先する。このような設定のため、コントローラ部２２４は例えばＮｏ９の画像処理パラメータを選択する。参加者の数は例えば画像に含まれる顔の認識数などにより判断できる。
【００８８】
また、例えば、画像サイズを縮小して画像のデータ量を落とし、ＮＲ強度を弱〜中としてノイズを抑えることでデータ更新量を抑える画像処理パラメータを選択してもよい。データ更新量を抑えるためエッジ強調は例えば低めに設定される。例えば、参加者の顔がアップで映っているが、動作に大きな変化がないような場合に有効になる。このような設定のため、コントローラ部２２４は選択テーブルを参照して例えばＮｏ７の画像サイズの縮小設定（例えば１／２）という画像処理パラメータを選択する。参加者の顔や動作に変化がないことは顔認識と画素値の変化などにより判断できる。また、この場合、エッジ強度を中にすることで、可能な限り解像感を高めることもできる。つまり、ノイズの状況を考慮して、画像処理パラメータが最も良い解像感に設定される。
【００８９】
また、カメラ２０５が文書を撮像している場合は、解像度が高いことが好ましいので、コントローラ部２２４は例えばＮＲ強度をゼロにしてエッジ強度を強くする。また、画像の縮小は行わない。このような設定のため、コントローラ部２２４は選択テーブルを参照して例えばＮｏ５の画像処理パラメータを選択する。コントローラ部２２４は、文書を撮像していることを、例えばカメラ２０５の角度やユーザーによる入力設定、文字の認識などにより判断できる。
【００９０】
このように、パラメータテーブルＴｂ１と選択テーブルは、階層符号化で最良な画質となるように、符号化前にノイズを除去することを主な作用として作成されている。すなわち、画像処理に続く階層符号化で最良な画質となるようにパラメータテーブルＴｂ１が用意される。したがって、画像処理パラメータに基づき画像処理してから符号化することで、画質の劣化を抑えた最適な画質で画像を送信することができる。
【００９１】
なお、ノイズを低減することには、エッジ強調を行わないことでノイズが増えることを抑制することを含む。したがって、ノイズを除去する処理は必ず行わなければならないものではない。また、本実施例では単にノイズを除去することが特徴ではなく、階層符号化で最良な画質となるように、符号化前にノイズを除去すること（そのようにパラメータテーブルＴｂ１が用意されていること）が特徴の１つとなっている。
【００９２】
また、パラメータテーブルＴｂ１に登録される画像処理パラメータは上記に限らない。例えば、解像度、フレームレート、ＳＮＲ（Signal-Noise Ratio）、色数、階調なども画像処理パラメータとなる。すなわち、パラメータテーブルＴｂ１には、通信帯域が小さい場合、解像度、フレームレート、ＳＮＲ（Signal-Noise Ratio）、色数、階調は小さい値に設定されていてもよい。
【００９３】
＜動作手順＞
図１２は、ビデオ会議装置１０１が画像を送信する動作手順を示すフローチャート図の一例である。図１２は二拠点会議の場合について説明するが、他拠点会議の場合も同様である。図１２の動作手順は会議が開始するとスタートする。
【００９４】
会議を開始すると、各ビデオ会議装置１０１は、ビデオ会議装置１０１が置かれている状況を把握する（Ｓ１０）。例えば、カメラ２０５が撮像する画像の明度や、照度が十分であるかどうか、撮像されている画像の鮮明さ、撮影対象などが検出される。
【００９５】
次に、コントローラ部２２４は、ビデオ会議装置１０１が置かれている状況に基づき、選択テーブルとパラメータテーブルＴｂ１を参照し、カメラ２０５が撮像した画像に適用する画像処理パラメータを決定する（Ｓ２０）。
【００９６】
画像処理部２０９は決定した画像処理パラメータで画像処理を行う（Ｓ３０）。
【００９７】
次に、コーデック部２０８は画像を符号化して通信Ｉ／Ｆ部２０７に送出する。通信Ｉ／Ｆ部２０７は画像をネットワーク１０３に送信する（Ｓ４０）。
【００９８】
ビデオ会議装置１０１は図１２の手順をネットワーク１０３が切断又は会議終了まで繰り返す（Ｓ５０）。
【００９９】
以上説明したように、本実施形態のビデオ会議システム１００は、周囲の状況に対しノイズを低減させるために最適な画像処理パラメータを選択し、ノイズを低減させた後に符号化を施すことができるので、画質の劣化を抑えた最適な画質で画像を送信することができる。
【実施例２】
【０１００】
本実施例では、サーバー１０２から取得した通信帯域情報に基づいて画像処理パラメータを選択するビデオ会議システム１００について説明する。なお、本実施例において、実施例１において説明した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１０１】
＜ビデオ会議システムの概略的な特徴＞
図１３は、本実施例のビデオ会議システム１００の概略的な特徴を説明する図の一例である。ビデオ会議に参加する拠点にはビデオ会議装置１０１が配置され、各ビデオ会議装置１０１はサーバー１０２を介して互いに通信することができる。
【０１０２】
実施例１では、ノイズ部分のデータ更新を抑えるためには、エッジ強調を抑えて、ノイズリダクションを追加すればよいとした。しかし、解像感が良い画像はエッジ部が立っている方が良い。
【０１０３】
そのため、本実施例では通信帯域に応じて以下のように画像処理を施す。例えば、通信帯域が広い場合は、多少のノイズがあってもエッジ部を立たせた高解像度な画像を送る。そして、通信帯域が狭くなるにつれて、ノイズを抑えるためにエッジ強調を控えて、ノイズリダクションを徐々に追加していく。エッジ強調を控えて、ノイズリダクションを追加することで解像感は下がっていくが、ノイズ情報の更新が抑えられるため、ディテール情報を送ることが出来る。つまり、通信帯域毎に最適なエッジ強調、ノイズリダクション処理を行うことで、その通信帯域で解像感の高い画像が得られることになる。
【０１０４】
なお、通信帯域とは、データを送信可能な周波数の範囲をいうが、簡単には通信速度のことをいう。本実施形態では、ネットワーク１０３を介して画像や音声を送信する場合の通信速度としてよい。
【０１０５】
図１３に示すように、ビデオ会議装置１０１は帯域・画像処理テーブルＴｂ２を保持している。この帯域・画像処理テーブルＴｂ２（画像処理情報）には、通信帯域情報に対しどのような画像処理を行うかを示す画像処理パラメータが対応づけてられている。画像処理パラメータは、ＮＲ強度、エッジ強調強度、縮小率などである。
【０１０６】
ビデオ会議システム１００は以下のように動作する。
【０１０７】
(i)ビデオ会議装置１０１はサーバー１０２から通信帯域情報を取得する。
【０１０８】
(ii)ビデオ会議装置１０１はサーバー１０２から受信した通信帯域情報に対応づけられた画像処理パラメータを、帯域・画像処理テーブルＴｂ２から読み出し、読み出した画像処理パラメータで画像に対し画像処理を施す。
【０１０９】
(iii)次に、画像に対し階層符号化を施す。
【０１１０】
(iv)画像を通信相手のビデオ会議装置１０１に送信する。
【０１１１】
したがって、画像処理に続く階層符号化により最良な画質となるように帯域・画像処理テーブルＴｂ２を用意しておけば、通信帯域毎に最適な画質で画像を送信することができる。すなわち、通信帯域に最適な画像処理を行うので、高画質に画像処理した画像が通信相手のビデオ会議装置１０１で表示されないなどの無駄が生じにくいだけでなく、送信時の通信帯域で送信可能な最も高画質な画像を送信することができる。
【０１１２】
＜構成例＞
図１４は、画像処理と符号化のブロック図の一例を示す。なお、図１４は、実施例１の図７の画像処理部２０９とスケーラー部２２３を画像処理部２０９にまとめた構成として図示されている。したがって、帯域・画像処理テーブルＴｂ２を除いて実施例１と構成に相違はない。
【０１１３】
サーバー１０２は通信帯域取得部１８を有している。通信帯域取得部１８は、リアルタイムに通信帯域を取得する。どのように通信帯域を取得してもよいが、例えば画像データを受信する時間と画像データのサイズにより算出できる。
【０１１４】
ビデオ会議装置１０１は、通信帯域情報と画像処理パラメータが対応づけられた帯域・画像処理テーブルＴｂ２を記憶している。帯域・画像処理テーブルＴｂ２はサーバー１０２からビデオ会議装置１０１に送信されてもよい。ＣＰＵ２０１（具体的にはＣＰＵ２０１が実現するコントローラ部２２４）は、サーバー１０２から送られてきた通信帯域情報に基づいて画像処理パラメータを変更する。
【０１１５】
ＣＰＵ２０１は、通信Ｉ／Ｆ部２０７がサーバー１０２から受け取った通信帯域情報に基づき、画像処理部２０９の変倍率やフィルタ係数（ＮＲ強度やエッジ強調強度を指示する）を変更させる。すなわち、帯域・画像処理テーブルＴｂ２を参照して、画像処理パラメータを指示する。例えば、通信帯域が広い場合(例えば、2000kbps)は、変倍率は1倍(縮小しない)、フィルタ係数は変倍率１倍に適した値とする。通信帯域が狭い場合(300kbps)は、変倍率は0.25倍、フィルタ係数は変倍率0.25倍に適した値とする。詳細は次述する。
【０１１６】
なお、ＣＰＵ２０１は通信Ｉ／Ｆ部２０７がサーバー１０２から受け取った通信帯域情報に基づき、コーデック部２０８の符号化パラメータを変更させる。例えば、通信帯域が広い場合(例えば、2000kbps)は、フレームレートやビットレートなどは高い値とする。通信帯域が狭い場合(例えば、300kbps)は、フレームレートやビットレートは低い値とする。
【０１１７】
＜＜帯域・画像処理テーブル＞
図１５は、帯域・画像処理テーブルＴｂ２の一例を示す図である。帯域・画像処理テーブルＴｂ２には、通信帯域に対しＮＲ強度、エッジ強調強度及び縮小率が登録されている。ＮＲ強度、エッジ強調強度及び縮小率が画像処理パラメータである。
【０１１８】
サーバー１０２から送信される通信帯域情報に基づいて、画像に施す画像処理パラメータを変更することで、通信帯域に応じて最適な画像処理を施すことができる。
【０１１９】
例えば、帯域が2000kbpsの場合は、高解像度な画像データを送るのに十分な帯域が確保されている。そのため、画像処理パラメータは、ノイズが多少増えても、解像感が高くなるように設定されている。すなわち、エッジ強度を強めて解像感を高くして、ＮＲ強度を弱めてぼやけを抑え、縮小はしない。
【０１２０】
また、例えば、帯域が800kbpsの場合は、高解像度な画像データを送るのには少し狭い。そのため、画像処理パラメータは、画像サイズを１／２に縮小して画像のデータ量を落とし、ＮＲ強度を弱〜中としてノイズを抑えることでデータ更新量を抑えるように設定されている。また、エッジ強度を中にすることで、可能な限り解像感が高められる。
【０１２１】
また、例えば、帯域が300kbpsの場合は、低解像度な画像データを送る方が好ましい。そのため、画像処理パラメータは、画像サイズを１／４に縮小して画像のデータ量を落とし、ＮＲ強度を強としてノイズを可能な限り抑制することでデータ更新量を抑えるように設定されている。また、画像処理パラメータは、エッジ強度を弱から中にすることで、解像感を上げることよりもノイズを含めないように設定されている。
【０１２２】
つまり、画像処理パラメータは、通信帯域で送信可能な画像のデータ量の中で、送れる画像として最も良い解像感になるように設定されている。
【０１２３】
＜動作手順＞
図１６は、ビデオ会議装置１０１が画像を送信する動作手順を示すフローチャート図の一例である。図１６は二拠点会議の場合について説明するが、他拠点会議の場合は後述する。図１６の動作手順は会議が開始するとスタートする。
【０１２４】
会議を開始すると、ビデオ会議装置１０１は、サーバー１０２への上り帯域とサーバー１０２から受信側のビデオ会議装置１０１への下り帯域情報のうち狭い方の帯域情報をサーバー１０２から一定間隔で受信する（Ｓ１１０）。
【０１２５】
送信側のビデオ会議装置１０１のコントローラ部２２４は受信した帯域情報に基づき、帯域・画像処理テーブルＴｂ２を参照する（Ｓ１２０）。
【０１２６】
次に、コントローラ部２２４はカメラ２０５が撮像した画像に適用する画像処理パラメータを決定し、変更する（Ｓ１３０）。
【０１２７】
画像処理部２０９は、変更した画像処理パラメータで画像に対し画像処理を行う（Ｓ１４０）。
【０１２８】
次に、コーデック部２０８が画像を符号化してネットワーク１０３へ送出する（Ｓ１５０）。
【０１２９】
ビデオ会議装置１０１は以上の手順をネットワーク１０３が切断又は会議終了まで繰り返す（Ｓ１６０）。
【０１３０】
図１７は、ビデオ会議システム１００が画像を送信する動作手順を示すシーケンス図の一例である。図１７は二拠点会議の場合について説明するが、他拠点会議の場合は後述する。
S1：サーバー１０２が、"ビデオ会議装置（送信側）−サーバー間"の上りと"ビデオ会議装置（受信側）-サーバー間"の下りの通信帯域のうち狭いほうの通信帯域情報をビデオ会議装置（送信側）に送信する。
S2：ビデオ会議装置（送信側）のコントローラ部２２４は、上記のように、サーバー１０２より受信した通信帯域情報に対応づけられた画像処理パラメータを帯域・画像処理テーブルＴｂ２から読み出して、画像処理パラメータを変更する。
S3：ビデオ会議装置（送信側）は、符号化した画像をサーバー１０２に送信する。
S4：サーバー１０２は、画像をビデオ会議装置（受信側）に送信する。
S5：サーバー１０２はステップＳ１と同様に、"ビデオ会議装置（送信側）−サーバー間"の上りと"ビデオ会議装置（受信側）-サーバー間"の下りの通信帯域情報のうち狭いほうの通信帯域情報をビデオ会議装置（送信側）に送信する。
【０１３１】
以降は、この処理が、ネットワーク１０３が切断又は会議終了まで繰り返えされる。
【０１３２】
＜＜動作手順  他拠点の場合＞＞
次に多拠点会議の場合について、図１６を参照して説明する。処理手順は図１６と同様である。他拠点の場合、サーバー１０２が送信する通信帯域情報が異なっている。
【０１３３】
ステップＳ１１０において、サーバー１０２は以下のように通信帯域情報を送信する。
(i)ビデオ会議装置（送信側）からサーバー１０２への上り通信帯域情報と、ビデオ会議装置（複数の受信側）の下り通信帯域情報のうち、狭い方が前者の場合、前者の通信帯域情報を送信側のビデオ会議装置（送信側）に送信する。
(ii) ビデオ会議装置（送信側）からサーバー１０２への上り通信帯域情報と、ビデオ会議装置（複数の受信側）の下り通信帯域情報のうち、狭い方が後者の場合、ビデオ会議装置（複数の受信側）の中の最も広い通信帯域情報と、真ん中の通信帯域情報と、最も低い通信帯域情報をビデオ会議装置（送信側）に送信する。
【０１３４】
この場合、図１８に示すように、ビデオ会議装置（送信側）のユーザーが送信モード（高画質、中画質、低画質）を会議開始前に設定画面から選ぶ。図１８は、ビデオ会議装置（送信側）の表示部２１０に表示される設定画面の一例である。この設定画面は会議開始前に、拠点数に関係なく表示されてよく、ユーザーが送信モードを設定したが、実際の拠点数が二拠点の場合にはユーザーの設定は作用しない。この場合、サーバー１０２からの通信帯域情報に対応づけられた画像処理パラメータが使用される。
【０１３５】
ユーザーが送信モードを選択できることで、ビデオ会議装置（複数の受信側）で高画質、中画質又は低画質で受信できるビデオ会議装置１０１がそれぞれ存在しても、ユーザーが例えば会議の内容などを考慮して画質を選択できる。
【０１３６】
なお、(ii)では、サーバー１０２はビデオ会議装置（複数の受信側）の中で最も狭い通信帯域情報をビデオ会議装置（送信側）に送信してもよいが、その場合、全拠点で最も低い画質の画像が送られることになる。
【０１３７】
図１９は、ビデオ会議システム１００が画像を送信する動作手順を示すシーケンス図の一例である。図１９は他拠点会議の場合について説明する。
S1：サーバー１０２が、"ビデオ会議装置（送信側）−サーバー間"の上りと"ビデオ会議装置（複数の受信側）-サーバー間"の下りの通信帯域のうち狭い方が、前者か後者かを判断する。まず、狭い方が前者の場合について説明する。狭い方が前者の場合、前者の通信帯域情報をビデオ会議装置（送信側）に送信する。
S2：ビデオ会議装置（送信側）のコントローラ部２２４は、サーバー１０２より受信した帯域情報に対応づけられた画像処理パラメータを帯域・画像処理テーブルＴｂ２から読み出して、画像処理パラメータを変更する。
S3：ビデオ会議装置（送信側）は、符号化した画像をサーバー１０２に送信する。
S4：サーバー１０２は、画像をビデオ会議装置（複数の受信側）に送信する。
S5：サーバー１０２はステップＳ１と同様に、"ビデオ会議装置（送信側）−サーバー間"の上りと"ビデオ会議装置（複数の受信側）-サーバー間"の下りの通信帯域のうち狭い方が、前者か後者かを判断する。狭い方が前者の場合、前者の通信帯域情報をビデオ会議装置（送信側）に送信する。
【０１３８】
一方、ステップＳ１において、狭い方が後者の場合、ビデオ会議装置（複数の受信側）の中の最も広い通信帯域情報と、真ん中の通信帯域情報と、最も低い通信帯域情報をビデオ会議装置（送信側）に送信する。
S2：ユーザーが送信モード（高画質、中画質、低画質）を設定画面から選択する。ビデオ会議装置（送信側）は、サーバー１０２より受信した３つの帯域情報のうち、ユーザーが選択した送信モードに対応する画像処理パラメータを帯域・画像処理テーブルＴｂ２から読み出して、画像処理パラメータを変更する。例えば、ユーザーが高画質を送信モードとして選択した場合、最も広い通信帯域情報に対応づけられた画像処理パラメータに変更し、ユーザーが中画質を送信モードとして選択した場合、真ん中の通信帯域情報に対応づけられた画像処理パラメータに変更し、ユーザーが低画質を送信モードとして選択した場合、最も低い通信帯域情報に対応づけられた画像処理パラメータに変更する。以降のステップＳ３〜Ｓ５の処理は２拠点間通信と同様である。
【０１３９】
以上説明したように、本実施例のビデオ会議システム１００は、通信帯域に最適な画像処理を行うので、高画質に画像処理した画像が通信相手のビデオ会議装置１０１で表示されないなどの無駄が生じにくいだけでなく、送信時の通信帯域で送信可能な高画質な画像を送信することができる。
【０１４０】
＜好適な変形例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１４１】
例えば、本実施形態ではカメラ２０５が画像を撮像する例を説明したが、ビデオ会議装置１０１が例えばＵＳＢ等のＩ／Ｆを備えていれば、符号化されていない生データをＵＳＢメモリから読み出して、画像処理の後に符号化し、通信相手に送信することができる。従って、カメラ２０５は内蔵されていなくてもよい。
【０１４２】
また、各ビデオ会議装置１０１はサーバー１０２を介することなく、直接、通信することができる。この場合、受信側のビデオ会議装置１０１が上りの通信帯域を測定し、送信側のビデオ会議装置１０１が下りの通信帯域を測定することが好ましい。
【０１４３】
また、本実施形態では、Ｈ．２６４ＳＶＣ、Ｈ２６４ＡＶＣを例示したが、本実施形態は階層符号化が可能な圧縮フォーマット（例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−２、ＭＰＥＧ−４など）に対して適用できる。
【符号の説明】
【０１４４】
１００    ビデオ会議システム
１０１    ビデオ会議装置
１０２    サーバー
１０３    ネットワーク
２０５    カメラ
２０６    スピーカ
２０７    通信Ｉ／Ｆ部
２０８    コーデック部
２０９    画像処理部
【先行技術文献】
【特許文献】
【０１４５】
【特許文献１】特開２００９−１１１４４１号公報
【図１】
2016058975.tif 000003
【図２】
2016058975.tif 000004
【図３】
2016058975.tif 000005
【図４】
2016058975.tif 000006
【図５】
2016058975.tif 000007
【図６】
2016058975.tif 000008
【図７】
2016058975.tif 000009
【図８】
2016058975.tif 000010
【図９】
2016058975.tif 000011
【図１０】
2016058975.tif 000012
【図１１】
2016058975.tif 000013
【図１２】
2016058975.tif 000014
【図１３】
2016058975.tif 000015
【図１４】
2016058975.tif 000016
【図１５】
2016058975.tif 000017
【図１６】
2016058975.tif 000018
【図１７】
2016058975.tif 000019
【図１８】
2016058975.tif 000020
【図１９】
2016058975.tif 000021