(57)【要約】【課題】映像データのデータ量を軽減するとともに、低画質領域と高画質領域との境界における画質の違いを目立ち難くすることができるようにすること。【解決手段】映像処理装置は、映像を取得する映像取得部と、前記映像取得部によって取得された前記映像における領域毎に高周波成分を解析する映像解析部と、前記映像解析部による解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多い領域ほど、より高画質となるように画質調整を行う画質調整部とを備える。【選択図】図４
2020058014.tif 000002
【特許請求の範囲】
【請求項１】
映像を取得する映像取得部と、
前記映像取得部によって取得された前記映像における領域毎に高周波成分を解析する映像解析部と、
前記映像解析部による解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多い領域ほど、より高画質となるように画質調整を行う画質調整部と
を備えることを特徴とする映像処理装置。
【請求項２】
前記映像を複数のブロックに分割するブロック化部をさらに備え、
前記映像解析部は、
前記映像における前記ブロック毎に前記高周波成分を解析し、
前記画質調整部は、
前記映像における前記ブロック毎に前記画質調整を行う
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像における特定の被写体が映し出されている領域である特定領域を検出する特定領域検出部をさらに備え、
前記画質調整部は、
前記特定領域の画質が、前記特定領域以外の他の領域の画質よりも高くなるように、前記画質調整を行う
ことを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記画質調整部は、
前記他の領域における前記特定領域の周辺領域である領域の画質が、前記解析結果に応じた画質となり、且つ、前記他の領域における前記特定領域の周辺領域ではない領域の画質が、前記解析結果に応じた画質よりも低い画質となるように、前記画質調整を行う
ことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記画質調整部による画質調整後の前記映像を符号化する符号化部と、
前記符号化部によって符号化された前記映像を外部の装置へ送信する通信部と
をさらに備えることを特徴とする請求項３または４に記載の映像処理装置。
【請求項６】
前記画質調整部は、
前記送信の際に使用する通信資源が不足している場合、前記他の領域の画質を最低画質にする
ことを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記画質調整部は、
前記送信の際に使用する通信資源に余裕がある場合、前記特定領域の画質を最高画質にする
ことを特徴とする請求項５または６に記載の映像処理装置。
【請求項８】
前記画質調整部は、
前記送信の際に使用する通信資源に余裕がある場合、前記他の領域の画質を高める
ことを特徴とする請求項５から７のいずれか一項に記載の映像処理装置。
【請求項９】
前記特定領域検出部は、
前記映像における人物の顔が映し出されている領域を前記特定領域として検出する
ことを特徴とする請求項３から８のいずれか一項に記載の映像処理装置。
【請求項１０】
前記画質調整部は、
前記特定領域検出部によって複数の前記特定領域が検出された場合、会話を行っていない人物の顔が映し出されている前記特定領域を、会話を行っている人物の顔が映し出されている前記特定領域よりも低画質にする
ことを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
複数の通信端末と、
前記複数の通信端末によるビデオ会議に関する各種制御を行うサーバ装置と
を備え、
前記複数の通信端末の各々は、
映像を撮像する撮像部と、
前記撮像部によって撮像された前記映像における領域毎に高周波成分を解析する映像解析部と、
前記映像解析部による解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多くなるにつれてより高画質となるように画質調整を行う画質調整部と、
前記画質調整部による前記画質調整後の前記映像を外部の装置へ送信する通信部と
を有することを特徴とするビデオ会議システム。
【請求項１２】
映像を取得する映像取得工程と、
前記映像取得工程において取得された前記映像における領域毎に高周波成分を解析する映像解析工程と、
前記映像解析工程における解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多くなるにつれてより高画質となるように画質調整を行う画質調整工程と
を含むことを特徴とする映像処理方法。
【請求項１３】
コンピュータを、
映像を取得する映像取得部、
前記映像取得部によって取得された前記映像における領域毎に高周波成分を解析する映像解析部、および、
前記映像解析部による解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多い領域ほど、より高画質となるように画質調整を行う画質調整部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、ビデオ会議システム、映像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、監視カメラによって撮像された撮像画像に対し、動きや顔が検出されていない領域の画像を低画質化し、動きや顔が検出された領域の画像を、動きや顔が検出されていない領域の画像に比べて高画質化する技術が開示されている。この技術によれば、撮像画像の符号化データサイズを小さくして、ネットワークにおける伝送路の負担を軽減することができるとともに、動き領域の画像の視認性を良くすることができるとされている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術では、映像を低画質領域と高画質領域とに区分した場合、低画質領域と高画質領域との境界における画質の違いが目立ってしまい、視聴者に対して違和感を与えてしまうといった課題がある。
【０００４】
本発明は、上述した従来技術の課題を解決するため、映像データのデータ量を軽減するとともに、低画質領域と高画質領域との境界における画質の違いを目立ち難くすることができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の映像処理装置は、映像を取得する映像取得部と、前記映像取得部によって取得された前記映像における領域毎に高周波成分を解析する映像解析部と、前記映像解析部による解析結果に応じて、前記映像における前記領域の少なくとも一部が、前記高周波成分がより多い領域ほど、より高画質となるように画質調整を行う画質調整部とを備える。
【発明の効果】
【０００６】
本発明によれば、映像データのデータ量を軽減するとともに、低画質領域と高画質領域との境界における画質の違いを目立ち難くすることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係るビデオ会議システムのシステム構成を示す図
【図２】本発明の一実施形態に係るＩＷＢの外観を示す図
【図３】本発明の一実施形態に係るＩＷＢのハードウェア構成を示す図
【図４】本発明の一実施形態に係るＩＷＢの機能構成を示す図
【図５】本発明の一実施形態に係るＩＷＢによるビデオ会議実行制御処理の手順を示すフローチャート
【図６】本発明の一実施形態に係る映像処理部による映像処理の手順を示すフローチャート
【図７】本発明の一実施形態に係る映像処理部による映像処理の一具体例を示す図
【図８】本発明の一実施形態に係る映像処理部による映像処理の一具体例を示す図
【発明を実施するための形態】
【０００８】
〔一実施形態〕
以下、図面を参照して、本発明の一実施形態について説明する。
【０００９】
（ビデオ会議システム１０のシステム構成）
図１は、本発明の一実施形態に係るビデオ会議システム１０のシステム構成を示す図である。図１に示すように、ビデオ会議システム１０は、会議サーバ１２、会議予約サーバ１４、および複数のＩＷＢ（Interactive White Board）１００を備えており、これら複数の装置が、インターネット、イントラネット、ＬＡＮ（Local Area Network）等のネットワーク１６に接続されて構成されている。ビデオ会議システム１０は、これら複数の装置により、複数の拠点間でいわゆるビデオ会議を行うことができるようになっている。
【００１０】
会議サーバ１２は、「サーバ装置」の一例である。会議サーバ１２は、複数のＩＷＢ１００によるビデオ会議に関する各種制御を行う。例えば、会議サーバ１２は、ビデオ会議の開始時においては、各ＩＷＢ１００と会議サーバ１２との通信接続状態の監視、各ＩＷＢ１００に対する呼び出し等を行う。また、会議サーバ１２は、ビデオ会議中においては、複数のＩＷＢ１００の間における各種データ（例えば、映像データ、音声データ、描画データ等）の転送処理等を行う。
【００１１】
会議予約サーバ１４は、ビデオ会議の予約状況を管理する。具体的には、会議予約サーバ１４は、外部の情報処理装置（例えば、ＰＣ（Personal Computer）等）からネットワーク１６を介して入力された会議情報を管理する。会議情報には、例えば、開催日時、開催場所、参加者、役割、使用端末等が含まれている。ビデオ会議システム１０は、会議予約サーバ１４によって管理されている会議情報に基づいて、ビデオ会議を行う。
【００１２】
ＩＷＢ１００は、「映像処理装置」、「撮像装置」、および「通信端末」の一例である。ＩＷＢ１００は、ビデオ会議が行われる各拠点に設置され、ビデオ会議の参加者によって使用される通信端末である。例えば、ＩＷＢ１００は、ビデオ会議において入力された各種データ（例えば、映像データ、音声データ、描画データ等）を、ネットワーク１６および会議サーバ１２を介して、他のＩＷＢ１００へ送信することができる。また、例えば、ＩＷＢ１００は、他のＩＷＢ１００から送信されてきた各種データを、データの種類に応じた出力方法（例えば、表示、音声出力等）によって出力することにより、ビデオ会議の参加者へ呈示することができる。
【００１３】
（ＩＷＢ１００の構成）
図２は、本発明の一実施形態に係るＩＷＢ１００の外観を示す図である。図２に示すように、ＩＷＢ１００は、本体１００Ａの前面に、カメラ１０１、タッチパネル・ディスプレイ１０２、マイク１０３、およびスピーカ１０４を備えている。
【００１４】
カメラ１０１は、当該ＩＷＢ１００の前方の映像を撮像する。カメラ１０１は、例えば、レンズと、イメージセンサと、ＤＳＰ（Digital Signal Processor）等の映像処理回路とを備えて構成されている。イメージセンサは、レンズによって集光された光を光電変換することにより、映像データ（ＲＡＷデータ）を生成する。イメージセンサとしては、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。映像処理回路は、イメージセンサによって生成された映像データ（ＲＡＷデータ）に対して、ベイヤー変換、３Ａ制御（ＡＥ（自動露出制御）、ＡＦ（オートフォーカス）、およびＡＷＢ（オートホワイトバランス））等の一般的な映像処理を行うことにより、映像データ（ＹＵＶデータ）を生成する。そして、映像処理回路は、生成された映像データ（ＹＵＶデータ）を出力する。ＹＵＶデータは、色情報を、輝度信号（Ｙ）と、輝度信号と青色成分との差（Ｕ）と、輝度信号と赤色成分との差（Ｖ）との組み合わせで表したものである。
【００１５】
タッチパネル・ディスプレイ１０２は、ディスプレイとタッチパネルとを備えた装置である。タッチパネル・ディスプレイ１０２は、ディスプレイにより、各種情報（例えば、映像データ、描画データ等）を表示することができる。また、タッチパネル・ディスプレイ１０２は、タッチパネルにより、操作体１８（例えば、指、ペン等）の接触操作による、各種情報（例えば、文字、図形、画像等）の入力を行うことができる。ディスプレイとしては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等を用いることができる。タッチパネルとしては、例えば、静電容量方式のタッチパネルを用いることができる。
【００１６】
マイク１０３は、ＩＷＢ１００の周囲の音声を集音し、当該音声に対応する音声データ（アナログデータ）を生成した後、当該音声データ（アナログデータ）をアナログ−デジタル変換することによって、集音された音声に対応する音声データ（デジタルデータ）を出力する。
【００１７】
スピーカ１０４は、音声データ（アナログデータ）に基づいて駆動されることにより、当該音声データに対応する音声を出力する。例えば、スピーカ１０４は、他拠点のＩＷＢ１００から送信された音声データに基づいて駆動されることにより、他拠点においてＩＷＢ１００によって集音された音声を出力する。
【００１８】
このように構成されたＩＷＢ１００は、カメラ１０１から取得された映像データに対して、後述する映像処理および符号化処理を行うことによってデータ量の削減を行った後、当該映像データとともに、タッチパネル・ディスプレイ１０２から取得された各種表示データ（例えば、映像データ、描画データ等）、および、マイク１０３から取得された音声データを、会議サーバ１２を介して他のＩＷＢ１００へ送信することにより、これらのデータを他のＩＷＢ１００と共有することができる。また、ＩＷＢ１００は、他のＩＷＢ１００から送信された各種表示データ（例えば、映像データ、描画データ等）に基づく表示内容を、タッチパネル・ディスプレイ１０２によって表示するとともに、他のＩＷＢ１００から送信された音声データに基づく音声を、スピーカ１０４によって音声出力することにより、これらの情報を他のＩＷＢ１００と共有することができる。
【００１９】
例えば、図２に示す例では、タッチパネル・ディスプレイ１０２において、複数の表示領域１０２Ａ，１０２Ｂを有する表示レイアウトが表示されている。表示領域１０２Ａは、描画領域であり、操作体１８によって描画された描画データが表示される。表示領域１０２Ｂは、カメラ１０１によって撮像された自拠点の映像が表示される。なお、タッチパネル・ディスプレイ１０２は、他のＩＷＢ１００において描画された描画データ、他のＩＷＢ１００によって撮像された他拠点の映像等を、表示することも可能である。
【００２０】
（ＩＷＢ１００のハードウェア構成）
図３は、本発明の一実施形態に係るＩＷＢ１００のハードウェア構成を示す図である。図３に示すように、ＩＷＢ１００は、図２で説明したカメラ１０１、タッチパネル・ディスプレイ１０２、マイク１０３、およびスピーカ１０４に加えて、ＣＰＵ（Central Processing Unit）を備えたシステムコントロール１０５、補助記憶装置１０６、メモリ１０７、通信Ｉ／Ｆ（Inter Face）１０８、操作部１０９、および録画装置１１０を備える。
【００２１】
システムコントロール１０５は、補助記憶装置１０６またはメモリ１０７に記憶されている各種プログラムを実行することにより、ＩＷＢ１００の各種制御を行う。例えば、システムコントロール１０５は、ＣＰＵ、周辺ユニットとのインタフェース、データアクセス調停機能等を備え、ＩＷＢ１００が備える各種ハードウェアの制御、ＩＷＢ１００が備えるビデオ会議に関する各種機能（図４参照）の実行制御を行う。
【００２２】
例えば、システムコントロール１０５は、ビデオ会議に関する基本的な機能として、カメラ１０１から取得した映像データ、タッチパネル・ディスプレイ１０２から取得した描画データ、および、マイク１０３から取得した音声データを、通信Ｉ／Ｆ１０８を介して、他のＩＷＢ１００へ送信する。
【００２３】
また、例えば、システムコントロール１０５は、カメラ１０１から取得された映像データに基づく映像、および、タッチパネル・ディスプレイ１０２から取得された描画データ（すなわち、自拠点の映像データおよび描画データ）に基づく描画内容を、タッチパネル・ディスプレイ１０２に表示させる。
【００２４】
また、例えば、システムコントロール１０５は、他拠点のＩＷＢ１００から送信された映像データ、描画データ、および音声データを、通信Ｉ／Ｆ１０８を介して取得する。そして、システムコントロール１０５は、映像データに基づく映像、および、描画データに基づく描画内容を、タッチパネル・ディスプレイ１０２に表示させるとともに、音声データに基づく音声を、スピーカ１０４から音声出力させる。
【００２５】
補助記憶装置１０６は、システムコントロール１０５により実行される各種プログラム、システムコントロール１０５が各種プログラムを実行するために必要なデータ等を記憶する。補助記憶装置１０６としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の、不揮発性の記憶装置が用いられる。
【００２６】
メモリ１０７は、システムコントロール１０５が各種プログラムを実行する際に利用する一時記憶領域として機能する。メモリ１０７としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の、揮発性の記憶装置が用いられる。
【００２７】
通信Ｉ／Ｆ１０８は、ネットワーク１６に接続し、ネットワーク１６を介して他のＩＷＢ１００との間で各種データの送受信を行うためのインタフェースである。通信Ｉ／Ｆ１０８としては、例えば、１０Ｂａｓｅ−Ｔ，１００Ｂａｓｅ−ＴＸ，１０００Ｂａｓｅ−Ｔ等に対応した有線ＬＡＮインタフェース、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ等に対応した無線ＬＡＮインタフェース等、を用いることができる。
【００２８】
操作部１０９は、各種入力を行うためにユーザによって操作される。操作部１０９としては、例えば、キーボード、マウス、スイッチ等が用いられる。
【００２９】
録画装置１１０は、ビデオ会議における映像データおよび音声データを、メモリ１０７に録画記録する。また、録画装置１１０は、メモリ１０７に録画記録された映像データおよび音声データを再生する。
【００３０】
（ＩＷＢ１００の機能構成）
図４は、本発明の一実施形態に係るＩＷＢ１００の機能構成を示す図である。図４に示すように、ＩＷＢ１００は、主制御部１２０、映像取得部１２２、映像処理部１５０、符号化部１２８、送信部１３０、受信部１３２、復号化部１３４、表示制御部１３６、音声取得部１３８、音声処理部１４０、および、音声出力部１４２を備えている。
【００３１】
映像取得部１２２は、カメラ１０１から取得された映像データ（ＹＵＶデータ）を取得する。映像取得部１２２によって取得される映像データは、複数のフレーム画像が組み合わされて構成されたものである。
【００３２】
映像処理部１５０は、映像取得部１２２によって取得された映像データに対する映像処理を行う。映像処理部１５０は、ブロック化部１５１、映像解析部１５２、画質決定部１５３、特定領域検出部１５４、および画質調整部１５５を備える。
【００３３】
ブロック化部１５１は、フレーム画像を複数のブロックに分割する。例えば、図７および図８に示す例では、ブロック化部１５１は、一のフレーム画像を４８ブロック（８×６ブロック）に分割する。但し、この例では、説明をわかり易くするために比較的少ないブロック数を用いており、実際には、例えば、フレーム画像の解像度が６４０×３６０画素（ＶＧＡ）である場合において、１ブロックを１６×１６画素とする場合、フレーム画像は４０×２３ブロックに分割されることとなる。また、例えば、フレーム画像の解像度が１９２０×１０８０画素（ＦｕｌｌＨＤ）である場合において、１ブロックを１６×１６画素とする場合、フレーム画像は１２０×６８ブロックに分割されることとなる。
【００３４】
映像解析部１５２は、複数のブロックの各々について高周波成分を解析する。「高周波成分を解析する」とは、高周波成分の量を数値化することである。高周波成分とは、隣接画素の濃淡差の大きさを表すものであり、すなわち、フレーム画像において、隣接画素の濃淡差が少ない領域は、高周波成分が少ない領域であり、隣接画素の濃淡差が多い領域は、高周波成分が多い領域である。高周波成分の解析方法としては、公知の如何なる方法を用いてもよいが、例えば、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）、ＪＰＥＧ（Joint Photographic Experts Group）圧縮で用いられるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）等を用いることができる。
【００３５】
画質決定部１５３は、複数のブロックの各々について、高周波成分の解析結果に応じて画質を決定する。具体的には、画質決定部１５３は、映像解析部１５２による高周波成分の解析結果に基づいて、複数のブロックの各々に対して画質を設定することにより、画質レベルマップを作成する。この際、画質決定部１５３は、映像解析部１５２による高周波成分の解析結果に基づいて、高周波成分がより多い領域ほど、より高画質となるように、各ブロックに対して画質を設定する。例えば、画質決定部１５３は、各ブロックに対して、４段階の画質「Ａ（最高画質）」，「Ｂ（高画質）」，「Ｃ（中画質）」，「Ｄ（低画質）」のいずれかを設定する。
【００３６】
なお、画質決定部１５３は、上記のとおり一旦生成された画質レベルマップにおける画質設定を変更することができる。例えば、画質決定部１５３は、特定領域検出部１５４によって顔領域が検出された場合、顔領域の画質が当該顔領域以外の他の領域の画質よりも高画質となるように、画質レベルマップにおける画質設定を変更することができる。この際、画質決定部１５３は、顔領域の周辺の領域ではない領域の画質を、最低画質（例えば、画質「Ｄ」）に変更することで当該領域のデータ量を軽減することができる。
【００３７】
また、例えば、画質決定部１５３は、ネットワーク帯域（「送信の際に使用する通信資源」の一例）が不足していることを判定するための所定の第１の条件を満たす場合（例えば、通信速度が所定の第１の閾値以下である場合）、他の領域の画質を最低画質（例えば、画質「Ｄ」）に変更することで当該領域のデータ量を軽減することができる。また、例えば、画質決定部１５３は、ネットワーク帯域に余裕があることを判定するための所定の第２の条件を満たす場合（例えば、通信速度が所定の第２の閾値以上である場合。但し、第２の閾値≧第１の閾値とする）、顔領域の画質を最高画質（例えば、画質「Ａ」）に変更することで当該顔領域を高画質化することができる。
【００３８】
また、例えば、画質決定部１５３は、画質レベルマップを作成した際に、話者領域の周辺の領域ではない領域の画質を「Ｄ（低画質）」に変更した場合、当該話者領域の周辺の領域ではない領域の画質を、最初に作成された画質レベルマップに設定されている画質に戻すことができる。
【００３９】
特定領域検出部１５４は、映像取得部１２２によって取得された映像データ（フレーム画像）における特定領域を検出する。具体的には、特定領域検出部１５４は、映像取得部１２２によって取得された映像データ（フレーム画像）において、人物の顔が検出される領域である顔領域を、特定領域として検出する。顔領域の検出方法としては、公知の如何なる方法を用いてもよいが、例えば、目、鼻、口などの特徴点を抽出して顔領域を検出する方法等が挙げられる。また、特定領域検出部１５４は、公知の何れかの検出方法を用いて、会話を行っている人物の顔が映し出されている顔領域を、話者領域として特定する。
【００４０】
画質調整部１５５は、最終的な画質レベルマップにしたがって、一のフレーム画像に対し、画素毎に画質調整を行う。例えば、画質レベルマップにおいて、各ブロックに対して「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」のいずれかの画質が設定された場合、画質調整部１５５は、画質の高低関係が「Ａ」＞「Ｂ」＞「Ｃ」＞「Ｄ」となるように、各画素の画質を調整する。画質の調整方法としては公知の如何なる方法を用いてもよいが、例えば、画質調整部１５５は、画質「Ａ」が設定されたブロックに対しては、元の画質を維持する。また、例えば、画質調整部１５５は、画質「Ｂ」，「Ｃ」，「Ｄ」が設定されたブロックに対しては、公知の何らかの画質調整方法（例えば、解像度調整、コントラスト調整、ローパスフィルタ、フレームレート調整等）を用いて、元の画質（画質「Ａ」）から画質を低下させる。一例として、画質「Ａ」が設定されたブロックに対しては、ローパスフィルタを適用せず、画質「Ｂ」が設定されたブロックに対しては、３×３のローパスフィルタを適用し、画質「Ｃ」が設定されたブロックに対しては、５×５のローパスフィルタを適用し、画質「Ｄ」が設定されたブロックに対しては、７×７のローパスフィルタを適用する。これにより、画質レベルに応じて、フレーム画像の情報量を適切に削減することができる。
【００４１】
符号化部１２８は、映像処理部１５０による映像処理後の映像データを符号化する。符号化部１２８によって使用される符号化方式としては、例えば、Ｈ.２６４/ＡＶＣ、Ｈ.２６４/ＳＶＣ、Ｈ.２６５等が挙げられる。
【００４２】
送信部１３０は、符号化部１２８によって符号化された映像データを、マイク１０３から取得された音声データ（音声処理部１４０による音声処理後の音声データ）とともに、ネットワーク１６を介して、他のＩＷＢ１００へ送信する。
【００４３】
受信部１３２は、他のＩＷＢ１００から送信された映像データおよび音声データを、ネットワーク１６を介して受信する。復号化部１３４は、所定の復号化方式により、受信部１３２によって受信された映像データを復号化する。復号化部１３４が用いる復号化方式は、符号化部１２８による符号化方式に対応する復号化方式（例えば、Ｈ.２６４/ＡＶＣ、Ｈ.２６４/ＳＶＣ、Ｈ.２６５等）である。
【００４４】
表示制御部１３６は、復号化部１３４によって復号化された映像データを再生することにより、当該映像データに基づく映像（すなわち、他拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させる。また、表示制御部１３６は、カメラ１０１から取得された映像データを再生することにより、当該映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させる。なお、表示制御部１３６は、ＩＷＢ１００に設定されているレイアウト設定情報に基づいて、複数種類の映像を、複数の表示領域を有する表示レイアウトで表示することができる。例えば、表示制御部１３６は、自拠点の映像と他拠点の映像とを同時に表示することができる。
【００４５】
主制御部１２０は、ＩＷＢ１００の全体の制御を行う。例えば、主制御部１２０は、各モジュールの初期設定、カメラ１０１の撮影モードの設定、他のＩＷＢ１００に対する通信開始要求、ビデオ会議の開始、ビデオ会議の終了、録画装置１１０による録画等の制御を行う。
【００４６】
音声取得部１３８は、マイク１０３から音声データを取得する。音声処理部１４０は、音声取得部１３８によって取得された音声データ、および、受信部１３２によって受信された音声データに対して、各種音声処理を行う。例えば、音声処理部１４０は、受信部１３２によって受信された音声データに対し、コーデック処理、ノイズキャンセル（ＮＣ）処理等、一般的な音声処理を行う。また、例えば、音声処理部１４０は、音声取得部１３８によって取得された音声データに対し、コーデック処理、エコーキャンセル（ＥＣ）処理等、一般的な音声処理を行う。
【００４７】
音声出力部１４２は、受信部１３２によって受信された音声データ（音声処理部１４０による音声処理後の音声データ）をアナログ信号に変換して再生することにより、当該音声データに基づく音声（すなわち、他拠点の音声）を、スピーカ１０４から出力させる。
【００４８】
上記したＩＷＢ１００の各機能は、例えば、ＩＷＢ１００において、補助記憶装置１０６に記憶されたプログラムを、システムコントロール１０５が有するＣＰＵが実行することにより実現される。このプログラムは、予めＩＷＢ１００に導入された状態で提供されてもよく、外部から提供されてＩＷＢ１００に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。なお、上記したＩＷＢ１００の各機能のうち、一部の機能（例えば、映像処理部１５０の一部、または全機能、符号化部１２８、復号化部１３４等）については、システムコントロール１０５とは別に設けられた専用の処理回路によって実現されてもよい。
【００４９】
（ＩＷＢ１００によるビデオ会議実行制御処理の手順）
図５は、本発明の一実施形態に係るＩＷＢ１００によるビデオ会議実行制御処理の手順を示すフローチャートである。
【００５０】
まず、主制御部１２０が、各モジュールの初期設定を行い、カメラ１０１による撮像が可能な状態とする（ステップＳ５０１）。次に、主制御部１２０が、カメラ１０１の撮影モードの設定を行う（ステップＳ５０２）。主制御部１２０による撮影モードの設定は、各種センサの出力に基づいて自動的に行われるものと、オペレータの操作入力により手動的に行われるものとを含み得る。そして、主制御部１２０が、他拠点のＩＷＢ１００に対して、通信開始を要求し、ビデオ会議を開始する（ステップＳ５０３）。なお、主制御部１２０は、他のＩＷＢ１００からの通信開始要求を受けたことをもって、ビデオ会議を開始してもよい。また、主制御部１２０は、ビデオ会議が開始されると同時に、録画装置１１０による映像および音声の録画を開始してもよい。
【００５１】
ビデオ会議が開始されると、一方では、映像取得部１２２が、カメラ１０１から映像データ（ＹＵＶデータ）を取得するとともに、音声取得部１３８が、マイク１０３から音声データを取得する（ステップＳ５０４）。そして、映像処理部１５０が、ステップＳ５０４で取得された映像データに対する映像処理（図６で詳細に説明される）を行うとともに、音声処理部１４０が、ステップＳ５０４で取得された音声データに対する各種音声処理を行う（ステップＳ５０５）。さらに、符号化部１２８が、ステップＳ５０５による映像処理後の映像データを符号化する（ステップＳ５０６）。そして、送信部１３０が、ステップＳ５０６で符号化された映像データを、ステップＳ５０４で取得された音声データとともに、ネットワーク１６を介して、他のＩＷＢ１００へ送信する（ステップＳ５０７）。
【００５２】
ステップＳ５０４〜Ｓ５０７と並行して、受信部１３２が、他のＩＷＢ１００から送信された映像データおよび音声データを、ネットワーク１６を介して受信する（ステップＳ５０８）。そして、復号化部１３４が、ステップＳ５０８で受信された映像データを復号化する。また、音声処理部１４０が、ステップＳ５０８で受信された音声データに対して、各種音声処理を行う（ステップＳ５１０）。さらに、表示制御部１３６が、ステップＳ５０９で復号化された映像データに基づく映像を、タッチパネル・ディスプレイ１０２に表示させるとともに、音声出力部１４２が、ステップＳ５１０による音声処理後の音声データに基づく音声を、スピーカ１０４から出力させる（ステップＳ５１１）。なお、ステップＳ５１１では、さらに、表示制御部１３６が、ステップＳ５０４で取得された映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させることもできる。
【００５３】
ステップＳ５０４〜Ｓ５０７の送信処理に続いて、主制御部１２０が、ビデオ会議が終了したか否かを判断する（ステップＳ５１２）。また、ステップＳ５０８〜Ｓ５１１の受信処理に続いて、主制御部１２０が、ビデオ会議が終了したか否かを判断する（ステップＳ５１３）。ビデオ会議の終了は、例えば、ビデオ会議に参加しているいずれかのＩＷＢ１００において、ユーザによる所定の終了操作がなされた場合に確定する。ステップＳ５１２において、ビデオ会議が終了していないと判断された場合（ステップＳ５１２：Ｎｏ）、ＩＷＢ１００は、ステップＳ５０４へ処理を戻す。すなわち、ステップＳ５０４〜Ｓ５０７の送信処理が繰り返し実行される。また、ステップＳ５１３において、ビデオ会議が終了していないと判断された場合（ステップＳ５１３：Ｎｏ）、ＩＷＢ１００は、ステップＳ５０８へ処理を戻す。すなわち、ステップＳ５０８〜Ｓ５１１の受信処理が繰り返し実行される。一方、ステップＳ５１２またはステップＳ５１３において、ビデオ会議が終了したと判断された場合（ステップＳ５１２：Ｙｅｓ、または、ステップＳ５１３：Ｙｅｓ）、ＩＷＢ１００は、図５に示す一連の処理を終了する。
【００５４】
（映像処理部１５０による映像処理の手順）
図６は、本発明の一実施形態に係る映像処理部１５０による映像処理の手順を示すフローチャートである。図６は、図５のフローチャートにおけるステップＳ５０５の映像処理の手順を詳細に表すものである。
【００５５】
まず、ブロック化部１５１が、映像データを構成する複数のフレーム画像のうち、古いフレーム画像から順に、一のフレーム画像を選択する（ステップＳ６０１）。そして、ブロック化部１５１が、ステップＳ６０１で選択された一のフレーム画像を、複数のブロックに分割する（ステップＳ６０２）。
【００５６】
次に、映像解析部１５２が、ステップＳ６０１で選択された一のフレーム画像に対し、ステップＳ６０２で分割されたブロック毎に、高周波成分を解析する（ステップＳ６０３）。
【００５７】
そして、画質決定部１５３が、ステップＳ６０３による高周波成分の解析結果に基づいて、ステップＳ６０１で選択された一のフレーム画像に対し、ステップＳ６０２で分割されたブロック毎に画質を設定することにより、画質レベルマップを作成する（ステップＳ６０４）。
【００５８】
次に、特定領域検出部１５４が、ステップＳ６０１で選択された一のフレーム画像に対し、人物の顔が映し出されている領域である顔領域を検出する（ステップＳ６０５）。さらに、特定領域検出部１５４が、ステップＳ６０５で検出された顔領域の中から、会話を行っている人物の顔が映し出されている領域である話者領域を検出する（ステップＳ６０６）。
【００５９】
そして、画質決定部１５３が、ステップＳ６０５による顔領域の検出結果と、ステップＳ６０６による話者領域の検出結果とに基づいて、ステップＳ６０４で作成された画質レベルマップを変更する（ステップＳ６０７）。例えば、画質決定部１５３は、ステップＳ６０４で作成された画質レベルマップに対し、話者領域である顔領域の画質を「Ａ（最高画質）」に変更し、話者領域ではない顔領域の画質を「Ｂ（高画質）」に変更する。加えて、画質決定部１５３は、ステップＳ６０４で作成された画質レベルマップに対し、話者領域の周辺の領域の画質を変更することなく、話者領域の周辺の領域ではない領域の画質を「Ｄ（低画質）」に変更する。
【００６０】
次に、画質決定部１５３が、ビデオ会議に使用中のネットワーク帯域に余裕があるか否かを判断する（ステップＳ６０８）。ステップＳ６０８において、ネットワーク帯域に余裕があると判断された場合（ステップＳ６０８：Ｙｅｓ）、画質決定部１５３が、一部の領域の画質を高めるように、画質レベルマップを変更する（ステップＳ６０９）。例えば、画質決定部１５３は、話者領域ではない顔領域の画質を「Ｂ（高画質）」から「Ａ（最高画質）」に変更し、さらに、話者領域の周辺の領域ではない領域の画質を、ステップＳ６０４で最初に作成された画質レベルマップに設定されている画質に戻す。その後、映像処理部１５０が、ステップＳ６１２へ処理を進める。
【００６１】
一方、ステップＳ６０８において、ビデオ会議に使用中のネットワーク帯域に余裕がないと判断された場合（ステップＳ６０８：Ｎｏ）、画質決定部１５３が、ネットワーク帯域が不足しているか否かを判断する（ステップＳ６１０）。ステップＳ６１０において、ネットワーク帯域が不足していると判断された場合（ステップＳ６１０：Ｙｅｓ）、画質決定部１５３は、顔領域以外の他の領域の画質を「Ｄ（低画質）」に変更する（ステップＳ６１１）。そして、映像処理部１５０が、ステップＳ６１２へ処理を進める。
【００６２】
一方、ステップＳ６１０において、ネットワーク帯域が不足していないと判断された場合（ステップＳ６１０：Ｎｏ）、映像処理部１５０が、ステップＳ６１２へ処理を進める。
【００６３】
ステップＳ６１２では、画質調整部１５５が、最終的な画質レベルマップにしたがって、ステップＳ６０１で選択された一のフレーム画像に対し、画素毎に画質調整を行う。
【００６４】
その後、映像処理部１５０は、映像データを構成する全てのフレーム画像に対して、上記の映像処理を行ったか否かを判断する（ステップＳ６１３）。ステップＳ６１３において、全てのフレーム画像に対して映像処理を行っていないと判断された場合（ステップＳ６１３：Ｎｏ）、映像処理部１５０は、ステップＳ６０１へ処理を戻す。一方、ステップＳ６１３において、全てのフレーム画像に対して映像処理を行ったと判断された場合（ステップＳ６１３：Ｙｅｓ）、映像処理部１５０は、図６に示す一連の処理を終了する。
【００６５】
（映像処理部１５０による映像処理の一具体例）
図７および図８は、本発明の一実施形態に係る映像処理部１５０による映像処理の一具体例を示す図である。図７に示すフレーム画像７００は、映像処理部１５０による映像処理の対象とされる一のフレーム画像の一例を表したものである。
【００６６】
まず、図７（ａ）に示すように、フレーム画像７００は、ブロック化部１５１により、複数のブロックに分割される。図７（ａ）に示す例では、フレーム画像７００は、４８ブロック（８×６ブロック）に分割されている。
【００６７】
次に、フレーム画像７００は、映像解析部１５２により、複数のブロックの各々について高周波成分が解析される。図７（ａ）に示す例では、各ブロックに対し、高周波成分の解析結果である高周波成分のレベルとして「０」〜「３」のいずれかが示されている。ここでは、高周波成分のレベルの大小関係は、「３」＞「２」＞「１」＞「０」である。
【００６８】
次に、画質決定部１５３により、フレーム画像７００に対応する画質レベルマップが作成される。図７（ｂ）に示す画質レベルマップ８００は、図７（ａ）に示す高周波成分の解析結果に基づいて、画質決定部１５３によって作成されたものである。図７（ｂ）に示す例では、画質レベルマップ８００では、各ブロックに対し、画質として「Ａ（最高画質）」，「Ｂ（高画質）」，「Ｃ（中画質）」，「Ｄ（低画質）」のいずれかが設定されている。画質「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」は、それぞれ、高周波成分のレベル「３」，「２」，「１」，「０」に対応する。
【００６９】
次に、特定領域検出部１５４により、フレーム画像７００から、人物の顔が映し出されている領域である顔領域が検出される。さらに、特定領域検出部１５４により、フレーム画像７００において検出された顔領域の中から、会話を行っている人物の顔が映し出されている領域である話者領域が検出される。図７（ｃ）に示す例では、顔領域７１０，７１２が検出されている。このうち、顔領域７１０は、話者領域として検出されている。
【００７０】
そして、画質決定部１５３により、顔領域７１０，７１２の検出結果に基づいて、画質レベルマップ８００が変更される。例えば、図８（ａ）に示す例では、画質決定部１５３により、図７（ｂ）に示す画質レベルマップ８００に対し、話者領域である顔領域７１０の画質が「Ａ（最高画質）」に変更されており、話者領域ではない顔領域７１２の画質が「Ｂ（高画質）」に変更されている。また、図８（ａ）に示す例では、顔領域７１０，７１２以外の他の領域（以下、「背景領域７２０」と示す）においては、画質決定部１５３により、顔領域７１０の周辺の領域の画質が変更されることなく、顔領域７１０の周辺の領域ではない領域の画質が「Ｄ（低画質）」に変更されている。
【００７１】
さらに、ビデオ会議に使用中のネットワーク帯域に余裕があると判断された場合、画質決定部１５３により、一部の領域の画質を高めるように、画質レベルマップ８００が変更される。
【００７２】
例えば、図８（ｂ）に示す例では、画質決定部１５３により、画質レベルマップ８００において、顔領域７１２の画質が「Ｂ（高画質）」から「Ａ（最高画質）」に変更されている。
【００７３】
また、図８（ｃ）に示す例では、画質決定部１５３により、画質レベルマップ８００において、背景領域７２０における話者領域の周辺の領域ではない領域の画質が、画質「Ｄ（低画質）」から、図７（ｂ）に示す最初に設定された画質に戻されている。
【００７４】
反対に、ビデオ会議に使用中のネットワーク帯域が不足していると判断された場合、図８（ｄ）に示すように、画質決定部１５３により、画質レベルマップ８００において、背景領域７２０の画質が、「Ｄ（低画質）」に変更される。
【００７５】
フレーム画像７００は、画質調整部１５５により、上記のように作成される最終的な画質レベルマップ８００（図７（ｂ）、図８（ａ）〜（ｄ）のいずれかの画質レベルマップ８００）に基づいて、画素毎に画質調整が行われる。
【００７６】
これにより、フレーム画像７００は、視聴者からの注目度が比較的高い顔領域７１０，７１２においては、比較的高い画質が設定されたものとなり、視聴者からの注目度が比較的低い背景領域７２０においては、比較的低い画質が設定されたものとなる。
【００７７】
但し、フレーム画像７００において、背景領域７２０は、高周波数成分の解析結果に応じて、画質劣化が比較的目立ち易い領域（ブラインド等、高周波数成分が多い領域）については、比較的高い画質が設定され、画質劣化が比較的目立ち難い領域（壁、ディスプレイ等、高周波数成分が少ない領域）については、比較的低い画質が設定される。このため、フレーム画像７００は、背景領域７２０における画質劣化が目立ち難いものとなる。
【００７８】
さらに、フレーム画像７００において、背景領域７２０は、ブロック単位で段階的に画質が空間方向に変化するものとなる。このため、フレーム画像７００は、背景領域７２０において、比較的高い画質が設定される領域と、比較的低い画質が設定される領域との境界における画質の違いが目立ち難いものとなる。
【００７９】
したがって、本実施形態のＩＷＢ１００によれば、映像データのデータ量を軽減するとともに、低画質領域と高画質領域との境界における画質の違いを目立ち難くすることができる。
【００８０】
以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
【００８１】
例えば、上記実施形態では、「映像処理装置」および「通信端末」の一例としてＩＷＢ１００（電子黒板）を用いているが、これに限らない。例えば、上記実施形態で説明したＩＷＢ１００の機能は、撮像装置を備えた他の情報処理装置（例えば、スマートフォン、タブレット端末、ノートパソコン等）によって実現されてもよく、撮像装置を備えていない他の情報処理装置（例えば、パーソナルコンピュータ等）によって実現されてもよい。
【００８２】
また、例えば、上記実施形態では、本発明をビデオ会議システムに適用した例を説明したが、これに限らない。すなわち、本発明は、映像データの一部の領域を低画質化することによってデータ量の削減を目的とするものであれば、如何なる用途にも適用可能である。また、本発明は、映像データの符号化および復号化を行わない情報処理装置にも適用可能である。
【００８３】
また、例えば、上記実施形態では、「特定領域」の一例として顔検出領域を用いているが、これに限らない。すなわち、「特定領域」は、比較的高画質とすることが好ましい被写体（例えば、文字や画像が示されている資料、ホワイトボード、監視カメラにおける人物等）が映し出されている領域であれば、如何なる領域であってもよい。
【００８４】
また、上記実施形態において、各処理に用いられる各種設定値（例えば、特定領域の検出対象とする被写体の種類、フレーム画像を分割する際のブロックサイズ，ブロック数、高周波成分の解析結果のレベルの段階数、画質レベルの段階数、画質調整の際の調整項目，調整量、等）は、予め好適な値が設定されたものであってもよく、ユーザが、ユーザインタフェースを備える情報処理装置（例えば、パーソナルコンピュータ等）から、好適な値を任意に設定可能であってもよい。
【符号の説明】
【００８５】
１０  ビデオ会議システム
１２  会議サーバ（サーバ装置）
１４  会議予約サーバ
１６  ネットワーク
１００  ＩＷＢ（映像処理装置、撮像装置、通信端末）
１０１  カメラ（撮像部）
１０２  タッチパネル・ディスプレイ（表示装置）
１０３  マイク
１０４  スピーカ
１０８  通信Ｉ／Ｆ（通信部）
１２０  主制御部
１２２  映像取得部
１２８  符号化部
１３０  送信部
１３２  受信部
１３４  復号化部
１３６  表示制御部
１３８  音声取得部
１４０  音声処理部
１４２  音声出力部
１５０  映像処理部
１５１  ブロック化部
１５２  映像解析部
１５３  画質決定部
１５４  特定領域検出部
１５５  画質調整部
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】特開２０１７−１６３２２８号公報
【図１】
2020058014.tif 000003
【図２】
2020058014.tif 000004
【図３】
2020058014.tif 000005
【図４】
2020058014.tif 000006
【図５】
2020058014.tif 000007
【図６】
2020058014.tif 000008
【図７】
2020058014.tif 000009
【図８】
2020058014.tif 000010