(57)【要約】【課題】  画像データを効率的に圧縮できるようにする。【解決手段】  画像データから１フレーム分をキャプチャし、キャプチャした画像データを、所定の領域に応じて、画像を高画質で表示させるための高画質画像データと、画質を落として表示させるための低画質画像データとに分割する。キャプチャした画像データが所定のフレームである場合、低画質画像データを記憶し、低画質画像データを読み出して、高画質画像データと読み出した低画質画像データとを合成し、合成した画像データを圧縮させることで、画像データを効率的に圧縮することができる。本発明は、画像処理方法に適用できる。【選択図】  図４
2006197321.tif 000002
【特許請求の範囲】
【請求項１】
動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、前記ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップと、
所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの前記第１の画像データから分割された前記第２のデータを記憶する記憶ステップと、
前記期間の予め定められた数の前記ピクチャの前記第１の画像データのそれぞれから分割された前記第１のデータのそれぞれと、記録されている前記第２のデータとから、前記期間の予め定められた数の前記ピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップと、
ピクチャ間の差分を基に、圧縮符号化する符号化方式により、前記第２の画像データを符号化する符号化ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記第２のデータの画素値の所定の桁数の下位ビットの値を、予め定めた値に置換するように、前記第２のデータを補正する補正ステップをさらに含む
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記ピクチャにおける被写体の画像の移動した量である動き量を検出する検出ステップと、
前記動き量を基に、前記第１の画像データを前記第１のデータと前記第２のデータとに分割するための前記領域を決定する決定ステップと
をさらに含むことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記画像データを相手に送信するためのネットワークにおける遅延時間を計測する計測ステップと、
前記遅延時間を基に、前記第１の画像データを前記第１のデータと前記第２のデータとに分割するための前記領域を決定する決定ステップと
をさらに含むことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、前記ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割手段と、
所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの前記第１の画像データから分割された前記第２のデータを記憶する記憶手段と、
前記期間の予め定められた数の前記ピクチャの前記第１の画像データのそれぞれから分割された前記第１のデータのそれぞれと、記録されている前記第２のデータとから、前記期間の予め定められた数の前記ピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成手段と、
ピクチャ間の差分を基に、圧縮符号化する符号化方式により、前記第２の画像データを符号化する符号化手段と
を備えることを特徴とする画像処理装置。
【請求項６】
動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、前記ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップと、
所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの前記第１の画像データから分割された前記第２のデータを記憶する記憶ステップと、
前記期間の予め定められた数の前記ピクチャの前記第１の画像データのそれぞれから分割された前記第１のデータのそれぞれと、記録されている前記第２のデータとから、前記期間の予め定められた数の前記ピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップと、
ピクチャ間の差分を基に、圧縮符号化する符号化方式により、前記第２の画像データを符号化する符号化ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法および装置、並びにプログラムに関し、特に、画像データを効率的に圧縮できるようにした画像処理方法および装置、並びにプログラムに関する。
【背景技術】
【０００２】
近年、テレビ電話などのように動画像を圧縮してネットワーク経由で伝送したり、HDD（Hard Disk Drive）レコーダやDVD（Digital Versatile Disk）レコーダなどのように動画像を圧縮して記録媒体に記録することができる機器が増加している。また、一般家庭内で、ネットワークに接続されたAV（Audio Visual）機器が、動画像を圧縮してネットワーク経由で伝送するといった環境が増加することも予想される。
【０００３】
従来、動画像を伝送する場合には、伝送路の帯域の制限などから、一般的に画像データは圧縮されてから伝送される。また、同様に、動画像を記録媒体に記録する場合にも、記録媒体の容量の制限などから、一般的に画像データは圧縮されてから記録される。さらに、入力される信号がアナログ信号である場合には、A/D変換（Analog/Digital Conversion）を行って、アナログ信号をデジタル信号に変換してから、MPEG（Moving Picture Experts Group）などのコーデック（CODEC（Compression/Decompression））によりエンコード（符号化）を行ってデータを圧縮している。
【０００４】
また、エンコードされた画像データを受け取った側では、符号化された画像データをデコード（復号化）し、もとの画像データを得る。このように、デジタルデータである画像データにおいては、エンコードにより画像データを圧縮することで、画像データの容量を小さくしてから、所定の処理を実行させることができる。
【０００５】
さらに、予め優先度を設定し、画像の注目する部分などの高い優先度に設定された部分を優先的に符号化することで、その部分を高画質で符号化できる動画符号化装置もある（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開平５−９５５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、符号化された画像データを復号する場合に、コーデックの圧縮方式が変更されると、その方式にあったデコーダでなければ、画像データを復号することができないという問題があった。例えば、特開平５−９５５４０号公報に公開されている動画符号化装置は、エンコードをする際のコーデックの圧縮方式にあわせて、再生側のデコーダも変更する必要があった。
【０００８】
また、コーデックの圧縮方式を高圧縮の方式に変更した場合、圧縮の処理にかかる負荷が増えるので、エンコーダにある程度の処理能力が必要となる。
【０００９】
さらに、伝送路の帯域や記録媒体の容量の制限から、所望の圧縮レートを確保できないことがある。この場合、圧縮レートを減らさなければならないが、デコードしたときに画像全体の品質が劣化するという問題があった。また、画像を高画質にしたい場合であっても、伝送路の帯域や記録媒体の容量の制限から圧縮レートを上げることができないという問題もあった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、エンコードをする前に、高画質にする領域における画像データと、高画質にしない領域における画像データとに分けることで、画像データを効率的に圧縮できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の画像処理方法は、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップと、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶ステップと、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップと、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化ステップとを含むことを特徴とする。
【００１２】
また、本発明の画像処理方法は、第２のデータの画素値の所定の桁数の下位ビットの値を、予め定めた値に置換するように、第２のデータを補正する補正ステップをさらに含むことを特徴とする。
【００１３】
さらに、本発明の画像処理方法は、ピクチャにおける被写体の画像の移動した量である動き量を検出する検出ステップと、動き量を基に、第１の画像データを第１のデータと第２のデータとに分割するための領域を決定する決定ステップとをさらに含むことを特徴とする。
【００１４】
また、本発明の画像処理方法は、画像データを相手に送信するためのネットワークにおける遅延時間を計測する計測ステップと、遅延時間を基に、第１の画像データを第１のデータと第２のデータとに分割するための領域を決定する決定ステップとをさらに含むことを特徴とする。
【００１５】
本発明の画像処理装置は、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割手段と、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶手段と、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成手段と、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化手段とを備えることを特徴とする。
【００１６】
本発明のプログラムは、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップと、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶ステップと、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップと、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化ステップと含むことを特徴とする。
【００１７】
本発明の画像処理方法および装置、並びにプログラムにおいては、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割し、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶し、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成し、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する。
【発明の効果】
【００１８】
本発明によれば、画像データを効率的に圧縮することができる。
【００１９】
また、本発明によれば、効率的に圧縮するための画像データをエンコーダに供給するので、既存のエンコーダとデコーダをそのまま利用することができる。
【００２０】
さらに、本発明によれば、高画質であることを要求される画像の領域の画質を維持したまま、データ量を少なくすることができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。本明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応していないものであることを意味するものではない。
【００２２】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
【００２３】
本発明によれば、画像処理方法が提供される。この画像処理方法は、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップ（例えば、図４のステップＳ１３の処理）と、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶ステップ（例えば、図４のステップＳ１５の処理）と、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップ（例えば、図４のステップＳ１６の処理）と、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化ステップ（例えば、図４のステップＳ１７の処理）とを含む。
【００２４】
また、この画像処理方法は、第２のデータの画素値の所定の桁数の下位ビットの値を、予め定めた値に置換するように、第２のデータを補正する補正ステップ（例えば、図８のステップＳ３６の処理）をさらに含む。
【００２５】
さらに、この画像処理方法は、ピクチャにおける被写体の画像の移動した量である動き量を検出する検出ステップ（例えば、図１０のステップＳ５３の処理）と、動き量を基に、第１の画像データを第１のデータと第２のデータとに分割するための領域を決定する決定ステップ（例えば、図１０のステップＳ５４の処理）とをさらに含む。
【００２６】
また、この画像処理方法は、画像データを相手に送信するためのネットワークにおける遅延時間を計測する計測ステップ（例えば、図１５のステップＳ１０５の処理）と、遅延時間を基に、第１の画像データを第１のデータと第２のデータとに分割するための領域を決定する決定ステップ（例えば、図１４のステップＳ７４の処理）とをさらに含む。
【００２７】
本発明によれば、画像処理装置が提供される。この画像処理装置は、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割手段（例えば、図３の画像分割部５１）と、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶手段（例えば、図３の画像記憶部５２）と、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成手段（例えば、図３の画像合成部５３）と、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化手段（例えば、図２のエンコーダ１５）とを備える。
【００２８】
本発明によれば、プログラムが提供される。このプログラムは、この画像処理方法は、動画像を表示するためのピクチャのそれぞれを表示させる第１の画像データのそれぞれを、ピクチャ上の所定の領域に応じて、第１のデータと第２のデータとに分割する分割ステップ（例えば、図４のステップＳ１３の処理）と、所定の期間に表示される予め定められた数のピクチャのうちの予め定めたピクチャの第１の画像データから分割された第２のデータを記憶する記憶ステップ（例えば、図４のステップＳ１５の処理）と、期間の予め定められた数のピクチャの第１の画像データのそれぞれから分割された第１のデータのそれぞれと、記録されている第２のデータとから、期間の予め定められた数のピクチャのそれぞれを表示させる第２の画像データのそれぞれを生成する生成ステップ（例えば、図４のステップＳ１６の処理）と、ピクチャ間の差分を基に、圧縮符号化する符号化方式により、第２の画像データを符号化する符号化ステップ（例えば、図４のステップＳ１７の処理）とを実行させる。
【００２９】
このプログラムは、記憶媒体（例えば、図１６の磁気ディスク３２１）に記憶することができる。
【００３０】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００３１】
図１は、本発明を適用したテレビ電話システムの一実施の形態の構成を示すブロック図である。
【００３２】
テレビ電話装置１−１は、例えば、テレビ電話専用の機器、カメラを接続したパーソナルコンピュータ、IP（Internet Protocol）テレビ電話機（テレビ電話対応のIP電話機またはテレビ）、またはカメラを内蔵した携帯電話機などから構成される。
【００３３】
テレビ電話装置１−１は、ネットワーク２を介して、画像データまたは音声データをテレビ電話装置１−２に送信するか、または、テレビ電話装置１−２から画像データまたは音声データを受信する。例えば、テレビ電話装置１−１は、ネットワーク２を介して、テレビ電話装置１−１を使用しているユーザの顔の画像の画像データや話している声の音声データをテレビ電話装置１−２に送信するか、テレビ電話装置１−２を使用している相手の顔の画像の画像データや話している声の音声データを受信する。
【００３４】
テレビ電話装置１−２は、テレビ電話装置１−１と同様に、テレビ電話専用の機器などから構成され、ネットワーク２を介して、画像データまたは音声データをテレビ電話装置１−１に送信するか、または、テレビ電話装置１−１から画像データまたは音声データを受信する。
【００３５】
ネットワーク２は、例えば、携帯網、ISDN（Integrated Services Digital Network）などのPSTN（Public Switched Telephone Network）、インターネットなどから構成され、TCP/IP（Transmission Control Protocol/Internet Protocol）などの所定のプロトコルに従って、テレビ電話装置１−１とテレビ電話装置１−２とが相互にアクセスし得るようになされている。
【００３６】
以下、テレビ電話装置１−１およびテレビ電話装置１−２を個々に区別する必要がないとき、単に、テレビ電話装置１と称する。
【００３７】
図２は、本発明を適用したテレビ電話装置１の一実施の形態の構成を示すブロック図である。テレビ電話装置１は、本発明の画像処理装置の一例である。
【００３８】
カメラ１１は、CCD（Charge Coupled Device）センサなどにより構成される。カメラ１１は、被写体（図示せず）からの光を取り込み、被写体の画像に対応する画像データを、いわゆる接続インターフェースであるインプットターミナル（Input Terminal）１２を介して、A/D変換部１３に供給する。なお、カメラ１１を構成する撮像素子は、CCDセンサに限らず、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサなど、画素を単位として画像の信号を生成するものであればよい。
【００３９】
A/D変換部１３は、インプットターミナル１２から供給されたアナログ信号である画像データを、デジタル信号である画像データに変換する。A/D変換部１３は、変換により生成されたデジタル信号である画像データを画像処理部１４に供給する。
【００４０】
画像処理部１４は、CPU（Central Processing Unit）１６の制御の基に、A/D変換部１３から供給された画像データに対して、例えば、高画質にする領域における画像データと、高画質にしない領域における画像データとに分ける処理などの所定の処理を実行し、所定の処理を施した画像データをエンコーダ１５に供給する。なお、画像処理部１４の詳細は後述する。
【００４１】
エンコーダ１５は、CPU１６の制御の基に、画像処理部１４から供給された画像データを、例えば、MPEG2、MPEG4、H.263、またはH.264（MPEG4 AVC（Advanced Video Coding））などの方式に従ってエンコードを行う。エンコーダ１５は、エンコードした画像データをCPU１６に供給する。
【００４２】
なお、エンコードの方式は、上述した例に限らず、ある静止画と、それ以外の静止画との差分の情報を用いて符号化する方式であればよい。例えば、あるフレームと、１つ前のフレームとの差分の情報を用いて符号化する方式であればよい。
【００４３】
また、図示は省略するが、テレビ電話装置１においては、マイクロフォン（マイク）から取り込まれた音声データもオーディオエンコーダによりエンコードされ、画像データと同様に処理される。
【００４４】
CPU１６は、テレビ電話装置１の各部を制御する。CPU１６は、エンコーダ１５から供給されたエンコードされている画像データを取得し、取得した画像データを通信部１９に供給する。
【００４５】
また、CPU１６は、必要に応じて、ROM１７に記録されているプログラムを読み込み、実行する。CPU１６は、必要に応じて、データをRAM１８に供給したり、RAM１８が一時的に記憶しているデータを取得する。
【００４６】
通信部１９は、CPU１６から供給されてくる画像データを、ネットワーク２を介して、他のテレビ電話装置（例えば、テレビ電話装置１−２）宛てに送信する。
【００４７】
図３は、画像処理部１４の詳細な構成を説明するブロック図である。
【００４８】
画像処理部１４は、CPU１６の制御の基に、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像処理部１４は、キャプチャされた画像データに対して、例えば、高画質にする領域における画像データと、高画質にしない領域における画像データとに分ける処理などの所定の処理を実行し、所定の処理を施した画像データをエンコーダ１５に供給する。
【００４９】
画像処理部１４は、画像分割部５１、画像記憶部５２、および画像合成部５３を含むように構成される。
【００５０】
画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、CPU１６の制御の基に、画像の所定の領域に応じて、キャプチャされた画像データを分割する。画像分割部５１は、分割した画像データを画像記憶部５２または画像合成部５３に供給する。
【００５１】
例えば、画像分割部５１は、CPU１６の制御の基に、A/D変換部１３から供給された画像データを順次取得して、キャプチャした画像データを、高画質にする領域（以下、高画質領域と称する）に対応する画像データ（以下、高画質画像データと称する）と高画質にしない領域（以下、低画質領域と称する）に対応する画像データ（以下、低画質画像データと称する）とに分割し、分割した画像データのうち、高画質画像データを画像合成部５３に供給し、低画質画像データを画像記憶部５２に供給する。
【００５２】
画像記憶部５２は、画像分割部５１から供給されてくる画像データを記憶する。画像記憶部５２は、画像合成部５３からの要求に応じて、記憶している画像データを画像合成部５３に供給する。
【００５３】
例えば、画像記憶部５２は、画像分割部５１から供給されてくる低画質画像データを記憶し、画像合成部５３からの要求に応じて、記憶している低画質画像データを画像合成部５３に供給する。
【００５４】
画像合成部５３は、画像記憶部５２から画像データを読み出し、読み出した画像データおよび画像分割部５１から供給された画像データを基に、それらの画像データを合成する。画像合成部５３は、合成した画像データをエンコーダ１５に供給する。
【００５５】
例えば、画像合成部５３は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、それらの画像データを合成し、合成した画像データをエンコーダ１５に供給する。
【００５６】
換言すれば、画像合成部５３は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、それらの画像データを合成することで、画像データを生成しているとも言える。また、以下の説明においても同様とする。
【００５７】
ところで、図１のテレビ電話システムであるが、例えば、あるユーザが使用するテレビ電話装置１−１と、相手が使用するテレビ電話装置１−２との間で、テレビ電話により会話を行う場合、テレビ電話装置１−１の通信部１９が、カメラ１１により撮像されたユーザの画像データを相手の使用するテレビ電話装置１−２宛てに送信することで、相手は、テレビ電話装置１−２に表示されたユーザの画像を見ながら会話をすることができるようになる。また、相手の使用するテレビ電話装置１−２においても同様の処理を行うことで、ユーザと相手との双方向で映像を見ながら会話をすることができるようになる。以下、このような処理を実行するテレビ電話装置１について説明する。
【００５８】
図４のフローチャートを参照して、テレビ電話装置１による画像圧縮の処理について説明する。
【００５９】
ステップＳ１１において、カメラ１１は、被写体を撮像し、撮像した被写体のアナログ信号である画像データを、インプットターミナル１２を介して、A/D変換部１３に供給する。例えば、カメラ１１は、テレビ電話装置１を使用しているユーザの顔付近の画像を撮像し、撮像したユーザ顔付近の画像のアナログ信号である画像データを、インプットターミナル１２を介して、A/D変換部１３に供給する。
【００６０】
ステップＳ１２において、A/D変換部１３は、インプットターミナル１２を介して、カメラ１１から供給されたアナログ信号である画像データを、デジタル信号である画像データに変換する。A/D変換部１３は、変換により生成されたデジタル信号である画像データを画像処理部１４に供給する。例えば、ステップＳ１２において、A/D変換部１３は、インプットターミナル１２を介して、カメラ１１から供給されたアナログ信号である、ユーザの顔付近の画像の画像データを、デジタル信号である画像データに変換し、変換した画像データを画像処理部１４に供給する。
【００６１】
ステップＳ１３において、画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャし、キャプチャされた画像データを、CPU１６の制御の基に、高画質画像データと低画質画像データとに分割する。
【００６２】
なお、画像データから、１フレーム分の画像データをキャプチャする処理は、画像分割部５１が実行せずに、例えば、A/D変換部１３などがその処理を実行するようにしてもよい。
【００６３】
ところで、一般的に、動画は、静止画（フレーム）の１枚１枚を素早く切り替えることで、動きを表現している。すなわち、動画は、所定の期間に、動きを表現できる予め定められた数のフレームによって表示される。この場合、音声は、動画と同期させられる。例えば、画像分割部５１は、このフレームを利用して、画像データを高画質画像データと低画質画像データとに分割する。また、例えば、何枚かの画像データをひとまとまりにしたGOP（Group Of Pictures）などのように、１枚の静止画をピクチャ（例えば、Iピクチャ、Bピクチャ、Pピクチャなど）として扱う場合もあるが、ここでは、ピクチャの一例として、フレームについて説明する。
【００６４】
以下、図５および図６を参照して、画像分割部５１による各フレームにおける画像データを高画質画像データと低画質画像データとに分割する処理について説明する。
【００６５】
まず、図５を参照して、フレームの詳細について説明する。
【００６６】
図５には、ある時刻に表示されるフレームを示す図である。また、図中の水平方向は、時間軸を表しており、図中の下側の矢印に示されるように、時間は、図中左から右に向かって経過するとして説明する。
【００６７】
ここで、今、時刻taにおいて、フレーム１−１が表示された場合、時刻tbまでの１秒間に、フレーム１−２乃至フレーム１−３０が表示される。すなわち、時刻taから時刻tbの１秒間に、フレーム１−１乃至１−３０（３０フレーム）を連続して表示させることで、動画としての動きを表現している。また、同様に、時刻tbから時刻tcの１秒間に、フレーム２−１乃至２−３０（３０フレーム）を連続して表示させることで、動画としての動きを表現している。なお、フレーム３−１乃至３−３０（図示せず）、フレーム４−１（図示せず）乃至４−３０（図示せず）、・・・についても同様である。
【００６８】
また、１秒間にどれだけのフレームを表示させるかは、使用する機器やアプリケーションプログラムの特性などによって決定することができる。例えば、フレームレート（Frame Rate）（１秒間に表示させるフレームの数）を上げることで、表示する画像の画質をより滑らかにすることができ（高画質となり）、それに対して、フレームレートを下げると、画質が滑らかにならず、コマ落ちする可能性がでてくる（高画質とならない）。具体的には、図５で示される例においては、フレームレートは、３０（FPS（Frame Per Second））となる。すなわち、フレーム１−１乃至４−３０は、それぞれ、1/30秒毎に表示される。
【００６９】
さらに、１秒間にどれだけのデータ量のデータを流れるようにするかによっても、表示する画像の画質が変化する。例えば、ビットレート（Bit Rate）（１秒間に流れるデータ量）を上げることで、表示する画像の画質を高画質にすることができ、それに対して、ビットレートを下げると、画質が悪くなる（高画質とならない）可能性がでてくる。また、ビットレートと表示する画像の画質とは、トレードオフの関係にあり、ビットレートを上げるとデータ量（ファイルサイズ）が増え、ビットレートを下げるとデータ量（ファイルサイズ）が減るようになる。
【００７０】
さらに、１枚のフレームにおいても、重要な部分（注目される部分）であるので高画質にする領域と、さほど重要ではないので画質をよくしなくてもよい領域とがある。
【００７１】
図６は、カメラ１１により撮像される画像を表示する表示部（図示せず）の画面の例を示す図である。
【００７２】
画面１０１には、表示領域の解像度として、縦480（dots）×横640（dots）（いわゆる、VGA（Video Graphics Array））が定義されている。
【００７３】
例えば、画面１０１に表示されている画像は、カメラ１１により撮像されるテレビ電話装置１−１を使用しているユーザの顔付近の画像であって、ユーザとテレビ電話装置１−２により会話をしている相手が見ている画像でもある。
【００７４】
Ａ領域１１１は、画面１０１に表示されている画像のうち、さほど画質をよくしなくてもよい低画質領域の画像であり、Ｂ領域１１２は、画面１０１に表示されている画像のうち、高画質にする高画質領域の画像である。例えば、テレビ電話装置１の場合、重要となる領域（相手に注目される領域）は、ユーザの顔や体が映っている中央付近の画像であり、それ以外の背景の領域は、相手にほとんど注目されず画像は重要とならないことが多い。
【００７５】
そこで、図６で示される例においては、背景などの低画質領域の画像として、画面１０１に表示された画像の周囲10％をＡ領域１１１と設定し、それ以外のユーザの顔や体が映っている中央付近の画像を、高画質領域であるＢ領域１１２として設定する。すなわち、画面１０１に表示された画像の周囲10％を除いた、縦384（dots）×横512（dots）である解像度の領域がＢ領域１１２となる。
【００７６】
なお、この場合、画像の周囲10％とは、画面１０１における表示領域の解像度（例えば、縦480（dots）×横640（dots））の周囲10％の領域のことである。例えば、図６で示される例においては、上下の縦48（dots）と左右の横64（dots）とに囲まれた外側の領域となる。以下、同様にして説明する。
【００７７】
また、このＡ領域１１１とＢ領域１１２における領域の指定方法であるが、ユーザの設定や工場出荷時設定により、予め指定した固定の領域としてもよいし、後述するように、動きのある画像やネットワーク２の状態により、動的に変化する可変の領域としてもよい。さらに、領域の指定の方法は、画像全体に対するＡ領域１１１またはＢ領域１１２の占める割合に限らず、例えば、画素（ドット）などにより指定するようにしてもよい。
【００７８】
また、領域の指定方法は、図６で示される長方形（正方形）の領域で指定する方法に限らず、例えば、円形、楕円形、または三角形など、画面１０１上の領域を指定できる方法であればよい。また、領域の指定方法は、図６で示される画面１０１の中心を基点にした領域の指定方法に限らず、例えば、右隅、左隅などを基点として、画面１０１上の領域を指定するようにしてもよい。
【００７９】
以下、高画質領域（Ｂ領域１１２）と低画質領域（Ａ領域１１１）の領域を示す情報を領域情報と称して説明する。
【００８０】
図４のフローチャートに戻り、例えば、ステップＳ１３において、画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、キャプチャした１フレーム分の画像データを、CPU１６の制御の基に、図６のＡ領域１１１に対応する画像データとＢ領域１１２に対応する画像データとに分割する。
【００８１】
すなわち、CPU１６は、例えば、ユーザに設定されたデータであって、ROM１６に記録されている「画像の周囲10％をＡ領域１１１とし、それ以外の画像をＢ領域１１２とする」ことを示す領域情報を基に、画像分割部５１に、A/D変換部１３から供給された画像データを順次取得して、キャプチャした１フレーム分の画像データを、図６のＡ領域１１１に対応する画像データとＢ領域１１２に対応する画像データとに分割させる。なお、ステップＳ１３の処理における領域を指定する処理は、CPU１６の代わりに、画像処理部１４が行うようにしてもよい。
【００８２】
ステップＳ１４において、画像分割部５１は、自分が分割を行った画像データに対応したフレームが、所定のフレームであるか否かを判定する。例えば、ステップＳ１４において、画像分割部５１は、分割を行った画像データに対応したフレームが、１秒間に表示されるフレームの先頭（例えば、図５のフレーム１−１、フレーム２−１、フレーム３−１、・・・）であるか否かを判定する。
【００８３】
また、例えば、ステップＳ１４において、画像分割部５１は、分割を行った画像データに対応したフレームが、何枚かの画像データをひとまとまりにしたGOPの先頭であるか否かを判定する。さらに、例えば、ステップＳ１４において、画像分割部５１は、分割を行った画像データに対応したフレームが、GOPにおいて、Iピクチャとして符号化されるフレームであるか否かを判定する。この場合、画像分割部５１は、CPU１６を介して、エンコーダ１５から、それぞれのフレームが、Iピクチャ、Bピクチャ、Pピクチャのいずれかとして符号化されることを示すデータを取得する。
【００８４】
ステップＳ１４において、所定のフレームであると判定された場合、ステップＳ１５に進み、画像分割部５１は、分割した画像データのうち、低画質画像データを画像記憶部５２に供給し、高画質画像データを画像合成部５３に供給する。画像記憶部５２は、画像分割部５１から供給されてくる低画質画像データを記憶する。
【００８５】
例えば、ステップＳ１５において、画像分割部５１は、分割した画像データのうち、Ａ領域１１１に対応する画像データを画像記憶部５２に供給し、Ｂ領域１１２に対応する画像データを画像合成部５３に供給する。画像記憶部５２は、画像分割部５１から供給されてくるＡ領域１１１に対応する画像データを記憶する。すなわち、画像記憶部５２が記憶するＡ領域１１１に対応する画像データは、１秒間に表示されるフレームのうち、先頭のフレーム（例えば、図５のフレーム１−１など）のＡ領域１１１に対応する画像データのみが記憶される。
【００８６】
一方、ステップＳ１４において、所定のフレームでないと判定された場合、ステップＳ１５の処理をスキップして、ステップＳ１６に進み、画像合成部５３は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、それらの画像データを合成する。画像合成部５３は、合成した画像データをエンコーダ１５に供給する。
【００８７】
例えば、ステップＳ１６において、画像合成部５３は、画像記憶部５２から先頭のフレームにおけるＡ領域１１１に対応する画像データを読み出し、読み出したＡ領域１１１に対応する画像データおよび画像分割部５１から供給されたＢ領域１１２に対応する画像データを基に、Ａ領域１１１に対応する画像データとＢ領域１１２に対応する画像データとを合成し、合成した画像データをエンコーダ１５に供給する。
【００８８】
このようにすることで、例えば、フレーム１−１において、Ａ領域１１１に対応する画像データは、フレーム１−１のＡ領域１１１に対応した画像データとなり、Ｂ領域１１２に対応する画像データは、フレーム１−１のＢ領域１１２に対応した画像データとなる。また、フレーム１−２において、Ａ領域１１１に対応する画像データは、フレーム１−１のＡ領域１１１に対応した画像データとなり、Ｂ領域１１２に対応する画像データは、フレーム１−２のＢ領域１１２に対応した画像データとなる。さらに、フレーム１−３において、Ａ領域１１１に対応する画像データは、フレーム１−１のＡ領域１１１に対応した画像データとなり、Ｂ領域１１２に対応する画像データは、フレーム１−３のＢ領域１１２に対応した画像データとなる。同様に、フレーム１−４乃至１−３０においては、Ａ領域１１１に対応する画像データは、フレーム１−１のＡ領域１１１に対応した画像データとなり、Ｂ領域１１２は、フレーム１−４乃至１−３０のそれぞれのＢ領域１１２に対応した画像データとなる。
【００８９】
また、同様に、フレーム２−１乃至２−３０においては、Ａ領域１１１に対応する画像データは、フレーム２−１のＡ領域１１１に対応した画像データとなり、Ｂ領域１１２に対応する画像データは、フレーム２−１乃至２−３０のそれぞれのＢ領域１１２に対応する画像データとなる。なお、フレーム３−１乃至３−３０（図示せず）、フレーム４−１（図示せず）乃至４−３０（図示せず）、・・・についても同様である。
【００９０】
すなわち、画像合成部５３が、画像記憶部５２に記憶されているＡ領域１１１に対応する画像データ（先頭のフレームのＡ領域１１１に対応する画像データ）を読み込んで、Ｂ領域１１２に対応する画像データと合成させることで、１秒間に表示されるフレームのＡ領域１１１に対応する画像データは変化せず、Ｂ領域１１２に対応する画像データのみが変化することとなる。
【００９１】
ステップＳ１７において、エンコーダ１５は、画像合成部５３から供給された画像データを、例えば、MPEG4の方式に従ってエンコードし、エンコードした画像データをCPU１６に供給する。
【００９２】
すなわち、エンコーダ１５がエンコードする画像データは、画像処理部１４により、１秒間に表示されるフレーム毎に、フレームの高画質にしない低画質領域の画像データを、同一の画像データが使用されるようにしているので、フレームを圧縮するときの差分のデータを低画質領域について減らすことができるので、低画質領域のデータ量を減らすことができるとともに、高画質にする高画質領域のデータ量を増やすことで、重要な領域の画質を向上させることができる。
【００９３】
例えば、ビットレートが一定である場合、１秒間に表示されるフレーム１−１乃至１−３０において、それぞれのＡ領域１１１に関しては、フレーム１−１のＡ領域１１１に対応する画像データを使用するようにして、フレーム１−２乃至１−３０のＡ領域１１１に対応する画像データを使用しないようにするので、フレーム１−２乃至１−３０を圧縮するときの差分データにおいては、Ａ領域１１１に対応する画像データがなくなるので、Ａ領域１１１に対応する画像データのデータ量を減らすことができるとともに、Ｂ領域１１２に対応する画像データのデータ量を増やすことで、Ｂ領域１１２の画質を向上させることができる。
【００９４】
より具体的には、図６で示される例において、画面１０１に表示された画像の周囲10％をＡ領域１１１と設定し、それ以外のユーザの顔や体が映っている中央付近の画像をＢ領域１１２として設定しているので、画面１０１に表示された画像におけるＢ領域１１２の占める割合、すなわち、画面１０１に表示された画像の解像度：Ｂ領域１１２の解像度は、縦480（dots）×横640（dots）：縦384（dots）×横512（dots）となるので、その割合は、64％となる。同様に、画面１０１に表示された画像におけるＡ領域１１１の占める割合は、36％となる。
【００９５】
すなわち、フレーム１−２乃至１−３０においては、画面１０１に表示された画像の36％を占めるＡ領域１１１に対応する画像データを使用しないので、その分、画面１０１に表示された画像の64％を占めるＢ領域１１２に対応する画像データのデータ量を増やすことで、Ｂ領域１１２の画質を向上させることができる。
【００９６】
そして、図６で示される例において、フレーム１−１乃至１−３０の画像データのデータ量は、本発明を適用しない場合と比較した場合、すなわち、本発明を適用しない場合のデータ量と本発明を適用した場合のデータ量との比率は、縦480（dots）×横640（dots）×30（フレーム）：縦480（dots）×横640（dots）×1（フレーム） + 縦384（dots）×横512（dots）×29（フレーム）となるので、その割合は、65.2％となる。すなわち、本発明を適用することで、例えば、最大で34.8％のデータ量を減らすことができる。
【００９７】
ステップＳ１８において、CPU１６は、エンコーダ１５から供給されたエンコードされている画像データを取得し、取得した画像データを通信部１９に供給する。通信部１９は、CPU１６から供給された画像データを、ネットワーク２を介して、相手の使用するテレビ電話装置１−２宛てに送信して、ステップＳ１１の処理に戻り、上述した処理を繰り返す。
【００９８】
このように、１枚のフレームを高画質領域と低画質領域とに分割して、１秒間に表示されるフレームのうち、低画質領域に対応する低画質画像データを同一の画像データを使用するようにすることで、画像データをエンコードする際に、高画質領域の画質を向上させることができる。すなわち、本発明においては、動画の圧縮レートを下げても画像の品質を維持することができるとともに、動画の圧縮レートを上げなくても画像の品質を向上させることができる。
【００９９】
また、本発明においては、エンコーダ１５が画像データをエンコードする前に、画像処理部１４が、高画質領域と低画質領域とに分ける処理を実行するので、画像データを符号化するテレビ電話装置１−１のエンコーダ１５と、その符号化された画像データを復号化するテレビ電話装置１−２のデコーダ（図示せず）には、何ら変更を加える必要がなく、既存のエンコーダやデコーダをそのまま利用することができる。すなわち、既存のエンコーダやデコーダに対して、本発明の機能を組み込みやすい（商品化しやすい）という利点がある。さらに、低画質領域についても、多少の画質の劣化があるものの十分な画質で再生することができる。
【０１００】
ところで、上述した、背景などのＡ領域１１１においては、画面に表示されている画像は、静止画のように見えているが、現実には、量子化による誤差やノイズなどにより、絶えず変化をしている。そこで、本発明においては、この量子化による誤差やノイズによって発生する差分データを抑制し、Ａ領域１１１のデータ量を減らして、Ｂ領域１１２の画質を向上させることもできる。
【０１０１】
次に、図７および図８を参照して、低画質領域に対応する画像データの差分データを抑制する処理について説明する。低画質領域に対応する画像データの差分データを抑制する処理を実行する場合、図２において、画像処理部１４の代わりに、画像処理部１５１を設けるように構成する。
【０１０２】
図７は、画像処理部１５１の詳細な構成を説明するブロック図である。図３に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１０３】
画像処理部１５１は、図２の画像処理部１４の代わりに設けられる。画像処理部１５１は、CPU１６の制御の基に、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像処理部１５１は、キャプチャされた画像データに対して、例えば、高画質にする領域における画像データと、高画質にしない領域における画像データとに分ける処理などの所定の処理を実行し、所定の処理を施した画像データをエンコーダ１５に供給する。
【０１０４】
画像処理部１５１は、画像分割部５１、画像記憶部５２、画像合成部５３、および補正部１６１を含むように構成される。
【０１０５】
画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、CPU１６の制御の基に、画像の所定の領域に応じて、キャプチャされた１フレーム分の画像データを、高画質画像データと低画質画像データとに分割する。画像分割部５１は、分割した画像データのうち、高画質画像データを補正部１６１に供給し、低画質画像データを画像記憶部５２に供給する。
【０１０６】
画像記憶部５２は、画像分割部５１から供給されてくる低画質画像データを記憶する。画像記憶部５２は、補正部１６１からの要求に応じて、低画質画像データを補正部１６１に供給する。
【０１０７】
補正部１６１は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、それぞれの画像データを補正する。補正部１６１は、補正した高画質画像データおよび低画質画像データを画像合成部５３に供給する。
【０１０８】
例えば、補正部１６１は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、低画質画像データに対応する画面に表示される画像の各画素のビット長のうち、所定の下位ビットが固定値となるように補正し、補正した高画質画像データおよび低画質画像データを画像合成部５３に供給する。
【０１０９】
画像合成部５３は、補正部１６１から供給された補正された高画質画像データおよび低画質画像データを合成する。画像合成部５３は、合成した画像データをエンコーダ１５に供給する。
【０１１０】
なお、画像記憶部５２を構成から外すことで、補正部１６１は、画像分割部５１から供給された高画質画像データと低画質画像データのそれぞれを補正し、補正した画像データを画像合成部５３に供給するようにしてもよい。すなわち、この場合、１秒間に表示されるフレームにおける低画質画像データは、同一の画像データとはならず、全て異なる画像データとなるが、補正部１６１により補正されることにより、画像データをエンコードする際に、高画質領域の画質を向上させることができる。
【０１１１】
また、画像処理部１５１において、補正部１６１を、画像分割部５１と画像記憶部５２との間に入れる構成とすることで、補正部１６１は、画像分割部５１から供給された低画質画像データを補正し、補正した低画質画像データを画像記憶部５２に記憶させることができる。すなわち、この場合、画像合成部５３が読み出す低画質画像データは、既に補正されている画像データとなる。
【０１１２】
次に、図８のフローチャートを参照して、テレビ電話装置１による画像圧縮の処理について説明する。
【０１１３】
ステップＳ３１乃至ステップＳ３４の処理のそれぞれは、図４のステップＳ１１乃至ステップＳ１４の処理のそれぞれと同様であり、その説明は省略する。
【０１１４】
ステップＳ３４において、所定のフレームであると判定された場合、ステップＳ３５に進み、画像分割部５１は、分割した画像データのうち、低画質画像データを画像記憶部５２に供給し、高画質画像データを補正部１６１に供給する。画像記憶部５２は、画像分割部５１から供給されてくる低画質画像データを記憶する。
【０１１５】
例えば、ステップＳ３５において、画像分割部５１は、分割した画像データのうち、Ａ領域１１１に対応する画像データを画像記憶部５２に供給し、Ｂ領域１１２に対応する画像データを補正部１６１に供給する。画像記憶部５２は、画像分割部５１から供給されてくるＡ領域１１１に対応する画像データを記憶する。すなわち、画像記憶部５２が記憶するＡ領域１１１に対応する画像データは、１秒間に表示されるフレームのうち、先頭のフレーム（例えば、図５のフレーム１−１など）のＡ領域１１１に対応する画像データのみが記憶される。
【０１１６】
一方、ステップＳ３４において、所定のフレームでないと判定された場合、ステップＳ３５の処理をスキップして、ステップＳ３６に進み、補正部１６１は、画像記憶部５２から低画質画像データを読み出し、読み出した低画質画像データおよび画像分割部５１から供給された高画質画像データを基に、それぞれの画像データを補正する。補正部１６１は、補正した高画質画像データおよび低画質画像データを画像合成部５３に供給する。
【０１１７】
例えば、ステップＳ３６において、補正部１６１は、画像記憶部５２からＡ領域１１１に対応した画像データを読み出し、読み出したＡ領域１１１に対応した画像データおよび画像分割部５１から供給されたＢ領域１１２に対応した画像データを基に、Ａ領域１１１に対応した画像データのデータ量を減らすように補正し、補正したＡ領域１１１に対応した画像データおよびＢ領域１１２に対応した画像データを画像合成部５３に供給する。
【０１１８】
また、例えば、ステップＳ３６において、補正部１６１は、画像記憶部５２からＡ領域１１１に対応した画像データを読み出し、読み出したＡ領域１１１に対応した画像データおよび画像分割部５１から供給されたＢ領域１１２に対応した画像データを基に、Ａ領域１１１に対応した画像データのデータ量を減らすように補正をするとともに、Ａ領域１１１に対応した画像データの減らしたデータ量に応じて、Ｂ領域１１２に対応した画像データのデータ量を増やすように補正し、補正したＡ領域１１１に対応した画像データおよびＢ領域１１２に対応した画像データを画像合成部５３に供給するようにしてもよい。
【０１１９】
ここで、補正の方法であるが、例えば、画面に表示される画像の各画素のビット長のうち、所定のビットが固定値となるように補正する。具体的には、図６で示される例において、画面１０１に表示される各画素のビット長を、例えば、８ビットと仮定した場合、Ａ領域１１１は、背景などであり、一見静止画のように見えているが、現実には、８ビットのうち、下位の１または２ビットは、量子化による誤差やノイズなどにより、絶えず変化をしているので、その下位の１または２ビットを固定値とすることで、量子化による誤差やノイズなどにより発生する差分データの発生を抑制し、Ａ領域１１１のデータ量を減らして、Ｂ領域１１２の画質を向上させることもできるようになる。
【０１２０】
また、Ｂ領域１１２の画質を向上させるために、Ａ領域１１１のデータ量を減らしているので、Ａ領域１１１の画質は、色、明るさなどの解像度が劣化するおそれがあるが、Ａ領域１１１は、もともと高画質にしない領域であるために、実際上問題となることはない。
【０１２１】
なお、補正の方法は、上述した、所定のビットを固定値となるように補正する方法に限らず、低画質画像データ（Ａ領域１１１）のデータ量を減らすことができる方法であればよい。
【０１２２】
ステップＳ３８およびステップＳ３９の処理のそれぞれは、図４のステップＳ１７およびステップＳ１８の処理のそれぞれと同様であり、その説明は省略する。
【０１２３】
このように、１枚のフレームを高画質領域と低画質領域とに分割して、１秒間に表示されるフレームのうち、低画質領域に対応する低画質画像データにおいては、同一の画像データを使用し、さらに、低画質画像データのデータ量が少なくなるように補正することで、画像データをエンコードする際に、高画質領域の画質を向上させることができる。すなわち、本発明においては、動画の圧縮レートを下げても画像の品質を維持することができるとともに、動画の圧縮レートを上げなくても画像の品質を向上させることができる。
【０１２４】
ところで、上述した領域情報であるが、上述した、予め設定されるデータを基に指定する方法以外にも、領域情報を動的に変更させることもできる。以下、図９乃至図１５を参照して、領域情報を動的に変更させる処理について説明する。
【０１２５】
まず、図９乃至図１２を参照して、画像のうち、動いている部分を高画質領域とし、静止している部分を低画質領域として指定することにより、高画質領域と低画質領域（領域情報）を動的に変更させる処理について説明する。
【０１２６】
図９は、画像処理部１７１の詳細な構成を説明するブロック図である。図３に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１２７】
画像処理部１７１は、図２の画像処理部１４の代わりに設けられる。画像処理部１７１は、CPU１６の制御の基に、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像処理部１７１は、キャプチャされた画像データに対して、例えば、高画質にする領域における画像データと、高画質にしない領域における画像データとに分ける処理などの所定の処理を実行し、所定の処理を施した画像データをエンコーダ１５に供給する。
【０１２８】
画像処理部１７１は、画像分割部５１、画像記憶部５２、画像合成部５３、動き量検出部１８１、および領域決定部１８２を含むように構成される。
【０１２９】
動き量検出部１８１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。動き量検出部１８１は、キャプチャされた１フレーム分の画像データから被写体（物体）の移動量（動き量）を検出し、検出した動き量を領域決定部１８２に供給する。例えば、動き量検出部１８１は、A/D変換部１３から供給された画像データから、ブロックマッチング（アルゴリズム）により、動きベクトル（動き量）を検出し、検出した動きベクトル（動き量）を領域決定部１８２に供給する。
【０１３０】
領域決定部１８２は、動き量検出部１８１から供給された動き量を基に、高画質領域と低画質領域とを設定（決定）する。領域決定部１８２は、決定した高画質領域と低画質領域の領域を示す情報である領域情報を画像分割部５１に供給する。例えば、領域決定部１８２は、動き量検出部１８１から供給された動き量を基に、動き量が検出された領域の画像を高画質領域とし、動き量が検出されなかった領域の画像を低画質領域として決定し、決定した領域情報を画像分割部５１に供給する。
【０１３１】
画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、領域決定部１８２から供給された領域情報に応じて、キャプチャされた１フレーム分の画像データを、高画質データと低画質データとに分割する。画像分割部５１は、分割した画像データのうち、高画質画像データを画像合成部５３に供給し、低画質画像データを画像記憶部５２に供給する。
【０１３２】
次に、図１０のフローチャートを参照して、テレビ電話装置１による画像圧縮の処理について説明する。
【０１３３】
ステップＳ５１およびステップＳ５２の処理のそれぞれは、図４のステップＳ１１およびステップＳ１２の処理のそれぞれと同様であり、その説明は省略する。
【０１３４】
ステップＳ５３において、動き量検出部１８１は、A/D変換部１３から供給された画像データから動き量を検出し、検出した動き量を領域決定部１８２に供給する。
【０１３５】
例えば、ステップＳ５３において、動き量検出部１８１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャし、キャプチャされた１フレーム分の画像データから被写体（物体）の移動量（動き量）を検出し、検出した動き量を領域決定部１８２に供給する。
【０１３６】
例えば、ステップＳ５３において、動き量検出部１８１は、A/D変換部１３から供給された画像データから、ブロックマッチング（アルゴリズム）により、動きベクトル（動き量）を検出し、検出した動きベクトル（動き量）を領域決定部１８２に供給する。具体的には、動き量検出部１８１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャし、キャプチャされたフレームに、所定のサイズ（例えば、縦16（dots）×横16（dots））のマクロブロックを設定し、１つ前のフレームとの間でブロックマッチングにより、フレーム上の左上のマクロブロックを先頭に、右下のマクロブロックまで順に、差分絶対和（評価値）を順次算出し、評価値が最小となる場所の動きを、動きベクトルとして検出する。
【０１３７】
なお、動き量検出部１８１がA/D変換部１３から供給された画像データから動きベクトル（動き量）を検出する方法であるが、キャプチャされたフレームを複数の領域に分割し、分割した領域毎に動きベクトル（動き量）を検出するようにしてもよい。また、動きベクトル（動き量）は、ブロックマッチングに限らず、例えば、勾配法などの方法により、検出するようにしてもよい。
【０１３８】
ステップＳ５４において、領域決定部１８２は、動き量検出部１８１から供給された動き量を基に、高画質領域と低画質領域とを設定（決定）する。領域決定部１８２は、決定した高画質領域と低画質領域の領域を示す情報である領域情報を画像分割部５１に供給する。
【０１３９】
例えば、ステップＳ５４において、領域決定部１８２は、動き量検出部１８１から供給された動き量を基に、動き量が検出された領域の画像を高画質領域とし、動き量が検出されなかった領域の画像を低画質領域として決定し、決定した領域情報を画像分割部５１に供給する。具体的には、ステップＳ５４において、領域決定部１８２は、動き量検出部１８１から供給された動き量を基に、動き量が検出されなかった画像の周囲5％を低画質領域と決定し、動き量が検出されたそれ以外の領域を高画質領域と決定し、決定した「画像の周囲5％を低画質領域（Ａ領域１１１）とし、それ以外の画像を高画質領域（Ｂ領域１１２）とする」ことを示す領域情報を画像分割部５１に供給する。
【０１４０】
ここで、図１１および図１２を参照して、領域決定部１８２が決定する画質領域の詳細について説明する。
【０１４１】
図１１は、カメラ１１により撮像される画像を表示する表示部（図示せず）の画面の例を示す図である。図６に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１４２】
図１１で示される例において、領域決定部１８２は、動き量が検出されなかった低画質領域の画像（例えば、背景など）として、画面１０１に表示された画像の周囲5％をＡ領域１１１と決定し、それ以外の動き量の検出された高画質領域の画像（例えば、ユーザの顔や体など）をＢ領域１１２として決定している。すなわち、画面１０１に表示された画像の周囲5％を除いた、縦432（dots）×横576（dots）である解像度の領域がＢ領域１１２となる。
【０１４３】
すなわち、画面１０１に表示された画像におけるＢ領域１１２の占める割合、すなわち、画面１０１に表示された画像の解像度：Ｂ領域１１２の解像度は、縦480（dots）×横640（dots）：縦432（dots）×横576（dots）となるので、81％となる。同様に、画面１０１に表示された画像におけるＡ領域１１１の占める割合は、19％となる。
【０１４４】
この場合、例えば、ユーザが動作している場合など、動いている画像の領域が多いので、画面１０１のうち、動いている画像の領域が81％であり、静止している画像の領域が19％となる。従って、例えば、画面１０１に表示された画像の周囲40％をＡ領域１１１と設定し、それ以外をＢ領域１１２と設定した場合（例えば、後述する図１２）と比較して、Ｂ領域１１２に割り当てられるデータ量が少なくなるが、より広い領域の画質を向上させることができる。
【０１４５】
また、領域決定部１８２が決定する画質領域は、動き量検出部１８１が検出する動き量と連動して変化するので、動きのある画像の場合、絶えず変化している。次に、図１２を参照して、図１１と比較して、ユーザの動作が少ない場合の画質領域について説明する。
【０１４６】
図１２は、カメラ１１により撮像される画像を表示する表示部（図示せず）の画面の例を示す図である。図６に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１４７】
図１２で示される例においては、領域決定部１８２は、動き量が検出されなかった低画質領域の画像（例えば、背景など）として、画面１０１に表示された画像の周囲40％をＡ領域１１１と決定し、それ以外の動き量の検出された高画質領域の画像（例えば、ユーザの顔や体など）をＢ領域１１２として決定している。すなわち、画面１０１に表示された画像の周囲40％を除いた、縦288（dots）×横384（dots）である解像度の領域がＢ領域１１２となる。
【０１４８】
すなわち、画面１０１に表示された画像におけるＢ領域１１２の占める割合、すなわち、画面１０１に表示された画像の解像度：Ｂ領域１１２の解像度は、縦480（dots）×横640（dots）：縦288（dots）×横384（dots）となるので、36％となる。同様に、画面１０１に表示された画像におけるＡ領域１１１の占める割合は、64％となる。
【０１４９】
この場合、例えば、ユーザに動きがない場合など、動いている画像の領域が少ないので、画面１０１のうち、動いている画像の領域が36％であり、静止している画像の領域が64％となる。従って、画面１０１に表示された画像の周囲5％をＡ領域１１１と設定し、それ以外をＢ領域１１２と設定した場合（例えば、図１１）と比較して、Ｂ領域１１２に割り当てられるデータ量が多くなり、画質を向上させることができる。
【０１５０】
このように、動き量が大きい場合、全体に対するＢ領域１１２の占める割合が大きくなり、動き量が小さい場合、全体に対するＢ領域１１２の占める割合が小さくなるので、高画質領域（注目されている部分）の画質を維持しながら、さらに、効率的に圧縮することができる。
【０１５１】
なお、Ａ領域１１１とＢ領域１１２の指定方法は、図１１および図１２で示される長方形（正方形）の領域で指定する方法に限らず、例えば、画面１０１に表示されているユーザの輪郭など、画面１０１上の領域を指定できる方法であればよい。
【０１５２】
図１０のフローチャートに戻り、ステップＳ５５において、画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、領域決定部１８２から供給された領域情報に応じて、キャプチャされた１フレーム分の画像データを、高画質データと低画質データとに分割する。
【０１５３】
例えば、ステップＳ５５において、画像分割部５１は、領域決定部１８２から供給された画像の周囲5％を低画質領域とする領域情報に応じて、A/D変換部１３から供給された画像データからキャプチャした１フレーム分の画像データを、図１１のＡ領域１１１に対応した画像データと図１１のＢ領域１１２に対応した画像データとに分割する。
【０１５４】
また、例えば、ステップＳ５５において、画像分割部５１は、領域決定部１８２から供給された画像の周囲40％を低画質領域とする領域情報に応じて、A/D変換部１３から供給された画像データからキャプチャした１フレーム分の画像データを、図１２のＡ領域１１１に対応した画像データと図１２のＢ領域１１２に対応した画像データとに分割する。
【０１５５】
ステップＳ５６乃至ステップＳ６０の処理のそれぞれは、図４のステップＳ１４乃至ステップＳ１８の処理のそれぞれと同様であり、その説明は省略する。
【０１５６】
このように、動きがある部分（注目されている部分）である高画質領域と、それ以外の部分である低画質領域とが画像の動きにあわせて動的に変化するので、動きのある部分（注目されている部分）が常に高画質になり、動画を見ている相手に対して、より鮮明な画像を認識させることができる。例えば、テレビ電話装置１−１においては、カメラ１１により撮像されるテレビ電話をしているユーザの画像が高画質となるので、テレビ電話装置１−２を使用する相手に、より鮮明なユーザの画像を認識させることができる。
【０１５７】
なお、領域決定部１８２が画質領域を決定するタイミングであるが、１秒間に表示されるフレームのうち、先頭のフレーム（例えば、図５のフレーム１−１など）に決定することが望ましい。すなわち、１秒間に表示されるフレームにおいて、画質領域が同じになるようにすることで、画像合成部５３が合成する、画像記憶部５２から読み込んだ低画質画像データと、画像分割部５１から供給された高画質画像データとの同期をとることができるようになる。
【０１５８】
また、上述した例においては、領域決定部１８２は、動き量が検出された領域を高画質領域に決定し、動き量が検出されなかった領域を低画質領域に決定しているが、例えば、動き量が所定の閾値を超えた場合、その閾値を超えた領域を高画質領域に決定し、それに対して、動き量が所定の閾値に満たない場合、その閾値に満たない領域を低画質領域に決定するようにしてもよい。
【０１５９】
ところで、ネットワーク２の一例であるインターネットは、ベストエフォート型のネットワークであるので、ネットワーク２がもつ処理能力以上の通信量が発生してネットワーク２が混雑し、輻輳が発生する可能性がある。また、ネットワーク２の状態は、常に変化しているので、図１のテレビ電話装置１−１とテレビ電話装置１−２との間の通信状況も絶えず変化している。従って、以下、図１３乃至図１５を参照して、ネットワーク２の遅延時間を検出し、検出した遅延時間に応じて、領域情報を動的に変更させる処理について説明する。
【０１６０】
図１３は、画像処理部２０１の詳細な構成を説明するブロック図である。図３に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０１６１】
画像処理部２０１は、図２の画像処理部１４の代わりに設けられる。画像処理部２０１は、CPU１６の制御の基に、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像処理部２０１は、キャプチャされた画像データに対して、例えば、高画質にする領域における画像データと、高画質にしない領域における画像データとに分ける処理などの所定の処理を実行し、所定の処理を施した画像データをエンコーダ１５に供給する。
【０１６２】
画像処理部２０１は、画像分割部５１、画像記憶部５２、画像合成部５３、RTT（Round-Trip Time）計測部２１１、および領域決定部２１２を含むように構成される。
【０１６３】
RTT計測部２１１は、送信するパケットの遅延時間（RTT）を検出するためのRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。例えば、RTT計測部２１１は、送信の時刻を示すデータを格納しているRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。また、RTT計測部２１１は、通信部１９に受信され、通信部１９から供給されたRTT計測パケットを基に、遅延時間を計算する。RTT計測部２１１は、計算した遅延時間を領域決定部２１２に供給する。
【０１６４】
さらに、RTT計測部２１１は、通信部１９から供給されたRTT計測パケットのデータ部と同様のデータ部のRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。例えば、RTT計測部２１１は、通信部１９から供給されたRTT計測パケットのデータ部に格納された送信時刻と同様の時刻を格納したRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。
【０１６５】
領域決定部２１２は、RTT計測部２１１から供給された遅延時間を、例えば、領域決定部２１２の内部に備えるメモリに記憶する。領域決定部２１２は、RTT計測部２１１から供給された遅延時間であって、領域決定部２１２の内部に備えるメモリに記憶されている遅延時間を取得する。
【０１６６】
また、領域決定部２１２は、取得した遅延時間を基に、高画質領域と低画質領域とを設定（決定）する。領域決定部２１２は、決定した高画質領域と低画質領域とを示す領域情報を画像分割部５１に供給する。例えば、領域決定部２１２は、取得した遅延時間を基に、領域情報を、高画質領域を広くして、低画質領域を狭くするように決定し、決定した領域情報を画像分割部５１に供給する。
【０１６７】
画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、領域決定部２１２から供給された領域情報に応じて、キャプチャされた１フレーム分の画像データを、高画質データと低画質データとに分割する。画像分割部５１は、分割した画像データのうち、高画質画像データを画像合成部５３に供給し、低画質画像データを画像記憶部５２に供給する。
【０１６８】
次に、図１４のフローチャートを参照して、テレビ電話装置１による画像圧縮の処理について説明する。
【０１６９】
ステップＳ７１およびステップＳ７２の処理のそれぞれは、図４のステップＳ１１およびステップＳ１２の処理のそれぞれと同様であり、その説明は省略する。
【０１７０】
ステップＳ７３において、領域決定部２１２は、RTT計測部２１１から供給された遅延時間であって、自分が記憶している遅延時間を取得する。例えば、領域決定部２１２は、RTT計測部２１１から供給された遅延時間であって、領域決定部２１２の内部に備えるメモリに記憶されている遅延時間を取得する。
【０１７１】
詳細は後述するが、RTT計測部２１１から供給された遅延時間は、テレビ電話装置１−１とテレビ電話装置１−２との間で、RTT計測パケットの送受信を繰り返すことにより、RTT計測部２１１によって計算される。
【０１７２】
ステップＳ７４において、領域決定部２１２は、取得した遅延時間を基に、高画質領域と低画質領域とを設定（決定）する。領域決定部２１２は、決定した高画質領域と低画質領域とを示す領域情報を画像分割部５１に供給する。
【０１７３】
例えば、ステップＳ７４において、領域決定部２１２は、取得した遅延時間が所定の時刻を超える場合（例えば、ネットワーク２において、輻輳が発生している場合）、ネットワーク２がもつ処理能力以上の通信量が発生してネットワーク２が混雑しているため、画像データの送信に時間がかかったり、画像データの一部が破棄されて相手に届かない可能性があるので、より重要な領域である高画質領域を狭くして確実に相手に届くようにするとともに、さほど画質をよくしなくてもよい低画質領域を広くするように領域情報を決定し、決定した領域情報を画像分割部５１に供給する。
【０１７４】
より具体的には、ステップＳ７４において、領域決定部２１２は、取得した遅延時間を基に、画像の周囲40％を低画質領域と決定し、それ以外の領域を高画質領域と決定し（例えば、図１２の画面）、決定した領域情報を画像分割部５１に供給する。
【０１７５】
すなわち、画像データのデータ量（トラフィック）を少なくすることで、例えば、ネットワーク２において、輻輳が発生していても、より確実に高画質領域の画像データを相手に送信することができる。
【０１７６】
一方、例えば、ステップＳ７４において、領域決定部２１２は、取得した遅延時間が所定の時刻以下となる場合（例えば、ネットワーク２において、輻輳が発生していない場合）、ネットワーク２に流れるトラフィックには余裕があるため、画像データを確実に相手に送信することができるので、より重要な領域である高画質領域を広くして鮮明な画像が相手に届くようにするとともに、さほど画質をよくしなくてもよい低画質領域を狭くするように領域情報を決定し、決定した領域情報を画像分割部５１に供給する。
【０１７７】
より具体的には、ステップＳ７４において、領域決定部２１２は、取得した遅延時間を基に、画像の周囲5％を低画質領域と決定し、それ以外の領域を高画質領域と決定し（例えば、図１１の画面）、決定した領域情報を画像分割部５１に供給する。
【０１７８】
すなわち、例えば、ネットワーク２において、輻輳が発生していないとき、高画質領域のデータ量を多くすることで、より鮮明な画像を相手に届けることができる。
【０１７９】
ステップＳ７５において、画像分割部５１は、A/D変換部１３から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。画像分割部５１は、領域決定部２１２から供給された領域情報に応じて、キャプチャされた１フレーム分の画像データを、高画質データと低画質データとに分割する。
【０１８０】
例えば、ステップＳ７５において、画像分割部５１は、領域決定部２１２から供給された画像の周囲5％を低画質領域とする領域情報に応じて、A/D変換部１３から供給された画像データからキャプチャした１フレーム分の画像データを、図１１のＡ領域１１１に対応した画像データと図１１のＢ領域１１２に対応した画像データとに分割する。
【０１８１】
また、例えば、ステップＳ７５において、画像分割部５１は、領域決定部２１２から供給された画像の周囲40％を低画質領域とする領域情報に応じて、A/D変換部１３から供給された画像データからキャプチャした１フレーム分の画像データを、図１２のＡ領域１１１に対応した画像データと図１２のＢ領域１１２に対応した画像データとに分割する。
【０１８２】
ステップＳ７６乃至ステップＳ８０の処理のそれぞれは、図４のステップＳ１４乃至ステップＳ１８の処理のそれぞれと同様であり、その説明は省略する。
【０１８３】
このように、例えば、ネットワーク２の一例であるインターネットは、ベストエフォート型のネットワークであるので、ネットワークがもつ処理能力以上の通信量が発生してネットワークが混雑し、輻輳が発生することがあるが、本発明によれば、ネットワークの遅延時間を検出し、遅延時間に応じて、高画質領域と低画質領域を決定するので、ネットワーク２において、輻輳が発生したとしても、重要な領域の画像を、より確実に表示させることができる。
【０１８４】
なお、領域決定部２１２が画質領域を決定するタイミングであるが、１秒間に表示されるフレームのうち、先頭のフレーム（例えば、図５のフレーム１−１など）に決定することが望ましい。すなわち、１秒間に表示されるフレームにおいて、画質領域が同じになるようにすることで、画像合成部５３が合成する、画像記憶部５２から読み込んだ低画質画像データと、画像分割部５１から供給された高画質画像データとの同期をとることができるようになる。
【０１８５】
次に、図１５のフローチャートを参照して、テレビ電話装置１−１とテレビ電話装置１−２によるRTT計測パケットの送受信の処理について説明する。
【０１８６】
ステップＳ１０１において、テレビ電話装置１−１のRTT計測部２１１は、内蔵しているタイマが終了したか否かを判定することで、所定の時刻を経過したか否かを判定する。例えば、ステップＳ１０１において、RTT計測部２１１は、タイマの値と10（s）などの所定の値とを比較することによって、所定の時刻が経過したか否かを判定する。
【０１８７】
ステップＳ１０１において、所定の時刻が経過していないと判定された場合、ステップＳ１０１に戻り、上述した処理を繰り返す。すなわち、詳細は後述するが、テレビ電話装置１−１のRTT計測部２１１は、ある一定の間隔（例えば、10（s））でRTT計測パケットを生成して送信させることになる。
【０１８８】
ステップＳ１０１において、所定の経過が経過したと判定された場合、ステップＳ１０２に進み、テレビ電話装置１−１のRTT計測部２１１は、RTT計測パケットを生成し、生成したRTT計測パケットを、テレビ電話装置１−１の通信部１９に送信する。例えば、RTT計測部２１１は、内蔵しているRTCから現在時刻（RTT計測パケットの送信時刻）を取得し、取得した送信時刻を格納したRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。
【０１８９】
ステップＳ１０３において、テレビ電話装置１−１の通信部１９は、RTT計測部２１１から供給されたRTT計測パケットを、ネットワーク２を介して、テレビ電話装置１−２宛てに送信する。
【０１９０】
ステップＳ１１１において、テレビ電話装置１−２の通信部１９は、ネットワーク２を介して、テレビ電話装置１−１から送信されてくるRTT計測パケットを受信し、受信したRTT計測パケットをテレビ電話装置１−２のRTT計測部２１１に供給する。
【０１９１】
ステップＳ１１２において、テレビ電話装置１−２のRTT計測部２１１は、テレビ電話装置１−２の通信部１９から供給されたRTT計測パケットのデータ部と同様のデータ部のRTT計測パケットを生成し、生成したRTT計測パケットをテレビ電話装置１−２の通信部１９に供給する。例えば、ステップＳ１１２において、RTT計測部２１１は、通信部１９から供給されたRTT計測パケットのデータ部に格納された送信時刻と同様の時刻を格納したRTT計測パケットを生成し、生成したRTT計測パケットを通信部１９に供給する。
【０１９２】
ステップＳ１１３において、テレビ電話装置１−２の通信部１９は、テレビ電話装置１−２のRTT計測部２１１から供給されたRTT計測パケットを、ネットワーク２を介して、テレビ電話装置１−２宛てに送信する。
【０１９３】
このように、テレビ電話装置１−２は、RTT計測パケットを受信すると、直ちに、テレビ電話装置１−１にRTT計測パケットを返送する。
【０１９４】
ステップＳ１０４において、テレビ電話装置１−１の通信部１９は、ネットワーク２を介して、テレビ電話装置１−２から送信されてくるRTT計測パケットを受信し、受信したRTT計測パケットをテレビ電話装置１−１のRTT計測部２１１に供給する。
【０１９５】
ステップＳ１０５において、テレビ電話装置１−１のRTT計測部２１１は、テレビ電話装置１−１の通信部１９に受信され、テレビ電話装置１−１の通信部１９から供給されたRTT計測パケットを基に、遅延時間を計算する。テレビ電話装置１−１のRTT計測部２１１は、計算した遅延時間をテレビ電話装置１−１の領域決定部２１２に供給する。
【０１９６】
例えば、ステップＳ１０５において、RTT計測部２１１は、通信部１９に受信され、通信部１９から供給された、自分が生成して送信させたRTT計測パケットに応じて、テレビ電話装置１−２から送信されてくるRTT計測パケットを基に、遅延時間を計算し、計算した遅延時間を領域決定部２１２に供給する。
【０１９７】
具体的には、RTT計測パケットには、自分がテレビ電話装置１−１から送信された時刻を示す送信時刻が格納されており、この送信時刻により遅延時間を計算する。すなわち、テレビ電話装置１−１のRTT計測部２１１は、RTT計測パケットがテレビ電話装置１−１から送信された時刻と、テレビ電話装置１−２からRTT計測パケットを受信した時刻を基に、遅延時間を計算する。例えば、ステップＳ１０５において、テレビ電話装置１−１のRTT計測部２１１は、式（１）により、遅延時間を計算する。
【０１９８】
（RTT計測パケットの受信時刻）−（RTT計測パケットの送信時刻）・・・（１）
【０１９９】
ここで、RTT計測パケットの受信時刻は、テレビ電話装置１−１のRTT計測部２１１がRTT計測パケットを受信したときに、内蔵しているRTC（Real Time Clock）から取得した時刻である。また、RTT計測パケットの送信時刻は、テレビ電話装置１−２から受信されたRTT計測パケットに格納されているRTT計測パケットの送信時刻である。
【０２００】
ステップＳ１０６において、テレビ電話装置１−１の領域決定部２１２は、テレビ電話装置１−１のRTT計測部２１１から供給された遅延時間を、例えば、テレビ電話装置１−１の領域決定部２１２の内部に備えるメモリに記憶して、処理は終了する。
【０２０１】
このように、図１４のフローチャートを参照して説明した、画像圧縮の処理とは別に、テレビ電話装置１−１とテレビ電話装置１−２との間で、図１５のフローチャートを参照して説明した、RTT計測パケットの送受信の処理を繰り返して実行することで、ネットワーク２の遅延時間を監視し、ネットワーク２において、輻輳が発生しているか否かを、リアルタイムで判定することができる。なお、パケットの欠落を検出して、これに応じて領域情報を変更するようにしてもよい。
【０２０２】
なお、上述した例においては、テレビ電話装置１について説明したが、本発明はそれに限らず、例えば、図２のカメラ１１およびインプットターミナル１２の代わりに、アンテナおよびチューナを設ける構成とすることも可能である。その場合、チューナは、ユーザの操作に応じた受信する放送局の指定に従って、アンテナより受信された地上波や放送衛星からの電波などのテレビジョン放送の放送電波に対応する放送信号であって、アンテナから供給されてくる放送信号を復調し、復調して得られた画像データをA/D変換部１３に供給する。
【０２０３】
また、例えば、図２のカメラ１１およびインプットターミナル１２の代わりに、記録媒体およびドライブを設ける構成とすることも可能である。その場合、ドライブは、例えば、CD（Compact Disc）、DVD、またはBlu-ray Discなどの記録媒体が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。ドライブは、取得したプログラムやデータなどをA/D変換部１３に供給する。さらに、例えば、図２のカメラ１１およびインプットターミナル１２の代わりに、VTR（Videotape Recorder）およびインプットターミナルを設ける構成とすることも可能である。この場合、インプットターミナルは、VTRから供給されてくる画像データをA/D変換部１３に供給する。
【０２０４】
すなわち、本発明においては、上述した、カメラ１１およびインプットターミナル１２に限らず、A/D変換部１３に対して、画像データを供給できる構成であればよい。また、外部から供給されてくる画像データがデジタルデータである場合、A/D変換部１３を介さずに、画像処理部１４に対して、画像データを供給する構成にすることもできる。
【０２０５】
さらに、例えば、図２の通信部１９の代わりに、ドライブおよび記録媒体を設ける構成とすることも可能である。その場合、ドライブは、例えば、CD、DVD、またはBlu-ray Discなどの記録媒体が装着されたとき、それらを駆動し、CPU１６から供給されてくる画像データを記録媒体に記録させる。すなわち、本発明においては、上述した、通信部１９に限らず、CPU１６からの画像データを出力できる構成であればよい。
【０２０６】
また、上述した例においては、複数の実施例を記載しているが、それぞれの実施例を単独で実施することはもちろん、複数の実施例を組み合わせるようにしてもよい。さらに、上述したフレームレートまたはビットレートは任意の値に変更することができる。
【０２０７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２０８】
図１６は、上述した一連の処理をプログラムにより実行するテレビ電話装置１の構成の例を示すブロック図である。CPU３０１は、ROM３０２、または記録部３０８に記録されているプログラムに従って各種の処理を実行する。RAM３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０２０９】
CPU３０１にはまた、バス３０４を介して入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロフォンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果得られた画像等を出力部３０７に出力する。
【０２１０】
入出力インターフェース３０５に接続されている記録部３０８は、例えばハードディスクなどで構成され、CPU３０１が実行するプログラムや各種のデータを記録する。通信部３０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部３０９は、入力画像を取得するか、または出力画像を出力する、外部とのインターフェースとして動作する。
【０２１１】
また、通信部３０９を介してプログラムを取得し、記録部３０８に記録してもよい。
【０２１２】
入出力インターフェース３０５に接続されているドライブ３１０は、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、または半導体メモリ３２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３０８に転送され、記録される。
【０２１３】
一連の処理をさせるプログラムが格納されている記録媒体は、図１６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（CD-ROM(Compact Disc-Read Only Memory)、DVDを含む）、光磁気ディスク３２３（MD(Mini-Disc)（商標）を含む）、若しくは半導体メモリ３２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記録部３０８に含まれるハードディスクなどで構成される。
【０２１４】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０２１５】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２１６】
【図１】テレビ電話システムの一実施の形態の構成を示すブロック図である。
【図２】本発明を適用したテレビ電話装置の一実施の形態の構成を示すブロック図である。
【図３】画像処理部の詳細な構成を説明するブロック図である。
【図４】画像圧縮の処理を説明するフローチャートである。
【図５】フレームの詳細について説明する図である。
【図６】カメラにより撮像される画像を表示する画面の例を示す図である。
【図７】画像処理部の他の詳細な構成を説明するブロック図である。
【図８】画像圧縮の処理を説明するフローチャートである。
【図９】画像処理部の他の詳細な構成を説明するブロック図である。
【図１０】画像圧縮の処理を説明するフローチャートである。
【図１１】カメラにより撮像される画像を表示する表示部の画面の例を示す図である。
【図１２】カメラにより撮像される画像を表示する表示部の画面の例を示す図である。
【図１３】画像処理部の他の詳細な構成を説明するブロック図である。
【図１４】画像圧縮の処理を説明するフローチャートである。
【図１５】テレビ電話装置によるRTT計測パケットの送受信の処理について説明するフローチャートである。
【図１６】テレビ電話装置の構成を説明するブロック図である。
【符号の説明】
【０２１７】
１、１−１、１−２  テレビ電話装置，  ２  ネットワーク，  １１  カメラ，  １２  インプットターミナル，  １３  A/D変換部，  １４  画像処理部，  １５  エンコーダ，  １６  CPU，  １７  ROM，  １８  RAM，  １９  通信部，  ５１  画像分割部，  ５２  画像記憶部，  ５３  画像合成部，  １５１  画像処理部，  １６１  補正部，  １７１  画像処理部，  １８１  動き量検出部，  １８２  領域決定部，  ２０１  画像処理部，  ２１１  RTT計測部，  ２１２  領域決定部，  ３０１  CPU，  ３０６  入力部，  ３０７  出力部，  ３０８  記録部，  ３０９  通信部，  ３２１  磁気ディスク３２１，  ３２２  光ディスク，  ３２３  光磁気ディスク，  ３２４  半導体メモリ
【図１】
2006197321.tif 000003
【図２】
2006197321.tif 000004
【図３】
2006197321.tif 000005
【図４】
2006197321.tif 000006
【図５】
2006197321.tif 000007
【図６】
2006197321.tif 000008
【図７】
2006197321.tif 000009
【図８】
2006197321.tif 000010
【図９】
2006197321.tif 000011
【図１０】
2006197321.tif 000012
【図１１】
2006197321.tif 000013
【図１２】
2006197321.tif 000014
【図１３】
2006197321.tif 000015
【図１４】
2006197321.tif 000016
【図１５】
2006197321.tif 000017
【図１６】
2006197321.tif 000018