(57)【要約】  ユーザが高臨場感を受けながら自画像を適切に確認することが可能な画像コーデック装置を提供する。画像コーデック装置（１００）は、撮影することにより撮影画像データを生成するカメラ（Ｃａ，Ｃｂ，Ｃｃ）と、画像を表示するモニタ（Ｍａ，Ｍｂ，Ｍｃ）と、撮影画像データを符号化する符号化器（１０１，１０２，１０３）と、符号化画像データを復号することにより復号画像データを生成する復号器（１２１，１２２，１２３）と、カメラ（Ｃａ，Ｃｂ，Ｃｃ）の撮影画像データに対して画像処理を行うことにより、処理画像データを生成し、その処理画像データにより示される処理画像と、上述の復号画像データにより示される画像とを合成し、合成された画像を示す合成画像データをモニタ（Ｍａ，Ｍｂ，Ｍｃ）に出力する合成器（１１１，１１２，１１３）とを備える。
2007122907.tif 000002
【特許請求の範囲】
【請求項１】
画像を示すデータに対して符号化および復号を行う画像コーデック装置であって、
それぞれ撮影することにより撮影画像を示す撮影画像データを生成する複数の撮影手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化する符号化手段と、
符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする画像コーデック装置。
【請求項２】
前記画像処理手段は、さらに、
予め定められた複数の画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行う
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項３】
前記画像コーデック装置は、さらに、
前記画像表示手段に画像表示データとして取得されるデータを、前記画像合成手段から出力される合成画像データと、前記復号手段により生成された復号画像データとに切り換える切換手段を備える
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項４】
前記画像処理手段は、
前記複数の撮影画像データの示す撮影画像をそれぞれ分離させ、分離された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法と、
前記複数の撮影画像データの示す撮影画像をそれぞれ連続させ、連続された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項５】
前記画像処理手段は、
前記複数の撮影画像データの示す撮影画像のうちの一部の複数の撮影画像をそれぞれ連続させ、連続された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法を含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する
ことを特徴とする請求項４記載の画像コーデック装置。
【請求項６】
前記画像処理手段は、
前記連続された複数の撮影画像と前記復号画像との境界に枠を入れるように前記処理画像データを生成する
ことを特徴とする請求項４記載の画像コーデック装置。
【請求項７】
前記画像処理手段は、
前記符号化手段によって符号化された複数の撮影画像データの示す画像が他の画像コーデック装置で表示される形態に応じて、前記連続された複数の撮影画像を変形させて前記処理画像データを生成する
ことを特徴とする請求項６記載の画像コーデック装置。
【請求項８】
前記画像処理手段は、
前記連続された複数の撮影画像の並び方向における前記復号画像の端に向かって、前記連続された複数の撮影画像の形状が幅広となるように、前記連続された複数の撮影画像を変形させて前記処理画像データを生成する
ことを特徴とする請求項７記載の画像コーデック装置。
【請求項９】
前記画像処理手段は、
前記他の画像コーデック装置で表示される形態を示す表示形態情報を前記他の画像コーデック装置から取得し、前記表示形態情報の示す形態に応じて前記処理画像データを生成する
ことを特徴とする請求項８記載の画像コーデック装置。
【請求項１０】
前記画像処理手段は、
前記連続された複数の撮影画像のそれぞれに枠を入れるように前記処理画像データを生成する
ことを特徴とする請求項６記載の画像コーデック装置。
【請求項１１】
前記画像処理手段は、
前記複数の撮影手段で生成され、前記符号化手段によって符号化されていない前記複数の撮影画像データを取得し、前記複数の撮影画像データに対して画像処理を行う
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項１２】
前記画像処理手段は、
前記複数の撮影手段で生成され、前記符号化手段によって符号化されて復号された前記複数の撮影画像データを取得し、前記複数の撮影画像データに対して画像処理を行う
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項１３】
前記画像処理手段は、
前記複数の撮影画像データの示す撮影画像のうちの何れか１つの撮影画像のみを抽出し、抽出された撮影画像を前記処理画像として示す処理画像データを生成する画像処理方法と、
前記複数の撮影画像データの示す撮影画像に基づいて、前記各撮影画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法と、
前記抽出された撮影画像、および前記各処理画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項１４】
前記画像処理手段は、
前記各撮影画像と異なる画像が、前記各撮影手段の撮影方向とは異なる方向から撮影されたような画像となるように前記処理画像データを生成する
ことを特徴とする請求項１３記載の画像コーデック装置。
【請求項１５】
前記画像処理手段は、
ユーザによる操作、過去に選択された画像処理方法の履歴、前記各撮影手段の撮影範囲、または前記各撮影手段の撮影範囲に含まれる被撮影体の数に基づいて、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する
ことを特徴とする請求項２記載の画像コーデック装置。
【請求項１６】
画像を示すデータに対して符号化および復号を行う画像コーデック方法であって、
複数の撮影手段が撮影することにより撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化する符号化ステップと、
符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
を含むことを特徴とする画像コーデック方法。
【請求項１７】
画像を示すデータに対して符号化および復号を行うためのプログラムであって、
複数の撮影手段が撮影することにより撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化する符号化ステップと、
符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
画像を示すデータに対して符号化および復号を行う集積回路であって、
それぞれ撮影することにより撮影画像を示す撮影画像データを生成する複数の撮影手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化する符号化手段と、
符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、複数のカメラもしくは複数のモニタを備えて構成されるＴＶ会議システムおよびＴＶ電話システムに用いられる画像コーデック装置に関する。
【背景技術】
【０００２】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、または電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形や、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｉｔ／ｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｉｔ／ｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１およびＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１およびＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化、復号化および操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。【０００６】
ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ−４  ＡＶＣおよびＩＴＵ  Ｈ．２６４が規格化された。【０００７】
一方、ネットワークではＡＤＳＬや光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Ｍｂｉｔ／ｓを越えるビットレートで送受信が可能となっている。今後数年で、数十Ｍｂｉｔ／ｓの送受信が可能になる見込であり、前述の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質やＨＤＴＶ（High Definition TeleVision）放送品質のＴＶ電話・ＴＶ会議システムの導入が進むと予想される。【０００８】
ここで、上述のような画像符号化技術を用いた従来の画像コーデック装置について、以下、詳細に説明する。従来の画像コーデック装置は、ＴＶ会議システムに用いられている（例えば、特許文献１参照）。【０００９】
図１は、従来のＴＶ会議システムの一例を示す図である。この図１により示される例は、各拠点に１面モニタが配置されたＴＶ会議システムを２人で使用する例であり、現在のＴＶ会議やＴＶ電話の最も代表的な例である。ここで、ＴＶ会議システムの各拠点におけるシステムが画像コーデック装置として構成されている。【００１０】
人物Ｐａの前にはモニタＭａとカメラＣａが設置され、人物Ｐｄの前にはモニタＭｄとカメラＣｄが設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣａで撮影された人物Ｐａの画像Ｐａ’がモニタＭｄに表示される。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｄで撮影された人物Ｐｄの画像Ｐｄ’がモニタＭａに表示される。【００１１】
なお、本来、カメラで撮影された映像はエンコーダ（符号化器）で符号化されて伝送された後、デコーダ（復号器）で復号されてモニタに表示される。カメラで撮影された映像がどのモニタに表示されるかを説明する場合には、符号化器および復号器は、本質的な構成要素ではないため、図１ではこれらを省略している。【００１２】
図２は、上記従来のＴＶ会議システムの他の使用例を示す図である。つまり、この使用例は、各拠点に１面モニタが配置されたＴＶ会議システムを６人で使用する例である。【００１３】
人物Ｐａ、人物Ｐｂおよび人物Ｐｃの前にはモニタＭａとカメラＣａが設置され、人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの前にはモニタＭｄとカメラＣｄが設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣａで撮影された人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’がモニタＭｄに表示される。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｄで撮影された人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの画像Ｐｄ’，Ｐｅ’，Ｐｆ’がモニタＭａに表示される。【００１４】
図３Ａおよび図３Ｂは、上記ＴＶ会議システムによって表示される自画像の例を示す図である。【００１５】
自画像は、ユーザがカメラで撮影した自分の映像を確認するための画像であり、相手にどのような画像が送信されているのかを確認する目的で使用されることが多い。ユーザは自画像を確認することで、自分が画面の中央に撮影されているかどうか、自分が画面のどの位置に映っているか、画面の中で自分の画像が占める割合（大きさ）などを確認できる。【００１６】
図３Ａは、図１のＴＶ会議システムの使用例で、人物Ｐａの画像Ｐａ’がモニタＭａの自画像枠Ｍａ’内に表示されている一例を示す。この自画像枠Ｍａ’内にある画像が自画像である。図３Ｂは、図２のＴＶ会議システムの使用例で、人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’がモニタＭａの自画像枠Ｍａ’内に表示されている一例を示す。このように、各拠点に１面モニタが配置されたＴＶ会議システムでは、拠点ごとにカメラが１台あり、単純にそのカメラで撮影した映像が自画像としてモニタに表示される。【００１７】
図４Ａ〜図４Ｃは、従来の他のＴＶ会議システムおよびそのシステムで表示される画像を示す図である。【００１８】
この図４Ａに示すＴＶ会議システムでは、１つのカメラと複数のモニタで１つの拠点を構成し、３拠点が接続されている。人物Ｐａの前にはモニタＭａ１とモニタＭａ２とカメラＣａ０が設置され、人物Ｐｂの前にはモニタＭｂ１とモニタＭｂ２とカメラＣｂ０が設置され、人物Ｐｃの前にはモニタＭｃ１とモニタＭｃ２とカメラＣｃ０が設置されている。ここで、ＴＶ会議システムの各拠点におけるシステムが画像コーデック装置として構成されている。【００１９】
カメラＣａ０の出力端子はモニタＭｂ２とモニタＭｃ１に接続され、図４Ｂに示すように、カメラＣａ０で撮影された人物Ｐａの画像Ｐａ’がモニタＭｂ２とモニタＭｃ１に表示される。カメラＣｂ０の出力端子はモニタＭａ１とモニタＭｃ２に接続され、カメラＣｂ０で撮影された人物Ｐｂの画像Ｐｂ’がモニタＭａ１とモニタＭｃ２に表示される。同様に、カメラＣｃ０の出力端子はモニタＭａ２とモニタＭｂ１に接続され、カメラＣｃ０で撮影された人物Ｐｃの画像Ｐｃ’がモニタＭａ２とモニタＭｂ１に表示される。【００２０】
このようにして、人物Ｐａは、図４Ｃに示すように、モニタＭａ１とモニタＭａ２にそれぞれ表示された人物Ｐｂと人物Ｐｃの画像Ｐｂ’，Ｐｃ’を見ることができる。同様に、人物Ｐｂは、モニタＭｂ１とモニタＭｂ２にそれぞれ表示された人物Ｐｃと人物Ｐａの画像Ｐｃ’，Ｐａ’を見ることができ、人物Ｐｃは、モニタＭｃ１とモニタＭｃ２にそれぞれ表示された人物Ｐａと人物Ｐｂの画像Ｐａ’，Ｐｂ’を見ることができる。【００２１】
図５は、上記従来の他のＴＶ会議システムによって表示される自画像の例を示す図である。上記従来の他のＴＶ会議システム、つまり図４Ａに示すＴＶ会議システムでは、１つの拠点には１台のカメラがあるため、そのカメラで撮影した人物の画像を含む自画像が表示される。例えば、カメラＣａ０で撮影された映像がモニタＭａ１の自画像枠Ｍａ１’に自画像として表示されるため、人物Ｐａは、モニタＭａ１の自画像枠Ｍａ１’に表示される画像Ｐａ’を確認することができる。【００２２】
一方、１つの拠点に複数のカメラを配置することにより高臨場感を実現するＴＶ会議システムも提案されている（例えば、特許文献１参照）。【００２３】
上記特許文献１のＴＶ会議システムでは、１つの拠点にカメラを１台でなく、複数台配置することで、より広い範囲や複数の角度からの撮影が可能となり、ＴＶ会議システムを通した対話の相手が、あたかもその場にいるような高臨場感を実現できる。例えば、ユーザは対話相手の視線を合わせることで高臨場感を得ることができる。
【特許文献１】特開２０００−２１７０９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上記従来の画像コーデック装置では、ユーザは、高臨場感を受けながら自画像を適切に確認することができず、使い勝手が悪いという問題がある。【００２５】
そこで、本発明は、かかる問題に鑑みてなされたものであって、ユーザが高臨場感を受けながら自画像を適切に確認することが可能な画像コーデック装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達成するために、本発明に係る画像コーデックは、画像を示すデータに対して符号化および復号を行う画像コーデック装置であって、それぞれ撮影することにより撮影画像を示す撮影画像データを生成する複数の撮影手段と、画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示手段と、前記複数の撮影手段で生成された複数の撮影画像データを符号化する符号化手段と、符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理手段と、前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段とを備えることを特徴とする。【００２７】
例えば、本発明に係る画像コーデックを各拠点に備えたＴＶ会議システムの拠点では、複数の撮影手段たるカメラによって人物が撮影されるとともに、復号画像データにより示される他の拠点の人物の画像と、その撮影された人物の複数の画像（自画像）とが合成されて画像表示手段たるモニタに表示される。これにより、複数のカメラによって人物が撮影され、その撮影結果を示す複数の撮影画像データが符号化されるため、その符号化された各撮影画像データを他の拠点に送信して、他の拠点でそれらを復号して人物の画像を表示させれば、その人物の画像を見る他の拠点のユーザに高臨場感を与えることができる。さらに、復号画像データにより示される他の拠点の人物の画像と、撮影された人物の複数の画像とが合成されて表示されるため、カメラに撮影される人物たるユーザは、その自画像を適切に確認することができる。したがって、使い勝手を向上することができる。また、複数のカメラで生成された複数の撮影画像データの示す撮影画像（自画像）は画像処理されて処理画像として合成されるため、それらのカメラで撮影される人物たるユーザは、自画像をより適切に確認することができる。【００２８】
また、前記画像処理手段は、さらに、予め定められた複数の画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行うことを特徴としてもよい。例えば、前記画像処理手段は、前記複数の撮影画像データの示す撮影画像をそれぞれ分離させ、分離された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法と、前記複数の撮影画像データの示す撮影画像をそれぞれ連続させ、連続された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する。【００２９】
これにより、画像処理方法が選択されるため、さらに使い勝手を向上することができる。【００３０】
また、前記画像処理手段は、前記連続された複数の撮影画像と前記復号画像との境界に枠を入れるように前記処理画像データを生成することを特徴としてもよい。【００３１】
これにより、その枠が、符号化された複数の撮影画像データの示す画像を上述の他の拠点において表示するモニタの枠であるかのように見えるため、ユーザは自画像をより適切に確認することができる。【００３２】
また、前記画像処理手段は、前記符号化手段によって符号化された複数の撮影画像データの示す画像が他の画像コーデック装置で表示される形態に応じて、前記連続された複数の撮影画像を変形させて前記処理画像データを生成することを特徴としてもよい。例えば、前記画像処理手段は、前記連続された複数の撮影画像の並び方向における前記復号画像の端に向かって、前記連続された複数の撮影画像の形状が幅広となるように、前記連続された複数の撮影画像を変形させて前記処理画像データを生成する。【００３３】
具体的に、他の拠点にある他の画像コーデック装置が３つのモニタを備え、その３つのモニタが一列に円弧を描くように連なっている場合、その拠点にいるユーザには、それらのモニタに表示される画像が、そのモニタの列の端に向かうほど大きくなるように見る。したがって、本発明のように、他の画像コーデック装置における表示の形態に応じて、連続された複数の撮影画像たる自画像を変形させることによって、他の拠点のユーザが実際に見ているような画像に処理画像を近づけることができる。その結果、撮影される人物たるユーザは、他の拠点のユーザが実際に見ているような画像を自画像としてより適切に確認することができる。【００３４】
また、前記画像処理手段は、前記他の画像コーデック装置で表示される形態を示す表示形態情報を前記他の画像コーデック装置から取得し、前記表示形態情報の示す形態に応じて前記処理画像データを生成することを特徴としてもよい。【００３５】
これにより、他の拠点のユーザが実際に見ているような画像に処理画像をより確実に近づけることができる。【００３６】
また、前記画像処理手段は、前記連続された複数の撮影画像のそれぞれに枠を入れるように前記処理画像データを生成することを特徴としてもよい。【００３７】
これにより、符号化された複数の撮影画像データの示す撮影画像が他の拠点においてそれぞれ異なるモニタで表示される場合には、処理画像における複数の撮影画像のそれぞれの枠が、他の拠点のモニタの枠であるかのように見える。したがって、ユーザは自画像をより適切に確認することができる。【００３８】
また、前記画像処理手段は、前記複数の撮影画像データの示す撮影画像のうちの何れか１つの撮影画像のみを抽出し、抽出された撮影画像を前記処理画像として示す処理画像データを生成する画像処理方法と、前記複数の撮影画像データの示す撮影画像に基づいて、前記各撮影画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法と、前記抽出された撮影画像、および前記各処理画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択することを特徴としてもよい。例えば、前記画像処理手段は、前記各撮影画像と異なる画像が、前記各撮影手段の撮影方向とは異なる方向から撮影されたような画像となるように前記処理画像データを生成する。【００３９】
具体的に、撮影手段たるカメラが２つあって、一方のカメラが人物の右斜め前を撮影し、他方のカメラが人物の左斜め前を撮影する。この場合、その人物の右斜め前の撮影画像を示す撮影画像データと、その人物の左斜め前の撮影画像を示す撮影画像データとが生成される。【００４０】
本発明では、この右斜め前の撮影画像および左斜め前の撮影画像のうち何れか１つの撮影画像のみを抽出し、抽出された撮影画像を処理画像とする第１の画像処理方法と、右斜め前の撮影画像および左斜め前の撮影画像に基づいて、それらの撮影画像と異なる人物の正面の画像を処理画像として生成する第２の画像処理方法と、右斜め前の撮影画像または左斜め前の撮影画像および正面の画像を処理画像として生成する第３の画像処理方法とを含む、複数の画像処理方法の中から何れか１つの画像処理方法を選択する。これにより、ユーザは自画像をより適切に確認することができる。【００４１】
なお、本発明は、このような画像コーデック装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体や集積回路としても実現することができる。
【発明の効果】
【００４２】
本発明の画像コーデック装置は、ユーザが高臨場感を受けながら自画像を適切に確認することができるという作用効果を奏する。つまり、自画像をわかりやすく表示して確認することができる。
【図面の簡単な説明】
【００４３】
【図１】図１は、従来のＴＶ会議システム（画像コーデック装置）の一例を示す図である。
【図２】図２は、従来のＴＶ会議システムの他の使用例を示す図である。
【図３Ａ】図３Ａは、従来のＴＶ会議システムによって表示される自画像の例を示す図である。
【図３Ｂ】図３Ｂは、従来のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図４Ａ】図４Ａは、従来の他のＴＶ会議システムを示す図である。
【図４Ｂ】図４Ｂは、従来の他のＴＶ会議システムによって表示される画像の一例を示す図である。
【図４Ｃ】図４Ｃは、従来の他のＴＶ会議システムによって表示される画像の他の例を示す図である。
【図５】図５は、従来の他のＴＶ会議システムによって表示される自画像の例を示す図である。
【図６】図６は、本発明の実施の形態１における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【図７】図７は、同上のカメラの他の配置例を示す図である。
【図８】図８は、同上のＴＶ会議システムの他の使用例を示す図である。
【図９Ａ】図９Ａは、同上のＴＶ会議システムによって表示される自画像の例を示す図である。
【図９Ｂ】図９Ｂは、同上のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図９Ｃ】図９Ｃは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図９Ｄ】図９Ｄは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１０Ａ】図１０Ａは、同上のＴＶ会議システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１０Ｂ】図１０Ｂは、同上の合成器の内部構成を示す図である。
【図１１】図１１は、同上の画像コーデック装置の動作を示すフローチャートである。
【図１２】図１２は、同上の第１の変形例におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１３Ａ】図１３Ａは、同上の第２の変形例に係る画像コーデック装置によって表示される画像の一例を示す図である。
【図１３Ｂ】図１３Ｂは、同上の第２の変形例に係る画像コーデック装置によって表示される画像の他の例を示す図である。
【図１４】図１４は、同上の第２の変形例に係る画像コーデック装置によって表示される自画像枠の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【図１６Ａ】図１６Ａは、同上のモニタで表示される画像を示す図である。
【図１６Ｂ】図１６Ｂは、同上のモニタで表示される他の画像を示す図である。
【図１６Ｃ】図１６Ｃは、同上の２つのモニタで表示される画像を示す図である。
【図１７Ａ】図１７Ａは、同上のＴＶ会議システムによって表示される自画像の例を示す図である。
【図１７Ｂ】図１７Ｂは、同上のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図１７Ｃ】図１７Ｃは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１７Ｄ】図１７Ｄは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１８】図１８は、同上のＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１９Ａ】図１９Ａは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合の説明図である。
【図１９Ｂ】図１９Ｂは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合の他の説明図である。
【図１９Ｃ】図１９Ｃは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合のさらに他の説明図である。
【符号の説明】
【００４４】
１０１，１０２，１０３    符号化器
１１１，１１２，１１３    合成器
１２１，１２２，１２３    復号器
１３０    切換制御部
Ｃａ，Ｃｂ，Ｃｃ    カメラ
Ｍａ，Ｍｂ，Ｍｃ    モニタ
Ｃｓ    コンピュータ・システム
ＦＤ    フレキシブルディスク本体
ＦＤＤ    フレキシブルディスクドライブ
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施の形態について、図６から図１９Ｃを用いて説明する。【００４６】
なお、ＴＶ会議システムは画像と音声を伴う映像通信システムの代表例なので、本明細書では、ＴＶ会議システムの各拠点におけるシステムを画像コーデック装置の一例として説明する。しかしながら、ＴＶ電話や映像監視システムにも本発明の画像コーデック装置が使用できることは明らかである。【００４７】
（実施の形態１）
図６は、本発明の実施の形態１における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。【００４８】
この画像コーデック装置は、３面モニタを備え、ＴＶ会議システムの１つの拠点におけるシステムとして構成されている。なお、図６は、本実施の形態のＴＶ会議システムが６人で使用される例を示している。【００４９】
本実施の形態のＴＶ会議システムは、２つの拠点（画像コーデック装置）から構成され、一方の拠点に、撮影手段たるカメラＣａ，Ｃｂ，Ｃｃと、画像表示手段たるモニタＭａ，Ｍｂ，Ｍｃと、符号化器、復号器および合成器（図１０Ａ参照）とを備え、他方の拠点に、撮影手段たるカメラＣｄ，Ｃｅ，Ｃｆと、画像表示手段たるモニタＭｄ，Ｍｅ，Ｍｆと、符号化器、復号器および合成器（図１０Ａ参照）とを備える。【００５０】
なお、上述の各モニタＭａ，Ｍｂ，Ｍｃ，Ｍｄ，Ｍｅ，Ｍｆは、例えば、ＰＤＰ（Plasma Display Panel）として構成されている。また、符号化器、復号器および合成器については後述する。【００５１】
人物Ｐａの前にはモニタＭａが配置され、人物Ｐｂの前にはモニタＭｂが配置され、人物Ｐｃの前にはモニタＭｃが設置される。人物Ｐｄの前にはモニタＭｄが配置され、人物Ｐｅの前にはモニタＭｅが配置され、人物Ｐｆの前にはモニタＭｆが設置されている。【００５２】
カメラＣａ、カメラＣｂおよびカメラＣｃはモニタＭｂの場所に、それぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃを撮影できる向きに向けて設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣｂの出力端子はモニタＭｅに接続され、カメラＣｃの出力端子はモニタＭｆに接続される。カメラＣｄ、カメラＣｅおよびカメラＣｆはモニタＭｅの場所に、それぞれ人物Ｐｄ、人物Ｐｅおよび人物Ｐｆを撮影できる向きに向けて設置されている。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｅの出力端子はモニタＭｂに接続され、カメラＣｆの出力端子はモニタＭｃに接続される。従って、モニタＭａ、モニタＭｂおよびモニタＭｃにはそれぞれ人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの画像Ｐｄ’，Ｐｅ’，Ｐｆ’が表示され、モニタＭｄ、モニタＭｅおよびモニタＭｆにはそれぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’が表示される。【００５３】
つまり、本実施の形態の画像コーデック装置（拠点におけるシステム）では、３つのカメラ（例えばカメラＣａ，Ｃｂ，Ｃｃ）は、それぞれ撮影することによって撮影画像を示す撮影画像データを生成して出力する。そして、符号化器は、その撮影画像データを符号化して、他方の拠点における画像コーデック装置に送信する。また、復号器は、他の拠点における画像コーデック装置から、その拠点で撮影された撮影画像を示す符号化画像データを取得し、その符号化画像データを復号することにより復号画像データを生成する。そして、復号器は、その復号画像データにより示される復号画像をモニタ（例えばモニタＭａ，Ｍｂ，Ｍｃ）に表示させる。【００５４】
以上の構成により、人物Ｐａ、人物Ｐｂおよび人物Ｐｃのユーザは、人物Ｐｄ、人物Ｐｅおよび人物Ｐｆとそれぞれ向かい合っているように感じることができる。つまり、１つの拠点に、カメラおよびモニタをそれぞれ３台使用することで、カメラおよびモニタがそれぞれ１台の場合よりも画像を表示できる範囲（特に水平方向の視野範囲）が広がり、目の前に相手がいるような高臨場感を実現することができる。【００５５】
また、本実施の形態では、１箇所（１つのモニタ）にカメラを設置するため、カメラの固定機材（三脚等）やカメラ付属の映像機器を１箇所に集中して設置することができる。なお、カメラの設置場所と方向は、必ずしも図６に示すものでなくてもよい。【００５６】
図７は、カメラの他の配置例を示す図である。この図７に示す配置例では、各カメラは各モニタの位置に分散して配置される。つまり、この配置例は、複数のカメラを１箇所に集中して設置するスペースが無い場合に適している。図７に示すように、カメラＣａ、カメラＣｂおよびカメラＣｃはそれぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃに向けて設置されており、図６に示すような位置に配置されたカメラＣａ、カメラＣｂおよびカメラＣｃとほぼ同じ画像を撮影することができる。【００５７】
図８は、本実施の形態におけるＴＶ会議システムの他の使用例を示す図である。【００５８】
この図８に示す使用例では、各拠点で３面モニタが備えられたＴＶ会議システムが１０人で使用される。図８に示すように、各カメラと各モニタの設置や接続状況は、図６に示す配置および接続状況と同じである。【００５９】
従って、人物Ｐａ、人物Ｐｂおよび人物ＰｃはそれぞれカメラＣａ、カメラＣｂおよびカメラＣｃで撮影され、それぞれの画像Ｐａ’，Ｐｂ’，Ｐｃ’はモニタＭｄ、モニタＭｅおよびモニタＭｆに表示される。同様に、人物Ｐｄ、人物Ｐｅおよび人物ＰｆはそれぞれカメラＣｄ、カメラＣｅおよびカメラＣｆで撮影され、それぞれの画像Ｐｄ’，Ｐｅ’，Ｐｆ’はモニタＭａ、モニタＭｂおよびモニタＭｃに表示される。【００６０】
人物ＰａｂはカメラＣａとカメラＣｂの撮影領域間に位置するため、カメラＣａとカメラＣｂの両方で撮影され、人物Ｐａｂの画像Ｐａｂ’は、モニタＭｄとモニタＭｅのそれぞれで分割して表示される。同様にして、人物ＰｂｃはカメラＣｂとカメラＣｃで撮影されて、人物Ｐｂｃの画像Ｐｂｃ’はモニタＭｅとモニタＭｆのそれぞれで分割して表示される。さらに、人物ＰｄｅはカメラＣｄとカメラＣｅで撮影されて、人物Ｐｄｅの画像Ｐｄｅ’はモニタＭａとモニタＭｂのそれぞれで分割して表示される。さらに、人物ＰｅｆはカメラＣｅとカメラＣｆで撮影されて、人物Ｐｅｆの画像Ｐｅｆ’はモニタＭｂとモニタＭｃのそれぞれで分割して表示される。【００６１】
このように、本実施の形態におけるＴＶ会議システムでは、各拠点で５人がこのＴＶ会議システムを利用する場合でも、人物Ｐａ、人物Ｐａｂ、人物Ｐｂ、人物Ｐｂｃおよび人物Ｐｃの５人のユーザは、人物Ｐｄ、人物Ｐｄｅ、人物Ｐｅ、人物Ｐｅｆおよび人物Ｐｆの５人とそれぞれ向かい合っているように感じることができる。１拠点あたり５人の場合は、３人の場合よりも各人物が横に広がって並んで（着席して）会議することになる。つまり、本実施の形態は、各拠点においてカメラおよびモニタをそれぞれ３台とすることにより、カメラおよびモニタがそれぞれ１台の場合よりも画像を表示できる範囲（特に水平方向の視野範囲）が広いため、大人数の会議などに適し、目の前に相手がいるような高臨場感を実現することができる。【００６２】
図９Ａ〜図９Ｄは、本実施の形態におけるＴＶ会議システムによって表示される自画像の例を示す図である。自画像とは、ユーザがカメラで撮影した自分の画像がどのように映っているかをそのユーザ自身が確認するための画像であって、言い換えれば、拠点におけるカメラで撮影されてその拠点のモニタで表示される画像である。【００６３】
図６のように１拠点あたり３人がＴＶ会議を行う場合には、人物Ｐａ、人物Ｐｂおよび人物Ｐｃの前にそれぞれモニタＭａ、モニタＭｂおよびモニタＭｃが設置されている。したがって、図９Ａのように、モニタの正面にいる人物の自画像のみをそのモニタに表示すれば、不必要な他の人物の自画像が表示されないので、ＴＶ会議の相手の映像を表示できる面積を大きくしてその映像を見やすくすることができる。つまり、モニタＭａがカメラＣａにより撮影された映像を自画像枠Ｍａ’内に表示することにより、人物Ｐａの画像Ｐａ’を含む自画像がその自画像枠Ｍａ’内に表示される。同様に、モニタＭｂがカメラＣｂにより撮影された映像を自画像枠Ｍｂ’内に表示することにより、人物Ｐｂの画像Ｐｂ’を含む自画像がその自画像枠Ｍｂ’内に表示される。さらに同様に、モニタＭｃがカメラＣｃにより撮影された映像を自画像枠Ｍｃ’内に表示することにより、人物Ｐｃの画像Ｐｃ’を含む自画像がその自画像枠Ｍｃ’内に表示される。【００６４】
一方、図８のように１拠点あたり５人がＴＶ会議を行う場合には、人物ＰａｂがカメラＣａとカメラＣｂに撮影され、人物ＰｂｃがカメラＣｂとカメラＣｃに撮影される。したがって、図９Ａに示すように自画像が表示されると、１人の人物の画像が２つのモニタに別れて（例えば、右半身と左半身に別れて）表示されることになり、見づらい自画像になる。そこで、このように複数のカメラに跨って撮影される人物がいる場合には、図９Ｂのように、全てのカメラの映像を１つの自画像枠Ｍｂ”内にまとめ、その自画像枠Ｍｂ’内に全ての自画像を表示してもよい。これにより、複数のカメラに跨って撮影された人物も、１つの映像の中で自らの画像を確認することができる。【００６５】
なお、複数のカメラの映像をまとめて連続した自画像を表示する場合には、図９Ｃに示すように、全てのカメラ（３つのカメラ）の映像をまとめてモニタに表示するとともに、一部のカメラ（２つのカメラ）の映像のみをまとめて表示しても良い。【００６６】
つまり、モニタＭａはカメラＣａ，Ｃｂで撮影された映像をまとめて自画像枠Ｍａ”内に表示する。その結果、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分および人物Ｐｂの画像Ｐｂ’を含む自画像とが連続してその自画像枠Ｍａ”内に表示される。【００６７】
また、モニタＭｂはカメラＣａ，Ｃｂ，Ｃｃで撮影された映像をまとめて自画像枠Ｍｂ”内に表示する。その結果、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む自画像とが連続してその自画像枠Ｍｂ”内に表示される。【００６８】
また、モニタＭｃはカメラＣｂ，Ｃｃで撮影された映像をまとめて自画像枠Ｍｃ”内に表示する。その結果、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む自画像とが連続してその自画像枠Ｍｃ”内に表示される。【００６９】
また、円卓状で会議を行うときに、自画像を表示する場合には、図９Ｄに示すように、ユーザの近くに設置したモニタではなく、円卓を挟んだ向かいに位置する人物が表示されるモニタにそのユーザの自画像を表示してもよい。すなわち、人物Ｐａの場合、人物Ｐａに最も近いモニタＭａではなく、人物Ｐａの円卓を挟んだ向かいの位置の、人物Ｐｆの画像Ｐｆ’が表示されるモニタＭｃに、人物Ｐａの画像Ｐａ’を含む自画像を表示してもよい。なぜなら、長方形の机の場合、机の平行する２辺と直行する方向に人物が向かい合うのに対し、円卓の場合には、円卓の中心を挟む方向に人物が向かい合うからである。【００７０】
このように、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、自画像を表示するときには、図９Ａ〜図９Ｄに示すように、自画像の表示形態を切り換えて、切り換えられた表示形態で自画像を表示する。【００７１】
つまり、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、３つカメラで生成された撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理部（図１０Ｂ参照）を備えている。この処理画像データは、３つの自画像の配置構成が調整された処理画像を示す。この処理画像は、例えば、図９Ａに示す３つの自画像枠Ｍａ’，Ｍｂ’，Ｍｃ’とそれらの枠内に表示される画像、図９Ｂに示す自画像枠Ｍｂ”およびその枠内に表示される画像、図９Ｃに示す３つの自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”およびそれらの枠内に表示される画像、または、図９Ｄに示す３つの自画像枠Ｍａ’，Ｍｂ’，Ｍｃ’およびそれらの枠内に表示される画像である。【００７２】
そして、本実施の形態のＴＶ会議システムにおける画像処理部は、４つの画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行い、上述のような処理画像を示す処理画像データを生成する。さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、上述のような処理画像データの示す処理画像と、他の拠点で撮影された撮影画像である、上述の復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを出力する画像合成部（図１０Ｂ参照）を備えている。その結果、モニタ（例えば、モニタＭａ，Ｍｂ，Ｍｃ）は、その合成画像データを画像表示データとして取得して、その画像表示データの示す画像を、図９Ａ〜図９Ｄに示すように表示する。【００７３】
また、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、モニタに画像表示データとして取得されるデータを、画像合成部から出力される合成画像データと、復号器により生成された復号画像データとに切り換える切換手段（図１０Ａの切換制御部）を備える。切換手段は、例えばユーザによる操作に基づいて切り換える。その結果、３つのモニタにおける処理画像の表示と非表示とが切り換えられる。【００７４】
さらに、上述の画像処理部は、４つの画像処理方法のうち何れか１つの画像処理方法を選択するときには、例えば、（１）ユーザによる明示的な選択の指示、（２）過去の使用履歴やユーザの嗜好、（３）カメラに撮影されている人物の人数（１人か複数か）、または（４）複数のカメラに同時に撮影されている人物の有無、に基づいて選択する。上述の（２）の場合には、画像処理部は、例えば、過去に選択された画像処理方法をユーザ毎に履歴として管理し、選択の頻度が多い画像処理方法を自動的に選択する。また、画像処理部は、上述の（１）〜（４）を組み合わせた結果に基づいて画像処理方法を選択してもよい。【００７５】
なお、本実施の形態では、１つの拠点（画像コーデック装置）にカメラ３台とモニタ３台とを備えたが、カメラが２台以上であればよい。また、モニタが１台の場合でも、モニタが曲面になっていてもよい。【００７６】
図１０Ａは、本実施の形態におけるＴＶ会議システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。【００７７】
このＴＶ会議システムの画像コーデック装置１００は、カメラで撮影された撮影画像を符号化して相手の拠点に送信するとともに、その符号化された撮影画像を復号して自画像として表示する。【００７８】
具体的に、画像コーデック装置１００は、カメラＣａ，Ｃｂ，Ｃｃと、モニタＭａ，Ｍｂ，Ｍｃと、符号化器１０１，１０２，１０３と、復号器１２１，１２２，１２３と、合成器１１１，１１２，１１３と、切換制御部１３０とを備えている。【００７９】
符号化器１０１は、カメラＣａで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。また、符号化器１０１は、そのストリームＳｔｒ１を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。【００８０】
同様に、符号化器１０２は、カメラＣｂで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。また、符号化器１０２は、ストリームＳｔｒ２を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。【００８１】
同様に、符号化器１０３は、カメラＣｃで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ３として相手の拠点に送信する。また、符号化器１０３は、ストリームＳｔｒ３を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。【００８２】
相手の拠点で撮影されて符号化されることによって生成されたビットストリームは、ストリームＳｔｒ４、ストリームＳｔｒ５およびストリームＳｔｒ６として画像コーデック装置１００に入力される。【００８３】
つまり、復号器１２１は、符号化画像データであるストリームＳｔｒ４を取得し、そのストリームＳｔｒ４を復号することにより復号画像データを生成し、その復号画像データを合成器１１１に出力する。【００８４】
合成器１１１は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１１は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して画像処理を行う。即ち、合成器１１１は、上述の３つの自画像（撮影画像データ）の中から、自画像表示モードに応じた自画像を選択する。ここで、選択された自画像が複数であれば、合成器１１１は、それらの画像を組み合わせて１枚の画像にする。さらに、合成器１１１は、復号器１２１による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａに出力する。【００８５】
なお、自画像表示モードが自画像（処理画像）の非表示を示すときには、合成器１１１は、撮影画像データに対して画像処理を行うことなく、復号画像に対する合成も行うことなく、復号器１２１から取得された復号画像データを画像表示データとしてモニタＭａに出する。【００８６】
同様に、復号器１２２は、符号化画像データであるストリームＳｔｒ５を取得し、そのストリームＳｔｒ５を復号することにより復号画像データを生成し、その復号画像データを合成器１１２に出力する。【００８７】
合成器１１２は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１２は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して、自画像表示モードに応じた画像処理を行う。さらに、合成器１１２は、復号器１２２による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭｂに出力する。【００８８】
同様に、復号器１２３は、復号化画像データであるストリームＳｔｒ６を取得し、そのストリームＳｔｒ６を復号することにより復号画像データを生成し、その復号画像データを合成器１１３に出力する。【００８９】
合成器１１３は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１３は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して、自画像表示モードに応じた画像処理を行う。さらに、合成器１１３は、復号器１２３による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭｃに出力する。【００９０】
切換制御部１３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、自画像（処理画像）を表示させるか否かを判別する。さらに、切換制御部１３０は、上述のように、ユーザの過去の使用履歴やユーザの嗜好などに基づいて、図９Ａ〜図９Ｄに示すような複数の画像処理方法の中から、何れか１つの画像処理方法を選択する。そして、切換制御部１３０は、その自画像の表示の有無の判別結果と、選択された画像処理方法とを示す自画像表示モードを、合成器１１１，１１２，１１３に出力する。【００９１】
図１０Ｂは、合成器１１１の内部構成を示す図である。【００９２】
合成器１１１は、画像処理部１１１ａおよび画像合成部１１１ｂを備えている。【００９３】
画像処理部１１１ａは、切換制御部１３０から自画像表示モードを取得し、その自画像表示モードが自画像（処理画像）の表示を示すときには、符号化器１０１，１０２，１０３から取得された撮影画像データ、つまり符号化されて復号された撮影画像データに対して上述の画像処理を行う。そして、画像処理部１１１ａは、その画像処理によって生成された処理画像データを画像合成部１１１ｂに出力する。ここで、その自画像表示モードは、上述の４つの画像処理方法のうちの１つの画像処理方法を示している。したがって、画像処理部１１１ａは、その自画像表示モードの示す画像処理方法に従って画像処理を行う。一方、その自画像表示モードが自画像（処理画像）の非表示を示すときには、画像処理部１１１ａは、上述のような画像処理を行わなくてもよい。【００９４】
画像合成部１１１ｂは、復号器１２１から復号画像データを取得する。さらに、画像合成部１１１ｂは、画像処理部１１１ａから処理画像データを取得すると、その処理画像データの示す処理画像、つまり画像処理された自画像を、復号画像データの示す復号画像に合成（重畳）する。そして、画像合成部１１１ｂは、その合成によって生成された合成画像データを画像表示データとしてモニタＭａに出力する。一方、画像合成部１１１ｂは、自画像を表示しない場合は、画像処理部１１１ａから処理画像データを取得せず、復号器１２１から取得された復号画像データに対して上述のような合成を行うことなく、その復号画像データを画像表示データとしてモニタＭａに出力する。【００９５】
なお、合成器１１２，１１３も、上述の合成器１１１と同様の構成を有する。【００９６】
図１１は、本実施の形態における画像コーデック装置１００の動作を示すフローチャートである。【００９７】
画像コーデック装置１００は、３つのカメラＣａ，Ｃｂ，Ｃｃで撮影することにより撮影画像（撮影画像データ）を生成する（ステップＳ１００）。そして、画像コーデック装置１００は、その生成された撮影画像を符号化して、相手の拠点の画像コーデック装置に送信する（ステップＳ１０２）。【００９８】
さらに、画像コーデック装置１００は、符号化された複数の撮影画像を復号して自画像を生成する（ステップＳ１０４）。ここで、画像コーデック装置１００は、ユーザの操作などに基づいて、その復号された複数の撮影画像である自画像に対して施すべき画像処理方法を選択する（ステップＳ１０６）。そして、画像コーデック装置１００は、その選択した画像処理方法に従って、復号された複数の撮影画像である自画像に対して画像処理を行い、処理画像（処理画像データ）を生成する（ステップＳ１０８）。【００９９】
また、画像コーデック装置１００は、相手の拠点で撮影されて符号化された符号化画像データを取得して復号することにより、復号画像を生成する（ステップＳ１１０）。【０１００】
そして、画像コーデック装置１００は、ステップＳ１０８で生成された処理画像をステップＳ１１０で生成された復号画像に合成し、合成された画像をモニタＭａ，Ｍｂ，Ｍｃに表示する。【０１０１】
このように本実施の形態では、複数のカメラで撮影された撮影画像たる自画像を画像処理して処理画像としてモニタに表示させるため、それらのカメラで撮影されるユーザは、自画像を適切に確認することができる。【０１０２】
また、本実施の形態では、符号化してさらに復号することによって生成された撮影画像を自画像として用いることで、ユーザは、コーデックによる符号化歪が反映された自画像を適切に確認することができる。【０１０３】
（変形例１）
ここで、上記実施の形態１における画像コーデック装置の構成についての変形例について説明する。【０１０４】
図１２は、本変形例におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。【０１０５】
このＴＶ会議システムの画像コーデック装置１００ａは、カメラで撮影された撮影画像を、符号化および復号することなく自画像として表示する。【０１０６】
具体的に、画像コーデック装置１００ａは、カメラＣａ，Ｃｂ，Ｃｃと、モニタＭａ，Ｍｂ，Ｍｃと、符号化器１０１ａ，１０２ａ，１０３ａと、復号器１２１，１２２，１２３と、合成器１１１，１１２，１１３と、切換制御部１３０とを備えている。つまり、本変形例に係る画像コーデック装置１００ａは、上記実施の形態１の画像コーデック装置１００における符号化器１０１，１０２，１０３の代わりに、符号化器１０１ａ，１０２ａ，１０３ａを備えている。【０１０７】
符号化器１０１ａは、カメラＣａで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。ここで、本変形例に係る符号化器１０１ａは、上記実施の形態１の符号化器１０１のようにストリームＳｔｒ１を復号しない。【０１０８】
同様に、符号化器１０２ａは、カメラＣｂで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。ここで、本変形例に係る符号化器１０２ａは、上記実施の形態１の符号化器１０２のようにストリームＳｔｒ２を復号しない。【０１０９】
同様に、符号化器１０３ａは、カメラＣｃで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ３として相手の拠点に送信する。ここで、本変形例に係る符号化器１０３ａは、上記実施の形態１の符号化器１０３のようにストリームＳｔｒ３を復号しない。【０１１０】
したがって、本変形例に係る合成器１１１，１１２，１１３は、それぞれ上記実施の形態１のように、符号化されて復号された撮影画像データを取得することなく、カメラＣａ，Ｃｂ，Ｃｃから出力された撮影画像データを直接取得する。【０１１１】
このように本変形例では、カメラで撮影された画像を、符号化および復号することなく、自画像として用いることで、画像コーデックに起因する画質劣化を確認することはできなくなるが、コーデックによる処理時間の遅延の影響を受けず、カメラによる撮影から表示までの応答を早くすることができる。【０１１２】
（変形例２）
ここで、上記実施の形態１における画像処理方法の変形例について説明する。本変形例に係る画像コーデック装置１００は、ユーザが自らの画像をより適切に確認できるような処理画像を生成する。【０１１３】
図１３Ａは、本変形例に係る画像コーデック装置１００によって表示される画像の一例を示す図である。【０１１４】
本変形例に係る画像コーデック装置１００は、図１３Ａに示すように、両端の幅が中央の幅よりも広い処理画像を生成して表示する。この処理画像は、両端の幅が中央の幅よりも広い自画像枠Ｍｂ”と、その自画像枠Ｍｂ”の形状に応じて変形された３つの自画像とを含む。なお、３つの自画像は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第２の自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第３の自画像とであって、それぞれ連続している。第１の自画像は、図１３Ａの左側に向かって幅広となるように形成され、第２の自画像は、図１３Ａの右側に向かって幅広となるように形成されている。そして、自画像枠Ｍｂ”は、連続する３つの自画像と復号画像との境界を示している。【０１１５】
図７に示すように３つのモニタが配置されている場合は、人物の位置に近い距離のモニタ（３つのモニタの両端部分）に映っている映像の方が、人物の位置から比較的遠い中央のモニタに映っている映像よりも大きいようにユーザは感じる。そこで、本変形例に係るＴＶ会議システムの拠点である画像コーデック装置１００は、中央の位置に表示される自画像の大きさを両端に表示される自画像よりも小さく表示することで、その拠点で撮影されて相手の拠点で視認される画像により近い画像を処理画像として生成している。【０１１６】
具体的には、画像コーデック装置１００における合成器１１１の画像処理部１１１ａは、符号化器１０１，１０２，１０３から取得した撮影画像データに対して画像処理を行うことなく、復号器１２１から取得した復号画像データを画像表示データとしてモニタＭａに出力する。同様に、画像コーデック装置１００における合成器１１３の画像処理部は、符号化器１０１，１０２，１０３から取得した撮影画像データに対して画像処理を行うことなく、復号器１２３から取得した復号画像データを画像表示データとしてモニタＭｃに出力する。【０１１７】
一方、画像コーデック装置１００における合成器１１２の画像処理部は、自画像枠Ｍｂ”と、符号化器１０１，１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、３つの自画像が連続して両端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１２の画像処理部は、その処理画像データの示す処理画像を、復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｂに出力する。【０１１８】
つまり、本変形例に係る合成器１１２の画像処理部は、連続する３つの自画像を変形するときには、ストリームＳｔｒ１，Ｓｔｒ２，Ｓｔｒ３の示す画像が相手の拠点の画像コーデック装置で表示される形態に応じて、その連続する３つの自画像を変形させる。例えば、その画像処理部は、相手の拠点の画像コーデック装置における３つのモニタの配置構成や、それらのモニタの大きさなどに応じて、その相手の拠点におけるユーザが眺める画像と処理画像とが等しくなるように、その連続する複数の自画像を変形させる。ここで、上述の画像処理部は、相手の拠点の画像コーデック装置から、その画像コーデック装置の画像の表示形態に関する情報（表示形態情報）を取得して、その情報に応じて自画像の変形を行ってもよい。この情報は、例えば、上述のように、モニタの配置構成や、モニタの大きさ、モニタの台数、またはモニタの型式などを示す。【０１１９】
これにより、画像コーデック装置１００のユーザ（人物Ｐａ，Ｐｂ，Ｐｃ）は、相手の拠点において表示される自らの画像をより適切に確認することができる。  図１３Ｂは、本変形例に係る画像コーデック装置１００によって表示される画像の他の例を示す図である。【０１２０】
本変形例に係る画像コーデック装置１００は、図１３Ｂに示すように、上述と同様、両端の幅が中央の幅よりも広い処理画像を中央処理画像として生成して表示するとともに、その中央処理画像の一部の画像のみを含む左処理画像と、その中央処理画像の他の一部の画像のみを含む右処理画像とを生成して表示する。【０１２１】
この左処理画像は、図１３Ｂの左側に向かって幅広の自画像枠Ｍａ”と、その自画像枠Ｍａ”の形状に応じて変形された２つの自画像とを含む。なお、２つの自画像は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分および人物Ｐｂの画像Ｐｂ’を含む第２の自画像とであって、それぞれ連続している。【０１２２】
また、右処理画像は、図１３Ｂの右側に向かって幅広の自画像枠Ｍｃ”と、その自画像枠Ｍｃ”の形状に応じて変形された２つの自画像とを含む。なお、２つの自画像は、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第１の自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第２の自画像とであって、それぞれ連続している。【０１２３】
具体的には、画像コーデック装置１００における合成器１１１の画像処理部１１１ａは、自画像枠Ｍａ”と、符号化器１０１，１０２から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部１１１ａは、２つの自画像が連続して左端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１１の画像処理部１１１ａは、その処理画像データの示す処理画像を、復号器１２１から取得した復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部１１１ａは、その生成された合成画像データを画像表示データとしてモニタＭａに出力する。【０１２４】
同様に、画像コーデック装置１００における合成器１１３の画像処理部は、自画像枠Ｍｃ”と、符号化器１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、２つの自画像が連続して右端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１３の画像処理部は、その処理画像データの示す処理画像を、復号器１２３から取得した復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｃに出力する。【０１２５】
また、画像コーデック装置１００における合成器１１２の画像処理部は、自画像枠Ｍｂ”と、符号化器１０１，１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、３つの自画像が連続して両端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１２の画像処理部は、その処理画像データの示す処理画像を、復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｂに出力する。【０１２６】
これにより、モニタＭａ，Ｍｃの正面にいる人物Ｐａ，Ｐｃは、斜め向かいのモニタＭｂに表示されている、自らの画像を含む中央処理画像（自画像）を見ることなく、正面のモニタＭａ，Ｍｃに表示されている左処理画像または右処理画像を見て、相手の拠点において表示されている自らの自画像を確認することができる。つまり、モニタＭａ，Ｍｃの正面にいる人物Ｐａ，Ｐｃは、相手の拠点において表示されている自らの自画像をより適切にかつ簡単に確認することができる。【０１２７】
ここで、本変形例に係る画像コーデック装置は、相手の拠点における各モニタの枠を現すような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成してもよい。【０１２８】
図１４は、自画像枠の例を示す図である。【０１２９】
合成器１１１，１１２，１１３のそれぞれの画像処理部は、符号化器１０１，１０２，１０３から撮影画像データを取得すると、その３つの撮影画像データの中から自画像表示モードに応じた撮影画像データを選択する。そして、画像処理部は、その選択した撮影画像データの示す自画像に対して、その自画像を太い線で囲うような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成する。また、選択された自画像が複数であれば、画像処理部は、それぞれの自画像を太い線で囲うような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成する。【０１３０】
例えば、合成器１１２の画像処理部は、図１４に示すように、３つの自画像をそれぞれ太い線で囲った自画像枠Ｍｂ”を生成する。即ち、この自画像枠Ｍｂ”は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像の縁を太い線によって示す。さらに、この自画像枠Ｍｂ”は、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第２の自画像の縁を太い線によって示す。またさらに、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第３の自画像の縁を太い線によって示す。【０１３１】
これにより、画像コーデック装置のユーザ（人物Ｐａ，Ｐｂ，Ｐｃ）は、相手の拠点において表示される自らの画像をさらにより適切に確認することができる。例えば、ユーザは自分がモニタの境界部分に重なっており、着座位置を移動すべきかどうかを、簡単に視認することができる。【０１３２】
なお、合成器１１１，１１２，１１３のそれぞれの画像処理部は、２つの連続する自画像のそれぞれを太い線で囲う自画像枠を生成するときには、その２つの自画像の隣り合う縁部分を、その太い線の幅だけ離す（広げる）ように移動する。例えば、２の自画像を太い線で囲って連続させると、その２つの自画像に跨って表示される人物の画像（例えば図１４の画像Ｐａｂ’）は、１つの自画像内に表示される場合よりも、その自画像枠の線の幅だけ太く見えてしまう。【０１３３】
それが気になるようであれば、２つの自画像の隣り合う自画像の縁部分を、その太い線の幅だけ削除することによって、その２つの自画像に跨って表示される人物の画像を適切に表示することができる。【０１３４】
また、画像処理部は、相手の拠点の画像コーデック装置から、その画像コーデック装置のモニタの枠の形状や色、大きさなどを示す情報を取得し、自画像枠の形状や色、大きさなどを、その情報の示す内容と等しくしてもよい。【０１３５】
（実施の形態２）
図１５は、本発明の実施の形態２における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。【０１３６】
このＴＶ会議システムは３拠点で構成され、各拠点における画像コーデック装置は２つのカメラと２つのモニタを備えている。【０１３７】
具体的に、１つの拠点における画像コーデック装置は、撮影手段たるカメラＣａ１，Ｃａ２と、画像表示手段たるモニタＭａ１，Ｍａ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。他の拠点における画像コーデック装置は、撮影手段たるカメラＣｂ１，Ｃｂ２と、画像表示手段たるモニタＭｂ１，Ｍｂ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。さらに他の拠点における画像コーデック装置は、撮影手段たるカメラＣｃ１，Ｃｃ２と、画像表示手段たるモニタＭｃ１，Ｍｃ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。なお、符号化器、復号器、合成器および正面画像生成器については後述する。【０１３８】
人物Ｐａの前には、モニタＭａ１およびモニタＭａ２と、カメラＣａ１およびカメラＣａ２とが設置されている。人物Ｐｂの前には、モニタＭｂ１およびモニタＭｂ２と、カメラＣｂ１およびカメラＣｂ２とが設置されている。人物Ｐｃの前には、モニタＭｃ１およびモニタＭｃ２と、カメラＣｃ１およびカメラＣｃ２とが設置されている。【０１３９】
カメラＣａ１は人物Ｐａを右前方から撮影し、その撮影によって得られた画像をモニタＭｂ２に出力する。カメラＣａ２は人物Ｐａを左前方から撮影し、その撮影によって得られた画像をモニタＭｃ１に出力する。同様に、カメラＣｂ１は、人物Ｐｂを右前方から撮影し、その撮影によって得られた画像をモニタＭｃ２に出力する。カメラＣｂ２は、人物Ｐｂを左前方から撮影し、その撮影によって得られた画像をモニタＭａ１に出力する。カメラＣｃ１は、人物Ｐｃを右前方から撮影し、その撮影によって得られた画像をモニタＭａ２に出力する。カメラＣｃ２は、人物Ｐｃを左前方から撮影し、その撮影によって得られた画像をモニタＭｂ１に出力する。【０１４０】
つまり、本実施の形態の画像コーデック装置（拠点におけるシステム）では、２つのカメラ（例えばカメラＣａ１，Ｃａ２）は、それぞれ撮影することにより撮影画像を示す撮影画像データを生成して出力する。そして、符号化器は、その撮影画像データを符号化して、他の拠点における画像コーデック装置に送信する。また、復号器は、他の拠点における画像コーデック装置から、その拠点で撮影された撮影画像を示す符号化画像データを取得し、その符号化画像データを復号することにより復号画像データを生成する。そして、復号器は、その復号画像データにより示される復号画像をモニタ（例えばモニタＭａ１，Ｍａ２）に表示させる。【０１４１】
図１６Ａ〜図１６Ｃは、モニタで表示される画像を示す図である。【０１４２】
モニタＭｂ２には、図１６Ａに示すように、カメラＣａ１で撮影された画像、つまり人物Ｐａの右側から撮影された画像Ｐａ’が表示される。モニタＭｃ１には、図１６Ｂに示すように、カメラＣａ２で撮影された画像、つまり人物Ｐａの左側から撮影された画像Ｐａ’が表示される。同様に、モニタＭａ１には、図１６Ｃに示すように、カメラＣｂ２で撮影された画像、つまり人物Ｐｂの左側から撮影された画像Ｐｂ’が表示される。モニタＭａ２には、図１６Ｃに示すように、カメラＣｃ１で撮影された画像、つまり人物Ｐｃの右側から撮影された画像Ｐｃ’が表示される。【０１４３】
図１６Ｃに示すように、人物ＰａからモニタＭａ１とモニタＭａ２を眺めると、人物Ｐｂは人物Ｐａと人物Ｐｃに顔を向けており、人物Ｐｃは人物Ｐａと人物Ｐｂに顔を向けているように見える。従って、図４Ｃのように、人物Ｐｂと人物Ｐｃが常に人物Ｐａだけを見ているように見える場合と比べて、本実施の形態では、人物Ｐｂと人物Ｐｃが会話をする場合の違和感を少なくすることができる。つまり、本実施の形態では、図４Ａに示すような１つの拠点にカメラが１台しかないＴＶ会議システムと比べて、臨場感を増すことができる。【０１４４】
図１７Ａ〜図１７Ｄは、本実施の形態におけるＴＶ会議システムによって表示される自画像の例を示す図である。【０１４５】
モニタＭａ１は、図１７Ａに示すように、人物Ｐｂの画像Ｐｂ’を表示するとともに、人物Ｐｂの拠点に送信される人物Ｐａの画像Ｐａ’を含む自画像を自画像枠Ｍａ１’内に表示する。さらにモニタＭａ２は、図１７Ａに示すように、人物Ｐｃの画像Ｐｂ’を表示するとともに、人物Ｐｃの拠点に送信される人物Ｐａの画像Ｐａ’を含む自画像を自画像枠Ｍａ２’内に表示する。【０１４６】
つまり、モニタＭａ１は、他の拠点のカメラＣｂ２で撮影された画像を表示するとともに、自らが属する拠点のカメラＣａ１で撮影された画像を自画像として表示する。同様に、モニタＭａ２は、他の拠点のカメラＣｃ１で撮影された画像を表示するとともに、自らが属する拠点のカメラＣａ２で撮影された画像を自画像として表示する。【０１４７】
このように、２つのカメラで人物Ｐａを撮影して２つの自画像を表示することで、人物Ｐａは、それぞれの相手にどのような画像が送信されているのかを、直感的に把握することができる。自画像の表示位置は、モニタＭａ１とモニタＭａ２の間にするのが好ましい。こうすることで、自画像に含まれる人物の画像を、常に同一のモニタに映る相手の画像に向けることができる。すなわち、モニタＭａ１では、相手の人物Ｐｂの画像Ｐｂ’と自画像内の人物Ｐａの画像Ｐａ’とを向き合わせることができ、モニタＭａ２では、相手の人物Ｐｃの画像Ｐｃ’と自画像内の人物Ｐａの画像Ｐａ’とを向き合わせることができる。その結果、ユーザが相手と対話している感じが高まるという効果が得られる。【０１４８】
また、図１７Ｂに示すように、自画像をモニタＭａ２に表示しなくてもよい。さらに、図１７Ｃに示すように、カメラＣａ２で撮影された画像を自画像としてモニタＭａ２に表示せず、モニタＭａ１の自画像枠Ｍａ１’内に表示してもよい。【０１４９】
これにより、画面に表示される自画像領域を節約し、相手の拠点から取得した画像の表示領域を大きくすることができる。【０１５０】
さらに、図１７Ｄに示すように、カメラＣａ１とカメラＣａ２によって撮影された画像から、人物Ｐａが正面を向いた画像（つまり、カメラＣａ１，Ｃａ２の撮影方向とは異なる方向から撮影されたような画像）を生成し、それを自画像として自画像枠Ｍａ１’内に表示しても良い。【０１５１】
人物が正面を向いた画像（正面画像）の生成には高度な技術と複雑な処理が必要である。しかし、画像コーデック装置に正面画像を生成して他の拠点に送信する機能がある場合には、送信されたユーザの画像をそのユーザが確認する手段として有効である。【０１５２】
このように、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、自画像を表示するときには、図１７Ａ〜図１７Ｄに示すように、自画像の表示形態を切り換えて、切り換えられた表示形態で自画像を表示する。【０１５３】
つまり、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、２つカメラで生成された撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理部（図示せず）を備えている。この処理画像データは、２つの自画像の表示形態が調整された処理画像を示す。この処理画像は、例えば、図１７Ａに示す２つの自画像枠Ｍａ１’，Ｍａ２’とそれらの枠内に表示される画像、図１７Ｂに示す自画像枠Ｍａ１’およびその枠内に表示されるカメラＣａ１で撮影された画像、図１７Ｃに示す自画像枠Ｍａ１’およびその枠内に表示されるカメラＣａ２で撮影された画像、または、図１７Ｄに示す自画像枠Ｍａ１’およびその枠内に表示される正面画像である。【０１５４】
そして、本実施の形態のＴＶ会議システムにおける画像処理部は、４つの画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行い、上述のような処理画像を示す処理画像データを生成する。さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、上述のような処理画像データの示す処理画像と、他の拠点で撮影された撮影画像である、上述の復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを出力する画像合成部（図１８の合成器）を備えている。その結果、モニタ（例えば、モニタＭａ１，Ｍａ２）は、その合成画像データを画像表示データとして取得して、その画像表示データの示す画像を、図１７Ａ〜図１７Ｄに示すように表示する。【０１５５】
なお、図１７Ａ〜図１７Ｄに示す表示形態を組み合わせて、その組み合わされた表示形態で自画像を表示させてもよい。【０１５６】
さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、モニタに画像表示データとして取得されるデータを、画像合成部から出力される合成画像データと、復号器により生成された復号画像データとに切り換える切換手段（図１８の切換制御部）を備える。切換手段は、例えばユーザによる操作に基づいて切り換える。その結果、２つのモニタにおける処理画像の表示と非表示とが切り換えられる。【０１５７】
また、さらに、上述の画像処理手段は、４つの画像処理方法のうち何れか１つの画像処理方法を選択するときには、例えば、（１）ユーザによる明示的な選択の指示、（２）過去の使用履歴やユーザの嗜好、（３）カメラに撮影されている人物の人数（１人か複数か）、または（４）複数のカメラに同時に撮影されている人物の有無、に基づいて選択する。上述の（２）の場合には、画像処理部は、例えば、過去に選択された画像処理方法をユーザ毎に履歴として管理し、選択の頻度が多い画像処理方法を自動的に選択する。また、画像処理部は、上述の（１）〜（４）を組み合わせた結果に基づいて画像処理方法を選択してもよい。【０１５８】
なお、本実施の形態では、１つの拠点（画像コーデック装置）にカメラ２台とモニタ２台とを備えたが、カメラが２台以上であればよい。また、モニタが１台の場合でも、モニタが曲面になっていてもよい。【０１５９】
図１８は、本実施の形態におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。【０１６０】
このＴＶ会議システムの画像コーデック装置２００は、２つのカメラで撮影された撮影画像から正面画像を生成する。そして、画像コーデック装置２００は、その撮影画像または正面画像を符号化して相手の拠点に送信するとともに、その符号化された撮影画像または正面画像を復号して自画像として表示する。【０１６１】
具体的に、画像コーデック装置２００は、カメラＣａ１，Ｃａ２と、モニタＭａ１，Ｍａ２と、符号化器２０１，２０２と、復号器２２１，２２２と、合成器２１１，２１２と、切換制御部２３０と、正面画像生成器２３１とを備えている。【０１６２】
正面画像生成器２３１は、カメラＣａ１で撮影された画像（撮影画像データ）とカメラＣａ２で撮影された画像（撮影画像データ）とに基づいて、正面画像を示す正面画像データを生成して出力する。【０１６３】
セレクタ２４１は、切換制御部２３０からの送信画像モードに従って、符号化器２０１に入力されるデータを、カメラＣａ１から出力された撮影画像データと、正面画像生成器２３１から出力された正面画像データとに切り換える。【０１６４】
セレクタ２４２は、切換制御部２３０からの送信画像モードに従って、符号化器２０２に入力されるデータを、カメラＣａ２から出力された撮影画像データと、正面画像生成器２３１から出力された正面画像データとに切り換える。【０１６５】
符号化器２０１は、カメラＣａ１で撮影された撮影画像を示す撮影画像データ、または正面画像生成器２３１で生成された正面画像を示す正面画像データを取得して符号化する。そして、符号化器２０１は、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。また、符号化器２０１は、そのストリームＳｔｒ１を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データまたは正面画像データを合成器２１１および合成器２１２に出力する。【０１６６】
同様に、符号化器２０２は、カメラＣａ２で撮影された撮影画像を示す撮影画像データ、または正面画像生成器２３１で生成された正面画像を示す正面画像データを取得して符号化する。そして、符号化器２０２は、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。また、符号化器２０２は、そのストリームＳｔｒ２を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データまたは正面画像データを合成器２１１および合成器２１２に出力する。【０１６７】
相手の拠点で撮影されて符号化されることによって生成されたビットストリームは、ストリームＳｔｒ３およびストリームＳｔｒ４として画像コーデック装置２００に入力される。【０１６８】
つまり、復号器２２１は、符号化画像データであるストリームＳｔｒ３を取得し、そのストリームＳｔｒ３を復号することにより復号画像データを生成し、その復号画像データを合成器２１１に出力する。【０１６９】
合成器２１１は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部２３０から取得する。そして、合成器２１１は、符号化器２０１および符号化器２０２から出力された自画像（撮影画像データまたは正面画像データ）に対して画像処理を行う。即ち、合成器２１１は、上述の２つの自画像（撮影画像データまたは正面画像データ）の中から、自画像表示モードに応じた自画像を選択する。さらに、合成器１１１は、復号器２２１による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａ１に出力する。【０１７０】
なお、自画像表示モードが自画像（処理画像）の非表示を示すときには、合成器２１１は、撮影画像データに対して画像処理を行うことなく、復号画像に対する合成も行うことなく、復号器２２１から取得された復号画像データを画像表示データとしてモニタＭａ１に出する。【０１７１】
同様に、復号器２２２は、符号化画像データであるストリームＳｔｒ４を取得し、そのストリームＳｔｒ４を復号することにより復号画像データを生成し、その復号画像データを合成器２１２に出力する。【０１７２】
合成器２１２は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部２３０から取得する。そして、合成器２１２は、符号化器２０１および符号化器２０２から出力された自画像（撮影画像データまたは正面画像データ）に対して画像処理を行う。即ち、合成器２１２は、上述の２つの自画像（撮影画像データまたは正面画像データ）の中から、自画像表示モードに応じた自画像を選択する。さらに、合成器２１２は、復号器２２２による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａ２に出力する。【０１７３】
切換制御部２３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、自画像（処理画像）を表示させるか否かを判別する。さらに、切換制御部２３０は、上述のように、ユーザの過去の使用履歴やユーザの嗜好などに基づいて、図１７Ａ〜図１７Ｄに示すような複数の画像処理方法の中から、何れか１つの画像処理方法を選択する。そして、切換制御部２３０は、その自画像の表示の有無の判別結果と、選択された画像処理方法とを示す自画像表示モードを、合成器２１１，２１２に出力する。【０１７４】
さらに、切換制御部２３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、カメラＣａ１の撮影画像データおよび正面画像データの何れを符号化して他の拠点に送信すべきかを判別するとともに、カメラＣａ２の撮影画像データおよび正面画像データの何れを符号化して他の拠点に送信すべきかを判別する。そして、切換制御部２３０は、その判別結果を示す送信画像モードをセレクタ２４１，２４２に通知する。【０１７５】
このように本実施の形態では、実施の形態１と同様に、複数のカメラで撮影された撮影画像たる自画像を画像処理して処理画像としてモニタに表示するため、それらのカメラで撮影されるユーザは、自画像をより適切に確認することができる。【０１７６】
なお、本実施の形態では、カメラで撮影された撮影画像や正面画像を符号化してさらに復号することにより生成された画像を、自画像として表示したが、実施の形態１の変形例１のように、カメラで撮影された撮影画像や正面画像を、符号化および復号することなく、自画像として表示してもよい。【０１７７】
（実施の形態３）
さらに、上記各実施の形態で示した画像コーデック装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。【０１７８】
図１９Ａ〜図１９Ｃは、上記各実施の形態の画像コーデック装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。【０１７９】
図１９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１９Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示している。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該ディスク本体の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、上記プログラムが記録されている。【０１８０】
また、図１９Ｃは、フレキシブルディスク本体ＦＤに上記プログラムの記録再生を行うための構成を示す。画像コーデック装置を実現する上記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像コーデック装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。【０１８１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣ（Integrated Circuit）カード、ＲＯＭ（Read Only Memory）カセット等、プログラムを記録できるものであれば同様に実施することができる。【０１８２】
なお、ブロック図（図１０Ａ、図１０Ｂ、図１２、図１８）のカメラとモニタ以外の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１８３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。【０１８４】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。【０１８５】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０１８６】
本発明の画像コーデック装置は、例えば、複数のカメラを用いたＴＶ会議システムにおいて、ユーザに対して自画像をわかりやすく表示することができ、複数のカメラを用いたＴＶ会議システムなどに適用することができ、その産業上の利用価値は高い。
【図１】
2007122907.tif 000003
【図２】
2007122907.tif 000004
【図３Ａ】
2007122907.tif 000005
【図３Ｂ】
2007122907.tif 000006
【図４Ａ】
2007122907.tif 000007
【図４Ｂ】
2007122907.tif 000008
【図４Ｃ】
2007122907.tif 000009
【図５】
2007122907.tif 000010
【図６】
2007122907.tif 000011
【図７】
2007122907.tif 000012
【図８】
2007122907.tif 000013
【図９Ａ】
2007122907.tif 000014
【図９Ｂ】
2007122907.tif 000015
【図９Ｃ】
2007122907.tif 000016
【図９Ｄ】
2007122907.tif 000017
【図１０Ａ】
2007122907.tif 000018
【図１０Ｂ】
2007122907.tif 000019
【図１１】
2007122907.tif 000020
【図１２】
2007122907.tif 000021
【図１３Ａ】
2007122907.tif 000022
【図１３Ｂ】
2007122907.tif 000023
【図１４】
2007122907.tif 000024
【図１５】
2007122907.tif 000025
【図１６Ａ】
2007122907.tif 000026
【図１６Ｂ】
2007122907.tif 000027
【図１６Ｃ】
2007122907.tif 000028
【図１７Ａ】
2007122907.tif 000029
【図１７Ｂ】
2007122907.tif 000030
【図１７Ｃ】
2007122907.tif 000031
【図１７Ｄ】
2007122907.tif 000032
【図１８】
2007122907.tif 000033
【図１９Ａ】
2007122907.tif 000034
【図１９Ｂ】
2007122907.tif 000035
【図１９Ｃ】
2007122907.tif 000036
【手続補正書】
【提出日】平成19年8月29日(2007.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像コーデック装置であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
撮影範囲が連接する撮影画像を示す撮影画像データを生成する複数の撮影手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化してストリームを送信する符号化手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタを連接して表示する画像表示手段と、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像を、前記面像表示手段の所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする画像コーデック装置。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
前記画像処理手段は、
前記符号化手段から送信したストリームを受信する側における複数のモニタで連接して表示される形態に応じて、前記複数の撮影画像データを連接させる画像処理を行う
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項８】
（削除）
【請求項９】
前記画像処理手段は、
前記符号化手段から送信したストリームを受信する側における複数のモニタで連接して表示される形態を取得し、前記形態に応じて前記複数の撮影画像データを連接させる画像処理を行う
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項１０】
前記画像処理手段は、
複数のモニタを連接した場合と同じ見え方となるように、前記複数の撮影画像データを連接させる場合は、前記画像表示手段の各モニタに対応する撮影画像データのそれぞれに枠を入れるように前記処理画像データを生成する
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
（削除）
【請求項１５】
（削除）
【請求項１６】
画像コーデック方法であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
撮影範囲が連接する撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化してストリームを送信する符号化ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタに連接して表示する画像表示ステップと、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像を、前記画像表示ステップの所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
を含むことを特徴とする画像コーデック方法。
【請求項１７】
画像コーデック装置のためのプログラムであって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
撮影範囲が連接する撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化してストリームを送信する符号化ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタに連接して表示する画像表示ステップと、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像を、前記画像表示ステップの所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
集積回路であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
撮影範囲が連接する撮影画像を示す撮影画像データを生成する複数の撮影手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化してストリームを送信する符号化手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタを連接して表示する画像表示手段と、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像を、前記画像表示手段の所定のモニタに対する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする集積回路。
【手続補正書】
【提出日】平成20年9月9日(2008.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像コーデック装置であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
撮影範囲が連接する撮影画像を示す撮影画像データを生成する複数の撮影手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化してストリームを送信する符号化手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタを連接して表示する画像表示手段と、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像を、前記画像表示手段の所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする画像コーデック装置。
【請求項２】
前記画像処理手段は、
前記符号化手段から送信したストリームを受信する側における複数のモニタで連接して表示される形態に応じて、前記複数の撮影画像データを連接させる画像処理を行う
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項３】
前記画像処理手段は、
前記符号化手段から送信したストリームを受信する側における複数のモニタで連接して表示される形態を取得し、前記形態に応じて前記複数の撮影画像データを連接させる画像処理を行う
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項４】
前記画像処理手段は、
複数のモニタを連接した場合と同じ見え方となるように、前記複数の撮影画像データを連接させる場合は、前記画像表示手段の各モニタに対応する撮影画像データのそれぞれに枠を入れるように前記処理画像データを生成する
ことを特徴とする請求項１記載の画像コーデック装置。
【請求項５】
画像コーデック方法であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
撮影範囲が連接する撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化してストリームを送信する符号化ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタに連接して表示する画像表示ステップと、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像を、前記画像表示ステップの所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
を含むことを特徴とする画像コーデック方法。
【請求項６】
画像コーデック装置のためのプログラムであって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号ステップと、
撮影範囲が連接する撮影画像を示す複数の撮影画像データを生成する撮影ステップと、
前記撮影ステップで生成された複数の撮影画像データを符号化してストリームを送信する符号化ステップと、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタに連接して表示する画像表示ステップと、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理ステップと、
前記処理画像データにより示される処理画像を、前記画像表示ステップの所定のモニタに対応する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
集積回路であって、
符号化画像データを含むストリームを受信して、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、
撮影範囲が連接する撮影画像を示す撮影画像データを生成する複数の撮影手段と、
前記複数の撮影手段で生成された複数の撮影画像データを符号化してストリームを送信する符号化手段と、
画像を示す画像表示データを取得し、前記画像表示データにより示される画像を複数のモニタを連接して表示する画像表示手段と、
前記複数の撮影画像データを連接させる画像処理を行うことにより、処理画像データを生成する画像処理手段と、
前記処理画像データにより示される処理画像を、前記画像表示手段の所定のモニタに対する前記復号画像データにより示される復号画像と合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段と
を備えることを特徴とする集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、複数のカメラもしくは複数のモニタを備えて構成されるＴＶ会議システムおよびＴＶ電話システムに用いられる画像コーデック装置に関する。
【背景技術】
【０００２】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、または電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形や、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｉｔ／ｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｉｔ／ｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｉｔ／ｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１およびＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１およびＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化、復号化および操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。
【０００６】
ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ−４  ＡＶＣおよびＩＴＵ  Ｈ．２６４が規格化された。
【０００７】
一方、ネットワークではＡＤＳＬや光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Ｍｂｉｔ／ｓを越えるビットレートで送受信が可能となっている。今後数年で、数十Ｍｂｉｔ／ｓの送受信が可能になる見込であり、前述の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質やＨＤＴＶ（High Definition TeleVision）放送品質のＴＶ電話・ＴＶ会議システムの導入が進むと予想される。
【０００８】
ここで、上述のような画像符号化技術を用いた従来の画像コーデック装置について、以下、詳細に説明する。従来の画像コーデック装置は、ＴＶ会議システムに用いられている（例えば、特許文献１参照）。
【０００９】
図１は、従来のＴＶ会議システムの一例を示す図である。この図１により示される例は、各拠点に１面モニタが配置されたＴＶ会議システムを２人で使用する例であり、現在のＴＶ会議やＴＶ電話の最も代表的な例である。ここで、ＴＶ会議システムの各拠点におけるシステムが画像コーデック装置として構成されている。
【００１０】
人物Ｐａの前にはモニタＭａとカメラＣａが設置され、人物Ｐｄの前にはモニタＭｄとカメラＣｄが設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣａで撮影された人物Ｐａの画像Ｐａ’がモニタＭｄに表示される。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｄで撮影された人物Ｐｄの画像Ｐｄ’がモニタＭａに表示される。
【００１１】
なお、本来、カメラで撮影された映像はエンコーダ（符号化器）で符号化されて伝送された後、デコーダ（復号器）で復号されてモニタに表示される。カメラで撮影された映像がどのモニタに表示されるかを説明する場合には、符号化器および復号器は、本質的な構成要素ではないため、図１ではこれらを省略している。
【００１２】
図２は、上記従来のＴＶ会議システムの他の使用例を示す図である。つまり、この使用例は、各拠点に１面モニタが配置されたＴＶ会議システムを６人で使用する例である。
【００１３】
人物Ｐａ、人物Ｐｂおよび人物Ｐｃの前にはモニタＭａとカメラＣａが設置され、人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの前にはモニタＭｄとカメラＣｄが設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣａで撮影された人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’がモニタＭｄに表示される。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｄで撮影された人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの画像Ｐｄ’，Ｐｅ’，Ｐｆ’がモニタＭａに表示される。
【００１４】
図３Ａおよび図３Ｂは、上記ＴＶ会議システムによって表示される自画像の例を示す図である。
【００１５】
自画像は、ユーザがカメラで撮影した自分の映像を確認するための画像であり、相手にどのような画像が送信されているのかを確認する目的で使用されることが多い。ユーザは自画像を確認することで、自分が画面の中央に撮影されているかどうか、自分が画面のどの位置に映っているか、画面の中で自分の画像が占める割合（大きさ）などを確認できる。
【００１６】
図３Ａは、図１のＴＶ会議システムの使用例で、人物Ｐａの画像Ｐａ’がモニタＭａの自画像枠Ｍａ’内に表示されている一例を示す。この自画像枠Ｍａ’内にある画像が自画像である。図３Ｂは、図２のＴＶ会議システムの使用例で、人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’がモニタＭａの自画像枠Ｍａ’内に表示されている一例を示す。このように、各拠点に１面モニタが配置されたＴＶ会議システムでは、拠点ごとにカメラが１台あり、単純にそのカメラで撮影した映像が自画像としてモニタに表示される。
【００１７】
図４Ａ〜図４Ｃは、従来の他のＴＶ会議システムおよびそのシステムで表示される画像を示す図である。
【００１８】
この図４Ａに示すＴＶ会議システムでは、１つのカメラと複数のモニタで１つの拠点を構成し、３拠点が接続されている。人物Ｐａの前にはモニタＭａ１とモニタＭａ２とカメラＣａ０が設置され、人物Ｐｂの前にはモニタＭｂ１とモニタＭｂ２とカメラＣｂ０が設置され、人物Ｐｃの前にはモニタＭｃ１とモニタＭｃ２とカメラＣｃ０が設置されている。ここで、ＴＶ会議システムの各拠点におけるシステムが画像コーデック装置として構成されている。
【００１９】
カメラＣａ０の出力端子はモニタＭｂ２とモニタＭｃ１に接続され、図４Ｂに示すように、カメラＣａ０で撮影された人物Ｐａの画像Ｐａ’がモニタＭｂ２とモニタＭｃ１に表示される。カメラＣｂ０の出力端子はモニタＭａ１とモニタＭｃ２に接続され、カメラＣｂ０で撮影された人物Ｐｂの画像Ｐｂ’がモニタＭａ１とモニタＭｃ２に表示される。同様に、カメラＣｃ０の出力端子はモニタＭａ２とモニタＭｂ１に接続され、カメラＣｃ０で撮影された人物Ｐｃの画像Ｐｃ’がモニタＭａ２とモニタＭｂ１に表示される。
【００２０】
このようにして、人物Ｐａは、図４Ｃに示すように、モニタＭａ１とモニタＭａ２にそれぞれ表示された人物Ｐｂと人物Ｐｃの画像Ｐｂ’，Ｐｃ’を見ることができる。同様に、人物Ｐｂは、モニタＭｂ１とモニタＭｂ２にそれぞれ表示された人物Ｐｃと人物Ｐａの画像Ｐｃ’，Ｐａ’を見ることができ、人物Ｐｃは、モニタＭｃ１とモニタＭｃ２にそれぞれ表示された人物Ｐａと人物Ｐｂの画像Ｐａ’，Ｐｂ’を見ることができる。
【００２１】
図５は、上記従来の他のＴＶ会議システムによって表示される自画像の例を示す図である。上記従来の他のＴＶ会議システム、つまり図４Ａに示すＴＶ会議システムでは、１つの拠点には１台のカメラがあるため、そのカメラで撮影した人物の画像を含む自画像が表示される。例えば、カメラＣａ０で撮影された映像がモニタＭａ１の自画像枠Ｍａ１’に自画像として表示されるため、人物Ｐａは、モニタＭａ１の自画像枠Ｍａ１’に表示される画像Ｐａ’を確認することができる。
【００２２】
一方、１つの拠点に複数のカメラを配置することにより高臨場感を実現するＴＶ会議システムも提案されている（例えば、特許文献１参照）。
【００２３】
上記特許文献１のＴＶ会議システムでは、１つの拠点にカメラを１台でなく、複数台配置することで、より広い範囲や複数の角度からの撮影が可能となり、ＴＶ会議システムを通した対話の相手が、あたかもその場にいるような高臨場感を実現できる。例えば、ユーザは対話相手の視線を合わせることで高臨場感を得ることができる。
【特許文献１】特開２０００−２１７０９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上記従来の画像コーデック装置では、ユーザは、高臨場感を受けながら自画像を適切に確認することができず、使い勝手が悪いという問題がある。
【００２５】
そこで、本発明は、かかる問題に鑑みてなされたものであって、ユーザが高臨場感を受けながら自画像を適切に確認することが可能な画像コーデック装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達成するために、本発明に係る画像コーデックは、画像を示すデータに対して符号化および復号を行う画像コーデック装置であって、それぞれ撮影することにより撮影画像を示す撮影画像データを生成する複数の撮影手段と、画像を示す画像表示データを取得し、前記画像表示データにより示される画像を表示する画像表示手段と、前記複数の撮影手段で生成された複数の撮影画像データを符号化する符号化手段と、符号化画像データを取得し、前記符号化画像データを復号することにより復号画像データを生成する復号手段と、前記複数の撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理手段と、前記処理画像データにより示される処理画像と、前記復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを、前記画像表示データとして出力する画像合成手段とを備えることを特徴とする。
【００２７】
例えば、本発明に係る画像コーデックを各拠点に備えたＴＶ会議システムの拠点では、複数の撮影手段たるカメラによって人物が撮影されるとともに、復号画像データにより示される他の拠点の人物の画像と、その撮影された人物の複数の画像（自画像）とが合成されて画像表示手段たるモニタに表示される。これにより、複数のカメラによって人物が撮影され、その撮影結果を示す複数の撮影画像データが符号化されるため、その符号化された各撮影画像データを他の拠点に送信して、他の拠点でそれらを復号して人物の画像を表示させれば、その人物の画像を見る他の拠点のユーザに高臨場感を与えることができる。さらに、復号画像データにより示される他の拠点の人物の画像と、撮影された人物の複数の画像とが合成されて表示されるため、カメラに撮影される人物たるユーザは、その自画像を適切に確認することができる。したがって、使い勝手を向上することができる。また、複数のカメラで生成された複数の撮影画像データの示す撮影画像（自画像）は画像処理されて処理画像として合成されるため、それらのカメラで撮影される人物たるユーザは、自画像をより適切に確認することができる。
【００２８】
また、前記画像処理手段は、さらに、予め定められた複数の画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行うことを特徴としてもよい。例えば、前記画像処理手段は、前記複数の撮影画像データの示す撮影画像をそれぞれ分離させ、分離された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法と、前記複数の撮影画像データの示す撮影画像をそれぞれ連続させ、連続された複数の撮影画像が前記処理画像に含まれるように前記処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択する。
【００２９】
これにより、画像処理方法が選択されるため、さらに使い勝手を向上することができる。
【００３０】
また、前記画像処理手段は、前記連続された複数の撮影画像と前記復号画像との境界に枠を入れるように前記処理画像データを生成することを特徴としてもよい。
【００３１】
これにより、その枠が、符号化された複数の撮影画像データの示す画像を上述の他の拠点において表示するモニタの枠であるかのように見えるため、ユーザは自画像をより適切に確認することができる。
【００３２】
また、前記画像処理手段は、前記符号化手段によって符号化された複数の撮影画像データの示す画像が他の画像コーデック装置で表示される形態に応じて、前記連続された複数の撮影画像を変形させて前記処理画像データを生成することを特徴としてもよい。例えば、前記画像処理手段は、前記連続された複数の撮影画像の並び方向における前記復号画像の端に向かって、前記連続された複数の撮影画像の形状が幅広となるように、前記連続された複数の撮影画像を変形させて前記処理画像データを生成する。
【００３３】
具体的に、他の拠点にある他の画像コーデック装置が３つのモニタを備え、その３つのモニタが一列に円弧を描くように連なっている場合、その拠点にいるユーザには、それらのモニタに表示される画像が、そのモニタの列の端に向かうほど大きくなるように見る。したがって、本発明のように、他の画像コーデック装置における表示の形態に応じて、連続された複数の撮影画像たる自画像を変形させることによって、他の拠点のユーザが実際に見ているような画像に処理画像を近づけることができる。その結果、撮影される人物たるユーザは、他の拠点のユーザが実際に見ているような画像を自画像としてより適切に確認することができる。
【００３４】
また、前記画像処理手段は、前記他の画像コーデック装置で表示される形態を示す表示形態情報を前記他の画像コーデック装置から取得し、前記表示形態情報の示す形態に応じて前記処理画像データを生成することを特徴としてもよい。
【００３５】
これにより、他の拠点のユーザが実際に見ているような画像に処理画像をより確実に近づけることができる。
【００３６】
また、前記画像処理手段は、前記連続された複数の撮影画像のそれぞれに枠を入れるように前記処理画像データを生成することを特徴としてもよい。
【００３７】
これにより、符号化された複数の撮影画像データの示す撮影画像が他の拠点においてそれぞれ異なるモニタで表示される場合には、処理画像における複数の撮影画像のそれぞれの枠が、他の拠点のモニタの枠であるかのように見える。したがって、ユーザは自画像をより適切に確認することができる。
【００３８】
また、前記画像処理手段は、前記複数の撮影画像データの示す撮影画像のうちの何れか１つの撮影画像のみを抽出し、抽出された撮影画像を前記処理画像として示す処理画像データを生成する画像処理方法と、前記複数の撮影画像データの示す撮影画像に基づいて、前記各撮影画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法と、前記抽出された撮影画像、および前記各処理画像と異なる画像を前記処理画像として示す処理画像データを生成する画像処理方法とを含む、前記複数の画像処理方法の中から何れか１つの画像処理方法を選択することを特徴としてもよい。例えば、前記画像処理手段は、前記各撮影画像と異なる画像が、前記各撮影手段の撮影方向とは異なる方向から撮影されたような画像となるように前記処理画像データを生成する。
【００３９】
具体的に、撮影手段たるカメラが２つあって、一方のカメラが人物の右斜め前を撮影し、他方のカメラが人物の左斜め前を撮影する。この場合、その人物の右斜め前の撮影画像を示す撮影画像データと、その人物の左斜め前の撮影画像を示す撮影画像データとが生成される。
【００４０】
本発明では、この右斜め前の撮影画像および左斜め前の撮影画像のうち何れか１つの撮影画像のみを抽出し、抽出された撮影画像を処理画像とする第１の画像処理方法と、右斜め前の撮影画像および左斜め前の撮影画像に基づいて、それらの撮影画像と異なる人物の正面の画像を処理画像として生成する第２の画像処理方法と、右斜め前の撮影画像または左斜め前の撮影画像および正面の画像を処理画像として生成する第３の画像処理方法とを含む、複数の画像処理方法の中から何れか１つの画像処理方法を選択する。これにより、ユーザは自画像をより適切に確認することができる。
【００４１】
なお、本発明は、このような画像コーデック装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体や集積回路としても実現することができる。
【発明の効果】
【００４２】
本発明の画像コーデック装置は、ユーザが高臨場感を受けながら自画像を適切に確認することができるという作用効果を奏する。つまり、自画像をわかりやすく表示して確認することができる。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の実施の形態について、図６から図１９Ｃを用いて説明する。
【００４４】
なお、ＴＶ会議システムは画像と音声を伴う映像通信システムの代表例なので、本明細書では、ＴＶ会議システムの各拠点におけるシステムを画像コーデック装置の一例として説明する。しかしながら、ＴＶ電話や映像監視システムにも本発明の画像コーデック装置が使用できることは明らかである。
【００４５】
（実施の形態１）
図６は、本発明の実施の形態１における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【００４６】
この画像コーデック装置は、３面モニタを備え、ＴＶ会議システムの１つの拠点におけるシステムとして構成されている。なお、図６は、本実施の形態のＴＶ会議システムが６人で使用される例を示している。
【００４７】
本実施の形態のＴＶ会議システムは、２つの拠点（画像コーデック装置）から構成され、一方の拠点に、撮影手段たるカメラＣａ，Ｃｂ，Ｃｃと、画像表示手段たるモニタＭａ，Ｍｂ，Ｍｃと、符号化器、復号器および合成器（図１０Ａ参照）とを備え、他方の拠点に、撮影手段たるカメラＣｄ，Ｃｅ，Ｃｆと、画像表示手段たるモニタＭｄ，Ｍｅ，Ｍｆと、符号化器、復号器および合成器（図１０Ａ参照）とを備える。
【００４８】
なお、上述の各モニタＭａ，Ｍｂ，Ｍｃ，Ｍｄ，Ｍｅ，Ｍｆは、例えば、ＰＤＰ（Plasma Display Panel）として構成されている。また、符号化器、復号器および合成器については後述する。
【００４９】
人物Ｐａの前にはモニタＭａが配置され、人物Ｐｂの前にはモニタＭｂが配置され、人物Ｐｃの前にはモニタＭｃが設置される。人物Ｐｄの前にはモニタＭｄが配置され、人物Ｐｅの前にはモニタＭｅが配置され、人物Ｐｆの前にはモニタＭｆが設置されている。
【００５０】
カメラＣａ、カメラＣｂおよびカメラＣｃはモニタＭｂの場所に、それぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃを撮影できる向きに向けて設置されている。カメラＣａの出力端子はモニタＭｄに接続され、カメラＣｂの出力端子はモニタＭｅに接続され、カメラＣｃの出力端子はモニタＭｆに接続される。カメラＣｄ、カメラＣｅおよびカメラＣｆはモニタＭｅの場所に、それぞれ人物Ｐｄ、人物Ｐｅおよび人物Ｐｆを撮影できる向きに向けて設置されている。カメラＣｄの出力端子はモニタＭａに接続され、カメラＣｅの出力端子はモニタＭｂに接続され、カメラＣｆの出力端子はモニタＭｃに接続される。従って、モニタＭａ、モニタＭｂおよびモニタＭｃにはそれぞれ人物Ｐｄ、人物Ｐｅおよび人物Ｐｆの画像Ｐｄ’，Ｐｅ’，Ｐｆ’が表示され、モニタＭｄ、モニタＭｅおよびモニタＭｆにはそれぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃの画像Ｐａ’，Ｐｂ’，Ｐｃ’が表示される。
【００５１】
つまり、本実施の形態の画像コーデック装置（拠点におけるシステム）では、３つのカメラ（例えばカメラＣａ，Ｃｂ，Ｃｃ）は、それぞれ撮影することによって撮影画像を示す撮影画像データを生成して出力する。そして、符号化器は、その撮影画像データを符号化して、他方の拠点における画像コーデック装置に送信する。また、復号器は、他の拠点における画像コーデック装置から、その拠点で撮影された撮影画像を示す符号化画像データを取得し、その符号化画像データを復号することにより復号画像データを生成する。そして、復号器は、その復号画像データにより示される復号画像をモニタ（例えばモニタＭａ，Ｍｂ，Ｍｃ）に表示させる。
【００５２】
以上の構成により、人物Ｐａ、人物Ｐｂおよび人物Ｐｃのユーザは、人物Ｐｄ、人物Ｐｅおよび人物Ｐｆとそれぞれ向かい合っているように感じることができる。つまり、１つの拠点に、カメラおよびモニタをそれぞれ３台使用することで、カメラおよびモニタがそれぞれ１台の場合よりも画像を表示できる範囲（特に水平方向の視野範囲）が広がり、目の前に相手がいるような高臨場感を実現することができる。
【００５３】
また、本実施の形態では、１箇所（１つのモニタ）にカメラを設置するため、カメラの固定機材（三脚等）やカメラ付属の映像機器を１箇所に集中して設置することができる。なお、カメラの設置場所と方向は、必ずしも図６に示すものでなくてもよい。
【００５４】
図７は、カメラの他の配置例を示す図である。この図７に示す配置例では、各カメラは各モニタの位置に分散して配置される。つまり、この配置例は、複数のカメラを１箇所に集中して設置するスペースが無い場合に適している。図７に示すように、カメラＣａ、カメラＣｂおよびカメラＣｃはそれぞれ人物Ｐａ、人物Ｐｂおよび人物Ｐｃに向けて設置されており、図６に示すような位置に配置されたカメラＣａ、カメラＣｂおよびカメラＣｃとほぼ同じ画像を撮影することができる。
【００５５】
図８は、本実施の形態におけるＴＶ会議システムの他の使用例を示す図である。
【００５６】
この図８に示す使用例では、各拠点で３面モニタが備えられたＴＶ会議システムが１０人で使用される。図８に示すように、各カメラと各モニタの設置や接続状況は、図６に示す配置および接続状況と同じである。
【００５７】
従って、人物Ｐａ、人物Ｐｂおよび人物ＰｃはそれぞれカメラＣａ、カメラＣｂおよびカメラＣｃで撮影され、それぞれの画像Ｐａ’，Ｐｂ’，Ｐｃ’はモニタＭｄ、モニタＭｅおよびモニタＭｆに表示される。同様に、人物Ｐｄ、人物Ｐｅおよび人物ＰｆはそれぞれカメラＣｄ、カメラＣｅおよびカメラＣｆで撮影され、それぞれの画像Ｐｄ’，Ｐｅ’，Ｐｆ’はモニタＭａ、モニタＭｂおよびモニタＭｃに表示される。
【００５８】
人物ＰａｂはカメラＣａとカメラＣｂの撮影領域間に位置するため、カメラＣａとカメラＣｂの両方で撮影され、人物Ｐａｂの画像Ｐａｂ’は、モニタＭｄとモニタＭｅのそれぞれで分割して表示される。同様にして、人物ＰｂｃはカメラＣｂとカメラＣｃで撮影されて、人物Ｐｂｃの画像Ｐｂｃ’はモニタＭｅとモニタＭｆのそれぞれで分割して表示される。さらに、人物ＰｄｅはカメラＣｄとカメラＣｅで撮影されて、人物Ｐｄｅの画像Ｐｄｅ’はモニタＭａとモニタＭｂのそれぞれで分割して表示される。さらに、人物ＰｅｆはカメラＣｅとカメラＣｆで撮影されて、人物Ｐｅｆの画像Ｐｅｆ’はモニタＭｂとモニタＭｃのそれぞれで分割して表示される。
【００５９】
このように、本実施の形態におけるＴＶ会議システムでは、各拠点で５人がこのＴＶ会議システムを利用する場合でも、人物Ｐａ、人物Ｐａｂ、人物Ｐｂ、人物Ｐｂｃおよび人物Ｐｃの５人のユーザは、人物Ｐｄ、人物Ｐｄｅ、人物Ｐｅ、人物Ｐｅｆおよび人物Ｐｆの５人とそれぞれ向かい合っているように感じることができる。１拠点あたり５人の場合は、３人の場合よりも各人物が横に広がって並んで（着席して）会議することになる。つまり、本実施の形態は、各拠点においてカメラおよびモニタをそれぞれ３台とすることにより、カメラおよびモニタがそれぞれ１台の場合よりも画像を表示できる範囲（特に水平方向の視野範囲）が広いため、大人数の会議などに適し、目の前に相手がいるような高臨場感を実現することができる。
【００６０】
図９Ａ〜図９Ｄは、本実施の形態におけるＴＶ会議システムによって表示される自画像の例を示す図である。自画像とは、ユーザがカメラで撮影した自分の画像がどのように映っているかをそのユーザ自身が確認するための画像であって、言い換えれば、拠点におけるカメラで撮影されてその拠点のモニタで表示される画像である。
【００６１】
図６のように１拠点あたり３人がＴＶ会議を行う場合には、人物Ｐａ、人物Ｐｂおよび人物Ｐｃの前にそれぞれモニタＭａ、モニタＭｂおよびモニタＭｃが設置されている。したがって、図９Ａのように、モニタの正面にいる人物の自画像のみをそのモニタに表示すれば、不必要な他の人物の自画像が表示されないので、ＴＶ会議の相手の映像を表示できる面積を大きくしてその映像を見やすくすることができる。つまり、モニタＭａがカメラＣａにより撮影された映像を自画像枠Ｍａ’内に表示することにより、人物Ｐａの画像Ｐａ’を含む自画像がその自画像枠Ｍａ’内に表示される。同様に、モニタＭｂがカメラＣｂにより撮影された映像を自画像枠Ｍｂ’内に表示することにより、人物Ｐｂの画像Ｐｂ’を含む自画像がその自画像枠Ｍｂ’内に表示される。さらに同様に、モニタＭｃがカメラＣｃにより撮影された映像を自画像枠Ｍｃ’内に表示することにより、人物Ｐｃの画像Ｐｃ’を含む自画像がその自画像枠Ｍｃ’内に表示される。
【００６２】
一方、図８のように１拠点あたり５人がＴＶ会議を行う場合には、人物ＰａｂがカメラＣａとカメラＣｂに撮影され、人物ＰｂｃがカメラＣｂとカメラＣｃに撮影される。したがって、図９Ａに示すように自画像が表示されると、１人の人物の画像が２つのモニタに別れて（例えば、右半身と左半身に別れて）表示されることになり、見づらい自画像になる。そこで、このように複数のカメラに跨って撮影される人物がいる場合には、図９Ｂのように、全てのカメラの映像を１つの自画像枠Ｍｂ”内にまとめ、その自画像枠Ｍｂ’内に全ての自画像を表示してもよい。これにより、複数のカメラに跨って撮影された人物も、１つの映像の中で自らの画像を確認することができる。
【００６３】
なお、複数のカメラの映像をまとめて連続した自画像を表示する場合には、図９Ｃに示すように、全てのカメラ（３つのカメラ）の映像をまとめてモニタに表示するとともに、一部のカメラ（２つのカメラ）の映像のみをまとめて表示しても良い。
【００６４】
つまり、モニタＭａはカメラＣａ，Ｃｂで撮影された映像をまとめて自画像枠Ｍａ”内に表示する。その結果、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分および人物Ｐｂの画像Ｐｂ’を含む自画像とが連続してその自画像枠Ｍａ”内に表示される。
【００６５】
また、モニタＭｂはカメラＣａ，Ｃｂ，Ｃｃで撮影された映像をまとめて自画像枠Ｍｂ”内に表示する。その結果、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む自画像とが連続してその自画像枠Ｍｂ”内に表示される。
【００６６】
また、モニタＭｃはカメラＣｂ，Ｃｃで撮影された映像をまとめて自画像枠Ｍｃ”内に表示する。その結果、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む自画像とが連続してその自画像枠Ｍｃ”内に表示される。
【００６７】
また、円卓状で会議を行うときに、自画像を表示する場合には、図９Ｄに示すように、ユーザの近くに設置したモニタではなく、円卓を挟んだ向かいに位置する人物が表示されるモニタにそのユーザの自画像を表示してもよい。すなわち、人物Ｐａの場合、人物Ｐａに最も近いモニタＭａではなく、人物Ｐａの円卓を挟んだ向かいの位置の、人物Ｐｆの画像Ｐｆ’が表示されるモニタＭｃに、人物Ｐａの画像Ｐａ’を含む自画像を表示してもよい。なぜなら、長方形の机の場合、机の平行する２辺と直行する方向に人物が向かい合うのに対し、円卓の場合には、円卓の中心を挟む方向に人物が向かい合うからである。
【００６８】
このように、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、自画像を表示するときには、図９Ａ〜図９Ｄに示すように、自画像の表示形態を切り換えて、切り換えられた表示形態で自画像を表示する。
【００６９】
つまり、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、３つカメラで生成された撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理部（図１０Ｂ参照）を備えている。この処理画像データは、３つの自画像の配置構成が調整された処理画像を示す。この処理画像は、例えば、図９Ａに示す３つの自画像枠Ｍａ’，Ｍｂ’，Ｍｃ’とそれらの枠内に表示される画像、図９Ｂに示す自画像枠Ｍｂ”およびその枠内に表示される画像、図９Ｃに示す３つの自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”およびそれらの枠内に表示される画像、または、図９Ｄに示す３つの自画像枠Ｍａ’，Ｍｂ’，Ｍｃ’およびそれらの枠内に表示される画像である。
【００７０】
そして、本実施の形態のＴＶ会議システムにおける画像処理部は、４つの画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行い、上述のような処理画像を示す処理画像データを生成する。さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、上述のような処理画像データの示す処理画像と、他の拠点で撮影された撮影画像である、上述の復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを出力する画像合成部（図１０Ｂ参照）を備えている。その結果、モニタ（例えば、モニタＭａ，Ｍｂ，Ｍｃ）は、その合成画像データを画像表示データとして取得して、その画像表示データの示す画像を、図９Ａ〜図９Ｄに示すように表示する。
【００７１】
また、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、モニタに画像表示データとして取得されるデータを、画像合成部から出力される合成画像データと、復号器により生成された復号画像データとに切り換える切換手段（図１０Ａの切換制御部）を備える。切換手段は、例えばユーザによる操作に基づいて切り換える。その結果、３つのモニタにおける処理画像の表示と非表示とが切り換えられる。
【００７２】
さらに、上述の画像処理部は、４つの画像処理方法のうち何れか１つの画像処理方法を選択するときには、例えば、（１）ユーザによる明示的な選択の指示、（２）過去の使用履歴やユーザの嗜好、（３）カメラに撮影されている人物の人数（１人か複数か）、または（４）複数のカメラに同時に撮影されている人物の有無、に基づいて選択する。上述の（２）の場合には、画像処理部は、例えば、過去に選択された画像処理方法をユーザ毎に履歴として管理し、選択の頻度が多い画像処理方法を自動的に選択する。また、画像処理部は、上述の（１）〜（４）を組み合わせた結果に基づいて画像処理方法を選択してもよい。
【００７３】
なお、本実施の形態では、１つの拠点（画像コーデック装置）にカメラ３台とモニタ３台とを備えたが、カメラが２台以上であればよい。また、モニタが１台の場合でも、モニタが曲面になっていてもよい。
【００７４】
図１０Ａは、本実施の形態におけるＴＶ会議システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【００７５】
このＴＶ会議システムの画像コーデック装置１００は、カメラで撮影された撮影画像を符号化して相手の拠点に送信するとともに、その符号化された撮影画像を復号して自画像として表示する。
【００７６】
具体的に、画像コーデック装置１００は、カメラＣａ，Ｃｂ，Ｃｃと、モニタＭａ，Ｍｂ，Ｍｃと、符号化器１０１，１０２，１０３と、復号器１２１，１２２，１２３と、合成器１１１，１１２，１１３と、切換制御部１３０とを備えている。
【００７７】
符号化器１０１は、カメラＣａで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。また、符号化器１０１は、そのストリームＳｔｒ１を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。
【００７８】
同様に、符号化器１０２は、カメラＣｂで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。また、符号化器１０２は、ストリームＳｔｒ２を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。
【００７９】
同様に、符号化器１０３は、カメラＣｃで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ３として相手の拠点に送信する。また、符号化器１０３は、ストリームＳｔｒ３を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データ（撮影画像）を合成器１１１、合成器１１２および合成器１１３に出力する。
【００８０】
相手の拠点で撮影されて符号化されることによって生成されたビットストリームは、ストリームＳｔｒ４、ストリームＳｔｒ５およびストリームＳｔｒ６として画像コーデック装置１００に入力される。
【００８１】
つまり、復号器１２１は、符号化画像データであるストリームＳｔｒ４を取得し、そのストリームＳｔｒ４を復号することにより復号画像データを生成し、その復号画像データを合成器１１１に出力する。
【００８２】
合成器１１１は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１１は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して画像処理を行う。即ち、合成器１１１は、上述の３つの自画像（撮影画像データ）の中から、自画像表示モードに応じた自画像を選択する。ここで、選択された自画像が複数であれば、合成器１１１は、それらの画像を組み合わせて１枚の画像にする。さらに、合成器１１１は、復号器１２１による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａに出力する。
【００８３】
なお、自画像表示モードが自画像（処理画像）の非表示を示すときには、合成器１１１は、撮影画像データに対して画像処理を行うことなく、復号画像に対する合成も行うことなく、復号器１２１から取得された復号画像データを画像表示データとしてモニタＭａに出する。
【００８４】
同様に、復号器１２２は、符号化画像データであるストリームＳｔｒ５を取得し、そのストリームＳｔｒ５を復号することにより復号画像データを生成し、その復号画像データを合成器１１２に出力する。
【００８５】
合成器１１２は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１２は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して、自画像表示モードに応じた画像処理を行う。さらに、合成器１１２は、復号器１２２による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭｂに出力する。
【００８６】
同様に、復号器１２３は、復号化画像データであるストリームＳｔｒ６を取得し、そのストリームＳｔｒ６を復号することにより復号画像データを生成し、その復号画像データを合成器１１３に出力する。
【００８７】
合成器１１３は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部１３０から取得する。そして、合成器１１３は、符号化器１０１、符号化器１０２および符号化器１０３から出力された自画像（撮影画像データ）に対して、自画像表示モードに応じた画像処理を行う。さらに、合成器１１３は、復号器１２３による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭｃに出力する。
【００８８】
切換制御部１３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、自画像（処理画像）を表示させるか否かを判別する。さらに、切換制御部１３０は、上述のように、ユーザの過去の使用履歴やユーザの嗜好などに基づいて、図９Ａ〜図９Ｄに示すような複数の画像処理方法の中から、何れか１つの画像処理方法を選択する。そして、切換制御部１３０は、その自画像の表示の有無の判別結果と、選択された画像処理方法とを示す自画像表示モードを、合成器１１１，１１２，１１３に出力する。
【００８９】
図１０Ｂは、合成器１１１の内部構成を示す図である。
【００９０】
合成器１１１は、画像処理部１１１ａおよび画像合成部１１１ｂを備えている。
【００９１】
画像処理部１１１ａは、切換制御部１３０から自画像表示モードを取得し、その自画像表示モードが自画像（処理画像）の表示を示すときには、符号化器１０１，１０２，１０３から取得された撮影画像データ、つまり符号化されて復号された撮影画像データに対して上述の画像処理を行う。そして、画像処理部１１１ａは、その画像処理によって生成された処理画像データを画像合成部１１１ｂに出力する。ここで、その自画像表示モードは、上述の４つの画像処理方法のうちの１つの画像処理方法を示している。したがって、画像処理部１１１ａは、その自画像表示モードの示す画像処理方法に従って画像処理を行う。一方、その自画像表示モードが自画像（処理画像）の非表示を示すときには、画像処理部１１１ａは、上述のような画像処理を行わなくてもよい。
【００９２】
画像合成部１１１ｂは、復号器１２１から復号画像データを取得する。さらに、画像合成部１１１ｂは、画像処理部１１１ａから処理画像データを取得すると、その処理画像データの示す処理画像、つまり画像処理された自画像を、復号画像データの示す復号画像に合成（重畳）する。そして、画像合成部１１１ｂは、その合成によって生成された合成画像データを画像表示データとしてモニタＭａに出力する。一方、画像合成部１１１ｂは、自画像を表示しない場合は、画像処理部１１１ａから処理画像データを取得せず、復号器１２１から取得された復号画像データに対して上述のような合成を行うことなく、その復号画像データを画像表示データとしてモニタＭａに出力する。
【００９３】
なお、合成器１１２，１１３も、上述の合成器１１１と同様の構成を有する。
【００９４】
図１１は、本実施の形態における画像コーデック装置１００の動作を示すフローチャートである。
【００９５】
画像コーデック装置１００は、３つのカメラＣａ，Ｃｂ，Ｃｃで撮影することにより撮影画像（撮影画像データ）を生成する（ステップＳ１００）。そして、画像コーデック装置１００は、その生成された撮影画像を符号化して、相手の拠点の画像コーデック装置に送信する（ステップＳ１０２）。
【００９６】
さらに、画像コーデック装置１００は、符号化された複数の撮影画像を復号して自画像を生成する（ステップＳ１０４）。ここで、画像コーデック装置１００は、ユーザの操作などに基づいて、その復号された複数の撮影画像である自画像に対して施すべき画像処理方法を選択する（ステップＳ１０６）。そして、画像コーデック装置１００は、その選択した画像処理方法に従って、復号された複数の撮影画像である自画像に対して画像処理を行い、処理画像（処理画像データ）を生成する（ステップＳ１０８）。
【００９７】
また、画像コーデック装置１００は、相手の拠点で撮影されて符号化された符号化画像データを取得して復号することにより、復号画像を生成する（ステップＳ１１０）。
【００９８】
そして、画像コーデック装置１００は、ステップＳ１０８で生成された処理画像をステップＳ１１０で生成された復号画像に合成し、合成された画像をモニタＭａ，Ｍｂ，Ｍｃに表示する。
【００９９】
このように本実施の形態では、複数のカメラで撮影された撮影画像たる自画像を画像処理して処理画像としてモニタに表示させるため、それらのカメラで撮影されるユーザは、自画像を適切に確認することができる。
【０１００】
また、本実施の形態では、符号化してさらに復号することによって生成された撮影画像を自画像として用いることで、ユーザは、コーデックによる符号化歪が反映された自画像を適切に確認することができる。
【０１０１】
（変形例１）
ここで、上記実施の形態１における画像コーデック装置の構成についての変形例について説明する。
【０１０２】
図１２は、本変形例におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【０１０３】
このＴＶ会議システムの画像コーデック装置１００ａは、カメラで撮影された撮影画像を、符号化および復号することなく自画像として表示する。
【０１０４】
具体的に、画像コーデック装置１００ａは、カメラＣａ，Ｃｂ，Ｃｃと、モニタＭａ，Ｍｂ，Ｍｃと、符号化器１０１ａ，１０２ａ，１０３ａと、復号器１２１，１２２，１２３と、合成器１１１，１１２，１１３と、切換制御部１３０とを備えている。つまり、本変形例に係る画像コーデック装置１００ａは、上記実施の形態１の画像コーデック装置１００における符号化器１０１，１０２，１０３の代わりに、符号化器１０１ａ，１０２ａ，１０３ａを備えている。
【０１０５】
符号化器１０１ａは、カメラＣａで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。ここで、本変形例に係る符号化器１０１ａは、上記実施の形態１の符号化器１０１のようにストリームＳｔｒ１を復号しない。
【０１０６】
同様に、符号化器１０２ａは、カメラＣｂで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。ここで、本変形例に係る符号化器１０２ａは、上記実施の形態１の符号化器１０２のようにストリームＳｔｒ２を復号しない。
【０１０７】
同様に、符号化器１０３ａは、カメラＣｃで撮影された撮影画像を示す撮影画像データを符号化し、符号化によって生成されたビットストリームをストリームＳｔｒ３として相手の拠点に送信する。ここで、本変形例に係る符号化器１０３ａは、上記実施の形態１の符号化器１０３のようにストリームＳｔｒ３を復号しない。
【０１０８】
したがって、本変形例に係る合成器１１１，１１２，１１３は、それぞれ上記実施の形態１のように、符号化されて復号された撮影画像データを取得することなく、カメラＣａ，Ｃｂ，Ｃｃから出力された撮影画像データを直接取得する。
【０１０９】
このように本変形例では、カメラで撮影された画像を、符号化および復号することなく、自画像として用いることで、画像コーデックに起因する画質劣化を確認することはできなくなるが、コーデックによる処理時間の遅延の影響を受けず、カメラによる撮影から表示までの応答を早くすることができる。
【０１１０】
（変形例２）
ここで、上記実施の形態１における画像処理方法の変形例について説明する。本変形例に係る画像コーデック装置１００は、ユーザが自らの画像をより適切に確認できるような処理画像を生成する。
【０１１１】
図１３Ａは、本変形例に係る画像コーデック装置１００によって表示される画像の一例を示す図である。
【０１１２】
本変形例に係る画像コーデック装置１００は、図１３Ａに示すように、両端の幅が中央の幅よりも広い処理画像を生成して表示する。この処理画像は、両端の幅が中央の幅よりも広い自画像枠Ｍｂ”と、その自画像枠Ｍｂ”の形状に応じて変形された３つの自画像とを含む。なお、３つの自画像は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第２の自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第３の自画像とであって、それぞれ連続している。第１の自画像は、図１３Ａの左側に向かって幅広となるように形成され、第２の自画像は、図１３Ａの右側に向かって幅広となるように形成されている。そして、自画像枠Ｍｂ”は、連続する３つの自画像と復号画像との境界を示している。
【０１１３】
図７に示すように３つのモニタが配置されている場合は、人物の位置に近い距離のモニタ（３つのモニタの両端部分）に映っている映像の方が、人物の位置から比較的遠い中央のモニタに映っている映像よりも大きいようにユーザは感じる。そこで、本変形例に係るＴＶ会議システムの拠点である画像コーデック装置１００は、中央の位置に表示される自画像の大きさを両端に表示される自画像よりも小さく表示することで、その拠点で撮影されて相手の拠点で視認される画像により近い画像を処理画像として生成している。
【０１１４】
具体的には、画像コーデック装置１００における合成器１１１の画像処理部１１１ａは、符号化器１０１，１０２，１０３から取得した撮影画像データに対して画像処理を行うことなく、復号器１２１から取得した復号画像データを画像表示データとしてモニタＭａに出力する。同様に、画像コーデック装置１００における合成器１１３の画像処理部は、符号化器１０１，１０２，１０３から取得した撮影画像データに対して画像処理を行うことなく、復号器１２３から取得した復号画像データを画像表示データとしてモニタＭｃに出力する。
【０１１５】
一方、画像コーデック装置１００における合成器１１２の画像処理部は、自画像枠Ｍｂ”と、符号化器１０１，１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、３つの自画像が連続して両端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１２の画像処理部は、その処理画像データの示す処理画像を、復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｂに出力する。
【０１１６】
つまり、本変形例に係る合成器１１２の画像処理部は、連続する３つの自画像を変形するときには、ストリームＳｔｒ１，Ｓｔｒ２，Ｓｔｒ３の示す画像が相手の拠点の画像コーデック装置で表示される形態に応じて、その連続する３つの自画像を変形させる。例えば、その画像処理部は、相手の拠点の画像コーデック装置における３つのモニタの配置構成や、それらのモニタの大きさなどに応じて、その相手の拠点におけるユーザが眺める画像と処理画像とが等しくなるように、その連続する複数の自画像を変形させる。ここで、上述の画像処理部は、相手の拠点の画像コーデック装置から、その画像コーデック装置の画像の表示形態に関する情報（表示形態情報）を取得して、その情報に応じて自画像の変形を行ってもよい。この情報は、例えば、上述のように、モニタの配置構成や、モニタの大きさ、モニタの台数、またはモニタの型式などを示す。
【０１１７】
これにより、画像コーデック装置１００のユーザ（人物Ｐａ，Ｐｂ，Ｐｃ）は、相手の拠点において表示される自らの画像をより適切に確認することができる。  図１３Ｂは、本変形例に係る画像コーデック装置１００によって表示される画像の他の例を示す図である。
【０１１８】
本変形例に係る画像コーデック装置１００は、図１３Ｂに示すように、上述と同様、両端の幅が中央の幅よりも広い処理画像を中央処理画像として生成して表示するとともに、その中央処理画像の一部の画像のみを含む左処理画像と、その中央処理画像の他の一部の画像のみを含む右処理画像とを生成して表示する。
【０１１９】
この左処理画像は、図１３Ｂの左側に向かって幅広の自画像枠Ｍａ”と、その自画像枠Ｍａ”の形状に応じて変形された２つの自画像とを含む。なお、２つの自画像は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像と、人物Ｐａｂの画像Ｐａｂ’の他の半分および人物Ｐｂの画像Ｐｂ’を含む第２の自画像とであって、それぞれ連続している。
【０１２０】
また、右処理画像は、図１３Ｂの右側に向かって幅広の自画像枠Ｍｃ”と、その自画像枠Ｍｃ”の形状に応じて変形された２つの自画像とを含む。なお、２つの自画像は、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第１の自画像と、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第２の自画像とであって、それぞれ連続している。
【０１２１】
具体的には、画像コーデック装置１００における合成器１１１の画像処理部１１１ａは、自画像枠Ｍａ”と、符号化器１０１，１０２から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部１１１ａは、２つの自画像が連続して左端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１１の画像処理部１１１ａは、その処理画像データの示す処理画像を、復号器１２１から取得した復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部１１１ａは、その生成された合成画像データを画像表示データとしてモニタＭａに出力する。
【０１２２】
同様に、画像コーデック装置１００における合成器１１３の画像処理部は、自画像枠Ｍｃ”と、符号化器１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、２つの自画像が連続して右端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１３の画像処理部は、その処理画像データの示す処理画像を、復号器１２３から取得した復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｃに出力する。
【０１２３】
また、画像コーデック装置１００における合成器１１２の画像処理部は、自画像枠Ｍｂ”と、符号化器１０１，１０２，１０３から取得した撮影画像データの示す自画像とを処理画像として示す処理画像データを生成する。このとき、画像処理部は、３つの自画像が連続して両端に向って幅広になるように、それらの自画像を変形して処理画像データを生成する。そして、合成器１１２の画像処理部は、その処理画像データの示す処理画像を、復号画像データの示す復号画像に合成することにより、その合成された画像を示す合成画像データを生成する。画像処理部は、その生成された合成画像データを画像表示データとしてモニタＭｂに出力する。
【０１２４】
これにより、モニタＭａ，Ｍｃの正面にいる人物Ｐａ，Ｐｃは、斜め向かいのモニタＭｂに表示されている、自らの画像を含む中央処理画像（自画像）を見ることなく、正面のモニタＭａ，Ｍｃに表示されている左処理画像または右処理画像を見て、相手の拠点において表示されている自らの自画像を確認することができる。つまり、モニタＭａ，Ｍｃの正面にいる人物Ｐａ，Ｐｃは、相手の拠点において表示されている自らの自画像をより適切にかつ簡単に確認することができる。
【０１２５】
ここで、本変形例に係る画像コーデック装置は、相手の拠点における各モニタの枠を現すような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成してもよい。
【０１２６】
図１４は、自画像枠の例を示す図である。
【０１２７】
合成器１１１，１１２，１１３のそれぞれの画像処理部は、符号化器１０１，１０２，１０３から撮影画像データを取得すると、その３つの撮影画像データの中から自画像表示モードに応じた撮影画像データを選択する。そして、画像処理部は、その選択した撮影画像データの示す自画像に対して、その自画像を太い線で囲うような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成する。また、選択された自画像が複数であれば、画像処理部は、それぞれの自画像を太い線で囲うような自画像枠Ｍａ”，Ｍｂ”，Ｍｃ”を生成する。
【０１２８】
例えば、合成器１１２の画像処理部は、図１４に示すように、３つの自画像をそれぞれ太い線で囲った自画像枠Ｍｂ”を生成する。即ち、この自画像枠Ｍｂ”は、人物Ｐａの画像Ｐａ’および人物Ｐａｂの画像Ｐａｂ’の半分を含む第１の自画像の縁を太い線によって示す。さらに、この自画像枠Ｍｂ”は、人物Ｐａｂの画像Ｐａｂ’の他の半分、人物Ｐｂの画像Ｐｂ’および人物Ｐｂｃの画像Ｐｂｃ’の半分を含む第２の自画像の縁を太い線によって示す。またさらに、人物Ｐｂｃの画像Ｐｂｃ’の他の半分および人物Ｐｃの画像Ｐｃ’を含む第３の自画像の縁を太い線によって示す。
【０１２９】
これにより、画像コーデック装置のユーザ（人物Ｐａ，Ｐｂ，Ｐｃ）は、相手の拠点において表示される自らの画像をさらにより適切に確認することができる。例えば、ユーザは自分がモニタの境界部分に重なっており、着座位置を移動すべきかどうかを、簡単に視認することができる。
【０１３０】
なお、合成器１１１，１１２，１１３のそれぞれの画像処理部は、２つの連続する自画像のそれぞれを太い線で囲う自画像枠を生成するときには、その２つの自画像の隣り合う縁部分を、その太い線の幅だけ離す（広げる）ように移動する。例えば、２の自画像を太い線で囲って連続させると、その２つの自画像に跨って表示される人物の画像（例えば図１４の画像Ｐａｂ’）は、１つの自画像内に表示される場合よりも、その自画像枠の線の幅だけ太く見えてしまう。
【０１３１】
それが気になるようであれば、２つの自画像の隣り合う自画像の縁部分を、その太い線の幅だけ削除することによって、その２つの自画像に跨って表示される人物の画像を適切に表示することができる。
【０１３２】
また、画像処理部は、相手の拠点の画像コーデック装置から、その画像コーデック装置のモニタの枠の形状や色、大きさなどを示す情報を取得し、自画像枠の形状や色、大きさなどを、その情報の示す内容と等しくしてもよい。
【０１３３】
（実施の形態２）
図１５は、本発明の実施の形態２における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【０１３４】
このＴＶ会議システムは３拠点で構成され、各拠点における画像コーデック装置は２つのカメラと２つのモニタを備えている。
【０１３５】
具体的に、１つの拠点における画像コーデック装置は、撮影手段たるカメラＣａ１，Ｃａ２と、画像表示手段たるモニタＭａ１，Ｍａ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。他の拠点における画像コーデック装置は、撮影手段たるカメラＣｂ１，Ｃｂ２と、画像表示手段たるモニタＭｂ１，Ｍｂ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。さらに他の拠点における画像コーデック装置は、撮影手段たるカメラＣｃ１，Ｃｃ２と、画像表示手段たるモニタＭｃ１，Ｍｃ２と、符号化器、復号器、合成器、および正面画像生成器（図１８参照）とを備える。なお、符号化器、復号器、合成器および正面画像生成器については後述する。
【０１３６】
人物Ｐａの前には、モニタＭａ１およびモニタＭａ２と、カメラＣａ１およびカメラＣａ２とが設置されている。人物Ｐｂの前には、モニタＭｂ１およびモニタＭｂ２と、カメラＣｂ１およびカメラＣｂ２とが設置されている。人物Ｐｃの前には、モニタＭｃ１およびモニタＭｃ２と、カメラＣｃ１およびカメラＣｃ２とが設置されている。
【０１３７】
カメラＣａ１は人物Ｐａを右前方から撮影し、その撮影によって得られた画像をモニタＭｂ２に出力する。カメラＣａ２は人物Ｐａを左前方から撮影し、その撮影によって得られた画像をモニタＭｃ１に出力する。同様に、カメラＣｂ１は、人物Ｐｂを右前方から撮影し、その撮影によって得られた画像をモニタＭｃ２に出力する。カメラＣｂ２は、人物Ｐｂを左前方から撮影し、その撮影によって得られた画像をモニタＭａ１に出力する。カメラＣｃ１は、人物Ｐｃを右前方から撮影し、その撮影によって得られた画像をモニタＭａ２に出力する。カメラＣｃ２は、人物Ｐｃを左前方から撮影し、その撮影によって得られた画像をモニタＭｂ１に出力する。
【０１３８】
つまり、本実施の形態の画像コーデック装置（拠点におけるシステム）では、２つのカメラ（例えばカメラＣａ１，Ｃａ２）は、それぞれ撮影することにより撮影画像を示す撮影画像データを生成して出力する。そして、符号化器は、その撮影画像データを符号化して、他の拠点における画像コーデック装置に送信する。また、復号器は、他の拠点における画像コーデック装置から、その拠点で撮影された撮影画像を示す符号化画像データを取得し、その符号化画像データを復号することにより復号画像データを生成する。そして、復号器は、その復号画像データにより示される復号画像をモニタ（例えばモニタＭａ１，Ｍａ２）に表示させる。
【０１３９】
図１６Ａ〜図１６Ｃは、モニタで表示される画像を示す図である。
【０１４０】
モニタＭｂ２には、図１６Ａに示すように、カメラＣａ１で撮影された画像、つまり人物Ｐａの右側から撮影された画像Ｐａ’が表示される。モニタＭｃ１には、図１６Ｂに示すように、カメラＣａ２で撮影された画像、つまり人物Ｐａの左側から撮影された画像Ｐａ’が表示される。同様に、モニタＭａ１には、図１６Ｃに示すように、カメラＣｂ２で撮影された画像、つまり人物Ｐｂの左側から撮影された画像Ｐｂ’が表示される。モニタＭａ２には、図１６Ｃに示すように、カメラＣｃ１で撮影された画像、つまり人物Ｐｃの右側から撮影された画像Ｐｃ’が表示される。
【０１４１】
図１６Ｃに示すように、人物ＰａからモニタＭａ１とモニタＭａ２を眺めると、人物Ｐｂは人物Ｐａと人物Ｐｃに顔を向けており、人物Ｐｃは人物Ｐａと人物Ｐｂに顔を向けているように見える。従って、図４Ｃのように、人物Ｐｂと人物Ｐｃが常に人物Ｐａだけを見ているように見える場合と比べて、本実施の形態では、人物Ｐｂと人物Ｐｃが会話をする場合の違和感を少なくすることができる。つまり、本実施の形態では、図４Ａに示すような１つの拠点にカメラが１台しかないＴＶ会議システムと比べて、臨場感を増すことができる。
【０１４２】
図１７Ａ〜図１７Ｄは、本実施の形態におけるＴＶ会議システムによって表示される自画像の例を示す図である。
【０１４３】
モニタＭａ１は、図１７Ａに示すように、人物Ｐｂの画像Ｐｂ’を表示するとともに、人物Ｐｂの拠点に送信される人物Ｐａの画像Ｐａ’を含む自画像を自画像枠Ｍａ１’内に表示する。さらにモニタＭａ２は、図１７Ａに示すように、人物Ｐｃの画像Ｐｂ’を表示するとともに、人物Ｐｃの拠点に送信される人物Ｐａの画像Ｐａ’を含む自画像を自画像枠Ｍａ２’内に表示する。
【０１４４】
つまり、モニタＭａ１は、他の拠点のカメラＣｂ２で撮影された画像を表示するとともに、自らが属する拠点のカメラＣａ１で撮影された画像を自画像として表示する。同様に、モニタＭａ２は、他の拠点のカメラＣｃ１で撮影された画像を表示するとともに、自らが属する拠点のカメラＣａ２で撮影された画像を自画像として表示する。
【０１４５】
このように、２つのカメラで人物Ｐａを撮影して２つの自画像を表示することで、人物Ｐａは、それぞれの相手にどのような画像が送信されているのかを、直感的に把握することができる。自画像の表示位置は、モニタＭａ１とモニタＭａ２の間にするのが好ましい。こうすることで、自画像に含まれる人物の画像を、常に同一のモニタに映る相手の画像に向けることができる。すなわち、モニタＭａ１では、相手の人物Ｐｂの画像Ｐｂ’と自画像内の人物Ｐａの画像Ｐａ’とを向き合わせることができ、モニタＭａ２では、相手の人物Ｐｃの画像Ｐｃ’と自画像内の人物Ｐａの画像Ｐａ’とを向き合わせることができる。その結果、ユーザが相手と対話している感じが高まるという効果が得られる。
【０１４６】
また、図１７Ｂに示すように、自画像をモニタＭａ２に表示しなくてもよい。さらに、図１７Ｃに示すように、カメラＣａ２で撮影された画像を自画像としてモニタＭａ２に表示せず、モニタＭａ１の自画像枠Ｍａ１’内に表示してもよい。
【０１４７】
これにより、画面に表示される自画像領域を節約し、相手の拠点から取得した画像の表示領域を大きくすることができる。
【０１４８】
さらに、図１７Ｄに示すように、カメラＣａ１とカメラＣａ２によって撮影された画像から、人物Ｐａが正面を向いた画像（つまり、カメラＣａ１，Ｃａ２の撮影方向とは異なる方向から撮影されたような画像）を生成し、それを自画像として自画像枠Ｍａ１’内に表示しても良い。
【０１４９】
人物が正面を向いた画像（正面画像）の生成には高度な技術と複雑な処理が必要である。しかし、画像コーデック装置に正面画像を生成して他の拠点に送信する機能がある場合には、送信されたユーザの画像をそのユーザが確認する手段として有効である。
【０１５０】
このように、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、自画像を表示するときには、図１７Ａ〜図１７Ｄに示すように、自画像の表示形態を切り換えて、切り換えられた表示形態で自画像を表示する。
【０１５１】
つまり、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、２つカメラで生成された撮影画像データに対して画像処理を行うことにより、処理画像データを生成する画像処理部（図示せず）を備えている。この処理画像データは、２つの自画像の表示形態が調整された処理画像を示す。この処理画像は、例えば、図１７Ａに示す２つの自画像枠Ｍａ１’，Ｍａ２’とそれらの枠内に表示される画像、図１７Ｂに示す自画像枠Ｍａ１’およびその枠内に表示されるカメラＣａ１で撮影された画像、図１７Ｃに示す自画像枠Ｍａ１’およびその枠内に表示されるカメラＣａ２で撮影された画像、または、図１７Ｄに示す自画像枠Ｍａ１’およびその枠内に表示される正面画像である。
【０１５２】
そして、本実施の形態のＴＶ会議システムにおける画像処理部は、４つの画像処理方法の中から何れか１つを選択し、選択された画像処理方法に従って画像処理を行い、上述のような処理画像を示す処理画像データを生成する。さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、上述のような処理画像データの示す処理画像と、他の拠点で撮影された撮影画像である、上述の復号画像データにより示される復号画像とを合成し、合成された画像を示す合成画像データを出力する画像合成部（図１８の合成器）を備えている。その結果、モニタ（例えば、モニタＭａ１，Ｍａ２）は、その合成画像データを画像表示データとして取得して、その画像表示データの示す画像を、図１７Ａ〜図１７Ｄに示すように表示する。
【０１５３】
なお、図１７Ａ〜図１７Ｄに示す表示形態を組み合わせて、その組み合わされた表示形態で自画像を表示させてもよい。
【０１５４】
さらに、本実施の形態のＴＶ会議システムにおける画像コーデック装置は、モニタに画像表示データとして取得されるデータを、画像合成部から出力される合成画像データと、復号器により生成された復号画像データとに切り換える切換手段（図１８の切換制御部）を備える。切換手段は、例えばユーザによる操作に基づいて切り換える。その結果、２つのモニタにおける処理画像の表示と非表示とが切り換えられる。
【０１５５】
また、さらに、上述の画像処理手段は、４つの画像処理方法のうち何れか１つの画像処理方法を選択するときには、例えば、（１）ユーザによる明示的な選択の指示、（２）過去の使用履歴やユーザの嗜好、（３）カメラに撮影されている人物の人数（１人か複数か）、または（４）複数のカメラに同時に撮影されている人物の有無、に基づいて選択する。上述の（２）の場合には、画像処理部は、例えば、過去に選択された画像処理方法をユーザ毎に履歴として管理し、選択の頻度が多い画像処理方法を自動的に選択する。また、画像処理部は、上述の（１）〜（４）を組み合わせた結果に基づいて画像処理方法を選択してもよい。
【０１５６】
なお、本実施の形態では、１つの拠点（画像コーデック装置）にカメラ２台とモニタ２台とを備えたが、カメラが２台以上であればよい。また、モニタが１台の場合でも、モニタが曲面になっていてもよい。
【０１５７】
図１８は、本実施の形態におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【０１５８】
このＴＶ会議システムの画像コーデック装置２００は、２つのカメラで撮影された撮影画像から正面画像を生成する。そして、画像コーデック装置２００は、その撮影画像または正面画像を符号化して相手の拠点に送信するとともに、その符号化された撮影画像または正面画像を復号して自画像として表示する。
【０１５９】
具体的に、画像コーデック装置２００は、カメラＣａ１，Ｃａ２と、モニタＭａ１，Ｍａ２と、符号化器２０１，２０２と、復号器２２１，２２２と、合成器２１１，２１２と、切換制御部２３０と、正面画像生成器２３１とを備えている。
【０１６０】
正面画像生成器２３１は、カメラＣａ１で撮影された画像（撮影画像データ）とカメラＣａ２で撮影された画像（撮影画像データ）とに基づいて、正面画像を示す正面画像データを生成して出力する。
【０１６１】
セレクタ２４１は、切換制御部２３０からの送信画像モードに従って、符号化器２０１に入力されるデータを、カメラＣａ１から出力された撮影画像データと、正面画像生成器２３１から出力された正面画像データとに切り換える。
【０１６２】
セレクタ２４２は、切換制御部２３０からの送信画像モードに従って、符号化器２０２に入力されるデータを、カメラＣａ２から出力された撮影画像データと、正面画像生成器２３１から出力された正面画像データとに切り換える。
【０１６３】
符号化器２０１は、カメラＣａ１で撮影された撮影画像を示す撮影画像データ、または正面画像生成器２３１で生成された正面画像を示す正面画像データを取得して符号化する。そして、符号化器２０１は、符号化によって生成されたビットストリームをストリームＳｔｒ１として相手の拠点に送信する。また、符号化器２０１は、そのストリームＳｔｒ１を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データまたは正面画像データを合成器２１１および合成器２１２に出力する。
【０１６４】
同様に、符号化器２０２は、カメラＣａ２で撮影された撮影画像を示す撮影画像データ、または正面画像生成器２３１で生成された正面画像を示す正面画像データを取得して符号化する。そして、符号化器２０２は、符号化によって生成されたビットストリームをストリームＳｔｒ２として相手の拠点に送信する。また、符号化器２０２は、そのストリームＳｔｒ２を復号し、その復号によって生成された自画像、即ち、符号化されてさらに復号された撮影画像データまたは正面画像データを合成器２１１および合成器２１２に出力する。
【０１６５】
相手の拠点で撮影されて符号化されることによって生成されたビットストリームは、ストリームＳｔｒ３およびストリームＳｔｒ４として画像コーデック装置２００に入力される。
【０１６６】
つまり、復号器２２１は、符号化画像データであるストリームＳｔｒ３を取得し、そのストリームＳｔｒ３を復号することにより復号画像データを生成し、その復号画像データを合成器２１１に出力する。
【０１６７】
合成器２１１は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部２３０から取得する。そして、合成器２１１は、符号化器２０１および符号化器２０２から出力された自画像（撮影画像データまたは正面画像データ）に対して画像処理を行う。即ち、合成器２１１は、上述の２つの自画像（撮影画像データまたは正面画像データ）の中から、自画像表示モードに応じた自画像を選択する。さらに、合成器１１１は、復号器２２１による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａ１に出力する。
【０１６８】
なお、自画像表示モードが自画像（処理画像）の非表示を示すときには、合成器２１１は、撮影画像データに対して画像処理を行うことなく、復号画像に対する合成も行うことなく、復号器２２１から取得された復号画像データを画像表示データとしてモニタＭａ１に出する。
【０１６９】
同様に、復号器２２２は、符号化画像データであるストリームＳｔｒ４を取得し、そのストリームＳｔｒ４を復号することにより復号画像データを生成し、その復号画像データを合成器２１２に出力する。
【０１７０】
合成器２１２は、自画像（処理画像）の表示の有無や画像処理方法を示す自画像表示モードを切換制御部２３０から取得する。そして、合成器２１２は、符号化器２０１および符号化器２０２から出力された自画像（撮影画像データまたは正面画像データ）に対して画像処理を行う。即ち、合成器２１２は、上述の２つの自画像（撮影画像データまたは正面画像データ）の中から、自画像表示モードに応じた自画像を選択する。さらに、合成器２１２は、復号器２２２による復号によって生成された復号画像データの示す復号画像に、その画像処理された自画像（処理画像）を合成（重畳）してモニタＭａ２に出力する。
【０１７１】
切換制御部２３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、自画像（処理画像）を表示させるか否かを判別する。さらに、切換制御部２３０は、上述のように、ユーザの過去の使用履歴やユーザの嗜好などに基づいて、図１７Ａ〜図１７Ｄに示すような複数の画像処理方法の中から、何れか１つの画像処理方法を選択する。そして、切換制御部２３０は、その自画像の表示の有無の判別結果と、選択された画像処理方法とを示す自画像表示モードを、合成器２１１，２１２に出力する。
【０１７２】
さらに、切換制御部２３０は、例えばユーザによる操作を受け付けて、その操作に基づいて、カメラＣａ１の撮影画像データおよび正面画像データの何れを符号化して他の拠点に送信すべきかを判別するとともに、カメラＣａ２の撮影画像データおよび正面画像データの何れを符号化して他の拠点に送信すべきかを判別する。そして、切換制御部２３０は、その判別結果を示す送信画像モードをセレクタ２４１，２４２に通知する。
【０１７３】
このように本実施の形態では、実施の形態１と同様に、複数のカメラで撮影された撮影画像たる自画像を画像処理して処理画像としてモニタに表示するため、それらのカメラで撮影されるユーザは、自画像をより適切に確認することができる。
【０１７４】
なお、本実施の形態では、カメラで撮影された撮影画像や正面画像を符号化してさらに復号することにより生成された画像を、自画像として表示したが、実施の形態１の変形例１のように、カメラで撮影された撮影画像や正面画像を、符号化および復号することなく、自画像として表示してもよい。
【０１７５】
（実施の形態３）
さらに、上記各実施の形態で示した画像コーデック装置を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１７６】
図１９Ａ〜図１９Ｃは、上記各実施の形態の画像コーデック装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１７７】
図１９Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１９Ａは、記録媒体本体であるフレキシブルディスク本体の物理フォーマットの例を示している。フレキシブルディスク本体ＦＤはケースＦ内に内蔵され、該ディスク本体の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク本体ＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【０１７８】
また、図１９Ｃは、フレキシブルディスク本体ＦＤに上記プログラムの記録再生を行うための構成を示す。画像コーデック装置を実現する上記プログラムをフレキシブルディスク本体ＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像コーデック装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１７９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣ（Integrated Circuit）カード、ＲＯＭ（Read Only Memory）カセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１８０】
なお、ブロック図（図１０Ａ、図１０Ｂ、図１２、図１８）のカメラとモニタ以外の各機能ブロックは典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１８１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１８２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１８３】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０１８４】
本発明の画像コーデック装置は、例えば、複数のカメラを用いたＴＶ会議システムにおいて、ユーザに対して自画像をわかりやすく表示することができ、複数のカメラを用いたＴＶ会議システムなどに適用することができ、その産業上の利用価値は高い。
【図面の簡単な説明】
【０１８５】
【図１】図１は、従来のＴＶ会議システム（画像コーデック装置）の一例を示す図である。
【図２】図２は、従来のＴＶ会議システムの他の使用例を示す図である。
【図３Ａ】図３Ａは、従来のＴＶ会議システムによって表示される自画像の例を示す図である。
【図３Ｂ】図３Ｂは、従来のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図４Ａ】図４Ａは、従来の他のＴＶ会議システムを示す図である。
【図４Ｂ】図４Ｂは、従来の他のＴＶ会議システムによって表示される画像の一例を示す図である。
【図４Ｃ】図４Ｃは、従来の他のＴＶ会議システムによって表示される画像の他の例を示す図である。
【図５】図５は、従来の他のＴＶ会議システムによって表示される自画像の例を示す図である。
【図６】図６は、本発明の実施の形態１における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【図７】図７は、同上のカメラの他の配置例を示す図である。
【図８】図８は、同上のＴＶ会議システムの他の使用例を示す図である。
【図９Ａ】図９Ａは、同上のＴＶ会議システムによって表示される自画像の例を示す図である。
【図９Ｂ】図９Ｂは、同上のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図９Ｃ】図９Ｃは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図９Ｄ】図９Ｄは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１０Ａ】図１０Ａは、同上のＴＶ会議システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１０Ｂ】図１０Ｂは、同上の合成器の内部構成を示す図である。
【図１１】図１１は、同上の画像コーデック装置の動作を示すフローチャートである。
【図１２】図１２は、同上の第１の変形例におけるＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１３Ａ】図１３Ａは、同上の第２の変形例に係る画像コーデック装置によって表示される画像の一例を示す図である。
【図１３Ｂ】図１３Ｂは、同上の第２の変形例に係る画像コーデック装置によって表示される画像の他の例を示す図である。
【図１４】図１４は、同上の第２の変形例に係る画像コーデック装置によって表示される自画像枠の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２における画像コーデック装置を１つの拠点に備えたＴＶ会議システムの概略構成を示す図である。
【図１６Ａ】図１６Ａは、同上のモニタで表示される画像を示す図である。
【図１６Ｂ】図１６Ｂは、同上のモニタで表示される他の画像を示す図である。
【図１６Ｃ】図１６Ｃは、同上の２つのモニタで表示される画像を示す図である。
【図１７Ａ】図１７Ａは、同上のＴＶ会議システムによって表示される自画像の例を示す図である。
【図１７Ｂ】図１７Ｂは、同上のＴＶ会議システムによって表示される自画像の他の例を示す図である。
【図１７Ｃ】図１７Ｃは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１７Ｄ】図１７Ｄは、同上のＴＶ会議システムによって表示される自画像のさらに他の例を示す図である。
【図１８】図１８は、同上のＴＶ会議室システムの１拠点を成す画像コーデック装置の構成例を示すブロック図である。
【図１９Ａ】図１９Ａは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合の説明図である。
【図１９Ｂ】図１９Ｂは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合の他の説明図である。
【図１９Ｃ】図１９Ｃは、本発明の実施の形態３における画像コーデック装置をコンピュータシステムにより実施する場合のさらに他の説明図である。
【符号の説明】
【０１８６】
１０１，１０２，１０３    符号化器
１１１，１１２，１１３    合成器
１２１，１２２，１２３    復号器
１３０    切換制御部
Ｃａ，Ｃｂ，Ｃｃ    カメラ
Ｍａ，Ｍｂ，Ｍｃ    モニタ
Ｃｓ    コンピュータ・システム
ＦＤ    フレキシブルディスク本体
ＦＤＤ    フレキシブルディスクドライブ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007122907.tif 000037
【図２】
2007122907.tif 000038
【図３Ａ】
2007122907.tif 000039
【図３Ｂ】
2007122907.tif 000040
【図４Ａ】
2007122907.tif 000041
【図４Ｂ】
2007122907.tif 000042
【図４Ｃ】
2007122907.tif 000043
【図５】
2007122907.tif 000044
【図６】
2007122907.tif 000045
【図７】
2007122907.tif 000046
【図８】
2007122907.tif 000047
【図９Ａ】
2007122907.tif 000048
【図９Ｂ】
2007122907.tif 000049
【図９Ｃ】
2007122907.tif 000050
【図９Ｄ】
2007122907.tif 000051
【図１０Ａ】
2007122907.tif 000052
【図１０Ｂ】
2007122907.tif 000053
【図１１】
2007122907.tif 000054
【図１２】
2007122907.tif 000055
【図１３Ａ】
2007122907.tif 000056
【図１３Ｂ】
2007122907.tif 000057
【図１４】
2007122907.tif 000058
【図１５】
2007122907.tif 000059
【図１６Ａ】
2007122907.tif 000060
【図１６Ｂ】
2007122907.tif 000061
【図１６Ｃ】
2007122907.tif 000062
【図１７Ａ】
2007122907.tif 000063
【図１７Ｂ】
2007122907.tif 000064
【図１７Ｃ】
2007122907.tif 000065
【図１７Ｄ】
2007122907.tif 000066
【図１８】
2007122907.tif 000067
【図１９Ａ】
2007122907.tif 000068
【図１９Ｂ】
2007122907.tif 000069
【図１９Ｃ】
2007122907.tif 000070
【国際調査報告】
2007122907.tif 000071
2007122907.tif 000072
2007122907.tif 000073
2007122907.tif 000074
2007122907.tif 000075
2007122907.tif 000076
2007122907.tif 000077
2007122907.tif 000078