(57)【要約】【課題】撮影した画像（動画像、静止画像を含む）中の複数の撮影対象のそれぞれの３次元的な形状や３次元的な位置関係などの３次元的な特徴に合わせて、広告画像や所望の画像を合成するなどの加工が行える端末装置を提供する。【解決手段】複数の撮影対象を含む第１の画像を取得するとともに、１または複数の画素からなる複数の領域から構成される前記第１の画像の前記複数の領域のそれぞれに対応する奥行き情報を取得し、前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と上記複数の撮影対象の３次元的な位置関係を特徴情報として抽出して、この特徴情報を基に前記第１の画像を加工する。【選択図】　　図１
2004145448.tif 000002
【特許請求の範囲】
【請求項１】
互いに通信可能な複数の端末装置のうちの１つである端末装置であって、
複数の撮影対象を含む第１の画像を取得する第１の取得手段と、
前記第１の画像は１または複数の画素からなる複数の領域から構成され、この複数の領域のそれぞれに対応する奥行き情報を取得する第２の取得手段と、
前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を特徴情報として抽出する抽出手段と、
この抽出手段で抽出した特徴情報を基に、前記第１の画像を加工して第２の画像を生成する生成手段と、
を具備したことを特徴とする端末装置。
【請求項２】
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該第１の画像中の奥行き方向に当該物体の位置を定めたときの、当該物体と前記複数の撮影対象の３次元的な位置関係と、前記複数の撮影対象の３次元的な形状とのうちの少なくとも１つを基に、当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項３】
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、前記物体の動きが前記撮影対象の３次元的な形状に合うように制御して、当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項４】
前記抽出手段は、前記第１の画像中の前記撮影対象の存在する奥行き方向の位置と当該撮影対象の後の背景領域とを抽出し、
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体が当該撮影対象と前記背景領域の間に存在するように当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項５】
前記抽出手段は、前記第１の画像中の前記複数の撮影対象のうちの１つである第１の撮影対象の存在する奥行き方向の第１の位置と、当該第１の撮影対象の後にある、前記複数の撮影対象のうちの他の１つである第２の撮影対象の存在する奥行き方向の第２の位置とを抽出し、
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体が当該第１の位置と第２の位置の間に存在するように当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項６】
前記抽出手段は、前記第１の画像中の前記撮影対象の存在する３次元的な位置として第３の位置を抽出し、
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体の動きと当該撮影対象の動きとに基づき、当該物体が前記第３の位置に至ったとき、当該物体が当該撮影対象と衝突したと判断し、当該物体の動きや表現が衝突に対応するよう制御して当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項７】
前記生成手段は、前記物体が前記撮影対象と衝突したと判断したとき、衝突の効果表現を前記第１の画像に合成することを特徴とする請求項６記載の端末装置。
【請求項８】
前記抽出手段は、前記第１の画像中の前記撮影対象の存在する３次元的な位置として第３の位置を抽出し、
前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該撮影対象の前記第３の位置と、前記第１の画像中の当該物体の３次元的な位置である第４の位置とに基づき、当該物体の動きや表現を制御して当該物体の画像を当該第１の画像に合成することを特徴とする請求項１記載の端末装置。
【請求項９】
前記抽出手段は、前記第１の画像から前記複数の撮影対象のそれぞれの画像と、それらの後の背景領域の画像とを抽出し、
前記生成手段は、前記背景領域の画像と前記複数の撮影対象のそれぞれの画像のうちの少なくとも１つを加工することにより前記第２の画像を生成することを特徴とする請求項１記載の端末装置。
【請求項１０】
前記第２の取得手段は、
前記第１の画像に対応し、各画素値に奥行き情報を含む第３の画像を取得する手段と、
前記第３の画像から前記第１の画像の各領域に対応する奥行き情報を抽出する手段と、
を具備し、
前記抽出手段は、前記第１の画像と当該第１の画像の各領域に対応する前記奥行き情報とから、少なくとも前記撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出することを特徴とする請求項１記載の端末装置。
【請求項１１】
前記第２の取得手段は、
前記撮影対象に向けて発光する発光手段と、
この発光手段を発光させて前記撮影対象に照射した光の当該撮影対象からの反射光を含む第１の光量を受光する第１の受光手段と、
前記発光手段が発光していないときに、前記反射光を含まない第２の光量を受光する第２の受光手段と、
前記第１の光量から前記第２の光量を差し引いて、前記第１の光量から前記反射光の成分を抽出することにより、各画素値に奥行き情報を含む第３の画像を生成する手段と、
前記第３の画像から前記第１の画像の各領域に対応する奥行き情報を算出する手段と、
を具備し、
前記抽出手段は、前記第１の画像と当該第１の画像の各領域に対応する前記奥行き情報とから、少なくとも前記撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出することを特徴とする請求項１記載の端末装置。
【請求項１２】
前記第３の画像は前記第１の画像と同時に取得することを特徴とする請求項１０または１１記載の端末装置。
【請求項１３】
前記第１の取得手段で取得する画像はカラー画像であることを特徴とする請求項１記載の端末装置。
【請求項１４】
前記生成手段は、前記第１の画像に衝撃などの効果表現や物体を表現した付加画像を合成することにより前記第２の画像を生成するものであって、
この生成手段で前記第１の画像に合成するための複数種類の付加画像を記憶する記憶手段と、
この記憶手段に記憶された複数の付加画像の中から前記第１の画像に合成する付加画像を選択する手段と、
をさらに具備したことを特徴とする請求項１記載の端末装置。
【請求項１５】
前記生成手段は、前記第１の画像に衝撃などの効果表現や物体を表現した付加画像を合成することにより前記第２の画像を生成するものであって、
この生成手段で前記第１の画像に合成するための複数種類の付加画像を記憶する記憶手段と、
前記第１の画像から、当該第１の画像に写っている物体、色的な雰囲気、画像の構図のうちの少なくとも１つをシーンの特徴として抽出する手段と、
前記シーンの特徴を基に、前記記憶手段に記憶された複数種類の付加画像の中から前記第１の画像に合成する付加画像を選択する手段と、
をさらに具備したことを特徴とする請求項１記載の端末装置。
【請求項１６】
前記第２の画像に適した効果音を付加する効果音付加手段をさらに具備したことを特徴とする請求項１記載の端末装置。
【請求項１７】
前記第２の画像を表示する表示手段と、
少なくとも前記第２の画像を前記複数の端末装置のうちの他の端末装置との間で送受信する通信手段と、
をさらに具備したことを特徴とする請求項１記載の端末装置。
【請求項１８】
互いに通信可能な複数の端末装置と当該複数の端末装置と通信可能に接続されたサーバ装置とから構成される通信システムにおける前記サーバ装置であって、前記複数の端末装置のうちの１つから送信された、複数の撮影対象を含む第１の画像と、当該第１の画像を構成する１または複数の画素からなる複数の領域のそれぞれに対応する奥行き情報を受信する受信手段と、
この受信手段で受信した前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出する抽出手段と、
この抽出手段で取得した前記複数の撮影対象の３次元的な形状と３次元的な位置関係とのうちの少なくとも１つを基に、前記第１の画像に広告画像を合成することにより第２の画像を生成する生成手段と、
前記第２の画像を前記複数の端末装置のうちの他の端末装置へ送信する送信手段と、
を具備したことを特徴とするサーバ装置。
【請求項１９】
少なくとも互いに通信可能な複数の端末装置と当該複数の端末装置と通信可能に接続されたサーバ装置とから構成される通信システムにおける前記サーバ装置であって、
前記複数の端末装置のうちの１つから送信された、少なくとも複数の撮影対象を含む第１の画像と、当該第１の画像を構成する１または複数の画素からなる複数の領域のそれぞれに対応する奥行き情報から抽出された、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を含む特徴情報を受信する受信手段と、
この受信手段で受信した前記特徴情報に基づき、前記第１の画像に広告画像を合成することにより第２の画像を生成する生成手段と、
前記第２の画像を前記複数の端末装置のうちの他の端末装置へ送信する送信手段と、
を具備したことを特徴とするサーバ装置。
【請求項２０】
複数の撮影対象を含む第１の画像を取得するとともに、１または複数の画素からなる複数の領域から構成される前記第１の画像の前記複数の領域のそれぞれに対応する奥行き情報を取得し、
前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を特徴情報として抽出して、この特徴情報を基に前記第１の画像を加工することを特徴とする画像加工方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば携帯電話などの端末装置において、撮影した画像に所望の画像を合成するなどして画像を加工する画像加工方法に関し、特に、この画像加工方法を用いて生成された画像を、携帯電話などの複数の端末装置間で送受信することでコミュニケーションを行う端末装置および通信システムに関する。
【０００２】
【従来の技術】
近年、動画像を撮影することができるカメラ装置（ビデオカメラなど）は一般的に広く普及するようになった。これにより、自分の子供の成長過程や運動会などの行事といった身近な対象物を気楽に撮影・閲覧することが可能となった。また、最近は、携帯電話やＰＤＡなどにもカメラが具備されていることが多く、街角などで気軽に動画像を撮影し、そのまま電子メールなどをもちいて、相手に動画像を添付したメールを送ることができるようになった。これらにより、ビデオ画像をコミュニケーションの手段として利用する活用方法が一般的になりつつある（例えば、非特許文献１、非特許文献２参照））。また、ネットワークのブロードバンド化も急速に進み、テレビ電話などといった、リアルタイムの映像コミュニケーションも既に実現されている（例えば、非特許文献３参照）。
【０００３】
以上のように、一般の人々が気楽に動画像をコミュニケーションとして用いる文化が浸透しつつある。しかし、従来のビデオカメラでは、単純にカメラに写ったものを素材として用いることがほとんどで、それに対して、何らかの特殊効果を施すということはあまり行われていなかった。これは、人間の目とは異なり、従来のカメラが、対象の色情報のみを２次元的に撮影するものであったからである。そのため、人間の目では、カメラに写っている対象の区別や、その前後関係、立体形状などが把握できているのに対し、カメラに写ったものは、色情報でしか区別をつけることができない。
【０００４】
このため、カメラで撮影した画像から、例えば、人間の部分のみを取り出して背景と区別したり、複数の人間の前後関係、位置関係を得たり、物の表面の形状変化を判別したり、といった処理を行うことは非常に困難であった。色情報のみを用いて、仮想的にそのような情報を得ようという試みもある。例えば、画像中からオブジェクトを背景から分離し、これを用いて、オブジェクトのみを用いて画像コミュニケーションを行う技術が開示されている（例えば、特許文献１参照）。ここでは、顔などのパーツを分離し、別に用意した背景に、対話をしている複数人の顔パーツを表示することで、サイバー空間でコミュニケーションを行っているような効果を与えている。しかし、本来、立体的な情報とは無関係の色情報を用いているため、厳密に対象の区別を行うことは困難、実際のオブジェクトの前後関係を把握しているのではない、など多くの制約が存在し、安定的に行うことは難しい。
【０００５】
そこで、現状のビデオ画像を用いたコミュニケーションでは、撮影したビデオ画像に、このような対象の区別や前後関係などの位置関係、立体形状といった情報を用いて画像合成などの特殊効果をかけることは考えられていなかった。現在行われているのは、ビデオ画像の上に、文字を重ね書きしたり、飾りフレームを重ねたり、といった特殊効果がほとんどである（例えば、非特許文献４参照）。
【０００６】
一方、上記個人間の映像コミュニケーションを拡張して、その映像中に広告を提示することが可能となれば、様々なビジネス展開を考えることができる。しかし、上述したように、従来の画像に広告の付加を考えた場合、どのように広告を重畳すればよいか、という問題がある。単に従来の画像の上にそのまま広告を重畳したのでは、邪魔になることが多い。例えば、人間のバストアップ画像を用いてテレビ電話によるコミュニケーションをしている最中に、自分や相手の顔の上に広告が重畳表示されると、邪魔になるだけでなく、ユーザがその広告に対して悪印象を持ってしまい、広告の意味がない。そこで、従来、画像中に広告を付加するという試みは行われていなかった。
【０００７】
【特許文献１】
特開２００１−１８８９１０公報（段落番号「０１５８」乃至「０１７０」、第２４図）
【０００８】
【非特許文献１】
Ｊ−Ｐｈｏｎｅ社のＷＷＷページ
ｈｔｔｐ：／／ｗｗｗ．ｊ−ｐｈｏｎｅ．ｃｏｍ／ｍｏｖｉｅ−ｓｈａｍａｉｌ／
【０００９】
【非特許文献２】
ＮＴＴドコモ社のＷＷＷページ
ｈｔｔｐ：／／ｗｗｗ．ｎｔｔｄｏｃｏｍｏ．ｃｏ．ｊｐ／ｐ＿ｓ／ｉｍｏｄｅ／ｉｓｈｏｔ／ｉｎｄｅｘ．ｈｔｍｌ
【００１０】
【非特許文献３】
ＮＴＴドコモ社ＦＯＭＡのＷＷＷページ
ｈｔｔｐ：／／ｆｏｍａ．ｎｔｔｄｏｃｏｍｏ．ｃｏ．ｊｐ／
【００１１】
【非特許文献４】
ＡＴＬＵＳのＷＷＷページ
ｈｔｔｐ：／／ｗｗｗ．ａｔｌｕｓ．ｃｏ．ｊｐ／ａｍ／ｐｒｉｎｔｃｌｕｂ／
【００１２】
【発明が解決しようとする課題】
このように、従来は、撮影した画像（動画像、静止画像を含む）に他の所望の画像を合成するなどして画像を加工する際、当該撮影した画像中の複数の撮影対象のそれぞれの３次元的な形状や位置関係などを無視して、画像上の２次元平面上に単純に画像を合成するなどの加工を行うことしかできないという問題点があった。
【００１３】
しかし、当該撮影した画像中の複数の撮影対象を区別して、それらの３次元的な形状や位置関係などの情報を用いることができれば、これら画像中の撮影対象の３次元的な情報を活用して、当該撮影した動画像中に映っている人間の周りにコンピュータグラフィックス（ＣＧ）のキャラクタが飛び回っていたり、背景部分のみを変化させたり、といったように、より変化に富んだ特殊効果を施すことが可能となる。
【００１４】
また、背景と人物の部分の判別が可能となれば、広告画像を合成する際には、人間の部分に広告がかからないように背景部分に広告画像を合成するといったことも可能となる。さらに、撮影した動画像中に映っている人間の周りに広告を持ったコンピュータグラフィックスのキャラクタが飛び回るなど、対象の立体形状をうまく生かした新たな広告の提示方法も実現可能となる。
【００１５】
そこで、本発明は、上記問題点に鑑み、従来技術では不可能であった、撮影した画像（動画像、静止画像を含む）中の複数の撮影対象のそれぞれの３次元的な形状や３次元的な位置関係などの３次元的な特徴に合わせて、広告画像や所望の画像を合成するなどの加工が行える画像加工方法およびそれを用いた画像加工装置、通信端末装置およびサーバ装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
（１）本発明は、互いに通信可能な複数の端末装置のうちの１つである端末装置であって、複数の撮影対象を含む第１の画像を取得する第１の取得手段と、前記第１の画像は１または複数の画素からなる複数の領域から構成され、この複数の領域のそれぞれに対応する奥行き情報を取得する第２の取得手段と、前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を特徴情報として抽出する抽出手段と、この抽出手段で抽出した特徴情報を基に、前記第１の画像を加工して第２の画像を生成する生成手段とを具備したことにより、撮影した第１の画像（動画像、静止画像を含む）中の複数の撮影対象のそれぞれの３次元的な形状や３次元的な位置関係などの３次元的な特徴に合わせて、所望の画像を合成するなどの加工が行える。
【００１７】
例えば、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該第１の画像中の奥行き方向に当該物体の位置を定めたときの、当該物体と前記複数の撮影対象の３次元的な位置関係と、前記複数の撮影対象の３次元的な形状とのうちの少なくとも１つを基に、当該物体の画像を当該第１の画像に合成する。
【００１８】
また、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、前記物体の動きが前記撮影対象の３次元的な形状に合うように制御して、当該物体の画像を当該第１の画像に合成する。
【００１９】
また、前記抽出手段は、前記第１の画像中の前記撮影対象の存在する奥行き方向の位置と当該撮影対象の後の背景領域とを抽出し、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体が当該撮影対象と前記背景領域の間に存在するように当該物体の画像を当該第１の画像に合成する。
【００２０】
また、前記抽出手段は、前記第１の画像中の前記複数の撮影対象のうちの１つである第１の撮影対象の存在する奥行き方向の第１の位置と、当該第１の撮影対象の後にある、前記複数の撮影対象のうちの他の１つである第２の撮影対象の存在する奥行き方向の第２の位置とを抽出し、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体が当該第１の位置と第２の位置の間に存在するように当該物体の画像を当該第１の画像に合成する。
【００２１】
また、前記抽出手段は、前記第１の画像中の前記撮影対象の存在する３次元的な位置として第３の位置を抽出し、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該物体の動きと当該撮影対象の動きとに基づき、当該物体が前記第３の位置に至ったとき、当該物体が当該撮影対象と衝突したと判断し、当該物体の動きや表現が衝突に対応するよう制御して当該物体の画像を当該第１の画像に合成し、また、前記物体が前記撮影対象と衝突したと判断したとき、衝突の効果表現を前記第１の画像に合成する。
【００２２】
また、前記抽出手段は、前記第１の画像中の前記撮影対象の存在する３次元的な位置として第３の位置を抽出し、前記生成手段は、前記第１の画像に物体の画像を合成することにより前記第２の画像を生成するものであって、その際、当該撮影対象の前記第３の位置と、前記第１の画像中の当該物体の３次元的な位置であるの第４の位置とに基づき、当該物体の動きや表現を制御して当該物体の画像を当該第１の画像に合成する。
【００２３】
また、前記抽出手段は、前記第１の画像から前記複数の撮影対象のそれぞれの画像と、それらの後の背景領域の画像とを抽出し、前記生成手段は、前記背景領域の画像と前記複数の撮影対象のそれぞれの画像のうちの少なくとも１つを加工することにより前記第２の画像を生成する。
【００２４】
（２）前記第２の取得手段は、前記第１の画像に対応し、各画素値に奥行き情報を含む第３の画像を取得する手段と、前記第３の画像から前記第１の画像の各領域に対応する奥行き情報を抽出する手段と、を具備し、前記抽出手段は、前記第１の画像と当該第１の画像の各領域に対応する前記奥行き情報とから、少なくとも前記撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出する。
【００２５】
（３）前記第２の取得手段は、前記撮影対象に向けて発光する発光手段と、この発光手段を発光させて前記撮影対象に照射した光の当該撮影対象からの反射光を含む第１の光量を受光する第１の受光手段と、前記発光手段が発光していないときに、前記反射光を含まない第２の光量を受光する第２の受光手段と、前記第１の光量から前記第２の光量を差し引いて、前記第１の光量から前記反射光の成分を抽出することにより、各画素値に奥行き情報を含む第３の画像を生成する手段と、前記第３の画像から前記第１の画像の各領域に対応する奥行き情報を算出する手段とを具備し、前記抽出手段は、前記第１の画像と当該第１の画像の各領域に対応する前記奥行き情報とから、少なくとも前記撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出する。
【００２６】
（４）前記生成手段は、前記第１の画像に衝撃などの効果表現や物体を表現した付加画像を合成することにより前記第２の画像を生成するものであって、この生成手段で前記第１の画像に合成するための複数種類の付加画像を記憶する記憶手段と、この記憶手段に記憶された複数の付加画像の中から前記第１の画像に合成する付加画像を選択する手段とをさらに具備したことにより、ユーザは、所望の付加画像を自由に選択して、自分の好みにあった特殊効果を上記第１の画像に付加することができる。
【００２７】
（５）前記生成手段は、前記第１の画像に衝撃などの効果表現や物体を表現した付加画像を合成することにより前記第２の画像を生成するものであって、この生成手段で前記第１の画像に合成するための複数種類の付加画像を記憶する記憶手段と、前記第１の画像から、当該第１の画像に写っている物体、色的な雰囲気、画像の構図のうちの少なくとも１つをシーンの特徴として抽出する手段と、前記シーンの特徴を基に、前記記憶手段に記憶された複数種類の付加画像の中から前記第１の画像に合成する付加画像を選択する手段とをさらに具備したことにより、上記第１の画像中の物体や色的な雰囲気、画像の構図などに適した特殊効果を付加することができる。
【００２８】
（６）本発明は、互いに通信可能な複数の端末装置と当該複数の端末装置と通信可能に接続されたサーバ装置とから構成される通信システムにおける前記サーバ装置であって、前記複数の端末装置のうちの１つから送信された、複数の撮影対象を含む第１の画像と、当該第１の画像を構成する１または複数の画素からなる複数の領域のそれぞれに対応する奥行き情報を受信する受信手段と、この受信手段で受信した前記第１の画像と前記奥行き情報とを基に、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を抽出する抽出手段と、この抽出手段で取得した前記複数の撮影対象の３次元的な形状と３次元的な位置関係とのうちの少なくとも１つを基に、前記第１の画像に広告画像を合成することにより第２の画像を生成する生成手段と、前記第２の画像を前記複数の端末装置のうちの他の端末装置へ送信する送信手段と、を具備したことにより、端末装置間で送受信される画像（上記第１の画像）に、当該第１の画像（動画像、静止画像を含む）中の複数の撮影対象のそれぞれの３次元的な形状や３次元的な位置関係などの３次元的な特徴に合わせて（当該第１の画像中の撮影対象のじゃまにならないように）広告画像を合成することができる。従って効率よく広告画像を合成することができ、広告効果の向上が図れる。
【００２９】
また、上記サーバ装置は、前記複数の端末装置のうちの１つから送信された、少なくとも複数の撮影対象を含む第１の画像と、当該第１の画像を構成する１または複数の画素からなる複数の領域のそれぞれに対応する奥行き情報から抽出された、少なくとも前記複数の撮影対象の３次元的な形状と前記複数の撮影対象の３次元的な位置関係を含む特徴情報を受信する受信手段と、この受信手段で受信した前記特徴情報に基づき、前記第１の画像に広告画像を合成することにより第２の画像を生成する生成手段と、前記第２の画像を前記複数の端末装置のうちの他の端末装置へ送信する送信手段とから構成されていてもよい。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３１】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
【００３２】
＜全体の構成＞
図１は、第１の実施形態に係る、互いに通信可能な複数の端末装置のうちの１つである、主要部の構成例を示したものである。
【００３３】
図１に示した画像コミュニケーション装置は、撮影対象の画像と当該画像の奥行き情報を取得する画像取得部１と、画像取得部１で取得した画像の奥行き情報をもとに当該画像中の撮影対象などの３次元的な特徴を抽出する特徴抽出部２と、特徴抽出部２で抽出された特徴をもとに、画像取得部１で取得した画像に３次元的な要素を考慮して、画像合成などの特殊効果を施す加工部３と、加工部３にて加工した結果得られた画像や、通信部５から受信した画像を提示する画像提示部４と、加工部３にて加工された画像を送受信するための通信部５とから構成される。
【００３４】
図１に示したような構成を有する複数の端末装置間では、それぞれにおいて取得した画像に対し加工部３で加工を施して得られた画像を他の端末装置へ送信したり受信したりすることで、各端末装置のユーザ間でコミュニケーションを行う。
【００３５】
＜画像取得部＞
まず、画像取得部１について説明する。
【００３６】
画像取得部１は、撮影対象の画像として例えばカラー画像を取得するとともに、当該画像の奥行き情報を取得して、撮影対象を、その３次元形状と画像取得部１から当該撮影対象までの距離を反映した奥行き情報を含むカラー画像（ここでは、奥行きカラー画像と呼ぶ）として取得するものである。
【００３７】
なお、ここでは、撮影対象の画像としてカラー画像を取得する場合を例にとり説明するが、この場合に限らず、階調画像（いわゆる白黒画像）であってもよい。この場合には、画像取得部１では、撮影対象を、その３次元形状と画像取得部１から当該撮影対象までの距離を反映した奥行き白黒画像として取得する。
【００３８】
さて、通常、カラー画像は、画素とよばれる単位で構成されており、画素には、図６（ｂ）に示すように、例えばＲＧＢの色の情報が格納されている。この画素を縦横の２次元の方向にアレイ状に並べることで実現されている。例えば、ＶＧＡ（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）サイズのカラー画像は、ｘ軸（横）方向６４０画素、ｙ軸（縦）方向４８０画素の２次元アレイで表現されており、各画素内に、その位置における色の情報が例えばＲＧＢ形式で格納されている。なお、図６（ｂ）は、ｘ軸方向５画素、ｙ軸方向８画素のカラー画像において、各画素に格納されている色の情報（例えば、（Ｒ、Ｇ、Ｂ）＝（ｒ１、ｇ１、ｂ１）など）の一例を示したものである。
【００３９】
奥行きカラー画像では、各画素に、例えば上記のようにＲＧＢ形式の色の情報に加え、その位置における奥行き情報（例えば、画像取得部１から撮影対象までの距離情報）ｄが対応付けられている。ここでの対応付けとしては、例えば、奥行きカラー画像の各画素に、例えば、上記（Ｒ、Ｇ、Ｂ）にさらに、当該画素に対応する奥行き情報ｄを追加して、（Ｒ、Ｇ、Ｂ、ｄ）という形式で記憶するものとする。
【００４０】
なお、カラー画像の代わりに、白黒画像を用いる場合には、当該白黒画像の画素値は、階調度となる。従って、この場合、奥行き白黒画像の各画素には、上記階調度に、さらに、当該画素に対応する奥行き情報ｄが記憶されている。
【００４１】
また、ここでは、奥行きカラー画像の各画素が奥行き情報ｄを保持するとして説明するが、この場合に限らず、予め複数の画素からなる領域を単位領域として定めて、この単位領域毎に、奥行き情報ｄを対応付けるあるいは保持するようにしてもよい。
【００４２】
なお、奥行きカラー画像の各画素にＲＧＢなどの色情報に奥行き情報を追加したとしたとしても、奥行きカラー画像を表示する場合、この奥行き情報を用いなければ、奥行きカラー画像は通常のカラー画像と全く同様に表示される。各画素に対応する奥行き情報を用いることでカラー画像を３次元的に表示することもできる。
【００４３】
図２に、通常の白黒画像と奥行き白黒画像の比較を示す。図２（ａ）が通常の白黒画像である。２次元的に各画素に階調度が納められている画像である。図２（ｂ）に奥行き白黒画像の一例を示す。これは、奥行き情報を用いて３次元的に表現したものである。（３次元的な表現が分かりやすいように、正面下からの視点から見たようにした。）このように、奥行き白黒画像および奥行きカラー画像は、従来の白黒画像やカラー画像とは異なり、奥行き情報として、画像取得部１から撮影対象までの距離情報ｄが含まれていることが特徴である。
【００４４】
なお、ここでは、通常のカラー画像、白黒画像の各画素に奥行き情報を対応付けたものを、それぞれ、奥行き情報を含むカラー画像、奥行き情報を含む白黒画像とも呼ぶが、奥行きカラー画像、奥行き白黒画像は、それぞれ、奥行き情報を含むカラー画像、奥行き情報を含む白黒画像の一具体例という位置づけにある。
【００４５】
それでは、画像取得部１の構成について図３を用いて詳細に説明する。図３は画像取得部１の機能ブロック図であり、大きく分けて、撮影対象の色情報が含まれる画像情報をリアルタイムで取得するための画像情報取得部１０１と、撮影対象の奥行き情報をリアルタイムで取得するための奥行き情報取得部１０２と、撮像動作制御部１０４と、奥行きカラー画像生成部１１３と、出力部１１４とから構成されている。
【００４６】
画像情報取得部１０１は、撮影対象（例えば、物体など）を自然光（照明光を含む）で撮像することにより背景を含む物体のカラー画像である自然光画像を取得する自然光画像撮像部１０３と、自然光画像撮像部１０３で撮像された自然光画像が格納される自然光画像記憶部１０５と、自然光画像記憶部１０５に格納された自然光画像を読み出して、必要に応じて明度やコントラストなどの調整をする自然光画像調整部１０６と、自然光画像調整部１０６で調整された自然光画像を加工部３での処理に適したデータ形式で出力する加工部３へ出力する画像情報出力部１０７とから構成され、自然光画像調整部１０６で調整された自然光画像は、さらに、奥行きカラー画像生成部１１３へ出力される。
【００４７】
自然光画像撮像部１０３は、例えば、ＣＣＤやＣＭＯＳ撮像素子であり、背景を含む撮影対象（例えば物体など）のカラー平面画像をリアルタイムで取得する。これにより、物体の属性のうち色を取得できる。また、上記カラー画像を連続して撮像するので、連続するフレームの変化から物体の動き情報を把握することができる。また、物体の画像を動画にすることができる。
【００４８】
撮像動作制御部１０４は、自然光画像撮像部１０３と反射光画像撮像部１０８の動作を制御するための制御信号を発生する。
【００４９】
一方、奥行き情報取得部１０２は、撮像動作制御部１０４からの制御信号に従って、物体やその周囲にある被写体などの撮影対象の反射光画像を撮像するための反射光画像撮像部１０８と、反射光画像撮像部１０８で撮像された反射光画像が格納される反射光画像記憶部１０９と、反射光画像記憶部１０９に格納された反射光画像を読み出して各種補正をする反射光画像補正部１１０と、反射光画像を補正するためのパラメータが記憶されているパラメータ記憶部１１１と、反射光画像補正部１１０で補正された反射光画像を解析して物体の奥行き情報を演算する奥行き情報演算部１１２とから構成され、奥行き情報演算部１１２で演算された奥行き情報は、奥行きカラー画像生成部１１３へ出力される。
【００５０】
ここで、反射光画像撮像部１０８の詳細を図４を参照して説明する。図４は、反射光画像撮像部１０８の機能ブロック図である。反射光画像撮像部１０８は発光部１１４、受光光学系１１５、反射光抽出部１１６およびタイミング制御部１１７から構成される。
【００５１】
発光部１１４はタイミング制御部１１７によって生成されるタイミング信号に従って時間的に強度変動する光を発生する。この光は発光部１１４の前方にある、例えば図４ではユーザの頭部（物体の一例）に照射される。ここで発生する光としては近赤外光であるが、これに限らず可視光など他の波長領域の光も利用することができる。
【００５２】
例えばユーザの頭部からの反射光はレンズなどで構成される受光光学系１１５により集光されて反射光抽出部１１６の受光面上に結像される。受光光学系１１５には近赤外光を通過するフィルターが設けられている。このフィルターにより反射光のうち近赤外光以外の可視光や遠赤外光のような外光がカットされる。
【００５３】
反射光抽出部１１６は、上記結像を形成する反射光の空間的な強度分布を抽出する。この強度分布は反射光による画像として捉えることができる。これが上記反射光画像（シルエット像）である。この機能を達成するため、反射光抽出部１１６は、第１の受光部１１９、第２の受光部１２０および差分演算部１２１から成る。第１の受光部１１９と第２の受光部１２０は、異なるタイミングで受光を行う。そして、第１の受光部１１９が受光しているときに発光部１１４が発光し、第２の受光部１２０が受光しているときには発光部１１４は発光しないように、タイミング制御部１１７がこれらの動作タイミングを制御する。これにより第１の受光部１１９は発光部１１４からの光の物体による反射光とそれ以外の自然光（つまり太陽光、照明光などの外光）を受光する。一方、第２の受光部１２０は自然光のみを受光する。両者が受光するタイミングは異なっているが近いので、この間における自然光の変動は無視できる。
【００５４】
従って、第１の受光部１１９で受光した像と第２の受光部１２０で受光した像の差分をとれば、発光部１１４からの光のうち物体による反射光の成分だけが抽出され、反射光画像を生成することができる。差分演算部１２１が第１の受光部１１９と第２の受光部１２０で受光した像の差を計算して出力する。
【００５５】
物体からの反射光は、物体と反射光画像撮像部１０８の距離が長くなるに従い大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の二乗に反比例して小さくなる。すなわち、例えば、反射光画像中の座標（ｉ、ｊ）にある画素の画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ２　　　　　　　…（１）
と表すことができる。ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｑ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離を求めることができる。
【００５６】
このように、反射光画像の各画素には、奥行き情報として、反射光画像撮像部１０８から撮影対象までの距離に換算することのできる反射光の強度値、すなわち、奥行き情報が含まれているのである。
【００５７】
物体からの反射光の強度値は、反射光画像撮像部１０８から物体までの距離に換算できるので、物体の立体形状を把握することができる。また、背景からの反射光はほぼ無視できるくらいに小さい。よって、背景がカットされた、物体およびその周囲にある被写体の反射光画像を得ることができる。
【００５８】
反射光画像の一例を図６（ａ）に示す。図６（ａ）には、簡単のため、２５６×２５６画素の反射光画像の一部である５×８画素の反射光画像の場合について示している。各画素の画素値は、反射光の強度値である。
【００５９】
人間の手を撮影対象として、反射光画像撮像部１０８で撮影された反射光画像に含まれる上記奥行き情報から得られる、当該反射光画像中の手の３次元的なイメージを図５に示す。
【００６０】
反射光画像は、例えば、以下の（１）から（３）の構成を有する装置により得ることができる。（１）時間的に一定あるいは時間的に変化するパルス信号や変調信号を発生させるためのタイミング信号生成手段。（２）このタイミング信号生成手段によって生成された信号に基づいて、強度変化する光を発するための発光手段。（３）この発光手段から発された光の物体による反射光をタイミング信号生成手段からの信号と同期して外光（自然光）から分離して検出する手段を配列して構成し、光の物体による反射光画像を検出する反射光抽出手段。
【００６１】
反射光画像撮像部１０８の上記構成要素のさらに詳細な説明は、本件と同一出願人が出願した特開平１０−１７７４４９号公報に記載されている。
【００６２】
なお、反射光画像撮像部１０８は、物体を含む被写体の反射光画像を連続して撮像するので、連続するフレームの変化から物体の動き情報を把握することができる。これにより、物体の画像を動画にすることができる。
【００６３】
後述するように、自然光画像（背景を含む物体のカラーの平面画像）と、物体の反射光画像を演算して得られる奥行き情報とを組み合わせて、奥行きカラー画像が生成される。このため、反射光画像の画素と自然光画像の画素とを対応させる必要があるので、反射光画像撮像部１０８と自然光画像撮像部１０３は近接して配置するのが好ましい。この観点からこれらの自然光画像撮像部１０３、反射光画像撮像部１０８、さらに、必要に必要に応じて撮像動作制御部１０４は１チップ化されていることが好ましい。
【００６４】
また、自然光画像と反射光画像との間では、例えば画素間あるいは複数の画素からなる領域間の対応付けがなされていることが必要である。例えば、画像取得部１０１で取得される自然光画像（カラー画像）が図６（ｂ）に示したような画像であり、奥行き情報取得部１０２で取得される反射光画像が図６（ａ）に示したような画像であるとする。この場合、カラー画像の各画素と反射光画像の各画素との間には、１対１に対応付けられている。図６（ａ）と図６（ｂ）の各画像中の各画素をその座標（ｉ、ｊ）を用いて表すとき（ここで、ｉ＝１〜５、ｊ＝１〜８）、図６（ａ）中の反射光画像の画素Ｐ２（ｉ、ｊ）と、図６（ｂ）の自然光画像中の画素Ｐ１（ｉ、ｊ）とは互いに対応する画素となる。例えば、図６（ａ）中の反射光画像の画素Ｐ２（５、８）、図６（ｂ）の自然光画像中の画素Ｐ１（５、８）とは互いに対応する画素となる。従って、奥行きカラー画像中の画素Ｐ３（ｉ、ｊ）の画素値は、自然光画像中の画素Ｐ１（ｉ、ｊ）の色情報と、反射光画像の画素Ｐ２（ｉ、ｊ）から（奥行き情報演算部１１２にて）算出された距離（奥行き情報）ｄとが含まれている。
【００６５】
ここでは、自然光画像の画素と反射光画像の画素とが対応付けられている場合を示したが、この場合に限らず、自然光画像と反射光画像のサイズや解像度などの違いから、例えば、自然光画像を複数の画素からなる複数の単位領域に分割し、この複数の単位領域のそれぞれと反射光画像の各画素との間で対応付けを行うようにしてもよいし、また逆に、反射光画像を複数の画素からなる複数の単位領域に分割し、この複数の単位領域のそれぞれと自然光画像の各画素との間で対応付けを行うようにしてもよい。さらに、反射光画像と自然光画像のそれぞれを複数の画素からなる複数の単位領域に分割し、反射光画像と自然光画像のそれぞれの単位領域間で対応付けを行うようにしてもよい。
【００６６】
また、撮像動作制御部１０４は、例えば、ユーザからの撮像指示が入力されたときに、自然光画像撮像部１０３と反射光画像撮像部１０８とでほぼ同時に自然光画像と反射光画像とを取得するよう、自然光画像撮像部１０３と反射光画像撮像部１０８とに制御信号を出力するようになっている。
【００６７】
次に、図３に示す反射光画像補正部１１０での補正を説明する。物体の色や反射特性などを考慮して補正をする。詳しく説明すると、物体からの反射光の強度は、物体と反射光画像撮像部１０８との距離以外の要因にも左右される。このため、反射光画像から単純に距離を求めても、距離（つまり立体形状）が正確でないことがある。例えば、物体表面の色が黒い場合、反射光の強度は低下する。また、物体の表面が鏡面反射成分を多く含む場合、物体の表面の法線が光源方向に近くなる部分で強い反射光が発生する。
【００６８】
よって、物体の反射光強度から距離情報を求める前に、反射光画像補正部１１０において、パラメータ記憶部１１１に予め格納されている物体の表面の色や反射特性などに関するパラメータを参照したり、自然光画像記憶部１０５に格納されている自然光画像を参照して、当該自然光画像中の反射光画像の画素や単位領域に対応する領域（画素や単位領域）の画素値を基に、物体の反射光画像を補正する。例えば、反射光画像中のある画素に対応する自然光画像の画素の色情報が「黒」であれば、反射光画像の当該画素値を黒い撮影対象からの反射光を受光した場合のパラメータを用いて補正する。
【００６９】
これにより、反射光画像撮像部１０８で得られた反射光画像の各画素値が補正されるので、後段の奥行き情報演算部１１２で算出される奥行き情報の精度を高めることができる。
【００７０】
奥行き情報演算部１１２は、反射光画像補正部１１０で補正された反射光画像の各画素について、その画素値としての受光量（反射光強度）をＱとすると、当該画素に対応する距離ｄを、例えば次式（２）から求める。
【００７１】
ｄ＝（Ｋ／Ｑ）１／２　　　　…（２）
すなわち、前述したように、物体からの反射光の強度値は、反射光画像撮像部１０８から物体までの距離ｄに換算できるので、この距離ｄを奥行き情報として求めるのである。
【００７２】
なお、ここでは、反射光画像中の各画素について、奥行き情報としての距離ｄを求める場合を示したが、この場合に限らず、例えば、上記単位領域毎に、その代表画素あるいは当該単位領域中の画素値の平均値などから、距離ｄを算出するようにしてもよい。
【００７３】
さて、奥行きカラー画像生成部１１３では、自然光画像調整部１０６から出力された自然光画像と、奥行き情報演算部１１２で算出された反射光画像中の各画素（あるいは各単位領域）の奥行き情報とから、奥行きカラー画像を生成する。
【００７４】
すなわち、例えば、自然光画像である、例えば図６（ｂ）に示したようなカラー画像の各画素の画素値に、当該画素に対応する反射光画像の画素から算出された奥行き情報を追加して、奥行きカラー画像の各画素値を生成する。例えば、図６（ａ）中の反射光画像の画素Ｐ２（５、８）と、図６（ｂ）の自然光画像中の画素Ｐ１（５、８）とは互いに対応する画素となる。従って、自然光画像中の画素Ｐ１（５、８）の画素値に、反射光画像の画素Ｐ２（５、８）から（奥行き情報演算部１１２にて）算出された距離（奥行き情報）ｄとを追加して、奥行きカラー画像の画素Ｐ３（５、８）の画素値を生成する。
【００７５】
なお、自然光画像を複数の画素からなる複数の単位領域に分割し、この複数の単位領域のそれぞれと反射光画像の各画素との間で対応付けを行っている場合には、自然光画像の各単位領域に、当該単位領域に対応する反射光画像の画素から算出された奥行き情報ｄを対応付けて（例えば、当該単位領域中の各画素の画素値に当該単位領域に対応する反射光画像の画素から算出された奥行き情報ｄを追加する）、奥行きカラー画像の各画素値を生成する。
【００７６】
また、逆に、反射光画像を複数の画素からなる複数の単位領域に分割し、この複数の単位領域のそれぞれと自然光画像の各画素との間で対応付けを行っている場合には、自然光画像の各画素の画素値に、当該画素に対応する反射光画像の単位領域から算出された奥行き情報を追加して、奥行きカラー画像の各画素値を生成する。
【００７７】
さらに、反射光画像と自然光画像のそれぞれを複数の画素からなる複数の単位領域に分割し、反射光画像と自然光画像のそれぞれの単位領域間で対応付けを行っている場合には、自然光画像の各単位領域に、当該単位領域に対応する反射光画像の単位領域から算出された奥行き情報ｄを対応付けて（例えば、当該単位領域中の各画素の画素値に当該単位領域に対応する反射光画像の単位領域から算出された奥行き情報ｄを追加する）、奥行きカラー画像の各画素値を生成する。
【００７８】
このようにして生成された奥行きカラー画像は、出力部１１４に送られ、ここで、出力先のプロトコルやデータ形式に合わせるために変換等を行って、特徴抽出部２へ出力される。
【００７９】
なお、以上説明した画像取得部１の構成は、あくまでも一例であり、これに限定されるものではない。特に、奥行き情報を取得する際には、上記のように、反射光画像を必ずしも用いる必要はない。すなわち、複数の視野から撮影した画像の視差情報を用いることで奥行き情報を計算するという、ステレオマッチングの手法を用いて奥行き情報を取得するという構成であってもよいし、縞状のレーザー光を照射し、その形のゆがみを用いて上記奥行き情報を計測するというレーザーレンジファインダと呼ばれる方式を用いてもよい。また、これら以外の方法を用いて奥行き情報を取得して、上記のような奥行きカラー画像を取得することができるものを使用することもできる。
【００８０】
また、上記画像取得部１は、奥行きカラー画像生成部１１３で各画素に奥行き情報を含む画像（奥行きカラー画像）を生成するようになっているが、この場合に限らず、自然光画像の各画素に、当該画素に対応する奥行き情報を対応付けて、その対応関係を保持あるいは記憶するだけであってもよい。
【００８１】
＜特徴抽出部＞
次に、特徴抽出部２について説明する。ここでは、画像取得部１で求めた画素値に奥行き情報を含む奥行きカラー画像を処理対象とする。
【００８２】
特徴抽出部２は、画像取得部１で取得した奥行きカラー画像に含まれる奥行き情報をもとに撮影対象の３次元的な特徴を抽出するためのものである。
【００８３】
ここで、図７に示す内容の奥行きカラー画像を参照して、特徴抽出部２で解析する３次元的な特徴に関して具体的に説明する。なお、図７は、奥行きカラー画像に含まれる奥行き情報を用いずに表示した場合を示しているので、通常のカラー画像（図７の場合、白黒画像）と同様である。図７は、シーン中央に、イスに座った人物の上半身が映っており、その人物は、右腕を挙げ、人差し指を立てている。また、人物の手前に缶ジュースが置かれている。
【００８４】
このシーンにおけるそれぞれの物体の位置関係を模式的に簡潔に示したのが図８である。図８のように、画像取得部１から最も近い距離に缶が存在し（図１２参照）、その向こうに、人物が存在している（図１０参照）。さらに遠くに背景部分がある（図９参照）。また、人物内の奥行き情報を細かく見てみると、右腕部分が胴体よりも画像取得部１から近い部分にある（図１１参照）。つまり、奥行きの違いによって、シーンを図９〜図１２に示すように、幾つかの領域に分割することができるわけである。
【００８５】
このように、画像取得部１で取得した奥行きカラー画像に含まれる奥行き情報を解析することで、シーン内にどのような撮影対象（例えば物体）が存在するか（どのような領域に分割できるか）、シーン内の奥行き方向の凹凸関係はどうなっているか、シーンにおける各物体（１つの物体を構成する部分もそれぞれ１つの物体としてみなす）の３次元的な位置関係、それぞれの物体の立体形状、などといった特徴を得ることができる。
【００８６】
それでは、特徴解析手法に関して説明する。
【００８７】
最も簡単な解析として、シーン内部に撮像されている物体が何かを判別せずに、その３次元形状のみを得るというものがある。例えば、図７のシーンの場合、画面中央下部（実際には、缶の部分）が最も近い奥行き値を持ち、画面左側下部（実際には人物の右腕部分）が次ぎに近い奥行き値を持ち、画面中央の大部分（実際には、人物部分）が次ぎに存在し、その後の部分（実際には背景部分）は、非常に遠くに存在する、などといったように、奥行き方向に関してシーンの全体的な凹凸関係を抽出する。
【００８８】
また、特徴抽出部２では、必要ならば、さらに複雑な解析を行うことも可能である。
【００８９】
図１３は、図７に示した奥行きカラー画像に含まれる奥行き情報を模式的に示したものである。図１３は、図７に示したシーンを上方から見て、奥行き情報の得られている部分のみを実線で示したものである。このように、奥行きカラー画像では、撮影方向から見える部分の奥行き情報のみが得られる。（撮影方向から見えない部分、例えば、この例では、缶や人物の後ろ側、人物の右腕の後ろに隠れた部分などのデータは無い。）このような奥行き情報をもとに撮影対象の３次元的な位置関係を得る。
【００９０】
最も簡単な方法は、画像取得部１からの奥行き情報ｄによって単純に前景と背景を区別することである。ある閾値ＴＨを定め、奥行き情報が閾値ＴＨよりも近い部分を前景、遠い部分を背景とみなす（図１４参照）。このようにすることで、シーンに映っているものと背景部分を区別することが可能である。これにより、撮影しているシーンに、何か物体（つまり前景にあたる部分）が存在しているか、を判別することができる。
【００９１】
また、この閾値を複数用意し、例えば奥行きカラー画像に写っているシーンを第１の閾値ｘ１と第２の閾値ｘ２と第３の閾値ｘ３とで、距離ｘ１より手前と、距離ｘ１とｘ２の間、距離ｘ２とｘ３の間、距離ｘ３以降というように、４つの領域に分割し、各領域について、物体が存在するか否か、その物体は何であるかを識別したりするようにしてもよい。
【００９２】
また、ジャンプエッジと呼ばれる奥行き方向の不連続点（図１５における点線で示された部分）を検出することで、図１５に示すように、「背景部分」、「人物部分」、「人物の右腕部分」、「缶の部分」、などといったように、シーン内のさらに細かい位置関係を認識することも可能である。
【００９３】
ジャンプエッジの検出方法は、様々な手法を用いることができるが、例えば、奥行きカラー画像から、奥行き部分のみを抽出した画像（反射光画像などの、奥行き情報のみが２次元のアレイ状に並んでいるデータで、以降、奥行き画像と呼ぶ）に対して、エッジ検出のためのフィルタリング処理（代表的には、Ｓｏｂｅｌオペレータによる畳み込みフィルタリング処理など）をおこなうことで、得ることができる。
【００９４】
さらに、パターンマッチングという、あらかじめ物体の特徴を登録しておき、画像内にその特徴と類似している部分を探す手法があるが、その手法などを用いることで、上記で得られたそれぞれの物体が何であるかを認識することができる。例えば、図７に示したシーン内において、「缶」「人物」、当該人物の「右手」などの撮影対象が認識でき、しかも、それらの位置関係が認識できれば、図７からは、「缶」があり、その「缶」の位置はどこであるか、「缶」の後には、「人物」がいて、「右手」を挙げている、などといったような複雑な認識も可能である。
【００９５】
なお、上記のような、奥行きカラー画像から３次元的な特徴を抽出するための解析手法は、あくまでも一例であり、これに限定されるものではない。他の様々な解析・画像処理・画像認識の手法を組み合わせて実現することが可能である。
【００９６】
特徴抽出部２では、奥行きカラー画像（自然光画像と、反射光画像の各素値から得られた奥行き情報）から、自然光画像中の３次元的な特徴を抽出する。自然光画像中の３次元的な特徴とは、例えば、自然光画像中に各撮影対象の３次元的な形状（表面上の凹凸状態も含む）、複数の撮影対象の位置関係（自然光画像中の平面方向の位置関係と、自然光画像の奥行き方向の位置関係（主に前後関係））などであり、さらに、これらから、各撮影対象に対応する奥行き方向の位置から（予め定められた閾値に基づき）判別された撮影対象の存在する前景部分と、背景部分、さらに細かな領域分割が行えるとともに、パターンマッチングなどにより撮影対象が何であるかを認識することもできる。
【００９７】
＜加工部＞
次に、加工部３について説明する。
【００９８】
加工部３は、特徴抽出部２で抽出された３次元的な特徴をもとに、画像取得部１で取得した自然光画像であるカラー画像（あるいは奥行きカラー画像）に、当該カラー画像中の撮影対象の３次元的な形状や位置関係などの３次元的な特徴を考慮した特殊効果を施す（付加する）ためのものである。
【００９９】
具体的には、カラー画像に、ＣＧ（コンピュータグラフィックス）で表現された画像（ここでは、付加画像ともいう）を合成することで、特殊効果を付加する。この際、特徴抽出部２で抽出された、カラー画像（シーン）中の凹凸といった奥行き情報、カラー画像中にどのような物体が存在するか（どのような領域に分割できるか）、カラー画像中における各物体の位置関係、それぞれの物体の立体形状、などといった３次元的な特徴を活用することで、仮想物体とシーンの前後関係や衝突状態などを判別し、必要に応じて仮想物体を変形し、カラー画像に合成する。
【０１００】
ここで、図７に示したカラー画像（に写っているシーン）を例として、３Ｄ（３次元）ＣＧのデータとして与えられる仮想物体「球」を合成する場合を考える。図１６は、図７のカラー画像中の撮影対象である各物体の主に奥行き方向の位置関係を示したものであるが、上述したように、このようなシーンにおける３次元的な特徴が、特徴抽出部２から得られている。
【０１０１】
いま、「球」が図１６における奥行き位置Ｃのところを、画面右から左に動くという特殊効果を考える。この際に、仮想物体（仮想オブジェクト）である「球」の置かれる３次元的な位置および、その形状情報は既知であるため、これと、シーンの３次元的な特徴（シーンの各位置における奥行き値）を比較することで、「球」と、シーン中の各物体の位置との前後関係を判別することができる。
【０１０２】
これより、図１７に示すように、球が背景（図１６における奥行き位置Ｄ）の前を通るが、人物（奥行き位置Ｂ）の後ろを通るように、「球」を合成することが可能である。このように、特徴抽出部２で抽出された特徴を基に、カラー画像に３次元的に仮想物体を付加することが可能である。
【０１０３】
同様にして、カラー画像中の奥行き位置Ａのところを、「球」が右から左へ移動するように、仮想物体「球」の画像を合成すると、「球」は、缶の後ろを通り人物の前を通る特殊効果となる。
【０１０４】
さらに、これを推し進め、仮想物体とカラー画像中の物体との衝突判定も行うことができる。なお、図１６からも明らかなように、カラー画像中の物体の位置は、画像平面上と奥行き方向とから３次元的に特定することができる。従って、カラー画像中の各物体のそれぞれについて特定される３次元的な位置を基により精密な特殊効果を付けることもできる。その１つが「衝突」の特殊効果である。
【０１０５】
いま、図１６における奥行き位置Ｂのところに、画面右側から仮想物体「球」が移動してくる特殊効果を考える。この際、特徴抽出部２で抽出された特徴によれば、人物のいる部分が奥行き位置Ｂであることが分かるため、「球」は、人物の位置まで来たときに、人物と衝突することが分かる。そこで、図１８に示すように、「球」が、人物と衝突し、跳ね返る、といった特殊効果も付加することができる。この際、衝突したあとに跳ね返る方向をも、物体の３次元的な形状を見ることで、計算することが可能である。さらに、衝突する際に、図１８のように、カラー画像中の物体の衝突箇所（図１８では人物の頬の部分）に「衝突」の効果表現の１つである「星」を表現する、といった特殊効果を付加すると、より効果的である。
【０１０６】
また、カラー画像中の各物体のそれぞれについて特定される３次元的な位置を基に、次のような特殊効果も可能である。例えば、仮想物体が３次元的に動く特殊効果の場合について説明する。図１９に、カラー画像手前から当該画像の奥行き方向側に、２つの仮想物体「球」が移動する特殊効果の例を示している。図１９に示したように、特徴抽出部２で抽出された特徴によれば、缶が奥行き方向手前にあり、その後方に人物がいることが分かっている。この情報を「球」の動きに組み合わせ、図１９に示したように、２つの「球」のうち、１つは、近くの缶に当たって跳ね返り、もう１つは、遠くの人物に当たって跳ね返る、といった特殊効果を付加することができる。
【０１０７】
また、図２０に示すように、仮想物体「球」を人物の頭の周りを回るような特殊効果を付加したり、図２１に示すように、「球」を指の周りを回るような特殊効果を付加したりすることも可能である。
【０１０８】
さらには、カラー画像中の物体の３次元的な形状、すなわち、凹凸という３次元的な特徴を用いることで、図２２に示したように、人物の上から、ペンキなどの粘性のある液体などをたらす、といったような特殊効果をかけることもできる。図２２のように、人物の鼻の部分は他の顔よりも出っ張っているなどの特徴があるため、鼻の部分を避けてペンキが流れていくといったことが再現できるのが特徴である。
【０１０９】
また、カラー画像中の物体の３次元的な位置関係の特徴も分かっているため、ペンキは、右腕の指の部分や、缶の部分に流れないように、ペンキという仮想物体の動きや形状を制御できる。
【０１１０】
さらに、缶の上や人間の肩の部分に仮想の「キャラクタ」を座らせたり、指の上の部分に仮想の「とんぼ」がとまったりといったように、各種の画像をカラー画像中の奥行き方向の所望の位置に合成することも可能である。
【０１１１】
また、図２３に示すように、画面中央に仮想の「球」があって、それに対して、手を動かすことで、「球」が動く、というように、動画像のなかで、時間的に変化する手の動きなどの３次元的な特徴の情報を用いて、例えば、当該手の動きに合わせて「球」に仮想物に動きを与える（この場合、「球」を手で叩いてとばす）といった特殊効果も与えることができる。
【０１１２】
以上では、カラー画像に、仮想物体の画像を合成する特殊効果を例として説明したが、特殊効果は、これだけではない。例えば、背景部分を消して、別の背景に差し替えたり、ＣＧで作成した背景に置き換えたりという画像合成による特殊効果も可能である。
【０１１３】
また、前景にある物体（図７の例では、人物と缶の部分）はそのままにして、背景部分のみを白黒やセピア色に変色させるなどの特殊効果も可能である。逆に、人物部分のみにモザイクをかけるなどということもできる。さらに、特殊効果は、カラー画像の全部または一部の変形を行うことで実施されてもよい。例えば、人物の顔の部分を風船のように膨らませたり、萎ませたり、といった特殊効果も可能である。
【０１１４】
以上説明したように、加工部３では、特徴抽出部２で抽出された３次元的な特徴をもとに、画像取得部１で自然光画像として取得したカラー画像に３次元的な要素を考慮した様々な特殊効果を付加する。
【０１１５】
特殊効果の一例としては、例えば、カラー画像に仮想物体を合成するときには、当該カラー画像中の奥行き方向の位置を定めることができるので、３次元空間内のその奥行き方向の位置に実際に当該仮想物体が存在するように、当該仮想物体の画像を当該カラー画像に合成する。その際、仮想物体の画像が動画の場合であっても、カラー画像が動画の場合であっても同様である。
【０１１６】
また、カラー画像中の物体の動きと位置や、仮想物体の動きと位置から、カラー画像中の物体と仮想物体の衝突を判定することができるので、この衝突に対応する仮想物体の動きを表現したり、衝突の発生したことを表す表示を行う（例えば、衝突を表す「星」のような仮想物体の画像を合成する）こともできる。
【０１１７】
また、カラー画像に仮想物体を合成するときには、当該カラー画像中の物体の３次元形状、すなわち、例えば凹凸に合わせて仮想物体の動きや形状を制御することができるので、３次元空間内に実際に当該仮想物体が存在するように、当該仮想物体の画像を当該カラー画像に合成する。その際、仮想物体の画像が動画の場合であっても、カラー画像が動画の場合であっても同様である。
【０１１８】
また、カラー画像中の撮影対象の物体や背景部分が３次元的な特徴として抽出されているので、例えば、撮影対象の物体や背景部分をそれぞれ別個に白黒やセピア色などに変色させたり、モザイクをかけたり、変形したりなどといったことも行える。
【０１１９】
なお、本実施形態で説明した特徴の用い方や特殊効果はあくまでも一例であり、これに限定されるものではない。
【０１２０】
また、ここでは、便宜上、「球」などの仮想物体を用いて説明したが、これに限定されるものではない。仮想物体としては、キャラクタ、乗り物、建物などの様々なものが考えられる。また、仮想物体といっても、実際の写真を用いて３ＤＣＧのデータにしたもの、ユーザにより入力された手書きのマークやキャラクタなどをＣＧデータにしたものも含む。また、本実施形態では、仮想物体が変形しないものとして説明したが、これに限定される物ではなく、仮想物体の種類に応じて、自由に変形しても構わない。また、仮想物体の画像が動画であってもよい。
【０１２１】
なお、ユーザが手書きのマークやキャラクタや乗り物、建物、その他様々なものの絵を入力するための入力部を図１に示した構成に新たに追加してもよい。そして、この入力部を通じて入力された手書きの絵を上記加工部３で処理可能なように、ＣＧデータ化あるいは３ＤＣＧデータ化するための処理部も必要となる。
【０１２２】
以上説明したように、加工部部３では、奥行きカラー画像（奥行き情報を含まないカラー画像であってもよい）に仮想物体の画像を合成する場合には、当該奥行きカラー画像中の奥行き方向に当該仮想物体の位置を定めたときの、当該仮想物体と撮影対象の３次元的な位置関係と、撮影対象の３次元的な形状とのうちの少なくとも１つを基に、当該仮想物体の画像を当該奥行きカラー画像に合成する。
【０１２３】
例えば、仮想物体の動きが撮影物体の３次元的な形状に合うように制御して、当該仮想物体の画像を当該奥行きカラー画像に合成する。
【０１２４】
また、特殊抽出部２で奥行きカラー画像中の撮影対象の存在する奥行き方向の位置と当該撮影対象の後の背景領域とを抽出し、加工部３では、仮想物体が撮影対象と背景領域の間に存在するように当該仮想物体の画像を当該奥行きカラー画像に合成する。
【０１２５】
また、特殊抽出部２で奥行きカラー画像中の複数の撮影対象のうちの１つである第１の撮影対象の存在する奥行き方向の第１の位置と、当該第１の撮影対象の後にある、上記複数の撮影対象のうちの他の１つである第２の撮影対象の存在する奥行き方向の第２の位置とを抽出し、加工部３では、仮想物体が当該第１の位置と第２の位置の間に存在するように当該仮想物体の画像を当該奥行きカラー画像に合成する。
【０１２６】
また、特徴抽出部２で、奥行きカラー画像中の撮影対象の存在する３次元的な位置として第３の位置を抽出し、加工部３では、仮想物体の動きと撮影対象の動きとに基づき、当該仮想物体が上記第３の位置に至ったとき、当該仮想物体が当該撮影対象と衝突したと判断し、当該物体の動きや表現が衝突に対応するよう制御して当該仮想物体の画像を当該奥行きカラー画像に合成する。なお、仮想物体が撮影対象と衝突したと判断したときには、さらに衝突の効果表現（例えば、「星」など）を当該奥行きカラー画像に合成してもよい。
【０１２７】
また、特徴抽出部２で奥行きカラー画像中の撮影対象の存在する３次元的な位置として第３の位置を抽出し、加工部３では、当該撮影対象の上記第３の位置と、上記奥行きカラー画像中の仮想物体の３次元的な位置であるの第４の位置とに基づき、当該仮想物体の動きや表現を制御して当該仮想物体の画像を当該奥行きカラー画像に合成する。
【０１２８】
また、特徴抽出部２で、奥行きカラー画像から複数の撮影対象のそれぞれの画像と、それらの後の背景領域の画像とを抽出し、加工部３では、上記背景領域の画像と複数の撮影対象のそれぞれの画像のうちの少なくとも１つを加工する。例えば、撮影対象の物体や背景部分をそれぞれ別個に白黒やセピア色などに変色させたり、モザイクをかけたり、変形したりなどする。
【０１２９】
＜画像提示部＞
次に、画像提示部４について説明する。
【０１３０】
画像提示部４は、加工部３にて特殊効果の施されたカラー画像（以下、特殊効果付き画像と呼ぶ）、通信部５にて受信した特殊効果付き画像をユーザに提示するためのものである。
【０１３１】
画像提示部４は、具体的には、ディスプレイ装置で構成され、加工部３にて生成された特殊効果付き画像をディスプレイ上に表示する。また、通信部５にて受信した特殊効果付き画像をディスプレイ上に表示する。
【０１３２】
さらに、図２４に示したように、ディスプレイ装置の表示画面上の表示エリアを、加工部３にて生成された特殊効果付き画像を表示するエリアと、通信部５にて受信した特殊効果付き画像を表示するエリアとに分割し、双方を同時に提示することも可能である。図２４では、エリアＡ１には、例えば、通信部５にて受信した特殊効果付き画像を表示され、エリアＡ２には、例えば、加工部３にて生成された特殊効果付き画像が表示される。
【０１３３】
また、画像提示部４は、加工部３にて生成された特殊効果付き画像を、奥行き情報を用いることで３次元モデル化して、３Ｄ（３次元）のシーンとして提示することも可能である。３Ｄのシーンにしてしまえば、視点の位置を変えて見たり、立体視をしたりすることも可能となる。
【０１３４】
＜通信部＞
最後に、通信部５について説明する。
【０１３５】
通信部５は、加工部３にて生成された特殊効果付き画像を、他の端末装置へ送信したり、他の（例えば、図１と同様な構成を有する）端末装置から送信されてきた上記同様の特殊効果付き画像を受信する。
【０１３６】
通信部５は、有線の通信手段による場合と、無線の通信手段による場合がある。まず、無線の通信手段による場合について説明する。
【０１３７】
この場合、例えば、ＰＤＣ（Ｐｅｒｓｏｎａｌ　ｄｉｇｉｔａｌ　ｃｅｌｌｕｌａｒ）やＣＤＭＡ（Ｃｏｄｅ−Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ），ＰＨＳといった携帯電話に用いられているような無線通信方式を用いて、他の端末装置などの外部機器と通信する。これにより、外部機器への特殊効果付き画像の送信、外部機器からの特殊効果付き画像の受信が行われる。なお、通信手段は、携帯電話通信に限定されるものではなく、ＩＥＥＥ８０２．１１ａ／ｂ／ｇなどに規定された無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（商標）、赤外線通信、ＲＦ通信、その他の無線通信方式を用いることが可能である。
【０１３８】
次に、通信部５が、有線の通信手段による場合について説明する。
【０１３９】
この場合、通信部５はＵＳＢ、ＩＥＥＥ１３９４などのインタフェースを具備し、これらの方式で、接続された外部機器と通信を行う。そして、外部機器への特殊効果付き画像の送信、外部機器からの特殊効果付き画像の受信が行われる。例えば、ＵＳＢによって、接続されたＰＣへ特殊効果付き画像を送信したりなどである。なお、通信手段は、これに限定されるものではなく、シリアル通信、一般電話網、光ファイバ、その他の方式を用いることが可能である。また、外部機器の持っている通信手段を介して、さらに別の外部機器への特殊効果付き画像の送受信が行われることもある。これは、例えば、ＵＳＢ接続されているＰＣ（パソコン）のインターネット接続機能を介して、インターネット上の別の機器への送受信を行うということが考えられる。
【０１４０】
＜端末装置間のコミュニケーション＞
以上説明した本実施形態における端末装置を複数用いて、これら端末装置のそれぞれにおいて、リアルタイムに取得したカラー画像に前述したように特殊効果を施して特殊効果付き画像を生成し、それを用いて、当該複数の端末装置間でコミュニケーションを行うことが可能となる。
【０１４１】
それでは、本実施形態の端末装置を用いて実現される通信システムについて、幾つかの具体例を挙げながら説明する。
【０１４２】
現在、カメラ機能付き携帯電話が広く普及している。これは、従来の携帯電話の機能に加えて、写真や動画像を撮影して楽しむという機能、撮影物をメールなどに添付して送付することで、他人とコミュニケーションを行う機能、カメラを用いてうつした自分の姿を相手にリアルタイムに送信し、同時に相手のカメラ機能付き携帯電話でうつされた相手の姿をリアルタイムに受信することで、双方の画像を見ながらコミュニケーションを行うテレビ電話の機能などが実用化されている。
【０１４３】
本実施形態の通信システムは、例えば、これに置き換わるかたちで実現される。上で説明したような画像コミュニケーションを行うことが可能な新たな携帯電話システムというイメージである。
【０１４４】
例えば、ユーザは、この新たな携帯電話システムを構成する本実施形態にかかる端末装置としての携帯電話を用いて、自分の姿や風景、気になった物などを撮影する。そして、ユーザは、その画像に対応する奥行き情報を用いて生成された特殊効果付き画像（この画像には、もちろん、動画像の場合もある）を得る。これを、携帯電話の待ち受け画面などに使用し楽しむ。また、この画像（または、動画像）をメールに添付して相手におくり、コミュニケーションの手段として用いる。さらに、テレビ電話といったリアルタイムな画像コミュニケーション中に、自分の感情を相手にうまく伝えたり、コミュニケーションにエンターテイメント性をもたせるために、前述同様にして特殊効果を付加したりすることができる。
【０１４５】
それでは、テレビ電話の例を用いて一連の流れを図３３、図３４に示すフローチャートを参照して具体的に説明する。いま、２人の人物Ａ、Ｂが双方とも、図１に示した構成を有する携帯電話を保持している。人物Ａ、Ｂともに、お互いに自分の顔を撮影している。何も特殊効果が付加されていない状態では、お互いの機器の通信部５を介して、人物ＡとＢの携帯電話は相互に接続されており、人物Ａの顔の画像は、人物Ｂの画像提示部４を通して提示され、逆に、人物Ｂの顔の画像は、人物Ａに提示されている。これによって、画像を用いたテレビ電話が実現されている。そして、あるとき、人物Ａは、自分の顔の周りに蝶々が飛んでいるような特殊効果を付けようと思いたち、自分の顔の画像を当該携帯電話で撮影する。これにより、画像取得部１は画像奥行き情報を含む画像（すなわち、奥行きカラー画像）を取得し（ステップＳ１）。特徴抽出部２では、奥行き情報などを基に当該顔画像中の３次元的な特徴を抽出する（ステップＳ２）。人物Ａが、蝶々が飛んでいる画像を選択すると、加工部３では、当該顔画像に抽出された３次元的な特徴を基に、顔の回りを蝶が飛び回っているように選択された画像を合成し、特殊効果付き画像を生成する（ステップＳ３）。この特殊効果付き画像を画像提示部４に表示するとともに（ステップＳ４）、人物Ａの送信指示により、当該特殊効果付き画像を人物Ｂに送信する（ステップＳ５）。人物Ｂの所持する携帯電話では、通信部５にて当該特殊効果付き画像を受信すると（ステップＳ６）、それを画像提示部４に表示するので（ステップＳ７）、人物Ｂは、その特殊効果付きの人物Ａの顔を見ることができる。このように、従来のテレビ電話では無かった、エンターテイメント性をコミュニケーションに付加することが可能となる。
【０１４６】
本実施形態は、携帯電話のような場合だけではない。次に、別の例を説明する。従来から、パソコン（ＰＣ）にＵＳＢ接続のカメラを接続し、景色などを常に撮影しておく。そして、そのＰＣをインターネットにつなぎ、撮影しているリアルタイムの画像を一般に公開するということが行われている。これは、通常、ライブカメラ、または、定点観測カメラなどと呼ばれることが多いサービスである。撮影されているものは、自分の部屋の様子、ペットの様子、経営している店の客の入り具合の状態、渋谷の町並みの様子など多岐多様に渡っている。
【０１４７】
このような使用方法において、上記のＵＳＢ接続カメラの代わりに、本実施形態にかかる端末装置をＰＣに接続することで、このような画像に特殊効果を付加することができる。従って、例えば、いま、ある商品を売っている店が、商品の画像をライブカメラを通して、インターネット上に公開しているとする。そして、カメラの向きを変えながら（パン動作）幾つかの商品を撮影しているとする。この際、いわゆる“一押し”のある商品が撮影された際に、その商品の周りに、「一押し」を表す仮想物体（オブジェクト）を図２０のように回す特殊効果をかけ、新製品の商品が撮影された際には、当該新製品を表す仮想物体（オブジェクト）が回るような特殊効果をかける、といったことができる。このように、ライブカメラなどの画像に、エンターテイメント性を持たし、さらに、「一押し」、「新製品」などといった付加情報を提供することができる。
【０１４８】
（第１の実施形態の第１の変形例）
図２５は、第１の変形例に係る端末装置の要部の構成例を示したものである。
【０１４９】
図２５に示した端末装置と図１に示した端末装置との違いは、図２５では、特徴抽出部２が、画像取得部１で取得した奥行きカラー画像に含まれる奥行き情報を基に撮影対象の３次元的な特徴を前述同様にして抽出するとともに、さらに、通信部５で受信した奥行きカラー画像からも、そこに含まれる奥行き情報を基に撮影対象の３次元的な特徴を抽出するものである。
【０１５０】
また、図２５の加工部３は、特徴抽出部２で抽出された特徴をもとに、画像取得部１や通信部５で受信した奥行きカラー画像（あるいはカラー画像）や奥行き情報を含む特殊効果付き画像に、前述同様にして特殊効果を施すように構成されている。
【０１５１】
ここで、特殊効果付き画像は、もともと奥行き情報の対応付けられているカラー画像や奥行きカラー画像から生成されているので、特殊効果付き画像にも奥行き情報は対応付けられている（含まれている）。
【０１５２】
このような構成にすることで、画像取得部１で得られた奥行きカラー画像だけでなく、通信部５で受信した奥行きカラー画像や特殊効果付き画像に関しても特殊効果を施すことが可能となる。
【０１５３】
次に、図２５に示した構成を有する端末装置の動作について、図３５に示すフローチャートを参照しながら、先の携帯電話の例を用いて具体的に説明する。
【０１５４】
いま、２人の人物が双方とも、図２５に示したような構成の（第１の変形例に係る機能を持った）携帯電話を保持しており、２人の間で、テレビ電話を用いたコミュニケーションを行っているとする。この際、第１の実施形態では、自分の撮影している画像に対して特殊効果をかけることが可能であったが、第１の変形例では、これに加え、通信部５では、相手から送られてくる奥行き情報を含む画像を受信し（ステップＳ１１）、これを表示するとともに（ステップＳ１２）、当該受信した画像の奥行き情報などを基に、当該受信した画像の３次元的な特徴を抽出する（ステップＳ１３）。従って、受信側の加工部３では、当該受信した画像に対しても特殊効果を付加することが可能となる（ステップＳ１４）。所望の特殊効果を付加して生成された特殊効果付き画像は、画像提示部４に提示するともに、さらに、再び相手に送信することもできる（ステップＳ１６）。
【０１５５】
従って、例えば、双方とも、自分の顔をうつしてテレビ電話を用いたコミュニケーションを行っている最中に、相手の顔にいたずらをすることができる。例えば、よくテレビのコント番組では、怒りの表現や罰ゲームとして、人物の上に、「たらい」を落として笑いをとることがある。これと同じように、相手とのコミュニケーションの中で、なにか不快な思いをした際に、相手の顔画像に対して、「たらい」を落とすような特殊効果を施し、自分が見て楽しむ、さらに、それを相手におくって、楽しませながら、注意を促す、といった新たな画像コミュニケーションが可能となる。
【０１５６】
（第１の実施形態の第２の変形例）
図２６は、第２の変形例に係る端末装置の要部の構成例を示したものである。
【０１５７】
図２６に示した端末装置と図１に示した端末装置との違いは、図２６では、図１に示した構成に、さらに、仮想物体などの複数の付加画像データ（例えば、ＣＧデータや３ＤＣＧデータ）を記憶する付加画像記憶部７と、この中から所望の付加画像や特殊効果を選択するための特殊効果選択部６とが追加された構成になっている。
【０１５８】
特殊効果選択部６は、付加画像記憶部７に記憶されている付加画像を参照し、付加可能な付加画像や特殊効果の種類をユーザに呈示する。ユーザは、呈示されたものの中から付加したい付加画像あるいは特殊効果を選択し、この情報が加工部３に渡される。加工部３は、ユーザが選択した付加画像や特殊効果の種類に従った特殊効果を付加する。また、特殊効果選択部６では、ユーザに付加画像や特殊効果の種類を選択させるのではなく、ランダムに付加画像や特殊効果を選択することもある。
【０１５９】
このように変形することで、ユーザは、取得したカラー画像に合成する仮想物体や、特殊効果を選択して、ユーザの好みに応じた特殊効果付きカラー画像を生成することが可能となる。
【０１６０】
（第１の実施形態の第３の変形例）
図２７は、第３の変形例に係る端末装置の要部の構成例を示したものである。第３の変形例は、上記第２の変形例をさらに変形したものであり、図２７に示した端末装置と図２６に示した端末装置との違いは、図２７では、図２６に示した構成に、さらに、画像取得部１で取得した奥行きカラー画像（あるいはカラー画像）に映っているシーンの特徴を解析するシーン解析部８が追加された構成になっている。
【０１６１】
シーン解析部８は、画像取得部１で取得した奥行きカラー画像（あるいはカラー画像）に映っているシーンの特徴を解析するものである。シーンの特徴とは、シーンに映っているものの特定、シーンの色的な雰囲気、シーンの構図、などを指す。例えば、シーンに映っている物体が人物であるならば、人物であると判別する。そして、その情報を特殊効果選択部６に与える。特殊効果選択部６では、特殊効果の種類を人物に付加することがふさわしいものに限定する。また、シーンに映っているものが縦長の場合は、その周りを横に回転する仮想物体（オブジェクト）の画像を付加（例えば合成）すると効果があるが、非常に、横長の場合は、その周りを縦に回転する仮想物体（オブジェクト）の画像を付加した方が良い場合もあるし、回転する動きのある仮想物体でない別の仮想物体の画像を合成するなどの特殊効果を選択した方が効果的であることもある。また、シーンの全体的な色あいから、仮想物体などの付加画像の形状や色を様々に変えた方がいいこともある。例えば、全体的に赤いものが多く映っているシーンに、赤い仮想物体を合成しても効果が少ないであろう。さらに、シーンにうつっている物体の配置などの画像（シーン）自体の構図に応じて、仮想物体の動きを変化させるようにしてもよい。
【０１６２】
以上のように、図２７に示した構成により、シーン解析部８にて、シーンの特徴を解析することで、当該シーンの特徴に合わせて、付加する仮想物体などの動き、色、形状といったパラメータなどを変化させたり、当該シーンの特徴に対応する特殊効果の種類を選択したりして、より効果の高い特殊効果を付加することができるのである。
【０１６３】
（第１の実施形態の第４の変形例）
第４の変形例に係る端末装置は、図１に示した端末装置の構成、図２５に示した第１の変形例の構成、図２６に示した第２の変形例の構成、図２７に示した第３の変形例の構成のいずれかに、さらに、通信部５で通信する画像を選択することが可能な選択部９が追加された構成となっている。
【０１６４】
図２８は、第４の変形例に係る端末装置の要部の構成例を示したものであり、図２８では、図２５に示した第１の変形例の構成に選択部９を追加して構成される端末装置を示している。
【０１６５】
図２８に示したように、選択部９を追加することにより、通信部５を介して他の端末装置と交換するデータを選択することが可能となる。
【０１６６】
第１の変形例のところで用いた例を用いて、第４の変形例によって得られる効果について説明する。第１の変形例と同様の例を考える。いま、２人の人物が双方とも第４の変形例に係る図２８に示したような構成の機能を持った携帯電話を保持しており、２人の間で、テレビ電話を用いたコミュニケーションを行っているとする。そして、双方とも、自分の顔をうつしてテレビ電話を用いたコミュニケーションを行っている。この最中に、様々な特殊効果を用いたコミュニケーションを行うが、相手の顔にいたずらをする特殊効果のみは、相手に送信しないなどといった選択を行う。これにより、普段は、特殊効果付き画像を常に相手に送っているが、なにか不快な思いをした際に、相手の顔画像に対して、「たらい」を落とすような特殊効果を施し、その特殊効果付き画像のみは、自分が見て楽しむだけで、相手には送らない、といったことが可能となる。
【０１６７】
これは、１対１のコミュニケーションだけではなく、多人数とのコミュニケーション（１対多数、多数対多数）において、さらに効果がでる。例えば、ある人物Ｄが、同時に３人の人物Ａ、Ｂ、Ｃと、図２８に示した構成を有するテレビ電話器を用いたコミュニケーションを行っていたとする。あるとき、人物Ｄは、人物Ａの言動に対して不快な思いをして、「たらい」を落とす特殊効果を施す選択をした。しかし、Ａにそれを送ったのではけんかになると考えたため、人物Ｂ，Ｃのみにそれを送り、自分の感情を伝えた、などといった送信対象の選択が可能となる。
【０１６８】
以上では、送信に対する選択の説明をしたが、受信に対しても、同様に選択し、特定の人からの特殊効果付き画像を受信しないようにしたり、特定の特殊効果の施された特殊効果付き画像は受信しないようにしたりするようにしてもよい。
【０１６９】
（第１の実施形態の第５の変形例）
特殊効果付きカラー画像には、当該画像に適した効果音を付加することも可能である。
【０１７０】
特殊効果付きカラー画像には、当該画像に適した効果音を付加するための効果音付加部を、図１に示した構成、図２５に示した第１の変形例の構成、図２６に示した第２の変形例の構成、図２７に示した第３の変形例の構成のいずれかにさらに追加することもできる。
【０１７１】
これにより、特殊効果付きカラー画像に効果音をつけることができ、特殊効果をさらに高めることができる。例えば、前述の第１の実施形態では、仮想物体が人物に当たって跳ね返り、その際に衝突したことを表す「星」など仮想物体の画像を合成する特殊効果の例を説明したが、図１に示した構成において、上記効果音付加部（図示せず）を追加すると、この衝突の際に、衝突音を付加することでき、当該特殊効果の効果をあげることができる。
【０１７２】
以上説明したように、上記第１の実施形態によれば、撮影対象の画像（例えば、ここでは自然光画像）とともに、（各画素に奥行き情報を含む反射光画像を取得することにより）当該自然光画像の奥行き方向の情報（奥行き情報）を取得することができるので、この奥行き情報を用いて、自然光画像中の撮影対象の３次元的な形状や撮影対象の３次元的な位置関係などの３次元的な特徴を抽出し、この３次元的な特徴を基に、衝撃などの効果表現や仮想物体を表現した画像（付加画像）を合成するなどして、画像中の撮影対象の３次元的な特徴を生かした特殊効果を付加することができる。
【０１７３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【０１７４】
＜全体の構成＞
図２９は、第２の実施形態に係る通信システムの全体の概略構成を示したものである。図２９に示したように、この通信システムは、無線通信システムであって、例えば、図１に示した構成を有する複数の端末装置（例えば、ここでは、第１の端末２０１と第２の端末２０２の２つ）と、第１の端末２０１と無線接続する基地局装置（ＢＳ）２１１と第２の端末２０２と無線接続する基地局装置（ＢＳ）２１２と、基地局装置２１１，２１２とサーバ装置２００を接続する所定の通信網（ネットワーク）とから構成されている。サーバ装置２００は、基地局２１１，２１２，ネットワークを介して第１の端末２０１と第２の端末２０２と互いに通信可能に接続されている。
【０１７５】
第１の端末２０１と第２の端末２０２とは、前述したように、特殊効果付き画像や特殊効果のついていない画像を互いに送受信することで画像コミュニケーションが行える。なお、第１の端末２０１と第２の端末２０２はそれぞれ図１に示した構成を有しているため、それぞれの端末ではカラー画像の他に、当該カラー画像に対応する奥行き情報を、すなわち、ここでは、奥行き情報を含むカラー画像としての奥行きカラー画像を取得することができる。
【０１７６】
第１の端末２０１と第２の端末２０２との間で、画像コミュニケーションを行う際には、各端末の通信部５からは、特殊効果付き画像あるいは特殊効果のついていない画像とともに、当該画像に対応する奥行き情報も送信する。なお、ここでは、前述同様、送信する画像自体に奥行き情報が含まれているものとする。
【０１７７】
また、第１の端末２０１と第２の端末２０２との間で、特殊効果付き画像を送受信する場合には、各端末の通信部５からは、当該奥行き情報を含む特殊効果付き画像とともに、各端末の特徴抽出部２で抽出された３次元的な特徴も送信される。
【０１７８】
また、サーバ装置２００は、第１の端末２０１と第２の端末２０２との間で、画像コミュニケーションが行えるサービスを提供するプロバイダにより設置および運営されており、第１の端末２０１と第２の端末２０２との間で当該画像コミュニケーションを行う際には、第１の端末２０１と第２の端末２０２から送信される画像や、奥行き情報などは、必ず、サーバ装置２００により受信されて、このサーバ装置２００を経由して相手端末へ送信されるようになっている。
【０１７９】
さて、この第２の実施形態では、上記サーバ装置２００において、第１の端末２０１と第２の端末２０２から送信される画像に、当該画像に対応する奥行き情報を基に、付加画像すなわち、ここでは、広告画像を合成する点に特徴がある。
【０１８０】
図３０は、サーバ装置２００の構成例を示したもので、受信部１０と特徴抽出部２と加工部３と送信部１１とから構成されている。なお、図３０において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図３０に示すサーバ装置２００は、図１の端末装置の画像取得部１と画像提示部４と通信部５のそれぞれに代えて、第１の端末２０１や第２の端末２０２から送信されてきた画像（奥行き情報を含む、特殊効果付き画像あるいは特殊効果のついていない画像）を受信する受信部１０と、サーバ装置２００の加工部３で、受信部１０で受信した画像に広告画像の合成などの特殊効果を施すことにより生成された、広告付き画像を当該受信した画像の宛先である第１の端末２０１あるいは第２の端末２０２へ送信する送信部１１を具備している。
【０１８１】
次に、図３６に示すフローチャートを参照して、サーバ装置２００の処理動作について説明する。
【０１８２】
サーバ装置２００の受信部１０は、第１の端末２０１や第２の端末２０２から送信されてきた奥行き情報を含む画像（特殊効果付き画像あるいは特殊効果のついていない画像）を受信すると（ステップＳ２１）、サーバ装置２００の特徴抽出部２は、図１の端末装置の特徴抽出部２と同様にして、受信部１０で受信した画像と当該画像に対応する奥行き情報とから、当該画像中の３次元的な特徴を抽出する（ステップＳ２２）。
【０１８３】
サーバ装置２００の加工部３では、受信部１０で受信した画像と、当該抽出された３次元的な特徴とを基に、広告画像を合成するなどして、当該受信した画像に特殊効果を施す（ステップＳ２３）。この加工部３で広告画像を合成するなどして生成された広告付き画像は、送信部１１から、当該受信した画像のもともとに宛先である第１の端末２０１あるいは第２の端末２０２へ送信される（ステップＳ２４）。
【０１８４】
ここで、サーバ装置２００の加工部３について説明する。加工部３は、受信部１０で受信した画像（既に第１、第２の端末２０１，２０２にて特殊効果のつけられている特殊効果付き画像、あるいは、特殊効果の付けられていない一般的な画像）から特徴抽出部２によって得られた３次元的な特徴を考慮して、受信部１０で受信した当該画像に任意の広告画像をさらに合成するなどして特殊効果を施すものである。
【０１８５】
具体的には、当該画像に、さらに、ＣＧ（コンピュータグラフィックス）などで表現された広告を合成することで、広告付きの画像を生成する。この際、特徴抽出部２で抽出された、画像中の撮影対象（物体）の凹凸といった３次元的な形状、シーン内にどのような物体が存在するか（どのような領域に分割できるか）、シーンにおける各物体の位置関係、それぞれの物体の立体形状、などといった３次元的な特徴を基に、図１の加工部３と同様にして、広告画像と受信した画像中の物体の前後関係などの位置関係や衝突などを判別し、広告を合成する。
【０１８６】
ここで、図７に示した画像が受信部１０で受信されたとし、この図７に示した画像（以下、受信画像と呼ぶ）に広告（画像）を合成する場合を例にとり、サーバ装置２００の加工部３の処理動作について説明する。
【０１８７】
最も簡単な広告の付加方法は、受信画像の前景に広告が架からないように、背景部分に広告を合成するものである。図３１は、図７の受信画像に広告画像を合成した様子を示したものである。図１４に示したように、特徴抽出部２で抽出された３次元的な特徴によれば、容易に前景と背景を判別することができるのは前述したとおりである。この３次元的な情報を用いて、広告を付加する訳である。こうすることで、前景である人物が動いても、人物には広告が架からないように、常に背景に広告を提示しておくことが可能となる。こうすることで、コミュニケーションに悪影響を及ぼすことなく、常に広告を提示しておくことが可能となる。
【０１８８】
さらに、受信画像中の端末装置の加工部３で付加された（合成された）仮想物体に広告を追加しても効果的である。例えば、受信画像に、図１７で説明した人物の後ろを仮想物体「球」が動くという特殊効果が既に施されていたとする。サーバ装置２００の加工部３では、この仮想物体「球」自体に広告を貼り付ける、あるいは、図３２に示すように、「球」に広告をぶら下がるように、広告を合成する。こうすることで、「球」の動きにあわせて、広告自体も画面内を動き回ることになる。つまり、受信画像に含まれる端末側で付加された特殊効果によるエンターテイメント効果の中に広告効果も含めてしまうわけである。これにより、ユーザに悪印象を与えることなく、エンターテイメント効果を与える中でさりげなく広告提示をすることが可能となる。
【０１８９】
また、仮想物体自体が広告となっていてもよく、サーバ装置２００の加工部３では、広告と一体化した仮想物体を受信画像に合成する。広告と一体化した仮想物体とは、例えば、新発売の商品のＣＧ画像などのようなものが挙げられる。
【０１９０】
以上説明した広告の付加方法はあくまでも一例であり、これに限定されるものではない。サーバ装置２００の特徴抽出部２で抽出された３次元的な特徴を用いて、自由に広告を付加することができる。例えば、図２２には、頭にペンキが落ちてくる特殊効果の例を示したが、これが、ペンキではなく、ある商品のパッケージが落ちてきてもよいし、商品名や発売日などを示した文字が落ちてきてもよい。図１８に、仮想物体と衝突判定をし、その際に星などの仮想物体をつける例を示したが、この星のなかに広告が含まれて提示されてもよい。
【０１９１】
また、画面内に２つ以上の別の広告を出すことも可能であるし、受信画像が動画の場合には、シーンによって広告の内容が変わってもよい。例えば、シーンに写っている人物が女性ならば、女性向けの広告を、男性ならば男性向けの広告を付加するといったようにである。
【０１９２】
さらに、第１の端末２０１や第２の端末２０２では、もともと、それぞれの特徴抽出部２にて３次元的な特徴が抽出されているわけであるから、この抽出された３次元的な特徴情報も、画像（奥行き情報を含む、特殊効果付き画像あるいは特殊効果のついていない画像）とともに、必ず送信するようにすれば、サーバ装置２００には特徴抽出部２は持つ必要はなくなる。そして、サーバ装置２００では、図３７に示すように、受信部１０で受信した画像（受信画像）に対し、同じく受信部１０で受信した当該受信画像に対応する特徴情報を基に前述同様にして広告画像を合成することができる（ステップＳ３１〜ステップＳ３２）。
【０１９３】
第２の実施形態に係るサーバ装置２００を用いた通信システムによれば、第１の実施形態で説明したような画像コミュニケーションに加え、送信する画像中に広告を効果的に追加した画像を提供することが可能となる。これにより、広告をユーザ間のコミュニケーションの邪魔にならない位置に提示したり、広告を既にある仮想物体中に組み込むことで、広告にエンターテイメントを持たせるとともに、ユーザに悪影響を与えずに広告を提示することが可能となる。
【０１９４】
なお、以上の各実施形態やその変形例は、適宜組み合わせて実施することが可能である。
【０１９５】
本願発明の実施形態における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読みとり可能な記憶媒体として実現することも可能である。例えば、図１の端末装置の構成のうち、画像取得部１の一部（例えば、自然光画像撮像部１０３と反射光画像撮像部１０８と撮像動作制御部１０４）は、前述したように、１つの集積回路に収められていることが望ましいので、少なくとも、それ以外の画像取得部１と特徴抽出部２と加工部３はソフトウエアとして実現することも可能である。また、上記実施形態に係る端末装置の図３３〜図３５に示した処理動作を行わせるためのプログラムを当該端末装置にインストールすることにより、実現することができる。
【０１９６】
なお、記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータまたは組み込みシステムが読みとり可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１９７】
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【０１９８】
さらに、上記記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【０１９９】
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０２００】
また、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０２０１】
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【０２０２】
また、本発明は、上記第１〜第２の実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記実施形態には種々の段階の発明は含まれており、開示される複数の構成要件における適宜な組み合わせにより、種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０２０３】
【発明の効果】
以上説明したように、本発明によれば、撮影した画像（動画像、静止画像を含む）中の複数の撮影対象のそれぞれの３次元的な形状や位置関係などの３次元的な特徴を基に、広告画像や所望の仮想物体の画像を合成するなどの加工が行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る端末装置の要部の構成例を概略的に示す図。
【図２】通常の白黒画像と、奥行き白黒画像を説明するための図。
【図３】画像取得部の構成例を概略的に示す図。
【図４】反射光画像撮像部の構成例を示した図。
【図５】人間の手を撮影対象として、反射光画像撮像部で撮影された反射光画像に含まれる奥行き情報から得られる、当該反射光画像中の手の３次元的なイメージを表した図。
【図６】画像取得部で取得された反射光画像（（ａ）図）と自然光画像（（ｂ）図）の一具体例を示した図。
【図７】特徴抽出部での処理対象である奥行きカラー画像の一例を白黒画像で示した図。
【図８】図７の奥行きカラー画像中の物体の３次元的な位置関係を概略的に示す図。
【図９】図７の奥行きカラー画像中の背景部分を示した図。
【図１０】図７の奥行きカラー画像中の人物部分を示した図。
【図１１】図７の奥行きカラー画像中の腕部分を示した図。
【図１２】図７の奥行きカラー画像中の缶部分を示した図。
【図１３】図７の奥行きカラー画像中の物体の奥行き方向の一関係を示した図。
【図１４】図７の奥行きカラー画像中の奥行き方向の位置関係と前景・背景を示した図。
【図１５】図７の奥行きカラー画像中の奥行き方向の不連続点（ジャンプエッジ）から当該画像中の物体の詳細な位置関係を求める方法を説明するための図。
【図１６】図７の奥行きカラー画像中の各物体の奥行き方向の位置を特定する方法を説明するための図。
【図１７】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像の一例を説明するための図。
【図１８】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像の他の例を説明するための図。
【図１９】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像のさらに他の例を説明するための図。
【図２０】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像のさらに他の例を説明するための図。
【図２１】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像のさらに他の例を説明するための図。
【図２２】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像のさらに他の例を説明するための図。
【図２３】図７の奥行きカラー画像に特殊効果を加えた結果を示した特殊効果付き画像のさらに他の例を説明するための図。
【図２４】画面提示部に、画像を表示するための画面分割の例を示した図。
【図２５】本発明の第１の実施形態の第１の変形例に係る端末装置の要部の構成例を概略的に示す図。
【図２６】本発明の第１の実施形態の第２の変形例に係る端末装置の要部の構成例を概略的に示す図。
【図２７】本発明の第１の実施形態の第３の変形例に係る端末装置の要部の構成例を概略的に示す図。
【図２８】本発明の第１の実施形態の第４の変形例に係る端末装置の要部の構成例を概略的に示す図。
【図２９】本発明の第２の実施形態に係る通信システムの全体の構成を概略的に示した図。
【図３０】サーバ装置の要部の構成例を概略的に示した図。
【図３１】広告付き画像の一例を説明するための図。
【図３２】広告付き画像の他の例を説明するための図。
【図３３】端末装置の処理動作を説明するためのフローチャート。
【図３４】端末装置の処理動作を説明するためのフローチャート。
【図３５】端末装置の処理動作を説明するためのフローチャート。
【図３６】サーバ装置の処理動作を説明するためのフローチャート。
【図３７】サーバ装置の処理動作を説明するためのフローチャート。
【符号の説明】
１…画像取得部
２…特徴抽出部
３…加工部
４…画像提示部
５…通信部
６…特殊効果選択部
７…付加画像記憶部
８…シーン解析部
９…選択部
１０…受信部
１１…送信部
【図１】
2004145448.tif 000003
【図２】
2004145448.tif 000004
【図３】
2004145448.tif 000005
【図４】
2004145448.tif 000006
【図５】
2004145448.tif 000007
【図６】
2004145448.tif 000008
【図７】
2004145448.tif 000009
【図８】
2004145448.tif 000010
【図９】
2004145448.tif 000011
【図１０】
2004145448.tif 000012
【図１１】
2004145448.tif 000013
【図１２】
2004145448.tif 000014
【図１３】
2004145448.tif 000015
【図１４】
2004145448.tif 000016
【図１５】
2004145448.tif 000017
【図１６】
2004145448.tif 000018
【図１７】
2004145448.tif 000019
【図１８】
2004145448.tif 000020
【図１９】
2004145448.tif 000021
【図２０】
2004145448.tif 000022
【図２１】
2004145448.tif 000023
【図２２】
2004145448.tif 000024
【図２３】
2004145448.tif 000025
【図２４】
2004145448.tif 000026
【図２５】
2004145448.tif 000027
【図２６】
2004145448.tif 000028
【図２７】
2004145448.tif 000029
【図２８】
2004145448.tif 000030
【図２９】
2004145448.tif 000031
【図３０】
2004145448.tif 000032
【図３１】
2004145448.tif 000033
【図３２】
2004145448.tif 000034
【図３３】
2004145448.tif 000035
【図３４】
2004145448.tif 000036
【図３５】
2004145448.tif 000037
【図３６】
2004145448.tif 000038
【図３７】
2004145448.tif 000039