(57)【要約】【課題】  メッセージ情報を人物の顔画像と重なることなく表示することができる，画像処理装置，画像伝送システムおよび画像処理方法を提供する。【解決手段】  顔画像を含む入力画像にメッセージ情報を重畳して出力する画像処理装置としての受信側基地局１４０であって，顔画像の中から顔の特徴点を抽出する特徴点抽出部１４２と，特徴点抽出部１４２で抽出した特徴点に基づいて，入力画像においてメッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出部１４４と，重畳禁止領域を除く入力画像の全領域の内，入力画像にメッセージ情報を重畳可能なメッセージ情報重畳領域を算出する重畳領域算出部１４６と，メッセージ情報重畳領域の一部または全部にメッセージ情報を重畳するメッセージ情報重畳部１４８と，を含むことを特徴とする，受信側基地局１４０を提供する。【選択図】    図２
2007251273.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を含む入力画像にメッセージ情報を重畳して出力する画像処理装置であって：
前記顔画像の中から顔の特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出した前記特徴点に基づいて，前記入力画像において前記メッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出部と；
前記重畳禁止領域を除く前記入力画像の全領域の内，前記入力画像に前記メッセージ情報を重畳可能なメッセージ情報重畳領域を算出する重畳領域算出部と；
前記メッセージ情報重畳領域の一部または全部に前記メッセージ情報を重畳するメッセージ情報重畳部と；
を含むことを特徴とする，画像処理装置。
【請求項２】
前記メッセージ情報重畳部は，前記メッセージ情報重畳領域に前記メッセージ情報を加工して重畳することを特徴とする，請求項１に記載の画像処理装置。
【請求項３】
前記メッセージ情報を格納するメッセージ情報蓄積部をさらに含み，前記メッセージ情報重畳部は，前記メッセージ情報蓄積部に格納されているメッセージ情報を前記メッセージ情報重畳領域に重畳することを特徴とする，請求項１または２に記載の画像処理装置。
【請求項４】
前記メッセージ情報重畳部は，前記メッセージ情報が格納されているメッセージ情報格納装置からメッセージ情報を取得し，取得した前記メッセージ情報を前記メッセージ情報重畳領域に重畳することを特徴とする，請求項１または２に記載の画像処理装置。
【請求項５】
送信側端末が送信した顔画像を含む画像を受信側端末で受信して表示する画像伝送システムであって：
前記送信側端末と前記受信側端末との少なくともいずれか一方が，
前記顔画像の中から顔の特徴点を抽出する特徴点抽出部と；
前記特徴点抽出部で抽出した前記特徴点に基づいて，前記画像において前記メッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出部と；
前記重畳禁止領域を除く前記画像の全領域の内，前記画像に前記メッセージ情報を重畳可能なメッセージ情報重畳領域を算出する重畳領域算出部と；
前記メッセージ情報重畳領域の一部または全部に前記メッセージ情報を重畳するメッセージ情報重畳部と；
を含むことを特徴とする，画像伝送システム。
【請求項６】
前記送信側端末と前記受信側端末との間の伝送を中継する中継装置をさらに含み，
前記送信側端末に含まれる前記特徴点抽出部，前記重畳禁止領域算出部，前記重畳領域算出部および前記メッセージ情報重畳部の内の一部または全部は，前記送信側端末および前記受信側端末に代えて，前記中継装置に設けられることを特徴とする，請求項５に記載の画像伝送システム。
【請求項７】
前記メッセージ情報重畳部は，前記メッセージ情報重畳領域に前記メッセージ情報を加工して重畳することを特徴とする，請求項５または６に記載の画像伝送システム。
【請求項８】
顔画像を含む入力画像にメッセージ情報を重畳して出力する画像処理方法であって：
前記顔画像の中から顔の特徴点を抽出する特徴点抽出ステップと；
抽出した前記特徴点に基づいて，前記入力画像において前記メッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出ステップと；
算出した前記重畳禁止領域を除く前記入力画像の全領域の内，前記入力画像に前記メッセージ情報を重畳可能なメッセージ情報重畳領域を算出するメッセージ情報重畳領域算出ステップと；
前記メッセージ情報重畳領域の一部または全部に前記メッセージ情報を重畳するメッセージ情報重畳ステップと；
を含むことを特徴とする，画像処理方法。
【請求項９】
前記メッセージ情報重畳ステップでは，前記メッセージ情報重畳領域に前記メッセージ情報を加工して重畳することを特徴とする，請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像処理装置，画像伝送システムおよび画像処理方法に関する。
【背景技術】
【０００２】
通信回線を通じてカメラで撮影した自分の画像を音声と共に相手に送信する通信システムとして，例えばテレビ電話システムやビデオチャットシステム等がある。ビデオチャットシステムとは，パーソナルコンピュータ等の通信端末にカメラを接続して自分の画像を撮影し，専用のソフトウェアを使用して，通信回線を通じて撮影した自分の画像を音声や文字と一緒に相手に送信するものである。
【０００３】
このように音声と画像を同時に送信する通信システムにおいて，一方の画像に広告画像のようなメッセージ情報を付加して他方の端末の画面に表示させる方法として，例えば特許文献１および特許文献２がある。
【０００４】
【特許文献１】特許３０５６１４０号公報
【特許文献２】特開２００５−１１００８７号公報
【特許文献３】特開２００３−１７９８１１号公報
【特許文献４】特開２００３−２８１５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし，特許文献１に記載の方法は，通話状態と広告状態を切り替えることで広告情報を提供するものであり，通話状態を常に維持することができないという問題があった。
【０００６】
特許文献２に記載の方法は，特許文献１に記載の方法を改良し，テレビ電話装置において人物画像と背景画像を分離し，背景画像の部分に広告画像を差し替える方法で相手側の端末の多面に広告を表示している。しかし，特許文献２に記載の方法は，人物画像と背景画像を分離するための機能をテレビ電話装置に追加したり，テレビ電話装置を置き換えたりする必要があった。
【０００７】
また，特許文献２に記載の方法は，背景画像を分離する方法として，クロマキー技法や，特許文献３に記載の背景差分方法を利用することを提案しているが，クロマキー技法は背景を単一色にして撮影する必要があるため，一般の利用者がテレビ電話を使用する環境では現実的ではなく，背景差分方法は，携帯電話によるテレビ電話など背景が変化する環境では背景を分離できない問題があった。
【０００８】
さらに，特許文献２に記載の方法は，背景画像を広告画像に差し替えて表示するため，広告画像の上に人物画像が重なった状態で相手の端末の画面に表示される。そのため，広告画像の不特定の場所が人物画像によって見えなくなってしまう問題や，この問題を回避するために人物画像を縮小して表示し，広告画像を広い範囲で見せようとするため，テレビ電話システムの利用者に不快感や阻害感を与えてしまうといった問題もあった。
【０００９】
そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，テレビ電話システムの利用者に不快感や阻害感を与えずに，かつ広告画像のようなメッセージ情報を人物の顔画像と重なることなく表示することができる，新規かつ改良された，画像処理装置，画像伝送システムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために，本発明のある観点によれば，顔画像を含む入力画像にメッセージ情報を重畳して出力する画像処理装置であって，顔画像の中から顔の特徴点を抽出する特徴点抽出部と，特徴点抽出部で抽出した特徴点に基づいて，入力画像においてメッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出部と，重畳禁止領域を除く入力画像の全領域の内，入力画像にメッセージ情報を重畳可能なメッセージ情報重畳領域を算出する重畳領域算出部と，メッセージ情報重畳領域の一部または全部にメッセージ情報を重畳するメッセージ情報重畳部と，を含むことを特徴とする，画像処理装置が提供される。
【００１１】
かかる構成によれば，特徴点抽出部は顔画像に含まれる特徴点を抽出し，重畳禁止領域算出部は特徴点に基づいて入力画像の重畳禁止領域を算出し，重畳領域算出部は重畳禁止領域以外の領域の中からメッセージ情報重畳領域を算出し，メッセージ情報重畳部はメッセージ情報をメッセージ情報重畳領域に重畳する。その結果，顔の画像に重なることなく，また顔の画像を縮小等の加工をすることなく，メッセージ情報を重畳することができる。
【００１２】
メッセージ情報重畳部は，メッセージ情報重畳領域にメッセージ情報を加工して重畳してもよい。かかる構成によれば，メッセージ情報重畳部はメッセージ情報重畳領域にメッセージ情報を拡大，縮小，回転等の加工を施して重畳する。その結果，メッセージ情報重畳領域の形状に合わせてメッセージ情報を重畳することができる。
【００１３】
メッセージ情報を格納するメッセージ情報蓄積部をさらに含み，メッセージ情報重畳部は，メッセージ情報蓄積部に格納されているメッセージ情報をメッセージ情報重畳領域に重畳してもよい。かかる構成によれば，メッセージ情報重畳部はメッセージ情報蓄積部からメッセージ情報を取得して重畳する。その結果，重畳するメッセージ情報を自由に選択することができる。
【００１４】
メッセージ情報重畳部は，メッセージ情報が格納されているメッセージ情報格納装置からメッセージ情報を取得し，取得したメッセージ情報をメッセージ情報重畳領域に重畳してもよい。かかる構成によれば，メッセージ情報重畳部はメッセージ情報格納装置からメッセージ情報を取得して重畳する。その結果，画像処理装置の外部に設けられたメッセージ情報重畳装置から重畳するメッセージ情報を自由に選択することができる。
【００１５】
上記課題を解決するために，本発明の別の観点によれば，送信側端末が送信した顔画像を含む画像を受信側端末で受信して表示する画像伝送システムであって，送信側端末と受信側端末との少なくともいずれか一方が，顔画像の中から顔の特徴点を抽出する特徴点抽出部と，特徴点抽出部で抽出した特徴点に基づいて，画像においてメッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出部と，重畳禁止領域を除く画像の全領域の内，画像にメッセージ情報を重畳可能なメッセージ情報重畳領域を算出する重畳領域算出部と，メッセージ情報重畳領域の一部または全部にメッセージ情報を重畳するメッセージ情報重畳部と，を含むことを特徴とする，画像伝送システムが提供される。
【００１６】
かかる構成によれば，特徴点抽出部は顔画像に含まれる特徴点を抽出し，重畳禁止領域算出部は特徴点に基づいて入力画像の重畳禁止領域を算出し，重畳領域算出部は重畳禁止領域以外の領域の中からメッセージ情報重畳領域を算出し，メッセージ情報重畳部はメッセージ情報をメッセージ情報重畳領域に重畳する。その結果，顔の画像に重なることなく，また顔の画像を縮小等の加工をすることなく，メッセージ情報を重畳することができる。
【００１７】
送信側端末と受信側端末との間の伝送を中継する中継装置をさらに含み，送信側端末に含まれる特徴点抽出部，重畳禁止領域算出部，重畳領域算出部およびメッセージ情報重畳部の内の一部または全部は，送信側端末および受信側端末に代えて，中継装置に設けられていてもよい。その結果，中継装置は送信側端末および受信側端末の機能を代替することができる。
【００１８】
メッセージ情報重畳部は，メッセージ情報重畳領域にメッセージ情報を加工して重畳してもよい。かかる構成によれば，メッセージ情報重畳部はメッセージ情報重畳領域にメッセージ情報を拡大，縮小，回転等の加工を施して重畳する。その結果，メッセージ情報重畳領域の形状に合わせてメッセージ情報を重畳することができる。
【００１９】
上記課題を解決するために，本発明の別の観点によれば，顔画像を含む入力画像にメッセージ情報を重畳して出力する画像処理方法であって，顔画像の中から顔の特徴点を抽出する特徴点抽出ステップと，抽出した特徴点に基づいて，入力画像においてメッセージ情報の重畳を禁止する重畳禁止領域を算出する重畳禁止領域算出ステップと，算出した重畳禁止領域を除く入力画像の全領域の内，入力画像にメッセージ情報を重畳可能なメッセージ情報重畳領域を算出するメッセージ情報重畳領域算出ステップと，メッセージ情報重畳領域の一部または全部にメッセージ情報を重畳するメッセージ情報重畳ステップと，を含むことを特徴とする，画像処理方法が提供される。
【００２０】
かかる方法によれば，顔画像に含まれる顔の特徴点を抽出し，抽出した特徴点に基づいて入力画像の重畳禁止領域を算出し，重畳禁止領域以外の領域の中からメッセージ情報が重畳可能なメッセージ情報重畳領域を算出し，そのメッセージ情報の一部または全部にメッセージ情報をメッセージ情報重畳領域に重畳する。その結果，顔の画像に重なることなく，また顔の画像を縮小等の加工をすることなく，メッセージ情報を重畳することができる。
【００２１】
メッセージ情報重畳ステップでは，メッセージ情報重畳領域にメッセージ情報を加工して重畳してもよい。かかる方法によれば，メッセージ情報重畳部はメッセージ情報重畳領域にメッセージ情報を拡大，縮小，回転等の加工を施して重畳する。その結果，メッセージ情報重畳領域の形状に合わせてメッセージ情報を重畳することができる。
【発明の効果】
【００２２】
以上説明したように本発明によれば，テレビ電話システムの利用者に不快感や阻害感を与えずに，かつ広告画像を人物画像と重なることなく表示することができる，新規かつ改良された，画像処理装置，画像伝送システムおよび画像処理方法装置を提供できるものである。
【発明を実施するための最良の形態】
【００２３】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００２４】
図１は，本発明の一実施形態にかかる画像伝送システムを用いたテレビ電話システムについて説明する説明図である。図１に示したように，本発明の一実施形態にかかるテレビ電話システムは，送信側テレビ電話１１０と，送信側基地局１２０と，電話網１３０と，受信側基地局１４０と，受信側テレビ電話１５０と，を含んで構成される。
【００２５】
送信側テレビ電話１１０は，本発明の送信側端末としての機能を有しており，送信側テレビ電話１１０に搭載したカメラ１１２で送信側テレビ電話１１０の使用者（送信者）の静止画像および動画像を撮影する。撮影した静止画像および動画像は，音声データと共に送信側基地局１２０に向けてテレビ電話データとして送信する。送信側テレビ電話１１０の形態としては，図１に示したような小型の撮像素子を搭載したカメラ付き携帯電話であってもよく，据え置き型の固定電話にカメラを接続したものであってもよい。
【００２６】
送信側基地局１２０は，送信側テレビ電話１１０からのテレビ電話データを受信する。受信したテレビ電話データは，電話網１３０を介して受信側基地局１４０に送信される。
【００２７】
受信側基地局１４０は，送信側基地局１２０から送信されたテレビ電話データを受信すると，受信したテレビ電話データをテレビ電話の通信相手である受信側テレビ電話１５０に向けて送信する。
【００２８】
ここで，受信側基地局１４０は本発明の画像処理装置や中継装置としての機能を有しており，送信側基地局１２０から送信されたテレビ電話データに含まれる，カメラ１１２で撮影した画像を入力画像として，入力画像に含まれる送信側テレビ電話１１０の使用者の顔画像における特徴点を抽出する。そして，抽出した特徴点から画像の重畳を禁止する重畳禁止領域を算出し，メッセージ情報を重畳する重畳領域を算出することを特徴とする。
【００２９】
受信側テレビ電話１５０は，受信側基地局１４０からテレビ電話データを受信し，画像や音声を出力する。また，カメラ１５２で受信側テレビ電話１５０の使用者の静止画像および動画像を撮影し，撮影した静止画像および動画像を送信側テレビ電話１１０に向けて送信する。
【００３０】
以上，図１を用いて本発明の一実施形態にかかる画像処理装置を用いたテレビ電話システムの概要について説明した。次に，図２を用いて本発明の一実施形態にかかる受信側基地局について説明する。
【００３１】
図２は，本発明の一実施形態にかかる受信側基地局について説明する説明図である。本発明の一実施形態にかかる画像処理装置としての受信側基地局１４０は，特徴点抽出部１４２と，重畳禁止領域算出部１４４と，重畳領域算出部１４６と，メッセージ情報重畳部１４８と，メッセージ情報蓄積部１６０と，を含んで構成される。以下，受信側基地局１４０の各部について説明する。
【００３２】
特徴点抽出部１４２は，入力画像に含まれる送信側テレビ電話１１０の使用者（送信者）の顔画像の輪郭を抽出して顔画像を特定し，さらに特定した顔画像における目，口，鼻などの顔の部位を抽出し，顔の部位の所定の位置を特徴点として抽出するものである。
【００３３】
特徴点抽出部１４２における処理は，例えばＷＧ１１／ＭＰＥＧのコミッティドラフト（１９９８年１月１日に提案）に記載されている６８個のＦＡＰ（Ｆａｃｉａｌ  Ａｎｉｍａｔｉｏｎ  Ｐａｒａｍｅｔｅｒｓ）の中から必要なものを選択して行う。そのため，特徴点抽出部１４２には，図示しないが，エッジ検出処理部や特徴点トラッキング処理部等が含まれる。顔の部位の位置を特徴点として抽出する方法については後に詳述する。
【００３４】
重畳禁止領域算出部１４４は，特徴点抽出部１４２で抽出した，入力画像に含まれる顔画像の特徴点を用いて，入力画像にメッセージ情報の重畳を禁止する重畳禁止領域を算出するものである。重畳禁止領域の算出方法については後に詳述する。
【００３５】
重畳領域算出部１４６は，重畳禁止領域算出部１４４で算出した重畳禁止領域以外の入力画像の領域に対して，メッセージ情報を重畳するメッセージ情報重畳領域を算出するものである。メッセージ情報を重畳する領域の算出方法については後に詳述する。
【００３６】
メッセージ情報重畳部１４８は，重畳領域算出部１４６で算出したメッセージ情報重畳領域に，メッセージ情報を重畳するものである。重畳するメッセージ情報は，メッセージ情報蓄積部１６０から取得する。メッセージ情報蓄積部１６０は，例えば，半導体メモリ，光ディスク，磁気ディスク等の各種の記憶媒体などで構成される。
【００３７】
なお，本実施形態では受信側基地局１４０の内部にメッセージ情報蓄積部１６０を含んでいるが，本発明はこれに限られず，受信側基地局１４０とは別の，メッセージ情報が格納されるメッセージ情報格納装置を設け，そのメッセージ情報格納装置にメッセージ情報蓄積部１６０を含むようにして，そのメッセージ情報格納装置からメッセージ情報を取得して，メッセージ情報重畳部１４８でメッセージ情報を重畳するようにしてもよい。
【００３８】
また，特徴点抽出部１４２と，重畳禁止領域算出部１４４と，重畳領域算出部１４６と，メッセージ情報重畳部１４８とは，受信側基地局１４０の内部に記憶されたコンピュータプログラムであってもよく，各部の機能を実行するマイクロプロセッサ等のハードウェアであってもよい。
【００３９】
以上，図２を用いて本発明の一実施形態にかかる受信側基地局について説明した。次に，図３〜図７を用いて本発明の一実施形態にかかる画像処理方法について説明する。
【００４０】
送信側テレビ電話１１０の使用者がテレビ電話による通話を開始すると，送信側テレビ電話１１０は送信側テレビ電話１１０のカメラ１１２で送信側テレビ電話１１０の使用者を撮影する。撮影された画像は，テレビ電話データとして送信側基地局１２０に送信され，送信側基地局１２０は，テレビ電話データを，電話網１３０を介して受信側基地局１４０に送信する。
【００４１】
図３は，本発明の一実施形態にかかる画像処理方法について説明する流れ図である。受信側基地局１４０がテレビ電話データを受信すると，特徴点抽出部１４２が，テレビ電話データに含まれる画像を入力画像として，その入力画像に含まれる特徴点を抽出する（ステップＳ１１０）。
【００４２】
図４ａは，送信側テレビ電話で撮影した画像の例を示す説明図であり，図４ａの（ａ）は，送信側テレビ電話１１０のカメラ１１２で送信側テレビ電話１１０の使用者を撮影した画像の一例を示す説明図である。カメラ１１２で撮影した画像２００には，送信側テレビ電話１１０の使用者の顔画像２０２が含まれている。
【００４３】
特徴点抽出部１４２は，入力画像を走査してエッジの検出を行い，検出したエッジから，顔画像に含まれる目，鼻，口，眉毛などの顔の部位の輪郭を抽出する。そして，抽出した顔の部位の輪郭から特徴点を示す位置を探索して特徴点を検出し，検出した特徴点の座標データを取得する。特徴点の抽出方法としては，例えば特許文献４に示す方法を用いることができる。特許文献４には，顔の色彩に関するパターンである顔色彩パターンに対応する画像領域を顔領域として検出し，検出した顔領域の画像部分の濃淡を検出して，その濃淡に基づいて顔の部位を探索する方法が示されている。
【００４４】
図６は，顔画像から抽出した特徴点について説明する説明図である。図６の（ａ）は，顔画像２０２の内，左目および右目の特徴点を抽出したものである。特徴点抽出部１４２は，顔画像２０２を走査して，左目および右目の特徴点として，それぞれｅ１〜ｅ７を抽出する。
【００４５】
同様に，顔の両目以外の部位についても特徴点を抽出する。図６の（ｂ）は，顔画像２０２の内，左眉および右眉の特徴点について説明する説明図であり，特徴点抽出部１４２は，顔画像２０２を走査して，左眉および右眉の特徴点としてそれぞれｅｂ１，ｅｂ２を抽出する。図６の（ｃ）は，顔画像２０２の内，鼻の特徴点について説明する説明図であり，特徴点抽出部１４２は，顔画像２０２を走査して，鼻の特徴点としてｎ１を抽出する。図６の（ｄ）は，顔画像２０２の内，口の特徴点について説明する説明図であり，特徴点抽出部１４２は，顔画像２０２を走査して，口の特徴点としてｍ１〜ｍ８を抽出する。
【００４６】
特徴点抽出部１４２は，顔画像２０２から特徴点を抽出すると，各部位の特徴点の中から代表的なものを選択する。選択した代表的な特徴点は，重畳禁止領域算出部１４４での重畳禁止領域の算出に使用する。特徴点の選択は各部位で複数の特徴点の中から１つを選択してもよく，複数選択してもよい。また，重畳禁止領域の算出には全ての部位を使用しなくてもよい。
【００４７】
本実施形態においては，左目および右目のｅ１を両目の特徴点として，そして口のｍ４を口の特徴点として，顔領域の計算に用いるが，その他の特徴点を用いて顔領域を計算してもよい。
【００４８】
特徴点抽出部１４２が入力画像に含まれる顔画像の特徴点を抽出すると，重畳禁止領域算出部１４４が，抽出した特徴点とその特徴点の座標データに基づいてメッセージ情報の重畳を禁止する重畳禁止領域を算出する（ステップＳ１２０）。
【００４９】
図７は，本発明の一実施形態にかかる重畳禁止領域の算出方法について説明する説明図である。重畳禁止領域算出部１４４は，特徴点抽出部１４２で抽出した顔画像２０２の特徴点ｅ１，ｅ２，ｍ４の座標データに基づいて，重畳禁止領域である顔領域２１０を算出する。顔領域２１０の範囲内ではメッセージ情報の重畳を禁止することで，顔画像に重ならないようにメッセージ情報を重畳することが可能になる。以下，顔領域２１０の算出方法について説明する。
【００５０】
なお，図６および図７においては，画像に向かって左右を定義しているが，画像に写っている人物から見て左右を定義しても，顔領域の算出に関する基本的な原理は同様である。また，図７においては，画像の左上を原点として，画像の左右方向をｘ軸，画像の上下方向をｙ軸とする。また，座標の値は画像の右方向および下方向に向かって大きくなっていくものとする。
【００５１】
まず，顔の基準幅および基準高を算出する。基準幅は，右目のｅ１のｘ座標の値から左目のｅ１のｘ座標の値を引いた値で算出する。そして基準高は，口のｍ４のｙ座標の値から左目もしくは右目のｅ１のｙ座標を引いた値で算出する。
【００５２】
本実施形態においては，左目の特徴点の１つであるｅ１の座標が（ｘ，ｙ）＝（１２０，１００），右目の特徴点の１つであるｅ１の座標が（ｘ，ｙ）＝（１６０，１００），口の特徴点の１つであるｍ４の座標が（ｘ，ｙ）＝（１４０，１５０）であったとする。この場合，基準幅は，右目のｅ１のｘ座標の値から左目のｅ１のｘ座標の値を引いて，１６０−１２０＝４０となる。そして基準高は，ｍ４のｙ座標から右目のｅ１のｙ座標の値を引いて，１５０−１００＝５０となる。
【００５３】
次に，算出した基準幅および基準高を用いて，顔領域の上下左右端の座標データを算出する。顔領域の左端のｘ座標は，左目のｅ１のｘ座標の値から，基準幅に係数を掛けた値を引いて求まった値で定義し，顔領域の右端のｘ座標は，右目のｅ１のｘ座標の値に，基準幅の値に係数を掛けた値を加えて求まった値で定義する。
【００５４】
そして，顔領域の上端のｙ座標は，左目または右目のｅ１のｙ座標の値から，基準高に係数を掛けた値を引いて求まった値で定義し，顔領域の下端のｙ座標は，口のｍ４のｙ座標の値に，基準高に係数を掛けた値を加えて求まった値で定義する。
【００５５】
本実施形態においては，左端および右端のｘ座標を求めるときの係数の値を１．０とする。そして，左目のｅ１の座標が（ｘ，ｙ）＝（１２０，１００），右目のｅ１の座標が（ｘ，ｙ）＝（１６０，１００），基準幅が４０であるので，顔領域の左端のｘ座標は１２０−４０×１．０＝８０であり，顔領域の右端のｘ座標は１６０＋４０×１．０＝２００である。また，本実施形態においては，上端を求める際の係数の値を１．２とし，下端のｙ座標を求めるときの係数の値を０．４とする。そして，口のｍ４の座標が（ｘ，ｙ）＝（１４０，１５０），基準高が５０であるので，顔領域の上端のｙ座標は１００−（５０×１．２）＝４０であり，顔領域の下端のｙ座標は１５０＋（５０×０．４）＝１７０である。
【００５６】
なお，それぞれの係数の値はこれに限られるものではない。算出したい顔領域の大きさや形状に応じて係数を他の値に変えてもよい。
【００５７】
このようにして顔領域の上下左右端を求めた結果，形状を四角形にした場合の顔領域２１２の四隅の座標が，原点に近い点から時計回りに（ｘ，ｙ）＝（８０，４０），（２００，４０），（２００，１７０），（８０，１７０）となる。この顔領域２１２を重畳禁止領域としてもよいが，顔領域の形状を楕円形にしてその顔領域を重畳禁止領域とすることで，メッセージ情報重畳領域をさらに広く確保することができる。
【００５８】
形状が四角形の顔領域２１２から，形状が楕円形の顔領域２１０を算出するには，楕円の方程式を用いる。具体的には，顔領域２１２の中心の座標を（ｘａ，ｙｂ），顔領域２１２の幅をａ，高さをｂとして，
（ｘ−ｘａ）２／（ａ／２）２＋（ｙ−ｙｂ）２／（ｂ／２）２＝１・・・（数１）
を満たすｘおよびｙの集合が顔領域２１０を形成する楕円となる。なお，数１のｘａの値は顔領域２１２の（右端のｘ座標＋左端のｘ座標）／２で求まり，ｙａの値は（上端のｙ座標＋下端のｙ座標）／２で求まる。
【００５９】
このようにして求まった顔領域２１０の内側を重畳禁止領域とすることで，顔画像に重なることなくメッセージ情報を重畳することが可能となる。
【００６０】
以上，顔領域２１０の算出方法について説明した。このように，顔画像２０２の特徴点を抽出することで，画像２００の重畳禁止領域となる顔領域２１０が求まり，図４ａの（ｂ）に示した顔領域２１０の内側には，メッセージ情報を重畳しないようにすることができる。
【００６１】
また，図４ｂの（ａ）のように顔画像２０２が画像２００の上部に偏っている場合には，顔領域２１０も画像２００の上部に偏ることになる。その際の顔領域２１０は，図４ｂの（ｂ）のように一部が切れてしまっていてもよい。
【００６２】
なお，顔領域の算出方法はかかる例に限定されない。本実施形態では顔領域の形状を四角形に内接する楕円としたが，形状を顔領域２１２のように四角形としてもよく，五角形，六角形，八角形等の多角形の形状であってもよい。
【００６３】
重畳禁止領域算出部１４４が重畳禁止領域を算出すると，重畳領域算出部１４６が，画像２００の顔領域２１０を除く，メッセージ情報を重畳可能なメッセージ情報重畳領域２１８を算出する（ステップＳ１３０）。重畳領域算出部１４６がメッセージ情報重畳領域２１８を算出すると，メッセージ情報重畳部１４８がメッセージ情報蓄積部１６０からメッセージ情報を取得し，メッセージ情報重畳領域２１８からメッセージ情報を重畳する領域を算出し，メッセージ情報を重畳する（ステップＳ１４０）。以下，メッセージ情報を重畳する領域の算出方法について説明する。
【００６４】
まず，重畳領域算出部１４６が，画像２００の顔領域２１０を除くメッセージ情報重畳領域２１８を算出し，算出したメッセージ情報重畳領域２１８の内，どの位置が最も広いかを求める。最も広い位置の求め方は，例えば画像２００の四隅から顔領域２１０までの距離を計算することで求めることができる。最も広い位置が２つ以上存在した場合には，原点方向に近い位置を最も広い位置としてもよく，最も広い位置をランダムに決定してもよい。最も広い位置が求まると，次に顔領域２１０に接するように（メッセージ情報の表示が最大となるように）表示するメッセージ情報の大きさを決定する。
【００６５】
本実施形態においては，図４ａの（ｃ）において，メッセージ情報重畳領域２１８は画像２００において顔領域２１０を除く領域で定義される。そして，図４ａの（ｃ）においては，メッセージ情報重畳領域２１８の内，一番広いのは左上部であり，図４ａの（ｄ）に示したように，画像２００の左上部に，顔領域２１０に接するように表示するメッセージ情報の一例である広告画像２２０の大きさを決定する。一方，図４ｂの（ｃ）においては，メッセージ情報重畳領域２１８の内，一番広いのは左下部であり，図４ｂの（ｄ）に示したように，顔領域２１０に接するように画像２００の左下部に表示する広告画像２２０の大きさを決定する。
【００６６】
図４ｂにおいては顔領域２１０が画像２００の上部に偏っている場合を示したが，他の方向に偏っている場合も同様に，メッセージ情報重畳領域２１８の内，メッセージ情報を重畳する領域を算出する。例えば，図５の（ａ）のように顔領域２１０が画像の左側に偏っている場合は，顔領域２１０に接するように画像２００の右上部に表示する広告画像２２０の大きさを決定する。
【００６７】
画像２００に占める顔領域２１０の大きさの割合が変化した場合も同様にメッセージ情報を重畳する領域を算出する。例えば，図５の（ｂ）のように画像２００に占める顔領域２１０の大きさの割合が小さい場合には，広告画像２２０の大きさが大きくなるようにメッセージ情報を重畳する領域を算出し，図５の（ｃ）のように画像２００に占める顔領域２１０の大きさの割合が大きい場合には，広告画像２２０の大きさが小さくなるようにメッセージ情報を重畳する領域を算出する。
【００６８】
重畳するメッセージ情報は１つだけであってもよく，複数であってもよい。メッセージ情報を複数重畳した場合の例を図５の（ｄ）に示す。メッセージ情報を複数重畳する場合には，メッセージ情報が顔領域２１０と重ならないように，またメッセージ情報同士が重ならないように，重畳領域算出部１４６がメッセージ情報を重畳する領域を算出する。また，重畳するメッセージ情報は，メッセージ情報を重畳する領域に応じて拡大，縮小，回転等の加工を行ってもよい。
【００６９】
広告画像２２０が重畳された画像２００は，受信側テレビ電話１５０に向けて出力される（ステップＳ１５０）。受信側テレビ電話１５０は，メッセージ情報が重畳された画像を画面に表示する。
【００７０】
これらの一連の処理は，送信側テレビ電話１１０から送信される静止画像および動画像のフレーム毎に行う。フレーム毎に一連の処理を行うことで，テレビ電話の通話中に通話者の顔の位置が移動しても，通話者の顔に重ならずにメッセージ情報を重畳することができる。
【００７１】
以上，本発明の一実施形態にかかる画像処理方法について説明した。
【００７２】
以上説明したように，本発明の一実施形態によれば，送信者側のテレビ電話で撮影した静止画像および動画像から，送信者の顔画像の特徴点を抽出し，顔領域を算出し，顔領域以外の領域に広告画像を重畳することで，送信者の顔画像に手を加えたり，特殊な撮影方法を用いたりすること無く，テレビ電話で撮影した静止画像および動画像にメッセージ情報を重畳することができる。
【００７３】
テレビ電話で撮影した静止画像および動画像にメッセージ情報を重畳することで，テレビ電話の使用者に不快感や阻害感を与えずに，かつ広告画像を人物画像と重なることなく表示することができる。
【００７４】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７５】
例えば，上記実施形態においてはメッセージ情報として広告画像を画像に重畳していたが，広告画像以外にも，メッセージ情報として通話時間や最新のニュース等を重畳してもよい。
【００７６】
また，上記実施形態においては受信側基地局の内部に特徴点抽出部，重畳禁止領域算出部，重畳領域算出部およびメッセージ情報重畳部を設けたが，これらは画像を受信する装置，例えば上記実施形態における受信側テレビ電話１５０に設けてもよい。
【００７７】
また，図４ａ〜図５において，メッセージ情報としての広告画像２２０は四隅に丸みを帯びた形状となっているが，メッセージ情報の形状はこれに限られず，正四角形であってもよく，また他の多角形であっても，円形や楕円形であってもよい。
【００７８】
また，上記実施形態においては受信側基地局１４０でメッセージ情報を重畳する，片方向のみのメッセージ情報重畳方法について説明したが，双方向でメッセージ情報を重畳するようにしてもよい。その際に重畳するメッセージ情報は，同一のものであってもよく，異なるものであってもよい。
【００７９】
また，上記実施形態では重畳領域算出部１４６でメッセージ情報重畳領域を算出する際に，画像２００の中で顔領域２１０が存在しない領域の内，どの位置が最も広いかを求めて，その最も広い領域にメッセージ情報としての広告画像２２０を重畳するようにメッセージ情報重畳領域を算出していたが，重畳領域算出部１４６でメッセージ情報重畳領域を算出する際に，画像２００の中で顔領域２１０が存在しない領域の内，どの位置が最も狭いかを求めて，その最も狭い領域にメッセージ情報としての広告画像２２０を重畳するようにメッセージ情報重畳領域を算出してもよい。
【００８０】
また，上記実施形態では重畳領域算出部１４６でメッセージ情報重畳領域を算出する際に，画像２００の中で顔領域２１０が存在しない領域の内，どの位置が最も広いかを求めて，その最も広い領域にメッセージ情報としての広告画像２２０を重畳するようにメッセージ情報重畳領域を算出していたが，重畳領域算出部１４６でメッセージ情報重畳領域を算出する際に，顔領域２１０を画像２００の範囲内で左右どちらかに移動し，顔領域２１０を移動した結果生じたスペースにメッセージ情報を重畳するようにしてもよい。
【００８１】
また，上記実施形態ではメッセージ情報蓄積部１６０からメッセージ情報を取得する際には無条件でメッセージ情報を取得していたが，テレビ電話の形態が携帯電話であった場合に，携帯電話の現在位置を検出し，検出した現在位置に基づいてメッセージ情報蓄積部１６０から最適なメッセージ情報を取得してもよい。
【００８２】
また，上記実施形態ではテレビ電話システムにおける画像伝送システムおよび画像処理方法について説明したが，図８に示したようなビデオチャットシステムに画像伝送システムおよび画像処理方法を適用してもよい。
【００８３】
図８に示したビデオチャットシステムは，送信側端末３１０と，ネットワーク３３０と，中継装置３４０と，受信側端末３５０と，を含んで構成され，送信側端末３１０にはビデオカメラ３１２が接続されている。
【００８４】
ビデオカメラ３１２で撮影された送信側端末３１０の利用者の画像は，ネットワーク３３０を介して中継装置３４０に送信される。中継装置３４０は，図示しないが，上記実施形態の受信側基地局１４０のように特徴点抽出部，重畳禁止領域算出部，重畳領域算出部およびメッセージ情報重畳部を含んでもよく，ビデオカメラ３１２で撮影された画像から顔領域を算出し，顔領域に重ならないように広告画像を重畳し，広告画像を重畳した画像を受信側端末３５０に向けて送信する。
【００８５】
特徴点抽出部，重畳禁止領域算出部，重畳領域算出部およびメッセージ情報重畳部の一部または全部は，中継装置３４０以外に，送信側端末３１０および受信側端末３５０のいずれか一方に含んでいてもよい。特徴点抽出部，重畳禁止領域算出部，重畳領域算出部およびメッセージ情報重畳部の一部または全部を送信側端末３１０および受信側端末３５０のいずれか一方に含むことで，送信側端末３１０と受信側端末３５０とで直接画像のやり取りを行っても，顔領域に重ならないように画像にメッセージ情報を重畳することができる。
【００８６】
受信側端末３５０では，中継装置３４０から送信された広告画像が重畳された画像を表示する。このようにビデオカメラ３１２で撮影された画像に画像処理を施すことで，ビデオチャットシステムの使用者に不快感や阻害感を与えずに，かつ広告画像を人物画像と重なることなく表示することができる。
【産業上の利用可能性】
【００８７】
本発明は，画像処理装置，画像伝送システムおよび画像処理方法に適用可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態にかかる画像処理装置を用いたテレビ電話システムの概要について説明する説明図である。
【図２】本発明の一実施形態にかかる受信側基地局について説明する説明図である。
【図３】本発明の一実施形態にかかる画像処理方法について説明する流れ図である。
【図４ａ】送信側テレビ電話で撮影した画像の例を示す説明図である。
【図４ｂ】送信側テレビ電話で撮影した画像の例を示す説明図である。
【図５】送信側テレビ電話で撮影した画像に広告画像を重畳した画像を示す説明図である。
【図６】本発明の一実施形態にかかる顔画像から抽出した特徴点について説明する説明図である。
【図７】本発明の一実施形態にかかる重畳禁止領域の算出方法について説明する説明図である。
【図８】本発明の別の実施形態にかかる画像処理装置を用いたビデオチャットシステムの概要について説明する説明図である。
【符号の説明】
【００８９】
１１０      送信側テレビ電話
１１２，１５２      カメラ
１２０      送信側基地局
１３０      電話網
１４０      受信側基地局
１４２      特徴点抽出部
１４４      重畳禁止領域算出部
１４６      重畳領域算出部
１４８      メッセージ情報重畳部
１５０      受信側テレビ電話
１６０      メッセージ情報蓄積部
２００      画像
２０２      顔画像
２１０，２１２      顔領域
２２０      広告画像
３１０      送信側端末
３１２      ビデオカメラ
３３０      ネットワーク
３４０      中継装置
３５０      受信側端末
【図１】
2007251273.tif 000003
【図２】
2007251273.tif 000004
【図３】
2007251273.tif 000005
【図４ａ】
2007251273.tif 000006
【図４ｂ】
2007251273.tif 000007
【図５】
2007251273.tif 000008
【図６】
2007251273.tif 000009
【図７】
2007251273.tif 000010
【図８】
2007251273.tif 000011