(57)【要約】【課題】送信側通信装置において話者の顔画像を自動的に適正なサイズに調整して送信することによって、撮像装置と話者との位置関係が変化しても、前記撮像装置を調整することなく、常に適正なサイズの顔画像を含む矩（く）形領域を受信側通信装置の画像表示装置の画面に表示することができるようにする。【解決手段】人物の顔画像を含む入力画像を撮影するカメラ部１０と、前記入力画像から人物の顔画像を含む矩形領域を抽出し、該矩形領域のサイズが適正なサイズになるように調整する処理部１２と、前記矩形領域の画像データを送信する送信部１４とを有する。【選択図】図１
2005242502.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）人物の顔画像を含む入力画像を撮影するカメラ部と、
（ｂ）前記入力画像から人物の顔画像を含む矩形領域を抽出し、該矩形領域のサイズが適正なサイズになるように調整する処理部と、
（ｃ）前記矩形領域の画像データを送信する送信部とを有することを特徴とする顔画像処理装置。
【請求項２】
前記処理部は、前記人物の顔画像から両目の幅を取得し、該両目の幅とあらかじめ設定された標準目幅とを比較して、前記矩形領域のサイズが適正なサイズになるように調整する請求項１に記載の顔画像処理装置。
【請求項３】
前記処理部は、前記人物の顔画像から両目の幅と前記標準目幅とを比較して変換倍率を算出し、該変換倍率に従って前記矩形領域の解像度を変換する請求項２に記載の顔画像処理装置。
【請求項４】
前記標準目幅は、前記矩形領域のサイズを受信側通信装置の画像表示装置の画面に表示させるための適正なサイズにした場合における両目の幅である請求項２又は３に記載の顔画像処理装置。
【請求項５】
前記矩形領域の画像データのデータ圧縮を行う送信前処理部を有し、前記送信部はデータ圧縮が行われた前記矩形領域の画像データを送信する請求項１〜４のいずれか１項に記載の顔画像処理装置。
【請求項６】
テレビ会議又はテレビ電話において使用される請求項１〜５のいずれか１項に記載の顔画像処理装置。
【請求項７】
携帯電話機である請求項１〜６のいずれか１項に記載の顔画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関するものである。
【背景技術】
【０００２】
従来、テレビ会議システムやテレビ電話システムにおいては、デジタルスチルカメラ、ビデオカメラ等の撮像装置を使用して取得した画像を送信し、遠隔地に配設されたＣＲＴ、液晶ディスプレイ等の画像表示装置に表示させるようになっている。これにより、遠隔地にいる話者同士が互いの顔を見ながら会話を進めることができるので、すなわち、フェイスツーフェイスのコミュニケーションが可能となるので、会話を円滑に進めることができる。
【０００３】
ところが、一般的に、撮像装置は、位置、向き、撮像倍率等が固定されているため、テレビ会議やテレビ電話に参加する話者の人数、配置、撮像装置からの距離等によって、画像に含まれる話者の顔が大きくなったり、小さくなったり、甚だしい場合には、画像に含まれなくなったりしてしまう。そのため、テレビ会議やテレビ電話における会話を円滑に進めることができなくなってしまう。
【０００４】
図２は従来のシステムにおける画像表示装置の表示例を示す図である。
【０００５】
図２（ａ）において５０は、従来のシステムにおける一方の話者であり、据置電話機５１を使用して会話中である。そして、前記一方の話者５０を含む画像が図示されないデジタルスチルカメラ、ビデオカメラ等の撮像装置によって取得され、電話回線を通して送信される。これにより、図２（ｂ）に示されるように、遠隔地にいる他方の話者が使用する携帯電話機５２の画像表示装置５３の画面に表示される。この場合、一方の話者５０以外の背景が画面の大半を占めているので、一方の話者５０の顔が小さくなって表示されている。そのため、他方の話者が一方の話者５０の顔を十分に認識することができず、フェイスツーフェイスのコミュニケーションが成り立たないので、会話を円滑に進めることができなくなってしまう。
【０００６】
このような場合、話者の顔を含む画像、すなわち、顔画像が適切な大きさで適切な位置で画像に含まれるようにするために、話者自身又はオペレータ等の者が前記撮像装置の位置、向き、撮像倍率等を手動で調整するようになっている。しかし、会話の途中で撮像装置の調整を行うと、特に、話者自身が撮像装置を調整する場合には、該撮像装置の調整に気を取られ、会話が疎（おろそ）かになってしまう。そこで、撮像装置を使用して取得した画像の中から指定された顔画像を抽出し、拡大して画像表示装置の画面に表示する画像処理装置の技術が提案されている（例えば、特許文献１参照。）。これにより、顔画像を画面一杯に拡大して表示させることができる。
【特許文献１】特開２００３−１０８９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の画像処理装置においては、顔画像の領域に内接する最小矩（く）形領域を画面のサイズに適合させて、顔画像を常に画面一杯に拡大して表示させるので、話者の顔を十分に認識することができるが、話者の体の一部のような顔以外の部分や背景を表示させることができなくなってしまう。そのため、会話の相手の動作や服装、場所の雰囲気等を認識することができず、却（かえ）って会話を円滑に進めることができなくなってしまう。また、テレビ会議やテレビ電話等において、携帯電話機等の受信側の装置の画像表示装置の画面に顔画像を表示させる場合、受信側の装置がサーバと交信して、前記画像表示装置の画面のサイズを前記サーバに送信し、該サーバにおいて前記画像表示装置の画面のサイズに合わせて拡大された顔画像を前記サーバから受信する必要がある。そのため、データの通信量が増大し、通信時間が長くなり、通信コストが高くなってしまう。
【０００８】
本発明は、前記従来の問題点を解決して、送信側通信装置において話者の顔画像を自動的に適正なサイズに調整して送信することによって、撮像装置と話者との位置関係が変化しても、前記撮像装置を調整することなく、常に適正なサイズの顔画像を含む矩形領域を受信側通信装置の画像表示装置の画面に表示することができる顔画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
そのために、本発明の顔画像処理装置においては、人物の顔画像を含む入力画像を撮影するカメラ部と、前記入力画像から人物の顔画像を含む矩形領域を抽出し、該矩形領域のサイズが適正なサイズになるように調整する処理部と、前記矩形領域の画像データを送信する送信部とを有する。
【００１０】
本発明の他の顔画像処理装置においては、さらに、前記処理部は、前記人物の顔画像から両目の幅を取得し、該両目の幅とあらかじめ設定された標準目幅とを比較して、前記矩形領域のサイズが適正なサイズになるように調整する。
【００１１】
本発明の更に他の顔画像処理装置においては、さらに、前記処理部は、前記人物の顔画像から両目の幅と前記標準目幅とを比較して変換倍率を算出し、該変換倍率に従って前記矩形領域の解像度を変換する。
【００１２】
本発明の更に他の顔画像処理装置においては、さらに、前記標準目幅は、前記矩形領域のサイズを受信側通信装置の画像表示装置の画面に表示させるための適正なサイズにした場合における両目の幅である。
【００１３】
本発明の更に他の顔画像処理装置においては、さらに、前記矩形領域の画像データのデータ圧縮を行う送信前処理部を有し、前記送信部はデータ圧縮が行われた前記矩形領域の画像データを送信する。
【００１４】
本発明の更に他の顔画像処理装置においては、さらに、テレビ会議又はテレビ電話において使用される。
【００１５】
本発明の更に他の顔画像処理装置においては、さらに、携帯電話機である。
【発明の効果】
【００１６】
本発明によれば、送信側通信装置としての顔画像処理装置において話者の顔画像を自動的に適正なサイズに調整して送信するので、撮像装置と話者との位置関係が変化しても、前記撮像装置を調整することなく、常に適正なサイズの顔画像を含む矩形領域を受信側通信装置の画像表示装置の画面に表示することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１８】
図１は本発明の実施の形態における顔画像処理装置の機能の構成を示すブロック図である。
【００１９】
図において、２０は本実施の形態における顔画像処理装置であり送信側通信装置として機能する。そして、前記顔画像処理装置２０は、人物の顔画像を含む入力画像を撮影するための撮像装置としてのカメラ部１０、該カメラ部１０によって撮影された入力画像を量子化（デジタル化）し、各フレーム毎に図示されない入力画像メモリとしてのフレームメモリに格納するＡ／Ｄ変換部１１、前記入力画像メモリに記憶された入力画像から人物の顔画像を含む矩形領域を抽出し、該矩形領域のサイズが適正なサイズになるように調整するための処理を行う処理部１２、該処理部１２によって処理が行われた矩形領域の画像データを送信に適したデータ形式に変換するための送信前処理を行う送信前処理部１３、及び、該送信前処理部１３によって送信前処理が行われた矩形領域の画像データを送信する送信部１４を有する。
【００２０】
また、該送信部１４は、ネットワーク１５に接続する機能を備える。なお、該ネットワーク１５は、例えば、電話回線網やインターネットであるが、無線又は有線の公衆通信回線網、専用通信回線網、イントラネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、公衆通信回線網を利用したＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、衛星通信回線網等、いかなる通信回線網であってもよく、これらを適宜組み合わせたものであってもよい。
【００２１】
ここで、前記顔画像処理装置２０は、いかなる用途に使用されるものであってもよく、例えば、防犯、監視、調査等のために各種の施設や場所を利用する人物の動きを監視したり、人数を計測したりすることによって、前記施設や場所の利用状況を把握するために使用されるものであってもよい。この場合、前記カメラ部１０は、例えば、コンビニエンスストア、スーパーマーケット、デパート、ホームセンタ、ショッピングセンタ等の商業施設、銀行、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、食堂、レストラン等の飲食施設、学校、官庁等の公共施設、個人住宅、集合住宅等の住宅施設、一般の建造物における玄関ホール、エレベータ等の建物内部、工事現場、工場等の作業施設などに配設されるが、その他いかなる施設や場所に配設されてもよい。
【００２２】
また、前記顔画像処理装置２０は、例えば、テレビ会議やテレビ電話のために人物としての話者の画像を送信するものであってもよい。この場合、前記カメラ部１０は、例えば、ホテル等の会議場、事務所ビルの会議室、学校、官庁等の会議場、個人住宅、集合住宅等の住宅施設などに配設されるが、その他いかなる施設や場所に配設されてもよい。
【００２３】
なお、前記カメラ部１０は、動画又は静止画を撮影する機能を有するものであれば、防犯カメラ、放送局用のテレビカメラ、家庭用のビデオカメラ、デジタルスチルカメラ等であってもよく、いかなる形態のものであってもよい。また、テレビ会議のために使用される場合、前記顔画像処理装置２０は、例えば、パーソナルコンピュータ等のコンピュータであり、前記カメラ部１０はコンピュータの周辺機器としてのコンピュータに接続可能なデジタルビデオカメラ又はデジタルスチルカメラである。さらに、テレビ電話のために使用される場合、前記顔画像処理装置２０は、例えば、据置電話機、携帯電話機、ＰＨＳ (Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−Ｐｈｏｎｅ  Ｓｙｓｔｅｍ）電話機等の電話機であり、前記カメラ部１０は電話機に内蔵された又は電話機接続可能なデジタルビデオカメラ若しくはデジタルスチルカメラである。
【００２４】
本実施の形態においては、送信側通信装置として機能する前記顔画像処理装置２０がテレビ電話のために使用される携帯電話機である場合について説明する。この場合、前記カメラ部１０は、携帯電話機に付属し、デジタルビデオカメラ又はデジタルスチルカメラとして機能するものであり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）等の撮像素子によって人物としての話者の顔画像を含む入力画像を撮影するようになっている。なお、前記カメラ部１０は、デジタルスチルカメラとして機能するものであっても、所定時間間隔で複数枚の入力画像を連続して撮影することができるものであることが望ましい。また、前記カメラ部１０、Ａ／Ｄ変換部１１、処理部１２、送信前処理部１３及び送信部１４は、顔画像処理装置２０としての携帯電話機内に収容されているものとする。さらに、前記顔画像処理装置２０としての携帯電話機は、図示されないスピーカ、マイクロフォン等の音声通話装置、電話番号等を選択する押しボタン、液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ等を備える画像表示装置等を有する。なお、前記Ａ／Ｄ変換部１１、処理部１２、送信前処理部１３及び送信部１４は、単一のＩＣやＬＳＩの中に構成されたものであってもよいし、個別のＩＣやＬＳＩの中に、それぞれ、構成されたものであってもよい。
【００２５】
また、送信側通信装置として機能する前記顔画像処理装置２０から送信された入力画像を受信して表示する図示されない受信側通信装置も、同様の構成を有する携帯電話機であるものとする。
【００２６】
次に、前記構成の顔画像処理装置２０の動作について説明する。
【００２７】
図３は本発明の実施の形態における入力画像の撮影とサイズ変更処理の動作を示す図、図４は本発明の実施の形態における受信側通信装置に表示された顔画像を示す図、図５は本発明の実施の形態における処理部の動作を示すフローチャートである。
【００２８】
まず、カメラ部１０は、前記話者の顔画像を含む入力画像を撮影する。そして、Ａ／Ｄ変換部１１は、前記カメラ部１０によって撮影された入力画像のアナログ出力信号を量子化し、各フレーム毎にフレームメモリに格納する。この場合、前記フレームは、時系列に並べられて、順次、フレームメモリに格納され、また、該フレームメモリから時系列に並べられて、順次、取り出すことができるようになっている。これにより、図３（ａ）に示されるような話者の動き、すなわち、話者の姿勢、表情等が時間の経過とともに変化する様子を、図３（ｂ）に示されるように、各フレーム毎に時系列に並べた状態とすることができる。そして、このように時系列に並べた状態のフレームを受信側通信装置に送信することによって、受信側通信装置における話者は、送信側通信装置における話者の姿勢、表情等が時間の経過とともに変化する様子を把握することができる。
【００２９】
続いて、前記処理部１２は、前記フレームメモリに記憶された入力画像を読み込み、該入力画像から話者の顔画像を含む矩形領域を抽出して適正なサイズに調整するための処理を行う。この場合、前記処理部１２は、まず、読み込んだ入力画像の中に含まれる話者の顔画像を探索する。なお、入力画像の中に含まれる人物の顔画像を探索する方法としては、前記特許文献１やその他の文献（例えば、特開平５−２７４４３８号公報、特開平５−３０７６０５号公報、特開平５−１６５１１９号公報等参照。）にも記載されているように、各種の方法が知られており、本実施の形態においては、これらの方法の中から任意の方法を選択して話者の顔画像を探索するために採用することができる。また、これらの方法については、既に知られているので、説明を省略する。
【００３０】
そして、前記処理部１２は、入力画像の中に含まれる話者の顔画像の位置を見つけ出すと、前記話者の顔及び頭部を包含する矩形領域、すなわち、話者の顔画像を含む矩形領域を入力画像から抽出する。なお、前記処理部１２は、話者の顔画像の位置を見つけ出すまで、話者の顔画像を探索を継続する。
【００３１】
続いて、前記処理部１２は、抽出した矩形領域の中に含まれる話者の両目間の距離を取得する。この場合、前記処理部１２は、まず、話者の両目の中心位置を探索して見つけ出す。そして、左目の中心から右目の中心までの間に存在する画素の数を計測する。これにより、両目間の距離、すなわち、両目の幅を取得することができる。
【００３２】
続いて、前記処理部１２は、取得した話者の両目の幅の値をあらかじめ設定された標準目幅の値と比較し、前記話者の両目の幅が標準目幅より小さいか否かを判断する。該標準目幅の値は、話者の顔画像を含む矩形領域を拡大又は縮小させて受信側通信装置の画像表示装置の画面に表示させるための適正なサイズにした場合における話者の両目の幅を示す値である。この場合、標準目幅の値は、話者の両目の幅と同様に、左目の中心から右目の中心までの間に存在する画素の数として計測されて設定される。
【００３３】
例えば、矩形領域の幅を１００とした場合、両目の幅が６０を基準目幅とすると、実際の目幅が４０ならば、画像を６／４倍（１．５倍）して、両目の幅が６０になるように拡大処理を行う。
【００３４】
そして、前記話者の両目の幅が標準目幅より小さい場合、前記処理部１２は、拡大処理を行い、話者の顔画像を含む矩形領域を拡大させ、該矩形領域を受信側通信装置の画像表示装置の画面に表示させるための適正なサイズに変換する。なお、拡大倍率は、標準目幅の値を話者の両目の幅の値で除することによって得ることができる。また、前記話者の両目の幅が標準目幅より大きい場合、前記処理部１２は、縮小処理を行い、話者の顔画像を含む矩形領域を縮小させ、該矩形領域を受信側通信装置の画像表示装置の画面に表示させるための適正なサイズに変換する。なお、縮小倍率は、標準目幅の値を話者の両目の幅の値で除することによって得ることができる。さらに、前記話者の両目の幅が標準目幅と等しい場合、前記処理部１２は、拡大処理も縮小処理も行う必要がない。
【００３５】
すなわち、前記処理部１２は、取得した話者の両目の幅をあらかじめ設定された標準目幅の値と比較して、話者の顔画像を含む矩形領域の解像度を変換するための変換倍率を算出し、該変換倍率に従って前記矩形領域の解像度を変換することによって、前記矩形領域のサイズを変更する処理を行うようになっている。これにより、話者の顔画像を含む矩形領域を、図３（ｃ）に示されるように、受信側通信装置の画像表示装置の画面に表示させるための適正なサイズにすることができる。なお、前述された処理部１２の処理は、各フレーム毎に行われる。なお、標準目幅の値には幅を持たせて、その範囲内に実際の目幅が収まっているか否かで処理をしてもよい。
【００３６】
続いて、前記送信前処理部１３は、送信前処理を行って、前記処理部１２によってサイズを変更する解像度を変換する処理が行われた話者の顔画像を含む矩形領域の画像データを、送信に適したデータ形式に変換する。この場合、前記送信前処理部１３は、前記矩形領域の画像データに対して通信プロトコールに対応する形式のデータ圧縮を行う。ここで、データ圧縮の形式は、いかなるものであってもよいが、本実施の形態においては、携帯電話機での無線通信のような低ビットレートの通信をターゲットに作成された動画像圧縮符号化フォーマットであるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）４を採用することが望ましい。
【００３７】
続いて、前記送信部１４は、前記送信前処理部１３によって送信前処理が行われた前記矩形領域の画像データを送信する。この場合、前記送信部１４は、ＭＰＥＧ４に従ってデータ圧縮が行われた前記矩形領域の画像データを、携帯電話機の通信に使用されている通信プロトコールに従って送信する。これにより、前記矩形領域の画像データは、ネットワーク１５を介して受信側通信装置に送信される。そして、該受信側通信装置の画像表示装置の画面には、図４（ｂ）に示されるように、話者の顔画像を含む矩形領域が適正なサイズで表示される。そのため、受信側通信装置の話者は、図４（ａ）に示されるような送信側通信装置の話者の顔を十分に認識することができ、さらに、話者の体の一部のような顔以外の部分も表示されるので、送信側通信装置の話者の動作や服装、場所の雰囲気等を認識することができる。
【００３８】
次に、処理部１２の動作を示すフローチャートについて説明する。
ステップＳ１  処理部１２は入力画像を読み込む。
ステップＳ２  処理部１２は顔画像を探索する。
ステップＳ３  処理部１２は顔画像が見つかったか否かを判断する。顔画像が見つかった場合はステップＳ４に進み、顔画像が見つからなかった場合はステップＳ２に戻る。
ステップＳ４  処理部１２は顔画像を含む矩形領域を抽出する。
ステップＳ５  処理部１２は両目の幅を取得する。
ステップＳ６  処理部１２は取得した両目の幅が標準目幅より小さいか否かを判断する。標準目幅より小さい場合はステップＳ７に進み、標準目幅より大きい場合はステップＳ８に進む。なお、等しい場合は処理を終了する。
ステップＳ７  処理部１２は顔画像を含む矩形領域の拡大処理を行い、処理を終了する。
ステップＳ８  処理部１２は顔画像を含む矩形領域の縮小処理を行い、処理を終了する。
【００３９】
このように、本実施の形態においては、処理部１２がカメラ部１０によって撮影された入力画像から話者の顔画像を含む矩形領域を抽出し、該矩形領域を受信側通信装置の画像表示装置の画面に表示させるための適正なサイズに変更するようになっている。この場合、前記処理部１２は、取得した話者の両目の幅をあらかじめ設定された標準目幅の値と比較して、話者の顔画像を含む矩形領域の解像度を変換するための変換倍率を算出し、該変換倍率に従って前記矩形領域の解像度を変換することによって、前記矩形領域のサイズを変更する。これにより、送信側通信装置としての顔画像処理装置２０において、話者の顔画像を自動的に適正なサイズに調整して送信することができる。
【００４０】
そのため、例えば、話者が自分で操作する送信側通信装置としての顔画像処理装置２０が動いてしまった場合のように、前記カメラ部１０と話者との位置関係が変化しても、前記カメラ部１０の位置や撮像倍率を調整することなく、常に適正なサイズの顔画像を含む矩形領域を受信側通信装置の画像表示装置の画面に表示させることができる。これにより、受信側通信装置の話者は、送信側通信装置の話者の顔を十分に認識することができる。
【００４１】
さらに、話者の顔画像を含む矩形領域が常に適正なサイズで受信側通信装置の画像表示装置の画面に表示されるので、話者の体の一部のような顔以外の部分も表示され、送信側通信装置の話者の動作や服装、場所の雰囲気等を認識することができる。したがって、本実施の形態における顔画像処理装置２０を使用して、テレビ会議やテレビ電話を行うと、適切なフェイスツーフェイスのコミュニケーションが可能となり、会話を円滑に進めることができる。
【００４２】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態における顔画像処理装置の機能の構成を示すブロック図である。
【図２】従来のシステムにおける画像表示装置の表示例を示す図である。
【図３】本発明の実施の形態における入力画像の撮影とサイズ変更処理の動作を示す図である。
【図４】本発明の実施の形態における受信側通信装置に表示された顔画像を示す図である。
【図５】本発明の実施の形態における処理部の動作を示すフローチャートである。
【符号の説明】
【００４４】
１０    カメラ部
１２    処理部
１３    送信前処理部
１４    送信部
２０    顔画像処理装置
【図１】
2005242502.tif 000003
【図２】
2005242502.tif 000004
【図３】
2005242502.tif 000005
【図４】
2005242502.tif 000006
【図５】
2005242502.tif 000007