(57)【要約】【課題】            利用者は、各画像に写っている被撮影者が誰であるかを確認し、さらに、配信する人物ごとにアドレスを携帯電話のキーボードを打つか携帯電話のアドレス帳から選択する必要がある。このように画像の配信は非常に面倒な作業である。【解決手段】        顔画像領域を検出する顔画像領域検出手段と、顔画像のデータを各個人を格納した関連情報データベースと、顔画像領域にかかる顔画像のデータと個人の顔画像のデータとを比較判定する顔画像照合手段と、メールアドレスを送信用の電子メールのアドレスに設定するメールアドレス設定手段と、入力画像を電子メールに添付する画像添付手段からなる。【選択図】          図１
2006178558.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる人物の顔画像が存在する領域である顔画像領域を検出する顔画像領域検出手段と、
予め各個人の顔画像のデータを当該各個人のメールアドレスに対応付けて格納した関連情報データベースと、
上記顔画像領域検出手段により検出された顔画像領域にかかる顔画像のデータと上記関連情報データベースに格納された個人の顔画像のデータとを比較することにより比較した両データは同一人物のデータであるか否かを判定する顔画像照合手段と、
この顔画像照合手段により両データを同一人物のデータであると判定した場合には、このデータに対応するメールアドレスを上記関連情報データベースから読み出して送信用の電子メールのアドレスに設定するメールアドレス設定手段と、
上記入力画像を上記送信用の電子メールに添付する画像添付手段と、
を備えたことを特徴とする画像送信装置。
【請求項２】
画像を入力する画像入力手段と、
この画像入力手段により入力された入力画像から人物の顔画像が存在する領域である顔画像領域を検出する顔画像領域検出手段と、
予め各個人の顔画像のデータを当該個人のメールアドレスに対応付けて格納した関連情報データベースと、
上記顔画像領域検出手段により検出された顔画像領域にかかる顔画像のデータと上記関連情報データベースに格納された個人の顔画像のデータとを比較することにより比較した両データは同一人物のデータであるか否かを判定する顔画像照合手段と、
この顔画像照合手段により両データを同一人物のデータであると判定した場合には、このデータに対応するメールアドレスを上記関連情報データベースから読み出して送信用の電子メールのアドレスに設定するメールアドレス設定手段と、
上記入力画像を上記送信用の電子メールに添付する画像添付手段と、
を備えたことを特徴とする画像送信装置。
【請求項３】
顔画像領域検出手段は、画像に存在する顔画像領域を画像に存在する人物の人数分検出し、
顔画像照合手段は、上記顔画像領域検出手段により検出された各顔画像領域にかかる顔画像のデータと関連情報データベースに格納された個人の顔画像のデータとを比較する
ことを特徴とする請求項１又は２に記載の画像送信装置。
【請求項４】
画像に含まれる人物の顔画像が存在する領域である顔画像領域を検出する顔画像領域検出ステップと、
予め各個人のメールアドレスに対応付けて格納された各個人の顔画像のデータと上記顔画像領域検出ステップにより検出された顔画像領域にかかる顔画像のデータとを比較することにより比較した両データは同一人物のデータであるか否かを判定する顔画像照合ステップと、
この顔画像照合ステップにより両データを同一人物のデータであると判定した場合には、このデータに対応するメールアドレスを送信用の電子メールのアドレスに設定するメールアドレス設定ステップと、
上記画像を上記送信用の電子メールに添付する画像添付ステップと、
を備えたことを特徴とする画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル式カメラにより撮影した人物の画像を、電子メール（e-mail）を介して配信する画像配信装置に関するものである。
【背景技術】
【０００２】
近年、電子メールが広く普及するとともにカメラ付き携帯電話が広く浸透しことにより、カメラ付き携帯電話の利用者が人物を被写体とした撮影を行い、取得した画像データを、被撮影者に携帯電話を利用した電子メールに添付して配信することが行われている。
【０００３】
【特許文献１】特開２００３-１１０９７５
【特許文献２】特開２００３-０７６６２９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、カメラ付き携帯電話により人物を撮影し、これにより取得した画像データを被撮影者に配信する場合、利用者は、各画像に写っている被撮影者が誰であるかを確認し、さらに、配信する人物ごとにアドレスを携帯電話のキーボードを打つか携帯電話のアドレス帳から選択する必要がある。このように画像の配信は非常に面倒な作業である。画像に含まれる被撮影者が複数である場合には特に面倒である。
【０００５】
したがって、本願発明の目的は、撮影した画像を容易に被撮影者に配信することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、画像に含まれる人物の顔画像が存在する領域である顔画像領域を検出する顔画像領域検出手段と、予め各個人の顔画像のデータを各個人のメールアドレスに対応付けて格納した関連情報データベースと、顔画像領域検出手段により検出された顔画像領域にかかる顔画像のデータと関連情報データベースに格納された個人の顔画像のデータとを比較することにより比較した両データは同一人物のデータであるか否かを判定する顔画像照合手段と、顔画像照合手段により両データを同一人物のデータであると判定した場合には、このデータに対応するメールアドレスを上記関連情報データベースから読み出して送信用の電子メールのアドレスに設定するメールアドレス設定手段と、入力画像を上記送信用の電子メールに添付する画像添付手段と、を備えたことを特徴とするものである。
【発明の効果】
【０００７】
本発明によれば、画像に含まれる人物の顔画像が存在する領域である顔画像領域を検出する顔画像領域検出手段と、予め各個人の顔画像のデータを各個人のメールアドレスに対応付けて格納した関連情報データベースと、顔画像領域検出手段により検出された顔画像領域にかかる顔画像のデータと関連情報データベースに格納された個人の顔画像のデータとを比較することにより比較した両データは同一人物のデータであるか否かを判定する顔画像照合手段と、顔画像照合手段により両データを同一人物のデータであると判定した場合には、このデータに対応するメールアドレスを上記関連情報データベースから読み出して送信用の電子メールのアドレスに設定するメールアドレス設定手段と、入力画像を上記送信用の電子メールに添付する画像添付手段と、を備えるために撮影した人物のアドレスが自動的に選択され、画像の配信が容易になる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
【０００９】
図１を用いて、この発明の実施の形態における画像配信装置１の構成を説明する。図１において、画像入力手段２は、画像配信装置１に画像を入力する。画像入力手段２は、携帯端末に備えられたカメラで撮影した画像データを画像配信装置１に入力するためのI/Oインタフェースである。この他、画像入力手段２は、他のカメラで撮影した画像について記録媒体を介して画像配信装置１に取り込むI/Oインタフェースの場合、ネットワークを介して画像配信装置１に画像を取り込むI/Oインタフェースの場合がある。また、携帯電話にBluetooth（登録商標）、IEEE1394などに規定された通信手段が搭載されている場合には、この通信手段を利用することにより画像配信装置１に画像を取り込むI/Oインタフェースの場合がある。なお、画像入力手段２に入力される入力画像は、被撮影者が一人の場合、複数の場合がある。
【００１０】
顔画像データベース３は、予め顔画像データが登録されたデータベースである。顔画像データは人間の顔の特徴を記録したものであり、後述するRectangle  Featureに基づいて定量化された「特徴ベクトル」で表現される。
【００１１】
顔画像検出手段４は、画像入力手段２により入力された入力画像から、人間の顔画像が存在する領域である顔画像領域を検出する。図２に示すように、顔画像検出手段４は、第１の特徴ベクトル抽出手段４１と顔画像判定手段４２とからなる。後述するが、顔画像領域の検出は、第１の特徴ベクトル抽出手段４１で、探索ブロック４３（図７参照）内側の特徴ベクトルを算出し、顔画像判定手段４２において探索ブロック４３内側の特徴ベクトルと予め顔画像データベース３に格納されている人間の顔画像の特徴ベクトルとを比較することにより入力画像から顔画像が存在する顔画像領域を検出する。なおこの顔画像検出手段４は、入力画像に被撮影者が複数いる場合には、入力画像から各被撮影者に対応した顔画像領域を検出する。
【００１２】
関連情報データベース５は、予め各個人の顔画像データが当該各個人のメールアドレスに対応付けて格納されたデータベースである。図３は、関連情報データベース５の概念図である。図３が示すように、関連情報データベース５は、登録ＩＤ５１に対応するように、氏名５２、電話番号、住所、メールアドレス５３、顔画像、顔画像の特徴ベクトル５４が格納されている。
【００１３】
顔画像照合手段６は、顔画像検出手段４で検出された顔画像領域に存在する画像と関連情報データベース５に格納された顔画像データとを照合する。図４に示すように、顔画像照合手段６は、第２の特徴ベクトル抽出手段６１と顔画像比較手段６２からなる。後述するが、第２の特徴ベクトル抽出手段６１で、上記検出された顔画像領域内の画像の特徴ベクトルを算出し、顔画像比較手段６２により、この顔画像領域内の画像の特徴ベクトルと予め関連情報データベース５に格納されている各個人の顔画像の特徴ベクトルとを比較し、同一人物のデータであるか否かを判定する。そして、同一人物のデータであると判定された顔画像データの登録ＩＤ５１を携帯電話のメモリ（図示せず）に格納する。なお、顔画像検出手段４により、検出された顔が複数である場合には、各顔画像それぞれに対して照合を行い、各顔画像に対して類似度の最も高い顔画像データの登録ＩＤ５１を携帯電話のメモリに格納する。
【００１４】
メールアドレス設定手段７は、顔画像照合手段６により両顔画像データは同一人物の顔画像データであると判断した場合に、同一の人物と判断された者の登録ＩＤ５１に対応するメールアドレス５３を関連情報データベース５から取得し（図３参照）、携帯電話に予め設定されている電子メールのアドレス欄に設定する。このアドレス設定は、画像に人物が複数いる場合には、検出された人物に対応するメールアドレス５３をそれぞれ関連情報データベース５から取得しアドレス欄にそれぞれ設定する。
【００１５】
画像添付手段８は、携帯電話に予め設定されている電子メールの添付欄に上記入力画像を添付する。
【００１６】
定型文データベース９は、メールに画像を添付して送信する際の、当該メールの本文に書き込むべき定型文が格納されているデータベースである。格納されている定型文としては「○○さん、写真を添付します」等がある（図６参照）。
【００１７】
定型文挿入手段１０は、携帯電話に予め設定されている電子メールの本文欄に上述した定型文データベース９から選択した定型文を挿入する。なお、図３に示すように、氏名とメールアドレスは対応しているために、被撮影者が「田中  一郎」であった場合には、「田中さん、写真を添付します」となる被撮影者を考慮した定型文を挿入することができる。
【００１８】
メール送信手段１１は、この画像添付手段５でのアドレスに従って実際にメールを送信する。なお、メール送信手段１１は、利用者が手動でメールを送信する場合もあるし、自動的に送信する場合もある。
【００１９】
図５は本発明の画像配信装置の動作を説明するためのフローチャートである。この図に従って、本願発明の動作について説明する。
【００２０】
まず画像入力手段２により画像が入力される（S1-1）。画像の入力は、カメラ付き携帯電話のカメラで撮影した画像を入力する場合がある。
【００２１】
次に、顔画像検出手段４により、入力された画像から顔画像が存在する領域にあたる顔画像領域を検出する（S1-2乃至S1-4）。顔画像領域の検出は、"Rapid object detection using a boosted cascade of simple features," Conference on Computer Vision and Pattern Recognition, 2001, pp. 511-518.（以下、参考文献１）による。
【００２２】
例えば、顔画像検出手段４の第１の特徴ベクトル抽出手段４１により、入力画像から探索ブロック４３内側の画像の特徴ベクトルを算出する（図７参照）。ここで「特徴ベクトル」とは、参考文献１に記載のように複数のRectangle Feature（図８参照）に基づいて定量化された値であり、下記のように配列したものである（S1-2）。
特徴ベクトル＝[102，153，-56，-69，125，126，245，985，…365]
【００２３】
次に、顔画像検出手段４の顔画像判定手段４２により、上記探索ブロック４３内側の特徴ベクトルと、あらかじめ顔画像ＤＢ３に格納された顔画像の特徴ベクトルとを比較することで、探索ブロック４３内側が顔画像の一部か否かを判定する（Ｓ１−３）。
【００２４】
次に、探索ブロック４３を順次移動させて顔画像領域を検出し、同一人物の顔画像領域の一部と判断された複数の断片領域を統合し画像に存在する人の人数分の顔画像領域を生成する（Ｓ１−４）。
【００２５】
次に、上記検出した顔画像領域から、顔画像照合手段６の第２の特徴ベクトル算出手段６１により、顔の特徴を表す「特徴ベクトル」を抽出する（S１-５）。「特徴ベクトル」の抽出には、上記第１の特徴ベクトル算出方法と同様にRectangle Feature（図８参照）を利用するが、検出した顔画像領域から個々人の顔の特徴を表す特徴ベクトルに関しては、以下の参考文献に記載のRectangle Featureを使用する。
【００２６】
"Face Recognition Using Boosted Local Features", Mitsubishi Electric Research Laboratory Technical Report, TR200325.（以下、参考文献２）なお、第１の特徴ベクトル抽出手段と上記第２の特徴ベクトル抽出手段とでは、Rectangle Featureを用いて特徴ベクトルを抽出する点は共通するが、第１の特徴ベクトル検出手段では、１０万あるRectangle Featureのうち、８千のRectangle Featureを使用するのに対して、第２の特徴ベクトル検出手段では、１０万あるRectangle Featureのうち、３００のRectangle Featureを使用する。
【００２７】
次に、顔画像照合手段６の顔画像比較手段６２により、上記検出した顔画像領域から抽出した「特徴ベクトル」と関連情報データベース５に予め格納された各個人の「特徴ベクトル」とを照合し、類似度を求め、類似度が最も高い人物を認証した人物とする（S１-６）。
【００２８】
「照合」は、上記二つの「特徴ベクトル」の各要素の差分値に対して予め第１の閾値を設けておき、第１の閾値に対する差分値の大小に応じてそれぞれ重み（類似度）を与え、重みの合計値を求める。この求めた合計値に対してさらに第２の閾値を与え、合計値が第２の閾値を上回りかつ関連情報データベース５に格納された関連情報で合計値が最大のものを照合結果とする。なお、合計値が閾値を上回らなかった場合には、利用者は、手動で、アドレスを選択しなければならない。
【００２９】
次に、顔画像データが特定された場合には、メールアドレス設定手段７により、照合した顔画像データに対応する登録ＩＤ５１を携帯電話機のメモリ（図示せず）に格納する（Ｓ１-７）。なお、入力画像に複数の被撮影者がいる場合には、各々の被撮影者に照合した顔画像データに対応する登録ＩＤ５１をそれぞれメモリに格納する。
【００３０】
次に、メールアドレス設定手段７は、この登録ＩＤ５１に対応したメールアドレスを関連情報データベース５から取得し、メール作成画面におけるアドレス欄に上記取得したメールアドレスを挿入する（ステップS1-８）。なお、上記ステップS1-６において、複数のメールアドレスを取得した場合には、それぞれのメールアドレスをアドレス欄に挿入する。
【００３１】
次に、画像添付手段８は、携帯電話に予め設定されている電子メール添付欄に上記入力画像を添付する（Ｓ１−９）。次に、定型文挿入手段７は、例えば、メール作成画面の本文欄に、登録ＩＤ５１に基づいて関連情報データベース５から氏名５２を獲得し、下記の通り定型文を挿入する（S1-１０）。関連情報ベース３で登録ＩＤ５１と氏名５２が対応するように格納されているので、例えば、登録ＩＤ５１に対応する「田中  一郎」、「山本  次郎」の苗字をとって、「田中さん、山本さんへ、写真を送付します。」がある。そして、メール送信手段５でメールを送信する（S1-1１）。
【００３２】
図６は、本発明にかかる画像配信装置の画面遷移を示した図である。ここでは画面遷移の観点から説明する。利用者は携帯電話のカメラで集合写真を撮影する（単独撮影でも構わない）（S-６1）。次に、利用者は当該集合写真をメモリに保存したいと判断した場合には保存ボタンを選択することにより上記集合写真の画像を保存する（S-６2）。次に、利用者は当該写真を被撮影者に配信したいと判断した場合には、機能ボタンを選択することによりアドレス欄、本文欄にそれぞれアドレスおよび定型文が挿入される（S-６3）。次に利用者は、送信ボタンを選択することにより画像が添付されたメールが配信される（S-６4）。
【００３３】
以上のように、入力画像から顔画像領域を検出し、被撮影者に対して自動的に電子メールを設定することにより、利用者は画像の配信が容易になる。
【００３４】
なお、この実施の形態では、メールアドレスを取得した後、（１）メールアドレスの挿入（２）定型文の挿入（３）画像の添付、という順序で行われるものとして説明した。しかし、本願発明はこの順番に限定されるものではない。すなわち、（２）、（３）、（１）の順番であっても良いし、（３）、（１）、（２）の順番であっても良い。
【００３５】
また、この実施の形態では、本願発明はカメラ付き携帯電話に使用されるものとして説明した。しかし、本願発明はこれに限定されるものではない。すなわち、カメラ付き携帯電話に限らず、カメラ付きＰＤＡ、他のカメラで撮影した画像について記録媒体を介して画像取り込み、当該画像をＰＣ等を利用して配信する場合、ネットワークを介して画像配信装置１に画像を取り込みＰＣ等を利用して配信する場合もがある。
【００３６】
なお、第１の特徴ベクトル検出手段では、１０万あるRectangle Featureのうち、８千のRectangle Featureを使用するのに対して、第２の特徴ベクトル検出手段では、１０万あるRectangle Featureのうち、３００のRectangle Featureを使用するとして説明した。しかし本願発明はそれに限定されるわけではない。すなわち、顔画像検出の精度、照合する場合の精度、照合時間、関連情報データ-ベースに登録される登録量により、目的に応じて、使用するRectangle Featureは異なる。
【図面の簡単な説明】
【００３７】
【図１】は、実施の形態１における画像配信装置１の構成を示す図である。
【図２】は、顔画像検出手段４の構成を示す図である。
【図３】は、関係情報データベース５の構成を示す図である。
【図４】は、顔画像照合手段６の構成を示す図である。
【図５】は、実施の形態１における画像配信装置の動作を示すフローチャートである。
【図６】は、実施の形態１における画像配信装置の画面遷移を示した図である。
【図７】は、第１の特徴ベクトル抽出手段における探索ブロック４３を説明するための図である。
【図８】は、Rectangle Featureの基本形を示す図である。
【符号の説明】
【００３８】
１    画像配信装置
２    画像入力手段
３    顔画像データベース
４    顔画像検出手段
５    関連情報データベース
６    顔画像照合手段
７    メールアドレス設定手段
８    画像添付手段
９    定型文データベース
１０  定型文挿入手段
４１  第１の特徴ベクトル抽出手段
４２  顔画像判定手段
４３  探索ブロック
５１  登録ＩＤ
５２  氏名
５３  メールアドレス
５４  特徴ベクトル
６１  第２の特徴ベクトル抽出手段
６２  顔画像比較手段
【図１】
2006178558.tif 000003
【図２】
2006178558.tif 000004
【図３】
2006178558.tif 000005
【図４】
2006178558.tif 000006
【図５】
2006178558.tif 000007
【図６】
2006178558.tif 000008
【図７】
2006178558.tif 000009
【図８】
2006178558.tif 000010