(57)【要約】【課題】原画像から人物画像の抽出が正確に行われない場合でも、その抽出した人物画像と背景画像とを合成した画像を自然な合成画像にする。【解決手段】原画像（図２（Ａ））から人物画像を抽出し（図２（Ｂ））、この抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する（図２（Ｃ））。一方、原画像から人物と背景との境界線を検出し、この検出した境界線が人物の正規の輪郭か否かを境界線の各部分ごとに判断する。そして、前記合成した合成画像における人物と背景との境界線に対し、人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理（修正画像の上書き処理）を行う（図２（Ｄ））。【選択図】          図２
2004246635.tif 000002
【特許請求の範囲】
【請求項１】
人物と背景とを含む原画像から人物画像を抽出する工程と、前記抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する工程と、
前記原画像から人物と背景との境界線を検出する工程と、
前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する工程と、
前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う工程と、
を含むことを特徴とする人物画像処理方法。
【請求項２】
前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理である請求項１の人物画像処理方法。
【請求項３】
前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理である請求項１又は２の人物画像処理方法。
【請求項４】
人物と背景とを含む原画像から人物画像を抽出する人物画像抽出手段と、
人物画像の背景となる背景画像を記憶する背景画像記録手段と、
前記抽出した人物画像と前記背景画像記録手段から読み出した背景画像とを合成して合成画像を作成する画像合成手段と、
前記原画像から人物と背景との境界線を検出する境界線検出手段と、
前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する判断手段と、
前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う画像修正手段と、
を備えたことを特徴とする人物画像処理装置。
【請求項５】
前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理である請求項４の人物画像処理装置。
【請求項６】
前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理である請求項４又は５の人物画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は人物画像処理方法及び装置に係り、特に原画像から人物画像を抽出し、この抽出した人物画像と予め準備された背景画像とを合成する技術に関する。
【０００２】
【従来の技術】
従来、原画像から人物画像を抽出する場合には、青色スクリーンを背景（ブルーバック）にして人物を撮影して原画像を取得し、色（クロマ）の違いを利用して、原画像から人物画像を抽出して別の画像に嵌め込む手法（クロマキー）が知られている。
【０００３】
また、特許文献１には、撮像画像をマトリクス状の複数のブロックに分割し、各ブロックごとにフレーム間の動きの大きさに応じて、動きの小さい背景ブロックと、動きの大きな対象ブロック（人物画像を含むブロック）とに選別する技術が開示されている。
【０００４】
【特許文献１】
特開平１０−１３７９９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、ブルーバックのような単純な背景で撮影された原画像の場合には、人物画像を抽出しやすいが、複雑な背景で撮影された原画像からは人物画像を良好に抽出することができないという問題がある。
【０００６】
一方、引用文献１に記載の人物画像と背景画像との選別方法は、撮像画像の各ブロックごとのフレーム間の動きの大きさを利用しているため、静止画又は人物が動かない場合には、人物画像（人物を含むブロック）と背景画像との選別ができないという問題がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、原画像から人物画像の抽出が正確に行われない場合でも、その抽出した人物画像と背景画像とを合成した画像を自然な画像にすることができる人物画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために請求項１に係る人物画像処理方法は、人物と背景とを含む原画像から人物画像を抽出する工程と、前記抽出した人物画像と予め準備された背景画像とを合成して合成画像を作成する工程と、前記原画像から人物と背景との境界線を検出する工程と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する工程と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う工程と、を含むことを特徴としている。
【０００９】
原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線の全てが不正確であるわけではなく、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを含んでいる。請求項１に係る発明では、抽出した人物画像と背景画像とを合成する際に、確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行い、これにより自然な合成画像が得られるようにしている。
【００１０】
請求項２に示すように、請求項１の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１１】
請求項３に示すように、請求項１又は２の人物画像処理方法において、前記修正処理は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１２】
請求項４に係る人物画像処理装置は、人物と背景とを含む原画像から人物画像を抽出する人物画像抽出手段と、人物画像の背景となる背景画像を記憶する背景画像記録手段と、前記抽出した人物画像と前記背景画像記録手段から読み出した背景画像とを合成して合成画像を作成する画像合成手段と、前記原画像から人物と背景との境界線を検出する境界線検出手段と、前記検出した境界線が人物の正規の輪郭か否かを前記境界線の各部分ごとに判断する判断手段と、前記作成した合成画像における人物と背景との境界線に対し、前記人物の正規の輪郭でないと判断された境界線部分を隠すための修正処理を行う画像修正手段と、を備えたことを特徴としている。
【００１３】
請求項５に示すように、請求項４の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分に他の画像を上書きする画像処理であることを特徴としている。
【００１４】
請求項６に示すように、請求項４又は５の人物画像処理装置において、前記画像修正手段は、前記人物の正規の輪郭でないと判断された境界線部分が合成画像の枠外となるように前記人物画像をシフトする画像処理であることを特徴としている。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る人物画像処理方法及び装置の好ましい実施の形態について詳説する。
【００１６】
図１は本発明に係る人物画像処理装置の要部を示す機能ブロック図である。
【００１７】
同図に示すように、この人物画像処理装置１０は、例えば、パーソナルコンピュータ等によって構成することができ、画像データ入力部１２と、人物画像抽出部１４と、合成処理部１６と、背景画像記憶部１８と、修正処理部２０と、修正画像記憶部２２と、画像データ出力部２４とから構成されている。
【００１８】
デジタルスチルカメラ（以下ＤＳＣと記載）等により撮影された原画像データは、画像データ入力部１２を介して画像処理装置１０に入力される。尚、この原画像データは、図２（Ａ）に示すように人物を任意の背景のもとで撮影して得られた人物画像データである。画像データ入力部１２には、ＤＳＣメディアのメディアインターフェイスの他にＵＳＢインターフェイス、赤外線通信（ＩｒＤＡ）インターフェイス、イーサネットインターフェイスおよび無線通信インターフェイスを用いてもよく、何れのインターフェイスを適用するかは、原画像データが記録されている媒体や原画像データの記録形式により、ユーザによって適宜選択される。
【００１９】
画像処理装置１０に入力された原画像データは、人物領域抽出部１４に加えられ、ここで人物領域が背景領域から区別して抽出される（図２（Ｂ）参照）。
【００２０】
原画像からの人物領域の抽出方法としては、例えば、原画像内の目、鼻、口等の顔パーツを抽出するために特徴抽出処理を行う。特徴抽出処理では、ウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理を行い、顔パーツを抽出する。
【００２１】
顔パーツが抽出された位置を顔と判定し、色、テクスチャによる分割処理が施される。これは、似た色やテクスチャの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域を抽出する。また、目の位置および人物と背景の境界線の平均的な位置関係を示す人物領域辞書データと、原画像から得られた人物領域と背景領域との境界線とのマッチング処理を行い、人物領域と背景領域との境界線を求める。
【００２２】
また、原画像内の高周波成分から人物と背景の境界線を抽出するフィルタ処理を施し、原画像から人物領域を抽出する方法や、原画像内の肌色を抽出し、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し、同様にして顔領域の上部の髪領域、顔の下部の首及び胸部領域等を抽出することで、人物領域を抽出する方法等がある。尚、原画像から人物領域を抽出する方法は、種々の方法が考えられ、上記の方法に限定されない。
【００２３】
人物領域抽出部１４によって抽出された人物領域の画像データ（人物画像データ）は、合成処理部１６に出力される。合成処理部１６は、人物領域抽出部１４から入力する人物画像データと、背景画像記憶部１８から読み出した背景画像データとを合成し、その合成した合成画像データを修正処理部２０に出力する。
【００２４】
図２（Ｃ）は人物画像を背景画像に合成した合成画像を示している。尚、背景画像は、予め背景画像記憶部１８に記憶されている複数の背景画像から人物画像と合成する所望の背景画像を選択してもよいし、人物画像と合成する背景画像を別途入力するようにしてもよく、背景画像の取得方法はこの実施の形態に限定されない。
【００２５】
修正処理部２０は、まず、人物領域抽出部１４での人物領域の抽出に使用した人物領域と背景領域との境界線、又は抽出された人物領域の外周から検出された境界線から、人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを判別する。
【００２６】
図３は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示している。
【００２７】
確信度の低い境界線部分は、例えば、境界線上の座標点間の長さが、境界線の凹凸によって部分的に規定値よりも長くなっている部分や、多数の人物の輪郭から収集した基準の輪郭線（頭、首、肩等を含む人物の基準の輪郭線）に所定のマージンを加えた範囲から外れている境界線部分、あるいは境界線の各部分毎の形状が基準の輪郭線の形状から大きく外れている境界線部分などが該当する。
【００２８】
尚、人物が単一色で均一の濃度のスクリーン等を背景に撮影されている場合には、原画像から検出された人物と背景との境界線は、ほとんど人物の正規の輪郭と一致するが、複雑な模様や色などの背景のもとで撮影されている場合には、原画像から人物と背景との境界線を正確に検出することができず、人物と背景との境界線は、人物の正規の輪郭と一致しない部分が発生する。
【００２９】
前記修正処理部２０は、上記のようにして人物の輪郭として確信度の低い境界線部分を検出すると、その境界線部分を隠す画像処理を行う。即ち、修正処理部２０は、修正画像記憶部２２から適宜の修正画像を読み出し、この修正画像を確信度の低い境界線部分上に上書きする。
【００３０】
図２（Ｄ）は前記修正処理部２０によって修正画像を確信度の低い境界線部分上に上書きした修正後の合成画像を示している。図２（Ｄ）に示した実施の形態では、修正画像として葉の画像を使用しているが、背景画像と違和感のない適宜の修正画像を、修正画像記憶部２２から選択することが好ましい。また、確信度の低い境界線部分が、頭頂部にある場合には、帽子を修正画像としたり、肩にある場合には肩掛けを修正画像として上書き処理してもよい。
【００３１】
修正処理部２０によって修正された合成画像データは、画像データ出力部２４を介して背景が合成された画像データとして出力される。出力形態には、モニタ装置やプリンタに画像を出力する形態、ＰＣカードやＣＤ−ＲＯＭ等の外部記録媒体及び画像処理装置１０の内蔵ハードディスクにファイル形式で記録する形態がある。また、通信手段を介して他の装置に転送する形態も考えられる。接続形態は有線、無線を問わない。
【００３２】
図４は前記修正処理部２０による修正処理の他の実施の形態を示す図である。
【００３３】
図４（Ａ）は人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と、確信度の低い境界線部分とを示す図であり、丸印で示した境界線部分は確信度が低いと判別された部分を示しており、同図に示すように境界線のうちの左側部分Ａに確信度の低い境界線部分が集中している。
【００３４】
前記修正処理部２０は、図４（Ａ）に示すように人物領域と背景領域との境界線のうちの一部のみに確信度の低い境界線部分が集中している場合には、図４（Ｂ）に示すように確信度の低い境界線部分（左側部分Ａ）が合成画像の枠外となるように人物画像をシフトする。
【００３５】
尚、修正処理部２０は、図２（Ｄ）に示した修正画像による上書き処理と、図４（Ｂ）に示した人物画像のシフトとを組み合わせた修正処理を行うようにしてもよい。
【００３６】
上述した画像処理装置１０は、パーソナルコンピュータで実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【００３７】
図５は本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図である。
【００３８】
図５において、３０はインターネット等のネットワーク４０に接続可能なカメラ付き携帯電話であり、５０はネットワーク４０に接続可能な利用者のコンピュータ（ＰＣ）である。尚、このＰＣ５０は、ＵＳＢ等のインターフェースを介してＤＳＣ５２が接続され、ＤＳＣ５２から画像を取り込むことができるようになっている。
【００３９】
また、ネットワーク４０には、前述した人物画像処理装置１０での画像加工と同様な画像処理を行うサービスサーバ６０や、サービスサーバ６０で処理された合成画像をプリント出力するプリントサーバ７０等が接続されている。
【００４０】
カメラ付き携帯電話３０やＰＣ５０にて、サービスサーバ６０が提供する背景画像の合成処理サービスを利用する場合には、サービスサーバ６０のホームページにアクセスし、背景画像の合成処理を依頼する画像をサービスサーバ６０にアップロードする。また、サービスサーバ６０は、背景画像の一覧等を利用者に提示し、利用者に背景画像を選択させることができる。
【００４１】
サービスサーバ６０は、図１に示した人物画像処理装置１０と同様な機能と、通信機能を有するサーバコンピュータ６２と、利用者からアップロードされた画像を保管したり、ユーザＩＤ、メールアドレス等のユーザ情報を管理する大容量記録装置（ストレージ）６４とから構成されている。このサービスサーバ６０は、利用者からアップロードされた原画像に対する背景画像の合成処理の依頼を受け付けると、原画像から人物画像を抽出し、この人物画像と予め選択された背景画像との合成処理を行い、更に人物領域と背景領域との境界線のうちの人物の輪郭として確信度の低い境界線部分を修正処理する。そして、このようにして作成した背景画像が合成された画像を、メールに添付して利用者のカメラ付き携帯電話３０やＰＣ５０に配信し、又は画像ダウンロード用ＵＲＬを添付したメールを配信する。
【００４２】
また、サービスサーバ６０は、利用者から合成画像のプリント注文を受け付けた場合には、上記合成画像をプリントサーバ７０に転送する。プリントサーバ７０は、サーバコンピュータ７２と、プリント装置７４とを備えており、サービスサーバ６０から受信した合成画像に基づいてプリント装置７４により背景が合成された合成画像をプリント出力する。尚、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送される。
【００４３】
【発明の効果】
以上説明したように本発明によれば、原画像から抽出した人物画像と適宜の背景画像とを合成する際に、原画像が複雑な背景画像を含んでいて原画像から人物画像の抽出が正確に行われない場合（即ち、原画像から検出される人物と背景との境界線が人物の正規の輪郭と一致しない場合）でも、その境界線としての確信度の低い境界線部分に関しては、その境界線部分を隠す画像処理を行うようにしたため、自然な合成画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る人物画像処理装置の要部を示す機能ブロック図
【図２】本発明に係る人物画像処理方法の実施の形態を説明するために用いた図
【図３】原画像の人物領域と背景領域との境界線のうちの人物の輪郭として確信度の高い境界線部分と確信度の低い境界線部分とを示す図
【図４】本発明に係る人物画像処理方法における修正処理の他の実施の形態を示す図
【図５】本発明に係る人物画像処理方法が適用されたネットワークシステムの構成図
【符号の説明】
１０…人物画像処理装置、１２…画像データ入力部、１４…人物領域抽出部、１６…合成処理部、１８…背景画像記憶部、２０…修正処理部、２２…修正画像記憶部、２４…画像データ出力部、３０…カメラ付き携帯電話、４０…ネットワーク、５０…パーソナルコンピュータ、５２…デジタルカメラ、６０…サービスサーバ、７０…プリントサーバ
【図１】
2004246635.tif 000003
【図２】
2004246635.tif 000004
【図３】
2004246635.tif 000005
【図４】
2004246635.tif 000006
【図５】
2004246635.tif 000007