(57)【要約】【課題】人物の正面からカメラで撮影された人物の写真画像を加工し、人物を斜めに向かせることにより、見栄えのよい人物写真画像を得る。【解決手段】人物の正面から撮影された人物写真のデジタル画像（１）を利用し、人物写真の人物の向きを変える人物写真画像の加工方法であって、人物写真のデジタル画像（１）から人物の画像領域（２）を切り出して人物の画像領域（２）と人物の背景画像（３）と分離する過程、分離した人物の画像領域（２）を回転体モデル（４）に貼り付ける過程、回転体モデル（４）を指定の回転角分だけ回転させる過程、回転によって向きが変わった回転体モデル（４）での人物の画像領域（２）を分離した前記背景画像（３）に貼り付けて、人物写真のデジタル画像（１）を再構成することによって、人物写真の人物の向きを変える。【選択図】図６
2007272318.tif 000002
【特許請求の範囲】
【請求項１】
人物の正面から撮影された人物写真のデジタル画像（１）において、人物写真のデジタル画像（１）から人物の画像領域（２）を切り出して人物の画像領域（２）と人物の背景画像（３）とを分離する過程、分離した人物の画像領域（２）を回転体モデル（４）に貼り付ける過程、回転体モデル（４）を指定の回転角分だけ回転させる過程、回転によって向きが変わった回転体モデル（４）での人物の画像領域（２）を前記の過程で分離した背景画像（３）に貼り付けて、人物写真のデジタル画像（１）を再構成する過程によって、人物写真の人物の向きを変えることを特徴とする人物写真画像の加工方法。
【請求項２】
回転体モデル（４）を人物の上半身の大きさに対応した大きさとし、切り出された人物の上半身の領域の中心線を軸に回転させてできた立体を回転体モデル（４）として用いることを特徴とする請求項１記載の人物写真画像の加工法。
【請求項３】
人物の画像領域（２）を切り出した後の背景画像（３）内において、人物の画像領域（２）のあった領域を背景画像（３）の部分画像を用いて埋めることを特徴とする請求項１記載の人物写真画像の加工方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ付き携帯電話やデジタルカメラなどにより人物の正面から撮影された人物写真のデジタル画像、普通のカメラ（フイルムカメラ）などにより人物の正面から撮影された人物の写真をスキャナーなどの手段によりデジタル化した人物写真のデジタル画像に加工を施し、見栄えの良い人物写真画像を得るための加工方法に関する。
【背景技術】
【０００２】
従来から被写体画像の濃淡のコントラストを変化させたり、色調を変化させたりすることにより、見栄えのよい人物写真画像を得る加工方法が知られている。また、特許文献１にあるように、被写体画像を平面内で変形させて、がっちりした体格や、ぽっちゃりした体格にする写真加工方法も知られている。さらに、画像処理によって顔の表情や動きを変化させる技法も知られている。
【０００３】
一方、人物の写真を撮影する際に、人物は、その正面からではなく、斜めから撮影すると見た目の印象がよくなる。特に、女性の顔は、斜め左側から撮影すると、一番綺麗に見えるとされている。しかし、人間は、カメラを向けられると、無意識のうちに、カメラに対して真正面から構える傾向がある。このため、人物の写真画像は、多くの場合に正面画像となり、見た目の印象がよくない。
【０００４】
このことから、真正面を向いて撮影された写真画像内の人物を斜めに向かせる画像処理が有効となるが、そのためには画像処理の過程において、人物について向き変換機能が必要となる。この向き変換機能は、被写体画像の濃淡のコントラストを変化させたり、色調を変化させたりするだけでは実現できないことは明らかであり、また、被写体画像を平面内で変形させて、がっちりした体格や、ぽっちゃりした体格にする写真加工方法でも実現できず、さらに顔の表情や顔の要部の動きを変化させる技法でも実現できない。
【特許文献１】特開２０００−２６７１５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の課題は、人物の正面からカメラで撮影された人物の写真画像を加工し、人物を斜めに向かせることにより、見栄えのよい人物写真画像を得ることである。
【課題を解決するための手段】
【０００６】
上記の課題の下に、本発明は、人物の正面から撮影された人物写真のデジタル画像において、人物写真のデジタル画像から人物の画像領域を切り出して人物の画像領域と人物の背景画像とを分離する過程、分離した人物の画像領域を回転体モデルに貼り付ける過程、回転体モデルを指定の回転角分だけ回転させる過程、回転によって向きが変わった回転体モデルでの人物の画像領域を前記の過程で分離した背景画像に貼り付けて、人物写真のデジタル画像を再構成する過程によって、人物写真の人物の向きを変え、見栄えのよい人物写真画像を得るようにしている（請求項１）。
【０００７】
そして、本発明は、回転体モデルを人物の上半身の大きさに対応した大きさとし、切り出された人物の上半身の領域の中心線を軸に回転させてできた立体を回転体モデルとして用いるようにしている（請求項２）。また、本発明は、人物の画像領域を切り出した後の背景画像内において、人物の画像領域のあった領域を背景画像の部分画像を用いて埋めるようにしている（請求項３）。
【発明の効果】
【０００８】
本発明では、人物の正面から撮影された人物写真のデジタル画像から人物の画像領域を切り出し、その人物の画像領域を回転体モデルに貼り付け、回転体モデルを指定の回転角分だけ回転させ、回転によって向きが変わった回転体モデルでの人物の画像領域を分離した背景画像に貼り付けて、人物写真のデジタル画像を再構成する。このため、人物の正面から撮影された人物写真（顔写真）をもとにして、見栄えのよい方向からの人物写真（顔写真）が画像処理の操作により得られるため、再度撮影しなくても、見栄えのよい人物写真（顔写真）を作成することができる（請求項１）。
【０００９】
人物の上半身の大きさに対応した大きさで、人物の上半身の領域の中心線を軸に回転させてできた回転体を回転体モデルを用いるから、人物の上半身と回転体モデルと合成の整合性がよく、また回転体モデルの回転により得られる指定の回転角の人物の上半身、特に顔が不自然なものとならず、有利である（請求項２）。
【００１０】
また、人物の画像領域を切り出した後の背景画像内において、人物の画像領域のあった領域を背景画像の部分画像を用いて埋めるから、再構成画像において、人物の輪郭部分に自然な背景画像が得られる（請求項３）。
【発明を実施するための最良の形態】
【００１１】
図１は、人物の正面から撮影された人物写真のデジタル画像１において、人物写真のデジタル画像１から人物の画像領域２を切り出し、人物の画像領域２とその背景画像３と分離する過程を示している。人物写真のデジタル画像１は、カメラ付き携帯電話やデジタルカメラなどにより人物の正面からその上半身を撮影するか、または普通のカメラ（フイルムカメラ）などにより人物の正面から撮影された人物の写真をスキャナーなどの手段により写真の必要な部分をデジタル化することによって得られる。
【００１２】
まず最初に、図１に示すように、領域分割の手法を利用し、人物の画像領域２の特徴と背景画像３の領域の特徴とを識別して、人物写真のデジタル画像１から人物の画像領域２を切り出して抽出し、人物の画像領域２とその背景画像３とを分離する。なお、背景画像３が人物と同色系で無地であれば、人物の画像領域２は、人物画像のエッジ検出などの画像処理手法によって、 容易に抽出できる。この分離した人物の画像領域２は、回転体モデル４に貼り付けられる。
【００１３】
つぎに、図２は、分離した人物の画像領域２を貼り付けるための回転体モデル４の生成過程を示している。回転体モデル４は、人物の上半身の大きさに対応した大きさで、人物の上半身の領域の中心線（正中線）を軸に回転させてできた立体を用いるが、そのために図２のように、人物の画像領域２をｘｙ直交座標に置き、人物の画像領域２のｙ方向の各高さ毎の幅Ｄ（ｙ）に等しい直径を持ち、ｙ軸に平行な回転軸を中心とする回転体として生成する。人物写真のデジタル画像１は、正面顔のものであるから、基本的には左右対称である。このため、回転体モデル４は、人物の画像領域２のｘ方向の位置でｙ軸に平行な中心線を回転軸として生成される。このようにして、回転体モデル４の外形は、人物の画像領域２の平行投影の輪郭と一致する。なお、通常、回転体モデル４は無色透明とする。
【００１４】
続いて図３は、回転体モデル４、人物の画像領域２、カメラ５の位置関係を示している。人物写真のデジタル画像１から分離した人物の画像領域２は、回転体モデル４に貼り付けられるが、そのために、図３のように、カメラ５の光軸６上の回転体モデル４とカメラ５との間に人物の画像領域２を配置する。カメラ５の光軸６は、回転体モデル４の中心軸に垂直である。また、 便宜上、カメラ５は、回転体モデル４や、人物の画像領域２に対して無限遠にあるものと考える。
【００１５】
図４は、人物の画像領域２を回転体モデル４に貼り付け過程を示している。この貼り付け過程は、図３の位置関係のもとで、図４のように、人物の画像領域２を回転体モデル４にピクチャーマッピングの技法、例えば平行投影マッピングの技法を利用し、画像処理により貼り付けることにより行う。
【００１６】
図５は、人物画像の再構成画像７を示す。図３の位置関係で、カメラ５からみた回転体モデル４の画像領域を、図１で分離した背景画像３に貼り付けると、人物画像の再構成画像７が得られる。この再構成画像７は、図１の人物写真のデジタル画像１とほぼ同じ画像である。
【００１７】
図６は、回転体モデル４をその回転軸の周りに指定の回転角θ分だけ回転させる過程を示している。図６のように、今度は回転体モデル４をカメラ５から見て指定の回転角θだけ回転させる。この回転によって、画像中の人物は、指定の回転角θだけ向きを変えることになる。
【００１８】
図７は、人物画像の代わりに格子模様の画像を回転体モデル４に貼り付け、回転体モデル４の指定の回転角θの回転によって得られるカメラ画像を示す。この図７から平面的な格子模様の部分画像が指定の回転角θ（０°、１０°、２０°、３０°）の回転とともに、大きく変形していく様子がわかる。このことから、回転体モデル４を指定の回転角θだけ回転させることによって、回転体モデル４に貼り付けた人物の画像領域２中の人物の向きを変えられることになる。
【００１９】
図８は、指定の回転角θの回転後の回転体モデル４の人物の画像領域２を再び背景画像３に貼り付ける過程を示している。前記のように、カメラ５から見て、指定の回転角θの回転後の回転体モデル４の人物の画像領域２を再び背景画像３に貼り付けると、人物画像の再構成画像７が得られる。ここで、図８の再構成画像７において、人物の画像領域２の右側と背景画像３との境界部分の平行な横線部分（水平なハッチング部分）は、もとの人物の画像領域２に人物画像の一部として存在していた画像領域であるが、回転体モデル４の指定の回転角θの回転により、カメラ５から見た幅が小さくなるために生じる画像データのない領域である。このように再構成画像７に画像データのない領域が存在すると、人物の再構成画像７の見栄えはよくない。このような不都合は、画像データのない領域（水平なハッチング部分）を背景画像３の部分画像を用いて埋めることによって解決できる。
【００２０】
図９は、画像データのない領域（水平なハッチング部分）を背景画像３の部分画像を用いて埋める過程を示している。前記のように、人物画像の再構成画像７中で画像データのない領域の存在は、再構成画像の見栄えを悪くする。このため、図９のように、人物の画像領域を切り出した後の背景画像３内において、人物の画像領域２のあった領域を背景画像３の部分画像を用いて埋めておくことにする。この例では、背景画像３が白くなっていることから、画像データのない領域（水平なハッチング部分）は白で埋められる。
【００２１】
図１０は、回転体モデル４の人物の画像領域２と埋められた背景画像３とによる人物画像の再構成画像７を示している。回転体モデル４の指定の回転角θの回転後の回転体モデル４の人物の画像領域２を背景画像３に貼り付ける前に、図９のように、背景画像３について人物の画像領域のあった領域を背景画像３の部分画像により埋める操作を施すことにより、図１０のように、再構成画像７は、画像データのない領域の存在しない画像となる。このようにして、図８の再構成画像の平行な横線部分（水平なハッチング部分）は、背景画像となる。
【００２２】
図１１は、指定の回転角θを０°、１０°、２０°、３０°としたときの人物画像の再構成画像７を示す。指定の回転角θ＝２０°、３０°の再構成画像７では見た目に不自然である。これは、第一の条件として、人物の画像領域２の右側が欠けているように見えること、第二の条件として、人物の向きがきつく見えるためである。
【００２３】
図１２は、上記の２つの条件を数値的に計るための説明を示す。図１２で、人物の画像領域２の中心線をＬ１、輪郭線をＬ２とする。人物の画像領域２を回転体モデル４に貼り付け、指定の回転角θの回転後にカメラ５から見える中心線をＬ３、右側の輪郭線をＬ４とする。また、輪郭線Ｌ２と中心線Ｌ３との距離をａ、中心線Ｌ３と輪郭線Ｌ４との距離をｂ、左右の輪郭線Ｌ２の間の距離をＤとする。これらの距離ａ、ｂ、Ｄは、高さによって異なるが、それらの比率は一定である。
【００２４】
まず、第一の条件、つまり人物の画像領域２の右側が欠けているように見えることであるが、この第一の条件は、パラメータＲ１＝（ａ＋ｂ）／Ｄ＝（１＋ｃｏｓθ）／２で表現できる。指定の回転角θ＝０°のとき、パラメータＲ１＝１であり、指定の回転角θ＝９０°のとき、パラメータＲ１＝０．５となる。パラメータＲ１が０．９９〜０．９８より小さいと、欠けた様に見えることが事前の実験でわかっている。
【００２５】
つぎに、第二の条件、つまり向きがきつく見えることであるが、この第二の条件は、パラメータＲ２＝ａ／（ａ＋ｂ）＝（１−ｓｉｎθ）／（１＋ｃｏｓθ）で表現できる。指定の回転角θ＝０°のとき、パラメータＲ２＝０．５であり、指定角度θ＝９０°のとき、パラメータＲ２＝０となる。パラメータＲ２が０．４程度で、見栄えが良く横を向いているように見えることが事前の実験でわかっている。
【００２６】
表１は、指定の回転角θとパラメータＲ１、Ｒ２との関係を示す。指定角度θ＝１０°〜１５°を超すと、人物画像が欠けたように見え、また向きがきつく見えることが数値的にもわかる。このため、指定の回転角θ＝１０°〜１５°の回転角度の場合に、最も見栄えの良い再構成画像が得られる。
【００２７】
【表１】
2007272318.tif 000003
【産業上の利用可能性】
【００２８】
本発明の人物写真画像の加工方法は、すべての人物の顔写真に応用できるから、人物の正面の写真があれば、向きをかえた顔写真を作成して、新聞広告やインターネット画面上に表示できる。なお、人物の画像領域２を回転体モデル４に貼り付けるピクチャーマッピングの技法は、平行投影マッピングに限らず、回転体モデル４の特徴的な面毎にラップマッピングなどを利用し、画像データのない部分を無くして、背景画像３を埋めないまま人物画像の再構成画像７を合成することもできる。
【図面の簡単な説明】
【００２９】
【図１】人物写真のデジタル画像１から人物の画像領域２を切り出す過程の説明図である。
【図２】回転体モデル４の生成過程の説明図である。
【図３】人物の画像領域２、回転体モデル４、およびカメラ５の位置関係の説明図である。
【図４】人物の画像領域２を回転体モデル４に貼り付ける過程の説明図である。
【図５】回転体モデル４の人物の画像領域２をもとの背景画面３に貼り付ける過程の説明図である。
【図６】回転体モデル４を指定の回転角θだけ回転させる過程の説明図である。
【図７】格子画像を貼り付けた回転体モデルの指定の回転角θの回転で得られるカメラ画像の説明図である。
【図８】指定の回転角θの回転後の回転体モデル４の人物の画像領域２を再び背景画像３に貼り付ける過程の説明図である。
【図９】人物の画像領域２のあった領域を背景画像３の部分画像を用いて埋める過程の説明図である。
【図１０】指定の回転角θの回転後の回転体モデル４の人物の画像領域２を背景画像３の部分画像で埋められた背景画像３に貼り付ける過程の説明図である。
【図１１】指定の回転角θ毎の再構成画像７の説明図である。
【図１２】指定の回転角θの回転後の人物画像の輪郭曲線および中心線の説明図である。
【符号の説明】
【００３０】
１  人物写真のデジタル画像
２  人物の画像領域
３  背景画像
４  回転体モデル４
５  カメラ
６  光軸
７  再構成画像
Ｄ（ｙ）  幅
θ  指定の回転角
Ｌ１、Ｌ３  中心線
Ｌ２、Ｌ４  輪郭線
ａ、ｂ、Ｄ  距離
Ｒ１、Ｒ２  パラメータ
【図１】
2007272318.tif 000004
【図２】
2007272318.tif 000005
【図３】
2007272318.tif 000006
【図４】
2007272318.tif 000007
【図５】
2007272318.tif 000008
【図６】
2007272318.tif 000009
【図７】
2007272318.tif 000010
【図８】
2007272318.tif 000011
【図９】
2007272318.tif 000012
【図１０】
2007272318.tif 000013
【図１１】
2007272318.tif 000014
【図１２】
2007272318.tif 000015