(57)【要約】【課題】テンプレートの背景色との統一感が得られるように静止画の色変換を行う際に人物の画像が不自然な色になることを防止する。【解決手段】  記憶媒体から静止画の画像データが読み取られると、テンプレートの背景色がユーザーにより指定される。指定された背景色と各静止画の色が比較され、色変換量が算出される。各静止画から人物の被写体が検出され、人物の肌色領域が特定される。人物の肌色領域は色変換が禁止され、肌色領域を除外した非肌色領域に色変換に基づいた色変換処理が行われる。色変換がなされた静止画はテンプレートに合成され、アルバム画像が作成される。【選択図】        図５
2006350621.tif 000002
【特許請求の範囲】
【請求項１】
画像データからなる静止画の色調を変換する画像処理装置において、
前記静止画から人物の被写体を検出し、検出された人物の肌色領域を抽出する肌色領域抽出手段と、
前記静止画から前記肌色領域を除外した領域を色調の変換される対象となる色変換領域として決定する色変換領域決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記静止画を嵌め込むためのレイアウト領域と、レイアウト領域の外部の背景領域とが設定されたテンプレート画像を使用して、前記静止画をテンプレート画像に合成した合成画像を作成する画像合成手段と、
前記背景領域の色が指定された際、前記静止画の色と前記背景領域の色とを比較した結果に基づいて色変換量を算出する色変換量算出手段とを備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像データからなる静止画の色調を変換する処理を実行するための画像処理プログラムにおいて、
前記静止画から人物の被写体を検出し、検出された人物の肌色領域を抽出する肌色領域抽出手段と、
前記静止画から前記肌色領域を除外した領域を色調の変換される対象となる色変換領域として決定する色変換領域決定手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の色情報に基づいて好適な画像編集を行うための画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサを備えたデジタルスチルカメラを用いて撮影された被写体の静止画は、デジタル画像データとしてメモリカード等の記憶媒体に記憶される。撮影画像を観賞する際には、例えば、デジタルスチルカメラを家庭用テレビに接続すると、撮影画像をテレビ画面上に表示することができる。また、メモリカードに記憶された画像データをパーソナルコンピュータに転送し、パーソナルコンピュータのモニタに撮影画像を表示することができる。複数の撮影画像を観賞する際には、指定された撮影画像を所定の順番で表示するスライドショー機能を用いると便利である。スライドショー機能は、デジタルスチルカメラやパーソナルコンピュータの画像再生機能の一部として組み込まれ、複数の画像を一定時間、例えば５秒ごとに切り換えて表示する（例えば、特許文献１参照）。
【０００３】
スライドショーには、撮影画像を１枚ずつ順番に表示するシンプルなものと、装飾用のテンプレート画像に撮影画像を合成したアルバム画像として表示するもの等がある。テンプレート画像には、撮影画像が嵌め込まれるレイアウト領域が設定され、レイアウト領域の外部に装飾用の背景領域が設定されている。１つのテンプレート画像には、例えば、２コマ〜４コマの撮影画像を合成することができ、各レイアウト領域に嵌め込まれた撮影画像がアルバム画像として画面上に出力される（例えば、特許文献２等参照）。
【０００４】
アルバム画像を作成する際、テンプレート画像に対して撮影順などの順番で撮影画像を割り当てると、被写体の種類等が異なる画像が混在することによって、撮影テーマや色調に統一感がなくなり、見映えの悪いアルバム画像になることがある。このため、結婚式や入学式等の重要な記念写真を使用したアルバム画像は、１つのテンプレート画像に嵌め込む画像を選び出し、テンプレートの色に合わせて撮影画像の色調変換等を行うことで、テンプレートと撮影画像の色彩のバランスを調える編集作業が行われる。
【特許文献１】特開２００５−０３９３５９号公報
【特許文献２】特許第２９８２１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、被写体として人物が写る撮影画像の色調を変換してしまうと、例えば、顔や腕などの皮膚の色が不自然に変換されてしまい、アルバム画像の見映えを悪くするという問題がある。
【０００６】
本発明は、上記問題点を考慮してなされたものであり、テンプレートの色に合わせた色調変換を行う際にアルバム画像の見映えの劣化を防止する画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、画像データからなる静止画の色調を変換するものであって、前記静止画から人物の被写体を検出し、検出された人物の肌色領域を抽出する肌色領域抽出手段と、前記静止画から前記肌色領域を除外した領域を色調の変換される対象となる色変換領域として決定する色変換領域決定手段とを有することを特徴とし、人物の被写体の色調が変化することを禁止するものである。
【０００８】
また、静止画を嵌め込むためのレイアウト領域と、レイアウト領域の外部の背景領域とが設定されたテンプレート画像を使用して、静止画をテンプレート画像に合成した合成画像を作成する画像合成手段と、前記背景領域の色が指定された際、前記静止画の色と前記背景領域の色とを比較した結果に基づいて色変換量を算出する色変換量算出手段とを備えたことを特徴とし、静止画の色をテンプレート画像の色に近づける色調変換を行う。
【０００９】
本発明の画像処理プログラムは、画像データからなる静止画の色調を変換する処理を実行するためのものであって、前記静止画から人物の被写体を検出し、検出された人物の肌色領域を抽出する肌色領域抽出手段と、前記静止画から前記肌色領域を除外した領域を色調の変換される対象となる色変換領域として決定する色変換領域決定手段としてコンピュータを機能させることを特徴とし、汎用コンピュータを利用して画像処理機能を実現するものである。
【発明の効果】
【００１０】
本発明によれば、色調変換を行う際に人物の被写体を検出し、人物の肌色領域を抽出するとともに、静止画の色変換を行う対象となる範囲が定められた色変換対象領域から肌色領域を除外することによって色変換対象領域を補正しているから、人物の肌色領域の色変換が行われず、人物の肌色が不自然な色に変換されることを防止できる。
【００１１】
また、静止画を嵌め込むテンプレート画像の背景色に基づいて色変換量を決定し、肌色領域以外の領域に色変換を行うから、テンプレート画像と静止画の色調に統一感を付与することができ、見映えのよいアルバム画像を作成することができる。
【発明を実施するための最良の形態】
【００１２】
図１において、本発明を適用したアルバム画像作成装置１０は、ＲＯＭ１１に記憶されたアルバム作成プログラムＰＧ１を実行することにより制御部１２として機能するＣＰＵ１３を備えている。ＣＰＵ１３には、画像データ読み取り部１４，画像表示部１５，操作パネル１６が接続されている。画像データ読み取り部１４は、メモリカードから画像データを読み取るためのコネクタ、及びＣＤ等の光ディスクから画像データを読み取るためのディスクドライブ等から構成される。画像表示部１５は、液晶ディスプレイを備え、画像データとして読み取られた静止画、この静止画を使用して作成されたアルバム画像等を表示する。操作パネル１６は、アルバム画像の作成時に必要なユーザーの入力操作を検知し、その操作信号をＣＰＵ１３に送る。
【００１３】
ＲＯＭ１１には、アルバム作成プログラムＰＧ１と、アルバム作成に使用されるテンプレートデータＴＤ１等が記憶されている。ＲＡＭ１７には、画像データ読み取り部１４から読み取られた画像データＰＤ１と、ＣＰＵ１３により作成されたアルバム画像データＡＤ１等が記憶される。ＣＰＵ１３は、アルバム作成プログラムＰＧ１を実行し、人物検出部２０と、肌色領域抽出部２１と、代表色検出部２２と、色較差演算部２３と、色変換部２４と、アルバム画像合成部２５として機能する。
【００１４】
図２において、人物検出部２０は、静止画を複数の領域に分割し、複数の分割領域Ａ１の中から人物の皮膚と推定される肌色の画素と、肌色の画素に囲まれた瞳と推定される色の画素とを含む分割領域Ａ１を選び出す。また、選び出された分割領域Ａ１に基づき、１対の瞳の位置から一人の人物についての瞳検出領域Ａ２を特定する。図３において、肌色領域抽出部２１は、瞳検出領域Ａ２から特定された瞳周辺に分布する肌色の画素を基準として顔の輪郭を抽出し、顔領域を特定する。さらに、顔の肌色に基づいて、これと近似する色の画素からなる人物の手、足等の輪郭を抽出する。これにより、人物の肌色領域が抽出される。
【００１５】
代表色検出部２２は、画像データＰＤ１の画素ごとの輝度情報及びＲ，Ｇ，Ｂの色情報に基づき、特定の階調値に属する画素数をＲ，Ｇ、Ｂの色成分ごとにカウントした度数分布、すなわち色成分ごとのヒストグラムを作成し、ヒストグラムの代表値を色成分値とする代表色を決定する。なお、ヒストグラムの代表値としては、平均値、中央値、最頻値等があり、いずれか１つが用いられる。さらに、いずれか１つの値に度数分布の標準偏差等に対応した補正パラメータを乗じた値を代表値としてもよい。
【００１６】
色較差演算部２３は、静止画の代表色と、テンプレート画像の背景色として指定された色とを比較し、代表色と背景色の違いを示す色較差を算出する。色変換部２４は、算出された色較差から色変換量を求め、この色変換量に基づいて静止画の色変換を行う。色変換量は、静止画のＲ，Ｇ，Ｂの色成分をそれぞれどの程度増減するかを決める値である。また、色変換部２４は、色変換の対象となる領域を示す色変換対象領域を決定する。色変換対象領域を決定する際、静止画中に人物が存在しない場合は、静止画全体が色変換対象領域に決定される。また、静止画中に人物が存在する場合は、静止画全体から肌色領域Ｒ３を除外した領域が色変換対象領域として決定される。
【００１７】
アルバム画像合成部２５は、テンプレート画像Ｔ１に静止画を合成し、アルバム画像を作成する。図４において、テンプレート画像Ｔ１は、静止画を配置するための複数のレイアウト領域ＬＡ１，ＬＡ２，ＬＡ３と、その外側の背景領域ＢＡ１とが予め設定されている。背景領域ＢＡ１は、各レイアウト領域に嵌め込まれた静止画の背景となる領域であり、その背景色がテンプレートの色としてユーザーにより指定される。
【００１８】
次に、アルバム画像作成装置１０の作用について説明する。図５において、画像データ読み取り部１４にメモリカード又は光ディスクをセットすると、制御部１２がこれを検知し、記憶された静止画の画像データＰＤ１を読み出す。読み出された画像データＰＤ１は、ＲＡＭ１７にコピーされる。制御部１２は、例えば、読み出された静止画のサムネイル画像を作成し、画像表示部１５の画面上に複数の静止画をサムネイル画像として一覧表示する。
【００１９】
ユーザーは、一覧表示されたサムネイル画像を参考にして、アルバム画像の作成に使用する静止画を選択する。静止画の選択が終了するか、全ての静止画を使用することが選択されると、代表色検出部２２は、各静止画のヒストグラムを作成して得られた代表値を色成分とする代表色を検出する。各静止画の代表色が検出されると、テンプレート画像Ｔ１の背景色がユーザーにより指定される。背景色を指定する際には、例えば、画像表示部１５に表示される２５６色のカラーパレットから好きな色を選ぶことが出来る。
【００２０】
図６に示すように、静止画Ｐ１から（Ｒ，Ｇ，Ｂ）＝（１２０，１６０，５０）とする代表色が検出され、静止画Ｐ２から（Ｒ，Ｇ，Ｂ）＝（７０，１１５，４５）とする代表色が検出され、静止画Ｐ３から（Ｒ，Ｇ，Ｂ）＝（９０，１７５，１００）とする代表色が検出された場合を考える。また、ユーザーが、テンプレート画像Ｔ１の背景色として、（Ｒ，Ｇ，Ｂ）＝（１２０，２５０，５０）の明るい黄緑色を選択したとする。
【００２１】
色較差演算部２３は、ユーザーにより指定された背景色と、各静止画の代表色とを比較し、色較差を求める。静止画Ｐ１の場合、色較差は（ΔＲ，ΔＧ，ΔＢ）＝（０，−９０，０）となる。静止画Ｐ２の場合、色較差は（ΔＲ，ΔＧ，ΔＢ）＝（−５０，−１３５，−５）となる。静止画Ｐ３の場合、色較差は（ΔＲ，ΔＧ，ΔＢ）＝（−３，＋２５，＋３５）となる。各静止画の色較差が求められると、これに基づいて色変換量が決まる。
【００２２】
色変換部２４は、色較差から各静止画の色変換量を決定する。色調補正値は、例えば、色較差が＋２０〜＋４０の場合が−１０階調、色較差が＋４１以上の場合が−２０階調、色較差が−２０〜−４０の場合が＋１０階調、色較差が−４１以下の場合が＋２０階調と予め決められている。いずれにしても各静止画の代表色がテンプレート画像Ｔ１の背景色に近づくように値が決められる。静止画Ｐ１に対する色変換量は、Ｇ成分の階調レベルについて＋２０階調となる。静止画Ｐ２の色調補正値は、Ｒ成分が−２０階調、Ｇ成分が−２０階調となる。静止画Ｐ３の色調補正値は、Ｇ成分が−１０階調、Ｂ成分が−１０階調となる。
【００２３】
色変換量が決まると、これに基づいて各静止画の色変換処理が行われる。色変換処理が行われる際、人物検出部２０は、静止画に写る人物を検出し、瞳検出領域Ｒ２を特定する。また、瞳検出領域Ｒ２から顔領域、手足領域からなる肌色領域Ｒ３が特定される。色変換部２４は、色変換対象領域を静止画全体から肌色領域Ｒ３を除外した領域に補正する。すなわち、色変換対象領域は肌色領域Ｒ３と異なる非肌色領域に限定され、色変換部２４は、この非肌色領域に色変換を行う。
【００２４】
全ての静止画の色変換処理が終了すると、アルバム画像合成部２５は、テンプレートデータＴＤ１をＲＡＭ１７より読み出し、色変換のなされた静止画と背景色の指定されたテンプレート画像Ｔ１を合成する。テンプレート画像Ｔ１には、レイアウト領域ＬＡ１，ＬＡ２，ＬＡ３の数，又は形状の異なるものが複数種類用意されている。アルバム画像合成部２５は、複数種類のテンプレート画像Ｔ１の中から無作為に１つのテンプレート画像Ｔ１を選択し、テンプレート画像Ｔ１に静止画を合成する。アルバム画像合成部２５は、レイアウト領域ＬＡ１，ＬＡ２，ＬＡ３の大きさ及び形状に合わせて静止画の解像度調節及びトリミングを行う。
【００２５】
画像表示部１５には、テンプレート画像Ｔ１の色と静止画の色とが調和したアルバム画像が表示される。ユーザーは、アルバム画像を確認し、これを保存するか否かを選択する。作成されたアルバム画像のデータは、ＲＡＭ１７にアルバム画像データＡＤ１として記憶される。ＲＡＭ１７に記憶されたアルバム画像データＡＤ１は、操作パネル１６の操作によって、画像表示部１５にアルバム画像として表示することができる。なお、アルバム画像作成装置１０は、アルバム画像データＡＤ１を着脱自在な記憶媒体等に複製できるようにすることが好ましく、又はパーソナルコンピュータ等に転送するためのインターフェースを設けてもよい。
【００２６】
以上のように、アルバム画像作成装置１０について説明したが、本発明は上記実施形態に限られず、適宜の変更が可能である。例えば、本発明の画像処理装置を内蔵したデジタルスチルカメラ、又はアルバム作成プログラムＰＧ１が組み込まれたパーソナルコンピュータ等を用いてアルバム画像を作成することもできる。
【００２７】
アルバム画像を作成する際には、デジタルスチルカメラにより撮影された画像以外にも、写真フイルムをスキャンして得られたカラー画像、カラー原稿をスキャンして得られた画像を使用することができる。また、本発明は、複数の静止画を１つのテンプレート画像に合成したアルバム画像を作成する目的で使用することに限られず、静止画を１枚ずつ表示するスライドショーを行う際に、静止画に色調の統一感を付与するための色変換を行うものでもよい。また、本発明は、複数の静止画をテンプレート画像に合成するアルバム画像に限らず、例えば、テンプレートが存在せず、複数の静止画を１つの画面内に配列させた合成画像からなるアルバム画像を作成するものであってもよい。また、作成されるアルバム画像は、モニタ等の画面にスライドショーとして表示することに限らず、１枚のプリント写真として出力するようにしてもよい。
【図面の簡単な説明】
【００２８】
【図１】アルバム画像作成装置の概略的な構成を示すブロック図である。
【図２】瞳検出領域を示す概念図である。
【図３】肌色領域を示す概念図である。
【図４】テンプレート画像の説明図である。
【図５】アルバム画像作成装置の処理の流れを示すフローチャートである。
【図６】静止画の色調補正を行う際の手順の流れを示す説明図である。
【符号の説明】
【００２９】
１０  アルバム画像作成装置
１２  制御部
１３  ＣＰＵ
２０  人物検出部
２１  肌色領域抽出部
２２  代表色検出部
２３  色較差演算部
２４  色変換部
２５  アルバム画像合成部
ＬＡ１，ＬＡ２，ＬＡ３  レイアウト領域
ＢＡ１  背景領域
ＰＧ１  アルバム作成プログラム
ＰＤ１  画像データ
ＡＤ１  アルバム画像データ
Ｔ１  テンプレート画像
【図１】
2006350621.tif 000003
【図２】
2006350621.tif 000004
【図３】
2006350621.tif 000005
【図４】
2006350621.tif 000006
【図５】
2006350621.tif 000007
【図６】
2006350621.tif 000008