(57)【要約】【課題】  撮影日付などの文字情報をカラー化して元画像に写し込んだとき、背景元画像から明瞭に区別することができる画像合成装置及び方法を提供する。【解決手段】  合成画像を元画像の合成領域中に合成する際、あらかじめ設定した合成画像の色を補正してから前記合成領域中に合成する画像合成装置１０において、２次元色座標を複数の色領域に分割し、合成領域の１以上の画素の色を色領域のいずれかに振り分けてヒストグラムを作成するヒストグラム作成手段２１と、ヒストグラムと所定閾値とに基づいて、合成領域の色の色領域を決定する色領域決定手段２２と、決定された合成領域の色領域と合成画像の色の色領域との一致・不一致を判定する色一致判定手段２３と、色領域の一致が判定されたとき、ヒストグラムと前記所定閾値とに基づいて、合成画像の色を補正する色補正手段２４とを備える。【選択図】      図２
2006053682.tif 000002
【特許請求の範囲】
【請求項１】
合成画像を元画像の合成領域中に合成する際、あらかじめ設定した合成画像の色を補正してから前記合成領域中に合成する画像合成装置において、
２次元色座標を複数の色領域に分割し、前記合成領域の１以上の画素の色を前記色領域のいずれかに振り分けてヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段の出力に接続され、前記ヒストグラムと所定閾値とに基づいて、前記合成領域の色領域を決定する色領域決定手段と、
前記色領域決定手段の出力に接続され、前記決定された色領域と前記合成画像の色領域との一致・不一致を判定する色一致判定手段と、
前記色一致判定手段の出力に接続され、前記色領域の一致が判定されたとき、前記ヒストグラムと前記所定閾値とに基づいて、前記合成画像の色を補正する色補正手段とを備えることを特徴とする画像合成装置。
【請求項２】
請求項１記載の画像合成装置において、
前記２次元色座標は、色差信号Ｃｒ及びＣｂによる直交座標であることを特徴とする画像合成装置。
【請求項３】
請求項１記載の画像合成装置において、
前記色領域決定手段は、さらに、前記合成領域の１以上の画素の輝度信号Ｙに基づいて、前記合成領域の色領域を決定することを特徴とする画像合成装置。
【請求項４】
請求項１記載の画像合成装置において、
前記色補正手段は、前記ヒストグラムと所定閾値とに基づいて、前記合成画像の色差信号Ｃｒ及びＣｂを補正することを特徴とする画像合成装置。
【請求項５】
請求項４記載の画像合成装置において、
前記色補正手段は、前記ヒストグラムと所定閾値とに基づき、且つ、前記合成画像の輝度信号Ｙａと前記合成領域の平均輝度信号Ｙｂの差分に基づき、前記合成画像の輝度信号Ｙａを補正することを特徴とする画像合成装置。
【請求項６】
請求項１記載の画像合成装置を使用する画像合成方法において、
２次元色座標を複数の色領域に分割し、前記合成領域の１以上の画素の色を前記色領域のいずれかに振り分けたヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムと所定閾値とに基づいて、前記合成領域の色領域を決定する色領域決定ステップと、
前記決定された色領域と前記合成画像の色との色領域の一致・不一致を、前記ヒストグラムと前記所定閾値とに基づいて、判定する色領域一致判定ステップと、
前記色領域の一致が判定されたとき、前記ヒストグラムと前記所定閾値とに基づいて、前記合成画像の色を補正する色補正ステップとを備えることを特徴とする画像合成方法。
【請求項７】
請求項６記載の画像合成方法において、
前記色領域決定ステップにおいて、
前記２次元色座標は、色差信号Ｃｒ及びＣｂを直交座標であることを特徴とする画像合成方法。
【請求項８】
請求項７記載の画像合成方法において、
前記色領域決定ステップにおいて、
さらに、前記合成領域の１以上の画素の輝度信号Ｙに基づいて、前記合成領域の色領域を決定することを特徴とする画像合成方法。
【請求項９】
請求項６記載の画像合成方法において、
前記色補正ステップにおいて、
前記ヒストグラムと所定閾値とに基づいて、前記合成画像の色差信号Ｃｒ及びＣｂを補正することを特徴とする画像合成方法。
【請求項１０】
請求項６記載の画像合成方法において、
前記色補正ステップにおいて、
前記ヒストグラムと所定閾値とに基き、且つ、前記合成画像の輝度信号Ｙａと前記合成領域の平均輝度信号Ｙｂの差分に基づき、前記合成画像の輝度信号Ｙａを補正することを特徴とする画像合成方法。
【請求項１１】
合成画像を元画像の合成領域中に合成する際、あらかじめ合成画像の色を設定することなく、前記合成領域の色に基づいて前記合成画像の色を決定する画像合成装置において、
２次元色座標を複数の色領域に分割し、前記合成領域の１以上の画素の色を前記色領域のいずれかに振り分けてヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段の出力に接続され、前記ヒストグラムと所定閾値とに基づいて、前記合成画像の色を決定する合成画像色決定手段とを備えることを特徴とする画像合成装置。
【請求項１２】
請求項１１記載の画像合成装置において、
前記２次元座標は、色差信号Ｃｂ及びＣｒによる直交座標であることを特徴とする画像合成装置。
【請求項１３】
請求項１１記載の画像合成装置において、
前記色領域決定手段は、さらに、前記合成領域の１以上の画素の輝度信号Ｙに基づいて、前記合成領域の色領域を決定することを特徴とする画像合成装置。
【請求項１４】
請求項１１記載の画像合成装置において、
前記合成画像色決定手段は、前記ヒストグラムと所定閾値とに基づいて、前記合成画像の色差信号Ｃｒ及びＣｂを決定することを特徴とする画像合成装置。
【請求項１５】
請求項１１記載の画像合成装置において、
前記合成画像色決定手段は、前記ヒストグラムと所定閾値とに基づき、且つ、前記合成画像の輝度信号Ｙａと前記合成領域の平均輝度信号Ｙｂの差分に基づき、前記合成画像の輝度信号Ｙを補正することを特徴とする画像合成装置。
【請求項１６】
請求項１１記載の画像合成装置を使用する画像合成方法において、
２次元色座標を複数の色領域に分割し、前記合成領域の１以上の画素の色を前記色領域のいずれかにに振り分けてヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムと所定閾値とに基づいて、前記合成領域の色領域を決定する色領域決定ステップと、
前記ヒストグラムと前記所定閾値とに基づいて、前記合成画像の色を決定する色決定ステップとを備えることを特徴とする画像合成方法。
【請求項１７】
請求項１６記載の画像合成方法において、
前記色領域決定ステップにおいて、
前記２次元色座標は、色差信号Ｃｒ及びＣｂを直交座標とする２次元色座標であることを特徴とする画像合成方法。
【請求項１８】
請求項１７記載の画像合成方法において、
前記色領域決定ステップにおいて、
さらに、前記合成領域の１以上の画素の輝度信号Ｙに基づいて、前記合成領域の色領域を決定することを特徴とする画像合成方法。
【請求項１９】
請求項１７記載の画像合成方法において、
前記色決定ステップにおいて、
前記ヒストグラムと所定閾値とに基づいて、前記合成画像の色差信号Ｃｒ及びＣｂを決定することを特徴とする画像合成方法。
【請求項２０】
請求項１９記載の画像合成方法において、
前記色決定正ステップにおいて、
前記ヒストグラムと所定閾値とに基づき、且つ、前記合成画像の輝度信号Ｙａと前記合成領域の平均輝度信号Ｙｂの差分に基づき、前記合成画像の輝度信号Ｙａを決定することを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置及び方法に関し、特に、撮影の日付や時刻などの撮影情報をカラー画像として撮影画像に合成する装置及び方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラには、フィルムカメラと同様のデータ（日付、撮影情報などの文字情報）写し込み機能が付けられている。
例えば、特許文献１に開示されたデジタルカメラにおいては、元画像（撮影画像）が淡色系のときは、黒で文字情報を写し込む一方、元画像が濃色系のときは白で文字情報を写し込む。これによって、文字情報を背景から容易に識別することができる。
【特許文献１】特許第３０３７１４０号公報（段落００２９）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
最近、ユーザの多様な趣味感に応えるため、文字情報のカラー化が考えられている。
しかし、特許文献１では、文字情報をカラー化したとき、背景から容易に識別できるようにすることは開示されていない。
そこで、本発明は、撮影日付などの撮影情報をカラー化して元画像に写し込んだとき、元画像から明瞭に区別することができる画像合成装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上述した課題を解決するため、文字情報の色をあらかじめ指定してカラー文字情報を元画像中に合成する際、元画像中の合成領域の色に応じて合成画像（撮影情報）の色を補正する。
また、文字情報の色をあらかじめ指定しないときは、合成領域の色に応じて合成画像（撮影情報）の色を決定する。
【０００５】
ここに、元画像中の合成領域の色は、合成領域の１以上の画素の色を、２次元色座標上で定義された複数の色領域のいずれかに振り分けてヒストグラムを作成し、そのヒストグラムと所定閾値とに基づいて、決定される。
具体的には、請求項１に係る発明は、合成画像を元画像の合成領域中に合成する際、あらかじめ設定した合成画像の色を補正してから上記合成領域中に合成する画像合成装置において、２次元色座標を複数の色領域に分割し、上記合成領域の１以上の画素の色を上記色領域のいずれかに振り分けてヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段の出力に接続され、上記ヒストグラムと所定閾値とに基づいて、上記合成領域の色領域を決定する色領域決定手段と、上記色領域決定手段の出力に接続され、上記決定された色領域と上記合成画像の色領域との一致・不一致を判定する色一致判定手段と、上記色一致判定手段の出力に接続され、上記色領域の一致が判定されたとき、上記ヒストグラムと上記所定閾値とに基づいて、上記合成画像の色を補正する色補正手段とを備えることを特徴とする。
【０００６】
また、請求項２に係る発明は、請求項１記載の画像合成装置において、上記２次元色座標は、色差信号Ｃｒ及びＣｂによる直交座標であることを特徴とする。
また、請求項３に係る発明は、請求項１記載の画像合成装置において、上記色領域決定手段は、さらに、上記合成領域の１以上の画素の輝度信号Ｙに基づいて、上記合成領域の色領域を決定することを特徴とする。
【０００７】
また、請求項４に係る発明は、請求項１記載の画像合成装置において、上記色補正手段は、上記ヒストグラムと所定閾値とに基づいて、上記合成画像の色差信号Ｃｒ及びＣｂを補正することを特徴とする。
また、請求項５に係る発明は、請求項４記載の画像合成装置において、上記色補正手段は、上記ヒストグラムと所定閾値とに基づき、且つ、上記合成画像の輝度信号Ｙａと上記合成領域の平均輝度信号Ｙｂの差分に基づき、上記合成画像の輝度信号Ｙａを補正することを特徴とする。
【０００８】
また、請求項６に係る発明は、請求項１記載の画像合成装置を使用する画像合成方法において、２次元色座標を複数の色領域に分割し、上記合成領域の１以上の画素の色を上記色領域のいずれかに振り分けたヒストグラムを作成するヒストグラム作成ステップと、上記ヒストグラムと所定閾値とに基づいて、上記合成領域の色領域を決定する色領域決定ステップと、上記決定された色領域と上記合成画像の色との色領域の一致・不一致を、上記ヒストグラムと上記所定閾値とに基づいて、判定する色領域一致判定ステップと、上記色領域の一致が判定されたとき、上記ヒストグラムと上記所定閾値とに基づいて、上記合成画像の色を補正する色補正ステップとを備えることを特徴とする。
【０００９】
また、請求項７に係る発明は、請求項６記載の画像合成方法において、上記色領域決定ステップにおいて、上記２次元色座標は、色差信号Ｃｒ及びＣｂを直交座標であることを特徴とする。
また、請求項８に係る発明は、請求項７記載の画像合成方法において、上記色領域決定ステップにおいて、さらに、上記合成領域の１以上の画素の輝度信号Ｙに基づいて、上記合成領域の色領域を決定する。
【００１０】
また、請求項９に係る発明は、請求項６記載の画像合成方法において、上記色補正ステップにおいて、上記ヒストグラムと所定閾値とに基づいて、上記合成画像の色差信号Ｃｒ及びＣｂを補正する。
また、請求項１０に係る発明は、請求項６記載の画像合成方法において、上記色補正ステップにおいて、上記ヒストグラムと所定閾値とに基き、且つ、上記合成画像の輝度信号Ｙａと上記合成領域の平均輝度信号Ｙｂの差分に基づき、上記合成画像の輝度信号Ｙａを補正することを特徴とする。
【００１１】
また、請求項１１に係る発明は、合成画像を元画像の合成領域中に合成する際、あらかじめ合成画像の色を設定することなく、上記合成領域の色に基づいて上記合成画像の色を決定する画像合成装置において、２次元色座標を複数の色領域に分割し、上記合成領域の１以上の画素の色を上記色領域のいずれかに振り分けてヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段の出力に接続され、上記ヒストグラムと所定閾値とに基づいて、上記合成画像の色を決定する合成画像色決定手段とを備えることを特徴とする。
【００１２】
また、請求項１２に係る発明は、請求項１１記載の画像合成装置において、上記２次元座標は、色差信号Ｃｂ及びＣｒによる直交座標であることを特徴とする。
また、請求項１３に係る発明は、請求項１１記載の画像合成装置において、上記色領域決定手段は、さらに、上記合成領域の１以上の画素の輝度信号Ｙに基づいて、上記合成領域の色領域を決定することを特徴とする。
【００１３】
また、請求項１４に係る発明は、請求項１１記載の画像合成装置において、上記合成画像色決定手段は、上記ヒストグラムと所定閾値とに基づいて、上記合成画像の色差信号Ｃｒ及びＣｂを決定する。
また、請求項１５に係る発明は、請求項１１記載の画像合成装置において、上記合成画像色決定手段は、上記ヒストグラムと所定閾値とに基づき、且つ、上記合成画像の輝度信号Ｙａと上記合成領域の平均輝度信号Ｙｂの差分に基づき、上記合成画像の輝度信号Ｙを補正することを特徴とする。
【００１４】
また、請求項１６に係る発明は、請求項１１記載の画像合成装置を使用する画像合成方法において、２次元色座標を複数の色領域に分割し、上記合成領域の１以上の画素の色を上記色領域のいずれかにに振り分けてヒストグラムを作成するヒストグラム作成ステップと、上記ヒストグラムと所定閾値とに基づいて、上記合成領域の色領域を決定する色領域決定ステップと、上記ヒストグラムと上記所定閾値とに基づいて、上記合成画像の色を決定する色決定ステップとを備えることを特徴とする。
【００１５】
また、請求項１７に係る発明は、請求項１６記載の画像合成方法において、上記色領域決定ステップにおいて、上記２次元色座標は、色差信号Ｃｒ及びＣｂを直交座標とする２次元色座標であることを特徴とする。
また、請求項１８に係る発明は、請求項１７記載の画像合成方法において、上記色領域決定ステップにおいて、さらに、上記合成領域の１以上の画素の輝度信号Ｙに基づいて、上記合成領域の色領域を決定することを特徴とする。
【００１６】
また、請求項１９に係る発明は、請求項１７記載の画像合成方法において、上記色決定ステップにおいて、上記ヒストグラムと所定閾値とに基づいて、上記合成画像の色差信号Ｃｒ及びＣｂを決定することを特徴とする。
また、請求項２０に係る発明は、請求項１９記載の画像合成方法において、上記色決定正ステップにおいて、上記ヒストグラムと所定閾値とに基づき、且つ、上記合成画像の輝度信号Ｙａと上記合成領域の平均輝度信号Ｙｂの差分に基づき、上記合成画像の輝度信号Ｙａを決定することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、合成画像（撮影日時などの撮影情報）をカラー化して元画像（撮影画像）の合成領域に写し込んだとき、合成画像を合成領域から明瞭に識別することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施形態について説明する。
［画像合成装置］
図１は、デジタルカメラなどのデジタル撮像機器に内蔵された画像合成装置のブロック図である。
図１に示すように、デジタル撮像機器内では、レンズ系１で被写体をＣＣＤ２に結像し、光電変換信号をＡ／Ｄ３（アナログデジタル変換器）でデジタル撮像信号へと変換し、そのデジタル撮像信号をフレームメモリ４に格納する。その後、階調補正やエッジ強調などの画像処理を画像処理部５で行い、さらに、圧縮処理部６で、ＪＰＥＧ（Joint Photographic Experts Group)規格などで画像圧縮する。
【００１９】
画像合成装置１０は、圧縮処理手段６の出力に接続されており、カラー合成画像（例えば、撮影日付などの撮影情報）と圧縮処理手段６の出力であるデジタル画像（元画像）を合成して、不揮発性半導体メモリなどの記録手段７に出力する。
この画像合成時には、カラー合成画像が、元画像中の合成領域から明瞭に識別されるようにするため、必要な場合には、画像合成装置１０の判断により、合成画像の色が補正される。なお、合成画像の色をあらかじめ指定しないときは、合成領域の色に基づいて、合成画像の色が決定される。
【００２０】
ここに、画像合成装置１０は、撮影日時などの合成画像を生成する合成画像生成手段１１と、元画像（撮像画像）中に合成画像（撮影情報）を合成するための領域を設定する合成領域設定手段１２と、合成画像を合成領域に合成することができるか否かを判定する合成領域検出手段１３と、合成画像の色を決定又は補正する合成画像色決定・補正手段１４と、合成画像と元画像を合成する画像合成手段１５と、画像合成が不可能であるときに警告を発する警告手段１６とを備えている。
【００２１】
なお、画像合成装置１０は、演算回路、シフトレジスタ、メモリ、入出力回路等から構成された半導体電子回路を含み、プログラムにより、合成画像生成手段１１、合成領域設定手段１２、合成領域検出手段１３、合成画像色決定・補正手段１４、画像合成手段１５として機能し、ブザー、ディスプレイ、バイブレータなどの警告手段１６を駆動する。
そして、画像合成装置１５から、合成画像が元画像とともに記録手段７（不揮発性半導体メモリなど）へ出力される。
【００２２】
図２は、合成画像色決定・補正手段１４のブロック図である。
図２に示すように、合成画像色決定・補正手段１４は、合成領域の画素を、２次元色座標上で定義された複数の色領域に振り分けたヒストグラムを作成するヒストグラム作成手段２１と、そのヒストグラムと所定の閾値とに基づいて、合成領域の色を決定する色領域決定手段２２と、あらかじめ指定された合成画像の色と合成領域の色とが一致するか否かを判定する色一致判定手段２３と、両者の色が一致すると判定されたとき、合成画像の色を補正する合成画像色補正手段２４とを備える。
【００２３】
なお、必ずしも、合成画像の色をあらかじめ指定する必要はなく、その場合は、制御手段３０から、色指定がない旨の制御信号を切替手段３１に出力し、色領域決定手段２２の出力を、切替手段３１を介して合成画像色決定手段２５に入力させる。なお、あらかじめ合成画像の色が指定されたときは、制御手段３０から、色指定がなされた旨の制御信号を切替手段３１に出力し、色領域決定手段２２の出力を、切替手段３１を介して色一致判定手段２３に入力させる。
【００２４】
こうして、合成画像色補正手段２４又は合成画像色決定手段２５の出力が画像合成手段１５に入力され、合成画像と元画像とが合成される。
ここで、２次元色座標について説明する。
色を座標値で表す表色系は、ＣＩＥ（国際照明委員会）によれば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域での３刺激値Ｘ、Ｙ、Ｚに基づいたｘｙ直交座標系があり、この座標系で色度座標（ｘ、ｙ）をプロットした平面図形をｘｙ色度図と呼んでいる。ここに、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）である。
【００２５】
また、ＣＩＥのＵＣＳ色度図は、ｕ’＝４Ｘ  ／（Ｘ＋１５Ｙ＋３Ｚ）、ｖ’＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ）として、ｕ’ｖ’直交座標系上のプロットである。
を定め、これをＵＣＳ色度図と呼んでいる。
また、ＣＩＥのＬ*ａ*ｂ* 表色系は、
Ｌ*   ＝ １１６（Ｙ／Ｙｎ）1/3  −  １６
ａ*   ＝ ５００（（Ｘ／Ｘｎ）1/3  −  （Ｙ／Ｙｎ）1/3）
ｂ*   ＝ ２００（（Ｙ／Ｙｎ）1/3  −  （Ｚ／Ｚｎ）1/3）
で定義された３次元直交座標によるプロットである。ここに、Ｘｎ、Ｙｎ、Ｚｎは、特定の白色物体（完全拡散反射面）の３刺激値である。
【００２６】
ＣＩＥによるこれらの色度図（２次元直交座標系）が、２次元色座標に該当することはもちろんである。
しかし、本実施形態では、簡単のため、色差信号Ｃｒ及びＣｂによる２次元直交座標を例として説明する。
ここに、３原色信号を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）とすると、
Ｙ  ＝      ０．２９９＊Ｒ  ＋    ０．５８７＊Ｇ  ＋  ０．１４４＊Ｂ
Ｃｒ＝  ０．５００００＊Ｒ−０．４１８６９＊Ｇ−０．０８１３１＊Ｂ＋１２８
Ｃｂ＝−０．１６８７４＊Ｒ−０．３３１２６＋＊Ｇ＋０．５００００＊Ｂ＋１２８
で定義する。ただし、３原色信号を各色８ビットとして、Ｃｒ及びＣｂに”１２８”のオフセットを加えている。
【００２７】
次に、図３を参照して、ＣｒＣｂ２次元色座標上で定義される色領域について説明する。
図３に示すように、一例として、ＣｒＣｂ座標系が９つの色領域に分割されている。
色領域１から色領域８までは、半径１２８の円を８分割したものであり、各象限が２分割されている。また、色領域９は、座標原点を中心とし、彩度が低い色領域であり、色領域９の半径は、適宜に設定する。
【００２８】
次に、図４（Ａ）、図４（Ｂ）、図４（Ｃ）を参照して、合成領域の画素のヒストグラムについて説明する。
各ヒストグラムは、合成領域の各画素がどの色領域に属するかを計数したものである。なお、必ずしもすべての画素を計数する必要はないが、ヒストグラムを安定させるため、ある程度多くの画素を計数するとよい。
【００２９】
図４（Ａ）では、色領域４の画素数が閾値より大きい。このように、閾値を超える色領域がただ１つである場合は、色領域決定手段２２は、当該色領域の色を合成領域の色であると決定する。
図４（Ｂ）では、色領域４と色領域７の画素数が閾値より大きい。このように、閾値を超える色領域が２つ以上である場合は、色領域決定手段２２は、閾値を超えたすべての色領域（この場合は、色領域４及び色領域７）の色を合成領域の色であると決定する。
【００３０】
なお、後述するように、図４（Ａ）の場合と、図４（Ｂ）の場合では、合成画像の色の補正方法又は決定方法は異なる。
一方、図４（Ｃ）では、所定閾値を超える色領域が１つも存在しない。この場合には、合成領域は識別力のある色を有さないため、色領域決定手段２２は、合成領域の色を決定しない。
【００３１】
［画像合成方法］
図５は、画像合成方法を説明するためのフローチャートである。
まず、Ｓ１において、元画像（撮像画像）中の合成領域を検出し、合成画像（撮影日時などの撮影情報）を合成することができるかどうか判定する。
ここで、図６、図７を参照して、図５のＳ１をさらに説明する。
【００３２】
図６は、合成画像領域を示す図である。
図６に示すように、元画像寸法は、デジタル撮像機器側の図示しない設定手段により設定されており、横Ｗ、縦Ｌの寸法を有し、元画像の左上端をｘｙ座標の原点としている。また、合成領域は、合成領域設定手段１２によって設定されており、横ｈ、縦ｖの寸法を有し、合成領域の左上端の座標が（ｘ、ｙ）としている。
【００３３】
図７は、Ｓ１を詳細に説明するためのフローチャートである。
まず、Ｓ１１において、合成領域検出手段１３は、合成画像生成手段１１により生成された合成画像寸法ａ×ｂを読み込む。
次に、Ｓ１２において、合成領域検出手段１３は、合成領域設定手段により設定された合成領域寸法ｈ×ｖを読み込む。
【００３４】
次に、Ｓ１３において、合成領域検出手段１３は、デジタル撮像機器側から元画像寸法Ｗ×Ｌを読み込む。
次に、Ｓ１４において、合成領域検出手段１３は、画像合成は可能か否かを判定する。ａ＜ｈ、ｂ＜ｖであれば画像合成は可能である。
ここで、Ｓ１４において、画像合成が可能であると判定されれば、図５のフローチャートのＳ２に進む。
【００３５】
一方、Ｓ１４において、画像合成は可能ではないと判定されたときは、Ｓ１５に進み、合成領域検出手段１３は、警告手段１６に警告（表示、音声、振動などによる）を出させて、全処理を終了する。
次に、図５のフローチャートに戻り、図７のＳ１４から図５のＳ２に進んだ後の処理について説明する。
【００３６】
図５のＳ２において、ヒストグラム作成手段２１は、図４（Ａ）、図４（Ｂ）、図４（Ｃ）に例示したようなヒストグラムを作成する。
次に、Ｓ３において、制御手段３０は、合成画像の色は指定されているか否かを判定する。
ここで、Ｓ３において、合成画像の色が指定されていないと判定されれば、制御手段３０は切替手段３１を介して、色領域決定手段２２の出力を合成画像色決定手段２５に入力させ、Ｓ５に進んで、合成画像色決定手段２５が合成画像の色を決定した後、Ｓ８に進んで、画像合成手段１５が画像合成を行う。
【００３７】
一方、Ｓ３において、合成画像の色が指定されていると判定されれば、Ｓ４に進み、色一致判定手段２３が、合成画像と合成領域が属する色領域は一致するか否かを判定する。
ここで、Ｓ４において、合成画像と合成領域の色領域は一致すると判定されれば、Ｓ６に進んで合成画像の色を補正し、その後で、Ｓ８において、画像合成を行う。
一方、Ｓ４において、合成画像と合成領域の色領域は一致しないと判定されれば、Ｓ７に進んで合成画像の色を補正せず、Ｓ８に進んで、画像合成を行う。
【００３８】
［色補正方法］
次に、図８を参照して、図５のフローチャートのＳ６における合成画像（撮影日時などの撮影情報）の色補正方法について説明する。
図８に示すように、合成画像の色補正は、元画像（撮像画像）中の合成領域の画素の色領域ごとに作成したヒストグラムと、所定の閾値とを比較した結果に基づいて行われる。
ここに、所定の閾値は、あまり小さいと合成領域の色を決定することが困難になるため、合成領域の色を決定するために十分な大きさの値が経験的に定められる。
【００３９】
すなわち、閾値を超える合成領域の色領域が１つ以上あれば、閾値を超えたすべての色領域の色が合成領域の色であると決定され、その決定に基づいて合成画像の色補正（又は輝度補正）が行われる。なお、閾値を超える合成画像の色領域が１つだけである場合と、２つ以上である場合とで、補正方法を異ならしめている。
一方、閾値を超える合成画像の色領域が全く存在しない場合は、合成領域の色は明確でないため、色領域を決定する必要はなく、色補正（又は輝度補正）も行わない。
【００４０】
以下、色補正方法について具体的に説明する。
まず、Ｓ６０において、ヒストグラム作成手段２１が作成したヒストグラムを使用して、色領域決定手段２２は、閾値を超える合成領域の色領域が１つであるか否かを判定する。
ここで、Ｓ６０において、閾値を超える合成領域の色領域が１つではないと判定されたときは、Ｓ７０に進み、閾値を超える合成領域の色領域が２つ以上であるか否かを判定する。Ｓ７０に続く処理は後述する。
【００４１】
一方、Ｓ６０において、閾値を超える合成領域の色領域が１つであると判定されたときは、Ｓ６１に進み、色領域決定手段２２は、合成領域の色は、当該閾値を超えた色領域の色であると決定する。
次に、Ｓ６２において、色一致判定手段２３は、合成領域の色が属する色領域は合成画像の色が属する色領域と同じであるか否かを判定する。
【００４２】
ここで、Ｓ６２において、両者の色領域は同じではないと判定されたときは、合成画像の色補正は不必要であるので、Ｓ８１に進み、合成画像の色補正を行わずに、全処理を終了する。
一方、Ｓ６２において、両者の色領域は同じであると判定されたときは、合成画像の色補正が必要となる。そこで、Ｓ６３に進み、色一致判定手段２３は、合成領域の色が属する色領域は特定色領域（図３に示した色領域９（低彩度領域））であるか否かを判定する。
【００４３】
ここで、Ｓ６３において、合成領域の色領域が特定色領域であると判定されれば、合成領域と合成画像はともに低彩度であるため、両者の輝度を異ならせることが適切である。そこで、Ｓ６４に進んで、合成画像の輝度信号補正を行う。
具体的には、Ｓ６４において、合成画像色補正手段２４は、合成領域の輝度信号の平均値Ｙａｖを求める。そして、合成画像の輝度信号Ｙ１との差分Ｓ（＝Ｙａｖ−Ｙ１）を求める。
【００４４】
そして、合成画像の補正された輝度Ｙ２を、例えば、
Ｙ２＝Ｙ１＋ｋ・Ｓとする。ここに、係数ｋは正とする。これにより、合成画像の設定輝度Ｙ１が合成領域の平均輝度より低いときは、補正後の輝度信号Ｙ２は合成領域の平均輝度信号Ｙａｖより高くなる一方、合成画像の設定輝度Ｙ１が合成領域の平均輝度より高いときは、補正後の輝度信号Ｙ２は合成領域の平均輝度信号Ｙａｖより低くなる。このように、合成画像の輝度信号は合成領域の平均輝度と異なるなるように補正され、合成画像の識別性が高まる。
【００４５】
なお、合成画像の補正された輝度Ｙ２を、
Ｙ２＝Ｙａｖ＋ｋ・Ｓとしてもよい。これによっても上式を用いた場合と同じ補正結果が得られる。
また、合成画像の補正された輝度Ｙ２を、例えば、
Ｙ２＝Ｙ１−ｋ・Ｓとする。ここに、係数ｋは正とする。これにより、合成画像の設定輝度Ｙ１が合成領域の平均輝度より低いときは、補正後の輝度信号Ｙ２は合成領域の平均輝度信号Ｙａｖよりさらに低くなる一方、合成画像の設定輝度Ｙ１が合成領域の平均輝度より高いときは、補正後の輝度信号Ｙ２は合成領域の平均輝度信号Ｙａｖよりさらに高くなりなる。このように、合成画像の輝度信号は合成領域の平均輝度と異なるなるように補正され、合成画像の識別性がより高まる。
【００４６】
なお、補正後の輝度信号Ｙ２を、差分Ｓからのデータテーブル参照により、補正係数Ｋを取得して、
Ｙ２＝Ｙａｖ＋Ｋなどとしてもよい。
一方、Ｓ６３において、合成領域の色領域が特定色領域ではないと判定されれば、色差信号Ｃｒ、Ｃｂの極性反転を行う。その理由は、Ｓ６２において、両者が同一色であると判定されたため、両者の色を、青色と黄色などのように補色の関係に立たせれば、合成画像が見易くなるからである。
【００４７】
すなわち、色差信号Ｃｒ、Ｃｂがそれぞれ例えば８ビットであるとしたとき、色差信号Ｃｒ、Ｃｂが１２８より大きいときは、極性反転後の色差信号Ｃｉｒ，Ｃｉｂを、
Ｃｉｒ＝Ｃｒ−１２８、Ｃｉｂ＝Ｃｂ−１２８とする。
一方、色差信号Ｃｒ、Ｃｂが１２８より大きくないときは、極性反転後の色差信号Ｃｉｒ，  Ｃｉｂを、
Ｃｉｒ＝Ｃｒ＋１２８、Ｃｉｂ＝Ｃｂ＋１２８とする。
【００４８】
なお、上述した極性反転に限らず、係数ｋ１とｋ２とをあらかじめ定めて、Ｃｒ、Ｃｂが１２８より大きいときは、極性反転後の色差信号をＣｉｒ，  Ｃｉｂを、
Ｃｉｒ＝ｋ１・（Ｃｒ−１２８）＋ｋ２、Ｃｉｂ＝ｋ１・（Ｃｂ−１２８）＋ｋ２
とする一方、色差信号Ｃｒ、Ｃｂが１２８より大きくないときは、極性反転後の色差信号をＣｉｒ，  Ｃｉｂを、
Ｃｉｒ＝ｋ１・（Ｃｒ＋１２８）＋ｋ２、Ｃｉｂ＝ｋ１・（Ｃｂ＋１２８）＋ｋ２
としても、両者の色を違えることができ、合成画像が見易くなる。
【００４９】
次に、Ｓ６０からＳ７０へ進んだ場合の処理について説明する。
Ｓ７０は、閾値を超える合成領域の色領域が２つ以上であるか否かを判定する処理である。
Ｓ７０において、色領域決定手段２２が、閾値を超える合成領域の色領域が２つ以上ではない（閾値を超える合成領域の色領域が存在しない）と判定したときは、Ｓ８０に進み、色領域決定手段２２は、合成領域の色領域を決定することなくＳ８１へと進み、合成画像の色補正を行うことなく、全処理を終了する。
【００５０】
一方、Ｓ７０において、色領域決定手段２２が、閾値を超える合成領域の色領域が２つ以上であると判定したときは、Ｓ７１に進み、色領域決定手段２２は、閾値を超えた色領域すべてを合成領域の色領域と決定する。
次に、Ｓ７２において、色一致判定手段２３は、閾値を超えた合成領域の色領域の１つが合成画像の色が属する色領域と一致するか否かを判定する。
【００５１】
ここで、Ｓ７２において、閾値を超えた合成領域の色領域のいずれも合成画像の色が属する色領域とは一致しないと判定されれば、Ｓ８１に進んで、合成画像の色補正を行うことなく全処理を終了する。
一方、Ｓ７２において、閾値を超えた合成領域の色領域の１つが合成画像の色が属する色領域と一致すると判定されれば、Ｓ７３に進んで、色一致判定手段２３は、ヒストグラムの中から、閾値を超えず、且つ、最も度数の少ない色領域を選択する。図４（Ｂ）の例では、閾値を超えず最小度数の色領域は、色領域１又は色領域９である。そこで、この例では、色領域１及び色領域９を選択し、Ｓ７４に進む。
【００５２】
次に、Ｓ７４において、色一致判定手段２３は、選択した色領域は特定色領域（色領域９）であるか否かを判定する。
ここで、Ｓ７４において、選択した色領域の１つが特定色領域（色領域９）であると判定されたときは、Ｓ７５に進んで、合成画像の輝度信号を補正する。この輝度信号補正は、Ｓ６４における輝度信号補正と同じである。
【００５３】
一方、Ｓ７４において、選択した色領域のいずれも特定色領域（色領域９の低彩度領域）ではないと判定されたときは、合成画像に設定されていた色を変更する必要がある。そこで、Ｓ７６に進んで、合成画像の設定色を置換する補正を行う。
この色置換は、合成画像の設定色を、選択した色領域のいずれかの色に置換するものである。その理由は、選択した色領域は、必ず、閾値を超えた色領域と異なるからであり、これによって、合成画像と合成領域の色が異なるようにできるからである。
【００５４】
選択した色領域が複数あるときは、例えば、閾値を超えた色領域からの距離が最大であるような色領域を、選択した色領域の中から、選ぶとよい。なお、距離はＣｒＣｂ直交座標上のユークリッド距離で定義してもよい。
また、選択した色領域が所定数以上存在し、合成画像の色補正が上記の基準では困難となることがある。この場合には、色領域１から色領域８の色の置換値を定めたデータテーブルを参照することとしてもよい。すなわち、合成画像の設定色と一致すると判定された色領域の色を上述したデータテーブルを参照して、置換すれば、合成画像と合成領域の色は異なったものになるからである。
【００５５】
以上、合成画像の色をあらかじめ指定した場合の、合成画像の色補正・輝度補正について説明した。
なお、Ｓ６４及びＳ７５においては、輝度信号補正を行ったが、これに限らず、Ｓ７６の色置換を行ってもよい。これによっても、合成画像を合成領域から明瞭に識別させるという目的を達成することができる。
【００５６】
［色決定方法］
次に、図９を参照して、図５のフローチャートのＳ５における合成画像の色を決定する方法について説明する。これは、合成画像の色を、あらかじめ指定することなく、合成画像色決定手段２５が自動的に決定するための処理である。
図９に示す色決定方法は、図８の色補正方法とほとんど同じであるが、異なる部分もあるため、以下、具体的に説明する。
【００５７】
まず、Ｓ６０において、ヒストグラム作成手段２１が作成したヒストグラムに基づき、色領域決定手段２２は、閾値を超える合成領域の色領域が１つか否かを判定する。
ここで、Ｓ６０において、閾値を超える合成領域の色領域が１つではないと判定されたときは、Ｓ７０に進み、閾値を超える合成領域の色領域が２つ以上か否かを判定する。Ｓ７０に続く処理は後述する。
【００５８】
一方、Ｓ６０において、閾値を超える合成領域の色領域が１つであると判定されたときは、Ｓ６３に進み、色領域決定手段２２は、合成領域の当該色領域は特定色領域（色領域９の低彩度領域）か否かを判断する。
ここで、Ｓ６３において、合成領域の当該色領域が特定色領域であると判定されれば、合成画像の色を、図８のＳ６４で説明した輝度信号Ｙ２を有する色と決定する。
【００５９】
ここに、合成画像の色差信号Ｃｒ及び又はＣｂはゼロとしてもよいし、合成領域の画素の平均値としてもよい。
一方、Ｓ６３において、合成領域の当該色領域が特定色領域ではないと判定されれば、合成画像の色を、図８のＳ６５で説明した色差信号Ｃｉｒ、Ｃｉｂと決定する。
ここに、合成画像の輝度信号は、合成領域の画素の平均値としてもよいし、平均輝度より高く又は低くしてもよい。
【００６０】
次に、Ｓ７０に進んだ後の処理について説明する。
Ｓ７０において、色領域決定手段２２は、閾値を超える合成領域の色領域が２つ以上か否かを判定する。
ここで、閾値を超える合成領域の色領域が２つ以上ではない（閾値を超える合成領域の色領域が存在しない）と判定されれば、合成画像の色はどのようであっても、合成領域から明瞭に識別されるため、Ｓ９０に進んで、合成画像色決定手段は、適宜に定めたデフォルト色を合成画像の色と決定する。
【００６１】
一方、閾値を超える合成領域の色領域が２つ以上であると判定されれば、Ｓ７３に進んで、色一致判定手段２３は、ヒストグラムの中から、閾値を超えず、且つ、最も度数の少ない色領域を選択する。図４（Ｂ）の例では、閾値を超えず最小度数の色領域は、色領域１又は色領域９である。そこで、この例では、色領域１及び色領域９を選択し、Ｓ７４に進む。
【００６２】
次に、Ｓ７４において、色一致判定手段２３は、選択した色領域は特定色領域か否かを判定する。
ここで、Ｓ７４において、選択した色領域が特定色領域（色領域９の低彩度領域）であると判定されたときは、Ｓ７５に進んで、合成画像の輝度信号を決定する。輝度信号は、図８のＳ６４で説明した輝度信号Ｙ２とする。また、合成画像の色差信号Ｃｒ、及び又はＣｂはゼロとしてもよいし、合成領域の画素の平均値としてもよい。
【００６３】
一方、Ｓ７４において、選択した色領域が特定色領域（色領域９の低彩度領域）ではないと判定されたときは、Ｓ７６に進んで、図８のＳ７６におけると同様、色信号置換処理を行い、置換された色を合成画像の色と決定する。このとき、輝度信号は、合成領域の平均輝度と同じでもよいし、それより高くても低くてよい。
以上、合成画像の色をあらかじめ指定しない場合の、合成画像の色決定について説明した。
【００６４】
なお、図９のＳ６４及びＳ７５においては、輝度信号決定を行ったが、これに限らず、図９のＳ７６の色決定を行っても、合成画像を合成領域から明瞭に識別させるという目的を達成することができる。
【図面の簡単な説明】
【００６５】
【図１】デジタル撮像機器に内蔵された画像合成装置のブロック図である。
【図２】画像合成装置中の合成画像（日付などの撮影情報）色決定・補正手段のブロック図である。
【図３】２次元色座標上で定義された色領域の一例である。
【図４】元画像（撮像画像）中の合成領域の画素を色領域に振り分けたヒストグラムの例である。
【図５】画像合成方法を説明するためのフローチャートである。
【図６】合成画像領域の一例である。
【図７】合成領域検出処理を説明するためのフローチャートである。
【図８】あらかじめ指定した合成画像の色を補正する処理を説明するためのフローチャートである。
【図９】あらかじめ色を指定しない場合の合成画像の色決定処理を説明するためのフローチャートである。
【符号の説明】
【００６６】
１  レンズ系
２  ＣＣＤ
３  Ａ／Ｄ
４  フレームメモリ
５  画像処理手段
６  圧縮処理手段
７  記録手段
１０  画像合成手段
１１  合成画像生成手段
１２  合成領域設定手段
１３  合成領域検出手段
１４  合成画像色決定・補正手段
１５  画像合成手段
１６  警告手段
２１  ヒストグラム作成手段
２２  色領域決定手段
２３  色一致判定手段
２４  合成画像色補正手段
２５  合成画像色決定手段
３０  制御手段
３１  切替手段
【図１】
2006053682.tif 000003
【図２】
2006053682.tif 000004
【図３】
2006053682.tif 000005
【図４】
2006053682.tif 000006
【図５】
2006053682.tif 000007
【図６】
2006053682.tif 000008
【図７】
2006053682.tif 000009
【図８】
2006053682.tif 000010
【図９】
2006053682.tif 000011