(57)【要約】【課題】  あらかじめ撮像した静止画に文字等のキャプションを撮像したスルー画を合成すること。【解決手段】  制御装置１０５は、モニタ１０６に表示された静止画（メイン画像）上に、キャプション画像を画像処理して抽出した文字等のキャプションを合成してスルー画表示する。その後、使用者によって入力装置１０３が操作されて画像の撮影が指示されると、その時点でモニタ１０６に表示されている合成画像を撮影してメモリーカード１０７ａに記憶する。【選択図】      図１
2006157606.tif 000002
【特許請求の範囲】
【請求項１】
予め記録されている複数枚の画像の中から選択された合成対象画像をモニタに表示し、
重畳画像を含むはめ込み画像を撮像して、はめ込み画像中の重畳画像を抽出し、
前記抽出した重畳画像を前記合成対象画像に重畳して合成画像を生成し、
前記生成した合成画像を前記モニタに表示し、
使用者からの指示に基づいて、前記モニタに表示されている合成画像を記憶媒体に記憶することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法において、
前記撮像と、前記重畳画像抽出と、前記画像合成とを並行して繰り返し行うことを特徴とする画像合成方法。
【請求項３】
予め記録されている複数枚の画像の中から選択された合成対象画像と、撮像した重畳画像を含むはめ込み画像とを所定の画素間隔ごとにモニタに表示し、
使用者からの指示に基づいて、前記はめ込み画像中の重畳画像を抽出し、
前記抽出した重畳画像を前記合成対象画像に重畳して合成画像を生成し、
前記合成画像を記憶媒体に記憶することを特徴とする画像合成方法。
【請求項４】
請求項１〜３のいずれか一項に記載の画像合成方法において、
前記重畳画像を抽出するに当たっては、
前記はめ込み画像の画像信号を１つの輝度信号と２つの色成分信号に変換し、
変換した前記輝度信号と前記２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成し、
作成した輝度信号のヒストグラムに基づいて、前記輝度信号の階調補正関数を算出して、当該階調補正関数を用いて前記輝度信号の階調を補正し、
階調補正を行った後の前記輝度信号のヒストグラムと、前記２つの色成分信号のヒストグラムとに基づいて、前記はめ込み画像から前記重畳画像を抽出するためのマスク画像を作成し、
作成したマスク画像を前記はめ込み画像に適用して前記重畳画像を抽出することを特徴とする画像合成方法。
【請求項５】
被写体像を撮像して電気信号に変換する撮像手段と、
前記撮像手段により重畳画像を含むはめ込み画像を撮像して、はめ込み画像中の重畳画像を抽出する抽出手段と、
予め記録されている複数枚の画像の中から選択された合成対象画像を表示するモニタと、
前記抽出した重畳画像を前記合成対象画像に重畳して合成画像を生成する合成画像生成手段と、
前記撮像手段による撮像と、前記抽出手段による重畳画像抽出と、前記合成画像生成手段による画像合成とを並行して繰り返し行う画像合成制御手段と、
前記生成した合成画像を前記モニタに表示する表示制御手段と、
使用者からの指示に基づいて、前記モニタに表示されている合成画像を記憶媒体に記憶する記憶制御手段とを備えることを特徴とする画像合成装置。
【請求項６】
被写体像を撮像して電気信号に変換する撮像手段と、
予め記録されている複数枚の画像の中から選択された合成対象画像と、前記撮像手段により撮像した重畳画像を含むはめ込み画像を所定の画素間隔ごとに表示するモニタと、
使用者からの指示に基づいて、前記はめ込み画像中の重畳画像を抽出する抽出手段と、
前記抽出した重畳画像を前記合成対象画像に重畳して合成画像を生成する合成画像生成手段と、
前記合成画像を記憶媒体に記憶する記憶制御手段とを備えることを特徴とする画像合成装置。
【請求項７】
請求項５または６に記載の画像合成装置において、
前記抽出手段は、
前記撮像手段によって撮像されたはめ込み画像の画像信号を１つの輝度信号と２つの色成分信号に変換する画像信号変換手段と、
前記画像変換手段で変換した前記輝度信号と前記２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段で作成した輝度信号のヒストグラムに基づいて、前記輝度信号の階調補正関数を算出して、当該階調補正関数を用いて前記輝度信号の階調を補正する階調補正手段と、
前記階調補正手段で階調補正を行った後の前記輝度信号のヒストグラムと、前記２つの色成分信号のヒストグラムとに基づいて、前記はめ込み画像から前記重畳画像を抽出するためのマスク画像を作成するマスク画像作成手段とを含み、
前記マスク画像作成手段で作成したマスク画像を前記はめ込み画像に適用して前記重畳画像を抽出することを特徴とする画像合成装置。
【請求項８】
重畳画像を含むはめ込み画像から予め撮像されている複数枚の画像の中から選択された合成対象画像に合成する重畳画像を抽出するための画像抽出方法であって、
前記はめ込み画像を１つの輝度信号と２つの色成分信号に変換し、
変換した前記輝度信号と前記２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成し、
作成した輝度信号のヒストグラムに基づいて、前記輝度信号の階調補正関数を算出して、当該階調補正関数を用いて前記輝度信号の階調を補正し、
階調補正を行った後の前記輝度信号のヒストグラムと、前記２つの色成分信号のヒストグラムとに基づいて、前記はめ込み画像から前記重畳画像を抽出するためのマスク画像を作成し、
作成したマスク画像を前記はめ込み画像に適用して前記重畳画像を抽出することを特徴とする画像抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像と文字とを合成する画像合成方法、画像合成装置、および合成される画像を抽出するための画像抽出方法に関する。
【背景技術】
【０００２】
次のようなデジタルカメラが特許文献１によって知られている。あらかじめ撮像した再生画像上にスルー画を合成するための領域を設定し、その領域内に撮像中のスルー画を表示しながら撮像することで、再生画像とスルー画像とを合成する。また、文字パターンを含む白黒画像データを２値化して、画像内に含まれる文字パターンを抽出する文字パターン認識装置が特許文献２によって知られている。
【０００３】
【特許文献１】特開平１１−３３１６９９号公報
【特許文献２】特開２０００−６７１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のデジタルカメラにおいては、あらかじめ撮像した再生画像上に設定された領域内にスルー画を表示して撮像することで合成するため、スルー画像を合成できる領域が限定されてしまうという問題が生じていた。また、特許文献２に記載の文字パターン認識装置では、白黒画像を２値化することによって文字を抽出することとしたため、カラー画像に対応できないという問題が生じていた。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像合成方法は、予め記録されている複数枚の画像の中から選択された合成対象画像をモニタに表示し、重畳画像を含むはめ込み画像を撮像して、はめ込み画像中の重畳画像を抽出し、抽出した重畳画像を合成対象画像に重畳して合成画像を生成し、生成した合成画像をモニタに表示し、使用者からの指示に基づいて、モニタに表示されている合成画像を記憶媒体に記憶することを特徴とする。
請求項２に記載の画像合成方法は、請求項１に記載の画像合成方法において、撮像と、重畳画像抽出と、画像合成とを並行して繰り返し行うことを特徴とする。
請求項３に記載の合成方法は、予め記録されている複数枚の画像の中から選択された合成対象画像と、撮像した重畳画像を含むはめ込み画像とを所定の画素間隔ごとにモニタに表示し、使用者からの指示に基づいて、はめ込み画像中の重畳画像を抽出し、抽出した重畳画像を合成対象画像に重畳して合成画像を生成し、合成画像を記憶媒体に記憶することを特徴とする。
請求項４に記載の画像合成方法は、請求項１〜３のいずれか一項に記載の画像合成方法において、重畳画像を抽出するに当たっては、はめ込み画像の画像信号を１つの輝度信号と２つの色成分信号に変換し、変換した輝度信号と前記２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成し、作成した輝度信号のヒストグラムに基づいて、輝度信号の階調補正関数を算出して、当該階調補正関数を用いて輝度信号の階調を補正し、階調補正を行った後の輝度信号のヒストグラムと、２つの色成分信号のヒストグラムとに基づいて、はめ込み画像から重畳画像を抽出するためのマスク画像を作成し、作成したマスク画像をはめ込み画像に適用して重畳画像を抽出することを特徴とする。
請求項５に記載の画像合成装置は、被写体像を撮像して電気信号に変換する撮像手段と、撮像手段により重畳画像を含むはめ込み画像を撮像して、はめ込み画像中の重畳画像を抽出する抽出手段と、予め記録されている複数枚の画像の中から選択された合成対象画像を表示するモニタと、抽出した重畳画像を合成対象画像に重畳して合成画像を生成する合成画像生成手段と、撮像手段による撮像と、抽出手段による重畳画像抽出と、合成画像生成手段による画像合成とを並行して繰り返し行う画像合成制御手段と、生成した合成画像をモニタに表示する表示制御手段と、使用者からの指示に基づいて、モニタに表示されている合成画像を記憶媒体に記憶する記憶制御手段とを備えることを特徴とする。
請求項６に記載の画像合成装置は、被写体像を撮像して電気信号に変換する撮像手段と、予め記録されている複数枚の画像の中から選択された合成対象画像と、撮像手段により撮像した重畳画像を含むはめ込み画像を所定の画素間隔ごとに表示するモニタと、使用者からの指示に基づいて、はめ込み画像中の重畳画像を抽出する抽出手段と、抽出した重畳画像を合成対象画像に重畳して合成画像を生成する合成画像生成手段と、合成画像を記憶媒体に記憶する記憶制御手段とを備えることを特徴とする。
請求項７に記載の画像合成装置は、請求項５または６に記載の画像合成装置において、抽出手段は、撮像手段によって撮像されたはめ込み画像の画像信号を１つの輝度信号と２つの色成分信号に変換する画像信号変換手段と、画像変換手段で変換した輝度信号と２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成するヒストグラム作成手段と、ヒストグラム作成手段で作成した輝度信号のヒストグラムに基づいて、輝度信号の階調補正関数を算出して、当該階調補正関数を用いて輝度信号の階調を補正する階調補正手段と、階調補正手段で階調補正を行った後の輝度信号のヒストグラムと、２つの色成分信号のヒストグラムとに基づいて、はめ込み画像から重畳画像を抽出するためのマスク画像を作成するマスク画像作成手段とを含み、マスク画像作成手段で作成したマスク画像をはめ込み画像に適用して重畳画像を抽出することを特徴とする。
請求項８に記載発明は、重畳画像を含むはめ込み画像から予め撮像されている複数枚の画像の中から選択された合成対象画像に合成する重畳画像を抽出するための画像抽出方法であって、はめ込み画像を１つの輝度信号と２つの色成分信号に変換し、変換した輝度信号と２つの色成分信号とに基づいて、それぞれの信号の階調ごとの出現頻度を示すヒストグラムを作成し、作成した輝度信号のヒストグラムに基づいて、輝度信号の階調補正関数を算出して、当該階調補正関数を用いて輝度信号の階調を補正し、階調補正を行った後の輝度信号のヒストグラムと、２つの色成分信号のヒストグラムとに基づいて、はめ込み画像から重畳画像を抽出するためのマスク画像を作成し、作成したマスク画像をはめ込み画像に適用して重畳画像を抽出することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、はめ込み画像から抽出した重畳画像を合成対象画像に合成してモニタに表示し、使用者からの指示に基づいてモニタに表示されている合成画像を記憶媒体に記憶するようにした。これによって、使用者は合成対象画像上に重畳画像を合成した結果を確認しながら合成画像の記憶指示を出せるため、自由に構図を決定することができる。
また、はめ込み画像を１つの輝度信号と２つの色成分信号に変換し、変換後の各信号に対して作成したヒストグラムに基づいて重畳画像を抽出するためのマスク画像を生成するようにした。これによって、色信号に基づいて重畳画像を抽出することができるため、カラー画像の合成も行うことができる。
【発明を実施するための最良の形態】
【０００７】
図１は本実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、ＣＣＤなどの撮像素子１０２と、使用者によって操作されるレリーズボタンや各種設定ボタンなどを含む入力装置１０３と、撮像した画像を一時的に記憶するメモリ１０４と、撮影に関する各種制御や後述する画像合成処理を実行するためのＣＰＵやその周辺回路を含む制御装置１０５と、撮像した画像の再生表示、スルー画の表示、および各種設定メニューを表示するモニタ１０６と、撮像画像を保存するためのメモリーカード１０７ａを挿入するメモリーカードスロット１０７とを備えている。
【０００８】
本実施の形態によるデジタルカメラ１００では、あらかじめ撮像された合成対象画像（メイン画像）の上に文字などのキャプションが描かれたキャプション画像からキャプションを抽出して合成する機能を有する。このために、デジタルカメラ１００は、撮影モードとして「メイン画像撮影モード」と「キャプション合成モード」の２つのモードを有している。使用者は、入力装置１０３を使用して、モニタ１０６に表示したメニュー上でこれらのモードを切り替えることができる。以下、使用者によって各モードが選択された場合の処理について説明する。
【０００９】
（１）「メイン画像撮影モード」が選択された場合
使用者によって「メイン画像撮影モード」が選択された場合には、一般的なデジタルカメラによる撮影処理を行う。すなわち、使用者によってデジタルカメラの電源がオンされ、レンズ１０１が被写体に向けられると、被写体の輝度に応じて設定された露出条件で撮影が行われ、撮像素子１０２には被写体像に対応した電荷が蓄積される。このとき、制御装置１０５は、例えば分割測光方式によってカメラが被写体を分析した結果に基づいて露出条件を制御する。撮像素子１０２に蓄積された電荷は、制御装置１０５によってＡ／Ｄ変換してデジタル信号に変換される。その後、ホワイトバランスの調整や、予め設定された画像形式、例えばＪＰＥＧ形式等への圧縮処理など種々の画像処理が施される。画像処理された画像データはメモリ１０４に記憶され、同時にモニタ１０６に表示される。
【００１０】
上述した処理を例えば１秒間に３０フレームの画像を処理するように実行することで、モニタ１０６には被写体を撮像した画像が次々と更新されてスルー画が表示される。そして、使用者によって任意のタイミングで入力装置１０３が操作され、レリーズボタンが押下されると、その時点でモニタ１０６に表示されている画像が一旦メモリ１０４に格納され、その後各種画像処理が施されてメイン画像としてメモリーカードスロット１０７に挿入されたメモリーカード１０７ａに保存される。
【００１１】
（２）「キャプション合成モード」が選択された場合
使用者によって「キャプション合成モード」が選択された場合には、単色の被写体、例えば白紙に文字などのキャプション（重畳画像）が描かれたキャプション画像（はめ込み画像）を撮像し、その中からキャプションのみを抽出し、上述した「メイン画像撮影モード」で撮像したメイン画像に合成する。
【００１２】
まず、使用者はモニタ１０６上にメモリーカード１０７ａに保存してある画像を一覧表示し、その中からメイン画像とする画像を選択する。制御装置１０５は、使用者によって選択されたメイン画像をモニタ１０６に再生表示する。その後、使用者によって入力装置１０３が操作されキャプション画像の撮像開始が指示されると、文字が描かれた被写体の撮像を開始して後述する文字抽出処理を実行し、被写体に描かれた文字のみを抽出してメイン画像上に文字をスルー画表示する。これによって、使用者はモニタ１０６上で合成結果、特にキャプションの大きさや配置を確認しながら構図を決定することができる。
【００１３】
すなわち、使用者はメイン画像上に文字を写し込む位置を、モニタ１０６を見ながらデジタルカメラ１００と被写体との位置を変えて微調整することができる。また、文字の大きさを使用者が前後に移動したり、デジタルカメラのズーム機能を使用したりして調整することができる。そして、使用者が希望する構図で文字がメイン画像に合成されたと判断したときにレリーズボタンを押下すると、その時点でモニタ１０６に表示されている画像がメモリ１０４に一旦格納され、その後、制御装置１０５で所定の画像処理を行ってメモリーカードスロット１０７に挿入されたメモリーカード１０７ａに保存され、合成画像を得ることができる。
【００１４】
例えば、使用者によって図２（ａ）に示す画像がメイン画像として選択され、図２（ｂ）に示す「ＳＡＭＰＬＥ」という文字が描かれたキャプション画像から当該文字のみを抽出して合成する場合について具体的に説明する。この場合、使用者はまずモニタ１０６上に表示された図２（ａ）に示すメイン画像を確認しながら、図２（ｂ）に示すキャプション画像を撮像する。これによって、例えば図２（ｃ）に示すように、キャプション画像から後述する文字抽出処理によって「ＳＡＭＰＬＥ」の文字が抽出され、メイン画像上にスルー画表示される。
【００１５】
この状態で使用者はデジタルカメラ１００のズーム機能を使用してキャプション画像に対してズームインすることによって、図２（ｄ）に示すようにメイン画像上に表示される文字を拡大したり、ズームアウトすることによって、図２（ｅ）に示すようにメイン画像上に表示される文字を縮小したりすることができる。また、使用者がキャプション画像の撮像位置をずらすことによって、図２（ｆ）に示すようにメイン画像上に表示される文字の位置を調整することができる。
【００１６】
このように、ズームイン、ズームアウト、および撮像位置の変更を組み合わせて行うことによって、使用者はメイン画像上に好みの大きさ、および位置で文字をスルー画表示することができ、最終的に決定した状態でレリーズボタンを押下することによって、気に入った構図で合成画像を撮像することができる。
【００１７】
次に、「キャプション合成モード」選択時に、文字が描かれた被写体が撮像されたときに文字のみを抽出する文字抽出処理について説明する。メイン画像がモニタ１０６に再生表示された状態で、使用者によって入力装置１０３が操作されキャプション画像の撮像開始が指示されると、制御装置１０５は、露出制御の方法を平均測光方式に設定する。これによって、キャプション画像の背景部分を比較的安定して中間階調にすることができる。なお、分割測光方式とは、画面を複数の領域に分割し、被写体を分析した結果に基づいて露出を決定する方式であり、平均測光方式とは、画面全体を平均的に測光して露出を決定する測光方式である。
【００１８】
次に制御装置１０５は、Ａ／Ｄ変換してデジタル信号に変換した画像信号に基づいてヒストグラム（頻度分布）を作成する。一般的にＡ／Ｄ変換後の画像信号は赤Ｒ、緑Ｇ、および青Ｂの３つの信号で構成されている。本実施の形態においては、この３信号を１つの輝度信号と２つの色成分信号に変換する。本実施の形態では、ＲＧＢ信号を一般的な変換方法を用いてＬａｂ色空間に変換する。そして、Ｌａｂ色空間に変換した画像信号において、Ｌ、ａ、ｂの３成分について、それぞれ画像の各ピクセルに対して階調（信号レベル）ごとに出現頻度をカウントしたヒストグラムを作成する。
【００１９】
例えば、Ｌ成分のヒストグラムは、図３に示すように横軸に輝度階調、縦軸に頻度（出現回数）をとったヒストグラムとなる。したがって、画像の階調分解機能が８ビットであり、画素数が３００万画素である場合には、このヒストグラムの横軸は０〜２５５となり、各階調の縦軸の値を合計すると３００万となる。
【００２０】
このＬ成分について作成したヒストグラムを処理して、キャプション画像の輝度階調を補正する。抽出する文字が手書きで描かれたものである場合には、均等な濃度で描いたつもりでもムラができてしまう可能性が高いが、キャプション画像の輝度階調を補正することでキャプション画像における文字のムラを減少させることができる。具体的には以下のように処理してキャプション画像の輝度階調を補正する。
【００２１】
まず、図３に示すように、ヒストグラムを横軸方向に所定の等間隔で区切って符号３ａ〜３ｄに示す４つの区間に分割する。なお、本実施の形態では、区間３ａ〜３ｄのそれぞれに区間番号を付与し、各区間を第１〜第４の区間として定義する。また、第１〜第４の区間に４分割した場合について説明するが、この分割幅は細かいほど文字抽出の精度を上げることができる反面、細かいほど処理に時間がかかるため、双方のバランスを考慮して決定される。そして、区間３ａ〜３ｄのそれぞれの区間に属するピクセルの個数とヒストグラム全体における全ピクセルの個数の比率を次式（１）によってそれぞれ算出する。
【００２２】
各区間における比率  ＝  （各区間に属するピクセルの個数／全ピクセルの個数）  ・・・（１）
式（１）によって、図４に示すように全ピクセル個数に対する各区間のピクセル個数の比率が算出される。算出した各比率を予め設定した上限値、および下限値と比較して、上限値より大きいものは上限値に補正し、下限値より小さいものは下限値に補正する。本実施の形態では、上限値を０．５、下限値を０．１とし、図５に示すように補正する。すなわち、第１の区間の比率が上限値より大きいことから、第１の区間の比率を上限値である０．５にし補正し、第４の区間の比率が下限値より小さいことから、第４の区間の比率を下限値である０．１に補正する。
【００２３】
次に、補正した結果得られる各区間の比率の逆数を算出し、全ての区間における比率の逆数の和（逆数の和）に対する各区間の比率の逆数の比率（逆数の比率）を次式（２）により算出する。
逆数の比率  ＝  （１／各区間の比率）／逆数の和  ・・・（２）
例えば、第２の区間の逆数の比率は、次式（３）に示すように算出される。
（１／０．１２）／｛（１／０．５）＋（１／０．１２）＋（１／０．２）＋（１／０．1）｝＝０．３３  ・・・（３）
同様に、第１〜第４の区間の全ての区間に対して逆数の比率を算出し、図６に示す結果を得る。
【００２４】
そして、図７に示すように、式（２）により算出した各区間の逆数の比率を第１〜第４の区間の順に累積して、各区間における逆数の比率の累積値ｔｎを算出する。ここで、累積値ｔｎにおいて、ｎは区間番号を表しており、ｔｎが取り得る値の範囲は０．０≦ｔｎ≦１．０である。また、ｔ０＝０である。次に、各階調区間を区間番号ｎに応じて次のように定義する。すなわち、Ｍ階調をｎ等分して各区間に分割した場合、区間ｎを階調ｓｎ−１以上ｓｎ未満と定義する。なお、ｓ０＝０である。
【００２５】
このとき、入力階調をｘ、出力階調をｙとすると、任意の階調区間ｎ（ｓｎ−１≦ｘ＜ｓｎ）における補正関数は、次式（３）によって算出される。
ｙ＝ａ・ｘ＋ｂ  ・・・（３）
式（３）において、変数ａおよびｂは次式（４）および（５）によって算出される。
ａ＝（ｔｎ−ｔｎ−１）・Ｍ／ｓｎ−ｓｎ−１  ・・・（４）
ｂ＝ｔｎ・Ｍ−ａ・ｓｎ  ・・・（５）
【００２６】
したがって、上述したように階調区間を４等分した場合には、Ｍ＝２５６であり、Ｓ０＝０、Ｓ１＝６４、Ｓ２＝１２８、Ｓ３＝１９２、Ｓ４＝２５６となることから、式（３）〜（５）により、第１〜第４の区間における補正関数は、次式（６）〜（９）のようになる。
第１区間の補正関数：ｙ＝０．３２・ｘ  ・・・（６）
第２区間の補正関数：ｙ＝１．３２・ｘ＋（−６４）  ・・・（７）
第３区間の補正関数：ｙ＝０．８・ｘ＋２．５６  ・・・（８）
第４区間の補正関数：ｙ＝１．５６・ｘ＋（−１４３．３６）  ・・・（９）
【００２７】
例えば、ある画素が１３８という輝度階調の場合、この画素は第３の区間に属するので、第３の区間の補正関数、すなわち式（８）を適用し、ｙ＝０．８・１３８＋２．５６＝１１２．９６に補正される。このような補正関数を適用した補正処理を全ての画素に対して実行してキャプション画像の輝度階調を補正する。これによって、図８に示すように出現頻度が高い輝度階調が圧縮され、ヒストグラムにおける山の部分が強調されることになる。
【００２８】
上述した処理によって階調補正を行ったＬ成分のヒストグラムに基づいて公知の技術であるルミナンスキー処理を実行して画像上の文字である可能性が高い階調と、背景である可能性が高い階調とを判定する。具体的には、図９に示すように、Ｌ成分のヒストグラムにおいて最も頻度の分布が高い階調の範囲、すなわちグラフ上で最も高い山が含まれる階調の範囲を検出する。一般的には、文字が描かれた画像上では背景の面積が文字が占める面積よりも大きいことを考慮して、検出した最も頻度分布が高い階調の範囲は背景である可能性が高いと判断し、図９に示すように、この範囲をＯＦＦ、それ以外の範囲をＯＮと判定する。そして、ＯＮの範囲に含まれる画素を１、ＯＦＦの範囲に含まれる画素を０とした２値画像を作成する。
【００２９】
なお、ヒストグラム上の最も頻度の分布が高い階調の範囲は以下のように検出する。まず、頻度が所定の閾値以上の階調と、所定の閾値以下の階調とに分類する。そして、頻度が所定の閾値以上であった階調において、それぞれ連続している階調をグルーピングして、複数のグループに分類する。分類した各グループごとに、そのグループ内の全階調の頻度を積算し、積算値が最大となるグループに属する階調の範囲を最も頻度の分布が高い階調の範囲として検出する。
【００３０】
次に、ａ成分のヒストグラム、およびｂ成分のヒストグラムに基づいて公知の技術であるクロマキー処理を実行して画像上の文字である可能性が高い色階調と、背景である可能性が高い色階調とを判定する。例えば、ａ成分のヒストグラムが図１０に示すように作成された場合には、ヒストグラム上で最も頻度の分布が高い階調の範囲を検出して、この範囲をＯＦＦ、それ以外の範囲をＯＮと判定する。そして、ＯＮの範囲に含まれる画素を１、ＯＦＦの範囲に含まれる画素を０とした２値画像を作成する。また、ｂ成分のヒストグラムが図１１に示すように作成された場合には、同様にヒストグラム上で最も頻度の分布が高い階調の範囲を検出して、この範囲をＯＦＦ、それ以外の範囲をＯＮと判定し、ＯＮの範囲に含まれる画素を１、ＯＦＦの範囲に含まれる画素を０とした２値画像を作成する。
【００３１】
キャプション画像の各画素に対して、上述した処理によって作成したＬ成分に基づく２値画像、ａ成分に基づく２値画像、およびｂ成分に基づく２値画像の全てにおいて１となる画素を１（ＯＮ）、それ以外の画素を０（ＯＦＦ）としたマスク画像を作成する。このマスク画像をキャプション画像に適用することによって、キャプション画像内から文字が含まれる画素のみを抽出することができる。そして、モニタ１０６に再生表示したメイン画像の該当する画素を、抽出した文字が含まれる画素で上書きすることによって、メイン画像上にキャプション画像内の文字を鮮明にスルー画として表示することができる。
【００３２】
図１２は、本実施の形態におけるデジタルカメラ１００による処理を示すフローチャートである。図１２に示す処理は、使用者によってデジタルカメラの電源がオンされると起動するプログラムとして制御装置１０５によって実行される。ステップＳ１０において、使用者によって撮影モードとして「メイン画像撮影モード」と「キャプション合成モード」のいずれが選択されたかを判断する。使用者によって「メイン画像撮影モード」が選択されたと判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、露出制御の方式を例えば分割測光方式に設定して、ステップＳ３０へ進む。
【００３３】
ステップＳ３０では、上述したように被写体のスルー画を撮像してメモリ１０４に記憶し、モニタ１０６に表示する。その後、ステップＳ４０へ進む。ステップＳ４０では、使用者によってレリーズボタンが押下されたか否かを判断する。使用者によってレリーズボタンが押下されたと判断した場合にはステップＳ５０へ進み、現在モニタ１０６に表示されているスルー画像を撮像してステップＳ６０へ進む。ステップＳ６０では撮像した画像をメモリ１０４に一旦格納し、制御装置１０５で所定の画像処理を行った後、メモリーカードスロット１０７に挿入されたメモリーカード１０７ａに保存する。その後、後述するステップＳ１６０へ進む。
【００３４】
一方、使用者によって「キャプション合成モード」が選択されたと判断した場合には、ステップＳ７０へ進む。ステップＳ７０では、露出制御の方式を平均測光方式に設定して、ステップＳ８０へ進む。ステップＳ８０では、使用者によってキャプションを合成するメイン画像が選択されたか否かを判断する。使用者によってメイン画像が選択されたと判断した場合には、ステップＳ９０へ進む。ステップＳ９０では、使用者によって選択されたメイン画像をモニタ１０６に表示してステップＳ１００へ進む。
【００３５】
ステップＳ１００では、使用者によってキャプション画像の撮像開始が指示されたか否かを判断する。キャプション画像の撮像開始が指示されたと判断した場合にはステップＳ１０１へ進み、キャプション画像の撮像を開始してステップＳ１１０へ進む。ステップＳ１１０では、図１３により後述する文字抽出処理を実行してステップＳ１２０へ進む。ステップＳ１２０では、モニタ１０６に表示されたメイン画像上に、文字抽出処理で抽出した文字を表示してステップＳ１３０へ進む。
【００３６】
ステップＳ１３０では、使用者によってレリーズボタンが押下されたか否かを判断する。使用者によってレリーズボタンが押下されないと判断した場合には、ステップＳ１１０へ戻り、微小な所定時間間隔で文字抽出処理を実行して抽出した文字をメイン画像上にスルー画表示する。一方、使用者によってレリーズボタンが押下されたと判断した場合にはステップＳ１４０へ進み、現在モニタ１０６に表示されている画像、すなわちメイン画像上の任意の位置に文字のスルー画像が合成された合成画像を撮像してステップＳ１５０へ進む。
【００３７】
ステップＳ１５０では撮像した合成画像をメモリ１０４に一旦格納し、制御装置１０５で所定の画像処理を行った後、メモリーカードスロット１０７に挿入されたメモリーカード１０７ａに保存してステップＳ１６０へ進む。ステップＳ１６０では、使用者によってデジタルカメラ１００の電源がオフされたか否かを判断する。使用者によってデジタルカメラ１００の電源がオフされないと判断した場合には、ステップＳ１０に戻って処理を繰り返す。一方、使用者によってデジタルカメラ１００の電源がオフされたと判断した場合には、処理を終了する。
【００３８】
次に、ステップＳ１１０で実行される文字抽出処理について説明する。図１３は、文字抽出処理の流れを示すフローチャートである。ステップＳ２１０において、キャプション画像のＲＧＢ信号を一般的な変換方法を用いてＬａｂ色空間に変換する。その後、ステップＳ２２０へ進み、Ｌ、ａ、ｂの３成分について、上述したようにヒストグラムを作成して、ステップＳ２３０へ進む。
【００３９】
ステップＳ２３０では、上述したようにＬ成分のヒストグラムであるか否かによって処理が異なるため、処理対象のヒストグラムがＬ成分のヒストグラムであるか否かを判断する。処理対象のヒストグラムがＬ成分のヒストグラムであると判断した場合には、ステップＳ２４０へ進む。ステップＳ２４０では、上述したＬ成分のヒストグラムに対して階調補正処理を実行して、輝度レベルの入出力関係を圧縮する。その後、ステップＳ２５０へ進み、階調補正処理を行った結果のヒストグラムに対して上述したルミナンスキー処理を実行してキャプション画像の輝度分布に基づいた２値画像を得る。その後、後述するステップＳ２７０へ進む。
【００４０】
一方、処理対象のヒストグラムがＬ成分のヒストグラムでないと判断した場合には、ステップＳ２６０へ進む。ステップＳ２６０では、ａ、およびｂ成分のヒストグラムに対して上述したクロマキー処理を実行してキャプション画像の色分布に基づいた２値画像を得る。その後、ステップＳ２７０へ進む。ステップＳ２７０では、キャプション画像の輝度分布に基づいた２値画像、および色分布に基づいた２値画像に基づいて、マスク画像を作成する。その後、ステップＳ２８０へ進み、キャプション画像にマスク画像を適用してキャプション画像から文字のみを抽出する。その後、図１２に示す処理に復帰する。
【００４１】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）画像を合成するに当たっては、メイン画像を表示した後、メイン画像内にキャプション画像から抽出した文字をスルー画表示して使用者が任意のタイミングでレリーズボタンを押下することによって、その時点でモニタ１０６に表示されている画像を合成画像として保存することとした。これによって、使用者はモニタ１０６に表示された合成結果を確認しながら構図を決定することができるため、モニタ１０６を見ながらデジタルカメラ１００と被写体との位置を変えてメイン画像上の文字を写し込む位置を微調整したり、使用者が前後に移動したり、デジタルカメラのズーム機能を使用したりして文字の大きさを調整することができる。
（２）キャプション画像のＲＧＢ信号を一般的な変換方法を用いてＬａｂ色空間に変換した後、Ｌ、ａ、ｂの３成分についてヒストグラムを作成した結果に基づいて、キャプション画像に含まれる文字のみを抽出するようにした。これによって、キャプション画像がカラー画像であってもきれいに文字を抽出することができる。
【００４２】
（３）「キャプション合成モード」選択時には露出制御の方法を平均測光方式に変更するようにした。これによって、これによって、キャプション画像の背景部分を比較的安定して中間階調にすることができる。
（４）「キャプション合成モード」選択時に、Ｌ成分について作成したヒストグラムを処理して、キャプション画像の輝度階調を補正するようにした。これによって一般的に文字が手書きで描かれたものである場合には、均等な濃度で描いたつもりでもムラができてしまう可能性が高いが、これを防止してキャプション画像における文字のムラを減少させることができる。
【００４３】
―変形例―
なお、上述した本実施の形態のデジタルカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、キャプション画像のＲＧＢ信号を一般的な変換方法を用いてＬａｂ色空間に変換して、Ｌ、ａ、ｂの各成分についてヒストグラムを作成する例について説明した。しかしこれに限定されず、キャプション画像のＲＧＢ信号を一般的な変換方法を用いてＹＣｂＣｒ色空間に変換し、Ｙ、Ｃｂ、Ｃｒの各成分についてヒストグラムを作成してもよい。この場合には、Ｙに対して階調補正処理を実行した後、ルミナンスキー処理を実行し、Ｃｂ、およびＣｒに対してクロマキー処理を実行して、マスク画像を得ることができる。
【００４４】
（２）上述した実施の形態では、ヒストグラム上の最も頻度の分布が高い階調の範囲を検出するに当たって、ヒストグラムの横軸方向（階調方向）に変化量を微分し、変化量が０付近の階調における頻度が所定値以上である範囲を最も頻度の分布が高い階調の範囲として検出する例について説明した。しかしこれに限定されず、その他のアルゴリズムによって最も頻度の分布が高い階調の範囲を検出してもよい。
【００４５】
（３）上述した実施の形態では、モニタ１０６に表示したメイン画像上にキャプション画像から抽出した文字をスルー画を合成して表示し、使用者によってレリーズボタンが押下されるとモニタ１０６に表示されている画像を撮像画像として記憶する例について説明した。しかし、一般的にキャプション画像から文字を抽出するために実行したヒストグラムの作成や階調補正処理は処理時間がかかるため、メイン画像上にキャプション画像から抽出した文字をスルー画を合成して表示することは、カメラの性能によっては困難な場合がある。
【００４６】
したがって、キャプション画像撮像時には、例えば図１４に示すようにメイン画像とキャプション画像をそれぞれピクセル単位で間引いたものを重ね合わせて表示することで、メイン画像上にキャプション画像をスルー画表示させるようする。すなわち、メイン画像とキャプション画像とを所定の画素間隔ごとに交互にモニタに表示する。そして、使用者によってレリーズボタンが押下されると上述した文字抽出処理を行ってメイン画像にキャプション画像から抽出された文字を合成して記憶してもよい。これによって、合成後の画像の構図を確認できるようにしながらも、キャプション画像のスルー画表示時には画像の合成を行わないため、処理時間を短縮することができる。
【００４７】
（４）上述した実施の形態では、メイン画像にキャプション画像から抽出した文字を合成する例について説明したが、これに限定されず、例えばキャプションとして絵や記号などをメイン画像に合成するようにしてもよい。
【００４８】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００４９】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。撮像素子１０２は撮像手段に、制御装置１０５は抽出手段、合成画像生成手段、画像合成制御手段、表示制御手段、記憶制御手段、画像信号変換手段、ヒストグラム作成手段、階調補正手段、およびマスク画像作成手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００５０】
【図１】デジタルカメラの一実施の形態の構成を示すブロック図である。
【図２】メイン画像にキャプションを合成する場合の具体例を示した図である。
【図３】作成したヒストグラムを分割した結果を示す図である。
【図４】全ピクセル個数に対する各区間のピクセル個数の比率を算出した結果を示す図である。
【図５】各区間の比率を上限値、下限値を用いて補正した結果を示す図である。
【図６】全ての区間に対して逆数の比率を算出した結果を示す図である。
【図７】各区間の逆数の比率を累積した結果を示す図である。
【図８】階調補正処理実行後のＬ成分のヒストグラムを示す図である。
【図９】Ｌ成分のヒストグラムに対してルミナンスキー処理を実行した場合の具体例を示す図である。
【図１０】ａ成分のヒストグラムに対してクロマキー処理を実行した場合の具体例を示す図である。
【図１１】ｂ成分のヒストグラムに対してクロマキー処理を実行した場合の具体例を示す図である。
【図１２】デジタルカメラ１００による処理を示すフローチャート図である。
【図１３】文字抽出処理の流れを示すフローチャート図である。
【図１４】メイン画像とキャプション画像をそれぞれピクセル単位で間引いて重ね合わせた場合の具体例を示す図である。
【符号の説明】
【００５１】
１００  デジタルカメラ
１０１  レンズ
１０２  撮像素子
１０３  入力装置
１０４  メモリ
１０５  制御装置
１０６  モニタ
１０７  メモリーカードスロット
１０７ａ  メモリーカード
【図１】
2006157606.tif 000003
【図２】
2006157606.tif 000004
【図３】
2006157606.tif 000005
【図４】
2006157606.tif 000006
【図５】
2006157606.tif 000007
【図６】
2006157606.tif 000008
【図７】
2006157606.tif 000009
【図８】
2006157606.tif 000010
【図９】
2006157606.tif 000011
【図１０】
2006157606.tif 000012
【図１１】
2006157606.tif 000013
【図１２】
2006157606.tif 000014
【図１３】
2006157606.tif 000015
【図１４】
2006157606.tif 000016