(57)【要約】【課題】簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供する。【解決手段】、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出する光点抽出部４と、光点部における明るさを順次変化させた合成用画像を生成する合成用画作成部５ｂと、光点部における明るさを周囲と同じにした背景画像を生成する背景作成部５ａと、背景画像に合成用画像を合成する合成制御部７を具備する。【選択図】  図１
2010041176.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出する光点検出部と、
上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成する画像合成部と、
を具備したことを特徴とする画像再生装置。
【請求項２】
上記光点検出部は、上記撮影画像の検出位置を変えながら、複数の光点を検出し、
上記画像合成部は、上記複数の光点の明るさを変化させ、上記撮影画像に対して画像合成を行うことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
隣接する画像内位置の明るさを比較し、
明るさが明るい方向に大きく変換する第１の画像内位置と、この第１の画像内位置に隣接し、明るさが暗い方向に変換する第２の画像内位置を検出することによって、光点を検出し、
上記画像内における、上記第２の画像内位置の数に基づいて夜景であるか否かを判定し、
上記画像が夜景であると判定された場合には、上記光点の明るさを、順次切り換えて表示する
ことを特徴とする画像再生方法。
【請求項４】
画像内の光点の場所と色を検知する光点検出部と、
上記光点検出部によって得られた場所と色の関係を、逐次変更して表示する表示部と、
を具備したことを特徴とする画像再生装置。
【請求項５】
撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出する光点検出部と、
上記光点部における明るさを順次変化させた合成用画像を生成する合成用画像生成部と、
上記光点部以外の場所における明るさを所定値にした背景画像を生成する背景画像生成部と、
上記背景画像に上記合成用画像を合成する画像合成部と、
を具備したことを特徴とする画像再生装置。
【請求項６】
撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出し、
上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成する、
ことを特徴とする画像再生方法。
【請求項７】
撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出するステップと、
上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成するステップと、
コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置、画像再生方法、およびプログラムに関し、詳しくは、デジタルカメラやビデオカメラ等の撮影装置によって撮影した夜景等の画像を効果的に再生する画像再生装置、画像再生方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラ等によるデジタル画像の撮影や画像処理技術が向上し、デジタルカメラとビデオカメラの境界がなくなりつつあり、大量の画像を取り扱うことが容易になってきている。また、カメラは単に撮影するだけの機器であったが、画像信号がデジタル化されることにより、パーソナルコンピュータやテレビ等の多くの機器の間でデータの受け渡しが簡単になってきている。
【０００３】
このように、デジタルカメラやビデオカメラ等の撮影装置で取得した画像の再生環境は、多様化している。しかし、これまでの再生装置では、撮影した画像をそのまま再生するような場合が多く、プロが丁寧に撮影、編集した画像と比較すると、はなはだ見劣りするものが多かった。
【０００４】
そこで、静止画で撮影した画像に動的効果を加えることで見栄えのよい再生画像を得られるようにした画像処理装置が提案されている。例えば、特許文献１には、静止画に動的処理を施すにあたって、記憶を小容量で済むようにするために、静止画のファイルと動画を生成するための画像オブジェクトをそれぞれ別に記憶し、再生時に両者を合成することにより動画像を生成する画像処理装置が開示されている。
【特許文献１】特開２００６−１３３８９７号公報
【０００５】
また、特許文献２には、写真立ての装飾としてエレクトロルミネッセンスシートを前面に配置し、エレクトロルミネッセンスランプを点灯または点滅させるようにした装飾品が開示されている。
【特許文献２】特開２００２−１４００２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に示されるように、静止画に動画の動きを付加し、楽しめる再生画像とすることは従来から、種々提案されている。しかし、このような編集作業は面倒であり、一般のユーザーにとって困難であった。また、夜景等の静止画像において、窓等の明かりを点滅させることにより、動的要素を加えることを考えた場合、特許文献２に開示の装飾品では、エレクトロルミネセンス等が点滅するが、写真全体をきらきらさせるだけであり、不自然である。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、簡単な操作でテレビ等での鑑賞にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係わる画像再生装置は、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出する光点検出部と、上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成する画像合成部と、を具備する。
【０００９】
第２の発明に係わる画像再生装置は、上記第１の発明において、上記光点検出部は、上記撮影画像の検出位置を変えながら、複数の光点を検出し、上記画像合成部は、上記複数の光点の明るさを変化させ、上記撮影画像に対して画像合成を行う。
【００１０】
第３の発明に係わる画像再生装置は、上記第１の発明において、隣接する画像内位置の明るさを比較し、明るさが明るい方向に大きく変換する第１の画像内位置と、この第１の画像内位置に隣接し、明るさが暗い方向に変換する第２の画像内位置を検出することによって、光点を検出し、上記画像内における、上記第２の画像内位置の数に基づいて夜景であるか否かを判定し、上記画像が夜景であると判定された場合には、上記光点の明るさを、順次切り換えて表示する。
【００１１】
第４の発明に係わる画像再生装置は、画像内の光点の場所と色を検知する光点検出部と、上記光点検出部によって得られた場所と色の関係を、逐次変更して表示する表示部と、を具備する。
【００１２】
第５の発明に係わる画像再生装置は、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出する光点検出部と、上記光点部における明るさを順次変化させた合成用画像を生成する合成用画像生成部と、上記光点部以外における場所の明るさを所定値にした背景画像を生成する背景画像生成部と、上記背景画像に上記合成用画像を合成する画像合成部と、を具備する。
【００１３】
第６の発明に係わる画像再生方法は、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出し、上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成する。
【００１４】
第７の発明に係わるプログラムは、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出するステップと、上記光点部における明るさを順次変化させた画像を、上記撮影画像に合成するステップと、コンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、簡単な操作でテレビ等での再生にも耐えられるような画像を再生できる画像再生装置、画像再生方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態に係わるカメラ１０はデジタルカメラであり、静止画や動画を撮影し、画像データを記録媒体に記録することができる。また、再生にあたっては、静止画像の中で明るさが変化する部分を抽出し、この変化部分を撮影画像に合成し、明るさが繰り返し変化する合成画像を再生表示することが可能である。これによって、従来通りの写真撮影になれたカメラユーザーが、これまで通りの簡単な操作で撮影でき、しかも、テレビ等の外部機器と接続し鑑賞する場合にも耐えられる内容の画像を得ることができる。
【００１７】
本実施形態に係わるカメラ１０の構成を説明するに先立って、本発明に係わる画像再生装置を搭載したカメラ１０における画像再生の考え方を、図２および図３を用いて説明する。
【００１８】
最近のデジタルカメラ等の撮影装置では、カメラ内蔵の液晶や有機ＥＬ等の表示部に、または、出力部を介して接続されたテレビやパーソナルコンピュータ等の外部表示装置に、撮影前や撮影後の画像を簡単に表示することができる。
【００１９】
また、最近のデジタルカメラ等の撮影装置では、動画撮影なども簡単に行うことができる。しかし、一般の人には他人に見せるほどの作品を動画で撮影することは困難である。それに対して、静止画は、撮影した瞬間を作品化するという効果があるので、撮影した時点で完成したものとなり、それ以上の手間が不要である。
【００２０】
しかし、図３に示すように、大画面テレビ等で画像を再生表示する場合には、全く何も変化しない画像では単調で飽きてしまうので、いくらか変化があった方がよい。例えば、図２に示すような夜景などであれば、窓の明かりの光のきらめき３１ａ、３１ｂ、３１ｃなどがあれば、夜景の雰囲気を醸し出すことができる。
【００２１】
本実施形態においては、図２（ａ）に示すような静止画を元に、窓の明かりなどの光点部を検出し、この光点部の明かりを、図２（ａ）→（ｂ）→（ｃ）と、順次、点滅させることにより、光のきらめき３１ａ、３１ｂ、３１ｃを演出するようにしている。人工的な光はいかようにも変化しうるので、窓の明かりの色を変化させる等、多少の脚色効果は、何度繰り返されても違和感がない。
【００２２】
このように、静止画であってあまり大きな変化がない画像でありながら、テレビ２０等の画面に表示し続けても（図３参照）、光点のみが動画風に合成され、夜景等の画像中の明かりが変化することにより、窓の外の風景がそのまま写っているような再生が可能となる。
【００２３】
このような考え方にしたがって、本実施形態における画像再生装置では、撮影時点で完成された静止画に対して、図２に示すように、夜景の明かりの変化だけを、不自然にならないように、付与して表示する。なお、撮影と同時に、集音部で街の喧騒等の音声を記録しておき、再生表示の際に、繰り返し再生するようにしてもよい。
【００２４】
次に、上述した画像を再生表示できるカメラの構成について説明する。図１は、第１実施形態に係わるカメラ１０の電気的構成を示すブロック図である。カメラ１０は、制御部１、撮影部２、ストロボ２ａ、記録部３、圧縮保存部３ｂ、光点抽出部４、背景作成部５、合成用画作成部５ａ、集音部６、合成制御部７、出力部８、液晶表示部８ａ、操作部９を有している。
【００２５】
制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、プログラムに従って全体制御を行う。撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。なお、この撮影部２は静止画、動画（連写も含む）の画像データを出力可能である。
【００２６】
集音部６は、マイク等によって音声を電気信号に変換し、音声信号を出力する。記録部３は、制御部１からの制御信号に応じて、撮影部２から出力される静止画、動画の画像データを記録する。また、画像データの記録に併せて、集音部６から出力される音声データの記録も行う。
【００２７】
光点抽出部４は、記録部３に記録された静止画の画像データの中から人工光源による光の部分を抽出する。すなわち、この光点抽出部４は、夜景等、背景が暗い画像の中から、窓の明かりやネオンサイン等、部分的・局所的に明るい部分（光点部）を抽出する。合成用画作成部５ｂは、光点抽出部４によって抽出された光点部に基づいて、この光点部の明るさや色等を変化させた複数の画像を、合成用画像として生成する。背景作成部５ａは、光点抽出部４によって光点部を抽出された元の画像から、光点部の部分を塗りつぶした背景画像を生成する。
【００２８】
合成制御部７は、背景作成部５ａによって生成された背景画像に、合成用画作成部５ｂによって生成された合成用画像を切り換えながら重ね、図２（ａ）〜（ｃ）に示すような画像を生成する。すなわち、合成用画作成部５ｂは、画面内の光点部の明るさや色を順次変化させた複数の合成用画像を生成するので、合成制御部７は、これら複数の合成用画像を順次、合成する。圧縮保存部３ｂは、記録部３で記録される画像データを圧縮保存し、また、合成制御部７において合成された画像データを圧縮し、これを保存する。
【００２９】
出力部８は、記録部３に記録された静止画、動画をテレビ等の外部表示装置に出力し、また液晶表示部８ａに出力する。また、合成制御部７において合成された画像も外部表示装置や液晶表示部８ａに出力する。外部表示装置としては、例えば、薄型のテレビ２０等であり、外部表示装置へは有線接続以外にも、赤外線や電波で出力してもよく、また無線ＬＡＮ等によって、特定のサーバーに送信するようにしてもよい。
【００３０】
液晶表示部８ａは、カメラ１０上に設けられており、記録部３の記録画像を再生表示し、撮影前に被写体像をライブビュー表示する。また、合成制御部７による合成画像を再生表示する。また、撮影前の撮影部２からの画像データを用いて（この場合には、光点抽出部５ｂ、背景作成部５ａは記録部３に記録される前の画像データを記録部３を経由して取得し画像処理する）、合成制御部７によって合成処理を行い、光点部が変化する画像を表示する。撮影前に合成処理を行った場合の画像を表示することにより、撮影を楽しむことができる。
【００３１】
操作部９は、レリーズ釦や、メニュー釦等の操作部材を含み、ユーザーが操作部９を操作すると、制御部１は操作に応じて各部に制御信号を出力する。ストロボ２ａは、被写体に対して照明光を照射する人工照明装置である。
【００３２】
次に図４乃至図７を用いて、本実施形態における画像合成のプロセスについて説明する。図４（ａ）は、撮影した夜景の一例を示している。夜景の場合には、全体的に暗く、明るい部分（光点部３２）と暗い部分の差異が大きく、明るい部分（光点部３２）が光点のように浮き出して点在している。
【００３３】
図４（ｂ）は、図４（ａ）に示した夜景の画像について、図中の横線３５に沿って得られた位置と明るさの部分をグラフ化したものである。窓の明かりは最も明るく、ピーク（Ｂｍａｘ）をなし、建物や空は比較的に暗くなっている。このように、平均の明るさＢａｖが低く、明暗の変化が大きく、明るい部分が比較的、少ないことが夜景画像の特徴である。
【００３４】
つまり、明るい部分の幅を、図４（ｂ）に示すように、仮にＡｂｍとすると、多くの場合、明暗の繰り返しの幅の中で限定された部分であることが多い。建物のうち、窓の面積が一般的に小さいためと思われる。勿論、近年、デザイン上、前面ガラス張りのような建物もあるが、このような建物であっても、部屋ごとの照明の違いによって、同様のパターンが見られる。
【００３５】
ここでは説明を容易にするために、横線３５に沿って画面を横切っている場合について説明するが、縦に切って判定すると、ビルなどの場合、階と階との間は暗く、窓の部分は明るいといった夜景特有の特徴があり、横切った場合と同様に判定することができる。
【００３６】
このように、急激に明るくなっている光点部３２のみを、光点抽出部４によって抽出すると、図５に示すような画像を得ることができる。また、逆に光点部３２の明るさのデータを、背景作成部５ａによって最小にすると、図６に示すように、明かりのない画像を得ることができる。したがって、図６と図５に示す画像について、画素ごとに比較し、明るいほうを採用すれば、元の夜景の画像を得ることができる。この時、光点抽出部４の抽出結果により各光点の明るさを、図７のように合成用画作成部５ｂによって変化させると、合成制御部７は、図２（ａ）〜（ｃ）の画像を生成することができる。
【００３７】
次に、図４乃至図７において説明した画像合成を実行する合成制御部７の具体的な構成について図８を用いて説明する。合成制御部７は、ゲイン付与部７ａ、乗算器７ｂ、７ｃ、および加算器７ｄから構成される。
【００３８】
すなわち、乗算器７ｂは背景作成部５ａの出力とゲイン付与部７ａの出力に接続され、これらの乗算結果を加算器７ｄに出力するように接続される。乗算器７ｃはゲイン付与部７ａの出力と合成用画作成部５ｂの出力に接続され、乗算結果を加算器７に出力するように接続される。ゲイン付与部７ａは、合成用画作成部５ｂの出力に接続され、この合成用画作成部５ｂの出力に基づいてゲイン生成し、このゲインを乗算器７ｂ、７ｃに出力するように接続される。
【００３９】
加算器７ｄは乗算器７ｂ、７ｃからの各出力を入力するように接続され、これらの加算結果を出力部８に出力するように接続される。なお、背景作成部５ａと合成用画作成部５ｂは、記録部３から夜景画像の画像データを入力し、それぞれ、背景画像と合成用画像を生成する。夜景画像は、記録部３に記録されている画像であるが、記録前に撮影部２から出力される夜景画像の画像データであっても良い。
【００４０】
次に、このように構成された合成制御部７の動作を説明する。記録部３に記録されている夜景画像に基づいて背景画像を生成し、この背景画像の画像データを合成制御部７の一方に入力する。また、夜景画像に基づいて合成用画像が生成され（図７（ａ）〜（ｃ））、合成制御部７の他方に入力する。
【００４１】
合成用画作成部５ｂから出力される合成用画像は、前述の図７に示すような画像であり、光点（図中、白っぽい部分）の部分以外は最小値となっている。この合成用画作成部５ｂから出力される画像データを用い、各画素ごとに順次、乗算器７ｃとゲイン付与部７ａに入力される。
【００４２】
ゲイン付与部７ａは、合成用画像５ｂの各画素のデータに基づいて、ゲインを変化させる。すなわち、光点ではない部分については、画像データは最小値とされている。画像データが最小値となっている場合には、乗算器７ｃのゲインは０とし、乗算器７ｂのゲインは１とする。一方、光点部分については、乗算器７ｃのゲインを１とし、乗算器７ｂのゲインは０とし、光点部分を強調するような制御を行う。
【００４３】
合成用画作成部５ｂから画像データを順次入力すると、出力部８には、代表画像５ａに光点部分が逐次合成され、図７（ａ）〜（ｃ）に示すように、あたかも窓の明かり等が点滅しているような画像が出力される。この再生にあたっては、もとの静止画の画像データのみで済み、擬似的な動画を生成するための多数の画像データを必要としない。
【００４４】
次に、このような再生表示を可能としたカメラのカメラ制御の動作を、図９に示すフローチャートを用いて説明する。
【００４５】
カメラ制御のフローに入ると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードか再生モードの２つのモードが設定可能である。ステップＳ１の判定の結果、撮影モードであった場合には、レリーズ操作がなされたか否かの判定を行う（Ｓ２）。このステップでは、操作部９内のレリーズ釦が操作されたか否かを判定する。
【００４６】
ステップＳ２における判定の結果、レリーズでなかった場合には、ステップＳ１に戻り、前述の動作を行う。一方、判定の結果、レリーズされた場合には、撮影を開始する（Ｓ３）。ここで、撮影は、撮影部２によってなされる静止画撮影や、動画撮影であり、静止画か動画かはメニューモード等によってユーザーが予め適宜設定しておく。続いて、集音も開始する（Ｓ４）。集音は集音部６によって行われる。次に、記録動作を行う（Ｓ５）。ステップＳ３およびＳ４により撮影と集音が開始されているので、このステップＳ５において画像と音声の記録を行う。
【００４７】
画像と音声の記録を開始すると、次に、動体撮影か否かの判定を行う（Ｓ６）。設定されている撮影モードに基づいて判定してもよい。ステップＳ６における判定の結果、動体撮影でなかった場合には、静止画の撮影を行う（Ｓ８）。
【００４８】
ステップＳ８における静止撮影を行うと、またはステップＳ６における判定の結果、動体撮影であった場合には、次に、撮影終了か否かの判定を行う（Ｓ７）。動画撮影の場合には、最初にレリーズ釦が操作されると、動画撮影が開始され、次にレリーズ釦が操作されると、動画撮影が終了する。したがって、このステップでは、再び、レリーズ釦が操作されたか否かを判定する。なお、静止画の場合には、静止画撮影そのものはステップＳ８で終了するが、このステップＳ７は、集音動作を終了するか否かの判定である。
【００４９】
ステップＳ７の判定の結果、撮影終了でなかった場合には、ステップＳ５に戻り、動体撮影や音声記録を続行する。一方、ステップＳ７における判定の結果、撮影終了であった場合には、撮影と音声記録を終了する（Ｓ９）。終了すると、再び、ステップＳ１に戻る。
【００５０】
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードが否かの判定を行う（Ｓ１１）。この判定の結果、再生モードでない場合には、ステップＳ１に戻る。一方、判定の結果、再生モードであった場合には、画像選択を行う（Ｓ１２）。このステップでは、例えば、サムネイル表示を行い、ユーザーによって選択された画像を再生候補とする。
【００５１】
続いて、テレビ出力を行うか否かの判定を行う（Ｓ１３）。テレビ出力か否かは、メニューモードの設定状態により判定する。このステップＳ１３における判定の結果、テレビ出力であった場合には、合成準備を行う（Ｓ１４）。合成準備では、図６に示すような静止画像から変化しない背景画像（第１画像）と、図７に示すような光点部を表した合成用画像（第２画像）を生成するフローである。この合成準備のサブルーチンについては、図１０を用いて後述する。
【００５２】
合成準備を行うと、次に、夜景画像か否かの判定を行う（Ｓ１５）。夜景画像か否かの判定は、ステップＳ１４の合成準備のサブルーチンの中で、夜景と判断された場合には、夜景判定がなされる。なお、図４で説明したような画像の明るさ分析を行い、図６及び図７で説明したような画像の生成過程において、夜景か否かの判定を行うことができる。
【００５３】
ステップＳ１３およびＳ１５の２つの条件のいずれかを満たさない場合には、通常再生を行う（Ｓ１９）。この通常再生では、撮影された画像をそのまま再生する。すなわち、静止画であれば、そのまま静止画で再生し、また動画であればそのまま動画で再生する。
【００５４】
一方、ステップＳ１３およびＳ１５の２つの条件を両方とも満たした場合には、合成表示を開始する（Ｓ１６）。このステップでは、前述したように、光点を表した複数の合成用画像（第２画像）を順次生成し、これに背景画像（第１画像）を合成して再生表示する。この合成表示のサブルーチンは、図１１を用いて後述する。
【００５５】
なお、合成表示の開始に伴って、ステップＳ４〜ステップＳ９の間で集音した音声を再生してもよい。この場合、音声は特に処理を行わず、撮影期間に得られたものを繰り返し再生する。クラクションや電車の通る音などがなく、定常的な町のざわめきなどであれば、繰り返し再生してもよい。
【００５６】
次に、再生終了か否かの判定を行う（Ｓ１７）。このステップでは操作部９内の再生操作部材が操作されたか否かを判定する。この判定の結果、再生終了でなかった場合には、ステップＳ１６に戻り、合成画像による再生動作を続行する。ステップＳ１７における判定の結果、再生終了であった場合には、合成動画ファイル化する（Ｓ２１）。
【００５７】
このステップＳ２１では、ステップＳ１６からＳ１７において合成された合成動画のファイルを作成する。この合成動画ファイルを、例えば、他の機器に転送できるようにしておけば、カメラ１０以外の外部再生装置でも同様に画像再生が可能となる。このときの動画の圧縮処理は、圧縮保存部３ｂによって処理する。ステップＳ１６からＳ１７において得られた画像は、静止画から、光点部の明かりをきらめかせた動画状の画像となっており、動画として扱うことができる。
【００５８】
次に、図４乃至図７において説明した画像の合成を実行するための動作について、図１０および図１１に示すフローチャートを用いて説明する。図１０は、ステップ１４の合成準備のフローであり、静止画像から変化しない背景画像（第１画像）と、光点部が点滅する一連の合成用画像（第２画像）を生成する。
【００５９】
合成準備のフローに入ると、まず、平均輝度Ｂａｖの算出を行う（Ｓ１０１）。平均輝度の算出にあたっては、撮影部２の撮像素子の出力に基づいて行うが、撮影レンズの明るさや撮像素子の感度に依存するので、これを加味して行う。次に、平均輝度Ｂａｖと所定値Ｂ０とを比較し、所定輝度よりも低輝度か否かの判定を行う（Ｓ１０２）。平均輝度Ｂａｖが所定値Ｂ０より低い場合には夜景といえる。
【００６０】
ステップＳ１０２における判定の結果、平均輝度Ｂａｖが所定値Ｂ０より低かった場合には、変数Ｘを１とし、変数Ｈおよび変数Ｍを０とし、座標（０、Ｙ１）の輝度を最大値（ＭＡＸ）とする（Ｓ１０３）。すなわち、このステップでは、Ｘ軸方向の撮像素子の画素の座標を示す変数Ｘと、明るい部分の判定を行っていることを示すフラグＨと、明るくなる部分の数を示す変数Ｍと、暗くなる部分の数を示す変数Ｎをそれぞれ初期化する。また、座標（０、Ｙ１）における輝度のデータは最大値（ＭＡＸ）とする。これは、端部の画素で急激な明るさの変化があっても、検出しないようにするためである。
【００６１】
続いて、ステップＳ１１０以下で、光点部の明るさが増加する座標と、明るさが減少する座標を求める。まず、座標を示す変数Ｘに１を加算する（Ｓ１１０）。所定のＹ（縦）座標のＹ１に沿って、Ｘ座標（横座標）を変化させながら、明るさを判定するために、Ｘをインクリメントしていくが、ここでは、単純化のために、Ｙ方向は１箇所に限った例で説明する。さらにＹを変更しながら、各部の光点を検出するのは、以下の考え方を拡張すればよい。
【００６２】
ステップＳ１１０において、変数Ｘをインクリメントすると、次に、変数ＸがＸｍａｘよりも大きいか否かの判定を行う（Ｓ１１１）。すなわち、Ｘの最大値Ｘｍａｘは撮像素子の端に対応し、変数ＸがＸｍａｘに達するまでステップＳ１１２〜Ｓ１１７を繰り返す。なお、ステップＳ１１０で変数Ｘのインクリメントを行っているが、変数Ｘのインクリメントは、必ずしも、１画素ごとのインクリメントに対応させる必要はなく、例えば、２画素ごと、５画素ごとでもよい。
【００６３】
ステップＳ１１１における判定の結果、変数ＸがＸｍａｘよりも小さいかった場合には、次に、位置（Ｘ、Ｙ１）と、これに隣接する位置（Ｘ−１、Ｙ１）の明るさの差異を、輝度差ΔＢ（Ｘ）として検出する（Ｓ１１２）。図４（ｂ）で明らかなように、光点部の明るさの変化大きく、このような輝度差があるかどうかを判定するためである。
【００６４】
続いて、フラグＨが１か否かの判定を行う（Ｓ１１３）。ステップＳ１０３において、フラグＨは０に初期化されている。このステップにおける判定の結果、フラグＨが１でなかった場合には、ステップＳ１１４以下に進み、画面の端から、明るくなる部分を探す。
【００６５】
まず、輝度差ΔＢ（Ｘ）と所定輝度差ΔＢ０とを比較し、ΔＢ（Ｘ）がΔＢ０よりも大きいか否かを判定する（Ｓ１１４）。この輝度差ΔＢ（Ｘ）はステップＳ１１２において検出された輝度であり、所定輝度差ΔＢ０は、光点部といえる程度に急激に輝度が暗い部分から明るい部分に変化しているか否かを判定するための判定値である。
【００６６】
ステップＳ１１４における判定の結果、ΔＢ（Ｘ）がΔＢ０よりも小さかった場合には、光点部ではないことから、ステップＳ１１０に戻り、変数Ｘをインクリメントし、前述した処理を行う。一方、ステップＳ１１４における判定の結果、ΔＢ（Ｘ）がΔＢ０よりも大きかった場合には、変数Ｍに１を加算する（Ｓ１１５）。この変数Ｍは、明るい部分を検出するたびに、カウントされる。
【００６７】
続いて、変数ＸをＸＵ（Ｍ）として記憶する（Ｓ１１６）。ここでは、ステップＳ１１４で検出した明るくなった部分の位置を記憶する。そして、フラグＨを１とする（Ｓ１１７）。すなわち、明るい領域に入ったことを記憶する。フラグＨを１とすると、ステップＳ１１０に戻り、変数Ｘをインクリメントし、前述の処理を行う。
【００６８】
フラグＨが１となると、次に、暗くなる部分を検出する。まず、ステップＳ１１３における判定において、フラグＨが１であることから、ステップＳ１２１に進む。このステップでは、輝度差ΔＢ（Ｘ）が所定値（−ΔＢ０）よりも小さいか否かを判定する（Ｓ１２１）。すなわち、所定値ΔＢ０以上、輝度差が暗くなる部分があるか否かの判定を行う。
【００６９】
ステップＳ１２１における判定の結果、所定値ΔＢ０以上暗くなる部分が有った場合には、その変数ＸをＸＤ（Ｍ）として記憶する（Ｓ１２２）。すなわち、明るい部分から暗い部分に移行したことから、その場所を記憶する。続いて、フラグＨを０とする（Ｓ１２３）。明るい場所から暗い場所に移ったことから、次に、再び、暗い場所から明るい場所を検出するために、フラグを初期化する。
【００７０】
フラグＨを０にすると、ステップＳ１１０に戻り、前述した処理を実行する。このような処理をステップＳ１１１においてＸｍａｘ、すなわち、撮像素子の端部に達するまで繰り返す。光点の明るくなる場所と暗くなるＸ方向の位置は、それぞれステップＳ１１６およびＳ１２２において記憶される。
【００７１】
ステップＳ１１１における判定の結果、変数ＸがＸｍａｘより大きい場合には、明るくなる部分の数を示す変数Ｍと所定値Ｍ０とを比較し、変数Ｍが所定Ｍ０より大きいか否かを判定する（Ｓ１３１）。夜景特有の急激な立ち上がりの部分のみを探し、ビルの複数の窓明かり等をきらめかせる本実施形態の画像合成の目的の見地からは、明るくなる部分の数を示す変数Ｍが多い方が表示効果は大きい。
【００７２】
そこで、ステップＳ１３１において、立ち上がりの数を示す変数Ｍを、所定値Ｍ０と比較し、判定の結果、少なすぎる場合には、元のフローにリターンし、今回の画像合成から外す。本実施形態における特徴である明るさの変化をつける部分が少なすぎて、想定のシーンとは異なり、また十分な視覚的効果を得ることができないからである。なお、所定値Ｍ０は、望ましくは２以上、更に望ましくは３または４以上の値である。
【００７３】
ステップＳ１３１における判定の結果、変数Ｍが所定値Ｍ０より大きかった場合には、次に、画像横方向幅Ｘｍａｘを変数Ｍで除算した値を求め、これをＡ０とする（Ｓ１３２）。この値Ａ０は、明暗の繰り返し起こる幅を示している。ここでは、単純化のために、明暗の繰り返しは、画面で均等に起きていると仮定している。例えば、変数Ｍが２であるとすると画面を２等分した幅の中に明部と暗部があると考える。
【００７４】
次に、変数Ｎおよび変数Ｓを０とする（Ｓ１３３）。このステップで、変数Ｎは光点部の立ち上がり部および立下り部を示す変数であり、変数Ｓは光点部を表す変数であり、これらの変数の初期化を行う。また、このステップでは、最初の光点部の立下りでの値ＸＤ（０）も０に初期化しておく。
【００７５】
変数の初期化を行うと、次に、変数Ｎに１を加算し、インクリメントする（Ｓ１３４）。続いて、光点部の立ち下がり部の位置を示すＸＤ（Ｎ）と、光点部の立ち上がり部の位置を示すＸＵ（Ｎ）の差分をＡ（Ｎ）として求める（Ｓ１３５）。このＡ（Ｎ）は、各光点部の幅を示す。
【００７６】
次に、Ａ（Ｎ）と明暗幅Ａ０との比が０．７より小さいか否かを判定する（Ｓ１３６）。すなわち、ステップＳ１３５で求めた光点部の幅が、明暗幅Ａ０より狭ければ、鋭い光点部と考える。なお、本実施形態においては、比が０．７より小さいか否かを判定したが、これは例示であり、適宜、他の数値としてもよい。
【００７７】
ステップＳ１３６における判定の結果、Ａ（Ｎ）／Ａ０が０．７よりも大きかった場合には、ステップＳ１３４に戻り、変数Ｎをインクリメントする。一方、この判定の結果、Ａ（Ｎ）／Ａ０が０．７よりも小さかった場合には、夜景時のビルの窓の明暗変化のような光点部であること判定し、次に、光点部を示す変数Ｓに１を加算し、インクリメントする（Ｓ１４１）。
【００７８】
続いて、ＸＵ（Ｎ）−Ａ（Ｎ）／２を求め、これをＸＣ（Ｓ）とする（Ｓ１４２）。このステップでは、光点部の立ち上がり部の座標ＸＵ（Ｎ）に、光点幅Ａ（Ｎ）の半分を加算し、光点部の中心座標を求めている。すなわち、ＸＣ（Ｓ）は光点部の中心座標を示す。
【００７９】
光点部の中心座標を求めると、次に、ＸＣ（Ｓ）における色を求め、この色の情報をＣ（Ｓ）とする（Ｓ１４３）。このステップでは、光点中心座標の色を検出し、これを記憶する。白熱電球と蛍光灯では色の差異があり、また蛍光灯にも種類がある他、カーテン越しの窓の色など、夜景には様々な色があるので、このような色情報の利用によって、画像に様々なアクセントつけることができる。
【００８０】
次に、光点部の立ち上がり座標ＸＵ（Ｎ）から光点部の立下り座標ＸＤ（Ｎ）の間の画像データを最小値とし、これを第１画像の画像データｍｉｎとする（Ｓ１４４）。このステップでは、光点部の立ち上がりと立ち下がりの間のデータをミニマム値とすることにより、図６に示したように、光点部を黒く（明るさデータを最小）する。これによって、合成用の第１の画像を得ることができる。
【００８１】
続いて、１つ手前の光点部の立下り座標ＸＤ（Ｎ−１）から次の光点部の立ち上がり座標ＸＵ（Ｎ）の間の画像データを最小値とし、これを第２画像の画像データｍｉｎとする（Ｓ１４５）。このステップでは、１つ手前の光点部の立下りから次の光点部の立ち上がりの間のデータをミニマム値とすることにより、図５に示したように、光点部以外を黒く（明るさデータを最小）する。これによって背景用の第２の画像を得ることができる。
【００８２】
なお、最初の立ち上がり前の座標ＸＤ（０）は、ステップＳ１３３において、０としてあるので、画像の端から最初から立ち上がりまでも最小値となる。
【００８３】
次に、変数Ｎが変数Ｍより大きいか否かの判定を行う（Ｓ１４６）。すなわち、ステップＳ１３４においてインクリメントし、光点部の立下り部の数を示す変数Ｎが、光点部の立ち上がり部の数を示す変数Ｍに達したかを判定する。この判定の結果、変数Ｎが変数Ｍより小さかった場合には、ステップＳ１３４に戻り、変数Ｎをインクリメントする。
【００８４】
ステップＳ１４６における判定の結果、変数Ｎが変数Ｍ以上となった場合には、光点部の立ち下がり座標ＸＤ（Ｎ）から撮像素子の端部Ｘｍａｘの間の画像データを最小値とし、これを第２画像の画像データｍｉｎとする（Ｓ１５１）。このステップで、第２の画像に関して、最後の光点部の後も、全て明るさデータを最小値としている。
【００８５】
次に、変数Ｓが１以上か否かを判定する（Ｓ１５２）。変数Ｓが１以上であれば、ステップＳ１３６において、点滅の対象となる光点部の存在が検出されてことを意味する。この判定の結果、変数Ｓが１以上であった場合には、Ｓ１を変数Ｓとし、夜景であることを示す夜景判定を行い（Ｓ１５３）、元のフローにリターンする。一方、この判定の結果、Ｓが１未満であった場合には、夜景判定をすることなく、そのまま元のフローに戻る。
【００８６】
このように、合成準備のフローにおいては、光点部の立ち上がりが光点状か否かを判定し（Ｓ１３６）、光点状であれば、その座標と色を記憶し、この結果を元に合成用画像（第２画像）を作成する。また、光点部があれば、夜景判定を行う（Ｓ１５２、Ｓ１５３）。
【００８７】
次に、ステップＳ１６の合成表示のサブルーチンについて、図１１に示すフローチャートを用いて説明する。このフローでは、合成準備のサブルーンにおいて、求められた光点部の位置ＸＣと、その色を利用して合成表示を行う。
【００８８】
合成表示のフローに入ると、まず、変数Ｔを０とする（Ｓ２０１）。変数Ｔは色を変更するための変数である。続いて、変数Ｓを０とする（Ｓ２０２）。変数Ｓは、明るさを変える光点を表す変数である。
【００８９】
ステップＳ２０１、Ｓ２０２において、変数の初期化を行うと、次に、変数Ｓに１を加え、インクリメントする（Ｓ２０３）。次に、光点部の色をＣ（Ｓ＋Ｔ）とする（Ｓ２０４）。本実施形態において、光点部の色と明るさは、変数Ｓと変数Ｔが最初、初期化されることから、撮影時と同じ色でかつ同じ明るさで表示される。その次に光るときには同じ色で明るさを変更し、全光点部で明るさが最大値に達すると、次に色を変えその色で明るさを変えていく。このように、撮影画像にあった光点部の色が流用され、自然な光の移ろいのような効果を得ることができる。
【００９０】
色を決定すると、次に、変数ＳがＳ１よりも大か否かの判定を行う（Ｓ２０５）。変数Ｓは、最初は０であり、ステップＳ２０３においてインクリメントされる。また、変数Ｓ１としては、ステップＳ１５３において点滅の対象となる光点部の数が代入されている。したがって、ステップＳ２０５においては、明るさを表す変数Ｓが光点部の数まで達したか否かを判定している。
【００９１】
ステップＳ２０５における判定の結果、変数ＳがＳ１よりも大きくない場合には、全ての光点部について、明るさを変えてはいないことから、ステップＳ２１１以下に進み、光点部の明るさが最大値Ｍａｘ（画像上で表現できる限界の明るさ）になるまで、徐々に光点部の輝度をΔＢずつ明るくし、その後、徐々に光点の輝度をΔＢずつ暗くする。
【００９２】
まず、合成用画像である第２画像データのＸＣ（Ｓ）の明るさが最大値Ｍａｘか否かの判定を行う（Ｓ２１１）。この判定の結果、最大値に達していない場合には、ステップＳ２１２以下において、徐々に明るさを明るくする。このために、続いて、輝度差ΔＢを決定し（Ｓ２１２）、第２画像データのＸＣ（Ｓ）付近の明るさをΔＢだけ明るくする（Ｓ２１３）。そして、この光点部を明るくした第２画像データと、第１画像の画像データを合成し、表示する（Ｓ２１４）。
【００９３】
第１画像と合成し、これを表示すると、ステップＳ２１１に戻る。ステップＳ２１１からステップＳ２１４を繰り返すことにより、複数ある光点部のうちＳ番目の光点部の明るさが徐々に明るくなる。
【００９４】
ステップＳ２１１における判定の結果、第２画像データのＸＣ（Ｓ）の明るさが最大値に達すると、次に、光点部を徐々に暗くするために、ステップＳ２２１以下に進む。まず、輝度差ΔＢを決定し（Ｓ２２１）、合成用の第２画像データのＸＣ（Ｓ）付近の明るさをΔＢだけ暗くする（Ｓ２２２）。
【００９５】
続いて、第２画像データＸＣ（Ｓ）の明るさが最小値となったかを判定する（Ｓ２２３）。この判定の結果、最小値となっていない場合には、ステップＳ２１４と同様に、第２画像データに第１画像データを合成し、表示する（Ｓ２２４）。この合成・表示を行うと、ステップＳ２２１に戻り、ステップＳ２２２〜Ｓ２２４を繰り返すことにより、輝度差ΔＢずつ、光点部の明るさが徐々に暗くなる。
【００９６】
ステップＳ２２３における判定の結果、第２画像データのＸＣ（Ｓ）の明るさが最小値となると、次に、終了か否かの判定を行う（Ｓ２２５）。これは、合成表示中にユーザーによって表示終了の操作がなされたか否かの判定である。この判定の結果、終了であった場合には、元のフローに戻る。一方、終了でなかった場合には、ステップＳ２０３に戻り、変数Ｓのインクリメントを行う。すなわち、次の光点部に移り、明るさを徐々に明るくし、その後、徐々に暗くすることによって、次の光点部の点滅を行う。
【００９７】
このように各光点部について順次点滅を行っていくが、ステップＳ２０５における判定の結果、変数ＳがＳ１より大きくなると、すなわち、全光点部について点滅が終わると、ステップＳ２２４と同様に表示終了かを判定する（Ｓ２３１）。この判定の結果、表示終了であった場合には、元のフローに戻る。
【００９８】
一方、ステップＳ２３１における判定の結果、表示終了でなかった場合には、色に関する変数Ｔに１を加え、インクリメントする（Ｓ２３２）。続いて、変数ＴがＳ１よりも大きいかを判定する（Ｓ２３３）。この判定の結果、変数ＴがＳ１よりも大きくなかった場合には、ステップＳ２０２に戻り、前述の処理を実行する。
【００９９】
ステップＳ２３２において、色に関する変数Ｔがインクリメントされた場合には、ステップＳ２０２以下を実行するにあたって、前回とは異なる色で光点部は点滅する。すなわち、前回とは異なる色で、全光点部について、順次、点滅を行う。全光点部について点滅を行うと、ステップＳ２３２において、色に関する変数Ｔをインクリメントし、次の色に変更して、再び、全光点部について、順次、点滅を行う。
【０１００】
全光点部について、全色で、点滅が行うと、ステップＳ２３３における判定の結果は、変数ＴがＳ１よりも大きくなり、ステップＳ２０１に戻る。これによって、再び、最初の合成表示状態に戻り、合成表示を行う。すなわち、本実施形態においては、全光点部について、全ての色で点滅を行うと、最初に戻り、合成表示を繰り返す。
【０１０１】
なお、この合成表示のフローのステップＳ２１２およびＳ２２２における輝度差ΔＢの決定ステップにおいて、ΔＢを一定値にしたり、非線形で変化させてもかまわないが、例えば、乱数的に変更するようにすれば、変化に富んだ表示となる。
【０１０２】
このように、本実施形態においては、夜景のように、背景が暗い画像の中で、窓やネオンサインのように局所的に明るい画像において、局所的に明るい部分に対して、色や明るさ等を変化させている。このため、合成画像は、単調とならず変化に富んだ画像とすることができ、テレビ等の大型の外部表示装置に再生表示させた場合でも、鑑賞に耐える内容であり、また楽しむことができる。
【０１０３】
次に、本発明の第２実施形態について、図１２を用いて説明する。本発明の第１実施形態においては、光点部は１つずつ点滅したが、この点滅数は、２つ以上であっても勿論かまわない。第２実施形態では、光点部を２つずつ点滅させるようにした例である。第２実施形態の構成は、第１実施形態とほぼ同じであり、図１１に示した合成表示のフローが異なるのみであるので、相違点を中心に説明する。
【０１０４】
本実施形態における合成表示のフローに入ると、まず、Ｓ１までのＤを決定し（Ｓ３０１）、Ｓ１までのＳを決定し（Ｓ３０２）、Ｓ１までのＴ１を決定し（Ｓ３０３）、Ｓ１までのＴ２を決定する（Ｓ３０４）。ここで、変数Ｄおよび変数Ｓは光点部の位置を表す変数であり、変数Ｔ１および変数Ｔ２は光点部の色を表す変数である。本実施形態においては、同時に２つの光点部が点滅することから、位置および色を表す変数は２つ設けてある。
【０１０５】
変数Ｄ、変数Ｓ、変数Ｔ１、変数Ｔ２は、いずれもステップＳ１５３（図１０）におけるＳ１よりも大きな値とならない範囲で、自然数から選択する。この選択は、乱数的に切り替えてもよく、また、所定の順番で切り替わるように、予めメモリに記憶したり、プログラムしておいてもよい。
【０１０６】
上述の変数の決定を行うと、次に、ステップＳ３１１以下で、第２画像データのＸ（Ｓ）、Ｘ（Ｄ）の明るさが最大値（Ｍａｘ）になるまで、２箇所の光点部の明るさを徐々に明るくする。まず、第２画像データのＸ（Ｓ）、Ｘ（Ｄ）の明るさが最大値（Ｍａｘ）か否かの判定を行う（Ｓ３１１）。
【０１０７】
ステップＳ３１１における判定の結果、いずれか一方が最大値に達していなかった場合には、徐々に明るくするために、明るくする際の輝度差ΔＢを決定する（Ｓ３１２）。続いて、第２画像データのＸＣ（Ｄ）付近の明るさをΔＢだけ明るくし、また色をＣ（Ｔ１）にする（Ｓ３１３）。また、第２画像データのＸＣ（Ｓ）付近の明るさもΔＢだけ明るくし、また色をＣ（Ｔ２）にする（Ｓ３１４）。
【０１０８】
このように、ステップＳ３１３およびＳ３１４において、２箇所の光点部において、同時に徐々に明るくするようにした合成用の第２画像を生成する。２つの第２画像を生成すると、続いて、背景画像である第１画像と合成を行い、表示する（Ｓ３１５）。
【０１０９】
第１及び第２画像の合成および表示を行うと、ステップＳ３１１に戻り、前述の処理を実行する。したがって、第２画像データＸ（Ｄ）、Ｘ（Ｓ）のいずれか一方が最大値に達するまでは、ステップＳ３１１〜Ｓ３１５を繰り返すことにより、２つの光点部が徐々に明るくなっていく。
【０１１０】
ステップＳ３１１における判定の結果、第２画像データＸ（Ｄ）、Ｘ（Ｓ）のいずれか一方が最大値に達すると、今度は、２つの光点部を徐々に暗くしていく。まず、輝度差ΔＢを決定する（Ｓ３２１）。続いて、第２画像データのＸＣ（Ｄ）付近の明るさをΔＢだけ暗くし、また色をＣ（Ｔ１）にする（Ｓ３２２）。また、第２画像データのＸＣ（Ｓ）付近の明るさもΔＢだけ暗くし、また色をＣ（Ｔ２）にする（Ｓ３２３）。
【０１１１】
次に、第２画像データのＸ（Ｓ）の明るさが最小値（Ｍｉｎ）か否かを判定する（Ｓ３２４）。この判定の結果、第２画像データのＸ（Ｓ）の明るさが最小値でなければ、ステップＳ３１５と同様に、第１画像データと合成し、これを表示する（Ｓ３２５）。この合成・表示を行うと、ステップＳ３２１に戻り、ステップＳ３２２〜Ｓ３２５を繰り返すことにより、輝度差ΔＢずつ、光点部の明るさが徐々に暗くなる。
【０１１２】
ステップＳ３２４における判定の結果、第２画像データのＸ（Ｓ）の明るさが最小値になると、表示終了か否かを判定する（Ｓ３２６）。この判定の結果、終了でなかった場合には、ステップＳ３０１に戻り、再び、最初から光点部の点滅を行う。
【０１１３】
本実施形態においては、合成用の第２画像をステップＳ３１３およびＳ３１４、またはステップＳ３２２およびＳ３２３で２箇所の光点部の明るさを変更している。この２箇所の光点部は、ステップＳ３０１およびＳ３０２において、独立して選択されているので、同じ数となる場合もある。その場合には、選択された１箇所の光点部が点滅する。
【０１１４】
このように、第２実施形態においては、２箇所の光点部で明るさ変更を行うようにしているので、より変化に富んだ画像となり、楽しむことができる。
【０１１５】
なお、本実施形態においては、２箇所の光点部を点滅させていたが、本実施形態の考え方を拡張することにより、３箇所以上の光点部を点滅させることができる。また、ステップＳ３１１における判定においては、２箇所の光点部のいずれか一方が最大値となった場合としたが、両方が最大値を超えた場合でもよく、ステップＳ３２４のように２箇所のうちの１箇所のみで判断するようにしてもよい。ステップＳ３２４における判定もステップＳ３１１と同様、種々の変形が可能である。
【０１１６】
以上説明したように、本発明の各実施形態においては、撮影画像の画像中において平均輝度に対して局所的に明るい光点部を検出し、この光点部における明るさを順次変化させた画像を、撮影画像に合成するようにしている。このため、簡単な操作でテレビ等での再生にも耐えられるような画像を再生できる。すなわち、静止画のように、撮った瞬間に完成される画像でありながら、光のきらめきやネオンサインやクリスマスツリーなど、光の変化を付加することができ、より変化をつけた画像を再生することができる。
【０１１７】
なお、本発明の各実施形態においては、夜景画像のように比較的暗い画像の中から光点部を検出していたが、元の画像としては、夜景画像のように比較的暗い画像でなくても、湖のさざなみのように、比較的明るい画像の中で、さらに明るい反射部が存在するような画像でも本発明を適用することができる。すなわち、本発明は、周囲より急激に明るくなる部分が局所的に存在する画像であれば、適用できる。
【０１１８】
また、本発明の各実施形態においては、カメラ１０が撮影を行い、このカメラ１０を外部のテレビ２０等に接続し、これを画像再生装置として利用していたが、これに限らず、例えば、カメラ１０で撮影した画像データをパーソナルコンピュータ等にインストールし、この画像データに基づいて、画像を合成したものを、パーソナルコンピュータの表示部や、また外部のテレビ等の表示装置で再生表示するようにしても良い。
【０１１９】
また、本発明の各実施形態においては、再生のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。いずれにしても、静止画の画像を再生可能な機器であれば良い。
【０１２０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１実施形態に係わるカメラの電気回路を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラにおいて、画像を合成処理して再生表示する様子を示す図である。
【図３】本発明の第１実施形態に係わるカメラから画像をテレビに出力し、鑑賞している様子を示す図である。
【図４】本発明の第１実施形態に係わるカメラで撮影した画像を示し、（ａ）は撮影画像を示し、（ｂ）は横線３５に沿って明るさ分布を示す図である。
【図５】本発明の第１実施形態におけるカメラで撮影した画像を元に生成した合成用画像を示す。
【図６】本発明の第１実施形態におけるカメラで撮影した画像を元に生成した背景画像を示す。
【図７】本発明の第１実施形態におけるカメラで撮影した画像に元に生成した一連の合成用画像であり、（ａ）〜（ｃ）は時系列順の合成用画像を示す。
【図８】本発明の第１実施形態におけるカメラの合成制御部の構成を示すブロック図である。
【図９】本発明の第１実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。
【図１０】本発明の第１実施形態におけるカメラにおける合成準備の動作を示すフローチャートである。
【図１１】本発明の第１実施形態におけるカメラにおける合成表示の動作を示すフローチャートである。
【図１２】本発明の第２実施形態におけるカメラにおける合成表示の動作を示すフローチャートである。
【符号の説明】
【０１２２】
１・・・制御部、２・・・撮影部、２ａ・・・ストロボ、３・・・記録部、３ａ・・・圧縮保存部、４・・・光点抽出部、５ａ・・・背景作成部、５ｂ・・・合成用画作成部、６・・・集音部、７・・・合成制御部、８・・・出力部、８ａ・・・液晶表示部、９・・・操作部、１０・・・カメラ、２０・・・テレビ、３１ａ〜３１ｃ・・・きらめき、３２・・・光点部、３５・・・横線
【図１】
2010041176.tif 000003
【図２】
2010041176.tif 000004
【図３】
2010041176.tif 000005
【図４】
2010041176.tif 000006
【図５】
2010041176.tif 000007
【図６】
2010041176.tif 000008
【図７】
2010041176.tif 000009
【図８】
2010041176.tif 000010
【図９】
2010041176.tif 000011
【図１０】
2010041176.tif 000012
【図１１】
2010041176.tif 000013
【図１２】
2010041176.tif 000014