(57)【要約】【課題】  連続撮影及び合成処理の実行中に着信があった場合に直ちに通話処理に移行することができる移動体通信端末を提供することを目的とする。【解決手段】  静止画像を撮影するための撮像手段２０を有する移動体通信端末１であって、予め定められた撮影数Ｎの静止画像からなる一連の静止画像を所定の時間間隔で連続撮影し、各静止画像を画像データ記憶手段に格納する連続撮影手段と、上記撮影数Ｎの静止画像の撮影終了に基づいて、上記画像データ記憶手段３に格納された一連の静止画像を合成し、合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、上記撮影数Ｎの静止画像の撮影終了前に着信があった場合に、上記連続撮影手段が撮影処理を中止する。【選択図】  図７
2005064731.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を撮影するための撮像手段を有する移動体通信端末において、
予め定められた撮影数の静止画像からなる一連の静止画像を所定の時間間隔で連続撮影し、各静止画像を画像データ記憶手段に格納する連続撮影手段と、
上記撮影数の静止画像の撮影終了に基づいて、上記画像データ記憶手段に格納された一連の静止画像を合成し、合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、
上記撮影数の静止画像の撮影終了前に着信があった場合に、上記連続撮影手段が撮影処理を中止することを特徴とする移動体通信端末。
【請求項２】
静止画像の合成処理中に着信があった場合に、上記画像データ合成手段が合成処理を中断し、終話後に再開することを特徴とする請求項１に記載の移動体通信端末。
【請求項３】
静止画像を撮影するための撮像手段を有する移動体通信端末において、
予め定められた撮影数の静止画像からなる一連の静止画像を所定の時間間隔で連続撮影し、各静止画像を画像データ記憶手段に格納する連続撮影手段と、
上記撮影数の静止画像の撮影終了に基づいて、上記画像データ記憶手段に格納された一連の静止画像を合成し、合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、
上記撮影数の静止画像の撮影終了前にメール受信通知があった場合に、上記連続撮影手段が撮影処理を中止することを特徴とする移動体通信端末。
【請求項４】
静止画像の合成処理中にメール受信通知があった場合に、上記画像データ合成手段が合成処理を中断し、電子メール受信処理の終了後に再開することを特徴とする請求項３に記載の移動体通信端末。
【請求項５】
上記連続撮影手段が撮影処理を中止した場合に、上記画像データ記憶手段に格納された上記撮影数に満たない一連の静止画像を破棄することを特徴とする請求項１又は３に記載の移動体通信端末。
【請求項６】
撮影手段により生成された３以上の静止画像からなる一連の静止画像を記憶する画像データ記憶手段と、
画像データ記憶手段に格納された一連の静止画像を画素ごとに合成し、生成された合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、
上記画像データ合成手段が、各静止画像における対応する画素をその輝度に基づいてグループ化するグループ化処理手段と、
上記画素の画像データについて上記グループごとの荷重演算処理を行って、合成画像の画像データを生成する荷重演算処理手段からなることを特徴とする静止画像合成装置。
【請求項７】
上記グループ化処理手段が、各静止画像における対応する画素の輝度の平均値を求め、これらの輝度を上記平均値と比較し、上記画素を２つのグループに分類することを特徴とする請求項６に記載の静止画像合成装置。
【請求項８】
上記荷重演算処理手段が、画像データに対し、上記グループごとの荷重平均演算を行って、合成画像の画像データを生成することを特徴とする請求項６に記載の静止画像合成装置。
【請求項９】
上記静止画像が、輝度データ及び色差データからなり、
上記グループ化処理手段が、各静止画像における対応する画素をその輝度データに基づいてグループ化し、
上記荷重演算処理手段が、上記画素の輝度データについて上記グループごとの荷重演算処理を行って合成画像の輝度データを生成するとともに、上記画素の色差データについて上記グループごとの荷重演算処理を行って合成画像の輝度データを生成することを特徴とする請求項６に記載の静止画像合成装置。
【請求項１０】
３以上の静止画像からなる一連の静止画像データについて、対応する画素ごとに合成処理を行う静止画像合成方法において、
一連の静止画像における対応する画素を輝度に基づいてグループ化するステップと、
上記画素の画像データについて上記グループごとの荷重演算処理を行って、合成画像の画像データを求めるステップからなることを特徴とする静止画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体通信端末、静止画像合成装置及び静止画像合成方法に係る。更に詳しくは、一連の静止画像を撮影して合成する画像処理装置、特に、撮影手段を有する移動体通信端末の改良に関する。また、撮像装置によって撮影された一連の静止画像を簡易に合成するための静止画像合成装置及びその合成方法の改良に関する。
【背景技術】
【０００２】
最近のデジタルスチルカメラには、短い時間間隔で連続して撮影を行うことができる機能、いわゆる連写機能を備えたものがある。ゴルフ、テニス、野球などのスイングフォームをこの様なデジタルスチルカメラで連続撮影すれば、得られた一連の静止画像を比較観察することによって、スイングフォームを客観的に分析することができる。
【０００３】
この様なスイングフォームの分析が可能な従来の装置としては、表示画面を分割し、各分割領域に静止画像をそれぞれ表示させる映像記録再生装置やゴルフスイングフォーム再生装置があった（例えば、特許文献１、特許文献２）。また、各静止画像から動きを伴う被写体部分を切り出し、積み重ねて合成画像を生成し表示する画像処理装置があった（特許文献３）。
【特許文献１】特開平６−３９０７０号公報
【特許文献２】特開平１０−２７７１９６号公報
【特許文献３】特開平１１−３３１６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献３に記載された画像処理装置の場合、被写体の輪郭線を抽出し、さらに動き領域を抽出して輪郭線を修正し、被写体を切り出している。このため、静止画像を合成するためには多くの演算処理が必要であり、合成処理を実行する装置に高い演算処理能力が求められるという問題があった。また、輪郭の切り出しや、動き領域の抽出を正確に行うことは技術的に容易ではないという問題もあった。
【０００５】
一方、特許文献１及び２に記載された装置では、表示画面を分割して、複数の静止画像を同時に表示しているに過ぎない。この場合、高い演算処理能力は要求されないが、各静止画像を比較観察することが容易でなくなる。特に、表示画面が小さい場合には、各静止画像の表示精度が低下し、実用的な解像度が確保できないという問題も生ずる。
【０００６】
最近では、デジタルスチルカメラを有するカメラ付携帯電話機が急速に普及しつつある。この種の携帯電話機では、小型化、軽量化、低価格化などの要請があり、画像処理用コンピュータに比べて演算処理能力は低く、表示画面も小さい。このため、スイングフォームの分析に適した表示を行うことは容易ではない。
【０００７】
また、カメラ付携帯電話機において連続撮影処理やその合成処理を行おうとすれば、これら処理中に着信があった場合に、当該携帯電話機が撮影処理及び通話処理を並列実行できる高い処理能力を有していなければ、直ちに通話を開始することができないという問題が生ずると考えられる。上記処理中に電子メールを受信した場合にも同様の問題が生ずると考えられる。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、比較的少ない演算処理量で静止画像を合成することができる静止画像合成処理装置、特に、静止画像の合成処理を実行可能な移動体通信端末を提供することを目的とする。
【０００９】
また、本発明は、比較的少ない演算処理により連続撮影処理及び撮影後の合成処理を行うことができる移動体通信端末を提供することを目的とする。特に、連続撮影中に着信があった場合に直ちに通話処理に移行することができ、あるいは、電子メール受信通知があった場合に直ちに電子メールの受信処理に移行することができる移動体通信端末を提供することを目的とする。
【００１０】
また、本発明は、演算処理量の少ない簡易な静止画像合成方法、特に、被写体の動きを比較観察しやすい合成画像を生成することができ、また、小型の表示装置を用いた場合であっても一連の静止画像を比較観察することが容易な静止画像合成方法を提供することを目的とする。また、当該方法を実行可能な静止画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による移動体通信端末は、静止画像を撮影するための撮像手段を有する移動体通信端末において、予め定められた撮影数の静止画像からなる一連の静止画像を所定の時間間隔で連続撮影し、各静止画像を画像データ記憶手段に格納する連続撮影手段と、上記撮影数の静止画像の撮影終了に基づいて、上記画像データ記憶手段に格納された一連の静止画像を合成し、合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、上記撮影数の静止画像の撮影終了前に着信があった場合に、上記連続撮影手段が撮影処理を中止するように構成される。この様な構成によれば、移動体通信端末を用いた連続撮影中に着信があれば当該撮影処理を中止することにより、撮影処理が終了するのを待つことなく通話を開始することができる。
【００１２】
また、本発明による移動体通信端末は、静止画像の合成処理中に着信があった場合に、上記画像データ合成手段が合成処理を中断し、終話後に再開するように構成される。この様な構成によれば、合成処理中に着信があった場合、合成処理を一旦中断させるので、合成処理が終了するのを待つことなく通話を開始することができる。また、終話後に合成処理を再開させることにより、着信前に撮影された静止画像に基づいて合成画像を生成することができる。
【００１３】
また、本発明による移動体通信端末は、静止画像を撮影するための撮像手段を有する移動体通信端末において、予め定められた撮影数の静止画像からなる一連の静止画像を所定の時間間隔で連続撮影し、各静止画像を画像データ記憶手段に格納する連続撮影手段と、上記撮影数の静止画像の撮影終了に基づいて、上記画像データ記憶手段に格納された一連の静止画像を合成し、合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、上記撮影数の静止画像の撮影終了前に電子メールの受信通知があった場合に、上記連続撮影手段が撮影処理を中止するように構成される。この様な構成によれば、移動体通信端末を用いた連続撮影中に着信があれば当該撮影処理を中止することにより、撮影処理が終了するのを待つことなく通話を開始することができる。この様な構成によれば、移動体通信端末を用いた連続撮影中に電子メールの受信通知があれば当該撮影処理を中止することにより、撮影処理が終了するのを待つことなく電子メールの受信処理を開始することができる。
【００１４】
また、本発明による移動体通信端末は、静止画像の合成処理中にメール受信通知があった場合に、上記画像データ合成手段が合成処理を中断し、電子メール受信処理の終了後に再開するように構成される。この様な構成によれば、合成処理中にメール受信通知があった場合、合成処理を一旦中断させるので、合成処理が終了するのを待つことなく電子メール受信処理を開始することができる。また、電子メール受信処理の終了後に合成処理を再開させることにより、メール受信通知前に撮影された静止画像に基づいて合成画像を生成することができる。
【００１５】
また、本発明による移動体通信端末は、上記連続撮影手段が撮影処理を中止した場合に、上記画像データ記憶手段に格納された上記撮影数に満たない一連の静止画像を破棄するように構成される。この様な構成により、合成が行われない静止画像によって画像データ記憶手段の空き領域が減少するのを防止し、その記憶領域を有効に活用することができる。
【００１６】
また、本発明による画像合成処理装置は、撮影手段により生成された３以上の静止画像からなる一連の静止画像を記憶する画像データ記憶手段と、画像データ記憶手段に格納された一連の静止画像を画素ごとに合成し、生成された合成画像を上記画像データ記憶手段に格納する画像データ合成手段とを備え、上記画像データ合成手段が、各静止画像における対応する画素をその輝度に基づいてグループ化するグループ化処理手段と、上記画素の画像データについて上記グループごとの荷重演算処理を行って、合成画像の画像データを生成する荷重演算処理手段からなる。
【００１７】
この様な構成によれば、画素ごとに合成処理を行っていることから、比較的少ない演算処理量で静止画像を合成することができる。また、対応する画素を輝度に基づいてグループ化し、荷重演算処理を行うことにより、被写体と背景とを適度に識別して合成することができるとともに、被写体及び背景の誤判別によって合成画像中に極端に見苦しい画素が発生することがない。
【００１８】
また、本発明による画像合成処理装置は、上記グループ化処理手段が、各静止画像における対応する画素の輝度の平均値を求め、これらの輝度を上記平均値と比較し、上記画素を２つのグループに分類するように構成される。
【００１９】
また、本発明による画像合成処理装置は、上記荷重演算処理手段が、画像データに対し、上記グループごとの荷重平均演算を行って、合成画像の画像データを生成するように構成される。
【００２０】
また、本発明による画像合成処理装置は、上記静止画像が、輝度データ及び色差データからなり、上記グループ化処理手段が、各静止画像における対応する画素をその輝度データに基づいてグループ化し、上記荷重演算処理手段が、上記画素の輝度データについて上記グループごとの荷重演算処理を行って合成画像の輝度データを生成するとともに、上記画素の色差データについて上記グループごとの荷重演算処理を行って合成画像の輝度データを生成するように構成される。
【００２１】
また、本発明による画像合成処理装置は、３以上の静止画像からなる一連の静止画像データについて、対応する画素ごとに合成処理を行う静止画像合成方法であって、一連の静止画像における対応する画素を輝度に基づいてグループ化するステップと、上記画素の画像データについて上記グループごとの荷重演算処理を行って、合成画像の画像データを求めるステップからなる。
【発明の効果】
【００２２】
本発明によれば、比較的少ない演算処理により静止画像を合成することができる撮像装置、特に、撮像手段を有する移動体通信端末を提供することができる。
【００２３】
また、本発明によれば、比較的少ない演算処理により連続撮影処理及び撮影後の合成処理を行うことができる携帯通信端末を提供することができる。特に、連続撮影中に着信があった場合に直ちに通話処理に移行することができ、あるいは、メール受信通知を受信した場合に、直ちに電子メールの受信処理及び閲覧処理に移行することができる移動体通信端末を提供することができる。
【００２４】
また、本発明によれば、演算処理量の少ない簡易な静止画像合成方法、特に、被写体の動きを比較観察しやすく、また、小型の表示装置を用いた場合であっても一連の静止画像を比較観察することが容易な静止画像合成方法を提供することができる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明による移動体通信端末の一例を示した外観図であり、デジタルスチルカメラを備えた携帯電話機１、いわゆるカメラ付携帯電話機が示されている。この携帯電話機１は、クラムシェル型と呼ばれる折り畳み式の筐体からなり、図中の（ａ）には、筐体を展開させた時の状態における操作面側が示され、（ｂ）には折り畳んだ時の状態が示されている。
【００２６】
携帯電話機１の筐体は、回転軸１０２を中心に回転可能に連結された上部本体１００及び下部本体１０１からなり、上部本体１００及び下部本体１０１の操作面を対向させて折り畳むことができる。このため、通話時には筐体を開いて使用する一方、通話を行わない場合には、操作面が内側、背面が外側となるように閉じて小型化することができる。
【００２７】
上部本体１００の操作面側には、音声出力を行うためのスピーカ１０と、液晶表示装置からなるメイン表示部１１が設けられている。また、下部本体１０１の操作面側には、操作入力を行うための操作キー１２と、音声入力を行うためのマイクロフォン１３が設けられている。さらに、上部本体１００の背面側には、撮像手段としてのカメラ部２０と、露出調整のためのライト部２１と、メイン表示部１１よりも表示領域の小さい液晶表示装置からなるサブ表示部２２と、操作入力を行うための操作キー２３が設けられている。
【００２８】
図２は、図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。図中の２はプロセッサ（ＣＰＵ）、３は画像データ記憶部、４は開閉センサー、５は表示制御部、６は無線部、７は連写タイマーである。
【００２９】
プロセッサ２は、携帯電話機１の主要な動作制御を行っている。画像データ記憶部３はカメラ部２０から出力される静止画像を記憶するメモリであり、画像データの書き込み、読み出し及び消去はプロセッサ２によって行われる。開閉センサー４は筐体の開閉状態を検出する手段であり、検出結果はプロセッサ２に入力される。表示制御部５は、メイン表示部１１及びサブ表示部２２の表示制御を行っており、メイン表示部１１及びサブ表示部２２の表示内容は、筐体の開閉状態に基づいてプロセッサ２が決定し、表示制御部５に指示する。無線部６は、図示しない無線基地局との間で双方向の無線通信を行っており、無線部６を介して通話及び電子メールの送受信が行われる。
【００３０】
連写タイマー７は、カメラ部２０を用いて、連続撮影を行う際の撮影間隔を計測する手段であり、連続撮影を行う場合、連写タイマー７のタイムアップ信号に基づいて、プロセッサ２がカメラ部２０に対し撮影を指示する。カメラ部２０は、光電変換を行ってＲＧＢデータからなる静止画像を生成するＣＣＤ（Charge Coupled Device）素子と、ＤＳＰ（Digital Signal Processor）を用いてＣＣＤ素子３０からのＲＧＢデータをＹＵＶデータにフォーマット変換する画像処理部３１からなる。
【００３１】
<筐体展開時の画面表示>
図３の（ａ）〜（ｄ）は、筐体を展開させた状態でオーバーラップ合成を実行した場合におけるメイン表示部１１の表示例を示した図である。図中の（ａ）には、ユーザがオーバーラップ合成モードを選択した場合の表示画面が示されている。オーバーラップ合成モードとは、予め定められた撮影数Ｎの静止画像を撮影し、これらの静止画像を重ね合わせて合成した合成画像を生成する撮影モードであり、ゴルフ、テニス、野球などのスイングフォームの分析に好適な動作モードである。オーバーラップ合成モードには「高速連写」「低速連写」「マニュアル」等の詳細モードがあり、オーバーラップ合成モードが選択されると図３（ａ）に示されたメニュー画面が表示され、ユーザはいずれかの詳細モードを選択することができる。
【００３２】
高速連写モード及び低速連写モードでは、ユーザがシャッタ操作を１回行えば、予め定められた撮影数Ｎに達するまで、所定の時間間隔をおいて自動的に撮影が行われ、予め定められた撮影数Ｎの撮影終了後に、これらの静止画像を合成する。低速連写モード及び高速連写モードは上記時間間隔のみが異なるモードであり、まとめて連写モードと呼ぶことにする。マニュアルモードは、ユーザがシャッター操作を行うごとに１枚の静止画像が撮影され、予め定められた撮影数Ｎの撮影終了後に、これらの静止画像が合成される。
【００３３】
図中の（ｂ）には、いずれかの詳細モードを選択し、オーバーラップ合成処理が開始されたときの様子が示されている。ユーザがいずれかの詳細モードを選択すれば、カメラ部２０から随時出力される画像データがメイン表示部１１に動画像としてモニター表示される。これらの画像データは画像データ記憶部３には格納されない。
【００３４】
次に、プロセッサ２からカメラ部２０へ撮影指示が出力されると、そのとき撮影された静止画像が画像データ記憶部３に格納され、当該静止画像が、短い所定期間、メイン表示部１１に表示される（図中の（ｃ））。その後は図中の（ｂ）の状態に戻る。プロセッサ２からの撮影指示は、連写モードの場合には連写タイマー７からのタイムアップ信号に基づいて自動的に出力され、マニュアルモードの場合にはユーザのシャッター操作に基づいて出力される。
【００３５】
撮影が行われるごとに、図中の（ｂ）及び（ｃ）の状態が繰り返され、撮影回数が所定の撮影数Ｎに達すれば、プロセッサ２が上記撮影数Ｎの静止画像を合成し、合成画像を画像データ記憶部３に格納する。その後、メイン表示部１１に画像データの閲覧画面が表示される。図中の（ｄ）はこのときの様子を示した図である。
【００３６】
この閲覧画面は、一連の静止画像及びその合成画像がサムネイル表示された表示画面であり、ユーザがフォーカスＦＣを移動させて画像を選択し、決定キーを操作すれば、選択された画像が拡大表示される。ここでは、合成画像を先頭とし、左から右、上から下の順で、一連の静止画像（撮影数Ｎは５）が撮影順に従ってサムネイル表示されている。なお、合成処理の直後は、フォーカスＦＣが合成画像に当てられているため、フォーカスＦＣの移動操作を行うことなく選択キーを操作するだけで、合成画像を拡大表示させることができる。図中の（ｅ）は、この様にして合成画像を拡大表示させたときの状態が示されている。
【００３７】
<筐体折り畳み時の画面表示>
図４の（ａ）〜（ｃ）は、筐体を折り畳んだ状態で、オーバーラップ合成を実行した場合におけるサブ表示部２２の表示例を示した図である。図３（ａ）のメニュー画面において詳細モードを選択した後、シャッター操作を行う前にユーザが筐体を閉じれば、オーバーラップ合成モードで使用される表示画面が、メイン表示部１１からサブ表示部２２に切り替わる。図４の（ａ）ではこの時の様子が示されており、カメラ部２０から随時出力されている画像データが、サブ表示部２２に動画像としてモニター表示されている。
【００３８】
次に、ユーザによるシャッター操作が行われ、プロセッサ２からカメラ部２０へ撮影指示が出力されると、そのとき撮影された静止画像が、短い所定期間、サブ表示部２２に表示される（図４の（ｂ））。その後は図４の（ａ）の状態に戻り、撮影回数が所定の撮影数Ｎに達するまで、図中の（ａ）及び（ｂ）の状態を繰り返す。
【００３９】
そして、撮影回数が所定の撮影数Ｎに達すれば、プロセッサ２が上記撮影数Ｎの静止画像を合成し、合成画像を画像データ記憶部３に格納する。その後、サブ表示部２２に画像データの閲覧画面が表示される。図中の（ｃ）はこのときの様子を示した図である。サブ表示部２２は表示領域が小さいため、閲覧画面はサムネイル表示ではなく、一枚の画像が拡大表示される。ここでは、合成処理の直後に合成画像が拡大表示されているため、ユーザは、まず合成画像を閲覧することができる。なお、移動キーを操作すれば、一連の静止画像を順次に拡大表示させることもできる。
【００４０】
<連写モードにおける動作>
図５のステップＳ１０１〜Ｓ１０９は、オーバーラップ合成モードにおける動作の一例を示したフローチャートであり、連写モードにおける動作が示されている。この一連の処理は、図３（ａ）の詳細モードの選択画面において、ユーザが高速連写モード又は低速連写モードを選択した場合に開始される。
【００４１】
まず、プロセッサ２が、開閉センサー４の出力に基づいて筐体の開閉状態を判別し、オーバーラップ合成モードにおいて使用する表示部を選択する。つまり、筐体が開状態であればメイン表示部１１が使用され、閉状態であればサブ表示部２２が使用される（ステップＳ１０１〜Ｓ１０３）。ユーザがシャッター操作を行うまではステップＳ１０１〜Ｓ１０３が繰り返され、メイン表示部１１、サブ表示部２２のいずれを使用するかはユーザの筐体開閉操作によって決定される（ステップＳ１０４）。
【００４２】
ユーザがシャッター操作を行った場合、キー操作部１２，２３からプロセッサ２へシャッター信号が入力される。プロセッサ２は、このシャッター信号に基づいて、カメラ部２０へ撮影指示を出力し、１回目の静止画像の撮影が行われる（ステップＳ１０５）。この撮影処理は、カメラ部２０から出力される静止画像をプロセッサ２が画像データ記憶部３に格納することによって行われる。また、撮影処理時には、必要に応じてライト部２１が発光して露出調整が行われる。
【００４３】
撮影回数が予め定められた撮影数Ｎに達していない場合、所定時間が経過して連写タイマー７からタイムアップ信号が出力されるのを待って、ステップＳ１０５の撮影処理が再び実行される（ステップＳ１０６，Ｓ１０７）。連写タイマー７は、撮影処理時にプロセッサ２により起動され、その後の経過時間を計測し、動作モードに応じた所定時間が経過するとタイムアップ信号をプロセッサ２へ出力する。低速連写モードの場合には、高速連写モードよりも撮影処理の間隔が長くなる様に連写タイマー７の計測時間が設定される。また、高速連写モードでは、少なくともＣＣＤ素子３０の連続撮影に必要とされる最低時間間隔以上に設定されている。
【００４４】
撮影回数が撮影数Ｎに達した場合、プロセッサ２は引き続き合成処理を実行する（ステップＳ１０８）。合成処理は、画像データ記憶部３から読み出した撮影数Ｎの静止画像を合成し、１枚の合成画像を生成することにより行われる。合成処理の詳細については後述する。合成処理が終了すれば、撮影された一連の静止画像及び合成画像を閲覧するための閲覧画面が表示される（ステップＳ１０９）。
【００４５】
<マニュアルモードにおける動作>
図６のステップＳ２０１〜Ｓ２０９は、オーバーラップ合成モードにおける動作の他の例を示したフローチャートであり、マニュアルモードにおける動作が示されている。この一連の処理は、図３（ａ）の詳細モードの選択画面において、ユーザがマニュアルモードを選択した場合に開始される。
【００４６】
ステップＳ２０７において、連写タイマー７からタイムアップ信号が出力された場合にステップＳ２０４に戻る点を除き、各ステップＳ２０１〜Ｓ２０９における動作は、ステップＳ１０１〜Ｓ１０９と同様である。マニュアルモードでは、ユーザがシャッター操作を行った場合にのみ、プロセッサ２からカメラ部２０へ撮影指示が出力される。このため、連写タイマー７からタイムアップ信号が出力された場合、プロセッサ２はシャッター操作を待って撮影処理を行う（ステップＳ２０４）。なお、マニュアルモードでは、連写タイマー７の計測時間はＣＣＤ素子３０の連続撮影に必要とされる最低時間間隔（又はそれ以上）に設定される。
【００４７】
<着信時の動作>
図７は、着信時における動作の一例を示したフローチャートである。携帯電話機は、無線基地局から着信信号を受信した場合、ユーザがオフフック操作を行えば、直ちに通話可能な状態に移行する必要がある。しかしながら、いつ着信があるのかは予測することが出来ないため、オーバーラップ合成モードの実行中に着信する場合も生ずる。
【００４８】
無線部６が無線基地局から着信信号を受信した場合、無線部６からプロセッサ２へ着信通知が行われ、図７の処理が開始される。プロセッサ２は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ３０１）。オーバーラップ合成モードの実行中でなければ、通常通りの着信処理が行われる。すなわち、着信のあったことを画面表示するとともに、スピーカを鳴動させて呼び出し音を出力し、ユーザがオフフックボタンを操作すれば通話が開始される。この通話状態は、その後、ユーザがオンフックボタンを操作するまで継続される。
【００４９】
一方、オーバーラップ合成モードの実行中であって撮影数Ｎの撮影終了後であれば、プロセッサ２は合成処理を一時中断して、着信処理を開始する（ステップＳ３０２，Ｓ３０３）。その後、通話が終了すれば、合成処理を再開し、閲覧処理が実行される。なお、閲覧処理中に着信があった場合も全く同様にして、閲覧画面の表示を一時中断し、終話後に再開させる。
【００５０】
ステップ３０２において、撮影数Ｎの静止画像の撮影完了前、すなわち、合成処理の開始前であった場合には、連写モードであるか否かが判別される（ステップＳ３０６）。連写モードでない場合、つまり、マニュアルモードであった場合には、撮影完了後であった場合と全く同様、撮影処理を一時中断し、終話後に再開させる（ステップＳ３０３〜Ｓ３０５）。一方、連写モードであった場合には、プロセッサ２が、画像データ記憶部３に格納されている撮影数Ｎに満たない静止画像を破棄し、オーバーラップ合成モードを終了させて、着信処理を開始する（ステップＳ３０７〜Ｓ３０８）。
【００５１】
連写モードは、通話時間よりも遙かに短い時間間隔で被写体を連続撮影し、その結果得られた所定の撮影数Ｎの静止画像を合成するモードである。このため、所定の撮影数Ｎの完了前に中断して終話後に再開すれば、ユーザが意図した一連の静止画像を得ることはできない。このため、連写モードにおける撮影完了前に着信があった場合には、プロセッサ２が処理を中止するとともに、撮影数Ｎに満たない静止画像を消去して、画像データ記憶部３の空き領域を確保している。
【００５２】
なお、終話後に撮影数Ｎに満たない静止画像を合成処理するように構成してもよい。ただし、合成する静止画像の数が一定であれば合成処理をより簡略化することができることから、合成処理の対象となる静止画像の数を撮影数Ｎのみとし、撮影数Ｎに満たない静止画像は破棄することが望ましい。
【００５３】
<電子メール受信時の動作>
携帯電話機を宛先とする電子メールは、一旦、通信事業者のメールサーバ（不図示）に送信される。この電子メールを受信したメールサーバは、無線基地局を介して当該携帯電話機に対しメール受信通知を送信する。電子メールの受信機能を有する携帯電話機は、このメール受信通知を受信すれば直ちに電子メールの受信を開始する必要がある。オーバーラップ合成モードの実行中に、このようなメール受信通知を受信する場合も生ずる。オーバーラップ合成処理の実行中にメール受信通知が合った場合、着信時と同様にして、オーバーラップ合成処理が中断又は中止される。
【００５４】
図８は、電子メール受信通知の受信時における動作の一例を示したフローチャートである。無線部６が無線基地局からメール受信通知を受信した場合、無線部６からプロセッサ２へメール受信通知の受信通知が行われ、図８の処理が開始される。プロセッサ２は、まず、オーバーラップ合成モードの実行中であるか否かを判別する（ステップＳ４０１）。オーバーラップ合成モードの実行中でなければ、通常通りのメール受信処理が行われる。すなわち、電子メールの受信を開始するとともに、画面表示や鳴動等により電子メールを受信したことをユーザに対し通知する。このとき、ユーザは受信メールの閲覧操作を行うことができる。
【００５５】
一方、オーバーラップ合成モードの実行中であって撮影数Ｎの撮影終了後であれば、プロセッサ２は合成処理を一時中断して、メール受信処理を開始する（ステップＳ４０２，Ｓ４０３）。その後、メール受信処理（ユーザへの通知、メール閲覧処理を含めてもよい）が終了すれば、合成処理を再開し、合成画像等の閲覧処理が実行される。なお、合成画像等の閲覧処理中にメール受信通知があった場合も全く同様にして、合成画像等の閲覧画面を一時中断し、メール受信処理の終了後に再開させる。
【００５６】
ステップ４０２において、撮影数Ｎの静止画像の撮影完了前、すなわち、合成処理の開始前であった場合には、連写モードであるか否かが判別される（ステップＳ４０２，Ｓ４０６）。連写モードでない場合、つまり、マニュアルモードであった場合には、合成処理時と全く同様にして撮影処理を一時中断し、メール受信処理の終了後に再開させる（ステップＳ４０３〜Ｓ４０５）。一方、連写モードであった場合には、プロセッサ２が、画像データ記憶部３に格納されている撮影数Ｎに満たない静止画像を破棄し、オーバーラップ合成モードを終了させて、メール受信処理を開始する（ステップＳ４０７〜Ｓ４０８）。
【００５７】
本実施の形態では、着信又はメール受信通知があった場合に、オーバーラップ合成モードの実行を中断又は中止する場合について説明したが、その他の条件又は手段によって中断又は中止させるように構成することもできる。例えば、ユーザが所定のキー操作を行った場合や、予め設定された時刻にアラーム音が出力されるような場合に、オーバーラップ合成モードの実行を中断又は中止させてもよい。その際、中断及び中止のいずれにするのかは、図７及び図８の場合と同様、実行中の詳細モードや撮影処理の完了に基づいて選択してもよいし、ユーザが予め選択しておいてもよい。
【００５８】
<合成処理>
次に、合成処理について説明する。図９は、カメラ部２０から出力される静止画像のデータフォーマットの一例を示した図である。このデータフォーマットは、ＹＵＶ４２０と呼ばれ、人間の目が輝度に比べ色度には鈍感であることを利用してデータ量を削減したフォーマットである。すなわち、各ピクセル（画素）ごとの輝度データＹと、隣接する４ピクセルごとの色差データにより構成される。色差データは、さらに赤の色差Ｕ及び青の色差Ｖからなる。図示した静止画像の場合、横２ｍピクセル、縦２ｎピクセルからなり、４ｍｎ個の輝度データＹ１〜Ｙ４ｍｎと、ｍｎ個の赤の色差データＵ１〜Ｕｍｎと、ｍｎ個の青の色差データＶ１〜Ｖｍｎからなる。
【００５９】
プロセッサ２は、ＹＵＶ４２０フォーマットからなる撮影数Ｎの静止画像を画像データ記憶部３から読み出して合成する。この合成処理は、従来の合成処理（例えば特許文献３）の様に画像データの２次元的な広がりを考慮するのではなく、ピクセルごとに独立して行われる。つまり、合成される各静止画像において位置的に対応するピクセルの画像データのみに基づいて、合成画像中の位置的に対応するピクセルの画像データが決定され、この様な処理を全てのピクセルについて繰り返し実行することにより合成画像が生成される。
【００６０】
ピクセルごとの合成処理は、合成される各ピクセルをその輝度データＹによってグループに分類し、このグループごとに荷重演算処理を行うことによって実行される。すなわち、画像データが輝度データＹと、色差データＵ及びＶからなる場合、まず、合成されるＮ個のピクセルを輝度データＹに基づいてグループ化し、これらの輝度データＹについてグループごとの荷重演算処理を行って合成画像の輝度データＹが生成される。同様にして、これらのピクセルの色差データＵ，Ｖについても、上記グループ（輝度データＹに基づくグループ）ごとの荷重演算処理を行って合成画像の色差データＵ，Ｖがそれぞれ生成される。
【００６１】
さらに、図１０〜図１２を用いて、上記合成処理について詳しく説明する。図１０の（ａ）〜（ｆ）は、一連の静止画像及びその合成画像の一例を示した説明図であり、（ａ）〜（ｅ）が撮影数Ｎ＝５の場合において順次に撮影された一連の静止画像、（ｆ）がこれらの静止画像をオーバーラップ合成した合成画像である。
【００６２】
図１１は、合成される５枚の静止画像の画像データと、１枚の合成画像の画像データを模式的に示した図である。静止画像及び合成画像は、それぞれが輝度データＹ１〜Ｙｎｍと、色差データＵ１〜Ｕｎｍ及びＶ１〜Ｖｎｍからなるが、この図では、１〜５回目に撮影された静止画像のデータに対し、それぞれａ〜ｅを付して区別している。
【００６３】
例えば、左上のピクセルに注目すれば、５枚の静止画像の対応するピクセルの画像データ（Ｙ１ａ，Ｕ１ａ，Ｖ１ａ）、（Ｙ１ｂ，Ｕ１ｂ，Ｖ１ｂ）、（Ｙ１ｃ，Ｕ１ｃ，Ｖ１ｃ）、（Ｙ１ｄ，Ｕ１ｄ，Ｖ１ｄ）、（Ｙ１ｅ，Ｕ１ｅ，Ｖ１ｅ）を合成して、合成画像の画像データ（Ｙ１，Ｕ１，Ｖ１）が求められる。
【００６４】
図１２のステップＳ５０１〜Ｓ５０８は、合成処理の一例を示したフローチャートである。まず、注目するピクセルについて、５枚（＝撮影数Ｎ）の静止画像における輝度データＹｉａ〜Ｙｉｅの平均値Ｙａｖを求める（ステップＳ５０１）。次に、これらの輝度データＹｉａ〜Ｙｉｅを平均値Ｙａｖと比較して、５個のピクセルを２つのグループに分類する。ここでは、輝度データが平均値Ｙａｖよりも大きなグループαと、それ以外のグループβに分類する（ステップＳ５０２）。
【００６５】
次に、各画像データＹ，Ｕ，Ｖのそれぞれについて、各グループα，βごとの合計値を求める（ステップＳ５０３）。すなわち、次の各値が求められる。
【数１】
2005064731.tif 000003
【００６６】
これらの合計値を用いてグループごとの荷重平均演算を行い、合成画像の画像データＹｉ，Ｕｉ，Ｖｉが求められる（ステップＳ５０６）。すなわち、
【数２】
2005064731.tif 000004
【００６７】
ただし、ステップＳ５０２においてグループα、βへの分類に失敗した場合、つまり、Ｎα＝０又はＮβ＝０となった場合には、次式に従って、Ｙ，Ｕ，Ｖのそれぞれについて、全てのピクセルに関する単純平均が求められる（ステップＳ５０４，Ｓ５０５）。
【数３】
2005064731.tif 000005
【００６８】
ステップＳ５０１〜Ｓ５０６によるピクセルごとの合成処理を、全てのピクセルについて繰り返すことによって、画像データの全体について合成処理が行われる（ステップＳ５０７）。この様な合成処理によって得られたデータは、各ピクセルごとに輝度データと、色差データＵ及びＶを有している。このため、次式に従って、隣接する４ピクセルの各色差データＵ，Ｖの平均値を求めれば、ＹＵＶ４２０フォーマットからなる合成画像が得られる（ステップＳ５０８）。
【数４】
2005064731.tif 000006
【００６９】
従来の合成処理（例えば特許文献３）を用いて、動きのある被写体を抽出して合成した場合、処理負荷が大きく処理速度が低下するだけでなく、被写体の抽出に誤りがあった場合に、被写体に代えて背景が表示されるピクセルが現れ、極めて見づらい画像になる。しかも、被写体を正確に抽出することは容易ではない。その一方で、複数の静止画像について、対応するピクセルごとに平均値を求めて重ね合わせた場合には、被写体と背景を何ら区別しないため、動きのある被写体よりも背景が強調されて、合成後は被写体が見づらくなるという問題が生ずる。
【００７０】
しかしながら、本発明の合成処理では、グループ化して荷重演算処理を行うことにより、被写体（前景）と背景を区別して双方の要素を反映させながら合成している。このため、被写体と背景とが正しくグループ化された場合には合成後の被写体が見やすく、正しくグループ化されなかった場合であっても極端に見づらい画像になることがない。
【００７１】
しかも、ピクセルごとの合成処理であるため、処理負荷が比較的軽く、処理速度が早い。このため、カメラ付携帯電話機などのように、小型化、軽量化が要求され、演算処理能力が比較的低い画像処理装置に好適である。
【００７２】
なお、グループ化処理の効果は、３枚以上の静止画像を合成する場合に得られる。一般に、動きの大きな被写体（又は被写体の一部）を連続撮影した場合、位置的に対応するピクセルに注目すれば、過半数のピクセルが背景を示し、被写体が撮影されたピクセルは特異点となっている可能性が高い。このため、輝度の平均値等を閾値とすることによって、被写体及び背景を容易に区別することができる。この結果、単純な平均演算によって合成する場合に比べ、被写体を強調した合成画像を得ることができる。
【００７３】
また、動きの小さい被写体（又は被写体の一部）については、単純な平均演算により合成した場合であっても、比較的良好な合成画像が得られるが、本実施の形態による合成処理は、動きの小さい被写体については、単純な平均演算により合成する場合とほぼ同等であり、良好な合成画像が得られる。
【図面の簡単な説明】
【００７４】
【図１】本発明による移動体通信端末の一例を示した外観図である。
【図２】図１の携帯電話機１の要部について内部構成の一例を示したブロック図である。
【図３】筐体を展開させた状態でオーバーラップ合成を実行した場合におけるメイン表示部１１の表示例を示した図である。
【図４】筐体を折り畳んだ状態で、オーバーラップ合成を実行した場合におけるサブ表示部２２の表示例を示した図である。
【図５】オーバーラップ合成モードにおける動作の一例を示したフローチャートであり、連写モードにおける動作が示されている。
【図６】オーバーラップ合成モードにおける動作の他の例を示したフローチャートであり、マニュアルモードにおける動作が示されている。
【図７】着信時における動作の一例を示したフローチャートである。
【図８】メール受信時における動作の一例を示したフローチャートである。
【図９】カメラ部２０から出力される静止画像のデータフォーマットの一例を示した図である。
【図１０】一連の静止画像及びその合成画像の一例を示した説明図である。
【図１１】合成される５枚の静止画像の画像データと、１枚の合成画像の画像データを模式的に示した図である。
【図１２】合成処理の一例を示したフローチャートである。
【符号の説明】
【００７５】
１    携帯電話機
２    プロセッサ
３    画像データ記憶部
４    開閉センサー
５    表示制御部
６    無線部
７    連写タイマー
１１    メイン表示部
１２，２３    キー操作部
２０    カメラ部
２２    サブ表示部
Ｎ    撮影数
Ｕ，Ｕ１〜Ｕｍｎ  赤の色差データ（画像データ）
Ｖ，Ｕ１-Ｕｎｍ    青の色差データ（画像データ）
Ｙ，Ｙ１-Ｙ４ｍｎ    輝度データ（画像データ）
Ｙａｖ    輝度データの平均値
α，β    グループ
【図１】
2005064731.tif 000007
【図２】
2005064731.tif 000008
【図３】
2005064731.tif 000009
【図４】
2005064731.tif 000010
【図５】
2005064731.tif 000011
【図６】
2005064731.tif 000012
【図７】
2005064731.tif 000013
【図８】
2005064731.tif 000014
【図９】
2005064731.tif 000015
【図１０】
2005064731.tif 000016
【図１１】
2005064731.tif 000017
【図１２】
2005064731.tif 000018