(57)【特許請求の範囲】
【請求項１】
同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
を備えた画像処理装置。
【請求項２】
前記中間合成画像生成手段は、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行う
請求項１記載の画像処理装置。
【請求項３】
前記最終画像生成手段は、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
請求項１または２記載の画像処理装置。
【請求項４】
前記ノイズ低減画像生成手段は、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成する
請求項１乃至３の何れか１項記載の画像処理装置。
【請求項５】
前記ノイズ低減画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成する
請求項１乃至３の何れか１項記載の画像処理装置。
【請求項６】
前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、
前記最終画像生成手段は、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
請求項１記載の画像処理装置。
【請求項７】
前記最終画像生成手段は、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
請求項６記載の画像処理装置。
【請求項８】
前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
請求項１記載の画像処理装置。
【請求項９】
前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
請求項８記載の画像処理装置。
【請求項１０】
被写体を撮影する撮影手段と、
請求項１乃至９の何れか１項記載の画像処理装置とを備え、
前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する撮影装置。
【請求項１１】
コンピュータを、
同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
として機能させるためのプログラム。
【請求項１２】
同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、
前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、
前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、
前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、
前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、
前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、
を備えた画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮影装置、プログラム及び画像処理方法に関し、特に、連続撮影によって得られた画像に対して画像処理を行う撮影装置、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、撮影装置によって高精細画像を撮影する技術として、連続的に複数回撮影し、撮影で得られた複数枚の画像を位置合せして合成した画像を最終的な撮影画像とすることで、ノイズが少ない撮影画像を生成する技術が用いられている。この技術において画像を合成する際には、合成対象の各々の画像間の動きベクトル（動き量）をジャイロセンサや画像処理によって求め、この動きベクトルに基づいて複数枚の画像を平行移動させたり回転させたりして位置合わせを行った上で合成する。【０００３】
しかし、人間が撮影装置を手に持って撮影した場合等には、手ブレにより、連続的に撮影した画像であっても各々の画像間で画角が比較的大きく異なっている場合がある。また、合成対象の画像を変形させることにより、画像を合成する際に相互の画像が合成される画素領域と合成されない画素領域が発生する。そのため、複数枚の画像を合成した場合に、合成画像において画素領域毎に合成回数が異なってしまう。一方、画像を合成する際に、被写体ブレが発生している領域、オクルージョンが発生している領域等に対応する画素が合成されないように制御する場合もあり、その場合においても、合成画像において画素領域毎に合成回数が異なってしまう。【０００４】
このように画素領域毎に合成回数が異なっている場合には、合成画像におけるノイズ低減量に画素領域毎にばらつきが発生する。すなわち、合成回数が多い画素領域においてはノイズが十分に低減されていても、合成回数が少ない画素領域においてはノイズが残存している可能性がある。【０００５】
これを解消するために、特開２００９−１９４７００号公報には、合成画像に対して画素領域毎に合成回数に応じたノイズ低減処理を施す撮影装置が開示されている。この撮影装置は、連続的に撮影された複数枚の画像を位置合わせした上で加算して合成画像を生成するとともに、合成画像の画素毎に加算回数を算出する加算回数算出手段と、合成画像の画素毎に加算回数に応じてノイズを低減するノイズ低減手段とを備えている。この構成により、高精細画像を生成することが可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特開２００９−１９４７００号公報に開示されている技術では、合成画像の画素領域毎に合成回数に応じてノイズ低減処理を行っている。しかしながら、一般的な撮影装置に搭載されているノイズ低減処理の機能は対象とする画像全体に対してノイズ低減処理を行うものである。すなわち、合成画像の画素領域毎にノイズを低減するためには、画素領域を指定してノイズ低減処理を行う機能を別途設ける必要がある。【０００７】
本発明は、このような課題を解決するためになされたものであり、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる画像処理装置、撮影装置、プログラム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、を備えている。【０００９】
この画像処理装置によれば、画像取得手段により、同一被写体を複数回撮影して得られた複数の画像が取得され、基準画像選択手段により、前記複数の画像の何れか１つの画像が基準画像として選択され、変形画像生成手段により、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像が生成される。【００１０】
また、ノイズ低減画像生成手段により、前記基準画像に対してノイズを低減する処理が行われてノイズ低減画像が生成され、中間合成画像生成手段により、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像が生成される。【００１１】
ここで、最終画像生成手段により、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像が生成される。すなわち、中間合成画像に対して、基準画像と中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きい画素領域、すなわち合成によるノイズ低減効果が高い画素領域に対して、ノイズ低減画像の重みを軽くしてノイズ低減画像を合成する。【００１２】
これにより、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。【００１３】
また、本発明の画像処理装置は、前記中間合成画像生成手段が、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行うようにしてもよい。これにより、合成に適さない画素領域が合成されることを回避することができる。【００１４】
また、本発明の画像処理装置は、前記最終画像生成手段が、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。【００１５】
また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。【００１６】
また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。【００１７】
また、本発明の画像処理装置は、前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、前記最終画像生成手段が、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。【００１８】
また、本発明の画像処理装置は、前記最終画像生成手段が、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。【００１９】
また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。【００２０】
また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。【００２１】
本発明の撮影装置は、被写体を撮影する撮影手段と、本発明の画像処理装置とを備え、前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する。【００２２】
この撮影装置によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。【００２３】
本発明のプログラムは、コンピュータを、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、として機能させる。【００２４】
このプログラムによれば、コンピュータを本発明の画像処理装置と同様に作用させることができるので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。【００２５】
本発明の画像処理方法は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、を備えている。【００２６】
この画像処理方法によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
【発明の効果】
【００２７】
本発明によれば、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる、という効果が得られる。
【図面の簡単な説明】
【００２８】
【図１Ａ】実施形態に係るデジタルカメラを示す正面斜視図である。
【図１Ｂ】実施形態に係るデジタルカメラを示す背面斜視図である。
【図２】実施形態に係るデジタルカメラの電気系の要部構成を示す概略ブロック図である。
【図３】第１実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。
【図４】第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。
【図５】第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。
【図６】第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。
【図７】第１実施形態に係るデジタルカメラが中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。
【図８】第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。
【図９】第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。
【図１０】第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。
【図１１】第３実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。
【図１２】第４実施形態に係るデジタルカメラにより中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。
【図１３】第４実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。
【図１４】第５実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。
【図１５】第５実施形態に係るデジタルカメラにおける第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。
【図１６】実施形態に係る撮影装置の一実施形態であるスマートフォンの外観を示す図である。
【図１７】図１６に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
〔第１実施形態〕
以下、図面を参照して、第１実施形態に係る撮影装置について詳細に説明する。なお、第１実施形態では、本発明を単眼デジタルカメラに適用した場合を例に挙げて説明する。
【００３０】
図１Ａは、第１実施形態に係るデジタルカメラ１の構成を示す正面斜視図であり、図１Ｂは第１実施形態に係るデジタルカメラ１の構成を示す背面斜視図である。図１Ａ及び図１Ｂに示すように、デジタルカメラ１は筐体１０を備えていて、筐体１０の内部に後述するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられていて、ユーザによりレリーズボタン１１が押下されることによりデジタルカメラ１に撮影等の指示が入力される。
【００３１】
また、筐体１０の上面には電源ボタン１２が備えられていて、ユーザにより電源ボタン１２が押下されることにより、デジタルカメラ１の電源のオン／オフ状態を切り替える指示が入力される。さらに、筐体１０の上面にはズームレバー１３が備えられていて、ユーザによりこのズームレバー１３が操作されることにより、撮影時にズーム機能の画角や倍率の変更の指示が入力される。
【００３２】
一方、図１Ａに示すように、筐体１０の正面にはフラッシュ１４が備えられていて、フラッシュ１４を発光させることにより周囲が照明される。また、筐体１０の正面にはレンズ１５が備えられていて、このレンズ１５に入射した光が当該レンズ１５を通過して内部に入力される。
【００３３】
また、図１Ｂに示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられていて、撮影画像や設定事項などが表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられていて、ユーザにより各種操作ボタン１７が操作されることにより各種設定事項の設定の指示が入力される。
【００３４】
図２は、第１実施形態に係るデジタルカメラ１の電気系の要部構成を示す概略ブロック図である。図２に示すように、デジタルカメラ１は、主制御部２０、撮影部２１、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、加重係数導出部３０、ノイズ低減処理部３１、及び合成処理部３２を備えている。
【００３５】
主制御部２０は、上述したＣＰＵ、ＲＡＭ及びＲＯＭを備えていて、レリーズボタン１１、電源ボタン１２、及び各種操作ボタン１７等の入力部を介したユーザ操作に従って、デジタルカメラ１を総括的に制御する。また、主制御部２０は、後述する撮影制御処理プログラムを実行する。
【００３６】
撮影部２１は、ＣＣＤやＣＭＯＳで構成された撮像素子を有し、レンズ１５に入射した光を受光し、受講した光を電気信号に変換して画像データを生成する。また、撮影部２１は、生成した画像データを画像処理部２３に送信する。
【００３７】
撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示省略）及びＡＥ（Automatic Exposure）処理部（図示省略）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作等により撮影部２１によって取得されたプレ画像（撮影の前段階においてレンズ１５に入射している光による画像）に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、撮影部２１に合焦領域や焦点位置を示すデータを出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１にシャッタ速度や絞り値を示すデータを出力する。
【００３８】
また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により撮影部２１に対して本画像を撮影する本撮影を行うように指示を出す。なお、レリーズボタン１１が全押し操作される前には、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１に対して行っている。
【００３９】
画像処理部２３は、撮影部２１が取得した画像データが示す画像に対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の様々な画像処理を施す。
【００４０】
圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を示す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行って圧縮画像データを生成する。圧縮画像データは、例えばＥｘｉｆフォーマットに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
【００４１】
フレームメモリ２５は、撮影部２１が生成した画像データに対して、画像処理部２３が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
【００４２】
メディア制御部２６は、デジタルカメラ１に記録メディア２６Ａなどの各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。
【００４３】
内部メモリ２７は、デジタルカメラ１において設定される各種設定事項、主制御部２０が実行するプログラムやプログラムの処理に使用されるデータ、及び撮影画像を示す複数の画像データを記憶する。なお、内部メモリ２７は、後述する撮影制御処理プログラムを記憶している。
【００４４】
表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された各々の画像データが示す画像を液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている画像データが示す画像を液晶ディスプレイ１６に表示させたりする。
【００４５】
ここで、第１実施形態に係るデジタルカメラ１における撮影制御処理について説明する。なお、第１実施形態に係るデジタルカメラ１は、高精細画像を撮影するために、連続的に複数回撮影して得られた複数枚の画像をそれぞれ合成して中間合成画像を生成し、この中間合成画像をノイズ低減処理を施した基準画像と合成して最終合成画像を生成し、この最終合成画像を最終的な撮影画像とする。
【００４６】
図３は、第１実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図４及び図５は、第１実施形態に係るデジタルカメラ１が撮影制御処理を開始してから中間合成画像Ｃを生成するまでの処理の流れを説明するための概略図である。さらに、図７は、第１実施形態に係るデジタルカメラ１が中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
【００４７】
当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行される。また、当該撮影制御処理プログラムは、内部メモリ２７に予め記憶されている。
【００４８】
ステップＳ１０１において、主制御部２０は、レリーズボタン１１が全押しされたか否かを判定する。ステップＳ１０１において全押しされていないと判定された場合は、主制御部２０は、そのままレリーズボタン１１が全押しされるまで待機する。
【００４９】
ステップＳ１０１において全押しされたと判定された場合は、ステップＳ１０３において、主制御部２０は、デジタルカメラ１において連続的に複数回の撮影が行われるように制御し、撮影された複数枚の画像の各々の画像情報を取得する。なお、ステップＳ１０３において、本実施形態では、連続的に複数回の撮影が行われるように制御されるが、必ずしも連続的に撮影が行われる必要はなく、同一被写体を複数回撮影した画像の各々の画像情報が得られれば良い。
【００５０】
次のステップＳ１０５において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像のうち１つの画像を基準画像Ａとして選択する。この際、例えば、レリーズボタン１１が全押しされた直後に撮影された画像がユーザ所望の画像であることを考慮し、最初に撮影された１枚が基準画像Ａとして選択される。なお、後述する各画像の位置合わせを考慮し、連続的に撮影された他の画像に対するずれ量の平均値が最も小さいと考えられる、時系列で中央に位置する画像が基準画像Ａとして選択されても良い。以下、ステップＳ１０５において選択された基準画像Ａを、「当初の基準画像Ａ」ともいう。
【００５１】
次のステップＳ１０７において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像から、ステップＳ１０５において選択された基準画像Ａに対して最初に合成される画像である非基準画像Ｂを選択する。この際、例えばステップＳ１０３において基準画像Ａの次に撮影された画像が非基準画像Ｂとして選択されると良い。ステップＳ１０５及びＳ１０７によって、図４に示すように、合成対象とする基準画像Ａ及び非基準画像Ｂが選択される。
【００５２】
次のステップＳ１０９において、主制御部２０は、基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。この際、主制御部２０は、例えば、基準画像Ａ及び非基準画像Ｂにおいて複数の特徴点を検出して、各々の特徴点について各々の画像で相互に対応させてブロックマッチングを行う。ブロックマッチングは、以下の（１）及び（２）の手順で画像間の変位を画素単位で求める手法である。
（１）画像間の類似性を評価するために、各々比較する画像から領域を切り出し、その領域に対する輝度差の総和（SAD; Sum of Absolute Difference）、輝度差の２乗和（SSD: Sum of Squared Differece）、または正規化相互相関（ZNCC; Zero-mean Normalized Cross- Correlation）等を求める。
（２）ＳＡＤまたはＳＳＤを用いるときには最小値、ＺＮＣＣを用いるときには最大値を与える切り出し位置を検索することで、画像間の変位を画素単位で求める。
そして、主制御部２０は、各々の特徴点の画像間の変位により基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。
【００５３】
次のステップＳ１１１において、主制御部２０は、ステップＳ１０９において検出した動きベクトルに基づいて基準画像Ａに対して非基準画像Ｂを変形させる。この際、非基準画像Ｂにおける特徴点が基準画像Ａにおける特徴点に略一致するように、非基準画像Ｂを平行移動、回転移動及び伸縮のうちの少なくとも１つを行うことにより変形させる。上記「略一致するように」は、各々対応する特徴点を完全に一致するように変形させる場合に加えて、各々対応する特徴点のずれのベクトルが全体として略０となるように変形させることを含む。ステップＳ１１１の処理によって、図５に示すように、基準画像Ａにおける被写体Ｈの位置と非基準画像Ｂにおける被写体Ｈの位置が略一致するように、非基準画像Ｂが変形される。
【００５４】
次のステップＳ１１３において、主制御部２０は、基準画像Ａ及び非基準画像Ｂの対応する各画素の画素値の差分の絶対値ｄを導出する。画素値の差分の絶対値ｄは、基準画像Ａ、非基準画像Ｂの画素値をそれぞれimg[1], img[2]とすると、以下の（１）式によって計算される。
〔数１〕
d = | img[2] − img[1] |      …（１）
【００５５】
次のステップＳ１１５において、主制御部２０は、各画素の画素値の差分の絶対値ｄに基づいて、基準画像Ａ及び非基準画像Ｂを合成する際に基準画像Ａに重み付けを行うための第１加重係数ｗを画素毎に導出する。
【００５６】
図６は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。図６においては横軸が画素値の差分の絶対値ｄ、縦軸が第１加重係数ｗに設定されている。また、第１所定値ｄ１及び第２所定値ｄ２（ｄ１＜ｄ２）は、経験により予め得られている値である。
【００５７】
図６に示すように、第１加重係数ｗは０から１までの値であり、画素値の差分の絶対値ｄが０から第１所定値ｄ１までの値である場合には第１加重係数ｗが０．５となり、画素値の差分の絶対値ｄが第２所定値ｄ２以上の値である場合には第１加重係数ｗが１となり、かつ、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの値である場合には、画素値の差分の絶対値ｄが大きくなるほど第１加重係数ｗが比例して大きくなるような０．５から１までの間での値となる。
【００５８】
画素値の差分の絶対値ｄが小さい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が小さいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを０．５とし、非基準画像Ｂの加重係数（１−ｗ）を０．５として、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にする。一方、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が大きいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを１とし、非基準画像Ｂの加重係数（１−ｗ）を０として、基準画像Ａの重みを大きくする。また、基準画像Ａ及び非基準画像Ｂの重みが対等な領域と基準画像Ａの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの第１加重係数ｗの値を滑らかに変化させている。
【００５９】
なお、図６に示す画素値の差分の絶対値ｄと第１加重係数ｗとの関係は一例であり、画素値の差分の絶対値ｄと第１加重係数ｗとの関係は、画素値の差分の絶対値ｄが小さい場合には、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にし、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａの重みを重くするようなグラフであれば良い。
【００６０】
次のステップＳ１１７において、基準画像ＡとステップＳ１１１において変形させた非基準画像Ｂとを加重係数ｗを用いて合成して、中間合成画像Ｃを生成する。基準画像Ａ及び非基準画像Ｂの合成画像は、基準画像Ａ及び非基準画像Ｂにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
【００６１】
すなわち、中間合成画像Ｃの各画素の画素値は、基準画像Ａ、非基準画像Ｂ、中間合成画像Ｃの画素値をそれぞれimg[1], img[2], mixとすると、以下の（２）式によって計算される。
〔数２〕
mix = w × img[1] + (1-w) × img[2]    …（２）
【００６２】
上記（２）式によって合成画像の各画素の画素値が計算され、図４及び図５に示すように、基準画像Ａ及び非基準画像Ｂの合成画像として中間合成画像Ｃが生成される。
【００６３】
このように複数の画像を撮影して合成する目的は、ランダムノイズを低減することである。したがって、各々の画像間の撮影条件、撮影された画像に対する信号処理の条件が略同等であれば、ノイズ低減効果が最大となるのは、基準画像Ａと非基準画像Ｂとを１：１の割合で加重平均した場合、すなわち第１加重係数ｗが０．５の場合である。しかし、例えば基準画像Ａにおける全画素について１：１の割合で加重平均すると、基準画像Ａ内に動体が存在した場合等に、合成画像における動体領域において動体が多重像化してしまう。そこで、主制御部２０は、事前に画素毎に画素値の差分の絶対値ｄを計算し、画素値の差分の絶対値ｄが大きい領域（図６に示す例では、ｄ≧ｄ２の領域）を合成に適さない領域（以下、「合成不適領域」ともいう。）として基準画像Ａの重みを示す第１加重係数ｗを１とすることで、合成不適領域が合成に用いられることを回避している。
【００６４】
次のステップＳ１１９において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像の全ての画像がステップＳ１１７の処理によって合成されたか否かを判定する。ステップＳ１１９において全ての画像が合成されていないと判定された場合、ステップＳ１２１において、主制御部２０は、ステップＳ１１７において生成した中間合成画像を新たな基準画像Ａとして選択し、ステップＳ１０７に移行する。そして、主制御部２０は、ステップＳ１０７において、まだ合成されていない画像を非基準画像Ｂとして選択し、ステップＳ１０９乃至Ｓ１２１の処理を繰り返し行うことにより、ステップＳ１０３において連続的に撮影された複数の画像の全ての画像が合成された中間合成画像Ｃが生成される。
【００６５】
ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。この空間的なノイズ低減処理には、ＬＰＦ（ローパスフィルタ）や、バイラテラルフィルタ、またはエッジの強度・方向に応じた適応的なフィルタ等、様々な既知の手法を適用できる。このような空間ノイズ低減処理を行うための機能は、一般的なデジタルカメラに略必須とされている機能であり、多くのデジタルカメラに既に搭載されている。なお、ステップＳ１２３の処理は、後述するステップＳ１２５の処理より前の段階であれば、どの段階で実行されても構わない。
【００６６】
次のステップＳ１２５において、主制御部２０は、基準画像Ａ及び中間合成画像Ｃの対応する各画素の画素値の差分の絶対値ｄ’を算出する。画素値の差分の絶対値ｄ’は、基準画像Ａ、中間合成画像Ｃの画素値をそれぞれimg[1], img[3]とすると、以下の（３）式によって計算される。
〔数３〕
d'= | img[3] −img[1] |      …（３）
【００６７】
次のステップＳ１２７において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
【００６８】
図８は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図８においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図８に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第３所定値ｄ３までの値である場合には第２加重係数ｗ’が１となり、画素値の差分の絶対値ｄ’が第４所定値ｄ４（ｄ３＜ｄ４）以上の値である場合には第２加重係数ｗ’が０となり、かつ、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して小さくなるような０から１までの間での値となる。
【００６９】
画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１−ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１−ｗ’）を１として、ノイズ低減画像Ｄの重みを小さくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
【００７０】
なお、図８に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄの重みを重くし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを軽くするようなグラフであれば良い。
【００７１】
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
【００７２】
すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mix、mix_fとすると、以下の（４）式によって計算される。
〔数４〕
mix_f = w’ × img’[1] + (1-w’) × mix      …（４）
【００７３】
上記（４）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
【００７４】
なお、上述したように、非基準画像Ｂに対して平行移動や回転等の変形を行うことにより、基準画像Ａ及び非基準画像Ｂを合成した際に、図５に示すように、中間合成画像Ｃにおいて、基準画像Ａ及び非基準画像Ｂが合成された画素領域（以下、「合成領域」ともいう。）、及び基準画像Ａ及び非基準画像Ｂが合成されない画素領域（以下、「非合成領域」ともいう。）が発生する。合成領域においては合成によりノイズが低減されている一方で、非合成領域においてはノイズが低減されていないために非合成領域のノイズ量は基準画像Ａと同等であり、非合成領域においてはノイズ低減効果が全く得られていないことになる。しかし、中間合成画像Ｃの非合成領域に対して、基準画像Ａに空間ノイズ低減処理を行った画像を、他の画素領域よりも合成比率を高くして合成することで、合成処理における合成領域と非合成領域のノイズ量の差を小さくすることが可能である。
【００７５】
このようにして第１実施形態に係るデジタルカメラ１では、合成不適領域及び非合成領域に対して空間的なノイズ低減を施すことで、複数枚の画像を位置合せして合成して得られる合成画像の、合成によるノイズ低減効果の非均一性を解消することが可能である。また、第１実施形態に係るデジタルカメラ１では、基準画像Ａに一般的に用いられている画像全体に対して空間ノイズ低減処理を行う機能を用いることができるため、新たな機能を追加することなくノイズ低減効果の非均一性を解消することが可能である。
【００７６】
なお、中間合成画像Ｃを生成するために合成される画像が３枚以上である場合、中間合成画像Ｃにおける各領域を合成領域と非合成領域の２つの領域に明確に分類することができない。その場合には、画素単位、あるいは所定の領域単位で合成の度合（ノイズ低減の度合）が変更されると良い。
【００７７】
〔第２実施形態〕
第２実施形態に係るデジタルカメラ１について説明する。
【００７８】
第２実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【００７９】
第２実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃの合成回数に応じて設定するものである。
【００８０】
図９は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
【００８１】
始めに、上述したステップＳ１０１乃至Ｓ１０５の処理を行った後に、ステップＳ２０１において、主制御部２０は、ステップＳ１１７における合成処理を何回行ったかを示す合成回数を０に設定する。そして主制御部２０は、ステップＳ１０７乃至Ｓ１１７の処理を行う。
【００８２】
次のステップＳ２０３において、ステップＳ２０１において０に設定した合成回数に１を加算して、ステップＳ１１９に移行する。このステップＳ２０３の処理により、ステップＳ１０７乃至Ｓ１１７の処理が行われる毎に合成回数が計数される。
【００８３】
ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ２０５において、主制御部２０は、ステップＳ２０３において計数された合成回数に応じて、合成回数が多くなるほどノイズを低減する強度が大きくなるように、基準画像Ａに対するノイズ低減強度を設定する。
【００８４】
上述したように、合成によるノイズ低減効果の非均一性を解消する目的で行うため、基準画像Ａに対するノイズ低減の効果（強度）も合成枚数に依存させることが好ましい。ノイズ低減強度の設定は、例えば、ノイズ低減処理を行う際にガウシアンフィルタを用いる場合には、ガウシアンフィルタによる平滑化度合を調整する際、合成回数が多くなるほどパラメータσの値が大きくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。なお、ガウシアンフィルタは、注目画素に近いほど平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくなるようにガウス分布の関数を用いてレートを計算するフィルタであり、パラメータσの値が大きいほど平滑化の効果が大きくなる。
【００８５】
また、ノイズ低減処理を行う際に平均値フィルタを用いた場合には、合成回数が多くなるほどカーネルサイズが大きくなるようにカーネルサイズを変更する方法を用いても良い。なお、平均値フィルタは、注目画素とその近傍の画素の濃度値の平均値を、注目画素の新しい濃度値とするフィルタである。
【００８６】
次のステップＳ２０７において、主制御部２０は、ステップＳ２０５において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
【００８７】
このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、合成回数に応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
【００８８】
〔第３実施形態〕
第３実施形態に係るデジタルカメラ１について説明する。
【００８９】
第３実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態及び第２実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【００９０】
第３実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃにおける基準画像Ａの重み（合成比率）に応じて設定するものである。
【００９１】
図１０は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
【００９２】
始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ３０１において、主制御部２０は、中間合成画像Ｃにおける基準画像Ａの重みを算出する。
【００９３】
合成によるノイズ低減効果は、合成対象の各々の画像がどのような合成比率で合成されたかに依存する。例えば、合成対象の画像がＮ枚であった場合、第ｎ番目の中間合成画像Ｃをmix[n] 、第ｎ番目の非基準画像Ｂをimg[n]、第ｎ番目の第１加重係数ｗをw[n]とすると、生成された中間合成画像Ｃに占める基準画像Ａの重みを示す第１加重係数ｗを下記の（５）式のように表すことができる。
〔数５〕
w = w[1] × w[2] ×w[3] × ・・・× w[N-1]      …（５）
ただし、
mix[1] = w[1] × img[1] + (1-w[1]) × img[2]
mix[2] = w[2] × mix[1] + (1-w[2]) × img[3]
mix[3] = w[3] × mix[2] + (1-w[3]) × img[4]
・
・
・
【００９４】
次のステップＳ３０３において、ステップＳ３０１において算出した基準画像Ａの重みに基づいて、基準画像Ａの重みが重くなるほどノイズを低減する強度が小さくなるように、基準画像Ａに対するノイズ低減強度を設定する。
【００９５】
第３実施形態では、上記（５）式によって画素毎に算出された基準画像Ａの第１加重係数ｗの値のうち最小の値に基づいて、ノイズ低減処理の強度を調整する。ノイズ低減強度の調整は、例えば、ガウシアンフィルタを用いて、ガウシアンフィルタによる平滑化度合を調整する際、中間合成画像Ｃにおける基準画像Ａの重みが重くなるほどパラメータσの値が小さくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。あるいは、平均値フィルタにおいて、中間合成画像Ｃにおける基準画像Ａの重みが多くなるほどカーネルサイズが小さくなるようにカーネルサイズを変更する方法を用いても良い。
【００９６】
次のステップＳ３０５において、主制御部２０は、ステップＳ３０３において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
【００９７】
このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、中間合成画像Ｃにおける基準画像Ａの重みに応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
【００９８】
〔第４実施形態〕
第４実施形態に係るデジタルカメラ１について説明する。
【００９９】
第４実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第３実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【０１００】
第４実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、中間合成画像Ｃ及び単純合成画像（ステップＳ１０３において連続的に撮影して得られた複数の画像の各々を同一の比率で合成した画像）Ｆに応じて設定するものである。
【０１０１】
図１１は、第３実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図１２は、第４実施形態に係るデジタルカメラ１により中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
【０１０２】
当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
【０１０３】
始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ４０１において、主制御部２０は、ステップＳ１０３において連続的に撮影されて得られた複数の画像の各々を、全ての画像が同一の合成比率となるように合成した単純合成画像Ｆを生成する。
【０１０４】
次のステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。また、次のステップＳ４０３において、主制御部２０は、中間合成画像Ｃ及び単純合成画像Ｆの対応する各画素の画素値の差分の絶対値ｄ’を算出する。
【０１０５】
次のステップＳ４０５において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
【０１０６】
図１３は、第４実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図１３においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図１３に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第５所定値ｄ５までの値である場合には第２加重係数ｗ’が０となり、画素値の差分の絶対値ｄ’が第６所定値ｄ６（ｄ５＜ｄ６）以上の値である場合には第２加重係数ｗ’が１となり、かつ、画素値の差分の絶対値ｄ’が第５所定値ｄ５から第６所定値ｄ６までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
【０１０７】
この場合には、第１実施形態と異なり、画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１−ｗ’）を１として、ノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等にする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１−ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
【０１０８】
なお、図１３に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等とし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを重くするようなグラフであれば良い。
【０１０９】
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
【０１１０】
このようにして第４実施形態に係るデジタルカメラ１では、第１実施形態と同様の作用及び効果を得ることができる。
【０１１１】
〔第５実施形態〕
第５実施形態に係るデジタルカメラ１について説明する。
【０１１２】
第５実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第４実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【０１１３】
第５実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、第１加重係数ｗに基づいて第２加重係数ｗ’を導出するものである。すなわち、上記（５）式に示すように、第１加重係数ｗの値が大きいほど中間合成画像Ｃにおける基準画像Ａの重みが大きくノイズ低減効果が低いことを表している。そこで、第５実施形態に係るデジタルカメラ１は、第２加重係数ｗ’を第１加重係数ｗに応じて導出する。
【０１１４】
図１４は、第５実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
【０１１５】
始めに、上述したステップＳ１０１乃至Ｓ１２３の処理を行う。そして、次のステップＳ５０１において、主制御部２０は、ステップＳ１１５において導出した、基準画像Ａ及び変形させた非基準画像Ｂを合成する際の第１加重係数ｗに基づいて、中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する。
【０１１６】
図１５は、第５実施形態に係るデジタルカメラ１における第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。図１５においては横軸が第１加重係数ｗ、縦軸が第２加重係数ｗ’に設定されている。図１５に示すように、第２加重係数ｗ’は０から１までの値であり、第１加重係数ｗが０から第７所定値ｄ７（ここでは、０．５）までの値である場合には第２加重係数ｗ’が０となり、第１加重係数ｗが第８所定値ｄ８以上の値である場合には第２加重係数ｗ’が１となり、かつ、第１加重係数ｗが第７所定値ｄ７から第８所定値ｄ８（ｄ７＜ｄ８）までの値である場合には、第１加重係数ｗが大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
【０１１７】
第１加重係数ｗが小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、ノイズ低減画像Ｄの重みを小さくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
【０１１８】
なお、図１５に示す第１加重係数ｗと第２加重係数ｗ’との関係との関係は一例であり、第１加重係数ｗと第２加重係数ｗ’との関係は、第１加重係数ｗが小さい場合にはノイズ低減画像Ｄの重みを小さくし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを大きくするようなグラフであれば良い。
【０１１９】
次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
【０１２０】
すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mixとすると、以下の（６）式によって計算される。
〔数６〕
mix_f = w’ × img’[1] + (1-w’) × mix[N-1]      …（６）
【０１２１】
上記（６）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
【０１２２】
このようにして第５実施形態に係るデジタルカメラ１では、算出済みの第１加重係数ｗから第２加重係数ｗ’を算出するようにしたので、第１実施形態と同様の作用及び効果を得ることができる上に、処理速度を向上させることができる。
【０１２３】
以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ（パーソナルコンピュータ）用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
【０１２４】
本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１２５】
図１６は、実施形態に係る撮影装置の一実施形態であるスマートフォン７０の外観を示す図である。図１６に示すスマートフォン７０は、平板状の筐体７２を有し、筐体７２の一方の面に表示部としての表示パネル７４Ａと、入力部としての操作パネル７４Ｂとが一体となった表示入力部７４を備えている。また、係る筐体７２は、スピーカ７６と、マイクロホン７８と、操作部８０と、カメラ部８２とを備えている。なお、筐体７２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
【０１２６】
図１７は、図１６に示すスマートフォン７０の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、無線通信部８４と、表示入力部７４と、通話部８６と、操作部８０と、カメラ部８２と、記憶部８８と、外部入出力部９０と、ＧＰＳ（Global Positioning System）受信部９２と、モーションセンサ部９４と、電源部９６と、主制御部９８とを備える。また、スマートフォン７０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【０１２７】
無線通信部８４は、主制御部９８の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１２８】
表示入力部７４は、主制御部９８の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル７４Ａと、操作パネル７４Ｂとを備える。
【０１２９】
表示パネル７４Ａは、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル７４Ｂは、表示パネル７４Ａの表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部９８に出力する。次いで、主制御部９８は、受信した検出信号に基づいて、表示パネル７４Ａ上の操作位置（座標）を検出する。
【０１３０】
図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン７０の表示パネル７４Ａと操作パネル７４Ｂとは一体となって表示入力部７４を構成しているが、操作パネル７４Ｂが表示パネル７４Ａを完全に覆うような配置となっている。係る配置を採用した場合、操作パネル７４Ｂは、表示パネル７４Ａ外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル７４Ｂは、表示パネル７４Ａに重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル７４Ａに重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１３１】
なお、表示領域の大きさと表示パネル７４Ａの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル７４Ｂが、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体７２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル７４Ｂで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１３２】
通話部８６は、スピーカ７６やマイクロホン７８を備え、マイクロホン７８を通じて入力されたユーザの音声を主制御部９８にて処理可能な音声データに変換して主制御部９８に出力したり、無線通信部８４あるいは外部入出力部９０により受信された音声データを復号してスピーカ７６から出力するものである。また、図１６に示すように、例えば、スピーカ７６を表示入力部７４が設けられた面と同じ面に搭載し、マイクロホン７８を筐体７２の側面に搭載することができる。
【０１３３】
操作部８０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部８０は、スマートフォン７０の筐体７２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１３４】
記憶部８８は、主制御部９８の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部８８は、スマートフォン内蔵の内部記憶部８８Ａと着脱自在な外部メモリスロットを有する外部記憶部８８Ｂにより構成される。なお、記憶部８８を構成するそれぞれの内部記憶部８８Ａと外部記憶部８８Ｂは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１３５】
外部入出力部９０は、スマートフォン７０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））、ＵＷＢ（登録商標）（Ultra Wideband）、ジグビー（ZigBee（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１３６】
スマートフォン７０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン７０の内部の各構成要素に伝達することや、スマートフォン７０の内部のデータが外部機器に伝送されるようにすることができる。
【０１３７】
ＧＰＳ受信部９２は、主制御部９８の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン７０の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部９２は、無線通信部８４や外部入出力部９０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１３８】
モーションセンサ部９４は、例えば、３軸の加速度センサなどを備え、主制御部９８の指示にしたがって、スマートフォン７０の物理的な動きを検出する。スマートフォン７０の物理的な動きを検出することにより、スマートフォン７０の動く方向や加速度が検出される。係る検出結果は、主制御部９８に出力されるものである。  
【０１３９】
電源部９６は、主制御部９８の指示にしたがって、スマートフォン７０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１４０】
主制御部９８は、マイクロプロセッサを備え、記憶部８８が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン７０の各部を統括して制御するものである。また、主制御部９８は、無線通信部８４を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１４１】
アプリケーション処理機能は、記憶部８８が記憶するアプリケーションソフトウェアにしたがって主制御部９８が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部９０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０１４２】
また、主制御部９８は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部７４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部９８が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部７４に表示する機能のことをいう。
【０１４３】
更に、主制御部９８は、表示パネル７４Ａに対する表示制御と、操作部８０、操作パネル７４Ｂを通じたユーザ操作を検出する操作検出制御とを実行する。
【０１４４】
表示制御の実行により、主制御部９８は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル７４Ａの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１４５】
また、操作検出制御の実行により、主制御部９８は、操作部８０を通じたユーザ操作を検出したり、操作パネル７４Ｂを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１４６】
更に、操作検出制御の実行により主制御部９８は、操作パネル７４Ｂに対する操作位置が、表示パネル７４Ａに重なる重畳部分（表示領域）か、それ以外の表示パネル７４Ａに重ならない外縁部分（非表示領域）かを判定し、操作パネル７４Ｂの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１４７】
また、主制御部９８は、操作パネル７４Ｂに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１４８】
カメラ部８２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部８２は、主制御部９８の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることができる。図１６に示すにスマートフォン７０において、カメラ部８２は表示入力部７４と同じ面に搭載されているが、カメラ部８２の搭載位置はこれに限らず、表示入力部７４の背面に搭載されてもよいし、あるいは、複数のカメラ部８２が搭載されてもよい。なお、複数のカメラ部８２が搭載されている場合には、撮影に供するカメラ部８２を切り替えて単独にて撮影したり、あるいは、複数のカメラ部８２を同時に使用して撮影したりすることもできる。
【０１４９】
また、カメラ部８２はスマートフォン７０の各種機能に利用することができる。例えば、表示パネル７４Ａにカメラ部８２で取得した画像を表示することや、操作パネル７４Ｂの操作入力のひとつとして、カメラ部８２の画像を利用することができる。また、ＧＰＳ受信部９２が位置を検出する際に、カメラ部８２からの画像を参照して位置を検出することもできる。更には、カメラ部８２からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン７０のカメラ部８２の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部８２からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１５０】
その他、静止画又は動画の画像データにＧＰＳ受信部９２により取得した位置情報、マイクロホン７８により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部９４により取得した姿勢情報等などを付加して記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることもできる。
【図１Ａ】
0005567235.tif 000002
【図１Ｂ】
0005567235.tif 000003
【図２】
0005567235.tif 000004
【図３】
0005567235.tif 000005
【図６】
0005567235.tif 000006
【図８】
0005567235.tif 000007
【図９】
0005567235.tif 000008
【図１０】
0005567235.tif 000009
【図１１】
0005567235.tif 000010
【図１３】
0005567235.tif 000011
【図１４】
0005567235.tif 000012
【図１５】
0005567235.tif 000013
【図１６】
0005567235.tif 000014
【図１７】
0005567235.tif 000015
【図４】
0005567235.tif 000016
【図５】
0005567235.tif 000017
【図７】
0005567235.tif 000018
【図１２】
0005567235.tif 000019