(57)【要約】  基準画像の被写体と対象画像の被写体とが一致するように対象画像を変形する。  基準画像と対象画像11とのそれぞれにおいて，光学歪量に応じた領域に分割する。対象画像11のうちの基準画像と対象画像11との共通領域10を，基準画像の光学歪量と対象画像11の光学歪量との両方の光学歪量が得られる領域Ｓ35−Ｓ37，Ｓ38−Ｓ40，Ｓ42−Ｓ44に再分割する。再分割された領域Ｓ35−Ｓ37，Ｓ38−Ｓ40，Ｓ42−Ｓ44から得られる基準画像の光学歪量と対象画像11の光学歪量とを用いて，共通領域10の被写体が基準画像と一致するように対象画像11が変形させられる。
2014010324.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を複数回撮像することにより得られた複数フレームの画像を入力する画像入力手段，
上記画像入力手段から入力された複数フレームの画像のうち，基準画像を決定する基準画像決定手段，
上記画像入力手段から入力された複数フレームの基準画像以外の画像のうち，対象画像を決定する対象画像決定手段，
上記基準画像決定手段により決定された基準画像と上記対象画像決定手段により決定された対象画像とのそれぞれを光学歪量に応じた領域に分割する領域分割手段，
上記領域分割手段によって分割された上記基準画像の領域と上記対象画像の領域とにおけるそれぞれの光学歪量に応じて，上記対象画像のうちの上記基準画像と上記対象画像との共通領域を，上記基準画像の光学歪量と上記対象画像の光学歪量のいずれをも区分可能な領域に再分割する領域再分割手段，および
上記領域再分割手段によって再分割された領域から得られる上記基準画像の光学歪量と上記対象画像の光学歪量とを用いて上記対象画像を変形し，上記共通領域の被写体を上記基準画像と一致させる変形手段，
を備えた画像変形装置。
【請求項２】
上記基準画像と上記対象画像との撮像に利用した撮像光学系の光軸が上記基準画像および上記対象画像の中心からずれている場合に，ずれた位置を中心として光学歪補正を行う補正手段をさらに備え，
上記領域分割手段は，
上記補正手段によって光学歪量が補正された上記基準画像と上記対象画像とのそれぞれを，補正された光学歪量に応じて領域に分割するものである，
請求項１に記載の画像変形装置。
【請求項３】
上記基準画像に対する上記対象画像の動きベクトルにもとづいて上記基準画像と上記対象画像とを位置合わせする位置合わせ手段をさらに備え，
上記領域分割手段は，
上記位置合わせ手段により上記基準画像と上記対象画像とが位置合わせされた場合に，不一致の部分について上記基準画像と上記対象画像のそれぞれにおいて光学歪量に応じた領域に分割するものである，
請求項１または２に記載の画像変形装置。
【請求項４】
上記基準画像に対する上記対象画像の動きベクトルにもとづいて上記基準画像と上記対象画像とを位置合わせする位置合わせ手段，および
上記位置合わせ手段により上記基準画像と上記対象画像とが位置合わせされた場合に，不一致の程度が所定以上の場合に上記基準画像または上記対象画像に動体が含まれていると判定する判定手段，
をさらに備えた請求項１から３のうち，いずれか一項に記載の画像変形装置。
【請求項５】
上記領域分割手段は，
上記基準画像と上記対象画像のそれぞれにおいて光学歪量に応じた矩形領域または同心円の領域に分割するものである，
請求項１から４のうち，いずれか一項に記載の画像変形装置。
【請求項６】
上記変形手段によって変形された対象画像と上記基準画像とを合成する合成手段，
をさらに備えた請求項１から５のうち，いずれか一項に記載の画像変形装置。
【請求項７】
画像入力手段が，同一の被写体を複数回撮像することにより得られた複数フレームの画像を入力し，
基準画像決定手段が，上記画像入力手段から入力された複数フレームの画像のうち，基準画像を決定し，
対象画像決定手段が，上記画像入力手段から入力された複数フレームの基準画像以外の画像のうち，対象画像を決定し，
領域分割手段が，上記基準画像決定手段により決定された基準画像と上記対象画像決定手段により決定された対象画像とのそれぞれを光学歪量に応じた領域に分割し，
領域再分割手段が，上記領域分割手段によって分割された上記基準画像の領域と上記対象画像の領域とにおけるそれぞれの光学歪量に応じて，上記対象画像のうちの上記基準画像と上記対象画像との共通領域を，上記基準画像の光学歪量と上記対象画像の光学歪量のいずれをも区分可能な領域に再分割し，
変形手段が，上記領域再分割手段によって再分割された領域から得られる上記基準画像の光学歪量と上記対象画像の光学歪量とを用いて上記対象画像を変形し，上記共通領域の被写体を上記基準画像と一致させる，
画像変形装置の動作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，画像変形装置およびその動作制御方法に関する
【背景技術】
【０００２】
基準画像に対象画像を合成（重畳）する場合，基準画像と対象画像との位置合わせ精度が低いと合成後に多重化や解像感劣化を引き起こす可能性がある。位置合わせ精度を上げるには，画像全体の位置ずれに対応するだけでなく，画像全体の位置ずれに対応しない個々の被写体の位置ずれにも対応する必要がある。個々の被写体の位置ずれの原因としてレンズ・ディストーションがある。レンズ・ディストーションは，レンズの光学中心から離れるほど強くなる傾向があるため，同じ画像の中でも画像上の位置により歪量が異なる。また，画角が変われば画像上の被写体位置も変わるので，基準画像と対象画像とに共通に含まれている被写体の歪量も異なることとなる。【０００３】
図１は，基準画像１の一例である。基準画像１には，左上に被写体として太陽２があり，中央部分に被写体として家３がある。家３は中央部分にあるので，ディストーションによる歪が少ないが，太陽２は左上にあるので，ディストーションの歪が大きい。【０００４】
図３は，対象画像11の一例である。対象画像11には，やや中央よりに太陽の被写体12があり，右下に家の被写体13がある。太陽12はやや中央よりにあるので，ディストーションによる歪が少ないが，家13は右下にあるので，ディストーションの歪が大きい。【０００５】
また，画像合成時にレンズ歪みや胴体の差分による解像感低下を抑制し，違和感の無いパノラマ画像を生成するもの（特許文献１），映像歪みを検出し，歪みを領域毎に関数近似し，算出された関数にて各領域の歪みを補正するもの（特許文献２），グローバル動き補償画像とローカル動き補償画像からブレンド動き補償画像を生成し，基準画像とブレンド動き補償画像を合成することでより高いノイズ低減効果を得るもの（特許文献３）などもある。【０００６】
さらに，光学系の歪曲収差を考慮しつつ，演算量を低減するもの（特許文献４），撮像装置が被写体の分割撮影を行う際に，それぞれの撮影画像の結合時にその重複領域のサイズが必要十分となるように撮影方向を適切に設定するもの（特許文献５）などもある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2010-161520
【特許文献２】特開2011-49733
【特許文献３】特開2011-147985
【特許文献４】特開2007-13430
【特許文献５】特開2011-139368
【０００８】
図33は，基準画像１の太陽２および家３のそれぞれと対象画像11の太陽12および家13のそれぞれとが一致するように基準画像１と対象画像11とを合成した画像の一例である。太陽２の歪量と太陽12の歪量とが異なり，家３の歪量と家13の歪量とが異なるので，太陽の画像および家の画像のいずれもずれてしまっている。このように，単に同一の被写体が重なるように基準画像１と対象画像11とを合成するだけでは，被写体がずれていない合成画像を得ることはできない。【０００９】
特許文献１においては，ディストーションによる歪みか原因で位置合わせ困難な箇所について具体的な方法は明記されておらず，被写体がずれていない合成画像を得ることはできない。また，特許文献２においては単に歪みを補正するだけであり，特許文献３においてはディストーションなど歪みの要因に対応した領域分割方法は明記されていない。特許文献４または５においても被写体がずれていないような合成画像を得ることはできない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
この発明は，被写体がずれていない合成画像が生成されるように対象画像を変形することを目的とする。
【課題を解決するための手段】
【００１１】
この発明による画像変形装置は，同一の被写体（被写体全体が同一の場合だけでなく，被写体全体の一部の被写体が同一の場合でもよい）を複数回撮像することにより得られた複数フレームの画像を入力する画像入力手段，上記画像入力手段から入力された複数フレームの画像のうち，基準画像を決定する基準画像決定手段，画像入力手段から入力された複数フレームの基準画像以外の画像のうち，対象画像を決定する対象画像決定手段，基準画像決定手段により決定された基準画像と対象画像決定手段により決定された対象画像とのそれぞれを光学歪量に応じた領域に分割する領域分割手段，領域分割手段によって分割された基準画像の領域と対象画像の領域とにおけるそれぞれの光学歪量に応じて，対象画像のうちの基準画像と対象画像との共通領域を，基準画像の光学歪量と対象画像の光学歪量のいずれをも区分可能な領域に再分割する領域再分割手段，および領域再分割手段によって再分割された領域から得られる基準画像の光学歪量と対象画像の光学歪量とを用いて対象画像を変形し，共通領域の被写体を基準画像と一致させる変形手段（対象画像を基準画像と一致するように対象画像を変形させるものであり，必ずしも完全に一致しなくともよい）を備えていることを特徴とする。【００１２】
この発明は，画像変形装置に適した動作制御方法も提供している。すなわち，この方法は，画像入力手段が，同一の被写体を複数回撮像することにより得られた複数フレームの画像を入力し，基準画像決定手段が，画像入力手段から入力された複数フレームの画像のうち，基準画像を決定し，対象画像決定手段が，画像入力手段から入力された複数フレームの基準画像以外の画像のうち，対象画像を決定し，領域分割手段が，基準画像決定手段により決定された基準画像と対象画像決定手段により決定された対象画像とのそれぞれを光学歪量に応じた領域に分割し，領域再分割手段が，領域分割手段によって分割された基準画像の領域と対象画像の領域とにおけるそれぞれの光学歪量に応じて，対象画像のうちの基準画像と対象画像との共通領域を，基準画像の光学歪量と対象画像の光学歪量のいずれをも区分可能な領域に再分割し，変形手段が，領域再分割手段によって再分割された領域から得られる基準画像の光学歪量と対象画像の光学歪量とを用いて対象画像を変形し，共通領域の被写体を基準画像と一致させるものである。【００１３】
この発明によると，対象画像のうち，基準画像と対象画像との共通領域は，基準画像の光学歪量と対象画像の光学歪量との両方の光学歪量が得られる領域に再分割される。再分割された領域から得られる基準画像と対象画像の光学歪量とを用いて共通領域の被写体が基準画像と一致するように対象画像が変形させられる。変形させられた対象画像のうち共通領域内の画像は，対象画像の光学歪と基準画像光学歪との両方の光学歪を考慮して変形させられているから，基準画像と合成した場合に基準画像の被写体とのずれがなく一致するようになる。【００１４】
基準画像と対象画像との撮像に利用した撮像光学系の光軸が基準画像および対象画像の中心からずれている場合に，ずれた位置を中心として光学歪補正を行う補正手段をさらに備えてもよい。この場合，領域分割手段は，たとえば，補正手段によって光学歪量が補正された基準画像と対象画像とのそれぞれを，補正された光学歪量に応じて領域に分割する。【００１５】
基準画像に対する対象画像の動きベクトルにもとづいて基準画像と対象画像とを位置合わせする位置合わせ手段をさらに備えてもよい。この場合，領域分割手段は，たとえば，位置合わせ手段により基準画像と対象画像とが位置合わせされた場合に，不一致の部分について基準画像と対象画像のそれぞれにおいて光学歪量に応じた領域に分割するものとなろう。【００１６】
基準画像に対する対象画像の動きベクトルにもとづいて基準画像と対象画像とを位置合わせする位置合わせ手段，および位置合わせ手段により基準画像と対象画像とが位置合わせされた場合に，不一致の程度が所定以上の場合に基準画像または対象画像に動体が含まれていると判定する判定手段をさらに備えるようにしてもよい。【００１７】
領域分割手段は，たとえば，基準画像と対象画像のそれぞれにおいて光学歪量に応じた矩形領域または同心円の領域に分割するものである。【００１８】
変形手段によって変形された対象画像と基準画像とを合成する合成手段をさらに備えてもよい。
【図面の簡単な説明】
【００１９】
【図１】基準画像の一例である。
【図２】領域分割された基準画像の一例である。
【図３】対象画像の一例である。
【図４】領域分割された基準画像の一例である。
【図５】領域再分割された対象画像の一例である。
【図６】再分割された領域と光学歪との関係を示している。
【図７】変形された対象画像の一例である。
【図８】基準画像と対象画像とが位置合わせされた様子を示している。
【図９】撮像装置の電気的構成を示すブロック図である。
【図１０】撮像装置の処理手順の一部を示すフローチャートである。
【図１１】撮像装置の処理手順の一部を示すフローチャートである。
【図１２】ディストーション強度マップの一例である。
【図１３】領域分割された基準画像の一例である。
【図１４】領域分割された対象画像の一例である。
【図１５】領域再分割された対象画像の一例である。
【図１６】再分割された領域と光学歪との関係を示している。
【図１７】撮像装置の処理手順を示すフローチャートである。
【図１８】撮像装置の処理手順を示すフローチャートである。
【図１９】ディストーション強度マップの一例である。
【図２０】撮像装置の処理手順を示すフローチャートである。
【図２１】撮像装置の処理手順を示すフローチャートである。
【図２２】変形された対象画像の一例である。
【図２３】基準画像と対象画像とが位置合わせされている様子を示している。
【図２４】対象画像の一例である。
【図２５】変形された対象画像の一例である。
【図２６】撮像装置の処理手順を示すフローチャートである。
【図２７】差分許容マップの一例である。
【図２８】基準画像の一例である。
【図２９】対象画像の一例である。
【図３０】差分マップの一例である。
【図３１】スマートフォンの外観図である。
【図３２】スマートフォンの電気的構成を示すブロック図である。
【図３３】基準画像と対象画像とを重ね合わせた画像である。
【発明を実施するための形態】
【００２０】
この実施例では，複数の撮像により得られた被写体像のうち基準画像と対象画像とを決定し，基準画像に対象画像を合成（重畳）するものである。基準画像と対象画像とに共通に含まれる被写体が一致するように，基準画像と対象画像とが合成される。撮像により得られる被写体像は撮像レンズの光軸と被写体像の中心とが一致している場合には撮像レンズのディストーションなどの光学歪により，被写体像の中央よりも外側に向かうにつれて歪量が大きくなる。そのような場合に，基準画像と対象画像とを合成しても基準画像と対象画像とに共通に含まれる被写体の歪量の違いにより一致しないことがある。この実施例においては，基準画像と対象画像とを合成する場合に，基準画像と対象画像とに共通に含まれる被写体を一致させるものである。
【００２１】
図１は，基準画像１の一例である。
【００２２】
基準画像１には，左上に被写体として太陽２があり，ほぼ中央部分に被写体として家３が含まれている。
【００２３】
図２は，基準画像１が領域分割された様子を示している。
【００２４】
上述したように，撮像レンズのディストーションにより基準画像１の領域により歪量が異なる。上述したように一般的には被写体像の中央に近いほど光学歪量は少なく，中央から離れるにしたがって光学歪量は多くなる。
【００２５】
基準画像１は，９つの領域（９つの領域でなく，もっと少なくてもよいし，もっと多くてもよい）Ｓ11からＳ19に分けられている。
【００２６】
基準画像１の四隅の領域Ｓ11，Ｓ13，Ｓ17およびＳ19は中央から離れているために光学歪量が強く（大きく），基準画像１の中央の領域Ｓ15の光学歪量は弱い（少ない）。また，中央の領域Ｓ15の上下左右の領域Ｓ12，Ｓ14，Ｓ16およびＳ18の光学歪量は中くらい（中央の領域Ｓ15の光学歪量と四隅の領域Ｓ11，Ｓ13，Ｓ17およびＳ19の光学歪量の中間くらい）である。これらの光学歪量が領域の符号近傍の括弧内に記述されている。たとえば，太陽２は左上隅の領域Ｓ11にあるので光学歪量は強いが，家３は中央の領域Ｓ15にあるので光学歪量は弱い。
【００２７】
図３は，対象画像11の一例である。
【００２８】
対象画像11にも被写体として太陽12および家13が含まれている。基準画像１と対象画像11とは，手振れなどにより画角が異なることがある。このために同じ被写体であっても被写体像中における相対的な位置が変わってしまうことがある。たとえば，基準画像１では太陽２は左上にあるのに対し，対象画像11では太陽12はやや中央によっている。また，基準画像１では家はほぼ中央にあるのに対し，対象画像11では家13は右下にある。
【００２９】
図４は，対象画像が領域分割された様子を示している。
【００３０】
対象画像11も基準画像１と同様に，９つの領域Ｓ21からＳ29に分けられている。もっとも，対象画像11についても９つの領域よりも少なく，あるいは多く分けてもよいし，基準画像１の分け方と異なる分け方にしてもよい。
【００３１】
対象画像11の四隅の領域Ｓ21，Ｓ23，Ｓ27およびＳ29は中央から離れているために光学歪量が強く（大きく），対象画像11の中央の領域Ｓ25の光学歪量は弱い（少ない）。また，中央の領域Ｓ25の上下左右の領域Ｓ22，Ｓ24，Ｓ26およびＳ28の光学歪量は中くらい（中央の領域Ｓ25の光学歪量と四隅の領域Ｓ21，Ｓ23，Ｓ27およびＳ29の光学歪量の中間くらい）である。これらの光学歪量が領域の符号近傍の括弧内に記述されている。たとえば，太陽12は中央の領域Ｓ25にあるので光学歪量は弱い。家13は領域Ｓ25，Ｓ26，Ｓ28およびＳ29にあるので，家13の部分によって光学歪量が変わる。
【００３２】
このように，基準画像１の太陽２と対象画像11の太陽12，基準画像１の家３と対象画像11の家13のように同じ被写体を表わしているものであっても，歪量が変わるので，同じ被写体が一致するように基準画像１と対象画像11とを合成しても，ずれが生じる。すなわち，太陽２と太陽12，家３と家13とを合成しても一致せずに，ずれてしまう。この実施例では，分割後の領域のそれぞれが基準画像１の歪量と対象画像11の歪量との両方の歪量に応じて対象画像11の領域が再分割される。再分割された領域では基準画像１の歪量と対象画像11の歪量との両方の歪量が分るので，基準画像１の歪量と対象画像11の歪量との両方の歪量を用いて，基準画像１と合成した場合に基準画像１と一致するように対象画像11を変形させることができる。
【００３３】
図５は，領域が再分割された対象画像11の一例である。
【００３４】
同一の被写体が重畳されるように（太陽２と太陽12，家３と家13とが重畳されるように），図４に示す領域分割された対象画像11に図２に示す領域分割された基準画像１が合成されると，図２に示す基準画像１において分割された領域と図４に示す対象画像11において分割された領域とから，図５に示すように，基準画像１の光学歪量と対象画像11の光学歪量のいずれをも区分可能な，さらに細かい領域に分割される（領域再分割）。
【００３５】
このような対象画像11における領域再分割により，対象画像11には，領域Ｓ31からS44が生成されることとなる。
【００３６】
図６は，対象画像11における領域再分割により，得られる領域ごとの光学歪量を示している。
【００３７】
上述のように領域再分割により領域Ｓ31からＳ44が得られるが，共通する被写体像の部分を表わす基準画像１と対象画像11との共通領域10内においてのみ基準画像１の歪量と対象画像11の歪量とが得られる。共通領域10のみ領域再分割の対象としてもよい。このために，図６においては，共通領域10内の領域Ｓ35からＳ37，Ｓ38からＳ40，Ｓ42からＳ44について，それぞれの領域内において括弧書きで歪量が記述されている。歪量は強，中または弱の文字で表わされている。強は歪量が強いことを示し，中は歪量が中くらいのことを示し，弱は歪量が弱いことを示している。括弧内の最初の文字は，その領域内における基準画像１の歪量を示し，括弧内の後の文字は，その領域内における対象画像11の歪量を示している。たとえば，領域Ｓ35は，歪量が（強，弱）で記述されているから，その領域Ｓ35内に対応する基準画像１の歪量は強く，対象画像11の歪量は弱いことを示している。同様に，領域Ｓ36は，歪量が（中，弱）で記述されているから，その領域Ｓ36内に対応する基準画像１の歪量は中くらいで，対象画像11の歪量は弱いことを示している。その他の領域についても同様である。
【００３８】
図７は，変形された対象画像11Ａの一例である。
【００３９】
図６に示したように，共通領域10内の領域については，対象画像11の光学歪量だけでなく，基準画像１のうち対応する領域の光学歪量も分るので対象画像11の光学歪量と基準画像１の光学歪量との両方の光学歪量を用いて，対象画像11が基準画像１に合成された場合に対象画像11内に含まれる被写体（太陽12，家13）が，基準画像１に含まれる被写体（太陽２，家３）と一致するように，対象画像11Ａが変形させられる。このようにして変形させられた対象画像11が，図７に示す変形された対象画像11Ａである。
【００４０】
このようにして変形された対象画像11Ａには，基準画像１に含まれており，ディストーションにより歪んでいる太陽２および家３と一致する太陽12Ａおよび家13Ａが含まれている。変形された対象画像11Ａと基準画像１とが合成されることにより，ずれの無い合成画像が得られるようになる。
【００４１】
図８は，変形された対象画像11Ａと基準画像１とを合成した様子を示している。
【００４２】
対象画像11Ａは上述したように変形させられているので，基準画像１に対象画像11Ａを合成すると，ずれの無い太陽22と家23とを含む合成画像が得られるようになる。
【００４３】
このように基準画像１と対象画像11とのそれぞれにおいて部分ごとに光学歪が異なっていても，ずれの無い被写体を含む合成画像（重畳画像）が得られる。
【００４４】
図９は，撮像装置の電気的構成を示すブロック図である。
【００４５】
撮像装置の全体の動作は，ＣＰＵ30によって統括される。
【００４６】
撮像装置には，撮像指令，連写指令等を入力するためのスイッチ，ボタン等を含む操作装置54が含まれている。操作装置54から出力される操作信号はＣＰＵ30に入力する。また，撮像装置には，被写体を照射する発光装置35および被写体からの反射光を受光する受光装置36も含まれている。
【００４７】
撮像素子34の前方には撮像レンズ31が位置決めされている（撮像レンズ31の前方に機械シャッタがあるが図示は省略されている）。撮像素子34の受光面と撮像レンズ31との間には，絞り32および光学ロウ・パス・フィルタ33が配置されている。撮像レンズ31は，レンズ駆動装置37によって光軸方向に位置決めされ，絞り32は絞り駆動装置38によって開口量が制御される。撮像素子34は，撮像素子駆動装置39によって映像信号出力等が制御される。また，撮像装置には，撮像素子34の手振れを検出する手振れ検出装置40および撮像素子34をシフトするための手振れ補正駆動装置41が含まれている。
【００４８】
撮像素子34から出力された映像信号は，アナログ信号処理装置42において，白バランスなどの所定のアナログ信号処理が行われて出力される。アナログ信号処理装置42から出力される映像信号は，アナログ／ディジタル変換回路43においてディジタル画像データに変換される。
【００４９】
ディジタル画像データは，メモリ制御装置45によってメイン・メモリ44に一時的に記録される。ディジタル画像データはメイン・メモリ44から読み出され，ディジタル信号処理装置46において，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル画像データは，ディストーション／シェーディング補正装置47に入力し，ディストーション補正が行われるとともに基準位置を基準としてシェーディング補正が行われる。ディストーション補正等が行われた画像データが表示制御装置53の制御のもので表示装置52に与えられることにより，表示装置52の表示画面に光学補正等が行われた被写体像が表示される。
【００５０】
メイン・メモリ44から読み出されたディジタル画像データは積算装置49にも入力する。積算装置49において輝度成分の積算が行われ，得られた積算値にもとづいて，絞り32の絞り値が調整される。
【００５１】
操作装置54から記録指令が与えられると，上述のように光学歪等が補正された画像データは外部メモリ制御装置51の制御のもとにメモリ・カード50に与えられ，メモリ・カード50に記録される。
【００５２】
上述したように，対象画像11の変形および変形された対象画像11Ａと基準画像１との合成は，連写された場合に行われる。もっとも，連写された場合に限らず，その他の場合に行われてもよいのはいうまでもない。
【００５３】
図10および図11は，撮像装置の処理手順を示すフローチャートである。
【００５４】
操作装置54によって連写合成処理が設定されてなければ（ステップ61でＮＯ），単写撮影が行われ，上述した合成処理は行われない。連写合成処理が設定されていると（ステップ61でＹＥＳ），連写が行われ（ステップ62），複数フレームの画像を表わす画像データが上述したようにメイン・メモリ44に一時的に記憶される。連写によって得られた複数フレームの画像を表わす画像データはメイン・メモリ44から読み出され，ディストーション／シェーディング補正装置47に入力し，ディストーション（光学歪）補正等が行われる（ステップ63）。ディストーション等の補正が行われた複数フレームの画像を表わす画像データは，表示装置52に与えられ，その画像データによって表わされる複数フレームの画像が表示装置52の表示画面に表示される。表示された複数フレームの画像の中から操作装置54を利用して基準画像が決定される（ステップ64）。また，表示された複数フレームの画像の中から対象画像も選択される（ステップ65）。
【００５５】
上述のようにディストーション補正が行われても完全にはディストーションが除去できずにディストーションが残ってしまうことがある。このために上述したように（図２，図４参照），決定された基準画像と選択された対象画像のそれぞれが，ディストーションの強度に応じて領域分割される（ステップ66）。つづいて，領域分割された基準画像と領域分割された対象画像とが，ディストーションの少ない領域における被写体が一致するように位置合わせ（合成，重畳）される（ステップ67）。
【００５６】
ディストーションの少ない領域において位置合わせが成功すれば（ステップ68でＹＥＳ），上述したように，ディストーションの強度に応じて領域分割された基準画像と対象画像とにもとづいて対象画像の領域が再分割される（ステップ69，図５，図６参照）。再分割された対象画像における領域での基準画像のディストーション強度と対象画像のディストーション強度とを用いて対象画像が変形させられる（ステップ70，図７）。
【００５７】
ディストーションの少ない領域において位置合わせが成功しなければ（ステップ68でＮＯ），ディストーションの強い領域において位置合わせが行われる（ステップ72）。ディストーションの強い領域において位置合わせが成功すると（ステップ73でＹＥＳ），上述したように対象画像が再分割され（ステップ69），対象画像が変形させられる（ステップ70）。ディストーションの強い領域においても位置合わせが成功しなければ（ステップ73でＮＯ），その対象画像については基準画像と合成することはできないとして別の対象画像が選択される（ステップ65）。
【００５８】
処理対象のすべての対象画像について処理が終了するまでステップ65から73までの処理が繰り返される（ステップ71）。
【００５９】
図12から図18は，他の実施例を示している。この実施例では，撮像レンズ31の情報からあらかじめディストーションの強度マップが生成され，その強度マップを利用して上述した領域分割が行われるものである。
【００６０】
図12は，ディストーション強度マップの一例である。
【００６１】
ディストーション強度マップ80は，撮像により得られる被写体像に対応して，その被写体像中の部分のディストーション強度を示している。図12に示すディストーション強度マップ80は，同心円状の３つの領域75，76および77に分けられている。中央の楕円状の領域75のディストーションは弱く，領域75の周りの領域76のディストーションは中くらいであり，一番外側の領域77のディストーションは強い。
【００６２】
図13は，ディストーション強度マップ80にしたがって領域分割された基準画像の一例である。
【００６３】
基準画像１は，ディストーション強度マップ80にしたがって，境界81および82が規定されている。境界81内の領域Ｓ31のディストーションは弱く，境界81と境界82との間の領域Ｓ32のディストーションは中くらいである。境界82の外側の領域Ｓ33のディストーションは強い。
【００６４】
図14は，ディストーション強度マップ80にしたがって領域分割された対象画像の一例である。
【００６５】
対象画像11も基準画像１と同様に，ディストーション強度マップ80にしたがって，境界91および92が規定されている。境界91内の領域Ｓ41のディストーションは弱く，境界91と境界92との間の領域Ｓ42のディストーションは中くらいである。境界92の外側の領域Ｓ43のディストーションは強い。
【００６６】
図15は，領域が再分割された対象画像の一例である。
【００６７】
上述したように，領域分割された基準画像１（図13参照）と領域分割された対象画像11（図14参照）とが得られると，これらの基準画像１および対象画像11から領域が再分割される。これにより，再分割された領域は，基準画像１の部分ごとのディストーション強度と対象画像11の部分ごとのディストーション強度との両方のディストーション強度が分ることとなる。
【００６８】
図16は，対象画像11における再分割された領域とディストーション強度を示している。
【００６９】
上述したように，対象画像11が再分割されることにより共通領域10内において，領域Ｓ51からＳ60が規定される。図６と同様に，これらの領域Ｓ51からＳ60において括弧内にディストーション強度が記述されている。ディストーション強度は，括弧内に強，中または弱で表わされている。括弧の最初の文字で表わされているディストーション強度は，その領域に対応する基準画像１の領域のディストーション強度を示している。括弧の最後の文字で表わされているディストーション強度は，その領域における対象画像のディストーション強度である。
【００７０】
図17および図18は，撮像装置の処理手順を示すフローチャートである。これらの図において，図10または図11に示す処理と同一の処理については同一符号を付して説明を省略する。
【００７１】
上述したように，まずディストーション強度マップ（図12参照）が作成される（ステップ101）。作成されたディストーション強度マップにしたがい基準画像が領域分割される（ステップ102，図13参照）。対象画像が選択されると（ステップ65），選択された対象画像についてもディストーション強度マップにしたがい領域分割される（ステップ103）。その後の処理は，図11に示すものと同様である。
【００７２】
図19および図20は，他の実施例を示している。
【００７３】
基準画像１または対象画像11の中心と撮像レンズ31の光軸とが一致していると，図12に示すように中心から遠ざかるほどディストーション強度は強くなる。しかしながら，手振れ補正などにより撮像素子34がシフトすると，基準画像１または対象画像11の中心と撮像レンズ31の光軸とが一致しなくなる。このために，基準画像１または対象画像11（基準画像１，対象画像11に限らず，撮像により得られた被写体像すべてに当てはまる）の中心から離れるほど補正強度が強くなるようにディストーション補正をしても，適切なディストーション補正ができないことがある。この実施例は，撮像素子34がシフトされられた場合に，そのシフト量，シフト位置に応じてディストーション補正の中心位置を算出して，算出された位置を基準にディストーション補正するものである。
【００７４】
図19は，ディストーション強度マップ80の一例である。
【００７５】
図12に示したように中心から離れるほどディストーション強度が大きくなるような領域75，76および77が規定されている。
【００７６】
破線111で示すように，撮像素子34の中心Ｃ１と撮像レンズ31の光軸とが一致していると，撮像素子34による撮像により得られた被写体像は中心から外側に向かうほどディストーション強度が強くなる。しかしながら，鎖線112で示すように撮像素子34がシフトさせられ，撮像素子34の中心Ｃ２が撮像レンズ31の光軸からずれると，撮像素子34による撮像により得られた被写体像のディストーション強度は被写体像の中心Ｃ２（撮像素子34の中心Ｃ２と同じとなる）から離れるにしたがって強くなるのではなく，撮像レンズ31の光軸Ｃ１から離れるにしたがって強くなる。このために，被写体像のディストーション補正は，撮像素子34の中心Ｃ２との位置関係を基準にして行うのではなく，撮像レンズ31の光軸との位置関係を基準にして行わなければならない。
【００７７】
図20は，ディストーション補正の処理手順を示すフローチャートである。
【００７８】
上述のように連写が行われ（ステップ121），ディストーション補正の処理を行う画像が選択される（ステップ122）。
【００７９】
つづいて，撮影時の撮像素子34のシフト位置が算出される（ステップ123）。シフト位置は，手振れ駆動装置41における撮像素子34の移動量，移動方向から算出できる。もっとも撮像素子34の位置を検出するジャイロ・センサを撮像装置に設けるようにしてもよい。
【００８０】
撮像素子34のシフト位置が算出されると，その算出されたシフト位置と撮像レンズ31の光軸位置とを参照して，撮像により得られた画像における撮像レンズ31の光軸位置がディストーション補正の中心位置として中心位置が更新させられる（ステップ124）。更新させられた中心位置を基準として，選択された画像のディストーション補正が行われる（ステップ125）。その他の画像についてディストーション補正が行われる場合には（ステップ126でＹＥＳ），ステップ122から125までの処理が繰り返される。
【００８１】
上述の実施例においては，ディストーション補正において撮像素子34のセンサ位置を検出し，検出されたセンサ位置を利用してディストーション補正の中心位置が決定されているが，上述したディストーション強度マップを作成する場合にも撮像素子34のシフト位置を考慮するようにしてもよい。その場合には，図12に示すディストーション強度マップでは光軸中心から離れるほどディストーション強度が強くなる。
【００８２】
図21から図25は，さらに他の実施例を示している。この実施例では，対象画像の全体の動きに応じて変形し，変形された対象画像と基準画像とを比較して差分のある領域を見つけ出すものである。その差分のある領域について，上述のように，基準画像のディストーション強度と対象画像のディストーション強度とを用いて変形処理が行われる。
【００８３】
図21は，撮像装置の処理手順を示すフローチャートである。
【００８４】
上述のように，連写が行われ（ステップ130），得られた複数フレームの画像についてディストーション補正が行われる（ステップ131）。つづいて，基準画像および上述した変形処理を行う対象となる対象画像が選択される（ステップ132）。選択された対象画像の全体の動きを推定して変形された後に（ステップ133），基準画像と対象画像とが位置合わせされて合成される（ステップ134）。
【００８５】
図22は，全体の動きを推定して変形された対象画像11Ｂの一例である。
【００８６】
対象画像11Ｂには，太陽11Ｂおよび家13Ｂが含まれている。
【００８７】
図23は，位置合わせされた基準画像１と対象画像11Ｂを示している。
【００８８】
対象画像11Ｂは，全体の動きを推定して変形されているので，基準画像１と対象画像11Ｂとが位置合わせされると，基準画像１に含まれる家３と対象画像11Ｂに含まれる家13Ｂとは一致する。しかしながら，基準画像１に含まれる太陽２と対象画像11Ｂに含まれる太陽12Ｂとは，太陽２のディストーション強度と太陽12Ｂのディストーション強度とが異なるので，ずれが生じる。
【００８９】
図21に戻って，基準画像１と対象画像11Ｂとの差分が取られ（ステップ135），差分（ずれ）のある領域と差分の無い領域とに領域分割される（ステップ136）。
【００９０】
図23を参照して，基準画像１と対象画像11Ｂとの差分が取られることにより，基準画像１と対象画像11Ｂとの共通領域10のうち，差分のある領域Ｓ61と差分の無い領域Ｓ62とに分割されることとなる。このように基準画像１に対する対象画像11Ｂの動きベクトルにもとづいて基準画像１と対象画像11Ｂとを位置合わせするようにしてもよい（位置合わせ手段）。
【００９１】
図24は，全体のずれを考慮した変形前の対象画像11の一例である。
【００９２】
図23に示したように基準画像１と変形された対処画像11Ｂとの位置合わせにより差分のある領域Ｓ61が検出されると，基準画像１と対象画像11との共通領域10において，その差分のある領域Ｓ61に対応する領域Ｓ71と差分の無い領域Ｓ62に対応する領域Ｓ72とに分割される。
【００９３】
図21に戻って，変形前の対象画像11に対して上述のように差分のある領域Ｓ61に対応する領域Ｓ71と差分の無い領域Ｓ62に対応する領域Ｓ72とに分割されると（ステップ137），分割された領域のうち，差分のある領域Ｓ61に対応する領域Ｓ71内の画像が，基準画像１のディストーション強度と対象画像11のディストーション強度とを用いて基準画像１と一致するように変形される（ステップ138）。
【００９４】
図25は，変形された対象画像11Ｂの一例である。
【００９５】
図23に示したように，位置合わせにより基準画像１の間で差分がある領域Ｓ81と差分の無い領域Ｓ82が規定される。
【００９６】
すると，図24に示すように変形前の対象画像11のうち，差分の無い領域に相当する領域Ｓ72が，図25に示すように変形された対象画像11Ｂのうち，差分の無い領域に相当する領域Ｓ82と置き換えられる。図24に示す領域Ｓ71については，上述のように，基準画像１のディストーション強度と対象画像11のディストーション強度とを用いて基準画像１と一致するように変形される（図21ステップ139）。
【００９７】
その他の画像について，同様の処理が行われる場合には（ステップ140でＹＥＳ），ステップ132からの処理が繰り返される。
【００９８】
図26から図30は，さらに他の実施例を示している。この実施例は，基準画像または対象画像に動体が含まれているかどうかを検出するものである。
【００９９】
図26は，撮像装置の処理手順を示すフローチャートである。
【０１００】
まず，差分許容マップが生成される（ステップ170）。
【０１０１】
図27は，差分許容マップ160の一例である。
【０１０２】
差分許容マップ160は，上述のように，基準画像と，全体のずれを考慮して全体が変形させられた対象画像と，の差分を取ったときに，その差分がどの位許容できるかを示すものである。
【０１０３】
差分許容マップ160には，同心円状の複数の領域161，162および163が規定されている。中央の領域161の外側を囲むように環状の領域162が規定されており，その領域162の周りにさらに領域163が規定されている。これらの領域161，162および163が差分の許容量を示すもので，差分の許容量が小さいほどハッチングの幅が狭くなっている。領域161の差分の許容量が一番小さく，領域162の差分の許容量が次に小さく，領域163の差分の許容量が最も大きい。これは，中央から外側になるにつれてディストーション強度が大きくなるので，差分も大きくなることを考慮しているためである。
【０１０４】
図26に戻って，基準画像，対象画像がそれぞれ選択される（ステップ171）。
【０１０５】
図28は，基準画像１Ａの一例である。
【０１０６】
基準画像１Ａには，太陽２Ａ，家３Ａおよび自動車４Ａが含まれている。
【０１０７】
つづいて，上述したのと同様に，対象画像の全体が変形させられ（図26ステップ172），全体のずれにあわせて基準画像に対象画像が位置合わせされる（ステップ172）。
【０１０８】
図29は，対象画像11Ｃの一例である。
【０１０９】
図29に示す対象画像11Ｃには，太陽12Ｃ，家13Ｃおよび自動車141Ｃが含まれている。対象画像11Ｃは，太陽12Ｃが図28に示す基準画像１Ａの太陽２Ａに，家13Ｃが図28に示す基準画像１Ａの家13Ａに，それぞれ一致するように，画像全体が変形（シフト）されているものである。このようにして対応する被写体が一致する位置にあるので，上述のように基準画像１Ａと対象画像11Ｃとを位置合わせできる。
【０１１０】
位置合わせにより基準画像１Ａと対象画像11Ｃとの差分が得られる（ステップ174）。
【０１１１】
図30は，差分値を示す差分マップ150の一例である。
【０１１２】
差分マップ150は，差分が小さいほどハッチングの間隔が狭くなっている。
【０１１３】
差分マップ150には，領域151，152，153，154および155の領域が含まれている。領域151は，基準画像１Ａの背景と対象画像11Ｃの背景との差分を示しており，領域152は，基準画像１Ａの太陽２Ａと対象画像11Ｃの太陽12Ｃとの差分を示しており，領域153は，基準画像１Ａの家３Ａと対象画像11Ｃの家13Ｃとの差分を示しており，領域154は，基準画像１Ａの自動車４Ａと対象画像11Ｃの背景との差分を示しており，領域155は，基準画像１Ａの背景と対象画像11Ｃの自動車14Ｃとの差分を示している。基準画像１Ａの撮影時から対象画像11Ｃの撮影時の間に自動車が動いているのだ，基準画像１Ａの自動車４Ａの位置と対象画像11Ｃの自動車14Ｃの位置とがかなり異なっている。このために，領域154および155の差分が大きくなっている。
【０１１４】
図30のように差分が得られると，差分の領域151，152，153，154および155ごとに，図27に示す差分許容マップ160と比較される（ステップ175）。
【０１１５】
差分と差分許容マップ160との比較により，いずれの領域においても差分が許容以下であれば（ステップ176でＹＥＳ），その対象画像に動体が存在しない旨のフラグが追加される（ステップ177）。差分が許容以下の箇所があれば（ステップ176でＮＯ），その対象画像に動体が存在する旨のフラグが追加される（ステップ178）。このように基準画像１Ａに対する対象画像11Ｃの動きベクトルにもとづいて基準画像１と対象画像11Ｃとを位置合わせし，不一致の程度が所定以上の場合に基準画像１または対象画像11Ｃに動体が含まれていると判定できる。
【０１１６】
その他の対象画像について処理が繰り返される場合にはステップ131からの処理が行われる（ステップ179）。
【０１１７】
以上，この実施例を撮像装置に適用した場合に説明したが，例えば，内蔵型又は外付け型のPC用カメラ，または，以下に説明するような，撮影機能を有する携帯端末装置に適用することもできる。
【０１１８】
一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。
【０１１９】
図31は，本発明の撮影装置の一実施形態であるスマートフォン181の外観を示すものである。
【０１２０】
図31に示すスマートフォン181は，平板状の筐体182を有し，筐体182の一方の面に表示部としての表示パネル191と，入力部としての操作パネル192とが一体となった表示入力装置190を備えている。また，係る筐体182は，マイクロフォン202，スピーカ201，操作装置220およびカメラ装置221を備えている。なお，筐体182の構成はこれに限定されず，例えば，表示装置と入力装置とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
【０１２１】
図32は，図31に示すスマートフォン181の構成を示すブロック図である。
【０１２２】
図32に示すように，スマートフォンの主たる構成要素として，無線通信装置205と，表示入力装置190と，通話装置200と，操作装置220と，カメラ装置221と，記憶装置230と，外部入出力装置240と，ＧＰＳ(Global Positioning System)受信装置250と，モーション・センサ260と，電源装置270と，主制御装置280とを備える。また，スマートフォン181の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１２３】
無線通信装置205は，主制御装置280の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミング・データなどの受信を行う。
【０１２４】
表示入力装置190は，主制御装置280の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル191と，操作パネル192とを備える。
【０１２５】
表示パネル191，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル192は，表示パネル191の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御装置280に出力する。次いで，主制御装置280は，受信した検出信号に基づいて，表示パネル191上の操作位置（座標）を検出する。
【０１２６】
図31に示すように，撮像装置の一実施形態として例示しているスマートフォン181の表示パネル191と操作パネル192とは一体となって表示入力装置190を構成しているが，操作パネル192が表示パネル191を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル192は，表示パネル191外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル192は，表示パネル191に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル191に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。
【０１２７】
なお，表示領域の大きさと表示パネル191の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル192が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体182の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル192で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。
【０１２８】
通話装置200は，スピーカ201やマイクロフォン202を備え，マイクロフォン202を通じて入力されたユーザの音声を主制御装置280にて処理可能な音声データに変換して主制御装置280に出力したり，無線通信装置205または外部入出力装置240により受信された音声データを復号してスピーカ201から出力したりするものである。また，図31に示すように，例えば，スピーカ201を表示入力装置190が設けられた面と同じ面に搭載し，マイクロフォン202を筐体182の側面に搭載することができる。
【０１２９】
操作装置220は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図31に示すように，操作装置220は，スマートフォン181の筐体182の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１３０】
記憶装置230は，主制御装置280の制御プログラムや制御データ，アプリケーション・ソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶装置230は，スマートフォン内蔵の内部記憶装置231と着脱自在な外部メモリスロットを有する外部記憶装置232により構成される。なお，記憶装置230を構成するそれぞれの内部記憶装置231と外部記憶装置232は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１３１】
外部入出力装置240は，スマートフォン181に連結される全ての外部機器とのインターフェイスの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサル・シリアル・バス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ（Local Area Network），ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１３２】
スマートフォン181に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン181の内部のデータが外部機器に伝送されるようにすることができる。
【０１３３】
ＧＰＳ受信部2500は，主制御装置280の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン181の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信装置250は，無線通信装置205や外部入出力装置240（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。
【０１３４】
モーション・センサ260は，例えば，３軸の加速度センサなどを備え，主制御装置280の指示にしたがって，スマートフォン181の物理的な動きを検出する。スマートフォン181の物理的な動きを検出することにより，スマートフォン181の動く方向や加速度が検出される。係る検出結果は，主制御装置280に出力されるものである。
【０１３５】
電源装置270は，主制御装置280の指示にしたがって，スマートフォン181の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１３６】
主制御装置280は，マイクロプロセッサを備え，記憶部装置230が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン181の各部を統括して制御するものである。また，主制御装置280は，無線通信装置205を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。
【０１３７】
アプリケーション処理機能は，記憶装置230が記憶するアプリケーション・ソフトウェアにしたがって主制御装置280が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力装置240を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。
【０１３８】
また，主制御装置280は，受信データやダウンロードしたストリーミング・データなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力装置190に表示する等の画像処理機能を備える。画像処理機能とは，主制御装置280が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力装置190に表示する機能のことをいう。
【０１３９】
更に，主制御装置280は，表示パネル191に対する表示制御と，操作装置220，操作パネル192を通じたユーザ操作を検出する操作検出制御を実行する。
【０１４０】
表示制御の実行により，主制御装置280は，アプリケーション・ソフトウェアを起動するためのアイコンや，スクロール・バーなどのソフトウェア・キーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロール・バーとは，表示パネル191の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェア・キーのことをいう。
【０１４１】
また，操作検出制御の実行により，主制御装置280は，操作装置220を通じたユーザ操作を検出したり，操作パネル182を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１４２】
更に，操作検出制御の実行により主制御装置280は，操作パネル192に対する操作位置が，表示パネル191に重なる重畳部分（表示領域）か，それ以外の表示パネル191に重ならない外縁部分（非表示領域）かを判定し，操作パネル192の感応領域や，ソフトウェア・キーの表示位置を制御するタッチパネル制御機能を備える。
【０１４３】
また，主制御装置280は，操作パネル192に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１４４】
カメラ装置221は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また，カメラ装置221は，主制御装置280の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶装置230に記録したり，入出力装置240や無線通信装置205を通じて出力することができる。図31に示すにスマートフォン181において，カメラ装置221は表示入力装置190と同じ面に搭載されているが，カメラ装置221の搭載位置はこれに限らず，表示入力装置190の背面に搭載されてもよいし，あるいは，複数のカメラ装置221が搭載されてもよい。なお，複数のカメラ装置221が搭載されている場合には，撮影に供するカメラ装置221を切り替えて単独にて撮影したり，あるいは，複数のカメラ装置221を同時に使用して撮影したりすることもできる。
【０１４５】
また，カメラ装置221はスマートフォン181の各種機能に利用することができる。例えば，表示パネル191にカメラ装置221で取得した画像を表示することや，操作パネル192の操作入力のひとつとして，カメラ装置221の画像を利用することができる。また，ＧＰＳ受信装置250が位置を検出する際に，カメラ装置221からの画像を参照して位置を検出することもできる。更には，カメラ装置221からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン191のカメラ装置221の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ装置221からの画像をアプリケーション・ソフトウェア内で利用することもできる。
【０１４６】
その他，静止画又は動画の画像データにＧＰＳ受信装置250により取得した位置情報，マイクロフォン202により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーション・センサ260により取得した姿勢情報等などを付加して記録装置230に記録したり，入出力装置240や無線通信装置205を通じて出力したりすることもできる。
【０１４７】
スマートフォン181にこの実施例による処理を適用する場合，上述した処理は主制御装置280によって行われることとなろう。
【符号の説明】
【０１４８】
１  基準画像
11  対象画像
Ｓ11−Ｓ19，Ｓ21−Ｓ29  分割された領域
Ｓ35−Ｓ37，Ｓ38−Ｓ40，Ｓ42−Ｓ44  再分割された領域
30  ＣＰＵ
47  ディストーション／シェーディング補正装置
【図１】
2014010324.tif 000003
【図２】
2014010324.tif 000004
【図３】
2014010324.tif 000005
【図４】
2014010324.tif 000006
【図５】
2014010324.tif 000007
【図６】
2014010324.tif 000008
【図７】
2014010324.tif 000009
【図８】
2014010324.tif 000010
【図９】
2014010324.tif 000011
【図１０】
2014010324.tif 000012
【図１１】
2014010324.tif 000013
【図１２】
2014010324.tif 000014
【図１３】
2014010324.tif 000015
【図１４】
2014010324.tif 000016
【図１５】
2014010324.tif 000017
【図１６】
2014010324.tif 000018
【図１７】
2014010324.tif 000019
【図１８】
2014010324.tif 000020
【図１９】
2014010324.tif 000021
【図２０】
2014010324.tif 000022
【図２１】
2014010324.tif 000023
【図２２】
2014010324.tif 000024
【図２３】
2014010324.tif 000025
【図２４】
2014010324.tif 000026
【図２５】
2014010324.tif 000027
【図２６】
2014010324.tif 000028
【図２７】
2014010324.tif 000029
【図２８】
2014010324.tif 000030
【図２９】
2014010324.tif 000031
【図３０】
2014010324.tif 000032
【図３１】
2014010324.tif 000033
【図３２】
2014010324.tif 000034
【図３３】
2014010324.tif 000035
【国際調査報告】
2014010324.tif 000036
2014010324.tif 000037