(57)【要約】【課題】以前撮影した時と同一視点、かつ同一方向での撮影を容易に行うことができる。【解決手段】撮像部は、被写体を撮影し、撮影画像を生成する。補正処理部は、予め記憶装置に記憶されている記録画像または前記撮影画像を補正する。特徴点自動調整部は、補正処理部が、補正する際に用いる補正パラメータを決定する。特徴点自動調整部は、補正処理部により補正された画像の視点、方向、画角が、記録画像および撮影画像のうち、補正処理部により補正されない画像の視点、方向、画角と、略一致するように補正パラメータを決定する。【選択図】図９
2014003441.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、撮影画像を生成する撮像部と、
予め記憶装置に記憶されている記録画像または前記撮影画像を補正する補正処理部と、
前記補正処理部が、補正する際に用いる補正パラメータを決定する特徴点自動調整部と
を具備し、
前記特徴点自動調整部は、前記補正処理部により補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、前記補正処理部により補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定すること
を特徴とする撮像装置。
【請求項２】
前記補正処理部により補正される画像の第１特徴点を抽出する第１特徴点抽出部と、
前記補正処理部により補正されない画像の第２特徴点を抽出する第２特徴点抽出部と
を具備し、
前記特徴点自動調整部は、前記第２特徴点に関する情報のうち、前記補正処理部により補正された画像における前記第１特徴点に関する情報であって、該第２特徴点と対応する第１特徴点に関する情報と一致するものの数が、最大となるように前記補正パラメータを決定すること
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記一致するものの数が予め設定された閾値以上であるときに、前記撮影画像に基づく画像を記録可能とする撮像判定部を具備すること特徴とする請求項２に記載の撮像装置。
【請求項４】
前記補正パラメータは、画角と、回転角度と、上下左右位置であり、
前記特徴点に関する情報は、該特徴点と他の特徴点との距離、該特徴点と他の特徴点とを通る直線の傾き、該特徴点の座標であって、前記第２特徴点と対応する第１特徴点との距離が一致するものの数と、前記第２特徴点と対応する第１特徴点とを通る直線の傾きが一致するものの数と、前記第２特徴点の座標と対応する第１特徴点の座標とが一致するものの数と、が最大となるように前記補正パラメータを決定すること
を特徴とする請求項２に記載の撮像装置。
【請求項５】
前記補正された画像に関する画像と、前記補正されない画像に関する画像とを合成する画像合成部と、
前記合成された画像を表示する表示部と
を具備することを特徴とする請求項１に記載の撮像装置
【請求項６】
被写体を撮影し、撮影画像を生成する第１のステップと、
予め記憶装置に記憶されている記録画像または前記撮影画像を補正する第２のステップと、
補正する際に用いる補正パラメータを決定する第３のステップと、
補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定する第４のステップと
を有することを特徴とする撮像方法。
【請求項７】
被写体を撮影し、撮影画像を生成する第１の手段と、
予め記憶装置に記憶されている記録画像または前記撮影画像を補正する第２の手段と、
補正する際に用いる補正パラメータを決定する第３の手段と、
補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定する第４の手段と
を実行することを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮影方法、及び撮影プログラムに関する。
【背景技術】
【０００２】
以前に撮影したときと、同一視点、かつ同一方向で撮影を行えるように、グリッド線を表示する撮像装置がある。また、以前に撮影した撮影画像から特徴点を抽出し、その特徴点を表示して、使用者に位置合わせしやすくさせるものがある。また、撮影時に、以前撮影した時の画像と、これから撮影しようとする画像とを重複表示させて位置合わせしやすくする機能を持ったものがある。特徴点とは、画像中の直線や角（コーナー）や点など輝度値が他の値に比べ大きく差がある点である。また、特徴点として、特定の色と色または点と点を複数結んだ仮想曲線を用いることもある。
また、撮影位置と現在位置、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度、シャッタースピードなどの撮影条件を同条件に近づける手段を備える撮像装置の発明がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の撮像装置にあっては、以前と同一視点、かつ同一方向で撮影するように位置合わせをする際に、使用者の能力や撮影環境によって、時間を要することがあるという問題があった。例えば、以前撮影してから、１ヶ月や１年など長い時間が経過していたり、使用者が異なっていたりすると、撮影場所が正確にはわからないため、位置合わせをするのに時間を要してしまう。
【０００５】
本発明は上記の点に鑑みてなされたものであり、以前撮影した時と同一視点、かつ同一方向での撮影を容易に行うことができる撮像装置、撮影方法、及び撮影プログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、撮像装置であって、被写体を撮影し、撮影画像を生成する撮像部と、予め記憶装置に記憶されている記録画像または前記撮影画像を補正する補正処理部と、前記補正処理部が、補正する際に用いる補正パラメータを決定する特徴点自動調整部とを具備し、前記特徴点自動調整部は、前記補正処理部により補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、前記補正処理部により補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定することを特徴とする。
【０００７】
（２）また、本発明の一態様は、（１）に記載の撮像装置であって、前記補正処理部により補正される画像の第１特徴点を抽出する第１特徴点抽出部と、前記補正処理部により補正されない画像の第２特徴点を抽出する第２特徴点抽出部とを具備し、前記パラメータ決定部は、前記第２特徴点に関する情報のうち、前記補正処理部により補正された画像における前記第１特徴点に関する情報であって、該第２特徴点と対応する第１特徴点に関する情報と一致するものの数が、最大となるように前記補正パラメータを決定することを特徴とする。
【０００８】
（３）また、本発明の一態様は、（２）に記載の撮像装置であって、前記一致するものの数が予め設定された閾値以上であるときに、前記撮影画像に基づく画像を記録可能とする撮像判定部を具備すること特徴とする。
【０００９】
（４）また、本発明の一態様は、（２）に記載の撮像装置であって、前記一致するものの数が予め設定された閾値以上であるときに、前記撮影画像に基づく画像を記録可能とする撮像判定部を具備することを特徴とする。
【００１０】
（５）また、本発明の一態様は、（１）に記載の撮像装置であって、前記補正パラメータは、画角と、回転角度と、上下左右位置であり、前記特徴点に関する情報は、該特徴点と他の特徴点との距離、該特徴点と他の特徴点とを通る直線の傾き、該特徴点の座標であって、前記第２特徴点と対応する第１特徴点との距離が一致するものの数と、前記第２特徴点と対応する第１特徴点とを通る直線の傾きが一致するものの数と、前記第２特徴点の座標と対応する第１特徴点の座標とが一致するものの数と、が最大となるように前記補正パラメータを決定することを特徴とする。
【００１１】
（６）また、本発明の一態様は、撮像方法であって、被写体を撮影し、撮影画像を生成する第１のステップと、予め記憶装置に記憶されている記録画像または前記撮影画像を補正する第２のステップと、補正する際に用いる補正パラメータを決定する第３のステップと、補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定する第４のステップとを有することを特徴とする。
【００１２】
（７）また、本発明の一態様は、撮像プログラムであって、被写体を撮影し、撮影画像を生成する第１の手段と、予め記憶装置に記憶されている記録画像または前記撮影画像を補正する第２の手段と、補正する際に用いる補正パラメータを決定する第３の手段と、補正された画像の視点、方向、画角が、前記記録画像および前記撮影画像のうち、補正されない画像の視点、方向、画角と、略一致するように前記補正パラメータを決定する第４の手段とを実行することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、以前撮影した時と同一視点、かつ同一方向での撮影を容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す概略ブロック図である。
【図２】本実施形態に係る制御部の構成を示す概略ブロック図である。
【図３】本実施形態に係る特徴点自動調整部の構成を示す概略ブロック図である。
【図４】本実施形態に係る撮像装置の広角撮影の一例を示す概念図である。
【図５】本実施形態に係る撮影画像の補正処理の手法の一例を示す概念図である。
【図６】本実施形態に係る記録画像から抽出し、特徴点の座標を表示した一例を示す概念画像である。
【図７】本実施形態に係る記録画像から抽出された特徴点の座標を基に使用者が位置合わせを行い撮影したときの撮影画像の一例を示す概念画像である。
【図８】本実施形態に係る記録画像から抽出された特徴点の座標と、それを基に使用者が位置合わせを行い撮影した撮影画像の特徴点の座標と、を比較した一例を示す概念画像である。
【図９】本実施形態に係る撮影画像の特徴点自動調整処理における動作の一例を示すフローチャートである。
【図１０】本実施形態に係る特徴点自動調整部の動作の一例を示すフローチャートである。
【図１１】本実施形態に係る特徴点自動調整処理における撮像判定部の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態に係る撮像装置Ｄ１の構成を示す概略ブロック図である。
撮像装置Ｄ１は、撮像部１、信号変換部２、信号処理部３、調光センサ部４、方位センサ部５、制御部Ｃ１、フラッシュ発光部６、表示装置７、ＤＲＡＭ８、フラッシュメモリ９、操作部１０、および位置センサ部１１を含んで構成される。また、撮像装置Ｄ１は、その他、撮像装置の一般的な公知の機能を備える。
【００１６】
撮像部１は、撮影レンズ１ａおよびＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、などの撮像素子、自動絞り機構などを備えており、撮影レンズ１ａを介して集光された被写体の光束を撮像素子（ＣＣＤ）上に結像させる。ＣＣＤの感度は、ＩＳＯ感度設定値によって決定される。ＣＣＤは、撮影レンズ１ａを介して結像した画像を電気信号に変換する。ＣＣＤは、変換した電気信号を信号変換部２に出力する。
【００１７】
信号変換部２は、Ａ／Ｄ変換器などの信号変換回路などを備える。信号変換部２は、撮像部１から入力された電気信号に基づき、該電気信号をデジタルデータに変換する。信号変換部２は、変換したデジタルデータを信号処理部３に出力する。
【００１８】
信号処理部３は、信号変換部２から入力されたデジタルデータをＣＣＤの画素に対応したベイヤーデータの形でいったん保持し、該ベイヤーデータを補完してＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）データを作成する。信号処理部３は、ＲＧＢデータから輝度、色差マルチプレクス信号（Ｙ、Ｃｂ、Ｃｒデータ）などの信号成分を得る。信号処理部３は、そのＹ、Ｃｂ、Ｃｒデータ（以下、画像データ）を、制御部Ｃ１を介し、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８に出力し、一時的に記録する。
【００１９】
調光センサ部４は、被写体周辺の光量などを測定し、撮像部１の自動絞り機構などに測定結果を反映させる。方位センサ部５は、撮影レンズ１ａがどちらの方向（方位）を向いているか測定し、測定した方位を示す方位情報を制御部Ｃ１に出力する。
【００２０】
制御部Ｃ１は、ＣＰＵ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、プログラム格納用ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびタイマなどの計時機構を有したマイクロプロセッサなどを備えている。
制御部Ｃ１は、信号処理部３から入力された画像データ、調光センサ部４から入力された調光測定結果、方位センサ部５から入力された方位情報、操作部１０から入力された操作信号、および位置センサ部１１から入力された位置情報に基づき画像データに対応付けるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）データの生成、画像補正などの処理を行う。ここで、Ｅｘｉｆデータとは、例えば、撮影日時、撮影機器メーカ、撮影機器モデル名、画像全体の解像度、水平垂直方向の解像度、撮影方位、シャッタースピード、絞り（Ｆ値）、ＩＳＯ感度、調光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間（カラースペース）、位置情報（経度、緯度、標高）、およびサムネイル画像などである。ここで、画像補正とは、フラッシュメモリ９に記録された画像を読み出し、読み出した記録画像から特徴点の座標を抽出し、抽出した記録画像の特徴点とライブビューの特徴点の座標との一致する特徴点の座標の数が最大となるように画角、回転角度、上下左右位置の補正処理を行うことであり、詳細は後述する。ここで、補正処理とは、例えば、特徴点関連情報生成部Ｃ１０９が算出した記録画像の各々の特徴点の座標距離と一致する特徴点の座標距離の数が最大となるように、ライブビューの特徴点の座標距離に基づき、ライブビューの画角を補正する処理ことである。制御部Ｃ１は、公知のデータ処理、信号処理、伸張圧縮なども行うが説明は省略する。
【００２１】
フラッシュ発光部６は、制御部Ｃ１を介して、操作部１０より入力された操作信号によりフラッシュ発光モードに設定されると、周囲の光量に応じた発光量のチャージを行う。フラッシュ発光部６は、操作部１０から入力された記録することを指示する（シャッター）信号に基づき発光し、周辺光量を補う。表示部７は、例えば、液晶モニタ画面（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置を備えており、記録画像の表示やサムネイル画像の表示、撮影モード時にライブビューの表示などを行う。表示部７は、制御部Ｃ１から入力された補正処理されたライブビューの表示を行う。
【００２２】
ＤＲＡＭ８は、信号処理部３から制御部Ｃ１を介して入力された画像データの一時的な記録を行う。また、方位センサ部５から制御部Ｃ１へ入力された方位情報、位置センサ部１１から制御部Ｃ１に入力された位置情報、調光センサ部４から入力された調光情報などを一時的に記憶する。フラッシュメモリ９は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮された撮影画像と、それに対応付けられたＥｘｉｆデータの保存記録をする。
【００２３】
操作部１０は、例えば、シャッターキー、撮影モード切り替えスイッチ、画像データ保存／削除スイッチ、画角調整キー、メニューキー、カーソールキー、およびフラッシュ発光設定キーなどのボタンやスイッチ（アイコン）から構成される。操作部１０は、これらのキーやボタン、あるいはスイッチが操作されると状態信号や設定値を、制御部Ｃ１に出力する。
位置センサ部１１は、位置情報を取得するモジュール、例えば、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信器を備えており、撮像装置Ｄ１の位置情報を取得する。
【００２４】
図２は、本実施形態に係る制御部Ｃ１の構成を示す概略ブロック図である。
制御部Ｃ１は、記録画像撮影情報処理部Ｃ１０１、記録画像特徴点抽出部Ｃ１０２、位置調整部Ｃ１０３、位置・方位情報判定部Ｃ１０４、撮像処理部Ｃ１０５、ライブビュー特徴点抽出部Ｃ１０６、基準特徴点決定部Ｃ１０７、ライブビュー特徴点記憶部Ｃ１０８、特徴点関連情報生成部Ｃ１０９、カウント部Ｃ１１０、撮像判定部Ｃ１１１、画像合成部Ｃ１１２、特徴点自動調整部Ａ１、閾値記憶部Ｃ１１３、補正処理部Ｃ１１４、および書込み部Ｃ１１５を含んで構成される。これらの各部は、制御部Ｃ１のＣＰＵがプログラム格納用ＲＯＭからプログラムを読み出して実行することにより実現される。
【００２５】
記録画像撮影情報処理部Ｃ１０１は、フラッシュメモリ９に記録されている記録画像と、記録画像に対応付けられたＥｘｉｆデータと、を読み出す。記録画像撮影情報処理部Ｃ１０１は、フラッシュメモリ９から読み出した記録画像を記録画像特徴点抽出部Ｃ１０２に出力する。また、記録画像撮影情報処理部Ｃ１０１は、フラッシュメモリ９から読み出したＥｘｉｆデータを位置調整部Ｃ１０３に出力する。
【００２６】
記録画像特徴点抽出部（第２特徴点抽出部）Ｃ１０２は、記録画像撮影情報処理部Ｃ１０１から入力された記録画像の特徴点の座標を抽出する。ここで、「特徴点の座標の抽出」は、例えば、Ｈａｒｒｉｓ法、主曲率法などのコーナー検出やＣａｎｎｙ法、ゼロ交差法などの線検出など公知の特徴点検出法を用いる。記録画像特徴点抽出部Ｃ１０２は、抽出した特徴点の座標を記録画像撮影情報処理部Ｃ１０１に出力する。ここで、特徴点の座標とは、輝度値（明度）が周囲に比べ大きく異なる点の座標で構成される直線、角の代表点の座標などであり、特定の色と色、または点と点を複数結んだ仮想曲線の代表点の座標であってもよい。記録画像特徴点抽出部Ｃ１０２は、特徴点の座標の抽出において、優先度を設け、例えば、直線で特徴点を選択する。なお、特徴点の座標の抽出における優先度は、直線よりも角を高くするなど、種別に応じて設定してもよいし、いくつかの特徴点の座標を結んだ図形の面積の広さ、点の多さに応じて設定してもよい。優先度は、特徴点の座標の検出精度の特徴に関係する。記録画像特徴点抽出部Ｃ１０２は、抽出した記録画像の特徴点の座標を基準特徴点決定部Ｃ１０７に出力する。記録画像特徴点抽出部Ｃ１０２は、抽出した記録画像の特徴点の座標を特徴点関連情報生成部Ｃ１０９に出力する。記録画像特徴点抽出部Ｃ１０２は、抽出した記録画像の特徴点の座標を画像合成部Ｃ１１２に出力する。
【００２７】
位置調整部Ｃ１０３は、位置センサ部１１から入力された位置情報と、方位センサ部５から入力された方位情報と、記録画像撮影情報処理部Ｃ１０１から入力された記録画像Ｅｘｉｆデータ内の位置情報と、該Ｅｘｉｆデータ内の方位情報と、を使用者に通知する。ここで、「使用者に通知する」とは、例えば、位置情報であれば該位置情報を示す緯度、経度、標高などの数値を表示または音声などで通知することであり、表示部７に簡易地図を表示して位置情報、方位情報を通知してもよい。使用者は、通知された位置情報、方位情報に基づき、撮影位置、および撮影方位の調整を行う。位置調整部Ｃ１０３は、使用者が調整した位置と、方位に基づき、位置センサ部１１、および方位センサ部５から取得した位置情報および方位情報と、記録画像の位置情報、方位情報とを位置・方位情報判定部Ｃ１０４に出力する。
【００２８】
位置・方位情報判定部Ｃ１０４は、位置調整部Ｃ１０３から入力されたセンサ部から取得した位置情報、方位情報と、記録画像の位置情報、方位情報と、の差が自動補正可能な範囲内か否かを判定する、すなわち、該差が閾値以下であるか否かを判定する。具体的には、撮像装置Ｄ１の位置情報と記録画像の位置情報とが、予め広角（例えば、上下左右各数１０ピクセル程度広角）で取得した画像データ内で補正できるか否かを判定する。撮像装置Ｄ１の方位情報と記録画像の方位情報とが予め広角で取得した画像データ内で補正できるか否かを判定する。位置・方位情報判定部Ｃ１０４は、自動補正可能な範囲内の場合、判定結果をライブビュー特徴点抽出部Ｃ１０６に通知する。一方、自動補正可能な範囲内でないと判定した場合、位置・方位情報判定部Ｃ１０４は、位置調整部Ｃ１０３に判定結果を出力する。位置調整部Ｃ１０３は、位置・方位情報判定部Ｃ１０４から入力された判定結果に基づき、位置情報と、方位情報とを使用者に通知する。使用者は、通知された位置情報、方位情報に基づき、位置、および方位を再調整する。
【００２９】
撮像処理部Ｃ１０５は、信号処理部３から入力された画像を、ライブビューとして補正処理部Ｃ１１４に出力する。なお、補正処理部Ｃ１１４に補正パラメータが設定されていない場合、撮像処理部Ｃ１０５は、信号処理部３から入力された画像を、ライブビューとしてライブビュー特徴点抽出部Ｃ１０６に出力する。また、撮像処理部Ｃ１０５は、シャッターボタンが押されたことを示す信号を、撮像判定部Ｃ１１１から通知された場合、信号処理部３に対してホワイトバランスの調整を指示し、撮像部１に対して露出調整を指示し、自動焦点制御の実行などを指示する。撮像処理部Ｃ１０５は、これらの調整が反映された画像を、信号処理部３から入力されると、該画像を撮影用の画像として補正処理部Ｃ１１４に出力する。
【００３０】
ライブビュー特徴点抽出部（第１特徴点抽出部）Ｃ１０６は、位置・方位情報判定部Ｃ１０４から通知された判定結果が自動補正範囲内であることを示すときは、特徴点抽出処理を開始する。特徴点抽出処理とは、撮像処理部Ｃ１０５が入力したライブビュー、または補正処理部Ｃ１１４が入力した補正処理されたライブビューから、特徴点の座標を抽出する処理である。ライブビュー特徴点抽出部Ｃ１０６は、抽出した特徴点の座標をライブビューの特徴点の座標として、ライブビュー特徴点記憶部Ｃ１０８に記憶させる。
【００３１】
基準特徴点決定部Ｃ１０７は、記録画像特徴点抽出部Ｃ１０２から入力された記録画像の特徴点の座標と、ライブビュー特徴点記憶部Ｃ１０８から読み出したライブビューの特徴点の座標とを参照して、記録画像の特徴点の座標各々に対応するライブビューの特徴点の座標を探索する。基準特徴点決定部Ｃ１０７は、探索により対応する特徴点の座標が検出された記録画像の特徴点の座標の中から記録画像における基準となる特徴点の座標を選択する。基準特徴点決定部Ｃ１０７は、記録画像における基準となる特徴点の座標に対応するライブビューの特徴点の座標をライブビューにおける基準となる特徴点として選択する。基準特徴点決定部Ｃ１０７は、これらの基準となる特徴点の座標を特徴点関連情報生成部Ｃ１０９に出力する。基準特徴点決定部Ｃ１０７は、ライブビュー特徴点記憶部Ｃ１０８から読み出したライブビューの特徴点の座標と、記録画像特徴点抽出部Ｃ１０２から入力された記録画像の特徴点の座標と、を参照して、記録画像の特徴点の座標各々に対応するライブビューの特徴点の座標を各々基準特徴点の座標として用いる。
【００３２】
ライブビュー特徴点記憶部Ｃ１０８は、ライブビュー特徴点抽出部Ｃ１０６から入力されたライブビューの特徴点の座標を抽出された順に記憶する。
特徴点関連情報生成部Ｃ１０９は、記録画像特徴点抽出部Ｃ１０２から入力された記録画像の特徴点の座標と、ライブビュー特徴点記憶部Ｃ１０８から読み出したライブビューの特徴点の座標と、基準特徴点決定部Ｃ１０７から入力された基準となる特徴点の座標と、に基づいて、特徴点に関する情報を生成する。ここで、特徴点に関する情報とは、例えば、記録画像における基準となる特徴点の座標と各々の特徴点の座標と、ライブビューにおける基準となる特徴点の座標と各々の特徴点の座標と、の座標距離、基準となる特徴点の座標と、各々の画像の各々の特徴点の座標と、を結んだ直線の傾き、各々の特徴点の位置座標である。特徴点関連情報生成部Ｃ１０９は、特徴点に関する情報を特徴点自動調整部Ａ１に出力する。
【００３３】
カウント部Ｃ１１０は、インクリメントカウンタであり、特徴点自動調整部Ａ１から入力された一致する座標距離の数、一致する直線の傾きの数、一致する位置座標の数の合計を算出する。カウント部Ｃ１１０は、算出した合計を撮像判定部Ｃ１１１に出力する。
撮像判定部Ｃ１１１は、記録画像と、補正処理されたライブビューとの視点、方向、画角が略一致しているか否かを判定する。具体的には、撮像判定部Ｃ１１１は、カウント部Ｃ１１０が算出した合計と、閾値記憶部Ｃ１１３が記憶する閾値とを比較し、合計が閾値を以上であるときは、略一致していると判定する。撮像判定部Ｃ１１１は、略一致していると判定したときは、操作部１０のシャッターキーを操作可能とする。シャッターキーが押されたことを操作部１０が検出すると、撮像判定部Ｃ１１１は、シャッターキーが押されたことを示す信号を、撮像処理部Ｃ１０５と補正処理部Ｃ１１４とに通知する。
【００３４】
画像合成部Ｃ１１２は、表示部７に表示する画像を合成する。表示する画像は、例えば、記録画像とライブビューとを合成した画像、あるいは、記録画像の特徴点の座標とライブビューとを合成した画像、記録画像とライブビューの特徴点の座標を合成した画像、記録画像の特徴点の座標とライブビューの特徴点の座標とを合成した画像である。
【００３５】
補正処理部Ｃ１１４は、特徴点自動調整部Ａ１において決定された補正パラメータに従い、撮像処理部Ｃ１０５から入力されたライブビューに対して、補正処理を行う。補正処理部Ｃ１１４は、特徴点自動調整部Ａ１において決定された画角補正パラメータを補正パラメータ記憶部Ａ１８から読み出す。補正処理部Ｃ１１４は、読み出した画角補正パラメータαに基づき、α倍にライブビューを拡大／縮小する。
【００３６】
補正処理部Ｃ１１４は、特徴点自動調整部Ａ１において決定された回転角度補正パラメータを補正パラメータ記憶部Ａ１８から読み出す。補正処理部Ｃ１１４は、拡大／縮小されたライブビューを、読み出した回転角度補正パラメータβに基づき、βだけ回転させる。補正処理部Ｃ１１４は、特徴点自動調整部Ａ１において決定された上下左右位置補正パラメータを補正パラメータ記憶部Ａ１８から読み出す。補正処理部Ｃ１１４は、回転されたライブビューの中心から上下左右位置補正パラメータγが示す移動量分ずらした位置を中心とする所定の大きさの画像を、回転されたライブビューから切り出す。補正処理部Ｃ１１４は、切り出した画像を補正処理されたライブビューとする。
【００３７】
なお、補正処理部Ｃ１１４は、通常、補正処理したライブビューを、ライブビュー特徴点抽出部Ｃ１０６と、画像合成部Ｃ１１２とに出力する。ただし、シャッターボタンが押されたことを示す信号を、撮像判定部Ｃ１１１から通知された場合、補正処理部Ｃ１１４は、撮像処理部Ｃ１０５から入力された撮影用の画像を、撮影画像として書込み部Ｃ１１５に出力する。
【００３８】
書込み部Ｃ１１５は、補正処理部Ｃ１１４から入力された撮影画像を、ＪＰＥＧ形式などの画像形式に変換して、フラッシュメモリ９に書き込む。なお、書込み部Ｃ１１５は、変換した撮影画像をフラッシュメモリ９に書き込む際に、位置センサ部１１から取得した位置情報と、方位センサ部５から取得した方位情報とを、該撮影画像に対応付けて書き込む。
【００３９】
特徴点自動調整部Ａ１は、記録画像と、補正処理されたライブビューとについて、画角、回転角度、上下左右位置が合致しているか否かを判定する。ここで、合致とは、例えば、記録画像の特徴点に関する情報と一致するライブビューの特徴点に関する情報の数が閾値以上になることである。画角、回転角度、上下左右位置のいずれかが合致していない場合、合致していない項目に対応する補正パラメータを更新する。具体的には、特徴点自動調整部Ａ１は、特徴点関連情報生成部Ｃ１０９から入力された座標距離を用いて、画角が合致しているか否かを判定する。特徴点自動調整部Ａ１は、合致していると判定した場合、記録画像と補正処理されたライブビューとで一致している座標距離の数を、カウント部Ｃ１１０に出力する。
【００４０】
特徴点自動調整部Ａ１は、特徴点関連情報生成部Ｃ１０９から入力された直線の傾きを用いて、回転角が合致しているか否かを判定する。特徴点自動調整部Ａ１は、合致していると判定した場合、記録画像と補正処理されたライブビューとで一致している直線の傾きの数を、カウント部Ｃ１１０に出力する。また、特徴点自動調整部Ａ１は、特徴点関連情報生成部Ｃ１０９から入力された位置座標を用いて、上下左右位置が合致しているか否かを判定する。特徴点自動調整部Ａ１は、合致していると判定した場合、記録画像と補正処理されたライブビューとで一致している位置座標の数を、カウント部Ｃ１１０に出力する。特徴点自動調整部Ａ１の詳細な動作については、後述する。
【００４１】
図３は、本実施形態に係る特徴点自動調整部Ａ１の構成の一例を示す概略ブロック図である。
特徴点自動調整部Ａ１は、閾値記憶部Ａ１１、画角判定部Ａ１２、画角パラメータ決定部Ａ１３、回転角度判定部Ａ１４、回転角度パラメータ決定部Ａ１５、上下左右位置判定部Ａ１６、上下左右位置パラメータ決定部Ａ１７、および補正パラメータ記憶部Ａ１８を含んで構成される。
【００４２】
閾値記憶部Ａ１１は、画角、回転角度、上下左右位置の各々について合致していると判定するための閾値を記憶している。画角判定部Ａ１２は、閾値記憶部Ａ１１に記憶されている画角に関する閾値を読み出す。画角判定部Ａ１２は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の各々の特徴点の座標距離に基づいて、これらの画像の画角が合致しているか否かを判定する。具体的には、画角判定部Ａ１２は、記録画像の特徴点の座標距離と一致するライブビューの特徴点の座標距離の数が閾値以上あるか否かを判定し、閾値以上あるときは合致していると判定する。
【００４３】
合致していると判定したときは、画角判定部Ａ１２は、座標距離が一致したライブビューの特徴点の座標の各々がライブビュー特徴点記憶部Ｃ１０８に記憶されているか否かを判定する。画角判定部Ａ１２は、記憶していない特徴点の座標をライブビュー特徴点記憶部Ｃ１０８に記憶させるとともに、これらの数を、カウント部Ｃ１１０に出力する。一方、合致していないと判定したときは、画角判定部Ａ１２は、画角パラメータ決定部Ａ１３に、画角補正パラメータの決定を指示する。
【００４４】
画角パラメータ決定部Ａ１３は、補正パラメータ記憶部Ａ１８に記憶されている画角補正パラメータを読み出す。画角パラメータ決定部Ａ１３は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の特徴点の座標距離に基づき、記録画像の特徴点の座標距離と、一致するライブビューの特徴点の座標距離の数が最大となるように、画角を調整する倍率を決定する。画角パラメータ決定部Ａ１３は、決定した画角を調整する倍率と、補正パラメータ記憶部Ａ１８から読み出した以前の画角補正パラメータとの差分を算出する。画角パラメータ決定部Ａ１３は、算出した差分を、画角補正パラメータαとする。画角パラメータ決定部Ａ１３は、画角補正パラメータを補正パラメータ記憶部Ａ１８に記憶する。
【００４５】
回転角度判定部Ａ１４は、閾値記憶部Ａ１１に記憶されている回転角度に関する閾値を読み出す。回転角度判定部Ａ１４は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の各々の特徴点の直線の傾きに基づいて、これらの画像の回転角度が合致しているか否かを判定する。具体的には、回転角度判定部Ａ１４は、記録画像の特徴点の直線の傾きと一致するライブビューの特徴点の直線の傾きの数が閾値以上あるか否かを判定し、閾値以上あるときは合致していると判定する。
【００４６】
合致していると判定したときは、回転角度判定部Ａ１４は、直線の傾きが一致したライブビューの特徴点の座標の各々がライブビュー特徴点記憶部Ｃ１０８に記憶されているか否かを判定する。回転角度判定部Ａ１４は、記憶していない特徴点の座標をライブビュー特徴点記憶部Ｃ１０８に記憶させるとともに、これらの数を、カウント部Ｃ１１０に出力する。一方、合致していないと判定したときは、回転角度判定部Ａ１４は、回転角度パラメータ決定部Ａ１５に、回転角度補正パラメータの決定を指示する。
【００４７】
回転角度パラメータ決定部Ａ１５は、補正パラメータ記憶部Ａ１８に記憶されている回転角度補正パラメータを読み出す。回転角度パラメータ決定部Ａ１５は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の特徴点の直線の傾きに基づき、記録画像の特徴点の直線の傾きと、一致するライブビューの特徴点の直線の傾きの数が最大となるように、回転角度を調整する角度を決定する。回転角度パラメータ決定部Ａ１５は、決定した回転角度を調整する角度と、補正パラメータ記憶部Ａ１８から読み出した以前の回転角度補正パラメータとの和を算出する。回転角度パラメータ決定部Ａ１５は、算出した該和を、回転角度補正パラメータβとする。回転角度パラメータ決定部Ａ１５は、回転角度補正パラメータを補正パラメータ記憶部Ａ１８に記憶する。
【００４８】
上下左右位置判定部Ａ１６は、閾値記憶部Ａ１１に記憶されている上下左右位置に関する閾値を読み出す。上下左右位置判定部Ａ１６は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の各々の特徴点の位置座標に基づいて、これらの画像の上下左右位置が合致しているか否かを判定する。具体的には、上下左右位置判定部Ａ１６は、記録画像の特徴点の位置座標と一致するライブビューの特徴点の位置座標の数が閾値以上あるか否かを判定し、閾値以上あるときは合致していると判定する。
【００４９】
合致していると判定したときは、上下左右位置判定部Ａ１６は、位置座標が一致したライブビューの特徴点の座標の各々がライブビュー特徴点記憶部Ｃ１０８に記憶されているか否かを判定する。上下左右位置判定部Ａ１６は、記憶していない特徴点の座標をライブビュー特徴点記憶部Ｃ１０８に記憶させるとともに、これらの数を、カウント部Ｃ１１０に出力する。一方、合致していないと判定したときは、上下左右位置判定部Ａ１６は、上下左右位置パラメータ決定部Ａ１７に、上下左右位置補正パラメータの決定を指示する。
【００５０】
上下左右位置パラメータ決定部Ａ１７は、補正パラメータ記憶部Ａ１８に記憶されている上下左右位置補正パラメータを読み出す。上下左右位置パラメータ決定部Ａ１７は、特徴点関連情報生成部Ｃ１０９から入力された各々の画像の特徴点の直線の傾きに基づき、記録画像の特徴点の直線の傾きと、一致するライブビューの特徴点の直線の傾きの数が最大となるように、上下左右位置を調整する移動量を決定する。上下左右位置パラメータ決定部Ａ１７は、決定した上下左右位置を調整する移動量と、補正パラメータ記憶部Ａ１８から読み出した以前の上下左右位置補正パラメータとの差分を算出する。上下左右位置パラメータ決定部Ａ１７は、算出した差分を、上下左右位置補正パラメータγとする。上下左右位置パラメータ決定部Ａ１７は、決定した上下左右位置補正パラメータを補正パラメータ記憶部Ａ１８に記憶する。
【００５１】
図４は、本実施形態に係る撮像装置Ｄ１の広角撮影の一例を示す概念図である。
左図は、撮像装置Ｄ１によって撮影され、記録された記録画像である。それに対し右図は、数１０ピクセル程度広角で撮影した時の撮影画像である。撮像装置Ｄ１は、画角、回転角度、上下左右位置の補正パラメータを決定し、該補正パラメータを用いて補正処理部Ｃ１１４が補正処理を行うため、広角に撮影する。
【００５２】
図５は、本実施形態に係る撮影画像の補正処理の手法の一例を示す概念図である。
特徴点自動調整部Ａ１は、各々の画像の特徴点の座標距離、直線の傾き、位置座標を用いて、画角を調整する倍率α、回転角度を調整する角度β、上下左右位置を調整する移動量γの順に補正処理を行う。ライブビューは、予め広角で取得した画像データを基に補正処理を行うため、補正処理によって画像の欠落は生じない。補正処理による画像の劣化を防ぐため、補正処理は、常に補正処理前のライブビューに対し行うものとする。例えば、ライブビューから画像から１．２倍拡大し、さらに１．４倍拡大した画像よりも、補正処理前のライブビューから１．６８倍拡大した画像を作成する。
なお、本実施形態において、補正処理は、ライブビューに対して行っているが、記録画像に対して補正処理を行ってもよい。
【００５３】
図６は、本実施形態に係る記録画像から抽出し、特徴点の座標を表示した一例を示す概念画像である。
記録画像特徴点抽出部Ｃ１０２で抽出された記録画像の特徴点の座標は、例えば、いくつかの特徴点の座標を直線で結んで形成される直線とコーナーとを含んでいる。なお、特徴点の座標の表示は、直線部分と、コーナー部分とを線で表しているが、各々の特徴点を直線で結ばず、特徴点の座標を点で表してもよい。
【００５４】
図７は、本実施形態に係る記録画像から抽出された特徴点の座標を基に位置合わせを行い使用者が撮影したときの撮影画像の一例を示す概念画像である。
図７は、記録画像をもとにライブビューを画像合成部Ｃ１１２において重ねて表示した一例であり、記録画像と、ライブビューとの間に特徴点の座標に差異が生じている。例えば、記録画像の特徴点の座標を表示部７に透過表示し、それを基に、使用者が位置調整を行った場合、記録画像と、ライブビューとの特徴点を一致させるのは困難であり、使用者の能力に大きく依存する。また、調整には時間がかかる。
【００５５】
図８は、本実施形態に係る記録画像から抽出された特徴点の座標と、それを基に使用者が位置合わせを行い撮影した撮影画像の特徴点の座標と、を比較した一例を示す概念画像である。
図８は、記録画像特徴点抽出部Ｃ１０２で抽出された記録画像の特徴点の座標と、ライブビュー特徴点抽出部Ｃ１０６で抽出されたライブビューの特徴点の座標と、記録画像と、ライブビューとに基づき、記録画像とライブビューと各々の画像の特徴点の座標とを画像合成部Ｃ１１２で重複表示した画像である。強調表示された記録画像の特徴点の座標と、ライブビューの特徴点の座標との間に差異が生じている。
【００５６】
図９は、本実施形態に係る撮影画像の特徴点自動調整処理における動作の一例を示すフローチャートである。
記録画像撮影情報処理部Ｃ１０１は、フラッシュメモリ９に記録された記録画像を読み出し、表示部７に表示する（Ｓ１０１）。記録画像撮影情報処理部Ｃ１０１は、記録画像に対応付けられたＥｘｉｆデータの読み出し、記録画像の位置情報を取得する（Ｓ１０２）。
記録画像特徴点抽出部Ｃ１０２は、記録画像撮影情報処理部Ｃ１０１で読み出した記録画像に対し、特徴点の座標の抽出を行う（Ｓ１０３）。
カウント部Ｃ１１０は、カウンタをゼロ値で初期化する（Ｓ１０４）。
位置調整部Ｃ１０３は、表示部７に表示された記録画像およびステップＳ１０２の記録画像に対応付けられた位置情報を基に、使用者に位置を合わせるよう通知する（Ｓ１０５）。
位置センサ部１１は、現在の位置情報を取得し（Ｓ１０６）、ステップＳ１０５において通知した記録画像の位置情報と、現在の位置情報とを比較し、自動補正可能な範囲内であるか否かを判定する（Ｓ１０７）。
ステップＳ１０７が、自動補正可能な範囲内である場合（Ｓ１０７−ＹＥＳ）、記録画像撮影情報処理部Ｃ１０１は、表示部７に表示中の記録画像を透過表示（スルー画像）に変更し、表示する（Ｓ１０８）。一方、ステップＳ１０７が、自動補正可能な範囲内でない場合（Ｓ１０７−ＮＯ）、ステップＳ１０５からステップＳ１０７までの処理を繰り返す。
記録画像撮影情報処理部Ｃ１０１は、ステップＳ１０２で読み出したＥｘｉｆデータから方位情報を取得する（Ｓ１０９）。
カウント部Ｃ１１０は、カウンタをゼロ値でクリアする（Ｓ１１０）。
撮像処理部Ｃ１０５は、撮像部１からライブビューを取込む（Ｓ１１１）。
補正処理部Ｃ１１４は、取込まれたライブビューに対し、補正処理を行う（Ｓ１１２）。
画像合成部Ｃ１１２は、ライブビューと透過表示された記録画像とを重ねて表示部７に表示する（Ｓ１１３）。
位置調整部Ｃ１０３は、使用者に対し、ステップＳ１１３の画像を見ながら方位合わせをするよう通知する（Ｓ１１５）。
ステップＳ１１５で調整した方位に対し、方位センサ部５は、現在の方位情報を取得する（Ｓ１１６）。
記録画像の位置情報と現在の位置情報、および記録画像の方位情報と現在の方位情報が各々自動補正可能な範囲内であるか否かの判定を行う（Ｓ１１７）。
ステップＳ１１７が、自動補正可能な範囲内である場合（Ｓ１１７−ＹＥＳ）、ライブビュー特徴点抽出部Ｃ１０６は、ライブビューから抽出した特徴点の座標を抽出した順にテーブルに記録する（Ｓ１１８）。一方、ステップＳ１１７が自動補正可能な範囲内でない場合（Ｓ１１７−ＮＯ）、シャッターアイコンが点灯していれば消灯させる（Ｓ１１４）。
基準特徴点決定部Ｃ１０７は、記録画像の特徴点の座標と、ライブビューの特徴点の座標の中から互いの特徴点の座標に対応する特徴点の座標を探索し、探索した特徴点の座標の中から基準となる各々の特徴点の座標を選択する（Ｓ１１９）。
Ｓ１１９において選択された各々の画像の基準特徴点の座標に基づき、特徴点関連情報生成部Ｃ１０９は、基準となる各々の特徴点の座標と、各々の画像の各々の特徴点の座標との座標距離を算出する。特徴点関連情報生成部Ｃ１０９は、基準となる各々の特徴点の座標と、各々の画像の各々の特徴点の座標とを結んだ直線の傾きを算出する。
特徴点自動調整部Ａ１は、記録画像の特徴点の座標とライブビューの特徴点の座標との一致する特徴点の座標の数は閾値以上か否かを判定する（Ｓ１２０）。
ステップＳ１２０において、一致する特徴点の座標の数が閾値以上である場合（Ｓ１２０−ＹＥＳ）、シャッターアイコンを表示する（Ｓ３０１）。一方、ステップＳ１２０において、一致する特徴点の座標の数が閾値未満である場合（Ｓ１２０−ＮＯ）、抽出したライブビューの特徴点の座標を全て比較し終えたか否かを判定する（Ｓ１２１）。具体的には、基準特徴点決定部Ｃ１０７において、記録画像の特徴点の座標に対応するライブビューの特徴点の座標を探索し、記録画像の特徴点の座標各々に対応するライブビューの特徴点各々を基準特徴点の座標と決定する。決定した基準特徴点の座標各々において、画角、回転角度、上下左右位置の調整を行い、カウント部Ｃ１１０に加算する。抽出したライブビューの特徴点の座標を全て判定し終えていない場合、（Ｓ１２１−ＮＯ）、シャッターアイコンが点灯していれば消灯する（Ｓ１２２）。
画角が合致しているか否かを判定する（Ｓ１２３）。
ステップＳ１２３が合致している場合（Ｓ１２３−ＹＥＳ）、特徴点自動調整部Ａ１は、まだテーブルに記録していない特徴点の座標か否かを判定する（Ｓ１２６）。一方、ステップＳ１２３が合致していない場合、画角パラメータ決定部Ａ１３は、一致する特徴点の座標距離の数が最大となるように画角の調整を行う（Ｓ１２４）。具体的には、記録画像の特徴点の座標距離と、ライブビューの特徴点の座標距離とにおける、一致する特徴点の座標距離の数が最大となるようにライブビューが記録画像より小さければズームアップし、ライブビューが記録画像より大きければズームダウンし、大まかに画角を調整する（Ｓ１２４）。また、画角パラメータ決定部Ａ１３は、記録画像の特徴点の座標距離と、ライブビューの特徴点の座標距離とにおける、一致する特徴点の座標距離の数が最大となるようにライブビューが記録画像より小さければライブビューを拡大し、ライブビューが記録画像より大きければライブビューを縮小する（Ｓ１２５）。
ステップＳ１２６において、テーブルに記録してある画像データの特徴点の座標である場合（Ｓ１２６−ＮＯ）、回転角度判定部Ａ１４において回転角度が合致しているか否かを判定する（Ｓ２０１）。一方、ステップＳ１２６において、テーブルに記憶していない画像データの特徴点の座標である場合（Ｓ１２６−ＹＥＳ）、カウント部Ｃ１１０は、一致する特徴点の座標距離の数の合計を算出し（Ｓ１２７）、画像データの特徴点の座標をテーブルに記録する（Ｓ１２８）。
【００５７】
図１０は、本実施形態に係る特徴点自動調整部Ａ１の動作の一例を示すフローチャートである。
ステップＳ２０１は、具体的には、特徴点関連情報生成部Ｃ１０９から入力された記録画像の基準特徴点の座標と、各々の特徴点の座標と、を結んだ直線の傾き、およびライブビューの基準特徴点の座標と、各々の特徴点の座標と、を結んだ直線の傾きに基づいて、回転角度が合致しているか否かを判定する。
ステップＳ２０１が合致している場合（Ｓ２０１−ＹＥＳ）、特徴点自動調整部Ａ１は、まだテーブルに記録していない特徴点の座標か否かを判定する（Ｓ２０３）。一方、ステップＳ２０１が合致していない場合、回転角度パラメータ決定部Ａ１５は、一致する特徴点の直線の傾きの数が最大となるように回転角度を調整する（Ｓ２０２）。具体的には、記録画像の特徴点の座標の直線の傾きと、ライブビューの特徴点の座標の直線の傾きとにおける、一致する特徴点の座標の直線の傾きの数が最大となるようにライブビューを右回り、左回りに回転し、回転角度を調整する（Ｓ２０２）。
ステップＳ２０３において、テーブルに記録してあるライブビューの特徴点の座標である場合（Ｓ２０３−ＮＯ）、上下左右位置判定部Ａ１６で上下左右位置が合致しているか否かを判定する（Ｓ２０６）。一方、ステップＳ２０３において、テーブルに記憶していないライブビューの特徴点の座標である場合（Ｓ２０３−ＹＥＳ）、カウント部Ｃ１１０は、一致する特徴点の座標の直線傾きの数の合計を算出し（Ｓ２０４）、ライブビューの特徴点の座標をテーブルに記録する（Ｓ２０５）。
ステップＳ２０６は、具体的には、特徴点関連情報生成部Ｃ１０９から入力された記録画像の各々の特徴点の座標と、ライブビューの各々の特徴点の座標と、に基づいて、上下左右位置が合致しているか否かを判定する。
ステップＳ２０６が合致している場合（Ｓ２０６−ＹＥＳ）、特徴点自動調整部Ａ１は、まだテーブルに記録していない特徴点の座標か否かを判定する（Ｓ２０８）。一方、ステップＳ２０６が合致していない場合、上下左右位置パラメータ決定部Ａ１７は、一致する特徴点の位置座標の数が最大となるように上下左右位置を調整する（Ｓ２０７）。具体的には、記録画像の特徴点の位置座標と、ライブビューの特徴点の位置座標とにおける、一致する特徴点の位置座標の数が最大となるようにライブビューを右寄せ／左寄せ、上寄せ／下寄せする。
ステップＳ２０８において、テーブルに記録してあるライブビューの特徴点の座標である場合（Ｓ２０８−ＮＯ）、特徴点自動調整部Ａ１で調整した各々の補正パラメータを補正処理部Ｃ１１４に出力し、一致する特徴点の座標の数をＳ１２０において閾値判定する。一方、ステップＳ２０８において、テーブルに記憶していないライブビューの特徴点の座標である場合（Ｓ２０８−ＹＥＳ）、カウント部Ｃ１１０は、一致する特徴点の位置座標の数の合計を算出し（Ｓ２０９）、ライブビューの特徴点の座標をテーブルに記録する（Ｓ２１０）。
【００５８】
図１１は、本実施形態に係る自動補正処理における撮像判定部Ｃ１１１の動作の一例を示すフローチャートである。
ステップＳ１２０の一致する特徴点の座標の数が閾値以上である場合、シャッターアイコンを表示する（Ｓ３０１）。
ステップ３０１に基づき、シャッターキーを押した場合（Ｓ３０２−ＹＥＳ）、撮影画像をＤＲＡＭ９に取り込み（Ｓ３０３）、シャッターアイコンを消灯する（Ｓ３０４）。
ステップＳ３０３で取り込んだ撮影画像を表示部７に表示する（Ｓ３０５）。
ステップＳ３０５で表示部７に表示した撮影画像を記録保存する場合（Ｓ３０６−ＹＥＳ）、フラッシュメモリ９に記録する（Ｓ３０７）。
撮影画像に対応付けるＥｘｉｆデータをフラッシュメモリ９に記憶する（Ｓ３０８）。
【００５９】
このように、本実施形態によれば、撮像部１は、被写体を撮影し、撮影画像を生成する。補正処理部Ｃ１１４は、予め記憶装置（フラッシュメモリ９）に記憶されている記録画像または前記撮影画像を補正する。特徴点自動調整部Ａ１は、補正処理部Ｃ１１４が、補正する際に用いる補正パラメータを決定する。特徴点自動調整部Ａ１は、補正処理部Ｃ１１４により補正された画像の視点、方向、画角が、記録画像および撮影画像のうち、補正処理部Ｃ１１４により補正されない画像の視点、方向、画角と、略一致するように補正パラメータを決定する。これにより、以前撮影した時と同一視点、かつ同一方向での撮影を容易に行うことができる。
【００６０】
なお、本実施形態では、記録画像の特徴点の座標と、ライブビューの特徴点の座標との一致する特徴点の座標の数が最大となるように補正パラメータを決定し、ライブビューの補正処理を行っているが、該補正パラメータを用いて、記録画像の補正処理を行ってもよい。
【００６１】
なお、上述した実施形態における撮像装置Ｄ１の一部、または全部を、コンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【００６２】
なお、ここでいう「コンピュータシステム」とは、撮像装置Ｄ１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６３】
また、上述した実施形態における撮像装置Ｄ１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。撮像装置Ｄ１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００６４】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６５】
Ｄ１・・・撮像装置
１・・・撮像部
１ａ・・・撮影レンズ
２・・・信号変換部
３・・・信号処理部
４・・・調光センサ部
５・・・方位センサ部
６・・・フラッシュ発光部
７・・・表示部
８・・・ＤＲＡＭ
９・・・フラッシュメモリ
１０・・・操作部
１１・・・位置センサ部
Ｃ１・・・制御部
Ｃ１０１・・・記録画像撮影情報処理部
Ｃ１０２・・・記録画像特徴点抽出部
Ｃ１０３・・・位置調整部
Ｃ１０４・・・位置・方位情報判定部
Ｃ１０５・・・撮像処理部
Ｃ１０６・・・ライブビュー特徴点抽出部
Ｃ１０７・・・基準特徴点決定部
Ｃ１０８・・・ライブビュー特徴点記憶部
Ｃ１０９・・・特徴点関連情報生成部
Ｃ１１０・・・カウント部
Ｃ１１１・・・撮像判定部
Ｃ１１２・・・画像合成部
Ｃ１１３・・・補正閾値記憶部
Ｃ１１４・・・補正処理部
Ｃ１１５・・・書込み部
Ａ１・・・特徴点自動調整部
Ａ１１・・・閾値記憶部
Ａ１２・・・画角判定部
Ａ１３・・・画角パラメータ決定部
Ａ１４・・・回転角度判定部
Ａ１５・・・回転角度パラメータ決定部
Ａ１６・・・上下左右位置判定部
Ａ１７・・・上下左右位置パラメータ決定部
Ａ１８・・・補正パラメータ記憶部
【図１】
2014003441.tif 000003
【図２】
2014003441.tif 000004
【図３】
2014003441.tif 000005
【図４】
2014003441.tif 000006
【図５】
2014003441.tif 000007
【図６】
2014003441.tif 000008
【図７】
2014003441.tif 000009
【図８】
2014003441.tif 000010
【図９】
2014003441.tif 000011
【図１０】
2014003441.tif 000012
【図１１】
2014003441.tif 000013