【手続補正書】
【提出日】平成23年12月8日(2011.12.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
連続して撮影された複数枚の撮影画像から１枚の画像を合成するために、撮像装置をスイープさせながら複数枚の画像を撮影する撮像装置において、
上記撮像装置のスイープする角速度を検出するスイープ角速度検出手段と、
上記スイープ角速度が上記適正範囲を超えて速い場合に警告を発する制御手段と
を備える撮像装置。
【請求項２】
上記制御手段は、
上記スイープ角速度と上記適正範囲を示す表示を行うことでユーザへの報知を行う
請求項１記載の撮像装置。
【請求項３】
上記制御手段は、
上記スイープ角速度検出手段によって検出されたスイープ角速度が適正範囲であるか否かをユーザに報知する
請求項１記載の撮像装置。
【請求項４】
上記連続して撮影された複数枚の撮像画僧から１枚の画像を合成する合成手段を備える  請求項１記載の撮像装置。
【請求項５】
上記適正範囲は、水平画角、水平画素数、シャッタ速度に応じて決定される最大スイープ角速度に基づいて設定されている
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
連続して撮影された複数枚の撮影画像から１枚の画像を合成するために、撮像装置をスイープさせながら複数枚の画像を撮影する撮像装置の制御方法において、
上記撮像装置のスイープする角速度を検出するスイープ角速度検出ステップと、
上記スイープ角速度が上記適正範囲を超えて速い場合に警告を発する制御ステップと
を備える撮像装置の制御方法。
【請求項７】
連続して撮影された複数枚の撮影画像から１枚の画像を合成するために、撮像装置をスイープさせながら複数枚の画像を撮影する撮像装置を制御するプログラムにおいて、
上記撮像装置のスイープする角速度を検出するスイープ角速度検出処理と、
上記スイープ角速度が上記適正範囲を超えて速い場合に警告を発する制御処理と
をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】撮像装置、撮像装置の制御方法、およびプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、複数の画像を合成する機能を有する撮像装置、撮像装置の制御方法、およびプログラムに関するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、スイープ速度を監視することが可能で、取り直しが必要か否かを撮影直後に判断することが可能で、使い勝手のよい撮像装置、撮像装置の制御方法、およびプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
＜加速度センサによる角速度センサの補助＞
角速度センサは相対的な角移動量を出力する。
現在どの位置にいるかという絶対位置情報はそれまでの相対値を積分することで算出される。
その相対値にわずかなずれやノイズが含まれていた場合、積分する時間が長引くほど大きなずれを生じる可能性がある。
角速度センサは重力加速度の検出でＹ軸方向の回転（チルト）とＺ軸方向の回転（ロール）の絶対値を得ることができるが、パノラマ撮影に対して大きな単位でしか検出できず有用度では加速度センサにおとる。
しかし、絶対値が出てくるというメリットから、定期的に相対移動距離の積分値と比較して積分値の補正、絶対値の補正を行うことができる。
加速度センサで十分検出できるくらいの絶対量を移動したら、そのタイミングで相対移動距離の積分値による絶対位置と比較して必要であれば補正を行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
＜撮影した写真から空間座標を割り当てる方法＞
図２１は、撮影した写真から空間座標を割り当てる方法のフローチャートである。
撮影した写真から空間座標を割り当てる方法においては、図２１のステップＳＴ４１〜ＳＴ４７の処理が行われる。
上記のように撮影したパノラマ写真すべてに、画像マッチングと角度センサから得た前フレームからの相対的回転移動量を求めることができる（ＳＴ４１〜ＳＴ４３）。
パノラマ写真を構成するためには、これら相対的回転移動量から絶対空間座標への割り当てを行う必要がある。
撮影した写真はすべて同じ画角なので、撮影した中央の点、つまりカメラが向いていたベクトルのみに注視して割り当てを考慮することができる。
前フレームとの相対的回転移動量というのは、このカメラが向いていた方向、撮影視線ベクトルが前フレームのベクトルとどれだけの角をなしているかと表現することもできる。
配置にあたって視線ベクトルだけに簡略化するとフレームＺ軸方向の回転、つまりロールが取れなくなる。
そこで、フレームの真上Ｙ軸上にずらしたベクトルをもう一つ用意することでフレームのロールを表現することにする。
この２つのベクトルがカメラの撮影方向とＺ軸のロールを表し、回転処理を行ってもフレームの情報を保持し続ける。
空間に配置する際、新しいフレームは必ず空間正面位置ａ（０，０，１．０）には位置する。
相対的回転移動量が出ている場合は、その分だけ逆方向に前のフレームすべてを回転させてから空間正面位置ａ（０，０，１．０）を配置する（ＳＴ４４〜ＳＴ４６）。
前のフレームから移動ではなく、現在のフレームから過去のフレームがどれだけ移動したかということを基準にしてあつかう。
今回撮影したフレームをＡとし、前回撮影したフレームをＢとする。
フレームＡを基準にして、フレームＢがどれだけ相対的回転移動したかを算出する（ＳＴ４３）。
現在のＡのカメラ位置からみてＢのカメラ位置がＸ軸方向にｒｘ、Ｙ軸方向にｒｙ、Ｚ軸方向にｒｚだけ回転移動したものだと算出されたらＡ以外過去に撮影されたフレームの撮影方向ベクトルおよびロール指標ベクトルすべてに、ｒｘ，ｒｙ，ｒｚの回転をかける。
回転マトリクスは一般的な三次元空間のものでよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３３
【補正方法】変更
【補正の内容】
【０１３３】
［ＭＥ結果の評価］
多くのＭＥの結果から正しいステッチングが可能か否かを判断し、不可能の場合、その旨を表示して撮影のやり直しを促す。
可能な場合はそのままステッチング処理を行い、合成結果を表示すると共に、記録媒体(メモリ)に記録する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５０
【補正方法】変更
【補正の内容】
【０１５０】
【図１】本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【図２】本実施形態に係るカメラ装置において広角撮影を行った場合を概念的に示す図である。
【図３】精密合成処理部のブロック図である。
【図４】姿勢センサの出力（スイープ角速度）をグラフにして表示する場合を示す図である。
【図５】本実施形態の第１の構成における撮影形態を説明するための図である。
【図６】ＣＭＯＳイメージセンサの露光時間と蓄積電荷の読み出し時間、そして光軸制御時間の関係を示す図である。
【図７】相互電力スペクトル(ＣＰＳ)を用いたトランスレーションにおけるステッチング画像を示す図である。
【図８】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、条件の４枚の画像を選択する処理を示す図である。
【図９】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、一つの境界で３箇所のＢＭを行う例を示す図である。
【図１０】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、レンズ歪があるとＢＭの結果が弓なりになることを示す図である。
【図１１】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、チルト角が正しくないと左右方向の誤差が生じる例を示す図である。
【図１２】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、左右の境界で上下の伸縮が起きているときに横にずれができる例を示す図である。
【図１３】ブロックマッチング（ＢＭ）でパラメータを抽出する処理を説明するための図であって、画像が回転する場合に生じる誤差の例を示す図である。
【図１４】ブロックマッチング（ＢＭ）でパラメータを抽出する処理後に多くの枚数に拡張して平行移動を行って最も誤差が小さくなるようにする処理を説明するための図である。
【図１５】連続撮影した画像とセンサ情報を基に空間配置する方法を示す機能ブロック図である。
【図１６】連続撮影した画像とセンサ情報を対応させて高精度化する方法であって、静止時のセンサ値のゼロ補正を示す機能ブロック図である。
【図１７】連続撮影した画像とセンサ情報を対応させて高精度化する方法であって、移動情報の協調により高精度化を示す機能ブロック図である。
【図１８】角速度センサの零点補正処理のフローチャートである。
【図１９】角速度センサの移動量補正のフローチャートである。
【図２０】移動量の取得方法のフローチャートである。
【図２１】撮影した写真から空間座標を割り当てる方法のフローチャートである。
【図２２】スイープ速度の計算処理例について説明するための図である。