(57)【要約】【課題】より低い計算コストで、より高品質なパノラマ画像を得ることができるようにする。【解決手段】撮像装置は、移動している状態で複数の撮像画像を撮像し、これらの撮像画像を、同じ被写体がほぼ重なるようにパノラマ座標系上に並べて合成して、１つのパノラマ画像を生成する。動被写体検出部６４は、連続する２つの撮像画像から動被写体を検出し、その動きの大きさを示す被写体情報を生成し、被写体情報射影部６５は被写体情報を、パノラマ座標系を構成するスイープ軸上に射影する。接続ライン算出部６６は、スイープ軸に射影された被写体情報に基づいて、撮像画像同士を接続するときの接続ラインを定める。撮像装置によれば、スイープ軸方向への１次元探索という低計算コストな処理で、接続ラインを定めることができる。本発明は、撮像装置に適用することができる。【選択図】図３
2011097246.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する画像処理装置であって、
複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータを算出する動き補償パラメータ算出手段と、
前記撮像画像から動被写体を検出し、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報を生成する動被写体検出手段と、
前記動き補償パラメータを用いて、複数の前記撮像画像の前記被写体情報のそれぞれを所定方向のスイープ軸に射影する被写体情報射影手段と、
前記動き補償パラメータを用いて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれを射影する画像射影手段と、
前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインを定める接続ライン決定手段と、
前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成する画像合成手段と
を備える画像処理装置。
【請求項２】
前記動被写体検出手段は、前記動き補償パラメータを用いて、連続して撮像された前記撮像画像を並べた場合に、前記撮像画像が互いに重なる領域を対象として、前記撮像画像の画素の画素値の差分を求めることにより前記動被写体を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記動被写体検出手段は、複数の前記撮像画像のうち、前記動被写体が最も前記撮像画像上の中央に近い位置にある前記撮像画像をさらに特定し、
前記接続ライン決定手段は、前記動被写体検出手段により特定された前記撮像画像から、前記撮像画像が撮像された順番の昇順および降順のそれぞれの方向に、順次前記撮像画像の前記接続ラインを定める
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記動き補償パラメータは、前記撮像画像のグローバルモーションベクトルとされる
請求項１乃至請求項３の何れかに記載の画像処理装置。
【請求項５】
前記動被写体検出手段は、前記撮像画像から人の顔の領域をさらに検出し、前記撮像画像の各領域における人の顔らしさを示す情報がさらに含まれる前記被写体情報を生成する
請求項１乃至請求項４の何れかに記載の画像処理装置。
【請求項６】
前記動被写体検出手段は、前記撮像画像から人の領域をさらに検出し、前記撮像画像の各領域における人らしさを示す情報がさらに含まれる前記被写体情報を生成する
請求項１乃至請求項５の何れかに記載の画像処理装置。
【請求項７】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する画像処理装置であって、
複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータを算出する動き補償パラメータ算出手段と、
前記撮像画像から動被写体を検出し、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報を生成する動被写体検出手段と、
前記動き補償パラメータを用いて、複数の前記撮像画像の前記被写体情報のそれぞれを所定方向のスイープ軸に射影する被写体情報射影手段と、
前記動き補償パラメータを用いて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれを射影する画像射影手段と、
前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインを定める接続ライン決定手段と、
前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成する画像合成手段と
を備える画像処理装置の画像処理方法において、
前記動き補償パラメータ算出手段が、前記撮像画像から前記動き補償パラメータを算出し、
前記動被写体検出手段が、前記撮像画像の前記被写体情報を生成し、
前記被写体情報射影手段が、前記被写体情報を前記スイープ軸に射影し、
前記画像射影手段が、前記撮像画像を前記パノラマ座標系上に射影し、
前記接続ライン決定手段が、前記スイープ軸に射影された前記被写体情報に基づいて前記接続ラインを定め、
前記画像合成手段が、前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成する
ステップを含む画像処理方法。
【請求項８】
撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する画像処理用のプログラムであって、
複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータを算出し、
前記撮像画像から動被写体を検出して、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報を生成し、
前記動き補償パラメータを用いて、複数の前記撮像画像の前記被写体情報のそれぞれを所定方向のスイープ軸に射影し、
前記動き補償パラメータを用いて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれを射影し、
前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインを定め、
前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より低い計算コストで、より高品質なパノラマ画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、カメラ一体型デジタルＶＣＲ等で撮像された複数の静止画像を重ね合わせて合成することで、パノラマ画像を生成する技術が知られている（例えば、特許文献１参照）。パノラマ画像は、複数の静止画像を並べて合成することで得られる画像であるので、パノラマ画像によれば、１つの静止画像の撮像時に撮像対象となる空間上の領域よりも、より広い領域を被写体として表示することができる。
【０００３】
ところが、パノラマ画像の生成時に動きのある被写体（以下、動被写体とも称する）を考慮せず、単純に静止画像を重ね合わせると、静止画像同士が重なる部分において、動被写体近傍の領域がぼやけたり、動被写体の一部が欠損したりしてしまう。このようなぼけや欠損が生じると、パノラマ画像の品質が劣化してしまうことになる。
【０００４】
そこで、動被写体を考慮して、静止画像の張り合わせを行うときのつなぎ目を決定する方法として、グラフ理論における最短経路問題の解法を利用する方法が提案されている（例えば、非特許文献１参照）。
【０００５】
この方法では、例えば図１に示すように、隣接する２つの静止画像Ｉｔと静止画像Ｉ（ｔ＋１）の互いに重複する領域内に位置する、つなぎ目ＳＬが決定される。なお、図１において、横方向および縦方向は、それぞれｘ方向およびｙ方向を示しており、静止画像Ｉｔおよび静止画像Ｉ（ｔ＋１）は、ｘｙ座標系上に重ねられて並べられている。
【０００６】
図１の例では、静止画像Ｉｔと静止画像Ｉ（ｔ＋１）との重なる領域において算出されたコスト値から、最小コストとなるつなぎ目ＳＬの算出が行われる。具体的には、静止画像上の動被写体には高いコストが設定され、逆に静止している被写体には低いコストが設定されて２次元のグラフが生成され、最小コストのつなぎ目ＳＬが決定される。したがって、静止画像上の動被写体が分断されないようなつなぎ目ＳＬが得られることになる。
【０００７】
つなぎ目ＳＬが算出されると、静止画像Ｉｔの図中、左側の端からつなぎ目ＳＬ近傍の領域までの部分と、静止画像Ｉ（ｔ＋１）のつなぎ目ＳＬ近傍の領域から図中、静止画像Ｉ（ｔ＋１）の右端までの部分とが合成されて、パノラマ画像とされる。
【０００８】
このように、動被写体が分断されないようなつなぎ目ＳＬを求めて、各静止画像を合成することで、合成時におけるぼけや欠損の発生を防止し、より高品質なパノラマ画像を得ることができるようになる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００３−１９８９０２号公報
【非特許文献】
【００１０】
【非特許文献１】飯吉建彰，三橋渉著「パノラマ画像作成のための画像モザイク生成方法」画像ラボ２００８年６月号、日本工業出版、２００８年８月５日発行、p.6-11
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、静止画像同士の重複領域におけるコスト値を算出して、最小コストのつなぎ目を求める方法では、ｘ方向およびｙ方向の２次元のコストマップを保持するためのメモリが必要となり、また、最短経路を決定する際の計算コストも大きくなってしまう。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、より低い計算コストで、より高品質なパノラマ画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する画像処理装置であって、複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータを算出する動き補償パラメータ算出手段と、前記撮像画像から動被写体を検出し、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報を生成する動被写体検出手段と、前記動き補償パラメータを用いて、複数の前記撮像画像の前記被写体情報のそれぞれを所定方向のスイープ軸に射影する被写体情報射影手段と、前記動き補償パラメータを用いて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれを射影する画像射影手段と、前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインを定める接続ライン決定手段と、前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成する画像合成手段とを備える。
【００１４】
前記動被写体検出手段には、前記動き補償パラメータを用いて、連続して撮像された前記撮像画像を並べた場合に、前記撮像画像が互いに重なる領域を対象として、前記撮像画像の画素の画素値の差分を求めることにより前記動被写体を検出させることができる。
【００１５】
前記動被写体検出手段には、複数の前記撮像画像のうち、前記動被写体が最も前記撮像画像上の中央に近い位置にある前記撮像画像をさらに特定させ、前記接続ライン決定手段には、前記動被写体検出手段により特定された前記撮像画像から、前記撮像画像が撮像された順番の昇順および降順のそれぞれの方向に、順次前記撮像画像の前記接続ラインを定めさせることができる。
【００１６】
前記動き補償パラメータは、前記撮像画像のグローバルモーションベクトルとすることができる。
【００１７】
前記動被写体検出手段には、前記撮像画像から人の顔の領域をさらに検出させ、前記撮像画像の各領域における人の顔らしさを示す情報がさらに含まれる前記被写体情報を生成させることができる。
【００１８】
前記動被写体検出手段には、前記撮像画像から人の領域をさらに検出させ、前記撮像画像の各領域における人らしさを示す情報がさらに含まれる前記被写体情報を生成させることができる。
【００１９】
本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する画像処理方法またはプログラムであって、複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータを算出し、前記撮像画像から動被写体を検出して、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報を生成し、前記動き補償パラメータを用いて、複数の前記撮像画像の前記被写体情報のそれぞれを所定方向のスイープ軸に射影し、前記動き補償パラメータを用いて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれを射影し、前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインを定め、前記パノラマ座標系上に射影された複数の前記撮像画像を前記接続ラインで合成して前記パノラマ画像を生成するステップを含む。
【００２０】
本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像を並べて合成し、１つのパノラマ画像を生成する場合に、複数の前記撮像画像に基づいて、前記撮像手段の動きを補償する動き補償パラメータが算出され、前記撮像画像から動被写体が検出され、前記撮像画像の各領域における前記動被写体の動きに関する被写体情報が生成され、前記動き補償パラメータが用いられて、複数の前記撮像画像の前記被写体情報のそれぞれが所定方向のスイープ軸に射影され、前記動き補償パラメータが用いられて、前記スイープ軸に垂直な軸と、前記スイープ軸とを軸とするパノラマ座標系上に複数の前記撮像画像のそれぞれが射影され、前記スイープ軸に射影された前記被写体情報に基づいて、前記スイープ軸に垂直であり、前記パノラマ座標系上に射影された互いに隣接する前記撮像画像を合成するときの接続ラインが定められ、前記パノラマ座標系上に射影された複数の前記撮像画像が前記接続ラインで合成されて前記パノラマ画像が生成される。
【発明の効果】
【００２１】
本発明の一側面によれば、より低い計算コストで、より高品質なパノラマ画像を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】従来のつなぎ目の探索方法を説明するための図である。
【図２】本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【図３】画像処理回路の構成例を示す図である。
【図４】パノラマ画像の生成処理を説明するフローチャートである。
【図５】撮像画像の円筒面への射影について説明する図である。
【図６】撮像面と円筒面の関係を説明する図である。
【図７】被写体情報の算出について説明する図である。
【図８】スイープ軸の各位置の動被写体スコア値について説明する図である。
【図９】接続ラインの探索について説明する図である。
【図１０】接続ラインの探索について説明する図である。
【図１１】撮像画像の有効領域の接続について説明する図である。
【図１２】パノラマ画像のトリミングについて説明する図である。
【図１３】パノラマ画像のトリミングについて説明する図である。
【図１４】被写体情報の他の算出例について説明する図である。
【図１５】被写体情報の他の算出例について説明する図である。
【図１６】被写体情報の他の算出例について説明する図である。
【図１７】接続ラインの決定順について説明する図である。
【図１８】接続ラインの決定順について説明する図である。
【図１９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２４】
［撮像装置の構成］
図２は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
【００２５】
この撮像装置１１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２６】
すなわち、光学系は、被写体の光画像を集光するレンズ２１、レンズ２１からの光画像の光量を調整する絞り２２、および集光された光画像を光電変換して電気信号に変換する撮像素子２３から構成される。撮像素子２３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。
【００２７】
信号処理系は、サンプリング回路２４、Ａ／Ｄ（Analog/Digital）変換回路２５、および画像処理回路２６から構成される。サンプリング回路２４は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現され、撮像素子２３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子２３において発生するノイズが軽減される。サンプリング回路２４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
【００２８】
Ａ／Ｄ変換回路２５は、サンプリング回路２４から供給されるアナログ信号をデジタル信号に変換して、画像処理回路２６に供給し、画像処理回路２６は、Ａ／Ｄ変換回路２５から入力されるデジタル信号に所定の画像処理を施す。
【００２９】
また、記録系は、画像信号を符号化または復号する符号化／復号器２７と、画像信号を記録するメモリ２８とから構成される。符号化／復号器２７は、画像処理回路２６によって処理されたデジタル信号である画像信号を符号化してメモリ２８に記録させたり、メモリ２８から画像信号を読み出して復号し、画像処理回路２６に供給したりする。
【００３０】
表示系は、Ｄ／Ａ（Digital/Analog）変換回路２９、ビデオエンコーダ３０、および表示部３１から構成される。
【００３１】
Ｄ／Ａ変換回路２９は、画像処理回路２６によって処理された画像信号をアナログ化してビデオエンコーダ３０に供給し、ビデオエンコーダ３０は、Ｄ／Ａ変換回路２９からの画像信号を表示部３１に適合する形式のビデオ信号にエンコードする。表示部３１は、例えば、LCD（Liquid Crystal Display）等により実現され、ビデオエンコーダ３０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部３１は、被写体の撮像時にはファインダとしても機能する。
【００３２】
制御系は、タイミング生成部３２、操作入力部３３、ドライバ３４、および制御部３５から構成される。また、画像処理回路２６、符号化／復号器２７、メモリ２８、タイミング生成部３２、操作入力部３３、および制御部３５は、バス３６を介して相互に接続されている。
【００３３】
タイミング生成部３２は、撮像素子２３、サンプリング回路２４、Ａ／Ｄ変換回路２５、および画像処理回路２６の動作のタイミングを制御する。操作入力部３３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部３５に供給する。
【００３４】
ドライバ３４には所定の周辺機器が接続され、ドライバ３４は接続された周辺機器を駆動する。例えばドライバ３４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部３５に供給する。
【００３５】
制御部３５は、撮像装置１１の全体を制御する。例えば、制御部３５は、ドライバ３４を介して、ドライバ３４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部３３からのコマンド等に基づいて、撮像装置１１全体の動作を制御する。
【００３６】
次に、撮像装置１１の動作について説明する。
【００３７】
撮像装置１１では、被写体からの入射光、すなわち被写体の光画像は、レンズ２１および絞り２２を介して撮像素子２３に入射し、撮像素子２３によって光電変換されて電気信号とされる。撮像素子２３で得られた電気信号は、サンプリング回路２４によってノイズ成分が除去され、Ａ／Ｄ変換回路２５によってデジタル化された後、画像処理回路２６が内蔵する図示せぬ画像メモリに一時的に格納される。
【００３８】
なお、通常の状態、つまりシャッタ操作がされる前の状態では、タイミング生成部３２による信号処理系に対するタイミングの制御により、画像処理回路２６の画像メモリには、一定のフレームレートで、絶えずＡ／Ｄ変換回路２５からの画像信号が上書きされるようになされている。画像処理回路２６の画像メモリ内の画像信号は、Ｄ／Ａ変換回路２９によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ３０によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部３１に表示される。
【００３９】
この場合において、表示部３１は、撮像装置１１のファインダとしての機能も担っており、ユーザは、表示部３１に表示される画像を見ながら構図を定め、操作入力部３３としてのシャッタボタンを押下して、画像の撮像を指示する。シャッタボタンが押下されると、制御部３５は、操作入力部３３からの信号に基づいて、タイミング生成部３２に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理回路２６の画像メモリに画像信号が上書きされないように、信号処理系が制御される。
【００４０】
そして、その後、画像処理回路２６の画像メモリに保持されている画像信号が、符号化／復号器２７によって符号化されてメモリ２８に記録される。以上のような撮像装置１１の動作によって、１枚の画像信号の取込みが完了する。
【００４１】
［画像処理回路の構成］
また、図２の画像処理回路２６は、より詳細には図３に示すように構成される。
【００４２】
すなわち、画像処理回路２６は、撮像画像保持部６１、円筒射影部６２、動き補償パラメータ算出部６３、動被写体検出部６４、被写体情報射影部６５、接続ライン算出部６６、画像射影部６７、およびパノラマ合成部６８から構成される。
【００４３】
撮像画像保持部６１には、撮像装置１１により撮像された被写体の画像（以下、撮像画像と称する）が供給され、撮像画像保持部６１は、供給された複数の撮像画像を保持する。撮像画像保持部６１に供給される撮像画像は、撮像装置１１が所定方向に移動（スイープ）している状態で連続して撮像された画像であり、撮像画像の撮像時には、連続して撮像される２つの撮像画像上に同じ被写体が含まれるように、撮像装置１１が移動される。
【００４４】
なお、以下、連続して撮像された撮像画像のうち、ｔ番目に撮像された撮像画像をフレームｔの撮像画像とも称することとする。
【００４５】
円筒射影部６２は、撮像画像保持部６１から撮像画像を読み出して、読み出した撮像画像を円筒面に射影する。円筒射影部６２は、円筒面に射影された撮像画像を、動き補償パラメータ算出部６３、動被写体検出部６４、および画像射影部６７に供給する。
【００４６】
動き補償パラメータ算出部６３は、円筒射影部６２からの撮像画像に基づいて、撮像画像のフレーム間における、撮像装置１１の動き（移動）を補償する動き補償パラメータを算出し、動被写体検出部６４、被写体情報射影部６５、および画像射影部６７に供給する。例えば、動き補償パラメータは、複数の撮像画像のそれぞれを、同じ被写体がほぼ重なるように並べた場合における、撮像画像同士の相対的な位置関係を示す情報である。
【００４７】
動被写体検出部６４は、動き補償パラメータ算出部６３からの動き補償パラメータと、円筒射影部６２からの撮像画像とを用いて、撮像画像から動きのある被写体を検出し、その検出結果を示す被写体情報を被写体情報射影部６５に供給する。例えば、被写体情報は、撮像画像の各領域における被写体の動きの大きさなどの動きに関する情報とされる。なお、以下、動きのある被写体、つまり実空間上において動いている被写体を動被写体とも称することとする。
【００４８】
被写体情報射影部６５は、動き補償パラメータ算出部６３からの動き補償パラメータを用いて、動被写体検出部６４からの被写体情報をスイープ軸に射影して、その射影結果を接続ライン算出部６６に供給する。なお、スイープ軸とは、撮像画像の撮像時に撮像装置１１を移動させる方向と同じ方向の軸をいい、スイープ軸の方向は予め定められている。
【００４９】
接続ライン算出部６６は、被写体情報射影部６５から供給された、被写体情報の射影結果に基づいて、連続するフレームの撮像画像を互いに接続するときの接続位置である接続ラインを求め、接続ラインの位置を示す接続ライン情報をパノラマ合成部６８に供給する。接続ラインは、スイープ軸に垂直な直線とされる。
【００５０】
画像射影部６７は、動き補償パラメータ算出部６３からの動き補償パラメータを用いて、円筒射影部６２からの撮像画像をパノラマ座標系上に射影し、射影された撮像画像をパノラマ合成部６８に供給する。ここで、パノラマ座標系は、スイープ軸に垂直な軸と、スイープ軸とを軸とする２次元座標系、つまり所定の平面とされ、パノラマ座標系は予め定められている。
【００５１】
パノラマ合成部６８は、接続ライン算出部６６からの接続ライン情報を用いて、画像射影部６７から供給された、パノラマ座標系に射影された撮像画像を互いに接続し、１枚のパノラマ画像を生成する。パノラマ画像は、複数の撮像画像の撮像時に撮像対象となった撮像空間上の全領域を被写体とする画像とされる。
【００５２】
［パノラマ画像の生成処理の説明］
ところで、ユーザが操作入力部３３を操作して、パノラマ画像の生成を指示すると、撮像装置１１は、撮像画像を撮像してパノラマ画像を生成する処理であるパノラマ画像の生成処理を開始する。以下、図４のフローチャートを参照して、撮像装置１１によるパノラマ画像の生成処理について説明する。
【００５３】
ステップＳ１１において、撮像素子２３は、撮像装置１１が移動している状態で被写体を撮像する。例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００５４】
被写体からの光はレンズ２１および絞り２２を介して撮像素子２３に入射するので、撮像素子２３は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像（画像信号）は、撮像素子２３から、サンプリング回路２４乃至符号化／復号器２７を介してメモリ２８に供給され、記録される。このとき、撮像画像は符号化／復号器２７により符号化される。また、メモリ２８への記録時において、各撮像画像には撮像順にフレーム番号が付される。
【００５５】
複数の撮像画像がメモリ２８に順次記録されると、それらの撮像画像は、符号化／復号器２７によりメモリ２８から読み出されて復号され、画像処理回路２６の撮像画像保持部６１に供給されて保持される。
【００５６】
なお、撮像により得られた撮像画像が、メモリ２８に記録されずに、直接、撮像画像保持部６１に供給されるようにしてもよい。また、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００５７】
ステップＳ１２において、円筒射影部６２は、撮像画像保持部６１に保持されている撮像画像を順番に読み出して、読み出した撮像画像を、撮像画像の撮像時の焦点距離に基づいて、所定の円筒面に射影する。
【００５８】
例えば、図５に示すように、撮像画像の撮像時におけるレンズ２１の焦点距離を半径とする円筒の側面を円筒面ＣＳとして、撮像面ＰＳを撮像して得られた撮像画像が、円筒面ＣＳに射影（投影）される。すなわち、撮像面ＰＳの円筒面投影が行われる。図５の例では、円筒面ＣＳは、撮像面ＰＳの中央に接する面とされている。なお、レンズ２１の焦点距離は、撮像画像の撮像時におけるレンズ２１の位置等から得られる。
【００５９】
このように撮像画像を円筒面に射影することで、パノラマ画像の生成時に、接続する撮像画像間の被写体の位置のずれ（誤差）をより小さく抑えることができる。
【００６０】
例えば、図６に示すように、光学中心点Ｃ１１に撮像装置１１の光学中心が位置する状態で、光学中心点Ｃ１１を中心として図中、時計回りの方向に撮像装置１１を回動（スイープ）させながら、ユーザが撮像装置１１に複数の撮像画像を撮像させたとする。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００６１】
図６の例では、５つの撮像面ＰＳ−０乃至撮像面ＰＳ−４のそれぞれが撮像面とされて、５つの撮像画像が撮像される。そして、得られた撮像画像は、それぞれ円筒面ＣＳに射影される。円筒面ＣＳは、光学中心点Ｃ１１を中心とし、焦点距離を半径とする円筒の側面である。
【００６２】
いま、撮像された撮像画像を、そのまま合成してパノラマ画像を生成することを考える。図６において、互いに隣接する撮像面の端近傍の重なる部分は、空間的に円筒面ＣＳの半径方向にずれているので、撮像画像同士をそのまま重ねて並べると、被写体の位置にずれが生じて、同じ被写体が重ならなくなり、パノラマ画像の品質が劣化してしまう。
【００６３】
そこで、各撮像画像を円筒面ＣＳに射影してから、射影された撮像画像同士を重ねて合成し、パノラマ画像を生成することで、撮像画像をそのまま合成する場合と比べて、撮像画像間の被写体の位置のずれ（誤差）をより小さく抑えることができる。このように、撮像画像を円筒面ＣＳに射影することで、撮像画像間において生じる被写体の位置の誤差を軽減させることができ、その結果、より高品質なパノラマ画像を得ることができる。
【００６４】
図４のフローチャートの説明に戻り、円筒射影部６２は、撮像画像を円筒面に射影すると、射影された撮像画像を動き補償パラメータ算出部６３、動被写体検出部６４、および画像射影部６７に供給し、処理はステップＳ１２からステップＳ１３に進む。
【００６５】
ステップＳ１３において、動き補償パラメータ算出部６３は、円筒射影部６２から供給された各撮像画像について、撮像画像の動き補償パラメータを算出し、動被写体検出部６４、被写体情報射影部６５、および画像射影部６７に供給する。
【００６６】
例えば、動き補償パラメータ算出部６３は、連続する２つのフレームの撮像画像を用いて、特徴点の抽出やブロックマッチングにより、撮像画像のグローバルモーションベクトルを動き補償パラメータとして算出する。
【００６７】
グローバルモーションベクトルは、撮像画像上の被写体全体のフレーム間の動きを示すグローバルな動きベクトルである。撮像画像上の被写体の多くは、実空間上において動きのない静止物体であるので、グローバルモーションベクトルは、撮像画像上の静止物体のフレーム間の動き、つまり撮像画像の撮像時における撮像装置１１の動きを示すベクトルであるということができる。
【００６８】
なお、動き補償パラメータは、グローバルモーションベクトルに限らず、その他、平面射影行列やアフィン行列などとされてもよい。これらの平面射影行列やアフィン行列も、連続する２つのフレームの撮像画像を用いた、特徴点の抽出やブロックマッチングにより求めることができる。動き補償パラメータとして、グローバルモーションベクトルを採用する場合には、平面射影行列やアフィン行列を採用する場合よりも、より低い計算コストで動き補償パラメータを得ることができる。
【００６９】
ステップＳ１４において、動被写体検出部６４は、動き補償パラメータ算出部６３からの動き補償パラメータと、円筒射影部６２からの撮像画像とを用いて、撮像画像の各領域の被写体情報を算出し、被写体情報射影部６５に供給する。
【００７０】
例えば、図７に示すように、動被写体検出部６４は、動き補償パラメータを用いて、連続する２つのフレームｔの撮像画像Ｉｔと、フレーム（ｔ＋１）の撮像画像Ｉ（ｔ＋１）とを、それらの撮像画像上の同じ被写体がほぼ重なるように並べる。
【００７１】
そして、動被写体検出部６４は、撮像画像Ｉｔにおける、撮像画像Ｉ（ｔ＋１）と重なる部分の領域である重複領域ＤＲをいくつかの領域（以下、ブロックと称する）に分割し、ブロックマッチングによりブロックごとに動きベクトルＬＭＶを求める。
【００７２】
すなわち、各ブロックの動きベクトルＬＭＶは、撮像画像Ｉ（ｔ＋１）上において、撮像画像Ｉｔ上の処理対象のブロックとの差分が最も小さい領域を探索することにより、求められる。例えば、ブロックとの差分は、ブロック内の画素の画素値と、その画素に対応する撮像画像Ｉ（ｔ＋１）の画素の画素値との差分絶対値の和とされる。
【００７３】
図７では、重複領域ＤＲ内の点線で表された１つの正方形が１つのブロックを示しており、各ブロック内の矢印は、それらのブロックの動きベクトルＬＭＶを表している。この動きベクトルＬＭＶは、動き補償パラメータを用いて、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）を並べた状態における、撮像画像の各領域の被写体のフレーム間の動きを示すベクトルである。
【００７４】
次に、動被写体検出部６４は、求めた各ブロックの動きベクトルＬＭＶを用いて、撮像画像Ｉｔ全体の動きを示す動きベクトルＧＭＶ（グローバルモーションベクトル）を算出する。例えば、全体の動きベクトルＧＭＶは、各ブロックの動きベクトルＬＭＶの中央値とされる。
【００７５】
なお、動きベクトルＧＭＶは、ロバスト推定により求められてもよいし、求められたブロックの動きベクトルＬＭＶのうち、最も多く検出された方向および大きさの動きベクトルＬＭＶとされてもよい。
【００７６】
このようにして求められた全体の動きベクトルＧＭＶは、撮像画像上の被写体全体の動きを示しているので、この動きベクトルＧＭＶと異なる動きベクトルＬＭＶを有するブロックには、実空間上において動きのある動被写体が含まれていることになる。
【００７７】
さらに、動被写体検出部６４は、求めた全体の動きベクトルＧＭＶと、各ブロックの動きベクトルＬＭＶとを用いて、撮像画像Ｉｔ上の重複領域ＤＲの各位置における、動被写体の有無と、その動きの大きさ（動きの程度）を示すコスト値を算出する。
【００７８】
具体的には、動被写体検出部６４は、重複領域ＤＲの図７中、左上の頂点を基準とするｘｙ座標系を考え、重複領域ＤＲにおけるｘｙ座標系上の座標が（ｘ，ｙ）である位置のコスト値ｃｏｓｔ（ｘ，ｙ）を次式（１）に基づいて算出する。なお、図７の例では、図中、横方向がｘ方向とされ、縦方向がｙ方向とされている。図７におけるｘ方向はスイープ軸の方向と同じ方向とされている。
【００７９】
コスト値ｃｏｓｔ（ｘ，ｙ）＝｜ＧＭＶ−ＬＭＶ（ｘ，ｙ）｜      ・・・（１）
【００８０】
なお、式（１）において、ＧＭＶは撮像画像Ｉｔ全体の動きベクトルＧＭＶを示しており、ＬＭＶ（ｘ，ｙ）は座標（ｘ，ｙ）の位置が含まれるブロックの動きベクトルＬＭＶを示している。つまり、各位置のコスト値は、全体の動きベクトルＧＭＶと、ブロックの動きベクトルＬＭＶとの差分の絶対値とされる。
【００８１】
したがって、重複領域ＤＲ内の位置のコスト値が大きいほど、その位置には、より大きく動いている動被写体が表示されていることになる。このようにして求められたコスト値が、撮像画像の各領域の被写体情報とされる。
【００８２】
なお、図７では、ブロックを単位として動被写体の検出、つまり動きベクトルの検出が行われる例について説明したが、重複領域ＤＲ内の画素ごとに動きベクトルが検出されるようにしてもよい。
【００８３】
また、被写体情報として、動被写体の有無、およびその動被写体の動きの程度を示すコスト値を求める例について説明したが、重複領域ＤＲ内の各位置の被写体情報は、その位置に動被写体が含まれているか否かを示す２値の値とされてもよい。
【００８４】
但し、コスト値のように被写体情報を多値の情報とした方が、接続ライン算出部６６において、より被写体の位置ずれの少ない位置を接続ラインとして求めることができる。
【００８５】
すなわち、接続ライン算出部６６では、パノラマ画像を生成するために、連続して撮像された撮像画像同士を接続するときの接続ラインが定められる。このとき、より高品質なパノラマ画像を得るには、動被写体が分断されるような接続ラインが定められることをなるべく避ける必要があるが、動被写体の領域が大きいなどの理由で、どうしても動被写体の位置を接続ラインとしなければならない場合がある。
【００８６】
そのような場合に、被写体情報に、動被写体の動きの程度を示す情報、つまりコスト値が含まれていれば、最も被写体の動きの小さい位置を接続ラインとして求めることができる。これにより、互いに接続される撮像画像の接続位置近傍における画像のずれ、つまり２つの撮像画像を重ねたときの被写体の位置のずれを最小限にとどめることができ、パノラマ画像の品質の劣化を抑制することができる。
【００８７】
図４のフローチャートの説明に戻り、被写体情報が動被写体検出部６４から被写体情報射影部６５に供給されると、その後、処理はステップＳ１４からステップＳ１５に進む。
【００８８】
ステップＳ１５において、被写体情報射影部６５は、動き補償パラメータ算出部６３からの動き補償パラメータを用いて、動被写体検出部６４からの被写体情報をスイープ軸に射影する。そして、被写体情報射影部６５は、スイープ軸上の位置ごとに、その位置に射影された被写体情報としてのコスト値の総和である動被写体スコア値を算出する。
【００８９】
すなわち、スイープ軸と垂直な方向にある撮像画像上の各位置のコスト値を積分して動被写体スコア値とすることにより、コスト値のスイープ軸への射影が行われる。射影結果としての動被写体スコア値は、撮像画像の対応する領域における動被写体の面積（大きさ）、およびその動被写体の動きの大きさに比例して大きくなる。
【００９０】
例えば、図７の例では、スイープ軸がｘ方向（ｘ軸）と平行であるので、スイープ軸の各位置の動被写体スコア値は、ｘ座標が、そのスイープ軸の位置のｘ座標と同じ値である撮像画像の位置のコスト値の総和となる。具体的には、所定のスイープ軸上の位置Ｘに対応するｘｙ座標系のｘの値がｘ０であったとする。この場合、重複領域ＤＲ上のｘ座標がｘ０である位置のコスト値ｃｏｓｔ（ｘ０，ｙ）の総和が、スイープ軸上の位置Ｘにおける動被写体スコア値として求められる。
【００９１】
その結果、例えば図８に示すように、スイープ軸の各位置における動被写体スコア値が得られる。なお、図８において、横方向はスイープ軸の方向を示しており、縦方向はスイープ軸の各位置における動被写体スコア値を示している。
【００９２】
図８では、撮像画像Ｉｔの各領域のコスト値がスイープ軸に射影されて得られる動被写体スコア値が示されている。曲線ＭＳはスイープ軸の各位置における動被写体スコア値を示す曲線である。
【００９３】
撮像画像Ｉｔでは、撮像画像Ｉｔの中央から図中、やや左側に動被写体としての人が含まれているため、その人の部分に対応するスイープ軸の位置では、動被写体スコア値が大きくなっている。逆に、動被写体の含まれない部分のコスト値は０であり、また、隣接する撮像画像と重複しない領域ではコスト値は求められないので、撮像画像Ｉｔの人のいない領域に対応するスイープ軸の位置では、動被写体スコア値は０となっている。
【００９４】
このようにして被写体情報射影部６５は、全ての撮像画像について、被写体情報としてのコスト値をスイープ軸に射影し、スイープ軸の各位置の動被写体スコア値を求める。なお、被写体情報射影部６５において、各撮像画像の領域ごとのコスト値を、スイープ軸のどの位置に射影させるかは、撮像画像ごとの動き補償パラメータにより知ることができる。
【００９５】
被写体情報をスイープ軸に射影して、スイープ軸の各位置における動被写体スコア値を求めることで、接続ラインを定めるのに用いられる２次元の情報を１次元の情報に変換することができる。これにより、接続ラインの決定に必要な情報の量を削減するとともに、その情報の記録のためのメモリ容量を節約することができる。
【００９６】
図４のフローチャートの説明に戻り、被写体情報射影部６５は、スイープ軸の各位置における動被写体スコア値を算出すると、それらの動被写体スコア値を接続ライン算出部６６に供給し、処理はステップＳ１５からステップＳ１６に進む。
【００９７】
ステップＳ１６において、接続ライン算出部６６は、被写体情報射影部６５からの動被写体スコア値に基づいて、撮像画像を接続するときの接続ラインを定め、接続ラインの位置を示す接続ライン情報をパノラマ合成部６８に供給する。
【００９８】
例えば、図９に示すように、撮像画像Ｉｔから、曲線ＭＳｔにより示される動被写体スコア値が得られたとする。なお、図９において、横方向はスイープ軸の方向を示しており、縦方向はスイープ軸の各位置における動被写体スコア値の大きさを示している。動被写体スコア値の値は、図中、上方向に行くほど大きくなる。
【００９９】
接続ライン算出部６６は、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）とを接続（合成）するときの接続ラインの位置を定めるにあたり、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）が互いに重なる重複領域に対応するスイープ軸上の位置ＯＸ０から位置ＯＸ１までの範囲を探索範囲とする。ここで、位置ＯＸ０は、撮像画像Ｉ（ｔ＋１）をスイープ軸に射影したときの撮像画像Ｉ（ｔ＋１）の図中、左端の位置であり、位置ＯＸ１は、撮撮像画像Ｉｔをスイープ軸に射影したときの撮像画像Ｉｔの図中、右端の位置である。
【０１００】
接続ライン算出部６６は、スイープ軸上の位置ＯＸ０から位置ＯＸ１を探索範囲として、探索範囲内において最も動被写体スコア値が小さい位置を、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）の接続ラインの位置とする。
【０１０１】
図９の例では、スイープ軸上の探索範囲内の位置Ｓにおいて、曲線ＭＳｔにより示される動被写体スコア値が最小となっているので、位置Ｓが接続ラインの位置とされる。したがって、接続ラインは、撮像画像Ｉｔ（撮像画像Ｉ（ｔ＋１））上のスイープ軸方向の位置が位置Ｓである、スイープ軸と垂直な直線とされる。
【０１０２】
接続ラインの位置とされる位置Ｓは、探索範囲内において最も動被写体スコア値が小さい位置であるので、撮像画像上のスイープ軸方向の各位置のうちで、最も被写体の動きの小さい位置である。つまり、位置Ｓは、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）を動き補償パラメータに基づいて、同じ被写体がほぼ重なるように所定面上に並べた場合に、それらの撮像画像のずれが最も小さい位置である。ここでいう画像のずれとは、例えば、撮像画像上の被写体の位置のずれや、互いに重なる領域の画素の色の誤差などである。
【０１０３】
このように、撮像画像を並べた場合に、互いに重なる部分の画像同士が、最も類似する画像となる位置を接続ラインとすることで、より自然で高品質なパノラマ画像を得ることができるようになる。しかも、接続ライン算出部６６では、動被写体の分断コストが最小となるスイープ軸上の位置の探索という、一次元の探索処理により、より簡単かつ迅速に接続ラインを定めることができる。
【０１０４】
接続ライン算出部６６は、図９を参照して説明した探索処理を行って、全ての撮像画像について、隣接するフレームの撮像画像との接続ラインを定めていく。
【０１０５】
例えば接続ライン算出部６６は、図１０に示すように、フレーム番号の小さい順、つまり撮像時刻の古い順に、撮像画像の接続ラインを定めていく。なお、図１０において、横方向はスイープ軸方向を示している。
【０１０６】
図１０では、３つの連続するフレーム（ｔ−１）乃至フレーム（ｔ＋１）の撮像画像Ｉ（ｔ−１）乃至撮像画像Ｉ（ｔ＋１）のそれぞれが、動き補償パラメータに基づいて並べられている。撮像画像Ｉ（ｔ−１）乃至撮像画像Ｉ（ｔ＋１）のうち、最もフレーム番号が小さいものは撮像画像Ｉ（ｔ−１）であるから、接続ライン算出部６６は、まず撮像画像Ｉ（ｔ−１）と撮像画像Ｉｔとの接続ラインを定める。
【０１０７】
すなわち、図中、上側に示すように、接続ライン算出部６６は、互いに隣接する撮像画像Ｉ（ｔ−１）と撮像画像Ｉｔとの互いに重なる、スイープ軸上の位置ＯＸ０（ｔ−１，ｔ）から位置ＯＸ１（ｔ−１，ｔ）までの範囲を探索範囲として接続ラインを定める。その結果、探索範囲において動被写体スコア値が最小となる位置Ｓ（ｔ−１，ｔ）が接続ラインの位置とされる。
【０１０８】
次に、接続ライン算出部６６は、図中、中央に示すように撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）との接続ラインを定める。
【０１０９】
ここで、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）が互いに重なる領域の図中、左側の端、つまり撮像画像Ｉ（ｔ＋１）の左端の位置は、先に定めた撮像画像Ｉ（ｔ−１）と撮像画像Ｉｔの接続ラインの位置Ｓ（ｔ−１，ｔ）よりも図中、左側に位置している。撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）の接続ラインの位置は、撮像画像Ｉ（ｔ−１）と撮像画像Ｉｔの接続ラインの位置Ｓ（ｔ−１，ｔ）よりも図中、右側に位置すべきであるから、位置Ｓ（ｔ−１，ｔ）よりも左側の領域は、探索範囲から除外されるべきである。
【０１１０】
そこで、接続ライン算出部６６は、スイープ軸上の位置Ｓ（ｔ−１，ｔ）から、撮像画像Ｉｔの図中、右端の位置ＯＸ１（ｔ，ｔ＋１）までの範囲を探索範囲として接続ラインを定める。その結果、探索範囲において動被写体スコア値が最小となる位置Ｓ（ｔ，ｔ＋１）が接続ラインの位置とされる。
【０１１１】
このように連続するフレームの撮像画像を接続するための接続ラインが定められると、図中、下側に示すように、後段のパノラマ合成部６８において、接続ラインにより定まる撮像画像上の有効領域が互いに接続されてパノラマ画像とされる。なお、図中、下側において、撮像画像Ｉ（ｔ−１）乃至撮像画像Ｉ（ｔ＋１）の斜線部分は、有効領域を示している。
【０１１２】
例えば、撮像画像Ｉｔの有効領域は、撮像画像Ｉｔにおけるスイープ軸方向の位置が、撮像画像Ｉ（ｔ−１）との接続ラインの位置Ｓ（ｔ−１，ｔ）から、撮像画像Ｉ（ｔ＋１）との接続ラインの位置Ｓ（ｔ，ｔ＋１）までの領域とされる。
【０１１３】
このように、各撮像画像の隣接する他の撮像画像との接続ラインを順次、定めていくことにより、各撮像画像の有効領域を順次決定することができる。
【０１１４】
図４のフローチャートの説明に戻り、接続ライン算出部６６は、各撮像画像の接続ラインを定めると、それらの接続ラインの位置を示す接続ライン情報をパノラマ合成部６８に供給し、処理はステップＳ１６からステップＳ１７に進む。
【０１１５】
ステップＳ１７において、画像射影部６７は、動き補償パラメータ算出部６３からの動き補償パラメータを用いて、円筒射影部６２からの撮像画像をパノラマ座標系上に射影し、射影された撮像画像をパノラマ合成部６８に供給する。
【０１１６】
この射影により、撮像画像上の同じ被写体がほぼ重なるように、複数の撮像画像がパノラマ座標系上に並べられることになる。なお、パノラマ座標系は、スイープ軸に垂直な軸と、スイープ軸とを軸とする平面とされる。例えば、スイープ軸の方向が、撮像画像の撮像時における撮像空間の鉛直方向と垂直な方向とされる場合には、スイープ軸に垂直な軸は、鉛直方向とされる。
【０１１７】
ステップＳ１８において、パノラマ合成部６８は、接続ライン算出部６６からの接続ライン情報を用いて、画像射影部６７から供給された、パノラマ座標系に射影された撮像画像の有効領域を互いに接続（合成）し、１枚のパノラマ画像を生成する。
【０１１８】
より詳細には、パノラマ合成部６８は、撮像画像の有効領域を接続（合成）するにあたり、有効領域の端近傍の部分については、隣接する２つの撮像画像の有効領域を重み付き加算することにより、パノラマ画像を生成する。
【０１１９】
例えば、図１１に示すように、連続するフレームの撮像画像の有効領域は、その端部分が互いに重なりを持つように定められる。なお、図１１において横方向はスイープ軸方向を示しており、図１１においては３つの連続するフレームの撮像画像Ｉ（ｔ−１）乃至撮像画像Ｉ（ｔ＋１）が、パノラマ座標系上に並べられている。
【０１２０】
図１１では、図中、上側に示すように、撮像画像Ｉ（ｔ−１）の有効領域Ｒ（ｔ−１）の図中、右端は、撮像画像Ｉｔとの接続ラインの位置Ｓ（ｔ−１，ｔ）よりもやや右側に位置している。また、撮像画像Ｉｔの有効領域Ｒ（ｔ）の図中、左端も撮像画像Ｉ（ｔ−１）との接続ラインの位置Ｓ（ｔ−１，ｔ）よりもやや左側に位置しており、有効領域Ｒ（ｔ−１）と有効領域Ｒ（ｔ）は、端近傍の領域が互いに重なっている。
【０１２１】
そして、有効領域Ｒ（ｔ−１）と有効領域Ｒ（ｔ）とが接続される場合には、スイープ軸方向における、有効領域Ｒ（ｔ）の左端の位置から、有効領域Ｒ（ｔ−１）の右端の位置までの範囲では、有効領域Ｒ（ｔ−１）と有効領域Ｒ（ｔ）の同じ位置の画素の画素値が重み付き加算される。
【０１２２】
同様に、有効領域Ｒ（ｔ）と有効領域Ｒ（ｔ＋１）とは、接続ラインの位置Ｓ（ｔ，ｔ＋１）近傍において互いに重なっており、有効領域Ｒ（ｔ）と有効領域Ｒ（ｔ＋１）の接続時においても、それらの重なる部分では、画素値の重み付き加算が行われる。
【０１２３】
有効領域の重み付き加算では、図中、下側に示すように、スイープ軸方向の各位置によって重み付き加算の重みが変化する。図１１の下側において、折れ線ＯＭは、撮像画像Ｉ（ｔ−１）（有効領域Ｒ（ｔ−１））の画素に乗算される重みの大きさを示している。
【０１２４】
すなわち、有効領域Ｒ（ｔ−１）における、図中、左端から、有効領域Ｒ（ｔ）の左端の位置までの重みの大きさは「１」とされている。これは、有効領域Ｒ（ｔ−１）における、有効領域Ｒ（ｔ−１）の左端から、有効領域Ｒ（ｔ）の左端の位置までの領域は、有効領域Ｒ（ｔ−１）がそのままパノラマ画像とされるからである。
【０１２５】
また、有効領域Ｒ（ｔ−１）における、有効領域Ｒ（ｔ）の左端から、有効領域Ｒ（ｔ−１）の右端の位置までの有効領域Ｒ（ｔ−１）の重みの大きさは、その位置が図中、右方向に行くにしたがって小さくなり、有効領域Ｒ（ｔ−１）の右端の位置では、重みの大きさは「０」となっている。
【０１２６】
有効領域Ｒ（ｔ−１）と有効領域Ｒ（ｔ）が重なる部分では、位置Ｓ（ｔ−１，ｔ）から、有効領域Ｒ（ｔ）の左端により近くなるにしたがって、有効領域Ｒ（ｔ−１）のパノラマ画像の生成に対する寄与率がより高くなる。逆に、位置Ｓ（ｔ−１，ｔ）から、有効領域Ｒ（ｔ−１）の右端により近くなるにしたがって、有効領域Ｒ（ｔ）のパノラマ画像の生成に対する寄与率がより高くなる。
【０１２７】
さらに、撮像画像Ｉ（ｔ−１）における、図中、有効領域Ｒ（ｔ−１）の右端よりも図中、右側の位置では、撮像画像は、パノラマ画像の生成には用いられないので、重みの大きさは「０」とされている。
【０１２８】
このように、有効領域の端近傍については、２つの隣接する有効領域を用いてパノラマ画像を生成し、その他の部分では１つの有効領域をそのままパノラマ画像とすることで、撮像画像の重ね合わせによるパノラマ画像のぼけの発生を抑制することができる。
【０１２９】
また、有効領域の端部分を、位置により合成比率を変化させて、つまり重みに傾斜をつけて重み付き加算することで、より高品質なパノラマ画像を得ることができる。すなわち、接続される２つの有効領域の互いに重なる部分において、被写体の位置にずれがあったり、画素の色が異なったりする場合であっても、重み付き加算によりスムージング効果が得られる。これにより、被写体の一部が欠損したり、パノラマ画像に色のむらが生じたりすることを抑制することができ、より自然なパノラマ画像を得ることができる。
【０１３０】
パノラマ合成部６８は、このようにして、パノラマ座標系上の互いに隣接する撮像画像の有効領域を接続し、１つのパノラマ画像を生成する。なお、トリミングが行われるようにし、接続された有効領域からなる１つの画像の一部の領域がパノラマ画像とされてもよい。
【０１３１】
例えば、ユーザが撮像装置１１を手で持って、撮像装置１１をスイープさせながら撮像画像を撮像させると、図１２の上側に示すように、連続して撮像された撮像画像Ｉ０乃至撮像画像Ｉ６は、パノラマ座標系上において図中、上下方向にばらつくことがある。なお、図１２において、図中、横方向はスイープ軸方向を示しており、縦方向は、パノラマ座標系においてスイープ軸と垂直な軸の方向を示している。
【０１３２】
図１２の例では、スイープ軸は、各撮像画像の長手方向と平行となっている。また、図１２では、撮像画像Ｉ０乃至撮像画像Ｉ６の図中、上下方向の位置、つまりスイープ軸と垂直な方向の位置が、撮像画像ごとに異なっている。
【０１３３】
そのため、各撮像画像の有効領域を接続して得られる１つの画像は、矩形状とはならなくなる。そこで、パノラマ合成部６８は、図１２中、下側に示すように、撮像画像Ｉ０乃至撮像画像Ｉ６の有効領域を接続して得られる画像全体の領域に内接する、最も大きい矩形領域Ｐ１１を切り出して、パノラマ画像とする。このとき、矩形領域Ｐ１１の長辺は、スイープ軸と平行になるようにされる。このように、トリミングを行うことにより、矩形状のパノラマ画像を得ることができる。
【０１３４】
なお、図１２の例の場合、撮像画像の各領域の被写体情報のスイープ軸への射影方向は、図中、上側の点線で示されるようにスイープ軸と垂直であり、かつ撮像画像の短手方向と平行な方向となる。したがって、接続ラインも撮像画像の短手方向と平行な方向の直線となる。
【０１３５】
また、ユーザが撮像装置１１を手で持って、撮像装置１１をスイープさせる場合に、撮像装置１１のスイープ方向が、撮像空間の鉛直方向に対して斜めの方向となってしまうこともある。そのような場合、例えば、図１３の上側に示すように、スイープ軸の方向が、撮像画像の長手方向に対して斜めの方向とされるようにしてもよい。
【０１３６】
図１３において、スイープ軸の方向は、右斜め上に向かう方向とされており、図中、スイープ軸と垂直な方向は、パノラマ座標系においてスイープ軸と垂直な軸の方向を示している。図１３の例では、連続して撮像された撮像画像Ｉ０乃至撮像画像Ｉ４が、図中、右斜め上の方向に並んでおり、これらの撮像画像が並ぶ方向と平行な方向がスイープ軸の方向とされている。この場合、スイープ軸は、各撮像画像の長手方向と平行となっていない。
【０１３７】
このような場合、パノラマ合成部６８は、図１３中、下側に示すように、撮像画像Ｉ０乃至撮像画像Ｉ４の有効領域を接続して得られる画像全体の領域に内接する、最も大きい矩形領域Ｐ１２を切り出して、パノラマ画像とする。このとき、矩形領域Ｐ１２の長辺は、スイープ軸と平行になるようにされる。
【０１３８】
図１３の例では、スイープ軸が斜め方向に設定されているため、スイープ軸を図中、横方向とする場合と比べて、パノラマ画像とする矩形領域をより大きくすることができる。
【０１３９】
なお、図１３の例の場合、撮像画像の各領域の被写体情報のスイープ軸への射影方向は、図中、上側の点線で示されるようにスイープ軸と垂直であり、かつ撮像画像の短手方向に対して斜めの方向となる。したがって、接続ラインも撮像画像の短手方向に対して斜めの直線となる。
【０１４０】
また、スイープ軸の方向は、予め定められていると説明したが、ユーザが操作入力部３３を操作することにより、撮像画像の撮像前または後に、複数の方向のなかから、スイープ軸の方向を選択できるようにしてもよい。
【０１４１】
このようにしてパノラマ画像が生成されると、パノラマ合成部６８は、生成したパノラマ画像を出力し、パノラマ画像の生成処理は終了する。
【０１４２】
例えば、パノラマ合成部６８から出力されたパノラマ画像は、符号化／復号器２７で符号化されてメモリ２８に記録されたり、Ｄ／Ａ変換回路２９およびビデオエンコーダ３０を介して表示部３１に供給されて表示されたりする。
【０１４３】
以上のように、撮像装置１１は、撮像画像から、動被写体の動きに関する情報である被写体情報を算出し、被写体情報をスイープ軸に射影して接続ラインを定める。そして、撮像装置１１は定めた接続ラインで撮像画像を接続し、パノラマ画像を生成する。
【０１４４】
撮像装置１１では、被写体情報をスイープ軸に射影して接続ラインを定めるようにしたので、より低い計算コストで、より高品質なパノラマ画像を得ることができる。
【０１４５】
すなわち、従来の技術では、図１を参照して説明したように、２次元探索により接続ライン（つなぎ目ＳＬ）を定めれば、動被写体がぼけてしまったり、動被写体が分断されてしまったりするという問題を解決し、より高品質なパノラマ画像を得ることができる。しかしながら２次元探索では、計算コストが高く、２次元探索のために必要なメモリの記録容量も多く必要であった。
【０１４６】
これに対して、撮像装置１１では、各領域の被写体情報からなる２次元の情報をスイープ軸という１次元の軸に射影するため、１次元探索により接続ラインを定めることができる。これにより、動被写体のぼけや分断を防止し、より低い計算コストで、より高品質なパノラマ画像を得られるだけでなく、メモリの記録容量も削減することができる。
【０１４７】
［被写体情報の他の例の説明］
なお、以上においては、被写体情報としてのコスト値は、撮像画像全体の動きベクトルと、ブロックの動きベクトルとの差分の絶対値とされると説明したが、被写体情報は、撮像画像上の被写体に関する情報であれば、どのようなものであってもよい。
【０１４８】
例えば、図１４に示すように、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）との重なる部分の領域である重複領域ＤＲ内の画素について、撮像画像Ｉｔの画素の画素値と、その画素と同じ位置にある撮像画像Ｉ（ｔ＋１）の画素の画素値との差分の絶対値とされてもよい。なお、図１４において、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また図１４では、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）とが動き補償パラメータに基づいて、並べられている。
【０１４９】
この場合、動被写体検出部６４は、撮像画像Ｉｔのｘｙ座標系上の位置（ｘ，ｙ）の画素のコスト値ｃｏｓｔ（ｘ，ｙ）を、次式（２）により算出する。なお、図１４において、図中、横方向はｘ方向とされ、縦方向はｙ方向とされている。また、重複領域ＤＲの図中、左上の頂点がｘｙ座標系の基準位置とされており、ｘ方向はスイープ軸の方向と同じ方向とされている。
【０１５０】
コスト値ｃｏｓｔ（ｘ，ｙ）＝｜Ｉｔ（ｘ，ｙ）−Ｉｔ＋１（ｘ，ｙ）｜    ・・・（２）
【０１５１】
ここで、式（２）において、Ｉｔ（ｘ，ｙ）およびＩｔ＋１（ｘ，ｙ）は、座標が（ｘ，ｙ）である撮像画像Ｉｔおよび撮像画像Ｉ（ｔ＋１）の画素の画素値を示している。
【０１５２】
このようなコスト値を被写体情報とする場合には、撮像画像上の画素値の差分絶対値が小さい領域では、接続による被写体の位置ずれは小さいと判断されることになる。画素値の差分絶対値をコスト値とすれば、動被写体の動きによる位置ずれだけでなく、視差や撮像装置１１の動きに対する動き補償の精度不足による被写体の位置のずれなども、コスト値に反映することができるというメリットがある。
【０１５３】
さらに、図１５に示すように、人の顔の検出を利用して、人の顔らしさを指標とするコスト値を被写体情報として求めるようにしてもよい。なお、図１５では、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）とが動き補償パラメータに基づいて、並べられている。
【０１５４】
動被写体検出部６４は、撮像画像Ｉｔにおける、撮像画像Ｉ（ｔ＋１）と重なる重複領域を対象として、人の顔を検出する。その結果、撮像画像Ｉｔ上の人の顔が含まれると推定される所定の大きさの領域（以下、顔領域と称する）と、その顔領域に対する人の顔の領域らしさの度合いを示す得点とが得られる。この得点は、顔領域が人の顔らしいほど高くなる。
【０１５５】
そして、動被写体検出部６４は、撮像画像Ｉｔの重複領域の位置ごとにコスト値を求める。すなわち、その位置が顔領域に含まれていれば、顔領域の得点の値がその位置のコスト値とされ、その位置が顔領域に含まれていなければ、その位置のコスト値は０とされる。
【０１５６】
同様の処理を行って、動被写体検出部６４は、撮像画像Ｉ（ｔ＋１）における撮像画像Ｉｔと重なる領域を対象として人の顔を検出し、撮像画像Ｉ（ｔ＋１）の各位置におけるコスト値を求める。さらに動被写体検出部６４は、撮像画像Ｉｔの重複領域の各位置について求めたコスト値に、それらの位置と重なる撮像画像Ｉ（ｔ＋１）の位置のコスト値を加算して得られた値を、撮像画像Ｉｔの重複領域の各位置の最終的なコスト値とする。
【０１５７】
図１５の例では、重複領域のほぼ中央に人の顔が含まれているので、重複領域の中央付近の位置のコスト値が高くなるはずである。撮像画像には、動被写体として人が含まれることが多いが、人の顔を指標とするコスト値を被写体情報とする方法は、撮像画像の接続時において、人の手足や胴体よりも顔の部分が接続ラインにより分断されることを回避したい場合に有効である。
【０１５８】
さらに、図１６に示すように、人検出を利用して、人らしさを指標とするコスト値を被写体情報として求めるようにしてもよい。なお、図１６では、撮像画像Ｉｔと撮像画像Ｉ（ｔ＋１）とが動き補償パラメータに基づいて、並べられている。
【０１５９】
動被写体検出部６４は、撮像画像Ｉｔにおける、撮像画像Ｉ（ｔ＋１）と重なる重複領域を対象として、人を検出する。その結果、撮像画像Ｉｔ上の人が含まれると推定される所定の大きさの領域（以下、人領域と称する）と、その人領域に対する人の領域らしさの度合いを示す得点とが得られる。この得点は、人領域が人らしいほど高くなる。
【０１６０】
そして、動被写体検出部６４は、撮像画像Ｉｔの重複領域の位置ごとにコスト値を求める。すなわち、その位置が人領域に含まれていれば、人領域の得点の値がその位置のコスト値とされ、その位置が人領域に含まれていなければ、その位置のコスト値は０とされる。
【０１６１】
同様の処理を行って、動被写体検出部６４は、撮像画像Ｉ（ｔ＋１）における撮像画像Ｉｔと重なる領域を対象として人を検出し、撮像画像Ｉ（ｔ＋１）の各位置におけるコスト値を求める。さらに動被写体検出部６４は、撮像画像Ｉｔの重複領域の各位置について求めたコスト値に、それらの位置と重なる撮像画像Ｉ（ｔ＋１）の位置のコスト値を加算して得られた値を、撮像画像Ｉｔの重複領域の各位置の最終的なコスト値とする。
【０１６２】
図１６の例では、重複領域の中央から右側および左側に、それぞれ人が含まれているので、重複領域の中央からやや右側および左側の位置のコスト値が高くなるはずである。このように、人全体を指標とするコスト値を被写体情報とする方法は、撮像画像の接続時において、人全体が接続ラインにより分断されることを回避したい場合に有効である。
【０１６３】
また、図７および図１４乃至図１６のそれぞれを参照して説明したコスト値のいくつかを組み合わせて、被写体情報とするようにしてもよい。
【０１６４】
例えば、図７を参照して説明したコスト値と、図１５を参照して説明したコスト値との和を、撮像画像の各位置のコスト値（被写体情報）としてもよい。この場合、人の顔の領域に対して、より高いコスト値を設定することができる。
【０１６５】
また、例えば、図７を参照して説明したコスト値と、図１６を参照して説明したコスト値との和を被写体情報としてもよく、図７、図１５、および図１６を参照して説明したコスト値のそれぞれの和を被写体情報としてもよい。これらの場合には、撮像画像上の位置ごとにコスト値の和が求められ、求められた和が各位置の被写体情報とされる。
【０１６６】
［接続ラインの決定順の他の例の説明］
さらに、以上においては、フレーム番号の小さい順に、撮像画像の接続ラインを定めていくと説明したが、接続ラインを定める順番は、どのような順番であってもよい。すなわち、所定のフレームを基準として、そのフレームの撮像画像から順番に接続ラインを定めていってもよい。
【０１６７】
例えば、図１７中、上側の矢印Ａ１１に示すように、撮像画像の撮像対象となる撮像空間上の領域において、動被写体としての人が図中、左から右方向に移動していたとする。このような状態において、図中、左から右方向をスイープ方向として撮像装置１１が複数の撮像画像を撮像した結果、図中、下側に示すように撮像画像Ｉ０乃至撮像画像Ｉ６の７つの撮像画像が得られたとする。
【０１６８】
この例では、撮像画像Ｉ２乃至撮像画像Ｉ４に、動被写体として同じ人が含まれている。撮像画像の撮像時においては、動被写体としての人は、左から右方向に移動するので、最初に人が含まれるフレーム２の撮像画像Ｉ２では、図中、左端に人が表示されている。また、次に人が含まれる撮像画像Ｉ３では、図中、中央に人が表示されており、さらにその次に人が含まれる撮像画像Ｉ４では、図中、右側に人が表示されている。
【０１６９】
このような場合、撮像画像Ｉ０から撮像画像Ｉ６まで順番に接続ラインを定めていってもよい。しかしながら、接続ラインは、動被写体の領域を回避するように定められるため、所定の接続ラインにおける動被写体の領域の回避のしわ寄せが、次の接続ラインの決定に影響を与える場合がある。すなわち、動被写体が含まれるフレームが連続しているようなシーンでは、接続ラインを決定する順番によって、どのようなパノラマ画像が得られるかが異なる場合がある。
【０１７０】
そこで、接続ライン算出部６６において、どのフレームの撮像画像を優先的に扱うかを決定し、決定されたフレームを基準フレームとして、基準フレームの撮像画像から、撮像画像が撮像された順番であるフレーム番号の昇順および降順のそれぞれの方向に、順次接続ラインが決定されてもよい。
【０１７１】
そのような場合、基準フレームを決定する指標として、例えば動被写体の中央度が考えられる。すなわち、動被写体検出部６４は、フレーム０乃至フレーム６の撮像画像について、連続する２つのフレームの撮像画像を用いて、各撮像画像から動被写体を検出する。動被写体の検出は、例えば図７を参照して説明したように、撮像画像の重複領域をブロックに分割し、ブロックごとの動きベクトルと撮像画像全体の動きベクトルとの差分を求めることで行われる。これにより、撮像画像の各領域における動被写体の有無が検出される。例えば、求めた差分の絶対値が所定の閾値以上の領域が動被写体の領域とされる。
【０１７２】
次に、動被写体検出部６４は、動被写体の検出結果に基づいて、撮像画像ごとに、動被写体の中央度のスコアを求める。例えば、中央度のスコアは、撮像画像における動被写体の位置により定められ、動被写体の位置が撮像画像の中央に近いほど、より中央度のスコアが高くなるようにされる。なお、１つの撮像画像に複数の動被写体が含まれる場合には、それらの動被写体ごとに求められたスコアの総和が最終的な中央度のスコアとされる。
【０１７３】
したがって、より中央に近い位置に動被写体が含まれる撮像画像ほど、中央度のスコアは高くなることになる。また、より多くの動被写体が含まれる撮像画像ほど、中央度のスコアは高くなる。中央度のスコアによれば、複数の撮像画像のうち、動被写体が最も画像上の中央に近い位置にある撮像画像を特定することができる。
【０１７４】
図１７の例では、撮像画像Ｉ３の中央度のスコアが最も高くなる。このようにして求められたフレームごとの中央度のスコアは、被写体情報とともに動被写体検出部６４から被写体情報射影部６５を介して、接続ライン算出部６６に供給される。
【０１７５】
そして、接続ライン算出部６６では、撮像画像の各フレームのうち、最も中央度のスコアの高いフレームを基準フレームとして、基準フレームの撮像画像から順番に、接続ラインが決定される。
【０１７６】
したがって図１７の例では、フレーム３（撮像画像Ｉ３）が基準とされ、まず、撮像画像Ｉ３と撮像画像Ｉ４との接続ラインが定められ、その後、昇順に撮像画像Ｉ４と撮像画像Ｉ５の接続ライン、撮像画像Ｉ５と撮像画像Ｉ６の接続ラインが順番に定められる。さらに、その後、基準フレームから降順に、撮像画像Ｉ３と撮像画像Ｉ２の接続ライン、撮像画像Ｉ２と撮像画像Ｉ１の接続ライン、および撮像画像Ｉ１と撮像画像Ｉ０の接続ラインが順番に定められる。
【０１７７】
すると、その結果、図１８の図中、上側に示すように、動被写体としての人が中央に表示されるパノラマ画像が得られることになる。
【０１７８】
撮像画像の撮像時においては、撮像対象となる全領域の中央付近に動被写体が位置するように、撮像装置１１がスイープされながら複数の撮像画像が撮像されることが多い。そのため、動被写体が含まれる連続するフレームのうち、それらのフレームの真ん中付近のフレームにおいて、撮像対象となる全領域の中央付近に動被写体が存在し、そのフレームでは撮像画像の中央に動被写体が位置しているはずである。
【０１７９】
したがって、動被写体が含まれるフレームのうち、撮像画像の中央に動被写体が位置しているフレームを基準フレームとして、基準フレームから順番に接続ラインの位置を決定していけば、図１８の図中、上側に示すようにほぼ中央に動被写体が表示されるパノラマ画像が得られることになる。
【０１８０】
一般に、画像中の動被写体は、撮像画像を撮像するユーザが注目する被写体であり、そのような動被写体がほぼ中央に位置するような画像が、見映えのよい画像とされる。したがって、動被写体の中央度を指標として、ほぼ中央に動被写体が位置するようなパノラマ画像が生成されるように、各撮像画像の接続ラインを定めれば、より見映えのよいパノラマ画像を得ることができる。
【０１８１】
なお、図１７中、左端付近に動被写体がある撮像画像Ｉ２のフレームを基準フレームとして、撮像画像Ｉ２から順番に各撮像画像の接続ラインを定めると、図１８中、中央に示されるように、中央からやや左側に動被写体としての人が表示されるパノラマ画像が得られる。同様に、図１７中、右端付近に動被写体がある撮像画像Ｉ４のフレームを基準フレームとして、撮像画像Ｉ４から順番に各撮像画像の接続ラインを定めると、図１８中、下側に示されるように、中央からやや右側に動被写体としての人が表示されるパノラマ画像が得られる。
【０１８２】
このように、撮像画像における動被写体の位置などを指標として、特定の基準フレームの撮像画像から順番に、接続ラインの位置を定めれば、より見映えのよいパノラマ画像を得ることができるようになる。
【０１８３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８４】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１８６】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１８７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８９】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９２】
１１  撮像装置，  ２３  撮像素子，  ２６  画像処理回路，  ６２  円筒射影部，  ６３  動き補償パラメータ算出部，  ６４  動被写体検出部，  ６５  被写体情報射影部，  ６６  接続ライン算出部，  ６８  パノラマ合成部
【図１】
2011097246.tif 000003
【図２】
2011097246.tif 000004
【図３】
2011097246.tif 000005
【図４】
2011097246.tif 000006
【図５】
2011097246.tif 000007
【図６】
2011097246.tif 000008
【図７】
2011097246.tif 000009
【図８】
2011097246.tif 000010
【図９】
2011097246.tif 000011
【図１０】
2011097246.tif 000012
【図１１】
2011097246.tif 000013
【図１２】
2011097246.tif 000014
【図１３】
2011097246.tif 000015
【図１４】
2011097246.tif 000016
【図１５】
2011097246.tif 000017
【図１６】
2011097246.tif 000018
【図１７】
2011097246.tif 000019
【図１８】
2011097246.tif 000020
【図１９】
2011097246.tif 000021