"携帯機器に内蔵されたカメラを用いて撮影された、パン角または仰角の異なる複数の分割画像の重複領域において、特徴点を抽出する特徴点抽出部と、カメラ位置のずれた2枚の分割画像において、対応づけられる特徴点の3次元座標値とカメラ位置の3次元座標値を同時に推定する自己位置推定部と、推定されたカメラ位置の3次元座標値をもとに、分割画像の特徴点の3次元座標値を調整することによって分割画像を補正した上で、パン角または仰角の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成部とを含むことを特徴とする画像生成装置。前記自己位置推定部により推定されたカメラ位置の3次元座標値をもとに、カメラ位置の移動軌跡を表示する撮影ガイド部をさらに含むことを特徴とする請求項1に記載の画像生成装置。前記自己位置推定部により推定されたカメラ位置の3次元座標値をもとに、カメラ位置のずれが許容範囲内であるかどうかを判定するカメラ位置ずれ判定部をさらに含み、前記撮影ガイド部は、カメラ位置のずれが許容範囲を超えるとき、カメラ位置を修正するようにユーザに指示することを特徴とする請求項2に記載の画像生成装置。前記カメラ位置ずれ判定部は、カメラ位置のずれが許容範囲内であるかどうかを判定するための閾値を設定し、前記自己位置推定部により推定された特徴点の3次元座標値とカメラ位置の3次元座標値から求められる被写体までの距離が長くなるほど、前記閾値を大きな値に設定することを特徴とする請求項3に記載の画像生成装置。前記カメラ位置ずれ判定部は、前記閾値として、第1閾値と前記第1閾値よりも大きい第2閾値とを設定し、前記撮影ガイド部は、aカメラ位置のずれが第1閾値未満であると判定された場合、カメラ位置の修正をユーザに指示せず、そのカメラ位置での分割画像の撮影を許容し、bカメラ位置のずれが第1閾値以上であり、第2閾値未満であると判定された場合、カメラ位置の修正をユーザに指示するが、そのカメラ位置での分割画像の撮影を許容し、cカメラ位置のずれが第2閾値以上である場合、カメラ位置の修正をユーザに指示し、カメラ位置が少なくとも第2閾値未満になるまではそのカメラ位置での分割画像の撮影を許容しないことを特徴とする請求項4に記載の画像生成装置。前記第1閾値は、分割画像を補正しなくても分割画像を合成して合成画像の生成が可能であるカメラ位置の許容ずれ量の上限であり、前記第2閾値は、分割画像を補正すれば、補正後の分割画像を合成して合成画像の生成が可能であるカメラ位置の許容ずれ量の上限であり、前記合成画像生成部は、前記カメラ位置ずれ判定部により、カメラ位置のずれが第1閾値以上であり、第2閾値未満であると判定された場合、分割画像を補正した上で合成することにより、合成画像を生成することを特徴とする請求項5に記載の画像生成装置。携帯機器に内蔵されたカメラを用いて撮影された、パン角または仰角の異なる複数の分割画像の重複領域において、特徴点を抽出する特徴点抽出ステップと、カメラ位置のずれた2枚の分割画像において、対応づけられる特徴点の3次元座標値とカメラ位置の3次元座標値を同時に推定する自己位置推定ステップと、推定されたカメラ位置の3次元座標値をもとに、分割画像の特徴点の3次元座標値を調整することによって分割画像を補正した上で、パン角または仰角の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成ステップとを含むことを特徴とする画像生成方法。携帯機器に内蔵されたカメラを用いて撮影された、パン角または仰角の異なる複数の分割画像の重複領域において、特徴点を抽出する特徴点抽出機能と、カメラ位置のずれた2枚の分割画像において、対応づけられる特徴点の3次元座標値とカメラ位置の3次元座標値を同時に推定する自己位置推定機能と、推定されたカメラ位置の3次元座標値をもとに、分割画像の特徴点の3次元座標値を調整することによって分割画像を補正した上で、パン角または仰角の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成機能とをコンピュータに実現させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。しかしながら、デジタルカメラやカメラ付き携帯機器などでパノラマ撮影を行うと、手振れや回転軸のずれなどにより、正確なパノラマ画像を撮影できなかったり、画像マッチングがうまく行かず、合成されたパノラマ画像に不具合が生じることがある。本発明はこうした課題に鑑みてなされたものであり、その目的は、合成画像を正確に生成ことのできる技術を提供することにある。上記課題を解決するために、本発明のある態様の画像生成装置は、携帯機器に内蔵されたカメラを用いて撮影された、パン角または仰角の異なる複数の分割画像の重複領域において、特徴点を抽出する特徴点抽出部と、カメラ位置のずれた2枚の分割画像において、対応づけられる特徴点の3次元座標値とカメラ位置の3次元座標値を同時に推定する自己位置推定部と、推定されたカメラ位置の3次元座標値をもとに、分割画像の特徴点の3次元座標値を調整することによって分割画像を補正した上で、パン角または仰角の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成部とを含む。本発明の別の態様は、画像生成方法である。この方法は、携帯機器に内蔵されたカメラを用いて撮影された、パン角または仰角の異なる複数の分割画像の重複領域において、特徴点を抽出する特徴点抽出ステップと、カメラ位置のずれた2枚の分割画像において、対応づけられる特徴点の3次元座標値とカメラ位置の3次元座標値を同時に推定する自己位置推定ステップと、推定されたカメラ位置の3次元座標値をもとに、分割画像の特徴点の3次元座標値を調整することによって分割画像を補正した上で、パン角または仰角の異なる複数の分割画像を合成することにより、合成画像を生成する合成画像生成ステップとを含む。なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。本発明によれば、合成画像を正確に生成することができる。実施の形態1図1aおよび図1bは、パノラマ撮影に用いられる携帯端末200の外観図である。携帯端末200は、カメラ210、212とディスプレイ240を有し、各種のアプリケーションを実行することができる。携帯端末200は、通信機能を有してもよい。図1aは、携帯端末200の前面を示す。携帯端末200の前面には前面フロントカメラ210とディスプレイ240が設けられている。ユーザは、たとえば前面カメラ210を用いて自分の顔を撮影し、ディスプレイ240に表示したり、通信相手に動画または静止画として送信することができる。ディスプレイ240はタッチパネルを備えてもよい。ユーザはディスプレイ240の画面を見ながら、タッチパネルに指で直接触れることで画面に対する操作を入力することができる。図1bは、携帯端末200の背面を示す。携帯端末200の背面には背面リアカメラ212が設けられている。ユーザは、たとえば背面カメラ212を用いて景色や友人などを撮影し、ディスプレイ240に表示したり、通信相手に動画または静止画として送信することができる。携帯端末200の背面にもタッチパネルが設けられてもよい。これにより、ユーザは、携帯端末200を保持して前面のディスプレイ240を見ながら、背面のタッチパネルに指で触れることで所定の操作を入力することもできる。なお、携帯端末200の前面カメラ210はオプションであり、背面カメラ212だけが設けられてもよい。携帯端末200は、3軸ジャイロ角速度センサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つを有し、携帯端末200の傾きを3軸で検出して、姿勢情報を取得することができる。また、3軸地磁気センサにより、地磁気ベクトルを3軸で検出して、方位情報を取得することができる。さらに、携帯端末200は、オプションとしてGPSGlobalPositioningSystem受信器を有してもよく、GPSから位置情報を取得することができる。また、携帯端末200は、無線通信の送受信機を有し、無線基地局から位置情報を取得してもよい。ここでは、パノラマ撮影に用いられる携帯機器の一例として、携帯端末200を説明するが、パノラマ撮影に用いられる携帯機器は、3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つを備えた、静止画または動画を撮影可能なデジタルカメラであってもよい。あるいは、パノラマ撮影に用いられる携帯機器は、ゲーム機や携帯電話であってもよい。図2は、携帯端末200の傾きを説明する図である。携帯端末200のディスプレイ面をXZ平面に置き、ディスプレイ面に垂直な方向をY軸としたとき、X軸周りの回転がチルト、Y軸周りの回転がロール、Z軸周りの回転がパンである。携帯端末200には3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの少なくとも一つが搭載されており、携帯端末200のチルト、ロール、パンを検出して、携帯端末200の傾きを3軸で求めることができる。これにより、ユーザが携帯端末200を持っているときの携帯端末200の姿勢情報を取得することができる。また、ジャイロセンサおよび/または加速度センサにより、携帯端末200の移動方向や移動速度を検出することもできる。図3aおよび図3bは、携帯端末200の方位を説明する図である。携帯端末200には3軸地磁気センサが搭載されており、図3aに示すように、3軸成分をもつ地磁気ベクトルFを検出することができる。携帯端末200には既に述べた通り、3軸ジャイロセンサおよび/または3軸加速度センサが搭載されているから、重力ベクトルVを検出することもできる。図3bは、地磁気ベクトルFと重力ベクトルVから方位ベクトルHを求める方法を説明する図である。重力ベクトルVを垂線とする水平面260に地磁気ベクトルFを射影すると、方位ベクトルHが得られる。方位ベクトルHは地磁気の水平成分であり、絶対方位を与える。このように、携帯端末200がどのような傾きにあっても、3軸ジャイロセンサおよび/または3軸加速度センサにより検出される重力ベクトルVと、3軸地磁気センサにより検出される地磁気ベクトルFとを用いて、東西南北の絶対方位を検出することができる。さらに、携帯端末200がGPSセンサを搭載する場合は、緯度経度といった位置情報を取得することもできる。携帯端末200の姿勢情報と方位情報を用いれば、携帯端末200の傾きを変えながら携帯端末200のカメラで撮影した画像をステッチ縫い合わせして全天球パノラマ画像を生成することができる。ステッチ方法は、パンチルトカメラによる全天球パノラマ画像の生成方法と同様である。3軸ジャイロセンサおよび/または3軸加速度センサによる姿勢情報を用いれば、カメラのパン角、チルト角を得ることができる。さらに、3軸地磁気センサによる方位情報を用いれば、カメラのパン角を絶対的な方位角に対応づけることができる。これにより、パンチルトカメラのような高価な機器がなくても、携帯端末200のカメラによってパノラマ撮影が可能になる。図4a~dは、携帯端末200の背面カメラ212を用いてパノラマ画像を撮影する場合の撮影方向を説明する図である。携帯端末200の前面カメラ210を用いてパノラマ画像を撮影することもでき、場合によっては、前面カメラ210と背面カメラ212の両方を用いてパノラマ画像を撮影することもできるが、ここでは説明を簡単にするため、背面カメラ212を用いてパノラマ画像を撮影する場合を説明する。図4dに示すように、ユーザは携帯端末200を自由に傾けて背面カメラ212で撮影する。携帯端末200をZ軸周りに回転させるとカメラのパン角が変わり、X軸周りに回転させるとカメラのチルト角が変わり、Y軸周りに回転させるとカメラのロール角が変わる。ここでZ軸は鉛直軸重力方向軸である。図4aは、携帯端末200の上面図であり、携帯端末200の背面カメラ212の初期方向Y軸方向をパン角0°とし、Z軸の周りに任意に一例として、-180°~180°の範囲で背面カメラ212のパン角を変えることができる。図4bは、携帯端末200の正面図であり、ユーザが携帯端末200の横長側面を水平に保持した状態をロール角0°とし、Y軸の周りに任意に一例として、-180°~180°の範囲で背面カメラ212のロール角を変えることができる。図4cは、携帯端末200の側面図であり、携帯端末200の背面を地面と垂直に保持した状態をチルト角0°とし、X軸の周りに任意に一例として、-90°~90°の範囲で背面カメラ212のチルト角を変えることができる。図4dの携帯端末200の背面カメラ212により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、携帯端末200の背面カメラ212が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、携帯端末200に搭載された3軸ジャイロセンサおよび/または3軸加速度センサと、3軸地磁気センサとが用いられる。図5aは携帯端末200の背面カメラ212の方位角θ、図5bは携帯端末200の背面カメラ212の仰角φを説明する図である。図5aは携帯端末200の上面図であり、背面カメラ212は撮影の初期位置において、真北から東へ方位角θだけずれた方向220を向いており、この方向がパン角0°に相当する。すなわちパン角の基準方向220の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向220に対して一例として-180°~180°の範囲でパン角を変えながら、被写体をパノラマ撮影する。図5bは携帯端末200の側面図であり、仰角φは、X軸周りに背面カメラ212を回転させた場合に、チルト0°の方向、すなわちY軸方向に対して上方向を正と定義する角度である。通常、背面カメラ212を水平ポジションに設定して撮影するので仰角φ=0°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。図6a~cは、携帯端末200の背面カメラ212の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。図6aの上面図に示すように、初期位置において背面カメラ212は方位角θの方向220を向いており、図6bの側面図に示すように、背面カメラ212の仰角φ=0°である。仰角φ=0°に保ちながら、基準方向220に対して背面カメラ212のパン角を-180°から180°の範囲で変化させながら、仰角φ=0°における全方位のパノラマ画像を撮影する。図6cは、このようにして撮影されたパノラマ画像300を示す。パノラマ画像300の中心はパン角0°であり、パノラマ画像300の左半分はパン角を0°から-180°まで変えて撮影された画像であり、右半分はパン角を0°から180°まで変えて撮影された画像である。パノラマ画像300のパン角0°の中心位置は、真北から方位角θだけ東にずれているから、北N、南S、東E、西Wの位置は点線で示す箇所になる。パノラマ画像300は、撮影方位に関する情報として、パン角0°の中心位置の方位角θをもってさえいれば、北N、南S、東E、西Wのピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北N、南S、東E、西Wのピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。全天球のパノラマ画像を得るためには、背面カメラ212の仰角を変えて撮影する必要がある。たとえば、背面カメラ212の画角が60°であるとすると、原理的には背面カメラ212を上下に±60°チルトさせた上で、パン角を-180°~180°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。図7a~cは、背面カメラ212の仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。図7aの上面図に示すように、初期位置において背面カメラ212は方位角θの方向220を向いており、図7bの側面図に示すように、背面カメラ212の仰角φ=60°である。仰角φ=60°に保ちながら、基準方向220に対して背面カメラ212のパン角を-180°から180°の範囲で変化させながら、図7cに示すような、仰角φ=60°におけるパノラマ画像302を撮影する。同様にして、背面カメラ212の仰角をφ=-60°に保ちながら、パン角を-180°から180°の範囲で変化させながら、仰角φ=-60°におけるパノラマ画像を撮影する。仰角φ=0°、60°、-60°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてGPSにより測定された緯度経度情報を付与してもよい。パノラマ画像に付与すべき付加情報は、一例として、ExifExchangeableImageFileFormatと呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度経度、高度、方位角などをExif形式のデータとして記録することができる。なお、仰角は現時点でのExif形式では定義されていないため、拡張データとして記録している。図8Aおよび図8Bは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。図8Aの例では、背面カメラ212をチルトまたはパンさせながら撮影された7枚の画像341~347を円筒にマッピングした後、つなぎ合わせて円筒状の画像340を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。図8Bに示すように、背面カメラ212をパンまたはチルトさせて撮影することで、図8Aで示した円筒状の画像がパンまたはチルト方向に複数得られる。これらの円筒状の画像340a~340fを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像360が最終的に得られる。図9は、パノラマ画像生成装置100の機能構成図である。パノラマ画像生成装置100機能構成の一部または全部は、携帯端末200のハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、ネットワークを介したサーバ-クライアントシステムとして実装されてもよい。3軸ジャイロセンサ62は、携帯端末200のX軸、Y軸、Z軸の3方向の角速度を検出し、姿勢検出部60に与える。3軸加速度センサ64は、携帯端末200のX軸、Y軸、Z軸の3方向の加速度を検出し、姿勢検出部60に与える。姿勢検出部60は、3軸ジャイロセンサ62および/または3軸加速度センサ64の検出結果を用いて、携帯端末200の傾きの3軸成分、すなわち、チルト角、ロール角、およびパン角を検出する。姿勢検出部60は、検出された携帯端末200のチルト角、ロール角、およびパン角を姿勢情報としてパン角仰角算出部70に与える。携帯端末200には3軸ジャイロセンサ62と3軸加速度センサ64はいずれか一方だけを搭載してもよいが、両方を搭載すれば、それぞれの短所を違いに補うことで姿勢情報の検出精度を高めることができる。3軸ジャイロセンサ62は、運動中でも計測できるが、ドリフト誤差が溜まっていくという短所がある。3軸加速度センサ64は、静止時には重力加速度から姿勢角を検出できるが、運動中は誤差が生じる。そこで、姿勢検出部60は、たとえば、3軸ジャイロセンサ62と3軸加速度センサ64の出力の重み付き平均を取ることで検出精度を向上させる。重み付け平均を取るとき、運動中は、3軸加速度センサ64の検出成分よりも3軸ジャイロセンサ62の検出成分に対する重みを増やす。一方、ほぼ静止していると見なせるときは3軸ジャイロセンサ62の検出成分よりも3軸加速度センサ64の検出成分に対する重みを増やす。これによって、静止時には3軸ジャイロセンサ62によるヨードリフトが3軸加速度センサ64により出力により補正され、運動中は、3軸加速度センサ64による出力よりも3軸ジャイロセンサ62による出力をより信頼することでより正確な姿勢情報を検出することができる。別の方法として、姿勢検出部60は、3軸地磁気センサ68の検出結果を用いて、携帯端末200の傾きの3軸成分を検出することもできる。3軸地磁気センサ68によって地磁気ベクトルを追尾し、携帯端末200のX軸、Y軸、Z軸の各軸周りの回転を検出すれば、携帯端末200の傾きの3軸成分、すなわち、チルト角、ロール角、およびパン角を検出することができる。携帯端末200に搭載された3軸地磁気センサ68が傾くと、検出される地磁気ベクトルの向きが変化する。観測地点が大きく変化しなければ、地磁気ベクトルは一定方向を指すから、携帯端末200の姿勢の初期位置からの変化を検出することができる。3軸加速度センサ64を併用すれば、鉛直方向を検出することができるから初期姿勢も検知することができる。3軸地磁気センサ68により検出される3次元地磁気ベクトルの単位時間当たりの回転角を測定すれば、角速度が求まるので、3軸地磁気センサ68はジャイロセンサの代わりにもなる。これは磁気ジャイロ機能と呼ばれる。また初期位置からの変化角を求めれば、傾きを検出できるから、3軸地磁気センサ68は3軸姿勢センサとして用いることができる。もっとも、地磁気ベクトルがパン軸またはチルト軸と一致する場合は、その軸周りの回転角は求めることができない。3軸地磁気センサ68に3軸ジャイロセンサ62または3軸加速度センサ64を組み合わせて併用すれば、方位と姿勢の両方を高い精度で測定することができる。以上、述べたように、姿勢検出部60は、3軸ジャイロセンサ62のみ、3軸加速度センサ64のみ、3軸地磁気センサ68のみ、3軸ジャイロセンサ62と3軸加速度センサ64の組み合わせ、3軸地磁気センサ68と3軸ジャイロセンサ62の組み合わせ、3軸地磁気センサ68と3軸加速度センサ64の組み合わせ、あるいは、3軸ジャイロセンサ62と3軸加速度センサ64と3軸地磁気センサ68の組み合わせのいずれによってでも携帯端末200の傾きの3軸成分を求めることができる。3軸地磁気センサ68は、地磁気ベクトルのX軸、Y軸、Z軸方向の成分を検出し、方位検出部66に与える。方位検出部66は、3軸ジャイロセンサ62または3軸加速度センサ64が検出する重力ベクトルと、3軸地磁気センサ68が検出する地磁気ベクトルにもとづいて、地磁気ベクトルの水平成分である方位ベクトルを求め、方位ベクトルの各成分を方位情報としてパン角仰角算出部70に与える。パン角仰角算出部70は、姿勢検出部60から与えられた携帯端末200の姿勢情報にもとづいて、携帯端末200のカメラの撮影方向を示すパン角と仰角とを求め、分割画像生成部20に与える。パン角仰角算出部70は、方位検出部66から方位情報が与えられる場合は、カメラのパン角を絶対方位に対応づけることができる。GPS受信器74はGPSから緯度経度、高度、時刻情報を受信し、位置検出部72に与える。位置検出部72は緯度経度情報を分割画像生成部20に与える。GPS受信器74の搭載はオプションである。撮影部10は、前面カメラ210および/または背面カメラ212を制御して被写体を撮影し、フレームメモリ12に撮影画像を記録する。撮影タイミング判定部14は、撮影部10による適切な撮影タイミングを判定し、撮影部10にシャッターを切るタイミングを指示する。撮影タイミング判定部14は、3軸ジャイロセンサ62および/または3軸加速度センサ64のセンサ出力にもとづいてカメラの動きの有無を判定する。また、撮影タイミング判定部14は、撮影部10により撮影された動画のフレーム間差分を検出し、動いている被写体が存在するかどうかを判定する。撮影タイミング判定部14は、自動撮影モードの場合、カメラの動きがなく、かつ動いている被写体が存在しないと判定されたタイミングで撮影部10に撮影を指示する。撮影タイミング判定部14は、半自動撮影モードの場合、動体検出は省略し、カメラの動きがないと判定されたタイミングで撮影部10に撮影を指示する。撮影タイミング判定部14は、手動撮影モードの場合、撮影部10に撮影タイミングを指示しないでユーザにシャッターを切らせる。分割画像生成部20は、フレームメモリ12に格納された撮影画像に対してパン角仰角算出部70から供給されるカメラのパン角または絶対方位角と仰角を関連づけて分割画像記憶部22に分割画像として格納する。位置検出部72から位置情報が供給される場合は、分割画像生成部20は、さらに位置情報を撮影画像に関連づける。パノラマ画像生成部30は、分割画像記憶部22に格納された複数の分割画像をステッチしてパノラマ画像を合成し、パノラマ画像記憶部32に格納する。表示部40は、パノラマ撮影の際、分割画像記憶部22からパノラマ画像に合成される前の撮影済みの複数の分割画像を読み出して、ディスプレイ240に表示する。これにより、ユーザはパノラマ画像として完成させるためにまだ撮影されていない領域があることをディスプレイ240で確認することがえきる。表示部40は、また、パノラマ画像記憶部32から合成されたパノラマ画像を読み出して、ディスプレイ240に表示する。通信部80は、完成したパノラマ画像を通信相手に送信したり、サーバにアップロードする。未撮影領域判定部24は、分割画像記憶部22に格納された撮影済みの分割画像のパン角仰角の情報にもとづいて、パノラマ画像を完成するにはまだ足りない分割画像の領域を判定する。未撮影領域判定部24は、直前に撮影された分割画像に隣接する未撮影の分割画像の領域を特定する情報をユーザインタフェース部50の撮影ガイド部52に供給する。ユーザインタフェース部50の撮影ガイド部52は、未撮影領域判定部24により指定された未撮影の分割画像の領域を次に撮影するようにユーザに案内するガイドを生成し、表示部40にガイドを表示させる。図10は、パノラマ画像の撮影の手順を説明するフローチャートである。撮影タイミング判定部14は、撮影タイミング判定処理を実行するS10。撮影部10は、撮影タイミング判定部14により指示された撮影タイミングまたはユーザが指示する撮影タイミングで撮影し、撮影された画像をフレームメモリ12に記録するS12。姿勢検出部60は、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得するS14。分割画像生成部20は、携帯端末200の姿勢情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存するS16。携帯端末200の姿勢情報を背面カメラ212のパン角および仰角に変換して撮影画像に関連づけてもよい。いずれの場合でも、複数の分割画像をステッチすればパノラマ画像を合成することができる。携帯端末200の姿勢情報または背面カメラ212のパン角仰角の情報にもとづいて、分割画像をつなぎ合わせればよい。未撮影領域判定部24は、分割画像記憶部22に記憶された撮影済みの複数の分割画像の姿勢情報またはパン角仰角の情報から、最終的なパノラマ画像にするには足りない未撮影の領域があるかどうかを判定するS18。未撮影領域がなければ、撮影を終了するS18のN。未撮影領域がある場合S18のY、撮影ガイド部52は、直近に撮影された分割画像に隣接する未撮影の分割画像を次に撮影するようにユーザを導くために画面に矢印を表示したり、音声ガイドを出したりするS20。図11は、撮影タイミング判定部14によるステップS10の撮影タイミング判定処理の詳細な手順を説明するフローチャートである。撮影モードが、自動、半自動、手動のいずれであるかを判定するS30。手動撮影モードの場合は、ユーザがシャッターを切って撮影タイミングを撮影部10に指示するS40。自動撮影モードの場合、3軸ジャイロセンサ62および3軸加速度センサ64のセンサ出力にもとづいてカメラの動きを検出するS32。ここで、カメラの動きとは、撮影アングル変更時のカメラの振動や手振れを含む。3軸ジャイロセンサ62により検出された傾きデータの時間変動が閾値TA未満であり、かつ、3軸加速度センサ64により検出された傾きデータの時間変動が閾値TB未満である場合、カメラの動きがないと判定しS32のN、ステップS34に進む。それ以外の場合、カメラの動きがあると判定しS32のY、カメラの動きがなくなるまで待つ。次に、動体検出を行うS34。フレーム間の絶対差分が閾値TC未満である場合、画像には動いている被写体が写っていないと判定しS34のN、撮影タイミング判定部14は、この時点を撮影タイミングとして撮影部10に指示するS38。フレーム間の絶対差分が閾値TCを超える場合S34のY、ステップS32のカメラの動き検出、ステップS34の動体検出を繰り返す。ステップS34の動体検出処理では、遠景で歩いている人物などの動体は許容するが、近景の動体は許容しないようにすることが好ましい。近景に動体が写っていると、パノラマ画像の合成に不都合が生じるからである。そこで、フレーム間差分により動きが検出される領域が所定のサイズよりも大きい場合に、動体が写っていると判定し、そうでない場合は動体は写っていないと判定してもよい。動体が検出された場合、ユーザに撮影許可を求めてもよい。たとえば、何かが動いています。このまま撮影を続ける場合は、決定ボタンを押してください。などというメッセージを表示するか音声で出力し、ユーザが撮影指示をした場合は、動体が検出された場合でも撮影を行ってもよい。ユーザが撮影を許可しない場合は、動体が検出されなくなるのを待ってから撮影を行う。半自動撮影モードの場合、撮影タイミング判定部14は、ステップS32のカメラの動き検出を行うが、ステップS34の動体検出はスキップする。撮影タイミング判定部14は、カメラの動きがないと判定された時点を撮影タイミングとして撮影部10に指示するS38。図12a~図12cは、撮影ガイド部52によるパノラマ撮影ガイドを説明する図である。パノラマ画像360は、図8Aおよび図8Bで示したように扇形状の分割画像を重ね合わせたものであるが、ここでは、説明の簡単のため、全天球をカメラの画角に合わせて簡易的に格子状のマス目に分割し、分割画像をマス目で表す。図12aは、矢印で示すように、カメラの仰角を一定に保ったまま、パン角を約-180°から約180°の範囲で変化させて分割画像を撮影することを、仰角を変えながら繰り返すことで全天球の画像を撮影する方法を示す。この撮影方法では、3軸ジャイロセンサ62のヨードリフトが累積していくため、撮影方向に誤差が溜まる。これに対して、図12bは、パン角を一定に保ったまま、仰角を約-90°から約90°の範囲で変化させて分割画像を撮影することを、パン角を変えながら繰り返すことで全天球の画像を撮影する方法を示す。矢印で示すように、あるパン角のもとで、仰角を約-90°から約90°に変化させて分割画像を撮影すると、次のパン角では、仰角を約90°から約-90°に変化させて分割画像を撮影する。これにより、パン角の変わり目で撮影領域の連続性をもたせることができる。図12bの矢印の順序で撮影すれば、パン角は一回転するだけであるから、3軸ジャイロセンサ62のドリフト誤差が溜まることがなく、正確な撮影方向を検出することができる。前面カメラ210と背面カメラ212の両方のカメラを利用する場合は、図12cに矢印で示すように、前面カメラ210が仰角を約-90°から約90°に変化させながら分割画像を撮影する間、背面カメラ212は仰角を約90°から約-90°に変化させながらパン角が180°反対の分割画像を撮影することができ、半分の時間でパノラマ撮影を終えることができる。図13aおよび図13bは、分割画像とパノラマ画像の例を説明する図である。ここでも簡単のため、分割画像は格子状であるとして説明する。図13aは格子状の分割画像の例であり、図13bは分割画像をステッチして合成されたパノラマ画像の例である。図14は、撮影途中のパノラマ画像を説明する図である。撮影済みの分割画像が表示されており、白色の格子は未撮影の分割画像の領域である。次に撮影する分割画像として、未撮影の領域の中から、直近に撮影された分割画像270に隣接する分割画像の領域271が選択される。図12bで説明したように、撮影する分割画像の順序は、パン角を一定に保ちながら、仰角を変えて撮影するのが望ましいから、分割画像の撮影順序のガイドは矢印で示すようになる。図15は、パノラマ撮影の撮影順序のガイド例を説明する図である。ディスプレイ240の画面の右下には、図14の撮影途中のパノラマ画像を表示し、矢印により次に撮影されるべき分割画像の領域を示す。これにより、ユーザは現在どこまでパノラマ画像が撮影されているかを知ることができる。ディスプレイ240の画面の左には、現在カメラで撮影されている画像272が表示され、ファインダーとしての役割を果たす。次に撮影すべき領域を大きな矢印273で示す。撮影タイミングは自動または手動で指定される。撮影が終わると、ユーザは矢印の方向にカメラをパンまたはチルトさせて、次の分割画像の撮影に入る。3軸ジャイロセンサ62および/または3軸加速度センサ64による移動方向と移動速度の検出結果にもとづき、画面には、カメラを矢印の方向にゆっくり動かしてくださいなどのように、メッセージが表示される。メッセージは音声で出力してもよい。カメラの移動速度が速すぎると、メッセージや矢印の色を変えて警告してもよい。また、カメラの位置が動いてしまうと、カメラの回転中心がずれて誤差が発生する。後述の実施の形態2で説明するように自己位置推定によってカメラの位置の変動が検出される場合は、カメラの回転中心がずれましたなどの警告メッセージが表示される。図16は、シースルー型ヘッドマウントディスプレイHMD250の概略図である。これは、図9で示した機能構成をシースルー型HMD250に実装した適用例である。シースルー型HMD250は、カメラ、3軸ジャイロセンサおよび/または3軸加速度センサ、3軸地磁気センサ、およびディスプレイ252を有し、ユーザはシースルー型HMD250を眼鏡のようにかけて、ディスプレイ252を透過して見える外界と、ディスプレイ252に表示される画像とを見ながら、パノラマ撮影を行う。図17aおよび図17bは、シースルー型HMD250のディスプレイ252の画面例を説明する図である。図17aに示すように、ディスプレイ252の中央には実線で表示される撮影領域254があり、撮影領域254が撮影され、カメラのパン角と仰角が対応づけられた分割画像として保存される。破線で表示されるガイド領域256は、次に撮影すべき領域である。ユーザが頭を左に回転させてガイド領域256の方向を向くように、左向きの矢印258が画面に表示される。図17bは、ユーザが頭を左に回転させたときのディスプレイ252の画面例である。実線で表示される撮影領域254と破線で示されるガイド領域256とが画面の中央に来ている。ユーザはディスプレイ252に表示された実線の四角形撮影領域254と破線の四角形ガイド領域256が一致するように頭を動かす。ガイド領域256と撮影領域254がほぼ重なったとき、自動的に撮影が行われ、分割画像が取得される。ディスプレイ252の片隅に、撮影済みの複数の分割画像を並べて表示して、パノラマ画像の撮影がどこまで進んだかをユーザが把握できるようにしてもよい。以上述べたように、本実施の形態のパノラマ画像生成装置によれば、3軸ジャイロセンサおよび/または3軸加速度センサを用いて、撮影画像をステッチすることにより、パノラマ画像を簡単に合成することができる。さらに3軸地磁気センサを用いれば、パノラマ画像に絶対方位を関連づけることができる。これにより、雲台付きの高価なパンチルトカメラを用いなくても、カメラ付きの携帯端末200により安価で簡単にパノラマ撮影ができる。従来のパノラマ画像の合成手法は、画像マッチングを用いているため、ステッチの際に画像の特徴点を対応づけることができない場合は、パノラマ画像の合成は難しかった。特に、空や白い壁など画像に特徴点がなく、対応付けができない被写体の場合、画像マッチングによるステッチは不可能であった。その点、本実施の形態のパノラマ画像生成装置によれば、画像に特徴点がなくても、3軸ジャイロセンサおよび/または3軸加速度センサからカメラのパン角と仰角を撮影画像に対応づけることができるため、全天球のパノラマ画像を正確に合成することができる。もっとも、3軸ジャイロセンサおよび/または3軸加速度センサによる姿勢検出には誤差が伴うため、最終的にパノラマ画像を合成するときは、画像マッチングも併用するとさらに画質の高いパノラマ画像を生成することができる。また、従来の画像マッチングによるパノラマ合成では画像処理に時間がかかるため、撮影しながらリアルタイムでパノラマ画像の未撮影領域を判定することは難しい。その点、本実施の形態のパノラマ画像生成装置によれば、画像マッチングを利用しなくても、3軸ジャイロセンサおよび/または3軸加速度センサから得られる姿勢情報をもとに撮影画像のステッチが可能であるから、リアルタイムで未撮影領域を検出して、次の撮影領域をガイドすることができる。また、3軸ジャイロセンサおよび/または3軸加速度センサにより検出される移動速度にもとづいて、携帯端末200をゆっくり動かすようにユーザにガイドすることもできる。従来は、携帯端末等のカメラをパン、チルトさせながらパノラマ画像を撮影しようとすると、カメラの動きや回転軸のずれから正確なパノラマ画像を生成するのは困難であった。しかし、本実施の形態のパノラマ画像生成装置によれば、3軸ジャイロセンサおよび/または3軸加速度センサによってカメラの動きを検出し、カメラの動きがないときに自動的にシャッターを切って撮影するため、携帯端末200によるパノラマ撮影であってもカメラの動きによる悪影響を抑えることができる。また、動体検出も合わせて行い、動体が検出されないタイミングで撮影を行うことで、動いている人物や物体が写っていない撮影画像を取得してパノラマ画像を生成することができる。実施の形態2図18は、実施の形態2に係るパノラマ画像生成装置100の機能構成図である。実施の形態2のパノラマ画像生成装置100は、上述の実施の形態1のパノラマ画像生成装置100の各構成の他、特徴点抽出部82、自己位置推定部84およびカメラ位置ずれ判定部86の構成をさらに含み、携帯端末200のカメラ位置を推定して、カメラ位置のずれをユーザに調整させる機能を有する。それ以外の構成と機能は、実施の形態1のパノラマ画像生成装置100と同じであるから、説明を省略する。特徴点抽出部82は、分割画像記憶部22に格納されたパン角またはチルト角の異なる複数の分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する分割画像を対応付けるためのコントロールポイントを検出する。特徴点抽出部82は、隣接する分割画像の間で対応づけられた特徴点の情報を自己位置推定部84に供給する。また、特徴点抽出部82は、検出したコントロールポイントをパノラマ画像生成部30に供給する。コントロールポイントは、隣接する分割画像の間で対応づけられた特徴点のすべてもしくはその一部である。図21a,bは、2つの隣接する分割画像401、402間で検出されたコントロールポイントを示す図である。ここでは、9個のコントロールポイントが検出されている。図22は、2つの隣接する分割画像401、402をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。パノラマ画像生成部30は、隣接する分割画像401、402の重複領域において、両画像のコントロールポイント同図で丸印で示したができるだけ合うように、一方の分割画像401に対して他方の分割画像402を回転させて合成する。自己位置推定部84は、隣接する2枚の分割画像の特徴点の画像上の2次元座標の情報をもとに、特徴点の3次元座標とそれぞれの分割画像を撮影したカメラ位置の座標を同時に推定する。2枚の分割画像を撮影したときのカメラ位置はずれているため、2枚の分割画像は視点位置の異なる視差画像となっている。そのため、2枚の分割画像には視差という形で奥行き情報が含まれており、各特徴点についての満足すべき方程式を連立させて解くことにより、特徴点の3次元座標と各分割画像の視点の3次元座標カメラ位置とを同時に求めることができる。このように視点位置の異なる複数の視差画像をもとに被写体の3次元位置情報と視点位置とを同時に求める方法の一つに、SLAMSimultaneousLocalizationandMappingと呼ばれる技術がある。SLAMは、センサから取得した情報をもとに、自己位置推定と環境地図作成を同時に行う技術であり、自律移動ロボットなどに応用されている。自己位置推定部84は、一例として、公知のSLAM技術を用いて被写体の特徴点の3次元位置とカメラの3次元位置とを推定するが、他の自己位置推定の技術を用いてもかまわない。SLAMは、たとえば次の論文に紹介されている。AndrewJDavisonRealTimeSimultaneousLocalisationandMappingwithaSingleCameraICCV2003自己位置推定部84は、推定された被写体の特徴点の3次元座標値とカメラ位置の3次元座標値の情報を分割画像生成部20に供給する。分割画像生成部20は、携帯端末200の姿勢情報、被写体の特徴点の3次元位置情報、およびカメラ位置の3次元位置情報を分割画像に関連づけて分割画像記憶部22に保存する。分割画像は被写体の3次元位置情報を備えているため、パノラマ画像生成部30が複数の分割画像を合成してパノラマ画像を合成すると、被写体の3次元位置情報を有する3次元パノラマ画像が得られる。3次元パノラマ画像を3次元座標上に展開すれば、被写体の簡易的な3次元モデルを生成することも可能である。また、被写体の奥行き情報が得られるため、ステレオパノラマ画像を生成することも可能になる。カメラ位置ずれ判定部86は、自己位置推定部84により推定されたカメラ位置が最初の位置原点からずれているかどうかを判定する。カメラ位置がずれていくと、合成されるパノラマ画像は正確なものにはならない。撮影ガイド部52は、自己位置推定部84により推定されたカメラ位置の3次元座標値をもとに、カメラ位置の移動軌跡をディスプレイに表示させることでユーザがパノラマ撮影時のカメラ位置を視認できるようにする。また、カメラ位置ずれ判定部86により、カメラ位置がずれていると判定された場合、撮影ガイド部52は、ユーザにカメラ位置を調整するようにガイドしたり、撮影をやり直すように指示する。もっとも、カメラ位置が多少ずれていても、カメラ位置を原点に戻すように分割画像を補正すれば、パノラマ画像を合成することができる。そこで、パノラマ画像生成部30は、分割画像を合成する際、分割画像に関連づけられた特徴点の3次元位置情報とカメラ位置の3次元位置情報を用いて、カメラ位置の原点からのずれがゼロに近づくように、分割画像の特徴点の3次元座標値を調整することで、分割画像を補正した上で、分割画像を合成してパノラマ画像を生成する。図19は、実施の形態2に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。図19のステップS10、S12、S14、S18、およびS20の各処理は、それぞれ図10に示した実施の形態1に係るパノラマ画像生成装置100によるステップS10、S12、S14、S18、およびS20の各処理と同じであるから説明を省略する。ステップS14において、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得した後、その情報を用いて、ステップS15において自己位置推定処理を行う。自己位置推定処理によって携帯端末200のカメラの位置情報が得られ、必要に応じてカメラ位置の調整が行われる。また、自己位置推定処理によって被写体の特徴点の3次元位置情報が得られる。ステップS17において、分割画像生成部20は、携帯端末200の姿勢情報と被写体の特徴点の3次元位置情報とカメラ位置の3次元位置情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存する。図20は、図19のステップS15の自己位置推定処理の詳細な手順を説明するフローチャートである。特徴点抽出部82は、隣り合う2枚の分割画像の重複領域において、撮影されたオブジェクトの特徴点を抽出し、マッチングを取るS50。自己位置推定部84は、SLAMを用いて、各分割画像を撮影したカメラの位置の3次元座標値と、オブジェクトの特徴点の3次元座標値とを推定するS52。カメラ位置ずれ判定部86は、撮影時のカメラ位置が最初の位置から所定の閾値を超えてずれているかどうかを判定するS54。カメラ位置のずれが閾値以内であればS54のN、自己位置推定処理を終了する。ここで、遠景、近景のどちらを撮影しているかをユーザに入力させ、遠景であるか近景であるかによって、カメラ位置のずれを判定するための閾値を切り替えるようにしてもよい。遠景撮影の場合、近景撮影に比べると、カメラ位置のずれに対する許容範囲は大きい。そこで遠景撮影の場合の閾値は近景撮影の場合の閾値よりも大きく設定する。所定の閾値を超えるカメラ位置のずれが検出された場合S54のY、撮影ガイド部52にカメラ位置の調整を指示する。撮影ガイド部52は、ユーザにカメラ位置を修正するようにユーザに指示するか、すでに撮影された分割画像の一部または全部を無効にし、撮り直すようにユーザに指示しS56、ステップS10に戻る。図23は、カメラ位置のずれの調整を促すガイド例を説明する図である。撮影ガイド部52は、ディスプレイの画面の一部にパノラマ撮影時のカメラ位置を3次元表示する。最初のカメラ位置410aを原点にとり、カメラ位置の履歴410b、410c、410dを3次元座標系で表示する。ユーザは、ディスプレイに表示された現在のカメラ位置やカメラ位置の移動軌跡を見ることにより、カメラ位置が最初の位置からずれているかどうかを確認することができる。ディスプレイにカメラの3次元位置、携帯端末200の姿勢情報をグラフィカルに表示する以外に、音声やテキストでカメラ位置の移動方向を提示するようにしてもよい。また、携帯端末200を振動させることでカメラ位置がずれていることや、許容範囲を超えてずれたことをユーザに知らせるようにしてもよい。この3次元座標系において、原点を中心とする内側の球400は、カメラ位置のずれの第1閾値Th1に対応し、原点を中心とする外側の球402は、カメラ位置のずれの第2閾値Th2>Th1に対応する。第1閾値Th1は、補正しなくても分割画像をステッチしてパノラマ画像を生成することができる許容ずれ量の上限である。第2閾値Th2は、分割画像を補正すれば、補正後の分割画像をステッチしてパノラマ画像を生成することができる許容ずれ量の上限である。撮影開始時のカメラ位置をX0、n枚目の分割画像の撮影時のカメラ位置をXnとすると、|Xn-X0|<Th1のとき、そのカメラ位置で分割画像を撮影する。ここで、|Xn-X0|は、撮影開始時のカメラ位置X0からn枚目の分割画像撮影時のカメラ位置Xnまでの距離を示す。図23で言えば、現在のカメラ位置が内側の球400内にある場合は、そのカメラ位置で分割画像を撮影し、カメラ位置の修正指示は行わない。|Xn-X0|≧Th1であり、かつ、|Xn-X0|<Th2のとき、補正によりパノラマ画像の合成が可能であるから、そのカメラ位置で分割画像を撮影するが、ユーザには、カメラ位置がずれていることを通知し、カメラ位置の修正を促す。図23で言えば、現在のカメラ位置が内側の球400と外側の球402の間にある場合は、そのカメラ位置で分割画像を撮影するが、カメラ位置の修正指示を行う。このとき、パノラマ画像生成部30は、カメラ位置のずれにもとづいて分割画像を補正した上で合成することにより、パノラマ画像を生成する。|Xn-X0|≧Th2のとき、もはや補正してもパノラマ画像の合成が不可能であるため、そのカメラ位置では撮影は行わず、ユーザにカメラ位置の移動を促し、カメラ位置が撮影可能な範囲に戻れば、撮影を開始する。一定の時間を経過しても、カメラ位置が撮影可能な範囲に戻らなければ、それまでのパノラマ撮影はキャンセルし、ユーザにはパノラマ撮影のやり直しを指示する。撮影可能範囲を定める閾値Th1、Th2は、視点から被写体までの距離に応じて可変にすることがより好ましい。視点から被写体までの距離は、自己位置推定部84により推定された被写体の特徴点の3次元座標値とカメラ位置の3次元座標値から求めることができる。被写体が遠景であれば、カメラ位置のずれが大きくても被写体の画像上の位置ずれは大きくはないため、パノラマ画像を合成するときの誤差は小さい。しかし、近景であれば、少しのカメラ位置のずれによって被写体の画像上の位置ずれが大きくなるため、パノラマ画像を合成するときの誤差が大きい。そこで、遠景の場合の閾値Th1、Th2は、近景の場合の閾値Th1、Th2よりも大きく設定することができる。カメラ位置ずれ判定部86は、カメラ位置から被写体までの距離に応じて、閾値Th1、Th2を調整すればよい。上記の説明では、SLAMによってカメラ位置を推定したが、GPS受信器74により検出される位置情報を用いてカメラ位置を取得するようにしてもよい。以上述べたように、本実施の形態のパノラマ画像生成装置によれば、SLAMなどの技術を用いてカメラ位置と撮影された被写体の3次元位置を推定し、カメラ位置のずれをユーザに通知することができる。被写体までの距離に応じて、カメラ位置のずれが許容範囲内であるかどうかを判定し、カメラ位置のずれが許容範囲を超える場合、カメラ位置の移動をユーザに促すことができる。3軸ジャイロセンサ62や3軸加速度センサ64は携帯端末200の姿勢を検出できても、カメラ位置のずれを検出することは難しい。その点、本実施の形態では、カメラ位置がずれると、撮影された分割画像が視差が生じることを用いて、カメラ位置と被写体の3次元位置とを同時に推定することができるため、カメラ位置のずれを検出して、カメラ位置の調整をユーザに促したり、カメラ位置のずれにもとづいて画像を補正することができる。実施の形態3図24は、実施の形態3に係るパノラマ画像生成装置100の機能構成図である。本実施の形態のパノラマ画像生成装置100は、パノラマ撮影中に注目領域を設定する機能を有する。実施の形態1のパノラマ画像生成装置100と共通する構成については同じ符号を付して説明を省略する。POI/ROI設定部42は、注目領域設定部44、注目度設定部46、およびタグ設定部48を含み、撮影部10により撮影された画像に注目点POIpointofinterestまたは注目領域ROIregionofinterestを設定し、注目領域に注目度とタグを付与し、注目領域の座標情報、注目度、およびタグ情報を含む注目領域情報を分割画像生成部20に供給する。分割画像生成部20は、撮影画像に注目領域情報を関連づけて分割画像記憶部22に保存する。注目領域設定部44は、撮影部10の撮影者検出部90により指定される領域またはユーザインタフェース部50のタッチパネル入力部56により指定される領域を注目領域として設定する。注目度設定部46は、撮影部10の表情判定部92により指定される注目度を注目領域設定部44により設定された注目領域に対する注目度として設定する。タグ設定部48は、ユーザインタフェース部50の音声認識部54により指定されるテキストを注目領域設定部44により設定された注目領域に対するタグとして設定する。POI/ROI処理部58は、分割画像記憶部22から分割画像を、パノラマ画像記憶部32から合成されたパノラマ画像を読み出し、分割画像またはパノラマ画像に設定された注目領域に対して強調したり、ぼかしたり、ズームしたり、画質を異ならせるなどの画像処理を施す。注目領域に注目度が設定されている場合は、注目度に応じた画像処理を行う。たとえば注目度に応じて強調する度合いを変えたり、画質を変えるなどする。また、POI/ROI処理部58は、パノラマ画像を加工する際に注目領域を保護してもよい。たとえば、飛行船や人物などの人工オブジェクトをパノラマ画像に合成する場合、POI/ROI処理部58は、注目領域がそのような人工オブジェクトで隠れないように注目領域の背後に人工オブジェクトを配置したり、注目領域には人工オブジェクトを配置しないようにすることで、注目領域を保護する。表示部40は、POI/ROI処理部58により注目領域に対して画像処理が施された分割画像またはパノラマ画像を表示する。また、表示部40は、パノラマ画像を表示するとき、注目領域がディスプレイ240の画面の中央に来るようにパノラマ画像をスクロールさせて表示してもよい。また、表示部40は、一つのパノラマ画像から別のパノラマ画像に表示を切り替えるとき、切り替え後のパノラマ画像の注目領域がディスプレイ240の画面の中央に来るように、切り替え後のパノラマ画像をスクロールさせて表示してもよい。特に、第1のパノラマ画像の特定の方位に特定の建物などの対象物を示すマーカーが設定されており、そのマーカーを選択すると、その特定の対象物を写した第2のパノラマ画像に切り替えられるようにパノラマビューアーが構成されているとする。第2のパノラマ画像でもその特定の対象物が注目領域に設定されていることが多い。したがって、パノラマ画像を切り替える際、注目領域が常に画面の中央に来るように制御すれば、切り替え先のパノラマ画像においてもマーカーで指定された対象物を最初から見ることができる。たとえば、第1のパノラマ画像に大阪城が写っており、大阪城にマーカーが設定されている場合、マーカーを選択して第2のパノラマ画像に切り替えても、第2のパノラマ画像で大阪城を見ることができる。パノラマ画像は広範囲の景色を撮影したものであるから、パノラマ画像を切り替えると、方角を見失うことがあるが、切り替え後のパノラマ画像で注目領域を優先的に表示すればこのような問題を避けることができる。パノラマ画像に複数の注目領域/注目点が設定されている場合は、パノラマ画像をスクロールして表示する際、たとえば、自由領域、矩形領域の順に優先して注目領域を表示してもよい。また、注目領域の面積が大きい順に優先して表示したり、注目度の順に優先して表示してもよい。また、注目領域を注目点よりも優先して表示してもよい。また、第1のパノラマ画像のマーカーを指定してマーカーに関連づけられた第2のパノラマ画像に切り替える際、第1のパノラマ画像のマーカーの方角に近いものから順に注目領域/注目点を優先して表示してもよい。撮影部10は、撮影者検出部90と表情判定部92を含む。撮影者検出部90は、撮影部10により撮影された画像に撮影者が写り込んでいるかどうかを検出し、撮影者が写り込んでいる場合は、撮影者が写り込んだ領域を指定する情報をPOI/ROI設定部42の注目領域設定部44に供給する。撮影者検出部90は、撮影画像に大きく写っている人物を撮影者とみなすことで撮影者を検出することができる。注目領域設定部44は、撮影者が写り込んだ領域を注目領域に設定する。POI/ROI処理部58は、撮影者が写り込んだ領域をぼかす処理をしたり、周辺のテクスチャで埋め合わせて、撮影者が写り込んだ領域を消去する。パノラマ撮影では、携帯端末200をパンさせて撮影するとき、撮影者が写り込むことが多い。また、携帯端末200の背面カメラ212で正面を撮影しながら、前面カメラ210を用いて、180度反対側も同時に撮影する場合、前面カメラ210には撮影者が写り込むことが多い。このような場合、撮影者が写り込んだ領域を検出して、注目領域に設定することで意図しない撮影者の画像をパノラマ画像から消去することができる。また、意図的に撮影者を写している場合は、撮影者が写り込んだ領域を注目領域に設定しておき、POI/ROI処理部58がその注目領域を強調する画像処理を施したり、表示部40がパノラマ画像を表示する際、その注目領域がディスプレイの中心に表示されるようにパノラマ画像の表示位置を調整してもよい。表情判定部92は、背面カメラ212でパノラマ撮影中に前面カメラ210で撮影された撮影者の顔の表情を判定する。表情の判定には公知の表情認識技術を用いる。撮影者が微笑んでいたり、被写体を注視しているなど、パノラマ撮影時に肯定的な表情をしていると判定される場合、表情判定部92は、表情に応じて、たとえば、0~100の値の注目度を決め、注目度をPOI/ROI設定部42の注目度設定部46に供給する。注目度設定部46は、注目領域設定部44により既に注目領域が設定されている場合は、その注目領域に表情判定部92から与えられた注目度を設定し、注目領域が設定されていない場合は、撮影画像全体もしくは撮影画像の中央付近のオブジェクトを注目領域として扱い、注目度を設定する。POI/ROI処理部58は、撮影画像の注目領域に対して注目度に応じた処理を実行する。たとえば、注目度が高いほど画質を高くする。ユーザインタフェース部50は、音声認識部54とタッチパネル入力部56を含み、撮影画像に対してユーザが注目領域を設定したり、タグを設定することを支援する。音声認識部54は、携帯端末200に内蔵されたマイクからパノラマ撮影中のユーザの音声を取得して、音声認識処理により音声をテキストに変換し、テキストをタグ設定部48に与える。タグ設定部48は、テキストをタグとして注目領域に設定する。テキストに変換しないで音声のまま、タグを注目領域に設定してもよい。音量の大きさに応じて注目度を設定してもよい。注目領域が設定されていない場合は、撮影画像全体もしくは撮影画像の中央付近のオブジェクトを注目領域として扱い、タグを設定する。これにより、パノラマ撮影中にユーザは注目している被写体に名称などのタグ情報を付与することができる。タッチパネル入力部56は、ディスプレイ240に設けられたタッチパネル上でユーザから撮影画像の注目領域を指定する情報を受け取り、注目領域を指定する情報を注目領域設定部44に与える。図25は、実施の形態3に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。撮影タイミング判定部14は、撮影タイミング判定処理を実行するS60。撮影部10は、撮影タイミング判定部14により指示された撮影タイミングまたはユーザが指示する撮影タイミングで撮影し、撮影された画像をフレームメモリ12に記録するS62。ステップS60、S62の処理は、図10に示した第1の実施の形態のパノラマ画像生成装置100によるステップS10、S12の処理と同じである。タッチパネル入力部56は、撮影画像が表示されたディスプレイ240のタッチパネルに対してユーザから注目領域を指定する入力があるかどうかを検出するS64。注目領域を指定するタッチパネル入力がある場合S64のY、注目領域設定部44は、撮影画像に注目領域を設定するS66。注目領域を指定するタッチパネル入力がない場合S64のN、ステップS68に進む。表情判定部92は、前面カメラ210の撮影画像に写った撮影者の表情を判定するS68。表情が笑顔など肯定的なものである場合S68のY、注目度設定部46は、表情の肯定的な度合いに応じて注目領域に注目度を設定するS70。注目領域が未設定の場合は、たとえば、撮影画像の中央にあるオブジェクトや撮影画像内で他のオブジェクトよりも大きな面積を占めるオブジェクトを注目領域に設定し、その注目領域に注目度を設定する。表情が笑顔など肯定的なものではない場合S68のN、ステップS72に進む。音声認識部54は、撮影中にユーザから音声入力があるかどうかを判定するS72。音声入力があった場合S72のY、音声認識部54は入力された音声を音声認識処理によってテキストに変換し、タグ設定部48はそのテキストをタグとして注目領域に設定するS74。注目領域が未設定の場合は、たとえば、撮影画像の中央にあるオブジェクトや撮影画像内で他のオブジェクトよりも大きな面積を占めるオブジェクトを注目領域に設定し、その注目領域にタグを設定する。音声入力がない場合S72のN、ステップS76に進む。姿勢検出部60は、携帯端末200の姿勢情報、すなわち、チルト角、ロール角、およびパン角を取得するS76。分割画像生成部20は、携帯端末200の姿勢情報とPOI/ROI設定部42により設定された注目領域情報を撮影画像に関連づけて分割画像として分割画像記憶部22に保存するS78。図26a~図26cは、注目領域が設定される撮影画像のフォーマットの例を説明する図である。注目点または矩形の注目領域の情報は、一例として、図26aに示すKMLKeyholeMarkupLanguageファイルと呼ばれる地理情報タグデータファイルに記録される。符号450は、カメラのパン角、チルト角、ロール角の情報を記述する。符号452は、画像サイズを記述する。符号454は、画像の向きが横長書式か縦長書式かを記述する。符号456は、矩形の注目領域を指定する情報を記述するものであり、注目領域の中心点の座標と画像サイズを指定する。ここでは、注目領域の中心の座標200,250、画像の幅21、高さ15が指定されている。図26bは、符号456で記述される注目領域を示す。注目点を指定する場合は、符号458に示すように、注目点の座標を指定し、画像サイズをゼロに指定する。ここでは、注目点の座標100,150、画像の幅0、高さ0が指定されている。図26cは、符号458で記述される注目点を示す。符号460は、GPS受信器74から得られる緯度経度情報を記述する。符号462は、撮影日時を記述する。注目領域が矩形ではなく、自由領域である場合、注目領域を座標で指定することはできないため、パノラマ画像に重ね合わせるαプレーンまたは専用レイヤーにマスク画像を設定する。図27a~fは、ユーザがタッチパネル上で注目領域を設定する方法を説明する図である。パノラマ撮影では図27aのように、広範囲の景色を撮影するため、ユーザが注目している被写体がどれであるか、合成されたパノラマ画像からは容易にはわからない。そこで、図27bに示す、パノラマ撮影中にディスプレイ240に表示される撮影画像において、ユーザにタッチパネルで注目領域を指定させる。図27cは、タッチパネル上で撮影画像内の対象物をタップまたはダブルタップする符号430ことで対象物を注目領域に設定する例である。このとき、対象物を含む領域が撮影画像から自動抽出され、注目領域に設定される。図27dは、対象物を符号432のように囲むことで注目領域を設定する例である。符号432で示す自由曲線を近似する多角形434が注目領域に設定されるか、多角形434に外接する矩形領域436が注目領域に設定される。図27eは、符号438で示すように対象物に斜線を入れることで注目領域を設定する例である。斜線を対角線とする矩形領域440が注目領域に設定される。図27fは、符号442a、442bで示すように、対象物を2本の指でピンチすることで注目領域を設定する例である。2本の指のピンチの始点を結ぶ線分を対角線とする矩形領域444が注目領域に設定される。図28は、パノラマ画像に重ね合わせるαプレーンまたは専用レイヤーに設定される注目領域を説明する図である。撮影画像において注目領域が符号470で示す自由曲線で指定された場合、注目領域は、符号474で示すαプレーンまたは専用レイヤーにおいてマスク領域472として設定される。マスクされた領域を1、マスクされていない領域を0とする2値で注目度を記録することができる。また、αプレーンの場合、マスク領域のα値によって注目度を多値で記録することもできる。本実施の形態のパノラマ画像生成装置によれば、パノラマ撮影中に注目領域を設定することができる。興味のある被写体にフォーカスを当ててシャッターを切る通常の撮影とは違って、パノラマ撮影では、広範囲の被写体を撮影するため、ユーザがどの被写体に興味をもって撮影しているかがわからないことが多い。この点、本実施の形態では、パノラマ撮影中に注目領域を指定するため、合成されたパノラマ画像においてユーザが注目している領域を把握することができる。また、合成後のパノラマ画像において注目領域を設定する手間を省くことができる。合成後のパノラマ画像では、画面上でスクロールしなければ注目したい領域を表示することができないが、撮影中であれば、現在の撮影画像に対して簡単に注目領域を指定することができる。また、撮影中のユーザの表情に応じてユーザが興味をもった対象物を自動的に注目領域に設定し、注目度や音声によるタグ情報を関連づけることができる。実施の形態4図29は、実施の形態4に係るパノラマ画像生成装置100の機能構成図である。本実施の形態のパノラマ画像生成装置100は、携帯端末200の前面カメラ210および背面カメラ212の両方を用いてパノラマ画像を撮影する機能を有する。図24で説明した実施の形態3の注目領域設定機能をもつパノラマ画像生成装置100と共通する構成については同じ符号を付して説明を省略する。本実施の形態ではパノラマ撮影のモードとして、以下の3つのモードがある。1前面カメラ210により撮影された半周のパノラマ画像と背面カメラ212により撮影された半周のパノラマ画像とをつなぎ合わせて全周のパノラマ画像を撮影する両面パノラマ撮影モード。2パノラマ画像は背面カメラ212で撮影し、前面カメラ210は撮影者の顔を撮影して注目点または注目領域を設定するために用いるPOI/ROI付きパノラマ撮影モード。3前面カメラ210および背面カメラ212のそれぞれで全周のパノラマ画像を撮影する片面パノラマ撮影モード。この場合、2枚の全周パノラマ画像が得られるが、どちらか一方のカメラ、特に撮影者が写り込む可能性の高い前面カメラ210により撮影された全周パノラマ画像を破棄するか、2枚の全周パノラマ画像をステレオパノラマ画像もしくは、近景/遠景のパノラマ画像として利用するかを撮影後にユーザが決める。撮影モード切替部94はこれらのパノラマ撮影モードのいずれかに切り替える。ユーザが設定画面などでパノラマ撮影モードを手動で設定し、撮影モード切替部94は、ユーザが設定した撮影モードに切り替えてもよい。また、撮影モード切替部94は、パノラマ画像の撮影状況に応じて、適切なパノラマ撮影モードに自動的に切り替えてもよい。また、撮影開始時点では、1の両面パノラマ撮影モードと3の片面パノラマ撮影モードを区別せずに、前面カメラ210と背面カメラ212のそれぞれでパノラマ画像を撮影し、半周分だけ撮影が終わった時点で、前面カメラ210により撮影された半周の前面パノラマ画像と背面カメラ212により撮影された半周の背面パノラマ画像の画像境界の整合性が良好であれば、1の両面パノラマ撮影モードに決定し、整合性が良好でなければ、3の片面パノラマ撮影モードに決定してもよい。整合性が良好でない場合とは、前面パノラマ画像に意図せずすなわち注目領域を設定する目的ではなく撮影者が写り込んだ場合や、前面カメラ210と背面カメラ212の水平パララックスが原因で前面パノラマ画像と背面パノラマ画像の間に視差が生じている場合などである。撮影モード切替部94は、設定したパノラマ撮影モードを撮影部10およびパノラマ画像生成部30に通知する。撮影部10は、指定されたパノラマ撮影モードにしたがって前面カメラ210および背面カメラ212を用いて被写体を撮影する。パノラマ画像生成部30は、指定されたパノラマ撮影モードにしたがって撮影部10により撮影された分割画像を合成してパノラマ画像を生成する。両面パノラマ撮影モードの場合、パノラマ画像生成部30は、背面カメラ212により撮影された背面分割画像を合成して得られる半周の背面パノラマ画像と、前面カメラ210により撮影された前面分割画像を合成して得られる180度だけ反対方向の半周の前面パノラマ画像とをつなぎ合わせることで、全周パノラマ画像を生成する。片面パノラマ撮影モードの場合、パノラマ画像生成部30は、前面カメラ210により撮影された全周の前面分割画像を破棄し、背面カメラ212により撮影された全周の背面分割画像を合成して全周パノラマ画像を生成する。前面カメラ210による撮影画像には、撮影者が意図せず写り込んでいることが多いためであるが、撮影状況によっては、背面カメラ212により撮影された背面分割画像を破棄し、前面カメラ210により撮影された前面分割画像を合成して全周パノラマ画像を生成してもよい。また、パノラマ画像生成部30は、いずれか一方のカメラで撮影された分割画像を破棄せず、両方のカメラで撮影された分割画像からそれぞれの全周パノラマ画像を合成し、ステレオパノラマ画像として利用したり、近景/遠景のパノラマ画像として利用してもよい。画像相関判定部96は、携帯端末200を半周パンさせて前面カメラ210と背面カメラ212のそれぞれで半周分のパノラマ画像が撮影されたとき、前面カメラ210により撮影された前面パノラマ画像と、背面カメラ212により撮影された背面パノラマ画像とをつなぎ合わせて全周のパノラマ画像を生成する際、つなぎ合わせの境界付近の領域で前面パノラマ画像と背面パノラマ画像の相関を計算し、両画像の間に一定の整合性があるかどうかを判定する。画像相関判定部96は、前面パノラマ画像と背面パノラマ画像の間で相関が所定の閾値以上であった場合、前面パノラマ画像と背面パノラマ画像の間に整合性があることを撮影モード切替部94と撮影ガイド部52に通知し、前面パノラマ画像と背面パノラマ画像の間で相関が所定の閾値未満であった場合、前面パノラマ画像と背面パノラマ画像の間に整合性がないことを撮影モード切替部94と撮影ガイド部52に通知する。撮影モード切替部94は、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、両面パノラマ撮影モードに設定するが、前面パノラマ画像と背面パノラマ画像の間に整合性がない場合は、片面パノラマ撮影モードに設定する。ユーザインタフェース部50の撮影ガイド部52は、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、携帯端末200の半周のパンでパノラマ撮影が完了したことをユーザに通知するが、前面パノラマ画像と背面パノラマ画像の間に整合性がある場合は、さらにもう半周パンさせて、全周パノラマ撮影を行うようにユーザにダイアログなどで案内する。撮影部10の撮影者検出部90は、前面カメラ210により撮影された画像に撮影者が写り込んでいるかどうかを検出し、撮影者が写り込んでいる場合は、ユーザインタフェース部50の撮影者撮影許可部57にその旨、通知する。撮影者撮影許可部57は、顔が写っていますが、よいですかのようなダイアログを表示し、ユーザが自分の顔が前面カメラ210により撮影されるのを許可するかどうかをユーザに指示させる。ユーザが自分の顔の撮影を許可した場合は、撮影モード切替部94は、POI/ROI付きパノラマ撮影モードに設定し、そのまま前面カメラ210による撮影が実行される。ユーザが自分の顔の撮影を許可しない場合は、撮影者が写り込んだ画像は破棄し、撮影者が写り込まなくなった時点で前面カメラ210による撮影を再開する。前面カメラ210により撮影者が写り込んだ画像は、実施の形態3で説明したように、POI/ROI設定部42が注目領域を設定したり、注目度を設定するときに用いられる。図30a~cは、携帯端末200の前面カメラ210と背面カメラ212の配置と視差を説明する図である。図30aに示すように、前面カメラ210と背面カメラ212が水平方向に異なる位置に配置されている場合、両カメラの間には水平パララックス視差HPがある。また、垂直方向にも異なる位置に配置されている場合は、両カメラの間に垂直パララックスVPがある。ここでは説明の便宜上、垂直パララックスVPはゼロであるか、無視できる程度に小さいものとして、水平パララックスHPに着目する。図30bに示すように、たとえば前面カメラ210と背面カメラ212はそれぞれ75°の水平画角をもつとする。前面カメラ210と背面カメラ212の間には水平パララックスHPがあるため、前面カメラ210により撮影される前面パノラマ画像と背面カメラ212により撮影される背面パノラマ画像との間には視差によるずれが生じる。特に近景を撮影する場合は、前面パノラマ画像と背面パノラマ画像の間に生じる視差によるずれは無視できない。しかし、遠景を撮影する場合、前面カメラ210により撮影される前面パノラマ画像と背面カメラ212により撮影される背面パノラマ画像との間に生じる視差によるずれを無視することができる。図30cは、視差によるずれを無視できる場合の、前面カメラ210と背面カメラ212の配置と画角を示す。視差によるずれが無視できる場合は、前面カメラ210と背面カメラ212は、図30cのように水平方向に同じ位置に配置されているものとして扱うことができる。両カメラの水平画角が75°であるとすると、90°-75°/2=52.5°の計算結果から、図30cの点線に示すように、携帯端末200をそれぞれ左右に52.5°回転させれば、前面カメラ210は半周180°分の前面パノラマ画像を撮影し、背面カメラ212は半周180°分の平面パノラマ画像を撮影することができ、半周の前面パノラマ画像と半周の背面パノラマ画像とをつなぎあわせれば全周パノラマ画像を得ることができる。52.5°程度の回転角であれば、ユーザはディスプレイ240をファインダとして見ながら、パノラマ撮影をすることができる。近景を撮影する場合は、前面カメラ210による前面パノラマ画像と、背面カメラ212による背面パノラマ画像の間で視差によるずれがあるため、半周の前面パノラマ画像と半周の背面パノラマ画像とをつなぎあわせても十分な整合性が取れず、正確な全周パノラマ画像を生成できないことがある。そこで、近景を撮影する場合は、さらに半周回転させることで、前面カメラ210と背面カメラ212のそれぞれで全周のパノラマ画像を撮影してもよい。その場合、視差のある2枚の全周パノラマ画像が得られるから、これをステレオパノラマ画像として用いて、3次元パノラマ画像を表示させてもよい。また、奥行き情報が得られることから、被写体の3次元モデルを生成することもできる。撮影ガイド部52は、近景撮影の場合、前面カメラ210、背面カメラ212のそれぞれが全周パノラマ画像を撮影できるように全周撮影をユーザに促し、遠景撮影の場合、前面カメラ210、背面カメラ212のそれぞれが半周分のパノラマ画像を撮影した時点で全周パノラマ撮影を完了した旨をユーザに通知するようにしてもよい。近景を撮影するか、遠景を撮影するかをユーザが指定してもよく、たとえば、カメラを広角にした場合は近景撮影、望遠にした場合は遠景撮影に自動設定してもよい。図31aは、背面カメラ212により撮影された円筒状の画像340a~340fを説明する図である。図8Bで説明したものと同様であるが、ここでは、これらを合成すると、図32aに示すように、半周分の背面パノラマ画像が得られるとする。図31bは、前面カメラ210により撮影された円筒状の画像350a~350fを説明する図である。これらを合成すると、図32bに示すように、半周分の前面パノラマ画像が得られるとする。図32aは、背面カメラ212で撮影される背面パノラマ画像を説明する図であり、図32bは、前面カメラ210で撮影される前面パノラマ画像を説明する図である。図33は、背面カメラ212で撮影される背面パノラマ画像と前面カメラ210で撮影される前面パノラマ画像をつなぎ合わせた状態を示す図である。背面パノラマ画像と前面パノラマ画像が重なる、つなぎ合わせの境界付近の領域370a~370dにおいて、画像相関判定部96は、背面パノラマ画像と前面パノラマ画像の相関を計算する。両画像が重なる領域で相関が高い、すなわち画素値が一致または近接する画素の数が多い場合、画像相関判定部96は、両画像に一定の整合性があると判断し、両画像が重なる領域で相関が低い、すなわち画素値が一致または近接する画素の数が少ない場合、両画像に一定の整合性がないと判断する。図34は、前面カメラ210により撮影された前面パノラマ画像382と背面カメラ212により撮影された背面パノラマ画像380の例を説明する図である。前面パノラマ画像382には撮影者が大きく写り込んでおり、前面パノラマ画像382と背面パノラマ画像380がつなぎ合わされる境界付近の領域370dには、撮影者の手が写っていることから、両画像間の相関が低い。この場合、画像相関判定部96は、前面パノラマ画像382と背面パノラマ画像380の整合性が低いと判断し、撮影モード切替部94は、背面カメラ212のみでパノラマ撮影する片面パノラマ撮影モードに切り替え、撮影ガイド部52は、さらに半周、カメラをパンさせて全周の背面パノラマ画像を撮影するようにユーザを案内する。図35は、前面パノラマ画像382と背面パノラマ画像380の整合性が低い場合のガイド例を説明する図である。前面パノラマ画像382と背面パノラマ画像380をそれぞれ半周分撮影した時点で、画像相関判定部96が、前面パノラマ画像382と背面パノラマ画像380の間で一定の整合性がないと判定した場合、撮影ガイド部52は、さらに半周回してくださいというダイアログ386を画面に表示させ、撮影方向を矢印384で示す。これにより、ユーザは背面パノラマ画像380を半周分で撮影したところでやめずに、背面カメラ212をさらに半周分パンさせて全周の背面パノラマ画像を撮影することができる。図36は、実施の形態4に係るパノラマ画像生成装置100によるパノラマ画像の撮影の手順を説明するフローチャートである。撮影者検出部90は、前面カメラ210により撮影された画像に撮影者自身が写り込んでいるかどうかを検出するS80。撮影者が写り込んでいる場合はS80のY、撮影者撮影許可部57は、ユーザに自分自身を撮影するのかどうかをダイアログを表示したり、音声出力して尋ねるS82。ユーザが自分自身の撮影を許可した場合S82のY、撮影モード切替部94は、POI/ROI付きパノラマ撮影モードに設定しS84、POI/ROI付きパノラマ撮影を行うS86。ステップS86のPOI/ROI付きパノラマ撮影処理は、図25で説明した実施の形態3のパノラマ画像の撮影手順と同様であり、前面カメラ210によりユーザの表情を撮影して、表情にもとづいて注目領域や注目度を設定するとともに、背面カメラ212によりパノラマ撮影を行うことで、POI/ROI付きのパノラマ画像を生成する。ステップS82において、ユーザが自分自身の撮影を許可しない場合S82のN、前面カメラ210による撮影画像に撮影者が写っている間はパノラマ撮影を中断しS88のN、撮影者が写らなくなるのを待ってS88のY、両面カメラによるパノラマ撮影処理を実行するS90。ステップS80において、前面カメラ210により撮影された画像に撮影者が検出されない場合もS80のN、両面カメラによるパノラマ撮影処理が開始されるS90。図37は、図36のステップS90の両面カメラによるパノラマ撮影処理の詳細な手順を説明するフローチャートである。両面カメラによるパノラマ撮影処理では、撮影開始時点では、手動でパノラマ撮影モードを設定する場合を除き、両面パノラマ撮影モードか片面パノラマ撮影モードであるかは決まっていない。両面パノラマ撮影モードと片面パノラマ撮影モードのいずれかに決定されるかは、半周分のパノラマ撮影が完了して半周の前面パノラマ画像と半周の背面パノラマ画像の間で整合性を判断しなければわからない。分割画像撮影処理S110は、図10で説明した実施の形態1の撮影タイミング判定処理S10、撮影S12、姿勢情報取得処理S14、姿勢情報を撮影画像に関連づける処理S16を実行する。前面カメラ210および背面カメラ212による半周分のパノラマ撮影が完了していないならS112のN、ステップS110に戻り、分割画像撮影処理を繰り返す。前面カメラ210および背面カメラ212による半周分のパノラマ撮影が完了するとS112のY、画像相関判定部96は、前面カメラ210によって撮影された半周分の前面分割画像と、背面カメラ212によって撮影された半周分の背面分割画像とをつなぎあわせるときの境界付近の重複領域で両画像間の相関度を判定するS114。重複領域の相関度が所定の閾値以上であればS114のY、撮影モード切替部94は、パノラマ撮影モードを両面パノラマ撮影モードに設定しS117、パノラマ画像生成部30は、半周分の前面分割画像と半周分の背面分割画像を合成して全周パノラマ画像を生成するS118。重複領域の相関度が所定の閾値未満であればS114のN、撮影モード切替部94は、パノラマ撮影モードを片面パノラマ撮影モードに設定しS115、撮影ガイド部52は、さらに半周撮影するようにユーザをガイドしS116、ステップS120の分割画像撮影処理に進む。ステップS120の分割画像撮影処理は、ステップS110の分割画像撮影処理と同じである。前面カメラ210、背面カメラ212による全周分のパノラマ撮影が完了していないならS122のN、ステップS110に戻り、分割画像撮影処理を繰り返す。前面カメラ210および背面カメラ212による全周分のパノラマ撮影が完了するとS122のY、全周の前面分割画像を破棄するかどうかをユーザに問い合わせるS124。たとえば、前面分割画像にユーザが写り込んでいる場合には、前面分割画像は破棄する。全周の前面分割画像を破棄する場合S124のY、パノラマ画像生成部30は、全周の背面分割画像から全周パノラマ画像を合成するS126。全周の前面分割画像を破棄しない場合S124のN、パノラマ画像生成部30は、全周前面分割画像から全周前面パノラマ画像を合成しS128、全周背面分割画像から全周背面パノラマ画像を合成するS130。この場合、全周前面パノラマ画像と全周背面パノラマ画像を合わせてステレオパノラマ画像が得られる。また、全周前面パノラマ画像を近景のパノラマ画像として、全周背面パノラマ画像を遠景のパノラマ画像として利用してもよい。また、前面カメラ210と背面カメラ212のズーム率を異ならせれば、ズーム率の異なる2つのパノラマ画像を得ることもできる。本実施の形態のパノラマ画像生成装置によれば、携帯端末200の前面カメラ210と背面カメラ212の両方を用いてパノラマ撮影を行うことができる。2つのカメラの取り付け位置にずれがある場合、それぞれのカメラで撮影されるパノラマ画像に視差が生じるため、ステレオパノラマ画像を取得することができる。また、前面カメラ210で近景パノラマ画像を撮影し、背面カメラ212で遠景パノラマ画像を撮影することもできる。また、両面カメラを利用すると、携帯端末200を360°回転させなくても、カメラの水平画角θに対して、90°-θ/2だけ回転させるだけで全周のパノラマ画像を撮影できるから、携帯端末200のディスプレイをファインダとして見ながら簡易に全周パノラマ撮影を行うことが容易になる。上記の例では、携帯端末200に前面カメラ210と背面カメラ212が搭載された場合のパノラマ撮影を説明したが、携帯端末200に3以上のカメラが搭載されてもよい。また、複数のカメラの光軸の位置が水平または垂直方向に異なってもよく、複数のカメラの光軸の向きが異なってもよい。光軸の向きの違いは180度反対方向に限られない。以下、携帯端末200に内蔵されるカメラのバリエーションを例示する。図38は、光軸の位置および向きが異なる2つのカメラが搭載された携帯端末200を説明する図である。図30bでは、前面カメラ210と背面カメラ212は光軸の位置が水平方向に異なっていたが、図38では、前面カメラ210と背面カメラ212は光軸の位置が異なるだけでなく、光軸の向きも異なり、前面カメラ210は斜めに向いている。図39は、光軸の位置が異なる3つのカメラが搭載された携帯端末200を説明する図である。2つの背面カメラ212a、212bと1つの前面カメラ210が携帯端末200に搭載される。これらの3つのカメラ212a、212b、210の光軸の位置は異なる。2つの背面カメラ212a、212bにより、ステレオパノラマ画像を撮影することができる。図40は、光軸の向きが異なる3つのカメラが搭載された携帯端末200を説明する図である。携帯端末200は、たとえば円柱のような形状をしており、前面にはディスプレイ240があり、上から見た場合、3つのカメラ211a、211b、211cが円周上にほぼ均等に配置されている。これら3つのカメラの211a、211b、211cの光軸の向きは互いに異なる。携帯端末200を回転させることで全周のパノラマ画像を撮影することができる。図41a、bは、性能の異なる2つのカメラが搭載された携帯端末200を説明する図である。図41aでは、前面カメラ210の水平画角は50°であるのに対して、背面カメラ212の水平画角は120°である。このように画角の異なる複数のカメラを携帯端末200に搭載してもよい。図41bでは、前面カメラ210は解像度はVGAであり、フレームレートは60fpsframespersecondであるのに対して、背面カメラ212は解像度は12メガピクセルであり、フレームレートは15fpsである。前面カメラ210は低解像度であるがフレームレートが高く、動体の撮影に有利である。背面カメラ212は高解像度であるがフレームレートが低く、動体の撮影には不向きであるが、静止物体の撮影には有利である。このように解像度やフレームレートなどの性能の異なる複数のカメラを携帯端末200に搭載してもよい。図42a~cは、携帯端末200に搭載されるカメラの個数と向きのバリエーションを説明する図である。図42aは、携帯端末200の前面にカメラ211c、背面にカメラ211a、左側面にカメラ211d、右側面にカメラ211bを搭載した例である。図42bは、携帯端末200の背面にカメラ211a、左側面にカメラ211c、右側面にカメラ211bを搭載した例である。図42cは、携帯端末200の背面にカメラ211a、右側面にカメラ211bを搭載した例である。ここでは、携帯端末200の例で説明したが、これは車載カメラであってもよい。特に、車載カメラの場合、カメラの向きを前方、後方以外に左右側方にすることが考えられる。図43は、4つのカメラが搭載された携帯端末200を説明する図である。携帯端末200の前面にカメラ211c、背面にカメラ211a、左側面にカメラ211d、右側面にカメラ211bが搭載されており、各カメラの水平画角は十分に広いため、携帯端末200をパン方向に回転させなくても全方位のパノラマ画像をこれら4つのカメラ211a~211dにより撮影することができる。ただし、チルト方向には全方位を撮影することができない場合、チルト方向に携帯端末200を回転させることで全天のパノラマ画像を撮影することができる。図44a、bは、向きを調整できる可動カメラが搭載された携帯端末200を説明する図である。図44aでは、携帯端末200の背面に搭載されたカメラ211aは固定カメラであるが、右側面に搭載されたカメラ211bは可動カメラであり、向きを手動または自動で調整することができる。図44bでは、携帯端末200の背面に搭載された第1のカメラ211aは固定カメラであるが、第2のカメラ211bは前後に向きを反転可能な可動カメラであり、向きを反転させれば背面カメラにも前面カメラにもなる。可動カメラの向きは、携帯端末200が自動的に検出することができる。以上述べた携帯端末200に搭載されるカメラのバリエーションはあくまでも例示であって、これ以外にもいろいろなカメラの組み合わせがありうる。このように携帯端末200に光軸の位置および向きの少なくとも一方が異なるカメラを複数搭載することで、複数のカメラを用いて撮影された画像を合成して全方位のパノラマ画像を合成することができる。撮影モード切替部94は、携帯端末200に搭載された複数のカメラの各々により撮影されたパノラマ画像をつなぎ合わせた一つの複眼パノラマ画像を撮影する複眼パノラマ画像撮影モードと、複数のカメラの各々で単眼パノラマ画像を撮影する単眼パノラマ画像撮影モードとを切り替える。パノラマ画像生成部30は、複眼パノラマ画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼パノラマ画像を生成し、各カメラによる単眼パノラマ画像を互いにつなぎ合わせて複眼パノラマ画像を生成する。パノラマ画像生成部30は、単眼パノラマ画像撮影モードの場合、各カメラにより撮影された複数の分割画像を合成して単眼パノラマ画像を生成し、各カメラによる単眼パノラマ画像を組み合わせて、ステレオパノラマ画像、もしくは近景、遠景など距離感の異なる複数のパノラマ画像として出力する。画像相関判定部96は、各カメラによる単眼パノラマ画像を互いにつなぎ合わせる境界領域において、つなぎ合わされる単眼パノラマ画像間の相関度を判定し、パノラマ画像生成部30は、相関度が所定の閾値以上である場合、各カメラによる単眼パノラマ画像を互いにつなぎ合わせて複眼パノラマ画像を生成する。携帯端末200に搭載された複数のカメラはそのままの固定された位置では全方位のパノラマ撮影をすることはできないが、パン方向またはチルト方向に回転させることで各カメラの撮影可能な視界がオーバーラップするようになる。そのオーバーラップする領域において、つなぎ合わされる単眼パノラマ画像間の相関を評価することで、各カメラによる単眼パノラマ画像をステッチ処理でつなぎ合わせてよいか、別々の画像として出力すべきか、あるいは片方の画像を破棄するべきかを判断することができる。以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。本実施の形態では、パノラマ画像として全天球パノラマ画像を例に挙げて説明したが、パノラマ画像は、全天球パノラマ画像である必要はなく、撮影方向を変えながらカメラで撮影された複数の画像を合成した画像であってもよい。なお、本明細書でいうパノラマ画像とは、狭義の意味でのパノラマ画像、すなわち横長または縦長の画像や360度の全景画像などに限られるものではなく、単に広い範囲を対象とする画像である。また、実施の形態では、合成画像としてパノラマ画像を生成する例を説明したが、出力される合成画像はいわゆるパノラマ画像である必要はなく、任意のサイズの通常の画像を合成画像としても本発明を適用することができる。あるいは、出力される合成画像は、複数の異なる解像度の画像が階層化された画像であってもよい。そのような階層化された画像は、画像の一部の領域を拡大すると拡大された領域がより解像度の高い画像に置き換わるように構成されてもよい。"