(57)【要約】【課題】特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影可能にする。【解決手段】制御部（ＣＰＵ）２０は、全立体方位撮影中に、シャッタボタン半押し状態で、３軸磁気センサ３４により計測されたセンサのピッチ、ヨー、ロールをリアルタイムで取得する。そして、これらピッチ、ヨー、ロールからデジタルカメラの光軸座標、デジタルカメラの回転角、及び撮影画像の球座標を算出し、該光軸座標、回転角、及び球座標に従って、その方向で撮影された画像が記録されるべき、メモリアドレスを算出し、該メモリアドレスに従って画像メモリ３１をアクセスし、既に撮影済みの画像データ（以下、既撮影済画像という）が記録されている場合には、その撮影済み領域をモノクロ（半透明）で識別可能にスルー画像とともに表示部２５に表示する。【選択図】図１
2010199971.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
表示手段と、
前記撮像手段の撮影方向をリアルタイムに検知する検知手段と、
前記撮像手段により撮像される全方位における撮影済みの画像を、前記検知手段により検知された撮影方向に対応付けて記憶する記憶手段と、
前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示手段に表示する表示制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記表示手段は、
前記撮像手段により撮像される全方位における画像をスルー表示し、
前記表示制御手段は、
前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に、撮影済み領域と非撮影済み領域とを識別可能に表示する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記表示制御手段は、
前記表示手段にスルー表示されている画像上で、非撮影済み領域をカラー表示し、撮影済み領域をモノクロ表示する、
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記表示手段は、
前記撮像手段により撮像される全方位における画像をスルー表示し、
前記表示制御手段は、
前記記憶手段に撮影方向に対応付けて記憶されている撮影済みの画像を、前記検知手段により検知された撮影方向に基づいてリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に識別可能に合成して表示する、
ことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記表示制御手段は、
撮影済みの画像を、前記表示手段にスルー表示されている画像上に半透明で識別可能に合成して表示する、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記検知手段は、
前記撮像手段による撮影方向として、上下方向、左右方向、及び回転方向を検出する、
ことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
【請求項７】
全方位に対する全ての撮影を完了したことを判定して通知する撮影完了通知手段を更に備えることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記検知手段により検知された前記撮像手段による撮影方向を、前記記憶手段の記憶領域アドレスに変換する変換手段を更に備え、
前記記憶手段は、
前記変換手段に変換された記憶領域アドレスで示される記憶領域に前記撮像手段により撮像される全方位における撮影済みの画像を記憶する、
ことを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
【請求項９】
撮像部により撮像した画像を表示部に表示するとともに、記憶部に記憶する撮像方法であって、
前記撮像部の撮影方向をリアルタイムに検知するステップと、
前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、
前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップと
を含むことを特徴とする撮像方法。
【請求項１０】
全方位に対する全ての撮影を完了したことを判定して通知するステップを更に含むことを特徴とする請求項９記載の撮像方法。
【請求項１１】
前記検知された前記撮像部による撮影方向を、前記記憶部の記憶領域アドレスに変換するステップと、
前記変換された記憶領域アドレスで示される記憶領域に前記撮像部により撮像される全方位における撮影済みの画像を記憶するステップと
を更に含むことを特徴とする請求項９または１０に記載の撮像方法。
【請求項１２】
撮像部と、該撮像部により撮像した画像を表示する表示部と、撮影した画像を記憶する記憶部とを備える撮像装置のコンピュータに、
前記撮像部の撮影方向をリアルタイムに検知するステップと、
前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、
前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、デジタルカメラにおいて、左（右）から右（左）へと順番に撮影し、撮影した画像を結合することにより、横方向３６０°パノラマ撮影を行う技術や、同様に下（上）から上（下）へと順番に撮影し、撮影した画像を結合することにより、縦方向の連続した撮影を行う技術が知られている（例えば、特許文献１、２参照）。いずれの場合も、画像が途切れることのないように、撮影する度に１つ前の撮影済み画像の一部を表示部に半透明に表示しておき、次の撮影時のスルー画像をその半透明の撮影済み画像に合わせるように、構図（撮影位置、撮影方向）を決めさせるよう、ユーザに案内するようになっている。
【０００３】
また、近年、インターネット上で２次元の地図の所望する位置を指定することで、その位置における横方向３６０°の撮影画像を見ることができる技術が知られている（例えば、非特許文献１参照）。この技術では、自動車のルーフに少なくとも４方向（前後左右）に向いた４つのデジタルカメラを設置しておき、道路を走行しながら、所定の間隔で上記４つのデジタルカメラで一度に撮影し、これを合成することで、横方向３６０°の撮影画像を得ている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７４３０１号公報
【特許文献２】特開２００５−１８４５３３号公報
【非特許文献】
【０００５】
【非特許文献１】“Ｇｏｌｌｇｌｅストリービュー、日本の主要都市でも始動”、［平成２１年２月９日検索］、インターネット＜ＵＲＬ：http://www.google.co.jp/intl/ja/press/pressrel/20080805.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、デジタルカメラが普及することで、様々な特殊撮影技術を手軽に（あるいは自動的に）誰でもが楽しめるようになってきているが、まだ、全立体方位で撮影するための技術は提案されていない。しかしながら、特殊レンズ（魚眼レンズ）を用いて天頂方向を撮影する技術は、銀塩カメラでも知られているが、この場合、撮影画像がひどく歪んでしまうという問題がある。
【０００７】
また、上記従来技術による、水平方向３６０°パノラマ撮影、あるいは垂直方向連続撮影を行うデジタルカメラでは、予め決められた方向、すなわち、水平方向３６０°、および／または垂直方向でしか連続画像を撮影することができないという問題がある。
【０００８】
また、前述したように、横方向３６０°の撮影画像を一度に撮影する技術も実用化されてはいるが、やはり横方向３６０°でしか撮影することができず、あくまで特殊な装置であり、一般的でなく、通常のユーザが手軽に用いることはできないという問題がある。
【０００９】
このように、従来、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができる技術は知られていない。しかしながら、全立体方位の撮影画像があると、写真の楽しみ方を広げることができることは明らかである。全立体方位となると、２次元的にどの部分が撮影済みかを、ユーザが記憶して撮影することが困難となるため、例えば、水平方向にはうまく重ね合わせて撮影されても、縦方向には未撮影の隙間が残ったり、重複部分が多くなりすぎたりし、失敗なく効率的に撮影を行なうことは不可能である問題がある。
【００１０】
そこで本発明は、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的達成のため、この発明は、撮像手段と、表示手段と、前記撮像手段の撮影方向をリアルタイムに検知する検知手段と、前記撮像手段により撮像される全方位における撮影済みの画像を、前記検知手段により検知された撮影方向に対応付けて記憶する記憶手段と、前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示手段に表示する表示制御手段とを備えることを特徴とする撮像装置である。
【００１２】
また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の撮像装置において、前記表示手段は、前記撮像手段により撮像される全方位における画像をスルー表示し、前記表示制御手段は、前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に、撮影済み領域と非撮影済み領域とを識別可能に表示する、ことを特徴とする、ことを特徴とする。
【００１３】
また、好ましい態様として、例えば請求項３記載のように、請求項２に記載の撮像装置において、前記表示制御手段は、前記表示手段にスルー表示されている画像上で、非撮影済み領域をカラー表示し、撮影済み領域をモノクロ表示する、ことを特徴とする、ことを特徴とする。
【００１４】
また、好ましい態様として、例えば請求項４記載のように、請求項１に記載の撮像装置において、前記表示手段は、前記撮像手段により撮像される全方位における画像をスルー表示し、前記表示制御手段は、前記記憶手段に撮影方向に対応付けて記憶されている撮影済みの画像を、前記検知手段により検知された撮影方向に基づいてリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に識別可能に合成して表示する、ことを特徴とする。
【００１５】
また、好ましい態様として、例えば請求項５記載のように、請求項４に記載の撮像装置において、前記表示制御手段は、撮影済みの画像を、前記表示手段にスルー表示されている画像上に半透明で識別可能に合成して表示する、ことを特徴とする。
【００１６】
また、好ましい態様として、例えば請求項６記載のように、請求項１乃至５のいずれかに記載の撮像装置において、前記検知手段は、前記撮像手段による撮影方向として、上下方向、左右方向、及び回転方向を検出する、
ことを特徴とする。
【００１７】
また、好ましい態様として、例えば請求項７記載のように、請求項１乃至６のいずれかに記載の撮像装置において、全方位に対する全ての撮影を完了したことを判定して通知する撮影完了通知手段を更に備えることを特徴とする。
【００１８】
また、好ましい態様として、例えば請求項８記載のように、請求項１乃至７のいずれかに記載の撮像装置において、前記検知手段により検知された前記撮像手段による撮影方向を、前記記憶手段の記憶領域アドレスに変換する変換手段を更に備え、前記記憶手段は、前記変換手段に変換された記憶領域アドレスで示される記憶領域に前記撮像手段により撮像される全方位における撮影済みの画像を記憶する、ことを特徴とする。
【００１９】
また、上記目的達成のため、請求項９記載の発明は、撮像部により撮像した画像を表示部に表示するとともに、記憶部に記憶する撮像方法であって、前記撮像部の撮影方向をリアルタイムに検知するステップと、前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップとを含むことを特徴とする撮像方法である。
【００２０】
また、好ましい態様として、例えば請求項１０記載のように、請求項９に記載の撮像装置において、全方位に対する全ての撮影を完了したことを判定して通知するステップを更に含むことを特徴とする。
【００２１】
また、好ましい態様として、例えば請求項１１記載のように、請求項９または１０に記載の撮像装置において、前記検知された前記撮像部による撮影方向を、前記記憶部の記憶領域アドレスに変換するステップと、前記変換された記憶領域アドレスで示される記憶領域に前記撮像部により撮像される全方位における撮影済みの画像を記憶するステップとを更に含むことを特徴とする。
【００２２】
また、上記目的達成のため、請求項１２記載の発明は、撮像部と、該撮像部により撮像した画像を表示する表示部と、撮影した画像を記憶する記憶部とを備える撮像装置のコンピュータに、前記撮像部の撮影方向をリアルタイムに検知するステップと、前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップとを実行させることを特徴とするプログラムである。
【発明の効果】
【００２３】
この発明によれば、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができるという利点が得られる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態によるデジタルカメラでの全立体方位撮影でのカメラの光軸座標と撮影画像の球座標とを説明するための概念図である。
【図３】本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合の様子を説明するための模式図である。
【図４】本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合のスルー画像の表示例を示す模式図である。
【図５】本実施形態によるデジタルカメラにおいて、全立体方位の撮影状況をユーザに知らせるための一表示例を示す模式図である。
【図６】本実施形態によるデジタルカメラの全立体方位撮影時の動作を説明するためのフローチャートである。
【図７】本実施形態によるデジタルカメラにおいて、既撮影済画像との重ね具合を適切にガイドする場合の表示例を示す模式図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２６】
Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行なう。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【００２７】
次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。
【００２８】
次に、画像メモリ３１は、撮影された画像データを全立体方位における位置情報と対応付けて記録するためのメモリであり、全立体方位における全ての撮影済み部分の画像データを記録管理するとともに、全立体方位における撮影済み領域と非撮影済み領域とを管理する役割を果たすものである。このような全立体方位を考慮して画像データと撮影済み領域を管理するための具体的な方法としては、いくつかの方法が考えられるが、１つの方法は、撮影された各々の画像データは通常の画像ファイルとして個別に記録するとともに、各画像ファイルと対応付けて全立体方位における撮影位置（撮影領域）の情報を記録する方法である。
【００２９】
他の方法は、全立体方位の各位置と相互にアドレス変換可能な１つの大きなビットマップメモリを設け、撮影して得られた画像データを、このビットマップメモリ上に上書き合成していく方法であり、未撮影の部分は初期状態で黒（または白）で塗りつぶしておくことにより、黒（または白）で塗りつぶされている領域部分を画像処理などによって検出することにより撮影済み領域と非撮影済み領域とを判断することが可能である。
【００３０】
上記いずれの方法を用いてもよいが、ここでは後者の方法を用いるものとする。また、これらの方法は周知技術であるため詳細な説明は省略する。
【００３１】
次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ３０に格納されるプログラムを実行してデジタルカメラ（撮像装置）の全体を制御する。特に、本実施形態では、制御部（ＣＰＵ）２０は、全立体方位撮影中に、シャッタ半押し状態でリアルタイムに、後述する３軸磁気センサ３４により計測されたセンサのピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）を取得し、これらピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）からデジタルカメラの光軸座標、デジタルカメラの回転角、及び撮影画像の球座標を算出し、該光軸座標、回転角、及び球座標に従って、その方向で撮影された画像が記録されるべき、メモリアドレスを算出し、該メモリアドレスに従って画像メモリ３１をアクセスし、既に撮影済みの画像データ（以下、既撮影済画像という）が一部でも記録されている場合には、スルー画像上における既撮影済み部分に対応する領域をモノクロ（半透明）で識別表示するように制御する。また、このときに、スルー画像上をモノクロ（半透明）で識別表示するのではなく、既撮影済み画像の一部をモノクロ（半透明）で、スルー画像に合成して表示部２５に表示するよう制御してもよい。まだ一度もその方向で撮影されていない場合には、当然、モノクロ（半透明）で識別表示されたり、既撮影済画像が表示されたりしない。
【００３２】
したがって、ユーザがシャッタ半押し状態でデジタルカメラを任意の方向に振ると、一度でも撮影されている場合には、リアルタイムで既撮影済み領域がモノクロ（半透明）で識別表示されることになる（または、リアルタイムで既撮影済画像がモノクロ（半透明）でスルー画像に合成されて表示部２５に表示されることになる）。ユーザは、スルー画像と既撮影済画像との位置関係をリアルタイムで確認しながら、既撮影済画像と連続するように撮影レームを定めることが可能となる。すなわち、全立体方位の画像を隙間なく撮影するためには、ユーザは、表示部２５に既撮影済み領域がモノクロ（半透明）で識別表示されるように撮影フレームを定めればよい。
【００３３】
制御部（ＣＰＵ）２０は、シャッタが全押しされると、その時点において３軸磁気センサ３４により計測されたピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）を元に算出または変換されたメモリアドレスに従って、撮影画像データを画像メモリ３１に保存する。したがって、既撮影済画像部分がある場合には、該既撮影済画像部分、すなわち重複部分は上書きされ、未撮影部分は、新たに記録されることになる。
【００３４】
なお、本実施形態では、従来技術のように撮影する順番が決まっておらず、任意の位置を任意の（ランダムな）順番で撮影することが可能となっている。また、本実施形態では、デジタルカメラの光軸座標、及び撮影画像の球座標から画像メモリ３１のメモリアドレスへの変換は、光軸座標、回転角、及び撮影画像の球座標とメモリアドレスとを対応付けた変換テーブルを用意し、該変換テーブルを介して変換してもよし、所定の演算式に従って算出してもよい。
【００３５】
プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行なう。
【００３６】
Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。
【００３７】
イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタン７を含め、記録／再生モードの切り換えキー、十字キー、メニューキー等などの各種操作キーなどからなる。デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調を行なう。画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータ（非圧縮のＲＡＷイメージデータ）をＪＰＥＧ方式に圧縮符号化したり、再生モードにおいては、ＪＰＥＧ形式のファイルを伸張する。
【００３８】
プログラムメモリ３０は、制御部２０にロードされる各種プログラムなどを格納する。画像メモリ３１は、各種ファイル形式に変換されたデジタルデータを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる。
【００３９】
３軸磁気センサ３４は、３軸それぞれの磁気レベルを計測するセンサであり、センサのピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）（または、姿勢を唯一に規定する３つの角度）を取得する。該センサによりピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）を取得することにより、シャッタ半押し状態時、またはシャッタ全押し状態時（撮影時）のカメラの光軸方向（光軸の東西南北の方位角と仰角）と、カメラの回転角（光軸を回転軸としてどれだけ傾いているかを示す情報）とを算出することが可能となる。なお、全立体方位撮影でのカメラの光軸座標と撮影画像の球座標との詳細については後述する。
【００４０】
マイクロフォン３６は、動画撮影時などに音声を入力する。スピーカ３７は、動画再生時などに音声を出力する。音声処理部３８は、所定のコーディックにより符号化（圧縮）／復号化（伸張）などを行うことにより、スピーカ３７へ出力する音声データのアナログ化、マイクロフォン３６からの音声信号のデジタル化などを行う。
【００４１】
図２は、本実施形態によるデジタルカメラでの全立体方位撮影でのカメラの光軸座標と撮影画像の球座標とを説明するための概念図である。例えば、デジタルカメラをある方向に向けてシャッタ半押し状態とすると、図２に示すように、そのときの３軸磁気センサ３４のピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）が取得される。そして、ピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）からシャッタ半押し状態時、またはシャッタ全押し状態時（撮影時）における、カメラの光軸方向（１，θ，φ）と、カメラの回転角（ψ）と、撮影画像の球座標（１，θ０，φ０）、（１，θ１，φ１）、（１，θ２，φ２）、（１，θ３，φ３）とが算出される。
【００４２】
制御部（ＣＰＵ）２０は、シャッタが半押し、または全押しされると、撮影範囲が球面のどの部分であるかを、上記カメラの光軸方向（１，θ，φ）と、カメラの回転角（ψ）と、撮影画像の球座標（１，θ０，φ０）、（１，θ１，φ１）、（１，θ２，φ２）、（１，θ３，φ３）とから判別し、対応するメモリアドレスへ変換、または算出する。
【００４３】
図３は、本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合の様子を説明するための模式図である。ある風景において、斜線部分Ａ１、Ａ２は、既に撮影した部分であり、矩形枠Ｌ１は、現在、デジタルカメラが向けられている方向で、撮影されるフレーム（画角）に相当する。
【００４４】
図４は、本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合のスルー画像の表示例を示す模式図である。上述した図３に示すような場合、デジタルカメラの表示部２５には、図４に示すように、既撮影済部分（斜線部分Ａ１、Ａ２に相当する）Ａがモノクロ（半透明）でスルー画像上に識別表示されることになる。ユーザは、表示部２５に表示されているスルー画像を見ることで、まだ撮影されていない部分を容易に識別することができ、容易に全立体方位の画像を隙間なく撮影することができる。
【００４５】
図５は、本実施形態によるデジタルカメラにおいて、全立体方位の撮影状況をユーザに知らせるための一表示例を示す模式図である。前述したように、撮影時には表示部２５に既撮影済部分がモノクロ（半透明）で表示される。これに加え、図５に示すように、撮影済み部分（斜線部分）と未撮影部分（白抜き部分）とを色分けなどして区別するとともに、仮想球面と現在のデジタルカメラの向き（▲）との関係を表示するようにしてもよい。
【００４６】
Ａ−２．実施形態の動作
次に、上述した実施形態の動作について説明する。
図６は、本実施形態によるデジタルカメラの全立体方位撮影時の動作を説明するためのフローチャートである。全立体方位撮影モードが選択されると、まず、スルー画像を表示部２５に表示し（ステップＳ１０）、シャッタ半押しであるか否かを判断する（ステップＳ１２）。そして、シャッタ半押しでない場合には、ステップＳ１０に戻り、通常撮影と同様に、スルー画像の表示を継続する。
【００４７】
一方、シャッタ半押し操作された場合には、３軸磁気センサ３４からピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）を取得し（ステップＳ１４）、該ピッチ（方位角θ）、ヨー（仰角φ）、ロール（回転角ψ）から光軸方向（１，θ，φ）と、カメラの回転角（ψ）と、撮影画像の球座標（１，θ０，φ０）、（１，θ１，φ１）、（１，θ２，φ２）、（１，θ３，φ３）とを算出する（ステップＳ１６）。次に、光軸方向（１，θ，φ）と、カメラの回転角（ψ）と、撮影画像の球座標（１，θ０，φ０）、（１，θ１，φ１）、（１，θ２，φ２）、（１，θ３，φ３）とを、画像メモリ３１のメモリアドレスに変換し（ステップＳ１８）、メモリアドレスに従って画像メモリ３１から撮影画角内の撮影データを読み出す（ステップＳ２０）。
【００４８】
次に、読み出した撮影データに撮影済み部分があるか否かを判断し（ステップＳ２２）、既撮影済画像部分がある場合には、既撮影済画像部分をモノクロ（半透明）でスルー画像に識別可能に表示する（ステップＳ２４）。なお、ここで、撮影済み部分があるか否かの判断は、読み出した撮影データに初期状態の黒（または白）のままのデータ領域があるか否かで判断する。また、撮影済み領域と非撮影済み領域を示す管理データを別途記憶している場合であれば、領域の座標データを比較することで判断してもよい。次に、シャッタが全押しされたか否かを判断し（ステップＳ２６）、シャッタが全押しされなければ、ステップＳ１０に戻り、上述した処理を繰り返す。
【００４９】
一方、既撮影済画像部分がない場合には、そのままシャッタが全押しされたか否かを判断し（ステップＳ２６）、シャッタが全押しされなければ、ステップＳ１０に戻り、上述した処理を繰り返す。
【００５０】
したがって、ユーザがシャッタ半押し状態でデジタルカメラを任意の方向に振ると、一度でも撮影されている場合には、リアルタイムで既撮影済画像部分がモノクロ（半透明）でスルー画像上に識別可能に表示されることになる。ユーザは、スルー画像と既撮影済画像との位置関係をリアルタイムで確認しながら、既撮影済画像と連続するように、あるいは既撮影済部分を除外するように撮影レームを定めることが可能となる。すなわち、全立体方位の画像を隙間なく、かつできるだけ重複することなく撮影するためには、ユーザは、表示部２５に既撮影済画像部分がモノクロ（半透明）で識別表示されないように撮影フレームを定めればよい。
【００５１】
一方、シャッタが全押しされると、上記メモリアドレスに従って撮影画像データを画像メモリ３１に記録する（ステップＳ２８）。すなわち、既撮影済画像部分がある場合には、該既撮影済画像部分、すなわち重複部分は上書きされ、未撮影部分は、新たに記録されることになる。次に、仮想球面上の全ての領域が撮影されたか否かを判断し（ステップＳ３０）、全ての領域が撮影されていない場合には、ステップ１０に戻り、上述した処理を繰り返す。一方、仮想球面上の全ての領域が撮影された場合には、全立体方位の撮影終了をモニタ等で告知し（ステップＳ３２）、当該処理を終了する。なお、ここで、仮想球面上の全ての領域が撮影されたか否かの判断は、画像メモリ３１の全体に初期状態の黒（または白）のままのデータ領域があるか否かで判断する。
【００５２】
上述した実施形態によれば、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位の画像を撮影することができる。また、本実施形態では、従来技術のように撮影する順番が決まっておらず、任意の位置を任意の（ランダムな）順番で撮影することができ、全立体方位の画像を隙間なく容易に撮影することができる。
【００５３】
なお、上述した実施形態において、全立体方位の写真撮影は、理想的には、撮像素子を中心としてカメラを回転させるように動かすことで、全方向に向けて行なわれるべきものである。しかしながら、デジタルカメラの形態は、専用のものではなく、通常のものであるから、異なる方向を撮影するたびに、若干の平行移動成分も含まれてしまうことが考えられる。これらの平行移動が激しいと、撮影対象までの距離との兼ね合いによっては、パノラマ合成のときに画像のつながりがうまくいかないこともあり得るが、本発明では、大きな破綻が起きない程度には、平行移動成分が含まれる可能性もあるとする。
【００５４】
この場合、撮影済みの領域をユーザに表示する目的で、その領域だけを明度を下げて表示部２５に識別表示するときに、それまで写真を撮るたびに求めた４隅分の球座標上の点を結んだ線をそのまま撮影済み領域との境界線としてしまうと、平行移動成分があったときに、ユーザの撮影の重ね方が少ない場合には、撮り残し領域が発生してしまう可能性がある。これをできるだけ避けるため、撮影済みの領域を表示部２５に識別表示するときには、求めた４隅の球座棟点よりも、若干内側の点を結んだ四角形を撮影済み領域として表示するようにすればよい。
【００５５】
あるいは、図７（ａ）、（ｂ）に示すように、表示部２５にガイド２５−１を表示し、同図（ａ）に示すように、識別表示される既撮影済部分Ａ１、Ａ２がガイド２５−１より外側に位置する場合には、取り残し領域が発生する可能性が高いので、ユーザに警告し（例えば、ガイド２５−１を赤色で点滅表示し、シャッタの全押しを無効とする）、同図（ｂ）に示すように、識別表示される既撮影済部分Ａ３がガイド２５−１より内側に位置する場合には、非警告（例えば、ガイド２５−１を青や緑で表示し、シャッタの全押しを有効とする）とするようにしてもよい。
【００５６】
また、上述した実施形態では、仮想球面上の全ての領域の撮影が終了するまで全立体方位の撮影を継続するようにしたが、仮想球面上の全ての領域が撮影される前に、ユーザ操作により全立体方位撮影を中断可能にしてもよい。
【符号の説明】
【００５７】
１０  画像取得部
１１  レンズ
１２  シャッタ
１３  ＬＰＦ
１４  ドライバ
１５  アナログ信号処理部
１６  撮像センサ
１７  サンプリング／信号増幅処理部
１８  Ａ／Ｄコンバータ
２０  制御部（ＣＰＵ）
２２  プレビューエンジン
２３  Ｄ／Ａコンバータ
２４  ドライバ
２５  表示部
２６  イメージバッファ
２７  キー操作部
２８  デジタル信号処理部
２９  画像圧縮／伸張処理部
３０  プログラムメモリ
３１  画像メモリ
３２  カードＩ／Ｆ
３３  外部記録媒体
３４  ３軸磁気センサ
３８  音声処理部
３６  マイクロフォン
３７  スピーカ
【図１】
2010199971.tif 000003
【図２】
2010199971.tif 000004
【図３】
2010199971.tif 000005
【図４】
2010199971.tif 000006
【図５】
2010199971.tif 000007
【図６】
2010199971.tif 000008
【図７】
2010199971.tif 000009