(57)【要約】【課題】撮像時の姿勢状態を、再生時の画像データの表示状態として反映させることで、撮像時の臨場感を再現する。【解決手段】撮像装置１００は、被写体を撮像して画像データを生成する撮像部１１２と、撮像部のピッチ角θおよびロール角φを検出する姿勢角センサ１２０と、画像データ１６０をピッチ角およびロール角に関連付けて画像保持部１１８に記憶する記憶制御部１４２と、記憶された画像データの再生操作を受け付けると、撮像部の現在のピッチ角およびロール角と、記憶された画像データに関連付けられたピッチ角θ０およびロール角φ０とに基づいて、記憶された画像データから、現在のピッチ角およびロール角に対応した部分画像データ１６２を切り出す画像切出部１４６と、切り出された部分画像データをディスプレイ１１６に表示する表示制御部１４４と、を備える。【選択図】図１
2011228915.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
前記撮像部のピッチ角およびロール角を検出する姿勢角センサと、
前記画像データを前記ピッチ角およびロール角に関連付けて画像保持部に記憶する記憶制御部と、
記憶された前記画像データの再生操作を受け付けると、前記撮像部の現在のピッチ角およびロール角と、前記記憶された画像データに関連付けられたピッチ角およびロール角とに基づいて、前記記憶された画像データから、現在のピッチ角およびロール角に対応した部分画像データを切り出す画像切出部と、
切り出された前記部分画像データをディスプレイに表示する表示制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記表示制御部は、前記撮像部の現在のピッチ角を基準とした、前記撮像部の現在のピッチ角と前記記憶された画像データに関連付けられたピッチ角との差分情報をディスプレイに表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶された画像データの任意の倍率での拡縮操作を受け付けると、前記画像切出部は、ピッチ角の変位角および切り出し対象の画角を前記任意の倍率で除算して部分画像データを切り出すことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部の方位角を検出する方位角センサをさらに備え、
前記画像切出部は、前記記憶された画像データの再生操作を受け付けたときの方位角から現在の方位角への変位角にも対応した部分画像データを切り出すことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記記憶制御部は、前記画像データを前記方位角、ピッチ角およびロール角に関連付けて画像保持部に記憶し、
前記画像切出部は、前記記憶された画像データの再生操作を受け付けると、前記撮像部の現在の方位角、ピッチ角およびロール角と、前記記憶された画像データに関連付けられた方位角、ピッチ角およびロール角とに基づいて、前記記憶された画像データから、現在の方位角、ピッチ角およびロール角に対応した部分画像データを切り出すことを特徴とする請求項４に記載の撮像装置。
【請求項６】
被写体を撮像して画像データを生成し、
前記画像データを姿勢角センサで検出されたピッチ角およびロール角に関連付けて画像保持部に記憶し、
記憶された前記画像データの再生操作を受け付けると、姿勢角センサで検出された現在のピッチ角およびロール角と、前記記憶された画像データに関連付けられたピッチ角およびロール角とに基づいて、前記記憶された画像データから、現在のピッチ角およびロール角に対応した部分画像データを切り出し、
切り出した前記部分画像データをディスプレイに表示することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部を通じて撮像した画像データを記憶し、記憶した画像データをディスプレイに表示可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
携帯電話やＰＤＡ（Personal Digital Assistant）といった携帯端末には情報を視覚的に提示するディスプレイが設けられている。ユーザは、このようなディスプレイを通じて、携帯端末内に記憶された情報や通信網から取得した情報を視認することができる。
【０００３】
このような携帯端末は、携帯性を高めたいというユーザの要望に応じ小型化および軽量化が進められ、それに伴ってディスプレイも小型化されている。このようなディスプレイの小型化に応じ、小さなディスプレイを表示窓として利用して大きなイメージを確認できる技術が公開されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８７４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、上述した携帯端末にも、デジタルスチルカメラやビデオカメラ同様、撮像機能が搭載され、撮像者は、本体に設けられたディスプレイを通じて、撮像した画像データを視認することができる。こうして、撮像者は、撮像した画像データをその場で確認して、撮像した画像データを保持するか否か決定でき、画像データが所望する状態で撮像されていなければ再度撮像を試みることも可能となる。
【０００６】
しかし、撮像機能を搭載した携帯端末を含むこれまでの撮像装置では、撮像した画像データをそのままディスプレイに表示するだけなので、その画像データがどのような姿勢状態で撮像されたのかを知ることができなかった。また、ディスプレイに複数のサムネイルを表示したり、上述した特許文献１の技術を利用してそのようなサムネイルの表示領域を仮想的に広げたりすることはできるが、画像データを予め定められた位置に固定的に表示していることに変わりなく、記憶した画像データをディスプレイに表示する際に撮像時の臨場感を得ることはできなかった。
【０００７】
そこで本発明は、撮像時の姿勢状態を、再生時の画像データの表示状態として反映させることで、撮像時の臨場感を再現することが可能な、撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像部と、撮像部のピッチ角およびロール角を検出する姿勢角センサと、画像データをピッチ角およびロール角に関連付けて画像保持部に記憶する記憶制御部と、記憶された画像データの再生操作を受け付けると、撮像部の現在のピッチ角およびロール角と、記憶された画像データに関連付けられたピッチ角およびロール角とに基づいて、記憶された画像データから、現在のピッチ角およびロール角に対応した部分画像データを切り出す画像切出部と、切り出された部分画像データをディスプレイに表示する表示制御部と、を備えることを特徴とする。
【０００９】
表示制御部は、撮像部の現在のピッチ角を基準とした、撮像部の現在のピッチ角と記憶された画像データに関連付けられたピッチ角との差分情報をディスプレイに表示してもよい。
【００１０】
記憶された画像データの任意の倍率での拡縮操作を受け付けると、画像切出部は、ピッチ角の変位角および切り出し対象の画角を任意の倍率で除算して部分画像データを切り出してもよい。
【００１１】
撮像装置は、撮像部の方位角を検出する方位角センサをさらに備え、画像切出部は、記憶された画像データの再生操作を受け付けたときの方位角から現在の方位角への変位角にも対応した部分画像データを切り出してもよい。
【００１２】
記憶制御部は、画像データを方位角、ピッチ角およびロール角に関連付けて画像保持部に記憶し、画像切出部は、記憶された画像データの再生操作を受け付けると、撮像部の現在の方位角、ピッチ角およびロール角と、記憶された画像データに関連付けられた方位角、ピッチ角およびロール角とに基づいて、記憶された画像データから、現在の方位角、ピッチ角およびロール角に対応した部分画像データを切り出してもよい。
【００１３】
上記課題を解決するために、本発明の撮像方法は、被写体を撮像して画像データを生成し、画像データを姿勢角センサで検出されたピッチ角およびロール角に関連付けて画像保持部に記憶し、記憶された画像データの再生操作を受け付けると、姿勢角センサで検出された現在のピッチ角およびロール角と、記憶された画像データに関連付けられたピッチ角およびロール角とに基づいて、記憶された画像データから、現在のピッチ角およびロール角に対応した部分画像データを切り出し、切り出した部分画像データをディスプレイに表示することを特徴とする。
【発明の効果】
【００１４】
以上説明したように本発明は、撮像時の姿勢状態を、再生時の画像データの表示状態として反映させることで、撮像時の臨場感を再現することが可能となる。したがって、撮像者は、ディスプレイを通じて撮像時の姿勢状態で画像データを視認でき、撮像時の臨場感を追体験することができる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置の概略的な構成を示した機能ブロック図である。
【図２】撮像部の姿勢角を定義するための外観斜視図である。
【図３】画像データの選択処理の一例を示した説明図である。
【図４】画像切出部の動作を説明するための説明図である。
【図５】画像切出部の動作を説明するための説明図である。
【図６】画像切出部の動作を説明するための説明図である。
【図７】表示制御部の動作の一例を説明するための説明図である。
【図８】拡縮操作を受け付けたときの画像切出部の動作を説明するための説明図である。
【図９】撮像方法の処理の流れを示すフローチャートである。
【図１０】撮像方法の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（撮像装置１００）
図１は、撮像装置１００の概略的な構成を示した機能ブロック図である。撮像装置１００は、操作部１１０と、撮像部１１２と、データ処理部１１４と、ディスプレイ１１６と、画像保持部１１８と、姿勢角センサ１２０と、方位角センサ１２２と、中央制御部１２４とを含んで構成される。撮像装置１００は、上記の構成を含む、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＤＡ、パーソナルコンピュータ、ゲーム機器等様々な電子機器に適用できる。
【００１８】
操作部１１０は、レリーズスイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、ディスプレイ１１６に重畳されたタッチパネル等で構成され、撮像者や観察者（撮像者と同一人物でもよい）の操作入力を受け付ける。本実施形態では、被写体を撮像する撮像操作を操作部１１０が受け付けることで動作モードが撮像モードに切り換わり、撮像後の画像データを再生する再生操作を受け付けることで動作モードが再生モードに切り換わる。また、撮像部１１２は、再生モードにおいて、撮像後の画像データをそのまま再生する通常再生操作や撮像時の姿勢状態を再現する再現再生操作を受け付けたり、撮像後の画像データを拡大または縮小する拡縮操作を受け付けたりする。
【００１９】
撮像部１１２は、撮像レンズ１１２ａと、焦点調整に用いられるフォーカスレンズ１１２ｂと、露光調整に用いられる絞り１１２ｃと、撮像レンズ１１２ａを通じて入射した入射光を電気データ（画像データ）に変換する撮像素子１１２ｄと、フォーカスレンズ１１２ｂ、絞り１１２ｃおよび撮像素子１１２ｄをそれぞれ駆動させる駆動部１１２ｅとを含んで構成され、撮像者による撮像操作を受け付け動作モードがそれまでのモードから撮像モードに切り換わると、後述する画像制御部１４０の制御指令に基づき、光軸方向に存在する被写体を撮像して画像データ（静止画および動画のいずれのデータも含む）を生成する。そして撮像部１１２は、生成した画像データをデータ処理部１１４に送信する。
【００２０】
データ処理部１１４は、動作モードが撮像モードである間、撮像部１１２から受信した画像データに、ガンマ補正、ニー処理等の所定の処理を施し、処理後の画像データを中央制御部１２４に送信する。
【００２１】
ディスプレイ（ビューファインダ）１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部１４４の制御指令に基づいて、データ処理部１１４から受信した画像データや画像保持部１１８に記憶された画像データ等を表示する。撮像者は、撮像モード中、ディスプレイ１１６に表示された画像を視認しつつ操作部１１０を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００２２】
画像保持部１１８は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ（Random Access Memory）等で構成され、後述する記憶制御部１４２の制御指令に基づいて、中央制御部１２４から送信された画像データを保持する。また、画像保持部１１８は、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に画像データを保持させる装置として構成されてもよい。このとき、画像データをＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化することもできる。
【００２３】
姿勢角センサ１２０は、加速度センサ等の慣性センサ、または、それに角速度センサ等を加えて構成され、撮像装置１００の特に撮像部１１２における姿勢角（ピッチ角θおよびロール角φ）を導出する。したがって、以下の説明では、撮像部１１２の姿勢に言及しているが、撮像部１１２の姿勢は当然撮像装置１００の姿勢と読み替えることができる。
【００２４】
図２は、撮像部１１２の姿勢角を定義するための外観斜視図である。撮像装置１００としての図２（ａ）に示すデジタルビデオカメラや図２（ｂ）に示すデジタルスチルカメラにおいて、撮像レンズ１１２ａの光軸を撮像部１１２のロール軸とし、そのロール軸の軸回りの角度をロール角φとする。また、ロール軸と垂直の軸であって本体側面方向に延びるピッチ軸の軸回りの角度をピッチ角θ、ロール軸と垂直の軸であって本体天面方向に延びるヨー軸の軸回りの角度を方位角ψとする。ここで、ピッチ角や方位角はチルト角やパン角と呼ぶ場合もある。
【００２５】
例えば、姿勢角センサ１２０が３軸の加速度センサで構成されている場合、ピッチ角θやロール角φは以下の様に導出される。すなわち、重力加速度をＧ、ロール軸方向の加速度の測定値をＧφとすると、ピッチ角θ＝ｃｏｓ―１（Ｇφ／Ｇ）となる。同様に、ピッチ軸方向の加速度の測定値をＧθとすると、ロール角φ＝ｃｏｓ―１（Ｇθ／Ｇ）となる。また、加速度センサは、ピッチ角θやロール角φの回転を伴わない直線的な加速度も感知してしまうので、そのような角速度を感知しない角速度センサや角加速度センサを併用し回転を伴わない加速度を排除して、ピッチ角θやロール角φを高精度に検出することもできる。
【００２６】
方位角センサ１２２は、地磁気センサや複数のＧＰＳ（Global Positioning System）素子等を用いて構成され、水平面上で撮像部１１２が向いている方位角ψを検出する。
【００２７】
中央制御部１２４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１００全体を管理および制御する。また、中央制御部１２４は、画像制御部１４０と、記憶制御部１４２と、表示制御部１４４と、画像切出部１４６としても機能する。
【００２８】
画像制御部１４０は、撮像者の操作入力に応じて撮像部１１２を制御する。例えば、画像制御部１４０は、適切な画像データが得られるように、フォーカスレンズ１１２ｂ、絞り１１２ｃ、撮像素子１１２ｄを駆動部１１２ｅに駆動させる。
【００２９】
記憶制御部１４２は、動作モードが撮像モードである間、データ処理部１１４から送信された画像データを画像保持部１１８に記憶する。このとき、記憶制御部１４２は、姿勢角センサ１２０から取得した、その画像データの撮像時点における撮像部１１２のピッチ角θ、ロール角φを画像データに関連付けて記憶する。ここで、ピッチ角θ、ロール角φは撮像部１１２の光軸の方向にあたり、光軸は、撮像された画像データの中心を直交する直線に相当する。したがって、ピッチ角θ、ロール角φが関連付けられた画像データは、ピッチ角θ、ロール角φを中心とした所定画角の画像データということになる。
【００３０】
表示制御部１４４は、動作モードが撮像モードである間、データ処理部１１４から受信した画像データをディスプレイ１１６に表示し、動作モードが再生モードである間、画像保持部１１８に記憶された画像データをディスプレイ１１６に表示する。また、操作部１１０を通じて再現再生操作を受け付けた場合、表示制御部１４４は、後述する画像切出部１４６が切り出した部分画像データをディスプレイ１１６に表示する。
【００３１】
また、再生モードにおいて、画像保持部１１８に複数の画像データが記憶されている場合、表示制御部１４４は、その複数の画像データから１の画像データを観察者に選択させるための案内を行う。
【００３２】
図３は、画像データの選択処理の一例を示した説明図である。画像保持部１１８に複数の画像データが記憶されている場合、表示制御部１４４は、まず、その複数の画像データを縮小した所謂サムネイル１５８を図３（ａ）のように配列する。そして、観察者が操作部１１０を通じて、複数のサムネイル１５８から１のサムネイル１５８を選択すると、その選択されたサムネイル１５８に対応する画像データ１６０を図３（ｂ）のようにディスプレイ１１６に表示する。
【００３３】
画像切出部１４６は、画像データ１６０の再生操作を受け付けて動作モードが再生モードとなり、かつ、再現再生操作を受け付けると、画像保持部１１８に記憶された１の画像データ１６０から、現在のピッチ角θおよびロール角φに対応した部分画像データを切り出す。
【００３４】
図４〜図６は、画像切出部１４６の動作を説明するための説明図である。ここでは、図４、５を用いて、画像保持部１１８に記憶された画像データ１６０をどのように切り出すのかを、画像データ１６０を基準に説明し、図６を用いて、実際に画像データ１６０をどのように幾何学変換して、所望する部分画像データを生成するのかを、ディスプレイ１１６を基準に説明する。ここでは、画像保持部１１８に記憶された画像データ１６０のピッチ角をθ０、ロール角をφ０とし、方位角に関しては、画像データ１６０の再生操作を受け付けたときの方位角をψｒとする。また、撮像部１１２の現在の方位角をψ、ピッチ角をθ、ロール角をφとする。したがって、再生モードにおいて、方位角ψｒ、ピッチ角θ０、ロール角φ０は固定値だが、方位角ψ、ピッチ角θ、ロール角φは変動値である。
【００３５】
まず、本実施形態の理解を容易にするため、画像データ１６０と仮想空間について説明する。例えば、図４（ａ）に示す実際に存在する三次元空間において、撮像部１１２がピッチ角θ０、ロール角φ０の姿勢状態であるときに任意の被写体を撮像したとする。その後、その撮像した画像データ１６０を再生すると、図４（ｂ）の如く、実際に存在する三次元空間と異なる仮想空間のピッチ角θ０およびロール角φ０の位置に、その画像データ１６０が配置される。かかる仮想空間は、実際に存在する三次元空間の任意の方向に撮像部１１２を向けたときディスプレイ１１６を通じて視認される疑似的な空間をいう。しかし、本実施形態では、そのような仮想空間を実際に形成するわけではなく、ディスプレイ１１６への表示を工夫して、あたかも仮想空間が存在するように観察者に知覚させているに過ぎない。
【００３６】
このとき撮像装置１００のディスプレイ１１６は、画像データ１６０が配置された仮想空間を覗き込んだかのように知覚させる表示窓として機能する。したがって、撮像部１１２を動かし方位角ψ、ピッチ角θ、ロール角φを変化させると、その角度に対応した仮想空間上の画像が実在するかのようにディスプレイ１１６に表示され（ここでは、画像データ１６０以外の部分は特定の色（例えば黒）で示される。）、撮像部１１２の現在の方位角ψと再生操作を受け付けたときの方位角ψｒとが等しく、かつ、撮像部１１２の現在のピッチ角θ、ロール角φと、画像データ１６０のピッチ角θ０、ロール角φ０とが等しくなったときに、はじめてディスプレイ１１６全体に画像データ１６０が表示されることとなる。
【００３７】
次に、画像保持部１１８に記憶された画像データ１６０をどのように切り出すのかを具体的に説明する。図５（ａ）に示した、画像保持部１１８に記憶された画像データ１６０がピッチ角θ０、ロール角φ０で撮像された画像データ１６０であると仮定した場合に、再生操作を受け付けたときの方位角ψｒより変位角Δψ（ψ−ψｒ）分、撮像部１１２をヨー軸回りに回転すると、撮像部１１２が、仮想空間における画像データ１６０からΔψ回動したように表示され、ディスプレイ１１６には、画像データ１６０のうち図５（ｂ）に斜線で示した部分画像データ１６２しか表示されないこととなる。
【００３８】
さらに、撮像部１１２が画像データ１６０のピッチ角θ０より変位角Δθ（θ―θ０）分、ピッチ軸回りに回転すると、撮像部１１２が、固定配置された画像データ１６０からΔθ回動したこととなり、ディスプレイ１１６には、図５（ｃ）に斜線で示した、図５（ｂ）より小さい部分画像データ１６２しか表示されないこととなる。さらに、撮像部１１２が画像データ１６０のロール角φ０より変位角Δφ（φ―φ０）分、ピッチ軸回りに回転すると、撮像部１１２が、固定配置された画像データ１６０からΔφ回動したこととなり、ディスプレイ１１６には、図５（ｄ）に斜線で示した部分画像データ１６２が表示される。
【００３９】
続いて、ディスプレイ１１６を基準に、そのディスプレイ１１６に表示する部分画像データ１６２をどのように切り出すかを検討する。画像切出部１４６は、撮像部１１２の現在の方位角ψ、ピッチ角θ、ロール角φから、再生操作を受け付けたときの方位角ψｒ、画像データ１６０のピッチ角θ０、ロール角φ０を減算した変位角Δψ、Δθ、Δφを求め、その順に画像データ１６０を座標変換する。
【００４０】
まず、画像切出部１４６は、図６（ａ）に示す画像データ１６０を、方位角の変位角Δψを符号反転した−Δψ分だけ移動する。−Δψは、水平画素総数Ｈｉｍｇ／水平撮像画角Ｈａｎｇを乗じることで画素の数として表すことができる。したがって、当該−Δψ回転による画像データ１６０は、数式１のように座標変換される。ここで、（Ｘｏ、Ｙｏ）は、座標変換後の画像データ１６０の画素の座標であり、（Ｘｉ、Ｙｉ）は、座標変換前の画像データ１６０の画素の座標である。こうして、図６（ｂ）の如く、画像データ１６０を−Δψに相当する画素分だけ移動することができる。
【数１】
2011228915.tif 000003
…（数式１）
【００４１】
同様に、画像切出部１４６は、図６（ｂ）に示す画像データ１６０を、ピッチ角の変位角Δθを符号反転した−Δθ分だけ移動する。−Δθは、垂直画素総数Ｖｉｍｇ／垂直撮像画角Ｖａｎｇを乗じることで画素の数として表すことができる。したがって、当該−Δθ回転による画像データ１６０は、数式２のように座標変換される。ここでも、（Ｘｏ、Ｙｏ）は、座標変換後の画像データ１６０の画素の座標であり、（Ｘｉ、Ｙｉ）は、座標変換前の画像データ１６０の画素の座標である。こうして、図６（ｃ）の如く、画像データ１６０をさらに−Δθに相当する画素分だけ移動することができる。
【数２】
2011228915.tif 000004
…（数式２）
【００４２】
最後に、画像切出部１４６は、図６（ｃ）に示す画像データ１６０を、ロール角の変位角Δφを符号反転した−Δφで回転する。かかる−Δφの回転には、例えば数式３に示すアファイン変換等を用いる。こうして、図６（ｄ）の如く、画像データ１６０を−Δφに相当する画素分だけ回転することができる。
【数３】
2011228915.tif 000005
…（数式３）
【００４３】
このとき、図６（ｄ）において、画像データ１６０のうち、ディスプレイ１１６への表示範囲に相当する所定の座標範囲にある、図６（ｄ）に斜線で示した部分画像データ１６２のみがディスプレイ１１６に表示される。部分画像データ１６２の表示態様は、当然図５（ｄ）と等しくなる。ここでは、変位角Δψ、Δθ、Δφの順で画像データ１６０の座標変換を行ったが、かかる場合に限られず、任意の順で座標変換を行うことができる。
【００４４】
画像切出部１４６は、このような部分画像データ１６２の切り出しを、画像データ１６０の再生操作を受け付け、かつ、再現再生操作を受け付けている間、継続して行い、撮像部１１２の姿勢が変化する度に、切り出し範囲を再計算し、切り出した部分画像データ１６２を表示制御部１４４に送信する。
【００４５】
以上のように本実施形態の撮像装置１００では、記憶制御部１４２によってデータ処理部１１４から送信された画像データに撮像時の姿勢状態を関連付けて保持し、記憶された画像をディスプレイ１１６に表示する際、その撮像時の姿勢状態、特に撮像時のピッチ角θやロール角φに基づいて、画像切出部１４６が部分画像データを切り出して表示することで、観察者は撮像時の臨場感を追体験することができる。
【００４６】
また、画像切出部１４６が、撮像装置１００の姿勢が変更される度に、その変更されたピッチ角θやロール角φに基づいて切り出しする部分画像データを再計算することで、すなわち、撮像装置１００の姿勢が変更された分、画像データを逆方向に移動させ画像データ自体の移動量を相殺することで、画像データが仮想空間にあたかも固定的に配置されているかのように観察者に知覚させることができ、ディスプレイ１１６をその画像データを閲覧するための表示窓として利用することが可能となる。
【００４７】
ところで、上述した実施形態では、ピッチ角θとロール角φのみに関して撮像時の姿勢状態（ピッチ角θ０、ロール角φ０）を再現するようにし、方位角ψに関しては、撮像部１１２が再生操作を受け付けたときの方位角ψｒを基準としているが、方位角ψの姿勢状態（方位角ψ０）も再現の対象とすることができる。
【００４８】
この場合、記憶制御部１４２は、ピッチ角θ、ロール角φに加えて方位角ψも画像データに関連付けて画像保持部１１８に記憶し、画像切出部１４６は、記憶された画像データの再生操作を受け付けると、撮像部１１２の現在の方位角ψ、ピッチ角θおよびロール角φと、記憶された画像データに関連付けられた方位角ψ０、ピッチ角θ０およびロール角φ０とに基づいて、すなわち、ΔθやΔφ同様、現在の方位角ψと画像データの方位角ψ０との変位角Δψを求めて、記憶された画像データから、現在の方位角ψ、ピッチ角θおよびロール角φに対応した部分画像データを切り出す。
【００４９】
このように、撮像時の姿勢状態として方位角ψ０までも、再生時の画像データの表示状態として反映させることで、観察者は、撮像時の方位および姿勢状態に基づいて画像切出部１４６により切り出され、ディスプレイ１１６に表示された画像データを視認でき、撮像時の臨場感をより詳細に追体験することが可能となる。
【００５０】
また、すべての方位の画像を一度に撮像する全方位カメラ等を採用する場合であっても、全方位を撮像するための個々の撮像部１１２それぞれについて方位角ψ０を特定することができるので、個々の撮像部１１２で撮像された画像データそれぞれにその方位角ψ０が関連付けられる。
【００５１】
本実施形態の撮像装置１００では、画像保持部１１８に保持された画像データは、撮像時の姿勢状態を再現する再現再生モードで表示する場合には、撮像部１１２の現在の方位角ψ、ピッチ角θおよびロール角φと、画像データに関連付けられた方位角ψ０、ピッチ角θ０およびロール角φ０とが等しいときにディスプレイ１１６全体に画像データが表示される。しかし、観察者が撮像時の状況を知らないまたは覚えていないとき、その画像データがどのような姿勢状態で撮像されたのか解りづらい場合もある。そこで、表示制御部１４４は、その画像データが撮像された姿勢（状態）が解るように、観察者を誘導する。
【００５２】
図７は、表示制御部１４４の動作の一例を説明するための説明図である。表示制御部１４４は、撮像部１１２の現在の方位角ψ、ピッチ角θを基準とした、現在の方位角ψ、ピッチ角θと画像データに関連付けられた方位角ψ０、ピッチ角θ０との差分情報をディスプレイ１１６に表示する。
【００５３】
例えば、図７（ａ）に示すように、画像データ１６０が仮想空間に配置されているかの如く知覚される位置（方位角ψ０、ピッチ角θ０）より撮像部１１２の光軸がΔθ＝１０°下方に向いているとき、撮像部１１２を１０°上方に回転すれば、画像データ１６０全体がディスプレイ１１６に表示されることとなる。したがって、表示制御部１４４は、ディスプレイ１１６に、その画像データ１６０を視認するためにはどの方向に撮像部１１２を向ければよいかの指標を表示する。例えば、その回転方向のみを表示する場合、表示制御部１４４は、図７（ｂ）に示すように撮像部１１２を上方に回転するように促す矢印１６４を表示する。
【００５４】
また、回転方向のみならず、表示制御部１４４は、図７（ｃ）のように方向や差分角度といった差分情報をテキスト１６６で示すこともできる。このとき方位角ψに関しても観察者への誘導を行う場合、図７（ｄ）のように、方位角ψについても回転を促す矢印１６４やテキスト１６６を示すことも可能である。また、ロール角φに関しては、方位角ψやピッチ角θによって部分画像データ１６２がディスプレイ１１６に表示された後、その表示された部分画像データのロール軸回りの回転具合によって調整できるので、ここでは、その表示を行わなくてもよい。
【００５５】
このようにして、撮像された方位角ψおよびピッチ角θに基づいて撮像部１１２が向くべき方向を観察者に示すことで、観察者は、簡易な表示を通じてその方向を感覚的にかつ確実に把握でき、所望する画像データを迅速に表示することが可能となる。
【００５６】
また、画像保持部１１８に記憶された画像データの任意の倍率での拡縮操作（電子ズーム）を受け付けると、画像切出部１４６は、ピッチ角および方位角の変位角ならびに切り出し対象の画角を任意の倍率で除算して部分画像データを切り出す。ここで、方位角およびピッチ角の変位角は、拡縮操作を受け付けた時点の方位角（基準方位角）ψｂおよびピッチ角（基準ピッチ角）θｂを基準とした、方位角ψｂおよびピッチ角θｂと現在の方位角ψおよびピッチ角θとの差分をいい、切り出し対象の画角は、撮像時の水平撮像画角Ｈａｎｇおよび垂直撮像画角Ｖａｎｇをいう。
【００５７】
図８は、拡縮操作を受け付けたときの画像切出部１４６の動作を説明するための説明図である。例えば、画像データ１６０に関連付けられた方位角ψ０、ピッチ角θ０、ロール角φ０がすべて０°であると仮定し、図８（ａ）に示すように、観察者が撮像部１１２を下方１０°に傾けると、ディスプレイ１１６には図８（ｂ）のような部分画像データ１６２が表示される。
【００５８】
ここで、観察者により画像データ１６０の任意の倍率（例えば２倍）による拡縮操作を受け付けると、画像切出部１４６は、その拡縮操作に基づいて、拡縮操作を受け付けたときのピッチ角θである１０°を基準ピッチ角θｂとして（このとき基準方位角ψｂは０°である。）、画像データ１６０をその拡大操作における任意の倍率（例えば２倍）で表示する。これは、元となる画像データ１６０の水平撮像画角Ｈａｎｇが４０°、垂直撮像画角Ｖａｎｇが３０°であった場合に、ディスプレイ１１６に表示する画像データ１６０の水平画角と垂直画角を水平撮像画角Ｈａｎｇ、垂直撮像画角Ｖａｎｇの１／２、すなわち２０°と１５°としたことに相当する。したがって、ディスプレイ１１６には、図８（ｃ）のように、画像データ１６０の方位角０°、ピッチ角１０°の位置を切出中心とする水平画角２０°、垂直画角１５°の部分画像データ１６２が表示されることとなる。
【００５９】
そして、観察者が、撮像装置１００をピッチ軸回りに上下に回転すると、画像切出部１４６は、基準ピッチ角θｂ（１０°）から現在のピッチ角θまでの変位角を任意の倍率（例えば２倍）で除算した角度を基準ピッチ角θｂに加算したピッチ角に対応した部分画像データ１６２を切り出す。例えば、基準ピッチ角θｂである１０°からピッチ軸回りに−１０°回転した場合、図８（ｄ）のように、ピッチ角（変位角−１０°／倍率２＋基準ピッチ角１０°）＝５°の位置を切出中心とする水平画角２０°、垂直画角１５°の部分画像データ１６２が表示される。ここでは、説明の便宜上、ピッチ角θに言及して説明したが、方位角ψに関しても同様の処理で拡大または縮小処理できることは言うまでもない。こうして、観察者は、見かけ上任意の倍率で拡大または縮小した画像データ１６０をディスプレイ１１６を通じて閲覧することができる。さらに、観察者は、撮像部１１２の方向を変更することで、拡大または縮小された画像データ１６０の所望する位置の画像を確認することが可能となる。
【００６０】
（撮像方法）
次に、上述した撮像装置１００を用いた撮像方法について説明する。図９および図１０は、撮像方法の処理の流れを示すフローチャートである。特に図９は、撮像モードにおける処理を、図１０は再生モードにおける処理を示している。
【００６１】
図９において、撮像者による撮像操作を受け付けると（Ｓ２００におけるＹＥＳ）、姿勢角センサ１２０は、ピッチ角θとロール角φを導出し（Ｓ２０２）、方位角センサ１２２は、方位角ψを導出する（Ｓ２０４）。そして、撮像部１１２は、被写体を撮像して画像データを生成し（Ｓ２０６）、記憶制御部１４２は、撮像部１１２で生成された画像データを撮像部１１２の方位角ψ、ピッチ角θ、ロール角φと関連付けて画像保持部１１８に記憶する（Ｓ２０８）。このような処理を撮像操作が停止される（Ｓ２００におけるＮＯ）まで繰り返す。
【００６２】
図１０において、観察者による再生操作を受け付けると（Ｓ２５０におけるＹＥＳ）、ディスプレイ１１６に表示する画像データが選択されているか否か判定され（Ｓ２５２））、まだ選択されていない場合（Ｓ２５２におけるＮＯ）、表示制御部１４４は、図３（ａ）のように配列されたサムネイル１５８を表示して、観察者による１の画像データの選択を促す（Ｓ２５４）。観察者により１の画像データが選択されると（Ｓ２５２におけるＹＥＳ）、その選択された１の画像データの表示が開始される。
【００６３】
ここでは、まず、操作部１１０が、撮像時の姿勢状態を再現する再現再生操作を受け付けたか否か判定され（Ｓ２５６）、再現再生操作が受け付けられていれば（Ｓ２５６におけるＹＥＳ）、姿勢角センサ１２０が、ピッチ角θとロール角φを導出し（Ｓ２５８）、方位角センサ１２２が、方位角ψを導出する（Ｓ２６０）。そして、画像切出部１４６は、導出された方位角ψ、ピッチ角θ、ロール角φと、選択された１の画像データに関連付けられた方位角ψ０、ピッチ角θ０、ロール角φ０とに基づいて、画像保持部１１８に記憶された画像データから、導出された方位角ψ、ピッチ角θ、ロール角φに対応した部分画像データを切り出し（Ｓ２６２）、表示制御部１４４は、切り出された部分画像データをディスプレイ１１６に表示する（Ｓ２６４）。
【００６４】
また、再現再生操作が受け付けられていなければ（Ｓ２５６におけるＮＯ）、選択された１の画像データをそのままディスプレイ１１６に表示する（Ｓ２６６）。このような処理を再生操作が停止される（Ｓ２５０におけるＮＯ）まで繰り返す。したがって、観察者は、撮像装置１００を任意の方向に回転することで、あたかも、仮想空間に配置された画像データをディスプレイ１１６を通じて覗いているような感覚になる。
【００６５】
かかる撮像方法においても、記憶制御部１４２によって撮像時の姿勢状態を保持し、その撮像時の姿勢状態、特に撮像時の方位角ψ、ピッチ角θ、ロール角φに基づいて画像切出部１４６が撮像された画像データを切り出すことで、撮像時の臨場感を再現することが可能となる。したがって、観察者は、ディスプレイ１１６を通じて撮像時の姿勢状態で画像データを視認でき、撮像時の臨場感を追体験することができる。
【００６６】
また、画像切出部１４６が、撮像装置１００の姿勢が変更される度に、その変更された方位角ψ、ピッチ角θ、ロール角φに基づいて切り出しする部分画像データを再計算することで、すなわち、撮像装置１００の姿勢が変更された分、画像データを逆方向に移動させ画像データ自体の移動量を相殺することで、画像データがあたかも仮想空間に配置されているかのように観察者に知覚させることができ、ディスプレイ１１６をその画像データを閲覧するための表示窓として利用することが可能となる。
【００６７】
ここでは、自らが主体的に撮像した画像データに姿勢状態を関連付け、撮像された画像データをその姿勢状態で閲覧することができるので、撮像者である観察者は、その画像データを撮像するに至った経緯等を含むさらなる臨場感を得ることができる。
【００６８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６９】
例えば、上述した実施形態においては、方位角ψ、ピッチ角θ、ロール角φといった撮像装置１００の姿勢を挙げて説明しているが、さらに高度や平面位置（経度、緯度）といった撮像装置１００の空間的位置もパラメータとして含め、高度や平面位置の再現性を高めることも可能である。
【００７０】
なお、本明細書の撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７１】
本発明は、撮像部を通じて撮像した画像データを記憶し、記憶した画像データをディスプレイに表示可能な撮像装置および撮像方法に利用することができる。
【符号の説明】
【００７２】
１００  …撮像装置
１１２  …撮像部
１１８  …画像保持部
１２０  …姿勢角センサ
１２２  …方位角センサ
１４０  …画像制御部
１４２  …記憶制御部
１４４  …表示制御部
１４６  …画像切出部
【図１】
2011228915.tif 000006
【図２】
2011228915.tif 000007
【図３】
2011228915.tif 000008
【図４】
2011228915.tif 000009
【図５】
2011228915.tif 000010
【図６】
2011228915.tif 000011
【図７】
2011228915.tif 000012
【図８】
2011228915.tif 000013
【図９】
2011228915.tif 000014
【図１０】
2011228915.tif 000015