(57)【要約】【課題】  三次元の仮想空間のオブジェクトを観察するときに、視点位置をより直感的な操作で切り替えることができる画像表示装置を提供する。【解決手段】  画像表示装置は、画像取得部と、表示制御部と、装置の姿勢の変化を検出する姿勢検出部とを備える。画像取得部は、三次元のオブジェクトを所定の視点位置で観察した状態に対応する表示画像を取得する。表示制御部は、表示画像を表示装置に表示させる。そして、画像取得部は、姿勢の変化が検出されたときに、視点位置を姿勢の変化する方向に追従するようにシフトさせて表示画像を再取得する。【選択図】  図１
2011227759.tif 000002
【特許請求の範囲】
【請求項１】
三次元のオブジェクトを所定の視点位置で観察した状態に対応する表示画像を取得する画像取得部と、
前記表示画像を表示装置に表示させる表示制御部と、
装置の姿勢の変化を検出する姿勢検出部と、を備え、
前記画像取得部は、前記姿勢の変化が検出されたときに、前記視点位置を前記姿勢の変化する方向に追従するようにシフトさせて前記表示画像を再取得する画像表示装置。
【請求項２】
請求項１に記載の画像表示装置において、
前記画像取得部は、三次元のオブジェクトを所定の視点位置で観察した状態に対応する二次元画像を前記表示画像として取得する画像表示装置。
【請求項３】
請求項１または請求項２に記載の画像表示装置において、
撮影光学系を介して被写体の像を撮像する撮像部をさらに備え、
前記画像取得部は、前記撮影光学系の光軸を基準として前記視点位置を設定する画像表示装置。
【請求項４】
請求項３に記載の画像表示装置において、
前記画像取得部は、前記撮像部のズーム状態に応じて、前記表示画像での前記オブジェクトの拡大倍率を変更する画像表示装置。
【請求項５】
請求項３または請求項４に記載の画像表示装置において、
前記表示制御部は、前記表示画像の表示のときに、画面上の位置を指定するポインタを表示し、
前記画像取得部は、前記表示画像上で前記ポインタにより指定された位置を基準として、前記表示画像の拡大または回転を行う画像表示装置。
【請求項６】
請求項１から請求項５のいずれかに記載の画像表示装置において、
装置の現在位置の座標を取得する現在位置取得部と、
観察対象の方位を検出する方位検出部と、
前記観察対象との距離を求める距離取得部と、をさらに備え、
三次元のオブジェクトの情報が位置座標と対応付けされているときに、前記画像取得部は、前記現在位置の座標、前記方位、前記距離を用いて前記観察対象の位置座標を求め、前記観察対象の位置座標に対応する前記三次元のオブジェクトの情報から前記表示画像を取得する画像表示装置。
【請求項７】
三次元のオブジェクトを所定の視点位置で観察した状態に対応する表示画像を取得する処理と、
前記表示画像を表示装置に表示させる処理と、
装置の姿勢の変化を検出する処理と、
前記姿勢の変化が検出されたときに、前記視点位置を前記姿勢の変化する方向に追従するようにシフトさせて前記表示画像を再取得する処理と、をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、三次元の仮想空間のオブジェクトをモニタに表示する技術が種々提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-211423
【発明の概要】
【発明が解決しようとする課題】
【０００４】
三次元の仮想空間のオブジェクトを画像表示装置で観察するときに、視点位置をより直感的な操作で切り替えることのできるユーザインタフェースが要望されている。
【０００５】
上記事情に鑑み、三次元の仮想空間のオブジェクトを観察するときに、視点位置をより直感的な操作で切り替えることができる画像表示装置を提供する。
【課題を解決するための手段】
【０００６】
一の態様の画像表示装置は、画像取得部と、表示制御部と、装置の姿勢の変化を検出する姿勢検出部とを備える。画像取得部は、三次元のオブジェクトを所定の視点位置で観察した状態に対応する表示画像を取得する。表示制御部は、表示画像を表示装置に表示させる。そして、画像取得部は、姿勢の変化が検出されたときに、視点位置を姿勢の変化する方向に追従するようにシフトさせて表示画像を再取得する。
【０００７】
上記の一の態様において、画像取得部は、三次元のオブジェクトを所定の視点位置で観察した状態に対応する二次元画像を表示画像として取得してもよい。
【０００８】
上記の一の態様の画像表示装置は、撮影光学系を介して被写体の像を撮像する撮像部をさらに備えていてもよい。また、画像取得部は、撮影光学系の光軸を基準として視点位置を設定してもよい。さらに、画像取得部は、撮像部のズーム状態に応じて、表示画像でのオブジェクトの拡大倍率を変更してもよい。
【０００９】
また、表示制御部は、表示画像の表示のときに、画面上の位置を指定するポインタを表示してもよい。そして、画像取得部は、表示画像上でポインタにより指定された位置を基準として、表示画像の拡大または回転を行うようにしてもよい。
【００１０】
また、上記の一の態様の画像表示装置は、装置の現在位置の座標を取得する現在位置取得部と、観察対象の方位を検出する方位検出部と、観察対象との距離を求める距離取得部とをさらに備えていてもよい。そして、三次元のオブジェクトの情報が位置座標と対応付けされているときに、画像取得部は、現在位置の座標、観察対象の方位、観察対象との距離を用いて観察対象の位置座標を求め、観察対象の位置座標に対応する三次元のオブジェクトの情報から表示画像を取得してもよい。
【００１１】
また、上記した一の態様の画像表示装置での各動作をコンピュータによる画像表示方法として表現する態様や、コンピュータを一の態様の画像表示装置として機能させるプログラムや、このプログラムを記憶したプログラム記憶媒体の構成も、本発明の具体的態様として有効である。
【発明の効果】
【００１２】
本発明によれば、装置の姿勢の変化を検出したときに、視点位置を姿勢の変化する方向に追従するようにシフトさせて表示画像を取得し、視点位置をより直感的な操作で切り替えることができる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態の画像表示装置の構成例を示すブロック図
【図２】一実施形態での三次元オブジェクトの表示動作例を示す流れ図
【図３】仮想空間上での三次元オブジェクトおよび視点位置の関係例を示す模式図
【図４】（ａ）〜（ｃ）：電子カメラを左方向に振った場合の投影画像の変化例を示す図
【図５】（ａ）〜（ｃ）：電子カメラを下方向に振った場合の投影画像の変化例を示す図
【図６】（ａ）：投影画像上にフォーカスセレクタを重畳表示した例を示す図、（ｂ）：図６（ａ）のフォーカスセレクタを基準として投影画像を拡大表示した例を示す図、（ｃ）：図６（ａ）のフォーカスセレクタを基準として投影画像を回転させて表示した例を示す図
【発明を実施するための形態】
【００１４】
＜画像表示装置の構成例＞
図１は、一実施形態の画像表示装置を含む電子カメラの構成例を示すブロック図である。ここで、一実施形態の画像表示装置は、コンピュータ等で予め生成された三次元のオブジェクトのモデリングデータを読み込んで、上記のオブジェクトの二次元の投影画像を表示する機能を有している。
【００１５】
一実施形態の電子カメラ１は、撮影レンズ１１と、撮像部１２と、カメラマイコン１３と、記録Ｉ／Ｆ１４と、モニタ１５と、姿勢検出部１６と、メモリ１７と、現在位置取得部１８と、方位検出部１９と、距離取得部２０と、レリーズ釦２１と、ズームスイッチ２２と、選択釦２３とを有している。ここで、撮像部１２、記録Ｉ／Ｆ１４、モニタ１５、姿勢検出部１６、メモリ１７、現在位置取得部１８、方位検出部１９、距離取得部２０、レリーズ釦２１、ズームスイッチ２２、選択釦２３は、それぞれカメラマイコン１３と接続されている。
【００１６】
撮影レンズ１１は、ズームレンズ、フォーカシングレンズを含む複数のレンズで構成されている。撮影レンズ１１の各レンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮影レンズ１１を１枚のレンズとして図示する。
【００１７】
撮像部１２は、撮影レンズ１１によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１２は、光電変換を行う撮像素子と、Ａ／Ｄ変換および各種の画像処理を行う画像処理回路とを含んでいる。
【００１８】
カメラマイコン１３は、電子カメラ１の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１３は、撮影の際に公知のオートフォーカス制御や自動露出制御を実行する。なお、カメラマイコン１３は、後述のフォーカスセレクタで指定された被写体に合焦するように撮影時にオートフォーカス制御を行ってもよい。
【００１９】
また、カメラマイコン１３は、プログラムの実行により、画像取得部３１、表示制御部３２として機能する。
【００２０】
画像取得部３１は、上記の三次元のオブジェクトのモデリングデータを用いて、二次元の投影画像を取得する。この投影画像は、所定の視点位置（投影中心）を基準とする投影面に、仮想空間内の三次元のオブジェクトを投影して観察した画像である。なお、一実施形態では、撮影レンズ１１の光軸を基準として、仮想空間のオブジェクトに対する視点位置が設定される。
【００２１】
表示制御部３２は、モニタ１５に対して表示対象の画像（投影画像など）のデータを出力するとともに、モニタ１５での画像の表示状態を制御する。
【００２２】
記録Ｉ／Ｆ１４は、不揮発性の記憶媒体３３を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１４は、コネクタに接続された記憶媒体３３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体３３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。図１では記憶媒体３３の一例としてメモリカードを図示する。なお、三次元のオブジェクトのモデリングデータは、記憶媒体３３に記録されていてもよい。
【００２３】
モニタ１５は、表示制御部３２の指示に応じて各種画像を表示する。なお、一実施形態でのモニタ１５は、例えば、電子カメラ１の筐体背面に配置される液晶表示パネルで構成される（図３参照）。
【００２４】
姿勢検出部１６は、電子カメラ１の姿勢（撮影レンズ１１の光軸を基準とする電子カメラ１のヨー、ピッチ、ローリング方向の角度）の変化を検出する。例えば、姿勢検出部１６は、重力加速度（静的加速度）の計測に対応した公知の３軸加速度センサで構成される。
【００２５】
メモリ１７は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。このメモリ１７には、カメラマイコン１３によって実行されるプログラムや、三次元オブジェクトのデータが記憶される。このプログラムによる表示モードでの動作例については後述する。なお、三次元のオブジェクトのモデリングデータは、予めメモリ１７に記録されていてもよい。
【００２６】
現在位置取得部１８は、電子カメラ１の現在位置の緯度、経度、高度を含む座標情報を取得する。一例として、現在位置取得部１８は、ＧＰＳ（Global Positioning System：全地球測位システム）による公知の測位装置で構成される。
【００２７】
方位検出部１９は、撮影レンズ１１を向けている観察対象の方位を検出する。例えば、方位検出部１９は、互いに直交する方向の地磁気成分を検出する３軸の磁気センサを有している。そして、方位検出部１９は、各磁気センサによる磁界検出値から、撮影レンズ１１の光軸の向きを検出する。
【００２８】
距離取得部２０は、観察対象との距離を求める。例えば、距離取得部２０は、観察対象で反射したレーザ光を受光することで観察対象との距離を測定するレーザ距離計である。
【００２９】
レリーズ釦２１は、撮像部１２に対して画像の撮像指示を受け付けるスイッチである。また、ズームスイッチ２２は、ズームレンズの移動による光学的なズーム操作や、画像の解像度変更による電子的なズーム操作を受け付けるスイッチである。また、選択釦２３は、例えば十字キーであって、ユーザの選択操作を受け付けるスイッチである。例えば、選択釦２３は、撮影時に撮影画面内で合焦させるべき位置（フォーカスエリア）を示すポインタ（フォーカスセレクタ）を移動させる操作に用いられる。
【００３０】
次に、図２の流れ図を参照しつつ、一実施形態の電子カメラにおける三次元オブジェクトの表示動作例を説明する。ここで、図２の流れ図の処理は、ユーザからのプログラム起動指示に応じて開始される。
【００３１】
ステップ＃１０１：画像取得部３１は、三次元オブジェクトのモデリングデータを記憶媒体３３またはメモリ１７から読み込む。
【００３２】
ここで、三次元のオブジェクトのモデリングデータが位置座標と対応付けされた状態で複数存在する場合（例えば、実在する建造物のモデリングデータと、その建造物の位置座標が対応付けされたデータベースがある場合）、＃１０１での画像取得部３１は、電子カメラ１が向けられている観察対象に対応するモデリングデータを読み込むようにしてもよい。
【００３３】
このとき、画像取得部３１は、電子カメラ１の現在位置の座標情報、観察対象の方位、観察対象との距離をそれぞれ取得する。次に、画像取得部３１は、上記の各情報から観察対象の位置座標を求める。そして、画像取得部３１は、モデリングデータ側の位置座標と演算で求めた位置座標とのマッチングを行い、両者の座標のズレが閾値の範囲内に収まるモデリングデータを観察対象として読み出せばよい。
【００３４】
ステップ＃１０２：画像取得部３１は、初期状態の視点位置を設定する。
【００３５】
一例として、画像取得部３１は、姿勢検出部１６から電子カメラ１の現時点での姿勢情報を取得する。そして、画像取得部３１は、現時点での電子カメラ１のヨー角を、仮想空間における三次元モデルの正面に対応付けする。また、画像取得部３１は、水平面に対する電子カメラ１のピッチ角に応じて、仮想空間での視点位置を上下方向にシフトさせる。また、画像取得部３１は、電子カメラ１のローリング角に応じて、表示画像の投影面を回転させる。さらに、画像取得部３１は、表示画像の表示倍率を拡大なしの状態に設定する。なお、画像取得部３１は、電子カメラ１の姿勢の変化を検出するために、＃１０２で検出した電子カメラ１の姿勢情報をメモリ１７に記憶する。
【００３６】
ここで、図３は、仮想空間上での三次元オブジェクトおよび視点位置の関係例を模式的に示している。なお、以下の説明では、初期状態の視点位置は、仮想空間でのオブジェクトの正面に投影面が正対する位置である場合を説明する。
【００３７】
ステップ＃１０３：画像取得部３１は、現時点の視点位置を基準して仮想空間上に投影面を設定し、この投影面に三次元オブジェクトを投影した投影画像を生成する。例えば、画像取得部３１は、モデリングデータに公知の幾何学変換を施して投影画像を生成すればよい。
【００３８】
ステップ＃１０４：表示制御部３２は、＃１０３の処理によって取得された投影画像をモニタ１５に表示させる。なお、カメラマイコン１３は、レリーズ釦２１の押圧に応じて、現在表示されている投影画像の視点位置を示す注目情報を生成してもよい。この注目情報を用いれば、三次元オブジェクトを表示するときに、好ましいアングルで投影画像を生成することも可能となる。
【００３９】
ステップ＃１０５：画像取得部３１は、電子カメラ１の姿勢（ヨー角、ピッチ角、ローリング角）に変化があるか否かを判定する。一例として、画像取得部３１は、姿勢検出部１６から取得した姿勢情報とメモリ１７に記憶されていた姿勢情報とを比較して、両者に閾値より大きな差があれば電子カメラ１の姿勢に変化があると判定する。
【００４０】
上記要件を満たす場合（ＹＥＳ側）には、＃１０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、＃１０７に処理が移行する。なお、画像取得部３１は、＃１０５のＮＯ側において、電子カメラ１の姿勢情報をメモリ１７に上書きしてもよい。
【００４１】
ステップ＃１０６：画像取得部３１は、電子カメラ１の姿勢の変化する方向に追従するように視点位置をシフトさせる。その後、画像取得部３１は電子カメラ１の姿勢情報をメモリ１７に上書きするとともに、＃１０３の処理に戻ってカメラマイコン１３が上記動作を繰り返す。
【００４２】
一例として、図３を参照しつつ、ユーザが電子カメラ１を左方向に振ってヨー角が変化した場合を考える。このとき、＃１０６での画像取得部３１は、仮想空間内での基準点を中心として、ヨー角と同じ角度だけ視点位置を右方向に回転させる。また、他の例として、図３を参照しつつ、ユーザが電子カメラ１を下方向に振ってピッチ角が変化した場合を考える。このとき、＃１０６での画像取得部３１は、仮想空間内での基準点を中心として、ピッチ角と同じ角度だけ視点位置を上方向に回転させる。
【００４３】
そして、＃１０６からループした＃１０３の処理では、画像取得部３１は、新たな視点位置に合わせて投影画像を再び生成する。なお、電子カメラ１を左方向に振った場合の投影画像の変化例を図４に示す。また、電子カメラ１を下方向に振った場合の投影画像の変化例を図５に示す。
【００４４】
これにより、電子カメラ１で被写体を撮影するときと同じ動きで仮想空間での視点位置が移動する。したがって、ユーザは、電子カメラ１の姿勢を変化させることで仮想空間での視点位置を直感的に変更できる。
【００４５】
ステップ＃１０７：画像取得部３１は、ズームスイッチ２２によるズーム操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、＃１０８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、＃１０９に処理が移行する。
【００４６】
ステップ＃１０８：画像取得部３１は、ズーム操作に応じて、仮想空間におけるオブジェクトの拡大倍率を変更する。＃１０８での画像取得部３１は、望遠側へのズーム操作（ズームイン）がされたときには拡大倍率を大きく変更し、広角側へのズーム操作（ズームアウト）がされたときは拡大倍率を小さく変更する。その後、＃１０３の処理に戻ってカメラマイコン１３が上記動作を繰り返す。
【００４７】
なお、＃１０８からループした＃１０３の処理では、画像取得部３１は、拡大倍率に応じて仮想空間での投影面の範囲を調整し、この投影面の画像をモニタ１５の解像度（画像サイズ）に合わせて変換すればよい。
【００４８】
また、表示制御部３２は、投影画像の表示のときに、画面上の位置を指定するポインタを、フォーカスセレクタと同じ表示形式で表示してもよい（図６（ａ）参照）。そして、画像取得部３２は、投影画像上でポインタ（フォーカスセレクタ）により指定された位置を基準として、投影画像の拡大（図６（ｂ））または投影画像の回転（図６（ｃ））を行うようにしてもよい。
【００４９】
ステップ＃１０９：カメラマイコン１３は、三次元オブジェクトの表示動作の終了指示を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、カメラマイコン１３は表示動作を終了させる。一方、上記要件を満たさない場合（ＮＯ側）には、カメラマイコン１３は＃１０５に戻って上記動作を繰り返す。以上で、図２の流れ図の説明を終了する。
【００５０】
一実施形態での電子カメラ１は、装置の姿勢の変化を検出したとき（＃１０５）に、視点位置を姿勢の変化する方向に追従するようにシフトさせる（＃１０６）。また、電子カメラ１は、ズームスイッチ２２によるズーム操作に応じてオブジェクトの拡大倍率を変更する（＃１０８）。これにより、ユーザは電子カメラ１で被写体を撮影するときと同じ操作感で、モニタ１５に表示される三次元オブジェクトの画像を変更できる。
【００５１】
＜実施形態の補足事項＞
（１）上記実施形態では、画像表示装置を電子カメラ１に組み込む例を説明した。しかし、本発明の画像表示装置は、画像表示機能を有する他の電子機器（フォトビューア、携帯電話、携帯ゲーム機、電子書籍のビューア、ヘッドマウントディスプレイ等）に広く応用できる。なお、これらの電子機器の場合、モニタの表示面を基準として視点位置を設定すればよい。
【００５２】
（２）上記実施形態では、モデリングされた三次元オブジェクトを表示対象とする例を説明した。しかし、本発明は、例えば、全方向のパノラマ画像の表示に応用することも可能である。
【００５３】
（３）上記実施形態では、オブジェクトの投影画像が二次元画像である例を説明した。しかし、本発明の画像表示装置は、オブジェクトの投影画像として立体視用のステレオペア画像をモニタに表示してもよい。なお、ステレオペアの形式は公知の手法によればよい。例えば、画像表示装置は、平行法または交差法で観察する左目用画像および右目用画像を並列表示してもよい。または、画像表示装置は、両眼の偏光板の角度が異なる偏光メガネを用いて、それぞれ偏光方向の異なる左目用画像および右目用画像を観察させてもよい。また、液晶シャッタを用いる場合には、画像表示装置は、左目用画像と右目用画像とを交互に表示してもよい。また、画像表示装置は、左目用画像および右目用画像を赤青で色の異なるアナグリフ画像としてもよい。さらに、画像表示装置は、左目用画像と右目用画像とが所定方向の縞状に交互に配置された立体テレビ用の画像を出力してもよい。
【００５４】
（４）上記実施形態において、電子カメラ１のカメラマイコン１３により実行されるプログラムは、バージョンアップなどで更新されるファームウエアプログラムであってもよい。すなわち、電子カメラ１のファームウエアプログラムを更新することで、本発明の画像表示装置の機能を提供してもよい。なお、画像表示装置が電子カメラ１以外のデバイス（フォトビューアや携帯電話など）である場合には、上記実施形態のプログラムを、別売りのアプリケーションプログラムとして提供してもよい。
【００５５】
（５）上記実施形態において、距離取得部は、合焦時の撮影レンズの位置を用いて被写体距離を求めるものであってもよい。
【００５６】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５７】
１…電子カメラ、１１…撮影レンズ、１２…撮像部、１３…カメラマイコン、１４…記録Ｉ／Ｆ、１５…モニタ、１６…姿勢検出部、１７…メモリ、１８…現在位置取得部、１９…方位検出部、２０…距離取得部、２１…レリーズ釦、２２…ズームスイッチ、２３…選択釦、３１…画像取得部、３２…表示制御部、３３…記憶媒体
【図１】
2011227759.tif 000003
【図２】
2011227759.tif 000004
【図３】
2011227759.tif 000005
【図４】
2011227759.tif 000006
【図５】
2011227759.tif 000007
【図６】
2011227759.tif 000008