(57)【要約】【課題】  魚眼レンズで撮像された画像（魚眼画像）内のどの部分（位置）の画像が切り出されて表示されているのかをユーザが容易に確認できるようにする。【解決手段】  制御部１は、魚眼レンズ５Ｂを用いて撮像された画像（魚眼画像）内からその一部分の画像を表示対象として切り出してその切り出し領域内の画像に対して歪補正を施して表示する場合に、その切り出し領域の魚眼画像上における位置を特定し、その位置のタッチ表示部６上にマークを表示して、切り出し領域の位置を報知する。【選択図】  図１
2017058801.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置であって、
前記切り出し領域の前記魚眼画像上における位置を特定する位置特定手段と、
前記位置特定手段によって特定された切り出し領域の位置を報知する報知手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記報知手段は、前記位置特定手段によって特定された切り出し領域の位置を魚眼画像上で識別表示する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記報知手段は、前記魚眼画像を表示している状態において、前記位置特定手段によって特定された切り出し領域の位置に所定のマークを重畳することによってその位置を識別表示する、
ことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記表示手段は、前記報知手段によって前記切り出し領域の位置が識別表示された状態の前記魚眼画像と、前記切出手段によって切り出されて前記補正手段によって補正された補正画像と、を切り替え表示する、
ことを特徴とする請求項２又は３に記載の画像表示装置。
【請求項５】
前記表示手段は、前記切出手段によって切り出されて前記補正手段によって補正された補正画像を表示している状態において、その補正画像と、前記位置特定手段によって特定された切り出し領域の位置を識別表示した状態の前記魚眼画像とを同時に表示する、
ことを特徴とする請求項２又は３に記載の画像表示装置。
【請求項６】
前記表示手段は、前記魚眼画像を表示している状態において、前記位置特定手段によって特定された切り出し領域の位置に、前記切出手段によって切り出されて前記補正手段によって補正された補正画像を重畳して表示することによりその位置を識別表示する、
ことを特徴とする請求項２又は３に記載の画像表示装置。
【請求項７】
予め決められている複数の報知形式のうち任意の報知形式を選択する選択手段を更に備え、
前記報知手段は、前記位置特定手段によって特定された切り出し領域の位置を前記選択手段によって選択さている報知形式にしたがって報知する、
ことを特徴とする請求項１乃至６のいずれかに記載の画像表示装置。
【請求項８】
前記表示手段は、タッチパネルを備え、
前記切出手段は、前記表示手段に表示されている魚眼画像上の任意の位置がタッチされた場合に、その魚眼画像からそのタッチ位置を含む所定領域内の画像を切り出す、
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像表示装置。
【請求項９】
前記切出手段は、前記表示手段に前記魚眼画像が表示されている状態において、前記タッチパネル上の任意の位置がタッチ指定された場合に、そのタッチ位置と前記魚眼画像の中心点とを結ぶ線分を第１の仮想線とし、前記魚眼画像の中心点を三角形の頂点とすると共にその頂角を前記第１の仮想線を中線として二分する一対の辺を第２の仮想線とし、前記タッチ位置を境にして前記魚眼画像の中心方向とその逆方向に所定距離を隔てた一対の線分を第３の仮想線として、前記一対の第２の仮想線と前記一対の第３の仮想線との各交点をそれぞれ結ぶ台形を切り出し領域としてその領域内の画像を切り出す、
ことを特徴とする請求項８に記載の画像表示装置。
【請求項１０】
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置における画像表示方法であって、
前記切り出し領域の前記魚眼画像上における位置を特定する処理と、
前記特定された切り出し領域の位置を報知する処理と、
を含むことを特徴とする画像処理方法。
【請求項１１】
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置のコンピュータに対して、
前記切り出し領域の前記魚眼画像上における位置を特定する機能と、
前記特定された切り出し領域の位置を報知する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズを用いて撮像された魚眼画像の歪を補正して表示する画像表示装置、画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置に採用されている魚眼レンズは、例えば、画角が略１８０゜という広範囲な撮像が可能であるが、射影方式が採用されているために魚眼レンズで撮像された画像（魚眼画像）は、その中心部から端部（周辺部）の方に向かうほど、大きく歪んだものとなるという特徴を有している。このような魚眼レンズを使用して撮像された魚眼画像を表示する技術としては、例えば、魚眼画像内から所定領域内の画像を切り出し、その切り出した領域内の画像に対して歪曲を補正する処理を施すことにより歪のない画像（補正画像）をユーザに提供するようにした画像処理装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】実用新案登録第３０６６５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献の技術によれば、魚眼レンズを使用して広範囲な撮像を行った場合でも、その一部分から切り出した領域内の画像については歪のない画像を得ることが可能であるが、ユーザにあっては、補正後の画像（補正画像）を見ただけでは、魚眼レンズで撮像された画像（魚眼画像）内のどの部分（位置）の画像であるかを確認できない。
【０００５】
本発明の課題は、魚眼レンズで撮像された画像（魚眼画像）であっても、その魚眼画像内のどの部分（領域）の画像が歪補正されているのかをユーザが容易に確認できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置であって、
前記切り出し領域の前記魚眼画像上における位置を特定する位置特定手段と、
前記位置特定手段によって特定された切り出し領域の位置を報知する報知手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、魚眼レンズで撮像された画像（魚眼画像）であっても、その魚眼画像内のどの部分（領域）の画像が歪補正されているのかをユーザが容易に確認することができる。
【図面の簡単な説明】
【０００８】
【図１】画像表示装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図２】（１）〜（３）は、カメラの各種の姿勢を説明するための図、（４）は、（３）で示したカメラの姿勢（カメラ向き）で撮像した魚眼画像と、撮影時の地面方向との関係を示した図。
【図３】（１）は、魚眼レンズ５Ｂによって撮像された画像（魚眼画像）を例示した図、（２）は、魚眼画像をタッチ表示部６に表示している状態において、この魚眼画像上の所望する任意の位置がタッチされた場合を示した図。
【図４】（１）は、切り出し領域内の画像に対して歪補正を施した後の補正画像を例示した図、（２）は、切り出し領域内の画像（歪補正後の画像）を、魚眼画像上のタッチ位置に重畳して表示した場合を例示した図。
【図５】再生モードに切り替えられた際に実行開始される動作を示したフローチャート。
【図６】タッチ位置に基づいて、魚眼画像上の切り出し領域を特定する処理（図５のステップＡ７）を詳述するためのフローチャート。
【図７】撮像時のカメラ向きを認識して切り出し領域内の画像を切り出す処理（図５のステップＡ８）を詳述するためのフローチャート。
【図８】報知処理（図５のステップＡ１１）を詳述するためのフローチャート。
【図９】（１）、（２）は、切り出し領域を特定する処理を具体的に説明するための図。
【図１０】報知形式テーブル３Ｃを説明するための図。
【図１１】（１）は、報知形式Ａによる表示例、（２）は、報知形式Ｂによる表示例、（３）は、報知形式Ｃによる表示例を示した図。
【発明を実施するための形態】
【０００９】
以下、図１〜図１１を参照して本発明の実施形態を説明する。
本実施形態は、画像表示装置としてデジタルカメラに適用した場合を例示したもので、図１は、デジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、基本的な機能として、魚眼レンズ、又はその他の通常の撮像レンズを使用して撮像が可能な撮像機能、魚眼レンズなどを使用して撮像された画像を再生する再生機能などを備えている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１０】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図５〜図８に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３Ａと、このカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ３Ｂと、後述する報知形式テーブル３Ｃなどを有している。なお、記憶部３は、例えば、魚眼画像などを記録保存するＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。操作部４は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなどの各種の押しボタン式のキーを備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理を行う。
【００１１】
撮像部５は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部５のレンズユニット５Ａには、魚眼レンズ５Ｂ、撮像素子５Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）と魚眼レンズ５Ｂとが交換可能なもので、図示の例は、通常の撮像レンズ（図示省略）に代わって魚眼レンズ５Ｂを装着した状態を示している。この魚眼レンズ５Ｂは、例えば、３枚構成のレンズ系からなり、画角が略１８０゜という広範囲な撮像が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ５Ｂによって撮像された画像の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ５Ｂで撮像された画像（魚眼画像）は、その中心から離れる（端部に向かう）ほど、大きく歪むなどの特徴を有している。
【００１２】
この魚眼レンズ５Ｂからの被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）５Ｃに結像されると、撮像素子５Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号（画像信号）に変換されると共に、所定の画像表示処理が施された後、タッチ表示部６にライブビュー画像としてリアルタイムにモニタ表示される。制御部１は、撮影を指示するレリーズボタンの操作に応じて撮像画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させるようにしている。
【００１３】
タッチ表示部６は、高精細液晶などのディスプレイ６Ａ上にタッチパネル６Ｂを積層配置した構成で、各種のソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ位置に応じた操作信号を入力したりする。タッチ表示部６の表示画面は、魚眼レンズ５Ｂによって撮像された画像（魚眼画像）などをリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像（魚眼画像）などを再生する再生画面となったりする。姿勢検出部７は、カメラに加わる加速度を検出するピエゾ抵抗型、或いは静電容量検出型などの３軸加速度センサで、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の重力加速度を検出し、カメラの姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１に与える。制御部１は、姿勢検出部７から出力される加速度成分を示す信号に基づいてカメラの各種の姿勢（後述する）を検出する。姿勢検出部７は、検出した重力方向、又は重力方向に対して所定角度範囲内の方向を天地方向として検出するが、その際、例えば、重力方向をマイナス方向とする、すなわち、マイナス方向が地面方向となる。なお、上述の所定角度は地面の傾斜を考慮したもので、ユーザ操作によって任意に変更可能としてもよい。
【００１４】
図２は、デジタルカメラの姿勢を説明するための図である。
デジタルカメラは、例えば、その全体が矩形（長方形）の箱型を成し、その正面中央部に魚眼レンズ５Ｂを配置した構成となっている。図２（１）は、デジタルカメラの正面方向（魚眼レンズ５Ｂの光軸方向）を天に向けた状態、つまり、魚眼レンズ５Ｂの光軸方向が重力方向に対して略逆方向となるようにして撮像した場合（水平撮りを行った場合）を示し、（２）は、魚眼レンズ５Ｂの光軸方向が重力方向に対して略直交する状態、つまり、カメラが地面に対して略垂直となるようにして撮像した場合（垂直撮りを行った場合）を示し、図中、破線で示した半球は、画角が略１８０゜という魚眼レンズ５Ｂの撮像範囲を示している。
【００１５】
図２（３）は、垂直撮りを行った場合のカメラの向きを示し、図示の例は、その下面ａが地面方向となった場合のカメラの向き、右側面ｂが地面方向となった場合のカメラの向き、左側面ｃが地面方向となった場合のカメラの向き、上面ｄが地面方向となった場合のカメラの向きを示している。図２（４）は、図３（３）で示したカメラの姿勢（カメラ向き）で撮像した魚眼画像と、撮影時の地面方向との関係を示した図である。なお、図中、各矢印方向は、各カメラ向きに応じた地面方向を示している。例えば、垂直撮りを行った場合のカメラの下面がaで地面方向となった場合（図２（３）のカメラ向きにおいて、地面方向がaの場合）、図２（４）の魚眼画像におけるａの方向が地面方向となる。制御部１は、撮像時に、姿勢検出部７の検出結果に基づいてカメラの姿勢として、図２（１）の水平撮り時の水平姿勢、図２（２）の垂直撮り時の垂直姿勢、図２（３）の各カメラ向きａ〜ｄを検出する。このカメラの姿勢情報は、撮像された画像を記録保存する際に、つまり、撮像された画像に対して所定の画像処理（現像処理など）を施して、撮影画像を生成して記録保存する際に、撮像時のカメラの姿勢情報がその撮影画像に付加して記録保存するようにしている。
【００１６】
図３（１）は、魚眼レンズ５Ｂによって撮像された画像（魚眼画像）を例示した図で、タッチ表示部６の再生画面に表示された状態を示している。
この魚眼画像は、図２（１）に示したような水平撮りで撮像した画像を示し、図示の例は、ビルディングが建ち並ぶ街中で空に向かってそのビル群を撮像した場合を示している。この場合、魚眼レンズ５Ｂとしては、その画角が略１８０゜という広範囲な撮像が可能な円周魚眼レンズを採用しているために魚眼画像（特徴的な歪を持つ魚眼画像）の全体は、円形の画像となる。
【００１７】
図３（２）は、図３（１）の魚眼画像がタッチ表示部６の再生画面に表示されている状態において、ユーザの所望する任意の位置（魚眼画像上の任意の位置）を指などでタッチした場合を示した図である。
図３（１）に示すように魚眼画像の中心部から離れた周辺部（端部）は、広範囲に撮像されて大きく歪んでいると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるために、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。
【００１８】
このような場合、ユーザは、魚眼画像上の任意の位置（詳細を確認したい位置）を指などでタッチすると、例えば、図３（２）に示すように、ユーザは魚眼画像の中心部から離れた周辺部上の任意の位置を指などでタッチすると、制御部１は、このタッチ位置を含む領域（例えば、略台形）を切り出し領域として特定し、この切り出し領域内の画像に対して歪補正を施すようにしている。なお、「切り出し領域」とは、魚眼画像内からその一部分の画像を表示対象として読み出す範囲（読み出し領域、又は読み取り領域）を示しているが、魚眼画像内からその領域内の画像を抜き出す（抽出する）範囲であってもよい（以下、同様）。
【００１９】
図４（１）は、図２（１）に示したように水平撮りで撮像した魚眼画像内から切り出した画像に対して歪補正を施した後の補正画像を例示した図で、図３（１）に示した魚眼画像の全体表示に切り替えて、この補正画像を拡大表示した場合である。なお、図示の例は、補正後の画像（補正画像）の拡大表示によって、魚眼画像の全体表示では目視確認が困難であったビル名（例えば、ＡＢ）までも鮮明に目視確認することが可能となった場合を示している。
【００２０】
魚眼画像の歪を補正する処理として本実施形態においては、例えば、仮想球面モデル上の任意の点で接する平面をスクリーンとして、仮想球面モデル上の点を平面スクリーン上の点に座標変換することにより魚眼画像の歪を補正する技術を用いるようにしているが、この魚眼画像の歪を補正する処理（魚眼歪補正処理）は、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。このような魚眼歪補正処理は、上述した技術に限らず、任意である。
【００２１】
図４（２）は、図３（１）に示すように魚眼画像の全体が表示されている再生画面内に、切り出し領域内の画像（歪補正後の画像：補正画像）を、魚眼画像上のタッチ位置に重畳して表示した場合を例示した図である。
すなわち、図４（２）は、魚眼画像上の切り出し領域の位置を識別表示してその位置を報知した状態を示した図である。制御部１は、切り出し領域の魚眼画像上における位置を特定し、この切り出し領域の位置を補正画像と共に報知するために、切り出し領域内の画像（補正画像）をその切り出し領域の位置に重畳して表示させる。この場合、補正画像は、例えば、魚眼画像の全体の１／８、又は１／１２程度のサイズに変更されると共に、その補正画像の中心をタッチ位置に合わせ、かつ、補正画像の地面方向を魚眼画像の外側方向（魚眼画像の中心から切り出し領域の中心を結ぶ線上において魚眼画像の中心から離れる方向）となるように魚眼画像を重畳表示される。その際、補正画像内には、地面方向を示す地面マーク（▽）が付加表示される。
【００２２】
次に、本実施形態におけるデジタルカメラの動作概念を図５〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２３】
図５は、再生モードに切り替えられた際に実行開始される動作を示したフローチャートである。
先ず、制御部１は、魚眼レンズ５Ｂなどによって撮像されて記録保存されている各種の画像（保存画像）の一覧をメニュー表示させ、その一覧表示（メニュー表示）の中から所望する画像（例えば、魚眼画像）が表示対象としてユーザ操作によって選択されると（ステップＡ１）、その選択画像（魚眼画像）をタッチ表示部６の再生画面に表示させる（ステップＡ２）。この状態において、制御部１は、表示されている選択画像（魚眼画像）上へのタッチ有無を調べたり（ステップＡ３）、再生終了が指示されたか（再生モードを解除する操作が行われたか）を調べたり（ステップＡ４）、選択画像（魚眼画像）の切り替えを指示する切替操作が行われたかを調べたりする（ステップＡ５）。
【００２４】
ここで、再生終了が指示された場合には（ステップＡ４でＹＥＳ）、図５のフローから抜けるが、魚眼画像の切替操作が行われた場合には（ステップＡ５でＹＥＳ）、最初のステップＡ１に戻る。なお、タッチ操作、再生終了を指示する操作、魚眼画像の切り替えを指示する操作のいずれも行われなければ（ステップＡ３〜Ａ５でＮＯ）、上述のステップＡ３に戻り、その操作待ち状態となる。いま、魚眼画像内からその一部分の画像を任意に切り出すために魚眼画像上の任意の位置がタッチされた場合には（ステップＡ３でＹＥＳ）、タッチパネル６Ｂ上のタッチ位置を特定すると共に（ステップＡ６）、この特定したタッチ位置に基づいて、魚眼画像上の切り出し領域を特定する処理を行う（ステップＡ７）。
【００２５】
図６は、タッチ位置に基づいて、魚眼画像上の切り出し領域を特定する処理（図５のステップＡ７）を詳述するためのフローチャートである。図９（１）は、図３（１）に示したように魚眼レンズ５Ｂを用いて水平撮りが行われた場合に、その撮像された魚眼画像内から切り出し領域を特定するために描画した３種類の仮想線を示し、図９（２）は、その３種類の仮想線から特定される切り出し領域を示した図である。
先ず、制御部１は、タッチ位置に基づいてタッチ位置と魚眼画像の中心点とを結ぶ線分を第１の仮想線（直線）として描画する（ステップＢ１）。次に、魚眼画像上に一対の第２の仮想線（直線）を描画する（ステップＢ２）。つまり、魚眼画像の中心点を三角形の頂点とすると共にその頂角（θ）を第１の仮想線を中線として二分する一対の辺を第２の仮想線として描画する。更に、魚眼画像上に一対の第３の仮想線（外側にやや膨む曲線）を描画する（ステップＢ３）。つまり、タッチ位置を境にして魚眼画像の中心方向とその逆方向に所定距離（１／２Ｈ）を隔てた一対の線分を第３の仮想線として描画する。そして、一対の第２の仮想線と第３の仮想線との交点Ａ、Ｂ、Ｃ、Ｄを結ぶ略台形の領域を切り出し領域として特定する（ステップＢ４）。
【００２６】
このようにして切り出し領域を特定する処理（図５のステップＡ７）が終ると、次のステップＡ８に移り、撮像時のカメラの姿勢情報を認識して、切り出し領域内の画像を切り出す処理（後述の図７に示す処理）を行った後、その切り出し領域内の画像に対して、台形歪補正処理（射影変換処理）を行う（ステップＡ９）。この台形歪補正処理は、切り出し領域が台形の場合に限らず、略台形に近い長方形の場合でも行うようにしている。なお、台形歪補正処理としては、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。更に、魚眼画像の歪を補正する処理を行う（ステップＡ１０）。なお、この魚眼歪補正処理は、上述したとおり、仮想球面モデル上の任意の点で接する平面をスクリーンとして座標変換を行う。そして、この切り出し領域の魚眼画像上の位置をその切り出し領域内の画像（補正画像）と共に報知する処理（後述の図８に示す処理）に移る（ステップＡ１１）。
【００２７】
図７は、撮像時のカメラ向きを認識して、切り出し領域内の画像を切り出す処理（図５のステップＡ８）を詳述するためのフローチャートである。
先ず、制御部１は、選択画像（魚眼画像）がタッチ表示部６の再生画面に表示されている状態において、予めその魚眼画像に付加されている撮像時におけるカメラの姿勢情報を読み出し（ステップＣ１）、この姿勢情報に基づいて、水平撮りしたことを検出したか、垂直撮りしたことを検出したかを調べ（ステップＣ２）、魚眼画像を垂直撮りした場合には（ステップＣ１で垂直撮り）、特定した切り出し領域（略台形領域）内から画像を切り出すと共に（ステップＣ３）、そのカメラ向きａ〜ｄの方向を地面方向として特定する（ステップＣ４）。
【００２８】
一方、カメラの姿勢情報に基づいて、魚眼画像を水平撮りしたことを検出した場合には（ステップＣ１で水平撮り）、特定した切り出し領域（略台形領域）内から画像を切り出すと共に（ステップＣ５）、その切り出した画像の地面方向として、魚眼画像の中心からその端部に向かう方向を特定する（ステップＣ６）。すなわち、魚眼画像の撮像時の地面方向に拘らず、魚眼画像の中心からその端部に向かう方向を切り出した画像の地面方向として特定する。そして、この切り出した画像を特定した地面方向に回転する処理を行う（ステップＣ７）。なお、垂直撮りか水平撮りかを検出する際は、その魚眼画像に付加されている姿勢情報（加速度センサーの測定値など）がある所定の閾値を越えたか否かによって、垂直撮りか水平撮りかを判定するようにすればよいし、そのほかの方法で検出しても、勿論よい。
【００２９】
図８は、報知処理（図５のステップＡ１１）を詳述するためのフローチャートである。
先ず、制御部１は、報知形式テーブル３Ｃを参照して、切り出し領域内の画像（補正後の画像：補正画像）の報知形式を判別する（ステップＤ１）。図１０は、報知形式テーブル３Ｃを説明するための図で、魚眼画像内の一部分の画像を切り出して歪補正を施した後の補正画像を表示する場合に、魚眼画像内のどの部分（位置）を切り出したのかを報知するための報知形式を複数記憶する構成で、「報知形式」、「内容」、「選択フラグ」の各項目を有している。
【００３０】
「報知形式」は、報知形式の種類を示すもので、図示の例は３種類の報知形式として“Ａ”、“Ｂ”、“Ｃ”を記憶した場合である。「内容」は、対応する報知形式の内容を示すもので、報知形式“Ａ”は、魚眼画像と補正画像とを切り替え表示しながら切り出し領域を報知する形式、報知形式“Ｂ”は、補正画像の一部に魚眼画像を重畳して表示しながら切り出し領域の位置を報知する形式、報知形式“Ｃ”は、魚眼画像上の切り出し領域の位置に補正画像を重畳して表示しながら切り出し領域の位置を報知する形式を示している。
【００３１】
「選択フラグ」は、３種類の報知形式のうち、予めユーザが任意に選択指定した報知方式であることを示すもので、図中、報知形式“Ｂ”に対応して付した“１（フラグオン）”は、ユーザ操作によって選択された報知方式であることを示し、“０（フラグオフ）”は、選択されていない報知方式であることを示している。この場合、制御部１は、予め決められている複数の報知形式をタッチ表示部６上に一覧表示（メニュー表示）している状態において、そのメニュー画面の中から任意の報知形式がタッチ（選択）されると、報知形式テーブル３Ｃをアクセスし、その選択された報知形式に対応する「選択フラグ」をオン（“１”）するようにしている。
【００３２】
いま、報知形式“Ａ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、魚眼画像上に切り出し領域の位置を示す位置マーク（○印）を付加（ステップＤ２）すると共に、補正画像上に地面方向を示す地面マーク（▽印）を付加する（ステップＤ３）。この状態において切替操作が行われる毎に、制御部１は、位置マーク（○印）付の魚眼画像と、地面マーク（▽印）付の補正画像とをタッチ表示部６の再生画面に切り替え表示させる（ステップＤ４）。この場合、魚眼画像又は補正画像の地面方向を再生画面の下方向に合わせて魚眼画像と補正画像とを切り替え表示させる。図１１（１）は、報知形式Ａによる切り替え表示例を示した図である。この場合、切り出し領域内の画像（補正画像）は、再生画面の全体に拡大表示されるので、ユーザにあってはその詳細部分までも確認することが可能となると共に、地面マーク（▽印）の付加によって地面方向を確認することが可能となり、更に、魚眼画像は、位置マーク（○印）の付加によってどの部分が切り出されたのかを確認することが可能となる。
【００３３】
報知形式“Ｂ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、魚眼画像上に切り出し領域の位置を示す位置マーク（○印）を付加（ステップＤ５）と共に、補正画像上に地面方向を示す地面マーク（▽印）を付加する（ステップＤ６）。そして、地面マーク（▽印）付きの補正画像を再生画面の全体に拡大表示させた状態において、制御部１は、その再生画面（補正画像）の隅部に、魚眼画像を所定サイズに縮小した画像を重畳して同時表示させる（ステップＤ７）。
【００３４】
この場合、姿勢検出部７によって検出されたカメラ向き（再生画面の向き）に応じた地面方向に補正画像の地面方向を一致させて補正画像を再生画面に表示させる。図１１（２）は、報知形式Ｂによる同時表示の状態を例示した図で、ユーザにあっては、補正画像をその詳細部分までも確認することが可能となると共に、地面マーク（▽印）の付加によって地面方向を確認することが可能となり、更に、補正画像を見ながらその隅部（図示の例では右下隅部）に表示されている魚眼画像内の位置マーク（○印）によってどの部分が切り出されたのかを同時に確認することが可能となる。
【００３５】
報知形式“Ｃ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、次のステップＤ８に移り、補正画像上に地面方向を示す地面マーク（▽印）を付加する。そして、魚眼画像上の切り出し領域の位置に補正画像を重畳して表示させる（ステップＤ９）。すなわち、制御部１は、補正画像の中心を魚眼画像上のタッチ位置に合わせ、かつ、補正画像の地面方向を魚眼画像の外側方向（魚眼画像の中心から切り出し領域の中心を結ぶ線上において魚眼画像の中心から離れる方向）となるように補正画像を重畳表示させる。図１１（３）は、報知形式Ｃによる同時表示の状態を例示した図で、ユーザにあっては、魚眼画像上に重畳表示された補正画像によって魚眼画像上のどの部分（位置）が切り出されたのかを確認することが可能となり、更に補正画像を同時に確認することが可能となると共に、地面マーク（▽印）の付加によって地面方向を同時に確認することが可能となる。
【００３６】
このようにして報知処理（図５のステップＡ１１）が終ると、再生終了が指示されたか（再生モードを解除する操作が行われたか）を調べたり（ステップＡ１２）、選択画像（魚眼画像）の切り替えを指示する切替操作が行われたかを調べたりする（ステップＡ１３）。ここで、再生終了が指示された場合には（ステップＡ１２でＹＥＳ）、図５のフローから抜けるが、画像の切替操作が行われた場合には（ステップＡ１３でＹＥＳ）、最初のステップＡ１に戻り、以下、上述の動作を繰り返す。
【００３７】
以上のように、本実施形態において制御部１は、魚眼レンズ５Ｂを用いて撮像された画像（魚眼画像）内からその一部分の画像を表示対象として切り出して、その切り出し領域内の画像に対して歪補正を施して表示する場合に、切り出し領域の魚眼画像上における位置を特定して報知するようにしたので、特徴的な歪を持つ魚眼画像であっても、ユーザにあっては、その魚眼画像内のどの部分（領域）の画像が切り出されて表示されているのかを容易に確認することができる。
【００３８】
制御部１は、魚眼画像が表示されている状態において、その魚眼画像上で切り出し領域の位置を識別表示するようにしたので、魚眼画像と切り出し画像（補正画像）との対応関係が明確なものとなる。
【００３９】
制御部１は、魚眼画像を表示している状態において、切り出し領域の位置に所定のマークを重畳することによってその位置を識別表示するようにしたので、直観的で分かり易い識別表示（報知）が可能となる。
【００４０】
制御部１は、切り出し領域の位置を識別表示した状態の魚眼画像と、切り出し画像を補正した補正画像とを切り替え表示するようにしたので、画面全体に補正画像を表示することができ、ユーザにあっては補正画像の詳細部分までも確認することが可能となると共に、切り替え表示された魚眼画像内の識別表示によってどの部分が切り出されたのかを確認することが可能となる。
【００４１】
制御部１は、魚眼画像内から切り出して補正した補正画像を表示している状態において、その補正画像と、切り出し領域の位置を識別表示した状態の魚眼画像とを同時に表示するようにしたので、ユーザにあっては、補正画像と魚眼画像とを見比べながら魚眼画像内のどの部分が切り出されたのかを確認することが可能となる。
【００４２】
制御部１は、魚眼画像内から切り出して補正した補正画像を表示している状態において、その補正画像の所定領域内（例えば、隅部）に、切り出し領域の位置を識別表示した状態の魚眼画像を重畳して表示するようにしたので、ユーザにあっては、補正画像をその詳細部分までも確認可能となると共に、魚眼画像内の識別表示によってどの部分が切り出されたのかを同時に確認することが可能となる。
【００４３】
制御部１は、魚眼画像を表示している状態において、その切り出し領域の位置に、補正画像を重畳して表示することによってその位置を識別表示するようにしたので、ユーザにあっては、魚眼画像上に重畳表示された補正画像によって魚眼画像上のどの部分（位置）が切り出されたのかを容易に確認することが可能となると共に、補正画像を同時に確認することが可能となる。
【００４４】
制御部１は、報知形式テーブル３Ｃを参照し、複数の報知形式のいずれかの報知形式が選択されている状態において、切り出し画像の魚眼画像上における位置を報知する際に、予め選択されている報知形式にしたがってその位置を報知するようにしたので、ユーザの希望に合った報知が可能となる。
【００４５】
タッチ表示部６に表示されている魚眼画像上の任意の位置がタッチされた場合に、その魚眼画像からそのタッチ位置を含む所定領域内の画像を切り出すようにしたので、ユーザにあっては、魚眼画像の中から所望する部分を任意に指定することができ、その部分の歪のない画像を確認することが可能となる。
【００４６】
制御部１は、魚眼画像がタッチ表示部６に表示されている状態において、そのタッチパネル６Ｂ上へのタッチ位置と魚眼画像の中心点とを結ぶ線分を第１の仮想線とし、魚眼画像の中心点を三角形の頂点とすると共に、その頂角を第１の仮想線を中線として二分する一対の辺を第２の仮想線とし、タッチ位置を境にして魚眼画像の中心方向とその逆方向に所定距離を隔てた一対の線分を第３の仮想線として描画し、一対の第２の仮想線と一対の第３の仮想線との各交点をそれぞれ結ぶ台形を切り出し領域として特定するようにしたので、魚眼画像上で台形の切り出し領域を簡単に特定することができると共に、この切り出し領域に対して台形歪補正を施すことによって長方形（例えば、アスベスト比４：３）の画像への変換を容易に行うことが可能となる。
【００４７】
また、魚眼画像はその中心から離れる（端部の方に向かう）にしたがって撮影範囲が広がるなどの特徴を有しているために、切り出し領域を台形又は略台形として、その上底を魚眼画像の中心側に、下底を魚眼画像の端部側に向けることにより台形歪補正により長方形の画像に変換した際に、台形の下底部分に相当する画像部分で画像成分が足りなくなることを防ぐことができる。
【００４８】
なお、上述した実施形態においては、報知形式Ａとして、魚眼画像と、その画像から切り出して歪補正した補正画像とを切替操作毎に切り替え表示する場合を示したが、同一画面又は別画面上に魚眼画像と補正画像とを並列して表示するようにしてもよい。また、報知形式がＢ又はＣに設定された際に、切替操作毎に魚眼画像上に補正画像が重畳表示されている状態と、補正画像上に魚眼画像が重畳されている状態とを切り換えるような構成にしてもよい。
【００４９】
上述した実施形態においては、魚眼画像上に切り出し領域の位置を示す位置マーク（○印）を識別可能に付加するようにしたが、位置マーク（○印）を付加する場合に限らず、例えば、切り出し領域の全体を点滅表示することによって切り出し領域の位置を報知したり、切り出し領域に特定色を着色することによって切り出し領域の位置を報知したり、切り出し領域を太枠表示することによって切り出し領域の位置を報知するようにしてもよい。更に、表示に限らず、例えば、右上角部、左下角部、下中央部などを音声メッセージとして出力して切り出し領域の位置を報知したりするようにしてもよく、その報知の仕方は任意である。また、上述した実施形態においては、補正画像上への地面マーク（▽印）の付加によって地面方向を確認可能としたが、地面方向を確認する必要がなければ、地面マークを省略してもよいし、また、地面マークを省略すると共に、補正画像の地面側が常に表示画面の所定方向側になるように表示するようにしてもよい。
【００５０】
上述した実施形態においては、切り出し領域を特定する場合、切り出し領域は台形に限らず、任意であるが、例えば、魚眼画像はその中心から離れる（端部の方に向かう）にしたがって撮影範囲が広がるなどの特徴を有しているため、その特徴を考慮して遠ざかる（端部の方に向かう）程、画像成分を多くするために台形のように切り出し領域を広くするなど、切り出し領域の大きさを、魚眼画像の中心からの距離に応じてそれぞれ異なるようにしてもよい。
【００５１】
また、上述した実施形態においては、タッチ位置に応じて切り出し領域を特定する場合に、タッチ位置が切り出し領域の中心となるように特定するようにしたが、魚眼画像の全体を予め複数の領域に論理的に分割しておき、魚眼画像上がタッチされた際に、分割されている各領域のうち、そのタッチ位置が属する領域を切り出し領域として特定するようにしてもよい。なお、魚眼画像の全体を予め複数の領域に分割する場合に、魚眼レンズ５Ｂの特徴を考慮し、魚眼画像の中心からの距離に応じて各分割領域の大きさが異なるようにしてもよい。
【００５２】
上述した実施形態においては、報知形式“Ｃ”の場合、図１１（３）に示すように、補正画像の中心を魚眼画像上のタッチ位置に合わせ、かつ、補正画像の地面方向を魚眼画像の外側方向（中心から離れた方向）となるように重畳表示させるようにしたが、これとは逆に、補正画像の地面方向を魚眼画像の内側方向（中心方向）に合わせて重畳表示させるようにしてもよい。また、図１０（３）の表示例では、魚眼画像上に一つの補正画像を重畳表示させた場合を例示したが、魚眼画像上で複数の位置がタッチされた場合に、タッチ位置毎にその位置で切り出されて歪補正された画像を重畳表示させるようにしてもよい。
【００５３】
また、上述した実施形態においては、撮像部５に通常の撮像レンズに代わって魚眼レンズ５Ｂを装着した場合について説明したが、魚眼レンズ５Ｂを固定して装着したデジタルカメラであってもよい。また、撮像部５とタッチ表示部６とを一体化したコンパクトカメラに適用した場合を例示したが、撮像部５を備えた撮像装置（撮像側の筐体）とタッチ表示部６を備えた本体装置（本体側の筐体）に分離して別体化したセパレートタイプのカメラであってもよい。この場合、撮像装置と本体装置との間で近距離通信を介して送受信可能に構成すればよい。
【００５４】
上述した実施形態においては、画像表示装置としてデジタルカメラに適用した場合を示したが、カメラに限らず、表示機能を備えたパーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、電子時計、音楽プレイヤーなどであってもよい。
【００５５】
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００５６】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置であって、
前記切り出し領域の前記魚眼画像上における位置を特定する位置特定手段と、
前記位置特定手段によって特定された切り出し領域の位置を報知する報知手段と、
を備えることを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像表示装置において、
前記報知手段は、前記位置特定手段によって特定された切り出し領域の位置を魚眼画像上で識別表示する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像表示装置において、
前記報知手段は、前記魚眼画像を表示している状態において、前記位置特定手段によって特定された切り出し領域の位置に所定のマークを重畳することによってその位置を識別表示する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項２又は３に記載の画像表示装置において、
前記表示手段は、前記報知手段によって前記切り出し領域の位置が識別表示された状態の前記魚眼画像と、前記切出手段によって切り出されて前記補正手段によって補正された補正画像と、を切り替え表示する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項２又は３に記載の画像表示装置において、
前記表示手段は、前記切出手段によって切り出されて前記補正手段によって補正された補正画像を表示している状態において、その補正画像と、前記位置特定手段によって特定された切り出し領域の位置を識別表示した状態の前記魚眼画像とを同時に表示する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項２又は３に記載の画像表示装置において、
前記表示手段は、前記魚眼画像を表示している状態において、前記位置特定手段によって特定された切り出し領域の位置に、前記切出手段によって切り出されて前記補正手段によって補正された補正画像を重畳して表示することによりその位置を識別表示する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６のいずれかに記載の画像表示装置において、
予め決められている複数の報知形式のうち任意の報知形式を選択する選択手段を更に備え、
前記報知手段は、前記位置特定手段によって特定された切り出し領域の位置を前記選択手段によって選択さている報知形式にしたがって報知する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１乃至７のいずれか１項に記載の画像表示装置において、
前記表示手段は、タッチパネルを備え、
前記切出手段は、前記表示手段に表示されている魚眼画像上の任意の位置がタッチされた場合に、その魚眼画像からそのタッチ位置を含む所定領域内の画像を切り出す、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項８に記載の画像表示装置において、
前記切出手段は、前記表示手段に前記魚眼画像が表示されている状態において、前記タッチパネル上の任意の位置がタッチ指定された場合に、そのタッチ位置と前記魚眼画像の中心点とを結ぶ線分を第１の仮想線とし、前記魚眼画像の中心点を三角形の頂点とすると共にその頂角を前記第１の仮想線を中線として二分する一対の辺を第２の仮想線とし、前記タッチ位置を境にして前記魚眼画像の中心方向とその逆方向に所定距離を隔てた一対の線分を第３の仮想線として、前記一対の第２の仮想線と前記一対の第３の仮想線との各交点をそれぞれ結ぶ台形を切り出し領域としてその領域内の画像を切り出す、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置における画像表示方法であって、
前記切り出し領域の前記魚眼画像上における位置を特定する処理と、
前記特定された切り出し領域の位置を報知する処理と、
を含むことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置のコンピュータに対して、
前記切り出し領域の前記魚眼画像上における位置を特定する機能と、
前記特定された切り出し領域の位置を報知する機能と、
を実現させるためのプログラムである。
【符号の説明】
【００５７】
１  制御部
３  記憶部
３Ａ  プログラムメモリ
３Ｃ  報知形式テーブル
４  操作部
５  撮像部
５Ｂ  魚眼レンズ
５Ｃ  撮像素子
６  タッチ表示部
６Ｂ  タッチパネル
７  姿勢検出部
Ａ、Ｂ、Ｃ  報知形式
【図１】
2017058801.tif 000003
【図２】
2017058801.tif 000004
【図３】
2017058801.tif 000005
【図４】
2017058801.tif 000006
【図５】
2017058801.tif 000007
【図６】
2017058801.tif 000008
【図７】
2017058801.tif 000009
【図８】
2017058801.tif 000010
【図９】
2017058801.tif 000011
【図１０】
2017058801.tif 000012
【図１１】
2017058801.tif 000013