(57)【要約】【課題】  処理を実行させる領域をユーザ操作によって指定する際に、その指定を適切に支援できるようにする。【解決手段】  撮像部から取得した画像上の位置が連続的に指定された場合、例えば、タッチ画面上でスワイプ操作された場合に、その指定位置（タッチ位置）に追従してその指定位置を含む領域を画像処理の対象領域として特定し、この処理対象領域を指定位置に追従して報知する。この場合、処理対象領域を明示する案内枠をスワイプ操作に追従してタッチ画面に表示されている画像上に重畳表示する。【選択図】  図２
2017162371.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像上の異なる位置を連続的に指定する位置指定手段と、
前記位置指定手段によって連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する領域特定手段と、
前記領域特定手段によって特定された前記処理対象領域を前記指定位置に追従して報知する報知手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域特定手段は、前記位置指定手段によって連続的に指定された位置に追従してその指定軌跡に応じた形状の領域を画像処理の対象領域として特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
歪みを有する画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像上の位置を指定する位置指定手段と、
前記画像取得手段によって取得された画像上において、前記位置指定手段によって指定された位置に対応する歪み率を取得する歪み率取得手段と、
前記位置指定手段によって指定された位置と前記歪み率取得手段によって取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する領域特定手段と、
前記領域特定手段によって特定された処理対象領域を報知する報知手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記位置指定手段は、前記画像取得手段によって取得された画像上の異なる位置を連続的に指定し、
前記領域特定手段は、前記位置指定手段によって連続的に指定された位置に追従してその指定位置を含む領域を画像処理の対象領域として特定し、
前記報知手段は、前記領域特定手段によって特定された処理対象領域を前記指定位置に追従して報知する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記歪み率取得手段は、前記画像取得手段により取得される画像を撮影するレンズのパラメータに基づいてその画像の歪み率を算出する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記歪み率取得手段は、前記画像取得手段により取得される画像を解析することによりその画像の歪み率を算出する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項７】
前記領域特定手段によって特定された処理対象領域を、画像処理する領域であると決定する処理領域決定手段と、
前記処理領域決定手段によって決定された処理対象領域内の画像に対して所定の画像処理を行う画像処理手段と、
を更に備えることを特徴とする請求項１乃至６の何れかに記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記画像取得手段によって取得された画像の中から前記処理領域決定手段によって決定された処理対象領域内の画像を切り出す処理を行う、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像処理手段は、前記画像取得手段によって取得された広角画像の中から前記処理領域決定手段によって決定された処理対象領域内の画像に対してその歪を補正する処理を行う、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記画像取得手段によって取得された画像を表示する表示手段を更に備え、
前記報知手段は、前記画像が表示されている前記表示手段に、前記位置指定手段によって指定された位置と共に、前記領域特定手段によって特定された処理対象領域を識別表示する、
ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記画像取得手段によって取得された画像を表示する表示手段を更に備え、
前記位置指定手段は、前記表示手段上のタッチ操作手段であり、
前記報知手段は、前記画像が表示されている前記表示手段に、前記領域特定手段によって特定された処理対象領域を重畳表示する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
画像処理装置における画像処理方法であって、
画像を取得する処理と、
前記取得された画像上の異なる位置を連続的に指定する処理と、
前記連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する処理と、
前記特定された前記処理対象領域を前記指定位置に追従して報知する処理と、
を含むことを特徴とする画像処理方法。
【請求項１３】
画像処理装置のコンピュータに対して、
画像を取得する機能と、
前記取得された画像上の異なる位置を連続的に指定する処理と、
前記連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する機能と、
前記特定された前記処理対象領域を前記指定位置に追従して報知する機能と、
を実現させるためのプログラム。
【請求項１４】
画像処理装置における画像処理方法であって、
歪みを有する画像を取得する処理と、
前記取得された画像上の位置を指定する処理と、
前記取得された画像上において、前記指定された位置に対応する歪み率を取得する処理と、
前記指定された位置と前記取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する処理と、
前記特定された処理対象領域を前記指定位置に追従して報知する処理と、
を含むことを特徴とする画像処理方法。
【請求項１５】
画像処理装置のコンピュータに対して、
歪みを有する画像を取得する機能と、
前記取得された画像上の位置を指定する機能と、
前記取得された画像上において、前記指定された位置に対応する歪み率を取得する機能と、
前記指定された位置と前記取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する機能と、
前記特定された処理対象領域を前記指定位置に追従して報知する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ操作によって指定された領域内の画像に対して所定の処理を行う画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、撮影画像からその一部分の画像を切り出して、他の撮影画像に張り付けたり、所定の画像処理を施したりする場合に、その切り出し領域をユーザ操作によって任意に指定するようにしている。例えば、切り出し領域の形状が矩形の領域であれば、特許文献１に示すようにその矩形の４隅に対応する画面上の各位置をそれぞれユーザ操作によって指定するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１０６６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のように４点指定によって切り出し領域を指定する場合、ユーザは、既に指定し終わった位置と今回新たに指定する位置との関係を考慮して、どのような切り出し領域（位置や大きさ）となるかを想定しながら指定する必要があり、実際に切り出された領域が想定していた範囲と少しでも異なってしまうと、所望する被写体の一部が欠けた状態となるなど、切り出された画像に大きな影響を与えてしまう。
【０００５】
本発明の課題は、処理を実行させる領域をユーザ操作によって指定する際に、その指定を適切に支援できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、
画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像上の異なる位置を連続的に指定する位置指定手段と、
前記位置指定手段によって連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する領域特定手段と、
前記領域特定手段によって特定された前記処理対象領域を前記指定位置に追従して報知する報知手段と、
を備えることを特徴とする画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、処理を実行させる領域をユーザ操作によって指定する際に、その指定を適切に支援することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図２】（１）、（２）は、所定の画像処理を実行させる領域をユーザ操作によって指定する場合の様子を示した図。
【図３】撮影モードに切り替えられた際に実行開始される動作（本実施形態の特徴的な動作）を説明するためのフローチャート。
【図４】図３の動作に続くフローチャート。
【図５】（１）、（２）は、ライブビュー画面に表示されている魚眼画像上でシングルタップ操作が行われた場合の表示状態を示した図、（３）は、その魚眼画像から切り出されて歪み補正された画像を示した図。
【図６】（１）は、ライブビュー画面に表示されている魚眼画像上でスワイプ操作が行われた場合の表示状態を示した図、（２）は、その魚眼画像から切り出されて歪み補正された画像を示した図。
【図７】（１）は、ライブビュー画面に表示されている魚眼画像上でスワイプ操作が行われた場合の表示状態を示した図、（２）は、その魚眼画像から切り出されて歪み補正された画像を示した図。
【図８】実施形態の変形例を説明するための図で、ライブビュー画面に表示されている魚眼画像上でスワイプ操作が行われた場合の表示状態を示した図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１０】
以下、図１〜図７を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
画像処理装置（デジタルカメラ）は、基本的な機能として、魚眼レンズ、又はその他の通常の撮像レンズを使用して撮像が可能な撮像機能、魚眼レンズなどを使用して撮像された画像を再生する再生機能などを備えている。
【００１１】
制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３Ａと、このカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ３Ｂなどを有している。
【００１２】
なお、記憶部３は、例えば、魚眼画像などを記録保存するＳＤカード、ＵＳＢメモリカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。操作部４は、電源をオン又はオフする電源キー、撮影を指示するレリーズキー、露出やシャッタスピードなどの撮影条件を設定する設定キーなどの各種の押しボタン式のキーを備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理を行う。
【００１３】
撮像部５は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部５のレンズユニット５Ａには、魚眼レンズ５Ｂ、撮像素子５Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）と魚眼レンズ５Ｂとが交換可能なもので、図示の例は、通常の撮像レンズに代わって魚眼レンズ５Ｂを装着した状態を示している。この魚眼レンズ５Ｂは、例えば、３枚構成のレンズ系からなり、画角が略１８０゜という広範囲な撮像が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ５Ｂによって撮像された画像の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ５Ｂで撮像された画像（魚眼画像）は、その中心から離れる（端部に向かう）ほど、大きく歪むなどの特徴を有している。
【００１４】
この魚眼レンズ５Ｂからの被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）５Ｃに結像されると、撮像素子５Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号（画像信号）に変換されると共に、所定の画像表示処理が施された後、タッチ表示部６にライブビュー画像としてリアルタイムにモニタ表示される。制御部１は、撮影を指示するレリーズボタンの操作に応じて撮像画像に対して現像処理を行うと共に、標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる。
【００１５】
タッチ表示部６は、高精細液晶などのディスプレイ６Ａ上にタッチパネル６Ｂを積層配置したタッチスクリーンを構成するもので、各種のソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ位置に応じた操作信号を入力したりする。タッチ表示部６の表示画面は、魚眼レンズ５Ｂによって撮像された画像（魚眼画像）などをリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像（魚眼画像）などを再生する再生画面となったりする。
【００１６】
図２は、撮像部５によって撮影された画像（魚眼画像）のうち、所定の画像処理を実行させる領域をユーザ操作によって指定する場合の様子を示した図である。
すなわち、撮像部５によって撮影された画像（魚眼画像）がタッチ表示部６上にライブビュー画像として表示されている状態において、そのタッチ画面（例えば、ライブビュー画面）上でのタッチ操作によって処理対象領域を指定する場合を示している。本実施形態において所定の画像処理とは、魚眼画像から一部の画像を切り出す処理を示し、処理対象領域とは、その切り出し領域を示しているが、それに限らない。
【００１７】
図２（１）は、タッチ表示部６に魚眼画像が表示されている状態において、そのタッチ画面上で所定のタッチ操作、例えば、１回のタッチ操作（シングルタップ操作）が行われ場合を例示した図である。
ユーザは、魚眼画像内からその一部（所望する被写体部分）の画像の切り出しを指示する場合には、その切り出し領域（処理対象領域）をタッチ操作によって指定する。その際、例えば、縦横比が横４：縦３の標準サイズの画像を希望する場合には、その所望する被写体部分に対して所定のタッチ操作（例えば、シングルタップ操作）を行う。制御部１は、この所定のタッチ操作（シングルタップ操作）によってタッチ画面上の任意の一点が指定されると、そのタッチ位置を魚眼画像上に重畳表示（報知）させると共に、そのタッチ位置を含む領域を処理対象領域として特定し、この処理対象領域を明示するための案内枠を魚眼画像上に重畳表示（報知）させるようにしている。
【００１８】
すなわち、制御部１は、まず、タッチ位置を中心とする所定の領域を生成する。例えば、タッチ位置を中心点とする矩形領域として、縦横比が横４：縦３の標準サイズの横長の長方形領域を生成する。そして、この長方形の領域（標準サイズ展開用の領域）を魚眼画像の歪み率に応じて歪曲補正する処理を施すと、この歪み補正により補正後の領域は、円弧状の領域に変形される。この補正後の領域（円弧状の領域）を処理対象領域として特定した後、この処理対象領域（円弧状の領域）を明示するための案内枠（図中、太い破線枠）を、そのタッチ位置を示すマーク（図中、黒点）と共に、魚眼画像上に重畳表示させるようにしている。
【００１９】
図２（２）は、タッチ表示部６に魚眼画像が表示されている状態において、そのタッチ画面上で所定のタッチ操作、例えば、円弧状の軌跡を描くスライド操作（スワイプ操作）が行われた場合を例示した図である。
ユーザは、魚眼画像内からその一部（所望する被写体部分）の画像の切り出しを指示する際に、例えば、縦横比が横８：縦３のパノラマサイズの画像を希望する場合には、所望する被写体部分に対して所定のタッチ操作として、被写体部分を含むように広範囲を移動するスライド操作（スワイプ操作）を行う。この場合、スワイプ操作の開始位置をパノラマ展開の始点、スワイプ操作の終了位置をパノラマ展開の終点となるようにスワイプ操作を行うが、魚眼レンズ５Ｂで撮影された画像は、その中心から離れるほど歪み具合が大きくなるという性質を有しているため、所望する被写体部分が魚眼画像の中央部分から周辺部分に亘るような場合には、被写体部分上を移動するスワイプ操作は、直線的な軌跡とはならず、円弧状に曲がった軌跡となる。
【００２０】
制御部１は、この円弧状のスワイプ操作によって連続的に変化するタッチ位置が指定されると、そのスワイプ操作に追従してそのタッチ軌跡を示すマーク（図中、矢印付の破線）を魚眼画像上に重畳表示させると共に、このタッチ位置を含む円弧状の領域（タッチ軌跡を中心とする円弧状の領域）を生成し、この生成領域を処理対象領域として特定した後、この円弧状の処理対象領域を明示するための案内枠（図中、太い破線枠）をスワイプ操作に追従して魚眼画像上に重畳表示させる。この円弧状の処理対象領域は、スワイプ操作の開始位置をパノラマ展開の始点、スワイプ操作の終了位置をパノラマ展開の終点とするパノラマ展開用の領域である。なお、スワイプ操作に追従したタッチ軌跡に基づいて円弧状の領域を生成するが、この円弧状の領域の曲率は、魚眼レンズ５Ｂによって撮影された画像の歪みを考慮に入れた上で生成されることになる。
【００２１】
次に、本実施形態における画像処理装置（デジタルカメラ）の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図３及び図４は、画像処理装置（デジタルカメラ）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３及び図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２２】
図３及び図４は、撮影モードに切り替えられた際に実行開始される動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、制御部１は、撮影モードにおいて、撮像部５から画像（魚眼画像）を取得して、タッチ表示部６にライブビュー画像として表示させる動作を開始する（ステップＳ１）。そして、このライブビュー画面（タッチ画面）へのタッチ操作の有無（タッチ開始の有無）を調べたり（ステップＳ２）、操作部４上のレリーズキーの操作有無を調べたりする（ステップＳ１０）。
【００２３】
いま、タッチ操作を検出すると（ステップＳ２でＹＥＳ）、そのタッチ位置を検出してワークメモリ３Ｂに一時記憶しておく（ステップＳ３）。そして、タッチ位置は変化したか（タッチ操作は移動したか）を調べ（ステップＳ４）、タッチ位置が変化しなければ（ステップＳ４でＮＯ）、タッチ操作の終了か（タッチは離れたか）を調べる（ステップＳ５）。ここで、タッチしたままの状態であれば（ステップＳ５でＮＯ）、上述のステップＳ４に戻るが、タッチ位置が変化しないままの状態で（ステップＳ４でＮＯ）、タッチが離れた場合（ステップＳ５でＹＥＳ）、つまり、タッチしてから離すタッチ操作（１回のタッチ操作：シングルタップ操作）が行われた場合には、次のステップＳ６に移り、ワークメモリ３Ｂに一時記憶されているタッチ位置を読み出し、このタッチ位置を中心とする標準サイズの矩形領域、例えば、縦横比が横４：縦３の横長の長方形領域を生成する。
【００２４】
次に、制御部１は、この生成領域（横長の長方形領域）に応じて魚眼レンズ５Ｂの歪み率を取得し、この生成領域に対して歪みを補正する処理を行う（ステップＳ７）。すなわち、魚眼画像は、魚眼レンズ５Ｂの中心から離れる程、その歪み率が大きくなるため、予め設定されている魚眼レンズ５Ｂのパラメータ（レンズの中心から縁までの一連の歪み率）を読み出し、その中から生成領域（横長の長方形領域）に相当する各位置の歪み率を取得し、この複数の歪み率を用いて生成領域に対して歪み補正を施す。これによって横長の長方形領域は、円弧状の領域に変形される。次に、制御部１は、この補正後の円弧状の領域を画像処理の対象領域として特定してワークメモリ３Ｂに一時記憶させる（ステップＳ８）。そして、この処理対象領域を明示する案内枠をそのタッチ位置を示すマークと共に、魚眼画像上に重畳表示させる（ステップＳ９）。
【００２５】
図５は、図２（１）で示した場合と同様に、シングルタップ操作が行われた場合を示し、図５（１）は、親子を撮影した魚眼画像がライブビュー画面に表示されている状態において、その魚眼画像上で親子が写っている辺りがシングルタップ操作された場合を示している。図５（２）は、そのシングルタップ操作によってライブビュー画面上に処理対象領域（魚眼画像の歪みに応じて補正された円弧状の領域）を明示する案内枠と、そのタッチ位置を示すマークが魚眼画像上に重畳表示された状態を示している。
【００２６】
一方、タッチ位置の変化を検出した場合には（ステップＳ４でＹＥＳ）、変化したタッチ位置を検出してワークメモリ３Ｂに一時記憶（ステップＳ１１）させた後、このタッチ軌跡に応じた形状の領域を生成する（ステップＳ１２）。すなわち、タッチ軌跡を、例えば中心線とする所定幅を持った円弧状の領域を生成する。そして、この生成領域を画像処理の対象領域として特定してワークメモリ３Ｂに一時記憶（ステップＳ１３）させた後、この処理対象領域を明示する案内枠をそのタッチ軌跡を示すマークと共に、魚眼画像上に重畳表示させる（ステップＳ１４）。この状態において、タッチ操作の終了か（タッチは離れたか）を調べ（ステップＳ１５）、以下、タッチが離れるまで上述のステップＳ４に戻り、以下、タッチ位置が変化する毎に（ステップＳ４でＹＥＳ）、上述の動作（ステップＳ１１〜Ｓ１５）を繰り返す。これによって魚眼画像上に重畳表示されている処理対象領域は、タッチ操作（スワイプ操作）に追従して順次変化するようになる。
【００２７】
図６は、図２（２）で示した場合と同様に、円弧状の軌跡を描くスワイプ操作が行われた場合で、図６（１）は、親子を撮影した魚眼画像がライブビュー画面に表示されている状態において、その魚眼画像上で親子が写っている辺り（魚眼画像の中央部分）がスワイプ操作された場合を示し、このスワイプ操作のタッチ軌跡に応じてライブビュー画面上に円弧状の処理対象領域を明示する案内枠が魚眼画像上に重畳表示されると共に、そのタッチ軌跡を示すマークが魚眼画像上に重畳表示される。この処理対象領域を明示する案内枠とタッチ軌跡を示すマークは、スワイプ操作に追従して順次変化するもので、両者を識別可能となるように、それらの線種や太さなどを変えて表示するようにしている。
【００２８】
図７は、図２（２）で示した場合と同様に、円弧状の軌跡を描くスワイプ操作が行われた場合で、図６（１）の場合には魚眼画像の中央部分がスワイプ操作された場合であるが、図７（１）の場合には魚眼画像の周辺部分がスワイプ操作された場合である。すなわち、図７（１）に示した魚眼画像は、魚眼レンズ５Ｂを天に向けて周囲のビル群を撮影した場合を例示したもので、その周囲のビル群（魚眼画像の周辺部分）のうち、図中、下半分の周辺部分がスワイプ操作された場合を示し、このスワイプ操作のタッチ軌跡に応じてライブビュー画面上に円弧状の処理対象領域を明示する案内枠が魚眼画像上に重畳表示されると共に、そのタッチ軌跡を示すマークが魚眼画像上に重畳表示される。この処理対象領域を明示する案内枠とタッチ軌跡を示すマークは、スワイプ操作に追従して順次変化するもので、両者を識別可能となるように、それらの線種や太さなどを変えて表示するようにしている。
【００２９】
このようなタッチ操作（シングルタップ操作又はスワイプ操作）によって処理対象領域を特定して報知する処理が終わると、レリーズキーが操作されたかを調べ（ステップＳ１０）、レリーズキーが操作されなければ（ステップＳ１０でＮＯ）、上述のステップＳ２に戻る。いま、レリーズキーが操作されると（ステップＳ１０でＹＥＳ）、図４のステップＳ１６に移り、ワークメモリ３Ｂに処理対象領域が一時記憶されているか、つまり、撮影準備として処理対象領域は特定済みであるかを調べる。ここで、処理対象領域が特定されていなければ（ステップＳ１６でＮＯ）、撮像部５から魚眼画像を取得して現像処理を行うと共に、標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＳ２４）。
【００３０】
また、処理対象領域が特定済みであれば（ステップＳ１６でＹＥＳ）、撮像部５から魚眼画像を取得し、その魚眼画像から処理対象領域内の画像を切り出す（ステップＳ１７）。そして、上述の場合と同様に、予め設定されている魚眼レンズ５Ｂのパラメータ（レンズの中心から縁までの一連の歪み率）を読み出し（ステップＳ１８）、その中から処理対象領域に相当する各位置の歪み率を取得し、この複数の歪み率を用いて処理対象領域内の画像の歪みを補正する処理を行う（ステップＳ１９）。これによって円弧状の処理対象領域内の画像は、矩形状の画像に変形される。そして、この補正画像に対して現像処理を行うと共に、標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＳ２０）。即ち、ここまで説明したように、上述したレリーズキー操作により、特定された処理対象領域が画像処理する対象であると本決定されることになる。
【００３１】
図５（３）は、図５（１）に示したように、魚眼画像の中央部分へのシングルタップ操作によって特定された円弧状の処理対象領域内の画像に対して、その歪みを補正した後の補正画像を示し、この補正画像が標準サイズ展開画像として記録保存される。この場合、円弧状の画像は、歪み補正によって矩形状の画像に変形されて、例えば、縦横比が横４：縦３の矩形状の画像（標準サイズ展開画像）となる。
【００３２】
図６（２）は、図６（１）に示したように、魚眼画像の中央部分から周辺部分へのスワイプ操作によって特定された円弧状の処理対象領域内の画像に対して、その歪みを補正した後の補正画像を示し、この補正画像がパノラマサイズ展開画像として記録保存される。この場合、円弧状の画像は、歪み補正によって矩形状の画像に変形されて、例えば、縦横比が横８：縦３の矩形状の画像（パノラマサイズ展開画像）となる。
【００３３】
図７（２）は、図７（１）に示したように、魚眼画像の周辺部分へのスワイプ操作によって特定された円弧状の処理対象領域内の画像に対して、その歪みを補正した後の補正画像を示し、この補正画像がパノラマサイズ展開画像として記録保存される。この場合、円弧状の画像は、歪み補正によって矩形状の画像に変形されて、例えば、縦横比が横８：縦３の矩形状の画像（パノラマサイズ展開画像）となる。
【００３４】
このようにして補正画像を記録保存すると、その補正画像の元となった魚眼画像を記録保存させる（ステップＳ２１）。この場合においても魚眼画像に対して現像処理を行うと共に、標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させるが、その際、補正画像と魚眼画像とを対応付けて記録保存するようにしている。その後、ワークメモリ３Ｂの内容を消去する処理（ステップＳ２２）を行った後、撮影モードが解除されたかを調べる（ステップＳ２３）。いま、撮影モードが解除されると（ステップＳ２３でＹＥＳ）、図３及び図４のフローから抜けるが、撮影モードのままであれば（ステップＳ２３でＮＯ）、図３のステップＳ２に戻り、上述の動作を繰り返す。
【００３５】
以上のように、本実施形態において制御部１は、撮像部５から取得した画像上の位置が連続的に指定された場合に、その指定位置に追従してその指定位置を含む領域を画像処理の対象領域として特定し、この処理対象領域を指定位置に追従して報知するようにしたので、処理を実行させる領域をユーザ操作によって指定する際に、その指定を適切に支援することができる。例えば、図６（１）、図７（１）に示したスワイプ操作によってライブビュー画面上に処理対象領域を明示する案内枠が、そのスワイプ操作に追従して順次表示されるため、ユーザにあってはスワイプ操作を行うだけで適切な処理対象領域を容易に目視確認することかできる。また、魚眼画像の歪曲を補正してその補正画像を表示させた状態で、切り出し領域の指定や、その他の画像処理を実行させる領域をその補正画像上で指定することを受け付け可能とするのではなく、歪みを有する画像上で画像処理を実行させる領域を指定することができる。
【００３６】
制御部１は、連続的に指定された位置に追従してその指定軌跡に応じた形状の領域を画像処理の対象領域として特定するようにしたので、ユーザにあっては魚眼レンズ５Ｂの歪みを考慮しながら連続的な位置指定が可能となる。
【００３７】
制御部１は、撮像部５から取得した画像上の位置が指定された場合に、その指定位置とその位置に対応する歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定し、この処理対象領域を報知するようにしたので、処理を実行させる領域をユーザが指定する場合に、その指定を適切に支援することができる。例えば、図５（１）、（２）に示したシングルタップ操作によってライブビュー画面上に処理対象領域を明示する案内枠が表示されるため、ユーザにあってはシングルタップ操作を行うだけで適切な処理対象領域を容易に目視確認することができる。
【００３８】
制御部１は、魚眼レンズ５Ｂのパラメータに基づいてその魚眼画像の歪み率を算出するようにしたので、その歪み率を的確に求めることができる。
【００３９】
制御部１は、撮像部５から取得した画像のうち、特定した処理対象領域内の画像に対して所定の画像処理を行うようにしたので、適切な支援によって特定された処理対象領域に対して的確な画像処理が可能となる。
【００４０】
制御部１は、撮像部５から取得した画像の中から特定した処理対象領域内の画像を切り出す処理を行うようにしたので、例えば、処理対象領域の特定が不正確なために所望する被写体の一部が切り取られてしまうなどの事態を防ぐことができる。
【００４１】
制御部１は、撮像部５から取得した広角画像の中から特定した処理対象領域内の画像を切り出す処理を行うと共に、その切り出した画像に対してその歪を補正する処理を行うようにしたので、魚眼画像から処理対象領域内の画像を切り抜いても歪みの無い画像を得ることができる。
【００４２】
制御部１は、撮像部５から取得した画像を表示する画面上に、ユーザ操作により指定された位置と共に、その指定位置に応じて特定した処理対象領域を識別表示するようにしたので、ユーザに対して見やすい報知が可能となる。
【００４３】
制御部１は、撮像部５から取得した画像をタッチ表示部６に表示させている状態において、タッチ操作によって指定された位置に基づいて特定した処理対象領域をその画像上に重畳表示させるようにしたので、画像上でのタッチ操作によって処理対象領域を的確に指定することが可能となる。
【００４４】
＜変形例１＞
なお、上述した実施形態においては、タッチ表示部６に魚眼画像が表示されている状態において、そのタッチ画面上で魚眼画像の性質を考慮に入れて円弧状のスワイプ操作が行われた場合を示したが、円弧状のスワイプ操作に限らず、直線的な軌跡を描くスワイプ操作を行うようにしてもよい。
図８は、タッチ表示部６に魚眼画像が表示されている状態において、直線的な軌跡を描くスワイプ操作が行われた場合を説明するための図である。
【００４５】
ここで、制御部１は、図８に示すように、直線的なスワイプ操作に追従してタッチ軌跡を示すマーク（図中、矢印付の破線）を魚眼画像上に重畳表示させると共に、このタッチ位置を含む矩形領域、つまり、タッチ軌跡を中心とする矩形領域を生成し、この生成領域に対して歪み補正を行う。すなわち、予め設定されている魚眼レンズ５Ｂのパラメータ（レンズの中心から縁までの一連の歪み率）の中から処理対象領域に相当する各位置の歪み率を取得し、この複数の歪み率を用いて処理対象領域に対して歪み補正を行う。これによって矩形領域は、円弧状の領域に変形され、この円弧状の領域を処理対象領域として特定して魚眼画像上に重畳表示させる。
【００４６】
このようにスワイプ操作に追従して処理対象領域を特定して報知する場合に、タッチ位置を含む矩形領域を生成し、この矩形領域に対して歪み補正を行って円弧状の領域に変形した後、この円弧状の領域を処理対象領域として特定して報知するようにすれば、直線的なスワイプ操作が行われても実際に処理される領域を報知することができる。
【００４７】
＜変形例２＞
上述した実施形態においては、予め設定されている魚眼レンズ５Ｂのパラメータ（レンズの中心から縁までの一連の歪み率）を使用して歪み率を求めるようにしたが、魚眼画像を解析することによりその各点に対する歪み率を求めるようにしてもよい。すなわち、魚眼画像内に含まれている特徴線（例えば、地平線、テレビや机の縁部の直線など、現実世界で水平な線、又は垂直な線）を検出し、その特徴線を基準にして、各点の歪み具合を求めて歪み率を算出するようにしてもよい。このように画像解析によって歪み率を求めるようにすれば、レンズパラメータが用意されていない場合でも歪み率を求めることが可能となる。
【００４８】
＜変形例３＞
上述した実施形態においては、撮影時のライブビュー画面上で処理対象領域を報知するようにしたが、撮影済み画像（保存画像）の再生時にその再生画面上で処理対象領域を報知するようにしてもよい。すなわち、撮影済み画像（保存画像）が表示されている再生画面上において、上述した実施形態と同様に、シングルタップ操作又はスワイプ操作が行われると、それに応じて処理対象領域を特定し、この処理対象領域を明示する案内枠を再生画面上に重畳表示するようにしてもよい。この場合、処理対象領域内の画像を切り出して歪み補正を行い、その補正後の画像を再生画面上に切り替え表示したり、記録保存したりするようにしてもよい。なお、この場合、シングルタップ操作やスワイプ操作が行われて、それに応じて処理対象領域を特定した後、例えば画面上のダブルクリックや、所定の釦操作などの所定操作を検知したら、或いは処理対象領域を特定した後に、数秒間操作が無いことを検知したら、その処理対象領域を画像処理する領域であると本決定するようにしてもよい。
【００４９】
上述した実施形態においては、魚眼レンズ５Ｂで撮影した画像に対して適用した場合を示したが、魚眼画像上での領域指定に限らず、その他の広角レンズで撮影した画像、又は歪の無い画像上で領域指定する場合も同様に適用可能である。なお、上述した実施形態のように歪みのある画像の場合は画像の歪みを考慮に入れた上で処理対象領域を生成するが、歪みの無い画像の場合は、画像の歪みを考慮に入れることなく、処理対象領域を生成することとなる。
【００５０】
上述した実施形態においては、撮像部５から取得した画像を表示する画面上において、処理対象領域を明示する案内枠の他に、ユーザ操作により指定された位置を表示するようにしたが、処理対象領域を明示する案内枠を表示するだけで、指定位置を表示しなくてもよく、また、処理対象領域を明示する案内枠を魚眼画像上に重畳表示する場合に限らず、案内枠、又は処理対象領域の全体を着色表示したり、点滅表示したりするなど、処理対象領域を識別可能であれば、その報知の仕方は限らない。
【００５１】
上述した実施形態においては、所定の処理として処理対象領域内の画像を切り出す処理を行うようにしたが、これに限らず、画像を表示する処理、コントラスト・ぼかし・シャープネスなどの特殊効果を施す画像処理などであってもよい。
【００５２】
また、上述した実施形態においては、画像処理装置として、デジタルカメラ、ノート型ＰＣに限らず、例えば、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。
【００５３】
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００５４】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像上の異なる位置を連続的に指定する位置指定手段と、
前記位置指定手段によって連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する領域特定手段と、
前記領域特定手段によって特定された前記処理対象領域を前記指定位置に追従して報知する報知手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記領域特定手段は、前記位置指定手段によって連続的に指定された位置に追従してその指定軌跡に応じた形状の領域を画像処理の対象領域として特定する、
ことを特徴とする。
（請求項３）
請求項に記載の発明は、
歪みを有する画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像上の位置を指定する位置指定手段と、
前記画像取得手段によって取得された画像上において、前記位置指定手段によって指定された位置に対応する歪み率を取得する歪み率取得手段と、
前記位置指定手段によって指定された位置と前記歪み率取得手段によって取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する領域特定手段と、
前記領域特定手段によって特定された処理対象領域を報知する報知手段と、
を備えることを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記位置指定手段は、前記画像取得手段によって取得された画像上の異なる位置を連続的に指定し、
前記領域特定手段は、前記位置指定手段によって連続的に指定された位置に追従してその指定位置を含む領域を画像処理の対象領域として特定し、
前記報知手段は、前記領域特定手段によって特定された処理対象領域を前記指定位置に追従して報知する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記歪み率取得手段は、前記画像取得手段により取得される画像を撮影するレンズのパラメータに基づいてその画像の歪み率を算出する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記歪み率取得手段は、前記画像取得手段により取得される画像を解析することによりその画像の歪み率を算出する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６の何れかに記載の画像処理装置において、
前記領域特定手段によって特定された処理対象領域を、画像処理する領域であると決定する処理領域決定手段と、
前記処理領域決定手段によって決定された処理対象領域内の画像に対して所定の画像処理を行う画像処理手段と、
を更に備えることを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項７に記載の画像処理装置において、
前記画像処理手段は、前記画像取得手段によって取得された画像の中から前記処理領域決定手段によって決定された処理対象領域内の画像を切り出す処理を行う、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項７に記載の画像処理装置において、
前記画像処理手段は、前記画像取得手段によって取得された広角画像の中から前記処理領域決定手段によって決定された処理対象領域内の画像に対してその歪を補正する処理を行う、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項１乃至９の何れか１項に記載の画像処理装置において、
前記画像取得手段によって取得された画像を表示する表示手段を更に備え、
前記報知手段は、前記画像が表示されている前記表示手段に、前記位置指定手段によって指定された位置と共に、前記領域特定手段によって特定された処理対象領域を識別表示する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１乃至１０の何れか１項に記載の画像処理装置において、
前記画像取得手段によって取得された画像を表示する表示手段を更に備え、
前記位置指定手段は、前記表示手段上のタッチ操作手段であり、
前記報知手段は、前記画像が表示されている前記表示手段に、前記領域特定手段によって特定された処理対象領域を重畳表示する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、
画像処理装置における画像処理方法であって、
画像を取得する処理と、
前記取得された画像上の異なる位置を連続的に指定する処理と、
前記連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する処理と、
前記特定された前記処理対象領域を前記指定位置に追従して報知する処理と、
を含むことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、
画像処理装置のコンピュータに対して、
画像を取得する機能と、
前記取得された画像上の異なる位置を連続的に指定する処理と、
前記連続的に指定された位置に追従してその指定位置を含む領域を画像処理の処理対象領域として特定する機能と、
前記特定された前記処理対象領域を前記指定位置に追従して報知する機能と、
を実現させるためのプログラムである。
（請求項１４）
請求項１４に記載の発明は、
画像処理装置における画像処理方法であって、
歪みを有する画像を取得する処理と、
前記取得された画像上の位置を指定する処理と、
前記取得された画像上において、前記指定された位置に対応する歪み率を取得する処理と、
前記指定された位置と前記取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する処理と、
前記特定された処理対象領域を前記指定位置に追従して報知する処理と、
を含むことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、
画像処理装置のコンピュータに対して、
歪みを有する画像を取得する機能と、
前記取得された画像上の位置を指定する機能と、
前記取得された画像上において、前記指定された位置に対応する歪み率を取得する機能と、
前記指定された位置と前記取得された歪み率に基づいて、その指定位置を含む領域を画像処理の対象領域として特定する機能と、
前記特定された処理対象領域を前記指定位置に追従して報知する機能と、
を実現させるためのプログラムである。
【符号の説明】
【００５５】
１  制御部
３  記憶部
３Ａ  プログラムメモリ
５  撮像部
５Ｂ  魚眼レンズ
５Ｃ  撮像素子
６  タッチ表示部
６Ａ  ディスプレイ
６Ｂ  タッチパネル
【図１】
2017162371.tif 000003
【図２】
2017162371.tif 000004
【図３】
2017162371.tif 000005
【図４】
2017162371.tif 000006
【図５】
2017162371.tif 000007
【図６】
2017162371.tif 000008
【図７】
2017162371.tif 000009
【図８】
2017162371.tif 000010