(57)【要約】      （修正有）【課題】魚眼画像を矩形の画像に画像展開してもその展開後の特定被写体の変形を極力抑制することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置（例えば、デジタルカメラ）においては、魚眼画像内に含まれている特定被写体（例えば、人物の顔）を特定すると共に、この魚眼画像の少なくとも一部分の画像領域を決定し、この特定被写体の位置（例えば、顔の中心位置Ｂ）に基づいて、魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する。【選択図】図４
2018164143.tif 000002
【特許請求の範囲】
【請求項１】
魚眼画像に含まれる特定被写体を特定する被写体特定手段と、
前記魚眼画像の少なくとも一部分の画像領域を決定する領域決定手段と、
前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する画像展開手段と、
を備え、
前記画像展開手段は、前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する、
ことを特徴とする画像処理装置。
【請求項２】
前記画像展開手段は、前記魚眼画像の少なくとも一部分の画像領域中の前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体特定手段により特定された特定被写体を基に前記画像展開手段による画像展開の基準位置を決定する位置決定手段、
を備え、
前記画像展開手段は、前記魚眼画像の少なくとも一部分の画像領域のうち、前記位置決定手段によって決定された基準位置を境にして前記魚眼画像の中心側の画像部分を伸張し、その周辺側の画像部分を縮小する、
ことを特徴とする請求項1又は２に記載の画像処理装置。
【請求項４】
前記画像展開の基準位置は、伸縮が行われない等倍位置である、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記位置決定手段は、前記特定被写体を解析してその中心位置を等倍位置として決定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記画像展開手段は、円形の魚眼画像からその中心領域を除いた環状の画像、又は前記環状の画像からその一部を切り取った円弧状の画像を、その放射方向に概念的に複数に分割した各画像を配列展開することで得られる台形の小片画像の個々に対して画像展開を行う、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記画像展開手段は、前記魚眼画像の中心側の画像部分を伸張する場合にその伸張度合いを順次変更しながら伸張する処理を繰り返し、前記周辺側の画像部分を縮小する場合にその縮小度合い順次変更しながら縮小する処理を繰り返す、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記被写体特定手段により特定された特定被写体の上部と下部を結ぶ線が前記魚眼画像の中心を向かっているか否かを判別する判別手段、
を更に備え、
前記画像展開手段は、前記判別手段によって特定被写体の上部と下部を結ぶ線が魚眼画像の中心を向かっていると判別されたことを条件に、矩形の画像に展開する、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記領域決定手段は、魚眼画像の一部を切り取り領域として決定し、
前記画像展開手段は、前記領域決定手段によって決定された切り取り領域内の画像を矩形の画像に展開する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記被写体特定手段は、前記領域決定手段によって決定された領域内の画像を解析してその領域内に含まれている特定被写体を特定する、
ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記領域決定手段は、ユーザ操作に応じて任意に指定された魚眼画像の一部を切り取り領域として決定する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記領域決定手段は、前記被写体特定手段により特定された特定被写体が含まれている領域を切り取る領域として決定する、
ことを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記被写体特定手段は、魚眼画像に含まれる特定被写体として顔を特定する、
ことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記被写体特定手段は、魚眼画像に含まれる顔の向きを更に特定し、
前記領域決定手段は、前記被写体特定手段により特定された顔の向きに基づいて切り取り領域を決定する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
画像処理装置における画像処理方法であって、
魚眼画像に含まれる特定被写体を特定する処理と、
前記魚眼画像の少なくとも一部分の画像領域を決定する処理と、
前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する処理と、
を含むことを特徴とする画像処理方法。
【請求項１６】
画像処理装置のコンピュータに対して、
魚眼画像に含まれる特定被写体を特定する機能と、
前記魚眼画像の少なくとも一部分の画像領域を決定する機能と、
前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼画像を矩形の画像に展開する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置に採用されている魚眼レンズ（広角レンズ）は、例えば、画角が略１８０度という広範囲な撮影が可能であるが、射影方式が採用されているために魚眼レンズで撮影された画像（魚眼画像）は、その中心部からその端部（周辺部）の方に向かうほど、大きく歪んだものとなるという特徴を有している。このような魚眼レンズを用いて撮影された円形の魚眼画像を矩形のパノラマ画像に展開する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８７５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献の技術にあっては、魚眼画像をパノラマ展開する際に台形補正処理を施すため、その中央部分と周辺部分とでは画像の伸縮率が異なってしまう。その結果、魚眼画像内の被写体の位置によっては、その被写体に対して意図しない変形が生じてしまい、所望する画像が得られないということがある。
【０００５】
本発明の課題は、魚眼画像を矩形の画像に画像展開してもその展開後の特定被写体の変形を極力抑制できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、
魚眼画像に含まれる特定被写体を特定する被写体特定手段と、
前記魚眼画像の少なくとも一部分の画像領域を決定する領域決定手段と、
前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する画像展開手段と、
を備え、
前記画像展開手段は、前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する、
ことを特徴とする画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、魚眼画像を矩形の画像に画像展開してもその展開後の特定被写体の変形を極力抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】（１）は、画像処理装置として適用したデジタルカメラを構成する撮像装置１０と本体装置２０とを一体的に組み合わせた状態を表した外観図、（２）は、撮像装置１０と本体装置２０とを分離した状態を表した外観図。
【図２】（１）は、撮像装置１０の構成を示したブロック図、（２）は、本体装置２０の構成を示したブロック図。
【図３】（１）及び（２）は、撮像時の撮像装置１０の姿勢を示し、（３）は、（２）の姿勢で撮像された広角画像（魚眼画像）を例示した図。
【図４】（１）〜（３）は、魚眼画像を伸縮処理して矩形の画像に展開する様子を概念的に説明するための図。
【図５】（１）〜（３）は、画像展開する様子をより具体的に説明するための図。
【図６】魚眼画像を矩形の画像に展開する伸縮処理（画像展開処理）を示したフローチャート。
【図７】図６の動作に続くフローチャート。
【図８】（１）、（２）は、魚眼画像の一部がユーザ操作によって切り取り領域として特定された場合の様子を示した図。
【図９】第１実施形態の変形例を説明するめの図。
【図１０】第２実施形態において、魚眼画像を矩形の画像に展開する伸縮処理（画像展開処理）を示したフローチャート。
【図１１】（１）、（２）は、第２実施形態において、魚眼画像内の特定被写体（人物の顔）の位置及び顔の向きから切り取り領域を特定する様子を示した図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
まず、図１〜図８を参照して本発明の第１実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、このデジタルカメラは、後述する撮像部を備える撮像装置１０と、後述する表示部を備える本体装置２０とに分離可能なセパレート型デジタルカメラである。図１（１）は、撮像装置１０と本体装置２０とを一体的に組み合わせた状態を示し、図１（２）は、撮像装置１０と本体装置２０とを分離した状態を示している。このセパレート型デジタルカメラを構成する撮像装置１０と本体装置２０とは、それぞれが利用可能な無線通信を用いてペアリング（無線接続認識）が可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用している。本体装置２０は、撮像装置１０側で撮像された画像を受信取得して、この撮像画像（ライブビュー画像）をタッチ画面に表示するようにしている。
【００１０】
図２（１）は、撮像装置１０の構成を示すブロック図であり、図２（２）は、本体装置２０の構成を示すブロック図である。
図２（１）において、撮像装置１０は、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像部１６、姿勢検出部１７などを備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。通信部１４は、撮影画像を本体装置２０側に送信したり、本体装置２０からの操作指示信号などを受信したりする通信インターフェイスである。操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。
【００１１】
撮像部１６は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、例えば、水平360度、垂直１８５度の範囲を１枚の画像に収めるという広範囲な撮影が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像、全天周画像）の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された広角画像（魚眼画像）は、その中心から端部（周辺部）に向かう程、大きく歪んだものとなる。
【００１２】
このような魚眼レンズ１６Ｂによる被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）１６Ｃに結像されると、この撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号に変換されると共に、所定の画像処理が施された後、本体装置２０側に送信されてモニタ表示される。姿勢検出部１７は、撮像装置１０に加わる加速度を検出する３軸加速度センサであり、撮像時における撮像装置１０のカメラ姿勢として、例えば、魚眼レンズ１６Ｂの光軸方向を天頂方向（反重力方向）、又は天頂方向に対して所定の角度範囲内となる方向（略天頂方向）に向けて撮像する場合のカメラ姿勢（天頂姿勢）などを検出する。
【００１３】
図２（２）において、本体装置２０は、魚眼レンズなどを使用して撮影された画像を再生する再生機能を有し、制御部２１、電源部２２、記憶部２３、通信部２４、操作部２５、タッチ表示部２６などを備えている。制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの本体装置２０の全体動作を制御する。通信部２４は、撮像装置１０との間で各種のデータの送受信を行う通信インターフェイスである。操作部２５は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えている。タッチ表示部２６は、高精細液晶などのディスプレイ上にタッチパネルを積層配置した構成で、その表示画面は、撮影された画像（魚眼画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。
【００１４】
図３は、撮像時における撮像装置１０の姿勢と、その姿勢で撮像された魚眼画像を例示した図である。
図３（１）は、魚眼レンズ１６Ｂの光軸方向を水平方向に向けたカメラ姿勢（水平構えの姿勢）を示し、図３（２）は、魚眼レンズ１６Ｂの光軸方向を天頂方向（反重力方向）、又は天頂方向に対して所定の角度範囲内となる方向（略天頂方向）に向けたカメラ姿勢（天頂姿勢：垂直構えの姿勢）を示し、図３（３）は、このカメラ姿勢（天頂姿勢）で撮像された円形の魚眼画像を示している。図示の例は、ビル群の囲まれた場所で魚眼レンズ１６Ｂを空側（天頂）に向けて撮像した画像を示し、その魚眼画像の中央部の領域には青空が写り、その周辺部の領域にはビル群が写っている場合を示している。
【００１５】
図４（１）〜（３）は、魚眼画像を伸縮処理して矩形の画像に展開する様子を概念的に説明するための図である。
図４（１）は、天頂姿勢（垂直構えの姿勢）で撮影された円形の魚眼画像を示している。この円形の魚眼画像の中心部分が、例えば、図３（３）のような空（無限遠）の場合には、画像展開を行うのに先立って、その魚眼画像の中心部分Ａを概念的に除いて、環状の画像とするようにしている。本体装置２０の制御部２１は、魚眼画像（環状の画像）を解析し、その魚眼画像内に含まれている特定被写体（本実施形態では、人物の顔）を特定する。この場合、顔の形成する各バーツ（目、口、鼻、額など）の形、位置、大きさなどを総合的に判断して、人物の顔を特定するが、この顔認識は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとするが、本実施形態においては更に魚眼画像の歪みを考慮して顔認識を行うようにしている（以下、同様）。
【００１６】
このように魚眼画像内の特定被写体として人物の顔を特定すると、制御部２１は、この特定被写体の中心位置（例えば、鼻尖位置）を、画像展開の基準位置として決定する。図中、魚眼画像の中心を基準とする同心円Ｂは、特定被写体の中心位置（鼻尖位置）を通る同心円を示し、この同心円Ｂを画像展開の基準位置として決定する。すなわち、画像展開の基準位置として、画像が伸張されたり、縮小されたりしない等倍位置を示し、以下、この基準位置（等倍位置）を通る同心円Ｂを、第１の等倍線と呼称するものとする。
【００１７】
図４（２）は、上述の中心領域Ａの円弧の長さ（画素数）をＬ１、第１の等倍線Ｂの円弧の長さ（画素数）をＬ２、魚眼画像の外周Ｃの長さ（画素数）をＬ３とした場合において、その中心領域Ａを上辺、外周Ｃを下辺とする台形を仮定したもので、その上辺の長さはＬ１、下辺の長さはＬ３となり、第１の等倍線Ｂは、台形の上辺と下辺に平行な線分で台形の両側の斜辺までの長さがＬ２となる。図中、垂線Ｐ（０）は、この台形の上辺と下辺に直交すると共に台形の中心を通る線分で、伸縮処理が行われない等倍位置となるために、以下、この垂線Ｐ（０）を第２の等倍線と呼称するものとする。
【００１８】
上述した第１の等倍線Ｂは、台形をその上下方向に概念的に区分する場合の境界線であるのに対して、第２の等倍線Ｐ（０）は、台形をその左右方向に概念的に区分する場合の境界線を示している。図中、垂線Ｐ（１）は、台形の上辺と下辺と直交すると共に第１の等倍線Ｂと台形の左側の斜辺とが交差する点を通る線分、また、垂線Ｐ（２）は、台形の上辺と下辺と直交すると共に第１の等倍線Ｂと台形の右側の斜辺とが交差する点を通る線分であり、この垂線Ｐ（１）とＰ（２）の間の長さは、画像展開後の矩形の長さとなる。
【００１９】
図４（３）は、図４（２）に示した魚眼画像（台形の画像）を伸縮処理して矩形の画像に展開した様子を示している。本体装置２０の制御部２１は、この魚眼画像（台形の画像）を第１の等倍線Ｂを境にして上下方向に概念的に区分し、その台形の上辺側部分（魚眼画像の中心側領域）に対しては、第２の等倍位置Ｐ（０）を境に左方向又は右方向にその画像を伸張する伸張処理を行い、また、台形の下辺側部分（魚眼画像の周辺側の領域）に対しては、第２の等倍位置Ｐ（０）を境に左方向又は右方向にその画像を縮小する縮小処理を行う。
【００２０】
すなわち、台形の上辺側部分において第２の等倍位置Ｐ（０）を境にしてその左半分の画像は、図中、矢印方向（左方向）に伸張し、右半分の画像は右方向に伸張する。また、台形の下辺側部分において第２の等倍位置Ｐ（０）を境にしてその左半分の画像は、右方向に縮小し、右半分の画像は左方向に縮小する。ここで、上辺側部分の画像を伸張する場合には、台形の上辺の伸張率を求めてそれを展開パラメータとして順次変更（小さく）しながら伸張する処理を繰り返す。同様に、下辺側部分の画像を縮小する場合には、台形の下辺の縮小率を求めてそれを展開パラメータとして順次変更（小さく）しながら縮小する処理を繰り返す。
【００２１】
この伸縮率（上辺の伸長率と下辺の縮小率）は、第１の等倍線Ｂ上の画素数Ｌ２を計測し、この画素数に基づいて台形の上辺と下辺の画素数Ｌ１、Ｌ３を算出して求めるようにしている（即ち、台形補正する際に、台形の第１の等倍線が重なる画像は伸縮されず、台形の上辺と下辺が、その第１の等倍線と略同じ長さになるように伸縮処理する）。なお、その算出の仕方は任意である。また、伸縮率を順次変更する場合には、台形の斜辺の傾きを求め、この斜辺の傾きに応じて伸縮率を順次求めるようにしてもよい。また、伸張処理及び縮小処理の仕方も、これに限らず任意である。なお、第１の等倍線Ｂ及び第２の等倍線Ｐ（０）上では、上述したような伸縮処理は行われない。
【００２２】
上述のように本実施形態においては、台形を第１の等倍線Ｂを境にして伸縮することによりその上辺の伸張率が大きくなることを抑えることができる。すなわち、一般的な台形補正では、台形の下辺を固定して、台形の上辺側部分を伸張するようにしているため、上辺の伸張率が大きくなることを避けることはできず、被写体も大きく変形してしまうことがあるが、本実施形態のように、台形を矩形に展開するために第１の等倍線Ｂを境にして台形の上辺側部分の画像を伸張し、台形の下辺側部分を縮小することにより、台形の下辺の長さを短くすることができ、その結果、上辺の伸張率が大きくなることを抑えることができ、被写体の変形も抑えられる。
【００２３】
図５（１）〜（３）は、魚眼画像を伸縮処理して矩形の画像に展開する様子の例をより具体的に説明するための図である。
図５（１）は、円形の魚眼画像からその中心領域を除いた環状の画像、又はこの環状の画像からその一部を切り取った円弧状の画像を、その放射方向（半径方向）に概念的に複数に分割して配列展開することで得られる小片画像の個々に対して画像展開を行うことを示した図である。図示の例は、円形の魚眼画像の３６０度を、その中心から放射方向に１度毎に概念的に分割した各画像を直線上に配列展開した様子を示している。
【００２４】
図中、垂直画素数Ｖは、円形の魚眼画像からその中心領域Ａを除いた画像（環状の画像）の半径方向の画素数を示し、水平画素数Ｈ１は、３６０度の魚眼画像全体の水平画素数を示している。また、太線は、１度分の画像（小片画像）を示し、この３６０個の小片画像を直線上に配列展開することによって、小片画像の弧の部分が直線近似されるため小片画像の全体形状は近似的に台形を成すようになる。また、この太線内（台形内）の楕円（塗り潰した領域）は、人物の顔を模試的に示したもので、○を付けた方向が顔の上部、横線を付けた方が顔の下部を示している。
【００２５】
この１度分の小片画像（台形の画像）の個々に対して、図４（２）に示した伸縮処理（画像展開）を行うと、図５（２）に示すような矩形の画像が得られる。すなわち、本体装置２０の制御部２１は、特定被写体（人物の顔）を特定すると共に、この特定被写体の中心位置（鼻尖位置）を、画像展開の基準位置（第１の等倍線Ｂ）として決定した後、３６０個の小片画像（台形の画像）を順次指定しながら小片画像毎に画像展開を行う。この場合、第１の等倍線Ｂを境にして、台形の上辺側部分に対しては画像を伸張する処理、台形の下辺側部分に対しては画像を縮小する処理を行う。
【００２６】
これによって各小片画像が矩形の画像に展開されることによって３６０個分の矩形の画像が得られる。この３６０個の矩形画像を順次配列結合して水平３６０度のパノラマ画像を得る。図中、水平画素数Ｈ２は、展開後のパノラマ画像の全体の水平画素数（矩形の長辺の長さ）を示し、パノラマ展開前の水平画素数Ｈ１とパノラマ展開後の水平画素数Ｈ２は、上述した縮小処理によってＨ１＞Ｈ２の関係となる。すなわち、台形の各小片画像を矩形の画像に展開することで台形の下辺の長さを短くることができ、それに応じてパノラマ画像全体の水平画素数も変化するため、パノラマ展開後の水平画素数Ｈ２は、展開前の水平画素数Ｈ１よりも少なくなり、パノラマ画像全体の伸張率が大きくなることが抑えられる。
【００２７】
次に、第１実施形態における画像処理装置（デジタルカメラ）の動作概念を図６及び図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図６及び図７は、画像処理装置（デジタルカメラ）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図６及び図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２８】
図６及び図７は、魚眼画像を矩形の画像に展開する伸縮処理（画像展開処理）を示したフローチャートである。
まず、本体装置２０の制御部２１は、任意の魚眼画像が処理対象としてユーザ操作によって選択されると（図６のステップＡ１）、その魚眼画像を記憶部２３から取得してタッチ表示部２６の再生画面に表示させる（ステップＡ２）。そして、この選択画像は、天頂姿勢で撮影された画像であるかを調べるが（ステップＡ３）、その際、撮影時の姿勢情報（例えば、姿勢検出部１７の検出結果）がファイル情報として付加されていれば、その姿勢情報を参照してその判別を行うが、そのような姿勢情報が付加されていなければ、魚眼画像を解析して特定被写体（人物の顔）を特定し、その上部と下部を結ぶ顔の線（顔の軸）が魚眼画像の中心方向に向いているか否かによって天頂姿勢で撮影された画像であるかを判別するようにしている。
【００２９】
いま、天頂姿勢以外の他の姿勢（例えば、水平構えの姿勢）で撮影された画像であれば（ステップＡ３でＮＯ）、その他の展開処理へ移るが、天頂姿勢で撮影された画像であれば（ステップＡ３でＹＥＳ）、魚眼画像の中心から所定範囲（中心領域）Ａを概念的に除いた環状の画像を特定する（ステップＡ４）。そして、画像展開の種類として、水平３６０度のパノラマ展開がユーザ操作によって選択指定された場合には（ステップＡ５でＹＥＳ）、その魚眼画像（環状画像）を解析して特定被写体（人物の顔）を特定すると共に（ステップＡ６）、その特定被写体の中心位置（鼻尖位置）を画像展開の等倍位置として決定する（ステップＡ７）。そして、図５（１）に示したように魚眼画像（環状の画像）の全体（３６０度）をその放射方向に複数（１度毎）に概念的に分割して得られた３６０個の小片画像を直線上に配列展開する処理（ステップＡ８）を行った後、図７のステップＡ１１に移る。
【００３０】
また、水平３６０度のパノラマ展開が選択指定されなければ（ステップＡ５でＮＯ）、ユーザ操作による切り取り領域の指定を受け付ける（ステップＡ９）。例えば、図８（１）に示すように、魚眼画像が表示されているタッチ表示部２６上において、ユーザは、特定被写体が切り取り領域内に含まれるように、魚眼画像の中心から放射方向にタッチ操作（スライド操作）を行う。例えば、切り取り領域が扇型であれば、ハの字、逆ハの字を描くようなスライド操作を行い、切り取り領域が半円型であれば、魚眼画像の中心を通り抜けるように一直線を描くようなスライド操作を行う。なお、切り取り領域は、ハの字型状などに限らず、水平１８０度以上の広範囲の領域を指定するようにしてもよいが、どのような範囲を指定する場合でも放射方向に２本の線を描くような簡単な指定だけで足りる。
【００３１】
このようにして任意の切り取り領域がユーザ指定されると、制御部２１は、魚眼画像からその切り取り領域内の画像を処理対象の画像として切り取る（ステップＡ１０）。図８（２）は、図８（１）に示すようにユーザ指定された切り取り領域によって扇型状に切り取られた画像（円弧状の画像）を示したもので、この円弧状の画像内には特定被写体が含まれている。次に、上述したパノラマ展開の場合と同様の処理に移り、切り取った円弧の画像を解析してその画像内に含まれている特定被写体を特定すると共に（ステップＡ６）、その特定被写体の中心位置を画像展開の等倍位置として決定する（ステップＡ７）。そして、この円弧画像（切り取り画像）の全体をその放射方向に複数（１度毎）に概念的に分割した各画像を、直線上に配列展開する処理を行う（ステップＡ８）。その後、図７のステップＡ１１に移る。
【００３２】
図７のステップＡ１１では、上述のように円形の魚眼画像からその中心領域を除いた環状の画像、又はこの環状の画像からその一部を切り取った円弧状の画像をその放射方向（半径方向）に概念的に複数（１度毎）に分割した各画像を直線上に配列展開した各小片画像（台形の画像）のうち、その先頭から１つの小片画像（例えば、１度目の画像）を指定する処理を行う。そして、台形の上辺側部分の画像を伸張する処理に移る（ステップＡ１２、Ａ１３）。
【００３３】
すなわち、指定した小片画像（台形の画像）において、第１の等倍線Ｂを境にして区分される上辺側部分の画像を伸張するために上辺の伸張率を決定する（ステップＡ１２）。この場合、第１の等倍線Ｂ上の画素数Ｌ２を計測し、この画素数に基づいて台形の上辺の画素数Ｌ１を求め、この画素数Ｌ２とＬ１とから上辺の伸張率を求める。そして、この小片画像の上辺側部分おいて第２の等倍線Ｐ（０）を境にしてその左半分の画像は、左方向に伸張し、右半分の画像は右方向に伸張する処理を、求めた上辺の伸張率を順次小さくしながら繰り返す（ステップＡ１３）。このようにして小片画像の上辺側部分の画像を伸張すると、その上辺側部分は、四角形の画像に展開される。
【００３４】
次に、台形の下辺側部分を縮小する処理に移る（ステップＡ１４、Ａ１５）。すなわち、指定した小片画像（台形の画像）において、第１の等倍線Ｂを境にして区分される下辺側部分の画像を縮小するための縮小率を決定する（ステップＡ１４）。この場合、第１の等倍線Ｂ上の画素数Ｌ２を計測し、この画素数に基づいて台形の下辺の画素数Ｌ３を求め、この画素数Ｌ２とＬ３から縮小率を求める。そして、この小片画像の下辺側部分おいて第２の等倍線Ｐ（０）を境にしてその左半分の画像は、右方向に縮小し、右半分の画像は左方向に縮小する処理を、求めた下辺の縮小率を順次小さくしながら繰り返す（ステップＡ１５）。このようにして小片画像の下側部分の画像を縮小すると、その下辺側部分は、四角形の画像に展開される。
【００３５】
これによって１つの小片画像に対する伸縮処理が終ると、全ての小片画像を指定し終わったか（伸縮処理は完了したか）を調べるが（ステップＡ１６）、最初は、１つ目の小片画像に対して伸縮処理を行った場合であるから（ステップＡ１６でＮＯ）、上述のステップＡ１１に戻り、次の小片画像を指定した後、上述の伸縮処理を行う（ステップＡ１２〜Ａ１５）。以下、各小片画像を順次指定しながら伸縮処理を繰り返す。
【００３６】
ここで、全ての小片画像を指定し終わって伸縮処理が完了すると（ステップＡ１６でＹＥＳ）、小片画像毎に展開された矩形の画像を直線上に（左右方向に）順次配列結合することによって、矩形の画像に展開する（ステップＡ１７）。ここで、３６０度のパノラマ展開であれば、図５（２）及び（３）に示すように３６０個分の矩形の画像が順次連結された展開画像が得られる。これによって得られた展開画像（例えば、矩形のパノラマ画像）に対して、魚眼レンズ１６Ｂの歪みを補正する処理（ステップＡ１８）を施した後、この展開画像を再生画面に切り替え表示させたり、ユーザ操作に応じて編集したり、記録保存したりする（ステップＡ１９）。
【００３７】
以上のように、第１実施形態の画像処理装置（デジタルカメラ）において、その本体装置２０は、魚眼画像に含まれる特定被写体を特定すると共に、魚眼画像の少なくとも一部分の画像領域を決定し、この特定被写体の位置に基づいて、魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開するようにしたので、特定被写体を基準とした伸縮が可能となり、魚眼画像を矩形の画像に画像展開してもその展開後の特定被写体の変形を極力抑制することができるようになる。
【００３８】
魚眼画像の少なくとも一部分の画像領域中の特定被写体の位置に基づいて、魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開するようにしたので、特定被写体を含む画像領域を矩形の画像に展開することができる。
【００３９】
特定被写体を基に決定する画像展開の基準位置を伸縮処理の等倍位置としたから、特定被写体全体の伸縮を抑えることができる。
【００４０】
本体装置２０は、特定被写体を解析してその中心位置を等倍位置として決定するようにしたので、特定被写体の中心付近の変形を極力抑えることができる。
【００４１】
本体装置２０は、円形の魚眼画像からその中心領域を除いた環状の画像、又はこの環状の画像からその一部を切り取った円弧状の画像をその放射方向に概念的に複数に分割した各画像を直線上に展開することで得られる台形の小片画像の個々に対して画像展開を行うようにしたので、環状の画像、又は円弧状の画像であっても、特別な展開方法を使用しなくても矩形の画像に容易に展開することができる。
【００４２】
本体装置２０は、魚眼画像の中心側の画像部分を伸張する場合にその伸張率を順次変更しながら伸張する処理を繰り返し、魚眼画像の周辺側の画像部分を縮小する場合にその縮小率を順次変更しながら縮小する処理を繰り返すようにしたので、伸縮処理を行うだけで台形の画像を矩形の画像に展開することができる。
【００４３】
本体装置２０は、特定被写体の上部と下部を結ぶ線が魚眼画像の中心を向かっていることを条件に、矩形の画像に展開するようにしたので、特定被写体の中心位置を境にしてその上部側と下部側に分けて伸縮処理を行うことができる他、特定被写体に基づいて天頂姿勢で撮影された画像であるかを判別することができる。
【００４４】
本体装置２０は、魚眼画像の一部が切り取り領域として指定された場合に、その切り取り領域内の画像を矩形の画像に展開するようにしたので、水平３６０度の魚眼画像をパノラマ展開する場合に限らず、魚眼画像の一部（例えば、扇型の画像や半円型の画像）を矩形の画像に展開することができる。
【００４５】
本体装置２０は、魚眼画像の一部が切り取り領域として指定された場合に、この切り取り領域内の画像を解析してその領域内に含まれている特定被写体を特定するようにしたので、特定被写体の特定を効率良く行うことができる。
【００４６】
本体装置２０は、ユーザ操作に応じて任意に指定された魚眼画像の一部を切り取り領域として決定するようにしたので、ユーザの所望する領域内の画像を矩形の画像に展開することができる。
【００４７】
本体装置２０は、魚眼画像に含まれる特定被写体として人物の顔を特定するようにしたので、魚眼画像を画像展開する際に人物の顔の変形を極力抑えることができる。
【００４８】
＜変形例１＞
なお、上述した第１実施形態においては、円形の魚眼画像からその中心領域Ａを除いた画像（環状の画像）、又は環状画像からその一部を切り取った画像（円弧状の画像）をその放射方向に概念的に複数（１度毎）に分割して台形の小片画像を得るようにしたが、小片画像は、１度毎に限らず、5度、１０度、２０度、３０度毎などで分割された画像であってもよい。この場合、分割する際の度数が大きくなれば、弧状の直線近似が困難となるため、その弧の部分を切り落とす処理を行うようにしてもよい。図９は、分割する際の度数（例えば、３０度）が大きいために、小片画像の上辺及び下辺が弧状のままとなるが、この上辺及び下辺の弧の部分を切り落として台形に成形した場合を例示した図で、最小限の切り落としであるため画像への影響も最小となる。
【００４９】
（第２実施形態）
以下、この発明の第２実施形態について図１０及び１１を参照して説明する。
なお、上述した第１実施形態は、魚眼画像から切り取る領域をユーザ操作によって任意に指定するようにしたが、この第２実施形態は、魚眼画像内の特定被写体を検出し、この被写体に基づいて切り取り領域を指定するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００５０】
図１０は、第２実施形態において、魚眼画像を矩形の画像に展開する伸縮処理（画像展開処理）を示したフローチャートである。
まず、本体装置２０の制御部２１は、図６のステップＡ１〜Ａ４と同様に、任意の魚眼画像が処理対象としてユーザ操作で選択されると（ステップＢ１）、その魚眼画像を取得して再生画面に表示させる（ステップＢ２）。そして、この選択画像は、天頂姿勢（垂直構え姿勢）で撮影された画像であるかを調べ（ステップＡ３）、天頂姿勢以外の他の姿勢で撮影された画像であれば（ステップＢ３でＮＯ）、その他の展開処理へ移るが、天頂姿勢で撮影された画像であれば（ステップＢ３でＹＥＳ）、魚眼画像の中心から所定範囲（中心領域）Ａを概念的に除いて環状の画像を特定する（ステップＢ４）。
【００５１】
そして、魚眼画像（環状画像）を解析し、特定被写体として人物の顔を特定すると共に（ステップＢ５）、その人物の顔の向きを特定する（ステップＢ６）。この場合、顔の向きとして魚眼画像の円周方向、つまり、時計回り、又は反時計周りの方向かを特定するが、その際、鼻尖の方向を顔の向きとして特定するようにしている。なお、その他の方法で顔の向きを特定するようにしてもよい。次に、特定被写体の中心位置（鼻尖位置）を画像展開の等倍位置として決定する（ステップＢ７）。そして、特定した顔の位置及び顔の向きに基づいて切り取り領域を特定する（ステップＢ８）。
【００５２】
すなわち、顔の向きが円周方向以外、例えば、正面方向に顔が向いている場合には、顔が真ん中になるように、つまり、顔の両側に同じ広さのスペースが空くように円弧状の切り取り領域を特定するが、顔の向きが円周方向であれば、顔が向いている方向に広いスペースが空くように切り取り領域を特定する。図１１（１）は、人物の顔を含む魚眼画像を例示したもので、その人物の顔が魚眼画像の円周方向（反時計周り）に向いている場合である。なお、切り取り領域として円弧状の領域を特定するが、そのサイズは、人物の大きさなどによって変更するようにしてもよい。
【００５３】
そして、特定した切り取り領域内の画像（円弧の画像）を魚眼画像から切り取る（ステップＢ９）。図１１（２）は、顔の位置及び顔の向きに応じて、顔が向いている方向に２／３のスペース、逆方向に１／３のスペースが空くように切り取られた円弧状の画像を示し、顔が向いている方向を眺めている構図となる。このようにして切り取った円弧の画像の全体を、図５（１）に示したようにその放射方向に複数（１度毎）に概念的に分割して得られた複数個の小片画像を直線上に配列展開する処理（ステップＢ１０）を行った後、各小片画像（台形の画像）の個々に対して伸縮処理（画像展開処理）を行う（ステップＢ１１）。この画像展開処理は、図７のステップＡ１２〜Ａ１７と同様の処理である。そして、図７のステップＡ１８、Ａ１９と同様に、歪補正処理（ステップＢ１２）を施した後、この展開画像を再生画面に切り替え表示させたり、ユーザ操作に応じて編集したり、記録保存したりする（ステップＢ１３）。
【００５４】
以上のように、第２実施形態においては、魚眼画像のうち、特定被写体が含まれている領域を切り取る領域として決定するようにしたので、特定被写体の一部が欠けたりすることもなく、魚眼画像から適切な領域を切り取ることができる。
【００５５】
魚眼画像に含まれている人物の顔の向きを特定し、この顔の向きに基づいて切り取り領域を決定するようにしたので、人物が見ている方向に広いスペースを空けることができ、切り取り画像の全体が構図的にバランスの良いものとなる。
【００５６】
なお、上述した各実施形態においては、魚眼画像内に１人の人物が写っている場合を例示したが、複数の人物が写っている場合には、この複数の人物のうち、例えば、顔の大きさ、人物の並び方などを考慮して主要人物を特定し、この主要人物を特定被写体として特定するようにしてもよい。
【００５７】
なお、上述した各実施形態においては、撮像装置が水平構え姿勢など、天頂姿勢以外の他の姿勢で撮影された場合は、上述したような画像展開処理ではなく他の展開処理を行うようにしたが、水平構え姿勢などの天頂姿勢以外の他の姿勢で撮影された場合に、その撮影画像を展開するにあたり被写体に対して意図しない変形が生じるようならば、本実施形態のような画像展開を行うようにしてもよい。
【００５８】
また、上述した各実施形態における展開方向とは異なる展開方法であってもよい。即ち、魚眼画像に含まれる特定被写体を特定し、魚眼画像の少なくとも一部分の領域を決定して、特定被写体の位置に基づいて、魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する構成であればよい。例えば、特定被写体を特定したら、その特定被写体の領域の少なくとも一部に対して伸縮処理が行われないように、特定被写体の位置に基づいて、魚眼画像のうち伸縮処理を施す領域と、伸縮処理を施さない領域を決定した上で、魚眼画像の少なくとも一部分のうち伸縮補正を施す領域だけを補正して画像展開してもよい。また、魚眼画像の中に特定被写体を検知したら、その特定被写体の位置に基づいて、当該特定被写体の領域を補正前に切り抜いておいて、その後、魚眼画像の少なくとも一部分の領域を矩形展開して、切り抜いておいた特定被写体をその矩形画像に合成するような構成でもよい。
【００５９】
上述した各実施形態においては、特定被写体として人物の顔を例示したが、人物の身体であってもよく、更に、等倍位置として顔の中心（鼻尖位置）としたが、等倍位置もその身体の中心としてもよい。その他、特定被写体としては人物に限らず、ペット、建物などであってもよく、更に、ユーザ操作などに応じて特定被写体を任意に選択可能（変更可能）としてもよい。
【００６０】
上述した各実施形態においては、画像処理装置としてデジタルカメラに適用した場合を例示したが、これに限らず、画像処理機能を備えたパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・タブレット端末装置・スマートフォンなどの携帯電話機・電子ゲーム・音楽プレイヤー・電子時計などに適用するようにしてもよい。
【００６１】
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００６２】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
魚眼画像に含まれる特定被写体を特定する被写体特定手段と、
前記魚眼画像の少なくとも一部分の画像領域を決定する領域決定手段と、
前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する画像展開手段と、
を備え、
前記画像展開手段は、前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する、
ことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像展開手段は、前記魚眼画像の少なくとも一部分の画像領域中の前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に展開する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項1又は２に記載の画像処理装置において、
前記被写体特定手段により特定された特定被写体を基に前記画像展開手段による画像展開の基準位置を決定する位置決定手段、
を備え、
前記画像展開手段は、前記魚眼画像の少なくとも一部分の画像領域のうち、前記位置決定手段によって決定された基準位置を境にして前記魚眼画像の中心側の画像部分を伸張し、その周辺側の画像部分を縮小する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像展開の基準位置は、伸縮が行われない等倍位置である、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項３に記載の画像処理装置において、
前記位置決定手段は、前記特定被写体を解析してその中心位置を等倍位置として決定する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像処理装置において、
前記画像展開手段は、円形の魚眼画像からその中心領域を除いた環状の画像、又は前記環状の画像からその一部を切り取った円弧状の画像を、その放射方向に概念的に複数に分割した各画像を配列展開することで得られる台形の小片画像の個々に対して画像展開を行う、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像処理装置において、
前記画像展開手段は、前記魚眼画像の中心側の画像部分を伸張する場合にその伸張度合いを順次変更しながら伸張する処理を繰り返し、前記周辺側の画像部分を縮小する場合にその縮小度合い順次変更しながら縮小する処理を繰り返す、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１乃至７の何れか１項に記載の画像処理装置において、
前記被写体特定手段により特定された特定被写体の上部と下部を結ぶ線が前記魚眼画像の中心を向かっているか否かを判別する判別手段、
を更に備え、
前記画像展開手段は、前記判別手段によって特定被写体の上部と下部を結ぶ線が魚眼画像の中心を向かっていると判別されたことを条件に、矩形の画像に展開する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の画像処理装置において、
前記領域決定手段は、魚眼画像の一部を切り取り領域として決定し、
前記画像展開手段は、前記領域決定手段によって決定された切り取り領域内の画像を矩形の画像に展開する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、において、
前記被写体特定手段は、前記領域決定手段によって決定された領域内の画像を解析してその領域内に含まれている特定被写体を特定する、
ことを特徴とする請求項１乃至９の何れかに１項に記載の画像処理装置。
（請求項１１）
請求項１１に記載の発明は、請求項１乃至１０の何れか１項に記載の画像処理装置において、
前記領域決定手段は、ユーザ操作に応じて任意に指定された魚眼画像の一部を切り取り領域として決定する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１乃至１１の何れか１項に記載の画像処理装置において、
前記領域決定手段は、前記被写体特定手段により特定された特定被写体が含まれている領域を切り取る領域として決定する、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１乃至１２の何れか１項に記載の画像処理装置において、
前記被写体特定手段は、魚眼画像に含まれる特定被写体として顔を特定する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項１３に記載の画像処理装置において、
前記被写体特定手段は、魚眼画像に含まれる顔の向きを更に特定し、
前記領域決定手段は、前記被写体特定手段により特定された顔の向きに基づいて切り取り領域を決定する、
ことを特徴とする請求項１３に記載の画像処理装置。
（請求項１５）
請求項１５に記載の発明は、
画像処理装置における画像処理方法であって、
魚眼画像に含まれる特定被写体を特定する処理と、
前記魚眼画像の少なくとも一部分の画像領域を決定する処理と、
前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する処理と、
を含むことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、
画像処理装置のコンピュータに対して、
魚眼画像に含まれる特定被写体を特定する機能と、
前記魚眼画像の少なくとも一部分の画像領域を決定する機能と、
前記特定被写体の位置に基づいて、前記魚眼画像の少なくとも一部分の画像領域を矩形の画像に伸縮して展開する機能と、
を実現させるためのプログラムである。
【符号の説明】
【００６３】
１０  撮像装置
１１、２１  制御部
１６Ｂ  魚眼レンズ
１６Ｃ  撮像素子
２０  本体装置
２３  記憶部
２４  通信部
２５  操作部
２６  タッチ表示部
【図１】
2018164143.tif 000003
【図２】
2018164143.tif 000004
【図３】
2018164143.tif 000005
【図４】
2018164143.tif 000006
【図５】
2018164143.tif 000007
【図６】
2018164143.tif 000008
【図７】
2018164143.tif 000009
【図８】
2018164143.tif 000010
【図９】
2018164143.tif 000011
【図１０】
2018164143.tif 000012
【図１１】
2018164143.tif 000013