【手続補正書】
【提出日】平成31年3月11日(2019.3.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影手段によって取得された撮影画像のうち、その撮影画像の周囲に沿った縁部分ではない領域を第１の領域、前記縁部分を含む領域を第２の領域として前記第１の領域及び第２の領域の何れか一方に対して所定の処理を行う処理手段と、
前記撮影手段の前記撮影画像を取得する際の姿勢情報に基づいて、前記第１の領域を前記所定の処理の対象とするか、前記第２の領域を前記所定の処理の対象とするかを特定する特定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮影手段の姿勢を示す姿勢情報を検出する検出手段を更に備え、
前記特定手段は、前記検出手段によって検出された姿勢情報に基づいて前記第１の領域を前記所定の処理の対象とするか、前記第２の領域を前記所定の処理の対象とするかを特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段の撮影時の姿勢を示す姿勢情報が付加された撮影画像を取得する取得手段を備え、
前記特定手段は、前記取得手段によって取得された撮影画像に付加されている姿勢情報に基づいて、前記第１の領域を前記所定の処理の対象とするか、前記第２の領域を前記所定の処理の対象とするかを特定する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記特定手段は、前記姿勢情報を基に、前記撮影手段が、前記撮影手段の光軸方向と重力方向との間に形成される角度が直角を基準として許容角度範囲内となる姿勢を第１の姿勢であると判断し、前記第１の姿勢であると判断した場合に、前記第１の領域を前記所定の処理の対象として特定する、
ことを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
前記特定手段は、前記姿勢情報を基に前記撮影手段が前記第１の姿勢にあると判断した場合に、前記撮影画像を取得した際の前記撮影手段の回転状態に基づいて、一の形状の前記第１の領域及び二の形状の前記第１の領域のいずれか一方を前記所定の処理の対象として特定する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特定手段は、前記姿勢情報を基に前記撮影手段が前記第１の姿勢にあると判断した場合に、前記撮影画像を取得した際の前記撮影手段の回転状態に基づいて、一の形状の前記第１の領域及び二の形状の前記第１の領域のいずれか一方を前記所定の処理の対象として特定する、又は前記第２の領域を前記所定の処理の対象として特定する、
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記特定手段は、前記姿勢情報を基に、前記撮影手段が、前記撮影手段の光軸方向と重力方向との間に形成される角度が１８０゜を基準として許容角度範囲内となる姿勢を第２の姿勢であると判断し、前記第２の姿勢であると判断した場合に、前記第２の領域を前記所定の処理の対象として特定する、
ことを特徴とする請求項１乃至６の何れかに記載の画像処理装置。
【請求項８】
前記取得手段によって取得された撮影画像を表示する表示手段と、
前記特定手段によって特定された領域を前記表示手段に識別表示する表示制御手段と、
を更に備る、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記処理手段は、前記特定手段によって所定の処理対象として特定された領域内の画像の歪を補正する処理を行う、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項１０】
前記処理手段は、前記特定手段によって特定された領域内の画像をパノラマ展開する処理を前記所定の処理として行う、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項１１】
前記特定手段は、前記第１の領域及び前記第２の領域の何れか一方が前記所定の処理の対象としてユーザ操作によって選択された場合に、その選択された領域が前記姿勢にとって不相応な領域ではないことを条件にその領域を当該姿勢の処理対象として特定する、
ことを特徴とする請求項１乃至１０の何れかに記載の画像処理装置。
【請求項１２】
画像処理装置における画像処理方法であって、
撮影手段によって取得された撮影画像のうち、その撮影画像の周囲に沿った縁部分ではない領域を第１の領域、前記縁部分を含む領域を第２の領域として前記第１の領域及び第２の領域の何れか一方に対して所定の処理を行うステップと、
前記撮影手段の前記撮影画像を取得する際の姿勢情報に基づいて、前記第１の領域を前記所定の処理の対象とするか、前記第２の領域を前記所定の処理の対象とするかを特定するステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
画像処理装置のコンピュータに対して、
撮影手段によって取得された撮影画像のうち、その撮影画像の周囲に沿った縁部分ではない領域を第１の領域、前記縁部分を含む領域を第２の領域として前記第１の領域及び第２の領域の何れか一方に対して所定の処理を行う機能と、
前記撮影手段の前記撮影画像を取得する際の姿勢情報に基づいて、前記第１の領域を前記所定の処理の対象とするか、前記第２の領域を前記所定の処理の対象とするかを特定する機能と、
を実現させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【図１】図１（A）は、画像処理装置として適用したデジタルカメラにおいてそのカメラを構成する撮像装置１０と本体装置２０とを一体的に組み合わせた状態を表した外観図である。図１（B）は、撮像装置１０と本体装置２０とを分離した状態を表した外観図である。
【図２】図２（A）は、撮像装置１０の概略構成を示したブロック図である。図２（B）は、本体装置２０の概略構成を示したブロック図である。
【図３】図３（A）は、撮像装置１０を第１の姿勢とした場合を示した図である。図３（B）は、撮像装置１０を第１の姿勢とした状態において、魚眼レンズで撮影された魚眼画像を例示した図である。図３（C）は、撮像装置１０を第２の姿勢とした場合を示した図である。図３（D）は、撮像装置１０を第２の姿勢とした状態において、魚眼レンズで撮影された魚眼画像を例示した図である。
【図４】図４（A）〜（F）は、撮像装置１０を第１の姿勢のままの状態において、更に、その筐体を光軸周りに回転させてその向きを変えた場合とその姿勢で撮影された画像を例示した図である。
【図５】図５は、撮影モードに切り替えられた際に実行開始される本体装置２０側の動作（第１実施形態の特徴的な動作）を説明するためのフローチャートである。
【図６】図６は、図５の動作に続くフローチャートである。
【図７】図７（A）は、第２実施形態において、画像処理装置（パーソナルコンピュータ：ＰＣ）３０の概略構成を示したブロック図である。図７（B）は、第２実施形態において、撮像装置（デジタルカメラ）４０の概略構成を示したブロック図である。
【図８】図８（A）は、第２実施形態において、第１の姿勢で撮影した魚眼画像を示した図である。図８（B）は、第２実施形態において、この魚眼画像の第１の領域内から切り出した標準サイズ展開用の画像に対してその歪曲を補正した後の画像を例示した図である。
【図９】図９（A）は、第２実施形態において、第２の姿勢で撮影した魚眼画像を示した図である。図９（B）は、第２実施形態において、この魚眼画像の第２の領域内から切り出したパノラマサイズ展開用の画像に対してその歪曲を補正した後の画像を例示した図である。
【図１０】図１０は、カメラ４０において、撮影指示操作に応じて実行開始される動作（第２実施形態の特徴的な動作）を示したフローチャートである。
【図１１】図１１は、ＰＣ３０において、画像表示時における動作（第２実施形態の特徴的な動作）を示したフローチャートである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
図３及び図４は、撮像装置１０の各種の姿勢とその姿勢で撮影された画像を例示した図である。
図３（１）は、撮像装置１０の撮影時の姿勢が第１の姿勢、つまり、撮像装置１０の正面中央部に配置した魚眼レンズ１６Ｂの光軸方向と重力方向との間に形成される角度が、直角を基準として許容角度範囲内となる姿勢を示した図である。なお、図中、破線で示した半球は、画角が略１８０°という魚眼レンズ１６Ｂの撮影範囲を示している（以下、同様）。図３（２）は、第１の姿勢で人物を真ん中にして撮影したライブビュー画像（魚眼画像）の表示例を示したもので、このライブビュー画面上には、所定の処理を実行する処理対象の領域（第１の領域）を明示するための矩形枠（図中、破線で示した枠）が重畳表示される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図３（３）は、撮像装置１０の撮影時の姿勢が第２の姿勢、つまり、撮像装置１０の魚眼レンズ１６Ｂの光軸方向が重力方向に対して平行、又は光軸方向と重力方向との間に形成される角度が、１８０゜を基準として許容角度範囲内となる姿勢を示した図である。図３（４）は、第２の姿勢でビル群を撮影したライブビュー画像（魚眼画像）の表示例を示したもので、このライブビュー画面上には、所定の処理を実行する処理対象の領域（第２の領域）を明示するための矩形枠が重畳表示される。図３（４）に示した第２の領域の矩形枠は、撮影画像の全体（全画角）を所定の処理の処理対象の範囲とするもので、制御部２１は、撮影画像の全体に対して現像処理を行うと共に、画像圧縮処理を施してファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図４は、撮像装置１０を第１の姿勢のままの状態において更にその筐体を光軸周りに回転させてその向きを変えた場合とその姿勢で撮影された画像を例示した図である。
図４（１）は、図３（１）と同様の姿勢（第１の姿勢）を示し、図４（２）は、図３（２）と同様のライブビュー画面を示している。ここで、撮像装置１０の接続部１０ａが重力方向となる向きを通常の姿勢（第１−１の姿勢：正立）とすると、図４（３）は、この通常の向き（第１−１の姿勢）から時計方向（図中、右方法）に９０°回転させた場合の姿勢（第１−２の姿勢）を示し、図４（４）は、この９０°回転させた向きでのライブビュー画面を例示した図である。この場合、第１の姿勢ではあるが、図４（２）で示したように撮影画像の中央部分を処理対象領域とするのではなく、撮影画像の全体（全画角）を処理対象領域とするために第２の領域の矩形枠がライブビュー画面上に重畳表示される。制御部２１は、撮影画像の全体に対して現像処理を行うと共に、画像圧縮処理を施してファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
いま、図３（１）に示すような第１の姿勢であれば（ステップＡ３）、更に、その姿勢情報に基づいて撮像装置１０の筐体（カメラ筐体）の回転状態を判別する（ステップＡ４）。すなわち、第１の姿勢の状態においてそのカメラ筐体が回転された場合の向きを判別し、図４（１）に示すような通常の姿勢（第１−１の姿勢）であれば、ステップＡ６に移り、撮影画像に対する処理対象領域として、標準サイズ（横４：縦３）展開用の第１の領域（中央部分の領域）を特定する。また、図４（３）に示すように通常の向きから時計方向に９０°回転させた場合の姿勢（第１−２の姿勢）であれば、ステップＡ７に移り、撮影画像の全体（全画角）を処理対象領域とするために全画角展開用の第２の領域を特定する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、図４（５）に示すように通常の向きから反時計方向に９０°回転させた場合の姿勢（第１−３の姿勢）であれば、ステップＡ５に移り、撮影画像に対する処理対象領域して、パノラマサイズ（横８：縦３）展開用の第１の領域（中央部分の領域と一部の周辺領域）を特定する。このように第１の姿勢の場合には更にそのカメラ筐体の回転状態に応じて第１の領域又は第２の領域を処理対象領域として特定する。そして、図４（２）、（４）、（６）に示すように、特定した領域を明示するための矩形枠をライブビュー画面上に重畳表示させる（ステップＡ８）。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
すなわち、図５のステップＡ５又はステップＡ６のように第１の領域を特定した場合には、魚眼画像からその第１の領域内の画像を取得する（切り出す）処理を行う。例えば、ステップＡ６の場合には、第１の領域内の画像として標準サイズ展開用の画像を切り出すが、ステップＡ５の場合には、第１の領域内の画像としてパノラマサイズ展開用の画像を切り出す。また、図５のステップＡ７に示すように第２の領域を特定した場合には、画像の切り出し処理は行わず、魚眼画像の全体（全画角）を処理対象として取得する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
本体装置２０は、撮像装置１０の光軸方向と重力方向との間に形成される角度が、直角を基準として許容角度範囲内であれば（第１の姿勢であれば）、第１の領域を処理対象として特定するようにしたので、ユーザは背景よりも所望する被写体を重視した撮影を行う場合には、撮像装置１０を第１の姿勢にしてその被写体が画角の真ん中に来るようにするだけでよく、その被写体撮影に適した第１の領域を処理対象とすることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
本体装置２０は、撮像装置１０が第１の姿勢の場合、更に撮像装置１０の筐体の回転状態に応じて異なる形状の第１の領域を処理対象として特定するようにしたので、ユーザにあっては同じ第１の姿勢であっても筐体を回転させてその向きを変えるだけで、形状の異なる第１の領域、例えば、標準サイズの領域、又はパノラマサイズの領域を処理対象とすることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
本体装置２０は、撮像装置１０が第１の姿勢の場合、更に撮像装置１０の筐体の回転状態に応じて第２の領域を処理対象として特定するようにしたので、ユーザにあっては同じ第１の姿勢のままの状態であっても筐体を回転させてその向きを変えるだけで、第１の領域又は第２の領域を処理対象とすることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
本体装置２０は、撮像装置１０の光軸方向と重力方向との間に形成される角度が、１８０゜を基準として許容角度範囲内であれば（第２の姿勢であれば）、第２の領域を処理対象として特定するようにしたので、ユーザは広範囲な撮影を行う場合には、撮像装置１０を第２の姿勢にするだけでよく、その広範囲撮影に適した第２の領域を処理対象とすることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
図８（１）は、カメラ４０の正面方向（魚眼レンズの光軸方向）と重力方向との間に形成される角度が、直角を基準として許容角度範囲内となる第１の姿勢において、人物を画角の真ん中にして撮影した撮影済み画像（保存画像：魚眼画像）を示している。図中、太線の破線矩形は、第１の姿勢に応じて保存画像上に特定した領域、つまり、所定の処理（表示処理）を実行する処理対象領域（表示領域）として特定した第１の領域を示している。更に、この第１の領域内において、各人物の顔を囲むように配置した細線の破線矩形は、人物の顔を特定被写体としたもので、ＰＣ３０は、この第１の領域内の特定被写体を認識し、その特定被写体が第１の領域の中心部分に配置されるように保存画像上の第１の領域の配置位置を移動させるようにしている。図８（２）は、ＰＣ３０側の再生画面を示し、図８（１）に示した魚眼画像の第１の領域内から切り出した画像に対してその歪曲を補正した画像を示している。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図９（１）は、カメラ４０の正面方向（魚眼レンズの光軸方向）と重力方向との間に形成される角度が、１８０゜を基準として許容角度範囲内となる第２の姿勢において、近くの人物を含めて撮影した撮影済み画像（保存画像：魚眼画像）を示している。図中、破線矩形は、第２の姿勢に応じて保存画像上に特定した領域、つまり、所定の処理（表示処理）を実行する処理対象領域（表示領域）として特定した第２の領域を示している。この第２の領域は、第１実施形態の場合に、魚眼画像の周辺部を含む領域（魚眼画像の全画角）としたが、第２実施形態においては、魚眼画像上の一部の周辺領域（円弧状の領域）とした場合を示している。図９（２）は、ＰＣ３０側の再生画面を示し、図９（１）に示した魚眼画像の第２の領域内から切り出した画像に対してその歪曲を補正したパノラマ画像を示している。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
図１０は、カメラ４０において、撮影指示操作に応じて実行開始される動作（第２実施形態の特徴的な動作）を示したフローチャートである。
まず、カメラ４０側の制御部４１は、撮像部４６によって撮影された画像に対して現像処理及び画像圧縮処理を施してファイル形式に変換し（ステップＢ１）、その処理後の撮影画像を取得する（ステップＢ２）。そして、姿勢検出部４７から撮影時のカメラ４０の姿勢を取得し（ステップＢ３）、この姿勢情報を撮影画像のＥＸＩＦ情報として付加（ステップＢ４）した後、この姿勢情報付の撮影画像を記憶部２３の記録メディアに記録保存させる（ステップＢ５）。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
そして、この姿勢情報に基づいて魚眼画像内の表示対象領域（第１の領域、第２の領域）を特定する処理に移るが、それに先立って、表示対象領域がユーザ操作によって選択されたかを調べる（ステップＣ３）。すなわち、第２実施形態においては上述の第１実施形態と同様に、姿勢情報から表示対象領域を自動的に特定する以外に、ユーザ操作によって選択された領域を表示対象領域として特定することも可能としており、ユーザ操作で処理対象領域が選択されなければ（ステップＣ３でＮＯ）、第１実施形態と同様に、姿勢情報に基づいて第１の姿勢又は第２の姿勢であるかを判別し、第１の姿勢であれば第１の領域、第２の姿勢であれば第２の領域を処理対象領域（表示対象領域）として自動的に特定する（ステップＣ６）。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
その結果、第１又は第２の領域内に特定被写体が写っていなければ（ステップＣ１１でＮＯ）、その特定領域内の画像を表示する処理（ステップＣ１３）に移るが、特定被写体が写っていれば（ステップＣ１１でＹＥＳ）、魚眼画像上での特定被写体の位置を検出し、その検出位置に第１又は第２の領域の中心が来るように第１又は第２の領域を移動させる位置調整処理を行う（ステップＣ１２）。その後、画像表示処理に移る（ステップＣ１３）。このステップＣ１３においては、第１又は第２の領域内の画像を処理して表示部３６に表示させる。例えば、第１の領域を特定した場合には、図８（２）に示すように魚眼画像から第１の領域内の画像（標準サイズの画像）を切り出してその画像の歪を補正した後、拡大表示させる。また、第２の領域が特定された場合には、図９（２）に示すように魚眼画像から第２の領域内の画像（パノラマサイズの画像）を切り出してその画像の歪を補正した後、拡大表示させる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
ＰＣ３０は、撮像装置４０の光軸方向と重力方向との間に形成される角度が、直角を基準として許容角度範囲内である姿勢（第１の姿勢）であれば、この第１の領域を所定の処理の対象として特定するようにしたので、ユーザは背景よりも所望する被写体を重視した撮影を行う場合には、撮像装置４０を第１の姿勢にしてその被写体が画角の真ん中に来るようにするだけでよく、その被写体撮影に適した第１の領域を処理対象とすることができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
ＰＣ３０は、撮像装置４０の光軸方向と重力方向との間に形成される角度が、１８０゜を基準として許容角度範囲内である姿勢（第２の姿勢）であれば、この第２の領域を所定の処理の対象として特定するようにしたので、ユーザは広範囲な撮影を行う場合には撮像装置４０を第２の姿勢にするだけでよく、その広範囲撮影に適した第２の領域を処理対象とすることができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
ＰＣ３０は、第１の領域を処理対象領域として特定した場合に、撮影画像の中からその第１の領域内の画像を切り出す処理を行うようにしたので、背景よりも所望する被写体を重視するためにその被写体を画角の真ん中にする撮影を行った場合に、その被写体が写っている領域を切り出すことができる。