(57)【要約】【課題】使用者の動きに応じて大きな揺れが生じた場合でも、撮像により得られた画像に対する補正処理後の画像の画質の劣化を抑制する。【解決手段】画像処理装置５０は、撮像された画像データを記憶する画像データ記憶部１５と、画像データの撮像時の振動情報を記憶する振動情報記憶部１７と、振動情報記憶部１７に記憶された振動情報に応じて、撮像された画像データの切り出し領域の大きさを決定する切り出しズーム率／補正パラメータ決定部１９と、決定された切り出し領域の大きさに応じて、画像データ記憶部１５に記憶された画像データの切り出し画像データを生成する切り出し画像生成部２１と、を備える。【選択図】図１
2015139100.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像データを記憶する画像データ記憶部と、
前記画像データの撮像時の振動情報を記憶する振動情報記憶部と、
前記振動情報記憶部に記憶された前記振動情報に応じて、撮像された前記画像データの切り出し領域の大きさを決定する切り出し領域決定部と、
前記切り出し領域決定部により決定された前記切り出し領域の大きさに応じて、前記画像データ記憶部に記憶された前記画像データの切り出し画像データを生成する切り出し画像生成部と、を備える、
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記切り出し領域決定部は、
前記振動情報記憶部に記憶された前記振動情報に応じて、前記切り出し領域の中心を示す揺れ補正値を算出し、
算出された前記揺れ補正値に応じて、撮像された前記画像データの大きさに対する前記切り出し画像データの大きさの割合を決定する、
画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記切り出し領域決定部は、
前記振動情報記憶部に記憶された前記振動情報に応じて、前記切り出し領域の中心を示す揺れ補正値を算出し、
算出された前記揺れ補正値に応じて、撮像された前記画像データのフレーム毎のセンタリング係数を補正する、
画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置であって、
前記切り出し領域決定部は、
複数個の前記画像データのフレームにわたって所定の切り出し領域の大きさになるように、前記切り出し領域の大きさを前記フレーム毎に変更する、
画像処理装置。
【請求項５】
請求項１〜４のうちいずれか一項に記載の画像処理装置であって、
前記切り出し画像生成部により生成された前記切り出し画像データを、ネットワークを介して接続された外部機器に送信する送信部、を更に備える、
画像処理装置。
【請求項６】
映像を撮像する撮像部と、
前記映像の撮像時の振動情報を検出する振動センサと、
前記振動センサにより検出された前記振動情報に応じて、前記撮像部により撮像された前記映像の画像データの切り出し領域の大きさを決定する切り出し領域決定部と、
前記切り出し領域決定部により決定された前記切り出し領域の大きさに応じて、前記撮像部により撮像された前記画像データの切り出し画像データを生成する切り出し画像生成部と、を備える、
撮像装置。
【請求項７】
撮像された画像データと前記画像データの撮像時の振動情報と有する画像処理装置における画像処理方法であって、
前記振動情報に応じて、撮像された前記画像データの切り出し領域の大きさを決定するステップと、
決定された前記切り出し領域の大きさに応じて、前記画像データの切り出し画像データを生成するステップと、を有する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像データを処理する画像処理装置、撮像装置及び撮像処理方法に関する。
【背景技術】
【０００２】
近年、例えばウェアラブルカメラ又はアクションカメラと呼ばれ、使用中には常時又はユーザの入力操作に応じて、ユーザの周囲の状況の映像を撮像して記録するカメラ装置が知られている。このようなカメラ装置には、広角な範囲の映像を撮像するために、例えば魚眼レンズ又は広角な画角を有するレンズが光学系として用いられている。ウェアラブルカメラ又はアクションカメラは、ユーザに身に付けて使用されることが多いので、撮像中には、ユーザの動きに応じて振動することも少なくない。
【０００３】
ここで、魚眼レンズを用いて撮像した魚眼画像に振れ補正処理を施した透視投影画像を出力する先行技術として、例えば特許文献１に示す撮像装置が知られている。
【０００４】
特許文献１に示す撮像装置は、魚眼レンズを用いた撮像により得られた魚眼画像に振れ補正処理を行う際、テンプレートマッチング法による動きベクトルの検出により得られた振動情報を基に、透視射影変換を行う対象となる領域をシフトさせる。これにより、特許文献１に示す撮像装置は、魚眼画像から透視射影画像に変換する際の演算量を軽減できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２５２６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１の撮像装置の構成を、ユーザの身体に装着して使用するような上述したウェアラブルカメラ又はアクションカメラに適用しても、ユーザの動きによって撮像装置に大きな揺れが起きた場合には、撮像により得られた魚眼画像から透視射影画像への変換対象となる領域がシフトされるだけであって、変換対象となる領域自体の大きさ（サイズ）は一定である。このため、変換対象となる領域自体の大きさ（サイズ）のとり方によっては、解像度の低下および揺れによる映像の乱れの現象を招くという課題がある。
【０００７】
本発明は、上述した従来の課題を解決するために、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制して最適な映像品質を提供することができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像された画像データを記憶する画像データ記憶部と、前記画像データの撮像時の振動情報を記憶する振動情報記憶部と、前記振動情報記憶部に記憶された前記振動情報に応じて、撮像された前記画像データの切り出し領域の大きさを決定する切り出し領域決定部と、前記切り出し領域決定部により決定された前記切り出し領域の大きさに応じて、前記画像データ記憶部に記憶された前記画像データの切り出し画像データを生成する切り出し画像生成部と、を備える、画像処理装置である。
【０００９】
この構成では、切り出し領域決定部は、振動情報記憶部に記憶された振動情報に応じて、撮像された画像データの切り出し領域の大きさを可変に決定する。切り出し画像生成部は、切り出し領域決定部により決定された切り出し領域の大きさに応じて、画像データの切り出し画像データを生成する。
【００１０】
これにより、画像処理装置は、使用者の動きに応じて大きな揺れが生じた場合には、撮像された画像データの補正処理（例えば切り出し処理）時に切り出し領域の大きさを小さくするので、大きな揺れが生じた場合でも揺れによる映像の乱れが抑制された切り出し画像データが得られる。また、画像処理装置は、使用者の動きに応じて小さな揺れが生じた場合には、撮像された画像データの補正処理時に切り出し領域の大きさを大きくするので、小さな揺れが生じた場合でも解像度の高い切り出し画像データが得られる。即ち、画像処理装置は、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制し最適な映像品質を提供することができる。
【００１１】
また、本発明は、前記切り出し領域決定部が、前記振動情報記憶部に記憶された前記振動情報に応じて、前記切り出し領域の中心を示す揺れ補正値を算出し、算出された前記揺れ補正値に応じて、撮像された前記画像データの大きさに対する前記切り出し画像データの大きさの割合を決定する、画像処理装置である。
【００１２】
この構成では、切り出し領域決定部は、振動情報記憶部に記憶された振動情報に応じて、切り出し領域の中心（位置）を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を算出し、この算出された揺れ補正値（ｙａｗ，ｐｉｔｃｈ）に応じて、撮像された画像データの大きさを１００％とする場合の切り出し画像データの大きさの割合（ズーム率）を決定する。
【００１３】
これにより、画像処理装置は、撮像された画像データの中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、撮像された画像データの大きさの補正処理時に必要となる切り出し画像データのサイズを簡易に決定することができる。
【００１４】
また、本発明は、前記切り出し領域決定部が、前記振動情報記憶部に記憶された前記振動情報に応じて、前記切り出し領域の中心を示す揺れ補正値を算出し、算出された前記揺れ補正値に応じて、撮像された前記画像データのフレーム毎のセンタリング係数を補正する、画像処理装置である。
【００１５】
この構成では、切り出し領域決定部は、振動情報記憶部に記憶された振動情報に応じて、切り出し領域の中心（位置）を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を算出し、この算出された揺れ補正値（ｙａｗ，ｐｉｔｃｈ）に応じて、撮像された画像データの補正処理時に必要となるフレーム毎のセンタリング係数を補正する。
【００１６】
これにより、画像処理装置は、撮像された画像データの中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、撮像された画像データの大きさの補正処理時に必要となるフレーム毎のセンタリング係数を簡易に補正することができる。
【００１７】
また、本発明は、前記切り出し領域決定部が、複数個の前記画像データのフレームにわたって所定の切り出し領域の大きさになるように、前記切り出し領域の大きさを前記フレーム毎に変更する、画像処理装置である。
【００１８】
この構成では、切り出し領域決定部は、複数個の画像データのフレームにわたって補正処理後の切り出し画像データの大きさが所定の切り出し領域の大きさになるように、フレーム毎に切り出し領域の大きさを変更する。
【００１９】
これにより、画像処理装置は、振動情報又は揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いた画像データの補正処理時に、例えば撮像により得られた画像データに対する切り出し画像データの大きさの割合が８０％からフレーム毎に５％ずつ低下するように変更することができる。従って、画像処理装置は、例えば撮像により得られた画像データに対する切り出し画像データの大きさの割合が８０％から６０％に変化する等、切り出し画像データの画角の急な変化に伴って生じる目の違和感を避けることができる。
【００２０】
また、本発明は、前記切り出し画像生成部により生成された前記切り出し画像データを、ネットワークを介して接続された外部機器に送信する送信部、を更に備える、画像処理装置である。
【００２１】
この構成では、送信部は、撮像された画像データに対する補正処理によって得られた切り出し画像データを、ネットワークを介して画像処理装置に接続された外部機器に対して送信する。
【００２２】
これにより、画像処理装置は、撮像された画像データに対する補正処理によって得られた切り出し画像データを外部機器に送信することができる。
【００２３】
また、本発明は、映像を撮像する撮像部と、前記映像の撮像時の振動情報を検出する振動センサと、前記振動センサにより検出された前記振動情報に応じて、前記撮像部により撮像された前記映像の画像データの切り出し領域の大きさを決定する切り出し領域決定部と、前記切り出し領域決定部により決定された前記切り出し領域の大きさに応じて、前記撮像部により撮像された前記画像データの切り出し画像データを生成する切り出し画像生成部と、を備える、撮像装置である。
【００２４】
この構成では、切り出し領域決定部は、撮像部による映像の撮像時において振動センサにより検出された振動情報に応じて、撮像された映像の画像データの切り出し領域の大きさを決定する。切り出し画像生成部は、切り出し領域決定部により決定された切り出し領域の大きさに応じて、撮像された映像の画像データの切り出し画像データを生成する。
【００２５】
これにより、撮像装置は、使用者の動きに応じて大きな揺れが生じた場合には、撮像された画像データの補正処理（例えば切り出し処理）時に切り出し領域の大きさを小さくするので、大きな揺れが生じた場合でも揺れによる映像の乱れが抑制された切り出し画像データが得られる。また、撮像装置は、使用者の動きに応じて小さな揺れが生じた場合には、撮像された画像データの補正処理時に切り出し領域の大きさを大きくするので、小さな揺れが生じた場合でも解像度の高い切り出し画像データが得られる。即ち、撮像装置は、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制し最適な映像品質を提供することができる。
【００２６】
また、本発明は、撮像された画像データと前記画像データの撮像時の振動情報と有する画像処理装置における画像処理方法であって、前記振動情報に応じて、撮像された前記画像データの切り出し領域の大きさを決定するステップと、決定された前記切り出し領域の大きさに応じて、前記画像データの切り出し画像データを生成するステップと、を有する、画像処理方法である。
【００２７】
この方法では、画像処理装置は、振動情報に応じて、撮像された画像データの切り出し領域の大きさを可変に決定し、この決定された切り出し領域の大きさに応じて、画像データの切り出し画像データを生成する。
【００２８】
これにより、画像処理装置は、使用者の動きに応じて大きな揺れが生じた場合には、撮像された画像データの補正処理（例えば切り出し処理）時に切り出し領域の大きさを小さくするので、大きな揺れが生じた場合でも揺れによる映像の乱れが抑制された切り出し画像データが得られる。また、画像処理装置は、使用者の動きに応じて小さな揺れが生じた場合には、撮像された画像データの補正処理時に切り出し領域の大きさを大きくするので、小さな揺れが生じた場合でも解像度の高い切り出し画像データが得られる。即ち、画像処理装置は、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制して最適な映像品質を提供することができる。
【発明の効果】
【００２９】
本発明によれば、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制して最適な映像品質を提供することができる。
【図面の簡単な説明】
【００３０】
【図１】（Ａ）揺れが小さい場合における本実施形態の撮像装置１００が決定する元画像データの切り出し領域と補正処理により得られた切り出し画像データとの一例を示す説明図、（Ｂ）揺れが大きい場合における本実施形態の撮像装置１００が決定する元画像データの切り出し領域と補正処理により得られた切り出し画像データとの一例を示す説明図
【図２】本実施形態の画像処理装置又は撮像装置の内部構成を詳細に示すブロック図
【図３】（Ａ）ケーブルによってバッテリ部と接続された本実施形態の撮像装置の外観斜視図、（Ｂ）本実施形態の撮像装置が人に装着された様子の一例を示す図
【図４】揺れ補正値と振動レベルとズーム率とセンタリング係数との関係を示すテーブルの一例を示す図
【図５】本実施形態の撮像装置の詳細な動作手順の一例を示すフローチャート
【図６】（Ａ）〜（Ｆ）揺れ補正値に応じた切り出し画像データの切り出し領域の一例を示す図
【発明を実施するための形態】
【００３１】
以下、本発明に係る画像処理装置、撮像装置及び画像処理方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。以下、本発明に係る撮像装置を例示して、本実施形態の撮像装置について主に説明し、必要に応じて、本発明に係る画像処理装置及び画像処理方法について説明する。なお、本発明は、画像処理装置又は撮像装置の装置カテゴリの発明に限定されず、画像処理装置又は撮像装置の動作を規定した画像処理方法の方法カテゴリの発明とすることもできる。
【００３２】
本実施形態の撮像装置は、例えば使用者が首に吊り下げて携帯し、電源がオンしている間に周囲の映像を記録可能なウェアラブルカメラ、又は自転車やボート等の乗り物に装着されるアクションカメラとして用いられる。また、本実施形態の撮像装置は、移動体（例えば車両）に搭載された車載カメラとして使用されても良い。
【００３３】
（撮像装置の動作概要）
先ず、本実施形態の撮像装置１００の動作概要について、図１（Ａ）及び図１（Ｂ）を参照して説明する。図１（Ａ）は、揺れが小さい場合における本実施形態の撮像装置１００が決定する元画像データの切り出し領域と補正処理により得られた切り出し画像データとの一例を示す説明図である。図１（Ｂ）は、揺れが大きい場合における本実施形態の撮像装置１００が決定する元画像データの切り出し領域と補正処理により得られた切り出し画像データとの一例を示す説明図である。
【００３４】
図１（Ａ）に示すように、例えば使用者の歩行等の動きによって生じる揺れが小さい場合には、撮像装置１００は、撮像により得られた映像の画像データ（以下、「元画像データ」という）の補正処理（例えば切り出し処理）において、元画像データに対して大きな割合（例えば８０％）の範囲を切り出し領域ＲＮａとして決定し、切り出し領域ＲＮａに応じた切り出し画像データＣＮａを生成して出力する。
【００３５】
即ち、揺れが小さい場合には多少の揺れの影響が元画像データに現れたとしても、切り出し画像データの揺れによる映像の乱れは少ないと考えられるので、撮像装置１００における補正処理では、揺れ自体の補正処理は優先されず、切り出し領域（切り出し画角）は大きくなる（図１（Ａ）参照）。従って、切り出し画像データＣＮａの解像度、即ち、切り出し画像データＣＮａのサイズによって切り出し画像データＣＮａの全体の見やすさを示す指標は依然として高く、切り出し画像データＣＮａに多少の揺れが残るが人に違和感を与えることは少ない。
【００３６】
なお、詳細は後述するが撮像装置１００では広角な画角を有するレンズＬＮが用いられる。このため、撮像装置１００は、撮像により得られた元画像データに対し、撮像装置１００自身への保存や外部機器への送信に適するデータフォーマットに変換する必要があるので、元画像データ自身を用いることは無く、元画像データを補正処理（例えば切り出し処理、歪曲補正処理、センタリング処理）することで、元画像データの全部又は一部を切り出した切り出し画像データを生成する。なお、センタリング処理は、元画像データの中心位置を補正する処理であるが、歪曲補正処理の一部として含まれても良い。
【００３７】
一方、図１（Ｂ）に示すように、例えば使用者の走行等の動きによって生じる揺れが大きい場合には、撮像装置１００は、元画像データの補正処理（例えば切り出し処理）において、元画像データに対して小さな割合（例えば６０％）の範囲を切り出し領域ＲＮｂとして決定し、切り出し領域ＲＮｂに応じた切り出し画像データＣＮｂを生成して出力する。
【００３８】
即ち、揺れが大きい場合には揺れによる映像の乱れが大きいと考えられるので、撮像装置１００における補正処理では、揺れ自体の補正処理が優先され、切り出し領域（切り出し画角）は小さくなる。このため、図１（Ｂ）に示す切り出し画像データＣＮｂは、図１（Ａ）に示す切り出し画像データＣＮａに比べて画像のサイズが小さい。即ち、切り出し画像データＣＮｂの解像度は、切り出し画像データＣＮａの解像度に比べて劣化するが、揺れ補正により元画像データに比べて揺れによる映像の乱れは改善される。
【００３９】
（撮像装置の構成）
図２は、本実施形態の画像処理装置５０又は撮像装置１００の内部構成を詳細に示すブロック図である。図２に示す本実施形態の撮像装置１００は、レンズＬＮと、イメージセンサ１１と、画像データ記憶部１３と、振動センサ１５と、振動情報記憶部１７と、切り出しズーム率／補正パラメータ決定部１９と、切り出し画像生成部２１と、ビデオエンコーダ２３と、蓄積メディア２５と、ネットワークインタフェース２７とを含む構成である。
【００４０】
なお、画像データ記憶部１３と、振動情報記憶部１７と、切り出しズーム率／補正パラメータ決定部１９と、切り出し画像生成部２１と、ビデオエンコーダ２３と、蓄積メディア２５と、ネットワークインタフェース２７とにより、本実施形態の画像処理装置５０が構成される。これにより、画像処理装置５０は、撮像装置１００の各部の構成のうち、レンズＬＮ、イメージセンサ１１及び振動センサ１５を除く構成を有することで、撮像装置１００の構成により得られる効果と同等の効果が得られる。
【００４１】
レンズＬＮは、撮像装置１００の外部から入射する光（光線）を集光し、イメージセンサ１１の所定の撮像面に結像させる。レンズＬＮは、魚眼レンズ、又は例えば１４０度以上の広角な画角が得られるレンズが用いられる。
【００４２】
イメージセンサ１１は、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。レンズＬＮ及びイメージセンサ１１は、撮像装置１００における撮像部ＩＭとしての機能を有する。イメージセンサ１１の出力は、例えば不図示の信号処理部に入力され、人が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）等により規定される映像の画像データのフレームが生成される。
【００４３】
画像データ記憶部１３は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成され、不図示の信号処理部により生成された映像の画像データを記憶する。画像データ記憶部１３に記憶された映像の画像データは、切り出し画像生成部２１に読み出される。
【００４４】
振動センサ１５は、例えば角速度センサ（ジャイロセンサ）又は加速度センサを用いて構成され、例えば撮像装置１００を身に付けた使用者の動きに応じて生じた撮像装置１００の振動状態を検出する。振動センサ１５は、例えば撮像装置１００の揺れ状態を検出する場合には角速度センサが用いられ、撮像装置１００の筐体の傾きを検出する場合には加速度センサが用いられる。
【００４５】
振動情報記憶部１７は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成され、振動センサ１５により検出された撮像装置１００の振動情報を記憶する。振動情報記憶部１７に記憶された撮像装置１００の振動情報は、切り出しズーム率／補正パラメータ決定部１９に読み出される。
【００４６】
切り出し領域決定部の一例としての切り出しズーム率／補正パラメータ決定部１９は、振動情報記憶部１７に記憶された撮像装置１００の振動情報に応じて、撮像部ＩＭにより撮像された元画像データの切り出し領域の大きさ（ズーム率）と補正処理時に必要となる補正パラメータとを決定する。
【００４７】
より具体的には、切り出しズーム率／補正パラメータ決定部１９は、振動情報記憶部１７に記憶された撮像装置１００の振動情報を基に、撮像部ＩＭにより撮像された元画像データの１フレームの切り出し領域の中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を算出する。なお、切り出しズーム率／補正パラメータ決定部１９における揺れ補正値（ｙａｗ，ｐｉｔｃｈ）の算出方法は公知技術であるため、説明を省略する。
【００４８】
切り出しズーム率／補正パラメータ決定部１９は、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を基に、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルをカテゴライズする。
【００４９】
ここで、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）と画像データの１フレームの揺れ状態を示す振動レベルとの関係について、図４を参照して説明する。図４は、揺れ補正値と振動レベルとズーム率とセンタリング係数との関係を示すテーブルＣＴの一例を示す図である。切り出しズーム率／補正パラメータ決定部１９は、図４に示すテーブルＣＴの内容に従って、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）に対応する元画像データの１フレームの揺れ状態を示す振動レベルを決定する。
【００５０】
例えば、切り出しズーム率／補正パラメータ決定部１９は、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２を算出する。切り出しズーム率／補正パラメータ決定部１９は、
（１）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２５度角以上である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを５と決定し、
（２）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２０〜２５度角である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを４と決定し、
（３）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１５〜２０度角以上である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを３と決定し、
（４）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１０〜１５度角以上である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを２と決定し、
（５）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が５〜１０度角以上である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを１と決定し、
（６）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が０〜５度角以上である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを０と決定する。
【００５１】
また、切り出しズーム率／補正パラメータ決定部１９は、図４に示すテーブルＣＴの内容に従って、元画像データの１フレームの揺れ状態を示す振動レベルに応じて、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を決定する。これにより、切り出しズーム率／補正パラメータ決定部１９は、撮像された画像データの中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、撮像された画像データの大きさの補正処理時に必要となる切り出し画像データのサイズを簡易に決定することができる。
【００５２】
例えば、切り出しズーム率／補正パラメータ決定部１９は、
（１）元画像データの１フレームの揺れ状態を示す振動レベルが５である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を６０％と決定し、
（２）元画像データの１フレームの揺れ状態を示す振動レベルが４である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を６５％と決定し、
（３）元画像データの１フレームの揺れ状態を示す振動レベルが３である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を７０％と決定し、
（４）元画像データの１フレームの揺れ状態を示す振動レベルが２である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を７５％と決定し、
（５）元画像データの１フレームの揺れ状態を示す振動レベルが１である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を８０％と決定し、
（６）元画像データの１フレームの揺れ状態を示す振動レベルが０である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を８５％と決定する。
【００５３】
更に、切り出しズーム率／補正パラメータ決定部１９は、図４に示すテーブルＣＴの内容に従って、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）に応じて、元画像データの１フレームの補正処理時に必要となる補正パラメータ（例えばセンタリング係数α）を補正する。切り出しズーム率／補正パラメータ決定部１９は、決定された切り出しズーム率及び補正パラメータの各情報を切り出し画像生成部２１に出力する。
【００５４】
ここで、センタリング係数αとは、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）が示す切り出し領域の中心位置と魚眼レンズの中心位置（元画像データの中心座標）との間の距離に応じて決定される値（係数）であり、元画像データの補正処理時に用いられる補正パラメータの１つである。なお、センタリング係数αは、後述する切り出し画像生成部２１により、元画像データの１フレーム毎に算出される。
【００５５】
切り出しズーム率／補正パラメータ決定部１９は、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）が示す切り出し領域の中心位置と元画像データの中心座標との間の距離が大きい場合には、センタリング係数αを小さい値に補正し、例えばセンタリング係数αを１．０から遠ざける値に補正する。これにより、元画像データに対する補正処理によって、切り出し領域が元画像データの中心に近づくように補正される。
【００５６】
一方、切り出しズーム率／補正パラメータ決定部１９は、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）が示す切り出し領域の中心位置と元画像データの中心座標との間の距離が小さい場合には、センタリング係数αを大きな値に補正することを決定し、例えばセンタリング係数αを１．０に近い値に補正することを決定する。これにより、元画像データに対する補正処理によって、切り出し領域が元画像データの中心から遠ざかるが、補正処理による揺れによる映像の乱れの改善が可能となる。また、切り出しズーム率／補正パラメータ決定部１９は、撮像された画像データの中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、撮像された画像データの大きさの補正処理時に必要となるフレーム毎のセンタリング係数を簡易に補正することができる。
【００５７】
例えば、切り出しズーム率／補正パラメータ決定部１９は、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２を算出する。切り出しズーム率／補正パラメータ決定部１９は、
（１）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２５度角以上である場合には、センタリング係数αを「α×１．０」に補正することを決定し、
（２）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２０〜２５度角である場合には、センタリング係数αを「α×０．９」に補正することを決定し、
（３）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１５〜２０度角である場合には、センタリング係数αを「α×０．８」に補正することを決定し、
（４）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１０〜１５度角である場合には、センタリング係数αを「α×０．７」に補正することを決定し、
（５）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が５〜１０度角である場合には、センタリング係数αを「α×０．６」に補正することを決定し、
（６）｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が０〜５度角である場合には、センタリング係数αを「α×０．５」に補正することを決定する。
【００５８】
切り出し画像生成部２１は、撮像部ＩＭにより撮像された元画像データの１フレームの補正処理（例えば切り出し処理）時に必要となるセンタリング係数αを、元画像データの１フレーム毎に算出する。
【００５９】
切り出し画像生成部２１は、切り出しズーム率／補正パラメータ決定部１９により決定された切り出しズーム率及び補正パラメータの各情報を基にして、撮像部ＩＭにより撮像された元画像データを補正処理（例えば、切り出し処理及び歪曲補正処理）することで、元画像データの切り出し画像データを生成する。切り出し画像生成部２１は、切り出し画像データをビデオエンコーダ２３に出力する。
【００６０】
例えば、切り出し画像生成部２１は、
（１）切り出しズーム率が「６０％」であってセンタリング係数が「α×１．０」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「６０％」を切り出し処理し、更に、センタリング係数「α×１．０」を用いて切り出し画像データを生成し、
（２）切り出しズーム率が「６５％」であってセンタリング係数が「α×０．９」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「６５％」を切り出し処理し、更に、センタリング係数「α×０．９」を用いて切り出し画像データを生成し、
（３）切り出しズーム率が「７０％」であってセンタリング係数が「α×０．８」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「７０％」を切り出し処理し、更に、センタリング係数「α×０．８」を用いて切り出し画像データを生成し、
（４）切り出しズーム率が「７５％」であってセンタリング係数が「α×０．７」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「７５％」を切り出し処理し、更に、センタリング係数「α×０．７」を用いて切り出し画像データを生成し、
（５）切り出しズーム率が「８０％」であってセンタリング係数が「α×０．６」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「８０％」を切り出し処理し、更に、センタリング係数「α×０．６」を用いて切り出し画像データを生成し、
（６）切り出しズーム率が「８５％」であってセンタリング係数が「α×０．５」である場合には、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「８５％」を切り出し処理し、更に、センタリング係数「α×０．５」を用いて切り出し画像データを生成する。
【００６１】
なお、切り出し画像生成部２１は、切り出しズーム率／補正パラメータ決定部１９により決定された切り出しズーム率の情報のみを基にして、元画像データを補正処理することで、切り出し画像データを生成しても良い。
【００６２】
ビデオエンコーダ２３は、切り出し画像生成部２１により生成された切り出し画像データを用いて、切り出し画像データの保存及び送信が可能なデータフォーマットに変換するための符号化データを生成する。ビデオエンコーダ２３は、切り出し画像データの符号化データを蓄積メディア２５に保存し、更に、ネットワークインタフェース２７に出力する。
【００６３】
蓄積メディア２５は、例えばハードディスク装置又は半導体メモリ（例えばフラッシュメモリ）を用いて構成され、ビデオエンコーダ２３により生成された切り出し画像データの符号化データを蓄積する。なお、蓄積メディア２５は、撮像装置１００又は画像処理装置５０に内蔵されたハードディスク装置又は半導体メモリに限定されず、例えばＵＳＢ（Universal Serial Bus）端子を介して接続可能な外部接続媒体（例えばフラッシュメモリ等の半導体メモリ）でも良い。
【００６４】
送信部の一例としてのネットワークインタフェース２７は、ビデオエンコーダ２３により生成された切り出し画像データの符号化データを用いて、例えば送信先である受信装置２００に送信するためのパケット生成処理を行い、切り出し画像データの符号化データのパケットを受信装置２００に送信する。これにより、ネットワークインタフェース２７は、撮像された画像データに対する補正処理によって得られた切り出し画像データを外部機器に送信することができる。
【００６５】
ネットワークＮＷは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えばＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、無線ＬＡＮ（Local Area Network）、３Ｇ、ＬＴＥ（Long Term Evolution）又はＷｉＧｉｇである。有線ネットワークは、例えばイントラネット又はインターネットである。
【００６６】
受信装置２００は、ネットワークＮＷを介して撮像装置１００又は画像処理装置５０と接続された外部機器であり、撮像装置１００又は画像処理装置５０から送信された切り出し画像データの符号化データを受信する。受信装置２００は、切り出し画像データの符号化データを復号して切り出し画像データを、例えば不図示のディスプレイ装置に表示させる。
【００６７】
なお、撮像装置１００は、図２では不図示であるが、撮像装置１００の内部に電源や二次電池を含むバッテリ部が設けられている場合には撮像装置１００単体で使用されても良いし、ケーブルを介して撮像装置１００の筐体とバッテリ部ＢＴが内蔵された筐体とが接続されても良い（図３（Ａ）参照）。図３（Ａ）は、ケーブルによってバッテリ部ＢＴと接続された本実施形態の撮像装置１００の外観斜視図である。
【００６８】
また、撮像装置１００は、主に人に装着された状態で使用されるが、撮像装置１００の使用形態は図３（Ｂ）に示す使用形態に限定されない。図３（Ｂ）は、本実施形態の撮像装置１００が人に装着された様子の一例を示す図である。
【００６９】
（撮像装置の動作手順）
次に、本実施形態の撮像装置１００の動作手順について、図５及び図６（Ａ）〜図６（Ｆ）を参照して説明する。図５は、本実施形態の撮像装置１００の詳細な動作手順の一例を示すフローチャートである。図６（Ａ）〜図６（Ｆ）は、揺れ補正値に応じた切り出し画像データの切り出し領域ＲＮ１〜ＲＮ６の一例を示す図である。図５に示す動作手順は、撮像装置１００における元画像データの１フレームに対する処理である。
【００７０】
図５において、撮像装置１００は、切り出しズーム率／補正パラメータ決定部１９において、振動情報記憶部１７に記憶された撮像装置１００の振動情報を基に、撮像部ＩＭにより撮像された元画像データの１フレームの切り出し領域の中心位置を示す揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を算出し（Ｓ１１）、更に、揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いて、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２を算出する。
【００７１】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２５度角以上である場合には（Ｓ１２、ＹＥＳ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを５と決定し（Ｓ１３）、更に、センタリング係数αを「α×１．０」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが５である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を６０％と決定する。
【００７２】
撮像装置１００は、切り出しズーム率が「６０％」とする情報とセンタリング係数を「α×１．０」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「６０％」を切り出し処理し、更に、センタリング係数「α×１．０」を用いて切り出し画像データを生成する（Ｓ１４、図６（Ｆ）参照）。ステップＳ１４により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ｆ）に示す切り出し領域ＲＮ６に対応した大きさである。
【００７３】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２５度角以上ではなく（Ｓ１２、ＮＯ）、２０〜２５度角である場合には（Ｓ１５、ＹＥＳ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを４と決定し（Ｓ１６）、更に、センタリング係数αを「α×０．９」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが４である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を６５％と決定する。
【００７４】
撮像装置１００は、切り出しズーム率が「６５％」とする情報とセンタリング係数を「α×０．９」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「６５％」を切り出し処理し、更に、センタリング係数「α×０．９」を用いて切り出し画像データを生成する（Ｓ１７、図６（Ｅ）参照）。ステップＳ１７により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ｅ）に示す切り出し領域ＲＮ５に対応した大きさである。
【００７５】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が２０〜２５度角以上ではなく（Ｓ１５、ＮＯ）、１５〜２０度角である場合には（Ｓ１８、ＹＥＳ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを３と決定し（Ｓ１９）、更に、センタリング係数αを「α×０．８」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが３である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を７０％と決定する。
【００７６】
撮像装置１００は、切り出しズーム率が「７０％」とする情報とセンタリング係数を「α×０．８」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「７０％」を切り出し処理し、更に、センタリング係数「α×０．８」を用いて切り出し画像データを生成する（Ｓ２０、図６（Ｄ）参照）。ステップＳ２０により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ｄ）に示す切り出し領域ＲＮ４に対応した大きさである。
【００７７】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１５〜２０度角以上ではなく（Ｓ１５、ＮＯ）、１０〜１５度角である場合には（Ｓ２１、ＹＥＳ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを２と決定し（Ｓ２２）、更に、センタリング係数αを「α×０．７」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが２である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を７５％と決定する。
【００７８】
撮像装置１００は、切り出しズーム率が「７５％」とする情報とセンタリング係数を「α×０．７」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「７５％」を切り出し処理し、更に、センタリング係数「α×０．７」を用いて切り出し画像データを生成する（Ｓ２３、図６（Ｃ）参照）。ステップＳ２３により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ｃ）に示す切り出し領域ＲＮ３に対応した大きさである。
【００７９】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が１０〜１５度角以上ではなく（Ｓ２１、ＮＯ）、５〜１０度角である場合には（Ｓ２４、ＹＥＳ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを１と決定し（Ｓ２５）、更に、センタリング係数αを「α×０．６」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが１である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を８０％と決定する。
【００８０】
撮像装置１００は、切り出しズーム率が「８０％」とする情報とセンタリング係数が「α×０．６」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「８０％」を切り出し処理し、更に、センタリング係数「α×０．６」を用いて切り出し画像データを生成する（Ｓ２６、図６（Ｂ）参照）。ステップＳ２６により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ｂ）に示す切り出し領域ＲＮ２に対応した大きさである。
【００８１】
撮像装置１００は、｛｜ｙａｗ｜＋｜ｐｉｔｃｈ｜｝／２が５〜１０度角以上ではない場合には（Ｓ２４、ＮＯ）、撮像部ＩＭにより撮像された元画像データの１フレームの揺れ状態を示す振動レベルを０と決定し（Ｓ２７）、更に、センタリング係数αを「α×０．５」に補正することを決定する。撮像装置１００は、元画像データの１フレームの揺れ状態を示す振動レベルが０である場合には、撮像部ＩＭにより撮像された元画像データの１フレームの大きさと切り出し画像データの１フレームの大きさとの割合（切り出しズーム率）を８５％と決定する。
【００８２】
撮像装置１００は、切り出しズーム率が「８５％」とする情報とセンタリング係数が「α×０．５」に補正することを示す情報とを基にして、撮像部ＩＭにより撮像された元画像データに対し、元画像データのサイズの「８５％」を切り出し処理し、更に、センタリング係数「α×０．５」を用いて切り出し画像データを生成する（Ｓ２８、図６（Ａ）参照）。ステップＳ２８により生成された切り出し画像データは、元画像データの大きさに対し、図６（Ａ）に示す切り出し領域ＲＮ１に対応した大きさである。
【００８３】
以上により、本実施形態の撮像装置１００は、撮像装置１００の使用者の動きに応じて振動センサ１５により検出された振動情報を基にして、撮像部ＩＭにより撮像された元画像データの補正処理時に必要となる切り出しズーム率及び補正パラメータ（例えばセンタリング係数α）の各情報を決定し、決定された各情報を用いて元画像データの切り出し画像データを生成する。
【００８４】
これにより、撮像装置１００は、使用者の動きに応じて大きな揺れが生じた場合には、撮像された画像データの補正処理（例えば切り出し処理）時に切り出し領域の大きさを小さくするので、大きな揺れが生じた場合でも揺れによる映像の乱れが抑制された切り出し画像データが得られる。また、撮像装置１００は、使用者の動きに応じて小さな揺れが生じた場合には、撮像された画像データの補正処理時に切り出し領域の大きさを大きくするので、小さな揺れが生じた場合でも解像度の高い切り出し画像データが得られる。即ち、撮像装置１００は、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制して最適な映像品質を提供することができる。
【００８５】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８６】
なお、本実施形態の撮像装置１００又は画像処理装置５０は、例えば元画像データのサイズ（１００％）から所定のサイズ（６０％）を有する切り出し画像データを生成する場合に、複数個の元画像データのフレームにわたって、切り出し画像データの大きさが６０％のサイズの切り出し領域になるように、元画像データのフレーム毎に切り出し領域の大きさを変更しても良い。
【００８７】
これにより、撮像装置１００又は画像処理装置５０は、振動情報又は揺れ補正値（ｙａｗ，ｐｉｔｃｈ）を用いた画像データの補正処理時に、例えば撮像により得られた画像データに対する切り出し画像データの大きさの割合が１００％からフレーム毎に５％ずつ低下するように変更することができる。
【００８８】
従って、撮像装置１００又は画像処理装置５０は、例えば撮像により得られた元画像データに対する切り出し画像データの大きさの割合が１００％から６０％に変化する等、切り出し画像データの画角の急な変化に伴って生じる目の違和感を避けることができる。
【産業上の利用可能性】
【００８９】
本発明は、使用者の揺れの大きさに応じて適応的な画像補正を行うことで、閲覧者の違和感を抑制して最適な映像品質を提供することができる画像処理装置、撮像装置及び画像処理方法として有用である。
【符号の説明】
【００９０】
１１  イメージセンサ
１３  画像データ記憶部
１５  振動センサ
１７  振動情報記憶部
１９  切り出しズーム率／補正パラメータ決定部
２１  切り出し画像生成部
２３  ビデオエンコーダ
２５  蓄積メディア
２７  ネットワークインタフェース
５０  画像処理装置
１００  撮像装置
２００  受信装置
ＬＮ  レンズ
ＮＷ  ネットワーク
【図１】
2015139100.tif 000003
【図２】
2015139100.tif 000004
【図３】
2015139100.tif 000005
【図４】
2015139100.tif 000006
【図５】
2015139100.tif 000007
【図６】
2015139100.tif 000008