(57)【特許請求の範囲】
【請求項１】
入力画像に写っている障害物を補完用画像に基づいて除去するように補完する補完手段を有する画像処理装置において、
画像の歪み補正をする歪み補正手段と、
前記歪み補正手段による歪み補正前の前記入力画像のうち前記障害物の写っている領域を特定する写りこみ認識領域特定手段と、
前記入力画像において前記障害物が写っている領域に対応する前記補完用画像における領域である補完用領域を特定する補完用領域特定手段と、を有し、
前記歪み補正手段は、前記写りこみ認識領域特定手段が前記障害物の写っている領域を特定した後に前記入力画像及び前記補完用画像のうち前記補完用領域のみの歪み補正をし、
前記補完手段は、前記補完用画像のうち歪み補正された前記補完用領域のみに基づいて前記障害物を除去するように補完する、
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像及び前記補完用画像を取得した際の撮像手段の姿勢情報、加速度情報のうち少なくともいずれかを取得する第１取得手段を更に有し、
前記補完用領域特定手段は、前記第１取得手段が取得した姿勢情報、加速度情報のうち少なくともいずれか及び前記入力画像のうち前記障害物が写っている領域に基づいて前記補完用領域を特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像手段の姿勢情報を任意のタイミングで取得する第２取得手段と、
前記写りこみ認識領域特定手段が特定した前記障害物の写っている領域と前記第２取得手段が取得した前記姿勢情報に基づいて、前記撮像手段の移動量を算出する移動量算出手段と、
を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２取得手段は、前記入力画像及び前記補完用画像を取得した際の撮像手段の姿勢情報、加速度情報のうち少なくともいずれかを取得し、
前記補完用領域特定手段は、前記第２取得手段が取得した姿勢情報、加速度情報のうち少なくともいずれか及び前記入力画像のうち前記障害物が写っている領域に基づいて前記補完用領域を特定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像手段と、請求項３または４に記載の画像処理装置と、少なくとも前記撮像手段が設けられる本体部と、前記本体部を取付部材に取り付ける取付部と、を有する撮像装置であって、
前記取付部が、前記本体部または前記取付部材のいずれか一方を移動させる移動手段を更に有し、
前記移動量算出手段は、前記移動手段が前記本体部または前記取付部材のいずれか一方を移動させる移動量を算出する、
ことを特徴とする撮像装置。
【請求項６】
請求項１または２に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項７】
入力画像に写っている障害物を補完用画像に基づいて除去するように補完する補完工程と、を有する画像処理装置で実行される画像処理方法において、
画像の歪み補正をする歪み補正工程と、
前記歪み補正工程による歪み補正前の前記入力画像のうち前記障害物の写っている領域を特定する補完対象領域特定工程と、
前記入力画像において前記障害物が写っている領域に対応する前記補完用画像における領域である補完用領域を特定する補完用領域特定工程と、を含み、
前記歪み補正工程は、前記写りこみ認識領域特定工程が前記障害物の写っている領域を特定した後に前記入力画像及び前記補完用画像のうち前記補完用領域のみを歪み補正し、
前記補完工程は、前記補完用画像のうち歪み補正された前記補完用領域のみに基づいて前記障害物を除去するように補完する、
ことを特徴とする画像処理方法。
【請求項８】
入力画像に写っている障害物を補完用画像に基づいて除去するように補完する補完手段としてコンピュータを機能させる画像処理プログラムにおいて、
前記コンピュータを、画像の歪み補正をする歪み補正手段と、
前記歪み補正手段による歪み補正前の前記入力画像のうち前記障害物の写っている領域を特定する写りこみ認識領域特定手段と、
前記入力画像において前記障害物が写っている領域に対応する前記補完用画像における領域である補完用領域を特定する補完用領域特定手段と、して機能させ、
前記歪み補正手段は、前記写りこみ認識領域特定手段が前記障害物の写っている領域を特定した後に前記入力画像及び前記補完用画像のうち前記補完用領域のみを歪み補正し、
前記補完手段は、前記補完用画像のうち歪み補正された前記補完用領域のみに基づいて前記障害物を除去するように補完する、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
例えば、デジタルカメラ等の撮像装置において、障害物等によって写したい被写体、風景等が遮られてしまうことがある。このような場合に、別の角度や同じ場所で違う時間に撮影された画像などを用いて障害物に隠れていた箇所を補完する技術は既に知られている。
【０００３】
例えば、特許文献１には、撮影カメラが搭載された移動体の移動に伴って、移動体から目視できるシーンを推定するとともに、その推定結果を利用する目的で、風景画像抽出手段が複数の前記撮像画像を取得する。そして、複数の前記撮像画像に基づいて、それぞれの障害物の背後に隠れている前記風景を抽出することが記載されている。
【０００４】
撮像装置おいて、一度に広い範囲を撮影するために広角レンズや魚眼レンズ等を用いた場合、撮像された画像は歪みを含んだものとなる。このような歪みを含む画像においては、従来、画像全体について歪み補正を行ってから特許文献１のような処理をするのが一般的であった。
【０００５】
しかしながら、上述した従来の方法の場合、画像全体の処理を行う必要があるため、画像処理に時間がかかってしまうという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明はかかる問題を解決することを目的としている。即ち、本発明は、例えば、画像処理の高速化を図ることができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、入力画像に写っている障害物を補完用画像に基づいて除去するように補完する補完手段を有する画像処理装置において、画像の歪み補正をする歪み補正手段と、前記歪み補正手段による歪み補正前の前記入力画像のうち前記障害物の写っている領域を特定する写りこみ認識領域特定手段と、前記入力画像において前記障害物が写っている領域に対応する前記補完用画像における領域である補完用領域を特定する補完用領域特定手段と、を有し、前記歪み補正手段は、前記写りこみ認識領域特定手段が前記障害物の写っている領域を特定した後に前記入力画像及び前記補完用画像のうち前記補完用領域のみの歪み補正をし、前記補完手段は、前記補完用画像のうち歪み補正された前記補完用領域のみに基づいて前記障害物を除去するように補完する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、歪み補正手段による歪み補正前の入力画像のうち障害物の写っている領域を特定することで、画像処理の高速化を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態にかかる画像処理装置のブロック構成図である。
【図２】図１に示された画像処理装置を内蔵する撮像装置がマウント装置に固定されて回転・移動する場合の説明図である。
【図３】補完用差分歪み画像の補完周辺領域の説明図である。
【図４】図１に示された画像処理装置の動作のフローチャートである。
【図５】本発明の第２の実施形態にかかる画像処理装置のブロック構成図である。
【図６】図５に示された画像処理装置の変形例である。
【図７】本発明の第３の実施形態にかかる画像処理装置のブロック構成図である。
【図８】図７に示された画像処理装置を内蔵する撮像装置がマウント装置に対して回転する場合の説明図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
本発明の第１の実施形態にかかる画像処理装置を図１乃至図４を参照して説明する。本実施形態にかかる画像処理装置１は、図１に示したように、センサーＩ／Ｆ２と、入力Ｉ／Ｆ３と、画像処理回路４と、インターコネクト回路５と、写りこみ認識回路６と、補完周辺領域認識回路７と、任意画像変形回路８と、画像マッチング回路９と、色補正回路１０と、出力Ｉ／Ｆ１１と、を有している。
【００１１】
センサーＩ／Ｆ２は、画像処理装置１の外部に設けられた実際に画像を撮像するレンズや撮像素子等の撮像手段の傾斜角等の角度（姿勢情報）や加速度（加速度情報）を取得するセンサーが出力するセンサー情報を取得するインターフェース（Ｉ／Ｆ）である。即ち、センサーＩ／Ｆ２は第１取得手段として機能する。取得したセンサー情報はインターコネクト回路５を介して外部記憶回路２０に記憶される。
【００１２】
入力Ｉ／Ｆ３は、撮像素子等が撮像した画像情報を取得する。撮影された画像情報は、補完対象歪み画像又は補完用差分歪み画像等としてインターコネクト回路５を介して外部記憶回路２０に記憶される。即ち、本実施形態では、広角レンズや魚眼レンズ等により撮像された歪みを有する画像が入力される。
【００１３】
ここで、補完対象歪み画像は、本画像処理装置１によって処理を行い補完を行う対象となる歪みを有する画像（入力画像）であり、例えば、撮像装置でユーザーが撮像したいアングルの画像等を示す。補完用差分歪み画像は、補完対象歪み画像を補完するために使用する歪みを有する画像（補完用画像）である。
【００１４】
画像処理回路４は、ＩＳＰ（Image Signal Processor）とも称される。画像処理回路４は、ＲＡＷ形式画像をＹＵＶ形式画像に変換する機能、ＷＤＲ機能、γ補正機能、ノイズ除去機能などを備え、入力Ｉ／Ｆ３が取得した各種画像に対して、各種の画像処理を施すものである。なお、画像処理回路４は設けなくてもよい。
【００１５】
インターコネクト回路５は、画像処理装置１から外部記憶回路２０にアクセスするためのインターフェースであり、画像処理装置１内の各機能ブロックからの要求に応じて外部記憶回路２０にアクセスし、読出しや書き込み動作を行う。
【００１６】
写りこみ認識回路６は、外部記憶回路２０から補完対象歪み画像と補完用差分歪み画像を読み出して、写りこみ領域を認識する。即ち、写りこみ認識回路６は、歪み補正前の補完対象歪み画像（入力画像）のうち障害物の写っている領域を特定する写りこみ認識領域特定手段として機能する。
【００１７】
また、写りこみ認識回路６は、内部処理用に内部記憶回路６ａを有している。写りこみ認識回路６は、認識した領域を写りこみ領域座標情報としてインターコネクト回路５を介して外部記憶回路２０に記憶する。
【００１８】
ここで、写りこみ領域について説明する。例えば撮像装置が雲台や三脚、或いはドローン（遠隔操縦又は自立飛行する飛翔体）等のマウント装置に設置された場合、広角レンズや魚眼レンズ等で撮影するとマウント装置が写りこんでしまうことがある。このようなマウント装置は、その奥にある被写体や風景等を遮る障害物と言える。しがって、このような障害物が写っている領域を写りこみ領域として、補完対象歪み画像と補完用差分歪み画像に基づいて認識する。
【００１９】
次に、写りこみ認識回路６における写りこみ領域の認識方法について図２を参照して説明する。図２は、画像処理装置１を内蔵する撮像装置５０がマウント装置６０に固定されている例である。図２においては、破線が移動前、実線が移動後を示す。また、図２（ａ）は例えば地面等の水平面に対して傾斜するように回転させた例、図２（ｂ）は水平移動させた例をそれぞれ示している。なお、このような回転や移動はドローンや車両等に搭載した場合当該ドローン等を回転や移動させればよいし、或いは使用者等が人力で行ってもよい。
【００２０】
図２に示した撮像装置５０は、本体部５２内に撮像素子や図１に示した画像処理装置１が搭載され（設けられ）、その本体部５２の対向する側面に一対の魚眼レンズ５１ａ、５１ｂが設けられている。即ち、魚眼レンズ５１ａ、５１ｂや撮像素子が撮像手段として機能する。そして、魚眼レンズ５１ａ、５１ｂを通して入射した光が撮像素子において画像情報として電気信号に変換され画像処理装置１に出力される。
【００２１】
この魚眼レンズ５１ａ、５１ｂの画角は図２の魚眼レンズ５１ａ、５１ｂの接線として示したように１８０°以上あり、マウント装置６０が写りこんでしまう（斜線部分）。このマウント装置６０は撮像装置５０に固定されているので、図２（ａ）のように回転したり、図２（ｂ）のように水平移動させりしても撮像された画像内におけるマウント装置６０の位置は一定となる。したがって、例えば回転や水平移動する前の画像を補完対象歪み画像、後の画像を補完用差分歪み画像として、両者を比較することでマウント装置６０が写りこんでいる領域（写りこみ領域）を認識することができる。具体的な認識方法としては背景差分法が一例として挙げられる。
【００２２】
なお、写りこみ認識回路６で認識された結果出力される写りこみ領域座標情報は、例えば電源投入時等一度算出されたら、二回目以降はその座標情報を利用することができる。写りこみ領域座標情報は、外部記憶回路２０に限らず、写りこみ認識回路６の内部記憶回路６ａや補完周辺領域認識回路７の内部記憶回路７ａに記憶させてもよい。
【００２３】
また、補完用差分歪み画像は、特別な撮像動作をして得られた画像でなくてもよい。入力Ｉ／Ｆ３へ画像情報を出力する撮像素子等は、静止画を撮像する場合であっても、例えばフレーム単位で画像情報を出力し続けるので、この出力される画像を任意のタイミングで補完用差分歪み画像として取得するようにしてもよい。
【００２４】
補完周辺領域認識回路７は、外部記憶回路２０から補完用差分歪み画像、写りこみ領域座標情報、センサー情報及びレンズ歪み情報を読み出して、補完用差分歪み画像の補完周辺領域（補完用領域）を認識する。即ち、補完周辺領域認識回路７は、補正対象歪み画像（入力画像）において障害物が写っている領域に対応する補完用差分歪み画像（補完用画像）における領域である補完用領域を特定する補完用領域特定手段として機能する。そして、補完周辺領域認識回路７は、センサーＩ／Ｆ２（第１取得手段）が取得した姿勢情報、加速度情報のうち少なくともいずれか及び補完対象歪み画像（入力画像）のうち障害物が写っている領域に基づいて補完用領域を特定する。
【００２５】
また、補完周辺領域認識回路７は、内部処理用に内部記憶回路７ａを有している。そして、認識した補完周辺領域を補完用差分歪み画像の補完周辺領域座標情報としてインターコネクト回路５を介して外部記憶回路２０に記憶する。
【００２６】
補完用差分歪み画像の補完周辺領域とは、画像マッチング回路９で補完処理を行う際に参照する領域である。補完用差分歪み画像の補完周辺領域について図３を参照して説明する。図３の左側は補完対象歪み画像、右側は補完用差分歪み画像である。図３のＡは写りこみ領域（障害物）を示している。図３の補完対象歪み画像においては、障害物によって、その背後にある被写体Ｂは遮られてしまっている。
【００２７】
そこで、図２のように回転や水平移動して得られた補完用差分歪み画像では、障害物の位置（Ａ）は補完対象歪み画像から移動せずに被写体Ｂの位置が移動する。したがって、補完用差分歪み画像では障害物に遮られた領域はＣ１の位置に移動したことがわかる。なお、この移動した量は、センサー情報に含まれる角度情報や加速度情報から算出することができる。
【００２８】
本実施形態では、補完用領域としては、図３のＣ１の領域だけでなく、その周囲の領域Ｃ２も合わせた補完用差分歪み画像の補完周辺領域とする。これは、画像マッチング回路９において、補完対象歪み画像の写りこみ領域を補完用差分歪み画像で補完した際に、回転や水平移動等により生じる画像間の差異を違和感を少なくするように合わせこむ周知のマッチング処理で必要となるためである。
【００２９】
任意画像変形回路８は、外部記憶回路２０から補完対象歪み画像、補完用差分歪み画像、レンズ歪み情報を読み出して、補正後補完対象歪み画像と補正後補完用差分歪み画像を生成する。即ち、任意画像変形回路８は、写りこみ認識回路６（写りこみ認識領域特定手段）が障害物の写っている領域を特定した後に補完対象歪み画像（入力画像）及び補完用差分歪み画像（補完用画像）を歪み補正している。
【００３０】
なお、補完用差分歪み画像の歪み補正は、補完周辺領域認識回路で認識した補完用差分歪み画像の補完領域座標情報が示す範囲（補完用領域）のみを行う。任意画像変形回路８は、内部処理用に内部記憶回路８ａを有している。そして、生成した補正後補完対象歪み画像と補正後補完用差分歪み画像をインターコネクト回路５を介して外部記憶回路２０に記憶する。
【００３１】
また、任意画像変形回路８は、補完対象歪み画像と補完用差分歪み画像に対して、予め外部記憶回路２０に記憶されているレンズ歪み情報に基づいて歪み補正を行う。歪み補正は周知のアフィン変換や射影変換等を用いればよい。即ち、任意画像変形回路８は、画像の歪み補正をする歪み補正手段として機能する。
【００３２】
画像マッチング回路９は、外部記憶回路２０から補正後補完対象歪み画像と補正後補完用差分歪み画像を読み出して、対象補完画像を生成する。なお、読み出すのは、上述した補完用領域に対応する部分の画像のみである。つまり、補正後補完用差分歪み画像では図３のＣ２を含む領域であり、補正後補完対象歪み画像も写りこみ領域（図３のＡ）よりも広い補正後補完用差分歪み画像で読み出すのと同じ面積となる領域を読み出す。画像マッチング回路９は、内部処理用に内部記憶回路９ａを有している。そして、生成した対象補完画像をインターコネクト回路５を介して外部記憶回路２０に記憶する。
【００３３】
また、画像マッチング回路９は、読み出した補正後補完対象歪み画像と補正後補完用差分歪み画像に基づいて、対象補完画像を生成する。具体的には、補正後補完対象歪み画像の写りこみ領域に補正後補完用差分歪み画像の写りこみ領域に対応する部分を当てはめるとともに、その周囲の領域に対して上述した周知のマッチング処理を施す。つまり、障害物が除去される。このようにして得られた部分的な画像を対象補完画像として外部記憶回路２０の補完対象歪み画像の対応するアドレスに上書きすることで、全体として補完がされた画像（補完画像）となる。
【００３４】
即ち、画像マッチング回路９は、補正後補完対象歪み画像（任意画像変形回路８（補正手段）で補正された入力画像）に写っている障害物を補正後補完歪み画像（補完用画像）に基づいて除去するように補完する補完手段として機能する。
【００３５】
色補正回路１０は、画像処理装置１から出力する画像に対して周囲の色補正を施す。なお、色補正回路１０は設けなくてもよい。
【００３６】
出力Ｉ／Ｆ１１は、色補正が施された画像を外部に出力する。出力先としては、例えば画像を表示するディスプレイや、メモリーカード等の記憶媒体、或いは無線や有線等で外部に出力する場合はネットワークＩ／Ｆ等が挙げられる。
【００３７】
外部記憶回路２０は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の半導体メモリで構成されている。外部記憶回路２０には、少なくとも上述した、補完対象歪み画像、補完用差分歪み画像、写りこみ領域座標情報、センサー情報、レンズ歪み情報、補完用差分歪み画像の補完領域座標情報、補正後補完対象歪み画像、補正後補完用差分歪み画像（補完用領域のみ）を記憶できるサイズとなっている。
【００３８】
次に、上述した構成の画像処理装置１における処理（画像処理方法）を図４を参照して説明する。まず、ステップＳ１において、補完対象歪み画像と補完用差分歪み画像により写りこみ認識回路６が写りこみ認識を行う。次に、ステップＳ２において、補完対象歪み画像、補完用差分歪み画像、センサー情報及びレンズ歪み情報により補完周辺領域認識回路７が補完周辺領域の認識を行う。
【００３９】
次に、ステップＳ３において、補完対象歪み画像、補完用差分歪み画像（補完用領域のみ）及びレンズ歪み情報により任意画像変形回路８が歪み補正処理を行う。次に、ステップＳ４において、上述した補正後補完対象歪み画像と補正後補完用差分歪み画像（補完用領域のみ）により画像マッチング回路９がマッチング処理を行う。そして、マッチング処理の結果得られた対象補完画像を外部記憶回路２０に書き戻すことにより補完画像が生成される（ステップＳ５）。
【００４０】
図４の説明から明らかなように、ステップＳ２が補完対象領域特定工程、ステップＳ３が歪み補正工程、ステップＳ４が補完工程としてそれぞれ機能する。
【００４１】
本実施形態によれば、写りこみ認識回路６が補完対象歪み画像と補完用差分歪み画像に基づいて補完対象歪み画像のうち障害物の写っている領域を写りこみ領域座標情報として特定する。そして、補完周辺領域認識回路７が補完用差分歪み画像と写りこみ領域座標情報及びセンサー情報等に基づいて補完用差分歪み画像の補完用領域として補完領域座標情報を特定する。そして、任意画像変形回路８が補完対象歪み画像と補完用差分歪み画像の補完用領域のみとを歪み補正する。このようにすることにより、まず、歪み補正前の補正対象歪み画像の写りこみ領域を特定するので、歪み補正等の後の処理で必要となる領域を先に特定することができる。そのため、例えば補完用差分歪み画像の全領域の歪み補正をする必要が無く補完用領域のみを歪み補正することができる。したがって、画像処理装置１における画像処理の高速化を図ることができる。
【００４２】
また、補完周辺領域認識回路７は、補完対象歪み画像において写りこみ領域に対応する補完用領域として補完領域座標情報を特定するので、補完対象歪み画像において障害物が写っており補完用差分歪み画像から補完する必要がある部分を特定することができる。
【００４３】
また、補完周辺領域認識回路７は、センサーＩ／Ｆ２が取得した角度情報や加速度情報及び写りこみ領域座標情報に基づいて補完領域座標情報を特定するので、補完対象歪み画像において写っている被写体等の移動量を把握することができる。したがって、補完用差分歪み画像から補完する必要がある部分を特定することができる。
【００４４】
また、任意画像変形回路８は、補完用差分歪み画像のうち補完用領域のみを歪み補正し、画像マッチング回路９は、補完用差分歪み画像のうち歪み補正された補完用領域のみに基づいて障害物を除去するように補完する。このようにすることにより、任意画像変形回路８において処理するデータ量を削減することができ、任意画像変形回路８における処理の高速化を図ることができる。
【００４５】
また、画像マッチング回路９は、任意画像変形回路８で歪み補正された補完用領域のみについてマッチング処理を行うので、処理するデータ量を削減することができ、マッチング処理を行う際の探索等の処理効率が良くなる。したがって、画像マッチング回路９における処理の高速化を図ることができる。
【００４６】
なお、上述した実施形態では、写りこみ領域を認識する画像と補完に使用する画像とを同じ画像（補完用差分歪み画像）としていたが異なる画像としてもよい。例えば、写りこみ領域を認識するための画像として予め所定の場所で取得した画像を外部記憶回路２０に記憶して写りこみ認識のみに利用し、それとは別途補完用画像を入力Ｉ／Ｆ３から取得するようにしてもよい。
【００４７】
また、図１に示した構成は、ＬＳＩ（Large Scale Integration）等の半導体集積回路、ボード、モジュール等のハードウェアとして構成するに限らない。例えば各機能ブロックの機能をソフトウェアとして構成することで、コンピュータプログラム（画像処理プログラム）とすることもできる。さらには、当該画像処理プログラムをメモリーカードや光ディスク等のコンピュータ読み取り可能な記録媒体に格納して流通させてもよい。
【００４８】
（第２実施形態）
次に、本発明の第２の実施形態にかかる画像処理装置を、図５を参照して説明する。なお、前述した第１の実施形態と同一部分には、同一符号を付して説明を省略する。
【００４９】
本実施形態にかかる画像処理装置１Ａは、図５に示したように写りこみ認識回路６、補完周辺領域認識回路７、任意画像変形回路８が、それぞれの処理結果をインターコネクト回路５を介して外部記憶回路２０に記憶させない。また、センサーＩ／Ｆ２が直接補完周辺領域認識回路７に入力されている。他の部分は図１の構成と同様である。
【００５０】
写りこみ認識回路６は、その処理結果である写りこみ領域座標情報を直接補完周辺領域認識回路７に出力する。補完周辺領域認識回路７は、その処理結果である補完用差分歪み画像の補完領域座標情報を任意画像変形回路８と画像マッチング回路９とに直接出力する。任意画像変形回路８は、その処理結果である補正後補完用差分歪み画像を画像マッチング回路９に直接出力する。なお、各回路の内部記憶回路６ａ、７ａ、８ａは、各処理結果の出力タイミングまで当該処理結果を記憶する。
【００５１】
本実施形態によれば、写りこみ認識回路６、補完周辺領域認識回路７、任意画像変形回路８が、それぞれの処理結果をインターコネクト回路５を介して外部記憶回路２０に記憶させないで直接処理結果を受け渡すようにしている。このようにすることにより、外部記憶回路２０に記憶させるデータ量を削減することができる。また、インターコネクト回路５と外部記憶回路２０との間のデータ転送の帯域が少なくなり、インターコネクト回路５の処理能力やバス幅等を削減することが可能となる。
【００５２】
なお、図６に示したように、任意画像変形回路８において補正後補完用差分歪み画像を直接画像マッチング回路９に出力せずに外部記憶回路２０に記憶させるようにしてもよい。つまり、写りこみ認識回路６、補完周辺領域認識回路７、任意画像変形回路８の全てについて隣接する回路に直接データを受け渡さなくてもよく、一部のみであってもよい。
【００５３】
（第３実施形態）
次に、本発明の第３の実施形態にかかる画像処理装置を、図７及び図８を参照して説明する。なお、前述した第１、第２の実施形態と同一部分には、同一符号を付して説明を省略する。
【００５４】
本実施形態は、図７に示したように、図５の構成に回転制御回路１２が追加されている。回転制御回路１２は、写りこみ認識回路６からの写りこみ領域座標情報と、センサーＩ／Ｆ２からのセンサー情報に基づいて画像処理装置１の外部に設けられた回転部材３０を制御する。なお、図７は、図５の構成をベースとしているが、図１や図６の構成をベースとしてもよい。
【００５５】
回転部材３０は、図８に示したように撮像装置５０が有し、本体部５２とマウント装置７０との間に設けられる。即ち、回転部材３０は、本体部５２をマウント装置７０（取付部材）に取り付ける取付部として機能する。
【００５６】
また、回転部材３０は、例えばモータ等によって本体部５２をマウント装置７０の撮像装置５０との取付部分の中心軸を中心として回転させることができる。つまり、回転部材３０は、回転制御回路１２の制御に基づいて本体部５２をマウント装置７０の取付方向と同軸に回転させることで、撮像範囲を左右に振ることができる。そして、回転部材３０は、本体部５２を移動させる移動手段として機能する。本実施形態のように図８に示したような回転も取付部材が行う移動に含むものとする。
【００５７】
また、回転部材３０には、センサーとしてロータリーエンコーダ等の角度センサーを有し、この角度センサーによって得られた本体部５２の回転角を姿勢情報としてセンサーＩ／Ｆ２に出力する。したがって、センサーＩ／Ｆ２は、撮像手段の姿勢情報を任意のタイミングで取得する第２取得手段として機能する。
【００５８】
なお、図８に示した撮像装置５０は、基本的に図２に示した撮像装置５０と同様であるが、図７に示した画像処理装置１Ｃが搭載されている点が異なる。
【００５９】
図８は、本実施形態において本体部５２が回転する際の動作を示した説明図である。図８（ａ）は回転前、図８（ｂ）は回転後を示す。図８に示したマウント装置７０は、図２に示したマウント装置６０のように本体部５２の端部から一直線状に延びているものではなく、途中で直角に曲げられている。このようなマウント装置７０としては撮像装置５０で自分撮り等をするための棒状の部材が一例として挙げられる。
【００６０】
図８（ａ）に示した回転前の状態は、魚眼レンズ５１ａの撮影範囲の略中央にマウント装置７０があるため、このマウント装置７０が障害物となってその奥の被写体等が遮られてしまう。
【００６１】
そこで、図８（ｂ）のように本体部５２を回転させることで、撮影範囲からマウント装置７０で遮られる範囲が変化し、図８（ａ）の状態では写らなかった被写体等が写るようになる。したがって、図８（ｂ）の状態で撮像された画像を補完用差分歪み画像として用いることができる。
【００６２】
図８では、９０度回転させていたが、実際は図９に示した回転制御回路１２により回転角度が指定される。回転制御回路１２は、まず写りこみ認識回路６で認識された写りこみ座標情報とセンサーＩ／Ｆ２が取得したセンサー情報に基づいてどの程度回転すれば写りこみ領域を認識できるかを求め、その値を保持する。つまり、補完対象歪み画像の撮像範囲からどの程度ずらせばよいか（移動量）を算出する。具体的には、例えば、徐々に回転させて写りこみ認識回路６で写りこみ領域を認識できたときの角度を保持する値とすればよい  。
【００６３】
その後は、その保持した値だけ回転部材３０を制御して本体部５２を回転させる。したがって、回転制御回路１２で回転させる角度を保持した後は、写りこみ領域を認識できる程度の最小限の角度だけ回転させればよくなる。
【００６４】
即ち、回転制御回路１２は、写りこみ認識回路６（写りこみ認識領域特定手段）が特定した写りこみ領域座標情報（障害物の写っている領域）とセンサーＩ／Ｆ２（第２取得手段）が取得した角度情報（姿勢情報）に基づいて処理をする移動量算出手段として機能する。そして、この回転制御回路１２は、補完対象歪み画像（入力画像）から補完用差分歪み画像（補完用画像）として取得すべき撮像範囲までの移動量、つまり撮像装置５０の移動量（回転角度）を算出する。
【００６５】
なお、図７及び図８の形態では回転部材３０は、モータで本体部５２を回転させる形態としたが、手動で回転させるようにしてもよい。この場合、回転制御回路１２は、保持した値を例えば本体部５２に設けられた液晶画面等に出力して、使用者等に回転させる角度を指示したり、回転させる角度に到達したことを通知する等に用いるようにしてもよい。
【００６６】
また、図８に示した形態では、本体部５２を回転させていたが、ドローン等マウント装置７０が地面等に固定されるものでない場合は、マウント装置７０を回転させるようにしてもよい。
【００６７】
また、図８に示した形態では、画像が左右に振れるように本体部５２を回転させていたが、図２に示すような水平面に対して傾斜するように回転させたり、水平移動するようにしてもよい。つまり、回転部材３０を、画像が左右に振れるよう回転させる代わりに傾斜するように回転させる機構としたり、本体部５２がスライドするような機構としてもよい。
【００６８】
本実施形態によれば、撮像装置５０において、回転部材３０が本体部５２またはマウント装置７０のいずれか一方を回転させる。このようにすることにより、本体部５２、つまり撮像装置５０のみを回転させればよいので、マウント装置７０と一体的に固定されている場合よりも補完用差分歪み画像の取得が容易となる。
【００６９】
また、回転制御回路１２が、写りこみ座標情報とセンサーＩ／Ｆ２が取得したセンサー情報に基づいてどの程度回転すれば写りこみ領域を認識できるかを求め、その値を保持する。このようにすることにより、最小限度の角度だけ本体部５２を回転させればよくなる。
【００７０】
なお、図２や図８では、本体部５２に画像処理装置１等が設けられていたが、回転等するのは少なくともレンズや撮像素子等の撮像手段であればよく、画像処理装置１等は別体であってもよい。
【００７１】
また、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像処理装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００７２】
１                 画像処理装置
２                 センサーＩ／Ｆ（第１取得手段、第２取得手段）
６                 写りこみ認識回路（写りこみ認識領域特定手段）
７                 補完周辺領域認識回路（補完用領域特定手段）
８                 任意画像変形回路（歪み補正手段）
９                 画像マッチング回路（補完手段）
１２               回転制御回路（移動量算出手段）
３０               回転部材（移動手段）
５０               撮像装置
５１ａ、５１ｂ     魚眼レンズ（撮像手段）
５２               本体部
【先行技術文献】
【特許文献】
【００７３】
【特許文献１】特許第４６３４８４２号公報
【図１】
0006668967.tif 000002
【図２】
0006668967.tif 000003
【図３】
0006668967.tif 000004
【図４】
0006668967.tif 000005
【図５】
0006668967.tif 000006
【図６】
0006668967.tif 000007
【図７】
0006668967.tif 000008
【図８】
0006668967.tif 000009