(57)【要約】【課題】エッジ抽出回路の追加を回避できる情報処理装置を提供すること。【解決手段】広角レンズを使用して撮像することで撮像画像を得る情報処理装置１０であって、エッジ情報を有する符号化データに前記撮像画像を変換する符号化手段３４と、前記撮像画像のエッジ情報の数をカウントするカウント手段４２と、前記エッジ情報の数が第一の閾値を越えたか否かに応じて、前記撮像画像を補正する補正係数を選択する選択手段４５と、を有することを特徴とする。【選択図】図１
2018181045.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを使用して撮像された撮像画像に画像処理を施す情報処理装置であって、
エッジ情報を有する符号化データに前記撮像画像を変換する符号化手段と、
前記撮像画像のエッジ情報の数をカウントするカウント手段と、
前記エッジ情報の数が第一の閾値を越えたか否かに応じて、前記撮像画像を補正する補正係数を選択する選択手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記符号化手段は、前記撮像画像を符号化データに変換する際に抽出した高周波成分が第二の閾値を超えた場合に、前記符号化データにエッジ情報を付与することで、前記符号化データと共にエッジ情報を生成する請求項１に記載の情報処理装置。
【請求項３】
複数の広角レンズで得られた前記撮像画像をそれぞれ取得し、
複数の前記撮像画像は、互いに重複する重複領域を有しており、
前記重複領域を検出する重複領域検出手段を有し、
前記カウント手段は、前記重複領域の前記エッジ情報の数をカウントし、
前記選択手段が選択した前記補正係数で前記重複領域の画像を補正する補正手段を有する請求項１又は２に記載の情報処理装置。
【請求項４】
前記重複領域は複数のエリアに分割されており、
前記カウント手段は、前記重複領域の前記エリアごとに前記エッジ情報の数をカウントし、
前記選択手段は、前記エリアごとに前記補正係数を選択する請求項３に記載の情報処理装置。
【請求項５】
前記エッジ情報の数が前記第一の閾値を越えたか否かを判断する判断手段を有し、
前記判断手段は、前記エッジ情報の数と比較される複数の前記第一の閾値を有し、
前記判断手段は、前記エッジ情報の数が複数の前記第一の閾値の間にある場合、直前の判断結果を維持する請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記エッジ情報の数が大きい方の前記第一の閾値を超えたと前記判断手段が判断した場合、前記選択手段はエッジを強調する前記補正係数を選択し、
前記エッジ情報の数が小さい方の前記第一の閾値を下回ったと前記判断手段が判断した場合、前記選択手段はエッジを強調しない前記補正係数を選択する請求項５に記載の情報処理装置。
【請求項７】
エッジ情報の数が前記第一の閾値を越えたか否かを判断する判断手段を有し、
前記判断手段は１つの前記第一の閾値を有し、
エッジ情報の数が前記第一の閾値を超えた場合、前記第一の閾値をより小さくし、
エッジ情報の数がより小さくなった前記第一の閾値を下回った場合、前記第一の閾値を元に戻す請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項８】
前記補正係数は外部から設定されることを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
広角レンズを使用して撮像された撮像画像を情報処理装置が画像処理する画像処理方法であって、
符号化手段が、エッジ情報を有する符号化データに前記撮像画像を変換するステップと、
カウント手段が、前記撮像画像のエッジ情報の数をカウントするステップと、
選択手段が、前記エッジ情報の数が第一の閾値を越えたか否かに応じて、前記撮像画像を補正する補正係数を選択するステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
広角レンズを使用して撮像された撮像画像に画像処理を施す情報処理装置を、
エッジ情報を有する符号化データに前記撮像画像を変換する符号化手段と、
前記撮像画像のエッジ情報の数をカウントするカウント手段と、
前記エッジ情報の数が第一の閾値を越えたか否かに応じて、前記撮像画像を補正する補正係数を選択する選択手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
魚眼レンズや超広角レンズなどの広角レンズを複数使用して３６０度の全方位（以下、全天球という。）を１回の撮像操作で撮像する全天球撮像システムが知られている。全天球撮像システムは、各々のレンズを通過した光をセンサに結象させ、得られた各部分画像を画像処理によって結合することで全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角レンズを用いて、全天球画像を生成することができる。
【０００３】
上記の画像処理では、各広角レンズにより撮像された２つの部分画像に対して、所定の射影方式に基づいて射影変換が施される。広角レンズを通過した画像は歪んでいるので、射影変換の際、この歪みを考慮して歪曲補正が施される。そして、部分画像に含まれる重複領域を用いて２つの部分画像をつなぎ合わせ、１枚の全天球画像を生成する画像処理が行われている。
【０００４】
ところで、従来から画像処理にエッジが利用される場合がある（例えば、特許文献１参照。）。特許文献１には、画像の特徴量としてエッジ量を抽出しマッチング処理に適用するシステムが開示されている。
【０００５】
全天球画像の生成においてもこのエッジを利用する画像処理が含まれている。広角レンズによる歪みはレンズ周辺部に行くほど大きいため、歪曲補正を施してもレンズ周辺部の画像の解像度が下がることが知られている。このため全天球撮像システムは、レンズ周辺部で撮像された画像に対し他の領域とは補正係数を変更して画像のエッジを強調する画像処理を行う場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、部分画像からエッジを抽出する回路の追加が必要となるという問題があった。新たな回路の追加は消費電力を増加させ、また、コスト増になる。例えば、近年では画像の高解像度化(例えば４ｋ、８ｋと呼ばれる高解像度な画像がある)及び動画のハイフレームレート化に伴い、処理するデータ量が増大しており、これに伴ってエッジを抽出する回路の消費電力が増加してしまう。
【０００７】
本発明は、上記課題に鑑み、エッジ抽出回路の追加を回避できる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、広角レンズを使用して撮像された撮像画像に画像処理を施す情報処理装置であって、エッジ情報を有する符号化データに前記撮像画像を変換する符号化手段と、前記撮像画像のエッジ情報の数をカウントするカウント手段と、前記エッジ情報の数が第一の閾値を越えたか否かに応じて、前記撮像画像を補正する補正係数を選択する選択手段と、
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、エッジ抽出回路の追加を回避できる情報処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】全天球撮像システムの概略的な動作を説明する図の一例である。
【図２】全天球撮像システムの断面図の一例である。
【図３】撮像システムが有する画像処理装置の機能をブロック状に示すブロック図の一例である。
【図４】圧縮器１及び圧縮器２の概略の構成を示す構成図の一例である。
【図５】ＤＷＴ変換が施された画像におけるYHH,YHL,YLH,YLLを説明する図である。
【図６】符号生成部が出力する符号を模式的に説明する図である。
【図７】エッジ判断の一例を示す図である。
【図８】広角レンズを用いた撮像システムにおける射影関係を説明する図である。
【図９】全天球画像フォーマットのデータ構造を説明する図である。
【図１０】歪曲補正部が参照する歪曲補正パラメータを説明する図である。
【図１１】２つの広角レンズで撮像された２つの部分画像の球面座標系へのマッピングを説明する図である。
【図１２】サンプリング点の算出と補正係数を説明する図の一例である。
【図１３】テンプレートマッチングを説明する図の一例である。
【図１４】補正係数の選択が可能な画像処理装置の機能をブロック状に示すブロック図である。
【図１５】補正係数選択回路のブロック図の一例である。
【図１６】重複領域が複数に分割されたエリアを説明する図の一例である。
【図１７】撮像システムが重複領域のエッジを強調する全体的な手順を示すフローチャート図の一例である。
【図１８】画像処理装置との比較のために示した比較用の画像処理装置のブロック図の一例である。
【図１９】エッジのカウント数と２つの閾値の関係を説明する図の一例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の一例として、全天球撮像システム及び全天球撮像システムが行う画像処理方法について図面を参照しながら説明する。
【００１２】
＜全天球撮像システムの概略的な動作＞
本実施形態の全天球撮像システムは、撮像画像として２つの部分画像を固定長圧縮した符号化データに含まれるエッジ情報を参照し、２つの部分画像の重複領域のエッジ量をカウントし、それぞれのカウント値が閾値を超えたとき、エッジ強調処理を行う。図１を用いて説明する。
【００１３】
図１は、全天球撮像システムの概略的な動作を説明する図の一例である。
（１）全天球撮像システムは２つの撮像光学系でそれぞれ半円球の部分画像３５０を撮像する。後述するように部分画像３５０はそれぞれ重複領域を有している。
（２）全天球撮像システムは２つの部分画像３５０をそれぞれ決まった領域（例えば２×２画素）ごとに符号化データに変換する。この符号化の際、符号化された領域がエッジ領域か非エッジ領域か判断され、領域ごとにフラグ（エッジ情報）が設定される。
（３）全天球撮像システムの補正係数選択回路２７は例えば重複領域の所定のエリアごとのエッジ情報の数をカウントする。
（４）補正係数選択回路２７はエッジ情報のカウント値が閾値より大きいか否かによって補正係数１又は補正係数２を歪曲補正部２４に送出する。ただし、補正係数１＞補正係数２である。補正係数１，２は歪曲補正時の画素値を決定する係数となっており値が大きいほどエッジが強調される。
（５）歪曲補正部２４は補正係数１又は２を使って、半天球の部分画像３５０を平面画像３４０に展開する。
【００１４】
このように、符号化と共にエッジ情報が得られるので、エッジ抽出回路が不要になり、消費電力とコストを低減できる。
【００１５】
＜用語について＞
エッジとは、画像の輝度や色が急に変化していること、又は、変化している部分をいう。エッジ情報とはエッジがあることをいう。更に、エッジの程度を含んでもよい。
【００１６】
符号化とは、ある規則で記述された情報を別の規則で記述することをいう。情報の量が少なくなってもよい。符号化されたデータを符号化データ（又は符号）という。
【００１７】
補正とは、元の画像を変更することを言うが、主に、画質を向上させる場合を言う。本実施形態ではエッジを強調することを一例とするが、色合い、解像度、変倍、明るさ等が補正されてもよい。
【００１８】
広角レンズには厳密な定義はないが、標準レンズよりも「画角の広いレンズ」又は標準レンズよりも「焦点距離が短いレンズ」ということができる。広義では３５mm換算で焦点距離が３５mm程度より短いレンズである。あるいは何らかの歪曲補正が必要なレンズである。
【００１９】
＜構成例＞
図２は、本実施形態による全天球撮像システム１０（以下、単に、撮像システム１０と称する。 ）の断面図である。撮像システム１０は全天球カメラ等と呼ばれる撮像装置である。撮像システム１０は、撮像体１１と、撮像体１１及びコントローラやバッテリなどの部品を保持する筐体１５と、筐体１５に設けられたシャッター・ボタン１４とを備える。 図２に示す撮像体１１は、２つの結像光学系１２Ａ，１２Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子１３Ａ，１３Ｂを含む。１組の結像光学系１２と固体撮像素子１３をそれぞれ撮像光学系１９と称する。
【００２０】
結像光学系１２は、例えば６群７枚の魚眼レンズを有しており、魚眼レンズは１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有する。より好適には、１８５度以上の画角を有し、更に好適には１９０度以上の画角を有する。
【００２１】
＜画像処理装置２０＞
図３は、撮像システム１０が有する画像処理装置２０の機能をブロック状に示すブロック図である。図３の２つの撮像光学系１９（撮像光学系１９を区別する場合、それぞれを撮像光学系１９Ａ、１９Ｂと称する）がそれぞれ画像処理装置２０に接続されており、２つの撮像光学系１９Ａ、１９Ｂが撮像した部分画像が画像処理装置２０に入力される。
【００２２】
画像処理装置２０はＩＳＰ（Image Signal Processor)２１、圧縮器２２、伸長器２３、歪曲補正部２４，及びテンプレートマッチング部２５を有する。ＩＳＰ２１、圧縮器２２、伸長器２３、及び、歪曲補正部２４は、それぞれ撮像光学系１９Ａ、１９Ｂごとに設けられており、撮像光学系１９ＡのＩＳＰ２１、圧縮器２２及び伸長器２３を、ＩＳＰ１、圧縮器１、伸長器１と称し、撮像光学系１９ＢのＩＳＰ２１、圧縮器２２及び伸長器２３を、ＩＳＰ２、圧縮器２、伸長器２と称する。
【００２３】
画像処理装置２０は、電子基板上に、ＩＣ、ＬＳＩ、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、ＳｏＣ（System-on-a-chip）などの電子回路が搭載された装置である。これらの電子回路は各種の情報処理に使用されることから画像処理装置２０を情報処理装置と称してよい。
【００２４】
上記のＩＳＰ２１、圧縮器２２、伸長器２３、歪曲補正部２４及びテンプレートマッチング部２５はそれぞれ電子回路により構築されている。しかしながら、ＩＳＰ２１、圧縮器２２、伸長器２３、歪曲補正部２４及びテンプレートマッチング部２５の１つ以上をソフト的に実現することも可能である。
【００２５】
撮像光学系１９Ａ，１９Ｂで撮像された２つの部分画像３５０にはＩＳＰ１，２で、ＡＥ(Auto Exposure),ＡＷＢ(Auto White Balance)、ＡＦ（Auto Focus）、デモザイク処理など各種の画像処理が実行される。ＡＥは画像の輝度が一定の範囲に入るようにシャッター速度、露出時間等を調整する機能である。ＡＷＢは、色差成分Ｒ?Ｙ（赤系色差成分）、Ｂ?Ｙ（青系色差成分）のそれぞれの積分値がゼロとなるように、撮像光学系１９Ａ、１９ＢにＲチャネルとＢチャネルのゲインをフィードバック制御する機能である。ＡＦは、例えば高周波成分抽出フィルタの出力積分値が最大になるように撮像光学系１９Ａ、１９Ｂを制御する機能である。デモザイク処理はカラーフィルタで失った色情報を他の画素から取得してＲＧＢ画像を保管する処理である。
【００２６】
ＩＳＰ１，２が取得した部分画像３５０は圧縮器１，２に送出され符号化される。圧縮器１，２は所定の領域の画素を１つの符号に変換する固定長符号化処理を部分画像３５０の全体に施す。詳細は図４にて説明される。符号化された画像は外部メモリ２６に記憶される。外部メモリ２６は、ＳＲＡＭ、ＳＤＲＡＭ、ＤＲＡＭなどの高速なメモリである。
【００２７】
伸長器１は、外部メモリ２６に格納された符号化された部分画像３５０のうち、２つの画像のつなぎ合わせに必要な重複箇所（２つの画像の両方）を復号する。歪曲補正部１は重複箇所を広角画像の射影方式（射影方式は後述するように例えば等距離射影であるが、平面画像に展開するための歪曲補正パラメータが予め決まっている）に基づいて歪曲補正する。テンプレートマッチング部２５は、重複箇所のズレ量を算出し、歪曲補正パラメータを補正して外部メモリ２６に格納する。
【００２８】
伸長器２は、外部メモリ２６に格納された符号化された２つの部分画像３５０を復号する。歪曲補正部２は補正された歪曲補正パラメータを使って、歪曲補正することで平面展開された全天球画像（例えば、正距円筒射影画像）を作成する。歪曲補正パラメータが補正されることで、２つの画像をより精度よく重複させることができる。この歪曲補正部２が作成した全天球画像が後段（例えば、スマートフォンに送信するための通信Ｉ／Ｆ等）に出力される。
【００２９】
＜圧縮器＞
図４は、圧縮器１及び圧縮器２の概略の構成を示す構成図の一例である。なお、圧縮器１，２の構成は同じである。圧縮器１，２は、一定のサイズ（例えば2x2）の画素から１つの符号化データを出力する固定長符号化を行う。
【００３０】
ＩＳＰ１，２から出力された画像はウェーブレット変換部３１に入力される。ウェーブレット変換部３１は、輝度信号ＹをYHH,YHL,YLH,YLLの４つの周波数成分に変換する。具体的には４つの画素に対し離散ウェーブレット変換（ＤＷＴ）を行い、周波数振幅特性を得る。周波数振幅特性はもとの画像の縦方向と横方向にＤＷＴを施して得たフーリエ係数の振幅値である。
【００３１】
図５はＤＷＴ変換が施された画像におけるYHH,YHL,YLH,YLLを説明する図である。YHH,YHL,YLH,YLLの「Ｙ」は輝度を表し図５では省略されている。
LL：水平・垂直方向共に低域通過フィルタリングを行った画像である。原画像を縮小した画像が得られる。
HL：水平には高域通過フィルタリング、垂直には低域通過フィルタリングを行った画像である。横エッジが強調された画像が得られる。
LH：水平には低域通過フィルタリング、垂直には高域通過フィルタリングを行った画像である。縦エッジが強調された画像が得られる。
HH：水平方向と垂直方向共に高域通過フィルタリングを行った画像である。斜めエッジが強調された画像が得られる。
【００３２】
したがって、YHH,YHL,YLHの３つは部分画像の高周波成分ということができる。YHH,YHL,YLHは撮像画像が符号化データに変換される際に抽出されている。
【００３３】
図４に戻って説明する。エッジ解析部３２はウェーブレット変換された４つの周波数成分に対してエッジ解析を行い、入力されたブロックがエッジか非エッジか判断する。判断方法は、例えば、YHH,YHL,YLH のいずれかが、ある閾値（特許請求の範囲の第二の閾値に相当）を超えたら一定のサイズ（例えば2x2）の画素がエッジであると判断し、そうでなければ非エッジと判断する。
【００３４】
その後、YHH,YHL,YLH の３成分に関しては、量子化テーブル保持部３３に保持されたエッジ用、非エッジ用それぞれの量子化テーブルをエッジ解析部３２が適用して量子化する。図４では、エッジ用又は非エッジ用それぞれの量子化テーブルをアドレスで指定して、YHH,YHL,YLH が量子化テーブルで量子化されている。量子化テーブルには、YHH,YHL,YLH に対応した除算数が設定されており、エッジ解析部３２は除算数でYHH,YHL,YLH を除算する。エッジ用の量子化テーブルはエッジを保存できるように除算数が小さく設定され、非エッジ用の量子化テーブルはエッジを保存する必要がないので除算数がより大きく設定されている。
【００３５】
残りのYLL及び色差Ｕ,Ｖ成分は量子化部３５に入力される。量子化部３５はビットシフトによりYLL及び色差Ｕ,Ｖ成分をそれぞれ量子化する。つまり、YLL及び色差Ｕ,Ｖ成分のうち下位の一部のビットを破棄することで量子化する。
【００３６】
量子化されたYHH,YHL,YLH,YLL 及び色差Ｕ,Ｖ成分は符号生成部３４に出力され、符号生成部３４は一定のサイズ（例えば2x2）の画素のYHH,YHL,YLH,YLL及び色差Ｕ,Ｖ成分から１つの符号化データを生成し、後段へ出力する。符号化データには固定長符号化が使用される。符号化データの例を図６に示す。量子化により、入力データ量より出力データ量が削減されるため、入力画像よりデータサイズの小さい符号化データを生成できる。
【００３７】
なお、図３の伸長器２３は、圧縮器２２の逆順に処理をすることで、符号から一定のサイズの画像を生成することができる（本例では2x2の画像に戻る）。
【００３８】
図６は、符号生成部３４が出力する符号化データを模式的に説明する図である。１画素１６ビット(例えばYUV422 8bit/色)の４画素から１つの３２ビット符号が生成される。図６（ａ）の４画素はウェーブレット変換によりYHH,YHL,YLH,YLL に変換され更に量子化されているため高周波数になるほど０が多いデータになる。２ビットを１ビットに符号化すれば４画素６４ビットを３２ビット以下に符号化できる。
【００３９】
上記のように、ウェーブレット変換の結果、YHH,YHL,YLHのいずれかが特定の閾値を越えたときは、エッジ用の量子化テーブルで符号化され、そうでないときは非エッジ用の量子化テーブルで符号化される。符号生成部３４はYHH,YHL,YLH のいずれかがある閾値を超えたか否か、又は、エッジ用と非エッジ用のどちらの量子化テーブルが使用されたかに基づいて、符号化データの最上位ビットに、エッジ又は非エッジを示すフラグＦ（この例では０：非エッジ、１：エッジ）を設定する。
【００４０】
＜エッジ判断の例＞
図７は、エッジ判断の一例を示す。図７（ａ）は入力された元の画像である。図７（ｂ）は圧縮器により符号化された画像であり、エッジ判断された画素を白、非エッジ判断された画素を黒で表現した画像である。元の画像と比較すると元の画像のエッジが抽出されていることが確認できる。
【００４１】
このように、ウェーブレット変換を施し固定長圧縮符号を利用することで、データ圧縮とエッジ抽出を同時（並行に）に行うことができる。
【００４２】
＜全天球画像の歪曲補正について＞
以下では、図８〜１１を用いて全天球画像の歪曲補正について説明する。
【００４３】
図８は、広角レンズを用いた撮像システム１０における射影関係を説明する図である。本実施形態において、１つ広角レンズで撮像された画像は、撮像地点から概ね半球分の方位を撮像したものとなる。また、広角レンズは、光軸に対する入射角度φに対応した像高ｈで画像生成される。図８（ａ）に示すように、像高ｈと入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、下記式（１）で表現される。
ｈ＝ｆ×φ  …（１）
投影モデルとしては、その他、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図８（ｂ）に示すように、撮像範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。
【００４４】
図９は、全天球画像フォーマットのデータ構造を説明する図である。図９（ａ）に示すように全天球画像は球の形状であり、図９（ｂ）に示すように、全天球画像フォーマットの画像データは、所定の軸に対するなす角度である垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。水平角度θは、０〜３６０度（−１８０度〜＋１８０度とも表現できる。）の範囲となり、垂直角度φは、０〜１８０度（同様に−９０度〜＋９０度とも表現できる。）の範囲となる。各座標値（θ，φ）は、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。魚眼レンズで撮像された画像の平面座標と、全天球画像フォーマットの球面上の座標との関係は、図８で説明したような射影関数を用いることによって対応付けることができる。
【００４５】
図１０は、歪曲補正部１，２が参照する歪曲補正パラメータを説明する図である。図１０（ａ）は歪曲補正パラメータを示す。歪曲補正パラメータは、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。歪曲補正パラメータは、各広角レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）（θ＝０，・・・３６０度，φ＝０，・・・，１８０度）に対して保持する。図１０（ｂ）は補正後画像の座標値（θ,φ）と補正前の部分画像の座標値（ｘ、ｙ）の対応の一例を示す。図１０の例では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、歪曲補正パラメータは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有することになる。
【００４６】
図１１は、２つの広角レンズで撮像された２つの部分画像３５０の球面座標系へのマッピングを説明する図である。図１１（ａ）は撮像システム１０の２つの撮像光学系１９と固体撮像素子を示す。図１１（ａ）は図１の撮像システム１０が時計回りに９０度回転した状態を示す。ただし、撮像光学系１９の複数のレンズのうち最も被写体よりのレンズのみを示した。図１１（ａ）に示すように２つの撮像光学系１９の最外のレンズは１８０°以上（半天球以上）の画角を有している。
【００４７】
図１１（ｂ）は２つの部分画像３５０が平面画像３４０に歪曲補正される際の重複領域３３０を示す。図１１（ｂ）に示すように、半天球の２つの部分画像３５０が正距円筒射影画像にマッピングされると重複領域３３０が生じる。図３の歪曲補正部１は、重複領域３３０のみを平面展開しテンプレートマッチング部２５に送出する。一方、図３の歪曲補正部２は、撮像光学系１９Ａ、１９Ｂで撮像された半天球の部分画像３５０をそれぞれ平面展開すると共に、重複領域３３０において合成処理を実施する。合成処理の一例としては、アルファブレンドが挙げられる。
【００４８】
＜固体撮像素子の画素値のサンプリング＞
次に、歪曲補正と画素値のサンプリングを説明する。図１０にて説明したように固体撮像素子１３の１画素と正距円筒射影画像の１画素は１対１に対応するわけではないので、歪曲補正部１，２は固体撮像素子１３の画素の値の補間することでサンプリング点の画素値をサンプリングする。サンプリング点とは部分画像３５０の画素値が求められる点である。
【００４９】
図１２は、サンプリング点の算出と補正係数を説明する図の一例である。図１２（ａ）はサンプリング点の画素値の算出方法の一例としてバイキュービック法による算出方法を示す。
【００５０】
Siは画素の画素値（入力データ）を意味し、ｒは画素からサンプリング点までの距離である。σはサンプリング点の画素値を表す。画素間距離は１とする。また、図１２（ｂ）は画素からの距離ｒと補正係数h(r)の関係を示す。サンプリング点が決まると各画素からの距離ｒが決まるので、補正係数h(r)も定まり、式（２）からサンプリング点の画素値σを求めることができる。
【００５１】
【数１】
2018181045.tif 000003
図１２では、Ｘ方向の４点の画素からサンプリング点の画素値σを求めているが、同じ処理をＹ方向でも実施する。したがって、サンプリング点を中心に１６点の画素の入力データからサンプリング点の画素値σを計算できる。
【００５２】
式（２）から補正係数h(r)が大きいとサンプリング点の画素値σも大きくなることが分かるので、補正係数h(r)が大きくなるとエッジを強調できる。したがって、重複領域がエッジ領域か又は非エッジ領域かよってこの係数を変更することにより、平面画像のエッジを強調したり、強調しなかったりすることができる。
【００５３】
＜テンプレートマッチング＞
図１３は、テンプレートマッチングを説明する図の一例である。テンプレート用画像３００は、位置検出用補正画像１の重複領域３３０の画像であり、探索用画像３１０は、位置検出用補正画像０の重複領域３３０の画像である。重複領域３３０にはマッチング用のブロック３０２、３１２が生成される。ブロック・サイズは、重複領域３３０の縦よりも短い辺の正方形である（長方形でもよくその他の多角形でもよい）。テンプレートマッチング部２５は、重複領域３３０に所定の生成間隔でブロック３０２，３１２を生成する。ブロック・サイズ及び生成間隔は、マッチングの所望の精度及び処理量を勘案して定めればよい。
【００５４】
ブロック・サイズをＷ画素×Ｈ画素とし、テンプレート用画像３００のブロック３０２の生成開始座標を（ｓｘ，ｓｙ）とし、生成間隔を図示するｓｔｅｐ画素とすると、図１３に示すような態様で複数のブロック３０２−１〜３０２−６が生成される。テンプレート用画像３００のブロック３０２はテンプレート（ひな形）となる。テンプレートのブロック３０２の数は、全天球画像の幅サイズ＝３６００画素を生成間隔（ｓｔｅｐ）で割った値の整数値となる。
【００５５】
ここで生成された複数のブロック３０２−１〜３０２−６に対し、探索用画像３１０が探索される。なお、全天球画像フォーマットのθ座標の両端（０度及び３６０度）はつながっているため、ブロックの生成やテンプレートマッチングの際は、右端の隣は左端として、左端の隣は右端として取り扱うことができる。
【００５６】
テンプレートマッチング部２５は、テンプレート用画像３００のブロック３０２の特徴量を算出し、探索用画像３１０の対応する位置３１４で特徴量を算出する。特徴量の類似度を算出し、step幅の範囲で水平方向に１画素シフトしながら類似度を算出することを繰り返す。step幅の範囲で特徴量が最も類似したシフト量が位置検出用補正画像１と位置検出用補正画像０の重複領域がマッチングした位置である。
【００５７】
＜補正係数の選択＞
図１４は、補正係数の選択が可能な画像処理装置２０の機能をブロック状に示すブロック図である。なお、図１４の説明では、図３との相違を主に説明する。図１４に示すように画像処理装置２０が補正係数選択回路２７を有している。
（１）撮像光学系１９Ａ、１９Ｂから部分画像１、部分画像２が入力され、ＩＳＰ１，２が上記の画像処理を行う。
（２）圧縮器１、圧縮器２は部分画像１，２を符号化して外部メモリ２６に格納する。
（３）次に、伸長器１は、画像１，２の重複領域３３０のみを抽出して伸長し、歪曲補正部１が歪曲補正してテンプレートマッチング部２５に送出する。
（４）テンプレートマッチング部２５は重複領域３３０をテンプレートマッチングして部分画像１，２のズレを検出し、ズレを抑制するように歪曲補正パラメータを補正する。
（５）伸長器２は部分画像１，２の全体を伸長する。
（６）補正係数選択回路２７は符号化された部分画像１，２を用いて補正係数を選択する。すなわち、エッジか非エッジかを示すフラグを参照して後述するエリア又はフレーム内のエッジ量をカウントし、閾値以上か否かによって補正係数を選択する。
（７）補正係数選択回路２７は選択した補正係数を歪曲補正部２に出力する。
（８）歪曲補正部２は、２つの部分画像１，２を歪曲補正パラメータと選択された補正係数で平面展開し後段に出力する。以降の処理は図３等で説明した処理と同様である。
【００５８】
図１５は補正係数選択回路２７のブロック図の一例である。
Ａ．歪曲補正用の歪曲補正パラメータが外部メモリ２６から入力される。この歪曲補正パラメータには、歪曲補正が出力画像を生成するために必要な「読み出し先アドレス」、「読み出し量」、「重複領域フラグ」などが含まれる。「読み出し先アドレス」はテーブル状になっている歪曲補正パラメータのどの部分を読み出すかを示す。「読み出し量」は「読み出し先アドレス」を起点に読み出すデータ量を示す。「重複領域フラグ」はテーブル状の歪曲補正パラメータの各レコードが重複領域に対応するか否かを示す。
【００５９】
Ｂ．重複領域判断部４１は歪曲補正パラメータの「重複領域フラグ」を参照し、歪曲補正パラメータのレコードが重複領域である場合は、エッジカウント部４２にカウントを許可する信号を出力する。
【００６０】
Ｃ．エッジカウント部４２は、カウントを許可する信号が入力されている場合、符号化データに含まれるエッジの数をエリアごとにカウントする。エリアについては図１６にて説明する。具体的には、フラグがエッジであることを示す符号化データの数をカウントする。なお、符号化データと歪曲補正パラメータは同期して重複領域判断部４１とエッジカウント部４２に入力されるため、符号化データが重複領域に含まれるかどうか判断され、重複領域３３０のエッジの数がカウントされる。重複領域３３０のエッジの数をカウントするのは、重複領域以外は歪みがそれほど大きくなく、エッジ強調すると却って撮像時のノイズを強調するおそれがあるためである。ただし、撮像時のノイズが十分に低減されているような場合、エッジカウント部４２が部分画像３５０の全体からエッジの数をカウントしてエッジ強調の必要性を判断することで、歪曲補正部２が部分画像３５０の全体をエッジ強調してもよい。
【００６１】
Ｄ．エッジカウント部４２は、画像１の重複領域３３０のエッジの数と部分画像２の重複領域３３０のエッジの数を別々にカウントし、それぞれを重複画像１エッジ量保持部４３と重複画像２エッジ量保持部４３に格納する。
【００６２】
Ｅ．比較器４４は重複画像１エッジ量保持部４３のエッジ数と閾値（特許請求の範囲の第一の閾値に相当）を比較し、重複画像２エッジ量保持部４３のエッジ数と閾値を比較し、両方が閾値を超えている場合、エッジ強調の補正係数１を出力させる信号を補正係数選択部４５へ出力する。
【００６３】
Ｆ．補正係数記憶部４６は補正係数１，２を記憶している。補正係数選択部４５は、比較器４４から補正係数を出力させる信号を入力された場合はエッジ強調の補正係数１を、そうでない場合は、エッジ強調しない補正係数２を選択し、歪曲補正部２に出力する。
【００６４】
このように本実施形態の画像処理装置２０は、重複領域３３０にエッジが多い場合、画像のエッジを強調することができるので、レンズ周辺部の歪みが大きくても、歪曲補正後の解像度が下がることを抑制できる。
【００６５】
なお、補正係数は固定値であってもよいし、外部からユーザ等が設定できるようにしてもよい。
【００６６】
図１６は重複領域３３０が複数に分割されたエリアを説明する図の一例である。エッジカウント部４２はこの各エリアごとにエッジ数をカウントし、比較器４４がエッジ強調あり又はなしを選択する。したがって、撮像された画像の特性に合わせた補正係数をエリアごとに選択できる。なお、エリアごとのカウントを実現するため、エッジカウント部４２は符号化データからエリアの区切りを検出するか、又は、１エリア分の符号化データをカウントするごとにカウント数を初期化する。  また、エリアごとにエッジ数をカウントしなくてもよい。例えば動画の場合、エッジカウント部４２は１フレームごとにエッジ数をカウントする。動画において補正係数がフレームごとに切り替わることを防止できる。
【００６７】
＜動作手順＞
図１７は、撮像システム１０が重複領域のエッジを強調する全体的な手順を示すフローチャート図の一例である。なお、図１７は１枚の画像の撮像に関する処理を示す。
【００６８】
ユーザがシャッター・ボタン１４を押下することで、撮像システム１０が２つの部分画像３５０を撮像する（ステップＳ１０）。
【００６９】
次に、圧縮器１，２がそれぞれ２つの部分画像をそれぞれ符号化すると共に符号化データにエッジ情報を付与する（ステップＳ２０）。
【００７０】
次に、伸長器１が２つの部分画像３５０の重複領域３３０をそれぞれ伸長し、歪曲補正部１が歪曲補正パラメータに基づいて歪曲補正する（ステップＳ３０）。この時点では２つの重複領域３３０に共通の歪曲補正パラメータが使用される。
【００７１】
次に、テンプレートマッチング部２５が２つの重複領域３３０をテンプレートマッチングして２つの重複領域３３０のずれを検出する（ステップＳ４０）。
【００７２】
次に、テンプレートマッチング部はずれが抑制されるように歪曲補正パラメータを補正する（ステップＳ５０）。テンプレートマッチング部２５がテンプレートマッチングして検出した２つの重複領域３３０のずれは、２つの部分画像３５０に水平方向のずれがあることを意味するので、例えば、歪曲補正パラメータの水平角度θにズレに相当する分のバイアスを加算又は減算する。
【００７３】
次に、補正係数選択回路２７が符号化データを読み込み、エッジ情報をカウントして補正係数を選択する（ステップＳ６０）。
【００７４】
伸長器２は外部メモリ２６の部分画像１，２を伸長しておく（ステップＳ７０）。
【００７５】
歪曲補正部２は、伸長された部分画像１，２を選択された補正係数と歪曲補正パラメータで歪曲補正する（ステップＳ８０）。エリアごとに補正係数が選択される場合は、エリアごとに補正係数が切り替えられる。
【００７６】
＜比較例との比較＞
図１８は本実施形態の画像処理装置２０との比較のために示した比較用の画像処理装置のブロック図の一例である。図１８を図１４と比較すると、エッジ抽出回路２８が追加になっている。エッジ抽出回路２８はラプラシアンフィルタなど公知の技術でエッジを抽出する回路である。このように図１８の構成では、伸長された画像１，２から改めてエッジを検出するエッジ抽出回路２８が必要になってしまう。
【００７７】
これに対し本実施形態では、圧縮器１，２で生成される符号化データのエッジ情報を利用することで、従来技術で必要とされていたエッジ抽出回路２８を削減できる。したがって、消費電力を抑制でき、また、コストを低減できる。
【００７８】
＜閾値の調整＞
図１４の比較器４４は１つの閾値とエッジのカウント数を比較していたが、閾値を２つ使用することも有効である。
【００７９】
図１９は、エッジのカウント数と２つの閾値の関係を説明する図の一例である。図１９において閾値１，２は以下の役割を有する。
閾値１：「エッジ強調あり」から「エッジ強調なし」に遷移する際の閾値
閾値２：「エッジ強調なし」から「エッジ強調あり」に遷移する際の閾値
エッジのカウント数が閾値１と閾値２の中間値であった場合は、１つ前のエリアと同じ補正係数が選択される。すなわち、直前の判断結果を維持する。なお、エリアごとでなくフレームごとに切り替える場合は、１つ前のフレームと同じ補正係数が選択される。
【００８０】
図１９の例ではエリア番号１からエリア番号４まで閾値２未満のため、エッジ強調なしが選択される。エリア番号５でカウント数が閾値２を超えたので、エリア５はエッジ強調ありの補正係数が選択される。エリア番号６では、閾値１と閾値２の中間値なので、エッジ強調ありの補正係数が選択されたままとなる。エリア番号７は閾値２以上のため、エッジ強調ありのままとなる。エリア番号８で閾値１を下回ったので、エッジ強調なしの補正係数が選択される。エリア番号９、１０は閾値２未満のため、エッジ強調なしが選択されます。
【００８１】
このように閾値が２つ用意されることで、補正係数の判断がハンチングすることが抑制されるので、エッジ強調があるエリアとないエリアが局所的に混在することを抑制できる。したがって、画質の低下を抑制できる。また、動画の場合、補正係数がフレームごとに切り替わることを防止できる
このように、閾値を２つ用意するのでなく、ハードウェアで閾値に重み付けしてもよい。この場合、例えば初期値として閾値２を用意しておき、カウント数が閾値２を超えた場合には閾値２を小さくして閾値１に変更し、カウント数が閾値１を下回ると閾値１を大きくして閾値２に戻す。
【００８２】
例えば、図１９の場合、カウント数がエリア５で閾値２を超えた際に、閾値２に0.9など１未満の値を乗算して図１９の閾値１の値まで下げることで、閾値を２つ持つ場合と同じ効果が得られる。次にエリア８でカウント数が閾値１を下回ると閾値１を閾値２に戻す。
【００８３】
また、初期値として閾値１を用意しておき、カウント数が閾値１を下回った場合には閾値１に１．１など１より大きい値を乗算して図１９の閾値２の値まで大きくし、カウント数が閾値２を超えると閾値２を閾値１に戻してもよい。
【００８４】
また、図１９の閾値１、閾値２は固定値でもよいし、ユーザなどが外部から変更してもよい。また、閾値１と閾値２の差は固定である必要はなく、撮像システム１０ごとに適切な差が設定されてよい。
【００８５】
＜まとめ＞
以上説明したように、本実施形態の撮像システム１０は、圧縮器２２が符号化と共に付加したエッジ情報をカウントして補正係数を変更するので、エッジ抽出回路を不要にできる。したがって、消費電力の増大を抑制して重複領域のエッジを強調し広角レンズの周辺部を高解像度にすることができる。重複領域以外のエッジは強調しないので撮像時に発生するノイズを強調せず、重複領域の画質を向上できる。
【００８６】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００８７】
例えば、本実施形態では、撮像システム１０の周囲の３６０度が撮像可能な全天球画像の撮像について説明したが、撮像される画像は歪曲部を有する広角画像であればよい。例えば、水平方向にのみ１８０°の撮像範囲を有する画像でもよい。また、撮像システム１０が撮像する画像はカラーでもモノクロでもよい。
【００８８】
また、本実施形態では補正係数h(r)を変更することでエッジが強調されていたが、エッジ強調の方法は特に制限されない。例えば、「元画像＋k(元画像-平滑化画像)」でエッジ強調画像を作成できる。ｋは強調の程度を表すので、このｋをエッジ情報のカウント数と閾値との比較結果に応じて変更する。
【００８９】
また、本実施形態では、歪曲補正とエッジの強調が同時又は並行に行われていたが、歪曲補正の後にエッジの強調が行われてもよい。ただし、同時又は並行に行うことで、処理時間が短縮されるという利点がある。
【００９０】
また、本実施形態では重複領域の補正係数を変えたが、重複領域よりやや広い領域（例えば重複領域の１．５〜２倍）の補正係数を変えて解像度を向上させてもよい。
【００９１】
また、本実施形態ではYHH,YHL,YLH のうち１つでも閾値を越えるか否かが判断されているが、YHH,YHL,YLH の全てが閾値を超えた場合にエッジを強調してもよい。この場合、YHH,YHL,YLH のそれぞれで閾値を変更してもよい。また、YHH,YHL,YLH のいずれが閾値を超えるかによりエッジ強調の程度を変更したり、強調するエッジの方向を変更したりしてもよい。
【００９２】
また、YHH,YHL,YLHのうち最も大きいものをいくつかの異なる閾値と比較し、どの閾値を越えたかによってエッジ情報にエッジの強度を含めてもよい。この場合、符号化データの先頭の１ｂｉｔではなく２ｂｉｔをエッジ情報とする。また、エッジ情報の数をカウントする場合は、エッジの強度によって重み付けする。これにより、エッジ情報の数だけでなく強度を考慮して補正係数を変更できる。
【００９３】
撮像システム１０が有する各機能は複数の装置に分散して保持されてもよい。この場合、撮像システム１０の複数の装置は互いに通信して本実施形態の撮像システム１０の機能を実現する。
【００９４】
また、撮像システム１０が行う画像処理を別の情報処理装置が行ってもよい。すなわち、撮像システム１０は２つの部分画像を撮像してネットワーク又は記憶媒体を介してＰＣ（Personal Computer）に送信する。ＰＣは画像処理装置２０と同等の機能をＣＰＵがプログラムを実行することで実現する。したがって、情報処理装置により補正係数を選択して平面展開できる。
【００９５】
なお、特許請求の範囲の情報処理装置は撮像システム１０又は画像処理装置２０の一例であり、圧縮器２２は符号化手段の一例であり、エッジカウント部４２はカウント手段の一例であり、補正係数選択部４５は選択手段の一例であり、重複領域判断部４１は重複領域検出手段の一例であり、歪曲補正部２は補正手段の一例であり、比較器４４は判断手段の一例である。
【符号の説明】
【００９６】
１０        ：撮像システム
２０        ：画像処理装置
２２        ：圧縮器
２３        ：伸長器
２４        ：歪曲補正部
２５        ：テンプレートマッチング部
２７        ：補正係数選択回路
２８        ：エッジ抽出回路
３１        ：ウェーブレット変換部
３２        ：エッジ解析部
３４        ：符号生成部
４１        ：重複領域判断部
４２        ：エッジカウント部
４４        ：比較器
４５        ：補正係数選択部
４６        ：補正係数記憶部
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開2016−053978号公報
【図１】
2018181045.tif 000004
【図２】
2018181045.tif 000005
【図３】
2018181045.tif 000006
【図４】
2018181045.tif 000007
【図５】
2018181045.tif 000008
【図６】
2018181045.tif 000009
【図７】
2018181045.tif 000010
【図８】
2018181045.tif 000011
【図９】
2018181045.tif 000012
【図１０】
2018181045.tif 000013
【図１１】
2018181045.tif 000014
【図１２】
2018181045.tif 000015
【図１３】
2018181045.tif 000016
【図１４】
2018181045.tif 000017
【図１５】
2018181045.tif 000018
【図１６】
2018181045.tif 000019
【図１７】
2018181045.tif 000020
【図１８】
2018181045.tif 000021
【図１９】
2018181045.tif 000022