(57)【要約】【課題】魚眼レンズを使用して高品質な画像を得ることを可能とする画像処理方法及びカメラモジュールを提供すること。【解決手段】実施形態によれば、画像処理方法では、魚眼レンズを用いて被写体からの光を取り込むことにより撮像された被写体像の画像処理を実施する。画像処理方法は、アライメント調整部２２によるアライメント調整と、解像度復元部２４による解像度復元と、の少なくともいずれかを実施する。アライメント調整では、被写体像について、魚眼レンズの個体差に起因するずれの補正を含む座標変換を実施する。解像度復元では、魚眼レンズが備えるレンズ特性を基に被写体像の解像度を復元する。【選択図】図４
2012204856.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズを用いて被写体からの光を取り込むことにより撮像された被写体像の画像処理を実施する画像処理方法であって、
前記被写体像について、前記魚眼レンズの個体差に起因するずれの補正を含む座標変換を実施するアライメント調整と、
前記魚眼レンズが備えるレンズ特性を基にする前記被写体像の解像度復元と、の少なくともいずれかを実施することを特徴とする画像処理方法。
【請求項２】
撮像された前記被写体像をフレームメモリへ格納し、
前記フレームメモリから読み出した前記被写体像について、前記アライメント調整及び前記解像度復元の少なくともいずれかを実施することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記魚眼レンズを用いて前記被写体像を撮像するカメラモジュールの製造工程において、前記アライメント調整のためのアライメント調整用補正係数を算出し、
算出された前記アライメント調整用補正係数を保持し、
保持している前記アライメント調整用補正係数を、前記カメラモジュールによる前記被写体像の撮像のごとに読み出し、前記アライメント調整を実施することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記魚眼レンズを用いて前記被写体像を撮像するカメラモジュールの製造工程において、前記解像度復元のための点像分布関数を算出し、
算出された前記点像分布関数を保持し、
保持している前記点像分布関数を、前記カメラモジュールによる前記被写体像の撮像のごとに読み出し、前記解像度復元を実施することを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項５】
被写体像を撮像する撮像部と、
被写体からの光を前記撮像部へ取り込む撮像光学系と、
前記撮像部における前記被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部と、を有し、
前記撮像光学系は、魚眼レンズを有し、
前記画像処理部は、
前記被写体像について、前記魚眼レンズの個体差に起因するずれの補正を含むアライメント調整を実施するアライメント調整部と、
前記魚眼レンズが備えるレンズ特性を基にする前記被写体像の解像度復元を実施する解像度復元部と、の少なくともいずれかを有することを特徴とするカメラモジュール。
【請求項６】
前記撮像部により撮像された前記被写体像を格納するフレームメモリをさらに有し、
前記画像処理部は、前記フレームメモリから読み出した前記被写体像について、前記アライメント調整部による前記アライメント調整、及び前記解像度復元部による前記解像度復元の少なくともいずれかを実施することを特徴とする請求項５に記載のカメラモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理方法及びカメラモジュールに関する。
【背景技術】
【０００２】
従来、広い画角を実現するために、魚眼レンズを備えるカメラモジュールが使用されている。魚眼レンズは、収差の低減等のために、レンズ単体についての高精度な加工、他の部品との高精度な組み立て等が望まれる。魚眼レンズの製造誤差や取り付け誤差、光学性能等は、画質に大きく影響を及ぼすこととなる。このため、高品質な画像を得るには、カメラモジュールの歩留まり低下や、魚眼レンズの製造誤差及び取り付け誤差の抑制のための製造コストの増大等が課題となっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００４-５３６３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、魚眼レンズを使用して高品質な画像を得ることを可能とする画像処理方法及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画像処理方法では、魚眼レンズを用いて被写体からの光を取り込むことにより撮像された被写体像の画像処理を実施する。画像処理方法は、アライメント調整と、解像度復元と、の少なくともいずれかを実施する。アライメント調整では、被写体像について、魚眼レンズの個体差に起因するずれの補正を含む座標変換を実施する。解像度復元では、魚眼レンズが備えるレンズ特性を基に被写体像の解像度を復元する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図２】図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図３】ＩＳＰの信号処理部による信号処理の手順を説明するフローチャート。
【図４】撮像回路の概略構成を示すブロック図。
【図５】アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャート。
【図６】アライメント調整用チャートの例を示す図。
【図７】解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャート。
【図８】第２の実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図９】ＩＳＰが備える信号処理部の概略構成を示すブロック図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる画像処理方法及びカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図２は、図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【０００９】
デジタルカメラ１は、カメラモジュール２、記憶部３及び表示部４を有する。カメラモジュール２は、被写体像を撮像する。記憶部３は、カメラモジュール２により撮影された画像を格納する。表示部４は、カメラモジュール２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。
【００１０】
カメラモジュール２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、カメラモジュール２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。
【００１１】
カメラモジュール２は、撮像モジュール部５及びイメージシグナルプロセッサ（image  signal  processor；ＩＳＰ）６を有する。撮像モジュール部５は、撮像光学系１１、イメージセンサ１２、撮像回路１３及びＯＴＰ（one  time  programmable  memory）１４を有する。撮像光学系１１は、被写体からの光をイメージセンサ１２へ取り込み、イメージセンサ１２にて被写体像を結像させる。撮像光学系１１は、魚眼レンズを含めて構成されている。イメージセンサ１２は、撮像光学系１１により取り込まれた光を信号電荷に変換する。イメージセンサ１２は、被写体像を撮像する撮像部として機能する。
【００１２】
撮像回路１３は、イメージセンサ１２を駆動し、かつイメージセンサ１２からの画像信号を処理する。撮像回路１３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。ＯＴＰ１４は、画像信号の信号処理のためのパラメータを格納する。
【００１３】
ＩＳＰ６は、カメラモジュールＩ／Ｆ（インターフェース）１５、画像取り込み部１６、信号処理部１７及びドライバＩ／Ｆ（インターフェース）１８を有する。撮像モジュール部５での撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ１５から画像取り込み部１６へ取り込まれる。
【００１４】
信号処理部１７は、画像取り込み部１６へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ１８は、信号処理部１７での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、カメラモジュール２によって撮像された画像を表示する。
【００１５】
図３は、ＩＳＰの信号処理部による信号処理の手順を説明するフローチャートである。カメラモジュール２の信号処理は、ＩＳＰ６の信号処理部１７での処理と、後述する撮像回路１３での処理とに大別される。撮像回路１３及び信号処理部１７は、イメージセンサ１２における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部（画像処理装置）として機能する。
【００１６】
信号処理部１７（図１参照）は、カメラモジュール２での撮像により得られたＲＡＷ画像について、シェーディング補正を実施する（ステップＳ１）。信号処理部１７は、シェーディング補正により、撮像光学系１１（図１参照）の中央部と周辺部との光量差による輝度ムラを補正する。
【００１７】
信号処理部１７は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理部１７は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部１７は、デモザイキングによりカラーのビットマップ画像を合成する。
【００１８】
信号処理部１７は、カラー画像に対して、ホワイトバランスの自動調整（automatic  white  balance  control；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理部１７は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。
【００１９】
なお、本実施形態で説明するＩＳＰ６における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。各処理は、カメラモジュール２及びＩＳＰ６とのいずれで実施することとしても良く、分担して実施することとしても良い。
【００２０】
図４は、撮像回路の概略構成を示すブロック図である。撮像回路１３は、フレームメモリ２１、アライメント調整部２２、ノイズリダクション部２３、解像度復元部２４、クロップ部２５及びスケーリング部２６を有する。
【００２１】
フレームメモリ２１は、イメージセンサ１２での撮像により得られた被写体像を一時格納する。魚眼レンズを使用して得られる被写体像は、周辺部ほど像が縮むような歪曲が生じる。アライメント調整部２２は、魚眼レンズに特有の大きく歪んだ座標軸を正方格子状に戻すための座標変換と、魚眼レンズの個体差に起因するずれを補正するための座標変換とを同時に実施する。かかるアライメント調整のための処理には、被写体像のうち、他の画像処理より比較的広範囲における画像データを要することとなる。このため、撮像回路１３は、ラインメモリ等より大容量のフレームメモリ２１を採用している。
【００２２】
魚眼レンズの個体差とは、例えば、魚眼レンズの製造誤差や、カメラモジュール２における魚眼レンズの取り付け誤差等、魚眼レンズごとに生じ得る差であるものとする。アライメント調整部２２は、ＯＴＰ１４に予め格納されているアライメント調整用補正係数を用いて、被写体像の座標変換を実施する。なお、アライメント調整部２２は、魚眼レンズの個体差に起因するずれを少なくとも補正するものであれば良く、魚眼レンズに特有の歪みを戻すための座標変換を適宜省略しても良い。
【００２３】
ノイズリダクション部２３は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを被写体像から除去する。解像度復元部２４は、魚眼レンズが備えるレンズ特性、例えば、倍率色収差、軸上色収差、ぼけ量等を基に、被写体像の解像度復元を実施する。レンズ特性としては、例えば、点像分布関数（point  spread  function；ＰＳＦ）を用いる。ＰＳＦは、例えば、最小二乗法等の方法を用いて推測する。
【００２４】
解像度復元部２４は、例えば、ＰＳＦのデコンボルーション行列を乗算することで、ぼけが低減された像を復元する。ＰＳＦのデコンボルーション行列は、ＯＴＰ１４に予め格納されている。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部２４は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。解像度復元部２４は、特に、魚眼レンズの使用により被写体像の周辺部で悪化している解像度を、効果的に補正するために有用である。
【００２５】
クロップ部２５は、所望の倍率に応じて被写体像を切り出すクロップ処理を実施する。スケーリング部２６は、所望の出力サイズに応じて被写体像のスケーリング処理を実施する。
【００２６】
図５は、アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャートである。アライメント調整用補正係数の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ１１では、アライメント調整用チャートを配置し、カメラモジュール２によりアライメント調整用チャートを撮影する。
【００２７】
図６は、アライメント調整用チャートの例を示す図である。アライメント調整用チャート５０には、複数の調整用マーカー５１が記されている。調整用マーカー５１は、例えば、縦方向に５個、横方向に５個のマトリクス状に配列している。アライメント調整用チャート５０内の調整用マーカー５１の数は、適宜変更しても良い。
【００２８】
調整用マーカー５１は、例えば、黒塗りされた二つの正方形の角同士を合わせたマークであって、角同士を合わせた位置を調整用マーカー５１の座標とする。調整用マーカー５１は、調整用チャート５０上の位置を特定可能であれば良く、いずれの形状であっても良い。さらに、調整用マーカー５１の配置は、適宜変更しても良い。例えば、特に高精細な撮影を望む範囲が存在するような場合は、その範囲に多くの調整用マーカー５１を配置することとしても良い。
【００２９】
ステップＳ１２では、得られた被写体像を基に、Ｒ、Ｇ、ＢのうちＧの信号からなる画像（適宜、「Ｇ画像」と称する）を生成する。イメージセンサ１２のうち、Ｒ用画素及びＢ用画素については、周囲のＧ用画素の信号値を補間することにより、Ｇの信号値を生成する。なお、低照度での撮影の場合やイメージセンサ１２の感度が低い場合は、ノイズリダクションの実施後にＧ画像を生成しても良い。
【００３０】
ステップＳ１３では、ステップＳ１２で生成したＧ画像から、各調整用マーカー５１の座標を算出する。ステップＳ１４では、ステップＳ１３で算出した調整用マーカー５１の座標から、アライメント調整用補正係数を算出する。ステップＳ１５では、ステップＳ１４で算出したアライメント調整用補正係数を、ＯＴＰ１４へ書き込む。
【００３１】
アライメント調整用補正係数は、行列演算の係数とする。アライメント調整用補正係数は、例えば最小二乗法により、以下に示す式により求められる。
Ｙ＝ｋＸ
ｋ＝ＹＸｔ［ＸＸｔ］−１
【００３２】
なお、ｋはアライメント調整用補正係数、ＹはステップＳ１３において算出した調整用マーカー５１の座標、Ｘは予め標準として設定されている座標とする。Ｘｔは、Ｘの転置行列とする。［ＸＸｔ］−１は、ＸＸｔの逆行列とする。アライメント調整用補正係数は、最小二乗法により求める他、非線形最適化手法等、他のアルゴリズムを使用して求めることとしても良い。
【００３３】
アライメント調整部２２は、カメラモジュール２による撮影のごとに、ＯＴＰ１４からアライメント調整用補正係数を読み出す。また、アライメント調整部２２は、イメージセンサ１２で得られたＲＡＷ画像に対して、ＯＴＰ１４から読み出したアライメント調整用補正係数を用いた座標変換を実施する。
【００３４】
アライメント調整部２１は、例えば、以下に示す演算により、座標変換を実施する。なお、ｋｉｊはアライメント調整用補正係数、（ｘ，ｙ）は補正前の座標、（ｘ’，ｙ’）は補正後の座標とする。
【００３５】
【数１】
2012204856.tif 000003
【００３６】
カメラモジュール２は、アライメント調整部２２での座標変換により、魚眼レンズの製造誤差や取り付け誤差に起因する被写体像のずれを抑制させることが可能となる。なお、アライメント調整部２２は、行列演算により一括して座標変換を実施する他、像高に応じて適宜変更されたアライメント調整用補正係数を用いた演算により、一部ずつの座標変換を実施しても良い。なお、像高とは、レンズの光軸に対して垂直な垂直軸を想定した場合に、当該垂直軸と光軸との交点から当該垂直軸に沿った距離とする。
【００３７】
また、アライメント調整部２２は、行列演算に代えて、例えば、ルックアップテーブルの参照による座標変換を行うこととしても良い。アライメント調整用補正係数は、ＲＡＷ画像からのＧ画像の生成を経て算出する場合に限られない。アライメント調整用補正係数は、例えば、カラーのビットマップ画像から抽出されたＧ画像を基にして算出しても良い。
【００３８】
図７は、解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャートである。デコンボルーション行列の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ２１では、カメラモジュール２により検査用チャートを撮影し、撮影により取得された撮影データを演算することにより、ＰＳＦデータを取得する。ＰＳＦデータは、例えば、ぼけが生じていない標準像を仮定し、標準像に対する観察像のぼけの程度を計測することにより求められる。検査用チャートは、イメージセンサ１２の結像面を例えば３行３列の９領域に仮想的に分割するものであって、複数の点像からなる点像チャートとする。
【００３９】
ステップＳ２２では、ステップＳ２１で取得したＰＳＦデータを基に、像高ごとのデコンボルーション行列を算出する。ステップＳ２３では、ステップＳ２２で算出したデコンボルーション行列を、ＯＴＰ１４へ書き込む。解像度復元部２４は、カメラモジュール２による撮影のごとに、ＯＴＰ１４からデコンボルーション行列を読み出し、被写体像のＲＡＷデータに乗算する。
【００４０】
デコンボルーション行列の乗算による解像度復元の手法は、観察像が、真の像と、像の劣化の原因であるＰＳＦ関数のコンボルーションにより表現可能であるという理論に基づいている。カメラモジュール２は、解像度復元部２４でのデコンボルーション行列の乗算により、魚眼レンズのレンズ特性に起因する被写体像のぼけを抑制させることができる。解像度復元部２４は、行列演算に代えて、例えば、ルックアップテーブルの参照によるデータ変換を行うこととしても良い。
【００４１】
カメラモジュール２は、アライメント調整部２２及び解像度復元部２４を備えることで、魚眼レンズの製造誤差や取り付け誤差、光学性能等の画質への影響を抑制させる。これにより、カメラモジュール２は、魚眼レンズを使用して、広角かつ高品質な画像を得ることが可能となる。
【００４２】
カメラモジュール２は、アライメント調整部２２及び解像度復元部２４の双方を備えるものに限られない。カメラモジュール２は、アライメント調整部２２及び解像度復元部２４の少なくとも一方を備えるものであれば良い。これにより、カメラモジュール２は、魚眼レンズの個体差、光学性能等の少なくともいずれかの影響を抑制させ、良好な画質を得ることができる。
【００４３】
なお、本実施形態で説明する撮像回路１３における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、処理の順序の変更などを適宜しても良い。
【００４４】
（第２の実施形態）
図８は、第２の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図９は、ＩＳＰが備える信号処理部の概略構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００４５】
カメラモジュール３０は、撮像モジュール部３１及びＩＳＰ３２を有する。撮像モジュール部３１は、撮像光学系１１、イメージセンサ１２、撮像回路３３及びＯＴＰ１４を有する。
【００４６】
撮像回路３３は、イメージセンサ１２を駆動し、かつイメージセンサ１２からの画像信号を処理する。撮像回路３３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。
【００４７】
ＩＳＰ３２は、カメラモジュールＩ／Ｆ１５、画像取り込み部１６、信号処理部３４及びドライバＩ／Ｆ１８を有する。信号処理部３４は、画像取り込み部１６へ取り込まれたＲＡＷ画像について、図３に示す各処理の他、第１の実施形態における撮像回路１３（図４参照）と同様の処理を実施する。
【００４８】
信号処理部３４は、フレームメモリ２１、アライメント調整部２２、ノイズリダクション部２３、解像度復元部２４、クロップ部２５及びスケーリング部２６を有する。アライメント調整部２２は、撮像モジュール部３１のＯＴＰ１４からアライメント調整用補正係数を読み出し、ＲＡＷ画像あるいはビットマップ画像に対して座標変換を実施する。解像度復元部２４は、撮像モジュール部３１のＯＴＰ１４からデコンボルーション行列を読み出し、被写体像のＲＡＷデータあるいはビットマップデータに乗算する。
【００４９】
本実施形態の場合も、第１の実施形態と同様、カメラモジュール３０は、魚眼レンズを使用して、広角かつ高品質な画像を得ることが可能となる。第１及び第２の実施形態で説明する信号処理は、撮像回路１３、３３及び信号処理部１７、３４のいずれで実施することとしても良く、双方で分担して実施することとしても良い。撮像回路１３、３３及び信号処理部１７、３４における信号処理の分担は、例えば、それぞれの回路規模の制約等に応じて適宜決定しても良い。第１及び第２の実施形態にかかるカメラモジュール２、３０は、デジタルカメラ１以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【００５０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５１】
２、３０  カメラモジュール、１１  撮像光学系、１２  イメージセンサ、１３、３３  撮像回路、１７、３４  信号処理部、２２  アライメント調整部、２４  解像度復元部。
【図１】
2012204856.tif 000004
【図２】
2012204856.tif 000005
【図３】
2012204856.tif 000006
【図４】
2012204856.tif 000007
【図５】
2012204856.tif 000008
【図６】
2012204856.tif 000009
【図７】
2012204856.tif 000010
【図８】
2012204856.tif 000011
【図９】
2012204856.tif 000012