(57)【要約】【課題】メモリから画像データを読み出して、画像データにおいて光学系で発生する歪みを補正する際に、メモリへのアクセスを効率的に行う。【解決手段】撮像装置は、光学系を介して結像された被写体像を光電変換する撮像素子と、前記撮像素子から読み出される画像信号を処理して画像データを生成する信号処理手段と、前記信号処理された画像データを記憶するメモリと、前記メモリから画像データを読み出して、前記画像データにおいて前記光学系で発生する歪みを補正する歪補正手段と、前記メモリに対する画像データの書き込みおよび読み出しを制御する制御手段と、を備え、前記制御手段は、前記画像データにおける光学中心の画素が前記メモリに対するアクセス単位の先頭のアドレスに記憶されるように前記メモリへの画像データの書き込みを制御する。【選択図】図１
2015053557.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して結像された被写体像を光電変換する撮像素子と、
前記撮像素子から読み出される画像信号を処理して画像データを生成する信号処理手段と、
前記信号処理された画像データを記憶するメモリと、
前記メモリから画像データを読み出して、前記画像データにおいて前記光学系で発生する歪みを補正する歪補正手段と、
前記メモリに対する画像データの書き込みおよび読み出しを制御する制御手段と、を備え、
前記制御手段は、前記画像データにおける光学中心の画素が前記メモリに対するアクセス単位の先頭のアドレスに記憶されるように前記メモリへの画像データの書き込みを制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記画像データにおける光学中心の画素が前記メモリに対してアクセスが可能な最小アクセス単位の先頭のアドレスに記憶されるように前記メモリへの画像データの書き込みを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の動きを検出する検出手段と、
前記検出手段により検出された動きに応じて、前記撮像素子から画像信号を読み出す範囲を制御する読み出し範囲制御手段と、をさらに有し、
前記制御手段は、前記画像信号の読み出し範囲に基づいて、前記読み出し範囲の画像データにおける前記光学中心の画素の位置を検出することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記検出手段はジャイロセンサであり、
前記読み出し範囲制御手段は、前記撮像装置の動きと反対方向に前記撮像素子から画像信号の読み出す範囲を設定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記信号処理手段、前記歪補正手段および前記制御手段は、それぞれの機能を有する回路が一つの半導体チップに組み込まれたシステムＬＳＩとして構成され、
前記制御手段は、前記システムＬＳＩから前記メモリへのアクセスを制御することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
光学系を介して結像された被写体像を光電変換する撮像素子と、前記撮像素子から読み出される画像信号を処理して画像データを生成する信号処理手段と、前記信号処理された画像データを記憶するメモリと、前記メモリから画像データを読み出して、前記画像データにおいて前記光学系で発生する歪を補正する歪補正手段と、前記メモリに対する画像データの書き込みおよび読み出しを制御する制御手段と、を備える撮像装置の制御方法であって、
前記制御手段が、前記画像データにおける光学中心の画素が前記メモリに対するアクセス単位の先頭のアドレスに記憶されるように前記メモリへの画像データの書き込みを制御する工程を有することを特徴とする撮像装置の制御方法。
【請求項７】
コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１ないし５のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系で発生する歪を補正する撮像装置に関する。
【背景技術】
【０００２】
近年、半導体プロセスの微細化に伴い、システム制御用のＣＰＵと画像処理回路を搭載したシステムＬＳＩが開発されており、デジタルスチルカメラやビデオカメラなどの撮像装置でも用いられている。このようなシステムＬＳＩを使用したカメラにおいては、近年、取り扱う画像データのデータ量が増加し、画像処理のためのメモリの帯域も増加している。そのため、メモリへのデータの転送効率を向上させる技術が各種提案されている（例えば、特許文献１参照）。また、光学系による画像の歪みをシステムＬＳＩにより補正する技術も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−００５０８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学系による画像の歪みをシステムＬＳＩにより補正しようとした場合、メモリに対して効率よくアクセスすることが必要である。
【０００５】
本発明は、メモリから画像データを読み出して、画像データにおいて光学系で発生する歪みを補正する際に、メモリへのアクセスを効率的に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、光学系を介して結像された被写体像を光電変換する撮像素子と、前記撮像素子から読み出される画像信号を処理して画像データを生成する信号処理手段と、前記信号処理された画像データを記憶するメモリと、前記メモリから画像データを読み出して、前記画像データにおいて前記光学系で発生する歪みを補正する歪補正手段と、前記メモリに対する画像データの書き込みおよび読み出しを制御する制御手段と、を備え、前記制御手段は、前記画像データにおける光学中心の画素が前記メモリに対するアクセス単位の先頭のアドレスに記憶されるように前記メモリへの画像データの書き込みを制御する。
【発明の効果】
【０００７】
本発明によれば、メモリから画像データを読み出して、画像データにおいて光学系で発生する歪みを補正する際に、メモリへのアクセスを効率的に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の装置構成を示すブロック図。
【図２】画像の光学中心の位置とメモリから読み出す画像との関係を示す図。
【図３】実施形態２の手振れ補正方法を説明する図。
【図４】実施形態２の装置構成を示すブロック図。
【図５】歪の影響による結像位置の変化について説明する図。
【発明を実施するための形態】
【０００９】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１０】
［実施形態１］以下、本発明の撮像装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ（以下、カメラ）に適用した実施形態について説明する。
【００１１】
＜概要の説明＞本実施形態のカメラは、後述する現像処理部１０６、メモリコントローラ１０７、ＣＰＵ１０８、歪補正部１１０、および符号化部１１１が一つの半導体チップに組み込まれたシステムＬＳＩとして構成されている。この場合、システムＬＳＩの各回路からメモリ１０９に対して多数のアクセスがあるため、アクセスの競合が起きる。このため、システムＬＳＩ内部の各回路とメモリコントローラ１０７の間のローカルバスに対してメモリコントローラ１０７とメモリ１０９のメモリバスを広帯域化し、アクセスが競合しても内部の処理が中断しないように構成される。しかし、メモリバスを広帯域とした場合は、最小のアクセス単位がローカルバスに対して大きくなるため、メモリ１０９へのアクセスの仕方によっては帯域を無駄に消費する場合がある。
【００１２】
これに対して、光学系で発生する歪を信号処理で補正する方法がある。以下、図５を参照して、歪の影響による結像位置の変化について説明する。
【００１３】
図５において、点線の矩形５１０は実際の被写体像、実線の矩形５２０は歪の影響を受けて撮像素子に結像された被写体像をそれぞれ示している。点線の矩形５１０で示した被写体像の４隅の画素を、光学中心の画素５００を実線の●、時計周りに点線の○５１１、５１２、５１３で左下、左上、右下の画素を示す。実線の矩形５２０で示した歪の影響を受けた被写体像の画素を実線の○５２１、５２２、５２３で左下、左上、右下の画素示す。ここで、光学中心の画素５００は歪の影響を受けないので同じ位置となる。歪の影響は光学中心からの距離に比例するため、距離が遠い点線の○５１２の画素が最も影響を受ける。また、光学中心に対してＸ軸、Ｙ軸上の画素５１１、５１３は歪の影響を受けてもＸ軸、Ｙ軸上に結像される。
【００１４】
一方、上述したように歪の影響を受けた画像を処理する場合は光学中心の画素のアドレスによって読み出し時のアクセス効率が変化するため、画像を分割して歪補正を行う方法がある。以下、図２を参照して、画像を分割して歪補正を行う方法について説明する。
【００１５】
図２は歪補正を行う画像の光学中心の位置とメモリ１０９から読み出す画像との関係を示しており、光学中心の画素位置を●、メモリ１０９のアクセス単位の境界を点線で示している。図２（ａ）は実際の被写体像であり、説明の便宜のため格子状の模様を付している。図２（ｂ）は歪の影響を受けて撮像素子に結像された被写体像である。歪の影響は光学中心からの距離に比例するので被写体像の４隅が最も影響を受けている。ここで、図２（ａ）に示すように画像を格子状に複数の矩形に分割し、矩形ごとに補正前の画像を歪補正する場合の、メモリ１０９からの画像データの読み出し方法について、光学中心２００を中心とした４つの矩形２０１〜２０４を用いて説明する。図２（ｃ）と図２（ｄ）はそれぞれ、メモリ１０９に記憶された被写体像のデータの記憶位置（アドレス）を示している。図２（ｃ）は、光学中心のデータがメモリ１０９のアクセス単位の境界となるアドレスとは異なるアドレスに記憶された場合の説明図である。メモリ１０９に保持されている画像データは、メモリコントローラ１０７により決められたデータ量（ビット数）のアクセス単位で読み出される。歪補正を行う際には補正に必要な矩形範囲をすべて読み出す必要がある。つまり、矩形２０１、２０３の画像データを読み出すためには、アドレスｘ１からｘ３までの領域にアクセスする必要があり、また、矩形２０２、２０４の画像データを読み出すためには、アドレスｘ２からｘ４までの領域にアクセスする必要がある。
【００１６】
次に、図２（ｄ）を参照して、光学中心のデータがメモリ１０９のアクセス単位の境界となるアドレスに記憶された場合について説明する。図２（ｄ）では、矩形２０１、２０３の画像データを読み出すためには、アドレスｘ１からｘ２までの領域にアクセスし、矩形２０２、２０４の画像データを読み出すためには、アドレスｘ２からｘ３までの領域にアクセスすれば良い。このように、メモリ１０９に対する画像データの記憶アドレスによって、歪み補正を行うために画像データをメモリ１０９から読み出す際のアクセス効率が変化する。
【００１７】
そして、本実施形態では、画像データをメモリ１０９に書き込む際にメモリ１０９のアクセス単位に合わせて画像データを書き込むアドレスを制御することで、読み出し時のアクセス効率の向上を図っている。
【００１８】
＜装置構成＞図１を参照して、本実施形態のカメラの構成及び機能について説明する。
【００１９】
図１において、固定レンズ１０１および絞り１０２を経て入射する被写体の光像は、フォーカスレンズ１０３により焦点距離が調整されて、撮像素子１０４の撮像面に結像される。絞り１０２は、被写体の光像の入射光量を調整する。撮像素子１０４はＣＣＤやＣＭＯＳなどのイメージセンサであり、フォーカスレンズ１０３により結像された被写体像を光電変換する。
【００２０】
ＡＦＥ（アナログフロントエンド）１０５は、撮像素子１０４から出力されるアナログ画素信号から信号レベルを取り出すためのＣＤＳ（相関二重サンプリング）回路、並びにアナログ画素信号をデジタル信号に変換するＡ／Ｄ変換部を含むアナログ信号処理回路である。ＡＦＥ１０５は、レンズの収差を補正したり、撮像素子１０４の欠陥画素信号を補正したり、映像信号を電気的に増幅させる。
【００２１】
ＡＦＥ１０５で処理されたデジタル画像信号は、現像処理部１０６へ出力されてアパーチャ補正、ガンマ補正、及びホワイトバランス補正などの現像処理が施され、生成された画像データはメモリコントローラ１０７に出力される。
【００２２】
ＣＰＵ１０８は、ファームウェアのプログラムなどに従って装置全体の動作を制御する。システム制御用のＣＰＵ１０８は、特に、予め登録されているレンズの歪情報に応じて、歪補正パラメータと光学中心の位置情報をメモリコントローラ１０７と歪補正部１１０へ出力する。
【００２３】
メモリ１０９はＳＤＲＡＭ等の半導体メモリを有し、現像処理部１０６で生成された画像データや、その他のデータを一時的に保持する。メモリ１０９へのアクセスはメモリコントローラ１０７により制御される。歪補正部１１０で歪補正を行うためにメモリコントローラ１０７により画像データの書き込みおよび読み出しが制御される。
【００２４】
メモリコントローラ１０７は、メモリ１０９に対し、所定のデータ量（ビット数）を単位として、データの書き込み及び読み出しを行う。メモリコントローラ１０７は、図２（ｄ）を用いて説明したように、歪補正を行うためにメモリ１０９から読み出す画像データの光学中心の画素２００がメモリ１０９の最小アクセス単位の先頭のアドレスに記憶されるようにメモリ１０９への書き込みアドレスを制御する。
【００２５】
また、１画面の画像データの各画素のデータを、メモリ１０９において、画面内の各画素の位置に対応したアドレスに記憶するように、メモリコントローラ１０７によりメモリ１０９の書き込みアドレスを制御する。
【００２６】
歪補正部１１０は、図２（ａ）に示すように画像を複数の矩形に分割し、矩形ごとに補正後の位置情報と光学中心からの距離に応じて補正に必要な画像領域を算出する。そして、歪補正部１１０は、算出された画像領域のデータが記憶されたメモリ１０９のアドレスを指定し、メモリコントローラ１０７により現像処理が施された歪補正前の画像データを読み出す。
【００２７】
このとき、歪補正部１１０は、図２（ｄ）に示すように、メモリ１０９のアクセス単位に基づいて、算出された画像領域を含む、アクセス単位の先頭のアドレス及び読み出すデータ量（ビット数）を指定してメモリコントローラに送る。
【００２８】
例えば、図２（ｄ）のように画像データがメモリ１０９に記憶されており、画像領域２０１の画像データを読み出す場合、歪補正部１１０は、ｃｏｌｕｍｎアドレスとして、アクセス単位の先頭となるアドレスｘ２を指定し、読み出すデータ量として、ｘ２からｘ３までのビット数を指定する。
【００２９】
歪補正部１１０は、メモリ１０９から読み出された画像データに対し、所定の歪補正パラメータを用いて歪補正処理を実行し、メモリコントローラ１０７を介してメモリ１０９に書き戻す。歪補正後の画像データは、符号化部１１１により符号化処理が施され、記録媒体１１２に書き込まれる。
【００３０】
本実施形態によれば、光学系の歪の影響を受けた画像について、歪補正を行うための画像データの読み出しアドレスが変化しない光学中心の垂直ライン上の画素がメモリのアクセス単位の境界に合うように書き込みアドレスを制御することで、不要な領域からの読み出しを低減し、アクセス効率を向上することができる。
【００３１】
なお、図２（ｄ）では、一つの矩形が一つのアクセス単位の範囲に記憶されているが、一つの矩形が複数のアクセス単位にわたって記憶されることもある。このような場合、歪補正部１１０は、必要な画像領域を含むアクセス単位の先頭のアドレスを指定し、読み出すデータ量として、一つの矩形の画像データに対応したデータ量を指定する。
【００３２】
また、撮影される画像データの１画面の画素数を変更可能な構成とした場合、ＣＰＵ１０８は、ユーザにより設定された画素数に応じて、現像処理部１０６から出力される画像データの画素数を変更する。現像処理部１０６から出力される画像データにおける光学中心の画面端部からの位置（画素数）は、画像データの画素数によって変わる。そのため、ＣＰＵ１０８は、現像処理部１０６から出力される画像データの画素数に応じて、光学中心となる画素の位置を決定し、この光学中心の画素が、メモリ１０９のアクセス単位の先頭アドレスに記憶されるように、メモリコントローラ１０７に指示する。
【００３３】
［実施形態２］次に、図３および図４を参照して、実施形態２として、装置の手振れを検出し、検出された手振れ量に応じて撮像素子からの画像データの読み出しアドレスを制御することで手振れを補正する方法について説明する。
【００３４】
図３は、本実施形態の手振れ補正の概要説明図であり、水平方向と垂直方向の中心位置を点線で示している。
【００３５】
図３（ａ）において、３０１は撮像素子の全撮像領域、３０２は撮像領域のうち実際に読み出しを行う切り出し枠である。３０３は撮影者が撮影している被写体である。
【００３６】
図３（ｂ）は撮影者が黒矢印３０４で示す方向にカメラを揺らしてしまったときのカメラの動きの方向を示している。この場合、被写体３０３は黒矢印３０４とは反対方向の白矢印３０５に移動した状態で撮像素子に結像される。ここで、白矢印３０５の動き量と同じだけ切り出し枠３０２を移動させることで実際に読み出される領域間では動きが打ち消される。しかしながら、撮像素子からの切り出し位置が変化すると、現像処理部１０６に入力される画像信号の光学中心の位置が変化する。
【００３７】
そこで、本実施形態では、撮像素子１０４からの画像信号の切り出し位置から光学中心の位置を算出し、歪補正を行う画像データの光学中心の画素がメモリのアクセス単位の境界に合うように制御する。
【００３８】
図４は、本実施形態の装置構成を示しており、図１の実施形態１の構成と同一の要素には、同一の符号を付して示している。
【００３９】
ジャイロセンサ１１３は、カメラの動きを検出し、ＣＰＵ１０８と読み出し範囲制御部１１４に出力する。読み出し範囲制御部１１４は、カメラの動きと反対方向に切り出し位置を設定し、撮像素子１０４からの画像信号の読み出し範囲を制御する。ＣＰＵ１０８はカメラの動きに基づいて撮像素子１０４から入力される画像信号の光学中心の位置を算出し、メモリコントローラ１０７に出力する。メモリコントローラ１０７は歪補正を行う画像データの光学中心の画素がメモリ１０９の最小アクセス単位の境界に合うように書き込みアドレスを制御する。
【００４０】
本実施形態によれば、撮像素子１０４から画像信号を切り出す位置を制御することで手振れを補正する場合に、画像信号を切り出す位置の変化に応じて光学中心の位置を補正することで、読み出し時のアクセス効率を向上することができる。
【００４１】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015053557.tif 000003
【図２】
2015053557.tif 000004
【図３】
2015053557.tif 000005
【図４】
2015053557.tif 000006
【図５】
2015053557.tif 000007