(57)【要約】【課題】ローリングシャッター現象が生じた画像を確実に補正すること。【解決手段】撮像信号処理装置１０において、画素アレイ部１１１は、各ラインが複数の第１画素と、それら複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成され、走査部１１２は、１フレーム内において、画素アレイ部１１１から第１画素の撮像信号を各ラインに沿って複数のラインにおいて最初のラインから最後のラインに向かう方向または最後のラインから最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、画素アレイ部１１１から第２画素の撮像信号を各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う。【選択図】図１
2014072779.tif 000002
【特許請求の範囲】
【請求項１】
各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部と、
１フレーム内において、前記画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う走査部と、
読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する合成部と、
を具備する撮像信号処理装置。
【請求項２】
前記複数の第１画素は各ラインにおける奇数番目の画素であり、前記複数の第２画素は各ラインにおける偶数番目の画素である、
請求項１に記載の撮像信号処理装置。
【請求項３】
前記走査部は、さらに、前記第１の走査及び前記第２の走査のうち、一方の走査を前記各ラインの前方から後方に向かって行う一方で、他方の走査を前記各ラインの前記後方から前記前方に向かって行う、
請求項１または２に記載の撮像信号処理装置。
【請求項４】
１フレーム内において、各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行い、
読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する、
撮像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号処理装置及び撮像信号処理方法に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサ（Charge  Coupled  Device  Image  sensor）と比較して、製造工程が簡単で大量生産が可能なため安価であり、また、素子が小さいため消費電力が少ない等の特徴を持つＣＭＯＳイメージセンサ（Complementary  Metal  Oxide  Semiconductor  Image  Sensor）が注目されている。
【０００３】
ＣＭＯＳイメージセンサでは、一般的に、走査ラインごとに順次シャッターを切るローリングシャッター方式により撮像信号の読み出しが行われる。ローリングシャッター方式を用いて１フレーム内の全画素の撮像信号を読み出す場合、画素アレイの最上段のラインから画素アレイの最下段のラインに向かって１ラインごとに順に信号を読み出す。このため、読み出し開始時点と読み出し終了時点との間に時間差が生じ、画面の上部と下部とで露光タイミングが異なってしまう。この結果、ＣＭＯＳイメージセンサを搭載したカメラを用いて動いている被写体を撮影すると、撮影した画像において被写体が斜めに歪んでしまうローリングシャッター現象が発生する。ローリングシャッター現象は、フォーカルプレーン現象と呼ばれることもある。
【０００４】
ここで、連続して取得した２枚の画像を合成することにより、ローリングシャッター現象が生じた画像を補正する従来技術がある。この従来技術では、１枚目の画像と２枚目の画像との間で走査方向を互いに異ならせることにより歪みが生じる方向を互いに異ならせる。そして、歪みの方向が互いに異なる１枚目の画像と２枚目の画像とを合成することにより、撮影した画像において動いている被写体の歪みを補正する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−００４０６８号公報
【特許文献２】特開２０１０−１５４３９０号公報
【特許文献３】特開２００６−１４８８６１号公報
【特許文献４】特開２００６−０３３３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術では、歪みを補正するために、連続して取得した２枚の画像を使用する。しかし、使用する２枚の画像間には撮影タイミングの時間差がある。このため、２枚の画像間に歪みを補正しきれないほどの差が生じる可能性がある。よって、上記従来技術では、ローリングシャッター現象が生じた画像を補正することができない可能性がある。
【０００７】
開示の技術は、上記に鑑みてなされたものであって、ローリングシャッター現象が生じた画像を確実に補正することを目的とする。
【課題を解決するための手段】
【０００８】
開示の態様の撮像信号処理装置は、各ラインが複数の第１画素と、前記複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される画素アレイ部と、１フレーム内において、前記画素アレイ部から前記第１画素の撮像信号を前記各ラインに沿って前記複数のラインにおいて最初のラインから最後のラインに向かう方向または前記最後のラインから前記最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、前記画素アレイ部から前記第２画素の撮像信号を前記各ラインに沿って他方の方向に読み出す第２の走査とを交互に行う走査部と、読み出された前記第１画素の撮像信号と、読み出された前記第２画素の撮像信号とを合成する合成部と、を具備する。
【発明の効果】
【０００９】
開示の態様によれば、ローリングシャッター現象が生じた画像を確実に補正することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１の撮像信号処理装置の一例を示すブロック図である。
【図２】図２は、実施例１の走査部の処理の説明に供する図（奇数番目の画素）である。
【図３】図３は、実施例１の走査部の処理の説明に供する図（偶数番目の画素）である。
【図４】図４は、実施例１の走査部の処理のイメージ図である。
【図５】図５は、実施例１の撮像信号処理装置の動作の説明に供するフローチャートである。
【図６】図６は、実施例１の合成部の処理のイメージ図である。
【図７】図７は、実施例１の合成部の処理の説明に供するフローチャートである。
【図８】図８は、実施例１の合成部の処理の説明に供する図である。
【図９】図９は、実施例２の走査部の処理の説明に供する図（偶数番目の画素）である。
【図１０】図１０は、実施例２の走査部の処理のイメージ図である。
【図１１】図１１は、実施例２の撮像信号処理装置の動作の説明に供するフローチャートである。
【図１２】図１２は、実施例２の合成部の処理のイメージ図である。
【図１３】図１３は、実施例２の合成部の処理の説明に供する図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示する撮像信号処理装置及び撮像信号処理方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する撮像信号処理装置及び撮像信号処理方法が限定されるものではない。また、各実施例において同一の機能を有する構成には同一の符号を付し、重複する説明は省略される。また、各実施例において同一の処理には同一の符号を付し、重複する説明は省略される。
【００１２】
［実施例１］
＜撮像信号処理装置の構成＞
図１は、実施例１の撮像信号処理装置の一例を示すブロック図である。図１において、撮像信号処理装置１０は、撮像センサ１１と、制御部１２と、第１メモリ１３と、第２メモリ１４と、合成部１５と、第３メモリ１６とを有する。また、撮像センサ１１は、画素アレイ部１１１と、走査部１１２と、転送部１１３とを有する。また、画素アレイ部１１１は、２次元状（マトリクス状）に配置された複数の画素により構成される。図１では、一例として、画素アレイ部１１１が、２０画素×１５ラインの３００画素で構成される場合を示す。
【００１３】
走査部１１２は、制御部１２の制御に従って画素アレイ部１１１を走査し、画素アレイ部１１１の各画素の撮像信号を１ラインずつ並列に転送部１１３に読み出す。
【００１４】
転送部１１３は、画素アレイ部１１１から並列に読み出された撮像信号を直列に変換し、直列の撮像信号を第１メモリ１３または第２メモリ１４に転送する。また、転送部１１３は、１ライン毎の転送が完了する度に、転送が完了したことを示す信号（以下では「転送完了信号」と呼ばれることがある）を制御部１２に出力する。
【００１５】
第１メモリ１３及び第２メモリ１４はそれぞれ、転送部１１３から転送された撮像信号を記憶する。
【００１６】
制御部１２は、転送部１１３から転送完了信号が入力される度に、走査ラインを変更することを指示する信号（以下では「走査ライン制御信号」と呼ばれることがある）を走査部１１２に出力する。走査部１１２は、制御部１２から走査ライン制御信号が入力される度に、走査ラインを変更して画素アレイ部１１１から撮像信号を読み出す。
【００１７】
また、制御部１２は、画素アレイ部１１１の全ライン分の転送完了信号が転送部１１３から入力されたとき、すなわち、画素アレイ部１１１の全ラインの画素の撮像信号が第１メモリ１３及び第２メモリ１４に転送されたときに、合成画像の生成を指示する信号（以下では「合成指示信号」と呼ばれることがある）を合成部１５に出力する。
【００１８】
合成部１５は、制御部１２から入力される合成指示信号に従って第１メモリ１３及び第２メモリ１４から撮像信号を取得し、第１メモリ１３から取得した撮像信号と第２メモリ１４から取得した撮像信号とを合成して合成画像を生成する。合成部１５は、生成した合成画像を第３メモリ１６に出力する。
【００１９】
第３メモリ１６は、合成部１５から入力された合成画像を記憶する。
【００２０】
ここで、撮像センサ１１は、例えばＣＭＯＳイメージセンサにより実現される。また、制御部１２及び合成部１５は、例えばＩＳＰ（Imaging  Signal  Processor）により実現される。また、第１メモリ１３、第２メモリ１４、及び、第３メモリ１６は、例えば、ＳＤＲＡＭ等のＲＡＭ、ＲＯＭ、フラッシュメモリにより構成される。なお、図１では、第１メモリ１３と、第２メモリ１４と、第３メモリ１６とを物理的に異なる複数のメモリとして示した。しかし、第１メモリ１３と、第２メモリ１４と、第３メモリ１６とは１つのメモリにより実現されてもよい。１つのメモリにより複数のメモリを実現する場合、１つのメモリの領域を複数の領域に分割して用いればよい。
【００２１】
＜走査部の処理＞
図２は、実施例１の走査部の処理の説明に供する図（奇数番目の画素）である。図３は、実施例１の走査部の処理の説明に供する図（偶数番目の画素）である。図２及び図３では、一例として、画素アレイ部１１１が、２０画素×１５ラインの３００画素で構成される場合を示す。
【００２２】
図２及び図３に示すように、画素アレイ部１１１は、各ラインが奇数番目の１０個の画素と偶数番目の１０個の画素とを有するライン１〜１５の複数のラインで構成される。
【００２３】
まず、走査部１１２は、図２に示すように、画素アレイ部１１１のライン１に沿って１番目の画素から順に、すなわち、ライン１の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１の奇数番目の画素の撮像信号を第１メモリ１３に転送する。
【００２４】
次いで、走査部１１２は、図３に示すように、画素アレイ部１１１のライン１５に沿って２番目の画素から順に、すなわち、ライン１５の前方から後方に向かって、２番目の画素，４番目の画素，６番目の画素，８番目の画素，１０番目の画素，１２番目の画素，１４番目の画素，１６番目の画素，１８番目の画素，２０番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１５の偶数番目の画素の撮像信号を第２メモリ１４に転送する。
【００２５】
次いで、走査部１１２は、図２に示すように、画素アレイ部１１１のライン２に沿って１番目の画素から順に、すなわち、ライン２の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン２の奇数番目の画素の撮像信号を第１メモリ１３に転送する。
【００２６】
次いで、走査部１１２は、図３に示すように、画素アレイ部１１１のライン１４に沿って２番目の画素から順に、すなわち、ライン１４の前方から後方に向かって、２番目の画素，４番目の画素，６番目の画素，８番目の画素，１０番目の画素，１２番目の画素，１４番目の画素，１６番目の画素，１８番目の画素，２０番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１４の偶数番目の画素の撮像信号を第２メモリ１４に転送する。
【００２７】
以降、走査部１１２は、１フレーム内において、奇数番目の画素の撮像信号を各ラインに沿って読み出す走査（以下では「第１の走査」と呼ばれることがある）（図２）と、偶数番目の画素の撮像信号を各ラインに沿って読み出す走査（以下では「第２の走査」と呼ばれることがある）（図３）とを交互に繰り返す。
【００２８】
つまり、走査部１１２は、１フレーム内において、図２に示すようにライン１→ライン１５の順に奇数番目の画素の走査を行う一方で、図３に示すようにライン１５→ライン１の順に偶数番目の画素の走査を行う。また、走査部１１２は、１フレーム内において、奇数番目の画素の走査（図２）と、偶数番目の画素の走査（図３）とを交互に行う。
【００２９】
よって、第１メモリ１３には、奇数番目の画素の撮像信号がライン１→ライン１５の順に記憶される。一方で、第２メモリ１４には、偶数番目の画素の撮像信号がライン１５→ライン１の順に記憶される。
【００３０】
なお、上記説明では、第１の走査をライン１→ライン１５の順に行う一方で、第２の走査をライン１５→ライン１の順に行った。しかし、第１の走査をライン１５→ライン１の順に行う一方で、第２の走査をライン１→ライン１５の順に行ってもよい。また、上記説明では、第１の走査及び第２の走査を水平ライン毎に行った。しかし、第１の走査及び第２の走査を垂直ライン毎に行ってもよい。つまり、実施例１では、１フレーム内において、第１の走査及び第２の走査のうち、一方の走査を最初のラインから最後のラインに向かう方向に行う一方で、他方の走査を最後のラインから最初のラインに向かう方向に行う。
【００３１】
また、上記説明では、奇数番目の画素の撮像信号を各ラインに沿って読み出す走査を第１の走査とし、偶数番目の画素の撮像信号を各ラインに沿って読み出す走査を第２の走査とした。しかし、第１の走査は奇数番目の画素を対象としたものに限られない。同様に、第２の走査は偶数番目の画素を対象としたものに限られない。具体的には、例えば、第１の走査を、１番目の画素，２番目の画素，５番目の画素，６番目の画素，９番目の画素，１０番目の画素，１３番目の画素，１４番目の画素，１７番目の画素，１８番目の画素を対象にして行う一方で、第２の走査を、３番目の画素，４番目の画素，７番目の画素，８番目の画素，１１番目の画素，１２番目の画素，１５番目の画素，１６番目の画素，１９番目の画素，２０番目の画素を対象にして行ってもよい。つまり、第１の走査を１番目の画素から順に２画素おきに行う一方で、第２の走査を３番目の画素から順に２画素おきに行ってもよい。また、第１の走査及び第２の走査を行う画素の間隔は２画素に限定されず、３画素以上であってもよい。さらに、第１の走査の画素の間隔と、第２の走査の画素の間隔とは同一でなくてもよい。つまり、実施例１では、第１の走査の対象となる複数の画素に挟まれた画素が、第２の走査の対象となる画素に含まれていればよい。
【００３２】
但し、上記のように、第１の走査の対象となる画素を奇数番目の画素とし、第２の走査の対象となる画素を偶数番目の画素とすることにより、第１の走査と第２の走査との間において画素の間隔を最小にできるため、歪みの補正を精度良く行うことができる。
【００３３】
図４は、実施例１の走査部の処理のイメージ図である。
【００３４】
例えば撮像範囲３０内を左から右に向かって動いている被写体３０−１が撮影されると、走査部１１２は第１の走査をライン１→ライン１５の順に行うため、第１の走査により取得される画像３１は、歪んだ被写体の画像３１−１を含む画像となる。画像３１−１は、被写体３０−１に比べ、幅の広い画像となる。画像３１は、第１メモリ１３に記憶される。
【００３５】
一方で、走査部１１２は第２の走査をライン１５→ライン１の順に行うため、同一の被写体３０−１の撮影時に、第２の走査により取得される画像３２は、画像３０と上下が１８０°回転した画像となる。また、画像３２は、歪んだ被写体の画像３２−１を含む画像となる。画像３２−１は、被写体３０−１に比べ、幅の広い画像となる。画像３２は、第２メモリ１４に記憶される。
【００３６】
＜撮像信号処理装置の動作＞
図５は、実施例１の撮像信号処理装置の動作の説明に供するフローチャートである。図５では、画素アレイ部１１１が、１〜ｎのｎラインで構成される場合を示す。
【００３７】
まず、走査部１１２は、ｌｏｄｄ＝１，ｌｅｖｅｎ＝ｎにセットする（ステップＳ２１）。
【００３８】
次いで、走査部１１２は、ラインｌｏｄｄの奇数番目の画素の撮像信号を、ラインｌｏｄｄの左から順に、すなわち、ラインｌｏｄｄの前方から後方に向かって、１ライン分転送部１１３に読み出す（ステップＳ２２）。
【００３９】
次いで、転送部１１３は、ラインｌｏｄｄの奇数番目の画素の撮像信号を第１メモリ１３に転送して格納する（ステップＳ２３）。このとき、転送部１１３は、転送完了信号を制御部１２に出力する。
【００４０】
次いで、走査部１１２は、ラインｌｅｖｅｎの偶数番目の画素の撮像信号を、ラインｌｅｖｅｎの左から順に、すなわち、ラインｌｅｖｅｎの前方から後方に向かって、１ライン分転送部１１３に読み出す（ステップＳ２４）。
【００４１】
次いで、転送部１１３は、ラインｌｅｖｅｎの偶数番目の画素の撮像信号を第２メモリ１４に転送して格納する（ステップＳ２５）。このとき、転送部１１３は、転送完了信号を制御部１２に出力する。
【００４２】
次いで、制御部１２は、１フレーム内の全画素の撮像信号が読み出されたか否か判定する（ステップＳ２６）。制御部１２は、転送部１１３からの転送完了信号の入力回数がｎ×２回未満であるときは、全画素の読み出しが完了していないと判定し、走査ライン制御信号を走査部１１２に出力する（ステップＳ２６：Ｎｏ）。一方で、制御部１２は、転送部１１３からの転送完了信号の入力回数がｎ×２回に達したときは、全画素の読み出しが完了したと判定し、合成指示信号を合成部１５に出力する（ステップＳ２６：Ｙｅｓ）。
【００４３】
ステップＳ２６がＮｏのとき、走査部１１２は、制御部１２から入力される走査ライン制御信号に従って、ｌｏｄｄ及びｌｅｖｅｎをｌｏｄｄ＝ｌｏｄｄ＋１，ｌｅｖｅｎ＝ｌｅｖｅｎ−１に更新して（ステップＳ２７）、ステップＳ２２に戻る。
【００４４】
ステップＳ２６がＹｅｓのとき、合成部１５は、制御部１２から入力される合成指示信号に従って、画像の合成処理を行う（ステップＳ２８）。
【００４５】
＜合成部の処理＞
図６は、実施例１の合成部の処理のイメージ図である。
【００４６】
第１メモリ１３には画像３１が記憶されている。画像３１は、画素アレイ部１１１の各ラインの奇数番目の画素の撮像信号により構成される画像である。また、第２メモリ１４には画像３２が記憶されている。画像３２は、画素アレイ部１１１の各ラインの偶数番目の画素の撮像信号により構成される画像である。
【００４７】
合成部１５は、制御部１２から入力される合成指示信号に従って、第１メモリ１３から画像３１を取得し、第２メモリ１４から画像３２を取得する。合成部１５内に取得された画像３１に含まれる歪んだ画像３１−１を画像３１−２として示し、合成部１５内に取得された画像３２に含まれる歪んだ画像３２−１を１８０°回転させたものを画像３２−２として示す。
【００４８】
合成部１５は、画像３１−２と画像３２−２とを合成して合成画像３３−１を生成する。すなわち、合成部１５は、第１の走査により画素アレイ部１１１から読み出された奇数番目の画素の撮像信号と、第２の走査により画素アレイ部１１１から読み出された偶数番目の画素の撮像信号とを合成する。この結果、合成画像３３−１は、歪みが補正された画像となる。合成画像３３−１を含む画像３３は、第３メモリ１６に記憶される。
【００４９】
図７は、実施例１の合成部の処理の説明に供するフローチャートである。図７に示す一連の処理は、図５に示すステップＳ２８の合成処理に対応する。
【００５０】
合成部１５は、ステップＳ４２〜ステップＳ４８の処理を、ライン１の１番目の画素からライン１５の２０番目の画素まで、１画素ずつ順に、１フレーム内のすべての画素を対象として行う。
【００５１】
まず、合成部１５は、第２メモリ１４から取得した画像、すなわち、画像３２を１８０°回転させる（ステップＳ４１）。
【００５２】
次いで、合成部１５は、画像間での差分Ａを算出する（ステップＳ４２）。すなわち、合成部１５は、画像３１と画像３２を１８０°回転させた画像との間で、互いに同一位置にある画素同士を比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ａを求める。例えば、合成部１５は、差分Ａを、輝度の差分と色度の差分の平均値として求める。
【００５３】
次いで、合成部１５は、差分Ａが閾値ＴｈＡ未満か否か判定する（ステップＳ４３）。
【００５４】
合成部１５は、差分Ａが閾値ＴｈＡ未満のとき（ステップＳ４３：Ｙｅｓ）、その位置の画素を静止部画素と判断し、その画素の位置に、静止部画素であることを示す判定フラグ＝０をセットする（ステップＳ４４）。
【００５５】
一方で、合成部１５は、差分Ａが閾値ＴｈＡ以上のとき（ステップＳ４３：Ｎｏ）、同一画像内での差分Ｂを算出する（ステップＳ４５）。すなわち、合成部１５は、画像３１内において、ステップＳ４２で比較対象となった画素と、その画素に隣接する上下左右４つの画素とを比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ｂを求める。同様に、合成部１５は、画像３２を１８０°回転させた画像内において、ステップＳ４２で比較対象となった画素と、その画素に隣接する上下左右４つの画素とを比較し、画素間の輝度の差分及び画素間の色度の差分からなる差分Ｂを求める。例えば、合成部１５は、差分Ｂを、輝度の差分と色度の差分の平均値として求める。
【００５６】
次いで、合成部１５は、画像３１及び画像３２を１８０°回転させた画像それぞれでの差分Ｂが閾値ＴｈＢ未満か否か判定する（ステップＳ４６）。
【００５７】
合成部１５は、差分Ｂが閾値ＴｈＢ未満のとき（ステップＳ４６：Ｙｅｓ）、その位置の画素を静止部画素と判断し、その画素の位置に、静止部画素であることを示す判定フラグ＝０をセットする（ステップＳ４４）。
【００５８】
一方で、合成部１５は、差分Ｂが閾値ＴｈＢ以上のとき（ステップＳ４６：Ｎｏ）、その位置の画素を動作部画素と判断し、その画素の位置に、動作部画素であることを示す判定フラグ＝１をセットする（ステップＳ４７）。
【００５９】
次いで、合成部１５は、１フレーム内の全画素を比較したか否か判定する（ステップＳ４８）。
【００６０】
１フレーム内の全画素の比較が完了していないときは（ステップＳ４８：Ｎｏ）、合成部１５の処理は、ステップＳ４２に戻る。
【００６１】
ステップＳ４２〜ステップＳ４８の一連の処理が１フレーム内の全画素に対して行われることにより、画像３１内において歪んだ画像３１−２が存在する位置、及び、画像３２を１８０°回転させた画像内において歪んだ画像３２−２が存在する位置にそれぞれ判定フラグ＝１がセットされる。また、判定フラグ＝１がセットされた位置以外の位置には、判定フラグ＝０がセットされる。
【００６２】
１フレーム内の全画素の比較が完了したときは（ステップＳ４８：Ｙｅｓ）、合成部１５は、画像３１内の動作部画素の撮像信号と画像３２を１８０°回転させた画像内の動作部画素の撮像信号とを合成して合成画像を生成する（ステップＳ４９）。
【００６３】
次いで、合成部１５は、合成画像を、画像３１内の背景画像または画像３２内の背景画像に配置する（ステップＳ５０）。背景画像は、静止部画素の撮像信号により構成される画像である。
【００６４】
次いで、合成部１５は、背景画像を補完する（ステップＳ５１）。
【００６５】
図８は、実施例１の合成部の処理の説明に供する図である。なお、図８では、判定フラグのセットに関し、判定フラグ＝１がセットされた画素のみを示し、判定フラグ＝０がセットされた画素の図示は省略する。
【００６６】
また、図８において、画像６１は図６の画像３１に対応し、画像６２は図６の画像３２を１８０°回転させた画像に対応する。また、画像６１において判定フラグ＝１がセットされた画素群６１１の撮像信号により構成される画像は図６の歪んだ画像３１−２に対応し、画像６２において判定フラグ＝１がセットされた画素群６２１の撮像信号により構成される画像は図６の歪んだ画像３２−２に対応する。また、判定フラグ＝０がセットされた画素群６１２，６２２の撮像信号により背景画像が構成される。また、図８における合成画像７００は、図６の合成画像３３−１に対応する。
【００６７】
合成部１５は、画素群６１１の画素と画素群６２１の画素との間において、同一色を選択して撮像信号を合成する。この結果、合成画像７００は、色調が保たれたまま歪みが補正された画像となる。これにより、合成画像７００を含む画像６３−１が生成される。
【００６８】
次いで、合成部１５は、画素群６１１の撮像信号により構成される画像を画像６１から削除した背景のみの画像、または、画素群６２１の撮像信号により構成される画像を画像６２から削除した背景のみの画像に、合成画像７００を配置する。このとき、合成部１５は、合成画像７００を、画素群６１１と画素群６２１との中心位置に配置する。これにより、合成画像７００、及び、合成画像７００の左右いずれか一方の背景画像を含む画像６３−２が生成される。
【００６９】
次いで、合成部１５は、画像６１の背景のみの画像に合成画像７００を配置したときは、画素群６２２の一部から構成される画像を背景画像６２３として画像６３−２に補完する。または、合成部１５は、画像６２の背景のみの画像に合成画像７００を配置したときは、画素群６１２の一部から構成される画像を背景画像６１３として画像６３−２に補完する。
【００７０】
以上のように実施例１によれば、撮像信号処理装置１０において、画素アレイ部１１１は、各ラインが複数の第１画素と、それら複数の第１画素に挟まれた画素を含む複数の第２画素とを有する複数のラインで構成される。また、走査部１１２は、１フレーム内において、画素アレイ部１１１から第１画素の撮像信号を各ラインに沿って複数のラインにおいて最初のラインから最後のラインに向かう方向または最後のラインから最初のラインに向かう方向のうち一方の方向に読み出す第１の走査と、画素アレイ部１１１から第２画素の撮像信号を各ラインに沿って他方の方向に読み出す第２の走査を行う。さらに、走査部１１２は、第１の走査と第２の走査とを交互に行う。また、合成部１５は、読み出された第１画素の撮像信号と、読み出された第２画素の撮像信号とを合成する。このようにして、実施例１によれば、第１の走査により読み出される撮像信号と、第２の走査により読み出される撮像信号とを、同一フレーム内の撮像信号とすることができる。つまり、実施例１によれば、１枚の画像から、互いに歪みの方向が異なる２枚の画像を取得し、それら２枚の画像を合成して画像の歪みを補正することができる。これにより、実施例１によれば、歪みのある画像を１フレーム内で補正することができる。よって、実施例１によれば、ローリングシャッター現象が生じた画像を確実に補正することができる。
【００７１】
［実施例２］
実施例２は、１フレーム内において、第１の走査及び第２の走査のうち、一方の走査を最初のラインから最後のラインに向かう方向に行う一方で、他方の走査を最後のラインから最初のラインに向かう方向に行う点において実施例１と同一である。但し、実施例２は、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う点において実施例１と相違する。
【００７２】
＜走査部の処理＞
図９は、実施例２の走査部の処理の説明に供する図（偶数番目の画素）である。なお、奇数番目の画素に対する走査部の処理は実施例１と同一であるため、図２を援用して説明する。
【００７３】
まず、走査部１１２は、図２に示すように、画素アレイ部１１１のライン１に沿って１番目の画素から順に、すなわち、ライン１の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１の奇数番目の画素の撮像信号を第１メモリ１３に転送する。
【００７４】
次いで、走査部１１２は、図９に示すように、画素アレイ部１１１のライン１５に沿って２０番目の画素から順に、すなわち、ライン１５の後方から前方に向かって、２０番目の画素，１８番目の画素，１６番目の画素，１４番目の画素，１２番目の画素，１０番目の画素，８番目の画素，６番目の画素，４番目の画素，２番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１５の偶数番目の画素の撮像信号を第２メモリ１４に転送する。
【００７５】
次いで、走査部１１２は、図２に示すように、画素アレイ部１１１のライン２に沿って１番目の画素から順に、すなわち、ライン２の前方から後方に向かって、１番目の画素，３番目の画素，５番目の画素，７番目の画素，９番目の画素，１１番目の画素，１３番目の画素，１５番目の画素，１７番目の画素，１９番目の画素を走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン２の奇数番目の画素の撮像信号を第１メモリ１３に転送する。
【００７６】
次いで、走査部１１２は、図９に示すように、画素アレイ部１１１のライン１４に沿って２０番目の画素から順に、すなわち、ライン１４の後方から前方に向かって、２０番目の画素，１８番目の画素，１６番目の画素，１４番目の画素，１２番目の画素，１０番目の画素，８番目の画素，６番目の画素，４番目の画素，２番目の画素を順に走査して、各画素の撮像信号を並列に転送部１１３に読み出す。転送部１１３は、読み出されたライン１４の偶数番目の画素の撮像信号を第２メモリ１４に転送する。
【００７７】
以降、走査部１１２は、１フレーム内において、第１の走査（図２）と、第２の走査（図９）とを交互に繰り返す。
【００７８】
また、走査部１１２は、第１の走査を各ラインの前方から後方、すなわち、各ラインの左から右に向かって行う一方で、第２の走査を各ラインの後方から前方、すなわち、各ラインの右から左に向かって行う。
【００７９】
なお、上記説明では、第１の走査を各ラインの前方から後方に向かって行い、第２の走査を各ラインの後方から前方に向かって行った。しかし、第１の走査を各ラインの後方から前方に向かって行い、第２の走査を各ラインの前方から後方に向かって行ってもよい。つまり、実施例２では、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う。
【００８０】
図１０は、実施例２の走査部の処理のイメージ図である。
【００８１】
走査部１１２は第２の走査をライン１５→ライン１の順に行う。また、走査部１１２は第２の走査を各ラインの後方から前方に向かって行う。このため、被写体３０−１の撮影時に、第２の走査により取得される画像３４は、画像３０と上下が１８０°回転した画像となる。また、画像３４は、歪んだ被写体の画像３４−１を含む画像となる。また、画像３４−１は、被写体３０−１に比べ、幅の狭い画像となる。画像３４は、第２メモリ１４に記憶される。
【００８２】
＜撮像信号処理装置の動作＞
図１１は、実施例２の撮像信号処理装置の動作の説明に供するフローチャートである。図１１では、ステップＳ８１の処理のみが、実施例１の図５に示すフローチャートと相違する。
【００８３】
ステップＳ８１において、走査部１１２は、ラインｌｅｖｅｎの偶数番目の画素の撮像信号を、ラインｌｅｖｅｎの右から順に、すなわち、ラインｌｅｖｅｎの後方から前方に向かって、１ライン分転送部１１３に読み出す。
【００８４】
＜合成部の処理＞
図１２は、実施例２の合成部の処理のイメージ図である。
【００８５】
第２メモリ１４には画像３４が記憶されている。画像３４は、画素アレイ部１１１の各ラインの偶数番目の画素の撮像信号により構成される画像である。
【００８６】
合成部１５は、制御部１２から入力される合成指示信号に従って、第１メモリ１３から画像３１を取得し、第２メモリ１４から画像３４を取得する。合成部１５内に取得された画像３１に含まれる歪んだ画像３１−１を画像３１−２として示し、合成部１５内に取得された画像３４に含まれる歪んだ画像３４−１を１８０°回転させたものを画像３４−２として示す。
【００８７】
合成部１５は、画像３１−２と画像３４−２とを合成して合成画像３５−１を生成する。すなわち、合成部１５は、第１の走査により画素アレイ部１１１から読み出された奇数番目の画素の撮像信号と、第２の走査により画素アレイ部１１１から読み出された偶数番目の画素の撮像信号とを合成する。この結果、合成画像３５−１は、歪みが補正された画像となる。また、画像３１−２は、被写体３０−１に比べ、幅の広い画像である一方で、画像３４−２は、被写体３０−１に比べ、幅の狭い画像である。よって、画像３１−２と画像３４−２とを合成することにより、幅も補正され、合成画像３５−１の幅は被写体３０−１の幅に等しくなる。合成画像３５−１を含む画像３５は、第３メモリ１６に記憶される。
【００８８】
図１３は、実施例２の合成部の処理の説明に供する図である。なお、図１３では、判定フラグのセットに関し、判定フラグ＝１がセットされた画素のみを示し、判定フラグ＝０がセットされた画素の図示は省略する。
【００８９】
また、図１３において、画像６４は図１２の画像３４を１８０°回転させた画像に対応する。また、画像６４において判定フラグ＝１がセットされた画素群６４１の撮像信号により構成される画像は図１２の歪んだ画像３４−２に対応する。また、判定フラグ＝０がセットされた画素群６４２の撮像信号により背景画像が構成される。また、図１３における合成画像８００は、図１２の合成画像３５−１に対応する。
【００９０】
合成部１５は、画素群６１１の画素と画素群６４１の画素との間において、同一色を選択して撮像信号を合成する。この結果、合成画像８００は、色調が保たれたまま歪みが補正された画像となる。また、合成部１５は、画素群６１１の画素と画素群６４１の画素との間において、１ライン毎に、縮小処理を行う。この縮小処理は、一般的な拡縮方法であるバイリニア法を用いて行われる。例えば、図１３に示すように、画素群６１１の１ラインが４画素で構成され、画素群６４１の１ラインが２画素で構成されるとき、合成部１５は、合成画像８００の１ライン分の画素数を３画素に決定する。これにより、合成画像８００を含む画像６５−１が生成される。
【００９１】
次いで、合成部１５は、画素群６１１の撮像信号により構成される画像を画像６１から削除した背景のみの画像、または、画素群６４１の撮像信号により構成される画像を画像６４から削除した背景のみの画像に、合成画像８００を配置する。このとき、合成部１５は、合成画像８００を、画素群６１１と画素群６４１との中心位置に配置する。これにより、合成画像８００、及び、合成画像８００の左右いずれか一方の背景画像を含む画像６５−２が生成される。
【００９２】
次いで、合成部１５は、画像６１の背景のみの画像に合成画像８００を配置したときは、画素群６４２の一部から構成される画像を背景画像６４３として画像６５−２に補完する。または、合成部１５は、画像６４の背景のみの画像に合成画像８００を配置したときは、画素群６１２の一部から構成される画像を背景画像６１３として画像６５−２に補完する。
【００９３】
以上のように実施例２によれば、撮像信号処理装置１０において、走査部１１２は、実施例１に対し、さらに、第１の走査及び第２の走査のうち、一方の走査を各ラインの前方から後方に向かって行う一方で、他方の走査を各ラインの後方から前方に向かって行う。これにより、合成画像の幅が被写体の幅に等しくなる。つまり、実施例２によれば、実施例１よりも、さらに精度良く画像の歪みを補正することができる。
【符号の説明】
【００９４】
１０  撮像信号処理装置
１１  撮像センサ
１２  制御部
１３  第１メモリ
１４  第２メモリ
１５  合成部
１６  第３メモリ
１１１  画素アレイ部
１１２  走査部
１１３  転送部
【図１】
2014072779.tif 000003
【図２】
2014072779.tif 000004
【図３】
2014072779.tif 000005
【図４】
2014072779.tif 000006
【図５】
2014072779.tif 000007
【図６】
2014072779.tif 000008
【図７】
2014072779.tif 000009
【図８】
2014072779.tif 000010
【図９】
2014072779.tif 000011
【図１０】
2014072779.tif 000012
【図１１】
2014072779.tif 000013
【図１２】
2014072779.tif 000014
【図１３】
2014072779.tif 000015