【手続補正書】
【提出日】平成20年12月12日(2008.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行う振れ補正手段と、
前記座標変換処理における座標変換方式を変更する方式変更手段とを有することを特徴とする画像処理装置。
【請求項２】
前記方式変更手段は、前記振れ情報に基づいて座標変換方式を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段を有し、
前記方式変更手段は、前記振れ情報と前記出力画像領域の情報とに基づいて座標変換方式を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報とに基づいて座標変換方式を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記入力画像の画角情報と前記振れ情報とに基づいて、該入力画像における出力画像領域を決定する出力領域決定手段を有し、
前記方式変更手段は、前記振れ情報と前記撮像素子に被写体像を形成するズーム光学系のズーム情報と前記出力画像領域の情報とに基づいて座標変換方式を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記入力画像から前記振れ情報を生成する振れ情報生成手段を有することを特徴とする請求項２から５のいずれか１つに記載の画像処理装置。
【請求項７】
前記方式変更手段は、並進変換方式、並進回転変換方式、アフィン変換方式、平面射影変換方式のうち少なくとも２つの間で座標変換方式を変更することを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
【請求項８】
前記方式変更手段は、前記入力画像における被写体距離が異なる領域ごとに座標変換方式を変更することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮像素子と、
請求項１から８のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１０】
振れ情報を取得するステップと、
該振れ情報に基づいて、撮像素子を用いて生成された入力画像に対する座標変換処理を行うステップと、
前記座標変換処理における座標変換方式を変更するステップとを有することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
１０７は画像形成回路１０３により形成された映像信号の1フレームもしくは複数フレームを一時的に記憶保持するフレームメモリである。１０８はフレームメモリ１０７に入出力される映像信号を制御するメモリ制御回路である。１０９は隣接するフレーム画像間から本撮像装置の振れを検出し（振れ情報を生成し）、またその動きの傾向を解析する振れ解析部（振れ情報生成手段）であり、動き検出回路１１０と振れ解析回路１１１とから構成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
１１３は補正方式選択回路１１２によって選択された振れ補正方式により振れ補正を行う振れ補正回路（振れ補正手段）である。１１４は映像出力回路であり、振れ補正を行った映像を不図示のディスプレイに表示したり、半導体メモリや光ディスク、磁気テープ等の記録媒体に記録したりするための出力部を構成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
１００は撮像素子１０２、画像形成回路１０３、メモリ制御回路１０８、振れ解析部１０９、補正方式選択回路１１２、振れ補正回路１１３および映像出力回路１１４の動作を制御するメインコントローラである。メインコントローラ１００は、ＣＰＵ等により構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ１０７に記憶保持されたフレーム画像は順次振れ解析部１０９に入力される。また、フレームメモリ１０７に記憶されるフレーム画像も順次更新される。以上の動作はメモリ制御回路１０８によって制御される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
ステップＳ２０２では、振れ量及び振れ方向を含む振れ情報が検出される。具体的には、動き検出回路１１０において、連続するフレーム画像間での被写体像の変位とその方向を示す動きベクトルが検出される。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法が用いればよいが、その方法には制限はない。また、動きベクトルは、複数の画像領域において検出される。この動きベクトルが、画像中に現れる各被写体の見かけ上の振れ量とその方向を示す振れ情報となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ステップＳ２０３では、振れ解析部１０９から得られた振れ情報のうち振れ量を用いて、撮影中の画像において発生している振れを解析し、その振れを補正するための最適な振れ補正方式を選択する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
具体的には、補正方式選択回路１１２が、振れ解析部１０９から出力された画像全体の動きを表す代表動きベクトルを判定することによって、適用すべき振れ補正方式を選択する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
まず、代表動きベクトルを判定した結果、振れ量が小さく、画像上に光軸周りの回転やズーミングによる振れが発生していない場合には、座標変換方式の１つである並進変換による補正方式（並進変換方式：以下、並進補正方式という）を選択する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
と表すことができる。なお、並進振れＴの値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図４には、並進振れした撮像装置と撮像面の変位との関係を示す。同図に示すように、撮像装置４０１に並進振れが発生している場合には、振れの前後における撮像面４０２，４０３が同一平面上を移動して、共通した（重なる）領域４０４を形成する。これに対して、図５に示すように、撮像装置５０１に大きなパン・チルト振れが発生した場合には、振れの前後における撮像面５０２，５０３の間に傾きが生じてしまう。このため、同図の５０４に示すような共通領域は形成されず、画像上の見かけ上の振れも並進振れとは異なるものとなる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
しかし、図６に示すように、撮像装置６０１自体の振動が微小である場合には、パン・チルト振れの前後における撮像面６０２，６０３が同一平面上を移動して共通領域６０４を形成すると近似することが可能となる。したがって、並進補正方式で並進振れとパン・チルト振れの両方を補正しても、精度の良い振れ補正を行うことが可能となる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
また、上述した並進振れに加えて光軸周りの回転振れが発生している場合には、座標変換方式の１つである並進回転変換による補正方式（並進回転変換方式：以下、並進回転補正方式という）を選択する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
なお、回転振れＲの値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。並進回転変換は、一般にユークリッド変換と呼ばれる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
また、上述した並進振れおよび光軸周りの回転振れに加えて、さらにズーミングおよび剪断の振れが発生している場合には、座標変換方式の１つであるアフィン変換による補正方式（アフィン変換方式：以下、アフィン補正方式という）を選択する。アフィン変換は、以下の行列式により表すことができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
なお、アフィン行列で表される振れＨａの各要素の値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
また、上述したアフィン変換で表すことのできる振れに加えて、さらに台形変形を伴う振れが発生している場合には、座標変換方式の１つである平面射影変換による補正方式（平面射影変換方式：以下、平面射影補正方式という）を選択する。台形変形を伴う振れは、画像上の振れ量が大きい場合に発生する。このような状況においては、図５に示すようにパン・チルトの前後において、撮像面５０２，５０３の位置が大きく傾く。このため、前述した並進振れとパン・チルト振れの近似が成り立たなくなる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
なお、平面射影行列で表される振れＨｐの各要素の値は、振れ解析部１０９より送られてくる連続するフレーム画像間の振れ量から算出することが可能である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
本実施例では、画像にセグメンテーションを施して、被写体を撮像装置からの距離（被写体距離）ごとに分割し、それぞれの被写体に対して最適な補正処理を施す手法を視差補正方式という。この視差補正方式は、一画素ごとに算出した振れ量に対してそれぞれ最適な補正方式（座標変換方式）を選択したり、赤外線センサ等の測距センサを用いて被写体までの距離を計測し、その距離ごとに最適な補正方式を選択したりする方式である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
しかし、振れが大きくなるにつれて、前述の近似が成り立たなくなるために、自由度の低い振れ補正方式では補正の精度が低下してしまう。そこで、振れが大きくなるにしたがって、アフィン補正方式や平面射影補正方式といったより自由度の高い振れ補正方式を選択する。これにより、振れ補正の精度を高く維持することが可能となる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図２において、ステップＳ２０４では、振れ補正回路１１３により、ステップＳ２０３で選択された振れ補正方式を用いて振れ補正処理（座標変換処理）を行う。選択された振れ補正方式の計算式を対象画像の各画素について適用し、振れ補正後の座標値を算出して、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ１０７に記憶保持されている画像に対して画素値の読み出しを行い、該読み出した画素値により構成される画像を振れ補正画像として映像出力回路１１４に伝送する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
ステップＳ２０５では、映像出力回路１１４から振れ補正画像を出力させる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
図９において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、画像形成回路１０３により形成された入力画像の画角（入力画像の画角情報：以下、入力画角という）を検出する入力画角検出回路９１２を有する。さらに、該入力画角と振れ解析部１０９により算出された振れ量とを用いて、振れ補正回路９１５による振れ補正が施された画像の出力時の画角（出力画像領域：以下、出力画角という）を算出する出力画角算出回路（出力領域決定手段）９１３を有する。なお、図１に示したメインコントローラは、図９では省略している。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
Ｓ１００３では、出力画角算出回路９１３において、振れ補正画像を映像出力回路１１４へ伝送する際の出力画角を予め算出する。出力画角は、入力画角検出回路９１２により検出された入力画角と、振れ解析部１０９により算出された振れ量とを用いて算出される。入力画角は、光学系１０１を構成するレンズの位置情報や光学系１０１の焦点距離情報に基づいて算出される。算出された出力画角は、補正方式選択回路９１４および振れ補正回路９１５に送られる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
ステップＳ１００４では、振れ解析部１０９により得られた振れ量と、出力画角算出回路９１３から得られた出力画角とを用いて、撮像中の画像内に発生している振れを解析する。そして、その振れを補正するために最適な振れ補正方式を選択する。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
図１０において、ステップＳ１００５では、振れ補正回路９１５により、ステップＳ１００４で選択された振れ補正方式を用いて振れ補正処理を施す。選択された振れ補正方式の計算式を対象画像の各画素について適用し、振れ補正後の座標値を算出して、振れ補正のための座標値変換データを作成する。作成された座標値変換データと出力画角算出回路９１３により予め算出されていた出力画角の大きさとに基づいて、フレームメモリ１０７に記憶保持されている画像に対して画素値の切り出しを行う。そして、切り出した画素値により構成される画像を振れ補正画像として映像出力回路９１６へ伝送する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
図１４において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、ズーム光学系１４０１のズーム位置を制御するズーム位置制御回路１４１２と、ズーム位置（ズーム情報）を検出するズーム位置検出回路１４１３とを有する。なお、図１に示したメインコントローラは、図９では省略している。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
ステップＳ１５０３では、撮影者による不図示のズームスイッチの操作に応じてズーム位置制御回路１４１２によりズーム光学系１４０１のズーム位置を制御する。また、ズーム位置検出回路１４１３によりズーム位置を検出する。検出されたズーム位置情報は補正方式選択回路１４１４へ伝送される。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
ステップＳ１８０３では、撮影者による不図示のズームスイッチの操作に応じてズーム位置制御回路１４１２によりズーム光学系１４０１のズーム位置を制御する。また、ズーム位置検出回路１４１３によりズーム位置を検出する。検出されたズーム位置情報は補正方式選択回路１７１６へ伝送される。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
Ｓ１８０４では、出力画角算出回路９１３において、振れ補正画像を映像出力回路１１４へ伝送する際の出力画角を予め算出する。出力画角は、入力画角検出回路９１２により検出された入力画角と、振れ解析部１０９により算出された振れ量とを用いて算出される。入力画角は、ズーム光学系１４０１を構成する変倍レンズの位置情報や、ズーム光学系１４０１の焦点距離情報に基づいて算出される。算出された出力画角は、補正方式選択回路１７１６および振れ補正回路１７１７に送られる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
ステップＳ１８０５では、振れ解析部１０９から得られた振れ量と、ズーム位置検出回路１４１３から得られたズーム位置と、出力画角算出回路９１３から得られた出力画角とを用いて、撮影中の画像内に発生している振れを解析する。そして、その振れを補正するための最適な振れ補正方式を選択する。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
これに対して出力画角が小さい場合には、入力画像における補正可能範囲が広くなるために、補正すべき振れも大きくなり複雑なものとなる。したがって、アフィン補正方式や平面射影補正方式より自由度の高い振れ補正方式を選択する必要がある。
【手続補正３３】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2007166269.tif 000001
【手続補正３４】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2007166269.tif 000002
【手続補正３５】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2007166269.tif 000003
【手続補正３６】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2007166269.tif 000004