(57)【要約】【課題】ＴＶ会議・ＴＶ電話では、話者の正面に表示装置１０２が設置されているため、カメラ１０１を話者の正面に設置することができない。このため、カメラ１０１で撮影した画像に歪みを生じてしまう。【解決手段】本発明の画像処理信号装置では、パラメータ検出部３０３が、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する。画像補正部３０５は、パラメータ検出部３０３によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する。【選択図】図１
2008086007.tif 000002
【特許請求の範囲】
【請求項１】
順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置であって、
歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段と、
前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段と
を備えることを特徴とする画像信号処理装置。
【請求項２】
前記歪み検出手段は、歪み検出ピクチャの少なくとも２つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算する垂直相関計算部を備え、
前記補正手段は、前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項３】
前記垂直相関計算部は、前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の積和を、前記ずれ量ごとに計算し、
前記補正手段は、前記垂直相関計算部によって計算された前記積和の値が大きいほど前記相関の度合いが大きいと判断する
ことを特徴とする請求項２記載の画像信号処理装置。
【請求項４】
前記垂直相関計算部は、前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の差分の絶対値の和を、前記ずれ量ごとに計算し、
前記補正手段は、前記垂直相関計算部によって計算された前記差分の絶対値の和の値が小さいほど前記相関の度合いが大きいと判断する
ことを特徴とする請求項２記載の画像信号処理装置。
【請求項５】
前記歪み検出手段は、さらに、ユーザインタフェースを介して、画像の垂直方向の線の歪みを検出すべきピクチャ内の領域の指定をユーザから受け付け、受け付けられた領域内で、前記垂直方向の線の歪みを検出する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項６】
前記補正手段は、さらに、ユーザインタフェースを介して、補正の度合いの指定をユーザから受け付け、受け付けられた前記補正の度合いに対応して、前記歪み検出手段によって検出された前記画像の水平方向へのずれ量を調整し、調整された前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項７】
前記補正手段は、さらに、ユーザインタフェースを介して、補正しない期間の指定をユーザから受け付け、受け付けられた前記期間は、前記補正対象ピクチャに対応する入力ピクチャをそのまま出力する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項８】
前記歪み検出手段は、特定のピクチャにおいて歪みを検出し、
前記補正手段は、前記歪み検出手段で検出しないピクチャに対して、当該ピクチャより前に検出した垂直方向の線の歪みに基づいて前記補正対象ピクチャを補正する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項９】
前記歪み検出手段は複数の特定のピクチャにおいて歪みを検出し、
前記補正手段は、前記歪み検出手段で歪が検出されないピクチャに対して、当該ピクチャより前に検出された前記ずれ量を平均することによって補正量を時間的に平滑化して前記補正対象ピクチャを補正する
ことを特徴とする請求項１記載の画像信号処理装置。
【請求項１０】
前記画像信号処理装置は、さらに、
前記補正手段によって補正された補正後のピクチャを符号化して、符号列を出力する符号化手段
を備えることを特徴とする請求項１〜８のいずれか１項に記載の画像信号処理装置。
【請求項１１】
前記画像信号処理装置は、さらに、
入力される符号列を復号化する復号化手段を備え、
前記歪み検出手段は、前記復号化手段で復号化されることによって得られた動画像について、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出し、
前記補正手段は、前記歪み検出手段によって検出された垂直方向の線の歪みを、前記補正対象ピクチャを対象として補正する
ことを特徴とする請求項１〜８のいずれか１項に記載の画像信号処理装置。
【請求項１２】
順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理方法であって、
歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出するステップと、
前記歪み検出ステップによって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正するステップとを
含むことを特徴とする画像信号処理方法。
【請求項１３】
順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置のためのプログラムであって、コンピュータに
歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出するステップと、前記歪み検出ステップによって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正するステップとを実行させるプログラム。
【請求項１４】
請求項１〜１０のいずれか１項に記載の前記画像信号処理装置が備える前記各手段
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主としてＴＶ会議・ＴＶ電話システムにおいて、カメラの設置位置・方向に基づき撮影した画像に発生する歪みを補正し、違和感の少ない画像に変形するための画像信号処理方法に関する。
【背景技術】
【０００２】
ディジタル放送や次世代光ディスクがＨＤＴＶに対応したことにより、ＨＤＴＶ対応のＰＤＰディスプレイや液晶ディスプレイ等の大画面表示装置の普及が急速に進んでいる。更に、ネットワークは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Ｍｂｉｔ／ｓを越えるビットレートで送受信が可能となっている。今後数年で、数十Ｍｂｉｔ／ｓの送受信が可能になる見込であり、前述の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でも高画質のＴＶ電話・ＴＶ会議システムの導入が進むと予想される。
【０００３】
さて、ＴＶ会議・ＴＶ電話においては、話者の正面画像を撮影して相手に送ることが好ましい。これは、対話において、相手に視線を向けて話すことで良い印象を与え、会話がスムーズに行えることから容易に類推できる。しかしながら、現実のＴＶ会議・ＴＶ電話では、表示装置の表示面に正対することの多い話者の正面から画像を撮影することは容易ではない。
【０００４】
図２３はＴＶ会議システムの表示装置とカメラの設置例を示す図である。カメラ１０１は表示装置１０２の上に設置される。正面画像を撮影することを考えると、カメラ１０１を表示装置１０２の中央に設置することが望ましいが、表示装置１０２の中央にカメラ１０１を設置するとカメラ１０１が目障りで表示装置１０２に表示される対話者の画像が見えにくくなる。従って、図２３のように設置するのが一般的である。
【０００５】
さて、近年は表示装置１０２が大型化し、家庭でも４０インチを超える大型ディスプレイが設置されることが多くなった。大型の表示装置１０２を使用することで、対話者の画像が見やすくなるが、その反面、表示装置１０２の上部に設置されるカメラ１０１の位置は話者の正面から大きくずれることになってしまう。
【０００６】
図２４は垂直であるべきものが歪んで撮影される画像の例を示す図である。話者は床に垂直な壁１０４とそれを支える柱１０３の前に正立している。カメラ１０１は表示装置１０２の上部に設置され、話者を撮影するためにカメラ１０１はやや下の方を向いている。図２４（ａ）は設置されている状態を話者の横から見た図、図２４（ｂ）は話者の正面から見た図、図２４（ｃ）は話者の上部から見た図である。
【０００７】
さて、カメラ１０１が表示装置１０２の上部に設置されることから、カメラ１０１から話者や、壁１０４および柱１０３までの距離が位置によって大きく異なることになる。すなわち、カメラ１０１から柱１０３の上部までの距離Ｌｔと比べて、カメラ１０１から柱１０３の下部までの距離Ｌｂの長さがかなり長くなる。カメラで撮影した画像は、被写体までの距離が遠いほど小さく撮影されることは良く知られている。従って、このように設置されたカメラ１０１で撮影した画像は、図２４（ｄ）のようになる。図２４（ｂ）と図２４（ｄ）を比較すれば、図２４（ｄ）は画像の下部（つまり、カメラ１０１からの距離が遠い部分）は小さく撮影されるため、本来は垂直になるべき柱１０３が斜めに撮影され、見た目の違和感が大きいことがわかる。
【０００８】
このカメラ１０１の設置位置が話者の正面でないことに起因する歪みは、カメラ１０１と被写体（この場合は話者や、壁１０４、柱１０３）までの距離がわかれば、計算によって補正することが可能である。例えば、カメラ１０１と被写体の位置および向きが固定であれば、予め距離を測定して補正のための方法を計算することができる（特許文献１参照。）。特許文献１で開示されているカメラは書画カメラであり、カメラ１０１と被写体（書画台）の距離やカメラ１０１の向きをセンサで測定し、測定した距離や向きに基づいて撮影した画像を画像信号処理で補正している。
【特許文献１】特許第３１０９５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ＴＶ会議・ＴＶ電話においては、会議開始前に設置場所を移動したり、会議の参加人数や撮影範囲が頻繁に変わったり等のことがあり、カメラ１０１と被写体の距離やカメラ１０１の向きを測定することが困難である。よって、上記の従来の手法を用いた画像の補正が簡単に行えないという課題がある。
【００１０】
また、カメラ１０１と被写体との距離やカメラ１０１の向きを測定し、測定した距離や向きに基づいて画像を補正するのではなく、撮影された画像そのものを解析して画像の歪みを検出し、検出された歪みを補正する方法も考えられている。この方法によれば、カメラ１０１の設置場所や撮影角度などが頻繁に変更された場合でも、その影響を受けることなく画像の補正を行うことができるというメリットがある。
【００１１】
しかし、この場合でも、撮影された画像を解析して画像の歪みを検出するために、少なくとも１ピクチャの遅延を生じる。このため、少なくとも１ピクチャ分の画像データを保持しておくためのメモリが必要になるという問題がある。
【００１２】
上記課題を解決するために、本発明は、撮影された画像から歪みを検出して補正する場合であっても、画像データを保持しておくためのメモリを節約することができる画像信号処理装置及び画像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の画像信号処理装置は、順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置であって、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段と、前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段とを備えることを特徴とする。
【００１４】
自然界、特に人工的な建造物では、完全な垂直および水平のものが多く垂直方向や水平方向の相関は大きいが、斜め方向の相関はそれほど多くない。また、撮影した映像で最も歪みが目立つのは、垂直方向や水平方向の歪みである。従って、撮影した画像から相関の強さを計算し、その相関がほぼ垂直方向で大きくなっている場合は、本来それは完全な垂直方向で相関が最も大きくなっているべきと見なし、垂直方向の相関が大きくなるように水平方向に拡大縮小の画像変形を行う。このようにすることで、実際のカメラ１０１と被写体の間の距離や、カメラ１０１の向きを用いずに画像変形を行い、見た目の違和感の少ない垂直方向に相関が強い画像を再構成できる。
【００１５】
更に、ＴＶ会議・ＴＶ電話においては、会議を開始した直後はカメラの設置位置や向きを変えることはほとんどない。そこで、歪みを補正する補正対象ピクチャで歪みを検出するのではなく、補正対象ピクチャより前に入力されたピクチャで予め歪みを検出しても、補正対象ピクチャとほぼ同じ歪みを検出することができる。そこで、計算量が多く、実時間計算が困難な歪み検出と、それを補正するための補正方法を予め計算しておき、補正対象ピクチャでは計算量が少ない画像変形処理のみ実時間で実施することで、短時間で遅延時間の少ない画像信号処理を行うことができる。
【発明の効果】
【００１６】
本来は垂直となっていると思われる部分が垂直となるように画像信号を変形することで、被写体正面から撮影できない場合でも撮影した画像の歪みを大きく低減し、ＴＶ会議・ＴＶ電話での違和感を小さくすることができる。
【００１７】
本発明では、撮影した画像の情報のみを用いて画像信号を変形するので、カメラと被写体の距離やカメラの向きを、予め測定したりセンサで取得したりする必要が無く、安価且つ容易に実現することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図１から図２２を用いて説明する。
【００１９】
（実施の形態１）
図１は実施の形態１の画像信号処理装置３０００の構成を示すブロック図である。本実施の形態の画像信号処理装置は、入力画像信号Ｖｉｎで表されるピクチャの垂直方向の相関を計算し、計算された相関が最も高くなるようピクチャを変形して出力画像を生成する画像信号処理装置である。ただし、垂直方向の相関を計算した最初のピクチャは変形せず、そのまま出力し、次以降のピクチャを変形して出力画像を生成する。
【００２０】
この画像信号処理装置３０００は、歪検出部３０６と補正処理部３００とを備える。
歪検出部３０６は、順次入力される複数のピクチャで構成される動画像のうち、所定の画像信号（歪検出ピクチャ）を入力し、該ピクチャ（〔ｉ〕番目のピクチャ）内の垂直方向の線の歪み信号Ｄ〔ｉ〕（または垂直方向の歪みに相当する信号）を出力する。
【００２１】
補正処理部３００は、該ｉ番目のピクチャの垂直方向の歪み信号を入力し、該ピクチャより後に入力される画像（補正対象ピクチャ：〔ｉ＋１〕番目以降のピクチャ）の水平方向のずれを打ち消すように補正する。
【００２２】
図２は、図１に示した歪検出部３０６の構成を示すブロック図である。図２に示すように、実施の形態１における歪検出部３０６は、分割部４０１及び相関計算部４０２を備える。分割部４０１は、入力画像信号Ｖｉｎで表される１画面（歪検出ピクチャ）のピクチャを分割し、画面をどのように分割したかを示す情報を出力する。相関計算部４０２は、分割された画面ごとに垂直方向の画素値の相関関係を所定の単位毎（ライン毎、分割単位毎）に算出し、垂直方向の線の歪みを検出し出力する。
【００２３】
図３は、図１に示した補正処理部３００の構成を示すブロック部である。図３に示すように、実施の形態１における補正処理部３００は、パラメータ検出部５３０３、パラメータ・メモリ５３０４、及び画像補正部５３０５を含み構成される。
【００２４】
パラメータ検出部５３０３は、歪検出ピクチャ（ｉ番目のピクチャ）に対して導出された歪検出部３０６の出力を入力し後述する画像単位（あるいは分割単位）の補正パラメータを導出する。パラメータ・メモリ５３０４は導出された補正パラメータや初期値として有するパラメータ（以下これらを補正パラメータと呼ぶ）をピクチャ単位に保持する。画像補正部５３０５は、補正対象ピクチャ（〔ｉ＋１〕番目以降のピクチャ）について、前述の補正パラメータを用いて画像（あるいは分割単位）を補正する。
【００２５】
図４は図３に示した補正処理部３００の詳細な構成を示すブロック図である。同図に示すように、補正処理部３００は、パラメータ検出部５３０３、パラメータ・メモリ５３０４、画像補正部５３０５、スイッチ３１０及びスイッチ３１１を備える。パラメータ検出部５３０３は、図２に示した相関計算部４０２で算出された歪みを補正するためのパラメータを検出する。パラメータ検出部５３０３は、検出したパラメータをスイッチ３１１で接続された方のパラメータ・メモリ５３０４に格納する。パラメータ・メモリ５３０４は、格納されたパラメータを保持する。パラメータ・メモリ５３０４は、スイッチ３１０により画像補正部５３０５に接続されたとき、格納していたパラメータを画像補正部５３０５に出力する。画像補正部５３０５は、パラメータ・メモリ５３０４から入力されたパラメータを入力画像に適用して垂直方向の線の歪みを補正する。
【００２６】
なお、パラメータ・メモリ５３０４は、パラメータ・メモリ１とパラメータ・メモリ２からなる２つのパラメータ・メモリで構成され、パラメータ・メモリ１とパラメータ・メモリ２とは、それぞれスイッチ３１１及びスイッチ３１０を介して切り替えられる。スイッチ３１０及びスイッチ３１１は、パラメータ検出部５３０３からの制御信号に従って切り替えられる。例えば、最初の入力画像（ピクチャ）についてパラメータ検出部５３０３によってパラメータが検出される場合、スイッチ３１１はパラメータ検出部５３０３とパラメータ・メモリ１とを接続する。これによりパラメータ検出部５３０３により検出されたパラメータは、パラメータ・メモリ１に蓄積される。この間、パラメータ・メモリ５３０４と画像補正部５３０５とを接続するスイッチ３１０は、制御信号によりパラメータ・メモリ２と画像補正部５３０５とを接続するよう制御される。パラメータ・メモリ２には、画像を変形しないパラメータが格納されている。この結果、パラメータの検出が行われる最初の入力画像は、パラメータ・メモリ１内に蓄積されたパラメータが適用されることなく、画像補正部５３０５からそのまま出力画像として出力される。
【００２７】
また、次のパラメータ検出処理が開始されると、スイッチ３１０はパラメータ・メモリ１と画像補正部５３０５とを接続するよう切り替えられる。これにより、パラメータ・メモリ１に蓄積されているパラメータが画像補正部５３０５に読み出され、画像補正部５３０５に入力されている現在の入力画像に適用される。これにより、画像補正部５３０５において、入力画像に含まれる垂直方向の線の歪が補正され、出力される。一方、スイッチ３１１は、パラメータ検出部５３０３とパラメータ・メモリ２とを接続するように切り替えられる。これにより、現在パラメータ検出部５３０３に入力されている歪信号から検出されたパラメータがパラメータ・メモリ２に蓄積される。
【００２８】
さらに、次のパラメータ検出処理が行われるときにスイッチ３１０を切り替えて、パラメータ・メモリ２と画像補正部５３０５とを接続し、パラメータ・メモリ２に蓄積されているパラメータを適用して歪の補正を行う。
【００２９】
なお、パラメータの検出が実時間で行える場合は、検出されたパラメータを次のピクチャに適用して、ピクチャごとに順次、直前のピクチャで得られたパラメータで補正を行なうことが好ましいが、本発明はこれに限定されず、パラメータの検出の計算量が多い場合には入力されたピクチャから検出されたパラメータを適用して、それ以後の全ての入力画像（ピクチャ）の補正を行うとしてもよい。また、最初に入力されたピクチャから検出されたパラメータを最後まで使い続ける必要もなく、あらかじめ定めた枚数のピクチャごとにパラメータを検出し、パラメータが検出されたピクチャから後のピクチャに対し、検出されたパラメータを適用して垂直方向の線の歪みを補正するようにしてもよい。
【００３０】
図５は本実施の形態においてパラメータを検出する対象となる画面と、検出されたパラメータを用いて変形の対象となる画面との関係を説明する図である。動画像信号は複数の時間的に連続する画像で構成されており、連続する画像の相関は非常に大きい。ＴＶ会議・ＴＶ電話でカメラ１０１の位置や向き、被写体の位置が連続する画像の中で変わることは殆ど無い。そこで、現在カメラ１０１で撮影した画像である“変形対象画像”でなく、より早い時刻の画像を“パラメータ検出対象画像”として使用して画像変形パラメータを検出し、検出した画像変形パラメータを、“変形対象画像”に適用するのが、実施の形態１の考え方である。
【００３１】
図２に示した歪検出部３０６において、分割部４０１は入力画像（ピクチャ）を分割単位に分割し、相関計算部４０２で相関値を計算する。パラメータ検出部５３０３は、相関計算部４０２で計算した相関値から、垂直相関が大きくなるような画像変形パラメータを検出し、パラメータ・メモリ５３０４に一時的に格納する。画像補正部５３０５は、パラメータ・メモリ５３０４から読み出した画像変形パラメータに基づいて、入力画像信号Ｖｉｎに画像変形を施し、垂直相関が大きい出力画像信号Ｖｏｕｔとして出力する。
【００３２】
尚、図４において、パラメータ検出部５３０３は、歪検出部３０６の相関計算部４０２からの出力信号を入力するとして説明したが、パラメータ検出部が直接入力画像信号Ｖｉｎを入力し相関計算部と同様の処理をすることとしてもよい。
【００３３】
この場合、パラメータ検出部５３０３は、「歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段」及び「特定のピクチャにおいて歪みを検出する前記歪み検出手段」に相当し、画像補正部５３０５は、「前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段」及び「前記歪み検出手段で検出しないピクチャに対して、当該ピクチャより前に検出した垂直方向の線の歪みに基づいて前記補正対象ピクチャを補正する前記補正手段」に相当することとなり、この場合分割部４０１は必須の構成ではない。
【００３４】
図６は、実施の形態１の画像信号処理装置の歪み補正処理における動作の一例を示すフローチャートである。まず、画像信号処理装置は、カメラ１０１で撮影された入力画像信号Ｖｉｎを取得する（Ｓ６０１）。次いで、画像信号処理装置は、処理すべき入力画像信号Ｖｉｎがあるか否か、すなわち処理対象画像で未処理のものがあるかどうかを判断し（Ｓ６０２）、なければ終了する。処理すべき入力画像信号Ｖｉｎがあれば、さらに、入力された画像が最初のピクチャ又は補正しないピクチャか否かを判断する（Ｓ６０３）。ステップ６０３での判断の結果、入力された画像が最初のピクチャ又は補正しないピクチャであれば、入力された入力画像信号Ｖｉｎをそのまま出力する（Ｓ６０４）。ステップ６０３での判断の結果、入力された画像が最初のピクチャ又は補正しないピクチャのいずれでもなければ、画像補正部５３０５は、パラメータ検出部５３０３によってすでに検出され、パラメータ・メモリ５３０４に保持されているパラメータに基づいて入力画像を補正し、出力する。次いで、パラメータ検出部５３０３は入力画像の垂直方向の線の歪みを検出し（Ｓ６０６）、歪み補正のためのパラメータを検出してパラメータ・メモリ５３０４に格納する（Ｓ６０７）。この後、画像信号処理装置は、ステップ６０１の処理に戻り、処理すべき入力画像がなくなるまで、ステップ６０１からステップ６０７の処理を繰り返す。
【００３５】
図７は、図３に示した補正処理部３００の他の例である補正処理部７００の詳細な構成を示すブロック図である。実施の形態１の画像処理信号装置では、何枚ものピクチャを同じパラメータを用いて補正した場合、背景画像はほぼ静止しているものの、入力画像信号Ｖｉｎが動画像であるために、補正が実際の画面の歪みより過度に行われたり、補正の度合いが足りなかったりする可能性がある。そのため、実施の形態１の他の例である画像処理信号装置は、補正処理部７００を備える。補正処理部７００は、何枚かのピクチャ（例えば、ピクチャ１、２、３）の補正パラメータを検出して、それぞれパラメータ・メモリに蓄積しておき、何枚目か後のピクチャ（例えば、ピクチャ４）に対して補正を行なうときには、それまでに蓄積したパラメータの平均値（すなわち、ピクチャ１、２、３のそれぞれの補正パラメータの平均値）などの時間的に平滑化された補正値を用いて補正を行なう構成である。ここで、パラメータ検出部７０３は「複数の特定のピクチャにおいて歪みを検出する前記歪み検出手段」に相当し、画像補正部７０５は「前記歪み検出手段で歪が検出されないピクチャに対して、当該ピクチャより前に検出された前記ずれ量を平均することによって補正量を時間的に平滑化して前記補正対象ピクチャを補正する前記補正手段」に相当する。
【００３６】
補正処理部７００は、パラメータ検出部７０３、パラメータ・メモリ７０４、画像補正部７０５、スイッチ７１０及びスイッチ７１１を備える。パラメータ・メモリ７０４は、例えば、Ｎ（Ｎは自然数）個のパラメータ・メモリ１、パラメータ・メモリ２、・・・、パラメータ・メモリＮを備える。パラメータ検出部７０３は、入力画像のピクチャごとに画像変形パラメータを検出して、スイッチ７１１を切り替え、検出した画像変形パラメータをそれぞれパラメータ・メモリ１、パラメータ・メモリ２、・・・、パラメータ・メモリＮに順次、格納する。この場合、パラメータ検出部７０３はピクチャ１枚ずつにつき画像変形パラメータを検出する必要はなく、ピクチャの所定枚数ごとであってもよい。例えば、最初のピクチャのパラメータをパラメータ・メモリ１に格納し、２番目のピクチャをパラメータ・メモリ１に格納されているパラメータを用いて補正したとする。その後、２番目のピクチャで検出したパラメータをパラメータ・メモリ２に格納し、順次、Ｎ個のパラメータ・メモリに格納する。例えば、それまで、最初のピクチャで検出したパラメータを用いて補正を行なっていたとすると、（Ｎ＋１）番目のピクチャを補正するときには、パラメータ検出部７０３は切り替え信号により、スイッチ７１０を順次、画像補正部７０５に接続して、パラメータ・メモリ１〜パラメータ・メモリＮに格納されているパラメータを画像補正部７０５に読み出させる。画像補正部７０５では、パラメータ・メモリ１〜パラメータ・メモリＮから読み出したＮ個のパラメータの平均値などを算出し、算出したパラメータを用いて（Ｎ＋１）番目のピクチャの垂直方向の線の歪みを補正する。これにより、少しずつ変化していた画像に対して、補正の度合いが急に大きく変化することなく、画面の動きに応じてより適切な量だけ歪みの補正が行なえるという効果がある。
【００３７】
本実施の形態では、最初のピクチャでは画像変形パラメータを検出するだけで画像変形処理を行わない。従って、画像変形パラメータは古い時刻の画像で計算されるため、入力画像信号Ｖｉｎを一時的にメモリ等に保持しておく必要がなく画像変形処理が行える。従って、最初のピクチャについて、入力画像信号Ｖｉｎが入力されてから出力画像信号Ｖｏｕｔが出力されるまでが短時間になり、低遅延を実現できる長所がある。更に、本実施の形態１では、最初のピクチャを保持しておく必要がないので、画像変形処理のために画面メモリを備える必要がない。従って、たとえ画像変形パラメータを格納するためのパラメータ・メモリ５３０４を備える必要があるとしてもパラメータ・メモリ５３０４の容量は、画像（１フレーム又は１フィールドのピクチャ）を格納する画面メモリの容量よりも少ないので、メモリ容量を節約できるという長所がある。
【００３８】
図８は、入力画像信号Ｖｉｎの垂直方向の相関を計算するための分割部４０１による画面の分割例を示す図である。図８（ａ）は、相関を計算する画面の例を示している。図８（ｂ）は、図８（ａ）に示した画面を分割単位に分割する例を示している。同図では画面を水平方向に２分割し、垂直方向に８分割しているが、同図は一例であり、水平方向に２分割以上にしたり、垂直分割数を８分割以上にしたりすることも可能である。理想的には、垂直方向はライン毎に分割することが望ましい。ここでは、分割した単位を、Ｌ０〜Ｌ７、Ｒ０〜Ｒ７とする。
【００３９】
相関計算部４０２は分割した単位ごとに、水平方向のライン上の画素値を水平方向に１画素ずつずらしつつ、それぞれのずれ量に対する垂直方向の画素値の相関値を計算する。相関値を計算する水平方向の幅は、数画素とする。具体的には、分割した単位であるＬ０〜Ｌ７、Ｒ０〜Ｒ７のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算する。
【００４０】
図９は画面分割単位Ｌ０〜Ｌ７、Ｒ０〜Ｒ７のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算した場合の相関の例を示すグラフである。相関値ＣｏｒＤは、対象となるラインを水平方向に移動し、真上のライン上の画素との相関を計算した値である。相関値ＣｏｒＡ〜ＣｏｒＣは対象となるラインの画素をそれぞれ左方向に３〜１画素、相関値ＣｏｒＥ〜ＣｏｒＧはそれぞれ右方向に１〜３画素ずらし、垂直方向の相関を計算したものである。ここでは、例えば、分割単位Ｌ０〜Ｌ７、Ｒ０〜Ｒ７のそれぞれについて、隣接する２ラインの組の垂直相関を上から順に計算する。そして、この２ラインの組を１行ずつ下にずらしながら、分割単位内のすべての２ラインの組の垂直相関を計算する。さらに、例えば、分割単位内のすべての隣接２ラインの組について垂直相関値を計算し、それらの和を当該分割単位の垂直相関とする。この例では、分割単位Ｌ０〜Ｌ７は左に１画素ずらした相関値ＣｏｒＣが最も大きく、分割単位Ｒ０〜Ｒ７は右に１画素ずらした相関値ＣｏｒＥが最も大きい。これは、分割単位Ｌ０〜Ｌ７が垂直な状態から右にずれており、分割単位Ｒ０〜Ｒ７が垂直な状態から左にずれていることを示す。
【００４１】
さて、右方向を正の値、左方向を負の値として、分割単位Ｌ０〜Ｌ７を右にＸＬ画素、分割単位Ｒ０〜Ｒ７を右にＸＲ画素だけずらした位置の相関が最も大きくなるとする。また、分割単位Ｌ０〜Ｌ７および分割単位Ｒ０〜Ｒ７の水平画素数をＷとすれば、当該行の画素位置Ｘ（行の左端の画素位置を０とすると、Ｘは０以上２Ｗ未満となる）の画素を
（ＸＲ−ＸＬ）（Ｘ−Ｗ／２）／Ｗ＋ＸＬ
だけ右にずらすような画像補正を行うことで、垂直方向に相関が強い画像に修正することができる。すなわち、上記の式により、分割単位Ｌ０〜Ｌ７ではＸ＝Ｗ／２の位置でＸＬ画素、分割単位Ｒ０〜Ｒ７ではＸ＝３Ｗ／２の位置でＸＲ画素ずらす補正を行い、それ以外の位置ではＸ＝Ｗ／２からのＸ方向の距離に応じて、ずれ量を比例配分して補正を行う。
【００４２】
一例を挙げると、上記の例のように、分割単位Ｌ０〜Ｌ７は左に１画素（つまり、ＸＬが−１）、分割単位Ｒ０〜Ｒ７は右に１画素（つまり、ＸＲが１）とすれば、
（１−（−１））（Ｘ−Ｗ／２）／Ｗ−（１）＝２Ｘ／Ｗ−２
だけの画素数分、右にずらすことで、垂直方向のずれがなくなることになる。なお、ＸＬは分割単位Ｌ０〜Ｌ７のそれぞれで垂直相関が大きくなる位置の平均値、ＸＲは分割単位Ｒ０〜Ｒ７のそれぞれで垂直相関が大きくなる位置の平均値、とするのが簡単であるが、必ずしも平均値を計算する必要は無く、最頻値（モード）や中央値（メディアン）などを用いてもよい。また、画素位置Ｘの画素を計算されたずれ量だけ移動する補正は、整数画素数分だけ画素位置をずらすだけでなく、動き検出や動き補償の場合と同様に画素間フィルタなどを用いて画素補間を行うことによって小数画素分のずれ量だけ移動することもできる。
【００４３】
パラメータ検出部５３０３は相関計算部４０２によって計算された垂直相関値ＣｏｒＡ〜ＣｏｒＧから、このように各画素を補正するための移動量（パラメータ）であるずれ量ＸＲ、ＸＬを計算する。画像補正部５３０５ではパラメータ検出部５３０３で計算した移動量（パラメータ） ＸＲ、ＸＬに基づいて、画像補正を行い、出力画像信号Ｖｏｕｔを出力する。
【００４４】
ここで、相関計算部４０２は、「歪み検出ピクチャの少なくとも２つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算する垂直相関計算部」に相当し、画像補正部５３０５は、「前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する前記補正手段」に相当する。
【００４５】
図１０は、本発明の画像信号処理装置の補正によって得られる画像の一例を示す図である。以上のようにして、図２４のように垂直であるべきものが歪んで撮影されてしまった画像が、本発明の画像信号処理装置で変形されることによって図１０の画像のように補正される。なお、この処理は補正された結果のラインを真上のラインとして逐次処理を行うことで、画面全体の補正が行える。
【００４６】
次に行単位でなく、画面単位で補正する方法について説明する。図１１は、ＸＹ座標を用いて画面単位で画像の歪みを補正する方法の一例を示す図である。図１１（ａ）は補正の対象となる入力画像信号Ｖｉｎを示し、図１１（ｂ）は補正後の補正画像を示している。同図に示すように、１画面の幅を２Ｗとし、画面の左上隅を（Ｘ，Ｙ）＝（０，０）として、補正前の上下の隣接する行のずれＸＬが画面内で一定であるとすると、Ｙ行目のＸＬであるＸＬ（Ｙ）は垂直座標に比例すると仮定できるので下記のように表現できる。
【００４７】
ＸＬ（Ｙ） ＝  ａ・Ｙ＋ｂ
【００４８】
よって、Ｙ＋１行目のＸＬであるＸＬ（Ｙ＋１）を用いると下記のようにａとｂを検出することができる。
【００４９】
ａ ＝  ＸＬ（Ｙ＋１）−ＸＬ（Ｙ）
ｂ ＝  ＸＬ（Ｙ）−Ｙ｛ＸＬ（Ｙ＋１）−ＸＬ（Ｙ）｝
【００５０】
このａとｂをＹが偶数の行について計算し、画面単位でａとｂの平均値ａ＿ａｖｅ、ｂ＿ａｖｅを計算すれば、
ＸＬ（Ｙ） ＝  ａ＿ａｖｅ・Ｙ＋ｂ＿ａｖｅ
によってＹ行目のＸＬが検出できる。
【００５１】
Ｙ行目のＸＲについても同様である。
【００５２】
ｃ ＝  ＸＲ（Ｙ＋１）−ＸＲ（Ｙ）
ｄ ＝  ＸＲ（Ｙ）−Ｙ｛ＸＲ（Ｙ＋１）−ＸＲ（Ｙ）｝
ＸＲ（Ｙ） ＝  ｃ＿ａｖｅ・Ｙ＋ｄ＿ａｖｅ
【００５３】
これを用いると、補正後の座標位置（ｘ，ｙ）に対応する補正前の画素位置Ｘ，Ｙは、下記の位置で取得できる。
【００５４】
【数１】
2008086007.tif 000003
【００５５】
図１２は、画面単位で画像を補正する場合の計算手順の一例を示すフローチャートである。上記の計算方法では、相関計算部４０２は、例えば、偶数行を挟む上下３ラインで、上２つのライン同士と下２つのライン同士とで相関値ＣｏｒＡ〜ＣｏｒＧを計算しておき（Ｓ１０２）、パラメータ検出部５３０３は上２つのライン同士のずれ量と、下２つのライン同士のずれ量とから垂直方向の相関が大きい位置を計算する（Ｓ１０３）。相関計算部４０２とパラメータ検出部５３０３とは、上記のステップＳ１０３とステップＳ１０２との処理を、偶数行単位で繰り返すことにより（Ｓ１０１）、画面の上から順次、各偶数行について偶数行を挟む上下３ラインで上２つと下２つのライン同士の相関値ＣｏｒＡ〜ＣｏｒＧを計算する。そして、計算により得られた相関値ＣｏｒＡ〜ＣｏｒＧから、垂直方向の直線の方程式ＸＬ（Ｙ）＝ａ・Ｙ＋ｂとＸＲ（Ｙ）＝ｃ・Ｙ＋ｄとを計算し、その直線の方程式の係数の平均値ａ＿ａｖｅ、ｂ＿ａｖｅ、ｃ＿ａｖｅ、ｄ＿ａｖｅを算出する（Ｓ１０４）。これによって、１画面における垂直方向の直線の方程式ＸＬ（Ｙ）＝ａ＿ａｖｅ・Ｙ＋ｂ＿ａｖｅおよびＸＲ（Ｙ）＝ｃ＿ａｖｅ・Ｙ＋ｄ＿ａｖｅを得ることができるので、得られた方程式から、画像補正部５３０５は、その直線の角度を垂直にするよう画面内の画像を補正する。具体的には、画像補正部５３０５は、式Ａを用いて補正前の画素位置（Ｘ，Ｙ）から補正後の画素位置（ｘ，ｙ）の画素値を算出する（Ｓ１０７）。画像補正部５３０５は、ステップＳ１０７での処理を、補正後の各行につき（Ｓ１０５）、１画素ずつ（Ｓ１０６）繰り返して行うことによって、１画面の画像を補正する。
【００５６】
図１３は、図１に示した相関計算部４０２の構成の一例を示すブロック図である。入力された画像信号は画素遅延器ＰｅｌＤｅｌａｙＢ〜ＰｅｌＤｅｌａｙＧで１画素遅延され、行遅延器ＬｉｎｅＤｅｌａｙでは１ラインと３画素遅延される。従って、行遅延器ＬｉｎｅＤｅｌａｙの出力と、画素遅延器ＰｅｌＤｅｌａｙＤの出力が１ライン分ずれていることになる。同様に、行遅延器ＬｉｎｅＤｅｌａｙの出力と、画素遅延器ＰｅｌＤｅｌａｙＥの出力が１ライン−１画素、つまり１ラインと左に１画素分ずれていることになる。行遅延器ＬｉｎｅＤｅｌａｙの出力は、入力された画像信号および画素遅延器ＰｅｌＤｅｌａｙＢ〜ＰｅｌＤｅｌａｙＧの出力と乗算器ＭｕｌＡ〜ＭｕｌＧで乗算される。乗算器ＭｕｌＡ〜ＭｕｌＧで乗算された値は、それぞれ積算器ＳｕｍＡ〜ＳｕｍＧで分割単位分の累積加算が行われ、相関値ＣｏｒＡ〜ＣｏｒＧとなる。すなわち、相関値ＣｏｒＡ〜ＣｏｒＧは、各分割単位内の１ライン目と２ライン目との相関値、２ライン目と３ライン目との相関値、３ライン目と４ライン目との相関値、・・・、（Ｈ−２）ライン目と（Ｈ−１）ライン目との相関値の和で表される。
【００５７】
ここで、相関計算部４０２は、「前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の積和を、前記ずれ量ごとに計算する垂直相関計算部」に相当する。
【００５８】
なお、図１３に示した相関計算部４０２のように、隣接する２ライン上の画素値を乗算器ＭｕｌＡ〜ＭｕｌＧで乗算する代わりに、計算がより簡単な差分絶対値器ＡｂｓＤｉｆＡ〜ＡｂｓＤｉｆＧで差分絶対値を計算するようにしてもよい。図１４は、図１３に示した乗算器ＭｕｌＡ〜ＭｕｌＧの代わりに、差分絶対値器ＡｂｓＤｉｆＡ〜ＡｂｓＤｉｆＧを用いた相関計算部４０２の構成例を示すブロック図である。図１３に示した構成と同様に、各画素遅延器ＰｅｌＤｅｌａｙＢ〜ＰｅｌＤｅｌａｙＧは入力画像信号Ｖｉｎを１画素遅延し、行遅延器ＬｉｎｅＤｅｌａｙは入力画像信号Ｖｉｎを１ラインと３画素遅延する。差分絶対値器ＡｂｓＤｉｆＡ〜ＡｂｓＤｉｆＧは入力画像信号Ｖｉｎ及び画素遅延器ＰｅｌＤｅｌａｙＢ〜ＰｅｌＤｅｌａｙＧの出力と、行遅延器ＬｉｎｅＤｅｌａｙの出力との差分の絶対値を出力する。積算器ＳｕｍＡ〜ＳｕｍＧは分割単位分の差分の絶対値を累積加算する。但し、この場合には相関値ＣｏｒＡ〜ＣｏｒＧが小さいほど相関が大きくなるので、相関値ＣｏｒＡ〜ＣｏｒＧが大きいほど相関が大きくなる図１３の場合と逆になる。本明細書では、以下、相関値ＣｏｒＡ〜ＣｏｒＧが大きいほど相関が大きくなる図１３の場合で説明するので、図１４の本発明の相関計算のブロック図の場合は、相関の大小の解釈が逆になることを注意されたい。
【００５９】
ここで、相関計算部４０２は、「前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の差分の絶対値の和を、前記ずれ量ごとに計算する前記垂直相関計算部」に相当する。
【００６０】
図１３および図１４では、検出するずれの個数に比例して演算量が増加するが、ライン単位でのずれはわずかのため、検出するずれの個数はそれほど多く必要としない。更に、カメラの設置位置の問題によって垂直相関がずれている場合には、垂直位置からのずれが極端に大きくないと考えられるため、相関計算部４０２で計算が必要とされる相関値の範囲（水平画素のずれ範囲）が小さいことも加味すると、検出するずれの個数を十分小さくして相関計算部４０２の計算量を削減しても、画像補正に必要な精度は十分と考えられる。
【００６１】
図１５は、画像に含まれる直線の各種のパターンの例を示す図である。図１５（ａ）は完全に垂直なパターン、図１５（ｂ）〜図１５（ｅ）は垂直に近いパターンである。この、図１５（ａ）〜図１５（ｅ）の範囲が、相関値Ｃｏｒで相関を計算可能なパターンである。一方、図１５（ｆ）〜図１５（ｊ）の水平に近いパターンや、図１５（ｋ）〜図１５（ｐ）の垂直および水平のいずれとも異なるパターンの場合には、相関値Ｃｏｒで相関のピークを検出できない。このピークが検出できない場合には、最大となる相関値Ｃｏｒが小さくなる。従って、ピークとなる相関値Ｃｏｒが小さい場合には、その相関値Ｃｏｒを画像補正に使用しないようにすることで、本来垂直の相関が含まれないパターンを画像補正の計算から排除し、画像補正の精度を向上できる。
【００６２】
図１６は本発明の画像信号処理装置における画像信号処理方法の手順を示すフローチャートである。相関計算部４０２は、分割領域（所定範囲）内で相関値を計算し（Ｓ１１）、計算した相関値にピーク値があるかどうかを判定する（Ｓ１２）。ピーク値があれば、ピーク位置の中心位置からのずれを計算する（Ｓ１３）。この相関値計算と、ピーク位置の中心位置からのずれの計算を、画像内の全分割領域で実施する。画像内の全分割領域で上記処理を実施した後、ピーク値を左右の分割領域の中心にするための画像変形パラメータを計算する（Ｓ１４）。計算した画像変形パラメータを用いて全画像に変形を行い（Ｓ１５）、垂直の相関が強くなるように補正された変形画像が得られる。
【００６３】
なお、上記実施の形態では、相関計算部４０２が上下に隣接するライン間の垂直方向の相関値ＣｏｒＡ〜ＣｏｒＧを計算し、計算された相関値ＣｏｒＡ〜ＣｏｒＧのピークから補正すべき画像のずれ量を計算した。しかし、本発明はこれに限定されず、他の方法によって画像のずれを計算するとしてもよい。例えば、従来のエッジ検出の手法を用いて垂直方向の線を検出し、その傾きを補正するとしてもよい。エッジ検出には、例えば、３行３列の画素値に、以下の係数を乗算して各列方向および各行方向に積和を算出するフィルタを用いる。図１７は、垂直エッジ検出のための演算に用いられる画素フィルタの簡単な一例を示す図である。同図に示す○の中の数字は、対応する位置にある画素の画素値に乗算する係数を示している。具体的には、１列目の画素について、（１，１）の位置にある画素では画素値に（−１）を乗算する。（１，２）の位置にある画素では画素値に（＋２）を乗算する。さらに、（１，３）の位置にある画素では画素値に（−１）を乗算する。これらの乗算結果を加算すると、それぞれの画素値が同じであれば、０になる。２行目の画素、３行目の画素についても同様である。列方向については、どの行についても、すべての画素値が０でない限り、何らかの値を持つことになる。すなわち、垂直方向に同じ画素値（輝度）の線がある場合、このフィルタを用いると、列方向の積和は行ごとに異なる値を持つが、線に垂直な水平方向の積和は０になる。この演算をピクチャ内のすべての画素に適用することにより、垂直方向の線を検出することができる。また、このようなフィルタを、角度を変えて適用することによって、様々な角度の線を検出することができる。これにより、垂直方向に対して一定範囲内の角度をなす線を検出して、その傾きを垂直に補正することにより、所望の画像を得ることができる。
【００６４】
また、上記実施の形態では、ピクチャごとに相関値ＣｏｒＡ〜ＣｏｒＧを計算し、画像を補正したが、本発明はこれに限定されず、一定間隔のピクチャごとに相関値ＣｏｒＡ〜ＣｏｒＧを計算し、その計算結果に基づいて、それに続くピクチャの画像を補正するとしてもよい。例えば、５分ないし１０分おきに相関値ＣｏｒＡ〜ＣｏｒＧを計算し、ずれ量を算出するとしてもよいし、本画像信号処理装置が起動される都度、ずれ量を算出するとしてもよい。
【００６５】
さらに、上記実施の形態では、１つのピクチャで検出されたパラメータを使って１つのピクチャの入力画像信号Ｖｉｎに画像変形を施すとして説明したが、必ずしも一対一の関係でなくてもよい。例えば、過去の１つのピクチャで算出されたずれ量を、後に続く複数のピクチャに比例配分し、複数の画像を補正するとしてもよい。比例配分は、ずれ量が検出されたピクチャから変形対象となるピクチャまでの時間的距離に応じて、重み付けの係数を乗算することにより行う。このようにすることによって、パラメータが検出されたピクチャから徐々に変形が加えられ、ユーザに違和感を与えることなく、垂直であるべき直線が垂直に補正された画像が表示されるというメリットがある。また、逆に、複数のピクチャでパラメータを検出しておき、それらの平均値を用いて、後のピクチャの垂直方向の線の歪みを補正するとしてもよい。このようにすることによって、カメラの前を人が横切ったりして起こる一時的な変化（ノイズ）の影響を低減して、より精度よく画像の歪みを補正することができるという効果がある。
【００６６】
また、上記実施の形態では、隣接するライン同士で相関値ＣｏｒＡ〜ＣｏｒＧを計算したが、必ずしも隣接するライン同士で相関値ＣｏｒＡ〜ＣｏｒＧを計算する必要はなく、例えば、１行おき、３行おきなどのように飛び飛びのライン同士で相関値ＣｏｒＡ〜ＣｏｒＧを計算するとしてもよい。
【００６７】
（実施の形態２）
図１８は本発明の実施の形態２の画像信号処理装置４０００の構成を示すブロック図である。実施の形態２の画像信号処理装置４０００は、入力画像信号Ｖｉｎの垂直方向の相関を計算し、計算された相関が最も高くなるよう入力画像信号Ｖｉｎを変形して出力画像を生成する点は実施の形態１の画像信号処理装置３０００と同じである。しかし、表示対象となるｉ番目の１画面分の入力画像信号Ｖｉｎ〔ｉ〕を画像メモリ内に保持しておき、保持している入力画像信号Ｖｉｎ〔ｉ〕から画像変形パラメータを計算するとともに、保持しているその入力画像信号Ｖｉｎ〔ｉ〕に対しても画像変形パラメータを適用して垂直方向の線の歪みが補正された出力画像を出力する装置である。この画像信号処理装置４０００は、画面メモリ３０７、補正処理部３００及び歪検出部３０６を備える。画面メモリ３０７は、画像データを画面（ピクチャ）単位で保持するメモリで、例えば、ｉ番目のピクチャである入力画像信号Ｖｉｎ〔ｉ〕はそのピクチャの画像変形のための処理パラメータが検出される間、ｍｅｍに一時的に格納される。ｉ番目のピクチャである入力画像信号Ｖｉｎ〔ｉ〕に対して、画像変形のための処理パラメータが検出されると、ｍｅｍに格納されていた入力画像信号Ｖｉｎ〔ｉ〕が補正処理部３００に入力される。補正処理部３００では、検出された画像変形のための処理パラメータを適用して垂直方向の線の歪みを補正し、ｉ番目のピクチャである入力画像信号Ｖｉｎ〔ｉ〕の出力画像信号Ｖｏｕｔ〔ｉ〕を出力する。
【００６８】
（実施の形態３）
図１９は本発明の実施の形態３の画像信号処理装置の構成を示すブロック図である。実施の形態３の画像信号処理装置は、外部装置として図示しない入力部を備え、ユーザが外部の入力部から入力するユーザ指定パラメータＵｓｅｒによって、相関値を計算する範囲、画像変形の度合いや画像変形の有無を切り替えられるようにしたことが、実施の形態１にない実施の形態３の特徴である。この画像信号処理装置は、歪検出部１９１０及び補正処理部１９１１及びスイッチ１９０３を備える。歪検出部１９１０は、分割部４０１、相関計算部１９０１を備え、補正処理部１９１１は、パラメータ・メモリ５３０４、パラメータ検出部１９０２及び画像補正部１９０４を備える。
【００６９】
分割部４０１は入力画像信号Ｖｉｎを分割単位に分割し、相関計算部１９０１で相関値を計算する。相関計算部１９０１にはユーザ指定パラメータＵｓｅｒが入力されている。このユーザ指定パラメータＵｓｅｒは、例えば、入力画像信号Ｖｉｎに対し、相関値を計算する範囲を指定するためのパラメータのセットである。例えば、ＴＶ会議・ＴＶ電話などで、背景に垂直の柱などがある場合に、ユーザがユーザ指定パラメータＵｓｅｒでこの部分を指示し、この柱を含む分割単位でのみ相関値を計算することで、計算処理が大幅に削減でき、更にこの柱の部分以外の影響を受けないので柱の部分の垂直相関を高め、柱を垂直とする精度が向上する。ここで、相関計算部１９０１は、「ユーザインタフェースを介して、画像の垂直方向の線の歪みを検出すべきピクチャ内の領域の指定をユーザから受け付け、受け付けられた領域内で、前記垂直方向の線の歪みを検出する前記歪み検出手段」に相当する。
【００７０】
また、パラメータ検出部１９０２は、垂直相関が大きいと思われる領域が垂直となるような画像変形パラメータを検出し、パラメータ・メモリ５３０４に格納する。パラメータ検出部１９０２には外部からのユーザ指定パラメータＵｓｅｒが入力されている。本来垂直であるものを元の通りの垂直に補正することは正しい補正であるが、垂直相関が大きい領域を完全に垂直に変形するのではなく、やや弱めの（すなわち、少し垂直に近い状態に近づける）変形を行った方が、画像変形による副作用を抑えることができる。画像変形による副作用とは、本来は垂直でない領域を誤って垂直に変形する処理である。そこで、外部からのユーザ指定パラメータＵｓｅｒにより、画像変形の度合いを弱める指示を行う。又はユーザ指定パラメータＵｓｅｒにより指示されたピクチャもしくは期間では画像変形を行わないとするような指示を行なう。これにより、パラメータ検出部１９０２は、ユーザ指定パラメータＵｓｅｒの指示により適合した画像変形パラメータを検出し、パラメータ・メモリ５３０４に格納したパラメータを修正できるようにしておけば効果的である。なお、この処理は、パラメータ検出部１９０２で行う場合に限らず、パラメータ検出部１９０２は通常と同様のパラメータをパラメータ・メモリ５３０４に格納するだけでよく、その代わりスイッチ１９０３または画像補正部１９０４で行うこととしてもよい。
【００７１】
画像補正部１９０４は、パラメータ・メモリ５３０４から読み出した画像変形パラメータに基づいて、入力画像信号Ｖｉｎに画像変形を施し、垂直相関が大きくなるように変形された出力画像信号Ｖｏｕｔとして出力する。ただし、画像補正部１９０４は、ユーザ指定パラメータＵｓｅｒによってユーザから指定される画像変形の度合いに応じて、画像変形パラメータＸＲ、ＸＬにあらかじめ定めた係数を乗算して変形の度合いを調整する。なお、この処理を上記のパラメータ検出部１９０２で行う場合には、画像補正部１９０４はユーザ指定パラメータＵｓｅｒを無視する。ここで、画像補正部１９０４は、「ユーザインタフェースを介して、補正の度合いの指定をユーザから受け付け、受け付けられた前記補正の度合いに対応して、前記歪み検出手段によって検出された前記画像の水平方向へのずれ量を調整し、調整された前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する前記補正手段」に相当する。
【００７２】
スイッチ１９０３は、外部からのユーザ指定パラメータＵｓｅｒによって、画像を変形したくない場合は変形する前の画像（すなわち、入力画像信号Ｖｉｎ）をそのまま出力する。ここで、スイッチ１９０３は、「ユーザインタフェースを介して、補正しない期間の指定をユーザから受け付け、受け付けられた前記期間は、前記補正対象ピクチャに対応する入力ピクチャをそのまま出力する前記補正手段」に相当する。変形したくない場合とは、変形の有無による効果をユーザが確認する場合や、本来は垂直でない線が補正で垂直に補正されてしまう場合である。
【００７３】
なお、ユーザ指定パラメータＵｓｅｒによって、相関値計算の範囲、画像変形の度合いや有無を切り替える例を示したが、これらの全てを切り替える必要は無く、一部のみをユーザが切り替えられるようにしても良い。
【００７４】
更に、相関値計算や画像変形パラメータの検出に必要な計算量を更に削減するために、動画像信号の必ずしも全ての画像に対し、相関値計算や画像変形パラメータの検出を実施しなくてもよい。例えば、数画像毎に１回処理を実施するようにしたり、また外部からユーザが指示したタイミングで、相関値計算や画像変形パラメータの検出を実施したりするようにしても良い。
【００７５】
（実施の形態４）
図２０は本実施の形態４の画像符号化装置の構成を示すブロック図である。同図において、破線で囲まれた部分は、図１に示した本発明の画像信号処理装置３０００の構成と同じである。画像符号化部２００１は画像補正部５３０５で変形した画像を符号化し、画像符号化ストリームＳｔｒとして出力する。
【００７６】
本実施の形態４のＴＶ会議・ＴＶ電話システムでは、カメラ１０１で撮影した画像を符号化し、相手に送信する。図１に構成を示した画像信号処理装置により、カメラ１０１で撮影した画像を、垂直の相関値が大きくなるように画像変形を実施してから画像符号化部２００１で符号化する。従って、相手側（受信側）では、画像符号化ストリームＳｔｒを受信して復号化するだけで、本来垂直であるべき物体が傾きを持つことなく正しく垂直に補正された画像を表示できる。ここで、画像符号化部２００１は「前記補正手段によって補正された補正後ピクチャを符号化して、符号列を出力する符号化手段」に相当する。
【００７７】
（実施の形態５）
図２１は実施の形態５の画像復号装置の構成を示すブロック図である。同図において、破線で囲まれた部分は、図１の構成と同じである。画像復号部２１１１は画像符号化ストリームＳｔｒを復号し、図１の画像信号処理装置によりライン上の画素間の垂直の相関値が大きくなるように画像変形を実施してから、表示装置１０２の表示用に出力画像信号Ｖｏｕｔを出力する。
【００７８】
ＴＶ会議・ＴＶ電話システムの送信側で、カメラ１０１で撮影した画像をそのまま符号化した画像符号化ストリームＳｔｒを送信された場合には、受信側で画像符号化ストリームＳｔｒを受信して復号化するだけでは、本来は垂直であるべき物体がそのように表示されない。そこで、画像復号部２１１１で復号した画像を、図１の画像信号処理装置の処理で画像変形パラメータを検出して、画像を変形する。これにより、本来は垂直であるべき物体が正しく垂直になるように画像変形されるので、カメラ１０１で撮影した画像に対して画像変形を実施しないで符号化した画像符号化ストリームＳｔｒでも、正しく垂直に補正されて表示できるようになる。ここで、画像復号部２１１１は、「入力される符号列を復号化する復号化手段」に相当し、相関計算部４０２およびパラメータ検出部５３０３は、「前記復号化手段で復号化されることによって得られた動画像について、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する前記歪み検出手段」に相当し、画像補正部５３０５は、「前記歪み検出手段によって検出された垂直方向の線の歪みを、前記補正対象ピクチャを対象として補正する前記補正手段」に相当する。
【００７９】
なお、上記実施の形態では、ＴＶ会議やＴＶ電話のカメラを対象とし、動画像に含まれる垂直方向の線について傾きを補正すると説明したが、本発明はこれに限定されない。例えば、行と列との処理を入れ替えることによって、上記実施の形態と同じ方法を用いて、水平方向の線の傾きを補正することも可能である。
【００８０】
また、実施の形態２記載の本発明によれば、歪み検出の対象となるピクチャと補正対象となるピクチャとが同じ場合であっても上記の補正を施すことができる。従って、動画像に限らず、静止画についても同様にして垂直方向の画像の歪みを補正することができる。
【００８１】
（実施の形態６）
さらに、上記各実施の形態で示した画像信号処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００８２】
図２２は、上記各実施の形態の画像信号処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００８３】
図２２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００８４】
また、図２２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像信号処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムを、フレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより画像信号処理方法を実現する上記画像信号処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００８５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００８６】
なお、ブロック図（図１、図１８、図１９、図２０、図２１）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００８９】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【００９０】
以上のように、本発明では、撮影した画像の情報のみを用いて画像信号を変形するので、カメラと被写体の距離やカメラの向きを、予め測定したりセンサで取得したりする必要が無く、安価且つ容易に本来は垂直線もしくは水平線となっていると思われる部分が垂直線もしくは水平線となるように画像信号を変形することができる。
【００９１】
従って、被写体正面から撮影できない場合でも撮影した画像の歪みを大きく低減し、ＴＶ会議・ＴＶ電話での違和感を小さくすることができ、その産業上の利用価値は高い。
【図面の簡単な説明】
【００９２】
【図１】実施の形態１の画像信号処理装置の構成を示すブロック図である。
【図２】図１に示した実施の形態１における歪検出部の構成を示すブロック図である。
【図３】図１に示した補正処理部の構成を示すブロック図である。
【図４】図３に示した補正処理部の詳細な構成を示すブロック図である。
【図５】実施の形態１においてパラメータを検出する対象となる画面と、検出されたパラメータを用いて変形の対象となる画面との関係を説明する図である。
【図６】実施の形態１の画像信号処理装置の歪み補正処理における動作の一例を示すフローチャートである。
【図７】図２に示した補正処理部の他の例である補正処理部の詳細な構成を示すブロック図である。
【図８】入力画像信号Ｖｉｎの垂直方向の相関を計算するための画面の分割例を示す図である。
【図９】画面分割単位Ｌ０〜Ｌ７、Ｒ０〜Ｒ７のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算した場合の相関の例を示すグラフである。
【図１０】本発明の画像信号処理装置の補正によって得られる画像の一例を示す図である。
【図１１】ＸＹ座標を用いて画面単位で画像の歪みを補正する方法の一例を示す図である。
【図１２】画面単位で画像を補正する場合の計算手順の一例を示すフローチャートである。
【図１３】図１に示した相関計算部の構成の一例を示すブロック図である。
【図１４】図１１に示した乗算器ＭｕｌＡ〜ＭｕｌＧの代わりに、差分絶対値器ＡｂｓＤｉｆＡ〜ＡｂｓＤｉｆＧを用いた相関計算部の構成例を示すブロック図である。
【図１５】画像に含まれる直線の各種のパターンの例を示す図である。
【図１６】本発明の画像信号処理装置における画像信号処理方法の手順を示すフローチャートである。
【図１７】エッジ検出のための演算に用いられる画素フィルタの簡単な一例を示す図である。
【図１８】実施の形態２の画像信号処理装置の構成を示すブロック図である。
【図１９】実施の形態３の画像信号処理装置の構成を示すブロック図である。
【図２０】実施の形態４の画像符号化装置の構成を示すブロック図である。
【図２１】実施の形態５の画像復号化装置の構成を示すブロック図である。
【図２２】上記各実施の形態の画像信号処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【図２３】ＴＶ会議システムの表示装置とカメラの設置例を示す図である。
【図２４】垂直であるべきものが歪んで撮影される画像の例を示す図である。
【符号の説明】
【００９３】
１０１  カメラ
１０２  表示装置
１０３  柱
１０４  壁
３００、７００、１９１１  補正処理部
３０６、１９１０  歪検出部
３０７  画面メモリ
３１０、３１１、７１０、７１１、１９０３  スイッチ
４０１  分割部
４０２、１９０１  相関計算部
１８０４  画面メモリ
２００１  画像符号化部
２１１１  画像復号部
３０００、４０００  画像信号処理装置
５３０３、７０３、１８０３、１９０２  パラメータ検出部
５３０４、７０４  パラメータ・メモリ
５３０５、７０５、１８０５、１９０４  画像補正部
ＰｅｌＤｅｌａｙＡ〜ＰｅｌＤｅｌａｙＦ  画素遅延器
ＬｉｎｅＤｅｌａｙ  行遅延器
ＭｕｌＡ〜ＭｕｌＧ  乗算器
ＳｕｍＡ〜ＳｕｍＧ  積算器
ＣｏｒＡ〜ＣｏｒＧ  相関値
ＡｂｓＤｉｆＡ〜ＡｂｓＤｉｆＧ  差分絶対値器
Ｖｉｎ  入力画像信号
Ｖｏｕｔ  出力画像信号
Ｓｔｒ  画像符号化ストリーム
Ｕｓｅｒ  ユーザ指定パラメータ
Ｃｓ  コンピュータシステム
ＦＤ  フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
【図１】
2008086007.tif 000004
【図２】
2008086007.tif 000005
【図３】
2008086007.tif 000006
【図４】
2008086007.tif 000007
【図５】
2008086007.tif 000008
【図６】
2008086007.tif 000009
【図７】
2008086007.tif 000010
【図８】
2008086007.tif 000011
【図９】
2008086007.tif 000012
【図１０】
2008086007.tif 000013
【図１１】
2008086007.tif 000014
【図１２】
2008086007.tif 000015
【図１３】
2008086007.tif 000016
【図１４】
2008086007.tif 000017
【図１５】
2008086007.tif 000018
【図１６】
2008086007.tif 000019
【図１７】
2008086007.tif 000020
【図１８】
2008086007.tif 000021
【図１９】
2008086007.tif 000022
【図２０】
2008086007.tif 000023
【図２１】
2008086007.tif 000024
【図２２】
2008086007.tif 000025
【図２３】
2008086007.tif 000026
【図２４】
2008086007.tif 000027