【事件の表示】
　特許第２９８９３６４号「画像処理装置及び画像処理方法」の請求項１ないし７に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第２９８９３６４号の請求項１ないし７に係る特許を維持する。
【理　由】
（１）手続の経緯
　本件特許第２９８９３６４号の請求項１乃至７に係る発明についての出願は、平成４年３月１２日に特許出願され、平成１１年１０月８日にそれら発明について特許の設定登録がなされ、その後、異議申立人大角修三より特許異議の申立てがなされ、取消理由通知がなされ、その指定期間内である平成１２年１０月３１日に訂正請求がなされたものである。
（２）訂正の適否について
ア．訂正の内容
　特許権者が求めている訂正の内容は、以下のａ、ｂ、ｃのとおりである。
ａ．請求項１及び７の「上記移動情報に基づいて」を「上記移動情報中の移動方向を示す情報に基づいて」と訂正し、これに合わせて【００１４】段落の「上記移動情報に基づいて」を「上記移動情報中の移動方向を示す情報に基づいて」と訂正する。
ｂ．請求項１の従属形式であった請求項４及び５をそれぞれ独立形式に訂正し、それに合わせて【００１４】段落の記載を訂正する。
ｃ．【０２７０】段落の「（Ｎ×Ｎ）画素」を「（Ｍ×Ｎ）画素」に訂正する。
イ．訂正の目的の適否、新規事項の有無及び拡張・変更の存否
　上記ａの訂正事項は、特許請求の範囲の減縮及び明りょうでない記載の釈明を目的とするものであり、新規事項の追加に該当せず、上記ｂの訂正事項は、明りょうでない記載の釈明を目的とするものであり、新規事項の追加に該当しない。また、上記ｃの訂正事項は、誤記の訂正を目的とするものであり、新規事項の追加に該当しない。そして、上記ａ、ｂ、ｃを訂正事項とする訂正はいずれも実質上特許請求の範囲を拡張又は変更するものでもない。
ウ．むすび
　以上のとおりであるから、上記訂正は、特許法第１２０条の４第２項及び同条第３項で準用する第１２６条第２項及び同条３項の規定に適合するので、当該訂正を認める。
（３）特許異議の申立てについて
ア．本件請求項１乃至７に係る発明
　平成１２年１０月３１日付けで提出された訂正明細書の請求項１乃至７に係る発明は、その特許請求の範囲の請求項１乃至７に記載された事項により特定されるとおりのものである。
イ．申立ての理由の概要
　異議申立人安倍逸郎は、証拠として甲第１号証（特開平３−１８２９７６号公報）、甲第２号証（「電子情報通信学会技術研究報告」（信学技報Ｖｏｌ．８８、Ｎｏ．３２４）ｐｐ２１〜２８）及び甲第３号証（特開平３−３４７８０号公報）を提出し、本件請求項１乃至７に係る発明は、甲第１号証乃至甲第３号証に記載された発明に基いて当業者が容易に発明をすることができたものであり、特許法第２９条第２項の規定により特許を受けることができないものであるから、本件請求項１乃至７に係る発明の特許を取り消すべき旨主張している。
ウ．甲各号証に記載された発明
　甲第１号証には、オーバーラップして連続的に撮影された複数のデジタル画像を自動接合するデジタル画像の接合方法、具体的には、オーバーラップして撮像された２つの画像の濃度が等しくなるように濃度変換し、該濃度変換後の各画像について濃度を２値化し、特定の画素数にて構成される粒子状部分を抽出して２個の特徴粒子を選択し、該２個の特徴粒子を結ぶ直線を接合線として２つの画像を合成するようにしたデジタル画像の接合方法が記載されている。
　甲第２号証には、視覚を備えた知能移動ロボットにおいて、異なった視点で撮られた画像間の対応付けを行う際、視点間の位置関係から生じる幾何学的な拘束条件を導びき、探索範囲を減少させて対応点を能率良く信頼性高く見つける技術、より具体的には、移動前後のカメラ間の位置関係をロボットに搭載した内部センサにより検出し、幾何学的拘束条件に基づいて視線像のまわりに探索領域を限定して対応点を求めるようにすることが記載されている。
　甲第３号証には、カメラから時系列で連続的に取得される画像データを電気的に合成する技術として、画像データのフレーム間相関からフレーム間の視野シフト量を求めて画像を合成するようにすることが記載されている。
エ．対比・判断
  本件請求項１及び７に係る発明と甲第１号証乃至甲第３号証に記載された発明とを対比すると、甲第１号証乃至甲第３号証に記載された発明は、本件請求項１及び７に係る発明が要件とする「上記移動情報中の移動方向を示す情報に基づいて上記時系列で前後する画像のマッチング範囲を制限して上記比較結果を得る」ことについて開示も示唆もしない。そして、本件請求項１及び７に係る発明は、上記要件を備えることにより、複数の画像フレームをつなぎあわせて画像合成する画像処理装置または画像処理方法において複数の画像をマッチングする際の処理量を軽減することができるという明細書記載の効果（【０２６７】乃至【２７１】段落の記載参照）を奏するものであるから、本件請求項１及び７に係る発明は、甲第１号証乃至甲第３号証に記載された発明であるとはいえず、甲第１号証乃至甲第３号証に記載された発明に基いて当業者が容易に発明をすることができたものともいえない。
　本件請求項２及び３は、本件請求項１を引用するものであるから、それら請求項に係る発明と甲第１号証乃至甲第３号証に記載された発明との対比・判断は、本件請求項１に係る発明についての上述のものと同様である。
　本件請求項４に係る発明と甲第１号証乃至甲第３号証に記載された発明とを対比すると、甲第１号証乃至甲第３号証に記載された発明は、本件請求項４に係る発明が要件とする「上記メイン画像メモリに記憶された時系列で前の画像を上記入力画像メモリに記憶された時系列で後の画像と同一画素数の画像に縮小して上記位置補正する」ことについて開示も示唆もしない。そして、本件請求項４に係る発明は、上記要件を備えることにより、複数の画像フレームをつなぎあわせて画像合成する画像処理装置において複数の画像をマッチングする際の処理量を軽減することができるという明細書記載の効果（【０２５３】乃至【２６６】段落の記載参照）を奏するものであるから、本件請求項４に係る発明は、甲第１号証乃至甲第３号証に記載された発明であるとはいえず、甲第１号証乃至甲第３号証に記載された発明に基いて当業者が容易に発明をすることができたものともいえない。
  本件請求項５に係る発明と甲第１号証乃至甲第３号証に記載された発明とを対比すると、甲第１号証乃至甲第３号証に記載された発明は、本件請求項５に係る発明が要件とする「上記画像入力手段を振動させる振動手段」を有し、「上記振動に応じた複数の画像それぞれが上記入力される画像フレームである」ことについて開示も示唆もしない。そして、本件請求項５に係る発明は、上記要件を備えることにより、オペレータが画像入力手段を固定していた場合でもパノラマ画像または高解像度の画像を入力することができるという明細書記載の効果（【０２７２】乃至【２７６】段落の記載参照）を奏するものであるから、本件請求項５に係る発明は、甲第１号証乃至甲第３号証に記載された発明であるとはいえず、甲第１号証乃至甲第３号証に記載された発明に基いて当業者が容易に発明をすることができたものともいえない。
　本件請求項６は、本件請求項５を引用するものであるから、その請求項に係る発明と甲第１号証乃至甲第３号証に記載された発明との対比・判断は、本件請求項５に係る発明についての上述のものと同様である。
オ．異議申立人の主張
　異議申立人は、画像入力手段の移動情報を検出し、それに基づいて画像のマッチング範囲（対応点の探索領域）を制限する手法は、甲第２号証に記載があるように、画像処理分野において何ら新規な手法ではなく、本件請求項１及び７に係る発明は、甲第１号証及び甲第２号証に記載された発明に基いて当業者が容易に発明をすることができたものであると主張しているが、訂正された本件請求項１及び７に係る発明は、移動情報に基づいて時系列で前後する画像のマッチング範囲を視線像のまわりに制限して対応点を見出すという、甲第２号証に記載されている知能移動ロボットにおけるものではなく、複数の画像フレームをつなぎあわせて画像合成する画像処理装置あるいは画像処理方法において「移動情報中の移動方向を示す情報」に基づいて時系列で前後する画像のマッチング範囲を制限して比較結果を得るというものであって、甲第２号証に記載された発明とは画像処理の内容とマッチング範囲の制限の具体的手法とを異にするから、異議申立人の上記主張は採用できない。
　また、異議申立人は、本件請求項２乃至６に係る発明も何ら特許に値しないものであると主張しているが、請求項２及び３は、請求項１を引用しており、請求項６は、請求項３を引用しているから、それら請求項に係る発明については本件請求項１に係る発明ついてと同様のことがいえ、請求項４に係る発明の「上記メイン画像メモリに記憶された時系列で前の画像を上記入力画像メモリに記憶された時系列で後の画像と同一画素数の画像に縮小して上記位置補正する」、請求項５に係る発明の「上記画像入力手段を振動させる振動手段」を有し、「上記振動に応じた複数の画像それぞれが上記入力される画像フレームである」という要件を備えるようにすることは、当業者が設計段階で必要に応じて考慮することができる程度のことであるともいえないから、異議申立人のかかる主張も採用できない。
カ．むすび
　したがって、特許異議申立ての理由及び証拠によっては本件請求項１乃至７に係る発明の特許を取り消すことはできない。
　また、他に本件請求項１乃至７に係る発明の特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１２年１１月２７日（２０００．１１．２７）
【訂正の要旨】
　　　訂正の要旨
ａ．　特許請求の範囲の請求項１及び請求項７に記載の「上記移動情報に基づいて」を「上記移動情報中の移動方向を示す情報に基づいて」と訂正する。
　これに伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るため、明瞭でない記載の釈明を目的として、明細書の【００１４】段落に記載の「上記移動情報に基づいて」を「上記移動情報中の移動方向を示す情報に基づいて」に訂正する。
ｂ．　特許請求の範囲の請求項１の従属形式である請求項４を、訂正前の請求項１に請求項４を加えた独立形式の請求項４に訂正する。請求項５についても同様に、訂正前の請求項１に請求項５を加えた独立形式の請求項５に訂正する。
　これに伴い、特許請求の範囲の記載と発明の詳細な説明の記載との整合を図るため、明瞭でない記載の釈明を目的として、明細書の【００１４】段落に記載の内容を訂正する。
ｃ．　明細書の【０２７０】段落に記載の「（Ｎ×Ｎ）画素」を「（Ｍ×Ｎ）画素」に訂正する。
（５４）【発明の名称】
画像処理装置及び画像処理方法
（５７）【特許請求の範囲】
　　【請求項１】　時系列に入力される画像フレームを複数つなぎあわせて画像合成する画像処理装置であって、
時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、
上記画像フレームを入力するための画像入力手段と、
該画像入力手段の移動情報を検出する検出手段と、を有し、
上記入力処理手段は、上記移動情報
中の移動方向を示す情報
　　【請求項２】　上記入力処理手段は、上記時系列で前後する画像の各画素の重み付き平均により合成することを特徴とする請求項１記載の画像処理装置。
　　【請求項３】　上記入力処理手段は、上記時系列で前後する画像を同一サイズに拡大してから上記比較結果を得、上記位置補正された時系列で前後する画像から画像フレームの画素数より多い画素数の画像に合成することを特徴とする請求項１記載の画像処理装置。
　　【請求項４】　
時系列に入力される画像フレ−ムを複数つなぎあわせて画像合成する画像処理装置であって、
時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、
上記画像フレ−ムを入力するための画像入力手段と、
該画像入力手段の移動情報を検出手段と、
上記入力される画像フレームを記憶する入力画像メモリと、該入力画像メモリより大きな画像サイズで上記合成後の画像を記憶するメイン画像メモリと、を有し、上記入力処理手段は、
上記移動情報に基づいて上記時系列で前後する画像のマッチング範囲を制限して上記比較結果を得、
　　【請求項５】　
時系列に入力される画像フレ−ムを複数つなぎあわせて画像合成する画像処理装置であって、
時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、
上記画像フレームを入力するための画像入力手段と、
上記画像入力手段の移動情報を検出する検出手段と、
上記画像入力手段を振動させる振動手段と、を有し、
上記入力処理手段は、上記移動情報に基づいて上記時系列で前後する画像のマッチング範囲を制限して上記比較結果を得、
る画
　　【請求項６】　上記合成された画像を表示する画像表示手段を有することを特徴とする請求項３記載の画像処理装置。
　　【請求項７】　時系列に入力される画像フレームを複数つなぎあわせて画像合成する画像処理方法であって、時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成し、上記画像フレームを入力するための画像入力手段の移動情報を検出し、上記移動情報
中の移動方向を示す情報
【発明の詳細な説明】
　　　【０００１】
　　【産業上の利用分野】
　本発明は、画像データを入力し、該入力データを処理して、高解像度の画像を生成する、画像処理装置に関するものである。
　　　【０００２】
　　【従来の技術】従来、高解像度または、パノラマ画像を入力するためには、以下の方法がある。
（１）　高解像度の撮像素子を用いる方法。
　画像処理装置の入力手段に高解像度の撮像素子を用いることにより、高解像度の画像を入力できる。
　　　【０００３】
（２）　ラインセンサをスキャンさせる方法。
　この方式は、主に密着型イメージスキャナとして、イメージスキャナ、ＦＡＸ、コピア等に広く用いられている技術で、ライン状のＣＣＤセンサの一回の読み取り動作で１主走査方向の画像を読み取り、副走査を機械的・光学的に行うことにより、画像情報を入力する技術である。
　　　【０００４】
　また、下記の文献１には、非接触のラインイメージセンサを機械的・光学的に副走査することにより、パノラマ画像を得る試みが記載されている。
（文献１）　環境のパノラマ表現；辻（阪大・基礎工）；信学誌
Ｖｏｌ．７４，Ｎｏ４，ｐｐ．３５４−３５９（１９９１）
（３）　複数の撮像素子を用いる方法。
　　　【０００５】
　この方法は、下記の文献２乃至文献５で述べられている方法で、複数の相対的な位置関係が既知の撮像素子から得られた画像情報を繋ぎ合わせることで高解像度の画像を入力するものである。
（文献２）　超高精細画像取得のための基礎検討　−ステレオ画像処理による高精細画像取得−；相沢（東大工）斎藤，小松（神奈川大工）；ＩＥ９０−５４（１９９０）
（文献３）　撮像領域合成法による高速静止画入力方式；上平（ＮＴＴ　ＨＩ研）；信学春季全大予稿集７−１０３（１９９１）
（文献４）　撮像領域合成法による高速高精細文書読み取り技術；上平，松木（ＮＴＴ）；画像電子学会全国大会予稿集１８ｐｐ７５−７８（１９８９）
（文献５）　光学接続型静止画カメラ；上平（ＮＴＴ）；画像電子学会誌ｐｐ２０３−２０８，Ｖｏｌ．２０，Ｎｏ．３（１９９１）
（４）　画像を張り合わせる方法。
この方法は、時系列的に入力した複数の画像を繋ぎ合わせることにより、パノラマまたは広範囲の画像を入力する方法で、下記の文献６乃至文献８に述べられている。
（文献６）　実時間画像貼り合わせ機能を持つハンドスキャン型文書画像入力装置；岡田，大田，坂井（京大工学部）；ＩＥ８１−１７（１９８１）
（文献７）　動画像のパニングを考慮した背景画像の合成；吉沢，花村，富永（早大）；信学春季全大予稿集７−５１（１９９０）
（文献８）　分割撮像によるパノラマ画像の生成法；中村，金子（東京理科大），林（ＮＨＫ放送技研）；信学春季全大予稿集７−１６５（１９９１）
（５）撮像素子を振動させる方法。
この方法は、以下の文献９に述べられているように、ＣＣＤ撮像素子を振動させることにより、振動方向に対して２倍の解像度の画像が得られる。
（文献９）　スウィング撮像によるＣＣＤの高解像度化；吉田，遠藤，原田（東芝）；ＩＥ８３−６５（１９８３）
　　　【０００６】
　　【発明が解決しようとする課題】
　しかしながら上記の様な画像入力方式においては、以下のような問題点が存在する。
（ａ）　上記従来技術の（１）で述べた「高解像度の撮像素子を用いる方法」では、入力する画像の画素数は撮像素子に依存するため、撮像素子の性能以上の画素数の入力は不可能である。
　　　【０００７】
（ｂ）　上記従来技術の（２）で述べた「ラインセンサをスキャンさせる方式」では、主走査方向の画素数は、上記（ａ）と同様にラインセンサの画素数に制限される他、副走査方向の機械的・光学的スキャンを精密に行わないと、ライン間の画像の整合性が悪くなり、きれいな画像が入力できない。
　　　【０００８】
　本発明は、画像データを入力し、該入力データを処理して、高解像度またはパノラマの画像を生成する、画像処理装置及び画像処理方法に関するものである。
　　　【０００９】
（ｄ）　上記従来技術の（４）で述べた「画像を張り合わせる方式」においては以下の問題点がある。文献６に示す方式では、対象画像は２値画像に限られている他、オペレータによる走査方向が限られている、及び、走査方向と直角の手振れに弱いなどの問題点がある。
　　　【００１０】
　文献７に示す方式では、フレーム間の平行移動成分のみでフレーム間の画像に対する位置合わせを行っているため、フレーム間で画像が回転や拡大・縮小した場合、解像度は低下するという欠点がある。
　　　【００１１】
　文献８に示す方法では、複数のフレームの位置関係すなわち、カメラのパン／チルトの移動量・角度等に制限がある他、１点から見たパノラマ画像をえることができるが、カメラの平行移動には対応できない。
　　　【００１２】
（ｅ）　上記従来技術の（５）で述べた「撮像素子を振動させる方法」では、振動は１方向のみで、解像度は高々撮像素子の画素数の２倍に限られるほか、振動の振幅と撮像信号の取り込みを正確に同期させるための特殊な撮像素子が必要となる問題点がある。
　　　【００１３】
　本発明は、以上の種々の問題点を解決するためになされたものであり、その目的は、画素数の少ない複数の画像から高精細・広範囲の画像を生成する画像処理装置及び画像処理方法を提供すること、及び、通常の撮像素子を単数用い、入力時の撮像素子の走査に特殊かつ厳密な制限のない、非接触に撮像素子の解像度以上の多値画像を入力できる、また、パノラマ多値画像の撮影が行え、低解像度の画像が入力されても高解像度画像を生成出力できる特徴をもつ画像処理装置及び画像処理方法を提供することにある。
　　　【００１４】
　　【課題を解決するための手段】請求項１記載の画像処理装置は、時系列に入力される画像フレームを複数つなぎあわせて画像合成する画像処理装置であって、時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、上記画像フレームを入力するための画像入力手段と、該画像入力手段の移動情報を検出する検出手段と、を有し、上記入力処理手段は、上記移動情報
中の移動方向を示す情報
時系列に入力される画像フレームを複数つなぎあわせて画像合成する画像処理装置であって、時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、上記画像フレームを入力するための画像入力手段と、該画像入力手段の移動情報を検出する検出手段と、
上記入力処理手段は、上記移動情報に基づいて上記時系列で前後する画像のマッチング範囲を制限して上記比較結果を得、
時系列に入力される画像フレームを複数つなぎあわせて画像合成する画像処理装置であって、時系列で前の画像の代表点候補から選択された代表点と時系列で後の画像の対応点との比較結果に基づいて時系列で前後する画像を位置補正して合成する入力処理手段と、
上記画像入力手段の移動情報を検出する検出手段と、
上記入力処理手段は、上記移動情報に基づいて上記時系列で前後する画像のマッチング範囲を制限して上記比較結果を得、
中の移動方向を示す情報
　　　【００１５】
　　【作用】
　請求項１記載の画像処理装置または請求項７記載の画像処理方法によれば、広範囲の画像を合成してパノラマ画像にでき、しかも信頼性の高い選択された代表点でマッチング処理するため、より正確な位置合わせができ、マッチング処理の計算量が少なくてすむ。請求項２記載の画像処理装置によれば、合成した画像のつなぎ目を滑らかにできる。請求項３記載の画像処理装置によれば、入力画像より高解像度の合成画像が得られる。また、請求項６記載の画像処理装置によれば、その合成画像を表示できる。請求項４記載の画像処理装置によれば、マッチング処理の計算量が少なくて済む。請求項５記載の画像処理装置によれば、画像入力手段の解像度より高解像度の入力画像として入力し画像合成できる。
　　　【００１６】
　【実施例】
＜第１の実施例＞
　本発明に係る、高解像度かつ広範囲な画像の生成が可能な画像処理装置を実施例として、図に基づいて説明する。
　　　【００１７】
　本実施例の画像処理装置のハードウエアは、図２に示す様に、画像入力手段１１と入力処理手段１２と画像蓄積手段１３と出力処理手段１４と画像出力手段１５で構成される。
　　　【００１８】
　画像入力手段１１は、画像を光電変換し、デジタルデータに変換するための装置で、例えばＣＣＤカメラとＡ／Ｄコンバータおよび周辺回路で構成される。入力処理手段１２は、画像入力手段によってデジタル信号に変換された画像データおよび画像蓄積手段１３内の画像データを処理する装置で、例えばＤＳＰやＬＳＩ、半導体メモリおよび周辺回路で構成される。
　　　　【００１９】
　画像蓄積手段１３は、入力処理手段１２から出力される画像データを蓄積するための手段で、例えば半導体メモリおよび周辺回路から構成される。出力処理手段１４は、画像蓄積手段１３内の画像データを、出力手段１５に出力可能な形式に変換する装置で、例えば、ＩＣやＬＳＩ、半導体メモリおよび周辺回路で構成される。出力手段１５は、出力処理手段によって適当な形式に変換された画像データを表示またはプリントアウトするための装置で、例えば、プリンタ装置またはディスプレイ装置で構成される。
　　　【００２０】
　図１は、本実施例の、画像入力手段１１、入力処理手段１２および画像蓄積手段１３の構成例を示す図である。
　　　【００２１】
　本実施例では、オペレータが手に持ったカメラをパンしながら連続撮像した複数フレームの画像を繋ぎ合わせることにより、撮像した範囲のパノラマ画像を生成するための装置の一例を示す。
　　　【００２２】
　図１において、同期手段２０は、デジタル回路で構成され、画像入力手段１１、入力処理手段１２および画像蓄積手段１３の処理を同期させるための同期パルス信号を各種手段に出力する。同期手段２０が発生する同期パルス信号には、３種類ある。すなわち、図１２に示すように、
リセット信号：システムのリセットを示し、アクティブになった後の最初のフレーム切り替え信号がアクティブになるまでアクティブ状態を保持する２値の信号。
フレーム切り替え信号：処理するフレーム毎にアクティブになり、フレームに対する処理が行われている間、アクティブ状態を保持する２値の信号。
画素切り替え信号：メインメモリ１画素の処理を行う毎に発生する２値のパルス信号。
図１２におけるこれらの信号の働きについては後に詳述する。
　　　【００２３】
　図１の画像入力手段１１は、ＣＣＤ撮像部２１およびＡ／Ｄ変換回路２２で構成され、ＣＣＤ撮像部２１は、ＣＣＤ素子および周辺回路からなり、同期手段２０から入力する同期信号のフレーム切り替え信号に同期して、画像を光電変換し、Ａ／Ｄ変換回路２２へ電気信号として出力する。
　　　【００２４】
　Ａ／Ｄ変換回路２２は、Ａ／Ｄ変換器および周辺回路からなり、同期手段２０から入力する信号に同期して、すなわち、フレーム切り替え信号が非アクティブに変化するか、リセット信号がアクティブに変化した後、再度フレーム切り替え信号がアクティブになるまでの期間に、ＣＣＤ撮像部２１から送られてきた電気信号をＡ／Ｄ変換し、１画面分のデジタル画像データとして入力画像メモリ２３に出力する。この１画面分の画像データを以後フレームと呼ぶ。
　　　【００２５】
　入力処理手段１２は、入力画像メモリ２３、画像合成回路２４、入力画像補正回路２５、メイン画像補正回路２６およびパラメタ決定回路２７で構成される。
　　　【００２６】
　入力画像メモリ２３は、半導体メモリと周辺回路からなり、Ａ／Ｄ変換回路から入力したデジタル画像データを次の入力があるまで蓄積するとともに、パラメタ決定回路２７および入力画像補正回路２５からの座標入力に対し、対応する画素値をそれぞれの回路に出力する。ただし、メモリ内に画素が存在しない座標を入力した場合、０を出力する。
　　　【００２７】
　入力画像メモリの画素数は、画像入力手段における１フレームの画素数で決定され、メイン画像メモリの画素数より少ない。
　　　【００２８】
　本実施例では、入力画像メモリ２３は、横方向ＸＩ、縦方向ＹＩの画素数を持ち、各画素にはＧＩ階調の明度情報が格納されている。この入力画素メモリの座標（ｉ，ｊ）での画素値をＩ（ｉ，ｊ）とする。ただし、０≦ｉ＜ＸＩ，０≦ｊ＜ＹＩ，０≦Ｉ（ｉ，ｊ）＜ＧＩ、また、ｉ，ｊ，およびＩ（ｉ，ｊ）は整数である。
　　　【００２９】
　画像合成回路２４は、デジタル演算回路で構成され、入力画像補正回路２５およびメイン画像補正回路２６に座標値を出力し、その結果として得られるそれぞれの回路からの画素データを演算し、座標値とともに演算結果の値をメイン画像メモリ２８に出力する。この画像合成回路２４の詳細な動作は、後に述べる。
　　　【００３０】
　入力画像補正回路２５は、デジタル演算回路、半導体メモリおよび周辺回路からなり、パラメタ決定回路２７から入力するパラメタによって、入力画像メモリ２３内に蓄積されているデジタル画像データを変換補正し、画像合成回路２４から入力する座標値に対応する画素データを画像合成回路２４に出力する。この入力画像補正回路２５の詳細な動作は、後に詳述する。
　　　【００３１】
　本実施例では、記述を簡便にするため、入力画像補正回路２５での補正処理を関数をＦｉで記述し、補正後の座標（ｋ，ｌ）での画素値をＦｉ（ｋ，ｌ）とする。ただし、０≦ｋ＜ＸＭ，０≦ｌ＜ＹＭ，０≦Ｆｉ（ｋ，ｌ）＜ＧＭ、また、ｋ，ｌ，およびＦｉ（ｋ，ｌ）は整数である。
　　　【００３２】
　メイン画像補正回路２６は、デジタル演算回路、半導体メモリおよび周辺回路で構成され、パラメタ決定回路２７から入力するパラメタにより、メイン画像メモリ２８内の画像データを座標変換し、画像合成回路２４から入力する座標値に対応する画素データを画像合成回路２４に出力する。このメイン画像補正回路２６の詳細な動作は、後に述べる。
　　　【００３３】
　本実施例では、記述を簡便にするため、メイン画像補正回路２６での補正処理を関数をＦｍで記述し、補正後の座標（ｋ，ｌ）での画素値をＦｍ（ｋ，ｌ）とする。ただし、０≦ｋ＜ＸＭ，０≦ｌ＜ＹＭ，０≦Ｆｍ（ｋ，ｌ）＜ＧＭ，また、ｋ，ｌ，およびＦｍ（ｋ，ｌ）は整数である。
　　　【００３４】
　パラメタ決定回路２７は、デジタル演算回路、半導体メモリおよび周辺回路で構成され、入力画像メモリ２３とメイン画像メモリ２８のそれぞれに蓄積されている画像データを比較し、補正パラメタを入力画像補正回路２５およびメイン画像補正回路２６に出力する。このパラメタ決定回路２７の詳細な動作は、後で詳述する。
　　　【００３５】
　画像蓄積手段１３は、メイン画像メモリ２８で構成され、メイン画像メモリ２８は、半導体メモリと周辺回路からなり、画像合成回路２４から座標と画素値を入力し、入力した座標に対応するメモリ領域に画素値を書き込む。また、パラメタ決定回路２７および画像補正回路２６からの座標入力に対し、対応する画素値を、それぞれの回路に出力する。ただし、メモリ内に画素が存在しない座標を入力した場合、０を出力する。
　　　【００３６】
　また、メイン画像メモリ２８は、同期手段２０からのリセット信号がアクティブになった後、フレーム切り替え信号がアクティブになるまでに、全ての画素の値を０にクリアする。
　　　【００３７】
　メイン画像メモリ２８の画素数は、入力画像メモリの画素数より多く、本実施例では、ＸＭ×ＹＭの画素数を持ち、各画素にはＧＭ階調の明度情報が格納される。メイン画像メモリの座標（ｍ，ｎ）での画素値をＭ（ｍ，ｎ）とする。ただし、０≦ｍ＜ＸＭ，０≦ｎ＜ＹＭ，０≦Ｍ（ｍ，ｎ）＜ＧＭ、また、ｍ，ｎおよび，Ｍ（ｍ，ｎ）は整数である。
　　　【００３８】
＜図１による処理の詳細説明＞
　以下に、画像合成回路２４、入力画像補正回路２５、メイン画像補正回路２６および、パラメタ決定回路２７の動作について、さらに詳細に述べる。
　　　【００３９】
＜画像合成回路２４の説明＞
　画像合成回路２４は、図３に示すように座標発生部３１と画素演算部３２で構成され、座標発生部３１で生成されるメイン画像メモリの座標値に対応する画素値を入力画像補正回路２５およびメイン画像補正回路２６から入力し、演算した結果を上記座標値に対応するメイン画像メモリに書き込む。
　　　【００４０】
　座標発生部３１は、同期手段２０からの同期信号３０の画素切り替えパルス信号に同期して、メイン画像メモリに存在する全座標値を、ラスタ順に発生する。すなわち、図４のフローチャートに示すように、内部のＸ，Ｙ方向のカウンタを同期信号によってインクリメントする。
　　　【００４１】
　Ｓ４１では、Ｙカウンタの値ｙを０にリセットする。Ｓ４２では、Ｘカウンタの値ｘを０にリセットする。Ｓ４３では、画素切り替えパルスが立ち上がるまで処理を中断する。Ｓ４４では、現在のＸ，Ｙカウンタの値の組（ｘ，ｙ）を信号線３３および３４に出力する。Ｓ４５では、Ｘカウンタの値ｘを１だけ増加する。Ｓ４６では、Ｘカウンタの値ｘと、メイン画像メモリのＸ方向画素数ＸＭを比較する。ｘ≧ＸＭの場合、Ｓ４７に進み、ｘ＜ＸＭの場合、Ｓ４３からの処理を再度行う。Ｓ４７では、Ｙカウンタの値ｙを１だけ増加する。Ｓ４８では、Ｙカウンタの値ｙと、メイン画像メモリのＹ方向画素数ＹＭを比較する。ｙ≧ＹＭの場合、Ｓ４１からの、ｙ＜ＹＭの場合、Ｓ４２からの処理を再度行う。
　　　【００４２】
　図３の画素演算部３２は、同期手段２０からの同期信号３０に同期して、すなわち、画素切り替え信号がアクティブから非アクティブに変化した時点で、入力画像補正回路２５およびメイン画像補正回路２６から、それぞれ信号線３５または３６を介して画素値を入力し、それらの画素値に下記の数式１の演算を施し、その結果を画素切り替え信号が再度アクティブになるまでにメイン画像メモリ２８に信号線３７を介して出力する。
　　　【００４３】
　【数１】
Ｍ＝α×Ｆｉ＋（１−α）×Ｆｍ　（Ｆｉ＞０　かつ　Ｆｍ＞０　の場合）
Ｍ＝Ｆｍ　　　　　　　　　　　　（Ｆｉ＝０　の場合）
Ｍ＝Ｆｉ　　　　　　　　　　　　（Ｆｍ＝０　の場合）
Ｍ＝０　　　　　　　　　　　　　（Ｆｉ＝Ｆｍ＝０　の場合）
ｉｆ　Ｍ≧ＧＭ　ｔｈｅｎ　Ｍ＝ＧＭ
ただし、
αは、予め定めた定数で、０＜α＜１
Ｍは、信号線３７に出力する画素値
Ｆｉは、信号線３５から入力する画素値
Ｆｍは、信号線３６から入力する画素値
ただし、リセット信号がアクティブである間は、下記の数式２の演算、すなわち、入力画像補正回路２５からの入力のみをメイン画像メモリ２８に書き込む処理を行う。
　　　【００４４】
　【数２】
Ｍ＝Ｆｉ
ｉｆ　Ｍ≧ＧＭ　　ｔｈｅｎ　Ｍ＝ＧＭ
＜入力画像補正回路２５の説明＞
　入力画像補正回路２５は、図５に示すようにアフィン変換部５１と補間演算部５２で構成される。
　　　【００４５】アフィン変換部５１は、以下の処理を行う。
（１）　同期信号３０のフレーム切り替え信号が立ち上がってから、画素切り替え信号が立ち上がるまでに、パラメタ決定回路２７から信号線５３を介して、アフィン変換係数を入力する。
（２）　画素切り替え信号が立ち上がる毎に、画像合成回路２４から信号線３３を介して入力する座標値を、下記の数式３により変換して、信号線５６に出力する。
　　　【００４６】
　【数３】
　　　【００４７】
　ただし、行列要素ｐｉｊは、パラメタ決定回路２７から入力するアフィン変換係数。（ｘ，ｙ）は、信号線３３から入力する座標値。　（ｘ´，ｙ´）は、信号線５６に出力する座標値。
　　　【００４８】
　補間演算部５２は、以下の処理を行う。
（３）　上記のアフィン変換部５１における上記（２）の処理結果である座標値をアフィン変換部５１から信号線５６を介して入力する。
（４）　入力した座標値に対して、画素切り替え信号がアクティブである期間に以下の数式４で示す３次補間法による画素補間演算処理を行い、得られた結果を信号線３５を介して画像合成回路２４に出力する。
　　　【００４９】
＜補間方式１：３次補間法＞
　　　【００５０】
　【数４】
Σの加算範囲は、以下の範囲の、信号線５６から入力する座標（ｘ´，ｙ´）の近傍１６画素である。（ｍ，ｎは整数）
　　ｘ´−２≦ｍ＜ｘ´＋２，ｙ´−２≦ｎ＜ｙ´＋２
Ｍは、信号線３５に出力する画素値。
Ｉ（ｍ，ｎ）は、信号線５４を介して入力画像メモリ２３に座標値（ｍ，ｎ）を出力し、信号線５５を介して入力画像メモリ２３の対応する画素値を得る処理を意味する。
　　　【００５１】
　また、上記の３次補間法による画素補間処理方式の他、下記の双線形補間法、あるいは最近傍法による演算でも画素補間処理が可能である。
　　　【００５２】
＜補間方式２：双線形補間法＞
　　　【００５３】
　【数５】
Ｍ＝Ｉ（ｘ″，ｙ″）×（１−β）×（１−γ）＋Ｉ（ｘ″＋１，ｙ″）×β×（１−γ）＋Ｉ（ｘ″，ｙ″＋１）×（１−β）×γ＋Ｉ（ｘ″＋１，ｙ″＋１）×β×γ
　　　【００５４】
＜補間方式３：最近傍法＞
　　　【００５５】
　【数６】
　　　β≦０．５　γ≦０．５の時　Ｍ＝Ｍ（ｘ″，ｙ″）
　　　β＞０．５　γ≦０．５の時　Ｍ＝Ｍ（ｘ″＋１，ｙ″）
　　　β≦０．５　γ＞０．５の時　Ｍ＝Ｍ（ｘ″，ｙ″＋１）
　　　β＞０．５　γ＞０．５の時　Ｍ＝Ｍ（ｘ″＋１，ｙ″＋１）
なお、これらの画素補間方法は、下記の文献１０に記載されている。
（文献１０）　「画像処理ハンドブック」昭晃堂刊ｐｐ．２７４−２７５
＜メイン画像補正回路２６の説明＞
　メイン画像補正回路２６は、図６に示すように画像バッファ６１と座標演算部６２で構成される。画像バッファ６１は、メイン画像メモリ２８と同容量の画像メモリで、同期手段２０からの同期信号３０のフレーム切り替え信号が非アクティブになった時点から、再度アクティブになるまでの間に、メイン画像メモリの内容全部を複写する。ただし、リセット信号がアクティブである場合は、この複写処理を行わない。
　　　【００５６】
　また、画像バッファ６１は、座標演算部６２から入力した座標値に対応する画素の値を信号線３６を介して画像合成回路２４に出力する。
　　　【００５７】
　座標演算部６２は、以下の処理を行う。
（１）　同期手段２０からの同期信号３０のフレーム切り替え信号がアクティブになった時点から画素切り替え信号がアクティブになるまでに、パラメタ決定回路２７から信号線６３を介して座標変換のための係数（ｑｘ，ｑｙ）を入力する。
　　　【００５８】
（２）　画素切り替え信号がアクティブになった時点で、画像合成回路２４から入力する座標値を、下記の数式７により変換して画像バッファ６１に出力する。
　　　【００５９】
　【数７】
（ｘ´，ｙ´，１）＝（ｘ＋ｑｘ，ｙ＋ｑｙ）
ただし、係数ｑｘ，ｑｙは、パラメタ決定回路２７から入力する整数値。（ｘ，ｙ）は、画像合成回路２４から信号線３３を介して入力する座標値。（ｘ´，ｙ´）は、画像バッファ６１に出力する座標値。
　　　【００６０】
（３）　この結果、画像バッファ６１から、座標（ｘ´，ｙ´）に対応する画素値が画像合成回路に出力される。ただし上記（２）、（３）の処理は、画素切り替え信号がアクティブである間に行われ、リセット信号がアクティブである間は、これらの処理は行わない。
　　　【００６１】
　上記の処理により、メイン画像補正回路２６は、メイン画像メモリの画像データを整数値（ｑｘ，ｑｙ）だけ平行移動し、画像合成回路２４に出力処理が実現される。
　　　【００６２】
＜パラメタ決定回路２７の説明＞
　パラメタ決定回路２７は、図７に示すように、ベクトル検出部７１、係数計算部７２、パラメタ分割部７３および、原点バッファ７５で構成され、同期手段２０からの同期信号３０に同期して処理を行う。
　　　【００６３】
　原点バッファ７５には、ベクトル検出部７１、係数計算部７２、およびパラメタ分割部７３で用いるためのマッチング原点座標値
（Ｘ０，Ｙ０）　　ただし、Ｘ０，Ｙ０は整数。
が格納されており、同期手段２０からの同期信号３０に同期して、パラメタ分割部７３によって、１画面の処理終了毎に書き換えられる。
　　　【００６４】
　初期値は
　（Ｘ０，Ｙ０）＝（Ｄｘ，Ｄｙ）
で、本実施例では図８に示すように、入力画像が、メイン画像メモリ２８の中心に位置するように配置するため、（Ｄｘ，Ｄｙ）は、
Ｄｘ＝ｉｎｔ｛（ＸＭ−ＸＩ）／２｝
Ｄｙ＝ｉｎｔ｛（ＹＭ−ＹＩ）／２｝
ただし、ｉｎｔ｛ａ｝は、ａを越えない最大の整数。ＸＭ，ＹＭは、メイン画像メモリ２８のｘ，ｙ方向の画素数。ＸＩ，ＹＩは、入力画像メモリ２３のｘ，ｙ方向の画素数。で計算される定数を、同期信号３０からのリセット信号がアクティブになった時点で、パラメタ分割部７３が書き込む。
　　　【００６５】
　ベクトルバッファ７６は、代表点の座標値と各代表点における動きベクトル値を、図３０に示すような表形式で蓄積するための一時的な記憶手段で、半導体メモリと周辺回路で構成される。ベクトルバッファ７６は、ベクトル検出部７１によって書き込みと読み出しが行われ、係数計算部７２によって読み出される。
　　　【００６６】
　ベクトル検出部７１では、メイン画像メモリ内２８の画像データと、入力画像メモリ２３内の画像データを比較し、入力画像中に設定した複数の代表点における動きベクトルを求める。
　　　【００６７】
　次に代表点決定部の説明を行う。本実施例では、入力画像中にＫ個の代表点をとり、これらの代表点の座標を、
（ｘｉ，ｙｉ）
ただし、
ｉ＝０〜（Ｋ−１）
０≦ｘｉ＜ＸＩ，０≦ｙｉ＜ＹＩ
とする。
　　　【００６８】
　入力画像中に、複数の代表点を設定する場合、図９（ａ）に示すように、水平、垂直方向に予め決めておいた周期で決定するか、図９（ｂ）のように、入力画像毎に、エッジ部分や局所的に画素の統計量が大きい領域に集中してとる。
　　　【００６９】
　図９（ａ）に示すように周期的に代表点を設定する場合、代表点の座標は、例えば以下の数式のようになる。すなわち、ｘ方向にＫｘ個、ｙ方向にＫｙ個の代表点が、間隔Ｉｄｘ，Ｉｄｙ画素毎に配置される場合、ｉ番目の代表点の座標（ｘｉ，ｙｉ）は、以下の数式により求められる。
　　　【００７０】
ｘｉ＝Ｉｄｘ×｛１＋ｉ　ｍｏｄ　Ｋｘ）｝
ｙｉ＝Ｉｄｙ×｛１＋ｉｎｔ（ｉ／Ｋｙ）｝
ただし、
Ｉｄｘ＝ｉｎｔ｛ＸＩ／（Ｋｘ＋１）｝
Ｉｄｙ＝ｉｎｔ｛ＹＩ／（Ｋｙ＋１）｝
Ｋｘ，Ｋｙは、ｘ方向、ｙ方向における代表点の個数で、Ｋｘ×Ｋｙ＝Ｋ　を満たす整数。ａ　ｍｏｄ　ｂは、ａをｂで割った際の剰余を示す。
　　　【００７１】
　これらの代表点の座標は、入力画像によっては変化しないため、予めＫ個の代表点座標を、上記ベクトルバッファの「代表点番号」の項に書き込んでおく。
　　　【００７２】
　図９（ｂ）に示すように、入力画像によって代表点の座標を変化させる場合は、以下に例示する処理を行い、代表点座標を決定する必要がある。
　　　【００７３】
（１）　図１０（ａ）に示すように、入力画像メモリ内の画像を（Ｋｘ×Ｋｙ）個のブロックに分割する。この際、ブロックの個数（Ｋｘ×Ｋｙ）は、必要な代表点の数Ｋよりも大きい値とする。
　　　【００７４】
（２）　全てのブロックにおいて、各ブロック内の画素データの統計量（例：最大値と最小値の差、分散のいずれか）を計算する。
　　　【００７５】
（３）　上記（２）で計算した統計量の大きい順にＫブロックを選び、その選ばれたブロックの中心座標をｉ番目の代表点の座標とする。
　　　【００７６】
　上記の処理方式を実現するためには、以下の手段を用いる。すなわち、上記（１）のブロック分割においては、ｊ番目のブロックの左上の座標（Ｂｘｊ，Ｂｙｊ）は、以下の数式により求められる。
　　　【００７７】
Ｂｘｊ＝（ｊ　ｍｏｄ　Ｋｘ）×Ｉｄｘ
Ｂｙｊ＝ｉｎｔ（ｊ／Ｋｙ）×Ｉｄｘ
ただし、
Ｉｄｘ＝ｉｎｔ（ＸＩ／Ｋｘ）
Ｉｄｙ＝ｉｎｔ（ＹＩ／Ｋｙ）
Ｋｘ、Ｋｙは、ｘ方向、ｙ方向におけるブロックの個数で、Ｋｘ×Ｋｙ＞Ｋ　を満たす整数。
　　　【００７８】
　これらの座標は、入力画像によっては変化しないため、ブロック番号ｊを入力することによりブロック左上座標（Ｂｘｊ，Ｂｙｊ）を出力する回路を、半導体メモリを用いたルックアップテーブルまたは上記の計算を行う回路として、ベクトル検出部７１内に持つことにより実現する。
　　　【００７９】
　上記（２）のブロック内の統計量計算においては、以下の手段を用いる。すなわち、ｉ番目のブロックにおいては、上記（１）より、左上座標（Ｂｘｊ，Ｂｙｊ）が得られるから、以下のＣ言語で記述した処理を行い、各ブロックでの統計量ｓｊを求める。例として、ブロック内の最大値と最小値の差を統計量Ｓｊとする処理を示す。
　　　【００８０】
　　　ｆｏｒ（ｊ＝０；ｊ＜（Ｋｘ＊Ｋｙ）；ｊ＋＋）
　　　　｛ｘ＝Ｂｘｊ；
　　　　　ｙ＝Ｂｙｊ；
　　　　　ｍａｘ＝０；
　　　　　ｍｉｎ＝ＧＩ；
　　　　　ｆｏｒ（ｎ−０；ｎ＜Ｋｙ；ｎ＋＋）
　　　　　｛　ｆｏｒ（ｍ＝０；ｍ＜Ｋｘ；ｍ＋＋）
　　　　　　　｛　ａ＝Ｉ（ｘ＋ｍ，ｙ＋ｎ）；
　　　　　　　　　ｉｆ（ａ＜ｍａｘ）ｍａｘ＝ａ；
　　　　　　　　　ｉｆ（ａ＜ｍｉｎ）ｍｉｎ＝ａ；
　　　　　　　｝
　　　　　｝
　　　　　Ｓ［ｊ］＝ｍａｘ−ｍｉｎ；
　　　｝
ただし、ｘ，ｙ，ｍａｘ，ｍｉｎ，Ｓ［ｊ］は、整数型の変数バッファ。
　　　【００８１】
　ａ＝ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を示す。
　　　【００８２】
　Ｂｘｊ，Ｂｙｊは、ｊ番目のブロックの左上の座標を上記（１）に示す手段で求める処理を示す。Ｉ（ｍ，ｎ）は、信号線７１３を介して入力画像メモリ２３に座標値（ｍ，ｎ）を出力し、信号線７１４を介して入力画像メモリ２３の対応する画素値を得る処理を意味する。
　　　【００８３】
　上記（３）の代表点選択においては、以下の手段で実現する。
［Ｉ］　Ｓ［ｊ］を、大きい順にソートした配列バッファＳＳ［ｉ］を作成する。結果として、ＳＳ［ｉ］には、ｉ番目に統計量Ｓ［ｊ］の大きいｊの値が格納される。
　　　【００８４】
［ＩＩ］　ＳＳ［ｉ］のｉ＝０からＫ−１までが、選択された代表点番号となるので、ｉ番目の代表点の座標（ｘｉ，ｙｉ）は、以下の計算処理により求められる。
ｊ＝ＳＳ［ｉ］
ｘｉ＝Ｂｘｊ＋ｉｎｔ　（Ｉｄｘ／２）
ｙｉ＝Ｂｙｊ＋ｉｎｔ（Ｉｄｙ／２）
ただし、Ｂｘｊ，Ｂｙｊは、上記（１）で示した手段で得られる、ブロックの左上座標。
　　　【００８５】
　そして、上記の処理によって計算された代表点の座標（ｘｉ，ｙｉ）を、入力画像が入力画像メモリに取り込まれてから、同期信号３０のフレーム切り替え信号が非アクティブである期間に、ベクトルバッファ７６の「代表点座標」の項に書き込む。ただし、リセット信号がアクティブである場合は、上記の処理は行わない。
　　　【００８６】
　以下にベクトル検出部７１におけるベクトル計算部の説明を行う。以上の処理で求めた各代表点（ｘｉ，ｙｉ）の、メイン画像メモリ上対応点
（ｘ’ｉ，ｙ’ｉ），ｉ＝０〜（Ｋ−１）
または動きベクトル
　　　（ｖｘｉ，ｖｙｉ）＝（ｘ’ｉ−ｘｉ，ｙ’ｉ−ｙｉ），ｉ＝０〜（Ｋ−１）
を、以下に説明するブロックマッチングまたは濃度勾配法のいずれかの方式によって求める。
　　　【００８７】
く方式１−１：ブロックマッチング＞
　第１の方式は、一般的にブロックマッチングと呼ばれている方法で、図１１に示すように、各代表点を中心とするＭ×Ｎの画素を１つのブロックとして、メイン画像メモリと画像の差を計算し、各代表点での動きベクトル（ｖｘｉ，ｖｙｉ）を求める。すなわち、以下の処理を、全ての代表点に対して行う。この際、メイン画像メモリの座標（Ｘ０，Ｙ０）と、入力画像の座標（０，０）を対応させてマッチングを行う。
　　　【００８８】
　入力画像の各代表点（ｘｉ，ｙｉ）を含むブロックＢｉ内の画素について、
　　　【００８９】
　【数８】
または、
ただし、
Σの加算範囲はブロックＢｉ内のＭ×Ｎ個の画素で、ｍ，ｎは、
　　−（Ｍ／２）≦ｍ＜（Ｍ／２）
　　−（Ｎ／２）≦ｎ＜（Ｎ／２）
を満たす整数。
　　　【００９０】
　Ｍ（ｍ，ｎ）は、信号線７１１を介してメイン画像メモリ２８に座標値（ｍ，ｎ）を出力し、信号線７１２を介してメイン画像メモリ２８の対応する画素値を得る処理を意味する。１（ｍ，ｎ）は、信号線５４を介して入力画像メモリ２３に座標値（ｍ，ｎ）を出力し、信号線５５を介して入力画像メモリ２３の対応する画素値を得る処理を意味する。Ｘ０，Ｙ０は、信号線を介して、原点バッファ７５内に記録されている座標値を参照する処理を意味する。ｖｘ，ｖｙは整数である。なる計算を、予め限定した範囲の（ｖｘ，ｘｙ）の組について全てを行い、最も上記の数式のＤｉ（ｖｘ，ｖｙ）の値を小さくする（ｖｘ，ｘｙ）の組を、代表点（ｘｉ，ｙｉ）における動きベクトル（ｖｘｉ，ｖｙｉ）とする。
　　　【００９１】
　上記の処理において、一般的には、Ｍ×Ｎ＝４×４，８×８，１６×１６，３２×３２などの値で、ｖｘ，ｘｙの範囲は、ブロック内すなわち、
−Ｍ≦ｖｘ≦Ｍ　　　　　−Ｎ≦ｖｙ≦Ｎ
である。
　　　【００９２】
＜方式１−２：濃度勾配法＞
　第２の方式は、一般的に濃度勾配法と呼ばれている方法で、以下の文献１１に詳細に述べられている。
（文献１１）　「画像信号による動対象の移動量、速度の測定」吹抜；電子通信学会　画像工学研究会資料；ＩＥ７８−６７（１９７８年）
この濃度勾配法によって、各代表点における動きベクトル
（ｖｘｉ，ｖｙｉ），ｉ＝０〜（Ｋ−１）
を求める際にも、ベクトル検出部７１は、メイン画像メモリの座標（Ｘ０，Ｙ０）と、入力画像の座標（０，０）を対応させて、すなわち、入力画像１（ｉ，ｊ）と、メイン画像Ｍ（ｍ，ｎ）において、原点バッファ内の座標（Ｘ０，Ｙ０）を基準点として、
（ｉ＋Ｘ０，ｊ＋Ｙ０）＝（ｍ，ｎ）
と対応させて処理を行う。
　　　【００９３】
　上記いずれかの処理をベクトルバッファ７６内に蓄積されている各代表点（ｘｉ，ｙｉ）に対して行い、結果（ｖｘｉ，ｖｙｉ）を、ベクトルバッファ７６の「動ベクトル」の所定の項に記録する。
　　【００９４】
　次にパラメタ決定回路２７の係数計算部７２の説明を行う。係数計算部７２においては、ベクトル検出部７１による以上の処理の結果としてベクトルバッファ７６に記録された、各代表点（ｘｉ，ｙｉ）に対する動きベクトル（ｖｘｉ，ｖｙｉ）から、以下のいずれかの方式による処理により、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を計算する。
　　　【００９５】
＜方式１−３：最小二乗法＞
　各代表点（ｘｉ，ｙｉ）の動きベクトル（ｖｘｉ，ｖｙｉ）を、アフィン変換を示す方程式
ｘ´＝ｐａ・ｘ＋ｐｂ・ｙ＋ｐｃ
ｙ´＝ｐｄ・ｘ＋ｐｅ・ｙ＋ｐｆ
に代入した結果として得られる。
　　　【００９６】
　【数９】
ｖｘｉ＝ｘｉ’−ｘｉ＝（ｐａ−１）・ｘｉ＋ｐｂ・ｙｉ＋ｐｃ
ｖｙｉ＝ｙｉ’−ｙｉ＝ｐｄ・ｘｉ＋（ｐｅ−１）・ｙｉ＋ｐｆ
ただし　　　ｉ＝０〜（Ｋ−１）
に示す２Ｋ個の方程式から最小二乗法により、変換パラメタ（ｐａ，ｐｂ，・・・，ｐｆ）を計算する。
　　　【００９７】
　この方法は、下記文献１２に述べられている技術である。
　　　【００９８】
（文献１２）　「大きさ・向きを変える物体の動きベクトル検出法の一検討」田中、八木、榎並；電子情報通信学会１９８９年春季全国大会予稿集ｐ．７−９１
＜方程式１−４：偏微分方程式による方法＞
　上記数式９を、誤差を明らかにして書き直し、
　　　【００９９】
　【数１０】
δｘｉ＝（Ｐａ−１）・ｘｉ＋Ｐｂ・ｙｉ＋Ｐｃ−ｖｘｉ
δｙｉ＝Ｐｄ・ｘｉ＋（Ｐｅ−１）・ｙｉ＋Ｐｆ−ｖｙｉ
ただし、ｉ＝０〜（Ｋ−１）
　　　　δｘｉ，δｙｉは、それぞれの式での誤差。
　　　【０１００】
に示す２Ｋ個の方程式を得る。
　　　【０１０１】
　上記数式１０で示された誤差の二乗和
　　　【０１０２】
　【数１１】
　　　【０１０３】
を最小にするパラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）は、誤差の二乗和を各パラメタで偏微分して、
　　　【０１０４】
　【数１２】
　　　【０１０５】
で示す連立方程式を解くことによって得られる。
　　　【０１０６】
　すなわち、以下の計算を行うことにより、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を求める。
　　　【０１０７】
　【数１３】
から、
を計算し、
　　　【０１０８】
　ただし、上記の数式において、Σの加算範囲は、ｉ＝０〜（Ｋ−１）とする。
　　　【０１０９】
　ｘｉ，ｙｉ，ｖｘｉ，ｖｙｉは、ｉ番目の代表点座標または動きベクトルを、ベクトルバッファ７６から読み込む処理を意味する。
　　　【０１１０】
　また
　　　【０１１１】
　【数１４】
　　　【０１１２】
　上記、数式１４とＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，α，ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆは、ベクトル検出部７１内の、浮動小数点型変数バッファで、ａ＝ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を示す。また、演算は、浮動小数点精度で行われる。
　　　【０１１３】
　係数計算部７２は、以上の計算処理により得られた、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を、パラメタ分割部７３に出力する。
　　　【０１１４】
　次にパラメタ分割部７３の説明を行う。パラメタ分割部７３は、係数計算部７２から入力したパラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を、メイン画像補正回路２６および入力画像補正回路２５に出力するためのパラメタに、すなわち、整数画素単位の平行移動成分とアフィン変換成分に分割すると共に、必要に応じて、原点バッファ７５の内容を変更する。
　　　【０１１５】
　すなわち、以下の処理を行う。
　　　【０１１６】
（１）　入力画像の４頂点の変換後のメインメモリ上での座標を計算する。すなわち、以下の計算を行う。
　　　　　　ｘｉ０＝ｐａ・Ｘ０＋ｐｂ・Ｙ０＋ｐｃ
　　　　　　Ｙｉ０＝ｐｄ・Ｘ０＋ｐｅ・Ｙ０＋ｐｆ
　　　　　　ｘｉ１＝ｐａ・（Ｘ０＋ＸＩ−１）＋ｐｂ・Ｙ０＋ｐｃ
　　　　　　Ｙｉ１＝ｐｄ・（Ｘ０＋ＸＩ−１）＋ｐｅ・Ｙ０＋ｐｆ
　　　　　　ｘｉ２＝ｐａ・（Ｘ０＋ＸＩ−１）＋ｐｂ・（Ｙ０＋ＹＩ−１）＋ｐｃ
　　　　　　Ｙｉ２＝ｐｄ・（Ｘ０＋ＸＩ−１）＋ｐｅ・（Ｙ０＋ＹＩ−１）＋ｐｆ
　　　　　　ｘｉ３＝ｐａ・Ｘ０＋ｐｂ・（Ｙ０＋ＹＩ−１）＋ｐｃ
　　　　　　Ｙｉ３＝ｐｄ・Ｘ０＋ｐｅ・（Ｙ０＋ＹＩ−１）＋ｐｆ
ただし、ｘｉ０，Ｙｉ０，ｘｉ１，Ｙｉ１，ｘｉ２，Ｙｉ２，ｘｉ３，Ｙｉ３は、パラメタ分割部７３内の、浮動小数点型変数バッファで、ａ＝ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を示す。Ｘ０，Ｙ０は、原点バッファ７５から、現在の原点の座標を読み出す処理を示す。ＸＩ，ＹＩは、入力画像のＸ，Ｙ方向の画素数を示す定数である。
　　　【０１１７】
（２）　変換後の４頂点の座標値が、メイン画像メモリ２８内の予め設定された矩形範囲　（Ｍｘ０，Ｍｙ０）−（Ｍｘ２，Ｍｙ２）の内側に位置するかどうかを判別する。すなわち、
Ｄｘ０＝Ｘｉ０−Ｍｘ０　　　Ｄｘ１＝Ｘｉ１−Ｍｘ１
Ｄｘ３＝Ｘｉ３−Ｍｘ０　　　Ｄｘ２＝Ｘｉ２−Ｍｘ１
Ｄｙ０＝Ｙｉ０−Ｍｙ０　　　Ｄｙ１＝Ｙｉ１−Ｍｙ１
Ｄｙ３＝Ｙｉ３−Ｍｙ０　　　Ｄｙ２＝Ｙｉ２−Ｍｙ１
ただし、Ｄｘ０，Ｄｘ１，Ｄｘ３，Ｄｘ２，Ｄｙ０，Ｄｙ１，Ｄｙ３，Ｄｙ２は、パラメタ分割部７３内の、浮動小数点型変数バッファで、ａ＝ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を示す。Ｍｘ０，Ｍｙ０，Ｍｘ１，Ｍｙ１は０≦Ｍｘ０＜Ｍｘ１＜ＸＭ，０≦Ｍｙ０＜Ｍｙ１＜ＹＭ，を満たす整数の定数で、変数後の入力画像がメイン画像メモリ内のこの座標範囲内におさまる様にするための座標値である。Ｘｉ０，Ｙｉ０，Ｘｉ１，Ｙｉ１，Ｘｉ２，Ｙｉ２，Ｘｉ３，Ｙｉ３は、上記のバッファから、記録された数値を読み出す処理を示す。
　　　【０１１８】
（３）　変換後の入力画像が、メイン画像メモリ内の上記範囲内におさまるように、パラメタ（ｐ００，ｐ１０，・・・，ｐ２１），（ｑｘ，ｑｙ）および、次の処理での原点座標（Ｘ０，Ｙ０）を、以下の処理により計算する。
　　　【０１１９】
［１］　以下の通りに、各変数を設定する。
Ｘ０＝Ｄｘ０，Ｙ０＝Ｄｙ０，
ｐ００＝ｐａ，ｐ１０＝ｐｂ，ｐ２０＝ｐｃ＋Ｄｘ０，
ｐ０１＝ｐｄ，ｐ１１＝ｐｅ，ｐ２１＝ｐｆ＋Ｄｙ０
ｑｘ＝０，ｑｙ＝０
［２］　以下の通りに、場合に応じて変数の一部を書き直す。
［２−１］　Ｄｘ０＜０またはＤｘ３＜０の場合、
Ｘ０＝Ｍｘ０，
Ｄｘ０＜Ｄｘ３の場合：ｑｘ＝ｉｎｔ（Ｄｘ０）
Ｄｘ３≦Ｄｘ０の場合：ｑｘ＝ｉｎｔ（Ｄｘ３）
ｐ２０＝ｐｃ−ｑｘ
［２−２］　Ｄｙ０＜０またはＤｙ３＜０の場合、
Ｙ０＝Ｍｙ０，
Ｄｙ０＜Ｄｙ３の場合：ｑｙ＝ｉｎｔ（Ｄｙ０）
Ｄｙ３≦Ｄｙ０の場合：ｑｙ＝ｉｎｔ（Ｄｙ３）
ｐ２１＝ｐｆ−ｑｙ
［２−３］　Ｄｘ１＞０またはＤｘ２＞０の場合、
Ｄｘ１＞Ｄｘ２の場合：ｑｘ＝−｛ｉｎｔ（Ｄｘ１）＋１｝
Ｄｘ２≦Ｄｘ１の場合：ｑｘ＝−｛ｉｎｔ（Ｄｘ２）＋１｝
Ｘ０＝Ｘｉ０＋ｑｘ
ｐ２０＝ｐｃ＋ｑｘ
［２−４］　Ｄｙ１＞０またはＤｙ２＞０の場合、
Ｄｙ１＞Ｄｙ２の場合：ｑｙ＝−｛ｉｎｔ（Ｄｙ１）＋１｝
Ｄｘ２≦Ｄｘ１の場合：ｑｙ＝−｛ｉｎｔ（Ｄｙ２）＋１｝
Ｙ０＝Ｙｉ０＋ｑｙ
ｐ２１＝ｐｆ＋ｑｙ
ただし、上記の数式で、Ｘ０，Ｙ０，ｐ００，ｐ１０，ｐ２０，ｐ０１，ｐ１１，ｐ２１，ｑｘ，ｑｙは、パラメタ分割部７３内の、変数バッファで、Ｘ０，Ｙ０，ｑｘ，ｑｙは実数型、その他は浮動小数点型である。ａ＝ｂは、左辺のバッファａに右辺の値ｂを書き込む処理を示す。
　　　【０１２０】
　以上の処理により計算されたパラメタのうち、Ｘ０，Ｙ０は、原点バッファ７５に書き込み、以前の値を変更する。ｐ００，ｐ１０，ｐ２０，ｐ０１，ｐ１１，ｐ２１は、信号線５３を介して入力画像補正回路２５に出力される。ｑｘ，ｑｙは、信号線６３を介してメイン画像補正回路２６に出力される。
　　　【０１２１】
　ベクトル検出部７１、係数計算部７２およびパラメタ分割部７３は、上記の処理を、同期手段２０から発生するフレーム切り替え信号がアクティブになった時点から、画素切り替え信号がアクティブになるまでの期間に行う。
　　　【０１２２】
　ただし、同期手段２０から発せられるリセット信号がアクティブである際は、ベクトル検出部７１および係数計算部７２は処理を行わず、パラメタ分割部７３のみが、以下の処理を行う。
　　　【０１２３】
　すなわち、
ｐ００＝０，ｐ１０＝０，ｐ２０＝Ｄｘ，ｐ１０：０，ｐ１１＝０，ｐ２１＝Ｄｙ
を入力画像補正回路２５に出力し、
ｑｘ＝０，　ｑｙ＝０
をメイン画像補正回路ｑｘ，ｑｙに出力する。
　　　【０１２４】
　また、上記の方式によるアフィン変換パラメタ計算方式の以外の方式によってでも、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を決定できる場合、その方式を、フレーム切り替え信号がアクティブになった時点から、画素切り替え信号がアクティブになるまでの期間に行うことで、本実施例でのパラメタ決定回路２７は上記方式と同様に動作する。
　　　【０１２５】
＜第１の実施例の全体的な説明＞
　以上に述べたような動作を行う各回路を用いて、以下の順に処理を行うことにより、時間的に連続して入力した画像（以下フレーム）を繋ぎ合わせ、広範囲の画像をメイン画像メモリ内に構成することを説明する。
　　　【０１２６】
　すべての処理は、同期手段２０から、信号線３０を介して出力される同期信号に同期して行われる。同期信号には、以下の３種類が存在する。
　　　【０１２７】
　すなわち、
（１）リセット信号
システムをリセットするためのパルス信号で、オペレータの操作により立ち上げられ、第０フレームの間アクティブである。
　　　【０１２８】
（２）フレーム切り替え信号
処理するフレームが切り替わる事を示すためのパルス信号で、フレームの処理を開始する際に立ち上げられ、フレーム内の処理が行われている間アクティブである。
　　　【０１２９】
（３）画素切り替え信号
処理する画素が切り替わる事を示すためのパルス信号で、画素毎にパルスが発せられる。
　　　【０１３０】
　図１２に、各同期信号の関係を示す。図１２では、ハイレベルがアクティブ状態である。リセット信号の立ち上がりに反応して、フレーム切り替え信号がアクティブになり、画素切り替え信号が、メイン画像メモリ２８の画素数であるＸＭ×ＹＭ個のパルスを発生する。画素切り替え信号がＸＭ×ＹＭ個のパルスを発生し終えると、フレーム切り替え信号は、非アクティブになり、次のフレームの処理を開始するために再度立ち上がる。
　　　【０１３１】
　この同期信号に沿って、各部の動作を説明する。図１２中の期間番号は、以下に説明する各期間番号を示している。
　　　【０１３２】
期間（１）：リセット信号がアクティブになり、フレーム切り替え信号がアクティブになるまでに、以下の処理が行われる。
　　　【０１３３】
［１］　メイン画像メモリ２８は、メモリの全内容をクリアする。すなわち、全てのメイン画像メモリ内の画素値を０に書き換える。
　　　【０１３４】
［２］　パラメタ決定回路２７は、原点バッファの原点座標を初期値（Ｄｘ、Ｄｙ）に設定する。
　　　【０１３５】
［３］　画像入力手段１１は、１フレーム分の画像データを入力画像メモリ２３に書き込む。
　　　【０１３６】
期間（２）：リセット信号および、第１フレームを示すフレーム切り替え信号がアクティブで、かつ、第１画素を示す画素切り替え信号がアクティブになるまでに、以下の処理が行われる。
　　　【０１３７】
　パラメタ決定回路２７は、入力画像補正回路２５に、以下のパラメタを出力する。
　　　【０１３８】
（ｐ００，ｐ１０，ｐ２０，ｐ０１，ｐ１１，ｐ２１）＝（０，０，Ｄｘ，０，０，Ｄｙ）
また、メイン画像補正回路２６に、以下のパラメタを出力する。
（ｑｘ，　ｑｙ）＝（０，　０）
これらのパラメタは、入力画像を拡大・縮小・回転処理を行わず、平行移動のみでメイン画像メモリ２５の中央部に（図８に示すように）書き込むためのものである。
　　　【０１３９】
期間（３）：リセット信号がアクティブの間で、画素切り替えパルスがアクティブになる毎に、画像合成回路２４は、入力画像補正回路２５を介して入力した画素値をラスタ順にメイン画像メモリ２８に書き込む。
　　　【０１４０】
　以上の「期間（１）〜（３）」で行う処理の結果として、図８に示されるような、メイン画像メモリ２８の中央部分に、入力画像メモリ２３上の画像データが書き込まれる。
　　　【０１４１】
　リセット信号が非アクティブになった後は、以下の処理が繰り返し実行される。
　　　【０１４２】
期間（４）：フレーム切り替え信号が非アクティブになった時点から、再度アクティブになるまでの期間には、以下の処理が行われる。
［１］　画像入力手段１１は、次の１フレーム分の画像データを入力画像メモリ２３に書き込む。
［２］　メイン画像補正回路２６は、メイン画像メモリ２８の内容を、画像バッファ６１に複写する。
［３］　パラメタ決定回路２７は、必要ならば入力画像から代表点を選択し、座標値をベクトルバッファ７６に書き込む。
　　　【０１４３】
期間（５）：リセット信号が非アクティブの状態で、フレーム切り替え信号がアクティブになった時点から、画素切り替え信号がアクティブになるまでの間には、以下の処理が行われる。
　　　【０１４４】
　パラメタ決定回路２７は、入力画像メモリ２３に記録された次のフレームの画像とメイン画像メモリ２８に記録されている、いままでに作成された画像とのマッチングを行い、パラメタ（ｐ００，ｐ１０，ｐ２０，ｐ０１，ｐ１１，ｐ２１）および（ｑｘ，ｑｙ）を計算し、入力画像補正回路２５およびメイン画像補正回路２６に出力するとともに、必要ならば原点バッファの内容を新しい原点座標に書き換える。
　　　【０１４５】
期間（６）：リセット信号が非アクティブの間で、画素切り替えパルスがアクティブになる毎に、画像合成回路２４は、入力画像補正回路２５を介して入力した画素値と、メイン画像補正回路２６を介して入力したメイン画像を合成し、ラスタ順にメイン画像メモリ２８に書き込む。
　　　　【０１４６】
　この画素毎の処理を、タイムチャートで示すと、図１３の通りである。図１３において、左端の項目にふられた番号は、本実施例の図３における信号線の番号で、−座標１−、−画素１−、−結果１−などは、各信号線上で値が確定していることを示すもので、ｘは、各信号線での値が不定であることを示すものである。
　　　　【０１４７】
　また、図１３中の［１］［２］・・・は、下記の処理を行う時期を示す。
［１］　画像合成回路２４は、同期信号３０の画素切り替え信号の立ち上がりを検出して、座標値を信号線３３を介して入力画像補正回路２５およびメイン画像補正回路２６に出力する。また、同じ座標値を信号線３４を介してメイン画像メモリに出力する。
　　　【０１４８】
［２］　入力画像補正回路２５は、信号線３３を介して入力した座標に対応する画素データを、パラメタ決定回路２７から入力したパラメタに基づいて、入力画像メモリ２３内の画像から計算し、画素切り替え信号の立ち下がりまでに画像合成回路２４に出力する。
　　　【０１４９】
［３］　メイン画像補正回路２６は、パラメタ決定回路２７から入力したパラメタに基づいて、信号線３３を介して入力した座標に対応する画素データを、画素切り替え信号の立ち下がりまでに画像合成回路２４に出力する。
　　　【０１５０】
　上記［１］、［２］、［３］の結果、画素切り替え信号の立ち下がりでは、座標値（３３）および画素値（３５、３６）が確定となる。
　　　【０１５１】
［４］　画像合成回路２４は、画素切り替え信号の立ち下がりを検出し、入力画像補正回路２５およびメイン画像補正回路２６から、信号線３５、３６を介して入力した画素データを演算処理し、演算結果を次の画素切り替え信号の立ち上がりまでに、信号線３７を介してメイン画像メモリ２８に出力する。
　　　【０１５２】
［５］　この結果、画素切り替え信号の立ち上がりでは、座標値（３４）演算結果（３７）が確定となるため、メイン画像メモリは、画素切り替え信号の立ち上がりで、座標値（３４）に対応する画素に、画素値（３７）を書き込む。
　　　【０１５３】
　以上の「期間（４）〜期間（６）」で行う処理により、メイン画像メモリ２８には、図１４に示すように、画像入力手段１１から時間的に連続して入力したフレームが、同じ画像を示す領域をのりしろ様に繋ぎ合わされた画像が作成される。
　　　【０１５４】
　また、本実施例においては、入力画像補正回路２５でアフィン変換を行い、メイン画像補正回路２６で１画素単位の平行移動を行ったが、入力画像補正回路２５で１画像単位の平行移動を、メイン画像補正回路２６でアフィン変換を行う様にすることも同様に可能で、この場合、以下の点が、本実施例と異なる。
　　　【０１５５】
（１）パラメタ決定回路２７において、代表点をメイン画像メモリ２８上の画像に取り、入力画像とのマッチングを取る。
　　　【０１５６】
（２）パラメタ決定回路で、平行移動成分（ｑｘ、ｑｙ）を入力画像補正回路に、アフィン変換パラメタ（ｐ００，ｐ１０，ｐ２０，・・・，ｐ２１）をメイン画像補正回路に出力する。
　　　【０１５７】
（３）入力画像補正回路は、上記実施例でのメイン画像補正回路と同様の構成を持ち、入力画像メモリの画像データに対して整数画素単位の平行移動を行った結果を画像合成回路に出力する。
　　　【０１５８】
（４）メイン画像補正回路は、上記実施例での入力画像補正回路と同様の処理すなわち、メイン画像メモリの画像全体に対してアフィン変換および画素補間処理を行う。この際のメイン画像補正回路の構成および動作は、以下に示す第２の実施例でのメイン画像補正回路１５６と同様である。
　　　【０１５９】
＜第２の実施例＞
　次に、本発明における、画像処理装置の第２の実施例を、図に基づいて説明する。本実施例では、画素拡大補間によって動画高画質化を行う装置、即ち、連続して入力した画像の画素数を、以前に入力したフレームの画像情報を用いて補間することにより、入力画像よりも画素数の多い画像を生成する画像処理装置の一例を示す。
　　　【０１６０】
　図１５は、本発明における第２の実施例の、入力処理手段１２および画像蓄積手段１３の構成例を示す図である。図１５において、同期手段１５０、入力画像メモリ１５３および、メイン画像メモリ１５８は、それぞれ第１の実施例での同期手段２０、入力画像メモリ２３、メイン画像メモリ２８と同様の回路で、以下に述べる点を除いては、同様の仕様を持ち、同様の動作を行う。
　　　【０１６１】
　入力処理手段１２は、入力画像メモリ１５３、画像合成回路１５４、画像拡大回路１５５、メイン画像補正回路１５６、パラメタ決定回路１５７、拡大画像メモリ１５９で構成され、入力画像メモリ１５３は、画像拡大回路１５５からの座標入力に対し、対応する画素値を出力する。
　　　【０１６２】
　画像合成回路１５４は、拡大画像メモリ１５９およびメイン画像補正回路１５６に座標値を出力し、その結果として得られるそれぞれの回路からの画素データを演算し、座標値とともに演算結果の値をメイン画像メモリ１５８に出力する。この画像合成回路１５４の詳細な動作は、後に述べる。
　　　【０１６３】
　画像拡大回路１５５は、デジタル演算回路、半導体メモリおよび周辺回路からなり、入力画像メモリ１５３内に蓄積されているデジタル画像データをメイン画像メモリ１５８の画素数に拡大処理し、拡大画像メモリ１５９に書き込む。この画像拡大回路１５５の詳細な動作は、後に述べる。
　　　【０１６４】
　拡大画像メモリ１５９は、画像拡大回路によって拡大された入力画像を記録するための回路で、半導体メモリおよび周辺回路からなる。拡大画像メモリ１５９の容量は、メイン画像メモリと同じで、本実施例では、ＸＭ×ＹＭの画素数を持ち、各画素にはＧＭ階調の明度情報が格納される。
　　　【０１６５】
　また、表記を簡便にするため、拡大画像メモリの座標（ｍ，ｎ）での画素値をＦｉ（ｍ，ｎ）とする。ただし、０≦ｉ＜ＸＭ，０≦ｊ＜ＹＭ，０≦Ｆｉ（ｍ，ｎ）＜ＧＭ、また、ｍ，ｎ，Ｆｉ（ｍ，ｎ）は整数である。
　　　【０１６６】
　メイン画像補正回路１５６は、デジタル演算回路、半導体メインおよび周辺回路で構成され、パラメタ決定回路１５７から入力するパラメタにより、メイン画像メモリ２８内の画像データを変換し、画像合成回路１５４から入力する座標値に対応する画像データを画像合成回路１５４に出力する。このメイン画像補正回路１５６の詳細な動作は、後に述べる。
　　　【０１６７】
　本実施例では、記述を簡便にするため、メイン画像補正回路１５６での補正処理を関数をＦｍで記述し、補正後の座標（ｋ，１）での画素値をＦｍ（ｍ，１）とする。ただし、０≦ｋ＜ＸＭ，０≦１≦ＹＭ，０≦Ｆｍ（ｋ，１）＜ＧＭ、また、ｋ，１，Ｆｍ（ｋ，１）は整数とする。
　　　【０１６８】
　パラメタ決定回路１５７は、デジタル演算回路、半導体メモリおよび周辺回路で構成され、拡大画像メモリ１５９とメイン画像メモリ１５８のそれぞれに蓄積されている画像データを比較し、補正パラメタをメイン画像補正回路１５６に出力する。このパラメタ決定回路１５７の詳細な動作は、後に述べる。
　　　【０１６９】
　画像蓄積手段１３は、メイン画像メモリ１５８で構成され、メイン画像メモリ１５８は、画像合成回路１５４から座標と画素値を入力し、入力した座標に対応するメモリ領域に画素値を書き込む。また、パラメタ決定回路１５７およびメイン画像補正回路１５６からの座標入力に対し、対応する画素値を、それぞれの回路に出力する。
　　　【０１７０】
　以下に、図１５を用いて、画像合成回路１５４、画像拡大回路１５５、メイン画像補正回路１５６、パラメタ決定回路１５７、の作用について、さらに詳細に述べる。
　　　【０１７１】
　画像合成回路１５４について説明する。画像合成回路１５４は、図３に示す画像合成回路２４と同様の構成・機能を持つもので、画像合成回路２４と比較した場合、構成上、以下の点が異なる。
　　　【０１７２】
（１）　入力画像補正回路２５の代わりに拡大画像メモリ１５９と接続されている。
（２）　メイン画像補正回路２６の代わりにメイン画像補正回路１５６と接続されている。
　　　【０１７３】
　座標発生部は、第１の実施例で示したと同様に、画素切り替えパルス信号立ち上がり毎に、メイン画像メモリに存在する全座標値を、ラスタ順に順次発生する。
　　　【０１７４】
　画像演算部は、画素切り替え信号がアクティブから非アクティブに変化した時点で、拡大入力メモリ１５９およびメイン画像補正回路１５６から、それぞれの画素値を入力し、それらの画素値に以下の演算を施し、その結果を画素切り替え信号が再度アクティブになるまでにメイン画像メモリ１５８に出力する。
　　　【０１７５】
Ｍ＝α×Ｆｉ＋（１−α）×Ｆｍ
ｉｆ　Ｍ≧ＧＭ　ｔｈｅｎ　Ｍ＝ＧＭ
ただし、
αは、予め定めた定数で、０＜α＜１
Ｍは、メイン画像メモリ１５８に出力する画素値。
　　　【０１７６】
　Ｆｉは、拡大画像メモリ１５９から入力する画素値。
　　　【０１７７】
　Ｆｍは、メイン画像補正回路１５６から入力する画素値。
　　　【０１７８】
　ただし、リセット信号がアクティブである間は、以下の演算、すなわち、拡大画像メモリ１５９からの入力のみをメイン画像メモリ１５８に書き込む処理を行う。
　　　【０１７９】
Ｍ＝Ｆｉ
ｉｆ　Ｍ≧ＧＭ　ｔｈｅｎ　Ｍ＝ＧＭ
画像拡大回路１５５について説明する。画像拡大回路１５５は、入力画像メモリ内の（ＸＩ，ＹＩ）画素の画像データを、メイン画像メモリの画素数（ＸＭ，ＹＭ）に拡大する処理を行う部分で、図１６に示すように座標発生部１６１、座標縮小部１６２および補間演算部１６３で構成される。
　　　【０１８０】
　座標発生部１６１は、フレーム切り替え信号が非アクティブになり、入力画像メモリに次のフレームの画像が入力された後、再度フレーム切り替え信号がアクティブになるまでに、上記画像合成回路１５４の座標発生部と同様に、拡大画像メモリ内の全ての画素の座標をラスタ順に発生し、座標縮小部１６２に順次出力するとともに、信号線１６４を介して拡大画像メモリ１５９に出力する。
　　　【０１８１】
　座標縮小部１６２は、座標発生部１６１から入力する各座標値に対して以下の処理を行い結果値を補間演算部１６３に出力する。
　　　【０１８２】
（ｘ´，ｙ´）＝（ａ・ｘ，ｂ・ｙ）
ただし、ａ，ｂは、拡大率を示す浮動小数点型の定数で、以下の計算により算出される。
ａ＝ＸＩ／ＸＭ
ｂ＝ＹＩ／ＹＭ
ｘ，ｙは、座標発生部１６１から入力する整数の座標値。ｘ´，ｙ´は、補間演算部１６３に出力する浮動小数点型の座標値。補間演算部１６３は、第１の実施例における補間演算部５２と同様の以下の処理を、座標縮小部１６２から入力する各座標値について行う。
　　　【０１８３】
　すなわち、
Ｍｉ＝Ｆ（ｘ´，ｙ´）
ただし、（ｘ´，ｙ´）は、座標縮小部１６２から入力する座標値。Ｍｉは、信号線１６５を介して拡大画像メモリ１５９に出力する計算結果。Ｆ（ｘ´，ｙ´）は、各座標値（ｘ´，ｙ´）に対して、第１の実施例で示した、「３次補間法」「双線形補間法」「再近傍法」のいづれかの方法を用いて、入力画像メモリ１５３の画像データの演算を行うことを意味する。図１６の信号線１６６は、この演算の際に、入力画像メモリ１５３に必要な画素の座標値を出力するためのもので、信号線１６８は、信号線１６６から出力した座標値に対する画素値を入力するためのものである。
　　　【０１８４】
　以上の画像拡大回路１５５における処理の結果、フレーム切り替え信号が非アクティブになった時点から、再度フレーム切り替え信号がアクティブになるまでの期間に、入力画像メモリの画像をメイン画像メモリの画素数に拡大した画像が、拡大画像メモリ１５９内に作成される。
　　　【０１８５】
　次にメイン画像補正回路１５６の説明を行う。メイン画像補正回路１５６は、図１７に示すように画像バッファ１７１とアフィン変換部１７２および補間演算部１７３で構成され、第１の実施例における入力画像補正回路２５と同様なアフィン変換をメイン画像に対して行う。
　　　【０１８６】　　　　　　　　　　　　　　　　　
　画像バッファ１７１は、メイン画像メモリ１５８と同容量の画像メモリで、同期信号１６０のフレーム切り替え信号が非アクティブになった時点から、再度アクティブになるまでの間に、メイン画像メモリの内容全部を複写する。
　　　【０１８７】
　また、画像バッファ１７１は、補間演算部１７３から入力した座標値に対応する画素の値を補間演算部１７３に出力する。
　　　【０１８８】
　アフィン変換部１７２は、第１の実施例におけるアフィン変換部５１と同様の、以下の処理を行う。
　　　【０１８９】
（１）　同期信号１６０のフレーム切り替え信号が立ち上がってから、画素切り替え信号が立ち上がるまでに、パラメタ決定回路１５７から信号線１７５を介してアフィン変換係数を入力する。
　　　【０１９０】
（２）　画素切り替え信号が立ち上がる毎に、画像合成回路１５４から信号線１７７を介して入力する座標値を、以下の数式１５により変換して、補間演算部１７３に出力する。
　　　【０１９１】
　【数１５】
　　　【０１９２】
　ただし、行列要素ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆは、パラメタ決定回路１５７から入力するアフィン変換係数。（ｘ，ｙ）は、画像合成回路１５４から入力する座標値。（ｘ´，ｙ´）は、補間演算部１７３に出力する座標値。
　　　【０１９３】
　補間演算部１７３は、第１の実施例における補間演算部５２と同様の、以下の作用を行う。
（３）　アフィン変換部１７２から上記処理結果の座標値を入力する。
（４）　入力した座標値に対して、画素切り替え信号がアクティブである期間に以下の画素補間演算処理を行い、得られた結果を信号線１７６を介して画像合成回路１５４に出力する。
　　　【０１９４】
Ｍｍ＝Ｆ（ｘ´，ｙ´）
ただし、（ｘ´，ｙ´）は、アフィン変換部１７２から入力する座標値。Ｍｍは、信号線１７６を介して画像合成回路拡大画像メモリ１５４に出力する、計算結果。Ｆ（ｘ´，ｙ´）は、各座標値（ｘ´，ｙ´）に対して、第１の実施例で示した、「３次補間法」「双線形補間法」「再近傍法」のいづれかの方法を用いて、画像バッファ１７１の画像データに対して演算を行うことを意味する。
　　　【０１９５】
　上記の処理により、このメイン画像補正回路１５６は、メイン画像メモリ１５８の画像データを、パラメタ決定回路１５７からのパラメタによってアフィン変換し、画像合成回路１５４に出力する。ただし、同期手段１５０から発せられるリセット信号がアクティブである際は、メイン画像補正回路１５６は処理を行わない。
　　　【０１９６】
　次にパラメタ決定回路１５７の説明を行う。パラメタ決定回路１５７は、図１８に示すように、ベクトル検出部１８１、係数計算部１８２、ベクトルバッファ１８３で構成され、同期手段１５０からの同期信号１６０に同期して処理を行う。
　　　【０１９７】
　ベクトルバッファ１８３は、第１の実施例におけるベクトルバッファ７６と同様に、Ｋ個の代表点の座標値と各代表点における動きベクトル値を、表１に示すような表形式で蓄積するための一時的な記憶手段で、半導体メモリと周辺回路で構成される。ベクトルバッファ１８３は、ベクトル検出部１８１によって書き込み／読み出しが行われ、係数計算部１８２によって読み出される。
　　　【０１９８】
　ベクトル検出部１８１では、メイン画像メモリ内１５８の画像データと、拡大画像メモリ１５９内の画像データを比較し、メイン画像中に設定した複数の代表点における動きベクトルを求める。
　　　【０１９９】
　代表点決定部について説明する。本実施例では、メイン画像中にＫ個の代表点をとり、これらの代表点の座標を、
（ｘｉ，ｙｉ）
ただし、
ｉ＝０〜（Ｋ−１）
０≦ｘｉ＜ＸＩ，０≦ｙｉ≦ＹＩ
とする。
　　　【０２００】
　代表点の座標決定の方法は、第１の実施例のベクトル検出部７１と同様に、
（１）　対象画像によらず、予め決定して、その座標値をベクトルバッファ１８３の「代表点座標」の項に書き込んでおく。または、（２）　フレーム切り替え信号が非アクティブにである期間に、第１の実施例と同様の方法により、メイン画像メモリの画から代表点の座標を決定し、その都度ベクトルバッファに記入する。ただし、リセット信号がアクティブである場合は、上記の処理は行わない。
　　　【０２０１】
　次にベクトル計算部を説明する。以上の処理で求めたメイン画像中の各代表点（ｘｉ，ｙｉ）に対する、拡大画像中の画像の対応点
（ｘ’ｉ，ｙ’ｉ），ｉ＝０〜（Ｋ−１）
または動きベクトル
（ｖｘｉ，ｖｙｉ）＝（ｘ’ｉ−ｘｉ，ｙ’ｉ−ｙｉ），ｉ＝０〜（Ｋ−１）
を、第１の実施例と同様に、ブロックマッチングまたは濃度勾配法のいずれかの方式によって求め、結果をベクトルバッファ１８３の「動ベクトル」の項に書き込む。
　　　【０２０２】
　第１の実施例との違いは以下の通りである。すなわち、第１の実施例では、図１１に示すように、入力画像の原点（左上）をメイン画像の座標（Ｘ０，Ｙ０）と対応させた後、各代表点での動きベクトルを検出していたが、本実施例では、拡大画像とメイン画像の画素数が等しいため、拡大画像との原点をメイン画像の原点に常時対応させて動きベクトルの計算処理を行う。
　　　【０２０３】
　次に、係数計算部１８２を説明する。係数計算部１８２は、ベクトル検出部１８１による以上の処理の結果としてベクトルバッファ１８３に記録された、各代表点（ｘｉ，ｙｉ）に対する動きベクトル（ｖｘｉ，ｖｙｉ）から、第１の実施例に示した、最小二乗法、偏微分方程式による方法のいずれかの処理により、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を計算し、信号線１８４を介してメイン画像補正回路１５６に送出する。
　　　【０２０４】
　ベクトル検出部１８１および係数計算部１８２は、上記の処理を、同期手段２０から発生するフレーム切り替え信号がアクティブになった時点から、画素切り替え信号がアクティブになるまでの期間に行う。
　　　【０２０５】
　ただし、同期手段１５０から発せられるリセット信号がアクティブである際は、パラメタ決定回路１５７は処理を行わない。
　　　【０２０６】
く第２の実施例の全体的な説明＞
　以上に述べたような動作を行う各回路を用いて、以下の順に処理を行うことにより、時間的に連続して入力した画像（以下フレーム）を拡大・合成し、入力画像より高解像度の画像をメイン画像メモリ内に構成することを説明する。
　　　【０２０７】
　すべての処理は、同期手段１５０から、信号線１６０を介して出力される同期信号に同期して行われる。同期信号には、第１の実施例の図１２に示すと同様に、
（１）　リセット信号
（２）　フレーム切り替え信号
（３）　画素切り替え信号
の３種類が存在する。
　　　【０２０８】
　この図１２に示す同期信号に沿って、各部の動作を説明する。
　　　【０２０９】
期間（１）：リセット信号がアクティブになり、フレーム切り替え信号がアクティブになるまでに、以下の処理が行われる。
［１］　メイン画像メモリ１５８は、メモリの全内容をクリアする。すなわち、全てのメイン画像メモリ内の画素値を０に書き換える。
［２］　画像入力手段１１は、１フレーム分の画像データを入力画像メモリ１５３に書き込む。
［３］　画像拡大回路１５５は、上記［２］の処理により入力画像メモリ１５３に書き込まれた画像を拡大・補間し、拡大画像メモリ１５９内に書き込む。
　　　【０２１０】
期間（２）：リセット信号および、第１フレームを示すフレーム切り替え信号アクティブで、かつ、第１画素を示す画素切り替え信号がアクティブになるまでは、特に処理は行わない。
　　　【０２１１】
期間（３）：リセット信号がアクティブの間で、画素切り替えパルスがアクティブになる毎に、画像合成回路１５４は、拡大画像メモリ１５９に記録された画像をラスタ順にメイン画像メモリ２８に書き込む。
　　　【０２１２】
　以上の「期間（１）〜期間（３）」で行う処理の結果として、メイン画像メモリ１５８の画素数に拡大された入力画像が、メイン画像メモリ１５８に書き込まれる。
　　　【０２１３】
　リセット信号が非アクティブになった後は、以下の処理が繰り返し実行される。
　　　【０２１４】
期間（４）：フレーム切り替え信号が非アクティブになった時点から、再度アクティブになるまでの期間には以下の処理が行われる。
［１］　画像入力手段１１は、次の１フレーム分の画像データを入力画像メモリ１５３に書き込む。
［２］　画像拡大回路１５５は、入力画像メモリ１５３に記録された画像を拡大補間処理し拡大画像メモリ１５９に書き込む。
［３］　メイン画像補正回路１５６は、メイン画像メモリの内容を、画像バッファ１７１に複写する。
［４］　パラメタ決定回路１５７は、必要ならばメイン画像から代表点を選択し、座標値をベクトルバッファ１８３に書き込む。
　　　【０２１５】
期間（５）：リセット信号が非アクティブの状態で、フレーム切り替え信号がアクティブになった時点から、画素切り替え信号がアクティブになるまでの間には以下の処理が行われる。
パラメタ決定回路１５７は、拡大画像メモリ１５９に記録された次のフレームの拡大画像とメイン画像メモリ１５８に記録されている、いままでに作成された画像とのマッチングを行い、パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を計算し、メイン画像補正回路１５６に出力する。
　　　【０２１６】
期間（６）：リセット信号が非アクティブの間で、画素切り替えパルスがアクティブになる毎に、画像合成回路１５４は、拡大画像メモリ１５９内の画像と、メイン画像補正回路１５６を介して入力したメイン画像を合成し、ラスタ順にメイン画像メモリ２８に書き込む。
　　　【０２１７】
　これらの画像毎の処理を、タイムチャートで示すと、図１９の通りである。図１９において、左端の項目に付した番号は、以下の信号を伝達する信号線を示す。
１６０：同期手段１５０から出力される同期信号１６０の内、画素切り替えパルス信号。
１７７：画像合成回路１５４からメイン画像補正回路１５６に出力される座標値。
１９１：画像合成回路１５４から拡大画像メモリ１５９に出力される座標値。
１７６：メイン画像補正回路１５６から画像合成回路１５４に出力される画素値。
１９２：拡大画像メモリ１５９から画像合成回路１５４に出力される画素値。
１９３：画像合成回路１５４からメイン画像メモリ１５８に出力される座標値および画素値。
　　　【０２１８】
　また、図１９において、−座標１−、−画素１−、−結果１−などは、各信号線での値が確定していることを示すもので、ｘは、各信号線での値が不定であることを示すものである。図１９中の［１］、［２］、・・・は、下記の処理を行う時期を示す。
　　　【０２１９】
［１］　画像合成回路１５４は、同期信号１６０の画素切り替え信号の立ち上がりを検出して、座標値を信号線１７７、１９１を介してメイン画像補正回路１５６および拡大画像メモリ１５９に出力する。また、同じ座標値を信号線１９３を介してメイン画像メモリに出力する。
　　　【０２２０】
［２］　拡大画像メモリ１５９は、信号線１９１を介して入力した座標に対応する画素データを、画素切り替え信号の立ち下がりまでに画像合成回路１５４に信号線１９２を介して出力する。
　　　【０２２１】
［３］　メイン画像補正回路１５６は、パラメタ決定回路１５７から入力したパラメタに基づいて、信号線１７７を介して入力した座標に対応する画素データを画像バッファ１７１の画像データから計算し、画素切り替え信号の立ち下がりまでに画像合成回路１５４に信号線１７６を介して出力する。
　　　【０２２２】
　上記［１］、［２］、［３］の結果、この結果画素切り替え信号の立ち下がりでは、座標値（１７７、１９２、１９３）および画素値（１７６、１９２）が確定となる。
　　　【０２２３】
［４］　画像合成回路１５４は、画素切り替え信号の立ち下がりを検出し、拡大画像メモリ１５９およびメイン画像補正回路１５６から信号線１９２、１７６を介して入力した画素データを演算処理し、演算結果を、次の同期信号の立ち上がりまでに、メイン画像メモリ１５８に、信号線１９３を介して出力する。
　　　【０２２４】［５］　この結果、画素切り替え信号の立ち上がりでは、信号線１９３上で座標値および演算結果が確定となるため、メイン画像メモリ１５８は、画素切り替え信号の立ち上がりで、画像合成回路１５４から入力する座標値に対応する画素に、画素値を書き込む。
　　　【０２２５】
　以上の「期間（４）〜期間（６）」で行う処理により、メイン画像メモリ１５８には、画像入力手段１１から時間的に連続して入力したフレームの内、最後に入力したフレームの拡大画像を、それまでに入力したフレームの画像の情報によって補間・補正処理した画像が作成される。この様子を模式的に示すと図２０のようになる。
　　　【０２２６】
　図２０で、Ａ，Ｎ，Ｍは、座標に対する変換処理を示しており、Ａは、アフィン変換、Ｎは変換なし、Ｍは拡大処理を示す。また、ｉｍ０，ｉｍ１，ｉｍ２は、時間順に入力する画像を、ｉｍ０，ｉｍ１，ｉｍ２は、入力した画像ｉ０，ｉ１，ｉ２を拡大処理した画像を、ｍ０，ｍ１，ｍ２は、メイン画像メモリ上に作成される画像を示す。
　　　【０２２７】
　第０フレームの処理は、リセット信号がアクティブの際に行われるもので、入力画像ｉ０を拡大した画像ｉｍ０がメイン画像メモリに画像ｍ０として記録される。
　　　【０２２８】
　第１フレームでは、次の入力画像ｉ１を拡大した画像ｉｍ１と、第０フレームで作成された画像ｍ０が合成され、画像ｍ１としてメイン画像メモリ上に作成されるが、この際、ｉｍ１は座標変換されず、ｍ０がｉｍ１に合わせるべくアフィン変換により座標変換されているため、画像ｉｍ１を画像ｍ０で補間・補正した画像ｍ１が作成される。
　　　【０２２９】
　第２フレームでは、第１フレームでの処理で作成された画像と同様に、次の入力画像ｉ２を拡大した画像ｉｍ２を、第１フレームで作成された画像ｍ１で補間・補正した画像ｍ２がメイン画像メモリ上に作成される。
　　　【０２３０】
　これらの処理の際、以前の画像の情報が次の画像に寄与する場合は、画像合成回路１５４での処理における定数αを変化させることで制御可能である。
　　　【０２３１】
＜第３の実施例＞
　上記第２の実施例では、拡大画像メモリ１５９の画像を中心に、メイン画像メモリ１５８の画像を合成することにより、時間的に一番最後に入力した画像を以前に入力した画像で補正・補間していたが、図２１のような構成をとり、メイン画像を中心に、拡大画像を合成するようにすることにより、最初（システムリセット時）に入力した画像を補間・補正することも可能である。この第３の実施例として入力画像補正が可能な画像処理装置を以下に説明する。
　　　【０２３２】
　図２１において、同期手段２１０、入力画像メモリ２１３、画像拡大回路２１５、拡大画像メモリ２１９、画像合成回路２１４、拡大画像補正回路２１６、パラメタ決定回路２１７およびメイン画像メモリ２１８は、それぞれ第２の実施例での同期手段１５、入力画像メモリ１５３、画像拡大回路１５５、拡大画像メモリ１５９、画像合成回路１５４、メイン画像補正回路１５６、パラメタ決定回路１５７およびメイン画像メモリ１５８と同様の回路で、以下に示すように、同様の仕様を持ち、同様の動作を行う。
　　　【０２３３】
　入力画像メモリ２１３は、画像拡大回路２１５からの座標入力に対し、対応する画素値を出力する。
　　　【０２３４】
　画像合成回路２１４は、第２の実施例と同様に、同期信号の画素切り替え信号の立ち上がり毎に、拡大画像補正回路２１６およびメイン画像メモリ２１８に、メイン画像メモリの全座標をラスタ順に順次出力し、画素切り替え信号立ち下がり時に、その結果として得られるそれぞれの回路からの画素値に対して以下の演算を施し、画素切り替え信号が再度立ち上がるまでに、座標値とともに演算結果の値をメイン画像メモリ２１８に出力する。
　　　【０２３５】
Ｍ＝α×Ｆｍ＋（１−α）×Ｆｉ
ｉｆ　Ｍ≧ＧＭ　ｔｈｅｎ　Ｍ＝ＧＭ
ただし、αは、予め定めた定数で、０＜α＜１
Ｍは、メイン画像メモリ１５８に出力する画素値。Ｆｉは、拡大画像補正回路２１６から入力する画素値。Ｆｍは、メイン画像メモリ２１８から入力する画素値。
　　　【０２３６】ただし、リセット信号がアクティブである間は、以下の演算，すなわち、拡大画像補正回路２１６からの入力のみをメイン画像メモリ２１８に書き込む処理を行う。
　　　【０２３７】
Ｍ＝Ｆｉ
ｉｆ　Ｍ≧ＧＭ　ｔｈｅｎ　Ｍ＝ＧＭ
画像拡大回路２１５は、第２の実施例と同様に、入力画像メモリ２１３内に蓄積されているデジダル画像データをメイン画像メモリ２１８の画素数に拡大補間し、拡大画像メモリ２１９に書き込む処理を、フレーム切り替え信号非アクティブである期間に行う
　　　【０２３８】
　拡大画像メモリ２１９は、画像拡大回路によって拡大された入力画像が書き込まれ、拡大画像補正回路２１６によって読み出される、メイン画像メモリと同じ画素数を持つ画像バッファである。
　　　【０２３９】
　拡大画像補正回路２１６は、図２２に示すように、パラメタ決定回路２１７から入力するパラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）により、拡大画像メモリ２１９内の画像データをアフィン変換し、画像合成回路２１４から入力する座標値に対応する画素データを画像合成回路２１４に出力する回路で、内部構成および処理方式は第１の実施例におけるメイン画像補正回路１５６と比較した場合、以下の点を除き、同様である。
　　　【０２４０】
（１）　メイン画像の代わりに拡大画像を変換する。そのため、補間演算部２２３は、拡大画像メモリ２１９に接続される。また、拡大画像メモリの画像を直接参照すればよく、画像バッファは必要ない。
　　　【０２４１】
（２）　同期手段２１０から発せられるリセット信号がアクティブである際は、拡大画像補正回路２１６は変換処理を行わず、画像合成回路２１４からの座標入力に対し、拡大画像メモリの対応する画素値をそのまま出力する。
　　　【０２４２】
　すなわち、この期間は、
・アフィン変換部２２２は画像合成回路２１４から入力した座標値をそのまま補間演算部２２３に出力する。
・補間演算部２２３では、アフィン変換部２２２から入力した座標値に対して、以下の処理を行う。
　　　【０２４３】
Ｆｋ＝Ｆｉ（ｘ，ｙ）
ただし、Ｆｋは、画像合成回路２１４に出力する画素値。（ｘ，ｙ）は、アフィン変換部２２２から入力する座標値。Ｆｉ（ｘ，ｙ）は、拡大画像メモリの、座標（ｘ，ｙ）に対応する画素値。
　　　【０２４４】
　パラメタ決定回路２１７は、フレーム切り替え信号が立ち上がってから、画素切り替え信号が立ち上がるまでに、拡大画像メモリ２１９およびメイン画像メモリ２１８のそれぞれに蓄積されている画像データを比較し、補正パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）を拡大画像補正回路２１６に出力する。
　　　【０２４５】
　この際、第２の実施例との相違は、第２の実施例では、メイン画像上に代表点を取り、拡大画像とのマッチングを行っていたが、本実施例では、拡大画像上に代表点を設定し、メイン画像とのマッチング処理を行う点のみである。
　　　【０２４６】
　メイン画像メモリ２１８は、画像合成回路２１４から座標と画素値を入力し、入力した座標に対応するメモリ領域に画素値を書き込む。また、パラメタ決定回路２１７からの座標入力に対し、対応する画素値を出力する。
　　　【０２４７】
　以上の構成を持つ装置による、第２の実施例と同様の処理により、メイン画像には、画像入力手段１１から時間的に連続して入力したフレームの内、最初に入力したフレームの拡大画像を、以後に入力したフレームの画像の情報によって補間・補正処理した画像が作成される。
　　　【０２４８】
　この様子を模式的に示すと図２３のようになる。図２３で、Ａ，Ｎ，Ｍは、座標に対する変換処理を示しており、Ａは、アフィン変換、Ｎは変換なし、Ｍは拡大処理を示す。
　　　【０２４９】
　また、ｉ０，ｉ１，ｉ２，は、順に入力する画像を、ｉｍ０，ｉｍ１，ｉｍ２は、入力した画像ｉ０，ｉ１，ｉ２を拡大処理した画像を、ｍ０，ｍ１，ｍ２は、メイン画像メモリ上に作成される画像を示す。
　　　【０２５０】
　第０フレームの処理は、リセット信号がアクティブの際に行われるもので、入力画像ｉ０を拡大した画像ｉｍ０がメイン画像メモリに画像ｍ０として記録される。
　　　【０２５１】
　第１フレームでは、次の入力画像ｉ１を拡大した画像ｉｍ１と、第０フレームで作成された画像ｍ０が合成され、画像ｍ１としてメイン画像メモリ上に作成されるが、この際、ｍ０は座標変換されず、ｉｍ１がｍ０に合わせるべくアフィン変換により座標変換されているため、画像ｍ０を画像ｉｍ０で補間・補正した画像ｍ１が作成される。
　　　【０２５２】
　第２フレームでは、第１フレームでの処理で作成された画像と同様に、次の入力画像ｉ２を拡大した画像ｉｍ２により、第１フレームで作成された画像ｍ１を補間・補正した画像ｍ２がメイン画像メモリ上に作成される。
　　　【０２５３】
＜第４の実施例＞
　上記第２および第３の実施例では、パラメタ決定回路において、メイン画像メモリと拡大画像メモリ１５９の画像を比較し、変換パラメタを決定していたが、図２４、図２５に示すような構成をとることにより、パラメタ決定の処理量を軽減することが可能である。この縮小マッチングを行う画像処理装置を第４の実施例として以下に説明する。
　　　【０２５４】
　図２４は第２の実施例を、図２５は、第３の実施例を変更したものであるが、これらの実施例と第２、第３の実施例との相違は以下の項目である。
　　　【０２５５】
　すなわち、パラメタ決定回路において、第２、第３の実施例においては、拡大画像メモリとメイン画像メモリの比較を行っていたが、本実施例では、入力画像メモリと、メイン画像を縮小した画像が記録されている縮小画像メモリとの比較を行う点である。
　　　【０２５６】
　このため本実施例では、拡大画像メモリおよび画像拡大回路を削減し、縮小画像メモリ２４９、２５９および画像縮小回路２４２、２５２を新設している。これらの回路の作用を以下に示す。
　　　【０２５７】
　まず縮小画像メモリについて説明する。縮小画像メモリ２４９、２５９は、メイン画像メモリに作成された画像を入力画像メモリと同じ画素数に縮小した画像を蓄積するための画像バッファで入力画像メモリと同じ画素数を持つ。また、縮小画像メモリは、パラメタ決定回路２４７、２５７からの座標入力により、対応する画素値を出力する。
　　　【０２５８】
　次に画像縮小回路について説明する。画像縮小回路２４２、２５２は、メイン画像メモリ内の（ＸＭ，ＹＭ）画素の画像データを、入力画像メモリの画素数（ＸＩ，ＹＩ）に縮小する処理を行う部分で、図２６に示す様に座標発生部２６１、座標拡大部２６２および補間演算部２６３で構成される。
　　　【０２５９】
　座標発生部２６１は、同期手段からのフレーム切り替え信号立ち下がりから、再度フレーム切り替え信号が立ち上がるまでの期間に、縮小画像メモリ内の全ての画素の座標をラスタ順に発生し、座標拡大部２６２に順次出力するとともに、同じ座標値を縮小画像メモリ２４９／２５９に出力する。
　　　【０２６０】
　座標拡大部２６２は、座標発生部２６１から入力する各座標値に対して以下の処理を行い、結果値を補間演算部２６３に出力する。
　　　【０２６１】
（ｘ’，ｙ’）＝（ａ・ｘ，ｂ・ｙ）
ただし、ａ，ｂは、縮小率を示す浮動小数点型の定数で、以下の計算により算出される。
ａ＝ＸＭ／ＸＩ
ｂ＝ＹＭ／ＹＩ
ｘ，ｙは、座標発生部２６１から入力する整数の座標値。ｘ’，ｙ’は、補間演算部２６３に出力する浮動小数点型の座標値。
　　　【０２６２】
　補間演算部２６３は、座標拡大部２６２から入力した各座標値について、例えば以下の様な重み付き平均演算を行う。
　　　【０２６３】
　【数１６】
ただし、（ｍ，ｎ）は、座標拡大部２６２から入カする座標値（Ｘ´、ｙ´）の近傍の整数座標値で、以下の範囲の整数値である。
　　　ｘ´−（ａ／２）＜ｍ＜ｘ´＋（ａ／２）
　　　ｙ´−（ｂ／２）＜ｎ＜ｙ´＋（ｂ／２）
Ｍｉは、縮小画像メモリ２４９／２５９に出力する、計算結果。ａ（ｍ−Ｘ´，ｎ−ｙ´）は、画素値Ｉ（ｍ，ｎ）に対する重みで、例えば以下の式のように座標（ｘ´，ｙ´）と（ｍ，ｎ）の２次元距離で決定される、総和が１である浮動小数点型の数値である。
　　　【０２６４】
　以上の画像縮小回路２４２、２５２における処理の結果、フレーム切り替え信号立ち下がりから再度立ち上がるまでの期間に、メイン画像メモリ内の画像が入力画像メモリの画素数に縮小された画像が、縮小画像メモリ２４９／２５９内に作成される。
　　　【０２６５】
　次にパラメタ決定回路について説明する。パラメタ決定回路２４７／２５７は、フレーム切り替え信号が立ち上がってから、画素切り替え信号が立ち上がるまでの期間に、入力画像メモリと縮小画像メモリのそれぞれに蓄積されている画像データを比較し、補正パラメタ（ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆ）をメイン画像補正回路２４６または入力画像補正回路２５５に出力する。
　　　【０２６６】
　この際、第２、第３の実施例との相違は、それぞれ、マッチングする画素数が異なる。すなわち、第２、第３の実施例では、メイン画像メモリの画素数（ＸＭ，ＹＭ）の画素に対して処理を行っていたのに対し、本実施例では、入力画像メモリの画素数（ＸＩ，ＹＩ）の画像に対してのみ処理を行えば良いため、計算量が減少される点である。
　　　【０２６７】
＜第５の実施例＞
　上記の各実施例においては、パラメタ決定回路において、画像処理のみでパラメタを決定していたが、図２７に示すように、画像入力手段１１において、ジャイロ２７１を装備し、オペレータが画像入力手段を持ち、パン操作等で移動するる際の動きに応じた移動パラメタをパラメタ決定回路に出力し、パラメタ決定回路は、ジャイロから入力するカメラ移動量により、補正パラメタの決定の処理量を軽減することが可能である。以下にジャイロを利用した、本発明に係る画像処理装置を第５の実施例として説明する。
　　　【０２６８】
　図２７は、第１の実施例におけるパノラマ画像生成装置の画像入力手段１１にジャイロ装置を装備したもので、本実施例では、ジャイロ装置は、画像入力手段１１のＣＣＤ撮像面に対する平行移動速度（ｊｘ，ｊｙ）をパラメタ決定回路に出力する。
　　　【０２６９】
　パラメタ決定回路では、ジャイロ装置から得られるカメラの平行移動速度（ｊｘ，ｊｙ）を、パラメタ決定回路２７のベクトル検出部におけるブロックマッチングの際に、ベクトル検索範囲ｖｘ，ｖｙを減少させることが可能で、例えば、以下の方法により、検索範囲を１／４にすることが可能である。
　　　【０２７０】
Ｍ０＝−Ｍ，Ｍ１＝Ｍ，Ｎ０＝−Ｎ，Ｎ１＝Ｎ
ｉｆ　（ｊｘ＞０）　　ｔｈｅｎ　Ｍ０＝０
ｉｆ　（ｊｘ≦０）　　ｔｈｅｎ　Ｍ１＝０
ｉｆ　（ｊｙ＞０）　　ｔｈｅｎ　Ｎ０＝０
ｉｆ　（ｊｙ≦０）　　ｔｈｅｎ　Ｎ１＝０
とし、検索範囲を
Ｍ０≦ｖｘ≦Ｍ１　　　　Ｎ０≦ｖｙ≦Ｎ１
とすることにより、検索範囲は、ｖｘがＭ画素、ｖｙがＮ画素となり、第１の実施例に示す方式では合計（２Ｍ×２Ｎ）画素の範囲の検索が必要であったのに対し、本実施例では、（
Ｍ
　　　【０２７１】
　また、本実施例では第１の実施例にジャイロ装置を装備する例について示したが、第２、第３、第４の実施例においても同様に、ジャイロ装置を画像入力手段に装備することにより、パラメタ決定回路での処理量の軽減が可能である。
　　　【０２７２】
＜第６の実施例＞
　上記の各実施例においては、入力画像は、画像入力手段１１を操作するオペレータのカメラ移動によって変化していたが、図２８に示すように、画像入力手段１１を能動的に移動させることにより、オペレータが画像入力手段を固定していた場合でも、パノラマ画像または高解像度の画像を入力することが可能である。以下に第６の実施例として説明する。図２８（ａ）は、本実施例での画像入力手段の正面図で、図２８（ｂ）は、側面断面図である。
　　　【０２７３】
　２８１は画像入力手段におけるＣＣＤ撮像部で、ＣＣＤ素子および周辺回路で構成され、信号線によってＡ／Ｄ変換部に接続される。ＣＣＤ撮像面は、図２８（ａ）では、正面に、図２８（ｂ）では左面に位置する。
　　　【０２７４】
　２８２は外殻で、プラスチックや金属で構成される。２８３はＣＣＤ撮像部２８１と外殻２８２を物理的に結合するための振動素子で、圧電素子またはバネなどで構成される。
　　　【０２７５】
　本実施例における画像入力手段において、振動素子が圧電素子の場合、圧電素子は、電源からの気流電圧により、常時振動している。この際、外殻をオペレータが固定して持つのみで、圧電素子の振動によりＣＣＤ撮像部には振動範囲での複数種の画像が連続して入力され、これを上記の実施例における入力処理手段に順次入力することにより、振動範囲での高解像度画像がメイン画像メモリ上に作成される。
　　　【０２７６】
　また、振動子がバネの場合、外角をオペレータが持ち、最初に微小振動を与えることにより、バネが振動する期間、その振動範囲での画像が連続して入力され、これを上記の実施例における入力処理手段に順次入力することにより、振動範囲での高解像度画像がメイン画像メモリ上に作成される。
　　　【０２７７】
＜第７の実施例＞
　上記第２の実施例における入力処理手段を、図２９に示す様に、高解像度表示装置に接続することにより、低解像度の動画像を高解像度化することが可能である。以下に第７の実施例として説明する。
　　　【０２７８】
　第２９図における高解像度画像表示装置は、動画供給手段２９１、入力処理手段２９２、画像蓄積手段２９３および画像表示手段２９４で構成される。
　　　【０２７９】
　動画供給手段２９１は、動画すなわち時間的に連続した複数の画像を、第２の実施例の画像入力手段と同様の形式のデジタルデータとして入力処理手段２９２に出力するもので、たとえばＮＴＳＣの信号をフレーム毎にデジタイズする装置等で構成される。
　　　【０２８０】
　入力処理手段２９２および画像蓄積手段２９３は、第２の実施例と同様の装置である。画像表示手段２９４は、動画供給手段２９１で供給される画像の画素数よりも多い画素数の画像を表示可能な装置で、入力処理手段２９２の一回のフレーム処理毎に、画像蓄積手段２９３の画像をそのまま表示する。例えばハイビジョン表示装置などで構成される。
　　　【０２８１】
　本装置によれば、動画供給手段２９１から入力する動画像に、第２の実施例における処理を施し、画像表示手段２９４に出力することにより、少ない画素の動画像から、多い画素の動画像を得、表示することが可能である。
【図面の簡単な説明】
　　【図１】
　第１の実施例の構成図
　　【図２】
　本発明の画像生成装置の構成図
　　【図３】
　第１の実施例における画像合成回路の構成図
　　【図４】
　座標発生部の処理を示すフローチャート
　　【図５】
　第１の実施例における入力画像補正回路の構成図
　　【図６】
　第１の実施例におけるメイン画像補正回路の構成図
　　【図７】
　第１の実施例におけるパラメタ決定回路の構成図
　　【図８】
　第１の実施例におけるメイン画像と入力画像との関係を説明するための図
　　【図９】
　パラメタ決定回路での代表点の例を示す図
　　【図１０】
　代表点の選択方法を説明するための図
　　【図１１】
　ブロックマッチングを説明するための図
　　【図１２】
　同期信号の関係を説明するための図
　　【図１３】
　画素毎の処理を説明するための図
　　【図１４】
　第１の実施例における処理結果を例示した図
　　【図１５】
　第２の実施例の構成図
　　【図１６】
　第２の実施例における画像拡大回路の構成図
　　【図１７】
　第２の実施例におけるメイン画像補正回路の構成図
　　【図１８】
　第２の実施例におけるパラメタ決定回路の構成図
　　【図１９】
　第２の実施例における画素事の処理を説明するための図
　　【図２０】
　第２の実施例における処理を模式的に説明するための図
　　【図２１】
　第３の実施例の構成図
　　【図２２】
　第３の実施例における拡大画像補正回路の構成図
　　【図２３】
　第３の実施例における処理を模式的に説明するための図
　　【図２４】
　第４の実施例の構成図
　　【図２５】
　第４の実施例の構成図
　　【図２６】
　第４の実施例における画像縮小回路の構成図
　　【図２７】
　第５の実施例の構成図
　　【図２８】
　第６の実施例における画像入力手段の構成図
　　【図２９】
　第７の実施例の構成図
　　【図３０】
　代表点の例を示す図
　　【符号の説明】
　　１１　画像入力手段
　　１２　入力処理手段
　　１３　画像蓄積手段
　　１４　出力処理手段
　　１５　画像出力手段
　　２０　同期手段
　　２１　ＣＣＤ撮像部
　　２２　Ａ／Ｄ変換
　　２３　入力画像メモリ
　　２４　画像合成回路
　　２５　入力画像補正回路
　　２６　メイン画像補正回路
　　２７　パラメタ決定回路
　　２８　メイン画像メモリ
　　３１　座標発生部
　　３２　画素演算部
　　５１　アフィン変換部
　　５２　補間演算部
　　６１　画像バッファ
　　６２　座標演算部
　　７１　ベクトル検出部
　　７２　係数計算部
　　７３　パラメタ分割部
　　７５　原点バッファ
　　７６　ベクトルバッファ
　　１５０　同期手段
　　１５３　入力画像メモリ
　　１５４　画像合成回路
　　１５５　画像拡大回路
　　１５６　メイン画像補正回路
　　１５７　パラメタ決定回路
　　１５８　メイン画像メモリ
　　１６１　座標発生部
　　１６２　座標縮小部
　　１６３　補間演算部
　　１７１　画像バッファ
　　１７２　アフィン変換部
　　１７３　補間演算部
　　１８１　ベクトル検出部
　　１８２　係数計算部
　　１８３　ベクトルバッファ
　　２１０　同期手段
　　２１３　入力画像メモリ
　　２１４　画像合成回路
　　２１５　画像拡大回路
　　２１６　拡大画像補正回路
　　２１７　パラメタ決定回路
　　２１８　メイン画像メモリ
　　２１９　拡大画像メモリ
　　２２２　アフィン変換部
　　２２３　補間演算部
　　２４０　同期手段
　　２５２　画像縮小回路
　　２５３　入力画像メモリ
　　２５４　画像合成回路
　　２５５　入力画像補正回路
　　２５７　パラメタ決定回路
　　２５８　メイン画像メモリ
　　２６１　座標発生部
　　２６２　座標拡大部
　　２６３　補間演算部
　　２７１　ジャイロ
　　２８１　ＣＣＤ撮像部
　　２８２　外殻
　　２８３　振動素子
　　２９１　動画供給手段
　　２９２　入力処理手段
　　２９３　画像蓄積手段
　　２９４　画像表示手段