(57)【要約】【課題】広角撮像器からの変形した画像をＮＴＳＣもしくはＰＡＬのテレビ信号のような長方形なサイズに変換する画像処理装置は、その出力は１秒間のコマ数が不十分で連続したように視覚的にとらえられることができなかった。【解決手段】広角撮像器１からのテレビ信号をＡ／Ｄ変換部３でデジタル変換を行う。その後ＳＤＲＡＭ７に記憶しその出力をＳＲＡＭからなるメモリブロック９ａ，９ｂ，９ｃに出力し演算回路部１１にて展開後の画像を算出する。ＳＤＲＡＭ７とＳＲＡＭのメモリブロック９の組み合わせにより、リアルタイムな画像出力と回路構成が安価となる効果が得られる。【選択図】　図１
2004046401.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数のブロック画像に分け、前記ブロック画像に対して順次画像処理を行う画像処理装置であって、
前記入力画像を記憶するＳＤＲＡＭと、
複数のＳＲＡＭからなり、
前記ＳＲＡＭのうち１つが前記ＳＤＲＡＭに記憶されているいずれかの前記ブロック画像の書き込み処理が行われるライトメモリブロックとなり、
前記ＳＲＡＭのうち他の１つが前記ＳＤＲＡＭから読み込み済みの他の前記ブロック画像の読み出し処理が行われるリードメモリブロックとなり、
前記ライトメモリブロックと前記リードメモリブロックは並列的に前記書き込み処理および前記読み出し処理が可能であり、前記ライトメモリブロックと前記リードメモリブロックは前記書き込み処理や前記読み出し処理のタイミングに応じて前記ＳＲＡＭ間で切り替わるメモリブロックと、
前記リードメモリブロックから前記ブロック画像を読み出し、画像処理を行う演算回路と、
により構成される画像処理装置。
【請求項２】
前記メモリブロックをＮ系統（Ｎは整数でＮ＞２）有し、また、前記メモリブロックをＮ系統のうち１系統当たりＫ個（Ｋは自然数）の前記ＳＲＡＭを有し、
複数の前記ブロック画像の前記メモリブロックへの書き込みを、前記メモリブロックの１系統当たりＫ個の前記ＳＲＡＭに同時に書き込むことと、
複数の前記ブロック画像の前記メモリブロックへの書き込みを、前記ＳＤＲＡＭにて読み出される前記ブロック画像毎にＮ系統分の前記メモリブロックに順次行い、Ｍ（Ｍは自然数）番目に画像処理を行う前記ブロック画像の前記画像処理を開始する時刻までに、Ｍ番目に画像処理を行う前記ブロック画像の前記書き込み処理が終了していることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ブロック画像の処理順序を、
偶数番目もしくは奇数番目には画像処理時間の長いものから順番に、奇数番目もしくは偶数番目には画像処理時間の短いものから順番に並ぶように決定し、Ｍ（Ｍは整数でＭ＞０）番目から（Ｍ＋１）番目にかけて画像処理を行う２個の前記ブロック画像の読み込み時間Ａと（Ｍ−１）番目からＭ番目にかけて画像処理を行う２個の前記ブロック画像の画像処理時間Ｂの関係がＡ＞Ｂとなる場合には、（Ｍ−１）番目からＭ番目の前記ブロック画像で、本来不要であって必要とする画像処理に影響を与えないダミーの画像処理を実施することにより画像処理時間を増やしてＡ＜＝Ｂとすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記入力画像における前記ブロック画像の領域が、上下方向、もしくは左右方向、もしくは上下左右方向で重複部分が生じるように設定することを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、円形の反射鏡からの広角な画像を撮影した広角撮像器からの画像出力を、画像補正行う画像処理装置に関する。
【０００２】
【従来の技術】
円形の反射鏡にて広角で撮影した円形画像をテレビ規格であるＮＴＳＣまたはＰＡＬのような長方形の画像に変換するための画像処理装置における従来の技術について説明する。
【０００３】
まず、反射鏡からの広角な画像を撮影した広角撮像器からの画像出力について、図４を用いて説明する。１は広角撮像器である。双曲面反射鏡４１は双曲面の回転中心軸周りの略±９０度分の反射面を有している。その０度の方向を基準光軸方向と呼ぶこととし、ここではＹ軸方向に一致するものとする。４４は双曲面反射鏡４１の内部焦点である。４５は撮像素子４３の撮像面である。４６は双曲面反射鏡４１の回転中心軸である。ここでは回転中心軸４６がＺ軸（鉛直方向）と一致するものとする。内部焦点４４に向かって入射した光線ａ、ｂ、ｃは、双曲面反射鏡４１の反射面で反射し、回転中心軸４６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ４２の主点４７の位置は略々一致するように配置されており、結像レンズ４２を介して光線ａ、ｂ、ｃが撮像素子４３の撮像面４５上に結像する。ここで結像レンズ４２と撮像素子４３の共有している光軸（図示せず）は、双曲面反射鏡４１の回転中心軸４６に対して基準軸方向に傾斜して設置されている。このように、光線ａ、ｂ、ｃが撮像素子４３の撮像面４５上に結像された光線、つまり画像は、広角に撮像されており、その画像が広角撮像器１からの画像出力となる。
【０００４】
次に、上記変形画像をＮＴＳＣまたはＰＡＬのような長方形の画像に変換するための方式の一例について説明する。
【０００５】
図６の広角撮像器からの画像出力５０のうち任意に画像６１付近で説明する。６２は画像６１付近の拡大図であり、座標値は一例とする。画像６１付近の変形画像（以降、展開前画像と記す）を画像処理装置にてＮＴＳＣまたはＰＡＬのような長方形の画像に変換（以降、展開処理と記す）した画像を展開処理後の画像６３とする。この展開処理後の画像６３を生成するには、その周りの展開前画像近傍４点の画像から次の手段で行う。展開処理後の画像６３の座標値を（３．１，　３．７）とした場合、この座標の近傍値となる展開前画像の座標はＸ方向が３および４、Ｙ方向も３および４となる。展開処理後の画像６３は展開前画像近傍４点の画像の各データにより生成されることから、各展開前画像との距離により各データからの影響度合い（重み）は異なる。この重みを表すため面積を求める。
【０００６】
また、展開処理後の画像６３を求めるため、近傍４点のデータにそれぞれ展開処理後の画像に対する重みを掛け合わせた上、足し合わせて求める。具体的には、
【０００７】
【数１】
2004046401.tif 000003
【０００８】
【数２】
2004046401.tif 000004
【０００９】
というような演算で求められる。展開前後の各画素における座標の関係を示すためのデータを用意するものとする。
【００１０】
次に画像処理装置について説明する。
【００１１】
図７に従来の画像処理装置の構成を示しており、１は円形の反射鏡からの広角な画像を撮影した広角撮像器、２は広角撮像器１からの出力であるＮＴＳＣもしくはＰＡＬなどのテレビ信号を処理する映像入力アナログ信号処理部、３は映像入力アナログ信号処理部２からの信号をデジタル変換するＡ／Ｄ変換部、４は広角撮像器１からのテレビ信号に含まれる同期信号のみを抜き出す同期分離部、５１はＡ／Ｄ変換部からのデジタル・データを記憶するＥＤＯ　ＤＲＡＭ（Ｅｎｈａｎｃｅｄ　Ｄａｔｅ　Ｏｕｔ　ＤＲＡＭ）部、５２はＥＤＯ　ＤＲＡＭ部５１を制御するメモリー制御部、５３はＥＤＯ　ＤＲＡＭ部５１からの読み出しデータを遅延させるデータ遅延部、５４は画像処理を行うための演算回路部、５５は演算回路部５４で生成されたデータをＮＴＳＣもしくはＰＡＬなどのテレビ信号の規格に準じた形式に出力するためのバッファメモリ部、５６はバッファメモリ部５５を制御するバッファメモリ制御部、１４はアナログ信号に変換するＤ／Ａ変換部、１５はＮＴＳＣもしくはＰＡＬなどのテレビ信号として出力するための映像出力アナログ信号処理部、１６は画像処理装置からＮＴＳＣもしくはＰＡＬなどのテレビ信号を外部機器と接続するための映像出力端子である。以上のように構成された画像処理装置について、以下図５〜図８を用いて、その動作について説明する。
【００１２】
広角撮像器１からの画像出力は、図５に示すよう、被写体４９を撮影すると広角撮像器からの画像出力５０のような円形かつ左右が反転した画像となる。このようないわゆる変形した画像が広角撮像器１から画像処理装置に入力される。映像入力アナログ信号処理部２ではクランプ処理などが行われ、Ａ／Ｄ変換部３にてデジタル変換を行う。デジタル変換されたデータは、ＥＤＯ　ＤＲＡＭ５１に記憶される。このＥＤＯ　ＤＲＡＭ５１に記憶されているデータから前述の展開処理後の画像を求める式に対応させるには、同時に展開前画像４点のデータが必要となる。ＥＤＯ　ＤＲＡＭ５１より読み出すデータを図８　（ａ）ＥＤＯ　ＤＲＡＭ読み出しデータに示すように展開処理後の画像毎に４点の画像データ単位で読み出す。例えばＤ０−１〜Ｄ０−４を１つの展開処理後の画像用展開前画像データ、次のＤ１−１〜Ｄ１−４をＤ０−１〜Ｄ０−４とは異なる１つの展開処理後の画像用展開前画像データというようにＥＤＯ　ＤＲＡＭ５１より読み出す。この際、４点の展開前画像データはＥＤＯ　ＤＲＡＭ５１上連続したアドレスのデータとは限らない。図６に示すよう、上下左右のデータを必要とするためであり、予めＥＤＯ　ＤＲＡＭ５１に連続したアドレスとして書き込みことを行っていない限り、アドレスは連続しない。従ってメモリー制御部５２は、ランダムアクセスを有したメモリー制御となる。メモリー制御部５２でのメモリー制御は、同期分離部４の出力である水平同期信号Ｈｓｙｎｃ、垂直同期分離信号Ｖｓｙｎｃそして映像信号の第１フィールド、第２フィールドを示すフレーム信号を基にメモリー制御のタイミングを決定する。
【００１３】
ＥＤＯ　ＤＲＡＭ５１から読み出されたデータから１つの展開処理後の画像用データを前述の展開処理後の画像を求める式に対応させるため、４点のデータが同一タイミングである必要がある。図８（ａ）ＥＤＯ　ＤＲＡＭ読み出しデータでは、４点のデータが順次読み出されるため同一タイミングにはならない。そのため図８（ｂ）〜（ｅ）のようにデータ遅延部５３にてデータを遅延させタイミングを整える。そして図８（ｂ）〜（ｅ）の太枠で囲む範囲のように４点のデータのタイミングが同一となったタイミングで前述の展開処理後の画像を求める式に対応させて演算処理を演算回路部５４で行う。これは映像信号のデジタル・データのリアルタイムな連続読み出しはできないことを意味する。（また、ＥＤＯＤＲＡＭのランダムアクセス時の読み出しサイクルは、沖電気製ＭＳＭ５１Ｖ１６１６５Ｄ−５０によると８４ｎｓが最短である。他社製品もほぼ同等である。映像信号のデジタル・データ・サイクルは７４ｎｓが一般的であり、前述読み出しサイクル以下であることから、ＥＤＯ　ＤＲＡＭではデジタル・データのバス幅を広げるなどしてそのサイクル長くしない限り映像信号のデジタル・データのリアルタイムな連続読み出しはできない。）
その後演算回路部５４で求められた展開処理後の画像データを映像出力アナログ信号処理部１５および映像出力端子１６を介して他の装置へ出力するが、ＮＴＳＣもしくはＰＡＬなどのテレビ信号に準じた１フレーム分のデータを求めるのに２フレーム以上の時間を要するため、２フレーム以上の時間をかけてバッファメモリ部５５にて１フレーム分のデータを溜める。Ｄ／Ａ変換機１４には、バッファメモリ部５５で１フレーム分のデータを溜まるまで、先の時刻に１フレーム分溜まったデータを出力する。このようなバッファメモリ部５５の制御をバッファメモリ制御部５５で行うよう構成されている。
【００１４】
【発明が解決しようとする課題】
この画像処理装置においては、得られる展開処理後の画像は、例えばテレビ信号のＮＴＳＣでは１秒間に３０フレームのコマ数があるのに対し、ＥＤＯ　ＤＲＡＭの特性上高速処理が実現できないため１秒間に４フレームのコマ数程度しか得られない。また、コマ数を増やすにはＥＤＯ　ＤＲＡＭを並列に接続しデータバス幅を広げることが考えられるが、回路規模が大きくなるとともに高価になる。
【００１５】
また、上述の従来例ではＥＤＯ　ＤＲＡＭでの例であるが、ＳＤＲＡＭにおいても同様に１秒間あたりのコマ数を増やすのには、回路規模が大きくなる、もしくは回路構成が複雑になり、高価になる。
【００１６】
また、上述の従来例でのＥＤＯ　ＤＲＡＭの代わりにＥＤＯ　ＤＲＡＭよりも高速動作が可能なＳＲＡＭを用いることは可能であるが、ＮＴＳＣあるいはＰＡＬなどの映像信号のうち例えば１フレーム以上記憶するには２Ｍｂｉｔ以上のメモリ容量が必要となり、高価になる。
【００１７】
近年、例えば監視用途では、設備投資が抑えられていたり、また場所の都合で監視用テレビカメラの台数を削減したいなどといったことから、画像の動きがなめらかな広角画像がが要求されている。
【００１８】
本発明は、広角画像でありながらテレビ信号のＮＴＳＣでは１秒間に３０フレーム、ＰＡＬでは１秒間に２５フレームのコマ数を実現し、また安価に実現することを目的とする。
【００１９】
【課題を解決するための手段】
この課題を解決するために請求項１、請求項２及び請求項４の発明は、入力画像を複数のブロック画像に分け、ＳＤＲＡＭとＳＲＡＭを組合して用いる構成したものである。
【００２０】
これにより、画像処理の速度を向上させることができる。
【００２１】
本願の請求項３の発明は、入力画像を複数のブロック画像に分けて画像処理する上で、回路構成を簡素化するための構成としたものである。
【００２２】
これにより、回路構成が複雑化を避けて簡素化され、安価に実現することができる。
【００２３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力画像を複数のブロック画像に分け、前記ブロック画像に対して順次画像処理を行う画像処理装置であって、前記入力画像を記憶するＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　ＲＡＭ）と、複数のＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）からなり、前記ＳＲＡＭのうち１つが前記ＳＤＲＡＭに記憶されているいずれかの前記ブロック画像の書き込み処理が行われるライトメモリブロックとなり、前記ＳＲＡＭのうち他の１つが前記ＳＤＲＡＭから読み込み済みの他の前記ブロック画像の読み出し処理が行われるリードメモリブロックとなり、前記ライトメモリブロックと前記リードメモリブロックは並列的に前記書き込み処理および前記読み出し処理が可能であり、前記ライトメモリブロックと前記リードメモリブロックは前記書き込み処理や前記読み出し処理のタイミングに応じて前記ＳＲＡＭ間で切り替わるメモリブロックと、前記リードメモリブロックから前記ブロック画像を読み出し、画像処理を行う演算回路と、により構成されるものであり、ＳＤＲＡＭのバースト読み出しＳＲＡＭの高速ランダムアクセスを平行して行うことにより、小規模の比較的高価なＳＲＡＭと大規模の比較的安価なＳＤＲＡＭを使用することにより、ＳＤＲＡＭのみで構成するよりも高速処理（テレビ信号のＮＴＳＣでは１秒間に３０フレーム、ＰＡＬでは１秒間に２５フレームのコマ数を実現できる）可能な回路を、ＳＲＡＭのみで構成するよりも安価に実現できるという作用を有する。
【００２４】
請求項２に記載の発明は、メモリブロックをＮ系統（Ｎは整数でＮ＞２）有し、また、前記メモリブロックをＮ系統のうち１系統当たりＫ個（Ｋは自然数）の前記ＳＲＡＭを有し、複数の前記ブロック画像の前記メモリブロックへの書き込みを、前記メモリブロックの１系統当たりＫ個の前記ＳＲＡＭに同時に書き込むことと、複数の前記ブロック画像の前記メモリブロックへの書き込みを、前記ＳＤＲＡＭにて読み出される前記ブロック画像毎にＮ系統分の前記メモリブロックに順次行い、Ｍ（Ｍは自然数）番目に画像処理を行う前記ブロック画像の前記画像処理を開始する時刻までに、Ｍ番目に画像処理を行う前記ブロック画像の前記書き込み処理が終了していることを特徴とするものであり、ブロックの書き込み時間がブロック画像の画像処理時間以下であることから、演算回路の待ち時間がなくなる（ブロック画像の書き込み時間は無視できるようになる）ことにより、ＳＲＡＭのみで構成する場合と同等の高速処理が可能な回路を、ＳＲＡＭのみで構成するよりも安価に実現、また、演算回路は連続して動作可能となることから、処理タイミングを調整する為の論理回路が不要となり、その分安価に構成できる作用を有する。
【００２５】
請求項３に記載の発明は、ブロック画像の処理順序を、偶数番目もしくは奇数番目には画像処理時間の長いものから順番に、奇数番目もしくは偶数番目には画像処理時間の短いものから順番に並ぶように決定し、Ｍ（　Ｍは整数でＭ＞０）番目から（Ｍ＋１）番目にかけて画像処理を行う２個の前記ブロック画像の読み込み時間Ａと（Ｍ−１）番目からＭ番目にかけて画像処理を行う２個の前記ブロック画像の画像処理時間Ｂの関係がＡ＞Ｂとなる場合には、（Ｍ−１）番目からＭ番目の前記ブロック画像で、本来不要であって必要とする画像処理に影響を与えないダミーの画像処理を実施することにより画像処理時間を増やしてＡ＜＝Ｂとすることを特徴とするものであり、ダミーの画像処理時間の増加分が、画像処理装置としての目標動作速度（例えばビデオレートで画像処理を行う）を達成できる範囲内であれば、各ブロックの画像処理時間が一定でない場合でも、ブロックの処理順序を自動で決定することが可能となる。また、ＳＲＡＭのメモリブロックが最低個数の３個で処理を実現できるという作用を有する。
【００２６】
請求項４に記載の発明は、入力画像における前記ブロック画像の領域が、上下方向、もしくは左右方向、もしくは上下左右方向で重複部分が生じるように設定することを特徴とするものであり、４点補間のように１データを算出するのに複数のデータを使用する場合に、使用しようとしたデータが２つのブロックに分かれて存在する為に欲しいデータが算出できないといった問題ができるという作用を有する。
【００２７】
以下、本発明の実施の形態について、図１、図３、図５を用いて説明する。
【００２８】
なお、従来例を示す図７と同様の作用を成すものには同一の符号を付けて説明する。
【００２９】
（実施の形態１）
図１は、本発明の実施の形態１による画像処理装置の構成図を、図３は動作説明図を示す。
【００３０】
図１において、広角撮像器１からの出力であるＮＴＳＣもしくはＰＡＬなどのテレビ信号をＡ／Ｄ変換部３でデジタル変換を行う。デジタル変換されたデータをＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂに記憶する。ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂはＮＴＳＣもしくはＰＡＬにおける１フレーム毎に書き込みと読み出しを交互に切り替えるよう２個配置する。タイミング調整メモリ部５にてＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂへの書き込み制約を満足するようタイミング調整を行う。６はタイミング調整メモリ部５を制御するプリ・メモリ制御部、８はＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂを制御するメモリー制御部、１７は展開処理前後の座標の関係を示す展開テーブル、１８は各ブロック画像内で生成される展開処理後の画素数を示す展開個数テーブル、９ａ，９ｂ，９ｃは入力画像を複数のブロック画像に分けて画像処理を行うメモリブロック、１０ａ，１０ｂ，１０ｃ，１０ｄは９ａ，９ｂ，９ｃからの出力をその読み出しデータ数に応じて順次切り替えている切り替え部、１１は１０ａ，１０ｂ，１０ｃ，１０ｄのデータから展開処理後の画像データを生成する演算回路部、１２は映像出力端子１６から出力されるＮＴＳＣもしくはＰＡＬ信号として画像を出力するのに展開処理後の画像が所定の位置となるようデータの並びを整えるバッファメモリ部、１３はバッファメモリ部を制御するバッファメモリ制御部である。
【００３１】
このように構成された画像処理装置の動作は次の通りである。
【００３２】
広角撮像器１からの画像出力は、図５に示すよう、被写体４９を撮影すると広角撮像器からの画像出力５０のような円形かつ左右が反転した画像となる。このようないわゆる変形した画像が広角撮像器１から画像処理装置に入力される。映像入力アナログ信号処理部２ではクランプ処理などが行われ、Ａ／Ｄ変換部３にてデジタル変換を行う。デジタル変換されたデータは、ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂに記憶されるが、ＳＤＲＡＭの使い方の制約上ＳＤＲＡＭの動作基準である１クロック毎でのランダムアクセス（ＳＤＲＡＭ上のアドレスが連続しない読み出し動作）はできない。これはＳＤＲＡＭの動作モードを指定するのに複数のコマンドを入力する必要があるためである。例えばＲＯＷアドレスを指定するアクティブ・コマンド、その次にＣＯＬＵＭＮアドレスと同時に読み出し動作を指定するＲＥＡＤコマンド、そして読み出し動作を停止するＳＴＯＰコマンドなどをＳＤＲＡＭの動作基準である１クロック毎に入力して初めてランダムアクセスが可能になるためである。また、展開処理後の画像を演算回路部１１で生成するのに対応する近傍４点の展開前画像を同一タイミングで必要となる。
【００３３】
そこで、まず広角撮像器１からの画像出力である本装置の入力画像を図３の（ａ）ブロック画像に示すよう複数のブロック画像に分ける。同時にこのブロック画像間の座標に展開処理後の画像があることを考慮し、図３の（ｂ）ブロック画像重複部分を設ける。このように入力画像を複数のブロック画像に分けてＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂに記憶するためタイミング調整メモリ部５にてブロック画像重複部分のタイミング調整と、ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂへの書き込み制約を満足するよう、またＳＤＲＡＭの特長であるバースト書き込みが実現できるようタイミング調整を行う。タイミング調整メモリ部５の制御をプリ・メモリ制御部６で行い、これは同期分離部４の出力である水平同期信号Ｈｓｙｎｃ、垂直同期分離信号Ｖｓｙｎｃそして映像信号の第１フィールド、第２フィールドを示すフレーム信号を基にメモリー制御のタイミングを決定する。
【００３４】
従ってＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂ上のデータ格納イメージは、広角撮像器１の入力画像が図３の（ｂ）ブロック画像重複部分のブロック画像重複部分を有した様になるようメモリー制御部８で書き込み制御が行われる。ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂはＮＴＳＣもしくはＰＡＬにおける１フレーム毎に書き込みと読み出しを交互に切り替えるよう２個配置されているため、書き込み動作と読み出し動作を１データ毎もしくは１バースト転送毎に行う必要は無く、書き込み動作もしくは読み出し動作を連続して行うことができる。これにより、ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂの動作の基準となるクロック周波数を一般的なデジタルビデオ信号の２７ＭＨｚとすることができる。そして、リアルタイムなデータ処理が可能となり、入力画像１フレームのデータを１フレームの期間で書き込み、１フレームの期間で読み出すことができる。
【００３５】
次に、展開処理後の画像を演算回路部１１で生成するのに、対応する近傍４点の展開前画像を同一タイミングで用意することと、ＳＤＲＡＭの特長であるバースト読み出しを実現するため、メモリブロック９ａ，９ｂ，９ｃを配置する。ブロック画像間の重複部分を有するブロック画像単位でＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂより読み出したデータより展開処理後の画像を生成する。このブロック画像の読み出し順序は、広角撮像器１からの画像の配置とは無関係である。ブロック画像の読み出し順序には、おのおののブロック画像から得られる展開処理後の画素数を基に決定する。ブロック画像の処理順序を、偶数番目もしくは奇数番目には画像処理時間の長いものから順番に、奇数番目もしくは偶数番目には画像処理時間の短いものから順番に並ぶように決定し、Ｍ（　Ｍは整数でＭ＞０）番目から（Ｍ＋１）番目にかけて画像処理を行う２個のブロック画像の読み込み時間Ａと（Ｍ−１）番目からＭ番目にかけて画像処理を行う２個のブロック画像の画像処理時間Ｂの関係がＡ＞Ｂとなる場合には、（Ｍ−１）番目からＭ番目の前記ブロック画像で、本来不要であって必要とする画像処理に影響を与えないダミーの画像処理を実施することにより画像処理時間を増やしてＡ＜＝Ｂとする。画像処理時間は展開処理後の画素数に比例する。メモリブロック９ａ，９ｂ，９ｃは、それぞれ４個ずつのＳＲＡＭを用意する。このＳＲＡＭはＳＲＡＭの特長である高速アクセスが可能であるとともに、例えば２５６Ｂｙｔｅ程度の小容量である。そして並列的にＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂからの読み出したデータの書き込み処理およびメモリブロックからの読み出し処理が可能である。メモリブロックをライトメモリブロックとリードメモリブロックに分け、書き込み処理や読み出し処理のタイミングに応じてＳＲＡＭ間で切り替わる。図２にメモリブロックの書き込みと読み出しのタイミング関係を示す。Ａ部は、ＮＴＳＣもしくはＰＡＬのフレームの区切りを示す。フレーム内での読み出しの開始は、書き込みが１つのメモリブロック終了後からとなる。つまり、
（１）メモリブロック９ａが読み出し動作の場合、メモリブロック９ｂおよびメモリブロック９ｃは書き込み動作（メモリブロック９ｂの書き込み動作終了後メモリブロック９ｃの書き込み動作を行う）。
（２）メモリブロック９ｂが読み出し動作の場合、メモリブロック９ｃおよびメモリブロック９ａは書き込み動作（メモリブロック９ｃの書き込み動作終了後メモリブロック９ａの書き込み動作を行う）。
（３）メモリブロック９ｃが読み出し動作の場合、メモリブロック９ａおよびメモリブロック９ｂは書き込み動作（メモリブロック９ａの書き込み動作終了後メモリブロック９ｂの書き込み動作を行う）。
【００３６】
図２のＢ部は、メモリブロックへの書き込みに間があいた状態を示す。これはメモリブロック９ｃの読み出しが終了していないのでメモリブロック９ｃの書き込みに入れないためである。このように、各メモリブロックにて読み出しが終了するまでに書き込みが開始しないよう、また、各メモリブロック間の読み出しが連続して行えるよう、前記ブロック画像の読み出し順序を決定する。各リードメモリブロックの切り替えは、その時々のリードメモリブロックの読み出しデータ数が各ブロック画像の展開処理後の画像数に達した時に行われる。
【００３７】
各メモリブロックでのＳＲＡＭが４個であるのは、展開処理後の画像を演算回路部１１で生成するのに、対応する近傍４点の展開前画像を同一タイミングで必要なためである。演算回路部１１は１クロック毎にデータ処理が可能である。ＳＤＲＡＭ７ａ、ＳＤＲＡＭ７ｂから読み出したデータを同時に４個のＳＲＡＭに同時に書き込む。
【００３８】
リードメモリブロックにて読み出すデータは、展開処理前後の画素の座標関係と展開処理後の画素数とで決まる。展開処理後の画素に対応した展開前画素の座標関係をテーブルデータとして展開テーブル１７と各ブロック画像内で生成される展開処理後の画素数である展開個数を示す展開個数テーブル１８を予め保持する。展開テーブル１７には入力画像を複数のブロック画像に分けたブロック画像内での展開処理後の画素の座標（ローカル座標）、そしてＮＴＳＣもしくはＰＡＬとして映像出力端子１６から出力する際に目的とする画素表示位置を示す座標（グローバル座標）が保持されている。展開個数テーブル１８にはブロック画像の読み出し順序に沿った順序で展開個数を保持している。
【００３９】
展開テーブル１７のローカル座標よりリードメモリブロック内の必要なデータを読み出すための読み出しアドレスを算出し、読み出し動作を行う。この際、４点のデータが同時に必要であることから４点の座標値を求める。ローカル座標値から
【００４０】
【数３】
2004046401.tif 000005
【００４１】
のＸ座標、Ｙ座標それぞれ２つの座標を求め、その組み合わせである４点の座標値を求める。
【００４２】
展開個数テーブル１８よりブロック画像毎の展開個数をロードし、各リードメモリブロックでの読み出しデータ個数を管理する。読み出しデータ個数がブロック画像毎の展開個数に達すればメモリブロック９ａ，９ｂ，９ｃのうち次のリードメモリブロックに切り替える。
【００４３】
メモリブロック９ａ，９ｂ，９ｃから展開処理後の画素の基となる４点の画素データを求め、演算回路部１１にてこの４点の画素データを前述の展開処理後の画素データの算出式にて展開処理後の画素データを生成する。１０ａ，１０ｂ，１０ｃ，１０ｄの切り替え部は、リードメモリブロックの切り替えに対応している。
【００４４】
演算回路部１１で生成された展開処理後の画素データは、広角撮像器１からの画像の配置とは無関係でありブロック画像の読み出し順序になっている。これをＮＴＳＣもしくはＰＡＬとして映像出力端子１６から出力する際に目的とする画素表示位置としなければならない。そのためには、演算回路部１１で生成された展開処理後の画素データを、展開テーブル１７に保持されているグローバル座標データを基に目的とする画素表示位置とする。演算回路部１１で生成された展開処理後の画素データをバッファメモリ部１２にて書き込む際に目的とする画素表示位置とするため、グローバル座標データよりバッファメモリ部１２上のアドレスを決定する。バッファメモリ制御部１３にてグローバル座標データからアドレス制御などのメモリ制御を行う。
【００４５】
演算回路部１１に入力されたメモリブロック９ａ，９ｂ，９ｃの読み出しタイミングの基となったローカル座標データとバッファメモリ部１２の書き込みアドレスを決定するグローバル座標データとは、それぞれのデータが必要となる回路ブロック間での展開前画素データおよび展開処理後の画素データのデータ遅延時間が一定であるという関係があることから実現できる。
【００４６】
バッファメモリ部１２でのデータ読み出されたデータはＤ／Ａ変換部１４、映像出力アナログ信号処理部１５、映像出力端子１６を介して展開処理後の画像として出力される。
【００４７】
このようにＳＤＲＡＭの使い方の制約を受けないよう、入力画像を複数のブロック画像に分け、ＳＤＲＡＭの読み出しデータを４個のＳＲＡＭに同時に入力をして該当するデータを同時に読み出して演算処理を行うことにより、テレビ信号のＮＴＳＣでは１秒間に３０フレーム、ＰＡＬでは１秒間に２５フレームのコマ数を実現できる作用がある。
【００４８】
なお、以上の説明では、展開処理後の画素データを生成するためのメモリーブロックをＳＲＡＭで構成した例で説明したが、その他のＰＬＤ（Ｐｒｏｇｒａｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）内に有する記憶素子、もしくは専用デジタルＩＣ内に有する記憶素子を用いても同様に実施可能である。
【００４９】
なお、以上の説明では、リアルタイムなデータ処理を行うためＳＤＲＡＭを２個配置した例で説明したが、ＳＤＲＡＭを１個とし、書き込み動作と読み出し動作が両立するようＳＤＲＡＭでのデータ処理を高速化するために、ＳＤＲＡＭの前段に書き込みデータのレートを上げるデータレート変換部を、ＳＤＲＡＭの後段に読み出したデータのレートを元に戻すデータレート変換部を用いても同様に実施可能である。
【００５０】
なお、以上の説明では、入力画像に対して１系統の画像処理系で構成した例で説明したが、画像データの形式がＲＧＢや色差信号のように画像信号系統が２系統以上となる場合、それに応じて画像処理系統を増やしても同様に実施可能である。またこの場合、ＳＤＲＡＭを共有しても同様に実施可能である。
【００５１】
【発明の効果】
以上のように本発明によれば、入力画像を複数のブロック画像に分け、ＳＤＲＡＭとＳＲＡＭを組み合わせて用いることにより、ＳＤＲＡＭのみで構成するよりも高速処理（テレビ信号のＮＴＳＣでは１秒間に３０フレーム、ＰＡＬでは１秒間に２５フレームのコマ数を実現できる）可能な回路を、ＳＲＡＭのみで構成するよりも安価に実現できるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による画像処理装置を示す構成図
【図２】本発明の一実施の形態による画像処理装置を示すタイミング図
【図３】本発明の一実施の形態による画像処理装置を示す説明図
【図４】広角撮像器の構成図
【図５】広角撮像器の説明図
【図６】展開処理手段の概念図
【図７】従来例による画像処理装置を示す構成図
【図８】従来例による画像処理装置を示すタイミング図
【符号の説明】
１　広角撮像器
２　映像入力アナログ信号処理部
３　Ａ／Ｄ変換部
４　同期分離部
５　タイミング調整メモリ部
６　プリ・メモリ制御部
７　ＳＤＲＡＭ
８　メモリー制御部
９　メモリ・ブロック
１０　切り替え部
１１　演算回路部
１２　バッファメモリ部
１３　バッファメモリ制御部
１４　Ｄ／Ａ変換部
１５　映像出力アナログ信号処理部
１６　映像出力端子
１７　展開テーブル
１８　展開個数テーブル
４１　双曲面反射鏡
４２　結像レンズ
４３　撮像素子
４４　内部焦点
４５　撮像面
４６　回転中心軸
４７　主点
４９　被写体
５０　広角撮像器からの画像出力
５１　ＥＤＯ　ＤＲＡＭ
５２　メモリー制御部
５３　データ遅延部
５４　演算回路部
５５　バッファメモリ部
５６　バッファメモリ制御部
６１　広角撮像器画像出力の任意の画像
６２　広角撮像器画像出力の任意の画像の拡大図
６３　展開処理後の画像
【図１】
2004046401.tif 000006
【図２】
2004046401.tif 000007
【図３】
2004046401.tif 000008
【図４】
2004046401.tif 000009
【図５】
2004046401.tif 000010
【図６】
2004046401.tif 000011
【図７】
2004046401.tif 000012
【図８】
2004046401.tif 000013