(57)【要約】【課題】広角レンズを用いて撮像された広視野画像を、全画面の一部に付加する場合に、効率的に処理を行うことができる技術を提供すること。【解決手段】広視野画像データがラインＦＩＦＯ２１及び間引き回路２２に順次入力される。ラインＦＩＦＯ２１は、広視野画像データを、データセレクタ２３の要求に応じて順次ラインバッファ２４に出力する。広視野画像データはラインバッファ２４及びＤＭＡ回路２６を介して、フレームバッファ２７に蓄積される。データセレクタ２３は、間引き回路２２から出力されるラインカウントアップ信号Ｃｕ2のカウント値が所定のカウント値となるタイミングで、ラインＦＩＦＯ２１からの広視野画像データの出力から、間引き回路２２で生成された間引きラインデータの出力に切り替える。フレームバッファ２７には、広視野画像データと間引き画像データとが記憶される。【選択図】図１１
2008129903.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを用いて撮像された歪を含む広視野画像データを間引いた、複数の間引きラインデータで構成される間引きデータの当該間引きラインデータを生成し、所定のタイミングごとに、前記間引きラインデータを順次出力する間引き手段と、
前記所定のタイミングに応じて、前記広視野画像データの出力と、前記間引きラインデータの出力とを切り替えて出力する切り替え手段と、
前記広視野画像データ及び前記切り替えて出力された前記複数の間引きラインデータで構成される前記間引きデータを一時的に記憶するバッファと
を具備することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記間引き手段は、
前記広視野画像データを構成する画素ごとの画素データを、ライン方向で所定の画素数ずつ加算し、該加算により得られる加算画素データを出力する第１の加算手段と、
前記順次出力される所定数の前記加算画素データで構成されるラインデータを、カラム方向で所定のライン数ずつ加算し、該加算により得られる前記間引きラインデータを出力する第２の加算手段と
を有することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、
前記間引き手段は、前記変換手段により変換された前記輝度／色差データの前記間引きラインデータを生成することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記間引き手段は、前記変換手段により間引き処理された前記輝度／色差データと同じ形式の前記間引きラインデータを生成することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記広視野画像のうち選択された選択領域の画像の前記歪を補正する補正手段と、
補正手段により得られる歪補正画像と、前記選択領域が強調された強調領域を含む前記間引きデータとを一画面の画像データとして合成する合成手段と
をさらに具備することを特徴とする画像処理装置。
【請求項６】
広角レンズを用いて撮像された歪を含む広視野画像データを間引いた、複数の間引きラインデータで構成される間引きデータの当該間引きラインデータを生成し、
所定のタイミングごとに、前記間引きラインデータを順次出力し、
前記所定のタイミングに応じて、前記広視野画像データの出力と、前記間引きラインデータの出力とを切り替えて出力し、
前記広視野画像データを及び前記切り替えて出力された前記複数の間引きラインデータで構成される前記間引きデータを表示のために一時的に記憶する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角レンズを用いて撮像された画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来から、例えば魚眼レンズを用いて撮像された画像中、ユーザにより必要な領域が指定され、指定された領域の魚眼画像データの歪曲収差の補正がなされ、補正された画像がモニタで表示される、という技術が提案されている。撮像された画像は、静止画だけでなく動画もある（例えば、特許文献１参照。）。
【０００３】
また、この特許文献１では、魚眼画像データ（２４）がモニタ（２８）の一部に映し出され、その映し出されているデータの一部を操作スティック（２７）で指示して表示エリア（２５）が指定される。指定された魚眼映像データ（２４）の歪曲収差の演算をした平面再生画像（２９）がモニタ（２８）に映し出されるようになっている。このように魚眼画像データ（２４）を、平面再生画像（２９）の一部に付加しようとする場合、その平面再生画像（２９）の画素データを読み出し、画像を組み立て直す必要がある。
【０００４】
【特許文献１】特開２０００−３２４３８６号公報（段落[００１０]、図１、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように魚眼画像データ等のデータが全画面の一部に付加される場合に、撮像素子として高画素のセンサが用いられる場合には、上記画素データの読み出しに時間を要する。
【０００６】
以上のような事情に鑑み、本発明の目的は、広角レンズを用いて撮像された広視野画像を、全画面の一部に付加する場合に、効率的に処理を行うことができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る画像処理装置は、広角レンズを用いて撮像された歪を含む広視野画像データを間引いた、複数の間引きラインデータで構成される間引きデータの当該間引きラインデータを生成し、所定のタイミングごとに、前記間引きラインデータを順次出力する間引き手段と、前記所定のタイミングに応じて、前記広視野画像データの出力と、前記間引きラインデータの出力とを切り替えて出力する切り替え手段と、前記広視野画像データ及び前記切り替えて出力された前記複数の間引きラインデータで構成される前記間引きデータを一時的に記憶するバッファとを具備する。
【０００８】
本発明では、間引き手段により生成された間引きラインデータが、広視野画像データに対して切り替えてバッファに出力される。これにより、広視野画像データに対応する間引きデータが効率的に生成される。
【０００９】
本発明の一の形態によれば、前記間引き手段は、前記広視野画像データを構成する画素ごとの画素データを、ライン方向で所定の画素数ずつ加算し、該加算により得られる加算画素データを出力する第１の加算手段と、前記順次出力される所定数の前記加算画素データで構成されるラインデータを、カラム方向で所定のライン数ずつ加算し、該加算により得られる前記間引きラインデータを出力する第２の加算手段とを有する。本発明では、ライン方向とカラム方向とで分けることにより、効率的な間引き処理を行うことができる。
【００１０】
本発明の一の形態によれば、画像処理装置は、前記広視野画像のＲＧＢデータを、輝度データ及び色差データを含む輝度／色差データに変換する変換手段をさらに具備し、前記間引き手段は、前記変換手段により変換された前記輝度／色差データの前記間引きラインデータを生成する。本発明では、ＲＧＢデータよりデータ量が少ない輝度／色差データに変換された上で、間引きデータが生成されることにより、計算量を少なくすることができ、効率的な処理が実現される。
【００１１】
本発明の一の形態によれば、前記間引き手段は、前記変換手段により間引き処理された前記輝度／色差データと同じ形式の前記間引きラインデータを生成する。これにより、間引き処理された輝度／色差データを、間引きラインデータにおいて忠実に再現することができる。
【００１２】
本発明の一の形態によれば、画像処理装置は、前記広視野画像のうち選択された選択領域の画像の前記歪を補正する補正手段と、補正手段により得られる歪補正画像と、前記選択領域が強調された強調領域を含む前記間引きデータとを一画面の画像データとして合成する合成手段とをさらに具備する。本発明では、間引きデータに強調領域が含まれるので、ユーザは広視野の全体画像（間引きデータの画像）中、どこが強調されているのかを認識することができる。しかも、その選択領域画像の歪が補正された画像と、その間引きデータとが合成されるので、ユーザは間引き画像を見ながら、歪補正画像を見ることができる。
【００１３】
本発明に係る画像処理方法は、広角レンズを用いて撮像された歪を含む広視野画像データを間引いた、複数の間引きラインデータで構成される間引きデータの当該間引きラインデータを生成し、所定のタイミングごとに、前記間引きラインデータを順次出力し、前記所定のタイミングに応じて、前記広視野画像データの出力と、前記間引きラインデータの出力とを切り替えて出力し、前記広視野画像データを及び前記切り替えて出力された前記複数の間引きラインデータで構成される前記間引きデータを表示のために一時的に記憶する。
【発明の効果】
【００１４】
以上のように、本発明によれば、広視野画像の一部に間引きデータが付加される処理において、効率的な処理を行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００１６】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１００は、広角レンズ１、画像処理装置１０、表示部１２を備え、そのほか外部機器１３や入力機器１４等を備える。画像処理装置１０は、イメージセンサ２、カラー処理回路３、歪補正処理回路４、間引き処理回路１５、コントローラ５、メモリ６、画像圧縮回路７、表示インターフェース８、ＵＳＢ（Universal Serial Bus）インターフェース９、入力機器インターフェース１１を備える。
【００１７】
イメージセンサ２は、広角レンズ１を介して取り込まれた光を電気信号に変換するセンサである。例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）等が用いられる。広角レンズ１としては、広視野角あるいは広画角のレンズが用いられ、例えば画角がおよそ４５度以上のものが用いられるが、これに限られるわけではない。広角レンズ１として、例えば魚眼レンズ、あるいは環状の画像が得られるＰＡＬ（Panoramic Annular Lens）（環状のレンズ）等が挙げられる。あるいは、画角が１８０°程度の魚眼レンズが２つ用いられることにより、全方位（球空間（３６０°））の視野で撮像することもできる。
【００１８】
カラー処理回路３は、イメージセンサ２から出力されるＲＧＢデータを輝度データ及び色差データを含むＹＣｒＣｂデータ（ＹＵＶデータ）に変換するＹＣｒＣｂ変換回路（図示せず）を有する。カラー処理回路３は、そのほかにも、図示しないが、光量を制御するＡＥ（Automatic Exposure）演算回路、ホワイトバランスを制御するＡＷＢ（Automatic White Balance）演算回路、ＲＧｒＧｂＢ画素フィルタごとに非線形テーブルによりゲイン調整するゲイン調整回路を有する。
【００１９】
間引き処理回路１５は、図２（Ｃ）で説明するように、広視野画像２５が間引きされた広視野の画像（以下、間引き画像という。）４５を生成する回路である。
【００２０】
歪補正処理回路４は、カラー処理回路３で処理された歪を含む画像に対し、主に歪補正処理を行う。また、歪補正処理回路４は、後述すするように、歪補正処理の際、輝度データ及び色差データを含む画素データ（上記ＹＣｒＣｂデータ）の座標補間処理を行う。メモリ６は、歪補正処理回路４の処理時におけるバッファとして機能する。特に、メモリ６は、後述する選択領域画像の画素データ（ＲＧＢデータまたはＹＣｒＣｂデータ）を記憶する機能を有する。メモリ６には、図示しないＤＭＡ（Direct Memory Access）回路が接続されていてもよい。その場合、コントローラ５の制御によらないでメモリ６に対してデータが入出力される。
【００２１】
コントローラ５は、画像処理装置１０全体を統括的に制御し、例えばＣＰＵ（Central Processing Unit）により構成される。
【００２２】
画像圧縮回路７は、歪補正処理回路４で処理された画像を所定の形式で圧縮する。圧縮の形式としては、例えばＪＰＥＧ（Joint Photographic Expert Group）が用いられる。しかし、適宜その他の公知の形式が用いられてもよい。
【００２３】
表示インターフェース８は、歪補正処理回路４で処理された画像を表示部１２に出力するインターフェースである。表示インターフェース８は、例えばＮＴＳＣ（National Television System Committee）方式、またはＰＡＬ（Phase Alternating Line）方式等の出力データを生成する。
【００２４】
ＵＳＢインターフェース９は、外部コンピュータ等の外部機器１３に対して、画像圧縮回路７で処理された画像の入出力を制御する。なお、上記表示インターフェース８も、画像圧縮回路７で圧縮された画像を出力するようにしてもよい。
【００２５】
入力機器インターフェース１１は、例えばユーザによる操作入力の信号を受信したりする。入力機器１４としては、例えばマウス、キーボード、スイッチ機器、タッチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器、その他の機器が挙げられる。
【００２６】
なお、本実施の形態でいう「画像」とは、静止画も含まれるが、現実には、動画として処理されることが多い。
【００２７】
カラー処理回路３、歪補正処理回路４、間引き処理回路１５、コントローラ５等は、例えばＦＰＧＡ（Field Programmable Gate Array）及びＤＳＰ（Digital Signal Processor）のうちの少なくとも一方により、処理を実現させることができる。
【００２８】
図２は、この画像処理装置１０により画像処理されて表示部１２で表示される各種画像の例を示す。図２（Ａ）は、広角レンズ１により得られる広視野画像２５内に、選択領域が強調された強調領域１６を含む全体画像を示す。強調領域１６は、例えば枠状のカーソルである。しかし、強調領域１６は、このようなカーソルに限られず、全体画像２５中で強調領域１６以外の部分とは色を変えて表示されるような形態であってもよい。すなわち、強調領域１６は、ユーザが広視野画像２５を見てその強調された領域が他の領域と識別できるような形態であればよい。ユーザは、入力機器１４を用いて、強調領域１６により全体画像２５中の所望の領域（強調領域１６で囲まれる範囲）を選択し、コントローラ５は、その範囲を選択領域として種々の処理を行う。
【００２９】
以降、図２（Ａ）の画像であって強調領域１６を含まない画像を「広視野画像」という。また、図２（Ａ）に示すように広視野画像に強調領域１６を含む画像を「全体画像２５」として、「広視野画像２５」と「全体画像２５」とを区別する。また、以下、強調領域１６で囲われる範囲の画像を「選択領域画像」という。
【００３０】
全体画像２５内の選択領域は、ユーザが選択する形態に限られない。例えば、全体画像２５内の予め設定された領域が選択される形態も考えられる。その場合の当該領域を示す情報（位置情報等）は、予め図示しないＲＯＭや、外部の記憶装置等に格納されていればよい。このように予め選択領域が設定されている場合に限らず、全体画像２５内のある特定の領域が自動認識される場合に、その自動認識された「特定の領域」が「選択領域」として処理される形態も考えられる。あるいは、図示しない様々なセンサによって、全体画像２５内で検出された部分の画像領域が「選択領域」として処理される形態もある。その場合、センサとは、例えば光センサ、温度センサ、圧力センサ、音センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。
【００３１】
図２（Ｂ）は、選択領域の歪が補正された歪補正画像を示す図である。図２（Ｃ）は、上記全体画像２５が間引きされた間引き画像４５と、歪が補正された歪補正画像３５とが一画面の画像データとして合成された合成画像３６を示す。歪補正処理回路４は、このような合成画像をも生成し、表示部１２等に出力する。図２（Ｃ）に示す間引き画像４５内にも強調領域１６が合成されて表示されることにより、ユーザは、広視野の間引き画像４５中、どこが強調されているのかを認識することができる。しかも、その選択領域画像の歪が補正された画像と、その間引き画像４５とが合成されるので、ユーザは間引き画像４５を見ながら、歪補正画像３５を見ることができる。合成画像３６の生成には、例えばＯＳＤ（On Screen Display）等の技術が用いられればよい。
【００３２】
コントローラ５は、例えば入力機器インターフェース１１による入力情報に応じて、図２（Ａ）、（Ｂ）及び（Ｃ）に示す全体画像２５、歪補正画像３５及び合成画像３６の出力を切り替えることができる。つまり、コントローラ５は、主に３つの表示モードを持ち、これらを適宜切り替える。
【００３３】
なお、図２（Ａ）の全体画像２５が表示されるモードは、強調領域１６が表示されない広視野画像２５が表示されるモードであってもよい。図２（Ｃ）に示す間引きデータの表示位置は、選択領域画像３５中、左上になっているが、これは任意に設定可能である。
【００３４】
次に、広角レンズ１を搭載したカメラの設置状態の態様について説明する。
【００３５】
図３を参照して、球３１の中心Ｏに視点がある場合、その視点Ｏが捉えることが可能な視野は球３１で表される３次元空間になる。広角レンズ１として例えば視野１８０°程度の魚眼レンズが用いられる場合、その魚眼レンズで捉えられる視野は、球３１のうち半球部分である。例えば図４（Ａ）は、球３１のうち上半分（現実の３次元空間で上方向）の視野（以下、上半球視野という。）を示す。図４（Ｂ）は、球３１のうち下半分（現実の３次元空間で下方向）の視野（以下、下半球視野という。）を示す。図４（Ｃ）は、球３１のうち横半分の視野（以下、横半球視野という。）を示す。特に、図４（Ａ）の例では、地面、床上、机上から上方向を見る場合が想定される。図４（Ｂ）の例では、天井や上空から下方向を見る場合が想定される。図４（Ｃ）の例では、地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。
【００３６】
これらのほか、斜め上半分や斜め下半分の視野も考えられる。これらのように、魚眼レンズが設置されるときの魚眼レンズの向き、あるいは傾きが種々設定されることにより、様々な半球の視野が得られる。
【００３７】
なお、図４では、魚眼レンズが用いられる場合について説明した。これに限られず、様々な広角レンズ１が用いられる場合も、もちろんレンズの向きや傾きによって視野が変わる。
【００３８】
次に、以上のように構成された画像処理装置１０の動作について説明する。図５は、その動作を示すフローチャートである。
【００３９】
コントローラ５は、広角レンズ１を介して取り込まれた光をイメージセンサ２で電気信号に変換させる（ステップ５０１）。コントローラ５は、カラー処理回路３によりカラー処理する（ステップ５０２）。カラー処理では、特に、ＲＧＢデータがＹＣｒＣｂデータに変換される。この変換処理では、４：４：４方式で行われればよい。あるいは、４：２：２方式、４：１：１方式、または４：２：０方式で間引きされてもよい。ＹＣｒＣｂデータはメモリ６に保存される（ステップ５０３）。
【００４０】
なお、ＲＧＢからＹＣｒＣｂの変換式は、下式（１）〜（３）で表せる。しかし、この式において各項の数値が多少異なる場合もあり得る。
Y=0.299R+0.587G+0.114B・・・（１）
Cr=0.500R-0.419G-0.081B・・・（２）
Cb= -0.169R-0.331G+0.500B・・・（３）
【００４１】
コントローラ５は、歪補正処理回路４により、入力機器インターフェース１１からの入力情報に応じて全体画像２５内の選択領域画像を歪補正処理し、歪補正画像３５を生成し、これを保存する（ステップ５０４）。典型的には、歪補正処理回路４は、後述するように、座標計算の処理によって、表示部１２により表示される表示平面の画素の座標に相当するメモリ６のアドレスを計算により求める。すなわち、座標変換処理が行われる。当該メモリ６のアドレスは、選択領域画像の補正座標に相当する。計算により求められた補正座標、すなわちメモリアドレスは、小数点を含む場合が多い。したがって、歪補正処理回路４は、座標補間処理によって画素データを生成することにより歪補正画像３５を生成する。
【００４２】
一方、間引き処理回路１５は、ステップ５０３でメモリ６に保存されたＹＣｒＣｂデータ（広視野画像２５のデータ）から間引き画像４５を生成し、広視野画像２５とともにその間引き画像４５をフレームバッファ２７（図１１参照）に保存する（ステップ５０５）。
【００４３】
コントローラ５は、図２に示す、生成された全体画像２５（歪補正画像３５、または合成画像３６）を、入力機器１４から入力信号に応じて、各種のインターフェース８、９、１１を介して表示部１２に出力する（ステップ５０６）。
【００４４】
なお、ステップ５０４及びステップ５０５の順序は問わず、あるいは同時進行的に行われてもよい。
【００４５】
次に、上記ステップ５０４について詳細に説明する。まず、歪補正処理回路４による歪補正について説明する。
【００４６】
図６（Ａ）では、視点ｏ（０，０，０）を中心とした、上述した上半球視野の上半球を横から見ている。図中、点Ｐ（ｕ，ｖ，ｗ）は周囲の被写点、点Ｑは魚眼画像である全体画像２５の結像点、角度θは点Ｐから視点への入射角、距離ｈは像高を示す。点Ｐと点Ｑとは像高特性によって対応付けられる。図６（Ｂ）は、当該像高特性を示したグラフである。横軸が角度（入射角）θ、縦軸が像高ｈを示している。当該データは、変換テーブルとして予めメモリ６や図示しない他のメモリに記憶されていればよい。
【００４７】
ここで、図７（Ａ）は、表示部１２に表示される範囲の平面である表示平面を示す。図図７（Ｂ）は、図７（Ａ）に示す上半球を３次元で示した図である。図７（Ｂ）に示す球面３３をｘ−ｙ平面上に投影した画像が、図７（Ｃ）で示す広視野画像２５となる。この広視野画像２５がイメージセンサ２により得られる歪補正前の画像である。上記表示平面３２の中心Ｏが、上半球視野により形成される球面３３に接しており、表示平面３２は、上記広視野画像２５内の選択領域を表示した画面となる。
【００４８】
次に、歪補正のための座標変換処理について説明する。
【００４９】
図８を参照して、まずＰ（ｕ，ｖ，ｗ）の入射角（仰角）θを求める。図８において、座標中心をｏ（０，０，０）とすると、
ＯＰ＝（ｕ2＋ｖ2＋ｗ2）1/2・・・・（４）
であるので、θは以下の式で表せる。
θ＝ａｒｃｃｏｓ（ｗ／ＯＰ）・・・（５）
式（５）で求められたθから像高ｈ（図６（Ａ）参照）が求められる。像高ｈは、上記したように、図６（Ｂ）の像高特性から求められる。
【００５０】
像高ｈが求められると、点Ｐから垂直に下りた点Ｐ’（ｕ，ｖ，０）を像高ｈの位置である点Ｑ（ｘ，ｙ）（図６（Ａ）参照）に拡大または縮小させる。具体的には、下記の式から点Ｑの座標が求められる。
ＯＰ’＝ＯＰｓｉｎθ・・・（６）
ｘ＝ｕｈ／ＯＰ’・・・・・（７）
ｙ＝ｖｈ／ＯＰ’・・・・・（８）
【００５１】
以上のように、点Ｑの座標（補正座標）が計算されると、図７（Ｃ）に示した点Ｑの座標を、図７（Ｄ）に示す点Ｐ（ｕ，ｖ，ｗ）の座標と対応させる。すなわち、点Ｑの座標が計算されれば、その点Ｑに対応するメモリアドレス上の画素データ（上記ステップ７０３で保存された画素データのうちの点Ｑに対応する座標の画素データ）が、当該メモリ６から読み出される。このような点Ｑの座標計算が、表示平面３２上の全ての点について行われることにより、表示平面３２に対応する選択領域の歪補正画像３５（図７（Ｄ）参照）が生成される。
【００５２】
ここで、歪補正のために演算により求められた点Ｑの座標（演算により求められたメモリアドレス）は、上述したように、表示平面３２の歪補正画像３５を構成する各画素に１：１で対応しない場合が多い。したがって、歪補正処理回路４は、その演算により求められた座標を用いて補間処理を行う。図９に示すように、例えば、点Ｑの座標（ｘ，ｙ）が、小数点を含む実数である（２５６．７，６７８．９）であったとする。この点Ｑを含む周辺４つの画素データがメモリ６から読み出される。すなわち、小数点を切り上げまたは切り下げることにより得られる４つの画素の画素データが読み出される。その４つの画素の座標は、下記のようになる。
左上（２５６，６７８）
右上（２５６，６７９）
左下（２５７，６７８）
右下（２５７，６７９）
そして、これらの４点の画素データ（４点それぞれの輝度データ（Ｙデータ）及び色差データ（ＣｒＣｂデータ））に基づき、点Ｑについて上記した座標補間処理が行われることにより、点Ｑの座標変換後の画素データが求められる。その補間処理については、各種の方法がある。例えば４点の画素データから平均値を算出したり、中央値を算出したりする方法がある。４点の画素データが、ＹＣｒＣｂデータである場合であって、その形式が４：２：０の場合、点Ｑについて、輝度データ（Ｙ）については、直線補間し、色差データ（Ｃｒ、Ｃｂ）についてはこの４点における色差データそのものを用いるようにすればよい。
【００５３】
図１０は、例えば入力機器１４からの入力信号に応じて選択領域画像を更新する動作を示すフローチャートである。画像処理装置１０の待機状態から、入力機器１４からの情報に変化があった場合（ステップ１００１のＹＥＳ）、コントローラ５は入力機器インターフェース１１を介してその入力情報を取得する（ステップ１００２）。コントローラ５は、全体画像２５内における強調領域１６の位置情報の算出、歪補正処理のための演算処理、上記表示モードを切り替えるための演算処理等を切り替えるための演算処理等を行う（ステップ１００３）。
【００５４】
図１１は、上記間引き処理回路１５のハード構成を示すブロック図である。
【００５５】
間引き処理回路１５は、ラインＦＩＦＯ（First In First Out）２１、間引き回路２２、データセレクタ２３、ラインバッファ２４、ＤＭＡ回路２６、フレームバッファ２７を備える。
【００５６】
ラインＦＩＦＯ２１は、実画像である広視野画像２５の画素データ（以下、広視野画像データという。）をライン単位で順次入力する。ラインとは、画像中の１本１本の横方向の行であり、ラインデータとは、その画像データを構成する１本１本のデータである。
【００５７】
データセレクタ２３は、所定のタイミングに応じて、この広視野画像データの出力と、間引き回路２２で生成された間引きラインデータの出力とを切り替える。データセレクタ２３により、間引き回路２２で生成された間引きラインデータが、広視野画像データに対して切り替えてバッファに出力される。これにより、広視野画像データに対応する間引きデータが効率的に生成される。
【００５８】
ラインバッファ２４は、データセレクタ２３により選択出力された、広視野画像データ及び間引きラインデータを入力し、ＤＭＡ回路２６にライン単位で順次出力する。ラインバッファ２４は、例えばＦＩＦＯの機能を有するバッファである。
【００５９】
ＤＭＡ回路２６は、間引き回路２２から出力されるラインカウントアップ信号Ｃｕ2のタイミングによるアドレス制御に応じて、フレームバッファ２７に、広視野画像データ及び間引きラインデータを転送する。これにより、フレームバッファ２７には、表示用の広視野画像データ及び間引き画像４５のデータ（以下、間引きデータという。）が一時的に記憶される。フレームバッファ２７等は、例えばＤＲＡＭが用いられるが、これに限られない。
【００６０】
図１２は、間引き回路２２のハード構成を示すブロック図である。間引き回路２２は、画素データ加算回路（第１の加算手段）３７、ラインデータ加算回路（第２の加算手段）４７、画素データ用のカウンタ（第１のカウンタ）３８、ラインデータ用のカウンタ（第２のカウンタ）４８、テンポラリバッファ４０、データ更新用のポインタ（第１のポインタ）３９、データ読み出し用ポインタ（第２のポインタ）４９を備える。
【００６１】
図１３（Ａ）は、画素データ加算回路３７の構成を示す図である。画素データ加算回路３７は、画素データを順次取り込み、ライン方向で所定の画素数ずつ加算し、加算により得られる加算画素データを出力する。典型的には、画素データ加算回路３７は、入力される画素データを蓄積する第１のレジスタ５１、セレクタ７１により出力される画素データを蓄積する第２のレジスタ５２、両レジスタ５１、５２から出力される画素データを加算する加算器６１、所定の条件の下で、加算器６１で加算された画素データ及び"０"のうちいずれか一方を選択するセレクタ７１を有する。
【００６２】
図１３（Ｂ）は、ラインデータ加算回路４７の構成を示す図である。ラインデータ加算回路４７は、画素データ加算回路３７から出力される加算画素データで構成されるラインデータを、カラム方向で所定のライン数ずつ加算し、加算により得られる間引きラインデータを出力する。典型的には、ラインデータ加算回路４７は、入力される上記ラインデータを蓄積する第３のレジスタ５３、テンポラリバッファ４０から出力される、加算された複数のラインデータで構成される加算ラインデータを蓄積する第４のレジスタ５４、所定の条件の下で、第４のレジスタ５４から出力されるラインデータ及び"０"のうちいずれか一方を選択するセレクタ７２、第３のレジスタ５３からのラインデータと、セレクタ７２からのラインデータとを加算する加算器６２を有する。
【００６３】
図１４は、第１のカウンタ３８及び第２のカウンタ４８の構成を示す図である。第１のカウンタ３８及び４８は、同様の構成を有している。第１のカウンタ３８（第２のカウンタ４８）は、画素データ加算回路３７（ラインデータ加算回路４７）に対しシーケンスなカウントアップ信号Ｃｕ1（Ｃｕ2）を出力する。このカウントアップ信号Ｃｕ1（Ｃｕ2）がセレクタ７３に入力される。典型的には、第１のカウンタ３８（第２のカウンタ４８）は、所定のターゲット値（間引き値）（自然数）を記憶する第５のレジスタ５５（第７のレジスタ５７）、セレクタ７３から出力されるカウント値を記憶する第６のレジスタ５６（第８のレジスタ５８）、第６のレジスタ５６（第８のレジスタ５８）からのカウント値と"−１"値とを加算する第１の加算器６３、第５のレジスタ５５（第７のレジスタ５７）からの間引き値と、第１の加算器６３からの加算値とを加算する第２の加算器６４、第１の加算器６３からのカウント値及び"０"値のうちいずれか一方を選択するセレクタ７３、後述するライン同期信号Ｓｙ1（合成ライン同期信号Ｓｙ2）をリセット信号として受信するリセット信号受信部７５を有する。
【００６４】
図１５は、第１のポインタ３９及び第２のポインタ４９の構成を示す図である。第１のポインタ３９及び第２のポインタ４９は、同様の構成を有している。第１のポインタ３９（第２のポインタ４９）は、テンポラリバッファ４０のアドレスを指し示す。典型的には、第１のポインタ３９（第２のポインタ４９）は、カウントアップ信号Ｃｕ1（読み出しクロックφ’）の値を記憶するレジスタ５９と、レジスタ５９からの出力値と"１"値とを加算する加算器６５、所定の条件下で、加算器６５からの加算値及び"０"値のうちいずれか一方を選択するセレクタ７４を有する。
【００６５】
次に、ステップ５０５における間引き処理回路１５の動作について説明する。
【００６６】
図１１を参照する。メモリ６に保存された広視野画像データがラインＦＩＦＯ２１及び間引き回路２２に順次入力される。ラインＦＩＦＯ２１は、広視野画像データを、データセレクタ２３の要求に応じて順次ラインバッファ２４に出力する。広視野画像データはラインバッファ２４及びＤＭＡ回路２６を介して、フレームバッファ２７に蓄積される。なお、広視野画像データは、ラインバッファ２４を介さず、直接ＤＭＡ回路２６に入力されてもよい。
【００６７】
データセレクタ２３は、間引き回路２２から出力されるラインカウントアップ信号Ｃｕ2（後述する間引きラインデータ用のラインカウントアップ信号）のカウント値が所定のカウント値となるタイミングで、ラインＦＩＦＯ２１からの広視野画像データの出力から、間引き回路２２で生成された間引きラインデータの出力に切り替える。
【００６８】
ここで、図１２〜図１５を参照して、間引き回路２２が間引きラインデータの生成する動作について説明する。図１６は、その動作を示すフローチャートである。図１３において、φは画素単位の処理クロックであり、以下、これを画素クロックという。また、Ｓｙ1はライン単位の同期信号であり、以下、これをライン同期信号という。また、Ｓｙ2は、所定ライン数のラインデータが加算されて生成された間引きラインデータ単位の同期信号であり、以下、これを合成ライン同期信号という。
【００６９】
第１のカウンタ３８において、第５のレジスタ５５には、所定のターゲット値が設定されている。このターゲット値は、間引き値であり、すなわち間引き率を表す値である。ターゲット値は、画素データ加算回路３７で、ライン方向をどれくらいの割合で間引くか、という間引き値であり、例えばライン方向で１／８に間引く場合、"８"が設定される。リセット信号受信部７５は、コントローラ５等から送出されるライン同期信号Ｓｙ1に応じてこれをリセット信号として受信する。リセット信号が受信されると、セレクタ７３が"０"を選択し、第６のレジスタ５６に"０"が設定される。第１の加算器６３により"０"と"−１"とが加算され、第１の加算器６３は、"−１"をセレクタ７３及び第２の加算器６４に出力する。セレクタ７３は、その"−１"を第６のレジスタ５６に設定する。第２の加算器６４は、ターゲット値"８"と"−１"とを加算することで、"７"を出力する。このような動作が繰り返され（ステップ１６０１）、第２の加算器６４により８から０までカウントダウンされる。第２の加算器６４が"０"を出力するタイミングでカウントアップ信号Ｃｕ1が出力される。これにより、ターゲット値が"８"の場合、第１のカウンタ３８は、画素クロックが８つ分で、カウントアップ信号Ｃｕ1を１つ出力する（ステップ１６０２）。このカウントアップ信号Ｃｕ1は、画素データ加算回路３７に入力される。
【００７０】
画素データ加算回路３７において、第１のカウンタ３８からのカウントアップ信号Ｃｕ1がリセット信号としてセレクタ７１に入力される。セレクタ７１は、リセット信号に応じて"０"を選択し、第２のレジスタ５２に"０"が設定される。メモリ６に保存された広視野画像データを構成する画素データのうち、まず、例えば最上ラインの最初の画素データが、第１のレジスタ５１に記憶される。加算器６１は、"０"とその最初の画素データとを加算し、最初の画素データがセレクタ７１により選択され、第２のレジスタ５２に当該最初の画素データが記憶される。次に、第１のレジスタ５１には２番目の画素データが記憶される。加算器６１は、第２のレジスタ５２に記憶された最初の画素データと、第１のレジスタ５１に記憶された２番目の画素データとを加算する。このような動作が繰り返され、加算器６１により、所定の画素数ずつ画素データが加算される。典型的には、図１７及び図２０に示すように、画素データｐが８つ加算され、加算画素データＰ８が生成される。つまり、上記カウントアップ信号Ｃｕ1により、画素データｐが８つ加算されるごとにリセットされ、セレクタ７１が"０"を選択し、これにより画素データ加算回路３７は、８つ分の加算画素データＰ８を出力する（ステップ１６０３）。ＹＣｒＣｂデータの画素データの加算の様子を示した図である。
【００７１】
なお、典型的には、メモリ６に記憶された画素データは、８行おきにバースト読み出しが行われる。これにより、メモリ６へのアクセス数が軽減される。１つの画素データは、例えば８〜１０ビットであり、これが８つ分加算されても３ビット増えるだけである。
【００７２】
画素データ加算回路３７は、上記のような動作を繰り返し、図１７に示すように、１ラインＬ分の複数の加算画素データＰ８を生成する。この１ライン分の加算画素データ（ラインデータＬ）は、図示しないバッファメモリに蓄積されればよい。
【００７３】
あるいは、このような画素データ加算回路３７が、複数（１ライン分の画素数／８）設けられ、並列的に処理されてもよい。この場合、ラインデータ加算回路４７やカウンタ３８等は、その画素データ加算回路３７に対応する数だけ設けられていればよい。
【００７４】
ラインデータ加算回路４７は、画素データ加算回路３７と同様に動作する。ラインデータ加算回路４７は、上記ラインデータＬを取り込み、テンポラリバッファ４０を利用してラインデータＬをライン同期信号Ｓｙ1ごとにカラム方向に加算していく（ステップ１６０４）。
【００７５】
第２のカウンタ４８は、第１のカウンタ３８と同様に動作する。第２のカウンタ４８において、第７のレジスタ５７には所定の間引き値（例えば"８"）が設定されている。第２のカウンタ４８は、合成ライン同期信号Ｓｙ2をリセット信号として、８つ分のライン同期信号Ｓｙ1ごとに１つのカウントアップ信号Ｃｕ2を出力する（ステップ１６０５）。合成ライン同期信号Ｓｙ2は、図１１に示すように、ラインカウントアップ信号としてデータセレクタに出力されるとともに、ＤＭＡ回路２６のアドレス制御のタイミング信号として出力される。
【００７６】
ラインデータ加算回路４７において、合成ライン同期信号Ｓｙ2が入力されるごとにセレクタ７２は０を選択する。一方、第１のポインタ３９は、ライン同期信号Ｓｙ1ごとにポイント値を"１"ずつ増やす。合成ライン同期信号Ｓｙ2ごとに、セレクタ７２が０を選択し、ポイント値"８"をテンポラリバッファ４０に出力してアドレスを更新する。これにより、ラインデータ加算回路４７は、図１８に示すように、合成ライン同期信号Ｓｙ2ごとに８つ分加算されたラインデータ（間引きラインデータＬ８）を生成し（ステップ１６０６）、テンポラリバッファ４０にその蓄積させ、さらにそれを更新させることになる。この間引きラインデータＬ８が所定のライン数分集められることにより、１フレームの間引き画像Ｆ（間引きデータ）が生成される。この間引き画像Ｆが上記間引き画像４５（図２（Ｃ）参照）となる。
【００７７】
第２のポインタ４９は、所定の読み出しクロックφ’を取り込み、このタイミングでテンポラリバッファ４０から１ライン分の間引きラインデータＬ８を読み出す。これにより、間引き回路２２は、ラインカウントアップ信号（合成ライン同期信号Ｓｙ2のタイミング）に応じて、読み出した間引きラインデータＬ８をラインバッファ２４に出力する。
【００７８】
ラインバッファ２４からの１ライン分の間引きラインデータＬ８が出力されると、データセレクタ２３は、上記のようにラインＦＩＦＯ２１からの広視野画像データの出力に切り替え、これをラインバッファ２４、ＤＭＡ回路２６を介してフレームバッファ２７に出力する。
【００７９】
ここで、画素クロックφ、フレームバッファ２７の読み出しクロック、ラインバッファ２４のクロックの速さの関係は、次のようになっている。
「画素クロックφ<<フレームバッファ２７の読み出しクロック<<ラインバッファ２４のクロック」
つまり、ほとんどの時間においてラインバッファ２４は空の状態にある。これにより、図１９に示すように、フレームバッファ２７には、広視野画像２５と間引き画像４５とが記憶される（ステップ１６０７）。そして、上述したように、フレームバッファ２７中、指定されたアドレス、すなわち選択領域画像のデータの歪補正、座標変換処理、合成処理により、出力用フレームメモリ２８には、合成画像３６が記憶される（図２（Ａ）〜図２（Ｃ）で示したモードのうち、例えば図２（Ｃ）の場合）。フレームバッファ２７と出力用フレームメモリ２８は、同じ一体のメモリが用いられてもよい。
【００８０】
なお、典型的には、フレームバッファ２７に記憶される広視野画像データと間引きデータは同期したデータが記憶される。これは上記各クロックの差により、ライン単位で同期させることが可能だからである。しかし、広視野画像データと間引きデータのレートが異なるようにしても問題ない。
【００８１】
以上のように、本実施の形態に係る間引き回路２２は、画素データ加算回路３７とラインデータ加算回路４７とにより、ライン方向とカラム方向とで分けて間引きラインデータを生成するので、効率的な間引き処理を行うことができる。
【００８２】
また、本実施の形態では、ＲＧＢデータよりデータ量が少ないＹＣｒＣｂデータに変換された上で、間引きデータが生成される。これにより、計算量を少なくすることができ、効率的な処理が実現される。図２１は、これを説明するための画素データの概念図である。例えば、カラー処理回路３において、ＲＧＢデータから４：１：１のＹＣｒＣｂデータに変換し、さらに４：２：０の処理がなされた場合、図２１に示すような画像データ５０が間引き処理回路１５に送られる。つまり、２×２＝４つの画素において、Ｙデータ（輝度データ）は４つの画素にそれぞれ１つずつあり、Ｃｒデータ（Ｃｂデータ）の色差データは、当該８つの画素に１つの共有のデータが用いられる。
【００８３】
この場合、間引き回路２２では、図２２（Ａ）、（Ｂ）に示すように、送られてきた画像データ５０と同じ４：２：０形式になるように、画素データの加算処理及びラインデータの加算処理を行う。これにより、間引き処理されたＹＣｒＣｂデータを間引きラインデータＬにおいて忠実に再現することができる。図２２（Ａ）、（Ｂ）では、ライン方向及びカラム方向に１／８に間引き処理する場合を示している。図２２（Ｃ）は、最終的に表示される間引き画像の画素データを示す。このように、ＹＣｒＣｂ変換と４：２：０処理をした後で、間引き回路２２により処理されることで、図２２（Ａ）で示される画素について計算すればよい。その計算量は、ＲＧＢに対して、約（９／８）／３＝３／８となる。Ｙの計算量を１とすると、ＲＧＢは３、Ｃｒ、Ｃｂは１／８だからである。９というのは、ＲＧＢデータがそれぞれ３つずつある場合３×３を想定している。
【００８４】
本発明に係る実施の形態は、以上説明した実施の形態に限定されず、他の種々の実施形態が考えられる。
【００８５】
例えば、上記実施の形態では、ＲＧＢデータがＹＣｒＣｂデータに変換され、その変換後の画素データについて間引きデータが生成された。しかし、ＲＧＢの画素データについて間引きデータが生成されてもよい。
【００８６】
上記実施の形態では、間引き率は１／８と設定されたが、これは適宜設定の変更が可能である。ただ、２のべき乗にすることで制御が容易となる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】画像処理装置により画像処理されて表示部で表示される各種画像の例を示す図である。
【図３】球体で表される視野を示す図である。
【図４】広角レンズを用いたカメラにより撮像されるときの視野（撮像範囲）をそれぞれ示す図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】座標変換の原理の一例を説明するための図である。
【図７】座標変換の原理の一例を説明するための図である。
【図８】座標変換の原理の一例を説明するための図である。
【図９】座標変換の原理の一例を説明するための図である。
【図１０】入力機器からの入力信号に応じて選択領域画像を更新する動作を示すフローチャートである。
【図１１】間引き処理回路のハード構成を示すブロック図である。
【図１２】間引き回路のハード構成を示すブロック図である。
【図１３】（Ａ）は、画素データ加算回路の構成を示す図である。（Ｂ）は、ラインデータ加算回路の構成を示す図である。
【図１４】第１のカウンタ（第２のカウンタ）の構成を示す図である。
【図１５】第１のポインタ（第２のポインタ）の構成を示す図である。
【図１６】間引き回路が間引きラインデータの生成するときの動作を示すフローチャートである。
【図１７】画素データが加算される様子を示す図である。
【図１８】ラインデータが加算される様子を示す図である。
【図１９】フレームバッファ及びフレームメモリに記憶される画像を示す図である。
【図２０】ＹＣｒＣｂの画素データが加算される様子を示す図である。
【図２１】４：２：０のＹＣｒＣｂの画素データを示す図である。
【図２２】図２１の画素データの形式を保ったまま間引きデータが生成される様子を示す図である。
【符号の説明】
【００８８】
ｐ…画素データ
Ｐ８…加算画素データ
Ｌ…ラインデータ
Ｌ８…間引きラインデータ
Ｆ、４５…間引き画像（間引きデータ）
１…広角レンズ
３…カラー処理回路
４…歪補正処理回路
５…コントローラ
１０…画像処理装置
１５…間引き処理回路
１６…強調領域
２５…広視野画像、全体画像
２５…全体画像
２７…フレームバッファ
３５…歪補正画像（選択領域画像）
３６…合成画像
３７…画素データ加算回路
４７…ラインデータ加算回路
【図１】
2008129903.tif 000003
【図３】
2008129903.tif 000004
【図４】
2008129903.tif 000005
【図５】
2008129903.tif 000006
【図６】
2008129903.tif 000007
【図７】
2008129903.tif 000008
【図８】
2008129903.tif 000009
【図９】
2008129903.tif 000010
【図１０】
2008129903.tif 000011
【図１１】
2008129903.tif 000012
【図１２】
2008129903.tif 000013
【図１３】
2008129903.tif 000014
【図１４】
2008129903.tif 000015
【図１５】
2008129903.tif 000016
【図１６】
2008129903.tif 000017
【図１７】
2008129903.tif 000018
【図１８】
2008129903.tif 000019
【図２０】
2008129903.tif 000020
【図２】
2008129903.tif 000021
【図１９】
2008129903.tif 000022
【図２１】
2008129903.tif 000023
【図２２】
2008129903.tif 000024