(57)【要約】【課題】２つのセンサから入力される画像信号を同時に処理すると共に、合成画像を容易に生成することができる画像処理装置及びそれに関連する技術を提供する。【解決手段】２つのセンサ１Ａ，１Ｂで撮像した画像信号に対して、別々のＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）により画像処理を施すことによって、同時かつ高速に画像処理を行うことができる。また、ＲＰＵ１，２（５Ａ，５Ｂ）から主メモリ９上のバッファ領域に出力する段階で合成画像を生成することで、別途合成画像を生成する動作を必要とせず、合成画像を高フレームレートで画像表示部８へ出力表示することができる。【選択図】図２
2005136670.tif 000002
【特許請求の範囲】
【請求項１】
２つのセンサで撮像した画像信号に画像処理を施した画像データをメモリ上に出力する画像処理装置であって、
それぞれが、異なるセンサに接続され、当該センサから出力される前記画像信号に対して独立して画像処理を施し、前記画像データを出力する２つの画像処理手段、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、さらに、
それぞれが、異なる前記画像処理手段の出力する前記画像データの前記メモリ上への転送を、独立して制御する２つのＤＭＡ制御手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、さらに、
前記画像処理手段が出力する前記画像データを、前記メモリ上に設けたバッファ領域に書き込む手段、
を備え、当該手段は、
前記バッファ領域内に設けた書き込み禁止領域に書き込むべき前記画像データの一部を書き込まずに破棄する手段、
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記画像データを前記バッファ領域に書き込む手段は、さらに、
一方の前記画像処理手段が出力する前記画像データに対して設けた前記書き込み禁止領域に、他方の前記画像処理手段が出力する前記画像データを書き込む手段、
を含むことを特徴とする画像処理装置。
【請求項５】
請求項１または請求項２に記載の画像処理装置であって、さらに、
一方の前記画像処理手段が出力する前記画像データを、前記メモリ上に設けた２つのバッファ領域に、フレーム毎に交互に書き込む手段と、
前記２つのバッファ領域のうち、前記一方の画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、他方の前記画像処理手段が出力する前記画像データを上書きする手段と、
を備えることを特徴とする画像処理装置。
【請求項６】
請求項１または請求項２に記載の画像処理装置であって、さらに、
一方の前記画像処理手段が出力する前記画像データを、前記メモリ上に設けた少なくとも３つのバッファ領域に、フレーム毎に順番に書き込む手段と、
前記一方の画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、他方の前記画像処理手段が出力する前記画像データを上書きする手段と、
前記２つの画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域から先に書き込まれた前記画像データを読み出して画像表示装置で表示可能な内部信号に変換する画像表示処理手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
２つのセンサで撮像した画像信号に画像処理を施した画像データをメモリ上に出力する画像処理方法であって、
（ａ）第１のＤＭＡ制御手段で前記第１の画像データを前記メモリ上にＤＭＡ転送する工程と、
（ｂ）第２のＤＭＡ制御手段で前記第２の画像データを前記メモリ上にＤＭＡ転送する工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法であって、さらに、
（ｃ）前記第１の画像データを前記メモリ上に設けたバッファ領域に書き込む工程と、
（ｄ）前記工程（ｃ）で前記バッファ領域内に設けた書き込み禁止領域に書き込むべき前記第１の画像データは書き込まずに破棄する工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法であって、さらに、
（ｅ）前記第２の画像データを前記書き込み禁止領域に書き込む工程、
を備えることを特徴とする画像処理方法。
【請求項１０】
請求項７に記載の画像処理方法であって、さらに、
（ｆ）前記第１の画像データを、前記メモリ上に設けた２つのバッファ領域に、フレーム毎に交互に書き込む工程と、
（ｇ）前記工程（ｆ）で前記第１の画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、前記第２の画像データを上書きする工程と、
を備えることを特徴とする画像処理方法。
【請求項１１】
請求項７に記載の画像処理方法であって、さらに、
（ｈ）前記第１の画像データを、前記メモリ上に設けた少なくとも３つのバッファ領域に、フレーム毎に順番に書き込む工程と、
（ｉ）前記工程（ｈ）で前記第１の画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、前記第２の画像データを上書きする工程と、
（ｊ）前記工程（ｈ）および（ｉ）で前記第１および第２の画像データを書き込むのとは異なる前記バッファ領域から先に書き込まれた前記画像データを読み出して画像表示装置で表示可能な内部信号に変換する工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つのセンサから入力される信号を同時に処理することができる画像処理装置及びそれに関連する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラによる撮像機能を備えた携帯電話やＰＤＡ（Personal Digital Assistant）などの装置が増加している。この中には、２つのセンサを利用した撮像を行うものがある（例えば特許文献１参照）。
【０００３】
一例として、２つのセンサ１Ａ，１Ｂを備えるデジタルカメラ付き携帯電話の基本的な構成を図１０に示す。その構成は、２つのセンサ１Ａ，１Ｂを利用して撮像を行うカメラ制御部２９と、当該カメラ制御部２９を含む携帯電話全体の動作を制御する主処理部２８と、に分けられる。ベースバンド処理部２４及び無線処理部２６で処理を施したデータをアンテナ２７から無線送信し、または逆にアンテナ７から受信したデータを無線処理部２６およびベースバンド処理部２４で処理して受信することで、音声等の無線通信機能を実現し、センサー１Ａ，１Ｂから出力される画像信号をカメラ制御部２９で処理してデジタルカメラとしての撮像機能を実現する。
【０００４】
このうち、センサ１Ａ，１Ｂを利用した撮像から、画像処理装置７での画像処理、撮像した画像データの画像表示部８での表示、に至る、カメラ制御部２９に関わる部分の構成を図１１に示す。
【０００５】
画像処理装置７は、入力された画像信号にホワイトバランス調整などの信号処理を行うセンサプロセッシングユニット４（以下ではＳＰＵ（Sensor Processing Unit）と言う）と、補間処理、色空間の変換、偽色抑制などの信号処理を行うリアルタイムプロセッシングユニット５（以下ではＲＰＵ（Real-time Processing Unit）と言う）と、ＳＰＵ４およびＲＰＵ５で処理した信号を内部信号に変換する画像表示処理部６と、をそれぞれ一つずつ備えている。
【０００６】
このように２つのセンサ１Ａ，１Ｂを備える装置を利用すれば、例えば、センサ１Ａで風景を、センサ１Ｂで利用者を撮像し、図１２に示すような合成画像を生成することができる。
【０００７】
【特許文献１】特開２００３−１８９１６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来は、センサを２つ備える場合であっても、の画像処理装置７は、図１１に示すように、それぞれ一のＳＰＵ４、ＲＰＵ５および画像表示処理部６から構成されていた。そのため、２つのセンサ１Ａ，１Ｂから入力される画像信号を同時に処理することはできず、セレクタ３を利用して選択した、いずれか一方の画像信号のみが画像処理装置７に入力され、当該画像信号に対して画像処理が施されていた。
【０００９】
則ち、２つのセンサ１Ａ，１Ｂを備えていても、これらを利用して同時に撮像した画像信号に、同時に画像処理を施すといった動作ができないという問題があった。
【００１０】
また、図１２に示すような合成画像を、液晶表示装置などから成る画像表示部８に表示する場合、センサ１Ａで風景を撮像した画像信号にＳＰＵ４およびＲＰＵ５による画像処理を施して主メモリ９上に記憶した画像データと、次に、セレクタ３を切り換えて、センサ１Ｂで利用者を撮像した画像信号に同様にＳＰＵ４およびＲＰＵ５による画像処理を施して主メモリ９上に記憶した画像データと、の両方を、画像表示処理部６が主メモリ９から読み出して合成する処理が必要である。同様に、図１２に示すような合成画像を不揮発性の外部記憶装置などから成るメモリカード１０に記録する場合にも、記録の前に、センサ１Ａ，１Ｂで撮像し主メモリ９上に記憶した２つの画像データを読み出して合成する処理が必要である。
【００１１】
このように、合成画像を取り扱うには、撮像処理とは別途、画像データを合成するための処理が必要なる上、当該処理に係る画像データの転送動作等のためにメモリバス１２やＣＰＵ１１に負荷がかかるといった問題があった。
【００１２】
そこで、この発明の課題は、２つのセンサから入力される画像信号を同時に処理すると共に、合成画像を容易に生成することができる画像処理装置及びそれに関連する技術を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決すべく、請求項１に記載の発明は、２つのセンサで撮像した画像信号に画像処理を施した画像データをメモリ上に出力する画像処理装置であって、それぞれが、異なるセンサに接続され、当該センサから出力される前記画像信号に対して独立して画像処理を施し、前記画像データを出力する２つの画像処理手段、を備えることを特徴とするものである。
【００１４】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、さらに、それぞれが、異なる前記画像処理手段の出力する前記画像データの前記メモリ上への転送を、独立して制御する２つのＤＭＡ制御手段、を備えることを特徴とするものである。
【００１５】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置であって、さらに、前記画像処理手段が出力する前記画像データを、前記メモリ上に設けたバッファ領域に書き込む手段、を備え、当該手段は、前記バッファ領域内に設けた書き込み禁止領域に書き込むべき前記画像データの一部を書き込まずに破棄する手段、を含むことを特徴とするものである。
【００１６】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記画像データを前記バッファ領域に書き込む手段は、さらに、一方の前記画像処理手段が出力する前記画像データに対して設けた前記書き込み禁止領域に、他方の前記画像処理手段が出力する前記画像データを書き込む手段、を含むことを特徴とするものである。
【００１７】
請求項５に記載の発明は、請求項１または請求項２に記載の画像処理装置であって、さらに、一方の前記画像処理手段が出力する前記画像データを、前記メモリ上に設けた２つのバッファ領域に、フレーム毎に交互に書き込む手段と、前記２つのバッファ領域のうち、前記一方の画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、他方の前記画像処理手段が出力する前記画像データを上書きする手段と、を備えることを特徴とするものである。
【００１８】
請求項６に記載の発明は、請求項１または請求項２に記載の画像処理装置であって、さらに、一方の前記画像処理手段が出力する前記画像データを、前記メモリ上に設けた少なくとも３つのバッファ領域に、フレーム毎に順番に書き込む手段と、前記一方の画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、他方の前記画像処理手段が出力する前記画像データを上書きする手段と、前記２つの画像処理手段が出力する前記画像データを書き込むのとは異なる前記バッファ領域から先に書き込まれた前記画像データを読み出して画像表示装置で表示可能な内部信号に変換する画像表示処理手段と、を備えることを特徴とするものである。
【００１９】
請求項７に記載の発明は、２つのセンサで撮像した画像信号に画像処理を施した画像データをメモリ上に出力する画像処理方法であって、（ａ）第１のＤＭＡ制御手段で前記第１の画像データを前記メモリ上にＤＭＡ転送する工程と、（ｂ）第２のＤＭＡ制御手段で前記第２の画像データを前記メモリ上にＤＭＡ転送する工程と、を備えることを特徴とするものである。
【００２０】
請求項８に記載の発明は、請求項７に記載の画像処理方法であって、さらに、（ｃ）前記第１の画像データを前記メモリ上に設けたバッファ領域に書き込む工程と、（ｄ）前記工程（ｃ）で前記バッファ領域内に設けた書き込み禁止領域に書き込むべき前記第１の画像データは書き込まずに破棄する工程と、を備えることを特徴とするものである。
【００２１】
請求項９に記載の発明は、請求項８に記載の画像処理方法であって、さらに、（ｅ）前記第２の画像データを前記書き込み禁止領域に書き込む工程、を備えることを特徴とするものである。
【００２２】
請求項１０に記載の発明は、請求項７に記載の画像処理方法であって、さらに、（ｆ）前記第１の画像データを、前記メモリ上に設けた２つのバッファ領域に、フレーム毎に交互に書き込む工程と、（ｇ）前記工程（ｆ）で前記第１の画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、前記第２の画像データを上書きする工程と、を備えることを特徴とするものである。
【００２３】
請求項１１に記載の発明は、請求項７に記載の画像処理方法であって、さらに、（ｈ）前記第１の画像データを、前記メモリ上に設けた少なくとも３つのバッファ領域に、フレーム毎に順番に書き込む工程と、（ｉ）前記工程（ｈ）で前記第１の画像データを書き込むのとは異なる前記バッファ領域の一部領域上に、前記第２の画像データを上書きする工程と、（ｊ）前記工程（ｈ）および（ｉ）で前記第１および第２の画像データを書き込むのとは異なる前記バッファ領域から先に書き込まれた前記画像データを読み出して画像表示装置で表示可能な内部信号に変換する工程と、を備えることを特徴とするものである。
【発明の効果】
【００２４】
請求項１に記載の発明によれば、２つのセンサで撮像した画像信号を、それぞれのセンサに接続された画像処理装置で、独立して同時に処理することが可能である。
【００２５】
請求項２または請求項７に記載の発明によれば、画像処理装置から出力する画像データの主メモリ上への転送を高速にするだけでなく、ＣＰＵに係る負荷を低減するといった効果も有する。
【００２６】
請求項３または請求項８に記載の発明によれば、画像データの主メモリ上への転送処理と並行して、書き込み禁止領域への別の処理を行うことができる。
【００２７】
請求項４または請求項９に記載の発明によれば、主メモリ上への画像データの転送の段階で合成画像が完成し、合成画像の生成処理を別途行う必要がない。
【００２８】
請求項５または請求項１０に記載の発明によれば、２つのセンサで撮像した画像データを主メモリ上へ転送するときに、主メモリ上に書き込み禁止領域を設けるといった複雑な制御をせずに合成画像を完成することができ、合成画像の生成処理を別途行う必要がない。
【００２９】
請求項６または請求項１１に記載の発明によれば、２つのセンサで撮像した画像データを主メモリ上へ転送するときに、主メモリ上に書き込み禁止領域を設けるといった複雑な制御をせずに合成画像を完成することができる。また、画像データの書き込みや読み出しの動作が完全に同期していない状態であっても、主メモリに書き込まれた画像データを表示装置に出力表示することができる。
【発明を実施するための最良の形態】
【００３０】
（第１の実施の形態）
図１は、この発明を利用する２つのセンサを備えるデジタルカメラ付き携帯電話の基本構成を示す図である。尚、ここでは一例として携帯電話を示しているが、本発明はこれに限らず、ＰＤＡや携帯ゲーム機など他の装置で利用されても構わない。
【００３１】
２つのセンサ１Ａ，１Ｂを利用して撮像を行うカメラ制御部２９と、当該カメラ制御部２９を含む携帯電話全体の動作を制御する主処理部２８と、を主とする構成を有し、音声等の無線通信機能と、デジタルカメラとしての撮像機能と、を実現する点は、図１０を用いて上述したのと同様である。このうち、画像処理動作に関わる構成と、その機能とが従来と異なることから、以下ではこれについて詳述する。
【００３２】
＜画像処理装置の構成１＞
図２は、この発明の一の画像処理装置７を含む画像処理動作に関わる部分の基本構成を示す図である。撮像素子としてＣＣＤ（１Ａ）およびＣＭＯＳ（１Ｂ）の２つのセンサを備えることを特徴とし、そのほかに、ＣＣＤ（１Ａ）で撮像した画像信号であるアナログ信号にＣＤＳ（Correlated Double Sampling；相関二重サンプリング）処理やＡＧＣ（Automatic Gain Control；自動利得制御）処理を施すアナログ信号処理部２と、入力される画像信号に画像処理を施す画像処理装置７と、画像処理装置７から出力される内部信号によって画像を表示する液晶ディスプレイなどの画像表示装置を利用する画像表示部８と、画像処理を施した画像データの一時保存等に利用する主メモリ９と、画像データを記録蓄積するための不揮発性のメモリカード１０と、これら全体の動作を制御するＣＰＵ１１とから構成される。
【００３３】
画像処理装置７は、２つのセンサ１Ａ，１Ｂから入力される画像信号に対応して、それぞれ２つずつのＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）と、ＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理を施された画像データを画像表示部８で表示可能な内部信号に変換する画像表示処理部（ＩＤＵ；Image Display Unit）６と、を備える。
【００３４】
画像処理装置７を構成するＲＰＵ１，２（５Ａ，５Ｂ）および画像表示処理部６と、主メモリ９と、メモリカード１０と、ＣＰＵ１１とは、それぞれメモリバス１２に接続されている。
【００３５】
ここで、ＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）が画像処理手段を構成し、ＩＤＵ則ち画像表示処理部６が画像表示処理手段を構成する。
【００３６】
図３に示すように、ＣＣＤセンサ１Ａで撮像した画像信号には、アナログ信号処理部２を介してＳＰＵ１（４Ａ）およびＲＰＵ１（５Ａ）によって画像処理が施され、出力された画像データは主メモリ９上のバッファ領域１（１３）に記録される。このとき、この動作と並行して、ＣＭＯＳセンサ１Ｂで撮像した画像信号には、ＳＰＵ２（４Ｂ）およびＲＰＵ２（５Ｂ）によって画像処理が施され、出力された画像データは主メモリ９上のバッファ領域２（１４）に記録される。主メモリ９上のバッファ領域１，２（１３，１４）に記録した画像データは、画像表示処理部６で内部信号に変換して画像表示部８に表示したり、メモリカード１０に記録、保存するために利用する。
【００３７】
このように、各センサ１Ａ，１Ｂに対応するＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）を独立して設けることで、従来のように一方のセンサで撮像した画像信号に画像処理を施す間、他方のセンサで撮像した画像信号を処理できないといった問題を生ずることがなく、同一時刻に異なる対象物を撮像した２つの画像データを利用することが可能である。
【００３８】
＜画像処理装置の構成２＞
図４は、この発明の一の画像処理装置１６を含む画像処理動作に関わる部分の基本構成を示す図である。尚、図４では、図２と同様の機能を有する要素については同一符号を付している。この実施の形態の画像処理装置１６は、ＲＰＵ１，２（５Ａ，５Ｂ）と主メモリ９の間で行われるメモリバス１２を介した画像データの転送をＤＭＡ転送で行うために、図４に示したように、これを制御するＤＭＡ制御部１，２（１５Ａ，１５Ｂ）を備える点が図２とは異なっている。その他の構成は、図２について上述した内容と同様であるため説明を省略する。
【００３９】
このように、ＤＭＡ制御部１，２（１５Ａ，１５Ｂ）を設け、ＲＰＵ１，２（５Ａ，５Ｂ９）と主メモリ９との間で行う画像データの転送をＤＭＡ転送により行うことで、上述した図２の構成を有する画像処理装置に比べて、ＣＰＵ１１やメモリバス１２に負荷をかけることなく高速な処理を行うことが可能となる。
【００４０】
尚、画像処理装置７，１６に接続される撮像部について、２つのセンサとしてＣＣＤセンサ１ＡおよびＣＭＯＳセンサ１Ｂを備え、ＣＣＤセンサ１Ａはアナログ信号処理部２に接続されるのに対し、ＣＭＯＳセンサ１Ｂは内部にアナログ信号処理部を備えるため出力する画像信号を直接ＳＰＵ２（４Ｂ）に入力する構成としているが、本発明はこれに限らず、撮像対象に係る情報をＳＰＵ１，２（４Ａ，４Ｂ）に入力可能なデジタル形式の画像信号として出力する撮像部を２つ備える構成であれば、例えば２つのＣＭＯＳセンサのみを備える場合など、本実施の形態と異なる態様であっても構わない。
【００４１】
また、画像処理装置７，１６を含むデジタルカメラは、単体で動作する場合に限らず、モジュールとして携帯電話やＰＤＡなどの装置に内蔵される態様であっても構わない。
【００４２】
＜画像の合成処理＞
次に、上述した図２または図４の画像処理装置７，１６を利用して、２つのセンサ１Ａ，１Ｂで撮像した画像データを合成し、図１２に示すような合成画像を生成するための方法について説明する。
【００４３】
２つのセンサ１Ａ，１Ｂから出力される画像信号に、それぞれ別々のＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理を施した後、画像データを主メモリ９上に出力する動作は、図３を用いて説明した通りであるが、このとき主メモリ９上に書き込む段階で合成画像を生成する。
【００４４】
まず、ＲＰＵ１（５Ａ）から出力される画像データは、図５（ａ）に示すように、主メモリ９上のバッファ領域１７に書き込まれる。
【００４５】
書き込みは１ラインずつ行われ、バッファ領域１７の先頭アドレスＳｔＡＤＲ１から開始し、画像データの１データ長Ｌｅｎ１分の書き込みを終えると、ジャンプアドレスＪｐＬｅｎ１分先のアドレスに飛んで、引き続き次の画像データを書き込んで行く。これを繰り返し、主メモリ９上のバッファ領域１７には、先頭アドレスＳｔＡＤＲ１から終了アドレスＥｄＡＤＲ１に向けて１ラインずつ画像データが書き込まれて行く。
【００４６】
ただし、バッファ領域１７内には、書き込み禁止領域１８が設けられていて、ＲＰＵ１（５Ａ）から出力される画像データのうち、この書き込み禁止領域１８と一致する部分のデータについては書き込みを行わない。
【００４７】
具体的には、バッファ領域１７への画像データの書き込みを進め、書き込み先のアドレスが書き込み禁止領域１８の先頭アドレスＭＳｔＡＤＲ１と一致すると、ここから書き込み禁止領域１８のデータ長ＭＬｅｎ１分のデータについては、ＲＰＵ１（５Ａ）からの画像データを受け取るが、書き込まずにこれを破棄する。そして、書き込み禁止領域１８を通過すると、引き続き画像データの書き込みを開始する。この間も画像データの１データ長Ｌｅｎ１に達すると、ジャンプアドレスＪｐＬｅｎ１分先のアドレスから書き込みを続けるのは上述した通りである。書き込み禁止領域１８の終了アドレスＭＥｄＡＤＲ１に達し、書き込み禁止領域１８全てを通過した後は、上述した通り、１データ長Ｌｅｎ１分の画像データ全てを書き込みながら、書き込み先のアドレスがバッファ領域１７の終了アドレスＥｄＡＤＲ１に一致するまで処理を継続する。
【００４８】
こうして、ＲＰＵ１（５Ａ）から出力される画像データの書き込み先のアドレスが、書き込み禁止領域１８のアドレスと一致する間は、画像データを書き込まずに破棄することで、図５（ａ）に示すように、バッファ領域１７には、センサ１Ａで撮像した画像のうち書き込み禁止領域１８に相当する領域だけデータの存在しない画像データが生成される。
【００４９】
このとき、上述したＲＰＵ１（５Ａ）から出力される画像データのバッファ領域１７への書き込み動作と並行して、ＲＰＵ２（５Ｂ）から出力される画像データの書き込みも行われる。このＲＰＵ２（５Ｂ）からの画像データの書き込みは、図５（ｂ）に示すように、上述した書き込み禁止領域１８であるバッファ領域１８に対して行われる。則ち、一方のセンサで撮像した画像データを書き込むときの書き込み禁止領域が、他方のセンサで撮像した画像データを書き込むときの書き込み対象領域となる。
【００５０】
ここで、上述したＲＰＵ１（５Ａ）から出力される画像データの書き込みの様子を示す図５（ａ）に対して、ＲＰＵ２（５Ｂ）から出力される画像データの書き込みの様子を説明する図が図５（ｂ）であって、図５（ａ）と図５ （ｂ）は、同一の主メモリ９上に存在するバッファ領域１７，１８上で、同一時刻に進行する書き込みの処理を示している。
【００５１】
ＲＰＵ２（５Ｂ）から出力される画像データの書き込みも１ラインずつ行われ、バッファ領域１８の先頭アドレスＳｔＡＤＲ２から開始し、画像データの１データ長Ｌｅｎ２分の書き込みを終えると、ジャンプアドレスＪｐＬｅｎ２分先のアドレスに飛んで、引き続き次の画像データを書き込んで行く。これを繰り返し、主メモリ９上のバッファ領域１８には、先頭アドレスＳｔＡＤＲ２から終了アドレスＥｄＡＤＲ２に向けて１ラインずつ画像データが書き込まれて行く。
【００５２】
こうして、図５（ｂ）に示すように、バッファ領域１８には、センサ１Ｂで撮像した画像データが生成される。
【００５３】
ＲＰＵ１（５Ａ）からバッファ領域１７への画像データの書き込みと、ＲＰＵ２（５Ｂ）からバッファ領域１８への画像データの書き込みとは並行して行われるが、ＲＰＵ１（５Ａ）から出力される画像データの書き込みを行うときは、上述したように、バッファ領域１８を書き込み禁止領域とみなして動作するため、バッファ領域１８に書き込まれたＲＰＵ２（５Ｂ）から出力された画像データがＲＰＵ１（５Ａ）から出力された画像データによって上書きされることはない。
【００５４】
このように、２つのセンサ１Ａ，１Ｂから出力される画像信号に対して、それぞれ独立したＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理を行い、これを、上述したような動作で主メモリ９上のバッファ領域１７，１８に書き込むことで、同一時刻に撮像した異なる対象物を合成した図１２に示すような合成画像をバッファ領域に直接生成することが可能である。
【００５５】
また、合成画像を画像表示部８で表示するときやメモリカード１０に記録蓄積するときも、画像表示処理部６やＣＰＵ１１で別途合成処理を行う必要はなく、一旦メモリ上に記録した２つの画像データを別途合成処理する場合に比べて、画像表示処理部６、ＣＰＵ１１およびメモリバス１２に対する負荷が小さく、合成画像の画像表示部８への表示に係る処理を高速に行うことができるという効果も有する。
【００５６】
そのため、例えば、２つのセンサ１Ａ，１Ｂで撮像する映像を画像表示部８で目視確認しながら撮像するときも、実際の撮像対象物の動きと画像表示部８上に表示された撮像対象物の動きに時間差が生じるといった問題もなく、２つのセンサ１Ａ，１Ｂで撮像した対象物の両方が高フレームレートで滑らかに動く映像を表示や記録することが可能である。
【００５７】
（第２の実施の形態）
本実施の形態では、第１の実施の形態で上述した、合成画像を生成する動作を別の態様で実現する方法を説明する。利用する画像処理装置は、第１の実施の形態で上述したもの７，１６と同一でよく、画像の合成処理に係る動作のみが異なるため、画像処理装置７，１６の説明は省略する。
【００５８】
本実施の形態では、主メモリ９上において、図６に示すように、バッファ領域１（１９Ａ）とバッファ領域２（２０Ａ）の２つのバッファ領域を利用して画像の合成処理を行う。バッファ領域１９Ｂおよびバッファ領域２０Ｂは、それぞれバッファ領域１（１９Ａ）および２（２０Ａ）上の一部領域である。
【００５９】
ＲＰＵ１（５Ａ）から出力される画像データは、フレーム毎にバッファ領域１（１９Ａ）および２（２０Ａ）に交互に書き込まれる。そして、ＲＰＵ２（５Ｂ）から出力される画像データは、ＲＰＵ１（５Ａ）から出力される画像データがバッファ領域１（１９Ａ）に書き込まれるときはバッファ領域２０Ｂに、バッファ領域２（２０Ａ）に書き込まれるときはバッファ領域１９Ｂに、というように、ＲＰＵ１（５Ａ）が利用するのとは異なるバッファ領域の一部領域１９Ｂ，２０Ｂに書き込まれる。
【００６０】
以下に、センサ１Ａで撮像した風景と、センサ１Ｂで撮像した利用者自身と、を合成し、図１２に示すような合成画像を生成するときの動作について図７を用いて説明する。    図７は、左から右へ時刻が経過するときの、上段が撮像範囲を点線で囲んだ実際の風景および利用者を、中段がバッファ領域１（１９Ａ，１９Ｂ）への画像データの書き込みの様子を、下段がバッファ領域２（２０Ａ，２０Ｂ）への画像データの書き込みの様子を、それぞれ示している。
【００６１】
センサ１Ａ，１Ｂで撮像を開始すると、それぞれのセンサ１Ａ，１Ｂから出力される画像信号に対して、ＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理が施され画像データが出力される。
【００６２】
まず、図７（ａ）に示すように、バッファ領域１（１９Ａ）にはＲＰＵ１（５Ａ）から出力された風景の画像データが書き込まれる。このとき、図７（ｂ）に示すように、バッファ領域２（２０Ａ）には何も書き込まれない。
【００６３】
次に、図７（ｃ）に示すように、バッファ領域１（１９Ａ）の一部領域であるバッファ領域１９ＢにＲＰＵ２（５Ｂ）から出力された利用者の画像データが上書きされ、合成画像が完成する。このとき、図７（ｄ）に示すように、バッファ領域２（２０Ａ）にはＲＰＵ１（５Ａ）から出力された風景の画像データが書き込まれる。
【００６４】
次に、図７（ｅ）に示すように、バッファ領域１（１９Ａ）にはＲＰＵ１（５Ａ）から出力された風景の画像データが上書きされる。このとき、図７（ｆ）に示すように、バッファ領域２（２０Ａ）の一部であるバッファ領域２０ＢにＲＰＵ２（５Ｂ）から出力された利用者の画像データが上書きされ、合成画像が完成する。
【００６５】
則ち、ＲＰＵ１（５Ａ）から出力される風景を撮像した画像データが、フレーム毎にバッファ領域１（１９Ａ）、バッファ領域２（２０Ａ）、バッファ領域１（１９Ａ）…と２つのバッファ領域１，２（１９Ａ，２０Ａ）に交互に書き込まれる。これを追って、ＲＰＵ２（５Ｂ）から出力される利用者自身を撮像した画像データが、バッファ領域１９Ｂ、バッファ領域２０Ｂ、バッファ領域１９Ｂ…と２つのバッファ領域１，２（１９Ａ，２０Ａ）の一部領域１９Ｂ，２０Ｂに交互に上書きされ、合成画像が完成するのである。
【００６６】
このとき、合成画像上において書き込まれた、風景を撮像した時刻と、利用者自身を撮像した時刻と、の間には時間差が生ずることになるが、例えば、３０ｆｐｓのフレームレートで撮像可能なセンサ１Ａ，１Ｂが同期している場合、その時間差は１フレーム分に相当する１／３０秒に過ぎず、実用上問題はない。
【００６７】
合成画像を画像表示部８で表示するときは、画像表示処理部６が、合成画像が完成した段階と、完成した合成画像上に新たにＲＰＵ１（５Ａ）から出力された画像データが上書きされる段階と、の間で、合成画像を主メモリ９から読み出せばよい。
【００６８】
このように、２つのセンサ１Ａ，１Ｂから出力される画像信号に対して、それぞれ独立したＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理を行い、これを、上述したような動作で主メモリ９上の２つのバッファ領域に交互に書き込むことで、図１２に示すような異なる対象物を撮像した画像データを合成した合成画像を、バッファ領域に直接生成することが可能である。
【００６９】
また、合成画像を画像表示部８で表示するときやメモリカード１０に記録蓄積するときも、画像表示処理部６やＣＰＵ１１で別途合成処理を行う必要はなく、一旦メモリ上に記録した２つの画像データを別途合成処理する場合に比べて、画像表示処理部６、ＣＰＵ１１およびメモリバス１２に対する負荷が小さく、合成画像の画像表示部８への表示に係る処理を高速に行うことができるという効果も有する。
【００７０】
そのため、例えば、２つのセンサ１Ａ，１Ｂで撮像する映像を画像表示部８で目視確認しながら撮像するときも、実際の撮像対象物の動きと画像表示部８上に表示された撮像対象物の動きに大きな時間差が生じるといった問題もなく、２つのセンサ１Ａ，１Ｂで撮像した対象物の両方が高フレームレートで滑らかに動く映像を表示や記録することが可能である。
【００７１】
また、本実施の形態では、第１の実施の形態のように、主メモリ９上のバッファ領域に書き込むときに、アドレス単位で書き込みを制御する必要がなく、容易に合成画像を生成できるという利点も有する。
【００７２】
（第３の実施の形態）
本実施の形態では、第１の実施の形態および第２の実施の形態で上述した、合成画像を生成する動作を別の態様で実現する方法を説明する。本実施の形態は、画像の合成処理に係る動作のみが第２の実施の形態で上述した内容と一部異なるものであって、利用する画像処理装置は、第１の実施の形態で上述したもの７，１６と同一であるため、画像処理装置７，１６の説明は省略する。
【００７３】
第２の実施の形態では、２つのバッファ領域を利用して画像データの合成処理を行い、合成した画像データを画像表示処理部６で読み出して画像表示部８に表示している。
【００７４】
しかし、このような動作を実現するには、２つのセンサ１Ａ，１Ｂと画像表示処理部６が同期して動作する必要がある。則ち、画像表示処理部６は、合成画像が完成した後であって、その上に風景を撮像した新たな画像データを上書きするよりも前である限られたタイミングで合成画像を読み出さねばならない。このタイミングがずれると、合成される前の画像データや、異なる時刻に撮像した画像データが混在する画像データ等が表示され、画像表示部８に出力表示される画像が混乱するといった問題が発生する。
【００７５】
そこで、本実施の形態は、主メモリ９上のバッファ領域の数を増やして、この問題に対処するものである。
【００７６】
例えば、主メモリ９上のバッファ領域を３つとし、図８に示すように動作するときの動作を以下に説明する。図８は、左から右へ時刻が経過するときの、各段がそれぞれバッファ領域１〜３の画像データの書き込みおよび読み出しの動作の様子を示している。
【００７７】
２つのセンサ１Ａ，１Ｂで撮像した画像データの、バッファ領域１〜３への書き込みの動作については、第２の実施の形態で上述したのと同様の考え方で、一方のセンサで撮像した画像データの一部領域上に、他方のセンサで撮像した画像データを上書きして合成画像を生成する。
【００７８】
２つのセンサ１Ａ，１Ｂからの画像信号を、ＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理し、出力する画像データを、それぞれ画像データ１，２とすると具体的な動作は以下の通りである。
【００７９】
まず、時刻ｔａに、バッファ領域１には画像データ１が書き込まれる。このとき、バッファ領域２には、先に書き込まれていた画像データ１の一部領域上に画像データ２が上書きされ合成画像Ｑが完成する。また、バッファ領域３では、先に完成していた合成画像Ｐが、画像表示処理部６によって読み出され内部信号に変換された後、画像表示部８に出力表示される。
【００８０】
次に、時刻ｔｂに、バッファ領域１では、先に書き込んだ画像データ１の一部領域上に画像データ２が上書きされ合成画像Ｒが完成する。このとき、バッファ領域２では、先に完成した画像データＱが、画像表示処理部６によって読み出され内部信号に変換された後、画像表示部８に出力表示される。また、バッファ領域３には、新たに画像データ１が上書きされる。
【００８１】
次に、時刻ｔｃに、バッファ領域１では、先に完成した画像データＲが、画像表示処理部６によって読み出され内部信号に変換された後、画像表示部８に出力表示される。このとき、バッファ領域２には、新たに画像データ１が上書きされる。また、バッファ領域３では、先に書き込んだ画像データ１の一部領域上に画像データ２が上書きされ合成画像Ｓが完成する。
【００８２】
則ち、画像データ１を新たに書き込むステップ、先に書き込んだ画像データ１の一部領域上に画像データ２を上書きし合成画像を完成するステップ、完成した合成画像を画像表示処理部６が読み出して画像表示部８に出力表示するステップ、に分かれて動作し、３つのバッファ領域１〜３が、画像データが出力されるフレーム毎に、それぞれ異なるステップで動作することで、常に一のバッファ領域で合成画像を画像表示部８に出力表示する状態を作り出している。
【００８３】
画像表示処理部６は、合成画像が完成した時点から、次に合成画像の上に新たに撮像した画像データ１が上書きされるまでの間に、画像データを読み出せばよく、この時間幅は、第２の実施の形態で上述した場合に比べて、他のバッファ領域に画像データ１が書き込まれる時間分だけ長くなる。
【００８４】
そのため、２つのセンサ１Ａ，１Ｂから出力する画像データ１，２をバッファ領域に書き込む動作タイミングと、画像表示処理部６がバッファ領域から合成画像を読み出す動作タイミングが完全に同期していない場合であっても、画像表示部８に出力表示する画像が乱れるといった問題の発生を回避し、センサ１Ａ，１Ｂで撮像し合成した画像データを、動画像として連続して出力表示することができる。
【００８５】
尚、本実施の形態では、２つのセンサ１Ａ，１Ｂと画像表示処理部６の動作が同期していない場合について説明したが、センサ１Ａとセンサ１Ｂの動作が同期していない場合であっても、この動作のずれを吸収できる数のバッファ領域を設ければ、２つのセンサ１Ａ，１Ｂで撮像した画像データを合成した合成画像を生成し、画像表示部８に滑らかな動画像として表示することができる。
【００８６】
例えば、フレームレートｔ１で動作する２つのセンサ１Ａ，１Ｂにおいて、センサ１Ｂの動作がセンサ１Ａに対してｔ１の半分の時間に相当するｔ２だけずれて動作している場合であれば、主メモリ９上に４つのバッファ領域１〜４を設け、上述したのと同様に動作すればよい。具体的な動作は以下の通りである。
【００８７】
図９上段に示すように、センサ１Ａ、１Ｂの動作がずれているものとする。
【００８８】
このとき、図９中段に示すように、それぞれのバッファ領域１〜４に、センサ１Ａから出力される画像データＡ１，Ａ２…と、それから時間ｔ２だけおいてセンサ１Ｂから出力される画像データＢ２，Ｂ３…と、を書き込んで合成画像Ｃ１，Ｃ２…を完成する。
【００８９】
そして、図９下段に示すように、画像表示処理部６が、合成画像Ｃ１，Ｃ２…を、それぞれのバッファ領域１〜４から読み出して画像表示部８に表示すれば、合成画像をセンサ１Ａ、１Ｂと同じフレームレートで連続して表示することが可能である。
【００９０】
その他、センサ１Ａ、センサ１Ｂおよび画像表示処理部６のうちいずれか、または全てが完全に同期せずに動作している場合であっても、同様に、このずれを吸収できる数のバッファ領域を設ければ、画像表示部８に、センサ１Ａ，１Ｂと同じフレームレートの動画像を表示することが可能である。
【００９１】
このように、２つのセンサ１Ａ，１Ｂから出力される画像信号に対して、それぞれ独立したＳＰＵ１，２（４Ａ，４Ｂ）およびＲＰＵ１，２（５Ａ，５Ｂ）で画像処理を行い、これを、上述したような動作で主メモリ９上の複数のバッファ領域を利用して処理すれば、センサ１Ａ１Ａ，１Ｂおよび画像表示処理部６が完全に同期せず動作している場合であっても、図１２に示すような異なる対象物を撮像した画像データを合成した合成画像を、バッファ領域に直接生成することが可能である。
【００９２】
このとき、合成画像上において、書き込まれた風景を撮像した時刻、利用者自身を撮像した時刻、および画像表示部８に表示される時刻、の間には時間差が生ずることになるが、その時間差は高フレームレートで動作するときの数フレーム程度に過ぎない。また、センサ１Ａ，１Ｂの撮像対象物が異なることから、同一対象物を撮像する動画像が時間差を持って表示される場合に比べて時間差を体感し難く、実用上の問題は小さい。
【００９３】
また、合成画像を画像表示部８で表示するときやメモリカード１０に記録蓄積するときに、画像表示処理部６やＣＰＵ１１で別途合成処理を行う必要はなく、一旦メモリ上に記録した２つの画像データを別途合成処理する場合に比べて、画像表示処理部６、ＣＰＵ１１およびメモリバス１２に対する負荷が小さく、合成画像の画像表示部８への表示に係る処理を高速に行うことができるという効果も有する。
【００９４】
そのため、例えば、２つのセンサ１Ａ，１Ｂで撮像する映像を画像表示部８で目視確認しながら撮像するときも、実際の撮像対象物の動きと画像表示部８上に表示された撮像対象物の動きに大きな時間差が生じるといった問題もなく、２つのセンサ１Ａ，１Ｂで撮像した対象物の両方が高フレームレートで滑らかに動く映像を表示や記録することが可能である。
【００９５】
また、本実施の形態では、第１の実施の形態のように、主メモリ９上のバッファ領域に書き込むときに、アドレス単位で書き込みを制御する必要がなく、容易に合成画像を生成することができるという利点も有する。
【図面の簡単な説明】
【００９６】
【図１】この発明の一の画像処理装置を利用する携帯電話を示す図である。
【図２】この発明の一の画像処理装置を示す図である。
【図３】この発明の画像処理装置の行う画像処理動作を示す図である。
【図４】この発明の一の画像処理装置を示す図である。
【図５】この発明の第１の実施の形態に係る合成画像の生成方法を示す図である。
【図６】この発明の第２の実施の形態に係る画像処理動作を示す図である。
【図７】この発明の第２の実施の形態に係る合成画像の生成方法を示す図である。
【図８】この発明の第３の実施の形態に係る一の合成画像の生成方法を示す図である。
【図９】この発明の第３の実施の形態に係る一の合成画像の生成方法を示す図である。
【図１０】従来の画像処理装置を利用する携帯電話を示す図である。
【図１１】従来の画像処理装置を示す図である。
【図１２】従来の技術及び本発明に係る画像処理装置で生成される合成画像を示す図である。
【符号の説明】
【００９７】
１Ａ，１Ｂ  センサ
２  アナログ信号処理部
３  セレクタ
４，４Ａ，４Ｂ  ＳＰＵ
５，５Ａ，５Ｂ  ＲＰＵ
６  画像表示処理部
７，１６  画像処理装置
８  画像表示部
９  主メモリ
１０  メモリカード
１１  ＣＰＵ
１２  メモリバス
１５Ａ，１５Ｂ  ＤＭＡ制御部
【図１】
2005136670.tif 000003
【図２】
2005136670.tif 000004
【図３】
2005136670.tif 000005
【図４】
2005136670.tif 000006
【図５】
2005136670.tif 000007
【図６】
2005136670.tif 000008
【図７】
2005136670.tif 000009
【図８】
2005136670.tif 000010
【図９】
2005136670.tif 000011
【図１０】
2005136670.tif 000012
【図１１】
2005136670.tif 000013
【図１２】
2005136670.tif 000014