(57)【要約】【課題】２つ以上のイメージセンサを有するデュアルカメラシステムを提供し、特に、ＩＳＰを有するイメージセンサであって、デュアルカメラシステムに用いられるイメージセンサを提供すること。【解決手段】本発明のＩＳＰ内蔵型イメージセンサによれば、入射された光に反応した各感光セルの感光値からなるベイヤーイメージデータを出力する内部ベイヤーセンサブロックと、ベイヤーイメージデータを受け取って、所定フォーマットの画像フレームデータに変換して外部ホストに出力し、ベイヤーセンサに対する制御データを出力するためのＩＳＰブロックと、該ＩＳＰブロックに入力されるベイヤーイメージデータの出処を、前記内部ベイヤーセンサブロックまたは外部イメージセンサのうち、いずれかに決定するためのベイヤー経路選択部と、前記ＩＳＰブロックが出力する制御データの目的地を、前記内部ベイヤーセンサブロックまたは前記外部イメージセンサのうち、いずれかに決定するための制御経路選択部とを備える。【選択図】図１
2006191622.tif 000002
【特許請求の範囲】
【請求項１】
入射された光に反応した各感光セルの感光値からなる外部ベイヤーイメージデータを出力する第１ベイヤーセンサブロックと、
内部ベイヤーイメージデータを出力する第２ベイヤーセンサブロックと
を備え、
前記内部及び外部ベイヤーイメージデータを所定フォーマットの画像フレームデータに変換するためのデータ処理部と
を備えることを特徴とするデュアルカメラシステム。
【請求項２】
前記データ処理部は、
前記内部ベイヤーイメージまたは前記外部ベイヤーイメージのうち、いずれかを選択して出力するためのベイヤー経路選択部と、
前記ベイヤー経路選択部の出力を受け取って、前記画像フレームデータに変換して出力し、ベイヤーセンサ制御信号を出力するためのＩＳＰブロックと、
前記ベイヤーセンサ制御信号の目的地を前記第１ベイヤーセンサブロックまたは前記第２ベイヤーセンサのうち、いずれかに決定するための制御経路選択部と
をさらに備えることを特徴とする請求項１に記載のデュアルカメラシステム。
【請求項３】
前記外部ベイヤーイメージデータを受け取るための外部ベイヤーデータ入力端をさらに備えることを特徴とする請求項２に記載のデュアルカメラシステム。
【請求項４】
前記ベイヤーセンサ制御信号の外部入出力のためのＩ２Ｃインタフェースをさらに備えることを特徴とする請求項２に記載のデュアルカメラシステム。
【請求項５】
前記データ処理部から前記画像フレームデータを受け取るホストをさらに備えることを特徴とする請求項２に記載のデュアルカメラシステム。
【請求項６】
所定データ処理された外部ベイヤーイメージデータを出力するサブイメージセンサと、
第１ベイヤーイメージデータを出力する第１ベイヤーセンサブロックと
を備え、
前記第１及び外部ベイヤーイメージデータを所定フォーマットの画像フレームデータに変換するためのＩＳＰ内蔵型イメージセンサと
を備えることを特徴とするデュアルカメラシステム。
【請求項７】
前記サブイメージセンサは、
入射された光に反応した各感光セルの感光値からなる第２ベイヤーイメージデータを出力する第２ベイヤーセンサブロックと、
前記第２ベイヤーイメージデータを受け取って、所定のデータ処理をして、前記外部ベイヤーイメージデータに出力する第１ＩＳＰブロックと
を備えることを特徴とする請求項６に記載のデュアルカメラシステム。
【請求項８】
前記所定のデータ処理は、自動露出、自動ホワイトバランス、アンチフリッカー(anti-flicker)除去などの処理であることを特徴とする請求項７に記載のデュアルカメラシステム。
【請求項９】
前記ＩＳＰ内蔵型イメージセンサは、
前記第１ベイヤーセンサブロックから生成した前記第１ベイヤーイメージデータまたは前記外部ベイヤーイメージデータのうち、いずれかを選択して出力するための入力経路選択部と、
前記入力経路選択部の出力を受け取って、前記画像フレームデータに変換して出力し、ベイヤーセンサ制御信号を出力するための第２ＩＳＰブロックと、
前記ベイヤーセンサ制御信号の目的地を、前記第１ベイヤーセンサブロックまたは前記サブイメージセンサのうち、いずれかに決定するための制御経路選択部と
を備えることを特徴とする請求項６に記載のデュアルカメラシステム。
【請求項１０】
前記外部ベイヤーイメージデータを受け取るための外部データ入力端をさらに備えることを特徴とする請求項９に記載のデュアルカメラシステム。
【請求項１１】
前記ベイヤーセンサ制御信号の外部入出力のためのＩ２Ｃインタフェースをさらに備えることを特徴とする請求項９に記載のＩＳＰ内蔵型イメージセンサ。
【請求項１２】
前記ＩＳＰ内蔵型イメージセンサから前記画像フレームデータを受け取るホストをさらに備えることを特徴とする請求項９に記載のデュアルカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つ以上のイメージセンサを有するデュアルカメラシステムに関し、特に、ＩＳＰを有するイメージセンサであって、デュアルカメラシステムに用いられるイメージセンサに関する。
【背景技術】
【０００２】
携帯電話にデジタルカメラ機能を内蔵した、いわゆるカメラ付き携帯電話 が大衆化するに従い、携帯電話にイメージセンサを装着する様々な方法が実施されている。その一例に、デュアルカメラシステムというものがあるが、これは、１つの携帯電話に２つのイメージセンサを装着したシステムである。
【０００３】
イメージセンサの重なりという短所にもかかわらず、前記デュアルカメラシステムが用いられる場合は、次の通りである。
【０００４】
第１に、カメラ付き携帯電話のユーザは、自分自身を撮る用途（セルフ撮影）と対象物を撮る用途（一般撮影）とでカメラ付き携帯電話を使用するが、携帯電話への具現方法により、前記セルフ撮影のためのイメージセンサと一般撮影のためのイメージセンサとを別に備えることもできる。
【０００５】
第２に、カメラ付き携帯電話で撮影しようとする物体の焦点距離に応じて、特定焦点で固定されたイメージセンサを複数個備えることもできる。これは、レンズ駆動モジュールを使用することより低コストな時、利用される。
【０００６】
第３に、別のレンズ駆動モジュールなしで固定された焦点距離は、カメラ付き携帯電話の解像度が高くなるに連れて、長くならざるをえないが、短い焦点距離の撮影のために固定された焦点距離の低解像度のイメージセンサを別に備える場合に用いられる。
【０００７】
初期のＣＭＯＳイメージセンサを含む半導体素子（以下、「センサチップ」と記す）は、単にＲＧＢを担当する各感光セルの輝度値からなるベイヤーデータを出力するベイヤーセンサモジュールのみを含んでおり、別の半導体素子を構成するＩＳＰ（image signal processing）チップから前記ベイヤーデータを受け取って、通常の映像情報処理システムで使用できるフレームデータに変換した。しかし、半導体素子の集積技術が発展するに連れて、１つのチップにベイヤーセンサモジュールとＩＳＰモジュールとを共に集積した形態のイメージセンサチップが実施されている。
【０００８】
上記のようなイメージセンサチップを使用してデュアルカメラシステムを具現することは、前記２つのベイヤーセンサモジュールチップと１つのＩＳＰチップで具現したり、ベイヤーセンサモジュール及びＩＳＰモジュールが集積された２つのＩＳＰ内蔵型センサチップで具現したりする方法がある。
【０００９】
前者の場合、３つのチップを使用するので、原価及び生産費用の増大要因となり、後者の場合、ＩＳＰモジュールを２つずつ備えるという浪費の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上記の問題点を解決するためになされたものであって、その目的は、１つの１チップ型センサチップと１つのベイヤーセンサチップとからなるデュアルカメラシステムを提供することにある。
【００１１】
また、本発明の他の目的は、内蔵されたＩＳＰモジュールで内蔵されたベイヤーセンサモジュールだけでなく、外部から入力されるベイヤーデータに対するイメージプロセシングを行うことのできるＩＳＰ内蔵型イメージセンサを提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明のデュアルカメラシステムは、入射された光に反応した各感光セルの感光値からなる外部ベイヤーイメージデータを出力する第１ベイヤーセンサブロックと、内部ベイヤーイメージデータを出力する第２ベイヤーセンサブロックとを備え、前記内部及び外部ベイヤーイメージデータを所定フォーマットの画像フレームデータに変換するためのデータ処理部とを備えることを特徴とする。
【００１３】
また、前記データ処理部は、前記内部ベイヤーイメージまたは前記外部ベイヤーイメージのうち、いずれかを選択して出力するためのベイヤー経路選択部と、前記ベイヤー経路選択部の出力を受け取って、前記画像フレームデータに変換して出力し、ベイヤーセンサ制御信号を出力するためのＩＳＰブロックと、
前記ベイヤーセンサ制御信号の目的地を前記第１ベイヤーセンサブロックまたは前記第２ベイヤーセンサのうち、いずれかに決定するための制御経路選択部とをさらに備えることを特徴とする。
【００１４】
また、デュアルカメラシステムは、前記外部ベイヤーイメージデータを受け取るための外部ベイヤーデータ入力端をさらに備えることを特徴とする。
【００１５】
また、デュアルカメラシステムは、前記ベイヤーセンサ制御信号の外部入出力のためのＩ２Ｃインタフェースをさらに備えることを特徴とする。
【００１６】
また、デュアルカメラシステムは、前記データ処理部から前記画像フレームデータを受け取るホストをさらに備えることを特徴とする。
【００１７】
また、デュアルカメラシステムは、所定データ処理された外部ベイヤーイメージデータを出力するサブイメージセンサと、第１ベイヤーイメージデータを出力する第１ベイヤーセンサブロックとを備え、前記第１及び外部ベイヤーイメージデータを所定フォーマットの画像フレームデータに変換するためのＩＳＰ内蔵型イメージセンサとを備えることを特徴とする。
【００１８】
また、前記サブイメージセンサは、入射された光に反応した各感光セルの感光値からなる第２ベイヤーイメージデータを出力する第２ベイヤーセンサブロックと、前記第２ベイヤーイメージデータを受け取って、所定のデータ処理をして、前記外部ベイヤーイメージデータに出力する第１ＩＳＰブロックとを備えることを特徴とする。
【００１９】
また、前記所定のデータ処理は、自動露出、自動ホワイトバランス、アンチフリッカー(anti-flicker)除去などの処理であることを特徴とする。
【００２０】
また、前記ＩＳＰ内蔵型イメージセンサは、前記第１ベイヤーセンサブロックから生成した前記第１ベイヤーイメージデータまたは前記外部ベイヤーイメージデータのうち、いずれかを選択して出力するための入力経路選択部と、前記入力経路選択部の出力を受け取って、前記画像フレームデータに変換して出力し、ベイヤーセンサ制御信号を出力するための第２ＩＳＰブロックと、前記ベイヤーセンサ制御信号の目的地を、前記第１ベイヤーセンサブロックまたは前記サブイメージセンサのうち、いずれかに決定するための制御経路選択部とを備えることを特徴とする。
【００２１】
また、デュアルカメラシステムは、前記外部ベイヤーイメージデータを受け取るための外部データ入力端をさらに備えることを特徴とする。
【００２２】
また、ＩＳＰ内蔵型イメージセンサは、前記ベイヤーセンサ制御信号の外部入出力のためのＩ２Ｃインタフェースをさらに備えることを特徴とする。
【００２３】
また、デュアルカメラシステムは、前記ＩＳＰ内蔵型イメージセンサから前記画像フレームデータを受け取るホストをさらに備えることを特徴とする。
【発明の効果】
【００２４】
本発明のＩＳＰ内蔵型イメージセンサを実施することにより、１つの１チップ型センサチップと１つのベイヤーセンサチップとから構成した低コストのデュアルカメラシステムを製作できるという効果がある。
【発明を実施するための最良の形態】
【００２５】
以下、添付された図面を参照して本発明の好ましい実施の形態を詳細に説明する。
【００２６】
（実施の形態１）
図１に示されているような本実施の形態のＩＳＰ内蔵型イメージセンサ２０は、入射された光に反応した各感光セルの感光値からなるベイヤーイメージデータを出力する内部ベイヤーセンサブロック２２と、ベイヤーイメージデータを受け取って、所定フォーマットの画像フレームＲＧＢ／ＹＵＶデータに変換して外部ホスト６０に出力し、ベイヤーセンサに対する制御データを出力するためのＩＳＰブロック２４と、該ＩＳＰブロックに入力されるベイヤーイメージデータの出処を、前記内部ベイヤーセンサブロック２２または素子外部イメージセンサのうち、いずれかに決定するためのベイヤー経路選択部と、前記ＩＳＰブロック２４が出力する制御データの目的地を、前記内部ベイヤーセンサブロック２２または前記外部イメージセンサ４０のうち、いずれかに決定するための制御経路選択部２８とを備えることを特徴とする。
【００２７】
前記内部ベイヤーセンサブロック２２は、感光セルからなる感光セルマトリックスを含む。該感光セルマトリックスは、緑色（Ｇ）光を感光する感光セル、赤色（Ｒ）光を感光する感光セル及び青色（Ｂ）光を感光する感光セルが集まってマトリックスを構成する。内部ベイヤーセンサブロック２２が出力するベイヤーイメージデータは、前記各感光セルが感光する光の強度に比例する感光値からなるが、１つのピクセルに対する感光値は、ＲＧＢのうち、１つの光に対する情報のみが記録される。
【００２８】
前記ＩＳＰブロック２４は、ベイヤーイメージデータを変換して、予め決められた規格のフォーマットを有する画像フレームＲＧＢ/ＹＵＶデータを生成するが、前記画像フレームＲＧＢ/ＹＵＶデータは、所定の解像度を有し、各ピクセルデータは、ＲＧＢ光の全てに対する情報を含むようになる。また、ＩＳＰブロック２４は、前記のような補間機能（interpolation）だけでなく、自動露出、自動ホワイトバランス及びアンチフリッカー除去など多様な補正機能とイメージ効果を付与する機能も共に行って、イメージセンサの画質改善及び便利性を追求するように具現できる。
【００２９】
前記ベイヤー経路選択部２６は、前記ＩＳＰブロック２４がプロセシングするベイヤーデータを内部ベイヤーセンサブロック２２で生成するベイヤーデータまたはセンサチップ外部から入力されるベイヤーデータのうち、１つを選択するものであって、一種のＭＵＸで具現できる。このために、前記ＩＳＰ内蔵型イメージセンサチップ２０は、外部ベイヤーイメージセンサ４０からベイヤーイメージデータを受け取るための直列または並列データ入力インタフェース形式のベイヤーデータ入力端をさらに備える。
【００３０】
通常のイメージセンサチップは、ＩＳＰブロックが内部ベイヤーセンサブロック内の制御データ格納用制御レジスタに所定の命令を含むデータを記録し、前記内部ベイヤーセンサブロックは、制御レジスタ記録値に応じて該当動作を行う方式により、ＩＳＰブロックによる内部ベイヤーセンサブロック制御が行われる。この方式に本発明の思想を採用すれば、前記制御経路選択部２８は、ＩＳＰブロック２４が出力する制御データ（制御レジスタに記録されるための値）を送信する対象を、内部ベイヤーセンサブロック２２または外部のイメージセンサ４０の中で選択する。すなわち、制御レジスタを利用した外部イメージセンサ４０に対する制御もＩＳＰブロック２４が行うことができる。このために、本実施の形態のセンサチップは、前記制御データの外部入出力のためのＩ２Ｃインタフェースをさらに備える。具現によっては、制御経路選択部２８は、制御データを内部ベイヤーセンサブロック２２及び外部のイメージセンサ４０に同時に送信することもできる。
【００３１】
本実施の形態のデュアルカメラシステムは、本実施の形態のＩＳＰ内蔵型イメージセンサ２０と、前記ＩＳＰ内蔵型イメージセンサ２０にベイヤーデータを出力し、前記ＩＳＰ内蔵型イメージセンサから制御データを受け取って、内部制御レジスタに記録するサブイメージセンサ４０とを含む。サブイメージセンサ４０は、ＩＳＰブロックが最初から存在しないベイヤーイメージセンサでもあり得るし、ＩＳＰブロックが存在するが非アクティブになったイメージセンサでもあり得る。後者は、サブイメージセンサに内蔵されたＩＳＰブロックの機能が、相対的にアクティブになったＩＳＰブロックより劣っているため、アクティブになったＩＳＰブロックの強力な機能を使用するために、サブイメージセンサに内蔵されたＩＳＰブロックの機能を停止させる場合である。
【００３２】
ＩＳＰ内蔵型イメージセンサ２０で撮影を行う時には、従来の技術のイメージセンサでの撮影過程と同様に撮影が行われる。一方、サブイメージセンサ４０で撮影を行う時には、サブイメージセンサ４０から出力されるベイヤーイメージデータをＩＳＰ内蔵型イメージセンサ２０に送信し、送信されたＩＳＰ内蔵型イメージセンサ２０は、これをＲＧＢ/ＹＵＶデータに変換してホストに出力する。
【００３３】
また、サブイメージセンサ４０のＩ２Ｃインタフェースに、ＩＳＰ内蔵型イメージセンサ２０が接続する構造を形成できる。したがって、センサのアナログ部と連動しなければならない自動露出や自動ホワイトバランス、アンチフリッカー除去のような機能も、ＩＳＰ内蔵型イメージセンサがイメージプロセシングホストとして、ＩＳＰブロックのない（または非アクティブになった）サブイメージセンサの制御レジスタに読み出し/書き込みすることで行うことができる。
【００３４】
（実施の形態２）
図２に示されているような本実施の形態のＩＳＰ内蔵型イメージセンサ２０は、入射された光に反応した各感光セルの感光値からなるベイヤーイメージデータを出力する内部ベイヤーセンサブロック２２と、ベイヤーイメージデータを受け取って、所定フォーマットの画像フレームＲＧＢ／ＹＵＶデータに変換して外部ホスト６０に出力し、ベイヤーセンサ５０に対する制御データを出力するためのＩＳＰブロック２４と、該ＩＳＰブロック２４に入力されるデータを、前記内部ベイヤーセンサブロックから生成したベイヤーイメージデータまたは外部イメージセンサ５０から出力した前記所定フォーマットの画像フレームＲＧＢ／ＹＵＶデータのうち、いずれかに決定するための入力経路選択部２６と、前記ＩＳＰブロック２４が出力する制御データの目的地を、前記内部ベイヤーセンサブロック２２または外部イメージセンサ５０のうち、いずれかに決定するための制御経路選択部２８とを備えることを特徴とする。
【００３５】
前記内部ベイヤーセンサブロック２２は、前記第１実施の形態の場合と同様である。
【００３６】
前記ＩＳＰブロック２４は、ベイヤーイメージデータを変換して、予め決められた規格のフォーマットを有する画像フレームデータを生成するが、該画像フレームデータは、所定の解像度を有し、各ピクセルデータは、ＲＧＢ光の全てに対する情報を含む。
【００３７】
本実施の形態では、外部イメージセンサ５０のベイヤーイメージデータのＲＧＢ/ＹＵＶデータへの変換は、外部イメージセンサ５０内のＩＳＰブロック５４が担当し、本実施の形態のＩＳＰ内蔵型イメージセンサ２０のＩＳＰブロック２４は、単に、外部イメージセンサ５０に自動露出や自動ホワイトバランス、アンチフリッカーの除去などの機能を与える。
【００３８】
このために、本実施の形態のＩＳＰブロック２４は、外部イメージセンサ５０の内部ベイヤーセンサブロック５２のベイヤーイメージデータのうち、前記機能のために必要な部分だけを受け取るように具現することもできるが、通常のＩＳＰブロックを内蔵したイメージセンサ５０は、別のベイヤーデータ出力端を持っていないので、ＩＳＰブロック５４が出力するＲＧＢ/ＹＵＶデータを受け取るように具現することが好ましい。後者の場合、本実施の形態のＩＳＰブロック２４は、外部イメージセンサ５０のＧＲＢ／ＹＵＶデータから自動露出や自動ホワイトバランス、アンチフリッカー除去のような機能に必要な情報を得るようになる。また、この場合、ＩＳＰブロック２４は、外部イメージセンサ５０からＲＧＢ/ＹＵＶデータを受け取ってホストにパスする役割も果たす。
【００３９】
また、この場合、前記入力経路選択部２６は、前記ＩＳＰブロック２４に入力されるデータを、内部ベイヤーセンサブロック２２から生成するベイヤーデータまたは外部イメージセンサ５０から生成するＲＧＢ/ＹＵＶデータのうち、いずれかを選択するものであって、一種のＭＵＸで具現できる。このために、前記ＩＳＰ内蔵型イメージセンサ２０チップは、外部イメージセンサ５０からＲＧＢ/ＹＵＶデータを受け取るための直列または並列データ入力インタフェース形式の外部データ入力端をさらに備える。
【００４０】
通常のイメージセンサチップは、ＩＳＰブロックが内部ベイヤーセンサブロック内の制御データ格納用制御レジスタに所定の命令を含むデータを記録し、前記内部ベイヤーセンサブロックは、制御レジスタ記録値に応じて該当動作を行う方式であって、ＩＳＰブロックによる内部ベイヤーセンサブロック制御が行われる。この方式に本発明の思想を採用すれば、前記制御経路選択部２８は、ＩＳＰブロック２４が出力する制御データ（制御レジスタに記録されるための値）を送信する対象を、内部ベイヤーセンサブロック２２または外部イメージセンサ５０の中で選択する。このために、本実施の形態のＩＳＰ内蔵型イメージセンサ２０のチップは、前記制御データの外部入出力のためのＩ２Ｃインタフェースをさらに備える。具現によっては、制御経路選択部２８は、制御データを内部ベイヤーセンサブロック２２及び外部イメージセンサ５０に同時に送信することもできる。本実施の形態の外部イメージセンサ５０のベイヤーセンサブロック５２に対した制御は、外部イメージセンサ５０内のＩＳＰブロック５４及び本実施の形態の素子のＩＳＰブロック２４により重なって行われることができ、制御レジスタによる方式であるから、最後にレジスタに記録された通りに制御が行われることができる。
【００４１】
本実施の形態のデュアルカメラシステムは、本実施の形態のＩＳＰ内蔵型イメージセンサ２０と、前記ＩＳＰ内蔵型イメージセンサ２０に所定フォーマットの画像フレームデータを出力し、前記ＩＳＰ内蔵型イメージセンサ２０から制御データを受け取って内部制御レジスタに記録するサブイメージセンサ５０を含む。前記サブイメージセンサ５０は、ＩＳＰブロック５４が存在するが自動露出や自動ホワイトバランス、アンチフリッカー除去のような機能が支援されず、単純にデータフォーマット変換だけ行う程度の機能を有するイメージセンサである。
【００４２】
ＩＳＰ内蔵型イメージセンサ２０で撮影を行う時には、従来の技術のイメージセンサでの撮影過程と同様に撮影が行われる。一方、サブイメージセンサ５０で撮影を行う時には、サブイメージセンサ５０から生成されたＲＧＢ/ＹＵＶデータは、ＩＳＰ内蔵型イメージセンサ２０を経てホストに送信される。
【００４３】
また、サブイメージセンサ５０のＩ２ＣインタフェースにＩＳＰ内蔵型イメージセンサ２０が接続する構造を形成できる。したがって、センサのアナログ部分と連動されなければならない自動露出や自動ホワイトバランス、アンチフリッカー除去のような機能も、ＩＳＰ内蔵型イメージセンサ２０がイメージプロセシングホストとして、機能が弱いＩＳＰブロックを有するサブイメージセンサ５０の制御レジスタに読み出し／書き込みすることで行うことができる。
【００４４】
なお、本発明は、上記の実施の形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１実施の形態に係るデュアルカメラシステムのブロック図である。
【図２】本発明の第２実施の形態に係るデュアルカメラシステムのブロック図である。
【図１】
2006191622.tif 000003
【図２】
2006191622.tif 000004