(57)【要約】  本開示は、イメージセンサからフルサイズ原画像に基づく異なる複数の画像データを出力することができるようにするイメージセンサ、および電子機器に関する。本開示の第１の側面であるイメージセンサは、多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、少なくとも前記フルサイズ原画像を保持可能な容量を有する保持部と、前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成する画像処理部と、前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像を生成する変更部とを備え、前記フルサイズ処理画像および前記変更サイズ処理画像を出力する。本開示は、例えば、DRAMを搭載したCMOSイメージセンサに適用できる。
2017002639.tif 000002
【特許請求の範囲】
【請求項１】
多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、
少なくとも前記フルサイズ原画像を保持可能な容量を有する保持部と、
前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成する画像処理部と、
前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像を生成する変更部とを備え、
前記フルサイズ処理画像および前記変更サイズ処理画像を出力する
イメージセンサ。
【請求項２】
前記保持部は、少なくとも前記フルサイズ原画像、前記フルサイズ処理画像、および前記変更サイズ処理画像を保持可能な容量を有し、
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記保持部に保持させ、
前記変更部は、前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を前記保持部に保持させ、
前記保持部から前記前記フルサイズ処理画像または前記変更サイズ処理画像を選択的に読み出して出力する選択出力部をさらに備える
請求項１に記載のイメージセンサ。
【請求項３】
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を出力するとともに、前記変更部に供給し、
前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力する
請求項１に記載のイメージセンサ。
【請求項４】
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給し、
前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに、前記画像処理部から供給された前記フルサイズ処理画像をそのまま出力する
請求項１に記載のイメージセンサ。
【請求項５】
前記保持部は、少なくとも前記フルサイズ原画像、および前記フルサイズ処理画像を保持可能な容量を有し、
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記保持部に保持させ、
前記変更部は、前記保持部から読み出した前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに、前記保持部から読み出した前記フルサイズ処理画像をそのまま出力する
請求項１に記載のイメージセンサ。
【請求項６】
前記保持部は、少なくとも前記フルサイズ原画像、および前記フルサイズ処理画像を保持可能な容量を有し、
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給するとともに前記保持部に保持させ、
前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに前記保持部から読み出した前記フルサイズ処理画像をそのまま出力する
請求項１に記載のイメージセンサ。
【請求項７】
前記保持部は、少なくとも前記フルサイズ原画像、および前記変更サイズ処理画像を保持可能な容量を有し、
前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を出力するとともに前記変更部に供給し、
前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を前記保持部に保持させ、
前記保持部から前記変更サイズ処理画像を選択的に読み出して出力する出力部をさらに備える
請求項１に記載のイメージセンサ。
【請求項８】
前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部をさらに備え、
前記保持部は、少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有し、
前記画素部は、生成した前記フルサイズ原画像を前記縮小部に供給するとともに前記保持部に保持させ、
前記縮小部は、前記フルサイズ原画像を縮小することにより生成した前記縮小原画像を前記保持部に保持させ、
前記画像処理部は、前記保持部から読み出した前記縮小原画像に対しても所定の画像処理を行うことにより縮小処理画像を生成して前記変更部に供給するとともに、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給し、
前記変更部は、前記画像処理部から供給された前記縮小処理画像のサイズを変更することにより前記変更サイズ処理画像を生成して出力するとともに、前記画像処理部から供給された前記フルサイズ処理画像をそのまま出力する
請求項１に記載のイメージセンサ。
【請求項９】
イメージセンサが搭載されている電子機器において、
前記イメージセンサは、
多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、
少なくとも前記フルサイズ原画像を保持可能な容量を有する保持部と、
前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成する画像処理部と、
前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像を生成する変更部とを備え、
前記フルサイズ処理画像および前記変更サイズ処理画像を出力する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、イメージセンサ、および電子機器に関し、特に、システムからの要求に応じたタイミングに従い、複数の画像データを出力できるようにしたイメージセンサ、および電子機器に関する。
【背景技術】
【０００２】
従来、CMOSやCCDなどの撮像素子が搭載されたイメージセンサに、全画素分の画素データ（以下、フルサイズ原画像とも称する）をそのまま保持できる程度の容量を有するストレージを搭載することは、サイズやコストなどが問題となり困難であった。【０００３】
しかしながら、近年、イメージセンサ内にフルサイズ原画像を保持可能なストレージを搭載することが可能になりつつある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３３７５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
フルサイズ原画像を保持可能なストレージを搭載したイメージセンサの様々な利用方法が模索されている。【０００６】
本開示はこのような状況に鑑みてなされたものであり、ストレージが搭載されたイメージセンサから、フルサイズ原画像に基づく異なる複数の画像データを出力できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の第１の側面であるイメージセンサは、多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、少なくとも前記フルサイズ原画像を保持可能な容量を有する保持部と、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成する画像処理部と、前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像を生成する変更部とを備え、前記フルサイズ処理画像および前記変更サイズ処理画像を出力する。【０００８】
本開示の第１の側面であるイメージセンサは、前記保持部は、少なくとも前記フルサイズ原画像、前記フルサイズ処理画像、および前記変更サイズ処理画像を保持可能な容量を有し、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記保持部に保持させ、前記変更部は、前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を前記保持部に保持させることができ、前記保持部から前記前記フルサイズ処理画像または前記変更サイズ処理画像を選択的に読み出して出力する選択出力部をさらに備えることができる。【０００９】
本開示の第１の側面であるイメージセンサは、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を出力するとともに、前記変更部に供給し、前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力することができる。【００１０】
本開示の第１の側面であるイメージセンサは、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給し、前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに、前記画像処理部から供給された前記フルサイズ処理画像をそのまま出力することができる。【００１１】
本開示の第１の側面であるイメージセンサは、前記保持部は、少なくとも前記フルサイズ原画像、および前記フルサイズ処理画像を保持可能な容量を有し、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記保持部に保持させ、前記変更部は、前記保持部から読み出した前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに、前記保持部から読み出した前記フルサイズ処理画像をそのまま出力することができる。【００１２】
本開示の第１の側面であるイメージセンサは、前記保持部は、少なくとも前記フルサイズ原画像、および前記フルサイズ処理画像を保持可能な容量を有し、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給するとともに前記保持部に保持させ、前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を出力するとともに前記保持部から読み出した前記フルサイズ処理画像をそのまま出力することができる。【００１３】
本開示の第１の側面であるイメージセンサは、前記保持部は、少なくとも前記フルサイズ原画像、および前記変更サイズ処理画像を保持可能な容量を有し、前記画素部は、生成した前記フルサイズ原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を出力するとともに前記変更部に供給し、前記変更部は、前記画像処理部から供給された前記フルサイズ処理画像のサイズを変更することにより生成した前記変更サイズ処理画像を前記保持部に保持させることができ、前記保持部から前記変更サイズ処理画像を選択的に読み出して出力する出力部をさらに備えることができる。【００１４】
本開示の第１の側面であるイメージセンサは、前記画素部によって生成された前記フルサイズ原画像を縮小することにより縮小原画像を生成する縮小部をさらに備えることができ、前記保持部は、少なくとも前記フルサイズ原画像、および前記縮小原画像を保持可能な容量を有し、前記画素部は、生成した前記フルサイズ原画像を前記縮小部に供給するとともに前記保持部に保持させ、前記縮小部は、前記フルサイズ原画像を縮小することにより生成した前記縮小原画像を前記保持部に保持させ、前記画像処理部は、前記保持部から読み出した前記縮小原画像に対しても所定の画像処理を行うことにより縮小処理画像を生成して前記変更部に供給するとともに、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことにより生成した前記フルサイズ処理画像を前記変更部に供給し、前記変更部は、前記画像処理部から供給された前記縮小処理画像のサイズを変更することにより前記変更サイズ処理画像を生成して出力するとともに、前記画像処理部から供給された前記フルサイズ処理画像をそのまま出力することができる。【００１５】
本開示の第２の側面である電子機器は、イメージセンサが搭載されている電子機器において、前記イメージセンサが、多数の光電変換素子により、入射光に応じたフルサイズ原画像を生成する画素部と、少なくとも前記フルサイズ原画像を保持可能な容量を有する保持部と、前記保持部から読み出した前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像を生成する画像処理部と、前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像を生成する変更部とを備え、前記フルサイズ処理画像および前記変更サイズ処理画像を出力する。【００１６】
本開示の第１および第２の側面においては、入射光に応じたフルサイズ原画像が生成されて保持部に保持され、保持部から読み出された前記フルサイズ原画像に対して所定の画像処理を行うことによりフルサイズ処理画像が生成され、前記フルサイズ処理画像のサイズを変更することにより変更サイズ処理画像が生成され、前記フルサイズ処理画像および前記変更サイズ処理画像が出力される。
【発明の効果】
【００１７】
本開示の第１の側面によれば、フルサイズ原画像に基づく異なる複数の画像データを出力することができる。【００１８】
本開示の第２の側面によれば、搭載するイメージセンサから、フルサイズ原画像に基づく異なる複数の画像データを出力することができる。
【図面の簡単な説明】
【００１９】
【図１】本開示を適用したイメージセンサの第１の構成例を表すブロック図である。
【図２】図１のイメージセンサによる画像出力処理を説明するフローチャートである。
【図３】本開示を適用したイメージセンサの第２の構成例を表すブロック図である。
【図４】図３のイメージセンサによる画像出力処理を説明するフローチャートである。
【図５】本開示を適用したイメージセンサの第３の構成例を表すブロック図である。
【図６】図５のイメージセンサによる画像出力処理を説明するフローチャートである。
【図７】本開示を適用したイメージセンサの第４の構成例を表すブロック図である。
【図８】図７のイメージセンサによる画像出力処理を説明するフローチャートである。
【図９】本開示を適用したイメージセンサの第５の構成例を表すブロック図である。
【図１０】図９のイメージセンサによる画像出力処理を説明するフローチャートである。
【図１１】本開示を適用したイメージセンサの第６の構成例を表すブロック図である。
【図１２】図１１のイメージセンサによる画像出力処理を説明するフローチャートである。
【図１３】本開示を適用したイメージセンサの第７の構成例を表すブロック図である。
【図１４】図１３のイメージセンサによる画像出力処理を説明するフローチャートである。
【図１５】本開示を適用した電子装置の使用例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２１】
＜第１の実施の形態であるイメージセンサの第１の構成例＞
図１は、第１の実施の形態であるイメージセンサの第１の構成例の構成例を示している。
【００２２】
このイメージセンサ１０は、画素部１１、DRAM１２、画像処理部１３、およびサイズ変更部１４を有する。
【００２３】
画素部１１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM１２に保持させる。DRAM１２は、少なくともフルサイズ原画像Ｐ１を保持できるだけの容量を有するストレージであり、画素部１１からの書き込みと、画像処理部１３からの読み出しに対応する。
【００２４】
画像処理部１３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３を後段に出力する。なお、画像処理部１３における画像処理の具体的な内容は、該イメージセンサ１０を搭載するシステムの要求に応じて適宜変更することができる。
【００２５】
サイズ変更部１４は、フルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。なお、サイズ変更部１４は、該イメージセンサ１０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００２６】
図２は、イメージセンサ１０による画像出力処理を説明するフローチャートである。
【００２７】
ステップＳ１１において、画素部１１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM１２に保持させる。ステップＳ１２において、画像処理部１３は、DRAM１２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ１３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ１４においてサイズ変更部１４とイメージセンサ１０の外部に出力する。
【００２８】
ステップＳ１５において、サイズ変更部１４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を、ステップＳ１６としてイメージセンサ１０の外部に出力する。以上で、イメージセンサ１０による画像出力処理は終了される。
【００２９】
以上説明したように、イメージセンサ１０によれば、DRAM１２からフルサイズ原画像Ｐ１を１回読み出すだけで、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２をほぼ同時に出力することができる。
【００３０】
なお、イメージセンサ１０の場合、画素部１１の出力（フルサイズ原画像Ｐ１）を、DRAM１２を介することなく、画像処理部１３に出力するようにしてもよい。
【００３１】
＜第２の実施の形態であるイメージセンサの第２の構成例＞
図３は、第２の実施の形態であるイメージセンサの第２の構成例の構成例を示している。
【００３２】
このイメージセンサ２０は、画素部２１、DRAM２２、画像処理部２３、およびサイズ変更部２４を有する。
【００３３】
画素部２１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM２２に保持させる。DRAM２２は、少なくともフルサイズ原画像Ｐ１を保持できるだけの容量を有するストレージであり、画素部２１からの書き込みと、画像処理部２３からの読み出しに対応する。
【００３４】
画像処理部２３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３を後段に出力する。なお、画像処理部２３における画像処理の具体的な内容は、該イメージセンサ２０を搭載するシステムの要求に応じて適宜変更することができる。
【００３５】
サイズ変更部２４は、フルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。なお、サイズ変更部２４は、フルサイズ処理画像Ｐ３をそのまま後段に出力することもできる。また、サイズ変更部２４は、該イメージセンサ２０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００３６】
図４は、イメージセンサ２０による画像出力処理を説明するフローチャートである。
【００３７】
ステップＳ２１において、画素部２１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM２２に保持させる。
【００３８】
ステップＳ２２において、画像処理部２３は、DRAM２２からフルサイズ原画像Ｐ１の１回目の読み出しを行い、ステップＳ２３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部２４に出力する。ステップＳ２４において、サイズ変更部２４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をステップＳ２５としてイメージセンサ２０の外部に出力する。
【００３９】
ステップＳ２６において、画像処理部２３は、DRAM２２からフルサイズ原画像Ｐ１の２回目の読み出しを行い、ステップＳ２７において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部２４に出力する。ステップＳ２８において、サイズ変更部２４は、フルサイズ処理画像Ｐ３をそのままイメージセンサ２０の外部に出力する。以上で、イメージセンサ２０による画像出力処理は終了される。
【００４０】
以上説明したように、イメージセンサ２０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ２０の外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。
【００４１】
＜第３の実施の形態であるイメージセンサの第３の構成例＞
図５は、第３の実施の形態であるイメージセンサの第３の構成例の構成例を示している。
【００４２】
このイメージセンサ３０は、画素部３１、DRAM３２、画像処理部３３、およびサイズ変更部３４を有する。
【００４３】
画素部３１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM３２に保持させる。DRAM３２は、少なくともフルサイズ原画像Ｐ１およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部３１および画像処理部３３からの書き込みと、画像処理部３３およびサイズ変更部３４からの読み出しに対応する。
【００４４】
画像処理部３３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をDRAM３２に出力して保持させる。なお、画像処理部３３における画像処理の具体的な内容は、該イメージセンサ３０を搭載するシステムの要求に応じて適宜変更することができる。
【００４５】
サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の読み出しを行い、そのサイズを所定のサイズに縮小して縮小サイズ処理画像Ｐ２を生成し、後段に出力する。なお、サイズ変更部３４は、フルサイズ処理画像Ｐ３をそのまま後段に出力することもできる。また、サイズ変更部３４は、該イメージセンサ３０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００４６】
図６は、イメージセンサ３０による画像出力処理を説明するフローチャートである。
【００４７】
ステップＳ３１において、画素部３１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM３２に保持させる。
【００４８】
ステップＳ３２において、画像処理部３３は、DRAM３２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ３３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ３４において、DRAM３２に保持させる。
【００４９】
ステップＳ３５において、サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の１回目の読み出しを行い、ステップS３６において、所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をステップＳ３７としてイメージセンサ３０の外部に出力する。
【００５０】
ステップＳ３８において、サイズ変更部３４は、DRAM３２からフルサイズ処理画像Ｐ３の２回目の読み出しを行い、ステップＳ３９において、そのままイメージセンサ３０の外部に出力する。以上で、イメージセンサ３０による画像出力処理は終了される。
【００５１】
以上説明したように、イメージセンサ３０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ３０から外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。
【００５２】
イメージセンサ３０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。
【００５３】
＜第４の実施の形態であるイメージセンサの第４の構成例＞
図７は、第４の実施の形態であるイメージセンサの第４の構成例の構成例を示している。
【００５４】
このイメージセンサ４０は、画素部４１、DRAM４２、画像処理部４３、およびサイズ変更部４４を有する。
【００５５】
画素部４１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM４２に保持させる。DRAM４２は、少なくともフルサイズ原画像Ｐ１およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部４１および画像処理部４３からの書き込みと、画像処理部４３およびサイズ変更部４４からの読み出しに対応する。
【００５６】
画像処理部４３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をDRAM４２に保持させるとともに、サイズ変更部４４に出力する。なお、画像処理部４３における画像処理の具体的な内容は、該イメージセンサ４０を搭載するシステムの要求に応じて適宜変更することができる。
【００５７】
サイズ変更部４４は、画像処理部４３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小して縮小サイズ処理画像Ｐ２を生成し、後段に出力する。また、サイズ変更部４４は、DRAM４２からフルサイズ処理画像Ｐ３を読み出して、そのまま後段に出力することもできる。また、サイズ変更部４４は、該イメージセンサ４０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００５８】
図８は、イメージセンサ４０による画像出力処理を説明するフローチャートである。
【００５９】
ステップＳ４１において、画素部４１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM４２に保持させる。
【００６０】
ステップＳ４２において、画像処理部４３は、DRAM４２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ４３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ４４において、サイズ変更部４４に出力するとともに、DRAM３２に保持させる。
【００６１】
ステップＳ４５において、サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をイメージセンサ４０の外部に出力する。
【００６２】
ステップＳ４６において、サイズ変更部４４は、DRAM４２からフルサイズ処理画像Ｐ３を読み出し、ステップＳ４７において、そのままイメージセンサ４０の外部に出力する。以上で、イメージセンサ４０による画像出力処理は終了される。
【００６３】
以上説明したように、イメージセンサ４０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ４０から外部に出力することができる。
【００６４】
イメージセンサ４０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する所定の画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。
【００６５】
＜第５の実施の形態であるイメージセンサの第５の構成例＞
図９は、第５の実施の形態であるイメージセンサの第５の構成例の構成例を示している。
【００６６】
このイメージセンサ５０は、画素部５１、DRAM５２、画像処理部５３、サイズ変更部５４、および出力選択部５５を有する。
【００６７】
画素部５１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM５２に保持させる。DRAM５２は、少なくともフルサイズ原画像Ｐ１および縮小サイズ処理画像Ｐ２を保持できるだけの容量を有するストレージであり、画素部５１およびサイズ変更部５４からの書き込みと、画像処理部５３および出力選択部５５からの読み出しに対応する。
【００６８】
画像処理部５３は、フルサイズ原画像Ｐ１に対して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部５４および出力選択部５５に出力する。なお、画像処理部５３における画像処理の具体的な内容は、該イメージセンサ５０を搭載するシステムの要求に応じて適宜変更することができる。
【００６９】
サイズ変更部５４は、画像処理部５３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２をDRAM５２に保持させる。また、サイズ変更部５４は、該イメージセンサ５０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００７０】
出力選択部５５は、画像処理部５３から入力されるフルサイズ処理画像Ｐ３を後段に出力する。また、出力選択部５５は、DRAM５２から縮小サイズ処理画像Ｐ２を読み出して後段に出力する。
【００７１】
図１０は、イメージセンサ５０による画像出力処理を説明するフローチャートである。
【００７２】
ステップＳ５１において、画素部５１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM５２に保持させる。
【００７３】
ステップＳ５２において、画像処理部５３は、DRAM５２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ５３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３をサイズ変更部５４および出力選択部５５に出力する。
【００７４】
ステップＳ５４において、出力選択部５５は、画像処理部５３から入力されたフルサイズ処理画像Ｐ３をイメージセンサ５０の外部に出力する。
【００７５】
ステップＳ５５において、サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をDRAM５２に保持させる。ステップＳ５６において、出力選択部５５は、DRAM５２から縮小サイズ処理画像Ｐ２を読み出してイメージセンサ５０の外部に出力する。以上で、イメージセンサ５０による画像出力処理は終了される。
【００７６】
以上説明したように、イメージセンサ５０によれば、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２を順次にイメージセンサ５０から外部に出力することができる。
【００７７】
イメージセンサ５０では、フルサイズ原画像Ｐ１に対する所定の画像処理が１回で済むので、イメージセンサ２０のようにフルサイズ原画像Ｐ１に対する所定の画像処理を２回行う場合に比較して、画像処理に要する電力消費を抑えることができる。
【００７８】
＜第６の実施の形態であるイメージセンサの第６の構成例＞
図１１は、第６の実施の形態であるイメージセンサの第６の構成例の構成例を示している。
【００７９】
このイメージセンサ６０は、画素部６１、DRAM６２、1/4縮小部６３、画像処理部６４、およびサイズ変更部６５を有する。
【００８０】
画素部６１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１を1/4縮小部６３に出力するとともにDRAM６２に保持させる。
【００８１】
DRAM６２は、少なくともフルサイズ原画像Ｐ１および1/4サイズ原画像Ｐ４を保持できるだけの容量を有するストレージであり、画素部６１および1/4縮小部６３からの書き込みと、画像処理部６４からの読み出しに対応する。
【００８２】
1/4縮小部６３は、フルサイズ原画像Ｐ１の縦横のサイズを1/2に縮小することにより、1/4サイズ原画像Ｐ４を生成してDRAM６２に保持させる。
【００８３】
画像処理部６４は、DRAM６２から1/4サイズ原画像Ｐ４を読み出し、欠陥画素補正などの所定の画像処理を行い、その結果得られる1/4サイズ処理画像（不図示）をサイズ変更部６５に出力する。また、画像処理部６４は、DRAM６２からフルサイズ原画像Ｐ１を読み出し、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部６５に出力する。
【００８４】
サイズ変更部６５は、画像処理部６４から入力される1/4サイズ処理画像を所定のサイズに変換し、その結果得られる縮小サイズ処理画像Ｐ２を後段に出力する。また、サイズ変更部６５は、画像処理部６４から入力されるフルサイズ処理画像Ｐ３をそのまま後段に出力する。
【００８５】
図１２は、イメージセンサ６０による画像出力処理を説明するフローチャートである。
【００８６】
ステップＳ６１において、画素部６１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１を1/4縮小部６３に出力するとともにDRAM６２に保持させる。1/4縮小部６３は、フルサイズ原画像Ｐ１から1/4サイズ原画像Ｐ４を生成してDRAM６２に保持させる。
【００８７】
ステップＳ６２において、画像処理部６４は、DRAM６２から1/4サイズ原画像Ｐ４を読み出し、ステップＳ６３において、所定の画像処理を行い、その結果得られる1/4サイズ処理画像をサイズ変更部６５に出力する。ステップＳ６４において、サイズ変更部６５は、画像処理部６４から入力された1/4サイズ処理画像を所定のサイズに変換し、その結果得られた縮小サイズ処理画像Ｐ２を、ステップＳ６５において、イメージセンサ６０の外部に出力する。
【００８８】
ステップＳ６６において、画像処理部６４は、DRAM６２からフルサイズ原画像Ｐ１を読み出し、ステップＳ６７において、所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部６５に出力する。ステップＳ６８において、サイズ変更部６５は、画像処理部６４から入力されたフルサイズ処理画像Ｐ３をそのままイメージセンサ６０の外部に出力する。以上で、イメージセンサ６０による画像出力処理は終了される。
【００８９】
以上説明したように、イメージセンサ６０によれば、フルサイズ処理画像Ｐ３と縮小サイズ処理画像Ｐ２を順次にイメージセンサ４０から外部に出力することができる。
【００９０】
なお、1/4縮小部６３において、該イメージセンサ６０を搭載するシステムが要求する縮小サイズ処理画像Ｐ２と同じサイズにフルサイズ原画像Ｐ１を縮小してもよい。その場合、サイズ変換部６５を省略することができる。
【００９１】
＜第７の実施の形態であるイメージセンサの第７の構成例＞
図１３は、第７の実施の形態であるイメージセンサの第７の構成例の構成例を示している。
【００９２】
このイメージセンサ７０は、画素部７１、DRAM７２、画像処理部７３、サイズ変更部７４、および出力選択部７５を有する。
【００９３】
画素部７１は、入射光に応じて光電変換により画素データを生成する多数の光電変換素子などから成り、撮像によって得られたフルサイズ原画像Ｐ１をDRAM７２に保持させる。DRAM７２は、少なくともフルサイズ原画像Ｐ１、縮小サイズ処理画像Ｐ２、およびフルサイズ処理画像Ｐ３を保持できるだけの容量を有するストレージであり、画素部７１、画像処理部７３、およびサイズ変更部７４からの書き込みと、画像処理部７３および出力選択部７５からの読み出しに対応する。
【００９４】
画像処理部７３は、DRAM７２からフルサイズ原画像Ｐ１を読み出して、欠陥画素補正などの所定の画像処理を行い、その結果得られるフルサイズ処理画像Ｐ３をサイズ変更部７４に出力するとともに、DRAM７２に保持させる。なお、画像処理部７３における画像処理の具体的な内容は、該イメージセンサ７０を搭載するシステムの要求に応じて適宜変更することができる。
【００９５】
サイズ変更部７４は、画像処理部７３から入力されるフルサイズ処理画像Ｐ３のサイズを所定のサイズに縮小し、その結果得られる縮小サイズ処理画像Ｐ２をDRAM７２に保持させる。また、サイズ変更部７４は、該イメージセンサ７０を搭載するシステムの要求に応じ、フルサイズ処理画像Ｐ３のサイズを所定のサイズに拡大したり、変形したりすることが可能である。
【００９６】
出力選択部７５は、DRAM７２の保持されている縮小サイズ処理画像Ｐ２またはフルサイズ処理画像Ｐ３を選択的に読み出して後段に出力する。
【００９７】
図１４は、イメージセンサ７０による画像出力処理を説明するフローチャートである。
【００９８】
ステップＳ７１において、画素部７１は露光によりフルサイズ原画像Ｐ１を生成し、フルサイズ原画像Ｐ１をDRAM７２に保持させる。
【００９９】
ステップＳ７２において、画像処理部７３は、DRAM７２からフルサイズ原画像Ｐ１の読み出しを行い、ステップＳ７３において、所定の画像処理を行い、その結果得られたフルサイズ処理画像Ｐ３を、ステップＳ７４において、サイズ変更部７４に出力するとともに、DRAM７２に保持させる。サイズ変更部４４は、フルサイズ処理画像Ｐ３を所定のサイズに縮小し、その結果得られた縮小サイズ処理画像Ｐ２をDRAM７２に保持させる。
【０１００】
ステップＳ７５において、出力選択部７５は、DRAM７２から縮小サイズ処理画像Ｐ２を読み出してイメージセンサ７０の外部に出力する。ステップＳ７６において、出力選択部７５は、DRAM７２からフルサイズ処理画像Ｐ３を読み出してイメージセンサ７０の外部に出力する。以上で、イメージセンサ７０による画像出力処理は終了される。
【０１０１】
以上説明したように、イメージセンサ７０によれば、縮小サイズ処理画像Ｐ２とフルサイズ処理画像Ｐ３を順次にイメージセンサ７０から外部に出力することができる。なお、先にフルサイズ処理画像Ｐ３を出力し、次に縮小サイズ処理画像Ｐ２を出力するようにしてもよい。
【０１０２】
＜イメージセンサの使用例＞
以上に説明したイメージセンサ１０乃至７０によれば、フルサイズ原画像に基づく異なる複数の画像データを出力することができるので、例えば、動画像撮影中に全画素から成る静止画像を出力させたり、画素が間引きされているプレビュー用の画像と録画用の全画素画像とを同時に出力させたりする用途に用いることができる。
【０１０３】
図１５は、イメージセンサ１０乃至７０を使用する使用例を示している。
【０１０４】
上述したイメージセンサ１０乃至７０は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に搭載することができる。
【０１０５】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１０６】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０７】
１０  イメージセンサ，  １１  画素部，  １２  DRAM，  １３  画像処理部，  １４  サイズ変更部，  ２０  イメージセンサ，  ２１  画素部，  ２２  DRAM，  ２３  画像処理部，  ２４  サイズ変更部，  ３０  イメージセンサ，  ３１  画素部，  ３２  DRAM，  ３３  画像処理部，  ３４  サイズ変更部，  ４０  イメージセンサ，  ４１  画素部，  ４２  DRAM，  ４３  画像処理部，  ４４  サイズ変更部，  ５０  イメージセンサ，  ５１  画素部，  ５２  DRAM，  ５３  画像処理部，  ５４  サイズ変更部，  ５５  出力選択部，  ６０  イメージセンサ，  ６１  画素部，  ６２  DRAM，  ６３  1/4縮小部，  ６４  画像処理部，  ６５  サイズ変更部，  ７０  イメージセンサ，  ７１  画素部，  ７２  DRAM，  ７３  画像処理部，  ７４  サイズ変更部，  ７５  出力選択部
【図１】
2017002639.tif 000003
【図２】
2017002639.tif 000004
【図３】
2017002639.tif 000005
【図４】
2017002639.tif 000006
【図５】
2017002639.tif 000007
【図６】
2017002639.tif 000008
【図７】
2017002639.tif 000009
【図８】
2017002639.tif 000010
【図９】
2017002639.tif 000011
【図１０】
2017002639.tif 000012
【図１１】
2017002639.tif 000013
【図１２】
2017002639.tif 000014
【図１３】
2017002639.tif 000015
【図１４】
2017002639.tif 000016
【図１５】
2017002639.tif 000017
【国際調査報告】
2017002639.tif 000018
2017002639.tif 000019
2017002639.tif 000020
2017002639.tif 000021