(57)【要約】【課題】画像データに対してビニング処理することで低解像度化する場合に、ノイズの影響をより確実に低減できることが望まれている。【解決手段】画像処理装置は、同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成する生成部と、Ｎ個の第２画像データのそれぞれにデモザイク処理を施す第１処理部と、デモザイク処理が施されたＮ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する第２処理部とを備えてよい。【選択図】図５
2020036117.tif 000002
【特許請求の範囲】
【請求項１】
同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、前記複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに前記予め定められた配列で配置されたＮ個の第２画像データを生成する生成部と、
前記Ｎ個の第２画像データのそれぞれにデモザイク処理を施す第１処理部と、
前記デモザイク処理が施された前記Ｎ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する第２処理部と
を備える画像処理装置。
【請求項２】
前記生成部は、前記複数の第１画素ブロックのそれぞれから抽出された同一の位置の画素が色ごとに前記予め定められた配列で配置されたＮ個の第２画像データを生成する、請求項１に記載の画像処理装置。
【請求項３】
前記生成部は、前記複数の第１画素ブロックのそれぞれから抽出された異なる位置の画素が色ごとに前記予め定められた配列で配置されたＮ個の第２画像データを生成する、請求項１に記載の画像処理装置。
【請求項４】
前記予め定められた配列は、ベイヤー配列である、請求項１に記載の画像処理装置。
【請求項５】
前記Ｎは、４である、請求項１に記載の画像処理装置。
【請求項６】
前記第１画像データは、７６８０×４３２０の解像度を有し
前記第２画像データは、３８４０×２１６０の解像度を有する、請求項１に記載の画像処理装置。
【請求項７】
請求項１から６の何れか１つに記載の画像処理装置と、
前記第１画像データを出力するイメージセンサと
を備える撮像装置。
【請求項８】
同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、前記複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに前記予め定められた配列で配置されたＮ個の第２画像データを生成する段階と、
前記Ｎ個の第２画像データのそれぞれにデモザイク処理を施す段階と、
前記デモザイク処理が施された前記Ｎ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する段階と
を備える画像処理方法。
【請求項９】
請求項１から６の何れか１つに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、ベイヤーのカラーフィルタ配列を用いた画像センサにおいて、クラスタ内の４つの画素を加算することでビニング処理することが開示されている。
特許文献１  特開２０１５−２２８６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像データに対してビニング処理することで低解像度化する場合に、ノイズの影響をより確実に低減できることが望まれている。
【課題を解決するための手段】
【０００４】
本発明の一態様に係る画像処理装置は、同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成する生成部を備えてよい。画像処理装置は、Ｎ個の第２画像データのそれぞれにデモザイク処理を施す第１処理部を備えてよい。画像処理装置は、デモザイク処理が施されたＮ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する第２処理部を備えてよい。
【０００５】
生成部は、複数の第１画素ブロックのそれぞれから抽出された同一の位置の画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成してよい。
【０００６】
生成部は、複数の第１画素ブロックのそれぞれから抽出された異なる位置の画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成してよい。
【０００７】
予め定められた配列は、ベイヤー配列でよい。
【０００８】
Ｎは、４でよい。
【０００９】
第１画像データは、７６８０×４３２０の解像度を有してよい。第２画像データは、３８４０×２１６０の解像度を有してよい。
【００１０】
本発明の一態様に係る撮像装置は、上記画像処理装置を備えてよい。撮像装置は、第１画像データを出力するイメージセンサを備えてよい。
【００１１】
本発明の一態様に係る画像処理方法は、同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成する段階を備えてよい。画像処理方法は、Ｎ個の第２画像データのそれぞれにデモザイク処理を施す段階を備えてよい。画像処理方法は、デモザイク処理が施されたＮ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する段階を備えてよい。
【００１２】
本発明の一態様に係るプログラムは、上記画像処理装置としてコンピュータを機能させるためのプログラムでよい。
【００１３】
本発明の一態様によれば、画像データに対してビニング処理することで低解像度化する場合に、ノイズの影響をより確実に低減できる。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る撮像装置の外観斜視図の一例を示す図である。
【図２】本実施形態に係る撮像装置の機能ブロックを示す図である。
【図３】画像データの画素配列の一例を示す図である。
【図４】図３に示す画素配列の画像データに対する画像処理の手順の一例を示す図である。
【図５】画像処理部での画像処理の手順の一例を示す図である。
【図６】画像処理部での画像処理の手順の他の一例を示す図である。
【図７】ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００１７】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【００１８】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。
【００１９】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【００２０】
コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【００２１】
図１は、本実施形態に係る撮像装置１０の外観斜視図の一例を示す図である。図２は、本実施形態に係る撮像装置１０の機能ブロックを示す図である。
【００２２】
撮像装置１０は、撮像部１００及びレンズ部３００を備える。レンズ部３００は、レンズ制御部３１０、レンズ駆動部３１２、レンズ３１４、及びメモリ３２０を有する。レンズ３１４は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。レンズ３１４は、複数の光学要素から構成されてよい。レンズ３１４は、光軸に沿って移動可能に配置される。レンズ部３００は、撮像部１００に対して着脱可能に設けられる交換レンズでよい。
【００２３】
レンズ駆動部３１２は、カム環などの機構部材を介して、レンズ３１４を光軸に沿って移動させる。レンズ駆動部３１２は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部３１０は、撮像部１００からのレンズ制御命令に従って、レンズ駆動部３１２を駆動して、機構部材を介してレンズ３１４を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。レンズ制御部３１０は、レンズ３１４を光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。
【００２４】
レンズ部３００は、メモリ３２０をさらに有する。メモリ３２０は、レンズ駆動部３１２を介して移動するレンズ３１４の制御値を記憶する。メモリ３２０は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）などのフラッシュメモリの少なくとも１つを含んでよい。
【００２５】
撮像部１００は、センサ部２１０、撮像制御部２２０、メモリ２３０、画像処理部１１０、符号化部１２０、及びメモリ１３０を有する。
【００２６】
センサ部２１０は、レンズ３１４を介して結像された光学像を電気信号に変換して、撮像部１００に出力する。撮像制御部２２０は、センサ部２１０を制御する。メモリ２３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）などのフラッシュメモリの少なくとも１つを含んでよい。メモリ２３０は、撮像制御部２２０がセンサ部２１０などを制御するのに必要なプログラム等を格納する。
【００２７】
センサ部２１０は、画素アレイ２１２、垂直選択回路２１４、水平選択回路２１６、及びカラム処理部２１８を含む。画素アレイ２１２は、受光した光量に応じた電荷を生成して蓄積する光電変換部を有する予め定められた配列で配置された複数の画素を含む。複数の画素は、行方向（水平方向）、及び列方向（垂直方向）に２次元に配置されている。
【００２８】
画素アレイ２１２は、画素の行に対応する複数の画素駆動線２１５を介して垂直選択回路２１４と接続される。画素駆動線２１５は、画素から信号を読み出す場合の駆動を行うための駆動信号を伝送する。
【００２９】
垂直選択回路２１４は、シフトレジスタ及びアドレスデコーダなどによって構成され、画素アレイ２１２の各画素を全画素同時、あるいは行単位等で駆動する。垂直選択回路２１４は、垂直選択回路２１４を制御する撮像制御部２２０と共に、画素アレイ２１２の各画素の動作を制御する駆動部を構成している。
【００３０】
垂直選択回路２１４は、読み出し走査及び掃き出し走査を行う。垂直選択回路２１４は、読み出し走査において、画素アレイ２１２の各画素を行単位で順に選択して走査する。垂直選択回路２１４は、掃き出し走査において、読み出し走査が行われる読み出し行に対して、その読み出し走査よりも露光時間分だけ先行して掃き出し走査を行う。垂直選択回路２１４は、読み出し走査及び掃き出し走査を行うことで、いわゆる電子シャッタを実行する。
【００３１】
垂直選択回路２１４によって走査された行の各画素から出力された信号は、列ごとに垂直信号線２１９を介してカラム処理部２１８に入力される。カラム処理部２１８は、画素アレイ２１２の列ごとに、選択された行の各画素から垂直信号線２１９を介して出力される信号に対して予め定められた信号処理を行い、各画素の電気信号を出力する。
【００３２】
カラム処理部２１８は、信号処理として、ノイズ除去処理、例えば、ＣＤＳ（相関二重サンプリング）処理、ＤＤＳ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｓａｍｐｌｉｎｇ）処理を行う。ＣＤＳ処理が実行されることで、リセットノイズなどが除去される。カラム処理部２１８は、アナログ信号をデジタル信号に変換してよい。
【００３３】
水平選択回路２１６は、シフトレジスタ及びアドレスデコーダなどによって構成され、カラム処理部２１８の列に対応する回路部分を順番に選択して走査する。水平選択回路２１６による走査により、カラム処理部２１８が、列ごとに信号処理された信号を画像データとして出力する。
【００３４】
画像処理部１１０は、センサ部２１０から出力された画像データに対して各種の画像処理を施す。符号化部１２０は、画像処理が施された画像データを予め定められた符号化方式で圧縮して、メモリ１３０に保存する。例えば、符号化部１２０は、画像処理が施された画像データをＪＰＥＧ方式で圧縮して、メモリ１３０に保存してよい。
【００３５】
図３は、画素アレイ２１２から出力される画像データ５００の画素配列の一例を示す。画像データ５００は、同一色の４個の画素から構成される複数の画素ブロック５０１がＲ、Ｇ、Ｂの色ごとにベイヤー配列で配置されて構成されている。２×２の４つの画素ブロック５０１が１セットである。画像データ５００の構成は、図３に示す構成には限定されない。画像データ５００は、同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の画素ブロックが色ごとに予め定められた配列で配置されて構成されていればよい。画像データ５００は、同一色のＮ個の画素から構成される複数の画素ブロック５０１がＲ、Ｇ、Ｂの色ごとにハニカム配列で配置されて構成されてもよい。
【００３６】
図４は、図３に示す画素配列の画像データ５００に対する画像処理の手順の一例を示す。画像処理部１１０は、画像データ５００を画素ブロック５０１単位にビニング処理を施す。画像処理部１１０は、画像データ５００を画素ブロック５０１単位で画素混合することで、ビニング処理を施してよい。画像処理部１１０は、画素ブロック５０１内の各画素の画素値を加算して平均化することで、画像データ５００に対するビニング処理を施してよい。画像処理部１１０は、ビニング処理された画像データ５１０にデモザイク処理を施して、画像データ５２０を出力する。画像処理部１１０は、ビニング処理された画像データ５１０の各画素に画素補完処理を施すことで、デモザイク処理を施してよい。画像処理部１１０が、このような画像処理を施すことで、画像データ５００を低解像度化して出力することができる。例えば、画像処理部１１０は、７６８０×４３２０の解像度を有する画像データ５００を、３８４０×２１６０の解像度を有する画像データ５２０に変換して出力する。
【００３７】
しかし、上記の通り、画像データ５００に対してビニング処理が施された後にデモザイク処理が施されると、画素ブロック内の１つの画素に含まれるノイズがそのまま加算されて、デモザイク処理が１回だけ施される。１回のデモザイク処理での画素補完の精度が低かった場合に、その影響が大きくなる。このような処理では、デモザイク処理後の画像データに含まれるノイズが大きくなる場合がある。
【００３８】
そこで、本実施形態に係る撮像装置１０は、画像処理でのノイズの低減を図る。画像処理部１１０は、生成部１１２、デモザイク処理部１１４、及びビニング処理部１１６を有する。
【００３９】
生成部１１２は、同一色のＮ個の画素（Ｎは２以上の整数）から構成される複数の第１画素ブロックが色ごとに予め定められた配列で配置された第１画像データから、複数の第１画素ブロックのそれぞれから抽出された画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成する。生成部１１２は、同一色の４個の画素から構成される第１画素ブロックがＲ，Ｇ，Ｂの色ごとにベイヤー配列で配置された第１画像データから、複数の第１画素ブロックのそれぞれから抽出された画素がＲ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の第２画像データを生成してよい。
【００４０】
生成部１１２は、複数の第１画素ブロックのそれぞれから抽出された同一の位置の画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成してよい。生成部１１２は、複数の第１画素ブロックのそれぞれから抽出された同一の位置の画素が、Ｒ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の第２画像データを生成してよい。
【００４１】
生成部１１２は、複数の第１画素ブロックのそれぞれから抽出された異なる位置の画素が色ごとに予め定められた配列で配置されたＮ個の第２画像データを生成してよい。生成部１１２は、複数の第１画素ブロックのそれぞれから抽出された異なる位置の画素が、Ｒ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の第２画像データを生成してよい。生成部１１２は、複数の第１画素ブロックのそれぞれから抽出された予め定められた異なる位置の画素が、Ｒ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の第２画像データを生成してよい。生成部１１２は、複数の第１画素ブロックのそれぞれからランダムに抽出された異なる位置の画素が、Ｒ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の第２画像データを生成してよい。
【００４２】
デモザイク処理部１１４は、Ｎ個の第２画像データのそれぞれにデモザイク処理を施す。デモザイク処理部１１４は、Ｎ個の第２画像データのそれぞれに別個にデモザイク処理を施してよい。デモザイク処理部１１４は、４個の第２画像データのそれぞれに別個にデモザイク処理を施してよい。デモザイク処理部１１４は、第１処理部の一例である。
【００４３】
ビニング処理部１１６は、デモザイク処理が施されたＮ個の第２画像データをビニング処理により合成して、１個の第３画像データを出力する。ビニング処理部１１６は、デモザイク処理が施された４個の第２画像データをビニング処理により合成して、１個の第３画像データを出力してよい。ビニング処理部１１６は、第２処理部の一例である。
【００４４】
図５は、画像処理部１１０での画像処理の手順の一例を示す図である。図５は、画素ブロックのそれぞれから同一の位置の画素が抽出される例を示す。
【００４５】
生成部１１２は、画像データ５００を、複数の画素ブロック５０１のそれぞれから抽出された画素がＲ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の画像データ５３０，５３１，５３２，５３３を生成する。すなわち、生成部１１２は、画像データ５００から、画素ブロック５０１ごとに１つの画素をそれぞれ抽出して、抽出された画素がＲ，Ｇ，Ｂの色ごとにベイヤー配列で配置された４個の画像データ５３０，５３１，５３２，５３３に分離する。生成部１１２は、画像データ５００を、複数の画素ブロック５０１のそれぞれから抽出された同一の位置の画素が色ごとにベイヤー配列で配置された４個の画像データ５３０、５３１、５３２、５３３を生成してよい。
【００４６】
生成部１１２は、色ごとの画素ブロック５１０のそれぞれから同一の位置の画素Ｒ０、画素Ｇｒ０、画素Ｇｂ０、及び画素Ｂ０を抽出して、画素Ｒ０、画素Ｇｒ０、画素Ｇｂ０、及び画素Ｂ０をベイヤー配列して、画像データ５３０を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから同一の位置の画素Ｒ１、画素Ｇｒ１、画素Ｇｂ１、及び画素Ｂ１を抽出して、画素Ｒ１、画素Ｇｒ１、画素Ｇｂ１、及び画素Ｂ１をベイヤー配列して、画像データ５３１を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから同一の位置の画素Ｒ２、画素Ｇｒ２、画素Ｇｂ２、及び画素Ｂ２を抽出して、画素Ｒ２、画素Ｇｒ２、画素Ｇｂ２、及び画素Ｂ２をベイヤー配列して、画像データ５３２を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから同一の位置の画素Ｒ３、画素Ｇｒ３、画素Ｇｂ３、及び画素Ｂ３を抽出して、画素Ｒ３、画素Ｇｒ３、画素Ｇｂ３、及び画素Ｂ３をベイヤー配列して、画像データ５３３を生成する。
【００４７】
デモザイク処理部１１４は、４個の画像データ５３０、５３１、５３２、５３３のそれぞれにデモザイク処理を施す。ビニング処理部１１６は、デモザイク処理が施された４個の画像データ５３０、５３１、５３２、５３３をビニング処理により合成して、１個の画像データ５５０を出力する。
【００４８】
上記のように、画素ブロック５０１内の４つの画素を分離し、４つの画像データを生成して、それぞれにデモザイク処理が施される。これにより、例えば、４つの画素のそれぞれに対して一回のデモザイク処理が施される。いずれかのデモザイク処理でノイズの影響が大きく、画素補完が失敗しても、他のデモザイク処理ではノイズが低減して、画素補完に成功する可能性がある。１つの画素ブロックに対してそれぞれ異なる画素を利用して複数のデモザイク処理が施されるので、画素補完に成功する確率を向上させることができる。すなわち、本実施形態に係る画像処理部１１０によれば、画素に含まれるノイズの影響を低減しつつ、低解像度化した画像データを生成することができる。
【００４９】
図６は、画像処理部１１０での画像処理の手順の他の一例を示す図である。図６は、画素ブロックのそれぞれから異なる位置の画素が抽出される例を示す。
【００５０】
生成部１１２は、複数の画素ブロック５０１のそれぞれから抽出された異なる位置の画素が色ごとにベイヤー配列で配置された４個の画像データ５６０、５６１、５６２、５６３を生成してよい。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから色ごとに異なる位置の画素Ｒ０、画素Ｇｒ１、画素Ｇｂ１、及び画素Ｂ２を抽出して、画素Ｒ０、画素Ｇｒ１、画素Ｇｂ１、及び画素Ｂ２をベイヤー配列して、画像データ５６０を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから色ごとに異なる位置の画素Ｒ１、画素Ｇｒ２、画素Ｇｂ２、及び画素Ｂ３を抽出して、画素Ｒ１、画素Ｇｒ２、画素Ｇｂ２、及び画素Ｂ３をベイヤー配列して、画像データ５６１を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから色ごとに異なる位置の画素Ｒ２、画素Ｇｒ３、画素Ｇｂ３、及び画素Ｂ０を抽出して、画素Ｒ２、画素Ｇｒ３、画素Ｇｂ３、及び画素Ｂ０をベイヤー配列して、画像データ５６２を生成する。生成部１１２は、色ごとの画素ブロック５１０のそれぞれから色ごとに異なる位置の画素Ｒ３、画素Ｇｒ０、画素Ｇｂ０、及び画素Ｂ１を抽出して、画素Ｒ３、画素Ｇｒ０、画素Ｇｂ０、及び画素Ｂ１をベイヤー配列して、画像データ５６３を生成する。
【００５１】
デモザイク処理部１１４は、４個の画像データ５６０、５６１、５６２、５６３のそれぞれにデモザイク処理を施す。ビニング処理部１１６は、デモザイク処理が施された４個の画像データ５７０、５７１、５７２、５７３をビニング処理により合成して、１個の画像データ５８０を出力する。
【００５２】
このように画像データ５００から、色ごとに異なる位置の画素を抽出して、４つの画像データが生成され、それぞれの画像データに対してデモザイク処理が施される。デモザイク処理される画像データのそれぞれが画素ブロック内の異なる位置の画素で構成されている。よって、分離されたそれぞれの画像データに対してデモザイク処理を施した場合に、例えば、周期的に発生する高周波のノイズの影響を低減できる。４つの画素のそれぞれに対して一回のデモザイク処理が施される場合に、それぞれの画素に対する画素補完が失敗する確率を低減できる。すなわち、同一の位置の画素を抽出する場合よりも、異なる位置の画素を抽出する場合のほうが、画素補完に成功する確率をより向上させることができる。すなわち、本実施形態に係る画像処理部１１０によれば、画素に含まれるノイズの影響をより低減しつつ、低解像度化した画像データを生成することができる。
【００５３】
本実施形態に係る撮像装置１０によれば、例えば、７６８０×４３２０の解像度を有する４つの画素を１つの画素ブロックとして構成された画像データを、４つの画素を１つの画素に合成した３８４０×２１６０の解像度を有する画像データに変換して出力する場合に、ノイズの影響をより確実に低減させることができる。
【００５４】
図７は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【００５５】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【００５６】
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【００５７】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【００５８】
また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【００５９】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【００６０】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【００６１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６３】
１０  撮像装置
１００  撮像部
１１０  画像処理部
１１２  生成部
１１４  デモザイク処理部
１１６  ビニング処理部
１２０  符号化部
１３０  メモリ
２１０  センサ部
２１２  画素アレイ
２１４  垂直選択回路
２１５  画素駆動線
２１６  水平選択回路
２１８  カラム処理部
２１９  垂直信号線
２２０  撮像制御部
２３０  メモリ
３００  レンズ部
３１０  レンズ制御部
３１２  レンズ駆動部
３１４  レンズ
３２０  メモリ
１２００  コンピュータ
１２１０  ホストコントローラ
１２１２  ＣＰＵ
１２１４  ＲＡＭ
１２２０  入力／出力コントローラ
１２２２  通信インタフェース
１２３０  ＲＯＭ
【図１】
2020036117.tif 000003
【図２】
2020036117.tif 000004
【図３】
2020036117.tif 000005
【図４】
2020036117.tif 000006
【図５】
2020036117.tif 000007
【図６】
2020036117.tif 000008
【図７】
2020036117.tif 000009