(57)【要約】  撮像装置は、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含み、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。
2020137662.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を備えた撮像装置であって、
前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記撮像素子に内蔵されたプロセッサと、
前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、
前記プロセッサは、前記複数の信号処理プロセッサの各々に対して各々対応させて設けられた複数の出力ラインを有し、前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成する
撮像装置。
【請求項２】
前記複数の画像データの各々は、前記複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項１に記載の撮像装置。
【請求項３】
前記複数の画像は、指定された画像と前記指定された画像とは異なる画像とで分けられている請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像画像データから顔の画像を示す顔画像データを検出する検出プロセッサを更に含み、
前記指定された画像は、前記撮像画像データにより示される撮像画像のうちの前記検出プロセッサにより検出された前記顔画像データにより示される顔の画像を含む画像である請求項３に記載の撮像装置。
【請求項５】
記録用撮像モードと表示動画用撮像モードとで前記撮像画像データの分け方が異なる請求項１から請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記記録用撮像モードで前記撮像画像データが前記複数の画像データとして複数の重複画像データに分けられ、前記表示動画用撮像モードで前記撮像画像データがライン単位で分けられる請求項５に記載の撮像装置。
【請求項７】
前記複数の重複画像データの各々は、前記複数の画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項６に記載の撮像装置。
【請求項８】
前記記録用撮像モードは、前記撮像素子に対して静止画像用の撮像を行わせる動作モードである請求項５から請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、
前記カラー画像データは、前記複数の画像データとして複数の原色画素配列画像データに分けられ、
前記複数の原色画素配列画像データの各々は、前記複数の原色画素が各々周期的に配列された画像を示す画像データである請求項１から請求項８の何れか一項に記載の撮像装置。
【請求項１０】
前記複数の原色画素配列画像データは、前記カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである請求項９に記載の撮像装置。
【請求項１１】
前記複数の分割画像データは、前記カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである請求項１０に記載の撮像装置。
【請求項１２】
前記複数の信号処理プロセッサの何れかが、前記複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う請求項９から請求項１１の何れか一項に記載の撮像装置。
【請求項１３】
前記複数の画像データは、前記撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである請求項１に記載の撮像装置。
【請求項１４】
前記複数の圧縮画像データは、前記撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである請求項１３に記載の撮像装置。
【請求項１５】
前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項１４の何れか一項に記載の撮像装置。
【請求項１６】
前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像装置。
【請求項１７】
前記プロセッサにより出力された前記複数の画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサを更に含む請求項１から請求項１６の何れか一項に記載の撮像装置。
【請求項１８】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置の画像データ処理方法であって、
前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む、撮像装置の画像データ処理方法。
【請求項１９】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置に対して適用されるコンピュータに、
前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、撮像装置、撮像装置の画像データ処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特開２０１６−１５８２９４号公報には、撮像素子、画像処理部、及び制御部を備えた電子機器が開示されている。撮像素子は、第１撮像領域及び第２撮像領域を有する。撮像素子において、第１撮像領域及び第２撮像領域は、互いに画素が配列されている。撮像素子は、第１撮像条件の場合に第１撮像領域で撮像を行い、第１撮像条件とは異なる第２撮像条件の場合に第２撮像領域で撮像を行う。第１撮像領域の画素信号からなる画像データ、及び第２撮像領域の画素信号からなる画像データは、１系統の出力ラインを介して後段の画像処理部に出力される。【０００３】
画像処理部は、第１撮像領域の画素信号からなる画像データに対して種々の画像処理を施すことで第１画像データを生成し、第２撮像領域の画素信号からなる画像データに対して種々の画像処理を施すことで第２画像データを生成する。制御部は、第１画像データにより示される第１画像と第２画像データにより示される第２画像とを合成したライブビュー画像又は静止画を表示部に表示させる。
【発明の概要】
【０００４】
本開示の技術に係る一つの実施形態は、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる撮像装置、撮像装置の画像データ処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００５】
本開示の技術の第１の態様に係る撮像装置は、撮像素子を備えた撮像装置であって、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含み、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。【０００６】
本開示の技術の第２の態様に係る撮像装置において、複数の画像データの各々は、複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである。これにより、撮像画像を単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。【０００７】
本開示の技術の第３の態様に係る撮像装置において、複数の画像は、指定された画像と指定された画像とは異なる画像とで分けられている。これにより、指定された画像と指定された画像とは異なる画像との間の境界領域の顕在化が抑制される。【０００８】
本開示の技術の第４の態様に係る撮像装置において、撮像画像データから顔の画像を示す顔画像データを検出する検出部を更に含み、指定された画像は、撮像画像データにより示される撮像画像のうちの検出部により検出された顔画像データにより示される顔の画像を含む画像である。これにより、顔の画像を含む画像と顔の画像を含まない画像との間の境界領域の顕在化が抑制される。【０００９】
本開示の技術の第５の態様に係る撮像装置において、記録用撮像モードと表示動画用撮像モードとで撮像画像データの分け方が異なる。これにより、記録用撮像モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。【００１０】
本開示の技術の第６の態様に係る撮像装置において、記録用撮像モードで撮像画像データが複数の画像データとして複数の重複画像データに分けられ、表示動画用撮像モードで撮像画像データがライン単位で分けられる。これにより、記録用撮像モードでは、表示動画用撮像モードよりも画質を高めることができ、表示動画用撮像モードでは、記録用撮像モードよりも電力消費を抑え、かつ、処理速度を高めることができる。【００１１】
本開示の技術の第７の態様に係る撮像装置において、複数の重複画像データの各々は、複数の画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである。これにより、撮像画像を単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。【００１２】
本開示の技術の第８の態様に係る撮像装置において、記録用撮像モードは、撮像素子に対して静止画像用の撮像を行わせる動作モードである。これにより、静止画像用の撮像を行わせる動作モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。【００１３】
本開示の技術の第９の態様に係る撮像装置において、撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、カラー画像データは、複数の画像データとして複数の原色画素配列画像データに分けられ、複数の原色画素配列画像データの各々は、複数の原色画素が各々周期的に配列された画像を示す画像データである。これにより、カラー画像データが複数の原色画素配列画像データに分けられた場合であっても、複数の原色画素についてのデモザイク処理を実現することができる。【００１４】
本開示の技術の第１０の態様に係る撮像装置において、複数の原色画素配列画像データは、カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである。これにより、カラー画像データが間引きされることなく分割されて得られた複数の画像データが複数の信号処理部によって処理される場合に比べ、高速な処理を実現することができる。【００１５】
本開示の技術の第１１の態様に係る撮像装置において、複数の分割画像データは、カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである。これにより、複数の信号処理部の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を実現することができる。【００１６】
本開示の技術の第１２の態様に係る撮像装置において、複数の信号処理部の何れかが、複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う。これにより、デモザイク処理が行われない場合に比べ、高画質な画像を得ることができる。【００１７】
本開示の技術の第１３の態様に係る撮像装置において、複数の画像データは、撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである。これにより、複数の信号処理部の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を実現することができる。【００１８】
本開示の技術の第１４の態様に係る撮像装置において、複数の圧縮画像データは、撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである。これにより、上位ビットの画像データに対しては下位ビットの画像データよりも高精度な処理を行うことができ、下位ビットの画像データに対しては上位ビットの画像データよりも電力消費を抑え、かつ、処理速度を高めることができる。【００１９】
本開示の技術の第１５の態様に係る撮像装置において、撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。【００２０】
本開示の技術の第１６の態様に係る撮像装置において、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である。これにより、光電変換素子と記憶部とが積層されてない場合に比べ、光電変換素子と記憶部との間での処理にかかる負荷が軽減される。【００２１】
本開示の技術の第１７の態様に係る撮像装置において、出力部により出力された複数の画像データに基づく画像を表示部に対して表示させる制御を行う制御部を更に含む。これにより、出力部により出力された複数の画像データに基づく画像をユーザに視認させることができる。【００２２】
本開示の技術の第１８の態様に係る画像データ処理方法は、撮像素子と、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含む撮像装置の画像データ処理方法であって、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成することを含む。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。【００２３】
本開示の技術の第１９の態様に係るプログラムは、撮像素子と、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含む撮像装置に含まれる出力部としてコンピュータを機能させるためのプログラムであって、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。【００２４】
本開示の技術の第２０の態様に係る撮像装置は、撮像素子を備えた撮像装置であって、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像素子に内蔵されたプロセッサと、撮像素子の外部に設けられた複数の信号処理部と、を含み、プロセッサは、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、メモリに記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
【図面の簡単な説明】
【００２５】
【図１】撮像装置の外観を示す斜視図である。
【図２】撮像装置の背面側を示す背面図である。
【図３】撮像装置の構成を示すブロック図である。
【図４】撮像素子の構成を示す概略構成図である。
【図５】撮像素子の構成を示すブロック図である。
【図６】第１実施形態に係る撮像装置内でのデータの流れを示すブロック図である。
【図７】撮像画像に含まれる左側画像及び右側画像の特徴を示す概念図である。
【図８】撮像装置に含まれるコントローラ及びＵＩ系デバイス、並びにコントローラ及びＵＩ系デバイスの周辺の構成を示すブロック図である。
【図９】ハイブリッドファインダーの構成を示す概略構成図である。
【図１０】第１実施形態に係る撮像処理の流れを示すフローチャートである。
【図１１】第１実施形態に係る第１信号処理の流れを示すフローチャートである。
【図１２】第１実施形態に係る第２信号処理の流れを示すフローチャートである。
【図１３】第２実施形態に係る撮像装置内でのデータの流れを示すブロック図である。
【図１４Ａ】顔領域画像と背景領域画像との関係を示す画像図である。
【図１４Ｂ】顔領域画像と背景領域画像と重複領域との関係を示す画像図である。
【図１５】第２実施形態に係る撮像処理の流れを示すフローチャートである。
【図１６】第２実施形態に係る第１信号処理の流れを示すフローチャートである。
【図１７】第２実施形態に係る第２信号処理の流れを示すフローチャートである。
【図１８】第３実施形態に係る撮像装置内でのデータの流れを示すブロック図である。
【図１９】撮像画像データから垂直間引画像データを生成する方法の説明に供する説明図である。
【図２０】垂直間引画像データと奇数列画像データと偶数列画像データとの関係を示す概念図である。
【図２１】垂直間引画像データを奇数列画像データと偶数列画像データとに分離する態様を示す概念図である。
【図２２】第３実施形態に係る撮像処理の流れを示すフローチャートである。
【図２３】第３実施形態に係る第１信号処理の流れを示すフローチャートである。
【図２４】第３実施形態に係る第２信号処理の流れを示すフローチャートである。
【図２５】第３実施形態に係る撮像装置内でのデータの流れを示すブロック図である。
【図２６】静止画像用撮像モードが設定された撮像装置内でのデータの流れを示すブロック図である。
【図２７】表示画像用撮像モードが設定された撮像装置内でのデータの流れを示すブロック図である。
【図２８】第４実施形態に係る撮像処理の流れを示すフローチャートである。
【図２９】第４実施形態に係る撮像装置内でのデータの流れを示すブロック図である。
【図３０】ベイヤ配列の撮像画像データから垂直間引画像データを生成する方法の説明に供する説明図である。
【図３１】垂直間引画像データと第１水平間引画像データと第２水平間引画像データとの関係を示す概念図である。
【図３２】撮像画像データを上位ビットデータと下位ビットデータとに分離してから処理を行う形態を示すブロック図である。
【図３３】３つ以上の信号処理部を用いた場合の撮像素子、複数の信号処理部、及びコントローラとの関係を示す概念図である。
【図３４】撮像処理プログラムが記憶された記憶媒体から、撮像処理プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。
【図３５】実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
【００２７】
先ず、以下の説明で使用される用語の意味について説明する。
【００２８】
また、以下の説明において、ＣＰＵとは、“Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ”の略称を指す。また、以下の説明において、ＲＡＭとは、“Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＲＯＭとは、“Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＤＲＡＭとは、“Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＳＲＡＭとは、“Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ”の略称を指す。
【００２９】
また、以下の説明において、ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＬＳＩとは、“Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ”の略称を指す。
【００３０】
また、以下の説明において、ＳＳＤとは、“Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＤＶＤ−ＲＯＭとは、“Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ”の略称を指す。また、以下の説明において、ＨＤＤとは、“Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ”の略称を指す。
【００３１】
また、以下の説明において、ＣＣＤとは、“Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。また、以下の説明において、Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。また、以下の説明において、ＦＩＦＯとは、“Ｆｉｒｓｔ  ｉｎ  Ｆｉｒｓｔ  ｏｕｔ”の略称を指す。また、以下の説明において、Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。また、以下の説明において、ＥＩＳとは、“Ｅｌｅｃｔｒｏｎｉｃｓ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＦとは、“Ａｕｔｏ−Ｆｏｃｕｓ”の略称を指す。また、以下の説明において、ＡＥとは、“Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ”の略称を指す。また、以下の説明において、ＵＩとは、“Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ”の略称を指す。
【００３２】
［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。
【００３３】
また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ  ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ  ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。
【００３４】
撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、後述の光電変換素子６１（図３及び図４参照）で撮像されることにより得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。
【００３５】
撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。
【００３６】
レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
【００３７】
撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。
【００３８】
表示動画用撮像モードでは、連続的な撮像により得られた連続する複数フレーム分の表示用画像データに基づくライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６（図８及び図９参照）に表示される動作モードである。表示用画像データは、ライブビュー画像用の画像データであり、例えば、後述のＣＰＵ４６Ａ（図８参照）により、被写体の画像を示す撮像画像データ７０（図３〜図７参照）に基づいて生成される。撮像画像データ７０とは、後述の撮像素子４４（図３参照）により被写体が撮像されることで得られた画像データを指す。なお、以下では、説明の便宜上、撮像画像データ７０により示される画像を「撮像画像」と称する。
【００３９】
記録用撮像モードは、静止画像用撮像モードと動画像用撮像モードとに大別される。静止画像用撮像モードは、撮像素子４４（図３参照）に対して静止画像用の撮像を行わせる動作モードである。静止画像用撮像モードでは、撮像装置１０により被写体が撮像されることで得られた静止画像が特定の記録デバイス（例えば、二次記憶装置（図８参照）等）に記録される。動画像用撮像モードは、撮像素子４４（図３参照）に対して動画用の撮像を行わせる動作モードである。動画用撮像モードでは、撮像装置１０により被写体が撮像されることで得られた動画像が特定の記録デバイスに記憶される。
【００４０】
記録用撮像モードでは、ライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６に表示され、かつ、記録用画像データが後述の二次記憶装置８０（図８参照）及び／又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、撮像画像データ７０（図３〜図７参照）に基づいて生成される。
【００４１】
撮像モードが設定されると、先ず、撮像装置１０は、表示動画用撮像モードになる。表示動画用撮像モードでは、レリーズボタン２０が押圧操作された場合に、撮像装置１０は、表示動画用撮像モードから記録用撮像モードに移行する。
【００４２】
撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２０が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２０が半押し状態にされることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると撮像が行われる。
【００４３】
一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。
【００４４】
タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図８も参照）を備えている。第１ディスプレイ３２としては、液晶ディスプレイ又は有機ＥＬディスプレイが挙げられる。
【００４５】
第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
【００４６】
タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知し、検知結果を後述のＣＰＵ４６Ａ（図８参照）等の既定の出力先に出力する。
【００４７】
指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。
【００４８】
一例として図３に示すように、撮像装置１０は、マウント３６，３８を備えている。マウント３６は、撮像装置本体１２に設けられている。マウント３８は、交換レンズ１４において、マウント３６の位置に対応する位置に設けられている。交換レンズ１４は、マウント３６にマウント３８が結合されることにより撮像装置本体１２に交換可能に装着される。
【００４９】
一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、絞り４０Ｄは、後述のＣＰＵ４６Ａ（図８参照）の制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂ及びズームレンズ４０Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｄは、付与された動力に応じて作動することで露出を調節する。
【００５０】
撮像装置本体１２は、メカニカルシャッタ４２及び撮像素子４４を備えている。メカニカルシャッタ４２は、後述のＣＰＵ４６Ａ（図８参照）の制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４がマウント３６，３８を介して撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の受光面４４Ａに結像される。
【００５１】
撮像装置本体１２は、コントローラ４６、ＵＩ系デバイス４８、第１信号処理部５０、第２信号処理部５２、及びＤＲＡＭ５４，５６を備えている。なお、第１信号処理部５０及び第２信号処理部５２は、本開示の技術に係る「複数の信号処理プロセッサ」の一例である。
【００５２】
コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。
【００５３】
撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像して撮像画像データ７０を生成する。詳しくは後述するが、撮像素子４４は、生成した撮像画像データ７０を２つの画像データに分離する。図３に示す例では、撮像画像データ７０が分離されて得られた２つの画像データのうちの一方の画像データとして第１分離画像データ７０Ａが示されており、他方の画像データとして第２分離画像データ７０Ｂが示されている。
【００５４】
撮像素子４４は、第１出力ライン５３を介して第１信号処理部５０に接続されており、第２出力ライン５５を介して第２信号処理部５２に接続されている。第１信号処理部５０及び第２信号処理部５２の各々はＬＳＩである。なお、本実施形態において、第１信号処理部５０及び第２信号処理部５２の各々は、ＡＳＩＣによって実現されている。
【００５５】
但し、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及び／又はＦＰＧＡが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＧＡが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、第１信号処理部５０及び／又は第２信号処理部５２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【００５６】
第１信号処理部５０及び第２信号処理部５２は、互いに通信ライン５８を介して接続されている。第１信号処理部５０は、ＤＲＡＭ５４に接続されており、第２信号処理部５２は、ＤＲＡＭ５６に接続されている。第１信号処理部５０は、通信ライン６０を介してコントローラ４６に接続されている。
【００５７】
撮像素子４４は、第１出力ライン５３を介して第１分離画像データ７０Ａを第１信号処理部５０に出力し、第２出力ライン５５を介して第２分離画像データ７０Ｂを第２信号処理部５２に出力する。
【００５８】
第１信号処理部５０は、入力された第１分離画像データ７０Ａに対して、ＤＲＡＭ５４と協働して各種の信号処理（例えば、後述の「特定の信号処理」）を施す。第２信号処理部５２は、入力された第２分離画像データ７０Ｂに対して、ＤＲＡＭ５６と協働して各種の信号処理（例えば、後述の「特定の信号処理」）を施す。そして、第２信号処理部５２は、各種の信号処理を施した第２分離画像データ７０Ｂを、通信ライン５８を介して第１信号処理部５０に出力する。第１信号処理部５０は、各種の信号処理を施した第１分離画像データ７０Ａと、第２信号処理部５２から入力された第２分離画像データ７０Ｂとを合成して、通信ライン６０を介してコントローラ４６に出力する。
【００５９】
撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子４４は、例えば、ＣＭＯＳイメージセンサである。一例として図４に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。なお、メモリ６４は、本開示の技術に係る「記憶部」の一例である。
【００６０】
処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。
【００６１】
処理回路６２は、ＡＳＩＣによって実現されており、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣによって実現される例を挙げているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及び／又はＦＰＧＡが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＧＡが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【００６２】
光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
【００６３】
光電変換素子６１は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子６１の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、デモザイク処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
【００６４】
なお、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。
【００６５】
撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
【００６６】
撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
【００６７】
処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた撮像画像データ７０を読み出す。撮像画像データ７０は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出した撮像画像データ７０に対してＡ／Ｄ変換を行う。処理回路６２は、撮像画像データ７０に対してＡ／Ｄ変換を行うことで得た撮像画像データ７０をメモリ６４に記憶する。
【００６８】
処理回路６２は、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０に対して各種の処理を施す。ここで言う「各種の処理」には、図４に示すように、撮像画像データ７０を第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに分離する処理が含まれる。処理回路６２は、第１出力ライン５３を介して第１分離画像データ７０Ａを第１信号処理部５０に出力し、第２出力ライン５５を介して第２分離画像データ７０Ｂを第２信号処理部５２に出力する。
【００６９】
一例として図５に示すように、処理回路６２は、光電変換素子制御回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び出力回路６２Ｄを含む。出力回路６２Ｄは、本開示の技術に係る「出力部」の一例である。
【００７０】
光電変換素子制御回路６２Ａは、光電変換素子６１及びデジタル処理回路６２Ｂに接続されている。メモリ６４は、デジタル処理回路６２Ｂ及び画像処理回路６２Ｃに接続されている。画像処理回路６２Ｃは出力回路６２Ｄ及びメモリ６４に接続されている。
【００７１】
出力回路６２Ｄは、第１出力ライン５３及び第２出力ライン５５を有する。第１出力ライン５３は、第１信号処理部５０に対して対応しており、出力回路６２Ｄと第１信号処理部５０とを接続している。第２出力ライン５５は、第２信号処理部５２に対して対応しており、出力回路６２Ｄと第２信号処理部５２とを接続している。
【００７２】
光電変換素子制御回路６２Ａは、コントローラ４６の制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログの撮像画像データ７０を読み出す。デジタル処理回路６２Ｂは、光電変換素子制御回路６２Ａにより読み出されたアナログの撮像画像データ７０に対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ７０をデジタル化する。そして、デジタル処理回路６２Ｂは、デジタル化した撮像画像データ７０をメモリ６４に記憶する。
【００７３】
メモリ６４は、複数フレームの撮像画像データ７０を記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、撮像画像データ７０がデジタル処理回路６２Ｂによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。
【００７４】
画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０に対して処理を施す。
【００７５】
画像処理回路６２Ｃは、撮像画像データ７０に対して、上述した各種の処理を施す。画像処理回路６２Ｃは、撮像画像データ７０を第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに分離し、分離して得た第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂ（図３及び図４参照）を出力回路６２Ｄに出力する。
【００７６】
出力回路６２Ｄは、画像処理回路６２Ｃから入力された第１分離画像データ７０Ａを、第１出力ライン５３を介して第１信号処理部５０に出力する。また、出力回路６２Ｄは、画像処理回路６２Ｃから入力された第２分離画像データ７０Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
【００７７】
出力回路６２Ｄでの出力フレームレートは、撮像素子４４の後段のデバイスで用いられるフレームレートと同一のフレームレートである。出力フレームレートは、出力回路６２Ｄによる第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂの出力に要するフレームレートであり、例えば、６０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）である。これに対し、撮像フレームレートは、光電変換素子６１、光電変換素子制御回路６２Ａ、デジタル処理回路６２Ｂ、及びメモリ６４が協働して行う撮像に要するフレームレートであり、例えば、１２０ｆｐｓである。なお、ここで言う「撮像」とは、光電変換素子６１での１フレーム分の露光が開始されてからメモリ６４に１フレーム分の撮像画像データ７０が記憶されるまでの処理を指す。
【００７８】
ここで、画像処理回路６２Ｃ、出力回路６２Ｄ、第１信号処理部５０、及び第２信号処理部５２での具体的な処理内容について説明する。
【００７９】
一例として図６に示すように、画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する。画像処理回路６２Ｃは、撮像画像データ７０を分離して得た左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路６２Ｄに出力する。
【００８０】
左側画像データ７０Ａ１は、上述した第１分離画像データ７０Ａ（図３〜図５参照）の一例であり、右側画像データ７０Ｂ１は、上述した第２分離画像データ７０Ｂ（図３〜図５参照）の一例である。
【００８１】
左側画像データ７０Ａ１は、左側画像７０Ａ１ａ（図７参照）を示す画像データであり、右側画像データ７０Ｂ１は、右側画像７０Ｂ１ａ（図７参照）を示す画像データである。一例として図７に示すように、左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａは、左右に隣接した一対の画像である。左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａは重複領域７１を有する。重複領域７１は、左側画像７０Ａ１ａと右側画像７０Ｂ１ａとの間で左右方向ＲＬに重複する領域である。重複領域７１の左右方向ＲＬの画素数は、例えば、数十画素〜数百画素である。
【００８２】
なお、図６に示す例では、画像処理回路６２Ｃによってメモリ６４から撮像画像データ７０が取得され、取得された撮像画像データ７０が分離される形態例が挙げられているが、本開示の技術はこれに限定されない。この場合、例えば、先ず、画像処理回路６２Ｃは、メモリ６４内の予め定められたアドレスに従って撮像画像データ７０から左側画像データ７０Ａ１と右側画像データ７０Ｂ１とを選択する。そして、画像処理回路６２Ｃは、選択した左側画像データ７０Ａ１及び右側画像データ７０Ｂ１をメモリ６４から直接取得する。なお、予め定められたアドレスは、左側画像データ７０Ａ１の取得用アドレス及び右側画像データ７０Ｂ１の取得用アドレスである。左側画像データ７０Ａ１の取得用アドレス及び右側画像データ７０Ｂ１の取得用アドレスは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１の各々に、重複領域７１を示す画像データも含まれるように定められている。
【００８３】
第１信号処理部５０は、バッファ５０Ａ、信号処理回路５０Ｂ、及び受信回路５０Ｃを有する。信号処理回路５０Ｂには、ＤＲＡＭ５４及びコントローラ４６が接続されている。第２信号処理部５２は、バッファ５２Ａ、信号処理回路５２Ｂ、及び送信回路５２Ｃを有する。信号処理回路５２Ｂには、ＤＲＡＭ５６が接続されている。
【００８４】
出力回路６２Ｄは、左側画像データ７０Ａ１を、第１出力ライン５３を介してバッファ５０Ａに出力する。バッファ５０Ａは、入力された左側画像データ７０Ａ１を保持し、ＦＩＦＯ方式で、信号処理回路５０Ｂに出力する。信号処理回路５０Ｂは、バッファ５０Ａから入力された左側画像データ７０Ａ１をＤＲＡＭ５４に記憶する。信号処理回路５０Ｂは、ＤＲＡＭ５４に記憶した左側画像データ７０Ａ１に対して、色調補正、ホワイトバランス調整、シャープネス調整、ガンマ補正、及び階調補正などの信号処理（以下、「特定の信号処理」と称する）を施す。
【００８５】
出力回路６２Ｄは、右側画像データ７０Ｂ１を、第２出力ライン５５を介してバッファ５２Ａに出力する。バッファ５２Ａは、入力された右側画像データ７０Ｂ１を保持し、ＦＩＦＯ方式で、信号処理回路５２Ｂに出力する。信号処理回路５２Ｂは、バッファ５２Ａから入力された右側画像データ７０Ｂ１をＤＲＡＭ５６に記憶する。信号処理回路５２Ｂは、ＤＲＡＭ５６に記憶した右側画像データ７０Ｂ１に対して特定の信号処理を施す。
【００８６】
送信回路５２Ｃは、信号処理回路５２Ｂにより特定の信号処理が施された右側画像データ７０Ｂ１を第１信号処理部５０に送信する。第１信号処理部５０では、受信回路５０Ｃが、送信回路５２Ｃから送信された右側画像データ７０Ｂ１を受信する。
【００８７】
信号処理回路５０Ｂは、受信回路５０Ｃで受信された右側画像データ７０Ｂ１と、信号処理を施した左側画像データ７０Ａ１とを合成することで合成画像データ７２を生成する。信号処理回路５０Ｂは、合成して得た合成画像データ７２を、通信ライン６０を介してコントローラ４６に出力する。
【００８８】
合成画像データ７２は、左側画像データ７０Ａ１と右側画像データ７０Ｂ１とが繋ぎ合わされることによって生成される。ここで、左側画像データ７０Ａ１のうちの重複領域７１（図７参照）を示す画像データ、及び右側画像データ７０Ｂ１のうちの重複領域７１（図７参照）を示す画像データは、加算平均される。これにより、撮像画像を左右方向ＲＬ（図７参照）に単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。なお、ここでは、加算平均を例示しているが、本開示の技術はこれに限定されず、加算平均に代えて置換を採用してもよい。ここで言う「置換」とは、左側画像データ７０Ａ１のうちの重複領域７１を示す画像データと、右側画像データ７０Ｂ１のうちの重複領域７１を示す画像データとの一方を他方に置き換えることを指す。
【００８９】
一例として図８に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。
【００９０】
ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。
【００９１】
接続Ｉ／Ｆ４６Ｄは、ＦＰＧＡであり、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、接続Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。
【００９２】
入力Ｉ／Ｆ４６Ｅは、ＦＰＧＡを有するデバイスであり、通信ライン６０を介して第１信号処理部５０に接続されている。入力Ｉ／Ｆ４６Ｅには、通信ライン６０を介して第１信号処理部５０から合成画像データ７２（図６参照）が入力される。入力Ｉ／Ｆ４６Ｅは、第１信号処理部５０から入力された合成画像データ７２をＣＰＵ４６Ａに転送する。
【００９３】
バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。
【００９４】
外部Ｉ／Ｆ８２は、ＦＰＧＡを有するデバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。
【００９５】
ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付部８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。
【００９６】
受付部８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。
【００９７】
ハイブリッドファインダー１６は、第２ディスプレイ８６を備えている。ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。
【００９８】
一例として図９に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。
【００９９】
対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。
【０１００】
プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像としては、合成画像データ７２に基づくライブビュー画像１０２が挙げられる。
【０１０１】
ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。
【０１０２】
なお、以下では、説明の便宜上、第１ディスプレイ３２（図２及び図８参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「制御部（制御プロセッサ）」の一例である。
【０１０３】
次に、撮像装置１０の作用について説明する。
【０１０４】
先ず、撮像素子４４の処理回路６２によって実行される撮像処理の流れについて図１０を参照しながら説明する。
【０１０５】
図１０に示す撮像処理では、先ず、ステップＳＴ１０で、光電変換素子制御回路６２Ａは、光電変換素子６１に対して露光を開始させるタイミング（以下、「露光開始タイミング」と称する）が到来したか否かを判定する。露光開始タイミングは、上述した撮像フレームレートによって周期的に規定されたタイミングである。ステップＳＴ１０において、露光開始タイミングが到来していない場合は、判定が否定されて、撮像処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、露光開始タイミングが到来した場合は、判定が肯定されて、撮像処理はステップＳＴ１２へ移行する。
【０１０６】
ステップＳＴ１２で、光電変換素子制御回路６２Ａは、光電変換素子６１に対して１フレーム分の露光を行わせる。
【０１０７】
次のステップＳＴ１４で、光電変換素子制御回路６２Ａは、光電変換素子６１から１フレーム分の撮像画像データ７０を読み出す。
【０１０８】
次のステップＳＴ１６で、デジタル処理回路６２Ｂは、ステップＳＴ１４で読み出された撮像画像データ７０に対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ７０をデジタル化する。そして、デジタル処理回路６２Ｂは、デジタル化した撮像画像データ７０をメモリ６４に記憶する。
【０１０９】
次のステップＳＴ１８で、画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を左側画像データ７０Ａ１（図６参照）と右側画像データ７０Ｂ１（図６参照）とに分離する。画像処理回路６２Ｃは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路６２Ｄに出力する。
【０１１０】
次のステップＳＴ２０で、出力回路６２Ｄは、左側画像データ７０Ａ１を、第１出力ライン５３（図３〜図６及び図８参照）を介して第１信号処理部５０に出力する。また、出力回路６２Ｄは、右側画像データ７０Ｂ１を、第２出力ライン５５（図３〜図６及び図８参照）を介して第２信号処理部５２に出力する。
【０１１１】
次のステップＳＴ２２で、処理回路６２は、撮像処理を終了する条件（以下、「撮像処理終了条件」と称する）を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
【０１１２】
次に、第１信号処理部５０によって実行される第１信号処理の流れについて図１１を参照しながら説明する。
【０１１３】
図１１に示す第１信号処理では、ステップＳＴ３０で、第１信号処理部５０は、処理回路６２から左側画像データ７０Ａ１（図６参照）が入力されたか否かを判定する。ステップＳＴ３０において、処理回路６２から左側画像データ７０Ａ１が入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ４２へ移行する。ステップＳＴ３０において、処理回路６２から左側画像データ７０Ａ１が入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ３２へ移行する。
【０１１４】
ステップＳＴ３２で、第１信号処理部５０は、左側画像データ７０Ａ１に対して特定の信号処理を施す。
【０１１５】
次のステップＳＴ３４で、第１信号処理部５０は、図１２に示す第２信号処理のステップＳＴ５４の処理が実行されることで送信される右側画像データ７０Ｂ１（図６参照）を受信したか否かを判定する。ステップＳＴ３４において、右側画像データ７０Ｂ１を受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ４０へ移行する。ステップＳＴ３４において、右側画像データ７０Ｂ１を受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ３６へ移行する。
【０１１６】
ステップＳＴ４０で、第１信号処理部５０は、第１信号処理を終了する条件（以下、「第１信号処理終了条件」と称する）を満足したか否かを判定する。第１信号処理終了条件としては、例えば、第１信号処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ４０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ３４へ移行する。ステップＳＴ４０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０１１７】
ステップＳＴ３６で、第１信号処理部５０は、ステップＳＴ３２の処理が実行されることで得られた左側画像データ７０Ａ１と、ステップＳＴ３４で受信した右側画像データ７０Ｂ１とを合成する合成処理を行うことで合成画像データ７２（図６参照）を生成する。
【０１１８】
次のステップＳＴ３８で、第１信号処理部５０は、ステップＳＴ３６の処理が実行されることで得られた合成画像データ７２を、通信ライン６０（図６及び図８参照）を介してコントローラ４６（図６参照）に出力する。
【０１１９】
次のステップＳＴ４２で、第１信号処理部５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ４２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ３０へ移行する。ステップＳＴ４２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０１２０】
次に、第２信号処理部５２によって実行される第２信号処理の流れについて図１２を参照しながら説明する。
【０１２１】
図１２に示す第２信号処理では、ステップＳＴ５０で、第２信号処理部５２は、処理回路６２から右側画像データ７０Ｂ１（図６参照）が入力されたか否かを判定する。ステップＳＴ５０において、処理回路６２から右側画像データ７０Ｂ１が入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ５６へ移行する。ステップＳＴ５０において、処理回路６２から右側画像データ７０Ｂ１が入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ５２へ移行する。
【０１２２】
ステップＳＴ５２で、第２信号処理部５２は、右側画像データ７０Ｂ１に対して特定の信号処理を施す。
【０１２３】
次のステップＳＴ５４で、第２信号処理部５２は、ステップＳＴ５２の処理が実行されることで得られた右側画像データ７０Ｂ１を、通信ライン５８（図３〜図６及び図８参照）を介して第１信号処理部５０に送信する。
【０１２４】
次のステップＳＴ５６で、第２信号処理部５２は、第２信号処理を終了する条件（以下、「第２信号処理終了条件」と称する）を満足したか否かを判定する。第２信号処理終了条件としては、例えば、第２信号処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ５６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ５０へ移行する。ステップＳＴ５６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
【０１２５】
以上説明したように、撮像装置１０は、撮像素子４４、第１信号処理部５０、及び第２信号処理部５２を備えている。また、撮像素子４４は、出力回路６２Ｄを備えている。左側画像データ７０Ａ１は、出力回路６２Ｄによって第１出力ライン５３を介して第１信号処理部５０に出力され、右側画像データ７０Ｂ１は、出力回路６２Ｄによって第２出力ライン５５を介して第２信号処理部５２に出力される。そして、特定の信号処理が各々施された左側画像データ７０Ａ１及び右側画像データ７０Ｂ１が第１信号処理部５０によって合成され、合成されて得られた合成画像データ７２がコントローラ４６に出力される。
【０１２６】
そのため、１系統の出力ラインのみを用いて第１信号処理部５０及び第２信号処理部５２に撮像画像データ７０が出力される場合に比べ、撮像素子４４と第１信号処理部５０及び第２信号処理部５２の各々との間のトラフィックが小さくなる。
【０１２７】
また、第１信号処理部５０及び第２信号処理部５２の各々が特定の信号処理を行う対象である画像データのデータ量は、撮像画像データ７０よりも少ない。そのため、第１信号処理部５０又は第２信号処理部５２のみが撮像画像データ７０の全体に対して特定の信号処理を行う場合に比べ、特定の信号処理を実行する場合の第１信号処理部５０及び第２信号処理部５２の各々にかかる負荷が軽減される。
【０１２８】
従って、撮像装置１０は、撮像素子４４から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
【０１２９】
また、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１の各々は、図７に示すように、左側画像７０Ａ１ａと右側画像７０Ｂ１ａとの間で重複領域７１を有する画像を示す画像データである。撮像画像が左右方向ＲＬ（図７参照）に単に二分されて得られた２つの画像が合成されると、２つの画像間の境界領域が顕在化する虞がある。しかし、図７に示すように、左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａの各々は重複領域７１を有している。そのため、撮像画像が左右方向ＲＬに単に二分されて得られた２つの画像が合成される場合に比べ、２つの画像間の境界領域が顕在化するという事態の発生を抑制することができる。
【０１３０】
また、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。
【０１３１】
また、図４に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１とメモリ６４との間での処理にかかる負荷を軽減することができる。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。
【０１３２】
また、図９に示すように、合成画像データ７２により示される画像がライブビュー画像１０２としてＣＰＵ４６Ａの制御下で第２ディスプレイ８６に表示される。これにより、合成画像データ７２により示される画像をユーザに視認させることができる。図９に示す例では、第２ディスプレイ８６にライブビュー画像１０２が表示されているが、本開示の技術はこれに限定されるものではない。例えば、ライブビュー画像１０２が第１ディスプレイ３２に表示されるようにしてもよいし、第１ディスプレイ３２及び第２ディスプレイ８６の双方にライブビュー画像１０２が表示されるようにしてもよい。
【０１３３】
なお、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。
【０１３４】
上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０は、撮像画像のうちの上側領域の画像を示す上側画像データと、撮像画像のうちの下側領域の画像を示す下側画像データとに分離されるようにしてもよい。また、撮像画像データ７０は、撮像画像のうちの左上側領域の画像を示す左上側画像データと、撮像画像のうちの右下側領域の画像を示す右下側画像データとに分離されるようにしてもよい。また、撮像画像データ７０は、撮像画像のうちの右上側領域の画像を示す右上側画像データと、撮像画像のうちの左下側領域の画像を示す左下側画像データとに分離されるようにしてもよい。更に、撮像画像データ７０は、撮像画像のうちの中央領域の画像を示す中央画像データと、撮像画像のうちの周辺領域、すなわち、中央領域以外の領域の画像を示す周辺画像データとに分離されるようにしてもよい。
【０１３５】
このように撮像画像データ７０が分離される場合であっても、撮像画像データ７０が分離されることで得られた一対の画像データの各々は、撮像画像が分離された２つの画像間で分離方向に重複した画像を示す重複画像データを含む画像データであることが好ましい。
【０１３６】
［第２実施形態］
上記第１実施形態では、第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂの各々に対して同一の信号処理が行われる場合について説明したが、本第２実施形態では、第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに対して差別的な信号処理が行われる場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
【０１３７】
図１に示すように、本第２実施形態に係る撮像装置２００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体２１２を有する点が異なる。
【０１３８】
撮像装置本体２１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子２４４（図１３参照）を有する点が異なる。また、撮像装置本体２１２は、撮像装置本体１２に比べ、第１信号処理部５０に代えて第１信号処理部２５０（図１３参照）を有する点、及び第２信号処理部５２に代えて第２信号処理部２５２（図１３参照）を有する点が異なる。
【０１３９】
図１３に示すように、撮像素子２４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路２６２を有する点が異なる。処理回路２６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路２６２Ｃを有する点、及び、出力回路６２Ｄに代えて出力回路２６２Ｄを有する点が異なる。
【０１４０】
画像処理回路２６２Ｃは、画像処理回路６２Ｃに比べ、顔検出回路２６２Ｃ１を有する点が異なる。顔検出回路２６２Ｃ１は、本開示の技術に係る「検出部（検出プロセッサ）」の一例である。顔検出回路２６２Ｃ１は、公知の顔検出機能を有する回路である。顔検出回路２６２Ｃ１は、ＡＳＩＣ等によるハードウェア構成によって実現される。なお、顔検出回路２６２Ｃ１は、ハードウェア構成に限らず、ソフトウェア構成によって実現されるようにしてもよいし、ソフトウェア構成及びハードウェア構成によって実現されるようにしてもよい。本第２実施形態において、顔検出回路２６２Ｃ１は、メモリ６４から撮像画像データ７０を取得する。顔検出回路２６２Ｃ１は、取得した撮像画像データ７０により示される撮像画像のうち、人間の顔を示す顔画像６９（図１４Ａ参照）を特定する。すなわち、顔検出回路２６２Ｃ１は、撮像画像データ７０から、顔画像６９を示す顔画像データを検出する。
【０１４１】
そして、顔検出回路２６２Ｃ１は、特定した顔画像６９を含む既定範囲内の顔領域画像７０Ｂ２ａ（図１４Ａ参照）を示す顔領域画像データ７０Ｂ２を撮像画像データ７０から抽出することで、撮像画像データ７０を顔領域画像データ７０Ｂ２と背景領域画像データ７０Ａ２とに分離する。
【０１４２】
背景領域画像データ７０Ａ２とは、撮像画像のうち、背景領域の画像、すなわち、顔領域画像７０Ｂ２ａ以外の画像を示す画像データを指す。また、上記の既定範囲とは、例えば、撮像画像における顔画像６９（図１４Ａ参照）の位置、及び顔画像６９の大きさと撮像画像のうちの顔画像６９以外の画像の大きさとの相違度等に応じて定められる範囲を指す。図１４Ａに示す例では、撮像画像のうちの中央領域に顔画像６９が位置しており、この場合、撮像画像は、中央領域と上側領域と下側領域との３つの領域に分離される。そして、中央領域の画像が顔領域画像７０Ｂ２ａとして特定され、上側領域の画像及び下側領域の画像、すなわち、撮像画像のうちの中央領域以外の画像が背景領域画像７０Ａ２ａとして特定される。
【０１４３】
図１４Ａに示す例では、顔画像６９として、２人分の顔を示す画像が示されている。顔画像６９は、撮像画像のうち、複数人分の顔の密集度が最も高い領域を特定する画像である。なお、本開示の技術はこれに限定されず、例えば、顔画像６９に代えて、１人分の顔を示す顔画像を適用してもよいし、特定の表情の顔（例えば、笑顔）を示す顔画像を適用してもよいし、特定人物の顔を示す顔画像を適用してもよい。
【０１４４】
図１３に示すように、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２は、画像処理回路２６２Ｃによって出力回路２６２Ｄに出力される。なお、背景領域画像データ７０Ａ２は、上述した第１分離画像データ７０Ａの一例であり、顔領域画像データ７０Ｂ２は、上述した第２分離画像データ７０Ｂの一例である。また、顔領域画像７０Ｂ２ａは、本開示の技術に係る「指定された画像」の一例であり、背景領域画像７０Ａ２ａは、本開示の技術に係る「指定された画像とは異なる画像」の一例である。
【０１４５】
出力回路２６２Ｄは、出力回路６２Ｄに比べ、左側画像データ７０Ａ１に代えて背景領域画像データ７０Ａ２を出力する点、及び、右側画像データ７０Ｂ１に代えて顔領域画像データ７０Ｂ２を出力する点が異なる。
【０１４６】
具体的には、出力回路２６２Ｄは、背景領域画像データ７０Ａ２を、第１出力ライン５３を介して第１信号処理部２５０に出力する。また、出力回路２６２Ｄは、顔領域画像データ７０Ｂ２を、第２出力ライン５５を介して第２信号処理部２５２に出力する。
【０１４７】
第１信号処理部２５０は、第１信号処理部５０に比べ、信号処理回路５０Ｂに代えて信号処理回路２５０Ｂを有する点が異なる。
【０１４８】
出力回路２６２Ｄから出力された背景領域画像データ７０Ａ２は、バッファ５０Ａに一旦保持され、バッファ５０Ａから信号処理回路２５０Ｂに出力される。そして、信号処理回路２５０Ｂは、バッファ５０Ａから入力された背景領域画像データ７０Ａ２に対して特定の信号処理を施す。
【０１４９】
第２信号処理部２５２は、第２信号処理部５２に比べ、信号処理回路５２Ｂに代えて第２信号処理回路２５２Ｂを有する点が異なる。信号処理回路２５２Ｂは、信号処理回路５２Ｂに比べ、顔認証処理回路２５２Ｂ１を有する点が異なる。
【０１５０】
出力回路２６２Ｄから出力された顔領域画像データ７０Ｂ２は、バッファ５２Ａに一旦保持され、バッファ５２Ａから信号処理回路２５２Ｂに出力される。そして、信号処理回路２５２Ｂは、バッファ５２Ａから入力された顔領域画像データ７０Ｂ２に対して特定の信号処理を施す。顔認証処理回路２５２Ｂ１は、公知の顔認証機能を有しており、特定の信号処理が施された顔領域画像データ７０Ｂ２に対して顔認証を実行する。顔認証が実行されることで、例えば、顔画像６９（図１４Ａ参照）により示される顔が特定の表示（例えば、笑顔）であるか否かの判定、及び／又は、顔画像６９により示される顔が特定の人物の顔であるか否かの判定が行われる。
【０１５１】
顔認証処理回路２５２Ｂ１は、顔認証が実行された顔領域画像データ７０Ｂ２を送信回路５２Ｃに出力する。顔領域画像データ７０Ｂ２には、顔認証の結果を示す顔認証結果情報が付与されており、後段回路での処理に供される。ここで言う「後段回路」とは、例えば、第１信号処理部２５０及び／又はコントローラ４６を指す。
【０１５２】
送信回路５２Ｃは、顔認証処理回路２５２Ｂ１から入力された顔領域画像データ７０Ｂ２を第１信号処理部２５０に送信する。
【０１５３】
第１信号処理部２５０では、受信回路５０Ｃが、送信回路５２Ｃから送信された顔領域画像データ７０Ｂ２を受信する。そして、信号処理回路２５０Ｂが、受信回路５０Ｃによって受信された顔領域画像データ７０Ｂ２と、信号処理回路２５０Ｂによって特定の信号処理が施された背景領域画像データ７０Ａ２とを合成し、合成画像データ２７２を生成する。そして、信号処理回路２５０Ｂは、合成画像データ２７２を、通信ライン６０を介してコントローラ４６に出力する。
【０１５４】
なお、背景領域画像７０Ａ２ａ及び顔領域画像７０Ｂ２ａは、一例として図１４Ｂに示すように、重複領域２７１を有していてもよい。重複領域２７１は、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間で上下方向ＵＤに重複する領域である。上記第１実施形態で説明した重複領域７１と同様に、重複領域２７１の上下方向ＵＤの画素数は、例えば、数十画素〜数百画素であればよい。背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２が第１信号処理部２５０によって合成される場合、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２の各々の重複領域２７１を示す各画像データは、上記第１実施形態と同様に加算平均される。
【０１５５】
次に、撮像装置２００の作用について説明する。
【０１５６】
先ず、撮像素子２４４の処理回路２６２によって実行される撮像処理の流れについて図１５を参照しながら説明する。なお、図１５に示す撮像処理は、図１０に示す撮像処理に比べ、ステップＳＴ１８の処理に代えてステップＳＴ６０の処理を有する点、及びステップＳＴ２０の処理に代えてステップＳＴ６２を有する点が異なる。そのため、図１５に示す撮像処理のフローチャートには、図１０に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図１５に示す撮像処理については、図１０に示す撮像処理と異なる点のみを説明する。
【０１５７】
図１５に示す撮像処理では、ステップＳＴ６０で、顔検出回路２６２Ｃ１は、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離する。そして、画像処理回路２６２Ｃは、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２を出力回路２６２Ｄに出力する。
【０１５８】
次のステップＳＴ６２で、出力回路２６２Ｄは、背景領域画像データ７０Ａ２を、第１出力ライン５３を介して第１信号処理部２５０に出力する。また、出力回路２６２Ｄは、顔領域画像データ７０Ｂ２を、第２出力ライン５５を介して第２信号処理部２５２に出力する。
【０１５９】
次に、第１信号処理部２５０によって実行される第１信号処理の流れについて図１６を参照しながら説明する。
【０１６０】
図１６に示す第１信号処理では、ステップＳＴ７０で、第１信号処理部２５０は、処理回路２６２から背景領域画像データ７０Ａ２（図１３参照）が入力されたか否かを判定する。ステップＳＴ７０において、処理回路２６２から背景領域画像データ７０Ａ２が入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ８２へ移行する。ステップＳＴ７０において、処理回路２６２から背景領域画像データ７０Ａ２が入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ７２へ移行する。
【０１６１】
ステップＳＴ７２で、第１信号処理部２５０は、背景領域画像データ７０Ａ２に対して特定の信号処理を施す。
【０１６２】
次のステップＳＴ７４で、第１信号処理部２５０は、図１７に示す第２信号処理のステップＳＴ９４の処理が実行されることで送信される顔領域画像データ７０Ｂ２（図１３参照）を受信したか否かを判定する。ステップＳＴ７４において、顔領域画像データ７０Ｂ２を受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ８０へ移行する。ステップＳＴ７４において、顔領域画像データ７０Ｂ２を受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ７６へ移行する。
【０１６３】
ステップＳＴ８０で、第１信号処理部２５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ８０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ７４へ移行する。ステップＳＴ８０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０１６４】
ステップＳＴ７６で、第１信号処理部２５０は、ステップＳＴ７２の処理が実行されることで得られた背景領域画像データ７０Ａ２と、ステップＳＴ７４で受信した顔領域画像データ７０Ｂ２とを合成する合成処理を行うことで合成画像データ２７２（図１３参照）を生成する。
【０１６５】
次のステップＳＴ７８で、第１信号処理部２５０は、ステップＳＴ７６の処理が実行されることで得られた合成画像データ２７２を、通信ライン６０（図１３参照）を介してコントローラ４６（図１３参照）に出力する。
【０１６６】
次のステップＳＴ８２で、第１信号処理部２５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ８２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ７０へ移行する。ステップＳＴ８２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０１６７】
次に、第２信号処理部２５２によって実行される第２信号処理の流れについて図１７を参照しながら説明する。
【０１６８】
図１７に示す第２信号処理では、ステップＳＴ９０で、第２信号処理部２５２は、処理回路２６２から顔領域画像データ７０Ｂ２（図１３参照）が入力されたか否かを判定する。ステップＳＴ９０において、処理回路２６２から顔領域画像データ７０Ｂ２が入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ９６へ移行する。ステップＳＴ９０において、処理回路２６２から顔領域画像データ７０Ｂ２が入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ９２へ移行する。
【０１６９】
ステップＳＴ９２で、第２信号処理部２５２は、顔領域画像データ７０Ｂ２に対して特定の信号処理を施す。また、第２信号処理部２５２は、特定の信号処理を施した顔領域画像データ７０Ｂ２に対して顔認証を実行する。
【０１７０】
次のステップＳＴ９４で、第２信号処理部２５２は、ステップＳＴ９２の処理が実行されることで得られた顔領域画像データ７０Ｂ２を、通信ライン５８（図１３参照）を介して第１信号処理部２５０に送信する。なお、ステップＳＴ９２の処理が実行されることで得られた顔領域画像データ７０Ｂ２には、顔認証結果情報が付与されている。
【０１７１】
次のステップＳＴ９６で、第２信号処理部２５２は、第２信号処理終了条件を満足したか否かを判定する。ステップＳＴ９６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ９０へ移行する。ステップＳＴ９６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
【０１７２】
以上説明したように、撮像装置２００では、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離される。そして、背景領域画像データ７０Ａ２が第１出力ライン５３を介して第１信号処理部２５０に出力され、顔領域画像データ７０Ｂ２が第２出力ライン５５を介して第２信号処理部２５２に出力される。
【０１７３】
一般的に、顔領域画像データ７０Ｂ２は背景領域画像データ７０Ａ２よりも重視される画像データであるため、第２信号処理部２５２では、顔領域画像データ７０Ｂ２に対して背景領域画像データ７０Ａ２よりも複雑な処理が施される。本第２実施形態では、複雑な処理として顔認証が実行されている。そして、特定の信号処理が施された背景領域画像データ７０Ａ２、及び特定の信号処理に加えて顔認証が実行された顔領域画像データ７０Ｂ２が第１信号処理部２５０によって合成される。
【０１７４】
このように、第１信号処理部２５０と第２信号処理部２５２とで異なる複雑度の処理が実行されるので、撮像画像データ７０の全体に対して常に複雑な処理が実行される場合に比べ、画像処理に要する負荷を軽減することができる。
【０１７５】
また、図１４Ｂに示すように、上下方向ＵＤに隣接する背景領域画像７０Ａ２ａ及び顔領域画像７０Ｂ２ａの各々が、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間に重複領域２７１を有している。これにより、信号処理回路２５０Ｂでは、単に二分して得た２つの画像を繋ぎ合せる場合に比べ、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間の境界領域の顕在化が抑制された合成画像データ２７２が生成される。
【０１７６】
なお、上記第２実施形態では、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０のうち、ユーザによって受付部８４を介して指定された画像データが第２信号処理部２５２に出力され、撮像画像データ７０のうちの残りの画像データが第１信号処理部２５０に出力されるようにしてもよい。ユーザによって指定された画像データとは、例えば、撮像画像データ７０のうち、受付部８４によって受け付けられた指示に従って重要な画像データとして画定された画像データを指す。重要な画像データとは、例えば、ユーザが注目する人物及び／又は建物等の画像が含まれている部分領域を示す画像データを指す。
【０１７７】
この場合も、ユーザによって指定された画像データにより示される画像と、撮像画像データ７０のうちの残りの画像データにより示される画像との間で、重複領域２７１に相当する重複領域が設けられることが好ましい。これにより、信号処理回路２５０Ｂでは、単に二分した２つの画像を繋ぎ合せる場合に比べ、指定された画像データにより示される画像と、残りの画像データにより示される画像との境界領域の顕在化が抑制された合成画像データが生成される。
【０１７８】
また、上記第２実施形態では、複雑の処理の一例として顔認証を例示したが、本開示の技術はこれに限定されない。複雑な処理としては、例えば、人間の瞳を検出する瞳検出処理、赤目を補正する赤目補正処理、及び／又は、電子式のぶれ補正処理（例えば、ＥＩＳ）等が挙げられる。
【０１７９】
［第３実施形態］
上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例について説明したが、本第３実施形態では、撮像画像データ７０を圧縮してから２つの画像データに分離する形態例について説明する。なお、本第３実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
【０１８０】
図１に示すように、本第３実施形態に係る撮像装置３００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体３１２を有する点が異なる。
【０１８１】
撮像装置本体３１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子３４４（図１８参照）を有する点、及び、第１信号処理部５０に代えて第１信号処理部３５０（図１８参照）を有する点が異なる。第１信号処理部３５０は、第１信号処理部５０に比べ、信号処理回路５０Ｂに代えて信号処理回路３５０Ｂを有する点が異なる。
【０１８２】
図１８に示すように、撮像素子３４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路３６２を有する点が異なる。処理回路３６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路３６２Ｃを有する点、及び、出力回路６２Ｄに代えて出力回路３６２Ｄを有する点が異なる。
【０１８３】
画像処理回路３６２Ｃは、メモリ６４から撮像画像データ７０を取得する。画像処理回路３６２Ｃによってメモリ６４から取得された撮像画像データ７０は、Ｒ画素、Ｇ画素、及びＢ画素が周期的に配列されたカラー画像データである。一例として図１９に示すように、撮像画像データ７０では、Ｒ画素、Ｇ画素、及びＢ画素がＸ−Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、Ｒ画素、Ｇ画素、及びＢ画素は、本開示の技術に係る「複数の原色画素」の一例である。
【０１８４】
図１９に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目〜６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって撮像画像データ７０の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
【０１８５】
画像処理回路３６２Ｃは、メモリ６４から取得した撮像画像データ７０を圧縮する。すなわち、画像処理回路３６２Ｃは、撮像画像データ７０から垂直間引画像データ７３を生成する。垂直間引画像データ７３は、撮像画像データ７０が行単位で間引きされて得られた画像データである。具体的には、一例として図１９に示すように、垂直間引画像データ７３は、撮像画像データ７０により示される撮像画像から列方向に偶数行のラインの画素を間引くことによって得られた垂直１／２間引き画像を示す画像データである。
【０１８６】
画像処理回路３６２Ｃは、垂直間引画像データ７３を奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離し、分離して得た奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを出力回路３６２Ｄに出力する。なお、ここでは、撮像画像データ７０が間引きされてから分割されることで複数の分割画像データとして奇数列画像データ７３Ａと偶数列画像データ７３Ｂとが得られる形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０が直接分割されることで複数の分割画像データが得られるようにしてもよい。
【０１８７】
一例として図２０及び図２１に示すように、奇数列画像データ７３Ａは、垂直間引画像データ７３により示される垂直１／２間引き画像から偶数列のラインの画素を間引くことによって得られた奇数列画像を示す画像データである。すなわち、奇数列画像データ７３Ａは、垂直１／２間引き画像のうち、奇数列の画素の集合を示す画像データである。また、一例として図２０及び図２１に示すように、偶数列画像データ７３Ｂは、垂直間引画像データ７３により示される垂直１／２間引き画像から奇数列のラインの画素を間引くことによって得られた偶数列画像を示す画像データである。すなわち、偶数列画像データ７３Ｂは、垂直１／２間引き画像のうち、偶数列の画素の集合を示すカラー画像データである。換言すると、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂの各々は、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示すカラー画像データである。なお、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂは、本開示の技術に係る「複数の原色画素配列画像データ」及び「複数の分割画像データ」の一例である。
【０１８８】
出力回路３６２Ｄは、画像処理回路３６２Ｃから入力された奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部３５０に出力する。また、出力回路３６２Ｄは、画像処理回路３６２Ｃから入力された偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
【０１８９】
第２信号処理部５２では、上記第１実施形態で説明した右側画像データ７０Ｂ１に対して行われた処理と同様の処理が偶数列画像データ７３Ｂに対して行われ、処理後の偶数列画像データ７３Ｂが第１信号処理部３５０に送信される。
【０１９０】
第１信号処理部３５０では、受信回路５０Ｃが、第２信号処理部５２から送信された偶数列画像データ７３Ｂを受信する。信号処理回路３５０Ｂは、受信回路５０Ｃによって受信された偶数列画像データ７３Ｂを取得する。
【０１９１】
一方、奇数列画像データ７３Ａはバッファ５０Ａに入力される。バッファ５０Ａは、奇数列画像データ７３Ａを一旦保持し、ＦＩＦＯ方式で信号処理回路３５０Ｂに出力する。信号処理回路３５０Ｂは、バッファ５０Ａから入力された奇数列画像データ７３Ａに対して特定の信号処理を施す。また、信号処理回路３５０Ｂは、特定の信号処理を施した奇数列画像データ７３Ａと受信回路５０Ｃから取得した偶数列画像データ７３Ｂとを合成することで合成画像データ３７２を生成する。この結果、合成画像データ３７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、上述した垂直１／２間引き画像と同様の配列パターンとなる。すなわち、合成画像データ３７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、Ｒ画素、Ｇ画素、及びＢ画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
【０１９２】
そこで、信号処理回路３５０Ｂは、合成画像データ３７２に対して、Ｒ，Ｇ，Ｂ信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ３７２を、通信ライン６０を介してコントローラ４６に出力する。
【０１９３】
次に、撮像装置３００の作用について説明する。
【０１９４】
先ず、撮像素子３４４の処理回路３６２によって実行される撮像処理の流れについて図２２を参照しながら説明する。なお、図２２に示す撮像処理は、図１０に示す撮像処理に比べ、ステップＳＴ１８の処理に代えてステップＳＴ１００の処理を有する点、及びステップＳＴ２０の処理に代えてステップＳＴ１０２を有する点が異なる。そのため、図２２に示す撮像処理のフローチャートには、図１０に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２２に示す撮像処理については、図１０に示す撮像処理と異なる点のみを説明する。
【０１９５】
図２２に示す撮像処理では、ステップＳＴ１００で、画像処理回路３６２Ｃは、撮像画像データ７０から垂直間引画像データ７３（図１８〜図２１参照）を生成する。そして、画像処理回路３６２Ｃは、生成した垂直間引画像データ７３から奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを生成する。すなわち、垂直間引画像データ７３が奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離される（図２０及び図２１参照）。
【０１９６】
次のステップＳＴ１０２で、出力回路３６２Ｄは、奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部３５０に出力する。また、出力回路３６２Ｄは、偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
【０１９７】
次に、第１信号処理部３５０によって実行される第１信号処理の流れについて図２３を参照しながら説明する。
【０１９８】
図２３に示す第１信号処理では、ステップＳＴ２１０で、第１信号処理部３５０は、処理回路３６２から奇数列画像データ７３Ａ（図１８参照）が入力されたか否かを判定する。ステップＳＴ２１０において、処理回路３６２から奇数列画像データ７３Ａが入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ２２２へ移行する。ステップＳＴ２１０において、処理回路３６２から奇数列画像データ７３Ａが入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ２１２へ移行する。
【０１９９】
ステップＳＴ２１２で、第１信号処理部３５０は、奇数列画像データ７３Ａに対して特定の信号処理を施す。
【０２００】
次のステップＳＴ２１４で、第１信号処理部３５０は、図２４に示す第２信号処理のステップＳＴ２３４の処理が実行されることで送信される偶数列画像データ７３Ｂ（図１８参照）を受信したか否かを判定する。ステップＳＴ２１４において、偶数列画像データ７３Ｂを受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ２２０へ移行する。ステップＳＴ２１４において、偶数列画像データ７３Ｂを受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ２１６へ移行する。
【０２０１】
ステップＳＴ２２０で、第１信号処理部３５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ２２０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ２１４へ移行する。ステップＳＴ２２０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０２０２】
ステップＳＴ２１６で、第１信号処理部３５０は、ステップＳＴ２１２の処理が実行されることで得られた奇数列画像データ７３Ａと、ステップＳＴ２１４で受信した偶数列画像データ７３Ｂとを合成する合成処理を行うことで合成画像データ３７２（図１８参照）を生成する。そして、第１信号処理部３５０は、合成画像データ３７２に対してデモザイク処理を行う。
【０２０３】
次のステップＳＴ２１８で、第１信号処理部３５０は、ステップＳＴ２１６の処理が実行されることで得られた合成画像データ３７２を、通信ライン６０（図１８参照）を介してコントローラ４６（図１８参照）に出力する。
【０２０４】
次のステップＳＴ２２２で、第１信号処理部３５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ２２２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ２１０へ移行する。ステップＳＴ２２２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
【０２０５】
次に、第２信号処理部５２によって実行される第２信号処理の流れについて図２４を参照しながら説明する。
【０２０６】
図２４に示す第２信号処理では、ステップＳＴ２３０で、第２信号処理部５２は、処理回路３６２から偶数列画像データ７３Ｂ（図１８参照）が入力されたか否かを判定する。ステップＳＴ２３０において、処理回路３６２から偶数列画像データ７３Ｂが入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ２３６へ移行する。ステップＳＴ２３０において、処理回路３６２から偶数列画像データ７３Ｂが入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ２３２へ移行する。
【０２０７】
ステップＳＴ２３２で、第２信号処理部５２は、偶数列画像データ７３Ｂに対して特定の信号処理を施す。
【０２０８】
次のステップＳＴ２３４で、第２信号処理部５２は、ステップＳＴ２３２の処理が実行されることで得られた偶数列画像データ７３Ｂを、通信ライン５８（図１８参照）を介して第１信号処理部３５０に送信する。
【０２０９】
次のステップＳＴ２３６で、第２信号処理部５２は、第２信号処理終了条件を満足したか否かを判定する。ステップＳＴ２３６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ２３０へ移行する。ステップＳＴ２３６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
【０２１０】
以上説明したように、本第３実施形態では、撮像画像データ７０は、複数の原色画素であるＲ画素、Ｇ画素、及びＢ画素が周期的に配列されたカラー撮像画像を示すカラー画像データである。また、撮像画像データ７０は、複数の画像データとして複数の原色画素配列画像データに分けられる。図１８及び図２０に示す例では、複数の原色画素配列画像データとして、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂが示されている。また、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂの各々は、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示す画像データである。奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂのように、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示す画像データを用いることで、Ｒ画素、Ｇ画素、及びＢ画素についてのデモザイク処理を実現することが可能となる。
【０２１１】
また、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂは、図１８〜図１９に示すように、垂直間引画像データ７３から分割されることで得られた画像データである。垂直間引画像データ７３は、撮像画像データ７０よりもデータ量が少ない。従って、撮像画像データ７０が間引かれることなく分割されて得られた２つの画像データの一方に対して特定の信号処理が施される場合に比べ、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対する特定の信号処理を高速に行うことができる。
【０２１２】
また、奇数列画像データ７３Ａは、垂直１／２間引き画像のうちの奇数列の画素の集合を示す画像データであり、偶数列画像データ７３Ｂは、垂直１／２間引き画像のうちの偶数列の画素の集合を示す画像データである。垂直１／２間引き画像が不規則に分割されて得られた複数の画像データに対する特定の信号処理及び合成は、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対する処理に比べ、処理内容が複雑化する。従って、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対しては、垂直１／２間引き画像が不規則に分割されて得られた複数の画像データに対する処理に比べ、高速な処理を実現することができる。
【０２１３】
また、第１信号処理部３５０は、奇数列画像データ７３Ａと偶数列画像データ７３Ｂとを合成して得た合成画像データ３７２に対してデモザイク処理を行うので、デモザイク処理を行わない場合に比べ、高画質な画像を得ることができる。
【０２１４】
なお、上記第３実施形態では、第１信号処理部３５０がＤＲＡＭ５４を使用し、第２信号処理部５２がＤＲＡＭ５６を使用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２５に示すように、ＤＲＡＭ５４，５６を使用せずに、第１信号処理部３５０に代えて第１信号処理部７５０を適用し、第２信号処理部５２に代えて第２信号処理部７５２を適用してもよい。図２５に示す例では、第１信号処理部７５０は、第１信号処理部３５０に比べ、ラインメモリ７５０Ａを有する点、及びＤＲＡＭ５４を使用しない点が異なる。また、第２信号処理部７５２は、第２信号処理部５２に比べ、ラインメモリ７５２Ａを有する点、及びＤＲＡＭ５６を使用しない点が異なる。
【０２１５】
第１信号処理部７５０において、ラインメモリ７５０Ａは、バッファ５０Ａと信号処理回路３５０Ｂとの間に介在している。バッファ５０Ａは、奇数列画像データ７３Ａをラインメモリ７５０Ａに出力する。ラインメモリ７５０Ａは、バッファ５０Ａから入力された奇数列画像データ７３Ａをライン単位で記憶し、信号処理回路３５０ＢにＦＩＦＯ方式で出力する。信号処理回路３５０Ｂは、上記第３実施形態で説明した処理を実行する。
【０２１６】
一方、第２信号処理部７５２において、ラインメモリ７５２Ａは、バッファ５２Ａと信号処理回路５２Ｂとの間に介在している。バッファ５２Ａは、偶数列画像データ７３Ｂをラインメモリ４５２Ａに出力する。ラインメモリ７５２Ａは、バッファ５２Ａから入力された偶数列画像データ７３Ｂをライン単位で記憶し、信号処理回路５２ＢにＦＩＦＯ方式で出力する。信号処理回路５２Ｂは、上記第３実施形態で説明した処理を実行する。
【０２１７】
また、上記第３実施形態では、圧縮画像データとして垂直１／２間引き画像を示す画像データを例示したが、本開示の技術はこれに限定されない。例えば、ｎを３以上の自然数とした場合、垂直１／ｎ間引き画像を示す画像データを圧縮画像データとして適用してもよい。また、列単位で間引いた水平間引き画像を示す画像データを圧縮画像データとして適用してもよいし、行単位及び列単位で間引いた画像を示す画像データを圧縮画像データとして適用してもよい。
【０２１８】
［第４実施形態］
上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例について説明したが、本第４実施形態では、動作モードに応じて撮像画像データ７０の分離方法を異ならせる形態例について説明する。なお、本第４実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
【０２１９】
図１に示すように、本第４実施形態に係る撮像装置４００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体４１２を有する点が異なる。
【０２２０】
撮像装置本体４１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子４４４（図２６参照）を有する点が異なる。撮像素子４４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路４６２を有する点が異なる。処理回路４６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路４６２Ｃを有する点、及び出力回路６２Ｄに代えて出力回路４６２Ｄを有する点が異なる。
【０２２１】
撮像装置本体４１２は、撮像装置本体１２に比べ、第１信号処理部５０に代えて第１信号処理部４５０（図２６参照）を有する点、及び第２信号処理部５２に代えて第２信号処理部４５２（図２６参照）を有する点が異なる。
【０２２２】
第１信号処理部４５０は、第１信号処理部５０に比べ、第１信号処理部５０が有する機能と上記第３実施形態で説明した第１信号処理部３５０が有する機能とを有する点が異なる。また、第１信号処理部４５０は、第１信号処理部５０に比べ、第１信号処理部５０が有する機能と第１信号処理部３５０が有する機能とを選択的に作動させる点が異なる。
【０２２３】
第２信号処理部４５２は、第２信号処理部５２に比べ、第２信号処理部５２が有する機能と上記第２実施形態で説明した第２信号処理部２５２が有する機能とを有する点が異なる。また、第２信号処理部４５２は、第２信号処理部５２に比べ、第２信号処理部５２が有する機能と上記第２実施形態で説明した第２信号処理部２５２が有する機能とを選択的に作動させる点が異なる。
【０２２４】
コントローラ４６は、静止画像用撮像モード信号４８０Ａ（図２６参照）と表示動画用撮像モード信号４８０Ｂ（図２７参照）とを選択的に通信ライン６０を介して処理回路４６２に出力する。例えば、静止画像用撮像モード信号４８０Ａは、撮像装置４００を静止画像用撮像モードにする指示が受付部８４によって受け付けられた場合に、コントローラ４６から出力される。また、例えば、表示動画用撮像モード信号４８０Ｂは、撮像装置４００を表示動画用撮像モードにする指示が受付部８４によって受け付けられた場合に、コントローラ４６から出力される。
【０２２５】
図２６に示すように、処理回路４６２は、コントローラ４６から通信ライン６０を介して静止画像用撮像モード信号４８０Ａが入力されると、画像処理回路４６２Ｃを上記第１実施形態で説明した画像処理回路６２Ｃと同様に作動させる。すなわち、処理回路４６２は、画像処理回路４６２Ｃに対して、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離させ、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路４６２Ｄに出力させる。左側画像データ７０Ａ１により示される左側画像７０Ａ１ａ及び右側画像データ７０Ｂ１により示される右側画像７０Ｂ１ａは、上記第１実施形態で説明した重複領域７１を有する。なお、本第４実施形態に係る左側画像データ７０Ａ１及び右側画像データ７０Ｂ１は、本開示の技術に係る「複数の重複画像データ」の一例である。
【０２２６】
図２６に示すように、出力回路４６２Ｄは、上記第１実施形態で説明した出力回路６２Ｄと同様に、左側画像データ７０Ａ１を、第１出力ライン５３を介して第１信号処理部４５０に出力する。また、出力回路４６２Ｄは、上記第１実施形態で説明した出力回路６２Ｄと同様に、右側画像データ７０Ｂ１を、第２出力ライン５５を介して第２信号処理部４５２に出力する。
【０２２７】
第１信号処理部４５０は、入力された左側画像データ７０Ａ１に対して特定の信号処理を施し、第２信号処理部４５２は、入力された右側画像データ７０Ｂ１に対して特定の信号処理を施し、特定の信号処理を施した右側画像データ７０Ｂ１を第１信号処理部４５０に出力する。
【０２２８】
第１信号処理部４５０は、特定の信号処理を施した左側画像データ７０Ａ１と、第２信号処理部４５２から入力された右側画像データ７０Ｂ１とを合成し、上記第１実施形態で説明した合成画像データ７２を生成する。第１信号処理部４５０は、生成した合成画像データ７２をコントローラ４６に出力する。
【０２２９】
一方、図２７に示すように、処理回路４６２は、コントローラ４６から通信ライン６０を介して表示動画用撮像モード信号４８０Ｂが入力されると、画像処理回路４６２Ｃを上記第３実施形態で説明した画像処理回路３６２Ｃと同様に作動させる。すなわち、処理回路４６２は、画像処理回路４６２Ｃに対して、撮像画像データ７０を垂直間引画像データ７３に圧縮してから、垂直間引画像データ７３を奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離させる。そして、処理回路４６２は、画像処理回路４６２Ｃに対して、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを出力回路４６２Ｄに出力させる。
【０２３０】
図２７に示すように、出力回路４６２Ｄは、上記第３実施形態で説明した出力回路３６２Ｄと同様に、奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部４５０に出力する。また、出力回路４６２Ｄは、上記第３実施形態で説明した出力回路３６２Ｄと同様に、偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部４５２に出力する。
【０２３１】
第１信号処理部４５０は、入力された奇数列画像データ７３Ａに対して特定の信号処理を施し、第２信号処理部４５２は、入力された偶数列画像データ７３Ｂに対して特定の信号処理を施し、特定の信号処理を施した偶数列画像データ７３Ｂを第１信号処理部４５０に出力する。
【０２３２】
第１信号処理部４５０は、特定の信号処理を施した奇数列画像データ７３Ａと、第２信号処理部４５２から入力された偶数列画像データ７３Ｂとを合成し、上記第３実施形態で説明した合成画像データ３７２を生成する。第１信号処理部４５０は、生成した合成画像データ３７２をコントローラ４６に出力する。
【０２３３】
次に、撮像装置３００の作用について説明する。
【０２３４】
先ず、撮像素子４４４の処理回路４６２によって実行される撮像処理の流れについて図２８を参照しながら説明する。なお、ここでは、説明の便宜上、撮像装置４００が静止画像用撮像モード又は表示動画用撮像モードが設定されていることを前提して説明する。
【０２３５】
図２８に示す撮像処理では、先ず、ステップＳＴ３００で、画像処理回路４６２Ｃは、撮像装置４００が静止画像用撮像モードか否かを判定する。ステップＳＴ３００において、撮像装置４００が静止画像用撮像モードでない場合、すなわち、撮像装置４００が表示動画用撮像モードの場合は、判定が否定されて、撮像処理はステップＳＴ３０４へ移行する。ステップＳＴ３００において、撮像装置４００が静止画像用撮像モードの場合は、判定が肯定されて、撮像処理はステップＳＴ３０２へ移行する。
【０２３６】
ステップＳＴ３０２で、処理回路４６２は、静止画用撮像処理を実行し、その後、撮像処理はステップＳＴ３０６へ移行する。静止画用撮像処理は、上記第１実施形態で説明した撮像処理（図１０参照）と同様の処理である。
【０２３７】
ステップＳＴ３０４で、処理回路４６２は、表示動画用撮像処理を実行し、その後、撮像処理はステップＳＴ３０６へ移行する。表示動画用撮像処理は、上記第３実施形態で説明した撮像処理（図２２参照）と同様の処理である。
【０２３８】
ステップＳＴ３０６で、処理回路４６２は、撮像処理終了条件を満足したか否かを判定する。ステップＳＴ３０６において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ３００へ移行する。ステップＳＴ３０６において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
【０２３９】
なお、静止画像用撮像モードにおいて、第１信号処理部４５０では、上記第１実施形態で説明した第１信号処理（図１１参照）と同様の処理が実行される。また、静止画像用撮像モードにおいて、第２信号処理部４５２では、上記第１実施形態で説明した第２信号処理（図１２参照）と同様の処理が実行される。
【０２４０】
一方、表示動画用撮像モードにおいて、第１信号処理部４５０では、上記第３実施形態で説明した第１信号処理（図２３）と同様の処理が実行される。また、表示動画用撮像モードにおいて、第２信号処理部４５２では、上記第３実施形態で説明した第２信号処理（図２４）と同様の処理が実行される。
【０２４１】
以上説明したように、本第４実施形態では、静止画像用撮像モードで、撮像画像データ７０が上記第１実施形態で説明した左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される。また、表示動画用撮像モードで、撮像画像データ７０が上記第３実施形態で説明した奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに分離される。これにより、静止画像用撮像モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。
【０２４２】
また、静止画像用撮像モードでは、撮像画像データ７０は、重複領域７１を示す画像データが各々含まれる左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される。これに対して、表示動画用撮像モードでは、撮像画像データ７０がライン単位で分離される。従って、静止画像用撮像モードでは、重複領域７１を示す画像データが各々含まれる左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に対して処理が施されるので、表示動画用撮像モードよりも画質を高めることができる。また、表示動画用撮像モードでは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１よりもデータ量の少ない奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対して処理が施される。よって、表示動画用撮像モードでは、静止画像用撮像モードに比べ、電力消費を抑えることができ、かつ、処理速度を高めることができる。
【０２４３】
なお、上記第３実施形態では、ステップＳＴ３０２（図２８参照）の処理として、上記第１実施形態で説明した撮像処理（図１０参照）を適用した場合について説明したが、本開示の技術はこれに限定されない。例えば、ステップＳＴ３０２（図２８参照）の処理として、上記第２実施形態で説明した撮像処理（図１５参照）を適用してもよい。この場合、静止画像用撮像モードにおいて、第１信号処理部４５０では、上記第２実施形態で説明した第１信号処理（図１６参照）が実行され、第２信号処理部４５２では、上記第２実施形態で説明した第２信号処理（図１７参照）が実行される。
【０２４４】
また、上記第３実施形態では、静止画像用撮像モードにおいて、撮像画像データ７０が左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、静止画像用撮像モードにおいて、上記第２実施形態で説明したように、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離されるようにしてもよい。この場合、静止画像用撮像モードにおいて、第１信号処理部４５０を上記第２実施形態で説明した第１信号処理部２５０と同様に動作させ、第２信号処理部４５２を上記第２実施形態で説明した第２信号処理部２５２と同様に動作させるようにすればよい。
【０２４５】
［第５実施形態］
上記第３実施形態では、撮像画像データ７０が奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに圧縮される形態例について説明したが、本第５実施形態では、撮像画像データ７０が他の方法で２つの画像データに圧縮される形態例について説明する。なお、本第５実施形態では、上記第３実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第３実施形態と異なる部分について説明する。
【０２４６】
図１に示すように、本第５実施形態に係る撮像装置５００は、上記第３実施形態で説明した撮像装置３００に比べ、撮像装置本体３１２に代えて撮像装置本体５１２を有する点が異なる。
【０２４７】
撮像装置本体５１２は、撮像装置本体３１２に比べ、撮像素子３４４に代えて撮像素子５４４（図２９参照）を有する点が異なる。撮像素子５４４は、撮像素子３４４に比べ、処理回路３６２に比べ、処理回路５６２を有する点が異なる。処理回路５６２は、処理回路３６２に比べ、画像処理回路３６２Ｃに代えて画像処理回路５６２Ｃを有する点、及び出力回路３６２Ｄに代えて出力回路５６２Ｄを有する点が異なる。
【０２４８】
撮像装置本体５１２は、撮像装置本体３１２に比べ、第１信号処理部５０に代えて第１信号処理部５５０（図２９参照）を有する点が異なる。
【０２４９】
メモリ６４には、撮像画像データ５７０が記憶されており、画像処理回路５６２Ｃは、メモリ６４から撮像画像データ５７０を取得する。撮像画像データ５７０は、Ｒ画素、Ｇ画素、及びＢ画素を有するカラー画像データである。一例として図３０に示すように、撮像画像データ５７０では、Ｒ画素、Ｇ画素、及びＢ画素がベイヤ配列に対応した周期性で配列されている。
【０２５０】
図３０に示す例では、１行目で、Ｒ画素及びＧ画素が、行方向にＲ画素及びＧ画素の順に循環して配列されている。また、２行目で、Ｂ画素及びＧ画素が、行方向にＧ画素及びＢ画素の順に循環して配列されている。そして、１行目のＲ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返され、２行目のＢ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返されることによって撮像画像データ５７０の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
【０２５１】
画像処理回路５６２Ｃは、メモリ６４から取得した撮像画像データ５７０を圧縮する。すなわち、画像処理回路５６２Ｃは、撮像画像データ５７０から垂直間引画像データ５７３を生成する。一例として図３０に示すように、垂直間引画像データ５７３は、撮像画像データ５７０により示される撮像画像から、列方向に隣接する２行分のラインが２行置きに間引くことによって得られた垂直１／２間引き画像を示す画像データである。
【０２５２】
一例として図２９及び図３１に示すように、画像処理回路５６２Ｃは、垂直間引画像データ７５３を、第１水平間引画像データ５７３Ａと第２水平間引画像データ５７３Ｂとに分離する。画像処理回路５６２Ｃは、分離して得た第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂを出力回路５６２Ｄに出力する。
【０２５３】
一例として図３１に示すように、第１水平間引画像データ５７３Ａは、垂直間引画像データ５７３により示される垂直１／２間引き画像から行方向に２列単位で２列置きに互い違いに間引かれて得られた一対の水平１／２間引き画像のうちの一方を示す画像データである。また、第２水平間引画像データ５７３Ｂは、一対の水平１／２間引き画像のうちの他方を示す画像データである。
【０２５４】
出力回路５６２Ｄは、画像処理回路５６２Ｃから入力された第１水平間引画像データ５７３Ａを、第１出力ライン５３を介して第１信号処理部５５０に出力する。また、出力回路５６２Ｄは、画像処理回路５６２Ｃから入力された第２水平間引画像データ５７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
【０２５５】
第２信号処理部５２では、上記第３実施形態で説明した偶数列画像データ７３Ｂに対して行われた処理と同様の処理が第２水平間引画像データ５７３Ｂに対して行われ、処理後の第２水平間引画像データ５７３Ｂが第１信号処理部５５０に送信される。
【０２５６】
第１信号処理部５５０は、第２信号処理部５２から送信された第２水平間引画像データ５７３Ｂを受信する。
【０２５７】
第１信号処理部５５０では、上記第３実施形態で説明した奇数列画像データ７３Ａに対して行われた処理と同様の処理が第１水平間引画像データ５７３Ａに対して行われる。そして、第１信号処理部５５０では、第１水平間引画像データ５７３Ａと第２水平間引画像データ５７３Ｂとが合成され、合成画像データ５７２が生成される。この結果、合成画像データ５７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、垂直間引画像データ５７３により示される垂直１／２間引き画像と同様の配列パターンとなる。すなわち、合成画像データ５７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、Ｒ画素、Ｇ画素、及びＢ画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
【０２５８】
そこで、第１信号処理部５５０は、上記第３実施形態と同様に、合成画像データ５７２に対して、Ｒ，Ｇ，Ｂ信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ５７２を、通信ライン６０を介してコントローラ４６に出力する。
【０２５９】
以上説明したように、撮像画像データ５７０は、ベイヤ配列が採用されている。この場合も、上記第３実施形態で説明した奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂと同様に、デモザイク処理可能な２つの画像データとして、第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂが得られる。よって、撮像画像データ５７０がベイヤ配列の画像データであったとしても、上記第３実施形態と同様の効果を得ることができる。
【０２６０】
なお、上記第５実施形態では、撮像画像データ５７０が圧縮された２つの画像データとして第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂを例示したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、画像処理回路５６２Ｃは、撮像画像データ５７０を上位ビットデータ５７０Ｃと下位ビットデータ５７０Ｄとに分離するようにしてもよい。撮像画像データ５７０についての１画素毎のビット数が１６ビットの場合、上位ビットデータ５７０Ｃは、例えば、１画素毎のビット数が上位８ビットの画像データであり、下位ビットデータ５７０Ｄは、例えば、１画素毎のビット数が下位８ビットの画像データである。
【０２６１】
図３２に示すように、出力回路５６２Ｄは、上位ビットデータ５７０Ｃを、第１出力ライン５３を介して第１信号処理部５５０に出力し、下位ビットデータ５７０Ｄを、第２出力ライン５５を介して第２信号処理部５２に出力する。また、第２信号処理部５２は、上記第５実施形態と同様に、下位ビットデータ５７０Ｄに対して特定の信号処理を施してから下位ビットデータ５７０Ｄを、通信ライン５８を介して第１信号処理部５５０に送信する。また、第１信号処理部５５０は、上記第５実施形態と同様に、第２信号処理部５２から送信された下位ビットデータ５７０Ｄを受信し、上位ビットデータ５７０Ｃに対して特定の信号処理を施す。第１信号処理部５５０は、上記第５実施形態と同様に、特定の信号処理を施した上位ビットデータ５７０Ｃと、受信した下位ビットデータ５７０Ｄとを合成することで合成画像データ５７２Ａを生成する。第１信号処理部５５０は、生成した合成画像データ５７２Ａをコントローラ４６に出力する。
【０２６２】
なお、ここでは、撮像画像データ５７０についての１画素毎のビット数が１６ビットの場合を例示しているが、これに限らず、１画素毎のビット数が１６ビット未満の画像データであってもよいし、１画素毎のビット数が１６ビットを超えるビット数の画像データであってもよい。また、上位ビットと下位ビットとの分け方は、例えば、用途及び／又は仕様等に応じて定められた分け方であればよい。
【０２６３】
また、ここでは、画像処理回路５６２Ｃが撮像画像データ５７０を上位ビットデータ５７０Ｃと下位ビットデータ５７０Ｄとに分離する例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ５７０が上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データに分離されるようにしてもよい。上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データとは、撮像画像データ５７０が３つのビット範囲で分割されることによって圧縮されて得られた３つの圧縮画像データを指す。また、撮像画像データ５７０が４つ以上のビット範囲で分割されることで撮像画像データ５７０が圧縮されるようにしてもよい。このように、撮像画像データ５７０は、複数のビット範囲で分割されることで複数の圧縮画像データが得られるようにしてもよい。
【０２６４】
このように、撮像画像データ５７０が複数のビット範囲で分割されることで得られた複数の圧縮画像データ（図３２に示す例では、上位ビットデータ５７０Ｃ及び下位ビットデータ５７０Ｄ）に分離される。これにより、第１信号処理部５５０及び第２信号処理部５２の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を行うことができる。
【０２６５】
また、図３２に示すように、撮像画像データ５７０が上位ビットデータ５７０Ｃ及び下位ビットデータ５７０Ｄに分離されることで、上位ビットデータ５７０Ｃに対しては、下位ビットデータ５７０Ｄよりも高精度な処理を行うことができる。一方、下位ビットデータ５７０Ｄに対しては、上位ビットデータ５７０Ｃよりも電力消費を抑え、かつ、処理速度を高めることができる。
【０２６６】
また、上記各実施形態では、撮像画像データ７０，５７０（以下、単に「撮像画像データ」と称する）が２つの画像データに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、Ｎを２以上の自然数とした場合、撮像画像データがＮ個の画像データに分離されるようにしてもよい。分離方法は、例えば、撮像画像データをＮ等分する方法の他に、撮像画像データをＮ個のビット範囲で分離する方法などが考えられる。
【０２６７】
撮像画像データをＮ個の画像データに分離する場合、例えば、図３３に示すように、第１信号処理部６５０〜第Ｎ信号処理部６５０Ｎの各々が対応する出力ラインで撮像素子４４に接続される。図３３に示す例では、第１信号処理部６５０が第１出力ライン５３を介して撮像素子４４に接続されており、第Ｎ信号処理部６５０Ｎが第Ｎ出力ライン５３Ｎを介して撮像素子４４に接続されている。第Ｎ信号処理部６５０Ｎは、第１信号処理部６５０に信号処理済みの画像データを送信し、第１信号処理部６５０がＮ個分の画像データを合成し、合成して得た合成画像データをコントローラ４６に出力するようにすればよい。
【０２６８】
また、上記各実施形態では、処理回路６２，２６２，３６２，４６２，５６２（以下、単に「処理回路」と称する）がＡＳＩＣによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
【０２６９】
この場合、例えば、図３４に示すように、撮像素子４４，２４４，３４４，４４４，５４４に内蔵されたコンピュータ６５２に、上述した撮像処理を実行させるための撮像処理プログラム８０２を記憶媒体８００に記憶させておく。コンピュータ６５２は、ＣＰＵ６５２Ａ、ＲＯＭ６５２Ｂ、及びＲＡＭ６５２Ｃを備えている。そして、記憶媒体８００の撮像処理プログラム８０２がコンピュータ６５２にインストールされ、コンピュータ６５２のＣＰＵ６５２Ａは、撮像処理プログラム８０２に従って、上述した撮像処理を実行する。ここでは、ＣＰＵ６５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ６５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体８００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
【０２７０】
図３４に示す例では、記憶媒体８００に撮像処理プログラム８０２が記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ６５２Ｂに撮像処理プログラム８０２を予め記憶させておき、ＣＰＵ６５２ＡがＲＯＭ６５２Ｂから撮像処理プログラム８０２を読み出し、ＲＡＭ６５２Ｃに展開し、展開した撮像処理プログラム８０２を実行するようにしてもよい。
【０２７１】
また、通信網（図示省略）を介してコンピュータ６５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム８０２を記憶させておき、撮像装置１０，２００，３００，４００，５００の何れかと同様の構成の撮像装置７００の要求に応じて撮像処理プログラム８０２がコンピュータ６５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像処理プログラム８０２がコンピュータ６５２のＣＰＵ６５２Ａによって実行される。
【０２７２】
また、コンピュータ６５２は、撮像素子４４，２４４，３４４，４４４，５４４の外部に設けられるようにしてもよい。この場合、コンピュータ６５２が撮像処理プログラム８０２に従って処理回路を制御するようにすればよい。
【０２７３】
上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
【０２７４】
撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【０２７５】
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【０２７６】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【０２７７】
また、上記各実施形態では、撮像装置としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３５に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図３５に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子４４，２４４，３４４，４４４，５４４が搭載されている。このように構成されたスマートデバイス９００であっても、上記実施形態で説明した撮像装置と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
【０２７８】
また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
【０２７９】
また、上記の撮像処理、第１信号処理、及び第２信号処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【０２８０】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【０２８１】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【０２８２】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０２８３】
以上の実施形態に関し、更に以下の付記を開示する。
【０２８４】
（付記１）
撮像素子（４４，２４４，３４４，４４４，５４４）を備えた撮像装置（１０，２００，３００，４００，５００，７００）であって、
撮像素子（４４，２４４，３４４，４４４，５４４）により被写体が撮像されることで得られた撮像画像データ（７０，５７０）を記憶し、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された記憶部（６４）と、
撮像画像データ（７０，５７０）に対して処理を行い、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された処理部（６２，２６２，３６２，４６２，５６２）と、
処理部（６２，２６２，３６２，４６２，５６２）により撮像画像データ（７０，５７０）が処理されることで得られた処理済み画像データを出力し、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された出力部（６２Ｄ，２６２Ｄ，３６２Ｄ，４６２Ｄ，５６２Ｄ）と、
撮像素子の外部に設けられた複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２）と、を含み、
処理部（６２，２６２，３６２，４６２，５６２）は、記憶部（６４）に記憶された撮像画像データ（７０，５７０）を複数の画像データ（７０Ａ，７０Ｂ）に分ける処理を行い、
出力部（６２Ｄ，２６２Ｄ，３６２Ｄ，４６２Ｄ，５６２Ｄ）は、複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２）の各々に対して各々対応させて設けられた複数の出力ライン（５３，５５）を有し、複数の出力ライン（５３，５５）から処理済み画像データとして複数の画像データ（７０Ａ，７０Ｂ）の各々を複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２，７５０，７５２）のうちの対応する信号処理部に出力し、
複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２，７５０，７５２）の何れかが複数の画像データ（７０Ａ，７０Ｂ）を合成する撮像装置（１０，２００，３００，４００，５００，７００）。
【０２８５】
（付記２）
複数の画像データ（７０Ａ，７０Ｂ）の各々は、複数の画像データ（７０Ａ，７０Ｂ）の各々に基づく複数の画像（７０Ａ１ａ，７０Ｂ１ａ，７０Ａ２ａ，７０Ｂ２ａ）のうちの隣接する画像（７０Ａ１ａ，７０Ｂ１ａ，７０Ａ２ａ，７０Ｂ２ａ）間で重複領域（７１，２７１）を有する画像を示す画像データである付記１に記載の撮像装置（２００）。
【０２８６】
（付記３）
複数の画像（７０Ａ２ａ，７０Ｂ２ａ）は、指定された画像（７０Ｂ２ａ）と指定された画像とは異なる画像とで分けられている付記１又は付記２に記載の撮像装置（２００）。
【０２８７】
（付記４）
処理部は、撮像画像データ（７０）から顔の画像（６９）を示す顔画像データを検出し、指定された画像（７０Ｂ２ａ）は、撮像画像データ（７０）により示される撮像画像のうちの処理部（２６２）により検出された顔画像データにより示される顔の画像（６９）を含む画像である付記３に記載の撮像装置（２００）。
【０２８８】
（付記５）
処理部（４６２）は、記録用撮像モードと表示動画用撮像モードとで撮像画像データの分け方を変更する付記１から付記４の何れか１つに記載の撮像装置（４００）。
【０２８９】
（付記６）
処理部（４６２）は、記録用撮像モードで撮像画像データ（７０）を複数の画像データとして複数の重複画像データ（７０Ａ１，７０Ｂ１）に分け、表示動画用撮像モードで撮像画像データ（７０）をライン単位で分け、
複数の重複画像データの各々は、複数の画像のうちの隣接する画像間で重複領域（７１）を有する画像を示す画像データである付記５に記載の撮像装置。
【図１】
2020137662.tif 000003
【図２】
2020137662.tif 000004
【図３】
2020137662.tif 000005
【図４】
2020137662.tif 000006
【図５】
2020137662.tif 000007
【図６】
2020137662.tif 000008
【図７】
2020137662.tif 000009
【図８】
2020137662.tif 000010
【図９】
2020137662.tif 000011
【図１０】
2020137662.tif 000012
【図１１】
2020137662.tif 000013
【図１２】
2020137662.tif 000014
【図１３】
2020137662.tif 000015
【図１４Ａ】
2020137662.tif 000016
【図１４Ｂ】
2020137662.tif 000017
【図１５】
2020137662.tif 000018
【図１６】
2020137662.tif 000019
【図１７】
2020137662.tif 000020
【図１８】
2020137662.tif 000021
【図１９】
2020137662.tif 000022
【図２０】
2020137662.tif 000023
【図２１】
2020137662.tif 000024
【図２２】
2020137662.tif 000025
【図２３】
2020137662.tif 000026
【図２４】
2020137662.tif 000027
【図２５】
2020137662.tif 000028
【図２６】
2020137662.tif 000029
【図２７】
2020137662.tif 000030
【図２８】
2020137662.tif 000031
【図２９】
2020137662.tif 000032
【図３０】
2020137662.tif 000033
【図３１】
2020137662.tif 000034
【図３２】
2020137662.tif 000035
【図３３】
2020137662.tif 000036
【図３４】
2020137662.tif 000037
【図３５】
2020137662.tif 000038
【手続補正書】
【提出日】令和2年4月6日(2020.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子を備えた撮像装置であって、
前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記撮像素子に内蔵されたプロセッサと、
前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、
前記プロセッサは、出力回路を含み、
前記出力回路は、前記複数の信号処理プロセッサの各々に対して各々対応させて設けられた複数の出力ラインを有し、前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成する
撮像装置。
【請求項２】
前記複数の画像データの各々は、前記複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項１に記載の撮像装置。
【請求項３】
前記複数の画像は、指定された画像と前記指定された画像とは異なる画像とで分けられている請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像画像データから顔の画像を示す顔画像データを検出する検出プロセッサを更に含み、
前記指定された画像は、前記撮像画像データにより示される撮像画像のうちの前記検出プロセッサにより検出された前記顔画像データにより示される顔の画像を含む画像である請求項３に記載の撮像装置。
【請求項５】
記録用撮像モードと表示動画用撮像モードとで前記撮像画像データの分け方が異なる請求項１から請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記記録用撮像モードで前記撮像画像データが前記複数の画像データとして複数の重複画像データに分けられ、前記表示動画用撮像モードで前記撮像画像データがライン単位で分けられる請求項５に記載の撮像装置。
【請求項７】
前記複数の重複画像データの各々は、前記複数の画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項６に記載の撮像装置。
【請求項８】
前記記録用撮像モードは、前記撮像素子に対して静止画像用の撮像を行わせる動作モードである請求項５から請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、
前記カラー画像データは、前記複数の画像データとして複数の原色画素配列画像データに分けられ、
前記複数の原色画素配列画像データの各々は、前記複数の原色画素が各々周期的に配列された画像を示す画像データである請求項１から請求項８の何れか一項に記載の撮像装置。
【請求項１０】
前記複数の原色画素配列画像データは、前記カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである請求項９に記載の撮像装置。
【請求項１１】
前記複数の分割画像データは、前記カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである請求項１０に記載の撮像装置。
【請求項１２】
前記複数の信号処理プロセッサの何れかが、前記複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う請求項９から請求項１１の何れか一項に記載の撮像装置。
【請求項１３】
前記複数の画像データは、前記撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである請求項１に記載の撮像装置。
【請求項１４】
前記複数の圧縮画像データは、前記撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである請求項１３に記載の撮像装置。
【請求項１５】
前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項１４の何れか一項に記載の撮像装置。
【請求項１６】
前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像装置。
【請求項１７】
前記プロセッサにより出力された前記複数の画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサを更に含む請求項１から請求項１６の何れか一項に記載の撮像装置。
【請求項１８】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置の画像データ処理方法であって、
前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含み、
前記プロセッサは、出力回路を含み、
前記出力回路は、前記複数の出力ラインを有する
撮像装置の画像データ処理方法。
【請求項１９】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、前記プロセッサが、出力回路を含み、前記出力回路が、前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインを有する撮像装置に対して適用されるコンピュータに、
前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む処理を実行させるためのプログラム。
【手続補正書】
【提出日】令和3年6月21日(2021.6.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子を備えた撮像装置であって、
前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
前記撮像素子に内蔵されたプロセッサと、
前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、
前記プロセッサは、出力回路を含み、
前記出力回路は、前記複数の信号処理プロセッサの各々に対して各々対応させて設けられた複数の出力ラインを有し、前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成する
撮像装置。
【請求項２】
前記複数の画像データの各々は、前記複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項１に記載の撮像装置。
【請求項３】
前記複数の画像データに基づく複数の画像は、指定された画像と前記指定された画像とは異なる画像とで分けられている請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像画像データから顔の画像を示す顔画像データを検出する検出プロセッサを更に含み、
前記指定された画像は、前記撮像画像データにより示される撮像画像のうちの前記検出プロセッサにより検出された前記顔画像データにより示される顔の画像を含む画像である請求項３に記載の撮像装置。
【請求項５】
記録用撮像モードと表示動画用撮像モードとで前記撮像画像データの分け方が異なる請求項１から請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記記録用撮像モードで前記撮像画像データが前記複数の画像データとして複数の重複画像データに分けられ、前記表示動画用撮像モードで前記撮像画像データがライン単位で分けられる請求項５に記載の撮像装置。
【請求項７】
前記複数の重複画像データの各々は、前記複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項６に記載の撮像装置。
【請求項８】
前記記録用撮像モードは、前記撮像素子に対して静止画像用の撮像を行わせる動作モードである請求項５から請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、
前記カラー画像データは、前記複数の画像データとして複数の原色画素配列画像データに分けられ、
前記複数の原色画素配列画像データの各々は、前記複数の原色画素が各々周期的に配列された画像を示す画像データである請求項１から請求項８の何れか一項に記載の撮像装置。
【請求項１０】
前記複数の原色画素配列画像データは、前記カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである請求項９に記載の撮像装置。
【請求項１１】
前記複数の分割画像データは、前記カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである請求項１０に記載の撮像装置。
【請求項１２】
前記複数の信号処理プロセッサの何れかが、前記複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う請求項９から請求項１１の何れか一項に記載の撮像装置。
【請求項１３】
前記複数の画像データは、前記撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである請求項１に記載の撮像装置。
【請求項１４】
前記複数の圧縮画像データは、前記撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである請求項１３に記載の撮像装置。
【請求項１５】
前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項１４の何れか一項に記載の撮像装置。
【請求項１６】
前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像装置。
【請求項１７】
前記プロセッサにより出力された前記複数の画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサを更に含む請求項１から請求項１６の何れか一項に記載の撮像装置。
【請求項１８】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置の画像データ処理方法であって、
前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含み、
前記プロセッサは、出力回路を含み、
前記出力回路は、前記複数の出力ラインを有する 
撮像装置の画像データ処理方法。
【請求項１９】
撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、前記プロセッサが、出力回路を含み、前記出力回路が、前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインを有する撮像装置に対して適用されるコンピュータに、
前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む処理を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
表示動画像用撮像モードは、連続的な撮像により得られた連続する複数フレーム分の表示用画像データに基づくライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６（図８及び図９参照）に表示される動作モードである。表示用画像データは、ライブビュー画像用の画像データであり、例えば、後述のＣＰＵ４６Ａ（図８参照）により、被写体の画像を示す撮像画像データ７０（図３〜図７参照）に基づいて生成される。撮像画像データ７０とは、後述の撮像素子４４（図３参照）により被写体が撮像されることで得られた画像データを指す。なお、以下では、説明の便宜上、撮像画像データ７０により示される画像を「撮像画像」と称する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
記録用撮像モードは、ライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６に表示され、かつ、記録用画像データが後述の二次記憶装置８０（図８参照）及び／又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、撮像画像データ７０（図３〜図７参照）に基づいて生成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０２１６
【補正方法】変更
【補正の内容】
【０２１６】
一方、第２信号処理部７５２において、ラインメモリ７５２Ａは、バッファ５２Ａと信号処理回路５２Ｂとの間に介在している。バッファ５２Ａは、偶数列画像データ７３Ｂをラインメモリ７５２Ａに出力する。ラインメモリ７５２Ａは、バッファ５２Ａから入力された偶数列画像データ７３Ｂをライン単位で記憶し、信号処理回路５２ＢにＦＩＦＯ方式で出力する。信号処理回路５２Ｂは、上記第３実施形態で説明した処理を実行する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０２３３
【補正方法】変更
【補正の内容】
【０２３３】
次に、撮像装置４００の作用について説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２３４
【補正方法】変更
【補正の内容】
【０２３４】
先ず、撮像素子４４４の処理回路４６２によって実行される撮像処理の流れについて図２８を参照しながら説明する。なお、ここでは、説明の便宜上、撮像装置４００が静止画像用撮像モード又は表示動画用撮像モードに設定されていることを前提して説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２３６
【補正方法】変更
【補正の内容】
【０２３６】
ステップＳＴ３０２で、処理回路４６２は、静止画像用撮像処理を実行し、その後、撮像処理はステップＳＴ３０６へ移行する。静止画像用撮像処理は、上記第１実施形態で説明した撮像処理（図１０参照）と同様の処理である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２４７
【補正方法】変更
【補正の内容】
【０２４７】
撮像装置本体５１２は、撮像装置本体３１２に比べ、撮像素子３４４に代えて撮像素子５４４（図２９参照）を有する点が異なる。撮像素子５４４は、撮像素子３４４に比べ、処理回路３６２に代えて処理回路５６２を有する点が異なる。処理回路５６２は、処理回路３６２に比べ、画像処理回路３６２Ｃに代えて画像処理回路５６２Ｃを有する点、及び出力回路３６２Ｄに代えて出力回路５６２Ｄを有する点が異なる。
【国際調査報告】
2020137662.tif 000039
2020137662.tif 000040
2020137662.tif 000041
2020137662.tif 000042