(57)【要約】【課題】  撮像センサ側の読み出し処理単位に応じた補正処理を行う。【解決手段】  本発明の撮像装置１０は、撮像センサ１００と、制御回路１１０とを有し、撮像センサ１００は、複数の単位画素が行列状に配列された画素部１０１と制御回路１１０から受信した補正データを用いて画素部１０１から読み出したブロック画像データに補正処理を実行する補正部１０２と、補正されたブロック画像データを分割した送信画像データを制御回路１１０に送信する送信部１０４を有し、制御回路１１０は、送信画像データに画像処理する処理部１１３と、補正部１０２手段で用いる補正データを撮像センサ１００に送信する送信部１１６を有することを特徴とする。【選択図】  図１
2020120340.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素が行列状に配列された画素部を有するセンサチップと、画像処理チップとを有する撮像装置であり、
前記センサチップは、
前記画像処理チップから補正データを受信する第１の受信手段と、
前記第１の受信手段を介して受信した補正データを用いて前記画素部から読み出した画像データに補正処理を実行して補正画像データを取得する補正手段と
前記補正画像データを前記画像処理チップに送信する第１の送信手段を有し、
前記画像処理チップは
前記センサチップから前記補正画像データを受信する第２の受信手段と
前記第２の受信手段で受信した前記補正画像データに画像処理する処理手段と
前記補正手段で用いる補正データを前記センサチップに送信する第２の送信手段を有する
ことを特徴とする撮像装置。
【請求項２】
前記センサチップは、前記第１の受信手段を介して受信した前記補正データを記憶する第１の記憶手段を備え、
前記画像処理チップは、前記第２の送信手段を介して送信する前記補正データを記憶する第２の記憶手段を備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理部と接続される不揮発性の記憶手段である第３の記憶手段をさらに有し、
前記撮像装置の起動時に補正データを前記第３の記憶手段から前記第２の記憶手段へ展開することを特徴とする
請求項２に記載の撮像装置。
【請求項４】
前記画像処理チップは、前記補正データを決定する決定手段をさらに備え、
前記決定手段は、前記補正手段での補正を行わずに得られる画像データに基づいて前記補正データを決定し、決定された前記補正データを前記第３の記憶手段に記憶する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像装置の動作モードを設定する設定手段を備え、
前記第２の送信手段は、前記撮像装置の動作モードを変更した場合に、設定された動作モードに応じた補正データを送信する
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像装置の電源のオンおよびオフを切り替える切替手段を備え、
前記第２の送信手段は、前記撮像装置の電源をオンに切り換えたことに応じて、補正データを送信する
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
複数の単位画素が行列状に配列された画素部を有するセンサチップと、画像処理チップとを有する撮像装置の制御方法であって、
前記画像処理チップから前記センサチップが補正データを受信する第１の受信工程と、
前記センサチップが前記第１の受信工程で受信した補正データを用いて前記画素部から読み出した画像データに補正処理を実行して補正画像データを取得する補正工程と
前記センサチップが前記補正画像データを前記画像処理チップに送信する第１の送信工程と、
前記画像処理チップが前記センサチップから前記補正画像データを受信する第２の受信工程と
前記画像処理チップが前記第２の受信手段で受信した前記補正画像データに画像処理する処理工程と
前記画像処理チップが前記補正手段で用いる補正データを前記センサチップに送信する第２の送信工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項８】
前記センサチップは、前記第１の受信手段を介して受信した前記補正データを記憶する第１の記憶手段を備え、
前記画像処理チップは、前記第２の送信手段を介して送信する前記補正データを記憶する第２の記憶手段を備える
ことを特徴とする請求項７に記載の撮像装置の制御方法。
【請求項９】
前記撮像装置は、前記画像処理部と接続される不揮発性の記憶手段である第３の記憶手段をさらに有し、
前記撮像装置の起動時に補正データを前記第３の記憶手段から前記第２の記憶手段へ展開する展開工程を備えることを特徴とする
請求項８に記載の撮像装置の制御方法。
【請求項１０】
前記画像処理チップが前記補正データを決定する決定工程をさらに備え、
前記決定工程は、前記補正工程での補正を行わずに得られる画像データに基づいて前記補正データを決定し、決定された前記補正データを前記第３の記憶手段に記憶する
ことを特徴とする請求項９に記載の撮像装置の制御方法。
【請求項１１】
前記撮像装置の動作モードを設定する設定工程を備え、
前記第２の送信工程は、前記撮像装置の動作モードを変更した場合に、設定された動作モードに応じた補正データを送信する
ことを特徴とする請求項７から１０のいずれか１項に記載の撮像装置の制御方法。
【請求項１２】
前記撮像装置の電源のオンおよびオフを切り替える切替工程を備え、
前記第２の送信工程は、前記撮像装置の電源をオンに切り換えたことに応じて、補正データを送信する
ことを特徴とする請求項７から１１のいずれか１項に記載の撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像センサから読み出される画像データに対する補正処理を、撮像センサに設けられた補正回路で実行する撮像装置がある。
【０００３】
特許文献１の撮像装置は、撮像センサが備える受光データ処理部で、撮像センサが取得した画像データに対する処理を実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−４６３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像センサの特性や撮像装置の動作モードに応じて異なるパラメータを用いて補正処理を実行するために、撮像センサチップに複数のパラメータを格納する大容量のメモリを搭載すると、チップサイズが大きくなるという懸念がある。
【０００６】
本発明の撮像装置は、撮像センサの特性や撮像装置の動作モードに応じた補正処理を撮像センサチップで実行可能とするとともに、撮像センサチップに設けるメモリサイズの拡大を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置の一の形態は、センサチップと、画像処理チップとを有する撮像装置であり、前記センサチップは、複数の単位画素が行列状に配列された画素部と、前記画像処理部から補正データを受信する第１の受信手段と、前記第１の受信手段を介して受信した補正データを用いて前記画素部から読み出した画像データに補正処理を実行して補正画像データを取得する補正手段と、前記補正画像データを前記画像処理チップに送信する第１の送信手段を有し、前記画像処理チップは、前記センサチップから前記補正画像データを受信する第２の受信手段と、前記第２の受信手段で受信した前記補正画像データに画像処理する処理手段と、前記補正手段で用いる補正データを前記センサチップに送信する第２の送信手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明の撮像装置によれば、撮像センサの特性や撮像装置の動作モードに応じた補正処理を撮像センサチップで実行可能とするとともに、撮像センサチップに設けるメモリサイズの拡大を抑制することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成を説明するブロック図である。
【図２】画素部１０１における単位画素の配列を示す模式図である。
【図３】画像データのパケット化について説明した図である。
【図４】撮像装置の動作を示したフローチャートである。
【図５】補正データの送信タイミングを示したタイミングチャートである。
【発明を実施するための形態】
【００１０】
＜実施例１＞
以下、本発明の第１の実施形態について詳述する。
【００１１】
図１は、本発明における撮像装置の構成を説明するブロック図である。撮像装置１０は、撮像センサ１００、制御回路１１０、ＲＯＭ１２０、操作部１３０、電源ＳＷ１４０、および撮像光学系１５０を備える。
【００１２】
撮像センサ１００は、光学系を介して受光した光に基づいて画像信号を生成するセンサチップである。撮像センサ１００は、画素部１０１、補正部１０２、生成部１０３、送信部１０４、受信部１０５、およびＲＡＭ１０６を備える。
【００１３】
画素部１０１は受光した光の強度に基づいて各画素の画素データを取得する複数の単位画素を備える。画素部１０１において、複数の単位画素は、行列状に配列される。画素部１０１の複数の単位画素から構成される面を「１画面」とし、１画面分の単位画素の画素データから構成される画像データを、１画面分の画像データであるとする。
【００１４】
図２は、画素部１０１における単位画素の配列を示す模式図である。画素部１０１の複数の単位画素のうち、垂直方向に並んだ複数の単位画素の単位を列と呼ぶ。また、画素部１０１の複数の単位画素のうち、水平方向に並んだ複数の単位画素の単位を行と呼ぶ。画素部１０１は、複数の単位画素のうち、複数の行（Ｍ行）を同時に選択し、選択された複数の行に含まれる単位画素の画素データを、垂直出力線を介して読み出す構造を備える。ここで、画素部１０１から出力される複数の行に含まれる単位画素の画素データをブロック画像データと呼ぶ。
【００１５】
補正部１０２は、ＲＡＭ１０６から取得した補正データを用いて、画素部１０１から取得したブロック画像データに対して補正処理を行う。
【００１６】
例えば、補正部１０２では、列オフセットノイズ補正を行うとする。ブロック画像データの画素データに重畳したオフセットは、単位画素が所属する列ごとに値が異なる。列ごとに異なるオフセットが重畳することにより、画像データに縞状のノイズが発生することがある。列オフセットノイズ補正は、この列間のオフセット量の差を補正し、縞状のノイズの発生を抑制するための処理である。具体的には、補正部１０２は、ＲＡＭ１０６から取得した列毎の列オフセット補正値を示す補正データを用いて、画素部１０１から取得した複数の行の単位画素の画素データからオフセット補正値を減算する処理を実行する。
【００１７】
ここで補正処理した画像信号については、列オフセットノイズ補正以外の処理を引き続き後述する制御回路１１０の画像処理部１１１で行う。そのため、単位画素あたりの画像信号の語長は丸めずに、画素部１０１が読み出した単位画素あたりの画像信号の語長より長いままで送信する。
【００１８】
生成部１０３は、補正部１０２で補正されたブロック画像データ（補正画像データ）に対してヘッダやフッタといった付加情報を加えて画像信号をパケット化する。
【００１９】
図３は、生成部１０３が実行するブロック画像データのパケット化について示す模式図である。図３において、ＭとＮはどちらも整数でＭはＮより大きく、ＭはＮの整数倍であるとする。上述したように、画素部１０１は、Ｍ行ごとに画素データを読み出しブロック画像データとして出力する。また、補正部１０２は、ブロック画像データに対して、補正処理（列オフセットノイズ補正処理）を実行する。図３（ａ）は、ブロック画像データを示す模式図である。ブロック画像データは、Ｍ行分の単位画素の画素データをまとめたデータである。
【００２０】
生成部１０３は、補正処理が行われたブロック画像データをＮ行ごとに分割し、分割された画像データ（送信画像データ）ごとに、ヘッダ（Ｈ）およびフッタ（Ｆ）を付加する。ヘッダおよびフッタは、画像信号のシンボルアラインの目印にするなどの目的のために付加されるデータである。なお、Ｎ行は、画像処理部１１１の処理部１１３の処理単位である。図３（ｂ）は、ブロック画像データを分割して得られる送信画像データを示す模式図である。
【００２１】
撮像センサ１００から画像処理部１１１に送信する画像データのサイズを、予め画像処理部１１１の処理部１１３の処理単位に合わせておくことで、処理部１１３は受信した画像データをそのまま処理することができる。つまり、撮像センサ１００の読み出し単位が画像処理部の処理単位を超えてしまっている場合でも画像処理部はそれを意識せずに画像信号を処理できる。
【００２２】
なお、Ｎは１より大きい整数であることが望ましい。１行ごとにパケット化してそれぞれにヘッダやフッタを付加するよりも、Ｎ行ごとに分割するほうがヘッダやフッタ分のオーバーヘッドを少なくすることができる。
【００２３】
送信部１０４は、パケット化された送信画像データを画像処理部１１１へ出力する。
【００２４】
受信部１０５は、画像処理部１１１から補正データを受信し、ＲＡＭ１０６へ出力する。
【００２５】
ＲＡＭ１０６は、受信部１０５からの補正データを記憶し、不図示のタイミング制御回路等からの指示により、画素部１０１からの画像信号の読み出しに同期して補正データを補正部１０２へ出力する。
【００２６】
制御回路１１０は、撮像装置１０全体の動作を制御する制御回路チップである。また、制御回路１１０は、撮像センサ１００から取得した画像データを処理する画像処理チップでもある。制御回路１１０は、撮像センサ１００から取得した画像データを処理する画像処理部１１１、システム制御部１１７、操作受付部１１８、および電源制御部１１９を備える。制御回路１１０は、撮像センサ１００と異なるチップである。なお、制御回路１１０の各機能ブロック、および電子回路は複数のチップにわたって設けられていてもよい。
【００２７】
画像処理部１１１は、撮像センサ１００から取得した画像データを処理する処理回路である。画像処理部１１１は、受信部１１２、処理部１１３、決定部１１４、ＲＡＭ１１５、および送信部１１６を備える。
【００２８】
受信部１１２は、撮像センサ１００からのパケット化された送信画像データを受信し、処理部１１３へ出力する。
【００２９】
処理部１１３は、パケット化された送信画像データのヘッダやフッタといった付加情報を解析して画素部１０１の各単位画素の画素データを取り出し、所定のデータ処理を行う。所定のデータ処理は、Ｎ行分の画素データに対して実行する処理である。また、所定のデータ処理は、補正部１０２で実行する補正処理と異なる処理を含む。例えば、所定のデータ処理は、エンハンス処理、色補正処理、およびノイズ低減処理を含む。また、処理部１１３は、処理された複数の送信画像データを用いて、１画面分の画像データを生成する。
【００３０】
決定部１１４は、補正部１０２が使用する補正データを決定する。決定部１１４は、あらかじめ処理部１１３の処理を実行した後の画像を解析することにより補正データを決定する。
【００３１】
決定部１１４は、撮像装置１０の調整用の工程で得られるサンプル画像データを用いて補正データを決定する。サンプル画像データは例えば、白板等の均一な画素データが得られることが期待される被写体を撮像して得られる画像データである。このとき、補正部１０２による補正処理を行わずに、撮像センサ１００から画像データを取得する。決定部１１４は、得られたサンプル画像データのノイズ成分を解析し、単位画素の列ごとに重畳しているオフセット値を算出する。決定部１１４は、取得したオフセット値から列オフセット補正値を算出する。決定部１１４は、決定したオフセット補正値を、ＲＯＭ１２０に格納する。
【００３２】
ＲＡＭ１１５は、ＲＯＭ１２０から展開された送信部１１６が撮像センサ１００に出力するための補正データを、記憶する揮発性の記憶媒体である。
【００３３】
送信部１１６は、撮像装置１０の起動時、および動作モードの変更時に、ＲＡＭ１１５から読み出した補正データを撮像センサ１００に送信する。
【００３４】
システム制御部１１７は、撮像装置１０の動作を制御するためのプロセッサである。システム制御部１１７は、制御回路１１０の各機能ブロックや、撮像センサ１００の動作を制御する。システム制御部１１７は、補正データの決定処理、補正データの送信処理、撮像実行指示、動作モード設定処理等を制御する。
【００３５】
操作受付部１１８は、後述する操作部１３０から入力された操作信号の入力を受け付ける。操作受付部１１８は、入力された操作信号に対応する情報をシステム制御部１１７に出力する。システム制御部１１７は、入力された情報に基づいて、撮像指示、動作モード変更処理等を実行する。
【００３６】
電源制御部１１９は、後述する操作部１３０からレリーズ信号の入力を受け付ける。操作受付部１１８は、レリーズ信号が入力されたことをシステム制御部１１７に出力する。
【００３７】
ＲＯＭ１２０は、撮像センサ１００の補正部１０２で使用する補正データを記憶する不揮発性の記憶媒体である。
【００３８】
操作部１３０は、ユーザが撮像装置１０の動作を制御するために用いる操作部材である。操作部１３０は、ユーザが撮像を指示する為にユーザが操作可能なレリーズボタンや、撮像パラメータを設定するためのメニューボタン、選択ボタン等を含む。例えば、レリーズボタンをユーザが押下したことに応じて、レリーズ信号が操作受付部１１８に出力される。
【００３９】
電源ＳＷ１４０は、ユーザが撮像装置１０の電源オンおよびオフの切り替え指示する為に、ユーザが操作可能な切替スイッチである。ユーザが電源ＳＷ１４０をオン状態に切り換えると、電源制御部１１９に電源オン信号が出力される。ユーザが電源ＳＷ１４０をオフ状態に切り換えると、電源制御部１１９に電源オフ信号が出力される。なお、電源ＳＷ１４０がオン状態のとき、電源制御部１１９に接続した信号線の出力がＨｉｇｈになり、電源ＳＷ１４０がオフ状態のとき、電源制御部１１９に接続した信号線の出力がＬｏｗとなるスイッチであってもよい。
【００４０】
図４は、補正データが画像処理部１１１から撮像センサ１００へ送信され、補正処理が行われる動作を示したフローチャートである。
【００４１】
電源ＳＷ１４０がオン状態に切り換えられたことに応じて、電源制御部１１９がシステム制御部１１７に電源を供給し処理が開始される。
【００４２】
Ｓ４０１で、システム制御部１１７は、ＲＯＭ１２０からＲＡＭ１１５に補正データを展開する。
【００４３】
Ｓ４０２で、システム制御部１１７は、動作モードを設定する。電源オンの直後は、システム制御部１１７は、前回の電源オフの直前に設定されていた動作モードを設定する。なお、動作モードの変更指示が操作部１３０を介して入力された場合、入力された指示に応じた動作モードを設定する。
【００４４】
Ｓ４０３で、システム制御部１１７は、ＲＡＭ１１５に展開された補正データのうち、設定された動作モードに対応する補正データを読み出し、撮像センサ１００へ送信する。ライブビュー（ＬＶ）撮像モードで使用される補正データを補正データＣｄ１とする。また、静止画撮像モードで使用される補正データを補正データＣｄ２とする。なお、撮像モードの変更は、ＩＳＯ感度や露出、絞り等のパラメータが変更した場合を含む。ＩＳＯ感度が変わったことに応じて、対応する補正データＣｄを変更してもよい。
【００４５】
Ｓ４０４で、撮像センサ１００のＲＡＭ１０６は、受信した補正データを記憶する。
【００４６】
Ｓ４０５で、システム制御部１１７は、撮像装置１０の動作モードの変更があるか否か判断する。動作モードの変更は、操作部１３０を介して入力されるユーザ指示に基づいて実行が指示される。また、ＬＶ撮像モードである場合、取得した画像を解析することでＩＳＯ感度や絞り、露出等の撮像パラメータが異なる動作モードへの変更を、システム制御部１１７が実行することも可能である。
【００４７】
また、操作部１３０のレリーズボタンが２段階の操作が可能なボタンであり、撮像準備を指示する第１レリーズ信号と、撮像実行を指示する第２レリーズ信号とを出力可能であるとする。この場合、第１レリーズ信号が入力されたことに応じて、ＬＶ撮像モードから静止画撮像モードへの動作モードの変更が指示されたと判定される。
【００４８】
動作モードの変更がある場合、処理はＳ４０２に戻り、対応する動作モードの設定処理を実行する。動作モードの変更がない場合、処理はＳ４０６へ進む。
【００４９】
Ｓ４０６で、システム制御部１１７は、撮像指示が入力されたか否かを判定する。操作受付部１１８が操作部１３０からレリーズ信号を受け付けた場合、システム制御部１１７は、撮像指示が入力されたと判定する。撮像指示が入力されたと判定された場合、Ｓ４０７に進む。そうでない場合、処置はＳ４１１に進む。
【００５０】
Ｓ４０７で、システム制御部１１７は、撮像センサ１００および画像処理部１１１に、撮像処理を実行させる。
【００５１】
Ｓ４０８で、補正部１０２は、画素部１０１から読み出したＭ行分の単位画素の画素データから構成されるブロック画像データそれぞれに対して、補正データを用いて補正処理を実行する。処理は、Ｓ４０９へ進む。
【００５２】
Ｓ４０９で、生成部１０３は、補正部１０２によって処理されたブロック画像データをＮ行ごとに分割した送信画像データを取得し、送信部１０４を介して制御回路１１０の画像処理部１１１に出力する。
【００５３】
Ｓ４１０で、画像処理部１１１の処理部１１３は、受信した送信画像データに対し画像処理を実行する。また、処理部１１３は、複数の送信画像データを画像処理し、１画面の画像データを生成して、不図示の外部記憶媒体に出力する。外部記憶媒体は、撮像装置１０に挿入されたＳＤカード等の記憶媒体であるとする。
【００５４】
Ｓ４１１では、撮像装置１０の電源を落とす指示（電源オフ）があるかどうか判断する。落とす指示が無い場合はＳ４０５へ戻る。落とす指示があった場合は動作を終了する。
【００５５】
図５は、動作モードに応じてＲＡＭ１０６に格納される補正データの経過を示す模式図である。例えば、時刻ｔ０で起動し、ＬＶ動作モードで撮像装置１０が動作を開始したとする。このとき、時刻ｔ１で、ＬＶ動作モードに対応した補正データＣｄ１が制御回路１１０から送信され、ＲＡＭ１０６に記憶される。補正データＣｄ１は、ＬＶ撮像を前提とした補正データである。
【００５６】
時刻ｔ２で、操作部１３０のレリーズボタンから第１レリーズ信号が入力されとする。この時、Ｓ４０５でＬＶ撮像モードから静止画撮像モードへの変更が指示されたと判定し、Ｓ４０２で静止画撮像モードへの設定が実行される。そして、時刻ｔ３で静止画動作モードに対応した補正データＣｄ２が制御回路１１０から送信され、ＲＡＭ１０６に記憶される。
【００５７】
時刻ｔ４で、操作部１３０のレリーズボタンから第２レリーズ信号が入力されたことに応じて、Ｓ４０７〜Ｓ４１０の処理が実行される。
【００５８】
また、ユーザが操作部１３０のレリーズボタンへの操作を停止した場合、静止画撮像モードからＬＶ撮像モードに動作モードが変更されるとする。静止画の撮像処理が完了した時刻ｔ５で、動作モードがＬＶ動作モードに設定され、時刻ｔ６で補正データＣｄ１がＲＡＭ１０６に格納される。
【００５９】
上述した撮像装置によれば、撮像センサの読み出し処理単位に応じた補正処理を撮像センサ内で行うことができる。画像処理部が撮像センサの読み出し処理単位に応じた補正処理に対応していない場合でも、画像処理部を交換したり、新しく作り直したりせずに補正処理を行うことができる。
【００６０】
なお、撮像センサ１００の画素部１０１が複数の読み出しモードを備え、Ｍ行単位でなくＮ行単位でデータを読み出すモードの場合には、撮像センサ１００の補正部１０２では補正処理を行わずそのままＮ行単位でパケットを送信する。そして、画像処理部１１１の処理部１１３で、撮像センサ１００の補正部１０２での補正処理に相当する処理を行ってもよい。
【００６１】
以上、本実施形態によれば、撮像センサの特性や撮像装置の動作モードに応じた補正処理を撮像センサチップで実行可能とするとともに、撮像センサチップに設けるメモリサイズの拡大を抑制することが可能となる。また、撮像センサの読み出し処理単位に応じた補正処理を撮像センサ内で行うことができる。画像処理部が撮像センサの読み出し処理単位に応じた補正処理に対応していない場合でも、画像処理部を交換したり、新しく作り直したりせずに補正処理を行うことができる。
【符号の説明】
【００６２】
１０    撮像装置
１００  撮像センサ
１０１  画素部
１０２  補正部
１０３  生成部
１０４  送信部
１０５  受信部
１０６  ＲＡＭ
１１０  制御回路
１１１  画像処理部
１１２  受信部
１１３  処理部
１１４  決定部
１１５  ＲＡＭ
１１６  送信部
１１７  システム制御部
１２０  ＲＯＭ
【図１】
2020120340.tif 000003
【図２】
2020120340.tif 000004
【図３】
2020120340.tif 000005
【図４】
2020120340.tif 000006
【図５】
2020120340.tif 000007