(57)【要約】【課題】画像処理回路の発熱を抑制しつつ現像処理を行うことができるようにする。【解決手段】撮像素子１０１は光学像に応じた画像信号を出力するイメージセンサー部１０３と、画像信号について第１の画像処理および当該第１の画像処理よりも処理負荷の少ない第２の画像処理を行ってそれぞれ第１の画像データおよび第２の画像データを生成する画像処理回路２００とを備えている。制御部２０５は温度検出部１０４で検出された撮像素子の検出温度に基づいて第１の画像処理を停止する制御を行う。【選択図】図１
2018019325.tif 000002
【特許請求の範囲】
【請求項１】
光学像に応じた画像信号を出力するイメージセンサー部と、前記画像信号について第１の画像処理および当該第１の画像処理よりも処理負荷の少ない第２の画像処理を行ってそれぞれ第１の画像データおよび第２の画像データを生成する画像処理部とを備える撮像素子と、
前記撮像素子の温度を検出する温度検出部と、
前記温度検出部で検出された検出温度に基づいて前記画像処理部における前記第１の画像処理を停止する制御を行う制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮像素子は前記イメージセンサー部と前記画像処理部とが積層された積層構造を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像処理は、前記画像信号について所定の画像処理を行って、記録媒体に記録するための第１の画像データを生成する処理であり、
前記第２の画像処理は、前記第２の画像データとして表示部に表示するためライブビュー画像を生成する処理であり、
前記制御手段は前記温度検出部で検出された検出温度が予め定められた閾値以上となると前記第１の画像処理を停止する制御を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像信号を一時的に記憶する記憶手段を備え、
前記画像処理部は、前記記憶手段から読み出された画像信号について前記第１の画像処理および前記第２の画像処理を行い、
前記制御手段は、前記第１の画像処理を停止した後、撮影を終了する指示があると、前記画像処理部によって前記記憶手段に記憶された画像信号について前記第１の画像処理を行って前記第１の画像データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像処理部は、前記第１の画像処理部を行う第１の画像処理部と、前記第２の画像処理を行う第２の画像処理部とを有し、
前記制御手段は、前記温度検出部で検出された検出温度が前記閾値以上となると、前記第１の画像処理部を動作させる動作クロックの供給を停止することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記画像処理部は、前記第１の画像処理部を行う第１の画像処理部と、前記第２の画像処理を行う第２の画像処理部とを有し、
前記制御手段は、前記温度検出部で検出された検出温度が前記閾値以上となると、前記第１の画像処理部に対する電源の供給を停止することを特徴とする請求項３又は４に記載の撮像装置。
【請求項７】
前記第１の画像処理では、少なくとも色補間処理、ホワイトバランス調整、ノイズ低減処理、光学歪補正処理、および圧縮処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記温度検出部は前記撮像素子に実装されていることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
光学像に応じた画像信号を出力するイメージセンサー部と、前記画像信号について画像処理を行って画像データを生成する画像処理部とを備える撮像素子を有する撮像装置の制御方法であって、
前記画像処理部において前記画像信号について第１の画像処理を行って第１の画像データを生成する第１のステップと、
前記画像処理部において前記第１の画像処理よりも処理負荷の少ない第２の画像処理を行って第２の画像データを生成する第２のステップと、
温度検出部によって前記撮像素子の温度を検出する第３のステップと、
前記第３のステップで得られた検出温度に基づいて、前記第１のステップを停止する制御を行う第４のステップと、
を有することを特徴とする制御方法。
【請求項１０】
光学像に応じた画像信号を出力するイメージセンサー部と、前記画像信号について画像処理を行って画像データを生成する画像処理部とを備える撮像素子を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記画像処理部において前記画像信号について第１の画像処理を行って第１の画像データを生成する第１のステップと、
前記画像処理部において前記第１の画像処理よりも処理負荷の少ない第２の画像処理を行って第２の画像データを生成する第２のステップと、
温度検出部によって前記撮像素子の温度を検出する第３のステップと、
前記第３のステップで得られた検出温度に基づいて、前記第１のステップを停止する制御を行う第４のステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、その制御方法、および制御プログラムに関し、特に、イメージセンサーおよび画像処理回路が積層された撮像素子を備える撮像装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラ又はデジタルビデオカメラなどの撮像装置では、同一のシリコン基板にイメージセンサーおよび画像処理回路が搭載されている。一方、撮像装置を小型化するため、イメージセンサーおよび画像処理回路を別のシリコン基板に形成して、これら基板を積層した所謂積層型イメージセンサーが開発されている。
【０００３】
積層型イメージセンサーにおいては、イメージセンサーと画像処理回路とが互いに近接して積層されているので、画像処理回路の動作によって熱が発生すると、当該熱がイメージセンサーにおいて画像ノイズの要因となることがある。特に、動画撮影のように連続撮影を行うと、長時間に亘って画像処理回路から熱が発生する。このため、熱による画像ノイズが動画に生じる可能性が高い。
【０００４】
このような熱に起因する画像ノイズを低減するため、例えば、画像処理回路が高温に達すると、発熱を抑えるために、画像処理回路における画像処理負荷を軽減するようにしたものがある（特許文献１および２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１３１４７２号公報
【特許文献２】特開２０１４−１８７４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１および２においては、発熱を低減するため、画像処理回路の処理負荷を軽減するようにしているものの、単に処理負荷を軽減することが記載されているだけである。このため、特許文献１および２のいずれにおいても、発熱を抑制するため主要な画像処理の１つである現像処理を停止した場合には、画像データを得ることができなくなってしまう。
【０００７】
従って、本発明の目的は、画像処理回路の発熱を抑制しつつ現像処理を行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による撮像装置は、光学像に応じた画像信号を出力するイメージセンサー部と、前記画像信号について第１の画像処理および当該第１の画像処理よりも処理負荷の少ない第２の画像処理を行ってそれぞれ第１の画像データおよび第２の画像データを生成する画像処理部とを備える撮像素子と、前記撮像素子の温度を検出する温度検出部と、前記温度検出部で検出された検出温度に基づいて前記画像処理部における前記第１の画像処理を停止する制御を行う制御手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像処理部の発熱を抑制しつつ現像処理などの画像処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態による撮像装置の構成についてその一例を示すブロック図である。
【図２】図１に示すカメラによって行われる動画撮影の一例を説明するためのフローチャートである。
【図３】本発明の実施の形態による撮像装置の構成の他の例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１２】
図１は、本発明の実施の形態による撮像装置の構成についてその一例を示すブロック図である。
【００１３】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、積層型イメージセンサー（以下撮像素子と呼ぶ）１０１を有している。当該撮像素子１０１はイメージセンサー部（撮像素子部）１０３と画像処理回路（画像処理部）２００とを有している。そして、イメージセンサー部１０３が搭載された基板と画像処理回路２００が搭載された基板とは積層されて積層構造を構成する。
【００１４】
撮像光学部（撮像光学系）１０２を介して、光学像（被写体像）がイメージセンサー部１０３に結像する。イメージセンサー部１０３は、２次元マトリックス状に複数の画素が配列されており、当該画素の各々には赤、緑、および青のいずれかのカラーフィルターがベイヤー配列で配置されている。そして、イメージセンサー部１０３は光電転換によって光学像に応じた電気信号（センサ信号）を画像処理回路２００に出力する。なお、イメージセンサー部１０３は、例えば、ＣＣＤイメージセンサー又はＣＭＯＳイメージセンサーである。
【００１５】
温度検出部１０４は、積層型イメージセンサー１０１の温度を検出して、検出温度を画像処理回路２００に送る。操作部１０５は、ユーザによって操作され、例えば、カメラ１００の撮影条件などを設定する際に用いられる。表示部１０６には、カメラ１００の各種設定画面および撮像によって得られた静止画又は動画が表示される。記録媒体１０７は、例えば、メモリカード又はハードディスクであり、記録媒体１０７には撮像によって得られた画像（画像データ）が記録される。
【００１６】
メモリ１０８は、例えば、ＤＲＡＭであり、後述する制御部２０５のワークエリアとして用いられる。
【００１７】
画像処理回路２００はセンサ信号処理部２０１を有しており、センサ信号処理部２０１は、イメージセンサー部１０３の出力であるセンサ信号をＡ／Ｄ変換によってデジタル信号に変換し、さらに当該デジタル信号について画素の修復処理など所定の処理を行う。
【００１８】
現像制御部２０２は、制御部２０５の制御下で簡易現像処理部２０３および本現像処理部２０４を後述するようにして動作させる。例えば、現像制御部２０２は簡易現像処理部２０３および本現像処理部２０４に内部動作クロックを供給して、その動作を制御する。
【００１９】
簡易現像処理部２０３は、センサ信号処理部２０１の出力である画像信号に対して簡易現像処理を行う。なお、センサ信号処理部２０１の出力である画像信号は一旦メモリ１０８に記録される。簡易現像処理では、例えば、ライブビュー動画およびサムネイル表示用画像のような低画質の画像を生成するための現像処理が行われる。以下、簡易現像処理部２０３の出力を簡易現像処理済み画像データと呼ぶ。
【００２０】
本現像処理部２０４はセンサ信号処理部２０１の出力である画像信号に対して本現像処理を行う。本現像処理では、記録用の高画質な画像を得るため、簡易現像処理よりも高精度で現像処理が行われる。例えば、本現像処理においては、色補間処理、ホワイトバランス調整、ノイズ低減処理、および光学歪補正処理などの現像処理と圧縮処理とが行われる。以下、本現像処理部２０４の出力を本現像処理済み画像データと呼ぶ。
【００２１】
制御部２０５は、カメラ１００の動作を統括する。表示制御部２０６は、簡易現像処理部２０３の出力である簡易現像処理済み画像データに応じた画像を表示部１０６に表示する。記録制御部２０７は、簡易現像済み画像データおよび本現像処理済み画像データを記録媒体１０７に記録する。
【００２２】
図２は、図１に示すカメラによって行われる動画撮影の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部２０５の制御下で行われる。また、図示のフローチャートに係る処理は、電源スイッチ（図示せず）がオンとされて、動画撮影モードが設定されている際に行われる。
【００２３】
動画撮影を開始すると、制御部２０５はセンサ信号処理部２０１から出力である画像信号を一時的にメモリ１０８に蓄積する（ステップＳ３０１）。ここで、メモリ１０８に蓄積される画像信号は未だ現像処理が行われていない未現像動画である。
【００２４】
続いて、制御部２０５は温度検出部１０４によって撮像素子１０１の温度を検出する（ステップＳ３０２）。そして、制御部２０５は検出温度が予め設定された閾値以上であるか否かを判定する（ステップＳ３０３）。
【００２５】
検出温度が閾値未満であると（ステップＳ３０３において、ＮＯ）、制御部２０５は現像制御部２０２を制御して簡易現像処理部２０３および本現像処理部２０４に内部動作クロックを送る。これによって、簡易現像処理部２０３はメモリ１０８に記録された画像信号に対して簡易現像処理を行って、簡易現像処理済み画像データを出力する（ステップＳ３０４）。さらに、ステップＳ３０４においては、本現像処理部２０４はメモリ１０８に記録された画像信号に対して本現像処理を行って、本現像処理済み画像データを出力する。
【００２６】
続いて、表示制御部２０６は簡易現像処理済み画像データに応じたライブビュー動画（ライブビュー画像）を表示部１０６に表示する（ステップＳ３０５）。さらに、ステップＳ３０５においては、記録制御部２０７は本現像処理済み画像データを高画質動画データとして記録媒体１０７に記録する。
【００２７】
続いて、制御部２０５は、操作部１０５によって撮影終了指示が行われたか否かを判定する（ステップＳ３０６）。撮影終了指示が行われないと（ステップＳ３０６において、ＮＯ）、制御部２０５はステップＳ３０２の処理に戻る。一方、撮影終了指示が行われると（ステップＳ３０６において、ＹＥＳ）、制御部２０５は本現像処理が行われていない未現像画像信号がメモリ１０８に存在するか否かを判定する（ステップＳ３０７）。
【００２８】
本現像処理が行われていない未現像画像信号（つまり、未現像動画）がメモリ１０８に存在しないと（ステップＳ３０７において、ＮＯ）、制御部２０５は動画撮影を終了する。一方、本現像処理が行われていない未現像画像信号がメモリ１０８に存在すると（ステップＳ３０７において、ＹＥＳ）、制御部２０５は現像制御部２０２によって本現像処理部２０４に内部動作クロックを供給する。これによって、本現像処理部２０４は未現像画像信号を本現像処理する（ステップＳ３０８）。さらに、ステップＳ３０８においては、記録制御部２０７は本現像処理済み画像データを動画として記録媒体１０７に記録する。そして、制御部２０５は動画撮影を終了する。
【００２９】
検出温度が閾値以上であると（ステップＳ３０３において、ＹＥＳ）、制御部２０５は現像制御部２０２を制御して簡易現像処理部２０３にのみ内部動作クロックを送る。つまり、制御部２０５は簡易現像処理部２０３のみを動作させる。これによって、簡易現像処理部２０３はメモリ１０８に記録された画像信号に対して簡易現像処理を行って、簡易現像処理済み画像データを出力する（ステップＳ３０９）。
【００３０】
続いて、表示制御部２０６は簡易現像処理済み画像データに応じたライブビュー動画を表示部１０６に表示する（ステップＳ３１０）。この際、記録制御部２０７によって簡易現像処理済み画像データを記録媒体１０７に記録するようにしてもよい。
【００３１】
その後、制御部２０５はステップＳ３０６の処理に進み、撮影終了指示が行われたか否かを判定する。そして、制御部２０５は、ステップＳ３０７において本現像処理が行われていない未現像画像信号がメモリ１０８に存在すると判定すると、本現像処理部２０４によって本現像処理を行う。この場合、動画撮影は終了しているので、本現像処理を行って画像処理回路２００の温度が上昇したとしても何ら問題はない。
【００３２】
このように、本発明の実施の形態では、動画などを撮影する際に、撮像素子１０１の温度が閾値以上となると、本現像処理を停止して簡易現像処理のみを行う。簡易現像処理は本現像処理に比べて処理負荷が少ないので、画像処理回路２００の温度上昇を抑制することができる。この結果、イメージセンサー部１０３に対する熱負荷が抑制されることになる。
【００３３】
さらに、撮影終了指示があると、本現像処理を行っていない未現像動画について、本現像処理を行うようにしてので、検出温度が閾値以上であっても動画の記録が行われないという事態を回避することができる。
【００３４】
図３は、本発明の実施の形態によるカメラの構成の他の例を示すブロック図である。なお、図３において、図１に示すカメラと同一の構成要素について同一の参照番号を付して説明を省略する。
【００３５】
図示の例では、画像処理回路の構成が図１に示す画像処理回路２００と異なるので、参照番号２００ａを付す。ここでは、画像処理回路２００ａは温度検出部１０４を備えており、温度検出部１０４は画像処理回路２００ａの温度を検出して、検出温度を制御部２０５に送る。
【００３６】
なお、図３に示すカメラ１００において動画撮影を行う際の処理は図２で説明した処理と同様であるので、ここでは説明を省略する。
【００３７】
このように、温度検出部１０４を画像処理回路２００ａに実装すれば、画像処理回路２００ａの温度を高精度に検出することができる結果、簡易現像処理と本現像処理との切り替えを精度よく行うことができる。
【００３８】
なお、上述の実施の形態では、未現像動画をメモリ１０８に一旦記録するようにしたが、記録媒体１０７に記録するようにしてもよい。
【００３９】
また、上述の実施の形態では、温度検出部１０４による検出温度が閾値以上であると、本現像処理部２０４の動作を停止するため、本現像処理部２０４に送る内部動作クロックを停止するようにしたが、このような制御に限定されない。例えば、現像制御部２０２は本現像処理部２０４の電源供給を停止するようにしてもよい。
【００４０】
さらに、上述の実施の形態では、温度検出部１０４を撮像素子１０１の近傍又は画像処理回路２００に実装するようにしたが、温度検出部１０４の位置はこの例に限定されない。温度検出部１０４は撮像素子１０１の温度を検出可能な位置に配置すればよく、例えば、イメージセンサー部１０３に実装するようにしてもよい。
【００４１】
加えて、上述の実施の形態では、温度検出部１０４を１つ実装するようにしたが、複数の温度検出部１０４を実装するようにしてもよい。この場合、複数の温度検出部１０４を互いに異なる位置に配置して、制御部２０５は複数の検出温度に応じて簡易現像処理と本現像処理とを切り替えるようにしてもよい。例えば、複数の検出温度の最高値と最低値との偏差が所定の値以上であると、本現像処理部２０４に供給する内部動作クロックを停止するようにしてもよい。
【００４２】
上述の説明から明らかなように、図１に示す例では、制御部２０５および現像制御部２０２が制御手段として機能する。
【００４３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００４４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００４５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
１０１  撮像素子（積層型イメージセンサー）
１０２  撮像光学部（撮像光学系）
１０３  イメージセンサー部
１０４  温度検出部
１０５  操作部
１０６  表示部
１０７  記録媒体
１０８  メモリ（ＤＲＡＭ）
２００  画像処理回路
２０５  制御部
【図１】
2018019325.tif 000003
【図２】
2018019325.tif 000004
【図３】
2018019325.tif 000005