(57)【特許請求の範囲】
【請求項１】
被写体を照明するための照明光を生成する光源と、
前記光源の点灯および消灯を制御する光源制御部と、
前記照明光で照明された前記被写体の光学像を結像する光学系と、
行列状に配置された複数の画素を備え、かつ複数のフレームの各々において前記光学像に基づく各画素の画素信号を生成し、かつ前記画素信号を用いて前記被写体の画像を生成する撮像素子と、
前記撮像素子を制御する撮像素子制御部と、
前記画像におけるローリング歪の発生状況を判定するローリング歪判定部と、
前記光源制御部および前記撮像素子制御部に対する第１のモードおよび第２のモードの設定を切り替えるモード設定部と、
を備え、
前記第１のモードが設定された場合、前記撮像素子制御部は、全ての同時露光ラインを連続的にスキャンすることにより前記同時露光ラインにおける前記画素から前記画素信号を読み出す第１のスキャンを前記撮像素子に行わせ、前記同時露光ラインは、前記複数の画素の配列における複数の行の一部であり、
前記第１のモードが設定された場合、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に全ての前記同時露光ラインにおける前記画素で生成された前記画素信号を前記画素から読み出すためのスキャンが行われている期間の全てを含む期間に前記光源を消灯させ、
前記撮像素子は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間に全ての前記同時露光ラインにおける前記画素で生成された前記画素信号を用いて第１の画像を生成し、
前記第２のモードが設定された場合、前記撮像素子制御部は、前記複数の行を連続的にスキャンすることにより前記複数の行における前記画素から前記画素信号を読み出す第２のスキャンを前記撮像素子に行わせ、
前記第２のモードが設定された場合、前記光源制御部は、前記第２のスキャンが行われる前に前記複数の行の各々における前記画素の蓄積可能期間の全てを含む期間に前記光源を点灯させ、
前記撮像素子は、前記第２のスキャンにより読み出された前記画素信号を用いて第２の画像を生成し、
前記ローリング歪判定部は、前記第１の画像と、前記第２の画像とを用いて前記ローリング歪の前記発生状況を判定する
内視鏡装置。
【請求項２】
前記ローリング歪判定部は、前記第１の画像の前記同時露光ラインのデータと、前記第２の画像において前記第１の画像の前記同時露光ラインに対応する行のデータとを用いて前記ローリング歪の前記発生状況を判定する
請求項１に記載の内視鏡装置。
【請求項３】
前記第１のスキャンにより全ての前記同時露光ラインにおける前記画素から第１のフレームの前記画素信号が読み出された後、前記撮像素子制御部は、前記撮像素子に対して、全ての前記同時露光ラインを含む行における前記画素から第２のフレームの前記画素信号を読み出させ、
前記撮像素子は、前記第２のフレームの前記画素信号を用いて前記第１の画像を生成し、
前記第１のスキャンによる全ての前記同時露光ラインのスキャンが終了した後、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ前記第１のスキャンが行われている期間の全てを含む期間に前記光源を消灯させ、
前記光源制御部は、前記同時露光ラインにおける前記画素から前記第２のフレームの前記画素信号が読み出される期間に前記光源を消灯させる
請求項１または請求項２に記載の内視鏡装置。
【請求項４】
前記第１のモードが設定された場合、前記撮像素子制御部は、前記撮像素子に対して、全ての同時露光ラインにおける前記画素を同時にリセットさせ、
全ての同時露光ラインにおける前記画素が同時にリセットされた後、前記撮像素子制御部は、前記第１のスキャンを前記撮像素子に行わせ、
前記撮像素子は、前記第１のスキャンにより読み出された前記画素信号を用いて前記第１の画像を生成し、
全ての同時露光ラインにおける前記画素が同時にリセットされた後、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ前記第１のスキャンが行われている期間の全てを含む期間に前記光源を消灯させる
請求項１または請求項２に記載の内視鏡装置。
【請求項５】
前記第１の画像におけるブレの発生状況を判定するブレ判定部をさらに備え、
フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、前記モード設定部は、前記第１のモードを前記光源制御部および前記撮像素子制御部に設定し、
前記ブレ判定部によって前記第１の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第２のモードを前記光源制御部および前記撮像素子制御部に設定する
請求項１から請求項４のいずれか一項に記載の内視鏡装置。
【請求項６】
前記第１の画像および前記第２の画像におけるブレの発生状況を判定するブレ判定部をさらに備え、
フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、前記ブレ判定部は、前記第２の画像におけるブレの発生状況を判定し、
前記ブレ判定部によって前記第２の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第１のモードを前記光源制御部および前記撮像素子制御部に設定し、
前記ブレ判定部によって前記第１の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第２のモードを前記光源制御部および前記撮像素子制御部に設定する
請求項１から請求項４のいずれか一項に記載の内視鏡装置。
【請求項７】
前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して処理を行う処理部をさらに備える
請求項１から請求項６のいずれか一項に記載の内視鏡装置。
【請求項８】
前記処理部は、画像記録指示が受け付けられた後、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像をメモリーに記録する記録部である
請求項７に記載の内視鏡装置。
【請求項９】
前記処理部は、計測指示が受け付けられた後、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して前記被写体の計測を行う計測部である
請求項７に記載の内視鏡装置。
【請求項１０】
前記撮像素子の温度を測定する温度センサーをさらに備え、
前記モード設定部は、前記光源制御部および前記撮像素子制御部に対する前記第１のモード、前記第２のモード、および第３のモードの設定を切り替え、
前記温度が所定値よりも高い場合、前記モード設定部は、前記第１のモードおよび前記第２のモードを前記光源制御部および前記撮像素子制御部に順次設定し、
前記温度が所定値以下である場合、前記モード設定部は、前記第３のモードを前記光源制御部および前記撮像素子制御部に設定し、
前記第３のモードが設定された場合、前記撮像素子制御部は、フレーム周期よりも短い期間において前記第２のスキャンを前記撮像素子に行わせ、
前記撮像素子は、前記第３のモードにおける前記第２のスキャンにより読み出された前記画素信号を用いて第３の画像を生成し、
前記光源制御部は、前記第３のモードにおける前記第２のスキャンが行われる前に前記複数の行の各々における前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、
前記光源制御部は、前記第３のモードにおける前記第２のスキャンが行われている期間に前記光源を消灯させる
請求項１から請求項９のいずれか一項に記載の内視鏡装置。
【請求項１１】
前記第１の画像および前記第２の画像のうち前記第２の画像のみを表示する表示部をさらに備える
請求項１から請求項１０のいずれか一項に記載の内視鏡装置。
【請求項１２】
前記ローリング歪判定部によって、所定量よりも大きい前記ローリング歪が発生していると判定された場合、前記表示部は、警告を表示する
請求項１１に記載の内視鏡装置。
【請求項１３】
前記ローリング歪判定部によって判定された前記ローリング歪の前記発生状況を表示する表示部をさらに備える
請求項１から請求項１０のいずれか一項に記載の内視鏡装置。
【請求項１４】
フリーズ指示が受け付けられた後、前記表示部は、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像をフリーズ表示する
請求項１１から請求項１３のいずれか一項に記載の内視鏡装置。
【請求項１５】
前記表示部によって前記警告が表示された後、処理指示が受け付けられた場合、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して処理を行う処理部をさらに備える
請求項１２に記載の内視鏡装置。
【請求項１６】
前記第１の画像、前記第２の画像、および前記第３の画像のうち前記第２の画像のみ、あるいは前記第２の画像と前記第３の画像とのみを表示する表示部をさらに備える
請求項１０に記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置に関する。
本願は、２０１６年１０月２４日に日本に出願された特願２０１６−２０７６９８号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
撮像素子にＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャーを用いた撮影装置では、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）を用いた場合と比べて、回路構成が簡単になり、かつ消費電力が低減する。ＣＭＯＳイメージャーの読み出し方式として、ライン露光順次読み出し（ローリングシャッター動作）が一般的に採用されている。この読み出し方式では、カメラまたは被写体に動きがある条件で撮影された画像に、ＣＭＯＳイメージャーのライン間の露光タイミングの時間差に起因するローリングシャッター歪（ローリング歪）が発生することが知られている。【０００３】
内視鏡装置において、内視鏡先端の固定が難しい状況または被写体が動きを持つ検査状況が想定される。このため、撮像素子にＣＭＯＳイメージャーを用いる場合には、高画質な画像を撮影するためにローリング歪が発生していないことが望ましい。特に工業用分野の内視鏡検査では被写体の欠陥の寸法測定が必要な用途が近年増えているので、計測誤差を低減させるためにローリング歪対策は重要である。【０００４】
特許文献１および特許文献２に開示されているように、ローリング歪対策としてグローバル露光が行われている。グローバル露光の制御では、照明が消灯している期間にＣＭＯＳイメージャーの全画素に蓄積された電荷が同時にリセットされることにより電荷蓄積可能期間が開始される。また、全画素の電荷蓄積可能期間に照明が点灯することにより全画素において同時に露光が開始される。これによって、全画素で撮像が行われる。照明が消灯することにより全画素が同時に露光を終了した後、各画素の電荷が順次読み出される。このような制御により、撮像のための露光のタイミングが全画素で一致する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特開２００８−０２９６２１号公報
【特許文献２】日本国特開２０１１−２０６３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画撮影におけるグローバル露光では、全画素が同時に電荷蓄積を行うグローバル露光期間を確保するために、フレーム周期よりも短い期間に全画素の電荷読み出しが完了するようにイメージャーの高速読み出し駆動を行う方法が一般的である。高速読み出し駆動では、グローバル露光期間を確保しない駆動よりもイメージャーにおける消費電力が増加し、かつイメージャーからの発熱量が増加する。【０００７】
ところで、工業用途の内視鏡装置の被検体として、航空機のエンジンのように検査前に冷却を必要とする被検体がある。そのような被検体の検査を行う現場では、冷却時間を含めた、検査に要する時間つまりエンジンのダウンタイムを短くできるように、なるべく高温の環境下で検査したいという要求が強い。このため、高温環境下で使用できる内視鏡装置が求められている。実現手段のひとつとして、挿入部先端に内蔵されるデバイスの発熱を少なくすることが有効である。つまり、高温環境下でローリング歪のない画像の撮影を実現するためには、ローリング歪の解消に伴う制御によるイメージャーにおける発熱量の増加が最低限に抑えられることが望ましい。【０００８】
グローバル露光期間を確保する別の方法として、フレームレートを下げることによりフレーム周期を長くし、かつ相対的に読み出し駆動期間を短くする方法もある。しかし、カメラが向く方向を調節するための湾曲機構を持つ内視鏡装置において、フレームレートを低下させると、湾曲操作に伴うカメラの動きに対して画像の更新の遅れが大きくなる。その結果、操作性が低下する。【０００９】
本発明は、撮像素子の発熱を抑えることができ、かつローリング歪が小さい画像を取得することができる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、内視鏡装置は、光源と、光源制御部と、光学系と、撮像素子と、撮像素子制御部と、ローリング歪判定部と、モード設定部とを備える。前記光源は、被写体を照明するための照明光を生成する。前記光源制御部は、前記光源の点灯および消灯を制御する。前記光学系は、前記照明光で照明された前記被写体の光学像を結像する。前記撮像素子は、行列状に配置された複数の画素を備え、かつ複数のフレームの各々において前記光学像に基づく各画素の画素信号を生成し、かつ前記画素信号を用いて前記被写体の画像を生成する。前記撮像素子制御部は、前記撮像素子を制御する。前記ローリング歪判定部は、前記画像におけるローリング歪の発生状況を判定する。前記モード設定部は、前記光源制御部および前記撮像素子制御部に対する第１のモードおよび第２のモードの設定を切り替える。前記第１のモードが設定された場合、前記撮像素子制御部は、全ての同時露光ラインを連続的にスキャンすることにより前記同時露光ラインにおける前記画素から前記画素信号を読み出す第１のスキャンを前記撮像素子に行わせる。前記同時露光ラインは、前記複数の画素の配列における複数の行の一部である。前記第１のモードが設定された場合、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に全ての前記同時露光ラインにおける前記画素で生成された前記画素信号を前記画素から読み出すためのスキャンが行われている期間の全てを含む期間に前記光源を消灯させる。前記撮像素子は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間に全ての前記同時露光ラインにおける前記画素で生成された前記画素信号を用いて第１の画像を生成する。前記第２のモードが設定された場合、前記撮像素子制御部は、前記複数の行を連続的にスキャンすることにより前記複数の行における前記画素から前記画素信号を読み出す第２のスキャンを前記撮像素子に行わせる。前記第２のモードが設定された場合、前記光源制御部は、前記第２のスキャンが行われる前に前記複数の行の各々における前記画素の蓄積可能期間の全てを含む期間に前記光源を点灯させる。前記撮像素子は、前記第２のスキャンにより読み出された前記画素信号を用いて第２の画像を生成する。前記ローリング歪判定部は、前記第１の画像と、前記第２の画像とを用いて前記ローリング歪の前記発生状況を判定する。【００１１】
本発明の第２の態様によれば、第１の態様において、前記ローリング歪判定部は、前記第１の画像の前記同時露光ラインのデータと、前記第２の画像において前記第１の画像の前記同時露光ラインに対応する行のデータとを用いて前記ローリング歪の前記発生状況を判定してもよい。【００１２】
本発明の第３の態様によれば、第１または第２の態様において、前記第１のスキャンにより全ての前記同時露光ラインにおける前記画素から第１のフレームの前記画素信号が読み出された後、前記撮像素子制御部は、前記撮像素子に対して、全ての前記同時露光ラインを含む行における前記画素から第２のフレームの前記画素信号を読み出させてもよい。前記撮像素子は、前記第２のフレームの前記画素信号を用いて前記第１の画像を生成してもよい。前記第１のスキャンによる全ての前記同時露光ラインのスキャンが終了した後、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ前記第１のスキャンが行われている期間の全てを含む期間に前記光源を消灯させてもよい。前記光源制御部は、前記同時露光ラインにおける前記画素から前記第２のフレームの前記画素信号が読み出される期間に前記光源を消灯させてもよい。【００１３】
本発明の第４の態様によれば、第１または第２の態様において、前記第１のモードが設定された場合、前記撮像素子制御部は、前記撮像素子に対して、全ての同時露光ラインにおける前記画素を同時にリセットさせてもよい。全ての同時露光ラインにおける前記画素が同時にリセットされた後、前記撮像素子制御部は、前記第１のスキャンを前記撮像素子に行わせてもよい。前記撮像素子は、前記第１のスキャンにより読み出された前記画素信号を用いて前記第１の画像を生成してもよい。全ての同時露光ラインにおける前記画素が同時にリセットされた後、前記光源制御部は、全ての前記同時露光ラインにおける前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させ、かつ前記第１のスキャンが行われている期間の全てを含む期間に前記光源を消灯させてもよい。【００１４】
本発明の第５の態様によれば、第１から第４のいずれか１つの態様において、前記内視鏡装置は、前記第１の画像におけるブレの発生状況を判定するブレ判定部をさらに備えてもよい。フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、前記モード設定部は、前記第１のモードを前記光源制御部および前記撮像素子制御部に設定してもよい。前記ブレ判定部によって前記第１の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第２のモードを前記光源制御部および前記撮像素子制御部に設定してもよい。【００１５】
本発明の第６の態様によれば、第１から第４のいずれか１つの態様において、前記内視鏡装置は、前記第１の画像および前記第２の画像におけるブレの発生状況を判定するブレ判定部をさらに備えてもよい。フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、前記ブレ判定部は、前記第２の画像におけるブレの発生状況を判定してもよい。前記ブレ判定部によって前記第２の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第１のモードを前記光源制御部および前記撮像素子制御部に設定してもよい。前記ブレ判定部によって前記第１の画像におけるブレが所定量以下であると判定された場合、前記モード設定部は、前記第２のモードを前記光源制御部および前記撮像素子制御部に設定してもよい。【００１６】
本発明の第７の態様によれば、第１から第６のいずれか１つの態様において、前記内視鏡装置は、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して処理を行う処理部をさらに備えてもよい。【００１７】
本発明の第８の態様によれば、第７の態様において、前記処理部は、画像記録指示が受け付けられた後、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像をメモリーに記録する記録部であってもよい。【００１８】
本発明の第９の態様によれば、第７の態様において、前記処理部は、計測指示が受け付けられた後、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して前記被写体の計測を行う計測部であってもよい。【００１９】
本発明の第１０の態様によれば、第１から第９のいずれか１つの態様において、前記内視鏡装置は、前記撮像素子の温度を測定する温度センサーをさらに備えてもよい。前記モード設定部は、前記光源制御部および前記撮像素子制御部に対する前記第１のモード、前記第２のモード、および第３のモードの設定を切り替えてもよい。前記温度が所定値よりも高い場合、前記モード設定部は、前記第１のモードおよび前記第２のモードを前記光源制御部および前記撮像素子制御部に順次設定してもよい。前記温度が所定値以下である場合、前記モード設定部は、前記第３のモードを前記光源制御部および前記撮像素子制御部に設定してもよい。前記第３のモードが設定された場合、前記撮像素子制御部は、フレーム周期よりも短い期間において前記第２のスキャンを前記撮像素子に行わせてもよい。前記撮像素子は、前記第３のモードにおける前記第２のスキャンにより読み出された前記画素信号を用いて第３の画像を生成してもよい。前記光源制御部は、前記第３のモードにおける前記第２のスキャンが行われる前に前記複数の行の各々における前記画素の蓄積可能期間が重なる期間の全てまたは一部を含む期間に前記光源を点灯させてもよい。前記光源制御部は、前記第３のモードにおける前記第２のスキャンが行われている期間に前記光源を消灯させてもよい。【００２０】
本発明の第１１の態様によれば、第１から第１０のいずれか１つの態様において、前記内視鏡装置は、前記第１の画像および前記第２の画像のうち前記第２の画像のみを表示する表示部をさらに備えてもよい。【００２１】
本発明の第１２の態様によれば、第１１の態様において、前記ローリング歪判定部によって、所定量よりも大きい前記ローリング歪が発生していると判定された場合、前記表示部は、警告を表示してもよい。【００２２】
本発明の第１３の態様によれば、第１から第１０のいずれか１つの態様において、前記内視鏡装置は、前記ローリング歪判定部によって判定された前記ローリング歪の前記発生状況を表示する表示部をさらに備えてもよい。【００２３】
本発明の第１４の態様によれば、第１１から第１３のいずれか１つの態様において、フリーズ指示が受け付けられた後、前記表示部は、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像をフリーズ表示してもよい。【００２４】
本発明の第１５の態様によれば、第１２の態様において、前記内視鏡装置は、前記表示部によって前記警告が表示された後、処理指示が受け付けられた場合、前記ローリング歪判定部によって前記ローリング歪が所定量以下であると判定された前記第２の画像を使用して処理を行う処理部をさらに備えてもよい。【００２５】
本発明の第１６の態様によれば、第１０の態様において、前記内視鏡装置は、前記第１の画像、前記第２の画像、および前記第３の画像のうち前記第２の画像のみ、あるいは前記第２の画像と前記第３の画像とのみを表示する表示部をさらに備えてもよい。
【発明の効果】
【００２６】
上記の各態様によれば、高速読み出し駆動が不要であるため、撮像素子の発熱を抑えることができる。また、ローリング歪判定部がローリング歪の発生状況を判定することにより、ローリング歪が小さい画像を取得することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の第１の実施形態による内視鏡装置の詳細な構成を示すブロック図である。
【図３】本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図４】本発明の第１の実施形態における撮像素子の構成を示すブロック図である。
【図５】本発明の第１の実施形態における画素の構成を示す回路図である。
【図６】本発明の第１の実施形態における撮像素子の動作を示すタイミングチャートである。
【図７】本発明の第１の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【図８】本発明の第１の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【図９】本発明の第１の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１０】本発明の第１の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１１Ａ】本発明の第１の実施形態における被写体の画像を示す参考図である。
【図１１Ｂ】本発明の第１の実施形態における被写体の画像を示す参考図である。
【図１１Ｃ】本発明の第１の実施形態における被写体の画像を示す参考図である。
【図１１Ｄ】本発明の第１の実施形態における被写体の画像を示す参考図である。
【図１２】本発明の第１の実施形態における表示部に表示される画像を示す参考図である。
【図１３】本発明の第１の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１４】本発明の第１の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１５】本発明の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図１６】本発明の第２の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１７】本発明の第２の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１８】本発明の第３の実施形態による内視鏡装置の動作を示すフローチャートである。
【図１９】本発明の第３の実施形態による内視鏡装置の動作を示すフローチャートである。
【図２０】本発明の第３の実施形態における表示部に表示される画像を示す参考図である。
【図２１】本発明の第３の実施形態における表示部に表示される画像を示す参考図である。
【図２２】本発明の第４の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【図２３】本発明の第５の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【図２４】本発明の第５の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【図２５】本発明の第６の実施形態における撮像素子と光源との動作を示すタイミングチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照し、本発明の実施形態を説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態による内視鏡装置１の全体構成を示している。図２は、内視鏡装置１の内部構成を示している。図１に示すように、内視鏡装置１は、挿入部２と、コントロールユニット３と、操作部４と、表示部５とを有する。
【００３０】
挿入部２は、観察対象の物体の内部に挿入される。挿入部２の先端２０（先端部）には、被写体からの光を先端２０に取り込むための光学系を有する光学アダプターを装着することが可能である。例えば、ステレオ光学アダプターを先端２０に装着することにより、異なる複数の視点に対応する２つの被写体像を取得することが可能となる。内視鏡装置１は、２つの被写体像のステレオ画像を使用することにより、三角測量の原理で被写体の寸法を計測することが可能である。コントロールユニット３は、内視鏡装置１の制御を行うための構成を有する。操作部４は、ユーザーが行う操作を受け付ける。表示部５は、内視鏡装置１によって撮影された画像および処理メニュー等を表示する。
【００３１】
図２は、内視鏡装置１の詳細な構成を示している。図２に示すように、挿入部２の先端２０に光学アダプター６が装着されている。第１の実施形態の光学アダプター６は、複数の視点からの複数の像を形成するステレオ光学アダプターである。光学アダプター６は、観察光学系６０と照明光学系６１とを有する。撮像素子２１が挿入部２の先端２０に配置されている。コントロールユニット３は、撮像素子制御部３０と、画像処理部３１と、光源３２と、光源制御部３３と、ＣＰＵ３４と、メモリー３５とを有する。
【００３２】
光源３２は、光源制御部３３から供給された電力を青色の励起光に変換することにより、被写体を照明するための照明光を生成する。例えば、光源３２は、発光ダイオード（ＬＥＤ）およびレーザーダイオード（ＬＤ）などのような半導体発光素子である。半導体発光素子は光のオンおよびオフを高速に切り替えることができる。このため、半導体発光素子を瞬間的に点灯させた場合に、カメラブレおよび被写体ブレによる画質の低下、つまりモーションブラーの発生を抑える効果がある。また、ハロゲンランプなどの他の光源と比較して半導体発光素子の発光効率は高いので、同じ明るさの他の光源よりも消費電力が少なく、かつ内視鏡装置１を小型化できるという効果もある。
【００３３】
光源制御部３３は、光源３２に電力を供給し、かつ画像処理部３１から出力された光源制御パラメーターに基づいて光源３２の点灯および消灯のタイミングと出射光量とを制御する。光源３２の制御モードは、連続点灯モードおよびパルス点灯モードを含む。連続点灯モードでは光源３２に供給される直流電流の大きさによって光量が制御される。パルス点灯モードでは光源３２に供給される電流パルスの幅および高さによって光量が制御される。
【００３４】
光源３２から出射された励起光は、挿入部２およびコントロールユニット３内に配置されたライトガイド８１を介して、挿入部２の先端２０に伝送される。ライトガイド８１は、光ファイバーの素線を束ねた光ファイバーバンドルである。励起光は、先端２０に配置された蛍光体２２によって白色光に変換される。照明光学系６１は、白色光を被写体に照射する。挿入部２は物体の内部に挿入され、光源３２によって生成された光を、先端２０に装着された光学アダプター６（照明光学系６１）を介して被写体に照射する。
【００３５】
観察光学系６０は、白色光によって照明された被写体の表面で反射した光を取り込む。つまり、観察光学系６０は、照明光で照明された被写体の光学像を結像する。観察光学系６０によって取り込まれた光は撮像素子２１に入射する。撮像素子２１は、挿入部２が挿入された物体の内部の被写体を複数の視点から撮像し、かつ被写体の光学像の画像データを生成する。例えば、ライン露光方式のＣＭＯＳイメージャーが撮像素子２１に使用される。ＣＭＯＳイメージャーを採用することにより、内視鏡装置１をシンプルな構成にし、かつ内視鏡装置１の消費電力を低減することができる。
【００３６】
挿入部２およびコントロールユニット３内に配置された信号線８０は、複数の同軸ケーブルを束ねて構成された複合同軸線である。信号線８０の先端側は撮像素子２１に接続され、かつ信号線８０の基端側の一部の同軸ケーブルは撮像素子制御部３０に接続される。撮像素子制御部３０は、信号線８０を介して駆動のための電力を撮像素子２１に供給する。また、撮像素子制御部３０は、画像処理部３１から受け取った撮像パラメーターを撮像素子２１に出力することにより撮像素子２１を制御する。
【００３７】
信号線８０の基端側の残りの同軸ケーブルは画像処理部３１に接続される。撮像素子２１によって生成された画像データは、画像処理部３１に伝送される。画像処理部３１は、撮像素子２１から出力された画像データに対して、各種の画像処理を行う。例えば、画像処理部３１が行う画像処理は、デモザイキング、デジタルゲイン調整、ノイズリダクション、ホワイトバランス調整、輪郭補正、およびガンマ補正の少なくとも１つである。また、画像処理部３１は、画像処理が行われた画像データと、ＣＰＵ３４によって生成されたグラフィックデータとを合成することにより表示用の映像信号を生成する。画像処理部３１は、生成された表示用の映像信号を表示部５に出力する。表示部５は、画像処理部３１から出力された映像信号に基づいて被写体の画像を表示する。
【００３８】
さらに、画像処理部３１は、適切な明るさで撮像を行うために、入力された画像データに基づいて撮像素子制御パラメーターおよび光源制御パラメーターを生成する。撮像素子制御パラメーターは、電子シャッタースピード、アナログゲイン、および駆動モードなどのパラメーターである。光源制御パラメーターは、オン／オフのタイミングおよび点灯強度などのパラメーターである。画像処理部３１は、撮像素子制御パラメーターを撮像素子制御部３０に出力する。撮像素子制御部３０は、撮像素子制御パラメーターに基づいて撮像素子２１を制御する。画像処理部３１は、光源制御パラメーターを光源制御部３３に出力する。光源制御部３３は、光源制御パラメーターに基づいて光源３２を制御する。
【００３９】
挿入部２の先端２０において、撮像素子２１の近傍に温度センサー２３が配置されている。温度センサー２３は、撮像素子２１と接触してもよい。温度センサー２３は、撮像素子２１の温度を測定する。温度センサー２３は、測定された温度を示す温度データを信号線８０に出力する。温度センサー２３から出力された温度データは、画像処理部３１を経由してＣＰＵ３４に伝送される。
【００４０】
ＣＰＵ３４は、内視鏡装置１内の各部を制御する。また、ＣＰＵ３４は、操作部４の状態を監視する。これによって、ＣＰＵ３４は、計測に関する操作等を検出する。また、ＣＰＵ３４は、温度センサー２３から出力された温度データに基づいて撮像素子２１の温度を検出する。
【００４１】
メモリー３５は、画像処理部３１によって処理された画像データを記憶する。メモリー３５は、内視鏡装置１から取り外すことが可能であってもよい。
【００４２】
図３は、ＣＰＵ３４の機能構成を示している。制御部３４０、表示処理部３４１、ローリング歪判定部３４２、モード設定部３４３、記録部３４４、および計測部３４５によってＣＰＵ３４の機能が構成されている。図３に示すブロックの少なくとも１つがＣＰＵ３４とは別の回路で構成されてもよい。
【００４３】
制御部３４０は、各部が行う処理を制御する。ユーザーが操作部４を操作した場合、制御部３４０は、ユーザーが行った操作を受け付ける。表示処理部３４１は、メニュー等を表示するためのグラフィックデータを生成する。表示処理部３４１によって生成されたグラフィックデータは画像処理部３１に出力される。また、表示処理部３４１は、画像処理部３１を制御することにより、表示部５に表示される画像の状態を制御する。ローリング歪判定部３４２は、被写体の画像におけるローリング歪の発生状況を判定する。モード設定部３４３は、光源制御部３３および撮像素子制御部３０に対するＳＧ（セミグローバル）露光モード（第１のモード）およびライン露光モード（第２のモード）の設定を切り替える。ＳＧ露光モードおよびライン露光モードについては後述する。モード設定部３４３は、設定されるモードを示すモード情報を画像処理部３１に出力する。画像処理部３１は、モード情報が示すモードに対応する撮像素子制御パラメーターおよび光源制御パラメーターを生成する。記録部３４４は、被写体の画像すなわち画像データをメモリー３５に記録する。計測部３４５は、被写体の画像すなわち画像データを使用して被写体の計測を行う。
【００４４】
図４は、撮像素子２１の構成を示している。図４に示すように、撮像素子２１は、画素部５０と、垂直走査部５１と、信号処理部５２と、水平走査部５３とを有する。
【００４５】
画素部５０は、行列状に配置された複数の画素５４を有する。複数の画素５４は、撮像素子２１の撮像領域に配置されている。複数の画素５４の配列における行数と列数との各々は、２以上である。行数と列数とが同一でなくてもよい。複数の画素５４の各々は、画素５４に入射した光の量に応じた画素信号を生成する。複数の画素５４の各々は、垂直信号線５６に接続されている。複数の垂直信号線５６が配置されている。複数の垂直信号線５６の各々は、複数の画素５４の配列における列毎に配置されている。複数の画素５４の各々は、生成された画素信号を垂直信号線５６に出力する。
【００４６】
複数の画素５４の各々は、制御信号線５７に接続されている。複数の制御信号線５７が配置されている。複数の制御信号線５７の各々は、複数の画素５４の配列における行毎に配置されている。複数の制御信号線５７の各々は、垂直走査部５１に接続されている。複数の画素５４の動作を制御するための制御信号が垂直走査部５１から制御信号線５７に出力される。１行の画素５４に対して複数の制御信号線５７が配置されている。図４では１行の画素５４に対して１つの制御信号線５７が示され、他の制御信号線５７は省略されている。制御信号の詳細については、後述する。
【００４７】
複数の画素５４の動作は、制御信号線５７に出力された制御信号に基づいて制御される。１行の画素５４に対応する制御信号は、その行における全ての画素５４に共通に供給される。このため、同一の行に配置された２つ以上の画素５４に対して同一の動作タイミングが設定される。つまり、同一の行に配置された２つ以上の画素５４は、同時に動作する。画素５４の構成の詳細については、後述する。
【００４８】
撮像素子制御部３０によって生成された制御信号が撮像素子２１に伝送される。垂直走査部５１は、撮像素子２１によって受信された制御信号に基づいて、複数の画素５４の動作を制御するための制御信号を生成する。垂直走査部５１は、複数の画素５４の配列における複数の行の各々に対応する制御信号を生成する。垂直走査部５１は、生成された制御信号を制御信号線５７に出力する。
【００４９】
信号処理部５２は、複数の信号処理回路５５を有する。信号処理回路５５は、複数の画素５４の配列における列毎に配置されている。信号処理回路５５は、垂直信号線５６に接続されている。信号処理回路５５は、画素５４から垂直信号線５６に出力された画素信号に対して、増幅およびノイズ除去等を含む信号処理を行う。
【００５０】
信号処理回路５５によって処理された画素信号は、水平走査部５３に入力される。水平走査部５３は、複数の画素５４の配列における列を順次選択する。水平走査部５３によって選択された列に対応する画素信号は、出力端子５８から出力される。
【００５１】
上記のように、撮像素子２１は、行列状に配置された複数の画素５４を備える。撮像素子２１は、複数のフレームの各々において、照明光で照明された被写体の光学像に基づく各画素５４の画素信号を生成し、かつその画素信号を用いて被写体の画像を生成する。
【００５２】
図５は、画素５４の構成を示している。図５に示すように、画素５４は、光電変換部７０と、電荷転送部７１と、電荷蓄積部７２と、リセット部７３と、増幅部７４と、出力部７５とを有する。光電変換部７０は、フォトダイオードである。電荷蓄積部７２は、容量である。例えば、電荷蓄積部７２は、増幅部７４を構成するトランジスタのゲート容量である。電荷転送部７１と、リセット部７３と、増幅部７４と、出力部７５とは、トランジスタである。
【００５３】
光電変換部７０は、画素５４に入射した光の量に応じた電荷を生成する。電荷転送部７１は、光電変換部７０によって生成された電荷を電荷蓄積部７２に転送する。電荷蓄積部７２は、光電変換部７０から転送された電荷を蓄積する。リセット部７３は、電源電圧ＶＤＤに基づいて、光電変換部７０と電荷蓄積部７２とにおける電荷をリセットする。電荷転送部７１とリセット部７３とがオンになることにより、リセット部７３は光電変換部７０と電荷蓄積部７２とにおける電荷をリセットすることができる。増幅部７４は、電荷蓄積部７２に蓄積された電荷に基づく信号を増幅する。出力部７５は、増幅部７４によって増幅された信号を画素信号として垂直信号線５６に出力する。
【００５４】
電荷転送部７１の動作は、制御信号φＴＸによって制御される。リセット部７３の動作は、制御信号φＲＳＴによって制御される。出力部７５の動作は、制御信号φＳＥＬによって制御される。制御信号φＴＸと、制御信号φＲＳＴと、制御信号φＳＥＬとは、制御信号線５７を介して垂直走査部５１から供給される。
【００５５】
画素５４の動作は、リセットと電荷転送と読み出しとを含む。リセットは、リセット部７３の動作に対応する。電荷転送は、電荷転送部７１の動作に対応する。読み出しは、出力部７５の動作に対応する。
【００５６】
図６から図８を参照し、第１の実施形態における撮像素子２１および光源３２の制御方法を説明する。第１の実施形態において、内視鏡装置１は、複数のモードによる動作の切り替えを行うことができる。
【００５７】
図６は、ライン露光モードにおける撮像素子２１の動作を示している。図６において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図６では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。
【００５８】
図６において、撮像の周期すなわちフレーム周期は１／６０秒であり、かつ各フレームの動作において全ての画素５４の画素信号の読み出しに必要な時間は１／６０秒である。図６において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。ライン露光モードにおいて、光源制御部３３は、光源３２に点灯状態を維持させる。
【００５９】
図６において、１行目の画素５４において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。時刻ｔ１において、１行目の画素５４がリセットされる。これによって、１行目の画素５４の蓄積可能期間が開始される。蓄積可能期間において、画素５４に入射した光に基づく信号が蓄積される。
【００６０】
時刻ｔ１において、２行目の画素５４の画素信号の読み出しが開始される。画素信号の読み出しは、電荷転送および信号読み出しを含む。これによって、２行目の画素５４の蓄積可能期間が終了し、かつ２行目の画素５４は画素信号を出力する。時刻ｔ１から所定時間が経過した時刻ｔ２において、２行目の画素５４の画素信号の読み出しが終了し、かつ２行目の画素５４がリセットされる。これによって、２行目の画素５４の蓄積可能期間が開始される。
【００６１】
時刻ｔ２において、３行目の画素５４の画素信号の読み出しが開始される。これによって、３行目の画素５４の蓄積可能期間が終了し、かつ３行目の画素５４は画素信号を出力する。時刻ｔ２から所定時間が経過した時刻ｔ３において、３行目の画素５４の画素信号の読み出しが終了し、かつ３行目の画素５４がリセットされる。これによって、３行目の画素５４の蓄積可能期間が開始される。
【００６２】
上記と同様の動作により、４行目から８行目の画素５４において画素信号の読み出しおよびリセットが行われる。
【００６３】
８行目の画素５４がリセットされる時刻ｔ４において、１行目の画素５４の画素信号の読み出しが開始される。これによって、１行目の画素５４の蓄積可能期間が終了し、かつ１行目の画素５４は画素信号を出力する。時刻ｔ４から所定時間が経過した時刻ｔ５において、１行目の画素５４がリセットされる。これによって、１行目の画素５４の蓄積可能期間が開始される。その後、上記の動作が繰り返される。
【００６４】
時刻ｔ１に先立つ時刻ｔ０において、１行目の画素５４の画素信号の読み出しが開始される。時刻ｔ０から時刻ｔ４までの期間の長さはフレーム周期と同一である。フレーム周期において、行の配列順に全ての画素５４の画素信号の読み出しが行毎に順次行われる。全ての画素５４の画素信号の読み出しに必要な期間の長さは、撮像できる最短の周期となる。時刻ｔ０から時刻ｔ４までの期間に読み出された画素信号は、１フレームの被写体の画像を構成する。
【００６５】
上記のように、行の配列順に画素５４から画素信号が読み出される。つまり、読み出し対象の行を１行ずつずらしながら各行の画素５４から連続的に画素信号を読み出す動作（ローリングシャッター動作）が繰り返される。図６に示す動作において、撮像素子制御部３０は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素５４から画素信号を読み出す第２のスキャンを撮像素子２１に行わせる。
【００６６】
図６に示すように、ローリングシャッター動作により、各行における複数の画素５４において同時に電荷蓄積が行われ（ライン露光）、かつ行毎に画素信号の読み出しが順次行われる。画素信号の読み出しが完了した行の画素５４はリセットされ、かつ電荷蓄積が再開される。
【００６７】
図７は、グローバル露光モードにおける撮像素子２１と光源３２との動作を示している。図７の上側の図において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図７では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。図７の下側の図において、横方向は時間を示す、縦方向は光源３２の状態を示している。「ＯＮ」は、光源３２が点灯している状態を示す。「ＯＦＦ」は、光源３２が消灯している状態を示す。
【００６８】
図７において、撮像の周期すなわちフレーム周期は１／６０秒であり、かつ各フレームの動作において全ての画素５４の画素信号の読み出しに必要な時間は約１／１２０秒である。図７において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。グローバル露光モードにおいて、光源３２は間欠的に点灯する。光源制御部３３は、光源３２を間欠的に点灯させる。
【００６９】
図７において、１行目の画素５４において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。図７に示す時刻ｔ１０から時刻ｔ１１までの期間において、図６に示す時刻ｔ０から時刻ｔ４までの期間における動作と同様の動作が行われる。つまり、時刻ｔ１０から時刻ｔ１１までの期間において、全ての画素５４の画素信号の読み出しが行毎に順次行われる。図７に示す動作において、撮像素子制御部３０は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素５４から画素信号を読み出す第２のスキャンを撮像素子２１に行わせる。
【００７０】
１フレームの画素信号の読み出しに必要な期間は、図６に示す動作と図７に示す動作とで異なる。図６に示す動作において、１フレームの画素信号の読み出しに必要な期間は、フレーム周期と同一である。図７に示す動作において、１フレームの画素信号の読み出しに必要な期間は、フレーム周期の約半分である。時刻ｔ１０から時刻ｔ１１までの期間に読み出された画素信号は、１フレームの被写体の画像を構成する。時刻ｔ１０において、光源制御部３３は、光源３２を点灯状態から消灯状態に切り替える。時刻ｔ１０から時刻ｔ１１までの期間において、光源制御部３３は光源３２を消灯させる。時刻ｔ１１において、光源制御部３３は、光源３２を消灯状態から点灯状態に切り替える。
【００７１】
時刻ｔ１１の後、時刻ｔ１２から時刻ｔ１３までの期間において、時刻ｔ１０から時刻ｔ１１までの期間における動作と同様の動作が行われる。時刻ｔ１１から時刻ｔ１２までの期間において、全ての画素５４が同時に電荷蓄積を行うことができる。時刻ｔ１１から時刻ｔ１２までの期間において、光源制御部３３は光源３２を点灯させる。つまり、光源３２はパルス状に点灯する。この期間において、グローバル露光が行われる。
【００７２】
全ての画素５４の画素信号の読み出しに必要な時間がフレーム周期よりも短い場合、全ての画素５４が同時に電荷蓄積を行うことができる期間を確保することができる。図７において、全ての画素５４が同時に電荷蓄積を行うことができる期間は約１／１２０秒である。内視鏡のように、閉空間内に挿入されて撮像を行うカメラでは、照明が消灯している間、イメージャーの画素は露光されない。このため、照明のオンおよびオフのタイミングで露光時間と露光タイミングとを制御することができる。図７に示すように、各行の画素５４において画素信号の読み出しが行われている期間に光源３２が消灯し、かつ全ての画素５４が同時に電荷蓄積を行う期間でのみ光源３２が点灯するように点灯制御を行うことによりグローバル露光を行うことができる。
【００７３】
グローバル露光モード（第３のモード）が設定された場合、撮像素子制御部３０は、フレーム周期よりも短い期間において第２のスキャンを撮像素子２１に行わせる。撮像素子２１は、グローバル露光モードにおける第２のスキャンにより読み出された画素信号を用いて画像（第３の画像）を生成する。光源制御部３３は、グローバル露光モードにおける第２のスキャンが行われる前に複数の行の各々における画素５４の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源３２を点灯させる。光源制御部３３は、グローバル露光モードにおける第２のスキャンが行われている期間に光源３２を消灯させる。
【００７４】
図７に示す時刻ｔ１１において、８行目の画素５４の画素信号の読み出しが終了する。その後、時刻ｔ１２において、１行目の画素５４の画素信号の読み出しが開始される。時刻ｔ１１から時刻ｔ１２までの期間において、複数の行の各々における画素５４すなわち全ての画素５４の蓄積可能期間が重なる。光源３２は、この期間に点灯している。つまり、図７において、光源３２は、全ての画素５４の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻ｔ１１から時刻ｔ１２までの期間の一部のみにおいて光源３２が点灯してもよい。時刻ｔ１１から時刻ｔ１２までの期間において、全ての画素５４が同時に露光される。
【００７５】
例えば、グローバル露光モードにおける第２のスキャンが行われる期間は、フレーム周期の半分以下である。各画素５４の画素信号の読み出し動作の駆動周波数を上げて第２のスキャンにかかる時間をより短くすることによって、全ての画素５４の蓄積可能期間が重なる期間であるグローバル露光可能期間がより長くなる。
【００７６】
図７に示す時刻ｔ１２において、１行目の画素５４の画素信号の読み出しが開始される。その後、第２のスキャンにより各行の画素５４の画素信号の読み出しが行われる。時刻ｔ１２から時刻ｔ１３までの期間に第２のスキャンが行われている。この期間に光源３２は消灯している。つまり、図７において、光源３２は、全ての画素５４の画素信号が読み出される期間に消灯している。光源制御部３３は、各フレームの最初に画素信号が読み出される画素５４において画素信号の読み出しが開始されたタイミングで光源３２を消灯させる。各画素５４の画素信号の読み出しが行われている期間に、光源制御部３３は、光源３２に消灯状態を維持させる。
【００７７】
図８は、ライン露光およびＳＧ露光を組み合わせたモードにおける撮像素子２１と光源３２の動作を示している。図８の上側の図において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図８では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。図８の下側の図において、横方向は時間を示す、縦方向は光源３２の状態を示している。「ＯＮ」は、光源３２が点灯している状態を示す。「ＯＦＦ」は、光源３２が消灯している状態を示す。
【００７８】
図８において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図８に示す動作は、４つのフレームの動作で構成される。
【００７９】
図８において、１行目の画素５４において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。フレームｉにおいて、第２のモードであるライン露光モードによる動作が行われる。フレームｉにおける動作は、図６に示す動作と同様である。ライン露光モードが設定された場合、撮像素子制御部３０は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素５４から画素信号を読み出す第２のスキャンを撮像素子２１に行わせる。ライン露光モードが設定された場合、光源制御部３３は、第２のスキャンが行われる前に複数の行の各々における画素５４の蓄積可能期間の全てを含む期間に光源３２を点灯させる。撮像素子２１は、第２のスキャンにより読み出された画素信号を用いて画像（第２の画像）を生成する。
【００８０】
図８に示す時刻ｔ２１において、１行目の画素５４の画素信号の読み出しが開始される。その後、第２のスキャンにより各行の画素５４の画素信号の読み出しが行われる。時刻ｔ２３において、８行目の画素５４の画素信号の読み出しが開始され、かつ時刻ｔ２４に終了する。時刻ｔ２１から時刻ｔ２４までに全ての画素５４から読み出された画素信号は、フレームｉの画像（第２の画像）を構成する。表示部５は、フレームｉの画像を表示する。
【００８１】
図８において、１行目の画素５４の蓄積可能期間が開始された時刻ｔ２０から、８行目の画素５４の蓄積可能期間が終了する時刻ｔ２３までの期間を少なくとも含む期間に、光源制御部３３は、光源３２に点灯状態を維持させる。
【００８２】
フレームｉ＋１、フレームｉ＋２、およびフレームｉ＋３における動作を説明する。フレームｉ＋１からフレームｉ＋３において、第１のモードであるＳＧ露光モードによる動作が行われる。フレームｉがライン露光を行うフレームであり、かつフレームｉ＋２がＳＧ露光を行うフレームである。図８に示す動作において、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定した後、ＳＧ露光モードを光源制御部３３および撮像素子制御部３０に設定する。
【００８３】
時刻ｔ２２においてフレームｉ＋１の１行目の画素５４の蓄積可能期間が開始された後、行の配列順に各行の画素５４の蓄積可能期間が順次開始される。時刻ｔ２４において、８行目の画素５４の蓄積可能期間が開始される。フレームｉ＋１において画素５４で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と異なる。つまり、撮像素子２１によってスキャンされる行の順番は、ライン露光モードにおける順番である行の配列順と異なる。具体的には、奇数行の画素５４の画素信号の読み出しが先に行われる。奇数行の画素５４の画素信号の読み出しが終了した後、偶数行の画素５４の画素信号の読み出しが行われる。
【００８４】
第１の実施形態において、同時露光ラインは奇数行である。同時露光ラインは、複数の画素５４の配列における複数の行の一部である。同時露光ラインは、２以上の行を含む。フレームｉ＋２において、同時露光ラインである２以上の行の画素５４は、同時に露光される。つまり、フレームｉ＋２において、同時露光ラインである２以上の行の画素５４の露光期間は同一である。同時露光ライン以外の偶数行は、非同時露光ラインである。非同時露光ラインは、複数の画素５４の配列における複数の行のうち同時露光ラインを除く行である。
【００８５】
時刻ｔ２４において、フレームｉ＋１の１行目の画素５４の画素信号の読み出しが開始される。これによって、１行目の画素５４の蓄積可能期間が終了し、かつ１行目の画素５４は画素信号を出力する。時刻ｔ２４において、同時露光ラインの画素５４の画素信号の読み出しが開始される。その後、同時露光ラインの画素５４の画素信号の読み出しが行毎に順次行われる。すなわち、複数の画素５４の配列における奇数行について画素５４の画素信号の読み出しが行毎に順次行われる。時刻ｔ２５において、７行目の画素５４の画素信号の読み出しが開始される。これによって、７行目の画素５４の蓄積可能期間が終了する。時刻ｔ２５から所定時間が経過した時刻ｔ２６において、同時露光ラインの画素５４の画素信号の読み出しが終了し、かつ７行目の画素５４は画素信号を出力する。
【００８６】
画素５４からフレームｉの画像を構成する画素信号が読み出されているとき、すなわち第２のスキャンの動作中にＳＧ露光モードが設定された場合、フレームｉ＋１の画像を構成する画素信号の読み出しにおいて、撮像素子制御部３０は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素５４から画素信号を読み出す第１のスキャンを撮像素子２１に行わせる。時刻ｔ２４から時刻ｔ２６までの期間において、第１のスキャンにより同時露光ラインにおける画素５４からフレームｉ＋１の画像を構成する画素信号が順次出力される。
【００８７】
同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出されているとき、光源３２は消灯している。ＳＧ露光モードが設定された場合、光源制御部３３は、第１のスキャンが行われている期間の全てを含む期間に光源３２を消灯させる。図８において、時刻ｔ２３から時刻ｔ２４までの期間において、光源制御部３３は、光源３２を点灯状態から消灯状態に切り替える。時刻ｔ２４から時刻ｔ２６を含む期間に光源３２は消灯している。時刻ｔ２４から時刻ｔ２６までの期間に、全ての同時露光ラインにおける画素５４からフレームｉ＋１の画像を構成する画素信号が読み出される。図８において、第１のスキャンが行われている期間の全てを含む期間に光源３２は消灯している。
【００８８】
第１のスキャンが行われた同時露光ラインにおける画素５４は、画素信号の読み出しが終了したときにリセットされる。リセットにより、同時露光ラインにおける画素５４のフレームｉ＋２の蓄積可能期間が開始される。全ての同時露光ラインにおける画素５４がリセットされた後、光源３２が間欠的に点灯することにより、同時露光ラインにおける画素５４のフレームｉ＋２の露光期間を同一にすることができる。つまり、同時露光ラインにおける画素５４のフレームｉ＋２の画素信号の生成時に、ローリング歪のない露光（ＳＧ露光）を行うことができる。時刻ｔ２６から時刻ｔ２７までの期間がＳＧ露光可能期間である。ＳＧ露光可能期間において、ＳＧ露光を行うフレームの全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる。
【００８９】
ＳＧ露光モードが設定された場合、光源制御部３３は、ＳＧ露光可能期間の全てまたは一部の期間に光源３２を点灯させる。具体的には、ＳＧ露光を行うフレームの前のフレームに対する第１のスキャンによる全ての同時露光ラインのスキャンが終了した後、光源制御部３３は、ＳＧ露光を行うフレームの全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源３２を点灯させる。撮像素子２１は、ＳＧ露光を行うフレームの全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間の全てまたは一部を含む期間で光源３２が点灯しているときに全ての同時露光ラインにおける画素５４で生成された画素信号を用いて画像（第１の画像）を生成する。
【００９０】
図８に示す時刻ｔ２６において、同時露光ラインである７行目の画素５４のフレームｉ＋１の画素信号の読み出しが終了する。その後、時刻ｔ２７において、同時露光ラインである１行目の画素５４のフレームｉ＋２の画素信号の読み出しが開始される。時刻ｔ２６から時刻ｔ２７までの期間において、全ての同時露光ラインにおける画素５４のフレームｉ＋２の蓄積可能期間が重なる。光源３２は、この期間に点灯している。つまり、図８において、光源３２は、全ての同時露光ラインにおける画素５４のフレームｉ＋２の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻ｔ２６において、光源制御部３３は、光源３２を消灯状態から点灯状態に切り替える。時刻ｔ２６から時刻ｔ２７までの期間の一部のみにおいて光源３２が点灯してもよい。時刻ｔ２６から時刻ｔ２７までの期間において、全ての同時露光ラインにおける画素５４が同時に露光される。時刻ｔ２６から時刻ｔ２７までの期間において、同時露光ラインにおける画素５４は、フレームｉ＋２の露光を行う。
【００９１】
光源制御部３３は、同時露光ラインの画素５４のうち最後にフレームｉ＋２の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングで光源３２を点灯させる。あるいは、光源制御部３３は、同時露光ラインの画素５４のうち最後にフレームｉ＋２の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングよりも後に光源３２を点灯させる。図８に示すように、同時露光ラインの画素５４のうち最後にフレームｉ＋２の電荷蓄積を開始する画素５４は、７行目の画素５４である。光源制御部３３は、光源３２が次に消灯するまでの時間が、画像処理部３１によって適正と判断された露光時間となるように、光源３２の点灯タイミングを制御する。この制御により、ＳＧ露光可能期間の全てで光源３２が点灯していると同時露光ラインの全てあるいは一部の画素５４の画素信号が飽和するシーンにおいて、画素５４の画素信号の飽和を避けることができる。
【００９２】
上記のように、時刻ｔ２４から時刻ｔ２６までの期間に、第１のスキャンにより全ての同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出される。その後、全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間に、撮像素子制御部３０は、非同時露光ラインにおける画素５４から画素信号を読み出すスキャンを撮像素子２１に行わせる。これによって、非同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出される。図８に示す時刻ｔ２６から時刻ｔ２７までの期間に、非同時露光ラインである偶数行の画素５４の画素信号の読み出しが行われる。
【００９３】
フレームｉ＋１における各行の画素５４の露光時間は異なる。このため、表示処理部３４１は、フレームｉ＋１の画像を構成する映像信号を表示部５に出力しないように画像処理部３１を制御する。表示部５は、フレームｉ＋１の画像を表示しない。
【００９４】
第１のスキャンにより全ての同時露光ラインにおける画素５４からフレームｉ＋１（第１のフレーム）の画素信号が読み出され、さらに非同時露光ラインにおける画素５４からフレームｉ＋１の画素信号が読み出される。その後、撮像素子制御部３０は、撮像素子２１に対して、全ての同時露光ラインを含む行における全ての画素５４からフレームｉ＋２（第２のフレーム）の画素信号を読み出させる。撮像素子２１は、フレームｉ＋２の画素信号を用いて画像（第１の画像）を生成する。光源制御部３３は、全ての同時露光ラインにおける画素５４で生成された画素信号を画素５４から読み出すためのスキャンが行われている期間の全てを含む期間に光源３２を消灯させる。つまり、光源制御部３３は、同時露光ラインにおける画素５４からフレームｉ＋２の画素信号が読み出される期間に光源３２を消灯させる。
【００９５】
フレームｉ＋２およびフレームｉ＋３において画素５４で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と同一である。図８に示す時刻ｔ２７において、１行目の画素５４の画素信号の読み出しが開始される。その後、第２のスキャンにより各行の画素５４の画素信号の読み出しが行われる。時刻ｔ２８において、８行目の画素５４の画素信号の読み出しが開始され、かつ時刻ｔ２９に終了する。時刻ｔ２７から時刻ｔ２９までに全ての画素５４から読み出された画素信号は、フレームｉ＋２の画像を構成する。
【００９６】
フレームｉ＋２の画像は、ローリング歪判定部３４２によって使用される。フレームｉ＋２における各非同時露光ラインの画素５４の露光時間は非同時露光ライン毎に異なる。このため、表示処理部３４１は、フレームｉ＋２の画像を構成する映像信号を表示部５に出力しないように画像処理部３１を制御する。表示部５は、フレームｉ＋２の画像を表示しない。したがって、表示部５は、フレームｉ＋２の画像（第１の画像）およびフレームｉの画像（第２の画像）のうちフレームｉの画像のみを表示する。
【００９７】
前述したように、グローバル露光モードが設定された場合、撮像素子制御部３０は、フレーム周期よりも短い期間において第２のスキャンを撮像素子２１に行わせる。撮像素子２１は、グローバル露光モードにおける第２のスキャンにより読み出された画素信号を用いて第３の画像を生成する。表示部５は、フレームｉ＋２の画像（第１の画像）、フレームｉの画像（第２の画像）、および第３の画像のうちフレームｉの画像と第３の画像とのみを表示してもよい。
【００９８】
図８に示す時刻ｔ２７において、１行目の画素５４の画素信号の読み出しが開始される。その後、時刻ｔ２８において、８行目の画素５４の画素信号の読み出しが開始される。時刻ｔ２７から時刻ｔ２８までの期間において、同時露光ラインを含む全ての画素５４の画素信号が読み出される。光源３２は、この期間に消灯している。つまり、図８において、光源３２は、全ての同時露光ラインを含む行における画素５４のフレームｉ＋２の画素信号が読み出される期間を含む期間に消灯している。時刻ｔ２７において、光源制御部３３は、光源３２を点灯状態から消灯状態に切り替える。光源制御部３３は、同時露光ラインの画素５４のうち最初に画素信号が読み出される画素５４においてフレームｉ＋２の画素信号の読み出しが開始されたタイミングで光源３２を消灯させる。同時露光ラインの各画素５４の画素信号の読み出しが行われている期間に、光源制御部３３は、光源３２に消灯状態を維持させる。
【００９９】
時刻ｔ２８の後、時刻ｔ２９において、１行目の画素５４の画素信号の読み出しが開始される。その後、第２のスキャンにより各行の画素５４の画素信号の読み出しが行われる。この第２のスキャンにより全ての画素５４から読み出された画素信号は、フレームｉ＋３の画像を構成する。フレームｉ＋３における各行の画素５４の露光時間は行毎に異なる。このため、表示処理部３４１は、フレームｉ＋３の画像を構成する映像信号を表示部５に出力しないように画像処理部３１を制御する。表示部５は、フレームｉ＋３の画像を表示しない。
【０１００】
光源制御部３３は、最後にフレームｉ＋２の電荷蓄積を開始する画素５４の画素信号の読み出しが終了した後、かつ最初にフレームｉ＋４の電荷蓄積を開始する画素５４の電荷蓄積可能期間が開始されるまでの期間に光源３２を点灯させる。図８に示す時刻ｔ２８において、光源制御部３３は、光源３２を消灯状態から点灯状態に切り替える。
【０１０１】
フレームｉ＋２において、第１のスキャンにより全ての同時露光ラインにおける画素５４からフレームｉ＋１の画素信号が読み出される期間を除く期間（時刻ｔ２６から時刻ｔ２７までの期間）に、同時露光ラインにおける全ての画素５４が同時に露光可能となる。同時露光ラインにおける全ての画素５４が同時に露光される期間に、全ての非同時露光ラインにおける画素５４からフレームｉ＋１の画素信号が読み出される。
【０１０２】
図８において、同時露光ラインおよび非同時露光ラインが４行、すなわち撮像素子２１の画素５４の全ての行数の半分である。このため、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分である。同時露光ラインが４行よりも多い場合、非同時露光ラインは４行よりも少ない。この場合、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分よりも短い。同時露光ラインが４行よりも少ない場合、非同時露光ラインは４行よりも多い。この場合、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分よりも長くできる。ＳＧ露光モードが設定された場合、光源制御部３３は、同時露光ラインの数に応じて、光源３２の点灯時間を制御する。
【０１０３】
図８に示す各フレームの動作において、全ての画素５４の画素信号の読み出しに必要な時間は、フレーム周期と同一である。このため、高速読み出し駆動は不要である。
【０１０４】
図８に示すように、同時露光ラインは奇数行であるが、同時露光ラインは偶数行であってもよい。連続するｎ行で同時露光ラインのグループが構成され、かつ２つのグループの間に、非同時露光ラインであるｎ行が配置されてもよい。ｎは２以上の整数である。例えば、ｎが２である場合、同時露光ラインは、１行目および２行目、５行目および６行目、９行目および１０行目などである。
【０１０５】
温度に応じた内視鏡装置１の動作を説明する。挿入部２の先端２０の周囲における温度が高い状況では、撮像素子２１の温度が非常に高くなることにより撮像素子２１あるいはその周辺の部品に故障が発生する恐れがある。このため、温度が高い状況では、警告がユーザーに通知される。温度センサー２３によって測定された温度が第１の閾値よりも高い場合、表示部５は、警告を表示する。例えば、第１の閾値は８０℃である。具体的には、温度が第１の閾値よりも高い場合、表示処理部３４１は、警告を表示するためのグラフィックデータを生成する。表示処理部３４１によって生成されたグラフィックデータは画像処理部３１に出力される。画像処理部３１は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部５は、画像処理部３１から出力された映像信号に基づいて警告を表示する。これによって、内視鏡装置１は、検査の中止をユーザーに促す。
【０１０６】
温度センサー２３によって測定された温度が第１の閾値以下である場合の内視鏡装置１の動作を説明する。モード設定部３４３は、光源制御部３３および撮像素子制御部３０に対するＳＧ露光モード（第１のモード）、ライン露光モード（第２のモード）、およびグローバル露光モード（第３のモード）の設定を切り替える。温度が第２の閾値（所定値）よりも高い場合、モード設定部３４３は、ＳＧ露光モードおよびライン露光モードを光源制御部３３および撮像素子制御部３０に順次設定する。温度が第２の閾値以下である場合、モード設定部３４３は、グローバル露光モードを光源制御部３３および撮像素子制御部３０に設定する。
【０１０７】
第２の閾値は、第１の閾値よりも低い。例えば、第２の閾値は、６０℃である。モード設定部３４３は、温度センサー２３から出力された温度データが示す温度を判定し、かつ温度に応じてＳＧ露光モード、ライン露光モード、およびグローバル露光モードの設定を切り替える。温度が第１の閾値以下であり、かつ第２の閾値よりも高い場合、ＳＧ露光モードおよびライン露光モードを組み合わせた動作が行われる。つまり、図８に示す動作が行われる。これによって、ローリング歪の発生を検出するための画像が取得される。また、撮像素子２１における発熱が、内視鏡装置１がグローバル露光モードで動作するときと比較して低減される。温度が第２の閾値以下である場合、グローバル露光モードの動作が行われる。つまり、図７に示す動作が行われる。これによって、ローリング歪がない画像が取得される。
【０１０８】
図９および図１０は、温度センサー２３によって測定された温度が第１の閾値以下である場合の内視鏡装置１の動作を示している。図９および図１０を参照し、内視鏡装置１の動作を説明する。図９および図１０は、画像記録処理に対応している。表示部５は、被写体の画像を連続的に表示する。ユーザーは、画像を記録したいタイミングで操作部４を操作することにより、画像記録操作を行う。ユーザーは、画像記録操作により、画像記録指示を内視鏡装置１に入力することができる。なお、画像記録指示は、一定の時間間隔で内視鏡装置１の内部で自動的に発生してもよい。あるいは、内視鏡装置１にさらに無線送受信部を加えて内視鏡装置１の外部の別の装置から画像記録指示を与えるようにしてもよい。
【０１０９】
モード設定部３４３は、温度センサー２３から出力された温度データが示す温度を確認する（ステップＳ１００）。
【０１１０】
ステップＳ１００の後、温度が６０℃以下であると判定される場合（ステップＳ１０１）、モード設定部３４３は、グローバル露光モードを光源制御部３３および撮像素子制御部３０に設定する（ステップＳ１０２）。ステップＳ１００の後、温度が６０℃以下ではないと判定される場合（ステップＳ１０１）、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定する（ステップＳ１０３）。
【０１１１】
ステップＳ１０２またはステップＳ１０３の後、制御部３４０は、操作部４からの信号に基づいて、画像記録操作が行われたか否かを判定する（ステップＳ１０４）。ステップＳ１０４において、画像記録操作が行われていないと制御部３４０が判定した場合、１フレームの画像が取得される（ステップＳ１０５）。ステップＳ１０５における動作は、光源制御部３３および撮像素子制御部３０に設定されているモードにより異なる。
【０１１２】
グローバル露光モードが設定されている場合、図７に示す動作により１フレームの画素信号が取得される。ライン露光モードが設定されている場合、図６に示す動作により１フレームの画素信号が取得される（ステップＳ１０５）。
【０１１３】
ステップＳ１０５の後、表示部５は、１フレームの画像を表示する（ステップＳ１０６）。ステップＳ１０６の後、ステップＳ１００における処理が行われる。ユーザーによって画像記録操作が行われない場合、グローバル露光モードまたはライン露光モードの動作が繰り返される。
【０１１４】
ステップＳ１０４において、画像記録操作が行われたと制御部３４０が判定した場合、光源制御部３３および撮像素子制御部３０に設定されているモードに従って１フレームの画像が取得される。つまり、図８に示すフレームｉの画像が取得される（ステップＳ１０７）。
【０１１５】
ステップＳ１０７の後、光源制御部３３および撮像素子制御部３０に設定されたモードがグローバル露光モードである場合（ステップＳ１０８）、記録部３４４は、ステップＳ１０７において取得された画像をメモリー３５に記録する（ステップＳ１１２）。ステップＳ１１２の後、ステップＳ１０５における処理が行われる。ステップＳ１１２における処理が行われたときにＳＧ露光モードが光源制御部３３および撮像素子制御部３０に設定されている場合、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定する。その後、ステップＳ１０５における処理が行われる。
【０１１６】
ステップＳ１０７の後、光源制御部３３および撮像素子制御部３０に設定されたモードがグローバル露光モードでない場合（ステップＳ１０８）、モード設定部３４３は、ＳＧ露光モードを光源制御部３３および撮像素子制御部３０に設定する（ステップＳ１０９−１）。次に、光源制御部３３および撮像素子制御部３０に設定されているモードに従って１フレームの画像が取得される。つまり、図８に示すフレームｉ＋２の画像が取得される（ステップＳ１０９−２）。その後、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定する（ステップＳ１０９−３）。図８に示すフレームｉ＋２の画像が取得される前にフレームｉ＋１の画像が取得されるが、この動作に関する処理は図１０に示されていない。また、図８に示すフレームｉ＋２の画像が取得された後にフレームｉ＋３の画像が取得されるが、この動作に関する処理は図１０に示されていない。
【０１１７】
ステップＳ１０９−３の後、ローリング歪判定部３４２は、第１の画像と第２の画像とを用いてローリング歪の発生状況を判定する。具体的には、ローリング歪判定部３４２は、第１の画像の同時露光ラインのデータと、第２の画像において第１の画像の同時露光ラインに対応する行のデータとを比較する。これによって、ローリング歪判定部３４２は、ローリング歪の発生状況を判定する（ステップＳ１１０）。同時露光ラインにおける画素５４で生成された画像は、ステップＳ１０９−２における処理により取得される。第２のスキャンにより読み出された画素信号は、ステップＳ１０７における処理により取得される。奇数行が同時露光ラインである場合、２つのフレーム画像における奇数行のデータが使用される。２つのフレーム画像において、同一行のデータが比較される。
【０１１８】
ローリング歪の判定方法を説明する。ローリング歪判定部３４２は、ステップＳ１０９−２において取得された第１の画像のうち同時露光ラインのデータを抽出する。抽出されたデータは、基準画像を構成する。さらに、ローリング歪判定部３４２は、ステップＳ１０７において取得された第２の画像のうち第１の画像の同時露光ラインに対応する行のデータを抽出する。抽出されたデータは、部分画像を構成する。ローリング歪判定部３４２は、基準画像および部分画像の幾何学的歪を補正した後に、それぞれの画像における特徴点を抽出する処理を行う。ローリング歪判定部３４２は、基準画像および部分画像における特徴点を対応付ける。ローリング歪判定部３４２は、各特徴点の動きベクトルを算出する。
【０１１９】
図１１Ａから図１１Ｄは、被写体ＳＢの基準画像および部分画像の幾何学的歪を補正した後の画像を示している。図１１Ａから図１１Ｄにおいて、被写体ＳＢの背景の画像は省略されている。説明を簡略化するため、被写体ＳＢの構造は立方体である。図１１Ａは、基準画像における被写体ＳＢの画像を示している。基準画像においてローリング歪は発生していない。図１１Ｂは、部分画像における被写体ＳＢの画像を示している。部分画像においてローリング歪が発生することにより、被写体ＳＢが歪んでいる。
【０１２０】
図１１Ｃは、ローリング歪が発生していない部分画像における被写体ＳＢの画像を示している。図１１Ｃにおいて、被写体ＳＢが先端２０に対して平行に移動した、あるいは先端２０が被写体ＳＢに対して平行に移動したことにより、被写体ＳＢの像が所定方向に平行に移動している。図１１Ｃにおける破線は、移動前の被写体ＳＢを示している。全ての移動ベクトルＶ１の方向および大きさは同一である。
【０１２１】
図１１Ｄは、ローリング歪が発生している部分画像における被写体ＳＢの画像を示している。図１１Ｄにおける破線は、移動前の被写体ＳＢを示している。被写体ＳＢの上部における移動ベクトルＶ２および被写体ＳＢの下部における移動ベクトルＶ３の方向および大きさは異なる。
【０１２２】
全ての動きベクトルの方向のばらつきが第３の閾値以下であり、かつ全ての動きベクトルの大きさのばらつきが第４の閾値以下である場合（図１１Ｃ）、ローリング歪判定部３４２は、ローリング歪みがないと判定する。それ以外の場合（図１１Ｄ）、ローリング歪判定部３４２は、ローリング歪みがあると判定する。ローリング歪みがあると判定される場合、ローリング歪判定部３４２は、ローリング歪の発生量を細かく判定してもよい。例えば、全ての動きベクトルの方向のばらつきが第３の閾値よりも大きくかつ第５の閾値以下であり、かつ全ての動きベクトルの大きさのばらつきが第４の閾値よりも大きくかつ第６の閾値以下である場合、ローリング歪判定部３４２は、ローリング歪が小さいと判定してもよい。あるいは、全ての動きベクトルの方向のばらつきが第５の閾値よりも大きい場合、または全ての動きベクトルの大きさのばらつきが第６の閾値よりも大きい場合、ローリング歪判定部３４２は、ローリング歪が大きいと判定してもよい。動きベクトルの方向および大きさのばらつきを示す指標には、標準偏差あるいは分散を用いてもよいし、最大値と最小値との差を用いてもよい。
【０１２３】
ステップＳ１１０において判定されたローリング歪が所定量以下である場合（ステップＳ１１１）、ステップＳ１１２における処理が行われる。つまり、ローリング歪みがない場合、またはローリング歪が小さい場合、ステップＳ１１２における処理が行われる。したがって、画像記録指示が受け付けられた後、記録部３４４は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像（第２の画像）をメモリー３５に記録する。ステップＳ１０７において取得された画像がメモリー３５に記録される。これによって、ローリング歪が小さい画像を記録することができる。ステップＳ１１２の後、ステップＳ１０５における処理が行われる。
【０１２４】
ステップＳ１１０において判定されたローリング歪が所定量よりも大きい場合（ステップＳ１１１）、ローリング歪判定部３４２は、ローリング歪が所定量よりも大きいと連続的に判定された回数を確認する（ステップＳ１１３）。例えば、ローリング歪が所定量よりも大きいと連続的に判定された回数を示すカウンタが使用されてもよい。ステップＳ１１３においてローリング歪が所定量よりも大きいと連続的に判定された回数が１０以内である場合、ステップＳ１０７における処理が行われる。つまり、ローリング歪が所定量よりも大きい状況が継続する場合、ステップＳ１０７およびステップＳ１０９−２における画像の取得が繰り返される。この場合、撮像素子２１は、光源３２が点灯しているときに全ての同時露光ラインにおける画素５４で生成された画素信号を用いた画像（第１の画像）と、第２のスキャンにより読み出された画素信号を用いた画像（第２の画像）とを繰り返し生成する。
【０１２５】
ステップＳ１１３においてローリング歪が所定量よりも大きいと連続的に判定された回数が１０よりも多い場合、表示処理部３４１は、メッセージを表示するためのグラフィックデータを生成する。表示処理部３４１によって生成されたグラフィックデータは画像処理部３１に出力される。画像処理部３１は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部５は、画像処理部３１から出力された映像信号に基づいてメッセージを表示する（ステップＳ１１４）。これによって、表示部５は、ローリング歪判定部３４２によって判定されたローリング歪の発生状況を表示する。
【０１２６】
図１２は、ステップＳ１１４において表示部５によって表示される画像Ｇ１０を示している。画像Ｇ１０は、ウィンドウＷ１０を含む。ウィンドウＷ１０は、ローリング歪の発生状況を示すメッセージＭ１０を含む。さらに、ウィンドウＷ１０は、ユーザーに対応方法を選択させるためのメッセージＭ１１、メッセージＭ１２、およびメッセージＭ１３を含む。メッセージＭ１１は、画像記録処理の中止を示す。メッセージＭ１２は、画像の再取得を示す。メッセージＭ１３は、ローリング歪を含む画像の記録を示す。さらに、ウィンドウＷ１０は、各メッセージに対応して設けられたチェックボックスＢ１０を含む。大きなローリング歪が発生する状況が継続している場合、内視鏡装置１は、画像の再取得をユーザーに促す。ユーザーは、操作部４を操作することにより、チェックボックスＢ１０に選択結果を入力する（ステップＳ１１５）。
【０１２７】
ステップＳ１１５においてユーザーによって画像記録の中止が選択された場合、ステップＳ１０５における処理が行われる。つまり、メッセージＭ１１に対応する方法が選択された場合、ステップＳ１０５における処理が行われる。ＳＧ露光モードが光源制御部３３および撮像素子制御部３０に設定されているため、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定する。その後、ステップＳ１０５における処理が行われる。
【０１２８】
ステップＳ１１５においてユーザーによって画像の再取得が選択された場合、ステップＳ１０７における処理が行われる。つまり、メッセージＭ１２に対応する方法が選択された場合、ステップＳ１０７における処理が行われる。画像が再度取得されることにより、ローリング歪が小さい画像を取得できる可能性がある。
【０１２９】
ステップＳ１１５においてユーザーによって画像の記録が選択された場合、ステップＳ１１２における処理が行われる。つまり、メッセージＭ１３に対応する方法が選択された場合、ステップＳ１１２における処理が行われる。この場合、ステップＳ１１２において、記録部３４４は、ローリング歪判定部３４２によってローリング歪が所定量よりも大きいと判定された画像をメモリー３５に記録する。ステップＳ１０７において取得された画像がメモリー３５に記録される。
【０１３０】
ステップＳ１１３における判定に使用される閾値は１０以外の数であってもよい。また、ステップＳ１１３における判定に用いる指標は、ステップＳ１０４で画像記録操作が行われたと判定されたタイミングからの経過時間であってもよい。この場合、ステップＳ１１３において、経過時間が例えば１秒以内であるか否かが判定される。
【０１３１】
ステップＳ１１４からステップＳ１１５までの処理と、ステップＳ１０７からステップＳ１１１までの処理とを並列化してもよい。つまり、ステップＳ１１４における処理によりメッセージＭ１２が表示された後、ステップＳ１１５における処理によりユーザーが選択を行うまで、ステップＳ１０７からステップＳ１１１における処理を繰り返すようにしてもよい。その場合、ステップＳ１１１でローリング歪が所定量よりも小さいと判定されたときには、ローリング歪が小さい画像が取得できた旨を伝える別のメッセージに表示を切り替える処理が行われる。その後、ステップＳ１１２における処理が行われる。
【０１３２】
図１３および図１４は、温度センサー２３によって測定された温度が第１の閾値以下である場合の内視鏡装置１の他の動作を示している。図１３および図１４を参照し、内視鏡装置１の動作を説明する。図１３および図１４は、計測処理に対応している。表示部５は、被写体の画像を連続的に表示する。ユーザーは、画像を記録したいタイミングで操作部４を操作することにより、計測操作を行う。ユーザーは、計測操作により、計測指示を内視鏡装置１に入力することができる。図１３および図１４に示す処理について、図９および図１０に示す処理と異なる点を説明する。
【０１３３】
図９に示すステップＳ１０４は、ステップＳ１２０に変更される。制御部３４０は、操作部４からの信号に基づいて、計測操作が行われたか否かを判定する（ステップＳ１２０）。ステップＳ１２０において、計測操作が行われたと制御部３４０が判定した場合、ステップＳ１０７における処理が行われる。ステップＳ１２０において、計測操作が行われていないと制御部３４０が判定した場合、ステップＳ１０５における処理が行われる。
【０１３４】
図１０に示すステップＳ１１２は、ステップＳ１２１に変更される。計測部３４５は、計測処理を行う（ステップＳ１２１）。計測処理において、計測部３４５は、ユーザーによって指定された計測点の３次元座標を算出する。計測部３４５は、各計測点の３次元座標に基づいて、被写体の大きさを計測する。例えば、計測部３４５は、２点間の距離、計測点から基準線までの長さ、領域の面積、および領域の周長の少なくとも１つを計測する。ステップＳ１１０において判定されたローリング歪が所定量以下である場合（ステップＳ１１１）、ローリング歪みが小さい画像がステップＳ１２１における計測処理に使用される。つまり、計測指示が受け付けられた後、計測部３４５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像（第２の画像）を使用して被写体の計測を行う。これによって、ローリング歪が小さい画像を使用して計測処理を行うことができる。つまり、計測精度の低下を回避することができる。計測処理において、計測部３４５による処理が行われた後、記録部３４４は、第２の画像に計測の結果を付加し、かつ第２の画像をメモリー３５に記録する。ステップＳ１２１における画像のメモリー３５への記録をステップＳ１２１の最初に行い、かつ最後に計測結果をメモリー３５に追加するようにしてもよい。ステップＳ１１０においてローリング歪がないと判定された場合のみ、ステップＳ１２１における処理が行われてもよい。ステップＳ１２１の後、ステップＳ１０５における処理が行われる。
【０１３５】
上記以外の点について、図１３および図１４に示す処理は、図９および図１０に示す処理と同様である。
【０１３６】
上記のように、内視鏡装置１は、第１の画像および第２の画像を取得する。第１の画像は、第１のモードであるＳＧ露光モードの動作により取得される。第１の画像は、同時に露光された同時露光ラインにおける画素５４から読み出された画素信号を用いて生成される。同時露光ラインの画像にはローリング歪がない。第２の画像は、第２のモードであるライン露光モードの動作により取得される。ローリング歪判定部３４２は、第１の画像における同時露光ラインのデータと、第２の画像において第１の画像の同時露光ラインに対応する行のデータとを比較することによりローリング歪の発生状況を判定する。ローリング歪判定部３４２によって判定されたローリング歪の発生状況と、第２の画像に割り当てられた役割とに応じて、第２の画像に対する処理が切り替わる。第２の画像に割り当てられた役割は、記録および計測のいずれか１つである。
【０１３７】
上記のように、内視鏡装置１は、第２のスキャンにより読み出された画素信号を用いた画像を使用して処理を行う処理部である記録部３４４および計測部３４５を有する。記録部３４４および計測部３４５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像を使用して処理を行う。
【０１３８】
本発明の各態様の内視鏡装置は、光源３２、光源制御部３３、観察光学系６０、撮像素子２１、撮像素子制御部３０、ローリング歪判定部３４２、およびモード設定部３４３以外の構成を有していなくてもよい。
【０１３９】
図１０および図１４に示すステップＳ１０７において取得される画像は、図８のフレームｉの画像である。フレームｉ＋１、フレームｉ＋２、フレームｉ＋３、およびフレームｉ＋４を１単位とする動作が繰り返されてもよい。フレームｉ＋４における動作は、フレームｉにおける動作と同一である。この場合、ステップＳ１０７において取得される画像は、フレームｉ＋４の画像である。
【０１４０】
フレームｉおよびフレームｉ＋４の両方において画像が取得されてもよい。つまり、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定した後、ＳＧ露光モードを光源制御部３３および撮像素子制御部３０に設定する。ＳＧ露光モードが設定された後、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に再度設定する。ローリング歪判定部３４２は、フレームｉおよびフレームｉ＋４の画像におけるローリング歪の判定を行ってもよい。この場合、フレームｉ、フレームｉ＋１、フレームｉ＋２、フレームｉ＋３、およびフレームｉ＋４を１単位とする動作が繰り返される。フレームｉおよびフレームｉ＋４の画像のいずれか１つが記録または計測に使用される。ローリング歪の判定に使用される画像が増加することにより、ステップＳ１１１でローリング歪が所定量よりも大きいと判定される確率を減らすことができる。その結果、ステップＳ１１５の処理でユーザー操作を必要とする頻度を抑えることができ、かつ使い勝手を向上することができる。
【０１４１】
図９および図１０に示す処理は、以下のように変更されてもよい。ユーザーは、画像を記録したいタイミングで操作部４を操作することにより、フリーズ操作を行う。ユーザーは、フリーズ操作により、フリーズ指示を内視鏡装置１に入力することができる。ステップＳ１０４において、制御部３４０は、操作部４からの信号に基づいて、フリーズ操作が行われたか否かを判定する。
【０１４２】
ステップＳ１１２における処理が行われる前に表示部５は、被写体の画像をフリーズ表示する。具体的には、表示処理部３４１は、画像処理部３１にフリーズを指示する。画像処理部３１は、ステップＳ１０７において取得された画像に対応する映像信号を表示部５に出力し、かつ画像のフリーズ処理を行う。つまり、画像処理部３１は、同一の映像信号を表示部５に出力し続ける。表示部５は、画像処理部３１から出力された映像信号に基づいて被写体の画像をフリーズ表示する。フリーズ表示された画像の画質をユーザーが確認した後、ステップＳ１１２における処理が行われる。
【０１４３】
ステップＳ１１０において判定されたローリング歪が所定量以下である場合（ステップＳ１１１）、画像がフリーズ表示される。つまり、ローリング歪みがない場合、またはローリング歪が小さい場合、画像がフリーズ表示される。したがって、フリーズ指示が受け付けられた後、表示部５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像（第２の画像）をフリーズ表示する。画像がフリーズ表示された後、画像記録指示が受け付けられた場合、記録部３４４は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像（第２の画像）をメモリー３５に記録する。これによって、ローリング歪が小さいことをユーザーが確認した画像を記録することができる。
【０１４４】
図１３および図１４に示す処理においてフリーズ表示が行われてもよい。例えば、ステップＳ１２１における処理が行われる前に表示部５は、上記と同様の処理により、被写体の画像をフリーズ表示する。フリーズ表示された画像の画質をユーザーが確認した後、ステップＳ１２１における処理が行われる。つまり、画像がフリーズ表示された後、計測指示が受け付けられた場合、計測部３４５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像（第２の画像）を使用して被写体の計測を行う。これによって、ローリング歪が小さいことをユーザーが確認した画像を使用して計測処理を行うことができる。
【０１４５】
上記のように、画像がフリーズ表示された後、処理指示（画像記録指示または計測指示）が受け付けられた場合、記録部３４４および計測部３４５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定された画像を使用して処理を行う。
【０１４６】
第１の実施形態において、高速読み出し駆動が不要であるため、撮像素子の発熱を抑えることができる。また、ローリング歪判定部３４２がローリング歪の発生状況を判定することにより、ローリング歪が小さい画像を取得することができる。
【０１４７】
ＳＧ露光モードにおいて、同時露光ラインの画素信号で構成された画像が取得される。同時露光ラインにおける全ての画素５４で露光が同時に行われるため、ローリング歪は発生しない。ローリング歪判定部３４２は、この画像を使用することにより、ローリング歪の発生状況を確実に判定することができる。
【０１４８】
複数の画素５４の配列における全ての行の半分が同時露光ラインである場合、図８に示す時刻ｔ２４から時刻ｔ２６までの期間および時刻ｔ２６から時刻ｔ２７までの期間は、フレーム周期の半分である。この場合、同時露光ラインにおける画素５４の露光期間として比較的長い期間が確保される。内視鏡装置１を使用してより狭い空間内を観察できるようにするためには、挿入部２が細径化されることが望ましい。挿入部２が細径化され、かつ光学アダプター６の照明光学系６１が小さくなった場合、照明光量が不足しやすい。第１の実施形態では、ＳＧ露光可能期間を比較的長くできるため、同時露光ラインにおける画素５４の露光量を多くできる。これによって、画像のＳ／Ｎが改善するため、挿入部２が細径化された内視鏡装置１においてもローリング歪の検出精度が高くなる。
【０１４９】
（第２の実施形態）
本発明の第２の実施形態の内視鏡装置１において、第１の実施形態におけるＣＰＵ３４は、図１５に示すＣＰＵ３４ａに変更される。図１５は、ＣＰＵ３４ａの機能構成を示している。図１５に示す構成について、図３に示す構成と異なる点を説明する。
【０１５０】
ＣＰＵ３４ａは、図３に示す構成に加えて、ブレ判定部３４６を有する。ブレ判定部３４６は、複数のフレームの画像を比較することにより、第１の画像および第２の画像におけるブレ（モーションブラー）の発生状況を判定する。ブレ判定部３４６が判定を行う画像は、２フレームの画像である。ブレ判定部３４６が判定を行う画像は、ライン露光モードの動作により取得された２フレームの画像（第２の画像）、あるいはＳＧ露光モードの動作により取得された２フレームの画像（第１の画像）である。これらの画像は、同時に露光された同時露光ラインにおける画素５４から読み出された画素信号を用いて生成される。
【０１５１】
具体的には、フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、ブレ判定部３４６は、第２の画像におけるブレの発生状況を判定する。ブレ判定部３４６によって第２の画像におけるブレが所定量以下であると判定された場合、モード設定部３４３は、ＳＧ露光モードを光源制御部３３および撮像素子制御部３０に設定する。ブレ判定部３４６によって第１の画像におけるブレが所定量以下であると判定された場合、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定する。
【０１５２】
上記以外の点について、図１５に示す構成は、図３に示す構成と同様である。
【０１５３】
第１の実施形態における図９および図１０に示す動作は、図９、図１６、および図１７に示す動作に変更される。図９に示す動作は、第１および第２の実施形態において共通である。第１の実施形態における図１０に示す動作は、図１６および図１７に示す動作に変更される。図１６および図１７を参照し、内視鏡装置１の動作を説明する。図１６および図１７に示す動作において、図１０に示す動作と異なる点を説明する。
【０１５４】
ステップＳ１０４において、画像記録操作が行われたと制御部３４０が判定した場合、ステップＳ１０７における処理が行われる。ステップＳ１０７の後、ステップＳ１０７における処理と同様の処理が再度行われる（ステップＳ１３０−１）。ステップＳ１０７およびステップＳ１３０−１における処理により、グローバル露光モードあるいはライン露光モードで２フレームの画像が取得される。
【０１５５】
ステップＳ１３０−１の後、ブレ判定部３４６は、グローバル露光モードあるいはライン露光モードの動作により取得された２フレームの画像を比較することにより、モーションブラーの発生状況を判定する（ステップＳ１３１−１）。ステップＳ１３１−１において判定されたモーションブラーが所定量よりも大きい場合（ステップＳ１３２−１）、ステップＳ１３０−１における処理が行われる。その後、ステップＳ１３１−１における判定が再度行われる。つまり、モーションブラーが所定量よりも大きい状況が継続する場合、ステップＳ１３０−１における画像の取得が繰り返される。この場合、撮像素子２１は、光源３２が点灯しているときに全ての画素５４で生成された画素信号を用いた画像（第２の画像）を繰り返し生成する。ステップＳ１３１−１における２回目以降の判定において、その直前のステップＳ１３０−１において取得された画像と、１回前にステップＳ１３１−１における判定が行われる直前にステップＳ１３０−１において取得された画像とが使用される。ステップＳ１３１−１において判定されたモーションブラーが所定量以下である場合（ステップＳ１３２−１）、ステップＳ１０８における処理が行われる。ステップＳ１０７およびステップＳ１３０−１において第２の画像が取得される毎に、取得された第２の画像は表示部５に表示される。
【０１５６】
光源制御部３３および撮像素子制御部３０に設定されたモードがグローバル露光モードである場合（ステップＳ１０８）、ステップＳ１１２における処理が行われる。ステップＳ１０４において、画像記録操作が行われたと制御部３４０が判定し、かつ光源制御部３３および撮像素子制御部３０に設定されたモードがグローバル露光モードでない場合（ステップＳ１０８）、ステップＳ１０９−１およびステップＳ１０９−２における処理が行われる。
【０１５７】
ステップＳ１０９−２の後、ステップＳ１０９−２における処理と同様の処理が再度行われる（ステップＳ１３０−２）。ステップＳ１０９−２およびステップＳ１３０−２における処理により、ＳＧ露光モードで２フレームの画像が取得される。例えば、図８に示すフレームｉ＋１からフレームｉ＋３で構成される動作が２回行われる。
【０１５８】
ステップＳ１３０−２の後、ブレ判定部３４６は、ＳＧ露光モードの動作により取得された２フレームの画像を比較することにより、モーションブラーの発生状況を判定する（ステップＳ１３１−２）。ステップＳ１３１−２において判定されたモーションブラーが所定量よりも大きい場合（ステップＳ１３２−２）、ステップＳ１３０−２における処理が行われる。その後、ステップＳ１３１−２における判定が再度行われる。つまり、モーションブラーが所定量よりも大きい状況が継続する場合、ステップＳ１３０−２における画像の取得が繰り返される。この場合、撮像素子２１は、光源３２が点灯しているときに全ての同時露光ラインにおける画素５４で生成された画素信号を用いた画像（第１の画像）を繰り返し生成する。ステップＳ１３１−２における２回目以降の判定において、その直前のステップＳ１３０−２において取得された画像と、１回前にステップＳ１３１−２における判定が行われる直前にステップＳ１３０−２において取得された画像とが使用される。ステップＳ１０９−２およびステップＳ１３０−２において取得される第１の画像は、表示部５に表示されない。
【０１５９】
ステップＳ１３１−２において判定されたモーションブラーが所定量以下である場合（ステップＳ１３２−２）、ステップ１０９−３における処理と、ステップＳ１１０における処理とが行われる。モーションブラーがない場合のみ、ステップ１０９−３およびステップＳ１１０における処理が行われてもよい。
【０１６０】
上記以外の点について、図１６および図１７に示す動作は、図１０に示す動作と同様である。
【０１６１】
図９に示すステップＳ１０４が図１３に示すステップＳ１２０に変更され、かつ図１７に示すステップＳ１１２が図１４に示すステップＳ１２１に変更されてもよい。
【０１６２】
第２の実施形態において、ローリング歪だけでなく手ブレおよび被写体ブレのない画像がローリング歪の判定に使用される。このため、ローリング歪判定の精度が向上する。その結果、より高画質な画像の記録およびより高精度な計測を実現することができる。
【０１６３】
なお、ステップＳ１３０−１およびステップＳ１３０−２の処理をなくして、ブレ判定部３４６は１フレームの画像を解析してブレの発生状況を判定するようにしてもよい。
【０１６４】
また、ステップＳ１０７の後はすぐにステップＳ１０８に処理が進むようにしてもよい。具体的には、フリーズ、画像記録、および計測のいずれか１つの指示が受け付けられたとき、モード設定部３４３は、ＳＧ露光モード（第１のモード）を光源制御部３３および撮像素子制御部３０に設定する。ブレ判定部３４６によって第１の画像におけるブレが所定量以下であると判定された場合、モード設定部３４３は、ライン露光モード（第２のモード）を光源制御部３３および撮像素子制御部３０に設定する。あるいは、ステップＳ１０７とステップＳ１０８との間の処理は変更されず、かつステップＳ１０９−２の後はすぐにステップＳ１０９−３に処理が進むようにしてもよい。これらの構成では、ユーザーが計測操作を行ってからローリング歪の有無が判明するまでの時間を短縮することができる。
【０１６５】
（第３の実施形態）
図１および図２に示す内視鏡装置１を使用して、本発明の第３の実施形態を説明する。第３の実施形態において、温度センサー２３によって測定された温度が第１の閾値以下であり、かつ第２の閾値よりも高い場合、ライン露光モードおよびＳＧ露光モードで画像が順次取得される。例えば、第１の閾値は８０℃であり、かつ第２の閾値は６０℃である。表示部５は、ライン露光モードで取得された画像を表示する。ローリング歪判定部３４２は、ライン露光モードで取得された画像およびＳＧ露光モードで取得された画像を使用してローリング歪の判定を行う。ローリング歪判定部３４２によって、所定量よりも大きいローリング歪が発生していると判定された場合、表示部５は、警告を表示する。
【０１６６】
第１の実施形態における図９および図１０に示す動作は、図１８および図１９に示す動作に変更される。図１８および図１９を参照し、内視鏡装置１の動作を説明する。図１８および図１９に示す動作において、図９および図１０に示す動作と異なる点を説明する。
【０１６７】
ステップＳ１０２またはステップＳ１０３の後、ステップＳ１０５における処理が行われる。前述したように、グローバル露光モードが設定されている場合、ステップＳ１０５において、図７に示す動作により１フレームの画素信号が取得される。ライン露光モードが設定されている場合、ステップＳ１０５において、図６に示す動作により１フレームの画素信号が取得される。ステップＳ１０５の後、ステップＳ１０６における処理が行われる。ステップＳ１０６の後、設定されているモード（ステップＳ１０８）に応じて、ステップＳ１０４における処理が行われる。あるいは、ステップＳ１０９−１、ステップＳ１０９−２、およびステップＳ１０９−３における処理が行われる。
【０１６８】
ステップＳ１１０において判定されたローリング歪が所定量よりも大きい場合（ステップＳ１１１）、表示処理部３４１は、歪警告アイコンを表示するためのグラフィックデータを生成する。表示処理部３４１によって生成されたグラフィックデータは画像処理部３１に出力される。画像処理部３１は、画像処理が行われた画像データと、グラフィックデータとを合成することにより表示用の映像信号を生成する。表示部５は、画像処理部３１から出力された映像信号に基づいて歪警告アイコンを表示する（ステップＳ１４０）。これによって、表示部５は、警告を表示する。
【０１６９】
図２０は、ステップＳ１４０において表示部５によって表示される画像Ｇ１１を示している。画像Ｇ１１の被写体ＳＢにローリング歪が発生している。画像Ｇ１１は、歪み警告アイコンＩＣ１０を含む。歪み警告アイコンＩＣ１０は、所定量よりも大きいローリング歪の発生をユーザーに通知するマークである。歪み警告アイコンＩＣ１０が表示されることにより、ユーザーは、所定量よりも大きいローリング歪が発生していることを知ることができる。
【０１７０】
光源制御部３３および撮像素子制御部３０に設定されたモードがグローバル露光モードである場合（ステップＳ１０８）、ステップＳ１０４における処理が行われる。ステップＳ１１０において判定されたローリング歪が所定量以下である場合（ステップＳ１１１）、ステップＳ１０４における処理が行われる。ステップＳ１４０における処理が行われた後、ステップＳ１０４における処理が行われる。
【０１７１】
ステップＳ１０４において、画像記録操作が行われていないと制御部３４０が判定した場合、ステップＳ１００における処理が行われる。ステップＳ１０４において、画像記録操作が行われたと制御部３４０が判定した場合、ステップＳ１１２における処理が行われる。この場合、記録部３４４は、ステップＳ１０５において取得された画像をメモリー３５に記録する。ステップＳ１１２における処理が行われた後、ステップＳ１００における処理が行われる。
【０１７２】
上記以外の点について、図１８および図１９に示す動作は、図９および図１０に示す動作と同様である。
【０１７３】
図１９に示すステップＳ１０４が図１３に示すステップＳ１２０に変更され、かつ図１９に示すステップＳ１１２が図１４に示すステップＳ１２１に変更されてもよい。
【０１７４】
上記のように、表示部５によって警告が表示された後、処理指示（画像記録指示または計測指示）が受け付けられた場合、記録部３４４および計測部３４５は、ローリング歪判定部３４２によらずステップＳ１０５における処理により取得された画像を使用して指示された処理を行う。
【０１７５】
歪警告アイコンが表示されている状態で画像記録操作または計測操作が行われた場合、ユーザーに対する注意喚起が行われてもよい。その後、ライン露光モードの動作により、ローリング歪がない画像が取得できた場合、画像の記録あるいは計測が行われてもよい。つまり、表示部５によって警告が表示された後、処理指示が受け付けられた場合、記録部３４４および計測部３４５は、ローリング歪判定部３４２によってローリング歪が所定量以下であると判定され、かつステップＳ１０５における処理により取得された画像を使用して処理を行ってもよい。
【０１７６】
図２１は、ユーザーに対する注意喚起のために表示部５によって表示される画像Ｇ１２を示している。画像Ｇ１２は、ウィンドウＷ１１を含む。ウィンドウＷ１１は、ローリング歪の発生状況を示すメッセージＭ１４を含む。さらに、ウィンドウＷ１１は、ユーザーに対応方法を選択させるためのメッセージＭ１５、メッセージＭ１６、およびメッセージＭ１７を含む。メッセージＭ１５は、ローリング歪が収まった後における画像記録処理または計測処理の実行を示す。メッセージＭ１６は、画像記録処理または計測処理の中止を示す。メッセージＭ１７は、ローリング歪が発生している画像の使用を示す。さらに、ウィンドウＷ１１は、各メッセージに対応して設けられたチェックボックスＢ１１を含む。ユーザーは、操作部４を操作することにより、チェックボックスＢ１１に選択結果を入力する。メッセージＭ１５に対応する方法が選択された場合、ローリング歪が所定量以下になるまで、ライン露光モードおよびＳＧ露光モードによる画像の取得と、ローリング歪の判定とが繰り返される。
【０１７７】
第３の実施形態において、歪警告アイコンが表示されている場合、ユーザーは、画像記録操作または計測操作を避けることにより、所定量よりも大きいローリング歪が発生している画像が使用される可能性を減らすことができる。
【０１７８】
（第４の実施形態）
図１および図２に示す内視鏡装置１を使用して、本発明の第４の実施形態を説明する。第１の実施形態では、撮像領域の全体でローリング歪を検出できるように、奇数ラインの画素５４が同時露光ラインに設定される。第４の実施形態では、関心領域が予め設定されている場合、関心領域に含まれる行が同時露光ラインに設定される。これによって、ローリング歪判定部３４２は、関心領域の位置に応じてローリング歪の判定を行うことができる。同時露光ラインに設定される行の数は、関心領域における画素５４の露光に必要な時間に応じて決定される。例えば、フレーム周期の３分の１の露光時間が必要である場合、同時露光ラインに設定される行の数の上限は、全ての行の数の３分の２である。
【０１７９】
図２２は、ライン露光およびＳＧ露光を組み合わせたモードにおける撮像素子２１と光源３２との動作を示している。図２２の上側の図において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図２２では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。図２２の下側の図において、横方向は時間を示す、縦方向は光源３２の状態を示している。「ＯＮ」は、光源３２が点灯している状態を示す。「ＯＦＦ」は、光源３２が消灯している状態を示す。
【０１８０】
図２２において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図２２に示す動作の大部分は、図８に示す動作と同様である。図２２に示す動作について、図８に示す動作と異なる点を説明する。時刻ｔ２４から時刻ｔ２７までの期間における撮像素子２１の制御が、図８に示す動作と異なる。
【０１８１】
図２２において、同時露光ラインは、連続する２以上の行を含む。具体的には、関心領域が撮像領域の一部に設定され、その関心領域を含む複数の行が同時露光ラインになる。図２２は、関心領域が撮像領域の中央に設定された場合を示す。図２２において、同時露光ラインは、撮像領域の中心から上側および下側にそれぞれ全ての行数の４分の１だけ広がる。つまり、同時露光ラインは、３行目から６行目である。
【０１８２】
時刻ｔ２４において、３行目の画素５４の画素信号の読み出しが開始される。時刻ｔ２４において、同時露光ラインの画素５４のフレームｉ＋１の画素信号の読み出しが開始される。その後、同時露光ラインの画素５４のフレームｉ＋１の画素信号の読み出しが行毎に順次行われる。時刻ｔ２５において、６行目の画素５４の画素信号の読み出しが開始される。時刻ｔ２５から所定時間が経過した時刻ｔ２６において、同時露光ラインの画素５４のフレームｉ＋１の画素信号の読み出しが終了する。時刻ｔ２６から時刻ｔ２７までの期間に、非同時露光ラインである１行目、２行目、７行目、および８行目の画素５４の画素信号の読み出しが行われる。
【０１８３】
上記以外の点について、図２２に示す動作は、図８に示す動作と同様である。なお、光源３２を点灯から消灯に切り換えるタイミングを、最初の同時露光ラインである３行目の画素５４のフレームｉ＋２の画素信号の読み出しが開始される時刻ｔ２７−２まで遅らせられるようにしてもよい。この場合、ＳＧ露光可能期間をより長くすることができる。
【０１８４】
過去にライン露光モードで取得された画像において、テクスチャーの強い領域、および中間階調の領域が最大限に関心領域に含まれるように関心領域が自動的に設定されてもよい。また、同時露光ラインとして設定される行の数が上限を超えない限り、関心領域が複数に分割されてもよい。
【０１８５】
第４の実施形態において、関心領域は、連続する２以上の行で構成される。関心領域において、特に行に直交する方向すなわち垂直方向について動きベクトルの検出精度が上がる。このため、第１の実施形態において検出されるローリング歪よりも小さなローリング歪を検出することができる。
【０１８６】
（第５の実施形態）
図１および図２に示す内視鏡装置１を使用して、本発明の第５の実施形態を説明する。第５の実施形態における撮像素子２１は、グローバルリセット機能を備える。撮像素子２１は、グローバルリセット機能により、全ての画素５４の電荷を同時にリセットした後、全ての画素５４において電荷蓄積を再開する。これによって、全ての画素５４における露光開始時刻が同一になる。
【０１８７】
第１の実施形態における図６および図７に示す動作は、第５の実施形態においても同様である。第１の実施形態における図８に示す動作は、図２３に示す動作に変更される。
【０１８８】
図２３は、ライン露光およびＳＧ露光を組み合わせたモードにおける撮像素子２１と光源３２との動作を示している。図２３の上側の図において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図２３では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。図２３の下側の図において、横方向は時間を示す、縦方向は光源３２の状態を示している。「ＯＮ」は、光源３２が点灯している状態を示す。「ＯＦＦ」は、光源３２が消灯している状態を示す。
【０１８９】
図２３において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図２３に示す動作は、３つのフレームの動作で構成される。フレームｉがライン露光を行うフレームであり、かつフレームｉ＋１がＳＧ露光を行うフレームである。フレームｉ＋３における動作は、フレームｉにおける動作と同一である。フレームｉ＋３に続くフレームｉ＋４における動作は、フレームｉ＋１における動作と同一である。
【０１９０】
図２３において、１行目の画素５４において前のフレームの画素情報の読み出しが完了したタイミングすなわち蓄積可能期間の開始タイミングを基準にしたフレーム周期が示されている。フレームｉにおいて、第２のモードであるライン露光モードによる動作が行われる。フレームｉにおける動作は、図８に示す動作と同様である。
【０１９１】
フレームｉ＋１およびフレームｉ＋２における動作を説明する。フレームｉ＋１およびフレームｉ＋２において、第１のモードであるＳＧ露光モードによる動作が行われる。図２３に示す動作において、モード設定部３４３は、ライン露光モードを光源制御部３３および撮像素子制御部３０に設定した後、ＳＧ露光モードを光源制御部３３および撮像素子制御部３０に設定する。
【０１９２】
フレームｉ＋１において、時刻ｔ３０から時刻ｔ３１まで、行の配列順に各行の画素５４の蓄積可能期間が順次開始される。この動作は、図８に示す時刻ｔ２２から時刻ｔ２４までの期間における動作と同様である。
【０１９３】
フレームｉ＋１において画素５４で生成された画素信号が読み出されるとき、画素信号の読み出しが行われる行の順番は、ライン露光モードにおける順番と異なる。つまり、撮像素子２１によってスキャンされる行の順番は、ライン露光モードにおける順番と異なる。具体的には、奇数行の画素５４の画素信号の読み出しが先に行われる。奇数行の画素５４の画素信号の読み出しが終了した後、偶数行の画素５４の画素信号の読み出しが行われる。
【０１９４】
第５の実施形態において、同時露光ラインは偶数行である。フレームｉ＋１において、同時露光ラインである２以上の行の画素５４は、同時に露光される。つまり、フレームｉ＋１において、同時露光ラインである２以上の行の画素５４の露光期間は同一である。同時露光ライン以外の奇数行は、非同時露光ラインである。
【０１９５】
ＳＧ露光モードが設定された場合、撮像素子制御部３０は、撮像素子２１に対して、全ての同時露光ラインにおける画素５４を同時にリセットさせる。全ての画素５４のフレームｉの画素信号の読み出しが終了する時刻ｔ３１において、撮像素子制御部３０は、同時露光ラインを含む全ての行の画素５４を同時にリセットさせる。これによって、全ての画素５４が同時にリセットされる。つまり、グローバルリセットが行われる。図２３において、全ての行の画素５４がリセットされるが、全ての同時露光ラインの画素５４のみがリセットされてもよい。また、リセットのタイミングは時刻ｔ３１から時刻ｔ３２までの期間の任意のタイミングであってもよい。
【０１９６】
グローバルリセットにより、全ての同時露光ラインにおける画素５４の蓄積可能期間が同時に開始される。全ての同時露光ラインにおける画素５４がリセットされた後、光源３２が間欠的に消灯することにより、同時露光ラインにおける画素５４の露光期間を同一にすることができる。つまり、同時露光ラインにおける画素５４のフレームｉ＋２の画素信号の生成時にＳＧ露光を行うことができる。時刻ｔ３１から時刻ｔ３２までの期間がＳＧ露光可能期間である。
【０１９７】
ＳＧ露光モードが設定された場合、光源制御部３３は、ＳＧ露光可能期間の全てまたは一部を含む期間に光源３２を点灯させる。具体的には、全ての同時露光ラインにおける画素５４が同時にリセットされた後、光源制御部３３は、全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間の全てまたは一部を含む期間に光源３２を点灯させる。撮像素子２１は、光源３２が点灯しているときに全ての同時露光ラインにおける画素５４で生成された画素信号を用いた画像（第１の画像）を生成する。
【０１９８】
グローバルリセットが行われた時刻ｔ３１の後、後述するように、時刻ｔ３２において、同時露光ラインである２行目の画素５４の画素信号の読み出しが開始される。時刻ｔ３１から時刻ｔ３２までの期間において、全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる。光源３２は、この期間に点灯している。つまり、図２３において、光源３２は、全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間の全てを含む期間に点灯している。時刻ｔ３１から時刻ｔ３２までの期間の一部のみにおいて光源３２が点灯してもよい。時刻ｔ３１から時刻ｔ３２までの期間において、全ての同時露光ラインにおける画素５４が同時に露光される。時刻ｔ３１から時刻ｔ３２までの期間において、同時露光ラインにおける画素５４は、フレームｉ＋１の露光を行う。図２３において、時刻ｔ３１よりも前に、光源制御部３３は、光源３２に点灯状態を維持させる。
【０１９９】
時刻ｔ３２において、２行目の画素５４の画素信号の読み出しが開始される。これによって、２行目の画素５４の蓄積可能期間が終了し、その後、２行目の画素５４は画素信号を出力する。時刻ｔ３２において、同時露光ラインの画素５４の画素信号の読み出しが開始される。その後、同時露光ラインの画素５４の画素信号の読み出しが行毎に順次行われる。時刻ｔ３３において、８行目の画素５４の画素信号の読み出しが開始される。これによって、８行目の画素５４の蓄積可能期間が終了し、かつ８行目の画素５４は画素信号を出力する。時刻ｔ３３から所定時間が経過した時刻ｔ３４において、同時露光ラインの画素５４の画素信号の読み出しが終了する。
【０２００】
ＳＧ露光モードが設定された場合、撮像素子制御部３０は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素５４から画素信号を読み出す第１のスキャンを撮像素子２１に行わせる。具体的には、全ての同時露光ラインにおける画素５４が同時にリセットされた後、撮像素子制御部３０は、第１のスキャンを撮像素子２１に行わせる。時刻ｔ３２から時刻ｔ３４までの期間において、第１のスキャンにより同時露光ラインにおける画素５４から画素信号が順次出力される。
【０２０１】
同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出されているとき、光源３２は消灯している。ＳＧ露光モードが設定された場合、光源制御部３３は、第１のスキャンが行われている期間の全てを含む期間に光源３２を消灯させる。図２３において、時刻ｔ３２から時刻ｔ３４を含む期間に光源３２は消灯している。時刻ｔ３２において、光源制御部３３は、光源３２を点灯状態から消灯状態に切り替える。時刻ｔ３２から時刻ｔ３４までの期間に、全ての同時露光ラインにおける画素５４から画素信号が読み出される。このため、図２３において、第１のスキャンが行われている期間の全てを含む期間に光源３２は消灯している。
【０２０２】
撮像素子制御部３０は、同時露光ラインの画素５４のうち最初にフレームｉ＋１の電荷蓄積を開始する画素５４における蓄積可能期間が終了する基準タイミングよりも前にグローバルリセットを撮像素子２１に行わせる。同時露光ラインの画素５４のうち最初にフレームｉ＋１の電荷蓄積を開始する画素５４は、２行目の画素５４である。撮像素子制御部３０は、グローバルリセットのタイミングから基準タイミングまでの時間が、画像処理部３１によって適正と判断された露光時間となるように、グローバルリセットのタイミングを決定する。グローバルリセットのタイミングは、同時露光ラインの画素５４のうち最後にフレームｉ＋１の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングと同一である。あるいは、グローバルリセットのタイミングは、同時露光ラインの画素５４のうち最後にフレームｉ＋１の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングよりも後である。同時露光ラインの画素５４のうち最後にフレームｉ＋１の電荷蓄積を開始する画素５４は、８行目の画素５４である。
【０２０３】
光源制御部３３は、同時露光ラインの画素５４のうち最初にフレームｉ＋１の電荷蓄積を開始する画素５４における蓄積可能期間が終了するタイミングで光源３２を消灯させる。光源制御部３３は、同時露光ラインの画素５４のうち最後にフレームｉ＋１の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングよりも後、かつ同時露光ラインの画素５４のうち最初にフレームｉ＋３の電荷蓄積を開始する画素５４における蓄積可能期間が開始されるタイミングよりも前に光源３２を点灯させる。同時露光ラインの画素５４のうち最初にフレームｉ＋３の電荷蓄積を開始する画素５４は、２行目の画素５４である。
【０２０４】
上記のように、全ての同時露光ラインにおける画素５４の蓄積可能期間が重なる期間に、撮像素子制御部３０は、非同時露光ラインにおける画素５４から画素信号を読み出すスキャンを撮像素子２１に行わせる。これによって、非同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出される。図２３に示す時刻ｔ３１から時刻ｔ３２までの期間に、非同時露光ラインである奇数行の画素５４の画素信号の読み出しが行われる。その後、時刻ｔ３２から時刻ｔ３４までの期間に、第１のスキャンにより全ての同時露光ラインにおける画素５４から、フレームｉ＋１の画像を構成する画素信号が読み出される。撮像素子２１は、時刻ｔ３２から時刻ｔ３４までの期間に第１のスキャンにより読み出された画素信号を用いた画像（第１の画像）を生成する。
【０２０５】
図２３に示す時刻ｔ３２において、２行目の画素５４の画素信号の読み出しが開始される。その後、時刻ｔ３４において、８行目の画素５４の画素信号の読み出しが終了する。時刻ｔ３２から時刻ｔ３４までの期間において、同時露光ラインの画素５４の画素信号が読み出される。光源３２は、この期間に消灯している。つまり、図２３において、光源３２は、同時露光ラインの画素５４の画素信号が読み出される期間に消灯している。光源制御部３３は、同時露光ラインの画素５４のうち最初に画素信号が読み出される画素５４においてフレームｉ＋１の画素信号の読み出しが開始されるタイミングで光源３２を消灯させる。あるいは、グローバルリセットのタイミングよりも後で、かつ同時露光ラインの画素５４のうち最初に画素信号が読み出される画素５４においてフレームｉ＋１の画素信号の読み出しが開始されるタイミングよりも前で光源制御部３３は光源３２を消灯させる。同時露光ラインの各画素５４の画素信号の読み出しが行われている期間を含む期間に、光源制御部３３は、光源３２に消灯状態を維持させる。
【０２０６】
フレームｉ＋１の画像は、ローリング歪判定部３４２によって使用される。フレームｉ＋１における各非同時露光ラインの画素５４の露光時間は非同時露光ライン毎に異なる。このため、表示処理部３４１は、フレームｉ＋１の画像を構成する映像信号を表示部５に出力しないように画像処理部３１を制御する。表示部５は、フレームｉ＋１の画像を表示しない。したがって、表示部５は、フレームｉ＋１の画像（第１の画像）およびフレームｉの画像（第２の画像）のうちフレームｉの画像のみを表示する。
【０２０７】
前述したように、グローバル露光モードが設定された場合、撮像素子制御部３０は、フレーム周期よりも短い期間において第２のスキャンを撮像素子２１に行わせる。撮像素子２１は、グローバル露光モードにおける第２のスキャンにより読み出された画素信号を用いて第３の画像を生成する。表示部５は、フレームｉ＋１の画像（第１の画像）、フレームｉの画像（第２の画像）、および第３の画像のうちフレームｉの画像と第３の画像とのみを表示してもよい。
【０２０８】
時刻ｔ３４において、１行目の画素５４のフレームｉ＋２の画素信号の読み出しが開始される。時刻ｔ３４において、光源制御部３３は、光源３２を消灯状態から点灯状態に切り替える。その後、第２のスキャンにより各行の画素５４の画素信号の読み出しが行われる。この第２のスキャンにより全ての画素５４から読み出された画素信号は、フレームｉ＋２の画像を構成する。フレームｉ＋２における各行の画素５４の露光時間は行毎に異なる。このため、表示処理部３４１は、フレームｉ＋２の画像を構成する映像信号を表示部５に出力しないように画像処理部３１を制御する。表示部５は、フレームｉ＋２の画像を表示しない。
【０２０９】
フレームｉ＋１において、第１のスキャンにより全ての同時露光ラインにおける画素５４からフレームｉ＋１の画素信号が読み出される期間を除く期間（時刻ｔ３１から時刻ｔ３２までの期間）に、同時露光ラインにおける全ての画素５４が同時に露光可能となる。同時露光ラインにおける全ての画素５４が同時に露光される期間に、全ての非同時露光ラインにおける画素５４からフレームｉ＋１の画素信号が読み出される。
【０２１０】
図２３において、同時露光ラインおよび非同時露光ラインが４行、すなわち撮像素子２１の画素５４の全ての行数の半分であるため、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分である。同時露光ラインが４行よりも多い場合、非同時露光ラインは４行よりも少ない。この場合、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分よりも短い。同時露光ラインが４行よりも少ない場合、非同時露光ラインは４行よりも多い。この場合、同時露光ラインにおける画素５４の露光時間は、フレーム周期の半分よりも長くできる。ＳＧ露光モードが設定された場合、光源制御部３３は、同時露光ラインの数に応じて、光源３２の点灯時間を制御する。
【０２１１】
図２３に示す各フレームの動作において、全ての画素５４の画素信号の読み出しに必要な時間は、フレーム周期と同一である。このため、高速読み出し駆動は不要である。
【０２１２】
図２３に示すように、同時露光ラインは偶数行であるが、同時露光ラインは奇数行であってもよい。連続するｎ行で同時露光ラインのグループが構成され、かつ２つのグループの間に、非同時露光ラインであるｎ行が配置されてもよい。ｎは２以上の整数である。例えば、ｎが２である場合、同時露光ラインは、１行目および２行目、５行目および６行目、９行目および１０行目などである。
【０２１３】
図２３に示す動作は、図２４に示す動作に変更されてもよい。図２４において、フレームｉ＋１の画像を構成する画素信号の読み出しは、間引き読み出しである。つまり、時刻ｔ３１から時刻ｔ３２までの期間に非同時露光ラインの画素５４の画素信号は読み出されない。ＳＧ露光モードが設定された場合、撮像素子制御部３０は、全ての同時露光ラインのみを連続的にスキャンすることにより同時露光ラインにおける画素５４から画素信号を読み出す第１のスキャンを撮像素子２１に行わせる。この場合、画素５４から読み出された全ての画素信号がフレームｉ＋１の基準画像を構成する。このため、撮像素子２１の後段における処理を省略することができる。フレームｉ＋１のデータサイズを前および後のフレームのデータサイズと同一にするために、フレームｉ＋１の画素信号にダミーのデータ（例えば０）を加えて基準画像を構成してもよい。
【０２１４】
第１の実施形態における図８に示す動作において、フレームｉ＋１およびフレームｉ＋２の画像を構成する画素信号の読み出しは、間引き読み出しに変更されてもよい。つまり、時刻ｔ２４から時刻ｔ２７および時刻ｔ２７から時刻ｔ２９までの期間において、同時露光ラインの画素５４の画素信号のみが読み出され、かつ非同時露光ラインの画素５４の画素信号は読み出されなくてもよい。
【０２１５】
第５の実施形態の内視鏡装置１におけるＣＰＵ３４は、図１５に示すＣＰＵ３４ａに変更されてもよい。
【０２１６】
第５の実施形態において、グローバルリセットによって、同時露光ラインにおける画素５４の電荷蓄積可能期間の開始タイミングが同一になる。このため、同時露光ラインにおける画素５４の同時露光が開始される前に光源３２が消灯する必要はない。第１の実施形態において、同時露光ラインにおける画素５４の同時露光が行われるフレームｉ＋２の前のフレームｉ＋１およびその後のフレームｉ＋３において、露光が不良になる。しかし、第５の実施形態において、同時露光ラインにおける画素５４の同時露光が行われるフレームｉ＋１の後のフレームｉ＋２のみにおいて、露光が不良になる。このため、第５の実施形態において、フレームｉ＋３における動作をフレームｉにおける動作と同一にすることができる。その結果、画像記録指示あるいは計測指示が内視鏡装置１に入力されてから、画像記録処理あるいは計測処理が実行されるまでの動作を高速にすることができる。
【０２１７】
（第６の実施形態）
図１および図２に示す内視鏡装置１を使用して、本発明の第６の実施形態を説明する。第６の実施形態におけるインターライン露光モードでは、奇数行の画素５４から画素信号が読み出された後、偶数行の画素５４から画素信号が読み出される。第６の実施形態におけるグローバル露光モードでは、第１の実施形態と同様に、行の配列順に画素５４から画素信号が読み出される。
【０２１８】
図２５は、インターライン露光およびＳＧ露光を組み合わせたモードにおける撮像素子２１と光源３２との動作を示している。図２５の上側の図において、横方向は時間を示し、縦方向は撮像素子２１の画素５４の行位置を示している。図２５では、８行の画素５４における動作が示されている。最も上の行が１行目であり、最も下の行が８行目である。図２５の下側の図において、横方向は時間を示す、縦方向は光源３２の状態を示している。「ＯＮ」は、光源３２が点灯している状態を示す。「ＯＦＦ」は、光源３２が消灯している状態を示す。
【０２１９】
図２５において、複数の画素５４の配列における各行の電荷蓄積および読み出しのタイミングが示されている。図２５においては図２４等のタイミングチャートとは異なり、１行目の画素５４における画素信号の読み出しの開始タイミングを基準にしたフレーム周期が示されている。フレームｉ−１およびフレームｉにおいて、第２のモードとしてインターライン露光モードによる動作が行われる。インターライン露光モードが設定された場合、撮像素子２１は、奇数行を連続的にスキャンした後、引き続き偶数行を連続的にスキャンする。これによって、撮像素子制御部３０は、複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素５４から画素信号を読み出す第２のスキャンを撮像素子２１に行わせる。
【０２２０】
フレームｉ＋１において、第１のモードであるＳＧ露光モードによる動作が行われる。フレームｉ＋１がＳＧ露光を行うフレームである。図２５において、同時露光ラインは偶数行である。ＳＧ露光モードにおいて各画素５４の画素信号が読み出される動作は、インターライン露光モードにおいて各画素５４の画素信号が読み出される動作と同一である。フレームｉ＋２およびフレームｉ＋３において、第２のモードであるインターライン露光モードによる動作が行われる。フレームｉ＋２およびフレームｉ＋３の各画素５４の画素信号が読み出される動作は、フレームｉ−１およびフレームｉの各画素５４の画素信号が読み出される動作と同一である。
【０２２１】
第６の実施形態において、ＳＧ露光モードが設定された場合、撮像素子制御部３０は、全ての同時露光ラインを連続的にスキャンすることにより同時露光ラインにおける画素５４から画素信号を読み出す第１のスキャンと、複数の画素５４の配列における複数の行のうち同時露光ラインを除く全ての非同時露光ラインを連続的にスキャンすることにより非同時露光ラインにおける画素５４から画素信号を読み出す第３のスキャンとを撮像素子２１に連続的に行わせる。第６の実施形態において、インターライン露光モードが設定された場合、撮像素子制御部３０は、複数の画素５４の配列における複数の行の全てを連続的にスキャンすることにより複数の行の全てにおける画素５４から画素信号を読み出す第２のスキャンを撮像素子２１に行わせる。第６の実施形態における第２のスキャンは、第１のスキャンおよび第３のスキャンを含む。第２のスキャンにより行がスキャンされる順番は、第１のスキャンおよび第３のスキャンが連続的に行われることにより行がスキャンされる順番と同一である。
【０２２２】
第６の実施形態における撮像素子２１の動作が第２の実施形態に適用されてもよい。ブレ判定部３４６は、インターライン露光モードで取得された奇数行の画像と偶数行の画像とを比較することにより第２の画像におけるモーションブラーの発生状況を判定してもよい。モーションブラーの発生状況の判定は、日本国特開２０１４−２１０１９４号公報に開示されたブレ演算処理により行われてもよい。第６の実施形態における奇数行の画像が日本国特開２０１４−２１０１９４号公報における奇数フィールド画像に対応し、かつ第６の実施形態における偶数行の画像が日本国特開２０１４−２１０１９４号公報における偶数フィールド画像に対応する。この場合、ブレ判定部３４６は、１フレームのみの画像を使用してモーションブラーの発生状況の判定を行う。このため、第２の画像のモーションブラーの発生状況の判定に必要な画像の数を減らすことができ、その結果、画像記録指示あるいは計測指示が内視鏡装置１に入力されてから、画像記録処理あるいは計測処理が実行されるまでの動作を高速にすることができる。
【０２２３】
第６の実施形態のインターライン露光モードおよびＳＧ露光モードにおいて、画素信号の読み出しが行われる順番を切り替える制御が必要ない。このため、撮像素子２１の発熱をさらに抑えることができる。第６の実施形態において、同時露光ラインが奇数行であっても同様の効果が得られる。
【０２２４】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【０２２５】
本発明の各実施形態によれば、内視鏡装置は、撮像素子の発熱を抑えることができ、かつローリング歪が小さい画像を取得することができる。
【符号の説明】
【０２２６】
１  内視鏡装置
２  挿入部
３  コントロールユニット
４  操作部
５  表示部
６  光学アダプター
２０  先端
２１  撮像素子
２２  蛍光体
２３  温度センサー
３０  撮像素子制御部
３１  画像処理部
３２  光源
３３  光源制御部
３４，３４ａ  ＣＰＵ
３５  メモリー
５０  画素部
５１  垂直走査部
５２  信号処理部
５３  水平走査部
５４  画素
５５  信号処理回路
６０  観察光学系
６１  照明光学系
７０  光電変換部
７１  電荷転送部
７２  電荷蓄積部
７３  リセット部
７４  増幅部
７５  出力部
３４０  制御部
３４１  表示処理部
３４２  ローリング歪判定部
３４３  モード設定部
３４４  記録部
３４５  計測部
３４６  ブレ判定部
【図１】
0006790111.tif 000002
【図２】
0006790111.tif 000003
【図３】
0006790111.tif 000004
【図４】
0006790111.tif 000005
【図５】
0006790111.tif 000006
【図６】
0006790111.tif 000007
【図７】
0006790111.tif 000008
【図８】
0006790111.tif 000009
【図９】
0006790111.tif 000010
【図１０】
0006790111.tif 000011
【図１１Ａ】
0006790111.tif 000012
【図１１Ｂ】
0006790111.tif 000013
【図１１Ｃ】
0006790111.tif 000014
【図１１Ｄ】
0006790111.tif 000015
【図１２】
0006790111.tif 000016
【図１３】
0006790111.tif 000017
【図１４】
0006790111.tif 000018
【図１５】
0006790111.tif 000019
【図１６】
0006790111.tif 000020
【図１７】
0006790111.tif 000021
【図１８】
0006790111.tif 000022
【図１９】
0006790111.tif 000023
【図２０】
0006790111.tif 000024
【図２１】
0006790111.tif 000025
【図２２】
0006790111.tif 000026
【図２３】
0006790111.tif 000027
【図２４】
0006790111.tif 000028
【図２５】
0006790111.tif 000029