(57)【要約】【課題】複数の撮像条件における撮像の時間間隔を短縮することができる内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体を提供する。【解決手段】内視鏡装置において、光路設定部は、第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成する。前記第１の光路が前記撮像光路であるとき、前記制御部は、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出する。前記制御部は、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる。【選択図】図１
2019191322.tif 000002
【特許請求の範囲】
【請求項１】
第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、
前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、
第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、
制御部と、
を備え、
前記第１の光路が前記撮像光路であるとき、前記制御部は、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、
前記制御部は、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる
内視鏡装置。
【請求項２】
第２のフレーム期間において前記対応行の前記画素の露光期間が開始される前、前記光路設定部は、前記切り替えを完了し、
前記第２のフレーム期間は、前記第１のフレーム期間の２つ後のフレーム期間である
請求項１に記載の内視鏡装置。
【請求項３】
前記第１のタイミングは、前記第１のフレーム期間における前記計測行の前記画素の前記露光期間に生成された前記画素信号の読み出しが完了するタイミングである
請求項１または請求項２に記載の内視鏡装置。
【請求項４】
前記計測部は、前記第１の画像の第１の信号および前記第２の画像の第２の信号に基づいて、前記計測を実行し、
前記第１の信号は、前記撮像領域における第１の領域から読み出された前記画素信号であり、
前記第２の信号は、前記撮像領域における第２の領域から読み出された前記画素信号であり、
前記第１の領域および前記第２の領域は、前記複数の画素の配列における複数の行を含み、
前記第１の領域は、前記計測行の少なくとも一部の前記画素を含み、
前記第２の領域は、前記対応行の少なくとも一部の前記画素を含み、
前記第１のタイミングは、前記第１のフレーム期間において所定の行の前記画素の露光期間が完了するタイミングであり、
前記所定の行は、前記第１の領域に含まれる行の全てである
請求項１から請求項３のいずれか一項に記載の内視鏡装置。
【請求項５】
第３のフレーム期間において露光開始行の前記画素の露光期間が開始される前、前記光路設定部は、前記切り替えを完了し、
前記第３のフレーム期間は、前記第１のフレーム期間の１つ後のフレーム期間であり、
前記露光開始行は、前記第２の領域において最初に前記画素の露光期間が開始される行である
請求項４に記載の内視鏡装置。
【請求項６】
前記制御部は、前記第１の画像に基づいて前記被写体の状態を判断し、
前記制御部は、前記被写体の前記状態に基づいて前記第１の領域の大きさおよび前記第２の領域の大きさを決定する
請求項４または請求項５に記載の内視鏡装置。
【請求項７】
前記被写体の前記計測は、複数の前記計測座標における前記被写体の形状の算出と前記複数の前記計測座標における前記被写体までの距離の算出との少なくとも１つを含み、
前記第１のタイミングは、前記第１のフレーム期間において最後の走査行の前記画素の露光期間が完了したタイミングであり、
前記最後の走査行は、前記複数の計測座標の前記画素が含まれる複数の行のうち前記撮像素子が１フレーム期間の走査において最後に走査する行である
請求項１から請求項３のいずれか一項に記載の内視鏡装置。
【請求項８】
前記第２のフレーム期間において最初の走査行の前記画素の露光期間が開始される前、前記光路設定部は、前記切り替えを完了し、
前記最初の走査行は、前記複数の計測座標の前記画素が含まれる複数の行のうち前記撮像素子が１フレーム期間の走査において最初に走査する行である
請求項２に記載の内視鏡装置。
【請求項９】
第１の条件が満たされる場合、前記計測部が前記計測に使用する前記第２の画像は、前記第２のフレーム期間の露光期間に前記対応行の前記画素において生成された前記画素信号を含み、
前記第１の条件において、第２のタイミングは第３のタイミングよりも前であり、
前記第２のタイミングは、第３のフレーム期間において前記対応行の前記画素の露光期間が開始されるタイミングであり、
前記第３のタイミングは、前記光路設定部が前記切り替えを完了するタイミングであり、
前記第３のフレーム期間は、前記第１のフレーム期間の１つ後のフレーム期間である
請求項２に記載の内視鏡装置。
【請求項１０】
第２の条件が満たされる場合、前記計測部が前記計測に使用する前記第２の画像は、第３のフレーム期間の露光期間に前記対応行の前記画素において生成された前記画素信号を含み、
前記第２の条件において、第２のタイミングは第３のタイミングよりも後であり、
前記第２のタイミングは、前記第３のフレーム期間において前記対応行の前記画素の露光期間が開始されるタイミングであり、
前記第３のタイミングは、前記光路設定部が前記切り替えを完了するタイミングであり、
前記第３のフレーム期間は、前記第１のフレーム期間の１つ後のフレーム期間である
請求項１から請求項８のいずれか一項に記載の内視鏡装置。
【請求項１１】
前記制御部は、第２の条件が満たされる露光期間の長さを決定し、
前記第２の条件において、第２のタイミングは第３のタイミングよりも後であり、
前記第２のタイミングは、第３のフレーム期間において前記対応行の前記画素の露光期間が開始されるタイミングであり、
前記第３のタイミングは、前記光路設定部が前記切り替えを完了するタイミングであり、
前記第３のフレーム期間は、前記第１のフレーム期間の１つ後のフレーム期間であり、
前記制御部は、決定された前記露光期間の前記長さを前記撮像素子に設定する
請求項１から請求項８のいずれか一項に記載の内視鏡装置。
【請求項１２】
第１のステップおよび第２のステップを含む内視鏡装置の作動方法であって、
前記内視鏡装置は、
第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、
前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、
第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、
制御部と、
を備え、
前記第１の光路が前記撮像光路であるとき、前記制御部は、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、
前記制御部は、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる
内視鏡装置の作動方法。
【請求項１３】
内視鏡装置のプロセッサに、第１のステップおよび第２のステップを実行させるためのプログラムであって、
前記内視鏡装置は、
第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、
前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、
第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、
前記プロセッサと、
を備え、
前記第１の光路が前記撮像光路であるとき、前記プロセッサは、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、
前記プロセッサは、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる
プログラム。
【請求項１４】
内視鏡装置のプロセッサに、第１のステップおよび第２のステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記内視鏡装置は、
第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、
前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、
第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、
前記プロセッサと、
を備え、
前記第１の光路が前記撮像光路であるとき、前記プロセッサは、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、
前記プロセッサは、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
ボイラー、エンジン、タービン、および化学プラントなどの内部の傷および腐食を観察するために工業用内視鏡が広く用いられている。傷および腐食のような不具合が発見された際、その程度に応じて対策方法を切り替える必要がある。そのため、傷および腐食の大きさを測定する計測機能を備えた工業用内視鏡が開発されている。
【０００３】
特許文献１で示される内視鏡装置は、被写体の２つの光学像を撮像素子の共通の領域に結像させる光学系を備える。２つの異なる視点に対応する２つの光路を通った光が２つの光学像を形成する。以下では、２つの光路を第１の光路および第２の光路と呼ぶ。内視鏡装置は、２つの光路を切り替える光路切り替え手段を備える。内視鏡装置は、２つの光路のうちのいずれか一方を通った光のみが形成する光学像を撮像する。
【０００４】
内視鏡装置は、２つの撮像条件を切り替え、かつ２枚の画像を取得する。第１の光路を通った光は、第１の光学像を形成する。第１の光学像は、第１の視点からの光学像である。内視鏡装置は、第１の光学像を撮像することにより第１の画像を生成する。このとき、第１の撮像条件が実現される。続いて、光路が切り替えられる。第２の光路を通った光は、第２の光学像を形成する。第２の光学像は、第２の視点からの光学像である。内視鏡装置は、第２の光学像を撮像することにより第２の画像を生成する。このとき、第２の撮像条件が実現される。内視鏡装置は、第１の画像および第２の画像が有する視差に基づいて、ステレオ計測の原理を用いて被写体の形状を計測する。第１の画像および第２の画像は、互いに異なる視点から撮像された画像である。
【０００５】
第１の画像と第２の画像とを取得する間に内視鏡の先端または被写体が動く場合、２つの視点の位置関係が変化し、ステレオ計測のパラメータ（基線長など）と２つの視点の位置との間に不整合が生じる。そのため、内視鏡装置は、被写体の形状を正確に計測できない。特許文献１の内視鏡装置は、第１の画像と第２の画像とを交互に取得する。２つの第１の画像間の位置ずれ量が所定のしきい値を下回るとき、内視鏡装置は、２つの第１の画像を取得する期間に内視鏡の先端の動き（先端動き）または被写体の動き（先端動き）がないと判断し、かつ計測処理を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１０５０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の内視鏡装置は、第１の画像を取得した後、光路を第１の光路から第２の光路に切り替える。内視鏡装置は、第２の画像を取得した後、光路を第２の光路から第１の光路に切り替える。内視鏡装置は、第１の画像を再度取得する。複数の第１の画像間の位置ずれ量が所定の閾値以下であるとき、内視鏡装置は計測が実行可能であると判定する。このとき、内視鏡装置は、第１の画像および第２の画像を用いて計測を実行する。この判定において、第２の画像が取得される前に取得された第１の画像と、第２の画像が取得された後に取得された第１の画像との間の位置ずれ量のみが使用される。この判定において、第２の画像が取得されたタイミングにおける先端動きの発生は考慮されていない。内視鏡装置は第１の画像間の位置ずれは小さいことを確認できるが、第２の画像を取得するタイミングで予期せぬ先端動きが生じている可能性がある。内視鏡装置は、予期せぬ先端動きを検知できない可能性がある。内視鏡装置が複数の撮像条件で取得された複数の画像を用いて画像処理を行う場合、それらを取得する間に発生する先端動きをなるべく小さくすることが望ましい。そのため、第１の撮像条件における撮像と、第２の撮像条件における撮像との時間間隔を短縮する必要がある。
【０００８】
本発明は、複数の撮像条件における撮像の時間間隔を短縮することができる内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、制御部と、を備え、前記第１の光路が前記撮像光路であるとき、前記制御部は、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、前記制御部は、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる内視鏡装置である。
【００１０】
本発明は、第１のステップおよび第２のステップを含む内視鏡装置の作動方法であって、前記内視鏡装置は、第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、制御部と、を備え、前記第１の光路が前記撮像光路であるとき、前記制御部は、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、前記制御部は、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる内視鏡装置の作動方法である。
【００１１】
本発明は、内視鏡装置のプロセッサに、第１のステップおよび第２のステップを実行させるためのプログラムであって、前記内視鏡装置は、第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、前記プロセッサと、を備え、前記第１の光路が前記撮像光路であるとき、前記プロセッサは、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、前記プロセッサは、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させるプログラムである。
【００１２】
本発明は、内視鏡装置のプロセッサに、第１のステップおよび第２のステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記内視鏡装置は、第１の光路および第２の光路のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および前記被写体の第２の光学像のうちのいずれか一方のみを撮像領域に形成し、前記第１の光路および前記第２の光路は互いに異なり、前記第１の光学像は、前記第１の光路を通った光により形成され、前記第２の光学像は、前記第２の光路を通った光により形成される光路設定部と、前記撮像領域を備え、前記撮像領域は、行列状に配置された複数の画素を備え、かつ前記複数のフレーム期間の各々において前記複数の画素の配列における複数の行を行毎に連続的に走査し、かつ前記複数の行を行毎に連続的に走査することにより、前記複数の行における前記画素から画素信号を読み出し、かつ前記複数のフレーム期間の各々において、前記画素信号を含む画像を出力する撮像素子と、第１の画像および第２の画像に基づいて、前記被写体の計測を実行し、前記第１の画像は、計測行の前記画素から読み出された第１の画素信号を含み、前記計測行は、前記複数の画素の配列において、計測座標の前記画素を含む行であり、前記第１の画素信号は、前記第１の光学像に基づいて生成され、前記第２の画像は、対応行の前記画素から読み出された第２の画素信号を含み、前記対応行は、前記計測座標に対応する座標の前記画素を含み、前記第２の画素信号は、前記第２の光学像に基づいて生成され、前記被写体の前記計測は、前記計測座標における前記被写体の形状の算出と前記計測座標における前記被写体までの距離の算出との少なくとも１つを含む計測部と、前記プロセッサと、を備え、前記第１の光路が前記撮像光路であるとき、前記プロセッサは、前記第１のステップにおいて、第１のフレーム期間において前記計測行の前記画素の露光期間が完了する第１のタイミングを検出し、前記プロセッサは、前記第２のステップにおいて、前記第１のタイミングの検出に基づいて、前記光路設定部に、前記第１の光路から前記第２の光路への前記撮像光路の切り替えを開始させる記録媒体である。
【発明の効果】
【００１３】
本発明によれば、内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体は、複数の撮像条件における撮像の時間間隔を短縮することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の内視鏡装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態の撮像素子の構成を示すブロック図である。
【図３】本発明の第１の実施形態の撮像素子が有する画素の構成を示す回路図である。
【図４】本発明の第１の実施形態の撮像素子の動作を示すタイミングチャートである。
【図５】本発明の第１の実施形態の撮像素子の動作を示すタイミングチャートである。
【図６】本発明の第１の実施形態の内視鏡装置の動作の手順を示すフローチャートである。
【図７】本発明の第１の実施形態の撮像素子の動作を示すタイミングチャートである。
【図８】本発明の第１の実施形態の第１の変形例の撮像素子の動作を示すタイミングチャートである。
【図９】本発明の第１の実施形態の第２の変形例の撮像素子の動作を示すタイミングチャートである。
【図１０】本発明の第２の実施形態の撮像素子の動作を示すタイミングチャートである。
【図１１】本発明の第２の実施形態の変形例の内視鏡装置の動作の手順を示すフローチャートである。
【図１２】本発明の第３の実施形態の撮像素子の動作を示すタイミングチャートである。
【図１３】本発明の第３の実施形態の変形例の撮像素子の動作を示すタイミングチャートである。
【図１４】本発明の参考形態の撮像素子の動作を示すタイミングチャートである。
【図１５】本発明の参考形態の撮像素子の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照し、本発明の実施形態を説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１の構成を示す。図１に示す内視鏡装置１は、本体部２、挿入部３、先端部４、操作部５、表示部６、および記録媒体７を有する。
【００１７】
挿入部３は、計測対象の物体の内部に挿入される。先端部４は、挿入部３の先端に配置されている。先端部４は、第１の光学系１００、第２の光学系１０１、光路設定部１０２、第３の光学系１０３、および撮像素子１０４（イメージセンサ）を有する。本体部２は、挿入部３に接続されている。本体部２は、計測部１０５、フレームメモリ１０６、および制御部１０７を有する。図１において光源等は省略されている。
【００１８】
内視鏡装置１の概略構成について説明する。光路設定部１０２は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および被写体の第２の光学像のうちのいずれか一方のみを撮像領域１０４ａに形成する。撮像素子１０４は、撮像領域１０４ａを備える。計測部１０５は、第１の画像および第２の画像に基づいて、被写体の計測を実行する。第１の光路Ｌ１および第２の光路Ｌ２は互いに異なる。第１の光学像は、第１の光路Ｌ１を通った光により形成される。第２の光学像は、第２の光路Ｌ２を通った光により形成される。撮像領域１０４ａは、行列状に配置された複数の画素５４を備える。画素５４の構成は図３に示される。画素５４の構成については後述する。
【００１９】
撮像素子１０４は、複数のフレーム期間の各々において複数の画素５４の配列における複数の行を行毎に連続的に走査する。撮像素子１０４は、複数の行を行毎に連続的に走査することにより、複数の行における画素５４から画素信号を読み出す。撮像素子１０４は、複数のフレーム期間の各々において、画素信号を含む画像を出力する。第１の画像は、計測行の画素５４から読み出された第１の画素信号を含む。計測行は、複数の画素５４の配列において、計測座標の画素５４を含む行である。第１の画素信号は、第１の光学像に基づいて生成される。第２の画像は、対応行の画素５４から読み出された第２の画素信号を含む。対応行は、計測座標に対応する座標の画素５４を含む。第２の画素信号は、第２の光学像に基づいて生成される。被写体の計測は、計測座標における被写体の形状の算出と計測座標における被写体までの距離の算出との少なくとも１つを含む。
【００２０】
第１の光路Ｌ１が撮像光路であるとき、制御部１０７は、第１のフレーム期間において計測行の画素５４の露光期間が完了する第１のタイミングを検出する。制御部１０７は、第１のタイミングの検出に基づいて、光路設定部１０２に、第１の光路Ｌ１から第２の光路Ｌ２への撮像光路の切り替えを開始させる。例えば、第１のタイミングが検出されたとき、制御部１０７は、光路設定部１０２に、第１の光路Ｌ１から第２の光路Ｌ２への撮像光路の切り替えを開始させる。第１のタイミングが検出されたタイミングの直後に、制御部１０７は、光路設定部１０２に、第１の光路Ｌ１から第２の光路Ｌ２への撮像光路の切り替えを開始させてもよい。
【００２１】
第２のフレーム期間において対応行の画素５４の露光期間が開始される前、光路設定部１０２は、撮像光路の切り替えを完了する。第２のフレーム期間は、第１のフレーム期間の２つ後のフレーム期間である。
【００２２】
内視鏡装置１の詳細な構成について説明する。例えば、第１の光学系１００および第２の光学系１０１は、凹レンズと凸レンズとを組み合わせたレンズを有する。第２の光学系１０１の被写体側の光軸は第１の光学系１００の被写体側の光軸と略平行である。第２の光学系１０１は、第１の光学系１００に対して視差を有する。つまり、第１の光学系１００および第２の光学系１０１は、視差方向に離間している。視差方向は、第１の光学系１００の光学中心（主点）と第２の光学系１０１の光学中心（主点）とを通る直線の方向である。視差方向は、各光学系の光軸と略直交する。第１の光学系１００に入射した光は第１の光路Ｌ１を通る。第２の光学系１０１に入射した光は、第１の光路Ｌ１と異なる第２の光路Ｌ２を通る。第１の光学系１００は被写体の第１の光学像を形成し、かつ第２の光学系１０１は被写体の第２の光学像を形成する。
【００２３】
光路設定部１０２は、第１の光路Ｌ１と第２の光路Ｌ２との間で撮像光路を切り替える。光路設定部１０２は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方を通る光のみを透過させ、かつ他方を通る光を遮蔽する。
【００２４】
例えば、光路設定部１０２は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方のみに挿入されるシャッター（遮蔽板）を含む。光路設定部１０２が第１の光路Ｌ１の光を透過させるとき、シャッターが第２の光路Ｌ２に挿入され、かつ第２の光路Ｌ２の光は遮蔽される。光路設定部１０２が第２の光路Ｌ２の光を透過させるとき、シャッターが第１の光路Ｌ１に挿入され、かつ第１の光路Ｌ１の光は遮蔽される。光路設定部１０２の動作は、制御部１０７からの制御信号によって制御される。光路設定部１０２は、偏光板および液晶セルを含む液晶シャッターであってもよい。光路設定部１０２は、上記の構成に限らない。
【００２５】
第３の光学系１０３は、第１の光路Ｌ１を通った光と第２の光路Ｌ２を通った光とのいずれか一方に基づく被写体像を撮像素子１０４の撮像領域１０４ａに形成する。撮像素子１０４の撮像領域１０４ａに形成される被写体像は、第１の光路Ｌ１および第２の光路Ｌ２のうち撮像光路として設定された光路のみを通った光に基づく。
【００２６】
被写体の第１の光学像は、第１の光路Ｌ１を通った光に基づいて形成される。被写体の第２の光学像は、第２の光路Ｌ２を通った光に基づいて形成される。第１の光学像および第２の光学像は、撮像素子１０４の撮像領域１０４ａに入射する。撮像素子１０４は、第１の光学像および第２の光学像を撮像する。撮像素子１０４は、第１の光学系１００によって形成された第１の光学像を第１の撮像タイミングで撮像する。撮像素子１０４は、第２の光学系１０１によって形成された第２の光学像を第２の撮像タイミングで撮像する。第１の撮像タイミングおよび第２の撮像タイミングは、互いに異なる。撮像素子１０４は、第１の画像および第２の画像を生成する。第１の画像は、撮像領域１０４ａに形成された第１の光学像に基づく。第２の画像は、撮像領域１０４ａに形成された第２の光学像に基づく。撮像素子１０４は、第１の画像および第２の画像を制御部１０７に出力する。撮像素子１０４の動作は、制御部１０７からの制御信号によって制御される。
【００２７】
複数の撮像条件は、第１の撮像条件および第２の撮像条件を含む。第１の撮像条件および第２の撮像条件は互いに異なる。第１の撮像条件において、第１の光路Ｌ１が撮像光路として設定される。撮像素子１０４は、第１の撮像条件で被写体を撮像することにより被写体の第１の画像を生成する。第２の撮像条件において、第２の光路Ｌ２が撮像光路として設定される。撮像素子１０４は、第２の撮像条件で被写体を撮像することにより被写体の第２の画像を生成する。
【００２８】
計測部１０５は、第１の画像および第２の画像に基づいて、被写体の形状、被写体の寸法、および被写体までの距離（被写体距離）の少なくとも１つを計測する。例えば、被写体の形状は、３次元点群あるいはメッシュポリゴンとして計測される。３次元点群は、被写体の表面の複数点の３次元座標の集合である。メッシュポリゴンは、３次元点群に含まれる各点を頂点にもつ三角形の集合である。被写体の寸法は、被写体上の任意の２点間の距離および被写体上の３点以上で構成される領域の面積等である。被写体距離は、撮像素子１０４が配置された先端部４から被写体までの距離である。具体的には、被写体距離は、撮像素子１０４から被写体までの距離である。被写体距離は第１の光学系１００の主点あるいは第２の光学系１０１の主点から被写体までの距離であってもよい。被写体距離はレンズの被写体側の面から被写体までの距離であってもよい。計測部１０５は、２つの画像が有する視差を利用した三角測量によりステレオ計測を行う。具体的には、計測部１０５は、第１の画像に設定された計測座標に対応する点を第２の画像において検出する。この処理は、マッチング処理と呼ばれる。計測部１０５は、検出された点と計測座標とに基づいて、被写体上の点の３次元座標を算出する。計測座標は、撮像領域１０４ａにおける画素５４のアドレスに関連付けられる。
【００２９】
フレームメモリ１０６は、撮像素子１０４によって生成された第１の画像および第２の画像を記憶する。フレームメモリ１０６は、揮発性または不揮発性のメモリとして構成される。例えば、フレームメモリ１０６は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。内視鏡装置１は、第１の画像および第２の画像を記憶するためのハードディスクドライブを有してもよい。
【００３０】
制御部１０７は、光路設定部１０２、撮像素子１０４、および計測部１０５を制御する。制御部１０７は、これらに加えて、操作部５および表示部６を制御する。制御部１０７は、光路設定部１０２に、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方を撮像光路として設定させる。制御部１０７は、撮像素子１０４に、第１の光路Ｌ１が撮像光路として設定された状態で第１の光学像を撮像させ、かつ第１の光学像に基づく第１の画像を生成させる。制御部１０７は、撮像素子１０４に、第２の光路Ｌ２が撮像光路として設定された状態で第２の光学像を撮像させ、かつ第２の光学像に基づく第２の画像を生成させる。制御部１０７は、計測部１０５に計測を実行させる。
【００３１】
計測部１０５および制御部１０７は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。計測部１０５および制御部１０７は、１つまたは複数のプロセッサを含むことができる。計測部１０５および制御部１０７は、１つまたは複数の論理回路を含むことができる。
【００３２】
内視鏡装置１のコンピュータが、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。プログラムは、計測部１０５および制御部１０７の動作を規定する命令を含む。つまり、計測部１０５および制御部１０７の機能はソフトウエアにより実現されてもよい。そのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
【００３３】
操作部５は、ユーザから指示を受け付けるユーザインターフェースである。ユーザは、操作部５を操作することにより、内視鏡装置１全体の各種動作制御に必要な指示を入力する。操作部５は、ユーザから受け付けた指示を示す信号を制御部１０７に出力する。例えば、操作部５は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。
【００３４】
表示部６は、第１の画像および第２の画像の少なくとも１つを表示する。また、表示部６は、操作制御内容および計測結果等を表示する。例えば、操作制御内容はメニューとして表示される。例えば、表示部６は、液晶ディスプレイおよび有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイの少なくとも１つである。表示部６は、タッチパネルディスプレイであってもよい。その場合、操作部５および表示部６は一体化される。
【００３５】
記録媒体７は、第１の画像、第２の画像、および計測結果等を記憶する。例えば、記録媒体７は、フラッシュメモリ等のような不揮発性の記録媒体である。本体部２に対する記録媒体７の装着と、本体部２からの記録媒体７の取り外しとが可能であってもよい。
【００３６】
操作部５、表示部６、および記録媒体７は、内視鏡装置１において必須ではない。
【００３７】
図２は、撮像素子１０４の構成を示す。図２に示す撮像素子１０４は、画素部５０、垂直走査部５１、信号処理部５２、および水平走査部５３を有する。
【００３８】
画素部５０は、行列状に配置された複数の画素５４を有する。複数の画素５４は、撮像素子１０４の撮像領域１０４ａに配置されている。複数の画素５４の配列における行数と列数との各々は、２以上である。行数と列数とが同一でなくてもよい。複数の画素５４の各々は、画素５４に入射した光の量に応じた画素信号を生成する。複数の画素５４の各々は、垂直信号線５６に接続されている。複数の垂直信号線５６が配置されている。複数の垂直信号線５６の各々は、複数の画素５４の配列における列毎に配置されている。複数の画素５４の各々は、生成された画素信号を垂直信号線５６に出力する。
【００３９】
複数の画素５４の各々は、制御信号線５７に接続されている。複数の制御信号線５７が配置されている。複数の制御信号線５７の各々は、複数の画素５４の配列における行毎に配置されている。複数の制御信号線５７の各々は、垂直走査部５１に接続されている。複数の画素５４の動作を制御するための制御信号が垂直走査部５１から制御信号線５７に出力される。１個の行の画素５４に対して複数の制御信号線５７が配置されている。図２では１個の行の画素５４に対して１つの制御信号線５７が示され、他の制御信号線５７は省略されている。制御信号の詳細については、後述する。
【００４０】
複数の画素５４の動作は、制御信号線５７に出力された制御信号に基づいて制御される。１個の行の画素５４に対応する制御信号は、その行における全ての画素５４に共通に供給される。このため、同一の行に配置された２つ以上の画素５４に対して同一の動作タイミングが設定される。つまり、同一の行に配置された２つ以上の画素５４は、同時に動作する。画素５４の構成の詳細については、後述する。
【００４１】
制御部１０７によって生成された制御信号が撮像素子１０４に送信される。垂直走査部５１は、制御部１０７からの制御信号に基づいて、複数の画素５４の動作を制御するための制御信号を生成する。垂直走査部５１は、複数の画素５４の配列における複数の行の各々に対応する制御信号を生成する。垂直走査部５１は、生成された制御信号を制御信号線５７に出力する。
【００４２】
信号処理部５２は、複数の信号処理回路５５を有する。信号処理回路５５は、複数の画素５４の配列における列毎に配置されている。信号処理回路５５は、垂直信号線５６に接続されている。信号処理回路５５は、画素５４から垂直信号線５６に出力された画素信号に対して、信号処理を行う。信号処理回路５５が行う信号処理は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）およびＡＧＣ（Ａｎａｌｏｇ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）等を含む。
【００４３】
信号処理回路５５によって処理された画素信号は、水平走査部５３に入力される。水平走査部５３は、複数の画素５４の配列における列を順次選択する。水平走査部５３によって選択された列に対応する画素信号は、出力端子５８から出力される。
【００４４】
撮像素子１０４は、行列状に配置された複数の画素５４を備える。撮像素子１０４は、複数のフレーム期間の各々において、被写体の光学像に基づく各画素５４の画素信号を生成する。撮像素子１０４は、複数のフレーム期間の各々において、その画素信号を用いて被写体の画像を生成する。
【００４５】
フレームは、１枚の画像に含まれる複数の画素信号の組である。１枚の画像（１フレーム）は、１フレーム期間において生成される。撮像素子２２は、１フレームの画素信号に基づいて１枚の画像を生成する。
【００４６】
図３は、画素５４の構成を示す。図３に示す画素５４は、光電変換部７０、電荷転送部７１、電荷保持部７２、容量リセット部７３、増幅部７４、および出力部７５を有する。光電変換部７０は、フォトダイオードである。電荷保持部７２は、容量である。電荷転送部７１、容量リセット部７３、増幅部７４、および出力部７５は、トランジスタである。
【００４７】
光電変換部７０は、画素５４に入射した光の量に応じた電荷を生成し、蓄積する。電荷転送部７１は、光電変換部７０によって生成され、蓄積された電荷を電荷保持部７２に転送する。電荷保持部７２は、光電変換部７０から転送された電荷を保持する。容量リセット部７３は、電源電圧ＶＤＤに基づいて、電荷保持部７２の電荷をリセットする。容量リセット部７３がオンになることにより、容量リセット部７３は電荷保持部７２の電荷をリセットする。増幅部７４は、電荷保持部７２に保持された電荷に基づく信号を増幅する。出力部７５は、増幅部７４によって増幅された信号を画素信号として垂直信号線５６に出力する。
【００４８】
電荷転送部７１の動作は、制御信号φＴＸによって制御される。容量リセット部７３の動作は、制御信号φＲＳＴによって制御される。出力部７５の動作は、制御信号φＳＥＬによって制御される。制御信号φＴＸ、制御信号φＲＳＴ、および制御信号φＳＥＬは、制御信号線５７を経由して垂直走査部５１から供給される。
【００４９】
画素５４の動作は、リセット、電荷転送、および信号読み出しを含む。リセットは、容量リセット部７３の動作に対応する。電荷転送は、電荷転送部７１の動作に対応する。信号読み出しは、出力部７５の動作に対応する。蓄積開始タイミングから転送タイミングまでの期間が、画素５４において露光を行える期間（露光期間）である。蓄積開始タイミングは、光電変換部７０が、画素５４に入射した光に基づく電荷の生成とその電荷の蓄積とを開始するタイミングである。転送タイミングは、電荷転送部７１が、光電変換部７０に蓄積された電荷を電荷保持部７２に転送するタイミングである。露光期間において、光電変換部７０は電荷を蓄積する。以下の記載において、画素５４がリセットされた状態とは、露光期間が終了し、電荷転送部７１が、光電変換部７０に蓄積された電荷を電荷保持部７２に転送したタイミングにおける画素５４の状態を表している。
【００５０】
撮像素子１１０は、画素信号を出力部７５から出力することにより、画素信号を画素５４から読み出す。撮像素子１１０は、画素信号を画素５４から読み出すことにより、画像を取得する。画素信号の読み出しと画像の取得とは、等価である。
【００５１】
図４は、露光期間が比較的長い場合の撮像素子１０４の動作を示す。図４を参照し、撮像素子１０４の動作を説明する。図４に示す例では、撮像領域１０４ａは、１６個の行を有する。図４に示す例では、計測座標Ａの位置にある画素５４は、撮像領域１０４ａの第４行に配置されている。撮像領域１０４ａの行数は１６に限らない。例えば、ユーザは、操作部５を操作することにより計測座標を入力する。操作部５に入力された計測座標は制御部１０７に通知される。計測座標の位置は、予め決定された位置であってもよい。
【００５２】
タイミングチャートＴＣ１０は、撮像素子１０４の動作を示す。タイミングチャートＴＣ１０において、横方向は時間を示し、かつ縦方向は画素５４の行位置を示す。最も上の行が第１行であり、かつ最も下の行が第１６行である。
【００５３】
図４において、フレーム期間が示されている。各フレーム期間は、読み出し期間および露光期間を含む。読み出し期間において、画素５４の画素信号が読み出される。画素信号の読み出しは、電荷転送および信号読み出しを含む。第１行の画素５４における読み出し期間の開始タイミングを基準にしたフレーム期間が示されている。第２行から第１６行のフレーム期間は、各行の１つ上の行のフレーム期間よりも所定時間だけ遅れて開始される。フレーム期間Ｖｎの露光期間において画素５４に蓄積された画素信号は、フレーム期間Ｖ（ｎ＋１）の読み出し期間において画素５４から読み出される。
【００５４】
図４における破線Ｌ１０は、各行のフレーム期間の開始タイミングを示す。破線Ｌ１０は、タイミングチャートＴＣ１０を含む全てのタイミングチャートにおいて共通に使用される。破線Ｌ１０の意味は、本明細書において共通である。図４における記号Ｍ１０は、読み出し期間を示す。図４における記号Ｍ１１は、露光期間を示す。タイミングチャートＴＣ１０以外のタイミングチャートにおいて記号Ｍ１０および記号Ｍ１１は省略されるが、記号Ｍ１０および記号Ｍ１１の各々の意味は、本明細書において共通である。
【００５５】
フレーム期間Ｖ０において、撮像光路は第１の光路Ｌ１である。フレーム期間Ｖ０の露光期間の開始タイミングは、フレーム期間Ｖ０の１つ前のフレーム期間における各行の画素５４の露光期間において生成された画素信号の読み出しが完了したタイミングと同じである。露光期間の開始タイミングにおいて、第１行の画素５４がリセットされる。これにより、第１行の画素５４の露光期間が開始される。露光期間において、画素５４に入射した光に基づく信号が画素５４に蓄積される。第１行の画素５４の露光期間が開始された後、第２行の画素５４の露光期間が開始される。同様に、第３行から第１６行の画素５４の露光期間が順次開始される。
【００５６】
垂直走査部５１は、各行の制御信号を順次生成し、かつ生成された制御信号を各行の画素５４に順次出力する。撮像素子１０４は、垂直走査部５１から順次出力された制御信号に基づいて、複数の行の画素５４を行毎に連続的に走査する。撮像素子１０４は、この走査により、複数の行の画素５４の露光期間を順次開始する。
【００５７】
フレーム期間Ｖ０における各行の画素５４の露光期間において生成された画素信号は、フレーム期間Ｖ１において読み出される。フレーム期間Ｖ０における第１行の画素５４の露光期間が終了したとき、フレーム期間Ｖ１における第１行の画素５４の読み出し期間が開始される。第１行の画素５４は、画素信号を垂直信号線５６に出力する。第１行の画素５４の読み出し期間が開始された時刻から所定時間が経過したとき、第１行の画素５４の読み出し期間が終了する。このとき、第１行の画素５４がリセットされ、かつフレーム期間Ｖ１における第１行の画素５４の露光期間が開始される。
【００５８】
第１行の画素５４の読み出し期間が終了したとき、第２行の画素５４の読み出し期間が開始される。第２行の画素５４は、画素信号を垂直信号線５６に出力する。第２行の画素５４の読み出し期間が開始された時刻から所定時間が経過したとき、第２行の画素５４の読み出し期間が終了する。このとき、第２行の画素５４がリセットされ、かつフレーム期間Ｖ１における第２行の画素５４の露光期間が開始される。同様に、第３行から第１６行の画素５４の読み出し期間が順次開始され、かつ第３行から第１６行の画素５４の画素信号が順次読み出される。第３行から第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ１における第３行から第１６行の画素５４の露光期間が順次開始される。
【００５９】
垂直走査部５１は、各行の制御信号を順次生成し、かつ生成された制御信号を各行の画素５４に順次出力する。撮像素子１０４は、垂直走査部５１から順次出力された制御信号に基づいて、複数の行の画素５４を行毎に連続的に走査する。撮像素子１０４は、この走査により、複数の行の画素５４から画素信号を順次読み出す。
【００６０】
撮像素子１０４の駆動方式は、ローリングシャッター方式である。ローリングシャッター方式では、読み出し対象の行が１行ずつ変更され、かつ各行の画素５４から連続的に画素信号が読み出される。ローリングシャッター方式では、行毎に露光期間が順次開始され、かつ行毎に画素信号が順次読み出される。画素信号の読み出しが完了した行の画素５４はリセットされ、かつ露光期間が再開される。
【００６１】
図４において、フレーム期間Ｖ０よりも前のフレーム期間の動作は示されていない。フレーム期間Ｖ０よりも前の各フレーム期間において、フレーム期間Ｖ０における動作と同様の動作が実行される。
【００６２】
フレーム期間Ｖ１における各行の画素５４の露光期間において生成された画素信号は、フレーム期間Ｖ２において読み出される。フレーム期間Ｖ１における動作と同様に、第１行から第１６行の画素５４の読み出し期間が順次開始され、かつ第１行から第１６行の画素５４の画素信号が順次読み出される。第１行から第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第１行から第１６行の画素５４の露光期間が順次開始される。
【００６３】
フレーム期間Ｖ２における第３行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ１における第４行の画素５４の露光期間が終了し、かつフレーム期間Ｖ２における第４行の画素５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。したがって、フレーム期間Ｖ１（第１のフレーム期間）において第４行の画素５４の露光期間が完了した後、撮像光路の切り替えが開始される。制御部１０７は、撮像光路の切り替えのための制御信号を光路設定部１０２に出力する。これにより、制御部１０７は、光路設定部１０２に撮像光路を切り替えさせる。光路設定部１０２は、制御部１０７からの制御信号に基づいて、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。
【００６４】
図４において、切り替え期間Ｐ１０が示されている。切り替え期間Ｐ１０は、光路の切り替えの開始から光路の切り替えの完了までの期間である。切り替え期間Ｐ１０の長さは、フレーム期間よりも短い。切り替え期間Ｐ１０において、撮像素子１０４は、第４行から第９行の画素５４の読み出し期間を順次開始し、かつ第４行から第９行の画素５４の画素信号を順次読み出す。第４行から第９行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第４行から第９行の画素５４の露光期間が順次開始される。
【００６５】
フレーム期間Ｖ２における第９行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。したがって、フレーム期間Ｖ３（第２のフレーム期間）において第４行の画素５４の露光期間が開始される前に撮像光路の切り替えが完了している。撮像光路は第２の光路Ｌ２である。切り替え期間Ｐ１０の後、撮像素子１０４は、第１０行から第１６行の画素５４の読み出し期間を順次開始し、かつ第１０行から第１６行の画素５４の画素信号を順次読み出す。第１０行から第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第１０行から第１６行の画素５４の露光期間が順次開始される。
【００６６】
フレーム期間Ｖ２における各行の画素５４の露光期間において生成された画素信号は、フレーム期間Ｖ３において読み出される。フレーム期間Ｖ３において撮像素子１０４が画素信号を読み出す動作は、フレーム期間Ｖ２において撮像素子１０４が画素信号を読み出す動作と同じである。撮像素子１０４は、フレーム期間Ｖ３、フレーム期間Ｖ４、およびフレーム期間Ｖ５において、フレーム期間Ｖ２の動作と同じ動作を継続する。
【００６７】
図４において、撮像素子１０４から出力される画像（出力画像）が模式的に示されている。図４に示す例では、撮像素子１０４は、画像Ｖ０、画像Ｖ１、画像Ｖ２、画像Ｖ３、画像Ｖ４、および画像Ｖ５を出力する。画像Ｖ０は、フレーム期間Ｖ０における読み出し期間に１６個の行の画素５４から読み出された画素信号を含む。画像Ｖ１、画像Ｖ２、画像Ｖ３、画像Ｖ４、および画像Ｖ５はそれぞれ、フレーム期間Ｖ１、フレーム期間Ｖ２、フレーム期間Ｖ３、フレーム期間Ｖ４、およびフレーム期間Ｖ５における読み出し期間に１６個の行の画素５４から読み出された画素信号を含む。
【００６８】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【００６９】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重なる。切り替え期間Ｐ１０において、第１の光路Ｌ１に対応する第１の光学像と、第２の光路Ｌ２に対応する第２の光学像とが撮像領域１０４ａに形成される可能性がある。切り替え期間Ｐ１０において、露光のための適切な時間が確保されない可能性がある。そのため、画像Ｖ３は計測に適していない。
【００７０】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【００７１】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ４を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ４に基づいて被写体の計測を実行する。
【００７２】
フレーム期間Ｖ１における第５行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１０と重なる。画像Ｖ２において、第４行の画素５４の画素信号は計測に使用できるが、第５行から第１６行の画素５４の画素信号は計測に適していない。計測部１０５は、画像Ｖ２における第４行の画素５４の画素信号と、画像Ｖ４における第４行の画素５４の画素信号とを計測に使用する。第１の取得タイミングと第２の取得タイミングとの間隔は、２フレーム期間と同じである。第１の取得タイミングは、撮像素子１０４が画像Ｖ２における第４行（計測行）の画素５４の画素信号を取得するタイミングである。第２の取得タイミングは、撮像素子１０４が画像Ｖ４における第４行（対応行）の画素５４の画素信号を取得するタイミングである。
【００７３】
図５は、露光期間が比較的短い場合の撮像素子１０４の動作を示す。図５を参照し、撮像素子１０４の動作を説明する。
【００７４】
タイミングチャートＴＣ１１は、撮像素子１０４の動作を示す。図５に示すタイミングチャートＴＣ１１では、図５に示すタイミングチャートＴＣ１０と比較して、各行の画素５４の露光期間が短い。撮像素子１０４が画素信号を読み出す動作は、図４に示す動作と同じである。
【００７５】
フレーム期間Ｖ２における第４行の画素５４の露光期間が終了したとき、撮像光路の切り替えが開始される。切り替え期間Ｐ１０において、撮像素子１０４は、第４行から第９行の画素５４の読み出し期間を順次開始し、かつ第４行から第９行の画素５４の画素信号を順次読み出す。
【００７６】
フレーム期間Ｖ２における第９行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。フレーム期間Ｖ２における第４行の画素５４の露光期間が開始される前に撮像光路の切り替えが完了している。切り替え期間Ｐ１０の後、撮像素子１０４は、第１０行から第１６行の画素５４の読み出し期間を順次開始し、かつ第１０行から第１６行の画素５４の画素信号を順次読み出す。
【００７７】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【００７８】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【００７９】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ３を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ３に基づいて被写体の計測を実行する。第１の取得タイミングと第２の取得タイミングとの間隔は、１フレーム期間と同じである。第１の取得タイミングは、撮像素子１０４が画像Ｖ２における第４行（計測行）の画素５４の画素信号を取得するタイミングである。第２の取得タイミングは、撮像素子１０４が画像Ｖ３における第４行（対応行）の画素５４の画素信号を取得するタイミングである。
【００８０】
タイミングチャートＴＣ１０およびタイミングチャートＴＣ１１では、計測部１０５は、第１の画像および第２の画像に基づいて被写体の計測を実行する。第１の画像は、第１の露光期間において露光された画素５４の画素信号を含む。第２の画像は、第２の露光期間において露光された画素５４の画素信号を含む。計測行の画素５４の第１の露光期間は、光路設定部１０２が撮像光路の切り替えを開始する前に完了している。対応行の画素５４の第２の露光期間は、光路設定部１０２が撮像光路の切り替えを完了した後に開始される。
【００８１】
タイミングチャートＴＣ１０では、第２の画像は、第１の画像が取得されたフレーム期間の２つ後のフレーム期間において取得された画像である。タイミングチャートＴＣ１１では、第２の画像は、第１の画像が取得されたフレーム期間の１つ後のフレーム期間において取得された画像である。
【００８２】
計測部１０５は、第１の画素信号および第２の画素信号に基づいて、被写体の計測を実行する。第１の画素信号は、計測行の画素５４から読み出される。第２の画素信号は、対応行の画素５４から読み出される。タイミングチャートＴＣ１０およびタイミングチャートＴＣ１１では、計測行および対応行は第４行である。計測行および対応行が互いに異なってもよい。例えば、対応行が計測行の１つ上の行または計測行の１つ下の行であってもよい。
【００８３】
タイミングチャートＴＣ１０では、切り替え期間Ｐ１０は、１つのフレーム期間のみにおける計測行の画素５４の露光期間の一部を含む。タイミングチャートＴＣ１１では、切り替え期間Ｐ１０は、計測行の画素５４の露光期間を含まない。
【００８４】
タイミングチャートＴＣ１０およびタイミングチャートＴＣ１１では、切り替え期間Ｐ１０は、計測行の画素５４の読み出し期間が終了した後に開始されてもよい。第１の光路Ｌ１が撮像光路であるとき、制御部１０７は、第１のフレーム期間（フレーム期間Ｖ１）における計測行の画素５４の露光期間に生成された画素信号の読み出しが完了する第１のタイミングを検出してもよい。制御部１０７は、第１のタイミングの検出に基づいて、光路設定部１０２に、撮像光路の切り替えを開始させる。
【００８５】
図６は、内視鏡装置１の動作の手順を示す。図６を参照し、内視鏡装置１の動作を説明する。
【００８６】
内視鏡装置１が起動したとき、制御部１０７は、制御信号を撮像素子１０４に送信する。これにより、制御部１０７は、撮像素子１０４に動作を開始させる。撮像素子１０４は、制御部１０７からの制御信号に基づいて、動作を開始する。表示部６は画像の表示を開始する（ステップＳ１００）。内視鏡装置１が起動したとき、光路設定部１０２は第１の光路Ｌ１を撮像光路として設定する。撮像素子１０４は、図４に示すフレーム期間Ｖ０の動作を実行する。
【００８７】
撮像素子１０４は、各フレーム期間において複数の行の画素５４を行毎に連続的に走査し、かつ各フレーム期間において複数の行の画素５４から画素信号を順次読み出す。撮像素子１０４は、各フレーム期間において、複数の行の画素５４の画素信号を含む画像を出力する。撮像素子１０４から出力された画像は、フレームメモリ１０６に記憶される。
【００８８】
ステップＳ１００の後、制御部１０７は、計測を実行するか否かを判断する（ステップＳ１０５）。例えば、ユーザが操作部５を操作することにより計測座標を入力した場合、制御部１０７は、計測を実行すると判断する。予め決定された計測座標における計測が所定周期で実行されてもよい。例えば、内視鏡装置１の起動から所定時間が経過したとき、制御部１０７は、計測を実行すると判断する。あるいは、前回の計測の実行から所定時間が経過したとき、制御部１０７は、計測を実行すると判断する。
【００８９】
ステップＳ１０５において、計測を実行しないと制御部１０７が判断したとき、制御部１０７は、ステップＳ１０５における判断を再度実行する。ステップＳ１０５において、計測を実行すると制御部１０７が判断したとき、制御部１０７は、計測座標を取得する。例えば、制御部１０７は、ユーザによって入力された計測座標を操作部５から取得する。あるいは、制御部１０７は、予めメモリに記憶された計測座標をそのメモリから取得する（ステップＳ１１０）。
【００９０】
ステップＳ１１０の後、制御部１０７は、計測行の露光期間が完了したか否かを判断する。図４に示す例では、制御部１０７は、第４行の露光期間が完了したか否かを判断する（ステップＳ１１５）。制御部１０７は、ステップＳ１１５における処理を実行することにより、計測行の露光期間が完了するタイミングを検出する。
【００９１】
ステップＳ１１５において、計測行の露光期間が完了していないと制御部１０７が判断した場合、制御部１０７は、ステップＳ１１５における判断を再度実行する。ステップＳ１１５において、計測行の露光期間が完了したと制御部１０７が判断した場合、制御部１０７は、撮像光路の切り替えのための制御信号を光路設定部１０２に出力する。これにより、制御部１０７は、光路設定部１０２に、撮像光路の切り替えを開始させる。光路設定部１０２は、制御部１０７からの制御信号に基づいて、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。その後、制御部１０７は、光路設定部１０２に、撮像光路の切り替えを終了させる（ステップＳ１２０）。
【００９２】
ステップＳ１２０の後、制御部１０７は、計測行の画像の取得が完了したか否かを判断する。図４に示す例では、制御部１０７は、第４行の画素信号がフレームメモリ１０６に記憶されたか否かを判断する（ステップＳ１２５）。
【００９３】
ステップＳ１２５において、計測行の画像の取得が完了していないと制御部１０７が判断した場合、制御部１０７は、ステップＳ１２５における判断を再度実行する。ステップＳ１２５において、計測行の画像の取得が完了したと制御部１０７が判断した場合、制御部１０７は、計測部１０５に、第１の画像および第２の画像を使用する計測を実行させる。第１の画像は、図４または図５に示す画像Ｖ２である。第２の画像は、図４に示す画像Ｖ４または図５に示す画像Ｖ３である。計測部１０５は、第１の画像および第２の画像に基づいて、被写体の計測を実行する。表示部６は、計測結果を表示する（ステップＳ１３０）。ステップＳ１３０の後、ステップＳ１０５における処理が実行されてもよい。
【００９４】
図１４および図１５を参照し、本発明の第１の実施形態と本発明の参考形態とを比較する。内視鏡装置１は、参考形態における動作を実行する必要はない。以下では、第１の実施形態と参考形態との比較のために、参考形態における内視鏡装置１の動作を説明する。
【００９５】
図１４に示すタイミングチャートＴＣ１００と、図１５に示すタイミングチャートＴＣ１０１とは、撮像素子１０４の動作を示す。図４に示す部分と同じ部分についての説明を省略する。
【００９６】
図１４は、露光期間が比較的長い場合の撮像素子１０４の動作を示す。図４に示すタイミングチャートＴＣ１０における露光期間の長さと、図１４に示すタイミングチャートＴＣ１００における露光期間の長さとは、同じである。フレーム期間Ｖ２における第１６行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ２における第１行の画素５４の露光期間が終了し、かつフレーム期間Ｖ３における第１行の画素５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。光路設定部１０２は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。
【００９７】
図１４において、切り替え期間Ｐ１００が示されている。切り替え期間Ｐ１００の長さは、図４に示す切り替え期間Ｐ１０の長さと略同じである。切り替え期間Ｐ１００において、撮像素子１０４は、第１行から第６行の画素５４の読み出し期間を順次開始し、かつ第１行から第６行の画素５４の画素信号を順次読み出す。第１行から第６行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第１行から第６行の画素５４の露光期間が順次開始される。
【００９８】
フレーム期間Ｖ３における第６行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。切り替え期間Ｐ１００の後、撮像素子１０４は、第１０行から第１６行の画素５４の読み出し期間を順次開始し、かつ第１０行から第１６行の画素５４の画素信号を順次読み出す。第１０行から第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第１０行から第１６行の画素５４の露光期間が順次開始される。
【００９９】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重ならない。第４行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【０１００】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重なる。そのため、画像Ｖ３は計測に適していない。
【０１０１】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重なる。そのため、画像Ｖ４は計測に適していない。
【０１０２】
画像Ｖ５は、フレーム期間Ｖ４における露光期間に生成された画素信号を含む。画像Ｖ５に含まれる画素信号は、フレーム期間Ｖ５における読み出し期間に読み出される。フレーム期間Ｖ４における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重ならない。第４行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１０３】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ５を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ５に基づいて被写体の計測を実行する。第１の取得タイミングと第２の取得タイミングとの間隔は、３フレーム期間と同じである。第１の取得タイミングは、撮像素子１０４が画像Ｖ２を取得するタイミングである。第２の取得タイミングは、撮像素子１０４が画像Ｖ５を取得するタイミングである。
【０１０４】
図１５は、露光期間が比較的短い場合の撮像素子１０４の動作を示す。図１５に示すタイミングチャートＴＣ１０１では、図１４に示すタイミングチャートＴＣ１００と比較して、各行の画素５４の露光期間が短い。図５に示すタイミングチャートＴＣ１１における露光期間の長さと、図１５に示すタイミングチャートＴＣ１０１における露光期間の長さとは、同じである。撮像素子１０４が画素信号を読み出す動作は、図１４に示す動作と同じである。
【０１０５】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重ならない。第４行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【０１０６】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重なる。そのため、画像Ｖ３は計測に適していない。
【０１０７】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第４行の画素５４の露光期間は、切り替え期間Ｐ１００と重ならない。第４行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１０８】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ４を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ４に基づいて被写体の計測を実行する。第１の取得タイミングと第２の取得タイミングとの間隔は、２フレーム期間と同じである。第１の取得タイミングは、撮像素子１０４が画像Ｖ２を取得するタイミングである。第２の取得タイミングは、撮像素子１０４が画像Ｖ４を取得するタイミングである。
【０１０９】
図１４に示すタイミングチャートＴＣ１００において、計測のための２枚の画像が取得される間隔は、３フレーム期間と同じである。一方、図４に示すタイミングチャートＴＣ１０において、計測のための２枚の画像が取得される間隔は、２フレーム期間と同じである。図４に示すタイミングチャートＴＣ１０では、図１４に示すタイミングチャートＴＣ１００と比較して、計測のための２枚の画像が取得される間隔が短い。
【０１１０】
図１５に示すタイミングチャートＴＣ１０１において、計測のための２枚の画像が取得される間隔は、２フレーム期間と同じである。一方、図５に示すタイミングチャートＴＣ１０において、計測のための２枚の画像が取得される間隔は、１フレーム期間と同じである。図５に示すタイミングチャートＴＣ１１では、図１５に示すタイミングチャートＴＣ１０１と比較して、計測のための２枚の画像が取得される間隔が短い。
【０１１１】
図７に示すタイミングチャートＴＣ１２は、撮像素子１０４の動作を示す。図７を参照し、フレーム期間、露光期間、および切り替え期間の関係を説明する。
【０１１２】
図７において、フレーム期間Ｔｆ、露光期間Ｔｓ、読み出し期間Ｔｔ、期間Ｔｄ、および切り替え期間Ｔｃが示されている。期間Ｔｄは、計測行の露光の終了から撮像光路の切り替えの開始までの時間である。切り替え期間Ｔｃの長さは、フレーム期間Ｔｆの長さよりも短い。
【０１１３】
以下では、露光期間Ｔｓの長さがフレーム期間Ｔｆの長さと同じかそれよりも長い場合は考慮しない。フレーム期間Ｔｆ、露光期間Ｔｓ、および読み出し期間Ｔｔは、以下の式（１）に示す関係を満たす。一般的に、読み出し期間Ｔｔは、フレーム期間Ｔｆよりも十分に短い。
Ｔｓ＋Ｔｔ≦Ｔｆ    （１）
【０１１４】
露光期間が終了したタイミングと、撮像光路の切り替えが開始されたタイミングとが同じである場合、期間Ｔｄの長さは０である。計測行および対応行が同じ場合について説明する。
【０１１５】
以下の式（２）に示す関係が満たされる場合、計測部１０５は、第１の画像および第２の画像に基づいて計測を実行することができる。第１の画像および第２の画像は、連続する２つのフレーム期間で取得される。これは、図５に示すタイミングチャートＴＣ１１に対応する。
Ｔｓ≦Ｔｆ−（Ｔｃ＋Ｔｄ）    （２）
【０１１６】
期間Ｔｄの起点は露光期間の終了であるが、期間Ｔｄの起点は読み出し期間の終了であってもよい。期間Ｔｄの起点が読み出し期間の終了である場合、式（２）は以下の式（３）となる。期間Ｔｄの長さは０である。
Ｔｓ≦Ｔｆ−Ｔｃ−Ｔｔ    （３）
【０１１７】
読み出し期間Ｔｔが非常に短い場合、式（３）は以下の式（４）となる。
Ｔｓ≦Ｔｆ−Ｔｃ    （４）
【０１１８】
式（２）に示す関係が満たされない場合、第２の画像は、第１の画像が取得されたフレーム期間の２つ後のフレーム期間において取得される。これは、図４に示すタイミングチャートＴＣ１０に対応する。
【０１１９】
第１の条件が満たされる場合、計測部１０５が被写体の計測に使用する第２の画像は、第２のフレーム期間の露光期間に対応行の画素５４において生成された画素信号を含む。第１の条件において、第２のタイミングは第３のタイミングよりも前である。第２のタイミングは、第３のフレーム期間において対応行の画素５４の露光期間が開始されるタイミングである。第３のタイミングは、光路設定部１０２が撮像光路の切り替えを完了するタイミングである。第２のフレーム期間は、第１のフレーム期間の２つ後のフレーム期間である。第３のフレーム期間は、第１のフレーム期間の１つ後のフレーム期間である。
【０１２０】
図４に示すタイミングチャートＴＣ１０では、第１のフレーム期間はフレーム期間Ｖ１であり、第２のフレーム期間はフレーム期間Ｖ３であり、第３のフレーム期間はフレーム期間Ｖ２である。図４に示すタイミングチャートＴＣ１０では、第２のタイミングは、フレーム期間Ｖ２において第４行の画素５４の露光期間が開始されるタイミングである。図４に示すタイミングチャートＴＣ１０では、第３のタイミングは、切り替え期間Ｐ１０が完了するタイミングである。例えば、制御部１０７は、図６に示すステップＳ１３０において、第１の条件が満たされるか否かを判断する。第１の条件が満たされると制御部１０７が判断した場合、制御部１０７は、計測部１０５に画像Ｖ４を第２の画像として使用させる。画像Ｖ４は、フレーム期間Ｖ３の露光期間に第４行の画素５４において生成された画素信号を含む。
【０１２１】
第２の条件が満たされる場合、計測部１０５が計測に使用する第２の画像は、第３のフレーム期間の露光期間に対応行の画素５４において生成された画素信号を含む。第２の条件において、第２のタイミングは第３のタイミングよりも後である。
【０１２２】
図５に示すタイミングチャートＴＣ１１では、第１のフレーム期間はフレーム期間Ｖ１であり、第２のフレーム期間はフレーム期間Ｖ３であり、第３のフレーム期間はフレーム期間Ｖ２である。図５に示すタイミングチャートＴＣ１１では、第２のタイミングは、フレーム期間Ｖ２において第４行の画素５４の露光期間が開始されるタイミングである。図５に示すタイミングチャートＴＣ１１では、第３のタイミングは、切り替え期間Ｐ１０が完了するタイミングである。例えば、制御部１０７は、図６に示すステップＳ１３０において、第２の条件が満たされるか否かを判断する。第２の条件が満たされると制御部１０７が判断した場合、制御部１０７は、計測部１０５に画像Ｖ３を第２の画像として使用させる。画像Ｖ３は、フレーム期間Ｖ２の露光期間に第４行の画素５４において生成された画素信号を含む。
【０１２３】
制御部１０７は、式（２）に示す関係が満たされる露光期間Ｔｓの長さを決定してもよい。つまり、制御部１０７は、上記の第２の条件が満たされる露光期間Ｔｓの長さを決定してもよい。例えば、制御部１０７は、図６に示すステップＳ１００において、上記の第２の条件が満たされる露光期間Ｔｓの長さを決定する。制御部１０７は、決定された露光期間Ｔｓの長さを撮像素子１０４に設定する。
【０１２４】
本発明の各態様の内視鏡装置の作動方法は、第１のステップおよび第２のステップを含む。第１の光路Ｌ１が撮像光路であるとき、制御部１０７は、第１のステップ（Ｓ１１５）において、第１のフレーム期間において計測行の画素５４の露光期間が完了する第１のタイミングを検出する。制御部１０７は、第２のステップ（Ｓ１２０）において、第１のタイミングの検出に基づいて、光路設定部１０２に、第１の光路Ｌ１から第２の光路Ｌ２への撮像光路の切り替えを開始させる。
【０１２５】
内視鏡装置１は、複数の撮像条件における撮像の時間間隔を短縮することができる。そのため、計測のための２枚の画像が取得される間隔が短くなる。計測に使用される２枚の画像間のぶれが低減され、かつぶれの影響による計測誤差が減る。つまり、計測精度が向上する。
【０１２６】
（第１の実施形態の第１の変形例）
図１に示す内視鏡装置１を使用して、本発明の第１の実施形態の第１の変形例を説明する。図８は、撮像素子１０４の動作を示す。図８を参照し、撮像素子１０４の動作を説明する。図４に示す部分と同じ部分についての説明を省略する。
【０１２７】
タイミングチャートＴＣ１３は、撮像素子１０４の動作を示す。フレーム期間Ｖ２における第１５行の画素５４の露光期間が終了したとき、撮像光路の切り替えが開始される。切り替え期間Ｐ１０において、撮像素子１０４は、第１５行および第１６行の画素５４の読み出し期間を順次開始し、かつ第１５行および第１６行の画素５４の画素信号を順次読み出す。第１５行および第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ２における第１５行および第１６行の画素５４の露光期間が順次開始される。
【０１２８】
切り替え期間Ｐ１０において、撮像素子１０４はさらに、第１行から第４行の画素５４の読み出し期間を順次開始し、かつ第１行から第４行の画素５４の画素信号を順次読み出す。第１行から第４行の画素５４が順次リセットされ、かつフレーム期間Ｖ３における第１行から第４行の画素５４の露光期間が順次開始される。
【０１２９】
フレーム期間Ｖ３における第４行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。切り替え期間Ｐ１０の後、撮像素子１０４は、第５行から第１６行の画素５４の読み出し期間を順次開始し、かつ第５行から第１６行の画素５４の画素信号を順次読み出す。第５行から第１６行の画素５４が順次リセットされ、かつフレーム期間Ｖ３における第５行から第１６行の画素５４の露光期間が順次開始される。
【０１３０】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【０１３１】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重なる。そのため、画像Ｖ３は計測に適していない。
【０１３２】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第４行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第４行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１３３】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ４を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ４に基づいて被写体の計測を実行する。
【０１３４】
切り替え期間Ｐ１０は、計測行の画素５４の読み出し期間が終了する前に終了してもよい。切り替え期間Ｐ１０は、計測行の画素５４の露光期間が終了する前に終了してもよい。
【０１３５】
（第１の実施形態の第２の変形例）
図１に示す内視鏡装置１を使用して、本発明の第１の実施形態の第２の変形例を説明する。内視鏡装置１において、撮像光路が第１の光路Ｌ１から第２の光路Ｌ２に切り替わる。その後、撮像光路が第２の光路Ｌ２から第１の光路Ｌ１に切り替わる。
【０１３６】
図９は、撮像素子１０４の動作を示す。図９を参照し、撮像素子１０４の動作を説明する。図５に示す部分と同じ部分についての説明を省略する。
【０１３７】
タイミングチャートＴＣ１４は、撮像素子１０４の動作を示す。撮像素子１０４の動作は、図５に示す動作と同様である。
【０１３８】
フレーム期間Ｖ３における第３行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ２における第４行の画素５４の露光期間が終了し、かつフレーム期間Ｖ３における第４行の画素５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。したがって、フレーム期間Ｖ２において第４行の画素５４の露光期間が完了した後、撮像光路の切り替えが開始される。制御部１０７は、撮像光路の切り替えのための制御信号を光路設定部１０２に出力する。これにより、制御部１０７は、光路設定部１０２に撮像光路を切り替えさせる。光路設定部１０２は、制御部１０７からの制御信号に基づいて、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。
【０１３９】
図９において、切り替え期間Ｐ１１が示されている。切り替え期間Ｐ１１の長さは、切り替え期間Ｐ１０の長さと略同じである。切り替え期間Ｐ１１において、撮像素子１０４は、第４行から第９行の画素５４の読み出し期間を順次開始し、かつ第４行から第９行の画素５４の画素信号を順次読み出す。
【０１４０】
フレーム期間Ｖ３における第９行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。撮像光路は第１の光路Ｌ１である。切り替え期間Ｐ１１の後、撮像素子１０４は、第１０行から第１６行の画素５４の読み出し期間を順次開始し、かつ第１０行から第１６行の画素５４の画素信号を順次読み出す。
【０１４１】
図５に示すタイミングチャートＴＣ１１と同様に、計測部１０５は、画像Ｖ２および画像Ｖ３に基づいて被写体の計測を実行する。
【０１４２】
図９において、表示部６が表示する画像（表示画像）が模式的に示されている。画像Ｖ０は、フレーム期間Ｖ０の１つ前のフレーム期間における露光期間に生成された画素信号を含む。画像Ｖ０に含まれる画素信号は、フレーム期間Ｖ０における読み出し期間に読み出される。フレーム期間Ｖ０の１つ前のフレーム期間における第１行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。
【０１４３】
画像Ｖ１は、フレーム期間Ｖ０における露光期間に生成された画素信号を含む。画像Ｖ１に含まれる画素信号は、フレーム期間Ｖ１における読み出し期間に読み出される。フレーム期間Ｖ０における第１行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。
【０１４４】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第５行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１０と重なる。そのため、画像Ｖ２は表示に適していない。
【０１４５】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第５行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１１と重なる。そのため、画像Ｖ３は表示に適していない。
【０１４６】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第１行の画素５４の露光期間は、切り替え期間Ｐ１１と重なる。そのため、画像Ｖ４は表示に適していない。
【０１４７】
画像Ｖ５は、フレーム期間Ｖ４における露光期間に生成された画素信号を含む。画像Ｖ５に含まれる画素信号は、フレーム期間Ｖ５における読み出し期間に読み出される。フレーム期間Ｖ４における第１行から第１６行の画素５４の露光期間は、切り替え期間Ｐ１１と重ならない。
【０１４８】
表示部６は、画像Ｖ０および画像Ｖ１を順次表示する。画像Ｖ２、画像Ｖ３、および画像Ｖ４は表示に適していない。表示部６は、画像Ｖ２、画像Ｖ３、および画像Ｖ４の代わりに画像Ｖ１を表示し続ける。表示部６は、画像Ｖ５を表示する。
【０１４９】
（第２の実施形態）
図１に示す内視鏡装置１を使用して、本発明の第２の実施形態を説明する。計測部１０５は、複数行を含むブロックの単位で、２枚の画像を比較する。つまり、計測部１０５は、ブロックマッチングを実行する。
【０１５０】
計測部１０５は、第１の画像の第１の信号および第２の画像の第２の信号に基づいて、被写体の計測を実行する。第１の信号は、撮像領域１０４ａにおける第１の領域から読み出された画素信号である。第２の信号は、撮像領域１０４ａにおける第２の領域から読み出された画素信号である。第１の領域および第２の領域は、複数の画素５４の配列における複数の行を含む。第１の領域は、計測行の少なくとも一部の画素５４を含む。第２の領域は、対応行の少なくとも一部の画素５４を含む。第１の光路Ｌ１が撮像光路であるとき、制御部１０７は、所定の行の画素５４の露光期間が完了する第１のタイミングを検出する。所定の行は、第１の領域に含まれる行の全てである。制御部１０７は、第１のタイミングの検出に基づいて、光路設定部１０２に、撮像光路の切り替えを開始させる。
【０１５１】
図１０は、撮像素子１０４の動作を示す。図１０を参照し、撮像素子１０４の動作を説明する。図５に示す部分と同じ部分についての説明を省略する。
【０１５２】
撮像領域１０４ａにおいて、矩形の第１の領域Ａ１および矩形の第２の領域Ａ２が設定される。第１の領域Ａ１は、縦３画素および横３画素の領域である。第１の領域Ａ１の中心は、計測座標Ａである。第１の領域Ａ１は、第３行から第５行の各行の画素５４の一部を含む。第２の領域Ａ２は、縦５画素および横５画素の領域である。第２の領域Ａ２の中心は、計測座標Ａである。第２の領域Ａ２は、第２行から第６行の各行の画素５４の一部を含む。第２の領域Ａ２は、第１の領域Ａ１よりも大きい。例えば、第１の領域Ａ１の位置および第２の領域Ａ２の位置は、予めメモリに記憶されている。
【０１５３】
タイミングチャートＴＣ１５は、撮像素子１０４の動作を示す。撮像素子１０４の動作は、図５に示す動作と同様である。
【０１５４】
フレーム期間Ｖ２における第４行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ１における第５行の画素５４の露光期間が終了し、かつフレーム期間Ｖ２における第５行の画素５４の読み出し期間が開始される。したがって、フレーム期間Ｖ１（第１のフレーム期間）において、第１の領域Ａ１に含まれる行の全ての露光期間が完了している。このとき、撮像光路の切り替えが開始される。切り替え期間Ｐ１０において、撮像素子１０４は、第５行から第１０行の画素５４の読み出し期間を順次開始し、かつ第５行から第１０行の画素５４の画素信号を順次読み出す。
【０１５５】
フレーム期間Ｖ２における第１０行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。切り替え期間Ｐ１０の後、撮像素子１０４は、第１１行から第１６行の画素５４の読み出し期間を順次開始し、かつ第１１行から第１６行の画素５４の画素信号を順次読み出す。
【０１５６】
タイミングチャートＴＣ１５において、第３のフレーム期間（フレーム期間Ｖ３）において露光開始行の画素５４の露光期間が開始される前、光路設定部１０２は、撮像光路の切り替えを完了している。第３のフレーム期間は、第１のフレーム期間の１つ後のフレーム期間である。露光開始行は、第２の領域Ａ２において最初に画素５４の露光期間が開始される行である。第２の領域Ａ２において、第２行の画素５４の露光期間が最初に開始される。したがって、露光開始行は、第２行である。
【０１５７】
第１の画像は、画像Ｖ２である。第２の画像は、画像Ｖ３である。第１の信号は、第１の領域Ａ１の画素５４から読み出された画素信号である。第１の信号は、計測行の画素５４から読み出された第１の画素信号を含む。第１の信号は、第１の光学像に基づいて生成される。第２の信号は、第２の領域Ａ２の画素５４から読み出された画素信号である。第２の信号は、対応行の画素５４から読み出された第２の画素信号を含む。第２の信号は、第２の光学像に基づいて生成される。
【０１５８】
計測部１０５は、第１の領域Ａ１の画素信号と、第２の領域Ａ２のサーチ領域の画素信号とに基づいてマッチング処理を実行する。サーチ領域の大きさは、第１の領域Ａ１の大きさと同じである。計測部１０５は、第２の領域Ａ２内でサーチ領域の位置を変更し、かつマッチング処理を繰り返す。例えば、マッチング処理の結果として相関値が算出される。例えば、相関値が最も大きいサーチ領域の位置に基づいて、第１の画像および第２の画像の間の視差情報が取得される。計測部１０５は、視差情報に基づいてステレオ計測を実行する。
【０１５９】
第１の領域Ａ１の大きさおよび第２の領域Ａ２の大きさは、図１０に示す例に限らない。第１の領域Ａ１の大きさおよび第２の領域Ａ２の大きさが同じであってもよい。第１の領域Ａ１の中心が計測座標でなくてもよい。第２の領域Ａ２の中心が計測座標でなくてもよい。
【０１６０】
図１０に示す例では、第１の領域Ａ１は計測行の画素５４の一部を含み、かつ第２の領域Ａ２は対応行の画素５４の一部を含む。第１の領域Ａ１は計測行の画素５４の全てを含んでもよい。第２の領域Ａ２は対応行の画素５４の全てを含んでもよい。第１の領域Ａ１および第２の領域Ａ２は、連続する複数行の画素５４の少なくとも一部を含む。
【０１６１】
図１０に示す例では、計測部１０５は、画像Ｖ２および画像Ｖ３に基づいて被写体の計測を実行する。第１の領域Ａ１および第２の領域Ａ２が大きい場合、フレーム期間Ｖ２において第２の領域Ａ２の画素５４の露光期間が切り替え期間Ｐ１０と重なる可能性がある。あるいは、露光期間が長い場合、フレーム期間Ｖ２において第２の領域Ａ２の画素５４の露光期間が切り替え期間Ｐ１０と重なる可能性がある。その場合、計測部１０５は、画像Ｖ３の代わりに画像Ｖ４を使用する。
【０１６２】
計測部１０５は、ブロックマッチングを実行する。そのため、計測精度が向上する。
【０１６３】
（第２の実施形態の変形例）
図１に示す内視鏡装置１を使用して、本発明の第２の実施形態の変形例を説明する。制御部１０７は、第１の画像に基づいて被写体の状態を判断する。制御部１０７は、被写体の状態に基づいて第１の領域の大きさおよび第２の領域の大きさを決定する。
【０１６４】
図１１は、内視鏡装置１の動作の手順を示す。図１１を参照し、内視鏡装置１の動作を説明する。図６に示す処理と同じ処理についての説明を省略する。
【０１６５】
ステップＳ１１０の後、制御部１０７は、フレームメモリ１０６に記憶された画像に基づいて被写体の状態を判断する。例えば、制御部１０７は、図１０に示すタイミングチャートＴＣ１５における画像Ｖ１に基づいて被写体の状態を判断する。例えば、制御部１０７は、画像Ｖ１内の輝度の分布を算出する。制御部１０７は、画像Ｖ１内のコントラストの分布を算出してもよい。制御部１０７は、画像Ｖ１内の彩度の分布等を算出してもよい（ステップＳ１４０）。
【０１６６】
ステップＳ１４０の後、制御部１０７は、ステップＳ１４０において得られた被写体の状態に基づいて第１の領域の大きさおよび第２の領域の大きさを決定する。画像において暗い部分が多い場合、マッチング処理の精度が悪化しやすい。その場合、制御部１０７は、第１の領域および第２の領域を通常の大きさよりも大きくする。画像においてコントラストまたは彩度が低い部分が多い場合、マッチング処理の精度が悪化しやすい。その場合、制御部１０７は、第１の領域および第２の領域を通常の大きさよりも大きくする（ステップＳ１４５）。ステップＳ１４５の後、ステップＳ１１５における処理が実行される。
【０１６７】
制御部１０７は、被写体の状態に基づいて第１の領域の大きさおよび第２の領域の大きさを決定する。そのため、マッチング処理の精度が向上する。
【０１６８】
（第３の実施形態）
図１に示す内視鏡装置１を使用して、本発明の第３の実施形態を説明する。計測部１０５は、複数の計測座標における被写体の計測を実行する。
【０１６９】
被写体の計測は、複数の計測座標における被写体の形状の算出と複数の計測座標における被写体までの距離の算出との少なくとも１つを含む。第１の光路Ｌ１が撮像光路であるとき、制御部１０７は、第１のフレーム期間において最後の走査行の画素５４の露光期間が完了する第１のタイミングを検出する。最後の走査行は、複数の計測座標の画素５４が含まれる複数の行のうち撮像素子１０４が１フレーム期間の走査において最後に走査する行である。制御部１０７は、第１のタイミングの検出に基づいて、光路設定部１０２に、撮像光路の切り替えを開始させる。
【０１７０】
図１２は、撮像素子１０４の動作を示す。図１２を参照し、撮像素子１０４の動作を説明する。図５に示す部分と同じ部分についての説明を省略する。図１２に示す例では、計測座標Ａ、計測座標Ｂ、および計測座標Ｃが設定される。計測座標Ａの位置にある画素５４は、撮像領域１０４ａの第６行に配置されている。計測座標Ｂの位置にある画素５４は、撮像領域１０４ａの第８行に配置されている。計測座標Ｃの位置にある画素５４は、撮像領域１０４ａの第１０行に配置されている。
【０１７１】
タイミングチャートＴＣ１６は、撮像素子１０４の動作を示す。撮像素子１０４の動作は、図５に示す動作と同様である。第６行、第８行、および第１０行のうち撮像素子１０４が１フレーム期間の走査において最後に走査する行は、第１０行である。最後の走査行は、第１０行である。
【０１７２】
フレーム期間Ｖ２における第９行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ１における第１０行の画素５４の露光期間が終了し、かつフレーム期間Ｖ２における第１０行の画素５４の読み出し期間が開始される。したがって、フレーム期間Ｖ１（第１のフレーム期間）において最後の走査行の画素５４の露光期間が完了している。このとき、撮像光路の切り替えが開始される。切り替え期間Ｐ１０において、撮像素子１０４は、第１０行から第１５行の画素５４の読み出し期間を順次開始し、かつ第１０行から第１５行の画素５４の画素信号を順次読み出す。
【０１７３】
フレーム期間Ｖ２における第１５行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。切り替え期間Ｐ１０の後、撮像素子１０４は、第１６行の画素５４の読み出し期間を開始し、かつ第１６行の画素５４の画素信号を読み出す。
【０１７４】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第６行、第８行、および第１０行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第６行、第８行、および第１０行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【０１７５】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第６行の画素５４の露光期間は、切り替え期間Ｐ１０と重なる。そのため、画像Ｖ３は、計測座標Ａにおける計測に適していない。フレーム期間Ｖ２における第８行および第１０行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第８行および第１０行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１７６】
画像Ｖ４は、フレーム期間Ｖ３における露光期間に生成された画素信号を含む。画像Ｖ４に含まれる画素信号は、フレーム期間Ｖ４における読み出し期間に読み出される。フレーム期間Ｖ３における第６行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第６行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１７７】
制御部１０７は、計測部１０５に、画像Ｖ２、画像Ｖ３、および画像Ｖ４を使用する計測を実行させる。計測座標Ａにおける計測に関して、制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ４を使用させる。計測部１０５は、画像Ｖ２および画像Ｖ４に基づいて、計測座標Ａにおける被写体の計測を実行する。計測座標Ｂおよび計測座標Ｃにおける計測に関して、制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ３を使用させる。計測部１０５は、画像Ｖ２および画像Ｖ３に基づいて、計測座標Ｂにおける被写体の計測と、計測座標Ｃにおける被写体の計測とを実行する。
【０１７８】
計測部１０５は、複数の計測座標における被写体の計測を実行することができる。計測座標毎に、計測のための２枚の画像が取得される間隔が短くなる。そのため、各計測座標における計測精度が向上する。
【０１７９】
（第３の実施形態の変形例）
図１に示す内視鏡装置１を使用して、本発明の第３の実施形態を説明する。計測部１０５は、複数の計測座標における被写体の計測を実行する。
【０１８０】
図１３は、撮像素子１０４の動作を示す。図１３を参照し、撮像素子１０４の動作を説明する。図５に示す部分と同じ部分についての説明を省略する。図１３に示す例では、計測座標Ａ、計測座標Ｂ、および計測座標Ｃが設定される。計測座標Ａの位置にある画素５４は、撮像領域１０４ａの第７行に配置されている。計測座標Ｂの位置にある画素５４は、撮像領域１０４ａの第８行に配置されている。計測座標Ｃの位置にある画素５４は、撮像領域１０４ａの第９行に配置されている。
【０１８１】
タイミングチャートＴＣ１７は、撮像素子１０４の動作を示す。撮像素子１０４の動作は、図５に示す動作と同様である。第７行、第８行、および第９行のうち撮像素子１０４が１フレーム期間の走査において最後に走査する行は、第９行である。最後の走査行は、第９行である。
【０１８２】
フレーム期間Ｖ２における第８行の画素５４の読み出し期間が終了する。このとき、フレーム期間Ｖ１における第９行の画素５４の露光期間が終了し、かつフレーム期間Ｖ２における第９行の画素５４の読み出し期間が開始される。したがって、最後の走査行の画素５４の露光期間が完了している。このとき、撮像光路の切り替えが開始される。切り替え期間Ｐ１０において、撮像素子１０４は、第９行から第１４行の画素５４の読み出し期間を順次開始し、かつ第９行から第１４行の画素５４の画素信号を順次読み出す。
【０１８３】
フレーム期間Ｖ２における第１４行の画素５４の読み出し期間が終了したとき、撮像光路の切り替えが完了している。切り替え期間Ｐ１０の後、撮像素子１０４は、第１５行および第１６行の画素５４の読み出し期間を順次開始し、かつ第１５行および第１６行の画素５４の画素信号を順次読み出す。
【０１８４】
画像Ｖ２は、フレーム期間Ｖ１における露光期間に生成された画素信号を含む。画像Ｖ２に含まれる画素信号は、フレーム期間Ｖ２における読み出し期間に読み出される。フレーム期間Ｖ１における第７行、第８行、および第９行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第７行、第８行、および第９行の画素５４で生成された画素信号は、第１の光路Ｌ１に対応する第１の光学像に基づく。
【０１８５】
画像Ｖ３は、フレーム期間Ｖ２における露光期間に生成された画素信号を含む。画像Ｖ３に含まれる画素信号は、フレーム期間Ｖ３における読み出し期間に読み出される。フレーム期間Ｖ２における第７行、第８行、および第９行の画素５４の露光期間は、切り替え期間Ｐ１０と重ならない。第７行、第８行、および第９行の画素５４で生成された画素信号は、第２の光路Ｌ２に対応する第２の光学像に基づく。
【０１８６】
制御部１０７は、計測部１０５に、画像Ｖ２および画像Ｖ３を使用する計測を実行させる。計測部１０５は、画像Ｖ２および画像Ｖ３に基づいて、計測座標Ａ、計測座標Ｂ、および計測座標Ｃにおける被写体の計測を実行する。
【０１８７】
タイミングチャートＴＣ１７では、第２のフレーム期間において最初の走査行の画素５４の露光期間が開始される前、光路設定部１０２は、撮像光路の切り替えを完了している。最初の走査行は、複数の計測座標の画素５４が含まれる複数の行のうち撮像素子１０４が１フレーム期間の走査において最初に走査する行である。第７行、第８行、および第９行のうち撮像素子１０４が１フレーム期間の走査において最初に走査する行は、第７行である。最初の走査行は、第７行である。
【０１８８】
図１２に示すタイミングチャートＴＣ１６において、画像Ｖ４が計測座標Ａにおける計測に使用され、かつ画像Ｖ３が計測座標Ｂおよび計測座標Ｃにおける計測に使用される。図１３に示すタイミングチャートＴＣ１７において、画像Ｖ３は全ての計測座標における計測に使用できる。
【０１８９】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【０１９０】
１  内視鏡装置
２  本体部
３  挿入部
４  先端部
５  操作部
６  表示部
７  記録媒体
５０  画素部
５１  垂直走査部
５２  信号処理部
５３  水平走査部
５４  画素
５５  信号処理回路
７０  光電変換部
７１  電荷転送部
７２  電荷保持部
７３  容量リセット部
７４  増幅部
７５  出力部
１００  第１の光学系
１０１  第２の光学系
１０２  光路設定部
１０３  第３の光学系
１０４  撮像素子
１０５  計測部
１０６  フレームメモリ
１０７  制御部
【図１】
2019191322.tif 000003
【図２】
2019191322.tif 000004
【図３】
2019191322.tif 000005
【図４】
2019191322.tif 000006
【図５】
2019191322.tif 000007
【図６】
2019191322.tif 000008
【図７】
2019191322.tif 000009
【図８】
2019191322.tif 000010
【図９】
2019191322.tif 000011
【図１０】
2019191322.tif 000012
【図１１】
2019191322.tif 000013
【図１２】
2019191322.tif 000014
【図１３】
2019191322.tif 000015
【図１４】
2019191322.tif 000016
【図１５】
2019191322.tif 000017