(57)【要約】【課題】光路切り替え手段を有する内視鏡装置において、視覚的な違和感の少ないライブ映像を表示可能とする【解決手段】内視鏡装置（１）は、第１の光学系（２１）と第２の光学系（２２）を切り替える切り替え部（２３）と、撮像素子（２５）と、制御部（３０）と、を備え、前記制御部は、前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させて第１の画像を出力させ、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させて第２の画像を出力させ、前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成し、前記第２の画像および前記仮想画像に基づいて表示用画像を生成する。【選択図】図１
2019195123.tif 000002
【特許請求の範囲】
【請求項１】
第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、
制御部と、
前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、
を備え、
前記制御部は、
前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させ、
前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させ、
前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成し、
前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成する
ことを特徴とする内視鏡装置。
【請求項２】
前記制御部は、
前記第２の画像および前記仮想画像を、前記表示部に表示する立体表示における右眼表示画像および左眼表示画像として、前記表示用画像を生成する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記制御部は、
前記第２の画像および前記仮想画像を合成して、前記表示用画像を生成する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
前記第１の光学系を構成するレンズの画角と前記第２の光学系を構成するレンズの画角は、略同等であることを特徴とする請求項１に記載の内視鏡装置。
【請求項５】
前記第１の光学系を構成するレンズの撮像エリアと前記第２の光学系を構成するレンズの撮像エリアは、略同等であることを特徴とする請求項４に記載の内視鏡装置。
【請求項６】
前記第１の光学系を構成するレンズの撮像エリアと前記第２の光学系を構成するレンズの撮像エリアは、一部が共通のエリアとなっていることを特徴とする請求項４に記載の内視鏡装置。
【請求項７】
前記制御部は、前記共通のエリアの画像と、前記第２の画像から前記共通のエリアを除いた画像と、前記仮想画像から前記共通のエリアを除いた画像とに基づいて、前記表示用画像を生成することを特徴とする請求項６に記載の内視鏡装置。
【請求項８】
前記第１の光学系を構成するレンズの画角は、前記第２の光学系を構成するレンズの画角よりも小さいことを特徴とする請求項１に記載の内視鏡装置。
【請求項９】
前記第１の光学系を構成するレンズの撮像エリアは、前記第２の光学系を構成するレンズの撮像エリアを含み、共通のエリアを有することを特徴とする請求項８に記載の内視鏡装置。
【請求項１０】
前記制御部は、前記共通のエリアの画像と、前記第２の画像から前記共通のエリアを除いた画像とに基づいて、前記表示用画像を生成することを特徴とする請求項９に記載の内視鏡装置。
【請求項１１】
前記制御部は、前記第２の画像および前記仮想画像の少なくとも一方に重み付け加算して前記表示用画像を生成する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項１２】
前記制御部は、前記第２の画像と前記仮想画像を交互に生成することを特徴とする請求項1に記載の内視鏡装置。
【請求項１３】
前記制御部は、
前記切り替え部による前記光学系の切り替えが正常に実施されているか否かを検知し、
前記光学系の切り替えが正常に実施されていない場合、前記光学系の切り替えが正常に実施されていない以前の画像を前記表示用画像として生成する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項１４】
第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、
前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、
を備える内視鏡装置の制御方法であって、
前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、
前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、
前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、
前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップと
を備えることを特徴とする内視鏡装置の制御方法。
【請求項１５】
第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、
制御部と、
前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、
を備える内視鏡装置を制御するプログラムであって、前記プログラムは前記制御部に、
前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、
前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、
前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、
前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップと
を実行させることを特徴とする制御プログラム。
【請求項１６】
第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、
前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、
制御部と、
前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、
を備える内視鏡装置を制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは前記制御部に、
前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、
を備える内視鏡装置を制御するプログラムであって、前記プログラムは前記制御部に、
前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、
前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、
前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、
前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップと
を実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の制御方法、制御プログラム、および記録媒体に関する。より詳しくは、光路切り替え手段を有する内視鏡装置と、その制御方法、制御プログラム、および記録媒体に関する。
【背景技術】
【０００２】
従来から、医療用分野や工業用分野において、細長い挿入部を被検物内に挿入し、挿入部の先端に位置する先端部内に備えた撮像素子（イメージャ）によって被検物内の被写体の画像を撮影する内視鏡装置が広く利用されている。例えば、医療用分野では、体腔内に挿入部を挿入して体腔内の臓器などを観察したり、必要に応じて処置具チャンネル内に挿通した処置具を用いて各種の治療処置を行ったりするために、医療用内視鏡装置が利用されている。また、例えば、工業用分野では、ボイラ、タービン、エンジン、化学プラントなどの内部の傷や腐食などの観察や検査を行うために、工業用内視鏡装置が利用されている。
【０００３】
例えば、発電所内のガスタービンエンジンでは、高圧タービンのブレードは、高圧、高温の燃焼空気が吹付けられるため、熱衝撃によってクラックなどが生じ易い部品である。そして、ブレードに生じるクラックなどの損傷は、エンジンにとって致命的な損傷である。このため、工業用内視鏡装置を用いた高圧タービンのブレードの検査や点検は、エンジンのメインテナンスを行う上で最も重要な項目の１つとなっている。そして、エンジンのメインテナンスでは、ブレードの検査において、損傷の形状を計測し、その計測結果に基づいて、ブレードの交換を行うか否かを判定している。
【０００４】
ところで、上述したような工業用内視鏡装置を用いた検査では、計測を行うための技術として、ステレオ計測技術が広く用いられている。ステレオ計測技術は、被写体を撮影した右眼に相当する画像と左眼に相当する画像との視差を利用して生成した３次元画像に基づいて計測を行う計測技術である。このため、ステレオ計測を行う工業用内視鏡装置は、先端部内に２つの対物レンズを備え、それぞれの対物レンズからなる光学系で結像した被写体像に応じた画像を撮像素子によって形成する構成となっている。
【０００５】
このとき、右眼に相当する対物レンズが結像した被写体像の画像と、左眼に相当する対物レンズが結像した被写体像の画像とを、それぞれの対物レンズに対応する撮像素子、つまり、２つの撮像素子によって形成する構成にすると、工業用内視鏡装置の先端部を細くすることができない。そこで、右眼に相当する対物レンズが結像した被写体像の画像と、左眼に相当する対物レンズが結像した被写体像の画像とを、１つの撮像素子によって形成する構成が考えられる。しかしながら、この構成の場合には、１つの撮像素子の撮像領域の全体を分割して右眼に相当する画像と左眼に相当する画像とを形成することになるため、それぞれの画像の解像度が低下することになり、工業用内視鏡装置におけるステレオ計測の計測精度が低下してしまうことが考えられる。
【０００６】
このため、例えば、特許文献１のように、右眼に相当する画像と左眼に相当する画像とのそれぞれの画像を１つの撮像素子によって形成する構成でありながら、それぞれの画像の解像度を高くして、ステレオ計測の計測精度を向上させる内視鏡装置の技術が提案されている。特許文献１に開示された技術では、２つの光学系の光路のうちいずれか一方の光路からの光のみが１つの撮像素子に入射するように、他方の光路からの光を時分割で遮蔽する時分割光路切り替え手段（時分割スイッチ）を備えている。この構成によって特許文献１に開示された技術では、遮蔽していない方の光路からの光が１つの撮像素子の撮像領域の全体に結像され、撮像素子が形成する画像の解像度を高くすることができる。
【０００７】
なお、特許文献１に開示された技術では、２つの光学系の光路からの光を交互に撮像素子に入射させることによって、それぞれの光学系で結像した被写体像の画像を形成し、ステレオ計測を行うことができる。これにより、特許文献１に開示された技術を適用した工業用内視鏡装置では、ステレオ計測を行うために撮影した右眼に相当する画像と左眼に相当する画像とのそれぞれの画像の解像度を高くして、被検物内の被写体を計測する際の計測精度を向上させることができる。
【０００８】
特許文献１に開示された技術を適用した工業用内視鏡装置では、２つの光学系の光路を切り替えるための時分割光路切り替え手段（時分割スイッチ）として、それぞれの光路を時分割で交互に遮蔽する構成要素を内視鏡装置の先端部に備える。特許文献１には、時分割光路切り替え手段として、いずれか一方の光路からの光を遮蔽するための遮蔽部材を、軸を中心に回動させる構成が開示されている。つまり、特許文献１には、遮蔽部材を物理的に移動させる機械的な機構が開示されている。
【０００９】
光路切り替え手段は、複数の光路から一つを確実に切り替えできることを前提としている。特許文献１に開示されたような機械的な機構では、遮蔽部材を物理的に移動させることにより光路を切り替える。例えば、磁気駆動装置によって遮光部材を動かす機構の場合、先端部に物理的なアクチュエータを有する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−１２８３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来の時分割光路切り替え手段（時分割スイッチ）を有する内視鏡装置を用いてライブ映像表示をする場合、時分割光路切り替え手段（時分割スイッチ）と映像信号処理部を制御し、常に片眼（左眼レンズまたは右眼レンズ）の映像のみをライブ映像として使用するような制御を行う必要がある。
片眼の映像のみをライブ映像として使用する場合、光学特性として構造上の理由で、得られるライブ映像が内視鏡の先端部の中心（具体的には、先端部内のイメージャの位置の中心）から光学的に片眼側に寄ってしまう。そのため、実際の先端部の移動に対して視覚的な違和感が生じやすいという問題があった。
【００１２】
本発明は、上記の課題認識に基づいてなされたものであり、光路切り替え手段を有する内視鏡装置を用いてライブ映像表示をする際に、視覚的な違和感の少ないライブ映像を表示可能な内視鏡装置と、その制御方法、制御プログラムおよび記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の１態様に係る内視鏡装置は、第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、制御部と、前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、を備え、前記制御部は、前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させ、前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させ、前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成し、前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成することを特徴とする。
【００１４】
また、本発明の１態様に係る内視鏡装置の制御方法は、第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、を備える内視鏡装置の制御方法であって、前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップとを備えることを特徴とする。
【００１５】
また、本発明の１態様に係る制御プログラムは、第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、制御部と、前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、を備える内視鏡装置を制御するプログラムであって、前記プログラムは前記制御部に、前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップとを実行させることを特徴とする。
【００１６】
また、本発明の１態様に係る記録媒体は、第１の光学系を通った光が形成する被写体の第１の被写体像、および第２の光学系を通った光が形成する前記被写体の第２の被写体像が共通に結像される結像領域に、前記第１の被写体像および前記第２の被写体像のうちのいずれか一方のみが結像されるように光学系を切り替える切り替え部と、前記結像領域に結像された前記第１の被写体像および前記第２の被写体像を撮像して画像を生成する撮像素子と、制御部と、前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、を備える内視鏡装置を制御するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは前記制御部に、前記第１の光学系を前記第２の光学系に切り替える、または前記第２の光学系を前記第１の光学系に切り替える駆動部と、を備える内視鏡装置を制御するプログラムであって、前記プログラムは前記制御部に、前記撮像素子に、前記第１の被写体像を第１の撮像タイミングで撮像させ、前記第１の被写体像に基づく第１の画像を出力させるステップと、前記撮像素子に、前記第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像させ、前記第２の被写体像に基づく第２の画像を出力させるステップと、前記撮像素子が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成するステップと、前記第２の画像および前記仮想画像に基づいて、表示部に表示する表示用画像を生成するステップとを実行させることを特徴とするプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明の各態様によれば、光路切り替え手段を有する内視鏡装置において、視覚的な違和感の少ないライブ映像を表示可能な内視鏡装置と、その制御方法、制御プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る内視鏡装置の全体構成を示すブロック図である。
【図２】本発明の第１実施形態に係る内視鏡装置における先端部（先端光学系）を拡大して示した図である。
【図３】本発明の第１実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【図４】本発明の第１実施形態に係る内視鏡装置における、立体ライブ映像信号の生成処理の流れを説明するための図である。
【図５】本発明の第１実施形態に係る内視鏡装置における、立体ライブ映像信号の生成処理における制御シーケンスを示す図である。
【図６】本発明の第２実施形態に係る内視鏡装置における、映像信号処理部の内部構成を示すブロック図である。
【図７】本発明の第２実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理の流れを説明するための図である。
【図８】本発明の第２実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理における制御シーケンスを示す図である。
【図９】本発明の第２実施形態に係る内視鏡装置における、正面ライブ映像信号の制御フローを示す図である。
【図１０】本発明の第３実施形態に係る内視鏡装置における先端部（先端光学系）を拡大して示した図である。
【図１１】本発明の第３実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【図１２】本発明の第３実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成処理の流れを説明するための図である。
【図１３】本発明の第３実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成イメージを示す図である。
【図１４】本発明の第３実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成処理における制御シーケンスを示す図である。
【図１５】本発明の第４実施形態に係る内視鏡装置における先端部（先端光学系）を拡大して示した図である。
【図１６】本発明の第４実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【図１７】本発明の第４実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成処理の流れを説明するための図である。
【図１８】本発明の第４実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成イメージを示す図である。
【図１９】本発明の第４実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成処理における制御シーケンスを示す図である。
【図２０】本発明の第４実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の制御フローを示す図である。
【図２１】本発明の第５実施形態に係る内視鏡装置における、正面映像生成時における重み付けを説明するための図である。
【図２２】本発明の第６実施形態に係る内視鏡装置の全体構成を示すブロック図である。
【図２３】本発明の第６実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【図２４】本発明の第６実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理の流れを説明するための図である。
【図２５】本発明の第６実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理における制御シーケンスを示す図である。
【図２６】本発明の第６実施形態に係る内視鏡装置における、正面ライブ映像信号の制御フローを示す図である。
【図２７】本発明の各実施形態に係る内視鏡装置における先端部（先端光学系）の別の例を示す図である。
【図２８】従来技術に係る内視鏡装置における、時分割切り替えに対応してライブ映像として表示される映像を示した図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の実施形態に係る内視鏡装置について詳細に説明する。
【００２０】
（第１実施形態）
まず、本発明の第１実施形態に係る内視鏡装置について説明する。図１は、本発明の第１実施形態に係る内視鏡装置の全体構成を示すブロック図である。内視鏡装置１は、被検物（被写体）内に挿入され画像を結像する先端部２と、内視鏡装置全体を制御する本体部３を備える。先端部２と本体部３とは、被検物内に挿入される細長の挿入部４で接続されている。なお、図面は、本発明に関連ずる構成のみが図示してあり、図示されていない他の構成があってもよい。
【００２１】
先端部２は、光学系を含む光学アダプターと、撮像素子（イメージャ）２５を含む撮像部を備える。光学アダプターは先端部２から着脱可能であってもよい。また、先端部２は、被写体を照射する照明部を備えてもよい。
【００２２】
図２は、本発明の第１実施形態に係る内視鏡装置における先端部２（先端光学系）を拡大して示した図である。先端部２の光学アダプターは、左眼レンズ（第１の対物光学系）２１と、右眼レンズ（第２の対物光学系）２２と、時分割光路切り替え手段（時分割スイッチ、切り替え部）２３と、結像光学系２４とを備える。光学アダプターは、光学アダプターの種別を判別するための光学アダプター種別判別部を備えてもよい。
【００２３】
時分割光路切り替え手段２３は、左眼レンズ（第１の対物光学系）２１と右眼レンズ（第２の対物光学系）２２を切り替える。すなわち、時分割光路切り替え手段２３は、左眼レンズ２１から入射する光と、右眼レンズ２２から入射する光とを切り替えて、一方の光のみを、結像光学系２４を介して、撮像素子２５に入射させる。すなわち、左眼レンズ２１から入射した光が形成する左眼映像（第１の被写体像）と、右眼レンズ２２から入射した光が形成する右眼映像（第２の被写体像）のいずれかが、撮像素子２５に結像する。
【００２４】
すなわち、時分割光路切り替え手段２３が左眼レンズ２１側に切り替わっている時（第１の撮像タイミング時）には、撮像素子２５は左眼映像（第１の画像）を出力し、時分割光路切り替え手段２３が右眼レンズ２２側に切り替わっている時（第２の撮像タイミング時）には、撮像素子２５は右眼映像（第２の画像）を出力する。
【００２５】
時分割光路切り替え手段２３は、例えば、遮光部材を備え、選択しない側の対物光学系に遮光部材を挿入することにより、選択しない側の対物光学系から入射する光を遮断する。時分割光路切り替え手段２３は、先端部２に備えられた駆動部２６により駆動し、例えば、磁気駆動装置によって駆動する。時分割光路切り替え手段２３と駆動部２６とを合わせて切り替え部と称してもよい。
【００２６】
なお、図１および図２では、左眼レンズ（第１の対物光学系）２１と右眼レンズ（第２の対物光学系）２２の視野方向（撮像方向）が同じで、左眼レンズと右眼レンズの画角が略同一である例を示した。また、図２では、左眼レンズ（第１の対物光学系）２１と右眼レンズ（第２の対物光学系）２２の撮像エリアが略同等である例を示した。このように、図１および図２では、左眼レンズから見た画像と右眼レンズから見た画像とを得るステレオ計測を行う例を示したが、本実施形態はこれに限らない。本実施形態は、光路（対物光学系）が２つある全ての場合に適用できる。
【００２７】
撮像素子２５で結像した画像は、ＲＡＷ信号に変換され、映像信号として挿入部４を通って本体部３に送信される。本体部３は、映像信号受信部３１と、映像信号処理部３２と、中央処理部３３と、撮像素子制御部３４と、時分割光路切り替え手段制御部３５とを備える。中央処理部３３は、映像関係の処理を行う中央処理部３３ａと、映像以外の処理（入力の処理など）を行う中央処理部３３ｂとに分類される。本体部３は、さらに、メモリ３６、表示部、入力部などを備えてもよい。映像信号受信部３１と、映像信号処理部３２と、中央処理部３３ａと、撮像素子制御部３４と、時分割光路切り替え手段制御部３５とを合わせて、制御部３０と称してもよい。
【００２８】
表示部は、内視鏡装置１に備えられたＬＣＤモニタ３７ａとＬＣＤモニタ３７ａを駆動する映像表示回路駆動部３７ｂ、および／または外部の表示装置への映像出力Ｉ／Ｆ３７ｃと映像出力Ｉ／Ｆ３７ｃを駆動する映像表示回路駆動部３７ｄからなる。
【００２９】
入力部は、内視鏡装置１に備えられたタッチパネル３８ａとタッチパネル３８ａからの入力を処理するタッチパネル信号入力処理部３８ｂ、および／または外部のＵＩ・Ｉ／Ｆ３８ｃとＵＩ・Ｉ／Ｆ３８ｃからの入力を処理するＵＩ信号入力処理部３８ｄからなる。
【００３０】
映像信号受信部３１は、撮像素子２５から送信された映像信号を受信する。映像信号処理部３２は、中央処理部３３ａからの制御信号に応じて、映像信号受信部３１で受信された映像信号に信号処理を行う。中央処理部３３ａは、映像信号処理部３２で信号処理された映像信号を、表示部で表示させる。また、中央処理部３３ａは、入力部からの入力などに応じて、映像信号処理部３２を制御する。
【００３１】
撮像素子制御部３４は、中央処理部３３ａおよび映像信号処理部３２からの制御信号に応じて、撮像素子２５の駆動を制御するための制御信号を送信する。時分割光路切り替え手段制御部３５は、中央処理部３３ａおよび映像信号処理部３２からの制御信号に応じて、駆動部２６（切り替え部）の駆動を制御するための制御信号を送信する。具体的には、時分割光路切り替え手段制御部３５は、毎フレームごとに、切り替え部における第１の対物光学系２１（左眼）と第２の対物光学系２２（右眼）の切り替えタイミングを指示する。
【００３２】
次に、映像信号処理部３２における内部ブロック構成とその制御方法について説明する。図３は、本発明の第１実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【００３３】
映像信号処理部３２は、前段映像処理回路１０１と、映像分離部１０２と、左眼映像処理部（第１映像処理部）１０３ａと、右眼映像処理部（第２映像処理部）１０３ｂと、左眼映像連結部（第１映像連結部）１０４ａと、右眼映像連結部（第２映像連結部）１０４ｂと、後段映像処理回路１０５を備える。左眼映像処理部１０３ａと右眼映像処理部１０３ｂは、それぞれ、時間的中間フレーム生成部と称してもよい。映像信号処理部３２内の各構成には、時分割光路切り替え手段制御部３５からタイミング信号が送信される。
【００３４】
前段映像処理回路１０１は、映像信号受信部３１から送られる映像信号の前段処理を行い。映像分離部１０２に送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【００３５】
映像分離部１０２は、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、前段映像処理回路１０１から送信される映像信号を、左眼レンズ（第１の対物光学系）２１によって撮像された左眼映像信号（第１映像信号）と右眼レンズ（第２の対物光学系）２２によって撮像された右眼映像信号（第２映像信号）に分離する。ここで、左眼映像信号は偶数番目（２ｎ番目）のフレームの映像信号Ｌ２ｎであり、右眼映像信号は奇数番目（２ｎ＋１番目）のフレームの映像信号Ｒ２ｎ＋１である。なお、本実施形態では、後述する図４および図５に示すように、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【００３６】
そして、映像分離部１０２は、左眼映像信号Ｌ２ｎを、左眼映像処理部（第１映像処理部）１０３ａおよび左眼映像連結部（第１映像連結部）１０４ａに送信する。また、映像分離部１０２は、右眼映像信号Ｒ２ｎ＋１を、右眼映像処理部（第２映像処理部）１０３ｂおよび右眼映像連結部（第２映像連結部）１０４ｂに送信する。
【００３７】
左眼映像処理部１０３ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの左眼映像信号Ｌ２ｎ、Ｌ２ｎ＋２に基づいて、中間左眼映像信号（中間第１映像信号）Ｌ２ｎ＋１を生成する（詳細は図４、図５および後述）。すなわち、前後のフレーム（２ｎ番目のフレームと２ｎ＋２番目のフレーム）の映像から、時間的中間フレーム（２ｎ＋１番目のフレーム）の映像（仮想画像）を生成する。
【００３８】
前後のフレームの映像から時間的中間フレームの映像を生成する処理は、フレーム映像間の色、輝度差、明度差、コントラストなどから映像の特徴点を複数個所抽出し、その特徴点の移動量を元に、時間的に中間であると推定される映像を補間・生成することによって行われる。この処理は、一般的なフレームレート変換機能や倍速液晶技術を応用すればよい。
【００３９】
右眼映像処理部１０３ｂは、左眼映像処理部１０３ａと機能的には同一であるが、処理する映像信号が右眼映像信号である点が異なる。
【００４０】
すなわち、右眼映像処理部１０３ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの右眼映像信号Ｒ２ｎ−１、Ｒ２ｎ＋１に基づいて、中間右眼映像信号（中間第２映像信号）Ｒ２ｎを生成する（詳細は図４、図５および後述）。すなわち、前後のフレーム（２ｎ−１番目のフレームと２ｎ＋１番目のフレーム）の映像から、時間的中間フレーム（２ｎ番目のフレーム）の映像（仮想画像）を生成する。
【００４１】
左眼映像連結部１０４ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される左眼映像信号Ｌ２ｎ、Ｌ２ｎ＋２、…と左眼映像処理部１０３ａから出力される中間左眼映像信号Ｌ２ｎ＋１、…を時系列に並べて連結することで、左眼ライブ映像信号（第１ライブ映像信号、左眼表示画像）Ｌｎを作成する。
【００４２】
同様に、右眼映像連結部１０４ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される右眼映像信号Ｒ２ｎ＋１、Ｒ２ｎ＋３、…と右眼映像処理部１０３ｂから出力される中間右眼映像信号Ｒ２ｎ、Ｒ２ｎ＋２、…を時系列に並べて連結することで、右眼ライブ映像信号（第２ライブ映像信号、右眼表示画像）Ｒｎを作成する。
【００４３】
後段映像処理回路１０５は、左眼映像連結部１０４ａから出力される左眼ライブ映像信号Ｌｎと右眼映像連結部１０４ｂから出力される右眼ライブ映像信号Ｒｎに対し、立体ライブ映像表示用の映像信号のフォーマットに揃える処理を行い、立体ライブ映像信号（表示用画像）として中央処理部３３ａへ送信する。立体ライブ映像表示用の映像信号のフォーマットは既存のさまざまなものがあるので、いずれかのフォーマットに合わせる処理を行えばよい。
【００４４】
なお、上述および図３の構成は一例であり、例えば、前段映像処理回路１０１が映像分離部１０２の後段に配置されてもよい。また、左眼映像連結部１０４ａと右眼映像連結部１０４ｂの機能は１つの構成（映像連結部）によって行われてもよい。
【００４５】
次に、図４および図５を用いて、本実施形態に係る内視鏡装置における、立体ライブ映像信号の生成処理の流れを説明する。図４は、本実施形態に係る内視鏡装置における、立体ライブ映像信号の生成処理の流れを説明するための図である。
【００４６】
図４では、棒状の被写体が傾きを変えながら移動している映像が撮像される例を示している。また、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【００４７】
図４において、左から右への矢印は、左から右に向かって時間的に映像が処理されていく様子を示している。図４の上側は、図１の制御部映像入力、すなわち、撮像素子２５で撮像され、制御部に入力される映像を示し、左眼映像信号と右眼映像信号から構成される。左眼映像信号のフレームは時間順に（左から順に）フレームＬ１、フレームＬ２、フレームＬ３、フレームＬ４、フレームＬ５、…である。右眼映像信号のフレームは時間順に（左から順に）フレームＲ１、フレームＲ２、フレームＲ３、フレームＲ４、フレームＲ５、…である。
【００４８】
図４の下側は、図１の制御部映像出力、すなわち、制御部から出力され、最終的な映像信号（立体ライブ映像信号）として表示部に表示される映像を示す。立体ライブ映像信号は、立体ライブ映像信号（Ｌ）と立体ライブ映像信号（Ｒ）から構成される。立体ライブ映像信号（Ｌ）のフレームは時間順に（左から順に）フレームＳＬ１、フレームＳＬ２、フレームＳＬ３、…である。立体ライブ映像信号（Ｒ）のフレームは時間順に（左から順に）フレームＳＲ１、フレームＳＲ２、フレームＳＲ３、…である。
【００４９】
図中の「ＳＷ切替」と記された矢印は、時分割光路切り替え手段２３の切り替えを示しており、矢印のタイミングで時分割光路切り替え手段２３の切り替えが発生したことを示している。すなわち、左眼映像および右眼映像において、フレームＲ１→フレームＬ２→フレームＲ３→フレームＬ４→フレームＲ５→…のように、左眼映像と右眼映像との間で交互に時分割光路切り替え手段２３が切り替わり、撮像される様子を示している。
【００５０】
図中の実線で囲まれたフレーム（フレームＲ１、フレームＬ２、フレームＲ３、フレームＬ４、フレームＲ５）は、実際に撮像した映像のフレームを示している。図中の点線で囲まれたフレーム（フレームＬ１、フレームＲ２、フレームＬ３、フレームＲ４、フレームＬ５）は、実際に撮像した前後のフレームの映像から生成した時間的中間フレームの映像を示している。
【００５１】
奇数番目のフレームでは、制御部映像入力の左眼映像において、実際に撮像した前後のフレーム（例えば、フレームＬ０とフレームＬ２）の映像から生成した時間的中間フレーム（フレームＬ１）の映像は、制御部映像出力の立体ライブ映像信号（Ｌ）において、同じフレーム番号のフレーム（フレームＳＬ１）の映像となる。また、制御部映像入力の右眼映像において、実際に撮像したフレーム（例えば、フレームＲ１）の映像は、制御部映像出力の立体ライブ映像信号（Ｒ）において、同じフレーム番号のフレーム（フレームＳＲ１）の映像となる。
【００５２】
偶数番目のフレームでは、制御部映像入力の左眼映像において、実際に撮像した映像（例えば、フレームＬ２）は、制御部映像出力の立体ライブ映像信号（Ｌ）において、同じフレーム番号のフレーム（フレームＳＬ２）となる。また、制御部映像入力の右眼映像において、実際に撮像した前後のフレーム（例えば、フレームＲ１とフレームＲ３）から生成した時間的中間フレーム（フレームＲ２）は、制御部映像出力の立体ライブ映像信号（Ｒ）において、同じフレーム番号のフレーム（フレームＳＲ２）の映像となる。
【００５３】
このように、実際に撮像した前後の（２つの）フレームの映像に基づいて時間的中間フレームの映像を生成するので、後のフレームが撮像された後でないと、時間的中間フレームの映像を作成する処理を行うことができない。したがって、時間的中間フレームの映像を作成する処理のため、制御部映像出力は制御部映像入力に対して遅延する。この現象を処理遅延と称する。
【００５４】
図５は、本実施形態に係る内視鏡装置における、立体ライブ映像信号の生成処理における制御シーケンスを示す図である。具体的には、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、映像連結部（左眼映像連結部１０４ａ）の各構成における映像信号の入出力を時間に沿って示している。なお、図５および以下の説明は、左眼側の信号についてのみ行う。右眼側の信号についても基本的な制御は左眼側の信号と同様であるので、説明は省略する。
【００５５】
図５において、映像信号（Ｌ＃ｋ）（ｋは数字）は、制御部映像入力においてｋ番目のフレーム（フレームＬｋ）の左眼映像信号を示し、立体ライブ映像（ＳＬ＃ｋ）は、制御部映像出力においてｋ番目のフレーム（フレームＳＬｋ）の立体ライブ映像信号（Ｌ）を示す。また、図５では、上から下へと時間が流れていくものとする。
【００５６】
映像分離部１０２には、実際に撮像された偶数番目のフレームの左眼映像信号Ｌ＃００、Ｌ＃０２、Ｌ＃０４、…が入力される。そして、映像分離部１０２は、入力された偶数番目のフレームの左眼映像信号を、左眼映像処理部１０３ａと映像連結部（左眼映像連結部１０４ａ）に送信する。
【００５７】
左眼映像処理部１０３ａは、入力された２つの前後の左眼映像信号（例えば、Ｌ＃００とＬ＃０２）から奇数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｌ＃０１）を補間して生成する。この際、時間的中間フレームの映像信号（Ｌ＃０１）を生成するには、後のフレームの左眼映像信号（Ｌ＃０２）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、左眼映像処理部１０３ａは、生成された時間的中間フレームの映像信号（Ｌ＃０１）を映像連結部（左眼映像連結部１０４ａ）に送信する。
【００５８】
映像連結部（左眼映像連結部１０４ａ）は、映像分離部１０２から入力された左眼映像信号Ｌ＃００、Ｌ＃０２、Ｌ＃０４、…と、左眼映像処理部１０３ａから入力された時間的中間フレームの映像信号Ｌ＃０１、Ｌ＃０３、…を時間順に並べ、立体ライブ映像信号（Ｌ）ＳＬ＃００、ＳＬ＃０１、ＳＬ＃０２、ＳＬ＃０３、ＳＬ＃０４、…として出力する。この際、図に示すように、左眼映像信号Ｌ＃００、Ｌ＃０２、Ｌ＃０４、…に比べて、時間的中間フレームの映像信号Ｌ＃０１、Ｌ＃０３、…は遅れて入力されるため、映像信号を時間順に並べるために処理遅延が発生する。
【００５９】
（第２実施形態）
次に、本発明の第２実施形態に係る内視鏡装置について説明する。内視鏡装置の全体構成および先端光学系については、図１に示す第１実施形態に係る内視鏡装置の全体構成および図２に示す第１実施形態に係る先端光学系と同様であるので、説明を省略する。
【００６０】
第２実施形態に係る内視鏡装置が第１実施形態に係る内視鏡装置と異なる点は、映像信号処理部における内部ブロック構成とその制御方法である。図６は、本発明の第２実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【００６１】
第２実施形態に係る内視鏡装置の映像信号処理部２３２は、前段映像処理回路１０１と、映像分離部１０２と、左眼映像処理部（第１映像処理部）１０３ａと、右眼映像処理部（第２映像処理部）１０３ｂと、第１映像合成部１０６ａと、第２映像合成部１０６ｂと、映像連結部１０４と、後段映像処理回路１０５を備える。第１映像処理部１０３ａと第２映像処理部１０３ｂは、それぞれ、時間的中間フレーム生成部と称してもよい。第１映像合成部１０６ａと第２映像合成部１０６ｂは、それぞれ、空間的中間フレーム生成部と称してもよい。映像信号処理部２３２内の各構成には、時分割光路切り替え手段制御部３５からタイミング信号が送信される。
【００６２】
前段映像処理回路１０１は、映像信号受信部３１から送られる映像信号の前段処理を行い。映像分離部１０２に送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【００６３】
映像分離部１０２は、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、前段映像処理回路１０１から送信される映像信号を、左眼レンズ（第１の対物光学系）２１によって撮像された左眼映像信号（第１映像信号）と右眼レンズ（第２の対物光学系）２２によって撮像された右眼映像信号（第２映像信号）に分離する。ここで、左眼映像信号は偶数番目（２ｎ番目）のフレームの映像信号Ｌ２ｎであり、右眼映像信号は奇数番目（２ｎ＋１番目）のフレームの映像信号Ｒ２ｎ＋１である。なお、本実施形態では、後述する図７および図８に示すように、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【００６４】
そして、映像分離部１０２は、左眼映像信号Ｌ２ｎを、左眼映像処理部１０３ａおよび第１映像合成部１０６ａに送信する。また、映像分離部１０２は、右眼映像信号Ｒ２ｎ＋１を、右眼映像処理部１０３ｂおよび第２映像合成部１０６ｂに送信する。
【００６５】
左眼映像処理部１０３ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの左眼映像信号Ｌ２ｎ、Ｌ２ｎ＋２に基づいて、中間左眼映像信号（中間第１映像信号）Ｌ２ｎ＋１を生成する。すなわち、前後のフレーム（２ｎ番目のフレームと２ｎ＋２番目のフレーム）の映像から、時間的中間フレーム（２ｎ＋１番目のフレーム）の映像を生成する。
【００６６】
前後のフレームの映像から中間フレームの映像を生成する処理は、フレーム映像間の色、輝度差、明度差、コントラストなどから映像の特徴点を複数個所抽出し、その特徴点の移動量を元に、映像信号の時間的な中間に位置すると推定される映像を補間・生成することによって行われる。この処理は、一般的なフレームレート変換機能や倍速液晶技術を応用すればよい。
【００６７】
右眼映像処理部１０３ｂは、左眼映像処理部１０３ａと機能的には同一であるが、処理する映像信号が右眼映像信号である点が異なる。
【００６８】
すなわち、右眼映像処理部１０３ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの右眼映像信号Ｒ２ｎ−１、Ｒ２ｎ＋１に基づいて、中間右眼映像信号（中間第２映像信号）Ｒ２ｎを生成する。すなわち、前後のフレーム（２ｎ−１番目のフレームと２ｎ＋１番目のフレーム）の映像から、時間的中間フレーム（２ｎ番目のフレーム）の映像を生成する。
【００６９】
第１映像合成部１０６ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される左眼映像信号Ｌ２ｎと右眼映像処理部１０３ｂから出力される中間右眼映像信号Ｒ２ｎとから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像である正面映像信号Ｃ２ｎを補間して生成する（詳細は図７、図８および後述）。
【００７０】
同様に、第２映像合成部１０６ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される右眼映像信号Ｒ２ｎ＋１と左眼映像処理部１０３ａから出力される中間左眼映像信号Ｌ２ｎ＋１とから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像である正面映像信号Ｃ２ｎ＋１を補間して生成する（詳細は図７、図８および後述）。
【００７１】
映像連結部１０４は、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第１映像合成部１０６ａから送信される正面映像信号Ｃ２ｎと第２映像合成部１０６ｂから出力される正面映像信号Ｃ２ｎ＋１を時系列に並べて連結することで正面ライブ映像信号Ｃｎを作成する。
【００７２】
後段映像処理回路１０５は、映像連結部１０４から出力される正面ライブ映像信号Ｃｎに対し、後段の映像信号処理を行い、中央処理部３３ａへ送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【００７３】
なお、図６の構成は一例であり、例えば、前段映像処理回路１０１が映像分離部１０２の後段に配置されてもよい。また、第１映像合成部１０６ａと第２映像合成部１０６ｂの機能は１つの構成（映像合成部）によって行われてもよい。
【００７４】
次に、図７および図８を用いて、本実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理の流れについて説明する。図７は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理の流れを説明するための図である。
【００７５】
図７では、棒状の被写体が傾きを変えながら移動している映像が撮像される例を示している。また、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【００７６】
図７において、左から右への矢印は、左から右に向かって時間的に映像が処理されていく様子を示している。図７の上側は、図１の制御部映像入力、すなわち、撮像素子２５で撮像され、制御部に入力される映像を示し、左眼映像信号と右眼映像信号から構成される。左眼映像信号のフレームは時間順に（左から順に）フレームＬ１、フレームＬ２、フレームＬ３、フレームＬ４、フレームＬ５、…である。右眼映像信号のフレームは時間順に（左から順に）フレームＲ１、フレームＲ２、フレームＲ３、フレームＲ４、フレームＲ５、…である。
【００７７】
図７の下側は、図１の制御部映像出力、すなわち、制御部から出力され、最終的な映像信号（正面ライブ映像信号）として表示部に表示される映像を示す。正面ライブ映像信号のフレームは時間順に（左から順に）フレームＣ１、フレームＣ２、フレームＣ３、…である。
【００７８】
図中のＳＷ切替と記された矢印は、時分割光路切り替え手段２３の切り替えを示しており、矢印のタイミングで時分割光路切り替え手段２３の切り替えが発生したことを示している。すなわち、左眼映像および右眼映像において、フレームＲ１→フレームＬ２→フレームＲ３→フレームＬ４→フレームＲ５→…のように、左眼映像と右眼映像との間で交互に時分割光路切り替え手段２３が切り替わり、撮像される様子を示している。
【００７９】
図中の実線で囲まれたフレーム（フレームＲ１、フレームＬ２、フレームＲ３、フレームＬ４、フレームＲ５）は、実際に撮像した映像のフレームを示している。図中の点線で囲まれたフレーム（フレームＬ１、フレームＲ２、フレームＬ３、フレームＲ４、フレームＬ５）は、実際に撮像した前後のフレームの映像から生成した時間的中間フレームの映像を示している。
【００８０】
奇数番目のフレームでは、制御部映像入力の左眼映像において、実際に撮像した前後の（２つの）フレーム（例えば、フレームＬ０とフレームＬ２）の映像から時間的中間フレーム（フレームＬ１）の映像を生成する。そして、時間的中間フレーム（フレームＬ１）の映像と、同じ時刻（フレーム番号）の右眼映像（フレームＲ１）とから、同じフレーム番号の空間的中間フレーム（フレームＣ１）が生成され、正面ライブ映像信号となる。
【００８１】
同様に、偶数番目のフレームでは、制御部映像入力の右眼映像において、実際に撮像した前後の（２つの）フレーム（例えば、フレームＲ１とフレームＲ３）の映像から時間的中間フレーム（フレームＲ２）の映像を生成する。そして、時間的中間フレーム（フレームＲ２）の映像と、同じ時刻（フレーム番号）の左眼映像（フレームＬ２）とから、同じフレーム番号の空間的中間フレーム（フレームＣ２）が生成され、正面ライブ映像信号となる。
【００８２】
このように、実際に撮像した前後の（２つの）フレームの映像に基づいて時間的中間フレームの映像を生成するので、後のフレームが撮像された後でないと、時間的中間フレームの映像を作成する処理を行うことができない。したがって、時間的中間フレームの映像を作成する処理のため、制御部映像出力は制御部映像入力に対して遅延する。この現象を処理遅延と称する。
【００８３】
図８は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理における制御シーケンスを示す図である。具体的には、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、映像合成部（第１映像合成部１０６ａおよび第２映像合成部１０６ｂ）・映像連結部１０４の各構成における映像信号の入出力を時間に沿って示している。
【００８４】
図８において、映像信号（Ｌ＃ｋ）（ｋは数字）は、制御部映像入力においてｋ番目のフレーム（フレームＬｋ）の左眼映像信号を示し、映像信号（Ｒ＃ｋ）は、制御部映像入力においてｋ番目のフレーム（フレームＲｋ）の右眼映像信号を示し、正面ライブ映像（Ｃ＃ｋ）は、ｋ番目のフレーム（フレームＣｋ）の正面ライブ映像信号を示す。また、図８では、上から下へと時間が流れていくものとする。
【００８５】
映像分離部１０２には、実際に撮像された偶数番目のフレームの左眼映像信号Ｌ＃００、Ｌ＃０２、…および奇数番目のフレームの右眼映像信号Ｒ＃０１、Ｒ＃０３、…が入力される。そして、映像分離部１０２は、入力された偶数番目のフレームの左眼映像信号および右眼映像信号を左眼映像処理部１０３ａと映像合成部に送信し、入力された奇数番目のフレームの右眼映像信号を右眼映像処理部１０３ｂと映像合成部に送信する。
【００８６】
左眼映像処理部１０３ａは、入力された２つの前後の左眼映像信号（例えば、Ｌ＃００とＬ＃０２）から奇数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｌ＃０１）を補間して生成する。この際、時間的中間フレームの映像信号（Ｌ＃０１）を生成するには、後のフレームの左眼映像信号（Ｌ＃０２）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、左眼映像処理部１０３ａは、生成された時間的中間フレームの映像信号（Ｌ＃０１）を映像合成部に送信する。
【００８７】
同様に、右眼映像処理部１０３ｂは、入力された２つの前後の右眼映像信号（例えば、Ｒ＃０１とＲ＃０３）から偶数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｒ＃０２）を補間して生成する。この際、時間的中間フレームの映像信号（Ｒ＃０２）を生成するには、後のフレームの映像信号（Ｒ＃０３）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、右眼映像処理部１０３ｂは、生成された時間的中間フレームの映像信号（Ｒ＃０２）を映像合成部に送信する。
【００８８】
映像合成部は、奇数番目のフレームに対しては、映像分離部１０２から入力された右眼映像信号Ｒ＃０１、…と、左眼映像処理部１０３ａから入力された時間的中間フレームの映像信号Ｌ＃０１、…のうち、同じフレーム番号（時刻）の２つのフレームの映像信号（例えば、Ｒ＃０１とＬ＃０１）に基づいて、空間的中間フレームの映像信号（Ｃ＃０１）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０１）を生成するには、時間的中間フレームの映像信号（Ｌ＃０１）が生成されるのを待つ必要があるので、処理遅延が発生する。
【００８９】
また、映像合成部は、偶数番目のフレームに対しては、映像分離部１０２から入力された左眼映像信号Ｌ＃０２、…と、右眼映像処理部１０３ｂから入力された時間的中間フレームの映像信号Ｒ＃０２、…のうち、同じフレーム番号（時刻）の２つのフレームの映像信号（例えば、Ｒ＃０２とＬ＃０２）に基づいて、空間的中間フレームの映像信号（Ｃ＃０２）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０２）を生成するには、時間的中間フレームの映像信号（Ｒ＃０２）が生成されるのを待つ必要があるので、処理遅延が発生する。
【００９０】
生成された空間的中間フレームの映像信号Ｃ＃０１、Ｃ＃０２、…は、映像連結部１０４において、時間順に並べられて結合され、正面ライブ映像信号となる。
【００９１】
図９は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の制御フローを示す図である。図９（ａ）のフローは、片側ライブ映像表示モードから本実施形態の正面ライブ映像表示モードへの切り替えフローを示している。図９（ｂ）のフローは、本実施形態の正面ライブ映像表示モードから片側ライブ映像表示モードへの切り替えフローを示している。ここで、片側ライブ映像表示モードとは、図２７に示すように、時分割光路切り替え手段２３が切り替わらずに左眼映像（または右眼映像）のみを表示し続けるモードである。
【００９２】
まず、図９（ａ）に沿って、片側ライブ映像表示モードから正面ライブ映像表示モードへの切り替えの制御フローについて説明する。まず、中央処理部３３は、正面ライブ映像表示モードがＯＮとなっているか否かを判断する（ステップＳ１１）。正面ライブ映像表示モードがＯＮとなっていない場合は、片側ライブ映像表示モードのまま継続する。
【００９３】
正面ライブ映像表示モードがＯＮとなった場合は、中央処理部３３は、正面ライブ映像表示駆動信号を映像信号処理部３２に送信する（ステップＳ１２）。正面ライブ映像表示駆動信号を受信すると、映像信号処理部３２は、撮像素子制御部３４および時分割光路切り替え手段制御部３５に制御信号を送信し、時分割光路切り替え手段２３が左眼レンズと右眼レンズとの間の交互切り替えの駆動を行う（ステップＳ１３）。これにより、正面ライブ映像表示モードの運用が開始される。
【００９４】
次に、図９（ｂ）に沿って、正面ライブ映像表示モードから片側ライブ映像表示モードへの切り替えの制御フローについて説明する。まず、中央処理部３３は、正面ライブ映像表示モードがＯＦＦとなっているか否かを判断する（ステップＳ２１）。正面ライブ映像表示モードがＯＦＦとなっていない場合は、正面ライブ映像表示モードのまま継続する。
【００９５】
正面ライブ映像表示モードがＯＦＦとなった場合は、中央処理部３３は、片側ライブ映像表示駆動信号を映像信号処理部３２に送信する（ステップＳ２２）。片側ライブ映像表示駆動信号を受信すると、映像信号処理部３２は、撮像素子制御部３４および時分割光路切り替え手段制御部３５に制御信号を送信し、時分割光路切り替え手段２３が片側に切り替わった状態となる（ステップＳ２３）。これにより、片側ライブ映像表示モードの運用が開始される。
【００９６】
上述したように、本実施形態によれば、光路切り替え手段を有する内視鏡装置において、左右方向に片寄っていない正面からのライブ映像を表示する事ができる。これにより、内視鏡装置を用いた検査時の、操作と映像のずれから生じる違和感を軽減する事ができる。
【００９７】
（第３実施形態）
次に、本発明の第３実施形態に係る内視鏡装置について説明する。内視鏡装置の全体構成については、図１に示す第１実施形態に係る内視鏡装置の全体構成と同様であるので、説明を省略する。
【００９８】
本実施形態に係る内視鏡装置の先端光学系については、図２に示す第１実施形態に係る先端光学系と構成および構造は同じであるが、撮像エリアが異なる。図１０は、本実施形態に係る内視鏡装置における先端部（先端光学系）を拡大して示した図である。図１０に示すように、本実施形態では、左眼および右眼の撮像エリアが左右方向にずれるように、光学的に撮像エリアの設定をしている。
【００９９】
撮像エリアは、図のように３つのエリアに分類される。左側部分をエリア１、中央の左眼映像と右眼映像が重なるエリアをエリア２（共通のエリア）、右側部分をエリア３とする。左眼レンズ２１の撮像エリアはエリア１とエリア２であり、右眼レンズ２２の撮像エリアはエリア２とエリア３である。すなわち、撮像エリアのうち、エリア２は左眼レンズ２１と右眼レンズ２２に共通の撮像エリアである。また、エリア１は左眼レンズ２１のみの撮像エリアであり、エリア３は右眼レンズ２２のみの撮像エリアである。
【０１００】
また、本実施形態では、映像信号処理部における内部ブロック構成とその制御方法が第１実施形態および第２実施形態と異なる。図１１は、本発明の第３実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【０１０１】
第３実施形態に係る内視鏡装置の映像信号処理部３３２は、前段映像処理回路１０１と、映像分離部１０２と、左眼映像処理部（第１映像処理部）１０３ａと、右眼映像処理部（第２映像処理部）１０３ｂと、第１映像クロップ部１０７ａと、第２映像クロップ部１０７ｂと、第３映像クロップ部１０７ｃと、第４映像クロップ部１０７ｄと、第１映像合成部１０６ａと、第２映像合成部１０６ｂと、映像連結部１０４と、後段映像処理回路１０５を備える。第１映像処理部１０３ａと第２映像処理部１０３ｂは、それぞれ、時間的中間フレーム生成部と称してもよい。第１映像合成部１０６ａと第２映像合成部１０６ｂは、それぞれ、空間的中間フレーム生成部と称してもよい。映像信号処理部３３２内の各構成には、時分割光路切り替え手段制御部３５からタイミング信号が送信される。
【０１０２】
前段映像処理回路１０１は、映像信号受信部３１から送られる映像信号の前段処理を行い。映像分離部１０２に送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【０１０３】
映像分離部１０２は、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、前段映像処理回路１０１から送信される映像信号を、左眼レンズ（第１の対物光学系）２１によって撮像された左眼映像信号（第１映像信号）と右眼レンズ（第２の対物光学系）２２によって撮像された右眼映像信号（第２映像信号）に分離する。ここで、左眼映像信号は偶数番目（２ｎ番目）のフレームの映像信号Ｌ２ｎであり、右眼映像信号は奇数番目（２ｎ＋１番目）のフレームの映像信号Ｒ２ｎ＋１である。なお、本実施形態では、後述する図１２および図１４に示すように、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【０１０４】
そして、映像分離部１０２は、左眼映像信号Ｌ２ｎを、左眼映像処理部１０３ａおよび第１映像クロップ部１０７ａに送信する。また、映像分離部１０２は、右眼映像信号Ｒ２ｎ＋１を、右眼映像処理部１０３ｂおよび第４映像クロップ部１０７ｄに送信する。
【０１０５】
左眼映像処理部１０３ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの左眼映像信号Ｌ２ｎ、Ｌ２ｎ＋２に基づいて、中間左眼映像信号（中間第１映像信号）Ｌ２ｎ＋１を生成する。すなわち、前後のフレーム（２ｎ番目のフレームと２ｎ＋２番目のフレーム）の映像から、時間的中間フレーム（２ｎ＋１番目のフレーム）の映像を生成する。
【０１０６】
前後のフレームの映像から時間的中間フレームの映像を生成する処理は、フレーム映像間の色、輝度差、明度差、コントラストなどから映像の特徴点を複数個所抽出し、その特徴点の移動量を元に、時間的に中間であると推定される映像を補間・生成することによって行われる。この処理は、一般的なフレームレート変換機能や倍速液晶技術を応用すればよい。
【０１０７】
右眼映像処理部１０３ｂは、左眼映像処理部１０３ａと機能的には同一であるが、処理する映像信号が右眼映像信号である点が異なる。
【０１０８】
すなわち、右眼映像処理部１０３ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの右眼映像信号Ｒ２ｎ−１、Ｒ２ｎ＋１に基づいて、中間右眼映像信号（中間第２映像信号）Ｒ２ｎを生成する。すなわち、前後のフレーム（２ｎ−１番目のフレームと２ｎ＋１番目のフレーム）の映像から、時間的中間フレーム（２ｎ番目のフレーム）の映像を生成する。
【０１０９】
第１映像クロップ部１０７ａは、映像分離部１０２から出力された左眼映像信号Ｌ２ｎから、図１０に示すエリア１の領域に含まれる映像を映像クロップし、エリア１左眼映像信号として出力する。また、第１映像クロップ部１０７ａは、映像分離部１０２から出力された左眼映像信号Ｌ２ｎから、図１０に示すエリア２の領域に含まれる映像を映像クロップし、エリア２左眼映像信号として出力する。ここで出力されるエリア１左眼映像信号およびエリア２左眼映像信号は、偶数番目のフレームに対応する映像信号である。
【０１１０】
同様に、第２映像クロップ部１０７ｂは、左眼映像処理部１０３ａから出力された中間左眼映像信号Ｌ２ｎ＋１から、エリア１の領域に含まれる映像を映像クロップし、エリア１左眼映像信号として出力する。また、第２映像クロップ部１０７ｂは、左眼映像処理部１０３ａから出力された中間左眼映像信号Ｌ２ｎ＋１から、エリア２の領域に含まれる映像を映像クロップし、エリア２左眼映像信号として出力する。ここで出力されるエリア１左眼映像信号およびエリア２左眼映像信号は、奇数番目のフレームに対応する映像信号である。
【０１１１】
第３映像クロップ部１０７ｃは、映像分離部１０２から出力された右眼映像信号Ｒ２ｎ＋１から、図１０に示すエリア２の領域に含まれる映像を映像クロップし、エリア２右眼映像信号として出力する。また、第３映像クロップ部１０７ｃは、映像分離部１０２から出力された右眼映像信号Ｒ２ｎ＋１から、図１０に示すエリア３の領域に含まれる映像を映像クロップし、エリア３右眼映像信号として出力する。ここで出力されるエリア２右眼映像信号およびエリア３右眼映像信号は、奇数番目のフレームに対応する映像信号である。
【０１１２】
同様に、第４映像クロップ部１０７ｄは、右眼映像処理部１０３ｂから出力された中間右眼映像信号Ｒ２ｎから、エリア２の領域に含まれる映像を映像クロップし、エリア２右眼映像信号として出力する。また、第４映像クロップ部１０７ｄは、右眼映像処理部１０３ｂから出力された中間右眼映像信号Ｒ２ｎから、エリア３の領域に含まれる映像を映像クロップし、エリア３右眼映像信号として出力する。ここで出力されるエリア２右眼映像信号およびエリア３右眼映像信号は、偶数番目のフレームに対応する映像信号である。
【０１１３】
第１映像合成部１０６ａは、偶数番目のフレームに対応する映像信号の処理を行う。第１映像合成部１０６ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第１映像クロップ部１０７ａから出力されるエリア２左眼映像信号と、第４映像クロップ部１０７ｄから出力されるエリア２右眼映像信号とから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像を補間して生成し、エリア２正面映像信号Ｃ２ｎとして出力する。
【０１１４】
第２映像合成部１０６ｂは、奇数番目のフレームに対応する映像信号の処理を行う。第２映像合成部１０６ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第２映像クロップ部１０７ｂから出力されるエリア２左眼映像信号と、第３映像クロップ部１０７ｃから出力されるエリア２右眼映像信号とから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像を補間して生成し、エリア２正面映像信号Ｃ２ｎ＋１として出力する。
【０１１５】
映像連結部１０４は、偶数番目のフレームに対応する映像信号に関して、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第１映像クロップ部１０７ａから送信されるエリア１左眼映像信号と、第１映像合成部１０６ａから送信されるエリア２正面映像信号Ｃ２ｎと、第４映像クロップ部１０７ｄから送信されるエリア３右眼映像信号とを画像結合して、偶数番目のフレームの正面ワイド映像信号Ｗ２ｎとする。
【０１１６】
同様に、映像連結部１０４は、奇数番目のフレームに対応する映像信号に関して、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第２映像クロップ部１０７ｂから送信されるエリア１左眼映像信号と、第２映像合成部１０６ｂから送信されるエリア２正面映像信号Ｃ２ｎ＋１と、第３映像クロップ部１０７ｃから送信されるエリア３右眼映像信号とを画像結合して、奇数番目のフレームの正面ワイド映像信号Ｗ２ｎ＋１とする。
【０１１７】
そして、映像連結部１０４は、偶数番目のフレームの正面ワイド映像信号Ｗ２ｎと奇数番目のフレームの正面ワイド映像信号Ｗ２ｎ＋１を時系列に並べて連結することで正面ワイドライブ映像信号Ｗｎを作成し、後段映像処理回路１０５に出力する。
【０１１８】
後段映像処理回路１０５は、映像連結部１０４から出力される正面ワイドライブ映像信号Ｗｎに対し、後段の映像信号処理を行い、中央処理部３３ａへ送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【０１１９】
なお、図１１の構成は一例であり、例えば、前段映像処理回路１０１が映像分離部１０２の後段に配置されてもよい。また、第１映像合成部１０６ａと第２映像合成部１０６ｂの機能は１つの構成（映像合成部）によって行われてもよい。
【０１２０】
次に、図１２を用いて、正面ワイドライブ映像信号の生成処理について説明する。図１２は、本実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成処理の流れを説明するための図である。
【０１２１】
図１２では、棒状の被写体が傾きを変えながら移動している映像が撮像される例を示している。また、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【０１２２】
図１２において、左から右への矢印は、左から右に向かって時間的に映像が処理されていく様子を示している。図１２の上側は、図１の制御部映像入力、すなわち、撮像素子２５で撮像され、制御部に入力される映像を示し、左眼映像信号と右眼映像信号から構成される。左眼映像信号には、エリア１とエリア２が撮像されている。右眼映像信号には、エリア２とエリア３が撮像されている。左眼映像信号のフレームは時間順に（左から順に）フレームＬ１、フレームＬ２、フレームＬ３、フレームＬ４、フレームＬ５、…である。右眼映像信号のフレームは時間順に（左から順に）フレームＲ１、フレームＲ２、フレームＲ３、フレームＲ４、フレームＲ５、…である。
【０１２３】
図１２の下側は、図１の制御部映像出力、すなわち、制御部から出力され、最終的な映像信号（正面ワイドライブ映像信号）として表示部に表示される映像を示す。正面ワイドライブ映像信号のフレームは時間順に（左から順に）フレームＷ１、フレームＷ２、フレームＷ３、…である。
【０１２４】
フレームの切り替わりおよび時間的中間フレームの映像信号の生成については、実施形態２と同様であるので、説明を省略する。
【０１２５】
本実施形態では、奇数番目のフレームでは、実際に撮像した前後の（２つの）フレーム（例えば、フレームＬ０とフレームＬ２）の左眼映像信号から、時間的中間フレーム（フレームＬ１）の映像信号である中間左眼映像信号を生成する。中間左眼映像信号のフレーム（フレームＬ１）から映像クロップして得たエリア２左眼映像と、同じ時刻（フレーム番号）の右眼映像信号のフレーム（フレームＲ１）から映像クロップして得たエリア２右眼映像とから、正面センター映像を生成する。そして、生成された正面センター映像と、中間左眼映像信号のフレーム（フレームＬ１）から映像クロップして得たエリア１左眼映像と、右眼映像信号のフレーム（フレームＲ１）から映像クロップして得たエリア３右眼映像とを連結することで、正面ワイド映像（フレームＷ１）を生成する。すなわち、実際に撮像した３つのフレーム（フレームＬ０、フレームＬ２およびフレームＲ１）から正面ワイド映像（フレームＷ１）を生成する。
【０１２６】
同様に、偶数番目のフレームでは、実際に結像した前後の（２つの）フレーム（例えば、フレームＲ１とフレームＲ３）の右眼映像信号から、時間的中間フレーム（フレームＲ２）の映像信号である中間右眼映像信号を生成する。中間右眼映像信号のフレーム（フレームＲ２）から映像クロップして得たエリア２右眼映像と、同じ時刻（フレーム番号）の左眼映像信号のフレーム（フレームＬ２）から映像クロップして得たエリア２左眼映像とから、正面センター映像を生成する。そして、生成された正面センター映像と、中間右眼映像信号のフレーム（フレームＲ２）から映像クロップして得たエリア３右眼映像と、左眼映像信号のフレーム（フレームＬ２）から映像クロップして得たエリア１左眼映像とを連結することで、正面ワイド映像（フレームＷ２）を生成する。すなわち、実際に撮像した３つのフレーム（フレームＬ２、フレームＲ１およびフレームＲ３）から正面ワイド映像（フレームＷ２）を生成する。
【０１２７】
このように、実際に撮像した前後の（２つの）フレームの映像に基づいて時間的中間フレームの映像を生成するので、後のフレームが撮像された後でないと、時間的中間フレームの映像を作成する処理を行うことができない。したがって、時間的中間フレームの映像を作成する処理のため、制御部映像出力は制御部映像入力に対して遅延する。この現象を処理遅延と称する。
【０１２８】
図１３は、本実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成イメージを示す図である。図１３（ａ）は、図１２のフレームＬ２に対応する映像である。すなわち、左眼レンズで実際に撮像した映像であり、エリア１とエリア２が含まれている。図１３（ｂ）は、図１２のフレームＲ２に対応する映像である。すなわち、右眼レンズで実際に撮像した２つのフレーム（フレームＲ１とフレームＲ３）の映像から生成した時間的中間フレームの映像であり、エリア２とエリア３が含まれている。これらのフレームの映像は、ともに、画面比率（アスペクト比）が４：３である。
【０１２９】
図１３（ｃ）は、図１２のフレームＷ２に対応する映像である。エリア１の部分は、フレームＬ２から映像クロップして得たエリア１映像を使用する。エリア３の部分は、時間的中間フレームであるフレームＲ２から映像クロップして得たエリア３映像を使用する。そして、エリア２の部分は、フレームＬ２のエリア２映像とフレームＲ２のエリア２映像とから生成された正面センター映像である。そして、エリア１、エリア２およびエリア３の映像を連結することで、図１３（ｄ）に示すような正面ワイドライブ映像を生成する。正面ワイドライブ映像は、画面比率（アスペクト比）が１６：９である。
【０１３０】
図１４は、本実施形態に係る内視鏡装置における、正面ワイドライブ映像信号の生成処理における制御シーケンスを示す図である。具体的には、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、映像合成部（第１映像合成部１０６ａおよび第２映像合成部１０６ｂ）・映像連結部１０４の各構成における映像信号の入出力を時間に沿って示している。なお、図１４および以下の説明では、映像クロップおよび映像連結の制御を省略している。映像クロップおよび映像連結における処理遅延は発生しないので、映像クロップおよび映像連結の制御を省略しても、制御シーケンスの全体の流れには影響を与えない。
【０１３１】
図１４において、映像信号（Ｌ＃ｋ）（ｋは数字）は、制御部映像入力においてｋ番目のフレーム（フレームＬｋ）の左眼映像信号を示し、映像信号（Ｒ＃ｋ）は、制御部映像入力においてｋ番目のフレーム（フレームＲｋ）の右眼映像信号を示す。映像信号（Ｃ＃ｋ）は空間的中間フレームの映像信号を示す。正面ワイドライブ映像（Ｗ＃ｋ）は、ｋ番目のフレーム（フレームＷｋ）の正面ワイドライブ映像信号を示す。図１４では、上から下へと時間が流れていくものとする。
【０１３２】
映像分離部１０２には、実際に撮像された偶数番目のフレームに対応する左眼映像信号Ｌ＃００、Ｌ＃０２、…および奇数番目のフレームに対応する右眼映像信号Ｒ＃０１、Ｒ＃０３、…が入力される。そして、映像分離部１０２は、入力された偶数番目のフレームの左眼映像信号を左眼映像処理部１０３ａと映像合成部に送信し、入力された奇数番目のフレームの右眼映像信号を右眼映像処理部１０３ｂと映像合成部に送信する。
【０１３３】
左眼映像処理部１０３ａは、入力された２つの前後の左眼映像信号（例えば、Ｌ＃００とＬ＃０２）から奇数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｌ＃０１）を補間して生成する。この際、時間的中間フレームの映像信号（Ｌ＃０１）を生成するには、後のフレームの映像信号（Ｌ＃０２）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、左眼映像処理部１０３ａは、生成された時間的中間フレームの映像信号（Ｌ＃０１）を映像合成部に送信する。
【０１３４】
同様に、右眼映像処理部１０３ｂは、入力された２つの前後の右眼映像信号（例えば、Ｒ＃０１とＲ＃０３）から偶数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｒ＃０２）を補間して生成する。この際、時間的中間フレームの映像信号（Ｒ＃０２）を生成するには、後のフレームの映像信号（Ｒ＃０３）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、右眼映像処理部１０３ｂは、生成された時間的中間フレームの映像信号（Ｒ＃０２）を映像合成部に送信する。
【０１３５】
映像合成部は、奇数番目のフレームに対しては、映像分離部１０２から入力された右眼映像信号Ｒ＃０１、…と、左眼映像処理部１０３ａから入力された時間的中間フレームの映像信号Ｌ＃０１、…のうち、同じフレーム番号（時刻）の２つの映像信号（例えば、Ｒ＃０１とＬ＃０１）とに基づいて、空間的中間フレームの映像信号（Ｃ＃０１）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０１）を生成するには、時間的中間フレームの映像信号（Ｌ＃０１）が生成されるのを待つ必要があるので、処理遅延が発生する。
【０１３６】
また、映像合成部は、偶数番目のフレームに対しては、映像分離部１０２から入力された映像信号Ｌ＃０２、…と、右眼映像処理部１０３ｂから入力された時間的中間フレームの映像信号Ｒ＃０２、…のうち、同じフレーム番号（時刻）の２つの映像信号（例えば、Ｒ＃０２とＬ＃０２）とに基づいて、空間的中間フレームの映像信号（Ｃ＃０２）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０２）を生成するには、時間的中間フレームの映像信号（Ｒ＃０２）が生成されるのを待つ必要があるので、処理遅延が発生する。
【０１３７】
生成された空間的中間フレームの映像信号Ｃ＃０１、Ｃ＃０２、…は映像連結部１０４において時間順に並べられて結合され、正面ワイドライブ映像信号Ｗ＃０１、Ｗ＃０２、…となる。
【０１３８】
上述したように、本実施形態によれば、光路切り替え手段を有する内視鏡装置において、映像の一部を、イメージャのもつ解像度以上で拡大表示（ワイド表示）する事ができる。これにより、ライブ映像から一度に視認できる観察範囲が拡大し、検査時間の短縮が期待できる。また、通常、傷の計測などライブ映像の中央部分で行われる検査において、ライブ映像の中央部分については片眼で撮像した高画素のライブ映像を使用する。これにより、傷などの視認性が向上し、検査時間の短縮が期待できる。
【０１３９】
（第４実施形態）
次に、本発明の第４実施形態に係る内視鏡装置について説明する。内視鏡装置の全体構成については、図１に示す第１実施形態に係る内視鏡装置の全体構成と同様であるので、説明を省略する。
【０１４０】
本実施形態に係る内視鏡装置の先端光学系については、図２に示す第１実施形態に係る先端光学系と構成および構造は同じであるが、撮像エリアが異なる。図１５は、本実施形態に係る内視鏡装置における先端部（先端光学系）を拡大して示した図である。本実施形態では、図１５に示すように左眼レンズ２１および右眼レンズ２２の撮像エリアが異なるように、光学的に撮像エリアの設定をしている。
【０１４１】
図１５に示すように、左眼レンズ２１の撮像エリアをエリア１とする。右眼レンズ２２の撮像エリアをエリア２とする。本実施形態では、図１８に示すように、エリア２がエリア１の中心付近に含まれるように、撮像エリアの設定をしている。
【０１４２】
また、本実施形態では、映像信号処理部における内部ブロック構成とその制御方法が第１実施形態〜第３実施形態と異なる。図１６は、本発明の第４実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。
【０１４３】
第４実施形態に係る内視鏡装置の映像信号処理部４３２は、前段映像処理回路１０１と、映像分離部１０２と、左眼映像処理部（第１映像処理部）１０３ａと、右眼映像処理部（第２映像処理部）１０３ｂと、第１映像クロップ部１０７ａと、第２映像クロップ部１０７ｂと、第１映像合成部１０６ａと、第２映像合成部１０６ｂと、映像連結部１０４と、後段映像処理回路１０５を備える。第１映像処理部１０３ａと第２映像処理部１０３ｂは、それぞれ、時間的中間フレーム生成部と称してもよい。第１映像合成部１０６ａと第２映像合成部１０６ｂは、それぞれ、空間的中間フレーム生成部と称してもよい。映像信号処理部４３２内の各構成には、時分割光路切り替え手段制御部３５からタイミング信号が送信される。
【０１４４】
前段映像処理回路１０１は、映像信号受信部３１から送られる映像信号の前段処理を行い。映像分離部１０２に送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【０１４５】
映像分離部１０２は、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、前段映像処理回路１０１から送信される映像信号を、左眼レンズ（第１の対物光学系）２１によって撮像された左眼映像信号（第１映像信号）と右眼レンズ（第２の対物光学系）２２によって撮像された右眼映像信号（第２映像信号）に分離する。ここで、左眼映像信号は偶数番目（２ｎ番目）のフレームの映像信号Ｌ２ｎであり、右眼映像信号は奇数番目（２ｎ＋１番目）のフレームの映像信号Ｒ２ｎ＋１である。なお、本実施形態では、後述する図１７および図１９に示すように、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【０１４６】
そして、映像分離部１０２は、左眼映像信号Ｌ２ｎを、左眼映像処理部１０３ａおよび第１映像クロップ部１０７ａに送信する。また、映像分離部１０２は、右眼映像信号Ｒ２ｎ＋１を、右眼映像処理部１０３ｂおよび第２映像合成部１０６ｂに送信する。
【０１４７】
左眼映像処理部１０３ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの左眼映像信号Ｌ２ｎ、Ｌ２ｎ＋２に基づいて、中間左眼映像信号（中間第１映像信号）Ｌ２ｎ＋１を生成する。すなわち、前後のフレーム（２ｎ番目のフレームと２ｎ＋２番目のフレーム）の映像から、時間的中間フレーム（２ｎ＋１番目のフレーム）の映像を生成する。
【０１４８】
前後のフレームの映像から時間的中間フレームの映像を生成する処理は、フレーム映像間の色、輝度差、明度差、コントラストなどから映像の特徴点を複数個所抽出し、その特徴点の移動量を元に、時間的に中間であると推定される映像を補間・生成することによって行われる。この処理は、一般的なフレームレート変換機能や倍速液晶技術を応用すればよい。
【０１４９】
右眼映像処理部１０３ｂは、左眼映像処理部１０３ａと機能的には同一であるが、処理する映像信号が右眼映像信号である点が異なる。
【０１５０】
すなわち、右眼映像処理部１０３ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、映像分離部１０２から送信される２つの右眼映像信号Ｒ２ｎ−１、Ｒ２ｎ＋１に基づいて、中間右眼映像信号（中間第２映像信号）Ｒ２ｎを生成する。すなわち、前後のフレーム（２ｎ−１番目のフレームと２ｎ＋１番目のフレーム）の映像から、時間的中間フレーム（２ｎ番目のフレーム）の映像を生成する。
【０１５１】
第１映像クロップ部１０７ａは、映像分離部１０２から出力された左眼映像信号Ｌ２ｎから、図１５に示すエリア１の領域に含まれる映像を映像クロップし、エリア１左眼映像信号として出力する。また、第１映像クロップ部１０７ａは、映像分離部１０２から出力された左眼映像信号Ｌ２ｎから、図１５に示すエリア２の領域に含まれる映像を映像クロップし、エリア２左眼映像信号として出力する。ここで出力されるエリア１左眼映像信号およびエリア２左眼映像信号は、偶数番目のフレームに対応する映像信号である。
【０１５２】
同様に、第２映像クロップ部１０７ｂは、左眼映像処理部１０３ａから出力された中間左眼映像信号Ｌ２ｎ＋１から、エリア１の領域に含まれる映像を映像クロップし、エリア１左眼映像信号として出力する。また、第２映像クロップ部１０７ｂは、左眼映像処理部１０３ａから出力された中間左眼映像信号Ｌ２ｎ＋１から、エリア２の領域に含まれる映像を映像クロップし、エリア２左眼映像信号として出力する。ここで出力されるエリア１左眼映像信号およびエリア２左眼映像信号は、奇数番目のフレームに対応する映像信号である。
【０１５３】
第１映像合成部１０６ａは、偶数番目のフレームに対応する映像信号の処理を行う。第１映像合成部１０６ａは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第１映像クロップ部１０７ａから出力されるエリア２左眼映像信号と、右眼映像処理部１０３ｂから出力される右眼映像信号とから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像を補間して生成し、エリア２正面映像信号Ｃ２ｎとして出力する。
【０１５４】
第２映像合成部１０６ｂは、奇数番目のフレームに対応する映像信号の処理を行う。第２映像合成部１０６ｂは、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第２映像クロップ部１０７ｂから出力されるエリア２左眼映像信号と、映像分離部１０２から出力される右眼映像信号とから、空間的に（光学的に）左眼映像信号と右眼映像信号の中間となるような映像を補間して生成し、エリア２正面映像信号Ｃ２ｎ＋１として出力する。
【０１５５】
映像連結部１０４は、偶数番目のフレームに対応する映像信号に関して、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第１映像クロップ部１０７ａから送信されるエリア１左眼映像信号と、第１映像合成部１０６ａから送信されるエリア２正面映像信号Ｃ２ｎとを画像結合して、偶数番目のフレームの正面高解像度ライブ映像信号Ｈ２ｎとする。
【０１５６】
同様に、映像連結部１０４は、奇数番目のフレームに対応する映像信号に関して、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、第２映像クロップ部１０７ｂから送信されるエリア１左眼映像信号と、第２映像合成部１０６ｂから送信されるエリア２正面映像信号Ｃ２ｎ＋１とを画像結合して、奇数番目のフレームの正面高解像度ライブ映像信号Ｈ２ｎ＋１とする。
【０１５７】
そして、映像連結部１０４は、偶数番目のフレームの正面高解像度ライブ映像信号Ｈ２ｎと奇数番目のフレームの正面高解像度ライブ映像信号Ｈ２ｎ＋１を時系列に並べて連結することで正面高解像度ライブ映像信号Ｈｎを作成し、後段映像処理回路１０５に出力する。
【０１５８】
後段映像処理回路１０５は、映像連結部１０４から出力される正面高解像度ライブ映像信号Ｈｎに対し、後段の映像信号処理を行い、中央処理部３３ａへ送信する。この処理は、従来技術に係る内視鏡装置の映像信号処理部における処理と同様である。
【０１５９】
なお、図１６の構成は一例であり、例えば、前段映像処理回路１０１が映像分離部１０２の後段に配置されてもよい。また、第１映像合成部１０６ａと第２映像合成部１０６ｂの機能は１つの構成（映像合成部）によって行われてもよい。
【０１６０】
次に、図１７を用いて、正面高解像度ライブ映像信号の生成処理について説明する。図１７は、本実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成処理の流れを説明するための図である。
【０１６１】
図１７では、棒状の被写体が傾きを変えながら移動している映像が撮像される例を示している。また、時分割光路切り替え手段２３がタイミング信号に合わせて、左眼レンズ→右眼レンズ→左眼レンズ→右眼レンズ→…のように交互に切り替わり続けて動作しているものとする。
【０１６２】
図１７において、左から右への矢印は、左から右に向かって時間的に映像が処理されていく様子を示している。図１７の上側は、図１の制御部映像入力、すなわち、撮像素子２５で撮像され、制御部に入力される映像を示し、左眼映像信号と右眼映像信号から構成される。左眼映像信号のフレームは時間順に（左から順に）フレームＬ１、フレームＬ２、フレームＬ３、フレームＬ４、フレームＬ５、…である。右眼映像信号のフレームは時間順に（左から順に）フレームＲ１、フレームＲ２、フレームＲ３、フレームＲ４、フレームＲ５、…である。左眼映像信号と右眼映像信号から生成される正面映像信号のフレームは時間順に（左から順に）フレームＣ１、フレームＣ２、フレームＣ３、…である。
【０１６３】
図１７の下側は、図１の制御部映像出力、すなわち、制御部から出力され、最終的な映像信号（正面高解像度ライブ映像信号）として表示部に表示される映像を示す。正面高解像度ライブ映像信号のフレームは時間順に（左から順に）フレームＨ１、フレームＨ２、フレームＨ３、…である。
【０１６４】
フレームの切り替わりおよび時間的中間フレームの映像信号の生成については、実施形態２および実施形態３と同様であるので、説明を省略する。
【０１６５】
本実施形態では、奇数番目のフレームでは、実際に撮像した前後の（２つの）フレーム（例えば、フレームＬ０とフレームＬ２）の左眼映像信号から、時間的中間フレーム（フレームＬ１）の映像信号である中間左眼映像信号を生成する。中間左眼映像信号のフレーム（フレームＬ１）から映像クロップして得たエリア２左眼映像と、同じ時刻（フレーム番号）の右眼映像信号のフレーム（フレームＲ１）から得た右眼映像とから、正面映像信号のフレーム（フレームＣ１）を生成する。すなわち、実際に撮像した３つのフレーム（フレームＬ０、フレームＬ２およびフレームＲ１）から正面映像信号のフレーム（フレームＣ１）を生成する。そして、生成された正面映像信号のフレーム（フレームＣ１）と、中間左眼映像信号のフレーム（フレームＬ１）から映像クロップして得たエリア１左眼映像とを連結することで、正面高解像度ライブ映像のフレーム（フレームＨ１）を生成する。この際、具体的には、エリア１左眼映像の中央部に、エリア２に対応する正面映像信号のフレーム（フレームＣ１）が光学的に隣り合うように連結する。
【０１６６】
同様に、偶数番目のフレームでは、実際に結像した前後の（２つの）フレーム（例えば、フレームＲ１とフレームＲ３）の右眼映像信号から、時間的中間フレーム（フレームＲ２）の映像信号である中間右眼映像信号を生成する。中間右眼映像信号のフレーム（フレームＲ２）と、同じ時刻（フレーム番号）の左眼映像信号のフレーム（フレームＬ２）から映像クロップして得たエリア２左眼映像とから、正面映像信号のフレーム（フレームＣ２）を生成する。すなわち、実際に撮像した３つのフレーム（フレームＬ２、フレームＲ１およびフレームＲ３）から正面映像信号のフレーム（フレームＣ２）を生成する。そして、生成された正面映像信号のフレーム（フレームＣ２）と、左眼映像信号のフレーム（フレームＬ２）から映像クロップして得たエリア１左眼映像とを連結することで、正面高解像度ライブ映像のフレーム（フレームＨ２）を生成する。この際、具体的には、エリア１左眼映像の中央部に、エリア２に対応する正面映像信号のフレーム（フレームＣ２）が光学的に隣り合うように連結する。
【０１６７】
このように、実際に撮像した前後の（２つの）フレームの映像に基づいて時間的中間フレームの映像を生成するので、後のフレームが撮像された後でないと、時間的中間フレームの映像を作成する処理を行うことができない。したがって、時間的中間フレームの映像を作成する処理のため、制御部映像出力は制御部映像入力に対して遅延する。この現象を処理遅延と称する。
【０１６８】
図１８は、本実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成イメージを示す図である。図１８の全体が、左眼レンズ２１の撮像エリアであるフレーム１に相当する映像である。図１８の中央部の四角形の枠で囲まれた部分が、右眼レンズ２２の撮像エリアであるフレーム２に対応する映像である。すなわち、左眼レンズ２１で全体エリア（エリア１）を撮像し、右眼レンズ２２で中央部のエリア（エリア２）を撮像するように光学設計・配置がされている。
【０１６９】
図１９は、本実施形態に係る内視鏡装置における、正面高解像度ライブ映像信号の生成処理における制御シーケンスを示す図である。具体的には、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、映像合成部（第１映像合成部１０６ａおよび第２映像合成部１０６ｂ）・映像連結部１０４の各構成における映像信号の入出力を時間に沿って示している。なお、図１９および以下の説明では、映像クロップおよび映像連結の制御を省略している。映像クロップおよび映像連結における処理遅延は発生しないので、映像クロップおよび映像連結の制御を省略しても、制御シーケンスの全体の流れには影響を与えない。
【０１７０】
図１９において、映像信号（Ｌ＃ｋ）（ｋは数字）は、制御部映像入力においてｋ番目のフレーム（フレームＬｋ）の左眼映像信号を示し、映像信号（Ｒ＃ｋ）は、制御部映像入力においてｋ番目のフレーム（フレームＲｋ）の右眼映像信号を示す。映像信号（Ｃ＃ｋ）は空間的中間フレームの映像信号を示す。正面ワイドライブ映像（Ｗ＃ｋ）は、ｋ番目のフレーム（フレームＷｋ）の正面ワイドライブ映像信号を示す。図１９では、上から下へと時間が流れていくものとする。
【０１７１】
映像分離部１０２には、実際に撮像された偶数番目のフレームに対応する左眼映像信号Ｌ＃００、Ｌ＃０２、…および奇数番目のフレームに対応する右眼映像信号Ｒ＃０１、Ｒ＃０３、…が入力される。そして、映像分離部１０２は、入力された偶数番目のフレームの左眼映像信号を左眼映像処理部１０３ａと映像合成部に送信し、入力された奇数番目のフレームの右眼映像信号を右眼映像処理部１０３ｂと映像合成部に送信する。
【０１７２】
左眼映像処理部１０３ａは、入力された２つの前後の左眼映像信号（例えば、Ｌ＃００とＬ＃０２）から奇数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｌ＃０１）を補間して生成する。この際、時間的中間フレームの映像信号（Ｌ＃０１）を生成するには、後のフレームの映像信号（Ｌ＃０２）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、左眼映像処理部１０３ａは、生成された時間的中間フレームの映像信号（Ｌ＃０１）を映像合成部に送信する。
【０１７３】
同様に、右眼映像処理部１０３ｂは、入力された２つの前後の右眼映像信号（例えば、Ｒ＃０１とＲ＃０３）から偶数番目のフレームの映像信号である時間的中間フレームの映像信号（Ｒ＃０２）を補間して生成する。この際、時間的中間フレームの映像信号（Ｒ＃０２）を生成するには、後のフレームの映像信号（Ｒ＃０３）が入力されるのを待つ必要があるので、処理遅延が発生する。そして、右眼映像処理部１０３ｂは、生成された時間的中間フレームの映像信号（Ｒ＃０２）を映像合成部に送信する。
【０１７４】
映像合成部は、奇数番目のフレームに対しては、映像分離部１０２から入力された右眼映像信号Ｒ＃０１、…と、左眼映像処理部１０３ａから入力された時間的中間フレームの映像信号Ｌ＃０１、…のうち、同じフレーム番号（時刻）の２つの映像信号（例えば、Ｒ＃０１とＬ＃０１）とに基づいて、空間的中間フレームの映像信号（Ｃ＃０１）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０１）を生成するには、時間的中間フレームの映像信号（Ｌ＃０１）が生成されるのを待つ必要があるので、処理遅延が発生する。
【０１７５】
また、映像合成部は、偶数番目のフレームに対しては、映像分離部１０２から入力された映像信号Ｌ＃０２、…と、右眼映像処理部１０３ｂから入力された時間的中間フレームの映像信号Ｒ＃０２、…のうち、同じフレーム番号（時刻）の２つの映像信号（例えば、Ｒ＃０２とＬ＃０２）とに基づいて、空間的中間フレームの映像信号（Ｃ＃０２）を生成する。この際、図に示すように、空間的中間フレームの映像信号（Ｃ＃０２）を生成するには、時間的中間フレームの映像信号（Ｒ＃０２）が生成されるのを待つ必要があるので、処理遅延が発生する。
【０１７６】
生成された空間的中間フレームの映像信号Ｃ＃０１、Ｃ＃０２、…は映像連結部１０４において時間順に並べられて結合され、正面高解像度ライブ映像信号Ｈ＃０１、Ｈ＃０２、…となる。
【０１７７】
図２０は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の制御フローを示す図である。図２０（ａ）のフローは、片側ライブ映像表示モードから本実施形態の正面高解像度ライブ映像表示モードへの切り替えフローを示している。図２０（ｂ）のフローは、本実施形態の正面高解像度ライブ映像表示モードから片側ライブ映像表示モードへの切り替えフローを示している。ここで、片側ライブ映像表示モードとは、図２７に示すように、時分割光路切り替え手段２３が切り替わらずに左眼映像（または右眼映像）のみを表示し続けるモードである。
【０１７８】
まず、図２０（ａ）に沿って、片側ライブ映像表示モードから正面高解像度ライブ映像表示モードへの切り替えの制御フローについて説明する。まず、中央処理部３３は、正面高解像度ライブ映像表示モードがＯＮとなっているか否かを判断する（ステップＳ３１）。正面高解像度ライブ映像表示モードがＯＮとなっていない場合は、片側ライブ映像表示モードのまま継続する。
【０１７９】
正面高解像度ライブ映像表示モードがＯＮとなった場合は、中央処理部３３は、正面高解像度ライブ映像表示駆動信号を映像信号処理部３２に送信する（ステップＳ３２）。正面高解像度ライブ映像表示駆動信号を受信すると、映像信号処理部３２は、撮像素子制御部３４および時分割光路切り替え手段制御部３５に制御信号を送信し、時分割光路切り替え手段２３が左眼レンズと右眼レンズとの間の交互切り替えの駆動を行う（ステップＳ３３）。これにより、正面高解像度ライブ映像表示モードの運用が開始される。
【０１８０】
次に、図２０（ｂ）に沿って、正面高解像度ライブ映像表示モードから片側ライブ映像表示モードへの切り替えの制御フローについて説明する。まず、中央処理部３３は、正面高解像度ライブ映像表示モードがＯＦＦとなっているか否かを判断する（ステップＳ３１）。正面高解像度ライブ映像表示モードがＯＦＦとなっていない場合は、正面高解像度ライブ映像表示モードのまま継続する。
【０１８１】
正面高解像度ライブ映像表示モードがＯＦＦとなった場合は、中央処理部３３は、片側ライブ映像表示駆動信号を映像信号処理部３２に送信する（ステップＳ３２）。片側ライブ映像表示駆動信号を受信すると、映像信号処理部３２は、撮像素子制御部３４および時分割光路切り替え手段制御部３５に制御信号を送信し、時分割光路切り替え手段２３が片側に切り替わった状態となる（ステップＳ３３）。これにより、片側ライブ映像表示モードの運用が開始される。
【０１８２】
（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態は、第２実施形態、第３実施形態および第４実施形態の各々について、空間的中間フレーム（正面映像）を生成する際の画像処理が異なるものである。内視鏡装置全体および映像信号処理部内部の構成、先端部（先端光学系）、制御シーケンス、制御フローは、各実施形態と同じである。
【０１８３】
図２１は、本実施形態に係る内視鏡装置における、正面映像生成時における重み付けを説明するための図である。図２１（ａ）は、上述の第２実施形態〜第４実施形態で前提とされていた場合であり、左右の画像の空間的重みづけを１：１として正面映像を生成した場合を示す図である。これにより、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：１となる正面映像Ｃ１が生成される。この場合、真正面の正面画像が生成される。
【０１８４】
図２１（ｂ）は、本実施形態の一例であり、左右の画像の空間的重みづけを２：１として正面映像を生成した場合を示す図である。これにより、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：２となる正面映像Ｃ１が生成される。この場合、左眼映像Ｌ１と右眼映像Ｒ１の中間より左側に寄った正面映像Ｃ１が生成される。このように、本実施形態では、左眼映像Ｌ１および右眼映像Ｒ１に対し、空間的距離に重みを付けて正面映像Ｃ１を生成する。
【０１８５】
図２１（ｃ）は、本実施形態の応用例であり、左右の空間的重みづけを徐々に変更することにより、生成した正面映像を徐々に左側に寄せる処理の流れを示す図である。最初のフレームＣ１では、左右の画像の空間的重みづけを１：１として正面映像を生成し、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：１となる正面映像Ｃ１が生成される。次のフレームＣ２では、左右の画像の空間的重みづけを２：１として正面映像を生成し、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：２となる正面映像Ｃ１が生成される。次のフレームＣ３では、左右の画像の空間的重みづけを４：１として正面映像を生成し、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：４となる正面映像Ｃ１が生成される。次のフレームＣ４では、左右の画像の空間的重みづけを８：１として正面映像を生成し、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：８となる正面映像Ｃ１が生成される。次のフレームＣ５では、左右の画像の空間的重みづけを１６：１として正面映像を生成し、左眼映像Ｌ１からの空間的距離と右眼映像Ｒ１からの空間的距離が１：１６となる正面映像Ｃ１が生成され、正面映像Ｃ１は左眼映像Ｌ１とほぼ重なっている。
【０１８６】
上述の処理を経て、フレームＣ６から後では、左眼映像Ｌ１によるライブ映像に切り替えて表示すると、正面映像と左眼映像をスムーズに切り替える事ができる。すなわち、ライブ映像を見た際に、正面映像と左眼映像の切り替え時の違和感（急にはっと切替わる感覚）を抑えることができる。この方法を用いれば、時分割光路切り替え手段による高速スイッチングを行う必要がない場合に、左眼映像にスムーズに切り替えて消費電力を抑えることができる。
【０１８７】
上述したように、本実施形態によれば、光路切り替え手段を有する内視鏡装置において、正面映像と左眼映像または右眼映像との切り替えをスムーズに行うことができる。これにより、正面映像と左眼映像または右眼映像との切り替え時における違和感（例えば、急に映像が切り替わる感覚）を抑えることができ、ライブ映像の品質を落とすことなく正面映像と左眼映像または右眼映像とを切り替えることができる。正面映像が必要ない場面では、高速切り替えをせず、左眼映像または右眼映像を使用してシステムの消費電力を抑えることができ、正面映像が必要な時に左眼映像または右眼映像から正面映像に切り替えても違和感が生じないという効果がある。
【０１８８】
（第６実施形態）
次に、本発明の第６実施形態について説明する。本実施形態は、上述の第１実施形態〜第５実施形態の各々において、時分割光路切り替え手段２３が何らかの理由により切り替えタイミングで切り替えが完了しなかった際の制御を追加したものである。
【０１８９】
時分割光路切り替え手段は、複数の光路から一つを確実に切り替えできることを前提としている。例えば磁気駆動装置によって駆動する機構の場合は、先端部に物理的なアクチュエータを有し、遮蔽部材を物理的に移動させることにより光路を切り替える。この場合、光路を切り替える制御信号を送っても、例えば、光路切り替え手段の内部が固着して光路の切り替えに失敗するなど、動作不良により光路切り替え手段が正常に動かない可能性がある。また、光路を切り替えなくても、外部からの衝撃で光路が切り替わってしまう恐れがある。
【０１９０】
そこで、本実施形態では、時分割光路切り替え手段２３の切り替えが正しく完了したか否かを判定する切り替え検知部２７を先端部２に搭載する。内視鏡装置全体の他の構成、映像信号処理部内部の構成、および先端光学系の構成は、第１実施形態〜第５実施形態の各々と同様である。
【０１９１】
図２２は本実施形態に係る内視鏡装置の全体構成を示すブロック図である。切り替え検知部２７を先端部２に搭載する点以外は、第１実施形態に係る内視鏡装置の全体構成と同じであるので説明を省略する。なお、図２２および以下の説明では、切り替え検知部２７が先端部２にある例を示しているが、切り替え検知部２７が制御部３０側にある例、すなわち画像処理により切り替え検知を行う例も考えられる。
【０１９２】
切り替え検知部２７は、時分割光路切り替え手段制御部３５から時分割光路切り替え手段２３に送信されるタイミング信号に応じて、時分割光路切り替え手段２３の切り替え状態を検知し、切り換え完了信号（切り替えステータス信号）として映像信号処理部３２へ通知する。 
【０１９３】
図２３は、本実施形態に係る内視鏡装置における映像信号処理部の内部構成を示すブロック図である。なお、図２３は、図６に示す第２実施形態に係る内視鏡装置における映像信号処理部の内部構成とほぼ同じであるが、切り替え検知部２７から映像信号処理部３２内の各構成に切り換え完了信号（切り替えステータス信号）が通知される点が異なる。
【０１９４】
図２４は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理の流れを説明するための図である。図２４において、時分割光路切り替え手段２３における切り替えが失敗している点以外、基本的な正面映像の生成方法は、図７に示す実施形態２の場合と同様である。
【０１９５】
図２４の例では、右眼映像であるフレームＲ１から左眼映像であるフレームＬ２への切り替えが失敗したため（あるいはタイミング信号に間に合わなかったため）、フレームＬ２が欠落している。そのため、フレームＬ０とフレームＬ２とから生成する時間的中間フレームであるフレームＬ１を生成できず、フレームＬ１とフレームＲ１とから生成する空間的中間フレームであるフレームＣ１も生成できない。この場合、フレームＣ１として生成されているフレームＣ０を代用する。
【０１９６】
また、フレームＬ２が欠落しているため、フレームＬ２とフレームＲ２とから生成する空間的中間フレームであるフレームＣ２も生成できない。この場合、フレームＣ２として、生成されているフレームＣ０を代用する。
【０１９７】
このように、フレームＬ２が欠落した場合、２つのフレーム（フレームＣ１とフレームＣ２）を生成できないため、フレームＣ０で代用する。すなわち、切り替え検知部２７から切り換え完了信号が通知されない（あるいは、切り替え失敗状態を通知される）場合、切り替えが失敗した直後の２フレームについては、正常に切り換えが完了していた時の最後の正面ライブ映像を出力する。
【０１９８】
図２５は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の生成処理における制御シーケンスを示す図である。図２５において、入力されない映像信号（Ｌ＃０２）に関する制御以外、基本的な制御シーケンスは、図８に示す実施形態２の場合と同様である。
【０１９９】
時分割光路切り替え手段２３における切り替えが失敗したため（あるいはタイミング信号に間に合わなかったため）、映像信号（Ｌ＃０２）が映像分離部１０２に入力されない。そのため、映像合成部・映像連結部において、本来のタイミングでは正面ライブ映像信号（Ｃ＃０１）および正面ライブ映像信号（Ｃ＃０２）を生成できない。そこで、正面ライブ映像信号（Ｃ＃０１）および正面ライブ映像信号（Ｃ＃０２）は、切り替え失敗直前のフレームの正面ライブ映像信号（Ｃ＃００）で代用する。
【０２００】
図２６は、本実施形態に係る内視鏡装置における、正面ライブ映像信号の制御フローを示す図である。まず、時分割光路切り替え手段制御部３５から送信されるタイミング信号に応じて、制御部３０は、切り替え検知部２７からの切り換え完了信号を受信したか否かを確認する（ステップＳ５１）。
【０２０１】
ステップＳ５１において切り換え完了信号を受信した場合は、当該タイミングで時分割光路切り替え手段２３の切り替えが成功したと判定し、ステップＳ５２に進む。ステップＳ５１において切り換え完了信号を受信しなかった場合は、当該タイミングで時分割光路切り替え手段２３の切り替えが失敗したと判定し、切り換え直前の正面ライブ映像信号を出力する（ステップＳ５５）。
【０２０２】
ステップＳ５２では、当該タイミングの１フレーム前で切り替え信号を受信したか否かを確認する。ステップＳ５２において１フレーム前で切り換え完了信号を受信した場合は、１フレーム前で時分割光路切り替え手段２３の切り替えが成功したと判定し、ステップＳ５３に進む。ステップＳ５２において１フレーム前で切り換え完了信号を受信しなかった場合は、１フレーム前で時分割光路切り替え手段２３の切り替えが失敗したと判定し、切り換え直前の正面ライブ映像信号を出力する（ステップＳ５５）。
【０２０３】
ステップＳ５３では、当該タイミングのライブ映像信号が左眼信号か右眼信号かを確認する。当該タイミングのライブ映像信号が左眼信号である場合は、ライブ映像信号を左眼信号として通常処理し、正面ライブ映像を出力する（ステップＳ５４）。当該タイミングのライブ映像信号が右眼信号である場合は、ライブ映像信号を右眼信号として通常処理し、正面ライブ映像を出力する（ステップＳ５６）。
【０２０４】
ステップＳ５４、ステップＳ５５またはステップＳ５６において、当該タイミングでの正面ライブ映像信号を出力すると、次のタイミング（次のフレーム）の処理に進む。
【０２０５】
上述の各実施形態では、図２および図１０に示すように、第１の対物光学系２１と第２の対物光学系２２の視野方向（撮像エリア）が同じで、左眼に相当する画像と右眼に相当する画像とを得るステレオ計測を行う例を示したが、各実施形態はこれに限らない。各実施形態は、光路（対物光学系）が２つ以上ある全ての場合に適用できる。例えば、図１５に示すように、第１の対物光学系２１の撮像エリアが直視であり、第２の対物光学系２２の撮像エリアが側視である場合にも、上述の各実施形態は適用できる。
【０２０６】
上述の各実施形態において示した本体部に含まれる各構成要素は、それぞれの構成要素に係る機能や処理を説明するためのものである。内視鏡装置において、各実施形態において説明した複数の構成要素に係る機能や処理を、１つの構成が同時に実現してもよい。例えば、図３に示した前段映像処理回路１０１および映像分離部１０２の機能や処理を１つの構成が行ってもよい。
【０２０７】
また、各実施形態において示した本体部や映像信号処理部に含まれる各構成要素、例えば、図３に示した前段映像処理回路１０１、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、左眼映像連結部１０４ａ、右眼映像連結部１０４ｂ、および後段映像処理回路１０５は、それぞれもしくは全体として、１個又は複数のプロセッサ、論理回路、メモリ、入出力インタフェース及びコンピュータ読み取り可能な記録媒体などからなるコンピュータで実現するようにしてもよい。その場合、各構成要素もしくは映像信号処理部や本体部全体の機能を実現するためのプログラムを記録媒体に記録しておき、記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。
【０２０８】
例えば、図１に示した本体部やその一部、映像信号処理部に含まれる前段映像処理回路１０１、映像分離部１０２、左眼映像処理部１０３ａ、右眼映像処理部１０３ｂ、左眼映像連結部１０４ａ、右眼映像連結部１０４ｂ、後段映像処理回路１０５など、内視鏡装置の機能や処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の内視鏡装置に係る上述した種々の機能や処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【０２０９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０２１０】
本明細書において「前、後ろ、上、下、右、左、垂直、水平、縦、横、行および列」などの方向を示す言葉は、本発明の装置におけるこれらの方向を説明するために使用している。従って、本発明の明細書を説明するために使用されたこれらの言葉は、本発明の装置において相対的に解釈されるべきである。
【０２１１】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
【符号の説明】
【０２１２】
１…内視鏡装置、２、７０２…先端部、２１…左眼レンズ（第１の光学系）、２２…右眼レンズ（第２の光学系）、２３…時分割光路切り替え手段（時分割スイッチ、切り替え部）、２４…結像光学系、２５…撮像素子、２６…駆動部、２７…切り替え検知部、３…本体部、３０…制御部、３１…映像信号受信部、３２、２３２、３３２…映像信号処理部、３３…中央処理部、３３ａ…中央処理部（映像関係）、３３ｂ…中央処理部（映像関係以外）、３４…撮像素子制御部、３５…時分割光路切り替え手段制御部、３６…メモリ、３７ａ…ＬＣＤモニタ、３７ｂ…映像表示回路駆動部（ＬＣＤ用）、３７ｃ…映像出力Ｉ／Ｆ、３７ｄ…映像表示回路駆動部（外部出力用）、３８ａ…タッチパネル、３８ｂ…タッチパネル信号入力処理部、３８ｃ…ＵＩ・Ｉ／Ｆ、３８ｄ…ＵＩ信号入力処理部、１０１…前段映像処理回路、１０２…映像分離部、１０３ａ…左眼映像処理部（第１映像処理部、時間的中間フレーム生成部）、１０３ｂ…右眼映像処理部（第２映像処理部、時間的中間フレーム生成部）、１０４…映像連結部、１０４ａ…左眼映像連結部（第１映像連結部）、１０４ｂ…右眼映像連結部（第２映像連結部）、１０５…後段映像処理回路、１０６ａ…第１映像合成部（空間的中間フレーム生成部）、１０６ｂ…第２映像合成部（空間的中間フレーム生成部）、１０７ａ…第１映像クロップ部、１０７ｂ…第２映像クロップ部、１０７ｃ…第３映像クロップ部、１０７ｄ…第４映像クロップ部、７０１…プリズム
【図１】
2019195123.tif 000003
【図２】
2019195123.tif 000004
【図３】
2019195123.tif 000005
【図４】
2019195123.tif 000006
【図５】
2019195123.tif 000007
【図６】
2019195123.tif 000008
【図７】
2019195123.tif 000009
【図８】
2019195123.tif 000010
【図９】
2019195123.tif 000011
【図１０】
2019195123.tif 000012
【図１１】
2019195123.tif 000013
【図１２】
2019195123.tif 000014
【図１３】
2019195123.tif 000015
【図１４】
2019195123.tif 000016
【図１５】
2019195123.tif 000017
【図１６】
2019195123.tif 000018
【図１７】
2019195123.tif 000019
【図１８】
2019195123.tif 000020
【図１９】
2019195123.tif 000021
【図２０】
2019195123.tif 000022
【図２１】
2019195123.tif 000023
【図２２】
2019195123.tif 000024
【図２３】
2019195123.tif 000025
【図２４】
2019195123.tif 000026
【図２５】
2019195123.tif 000027
【図２６】
2019195123.tif 000028
【図２７】
2019195123.tif 000029
【図２８】
2019195123.tif 000030