(57)【特許請求の範囲】
【請求項１】
同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理装置であって、
前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、画像を選択して記録可能な記録用画像選択モードのいずれかを設定するモード設定部と、
前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、
前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記記録用画像選択モードに設定されている場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記境界領域重畳部は、照明光の波長帯域に応じて前記枠画像の色を変えて前記第１画像に重畳する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視差画像または前記二次元画像を、設定された拡大率により拡大するズーム処理部、
をさらに備え、
前記境界領域重畳部は、前記ズーム処理部による拡大率に基づいて前記枠画像を拡大して、前記第１画像に重畳する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記三次元観察モード時に、前記視差画像における前記光学系による像の歪みを補正する歪補正部、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記記録用画像選択モードに設定されている場合に、外部の記録媒体に記録する記録用の画像データを生成する記録用画像データ生成部をさらに備え、
前記記録用画像データ生成部は、前記歪補正部が前記視差画像を補正する際に用いるパラメータよりもデータ量の多いパラメータを、前記画像データと対応付けた前記記録用の画像データを生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記記録用画像選択モードにおいて生成される前記二次元画像の明るさを、前記三次元観察モードにおいて生成される前記視差画像の明るさと異ならせる制御を行う制御部、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
被写体像を結像する光学系と、光学系が結像した光を受光して光電変換する撮像素子とを有し、同一の被写体を異なる方向から撮像した第１および第２画像データを生成する撮像部と、
前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、画像を選択して記録可能な記録用画像選択モードのいずれかを設定するモード設定部と、
前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、
前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記記録用画像選択モードに設定されている場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、
を備えることを特徴とする画像処理システム。
【請求項８】
同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理方法であって、
観察モードが、前記第１画像データをもとに生成される二次元画像を表示装置に表示させ、画像を選択して記録可能な記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳ステップと、
前記観察モードが、前記第１および第２画像データをもとに生成される視差画像を前記表示装置に表示させる三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードに設定されている場合、前記境界領域重畳ステップで生成された画像データをもとに前記二次元画像を生成する表示画像データ生成ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、医療分野等においては、診断や検査の円滑化のために、観察対象を立体画像で観察したいという要望がある。この要望に対し、互いに視差を有する左眼用および右眼用の二つの画像データから視差画像を生成して、立体画像として表示させる技術がある（例えば、特許文献１を参照）。内視鏡および処理装置（プロセッサ）を備える内視鏡システムに特許文献１の技術を適用すれば、内視鏡によって被検体内の左眼用および右眼用の画像データを取得し、プロセッサにおいて、この二つの画像データから視差画像を生成して、被検体内の画像を立体的に表示させることができる。この際、内視鏡には、左眼用の観察像を結像する左眼用光学系と、左眼用光学系が結像した光を受光して画像データを生成する左眼用撮像素子と、右眼用の観察像を結像する右眼用光学系と、右眼用光学系が結像した光を受光して画像データを生成する右眼用撮像素子とが設けられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２２０６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学系を経て得られる画像は、光学系を形成するレンズの光学中心から離れた位置において像に歪みが生じ、離れる距離が大きいほどその歪みが大きくなる。内視鏡システムでは、上述した視差画像を用いて内視鏡から被写体までの距離などの計測を行うことがあり、視差画像において歪みが生じた領域では、計測の精度が低下することがあった。【０００５】
本発明は、上記に鑑みてなされたものであって、計測精度の低下を抑制することができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理装置であって、前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、前記記録用画像選択モードに設定されている場合に、前記第１画像データに基づく第１画像に対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、を備えることを特徴とする。【０００７】
また、本発明にかかる画像処理装置は、上記発明において、前記境界領域重畳部は、照明光の波長帯域に応じて前記枠画像の色を変えて前記二次元画像に重畳することを特徴とする。【０００８】
また、本発明にかかる画像処理装置は、上記発明において、前記視差画像または前記二次元画像を、設定された拡大率により拡大するズーム処理部、をさらに備え、前記境界領域重畳部は、前記ズーム処理部による拡大率に基づいて前記枠画像を拡大して、前記第１画像に重畳することを特徴とする。【０００９】
また、本発明にかかる画像処理装置は、上記発明において、前記三次元観察モード時に、前記視差画像における前記光学系による像の歪みを補正する歪補正部、をさらに備えることを特徴とする。【００１０】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像選択モードに設定されている場合に、前記外部の記録媒体に記録する記録用の画像データを生成する記録用画像データ生成部をさらに備え、前記記録用画像データ生成部は、前記歪補正部が前記視差画像を補正する際に用いるパラメータよりもデータ量の多いパラメータを、前記画像データと対応付けた前記記録用の画像データを生成することを特徴とする。【００１１】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像選択モードにおいて生成される前記二次元画像の明るさを、前記三次元観察モードにおいて生成される前記視差画像の明るさと異ならせる制御を行う制御部、をさらに備えることを特徴とする。【００１２】
また、本発明にかかる画像処理システムは、被写体像を結像する光学系と、光学系が結像した光を受光して光電変換する撮像素子とを有し、同一の被写体を異なる方向から撮像した第１および第２画像データを生成する撮像部と、前記第１および第２画像データをもとに生成される視差画像を表示装置に表示させる三次元観察モード、または、前記第１画像データをもとに生成される二次元画像を前記表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードのいずれかを設定するモード設定部と、前記記録用画像選択モードに設定されている場合に、前記第１画像データに対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、前記三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳部が生成した画像データをもとに前記二次元画像を生成する表示画像データ生成部と、を備えることを特徴とする。【００１３】
また、本発明にかかる画像処理方法は、同一の被写体を異なる方向から撮像した第１および第２画像データを取得して、該第１および第２画像データに画像処理を施す画像処理方法であって、観察モードが、前記第１画像データをもとに生成される二次元画像を表示装置に表示させ、外部の記録媒体に記録させる画像を選択させる記録用画像選択モードに設定されている場合に、前記第１画像データに対して、前記被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳ステップと、前記観察モードが、前記第１および第２画像データをもとに生成される視差画像を前記表示装置に表示させる三次元観察モードに設定されている場合、前記第１および第２画像データに基づいて前記視差画像を生成し、前記観察モードが前記記録用画像選択モードの場合、前記境界領域重畳ステップで生成された画像データをもとに前記二次元画像を生成する表示画像データ生成ステップと、を含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、計測精度の低下を抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。
【図２】図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
【図３】図３は、本発明の一実施の形態にかかる内視鏡システムの信号処理部の構成を説明するブロック図である。
【図４】図４は、本発明の一実施の形態にかかる内視鏡システムの表示装置が表示する画像の一例を示す図である。
【図５】図５は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。
【図６】図６は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含む画像処理システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１７】
（実施の形態）
図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
【００１８】
図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３（プロセッサ）と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。処理装置３には、例えば内視鏡２が撮像した画像に関するデータを記録可能な記録媒体５が電気的に接続されている。記録媒体５は、処理装置３とは異なる装置である計測装置６に着脱自在に接続され、記録しているデータを計測装置６に読み込ませる。また、記録媒体５は、ＵＳＢメモリ等、処理装置３に対して着脱自在に接続されるものにより構成される。なお、図２では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
【００１９】
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００２０】
挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像部２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部２４４によって撮像する。
【００２１】
先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の左眼用光学系２４３ａおよび右眼用光学系２４３ｂと、左眼用光学系２４３ａおよび右眼用光学系２４３ｂの結像位置に設けられ、左眼用光学系２４３ａおよび右眼用光学系２４３ｂが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部２４４と、を有する。
【００２２】
左眼用光学系２４３ａは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの光を結像する。左眼用光学系２４３ａは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
【００２３】
右眼用光学系２４３ｂは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの光を結像する。右眼用光学系２４３ｂによって結像される被写体像は、左眼用光学系２４３ａにより結像される被写体像との間で視差が生じる。右眼用光学系２４３ｂは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
【００２４】
撮像部２４４は、左眼用撮像素子２４４ａと、右眼用撮像素子２４４ｂとを備える。
【００２５】
左眼用撮像素子２４４ａは、処理装置３から受信した駆動信号に従って、左眼用光学系２４３ａからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（左眼用ＲＡＷデータ）を生成する。具体的には、左眼用撮像素子２４４ａは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系２４３ａからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。左眼用撮像素子２４４ａの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
【００２６】
右眼用撮像素子２４４ｂは、処理装置３から受信した駆動信号に従って、右眼用光学系２４３ｂからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（右眼用ＲＡＷデータ）を生成する。具体的には、右眼用撮像素子２４４ｂは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系２４３ｂからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。右眼用撮像素子２４４ｂの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
【００２７】
左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサや、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサを用いて実現される。また、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば３板方式等の複数のイメージセンサを用いて構成されるものであってもよい。
【００２８】
左眼用撮像素子２４４ａにより得られる左眼用画像、および右眼用撮像素子２４４ｂにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。
【００２９】
なお、本実施の形態にかかる撮像部２４４は、左眼用光学系２４３ａおよび右眼用光学系２４３ｂにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する１フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系２４３ａおよび右眼用光学系２４３ｂがそれぞれ結像した光を、左眼用光学系２４３ａおよび右眼用光学系２４３ｂに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。
【００３０】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段や、フリーズ処理等による画面表示制御の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。複数のスイッチ２２３には、後述する計測モードの設定する指示を入力するためのスイッチや、フリーズ指示を入力するためのスイッチなど、スイッチごとに、押下により出力する指示信号がそれぞれ割り当てられている。
【００３１】
また、内視鏡２は、当該内視鏡２の情報を記録するメモリ２２４を有している。このメモリ２２４には、内視鏡２の種別、型番、左眼用撮像素子２４４ａ、右眼用撮像素子２４４ｂの種別等を示す識別情報を記録する。なお、メモリ２２４は、ホワイトバランス（ＷＢ）調整用のパラメータや、内視鏡２の製造時のばらつき補正値等、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。
【００３２】
ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、画像信号を伝送するための信号線や、撮像部２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像部２４４）に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
【００３３】
内視鏡２の処理装置３への装着時、処理装置３との通信処理によって、上述した内視鏡２の情報を処理装置３に出力する。或いは、内視鏡２の情報に対応した規則に従ってコネクタに接続ピンが設けてあり、処理装置３は、内視鏡２の装着時に処理装置３側の接続ピンと内視鏡２側の接続ピンとの接続状態をもとに内視鏡２の接続を認識する場合もある。
【００３４】
次に、処理装置３の構成について説明する。処理装置３は、信号処理部３１と、フレームメモリ３２と、モード設定部３３と、入力部３４と、制御部３５と、記憶部３６と、を備える。
【００３５】
信号処理部３１は、左眼用撮像素子２４４ａから出力された左眼用画像データ（アナログ）、および右眼用撮像素子２４４ｂから出力された右眼用画像データ（アナログ）に対して、信号処理を施して、表示装置４に表示させる表示用画像データや、記録媒体５に記録させる記録用画像データを生成する。信号処理部３１は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサや、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field  Programmable  Gate  Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。信号処理部３１の詳細については後述する。
【００３６】
フレームメモリ３２は、前処理部３１１により生成された画像データを設定されたフレーム分記憶する。本実施の形態では、フレームメモリ３２は、数フレーム分の画像データを記憶する。フレームメモリ３２は、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。フレームメモリ３２は、ＲＡＭ（Random  Access  Memory）、例えばＶＲＡＭ（Video  RAM）を用いて構成される。
【００３７】
モード設定部３３は、スイッチ２２３のうち、モードを設定するスイッチが押下され、モードを設定する旨の指示信号が入力された場合に、信号処理のモードの設定変更を行う。具体的に、本実施の形態では、左眼用画像データおよび右眼用画像データをもとに生成された視差画像を表示装置４に表示する三次元観察モードと、計測装置６において計測を行う画像データを記録媒体５に記録する画像データを選択し、その選択された画像データを記録媒体５に記録させる計測モード（記録用画像選択モード）との設定が可能である。通常、設定モードは三次元観察モードに設定されており、モード設定部３３は、モードを設定する旨の指示信号が入力された場合に、計測モードに設定の変更を行う。モード設定部３３は、ＣＰＵ等の汎用プロセッサや、ＡＳＩＣ、ＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００３８】
入力部３４は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３４は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
【００３９】
制御部３５は、撮像部２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３５は、記憶部３６に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像部２４４へ送信する。
【００４０】
また、制御部３５は、入力部３４が受け付けた指示信号に基づいて、フリーズ処理部３１４によるフリーズ制御またはレリーズ制御を行う。フリーズ制御では、通常よりも長い時間、例えば、数フレームの画像を表示する時間、同じ画像を表示装置４に静止画表示させる制御が行われる。レリーズ制御では、例えば、その指示信号の入力を受け付けたタイミングの画像データを記録媒体５に記録させるための制御が行われる。制御部３５は、ＣＰＵ等の汎用プロセッサや、ＡＳＩＣ、ＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００４１】
記憶部３６は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３６は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
【００４２】
また、記憶部３６は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などによって実現されるものであり、有線、無線を問わない。
【００４３】
以上の構成を有する記憶部３６は、各種プログラム等が予めインストールされたＲＯＭ（Read  Only  Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。
【００４４】
図３は、本発明の一実施の形態にかかる内視鏡システムの信号処理部の構成を説明するブロック図である。信号処理部３１は、前処理部３１１と、歪補正部３１２と、デモザイキング処理部３１３と、フリーズ処理部３１４と、色補正部３１５と、明るさ補正部３１６と、ズーム処理部３１７と、エンハンス処理部３１８と、境界領域重畳部３１９と、表示画像データ生成部３２０と、記録用画像データ生成部３２１と、を有する。
【００４５】
前処理部３１１は、左眼用撮像素子２４４ａから出力された左眼用画像データ（アナログ）、および右眼用撮像素子２４４ｂから出力された右眼用画像データ（アナログ）に対して、黒レベルを決定するＯＢクランプ処理や、ホワイトバランス等の補正処理、ゲイン調整処理、ノイズ除去処理、Ａ／Ｄ変換処理、ノイズ低減処理を施す。前処理部３１１は、三次元観察モード時、上述した信号処理によりＲＧＢの色成分が付与された左眼用画像を含む左眼用画像データ（デジタル）、および右眼用画像を含む右眼用画像データ（デジタル）を生成し、歪補正部３１２およびフレームメモリ３２に出力する。これに対し、前処理部３１１は、計測モード時、上述した信号処理によりＲＧＢの色成分が付与された左眼用画像を含む左眼用画像データ（デジタル）、および右眼用画像を含む右眼用画像データ（デジタル）を生成し、左眼用画像データおよび右眼用画像データのうちの一方（本実施の形態では左眼用画像データ）を歪補正部３１２に出力するとともに、左眼用画像データおよび右眼用画像データをフレームメモリ３２に出力する。以下、左眼用画像データおよび右眼用画像データをまとめて画像データということもある。
【００４６】
歪補正部３１２は、前処理部３１１から入力された左眼用画像データおよび右眼用画像データに対し、歪補正処理を施す。歪補正処理では、例えば、左眼用画像データおよび右眼用画像データを用いて歪曲収差を測定し、左眼用画像データおよび右眼用画像データの歪みがそれぞれ補正される。
【００４７】
デモザイキング処理部３１３は、各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。これにより、各色成分の画像データにおいて、すべての画素位置に画素値（または補間値）が付与される。
【００４８】
フリーズ処理部３１４は、三次元観察モード時に、スイッチ２２３の押下によりフリーズ指示信号の入力を受け付けた場合に、フレームメモリ３２から、表示装置４にフリーズ表示させ、記録媒体５に記録させる画像を選択して色補正部３１５に出力する。また、フリーズ処理部３１４は、計測モード時に、スイッチ２２３の押下によるレリーズ指示信号の入力を受け付けた場合に、左眼用画像を静止画表示させるフリーズ処理を行うとともに、その左眼用画像に対応する記録用の画像データを選択する。具体的に、フリーズ処理部３１４は、フレームメモリ３２に記憶されているフレームのうち最新の左眼用画像データを、表示装置４にフリーズ表示する左眼用画像データを選択して色補正部３１５に出力するとともに、最新のフレームの左眼用画像データおよび右眼用画像データを記録用画像データ生成部３２１に出力する。なお、フリーズ処理部３１４は、レリーズ指示信号の入力を受け付けた場合、左眼用画像のフリーズ処理は行わずに最新の左眼用画像を順次表示し、記録処理をさらに行うようにしてもよい。
【００４９】
フリーズ処理部３１４は、フリーズ指示信号またはレリーズ指示信号の入力を受け付けていない場合は、フレームメモリ３２における所定の画像データ、例えば取得（撮像）時刻が最新の画像データを色補正部３１５に出力する。なお、フリーズ処理部３１４は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、デモザイキング処理部３１３から入力される画像データをフレームメモリ３２に出力する処理のみを行う。フリーズ処理部３１４は、フリーズ処理が解除された後、デモザイキング処理部３１３から新たに入力される画像データを含めて、フレームメモリ３２から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置４に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列的に間があいた画像が表示されることになる。このため、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
【００５０】
フリーズ処理部３１４は、三次元観察モード時には、フレームメモリ３２に記憶されている画像、例えば左眼用画像からぶれの小さい左眼用画像をベストフレームとして選択する。フリーズ処理部３１４は、選択したベストフレームの左眼用画像と右眼用画像とをフレームメモリ３２から取得して、色補正部３１５に出力する。具体的に、フリーズ処理部３１４は、フリーズ指示信号の入力があった際に、フレームメモリ３２に記憶されている複数の左眼用画像のぶれを算出し、算出したぶれに基づいてベストフレームを選択してもよいし、前処理部３１から画像データが入力される都度、この画像データに応じた左眼用画像のぶれを算出して、算出したぶれと当該左眼用画像のフレーム番号とを対応付けてフレームメモリ３２に記憶させるものであってもよい。画像のぶれは、公知の算出方法を用いて算出される。
【００５１】
色補正部３１５は、フリーズ処理部３１４から入力される画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、例えば、内視鏡２、処理装置３および表示装置４の間の色を統一的に管理する。色補正部３１５は、ＣＭＳ（Color  Management  System）を用いて構成される。
【００５２】
明るさ補正部３１６は、色補正部３１５から入力される画像データに対して、明るさ補正処理を施す。具体的に、明るさ補正部３１６は、左眼用画像データおよび右眼用画像データに対して、予め設定されているγ値を用いて、輝度の小さい暗い部分の明るさを明るくする階調補正を行う。
【００５３】
ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像または視差画像のサイズを大きくする処理を施す。ズーム処理３１７による拡大処理は、画像の外縁が、後述する画像表示領域Ｒ2内に収まる範囲内で可能である。また、設定により拡大できないようにすることも可能である。ズーム処理の可否は、例えば入力部３４を介して切り替え可能としてもよい。
【００５４】
エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データおよび右眼用画像データに対し、輪郭強調処理を施す。これにより、輪郭がより明確に表現された画像データが生成される。
【００５５】
境界領域重畳部３１９は、計測モード時において、左眼用画像に、境界領域を示す枠画像を重畳する。この枠画像は、枠の内部では計測精度が保証されることを案内する画像である。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。枠画像における枠の色は、照明光の波長帯域によって異なっていることが好ましい。例えば、青色、緑色および赤色の波長帯域を含む白色の照明光により照明される場合、枠の色は緑色とし、青色の狭帯域、および緑色の狭帯域からなる狭帯域光により照明される場合、枠の色は赤色とする。狭帯域による照明を行う場合、例えば、枠の色を、狭帯域が含まれる色の補色とすることが、枠の視認性の観点で好ましい。この際、境界領域重畳部３１９は、計測モード時に、出射されている照明光の波長帯域から枠の色を選択して、選択した色の枠画像を左眼用画像に重畳する。
【００５６】
図４は、本発明の一実施の形態にかかる内視鏡システムの表示装置が表示する画像の一例を示す図である。図４では、計測モード時の画像を示している。表示装置４の表示画像Ｗは、被検体や内視鏡の設定などの情報を表示する情報表示領域Ｒ1と、信号処理部３１により生成された画像を表示する画像表示領域Ｒ2とを有する。画像表示領域Ｒ2には、三次元観察モードでは視差画像が表示され、計測モードでは左眼用画像Ｇに枠画像Ｑが重畳された画像が表示される。
【００５７】
ユーザは、計測装置６で計測する部分（計測部位）が枠画像Ｑの内部に位置するように調整し、調整後の画像を記録媒体５に記録させる。このように記録された画像を計測装置６にて計測することによって、光学系の歪みの影響の少ない計測が行われることになる。
【００５８】
表示画像データ生成部３２０は、三次元観察モード時、画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。具体的に、表示画像データ生成部３２０は、予め設定されているシフト量に基づいて右眼用画像と左眼用画像とを相対的にシフトさせて、表示用の画像信号を生成する。三次元観察モード時に表示画像データ生成部３２０が生成する視差画像は、三次元座標系で表現される画像となる。
【００５９】
ここで、表示画像データ生成部３２０が生成する視差画像について、図５を参照して説明する。図５は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。表示画像データ生成部３２０は、図５に示すように、左眼用画像ＩＭLにおける水平ラインのライン画像ＤLと、右眼用画像ＩＭRの水平ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置することによって視差画像ＩＭDを生成する。具体的に、表示画像データ生成部３２０は、左眼用画像ＩＭLが有する奇数ラインのライン画像ＤLと、右眼用画像ＩＭRが有する偶数ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置する。このような視差画像ＩＭDは、ラインバイライン画像ともいわれる。ここでいう水平ラインとは、複数の画素がマトリックス状に配置された撮像素子において、一方の配列方向に沿って配置されている画素が形成するラインに相当する。
【００６０】
これに対し、表示画像データ生成部３２０は、計測モード時、枠画像が重畳された左眼用画像データに対し、表示装置４で表示可能な態様の信号となるように信号処理を施して、表示用の画像信号を生成する。計測モード時に表示用画像生成部３４が生成する表示用の左眼用画像は、二次元座標系で表現される被写体画像となる。
【００６１】
表示画像データ生成部３２０は、上述した視差画像データ、または左眼用画像データを、上述した画像表示領域Ｒ2に配置し、情報表示領域Ｒ1とともに表示装置４に表示させる表示用画像データを生成する（例えば、図４参照）。表示画像データ生成部３２０は、生成した表示用画像の画像データを表示装置４に送信する。
【００６２】
また、表示用画像生成部３４は、入力される画像データがフリーズ対象の画像データである場合は、予め設定されている期間、例えば、数フレームの画像を表示する期間、表示装置４に対象の画像を静止画表示させる。
【００６３】
記録用画像データ生成部３２１は、前処理部３１１による前処理後の画像データであって、かつ歪補正等の処理が施されていない画像データ（左眼用画像データおよび右眼用画像データ）と、歪補正処理以降の処理に要するパラメータとを関連付けた記録用データを生成する。記録用画像データ生成部３２１は、例えば、フリーズ処理部３１４によって選択された前処理後の左眼用画像データおよび右眼用画像データと、歪補正用のパラメータ、ズーム処理等のパラメータ、および内視鏡２の固有情報などとを記録媒体５に記録させる。記録用画像データ生成部３２１が記録媒体５に記録する歪補正用のパラメータは、歪補正部３１２が用いる歪補正用のパラメータよりもデータ量が大きい高精度に歪補正可能なパラメータである。この際、パラメータや内視鏡２の固有情報は、画像データのヘッダ部分等に埋め込むようにしてもよいし、画像データとは別に、該画像データと対応付けたテキストファイルとして記録するようにしてもよい。
【００６４】
なお、記録用画像データ生成部３２１は、フリーズ処理部３１４が選択した画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、これを記録用の画像データとする。視差画像としては、上述したラインバイライン画像や、左眼用画像と右眼用画像とを水平ラインの方向に並べたサイドバイサイド画像、左眼用画像と右眼用画像とを垂直ラインの方向に並べたトップアンドボトム画像が挙げられる。この際、パラメータや内視鏡２の固有情報は、ラインバイライン化した視差画像のヘッダ部分等に埋め込むようにしてもよいし、画像データとは別に、該画像データと対応付けたテキストファイルとして記録するようにしてもよい。
【００６５】
続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。
【００６６】
光源３０１ａは、白色光を出射する光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。本実施の形態では、白色光を出射するものとして説明するが、ＮＢＩ観察を行うため、光源３０１ａが、青色の狭帯域の光（例えば３９０ｎｍ〜４４５ｎｍ）および緑色の狭帯域の光（例えば５３０ｎｍ〜５５０ｎｍ）からなる狭帯域光を照明光として出射するようにしてもよいし、白色光と狭帯域光とを切り替え可能としてもよい。また、光源３０１ａは、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかを用いて実現される。
【００６７】
光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電力を供給することにより、光源３０１ａに照明光を出射させる。
【００６８】
照明制御部３０２は、制御部３５からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。
【００６９】
表示装置４は、映像ケーブルを介して処理装置３（表示用画像生成部３４）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro  Luminescence）等のモニタを用いて構成される。
【００７０】
計測装置６は、記録媒体５からデータを読み込んで記録用画像データ生成部３２１が生成したデータを取得し、取得した画像データおよびパラメータから視差画像を生成して、該視差画像を表示する。計測装置６では、視差画像において指定された位置について、内視鏡２から被写体までの距離を計測する。ユーザが、表示された画像に対して入力部３４等を介して計測する箇所を指示することによって、計測装置６が、計測点における距離の計測を行う。計測方法は、ステレオ計測（例えば三角測量）等、公知の方法により計測することができる。
【００７１】
続いて、内視鏡システム１が行う画像処理について説明する。図６は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部３５の制御のもと、各部が動作するものとして説明する。
【００７２】
まず、処理装置３が、内視鏡２から画像データを受信する（ステップＳ１０１）。制御部３５は、設定モードが計測モードに設定されているか否かを判断する（ステップ１０２）。制御部３５は、計測モードに設定されていない、すなわち三次元観察モードである場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。一方、制御部３５は、設定モードが計測モードである場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１１３に移行する。
【００７３】
ステップＳ１０３において、前処理部３１１は、受信した画像データ（左眼用画像データおよび右眼用画像データ）に対して上述した前処理を施して、処理後の画像データを歪補正部３１２およびフレームメモリ３２に出力する。
【００７４】
ステップＳ１０３に続くステップＳ１０４において、歪補正部３１２は、前処理部３１１から入力された左眼用画像データおよび右眼用画像データに対し、歪補正処理を施す。歪補正部３１２は、左眼用画像データおよび右眼用画像データの歪みを色成分ごとに補正する。歪補正部３１２は、歪補正後の左眼用画像データおよび右眼用画像データをデモザイキング処理部３１３に出力する。
【００７５】
ステップＳ１０４に続くステップＳ１０５において、デモザイキング処理部３１３は、各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。デモザイキング処理部３１３は、補間処理後の画像データを、フリーズ処理部３１４を介して色補正部３１５に出力する。
【００７６】
ステップＳ１０５に続くステップＳ１０６において、フリーズ処理部３１４は、スイッチ２２３の押下によってフリーズ指示が入力されたか否かを判断する。フリーズ処理部３１４は、フリーズ指示が入力されたと判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に移行する。これに対し、フリーズ処理部３１４は、フリーズ指示が入力されていないと判断すると（ステップＳ１０６：Ｎｏ）、フレームメモリ３２に記憶されている最新のフレームの画像データ（左眼用画像データおよび右眼用画像データ）を色補正部３１５に出力し、ステップＳ１０８に移行する。
【００７７】
ステップＳ１０７において、フリーズ処理部３１４は、フレームメモリ３２に記憶されている画像、例えば左眼用画像からぶれの小さい左眼用画像をベストフレームとして選択する。フリーズ処理部３１４は、選択したベストフレームの画像データ（左眼用画像データおよび右眼用画像データ）を色補正部３１５に出力する。
【００７８】
ステップＳ１０８において、色補正部３１５は、フリーズ処理部３１４から入力された画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、例えば、表示装置４の色空間に合わせて画像データの色空間を変換する。色補正部３１５は、変換後の画像データを、明るさ補正部３１６に出力する。
【００７９】
ステップＳ１０８に続くステップＳ１０９において、明るさ補正部３１６は、左眼用画像データおよび右眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の画像データをズーム処理部３１７に出力する。
【００８０】
ステップＳ１０９に続くステップＳ１１０において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データおよび右眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の画像データをエンハンス処理部３１８に出力する。
【００８１】
ステップＳ１１０に続くステップＳ１１１において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データおよび右眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の画像データを、境界領域重畳部３１９を介して表示画像データ生成部３２０に出力する。
【００８２】
ステップＳ１１１に続くステップＳ１１２において、表示画像データ生成部３２０は、画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
【００８３】
一方、ステップＳ１１３において、前処理部３１１は、受信した画像データ（左眼用画像データおよび右眼用画像データ）に対して上述した前処理を施して、前処理後の左眼用画像データを、歪補正部３１２を介してデモザイキング処理部３１３に出力するとともに、前処理後の左眼用画像データおよび右眼用画像データをフレームメモリ３２に出力する。この際に、デモザイキング処理部３１３およびフレームメモリ３２に出力される画像データは、歪補正が施されていないデータである。
【００８４】
ステップＳ１１３に続くステップＳ１１４において、デモザイキング処理部３１３は、左眼用画像データの各色成分の画像データにおいて、欠落している画素値を、その周辺の画素値を用いて補間する。デモザイキング処理部３１３は、補間処理後の左眼用画像データを、フリーズ処理部３１４に出力する。
【００８５】
ステップＳ１１４に続くステップＳ１１５において、フリーズ処理部３１４は、スイッチ２２３の押下によってレリーズ指示が入力されたか否かを判断する。フリーズ処理部３１４は、レリーズ指示が入力されたと判断すると（ステップＳ１１５：Ｙｅｓ）、フレームメモリ３２に記憶されている最新のフレームの左眼用画像データを色補正部３１５に出力するとともに、最新のフレームの画像データ(左眼用画像データおよび右眼用画像データ）を記録用画像データ生成部３２１に出力し、ステップＳ１１６およびステップＳ１２２に移行する。これに対し、フリーズ処理部３１４は、レリーズ指示が入力されていないと判断すると（ステップＳ１１５：Ｎｏ）、最新のフレームの左眼用画像データを色補正部３１５に出力し、ステップＳ１２４に移行する。
【００８６】
ステップＳ１１５に続くステップＳ１１６において、色補正部３１５は、フリーズ処理部３１４から入力された左眼用画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、変換後の画像データを、明るさ補正部３１６に出力する。
【００８７】
ステップＳ１１６に続くステップＳ１１７において、明るさ補正部３１６は、左眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の左眼用画像データをズーム処理部３１７に出力する。
【００８８】
ステップＳ１１７に続くステップＳ１１８において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の左眼用画像データをエンハンス処理部３１８に出力する。
【００８９】
ステップＳ１１８に続くステップＳ１１９において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の左眼用画像データを境界領域重畳部３１９に出力する。
【００９０】
ステップＳ１１９に続くステップＳ１２０において、境界領域重畳部３１９は、左眼用画像に、境界領域を示す枠画像を重畳する（例えば、図４参照）。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。この際、境界領域重畳部３１９は、照明光の波長帯域が複数パターン存在する場合、出射されている照明光の波長帯域から枠の色を選択して、選択した色の枠画像を左眼用画像に重畳する。境界領域重畳部３１９は、重畳処理後の重畳画像データを表示画像データ生成部３２０に出力する。
【００９１】
ステップＳ１２０に続くステップＳ１２１において、表示画像データ生成部３２０は、重畳画像データに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
【００９２】
また、ステップＳ１１６〜Ｓ１２１と並行して、記録用画像データ生成部３２１が、記録媒体５に記録させる記録用の画像データの生成を行う（ステップＳ１２２）。記録用画像データ生成部３２１は、フリーズ処理部３１４により選択された最新のフレームの左眼用画像データおよび右眼用画像データに、歪補正処理以降の処理に要するパラメータを関連付けた記録用データを生成する。
【００９３】
ステップＳ１２２に続くステップＳ１２３において、記録用画像データ生成部３２１は、ステップＳ１２２において生成された記録用データを記録媒体５に記録させる処理を行う。制御部３５は、記録媒体５への記録後、ステップＳ１３０に移行する。
【００９４】
一方、ステップＳ１２４において、色補正部３１５は、フリーズ処理部３１４から入力された左眼用画像データに対して、機器間で異なる色を統一的に管理する。色補正部３１５は、変換後の左眼用画像データを、明るさ補正部３１６に出力する。
【００９５】
ステップＳ１２４に続くステップＳ１２５において、明るさ補正部３１６は、左眼用画像データに対して、明るさ補正処理を施す。明るさ補正部３１６は、明るさ補正処理後の左眼用画像データをズーム処理部３１７に出力する。
【００９６】
ステップＳ１２５に続くステップＳ１２６において、ズーム処理部３１７は、予め設定された拡大率、または入力部３４を介して入力された拡大率に応じて、左眼用画像データのサイズを大きくする処理を施す。ズーム処理部３１７は、ズーム処理後の左眼用画像データをエンハンス処理部３１８に出力する。
【００９７】
ステップＳ１２６に続くステップＳ１２７において、エンハンス処理部３１８は、ズーム処理部３１７によるズーム処理後の左眼用画像データに対し、輪郭強調処理を施す。エンハンス処理部３１８は、エンハンス処理後の左眼用画像データを境界領域重畳部３１９に出力する。
【００９８】
ステップＳ１２７に続くステップＳ１２８において、境界領域重畳部３１９は、左眼用画像に、境界領域を示す枠画像を重畳する（例えば、図４参照）。境界領域重畳部３１９は、記憶部３６に予め記憶されている枠画像と、ズーム処理部３１７が処理を施した拡大率とを用いて、重畳する枠画像のサイズを変更し、変更後の枠画像を左眼用画像に重畳する。境界領域重畳部３１９は、重畳処理後の重畳画像データを表示画像データ生成部３２０に出力する。
【００９９】
ステップＳ１２８に続くステップＳ１２９において、表示画像データ生成部３２０は、重畳画像データに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像データを生成する。制御部３５は、表示用の画像データが生成されると、ステップＳ１３０に移行する。
【０１００】
ステップＳ１３０において、表示画像データ生成部３２０は、制御部３５の制御のもと、ステップＳ１１２で生成した視差画像を含む表示画像、ステップＳ１２１で生成した左眼用画像を含む表示画像、またはステップＳ１２９で生成した左眼用画像を含む表示画像を、表示装置４に表示させる。
【０１０１】
なお、ステップＳ１２３における記録処理と、ステップＳ１３０における表示処理とは、ステップＳ１３０を先に行ってもよいし、同時に行うようにしてもよい。
【０１０２】
上述した本発明の一実施の形態によれば、計測モード時に、内視鏡２により取得された画像に枠画像を重畳して表示するようにしたので、ユーザが、計測した箇所を枠画像の内部に位置するように調整し、調整後の画像を記録媒体５に記録させることができる。この結果、計測装置６において計測を行う際に、計測精度が保証された領域に計測箇所が位置している状態で計測が行われるため、計測精度の低下を抑制することができる。
【０１０３】
また、上述した本実施の形態によれば、計測モード時、枠画像の重畳処理をエンハンス処理よりも後段で行うようにした。例えば、エンハンス処理よりも前に枠画像を重畳すると、重畳後のエンハンス処理によって、枠画像に強調処理が施され、不自然な画像となる場合があった。本実施の形態によれば、重畳した枠画像が不自然に強調されていない表示用の画像を生成することができる。なお、枠画像が強調されても視認性等が確保されれば、エンハンス処理前に枠画像を重畳するようにしてもよい。
【０１０４】
また、上述した本実施の形態によれば、計測モード時、左眼用画像をもとに二次元の表示画像を生成する際、歪補正を行わないようにした。これにより、計測モードにおいて、ユーザが二次元画像を観察する際の疲労感を低減させることができる。
【０１０５】
なお、上述した本実施の形態において、計測モード時の照明光の光量を、三次元観察モード時の照明光の光量よりも小さくするようにしてもよい。制御部３５は、上述したフローチャートのステップＳ１０２において、計測モードに設定されていると判断された場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１１３に移行する際に照明光の光量を小さくする制御を行う。また、照明光の光量を小さくせずに、明るさ補正用のパラメータを、三次元画像データを生成する際に用いる明るさ補正のパラメータよりも出力値が小さいものにしてもよい。計測モード時の画像の明るさを、三次元観察モード時の明るさよりも暗めにすることによって、計測対象のハレーションを抑制して、一層確実に計測することが可能となる。
【０１０６】
また、上述した本実施の形態では、フリーズ処理部３１４が、三次元観察モード時にはぶれの小さいベストフレームを選択し、計測モード時には、最新のフレームを選択するものとして説明したが、これに限らない。例えば、フリーズ処理部３１４は、三次元観察モード時に最新のフレームを選択するようにしてもよいし、計測モード時にベストフレームを選択するようにしてもよい。
【０１０７】
また、上述した実施の形態では、記録用画像データ生成部３２１が、画像データと、歪補正などのパラメータ、および内視鏡２の固有情報とを対応付けて、記録媒体５に記録させるものとして説明したが、内視鏡２の固有情報を含まないデータを記録用のデータとしてもよい。なお、記録用のデータが内視鏡２の固有情報を有していれば、計測装置６において、内視鏡２の固有のばらつき情報を加味した計測処理を行うことが可能である。
【０１０８】
また、上述した実施の形態では、視差画像が、ラインバイライン画像であるものを例に説明したが、これに限らず、視差を有する画像、例えば、左眼用画像ＩＭLと、右眼用画像ＩＭRとを水平ラインの方向に並べたサイドバイサイド画像や、垂直ラインの方向に並べたトップアンドボトム画像であってもよい。また、一枚の視差画像に限らず、例えばフレームシーケンシャル方式のように、左眼用画像と、右眼用画像とを交互に出力して、記録媒体５に記録させるようにしてもよい。
【０１０９】
また、上述した実施の形態では、撮像部２４４が照明光による反射光を受光する同時式の照明／撮像方式であるものを前提に説明したが、光源部３ａが、各色成分の波長帯域の光を個別に順次出射して、撮像部２４４が、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。
【０１１０】
また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。
【０１１１】
また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。
【０１１２】
また、上述した実施の形態では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
【０１１３】
また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic  View  Finder）に映像を出力する場合にも適用可能である。
【産業上の利用可能性】
【０１１４】
以上のように、本発明にかかる画像処理装置、画像処理システムおよび画像処理方法は、計測精度の低下を抑制するのに有用である。
【符号の説明】
【０１１５】
１  内視鏡システム
２  内視鏡
３  処理装置
３ａ  光源部
４  表示装置
５  記録媒体
６  計測装置
２１  挿入部
２２  操作部
２３  ユニバーサルコード
２４  先端部
２５  湾曲部
２６  可撓管部
３１  信号処理部
３２  フレームメモリ
３３  モード設定部
３４  入力部
３５  制御部
３６  記憶部
３０１  照明部
３０２  照明制御部
３１１  前処理部
３１２  歪補正部
３１３  デモザイキング処理部
３１４  フリーズ処理部
３１５  色補正部
３１６  明るさ補正部
３１７  ズーム処理部
３１８  エンハンス処理部
３１９  境界領域重畳部
３２０  表示画像データ生成部
３２１  記録用画像データ生成部
【要約】
本発明にかかる画像処理装置は、三次元観察モードまたは記録用画像選択モードのいずれかに設定するモード設定部と、観察モードが記録用画像選択モードの場合に、第１画像データに基づく第１画像に対して、被写体の像を結像する光学系に基づいて大きさが設定される境界領域を示す枠画像を重畳する境界領域重畳部と、三次元観察モードに設定されている場合、第１および第２画像データに基づいて視差画像を生成し、記録用画像選択モードに設定されている場合、境界領域重畳部が生成した画像データをもとに二次元画像を生成する表示画像データ生成部と、を備える。【図１】
0006503522.tif 000002
【図２】
0006503522.tif 000003
【図３】
0006503522.tif 000004
【図４】
0006503522.tif 000005
【図５】
0006503522.tif 000006
【図６】
0006503522.tif 000007