(57)【要約】  本発明にかかる画像処理装置は、同一の被写体を異なる方向から撮像した第１および第２画像をもとに視差画像を生成する画像処理装置であって、第１および第２画像に基づいて、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、表示用画像生成部によるズーム処理前の第１および第２画像に基づいて、外部の記録媒体に記録する記録用の画像を生成する記録用画像生成部と、を備える。
2018079387.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を異なる方向から撮像した第１および第２画像をもとに視差画像を生成する画像処理装置であって、
前記第１および第２画像に基づいて、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、
前記表示用画像生成部による前記ズーム処理前の前記第１および第２画像に基づいて、外部の記録媒体に記録する記録用の画像を生成する記録用画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記視差画像をフリーズ表示しつつ、該フリーズ表示した視差画像を記録する旨の指示を受け付けた場合に、各々が前記第１および第２画像からなる複数組のなかから、フリーズ対象の前記第１および第２画像を選択するフリーズ処理部、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記録用画像生成部は、前記フリーズ処理部により選択された前記第１および第２画像に基づいて前記記録用の画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記記録用画像生成部は、前記記録用の画像と、前記視差画像を入力する内視鏡に記録されている情報とを前記外部の記録媒体に記録させる
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１および第２画像に対し、前処理として少なくともＯＢクランプ処理およびホワイトバランス処理を施す前処理部、
をさらに備え、
前記記録用画像生成部は、前記前処理部による前処理後の前記第１および第２画像に基づいて前記記録用の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記記録用画像生成部は、前記記録用の画像に関する画像処理のパラメータを、該記録用の画像とともに前記外部の記録媒体に記録させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示用画像生成部は、前記第１および第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１および第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記表示用の視差画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記記録用画像生成部は、前記第１および第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１および第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記記録用の画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
同一の被写体を異なる方向から撮像することによって第１および第２画像を含む画像データを生成する撮像部と、
前記第１および第２画像に基づいて、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、前記表示用画像生成部による前記ズーム処理前の前記第１および第２画像に基づいて、外部の記録媒体に記録する記録用の画像を生成する記録用画像生成部と、を有する画像処理装置と、
を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理システムに関する。
【背景技術】
【０００２】
近年、被写体を撮像して、互いに視差を有する左眼用と右眼用の二つの画像データから立体画像を取得する画像作成方法が知られている。医療分野等において使用される内視鏡と処理装置（プロセッサ）とが着脱可能である内視鏡システムにおいては、診断や検査の円滑化のために、観察対象を立体画像で観察したいという要求がある。この要求にこたえるための技術として、左眼用および右眼用の二つの光学系と、各光学系からの光を受光する撮像素子とを備えた内視鏡が知られている（例えば、特許文献１を参照）。この内視鏡が装着されたプロセッサは、装着された内視鏡から左眼用および右眼用の二つの画像データを受信し、この二つの画像データから視差画像を生成する。【０００３】
内視鏡システムでは、上述した視差画像を用いて、内視鏡から被写体までの距離計測を行うことがある。この際、プロセッサから視差画像のデータをＵＳＢメモリなどの記録媒体に記録し、別の計測装置がＵＳＢメモリに記録されたデータを読み込んで計測処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１４０５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のプロセッサでは、表示用にズーム処理等が施されたデータが記録されたＵＳＢメモリを介して計測用のデータが入力されていた。このＵＳＢメモリに記録されているデータは、ズーム処理等の画像処理によって引き伸ばしや間引き処理等が施されており、撮像素子から出力されるデータ、例えばＲＡＷデータと比して情報量が小さくなっている。このようなデータを用いて距離計測処理を行うと、計測精度が低下してしまうという問題があった。【０００６】
本発明は、上記に鑑みてなされたものであって、記録媒体に記録したデータを用いて距離計測処理を行う場合に、計測精度の低下を抑制することができる画像処理装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、同一の被写体を異なる方向から撮像した第１および第２画像をもとに視差画像を生成する画像処理装置であって、前記第１および第２画像に基づいて、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、前記表示用画像生成部による前記ズーム処理前の前記第１および第２画像に基づいて、外部の記録媒体に記録する記録用の画像を生成する記録用画像生成部と、を備えることを特徴とする。【０００８】
また、本発明にかかる画像処理装置は、上記発明において、前記視差画像をフリーズ表示しつつ、該フリーズ表示した視差画像を記録する旨の指示を受け付けた場合に、各々が前記第１および第２画像からなる複数組のなかから、フリーズ対象の前記第１および第２画像を選択するフリーズ処理部、をさらに備えることを特徴とする。【０００９】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像生成部は、前記フリーズ処理部により選択された前記第１および第２画像に基づいて前記記録用の画像を生成することを特徴とする。【００１０】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像生成部は、前記記録用の画像と、前記視差画像を入力する内視鏡に記録されている情報とを前記外部の記録媒体に記録させることを特徴とする。【００１１】
また、本発明にかかる画像処理装置は、上記発明において、前記第１および第２画像に対し、前処理として少なくともＯＢクランプ処理およびホワイトバランス処理を施す前処理部、をさらに備え、前記記録用画像生成部は、前記前処理部による前処理後の前記第１および第２画像に基づいて前記記録用の画像を生成することを特徴とする。【００１２】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像生成部は、前記記録用の画像に関する画像処理のパラメータを、該記録用の画像とともに前記外部の記録媒体に記録させることを特徴とする。【００１３】
また、本発明にかかる画像処理装置は、上記発明において、前記表示用画像生成部は、前記第１および第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１および第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記表示用の視差画像として生成することを特徴とする。【００１４】
また、本発明にかかる画像処理装置は、上記発明において、前記記録用画像生成部は、前記第１および第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１および第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記記録用の画像として生成することを特徴とする。【００１５】
また、本発明にかかる画像処理システムは、同一の被写体を異なる方向から撮像することによって第１および第２画像を含む画像データを生成する撮像部と、前記第１および第２画像に基づいて、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、前記表示用画像生成部による前記ズーム処理前の前記第１および第２画像に基づいて、外部の記録媒体に記録する記録用の画像を生成する記録用画像生成部と、を有する画像処理装置と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、記録媒体に記録したデータを用いて距離計測処理を行う場合に、計測精度の低下を抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。
【図２】図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
【図３】図３は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。
【図４】図４は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含む画像処理システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１９】
（実施の形態）
図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
【００２０】
図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３（プロセッサ）と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。処理装置３には、例えば内視鏡２が撮像した画像に関するデータを記録可能な記録媒体５が電気的に接続されている。記録媒体５は、処理装置３とは異なる装置である計測装置６と着脱自在に接続され、記録しているデータを計測装置６に読み込ませる。また、記録媒体５は、ＵＳＢメモリ等、処理装置３に対して着脱自在に接続されるものにより構成される。なお、図２では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
【００２１】
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００２２】
挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像部２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織等の被写体を撮像部２４４によって撮像する。
【００２３】
先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の左眼用光学系２４３ａおよび右眼用光学系２４３ｂと、左眼用光学系２４３ａおよび右眼用光学系２４３ｂの結像位置に設けられ、左眼用光学系２４３ａおよび右眼用光学系２４３ｂが集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像部２４４と、を有する。
【００２４】
左眼用光学系２４３ａは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの入射光を結像する。左眼用光学系２４３ａは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
【００２５】
右眼用光学系２４３ｂは、一または複数のレンズを用いて構成され、撮像部２４４の前段に設けられて被写体からの入射光を、左眼用光学系２４３ａとは視差を有して結像する。右眼用光学系２４３ｂは、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有するものであってもよい。
【００２６】
撮像部２４４は、左眼用撮像素子２４４ａと、右眼用撮像素子２４４ｂとを備える。
【００２７】
左眼用撮像素子２４４ａは、処理装置３から受信した駆動信号に従って、左眼用光学系２４３ａからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（左眼用ＲＡＷデータ）を生成する。具体的には、左眼用撮像素子２４４ａは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が左眼用光学系２４３ａからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。左眼用撮像素子２４４ａの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
【００２８】
右眼用撮像素子２４４ｂは、処理装置３から受信した駆動信号に従って、右眼用光学系２４３ｂからの光を光電変換して、一枚の画像を構成する１フレーム分の電気信号（右眼用ＲＡＷデータ）を生成する。具体的には、右眼用撮像素子２４４ｂは、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサ等をそれぞれ有する複数の画素がマトリックス状に配列され、各画素が右眼用光学系２４３ｂからの光を光電変換して電気信号を生成し、複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、ＲＡＷデータである画像信号として出力する。右眼用撮像素子２４４ｂの受光面には、例えばカラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。
【００２９】
左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサや、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサを用いて実現される。また、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂは、各々、単板のイメージセンサを用いて構成されるものであってもよいし、例えば３板方式等の複数のイメージセンサを用いて構成されるものであってもよい。
【００３０】
左眼用撮像素子２４４ａにより得られる左眼用画像、および右眼用撮像素子２４４ｂにより得られる右眼用画像は、共通の被写体が写った異なる視野の画像であって、かつ視差を有する画像である。
【００３１】
なお、本実施の形態にかかる撮像部２４４は、左眼用光学系２４３ａおよび右眼用光学系２４３ｂにそれぞれ対応する二つの撮像素子を有するものとして説明するが、一枚の画像を構成する１フレーム分の電気信号を生成する。なお、本実施の形態では、左眼用光学系２４３ａおよび右眼用光学系２４３ｂがそれぞれ結像した光を、左眼用光学系２４３ａおよび右眼用光学系２４３ｂに応じて二つの撮像素子により受光するものとして説明するが、同一の撮像素子によって受光領域を分けて受光するようにしてもよい。
【００３２】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段や、フリーズ処理等による画面表示制御の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。複数のスイッチ２２３には、後述するレリーズ指示を入力するためのスイッチや、フリーズ指示を入力するためのスイッチなどが、独立して設けられている。
【００３３】
ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、画像信号を伝送するための信号線や、撮像部２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像部２４４）に関する固有情報等を含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
【００３４】
また、内視鏡２は、当該内視鏡２の情報を記録するメモリ２２４を有している。このメモリ２２４には、内視鏡２の種別、型番、左眼用撮像素子２４４ａ、右眼用撮像素子２４４ｂの種別等を示す識別情報を記録する。なお、メモリ２２４は、ホワイトバランス（ＷＢ）調整用のパラメータや、内視鏡２の製造時のばらつき補正値等、左眼用撮像素子２４４ａおよび右眼用撮像素子２４４ｂが撮像した画像データに対する画像処理用の各種パラメータを記録していてもよい。
【００３５】
内視鏡２の処理装置３への装着時、処理装置３との通信処理によって、上述した内視鏡２の情報を処理装置３に出力する。或いは、内視鏡２の情報に対応した規則に従ってコネクタに接続ピンが設けてあり、処理装置３は、内視鏡２の装着時に処理装置３側の接続ピンと内視鏡２側の接続ピンとの接続状態をもとに内視鏡２の接続を認識する場合もある。
【００３６】
次に、処理装置３の構成について説明する。処理装置３は、前処理部３１と、フリーズ処理部３２と、フレームメモリ３３と、表示用画像生成部３４と、記録用画像生成部３５と、入力部３６と、制御部３７と、記憶部３８と、を備える。
【００３７】
前処理部３１は、左眼用撮像素子２４４ａから出力された左眼用画像データ（アナログ）、および右眼用撮像素子２４４ｂから出力された右眼用画像データ（アナログ）に対して、黒レベルを決定するＯＢクランプ処理や、ホワイトバランス等の補正処理、ゲイン調整処理、ノイズ除去処理、Ａ／Ｄ変換処理、デモザイキング処理を施す。前処理部３１は、上述した信号処理によりＲＧＢの色成分が付与された左眼用画像を含む左眼用画像データ（デジタル）、および右眼用画像を含む右眼用画像データ（デジタル）を生成し、フリーズ処理部３２およびフレームメモリ３３に出力する。以下、左眼用画像データおよび右眼用画像データをまとめて画像データということもある。
【００３８】
フリーズ処理部３２は、スイッチ２２３の押下によるレリーズ指示信号の入力を受け付けた場合に、フレームメモリ３３から、表示装置４にフリーズ表示する画像を選択して表示用画像生成部３４および記録用画像生成部３５に出力する。また、フリーズ処理部３２は、スイッチ２２３の押下によるフリーズ指示信号の入力を受け付けた場合に、フレームメモリ３３から、表示装置４にフリーズ表示する画像を選択して表示用画像生成部３４に出力する。フリーズ処理部３２は、レリーズ指示信号またはフリーズ指示信号の入力を受け付けていない場合は、フレームメモリ３３における所定の画像データ、例えば時系列で最新の画像データを表示用画像生成部３４に出力する。なお、フリーズ処理部３２は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、前処理部３１から入力される処理信号をフレームメモリ３３に出力する処理のみを行う。フリーズ処理部３２は、フリーズ処理が解除された後、前処理部３１から新たに入力される画像データを含めて、フレームメモリ３３から所定の画像データの選択を行う。このため、レリーズ処理またはフリーズ処理後において表示装置４に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列的に間があいた画像になる。このため、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
【００３９】
フリーズ処理部３２は、フレームメモリ３３に記憶されている画像、例えば左眼用画像からぶれの小さい左眼用画像をベストフレームとして選択する。フリーズ処理部３２は、選択したベストフレームの左眼用画像と右眼用画像とをフレームメモリ３３から取得して、表示用画像生成部３４および記録用画像処理部３５に出力する。具体的に、フリーズ処理部３２は、レリーズ指示信号またはフリーズ指示信号の入力があった際に、フレームメモリ３３に記憶されている複数の左眼用画像のぶれを算出し、算出したぶれに基づいてベストフレームを選択してもよいし、前処理部３１から画像データが入力される都度、この画像データに応じた左眼用画像のぶれを算出して、算出したぶれと当該左眼用画像のフレーム番号とを対応付けてフレームメモリ３３に記憶させるものであってもよい。画像のぶれは、公知の算出方法を用いて算出される。
【００４０】
フレームメモリ３３は、前処理部３１により生成された画像データを設定されたフレーム分記憶する。本実施の形態では、フレームメモリ３３は、数フレーム分の画像データを記憶する。フレームメモリ３３は、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。
【００４１】
表示用画像生成部３４は、フリーズ処理部３２が選択した画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示用画像生成部３４は、左眼用画像および右眼用画像を含む画像信号に対して、ＣＭＳ（Color  Management  System）、γ補正、ズーム処理、エンハンス処理、圧縮処理等を行った後、予め設定されているシフト量に基づいて右眼用画像と左眼用画像とを相対的にシフトさせて、表示用の画像信号を生成する。ＣＭＳは、異なる装置間（ここでは内視鏡２と表示装置４との間）の色を統一的に管理するシステムである。表示用画像生成部３４は、フリーズ処理部３２から入力された画像データに応じた内視鏡画像を含む画像情報と、該画像情報に関する文字情報とを重畳した合成画像を表示用画像として生成する。表示用画像生成部３４は、生成した表示用画像の画像データを表示装置４に送信する。
【００４２】
ここで、表示用画像生成部３４が生成する視差画像について、図３を参照して説明する。図３は、本発明の一実施の形態にかかる内視鏡システムが生成する視差画像について説明する図である。表示用画像生成部３４は、図３に示すように、左眼用画像ＩＭLにおける水平ラインのライン画像ＤLと、右眼用画像ＩＭRの水平ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置することによって視差画像ＩＭDを生成する。具体的に、表示用画像生成部３４は、左眼用画像ＩＭLが有する奇数ラインのライン画像ＤLと、右眼用画像ＩＭRが有する偶数ラインのライン画像ＤRとを、設定されたシフト量に応じてずらして交互に配置する。このような視差画像ＩＭDは、ラインバイライン画像ともいわれる。ここでいう水平ラインとは、複数の画素がマトリックス状に配置された撮像素子において、一方の配列方向に沿って配置されている画素が形成するラインに相当する。
【００４３】
また、表示用画像生成部３４は、フリーズ処理部３２から入力される画像データが、レリーズ対象またはフリーズ対象である場合は、予め設定されている期間、例えば、数フレームの画像を表示する期間、表示装置４に対象の画像を静止画表示させる。
【００４４】
記録用画像生成部３５は、フリーズ処理部３２が選択した画像データに対して、左眼用画像と右眼用画像とを互いにずらして視差を生じさせた視差画像を生成し、これを記録用の画像データとする。視差画像としては、上述したラインバイライン画像や、左眼用画像と右眼用画像とを水平ラインの方向に沿って並べたサイドバイサイド画像が挙げられる。記録用画像生成部３５が生成する視差画像は、上述した表示用画像生成部３４が生成する視差画像とは異なり、前処理部３１による前処理後の画像であって、かつズーム処理等の表示用の画像処理が施されていない画像となる。記録用画像生成部３５は、例えば、生成した画像データを、ズーム処理等のパラメータ、および内視鏡２の固有情報とともに記録媒体５に記録させる。この際、パラメータや内視鏡２の固有情報は、ラインバイライン化した画像のヘッダ部分等に埋め込むようにしてもよいし、画像データとは別に、該画像データと対応付けたテキストファイルとして記録するようにしてもよい。
【００４５】
前処理部３１、フリーズ処理部３２、表示用画像生成部３４および記録用画像生成部３５は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサや、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field  Programmable  Gate  Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００４６】
入力部３６は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３６は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
【００４７】
制御部３７は、撮像部２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３７は、記憶部３８に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像部２４４へ送信する。制御部３７は、ＣＰＵ等の汎用プロセッサや、ＡＳＩＣ、ＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００４８】
また、制御部３７は、入力部３６が受け付けた指示信号に基づいて、フリーズ処理部３２によるフリーズ制御を行う。
【００４９】
記憶部３８は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３８は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
【００５０】
また、記憶部３８は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などによって実現されるものであり、有線、無線を問わない。
【００５１】
以上の構成を有する記憶部３８は、各種プログラム等が予めインストールされたＲＯＭ（Read  Only  Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random  Access  Memory）やハードディスク等を用いて実現される。
【００５２】
続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。
【００５３】
光源３０１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。本実施の形態１では、膀胱内の観察に適したＮＢＩ観察を行うため、光源３０１ａが、青色の狭帯域の光（例えば３９０ｎｍ〜４４５ｎｍ）および緑色の狭帯域の光（例えば５３０ｎｍ〜５５０ｎｍ）からなる狭帯域光を照明光として出射する。また、光源３０１ａは、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかを用いて実現される。
【００５４】
光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電力を供給することにより、光源３０１ａに照明光を出射させる。
【００５５】
照明制御部３０２は、制御部３７からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。
【００５６】
表示装置４は、映像ケーブルを介して処理装置３（表示用画像生成部３４）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro  Luminescence）等のモニタを用いて構成される。
【００５７】
計測装置６は、記録媒体５からデータを読み込みこんで記録用画像生成部３５が生成した視差画像を取得し、該視差画像を表示するとともに、内視鏡２から被写体までの距離を計測する。ユーザが、表示された画像に対して入力部等を介して計測する箇所を指示することによって、計測装置６が、計測点における距離の計測を行う。計測方法は、ステレオ計測（例えば三角測量）等、公知の方法により計測することができる。
【００５８】
続いて、内視鏡システム１が行う画像処理について説明する。図４は、本発明の一実施の形態にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部３７の制御のもと、各部が動作するものとして説明する。
【００５９】
まず、前処理部３１が、内視鏡２から画像データを受信する（ステップＳ１０１）。前処理部３１は、画像データを受信すると、この画像データに対して上述した前処理を施して、処理後の画像データをフリーズ処理部３２およびフレームメモリ３３に出力する（ステップＳ１０２）。
【００６０】
ステップＳ１０２に続くステップＳ１０３において、制御部３７は、スイッチ２２３を介してレリーズ指示が入力されたか否かを判断する。制御部３７は、レリーズ指示の入力があると判断すると（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。
【００６１】
ステップＳ１０４において、フリーズ処理部３２は、フレームメモリ３３に記憶されている画像からベストフレームを選択する。制御部３７は、フリーズ処理部３２による画像の選択後、ステップＳ１０５およびステップＳ１０６に移行する。ステップＳ１０４においては、フリーズ処理部３２によって選択されたベストフレームの画像が、表示用画像生成部３４および記録用画像生成部３５に出力される。この場合に選択される画像は、ベストフレームの左眼用画像および右眼用画像である。
【００６２】
ステップ１０５では、表示用画像生成部３４が、表示用の画像データの生成を行う。表示用画像生成部３４は、フリーズ処理部３２により選択されたベストフレームの左眼用画像および右眼用画像に基づいて、ズーム処理等を施した視差画像を生成する。
【００６３】
ステップＳ１０５と並行して、記録用画像生成部３５が、記録用の画像データの生成を行う（ステップＳ１０６）。記録用画像生成部３５は、フリーズ処理部３２により選択された左眼用画像および右眼用画像に基づいて、ズーム処理等が施されていない視差画像を生成する。
【００６４】
ステップＳ１０５およびステップＳ１０６において視差画像がそれぞれ生成されると、記録用画像生成部３５が、記録媒体５への記録処理を行う（ステップＳ１０７）。記録用画像生成部３５は、ステップＳ１０６において生成された視差画像と、ズーム処理などのパラメータ、および内視鏡２の固有情報とを対応付けて、記録媒体５に記録させる。制御部３７は、記録媒体５への記録後、ステップＳ１１３に移行する。
【００６５】
これに対して、制御部３７は、レリーズ指示の入力がないと判断すると（ステップＳ１０３：Ｎｏ）、ステップＳ１０８に移行する。
【００６６】
ステップＳ１０８において、制御部３７は、スイッチ２２３を介してフリーズ指示が入力されたか否かを判断する。制御部３７は、フリーズ指示の入力があると判断すると（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９に移行する。
【００６７】
ステップＳ１０９において、フリーズ処理部３２は、フレームメモリ３３に記憶されている画像からベストフレームを選択する。制御部３７は、フリーズ処理部３２による画像の選択後、ステップＳ１１０に移行する。ステップＳ１０９においては、フリーズ処理部３２によって選択されたベストフレームの左眼用画像および右眼用画像が、表示用画像生成部３４に出力される。
【００６８】
ステップＳ１１０では、表示用画像生成部３４が、表示用の画像データの生成を行う。表示用画像生成部３４は、フリーズ処理部３２により選択されたベストフレームの左眼用画像および右眼用画像に基づいて、ズーム処理等を施した視差画像を生成する。制御部３７は、視差画像の生成後、ステップＳ１１３に移行する。
【００６９】
これに対して、制御部３７は、フリーズ指示の入力がないと判断すると（ステップＳ１０８：Ｎｏ）、ステップＳ１１１に移行する。
【００７０】
ステップＳ１１１において、フリーズ処理部３２は、フレームメモリ３３に記憶されている画像から所定のフレームを選択する。フリーズ処理部３２は、フレームメモリ３３における所定の画像データ、例えば時系列で最新のフレームを選択する。制御部３７は、フリーズ処理部３２による画像の選択後、ステップＳ１１２に移行する。ステップＳ１１１においては、フリーズ処理部３２によって選択された最新フレームの左眼用画像および右眼用画像が、表示用画像生成部３４に出力される。
【００７１】
ステップＳ１１２では、表示用画像生成部３４が、表示用の画像データの生成を行う。表示用画像生成部３４は、フリーズ処理部３２により選択された最新フレームの左眼用画像および右眼用画像に基づいて、ズーム処理等を施した視差画像を生成する。制御部３７は、視差画像の生成後、ステップＳ１１３に移行する。
【００７２】
ステップＳ１１３では、制御部３７の制御のもと、表示用画像生成部３４が、生成した視差画像を含む表示画像を、表示装置４に出力させる。
【００７３】
なお、ステップＳ１０７における記録処理と、ステップＳ１１３における表示処理とは、ステップＳ１１３を先に行ってもよいし、同時に行うようにしてもよい。
【００７４】
上述した本発明の一実施の形態によれば、フリーズ指示により選択された画像について、表示用にズーム処理等を施して視差画像を生成するとともに、計測用に記録する画像としてズーム処理を施さずに視差画像を生成し、記録媒体５に記録させるようにした。これにより、ズーム処理等によって補間等が施されて計測精度の低下を招くような視差画像ではなく、ズーム処理等による補間等が施されていない視差画像を含むデータが記録媒体５に記録されることになる。この結果、本実施の形態によれば、処理装置３とは異なる装置である計測装置６が記録媒体５に記録したデータを用いて距離計測処理を行う場合に、計測精度の低下を抑制することができる。
【００７５】
また、上述した本実施の形態によれば、記録媒体５が、前処理部３１によって信号処理が施された画像データをもとに記録用画像生成部３５が生成した視差画像を記録するようにしたので、撮像部２４４から出力される左眼用ＲＡＷデータおよび右眼用ＲＡＷデータを記録する場合と比して、１フレーム分に要するデータ量を小さくすることができる。計測装置６においてズーム処理等の画像処理を行う場合に、この画像データと関連付けてパラメータを記録させるようにすれば、データ量の増大を抑制することが可能である。
【００７６】
なお、上述した本実施の形態では、フリーズ処理部３２によるフリーズ処理後の画像データを抽出して記録媒体５に記録するものとして説明したが、フリーズ処理部３２によるフリーズ処理前の画像データを記録用画像生成部３５に出力するようにしてもよい。表示用画像生成部３４による画像処理（ズーム処理など）の前の画像データを用いるものであれば、上述した計測精度の低下を抑制することが可能である。
【００７７】
また、上述した実施の形態では、記録用画像生成部３５が、視差画像と、ズーム処理などのパラメータ、および内視鏡２の固有情報とを対応付けて、記録媒体５に記録させるものとして説明したが、視差画像と、メモリ２２４に記録されている内視鏡２の情報、例えば内視鏡２の固有情報とを有するデータを記録用のデータとしてもよいし、内視鏡２の固有情報を含まないデータを記録用のデータとしてもよい。記録用のデータが内視鏡２の固有情報を有していれば、計測装置６において、内視鏡２の固有情報のばらつきを加味した計測処理を行うことが可能である。
【００７８】
また、上述した実施の形態では、視差画像が、ラインバイライン画像であるものを例に説明したが、これに限らず、視差を有する画像、例えば、左眼用画像ＩＭLと、右眼用画像ＩＭRとを水平ラインの方向に沿って並べたサイドバイサイド画像であってもよい。また、一枚の視差画像に限らず、例えばフレームシーケンシャル方式のように、左眼用画像と、右眼用画像とを交互に出力して、記録媒体５に記録させるようにしてもよい。
【００７９】
また、上述した実施の形態において、前処理部３１が、ＯＢクランプ処理や、ホワイトバランス等の補正処理、ゲイン調整処理、ノイズ除去処理、Ａ／Ｄ変換処理、デモザイキング処理を施すものとして説明したが、補正処理までを前処理部３１が行い、ゲイン調整処理以降の処理を表示用画像生成部３４が行うようにしてもよい。すなわち、上述した実施の形態では、フリーズ処理前の画像データが、デモザイキング処理後の画像データであったが、例えば、補正処理までが施された画像データの場合もある。
【００８０】
また、上述した実施の形態では、光源部３ａから狭帯域の光が出射され、撮像部２４４が照明光による反射光を受光する同時式の照明／撮像方式であるものを前提に説明したが、光源部３ａが、各色成分の狭帯域の光を個別に順次出射して、撮像部２４４が、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。
【００８１】
また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。
【００８２】
また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。
【００８３】
また、上述した実施の形態では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
【００８４】
また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic  View  Finder）に映像を出力する場合にも適用可能である。
【産業上の利用可能性】
【００８５】
以上のように、本発明にかかる画像処理装置および画像処理システムは、記録媒体に記録したデータを用いて距離計測処理を行う場合に、計測精度の低下を抑制するのに有用である。
【符号の説明】
【００８６】
１  内視鏡システム
２  内視鏡
３  処理装置
３ａ  光源部
４  表示装置
５  記録媒体
６  計測装置
２１  挿入部
２２  操作部
２３  ユニバーサルコード
２４  先端部
２５  湾曲部
２６  可撓管部
３１  前処理部
３２  フリーズ処理部
３３  フレームメモリ
３４  表示用画像生成部
３５  記録用画像生成部
３６  入力部
３７  制御部
３８  記憶部
３０１  照明部
３０２  照明制御部
【図１】
2018079387.tif 000003
【図２】
2018079387.tif 000004
【図３】
2018079387.tif 000005
【図４】
2018079387.tif 000006
【手続補正書】
【提出日】平成30年3月20日(2018.3.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一の被写体を異なる方向から撮像した第１画像および第２画像をもとに視差画像を生成する画像処理装置であって、
時系列に入力された前記第１画像および前記第２画像からなる複数組のなかから、フリーズ対象の前記第１画像および前記第２画像を選択するフリーズ処理部と、
前記フリーズ処理部によって選択された前記第１および第２画像に対して、少なくともズーム処理を施すことによって表示用の視差画像を生成する表示用画像生成部と、
前記フリーズ処理部によって選択された前記第１および前記第２画像に対して、外部の記録媒体に記録する記録用の視差画像を生成する記録用画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１画像および前記第２画像に対し、前処理として少なくともＯＢクランプ処理およびホワイトバランス処理を施す前処理部と、
前記前処理部から出力された画像を記憶するフレームメモリと、
をさらに備え、
前記フリーズ処理部は、レリーズ指示信号の入力を受け付けた場合に前記フレームメモリから前記フリーズ対象の前記第１画像および前記第２画像を選択して前記表示用画像生成部及び前記記録用画像生成部に出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フリーズ処理部は、前記フレームメモリに記憶された前記画像のぶれを算出し、算出したぶれに基づいて前記フリーズ対象の前記第１画像および前記第２画像の選択を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記記録用画像生成部は、前記記録用の視差画像と、前記第１画像および前記第２画像を入力する内視鏡に記録されている情報とを前記外部の記録媒体に記録させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記記録用画像生成部は、前記前処理部による前処理後の前記第１および第２画像に基づいて前記記録用の視差画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記記録用画像生成部は、前記記録用の視差画像に関する画像処理のパラメータを、該記録用の視差画像とともに前記外部の記録媒体に記録させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記表示用画像生成部は、前記第１画像および前記第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１画像および前記第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記表示用の視差画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記記録用画像生成部は、前記第１画像および前記第２画像を、撮像素子の水平方向に並べて配置したサイドバイサイド画像、または、前記第１画像および前記第２画像を、前記水平方向のラインごとに交互に配置したラインバイライン画像を前記記録用の視差画像として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【国際調査報告】
2018079387.tif 000007
2018079387.tif 000008
2018079387.tif 000009
2018079387.tif 000010