(57)【要約】  本開示は、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、プローブの側方である側視方向の被写体を撮像して得られた側視画像を、円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。本開示は、例えば、画像処理装置等に適用できる。
2016043063.tif 000002
【特許請求の範囲】
【請求項１】
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
画像処理装置。
【請求項２】
前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
請求項１に記載の画像処理装置。
【請求項３】
複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
請求項２に記載の画像処理装置。
【請求項４】
撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
請求項２に記載の画像処理装置。
【請求項５】
前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
請求項１に記載の画像処理装置。
【請求項６】
前記画像合成部は、前記直視画像に対するズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
請求項１に記載の画像処理装置。
【請求項７】
前記直視画像は、３D画像である
請求項１に記載の画像処理装置。
【請求項８】
前記側視画像は、３D画像である
請求項１に記載の画像処理装置。
【請求項９】
前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
請求項８に記載の画像処理装置。
【請求項１０】
前記直視画像は、前記側視画像より高解像度の画像である
請求項１に記載の画像処理装置。
【請求項１１】
前記合成画像の表示方法を設定する設定部をさらに備える
請求項１に記載の画像処理装置。
【請求項１２】
前記設定部は、扇形状の前記側視画像の横幅を設定する
請求項１１に記載の画像処理装置。
【請求項１３】
前記設定部は、前記円形状の径を設定する
請求項１１に記載の画像処理装置。
【請求項１４】
前記設定部は、扇形状の前記側視画像の高さを設定する
請求項１１に記載の画像処理装置。
【請求項１５】
前記設定部は、画面内の前記合成画像の表示位置を設定する
請求項１１に記載の画像処理装置。
【請求項１６】
画像処理装置が、
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
内視鏡手術に用いられる内視鏡プローブにおいて、プローブの先端方向である直視方向を撮像する直視用カメラの他に、プローブの側方である側視方向を撮像する側視用カメラを備えたものが提案されている（例えば、特許文献１,２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２０６２１号公報
【特許文献２】国際公開第２０１２／７７１１７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
側視用カメラを備えることにより、直視方向の術野以外の視野を拡大させることができるが、直視用カメラと側視用カメラで得られた画像を術者にとって分かり易く提示することが求められる。【０００５】
本開示は、このような状況に鑑みてなされたものであり、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。【０００７】
本開示の一側面の画像処理方法は、画像処理装置が、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する。【０００８】
本開示の一側面においては、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像が円形状の領域内に配置され、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像が、前記円形状の外周に沿わせて扇形状に配置された合成画像が生成される。【０００９】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１０】
本開示の一側面によれば、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができる。【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。
【図２】内視鏡プローブの先端部分を示す図である。
【図３】ディスプレイに表示された合成画像の例を示す図である。
【図４】直視画像と側視画像の位置関係について説明する図である。
【図５】直視画像と側視画像の位置関係について説明する図である。
【図６】合成画像の表示を説明する図である。
【図７】合成画像の表示を説明する図である。
【図８】設定可能な合成画像のパラメータを説明する図である。
【図９】ズーム操作に応じたパラメータ制御を説明する図である。
【図１０】設定可能な合成画像のパラメータを説明する図である。
【図１１】設定可能な合成画像のパラメータを説明する図である。
【図１２】設定可能な合成画像のパラメータを説明する図である。
【図１３】設定可能な合成画像のパラメータを説明する図である。
【図１４】設定可能な合成画像のパラメータを説明する図である。
【図１５】画像合成表示処理を説明するフローチャートである。
【図１６】第１の変形例を説明する図である。
【図１７】第１の変形例を説明する図である。
【図１８】第２の変形例を説明する図である。
【図１９】第３の変形例を説明する図である。
【図２０】本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
＜内視鏡システムの構成例＞
図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。
【００１４】
図１の内視鏡システム１は、内視鏡プローブ１１、画像処理装置１２、及びディスプレイ１３により構成される。
【００１５】
内視鏡システム１は、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１３に映し出し、ディスプレイ１３を見ながら被観察部に処置を施す内視鏡下手術で用いられる。
【００１６】
内視鏡プローブ１１は、患者の体内に挿入され、術部に光を照射して術部の画像を撮像し、画像処理装置１２に供給する。画像処理装置１２は、内視鏡プローブ１１で撮像された画像を、術者に見やすいように処理（画像処理）する。ディスプレイ１３は、画像処理装置１２から供給される処理後の画像を表示し、術者に提示する。
【００１７】
内視鏡プローブ１１は、直視用カメラ２１、側視用カメラ２２A及び２２B、ズーム駆動部２３、並びに、照明部２４を備える。
【００１８】
画像処理装置１２は、直視用カメラデータ取得部３１、側視用カメラデータ取得部３２A及び３２B、画像合成部３３、表示制御部３４、操作部３５、並びに、設定部３６を備える。
【００１９】
直視用カメラ２１は、内視鏡プローブ１１の先端方向である直視方向の被写体を撮像し、その結果得られる画像を生成する。側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の側方である側視方向の被写体を撮像し、その結果得られる画像を生成する。直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサで構成される。
【００２０】
図２は、直視用カメラ２１並びに側視用カメラ２２A及び２２Bが設けられている内視鏡プローブ１１の先端部分を示す図である。
【００２１】
図２に示されるように、直視用カメラ２１は、第１カメラ２１Aと第２カメラ２１Bのステレオカメラで構成され、内視鏡プローブ１１の直視方向が撮像方向となるように、内視鏡プローブ１１の先端に取り付けられている。
【００２２】
また、側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の先端から所定の距離内の円筒状の側面に、撮像範囲が均等になるように内視鏡プローブ１１の軸中心に対して対称な位置に取り付けられている。
【００２３】
直視用カメラ２１が術部を撮像するものであるのに対して、側視用カメラ２２A及び２２Bは、補助的な情報として、術部周辺部を撮像する。従って、例えば、直視用カメラ２１には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のイメージセンサを採用し、側視用カメラ２２A及び２２Bのそれぞれには、水平方向×垂直方向の画素数が約２０００×約１０００の画素数を有する低解像度のイメージセンサを採用するなど、直視用カメラ２１と側視用カメラ２２A及び２２Bとで解像度の異なるイメージセンサとすることができる。
【００２４】
なお、本実施の形態では、直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプであることとするが、イメージセンサを内視鏡プローブ１１の根元のCCU（カメラコントロールユニット）等に配置して、そのイメージセンサに、内視鏡プローブ１１の先端部で取り込んだ光を光ファイバ等で伝送する構造とすることもできる。
【００２５】
図１に戻り、ズーム駆動部２３は、画像処理装置１２の操作部３５から供給される制御信号に基づいて、撮像光学系の光学レンズを駆動する。これにより、ディスプレイ１３に表示される直視用カメラ２１のフォーカス及びズーム倍率が変更される。なお、本実施の形態では、側視用カメラ２２A及び２２Bのズーム倍率は固定とするが、側視用カメラ２２A及び２２Bのズーム倍率も、直視用カメラ２１と同様に変更可能としてもよい。
【００２６】
照明部２４は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。照明部２４は、例えば、図２の直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍に、LED光源を配置する構成とすることもできるし、直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍には光の出射部のみを設け、ハロゲンランプ、キセノンランプ等の光源ユニットからの光を光ファイバ等で出射部に伝送させ、出力する構造としてもよい。照明部２４の照明のオンオフ及び光量は、操作部３５からの制御信号により制御される。
【００２７】
直視用カメラデータ取得部３１は、直視用カメラ２１により得られた撮像データを取得し、画像合成部３３に供給する。
【００２８】
側視用カメラデータ取得部３２Aは、側視用カメラ２２Aにより得られた撮像データを取得し、画像合成部３３に供給する。側視用カメラデータ取得部３２Bは、側視用カメラ２２Bにより得られた撮像データを取得し、画像合成部３３に供給する。
【００２９】
画像合成部３３は、直視用カメラ２１、側視用カメラ２２A、及び、側視用カメラ２２Bそれぞれにより得られた撮像画像を所定の位置に配置した合成画像を生成し、表示制御部３４に供給する。画像合成部３３には、設定部３６からパラメータが供給され、画像合成部３３は、パラメータに応じて合成画像を生成する。画像合成部３３が生成する合成画像の詳細については後述する。
【００３０】
表示制御部３４は、画像合成部３３から供給される合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。
【００３１】
ディスプレイ１３は、例えばLCD(Liquid Crystal Display)などで構成され、２D表示と、ステレオカメラに対応した３D表示を可能とする。勿論、３D表示が不要である場合には、ディスプレイ１３は、２D表示のみが可能なディスプレイとすることができる。また、ディスプレイ１３は、ヘッドマウントディスプレイなどでもよい。
【００３２】
操作部３５は、ズーム倍率、照明光量などの内視鏡プローブ１１に対する術者（ユーザ）の操作を受け付け、受け付けた操作内容に応じて、ズーム駆動部２３及び照明部２４に制御信号を出力する。
【００３３】
また、操作部３５は、合成画像を生成するためのパラメータの入力も受け付け、入力されたパラメータを設定部３６に出力する。
【００３４】
設定部３６は、操作部３５から供給された各種のパラメータを取得し、内部のメモリに保存する。また、設定部３６は、メモリに記憶されている各種のパラメータを、必要に応じて画像合成部３３に供給する。
【００３５】
内視鏡システム１は、以上のように構成されている。
【００３６】
＜合成画像の説明＞
図３は、画像合成部３３によって生成されてディスプレイ１３に表示された合成画像の例を示している。
【００３７】
合成画像５０には、第１の円C1と、それよりも直径の大きい第２の円C2が含まれる。第１の円C1の内側には、直視画像表示領域５１が設けられている。直視画像表示領域５１は、直視用カメラ２１で撮像された画像が表示される領域である。以下、直視用カメラ２１で撮像された画像を直視画像ともいう。
【００３８】
また、第１の円C1と第２の円C2の間の領域には、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bが設けられている。側視Aカメラ表示領域５２Aは、側視用カメラ２２Aで撮像された画像が表示される領域であり、側視Bカメラ表示領域５２Bは、側視用カメラ２２Bで撮像された画像が表示される領域である。
【００３９】
側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bのそれぞれは扇形状となっている。また、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bは、側視用カメラ２２A及び２２Bの位置に対応した対称な位置に配置されている。以下では、側視用カメラ２２Aまたは２２Bで撮像された画像を、側視画像ともいう。また、側視用カメラ２２A及び２２Bのそれぞれを区別する必要がない場合には、単に、側視用カメラ２２ともいう。
【００４０】
側視用カメラ２２で得られた矩形の側視画像を、扇形状に変換する処理には、超音波診断装置のコンベックス型プローブを使ったBモード表示のアルゴリズムに用いられている、スキャンコンバージョン処理を採用することができる。スキャンコンバージョン処理は、走査線の信号列で表される画像データを、直交座標系で表される画像データに変換する処理である。扇形状の外側になるほどデータが疎になるため、線形補間などを用いて適切に補間される。スキャンコンバージョン処理の詳細は、例えば、”http://www.cse.wustl.edu/~jain/cse567-08/ftp/scan/”,”http://ece.gmu.edu/~ssikdar/papers/conference%20papers/Sikdar_SPIE_2001.pdf”,”http://www.ti.com/lit/an/sprab32/sprab32.pdf”などに開示されている。
【００４１】
第１の円C1と第２の円C2の間の領域のうち、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２B以外の非表示領域５３は、側視用カメラ２２で撮像された画像が表示されない領域である。非表示領域５３は、画像の表示がないことが術者に明確に認識できるような表示、例えば、グレー表示などとされる。
【００４２】
ディスプレイ１３の表示領域のうちの、合成画像５０の外側の領域５４には、例えば、ズーム倍率等のパラメータ情報が表示される。
【００４３】
以上のように、画像処理装置１２は、内側の第１の円C1の円形領域内に、直視用カメラ２１で撮像された直視画像を配置し、側視用カメラ２２A及び２２Bで撮像された側視画像を、第１の円C1の外周に沿わせて扇形状に配置した合成画像を生成し、ディスプレイ１３に表示させる。
【００４４】
近年、手術用のディスプレイ１３は高精細化及び大画面化する傾向にある。このように直視画像の円周上に側視画像も付加情報として提示することで、ディスプレイ１３の表示エリアを有効に活用することができる。
【００４５】
図４及び図５を参照して、合成画像における直視画像と側視画像の位置関係について説明する。
【００４６】
図４のAは、内視鏡プローブ１１の先端部分を斜め下方向から見た斜視図であり、図４のBは、内視鏡プローブ１１の先端部分を真下から見た図である。
【００４７】
直視用カメラ２１の所定の位置（方向）を基準位置（基準方向）とすると、図４のAに示されるように、側視カメラ２２Aが配置されている位置（方向）は、直視用カメラ２１の基準位置に対して所定の角度αで一意に定められる。
【００４８】
また、図４のBに示される側視用カメラ２２Aの視野角βについても、レンズ設計によって一意に定められる。
【００４９】
この側視カメラ２２Aの配置角度αと視野角βに基づいて、合成画像における側視Aカメラ表示領域５２Aは、図５に示されるように、第１の円C1と第２の円C2の間の領域内の所定位置に決定される。すなわち、側視Aカメラ表示領域５２Aの円弧方向の中心位置が、直視画像の基準位置に対して角度αの位置となり、側視Aカメラ表示領域５２Aの扇形状の角度がβとなるように、側視Aカメラ表示領域５２Aが、第１の円C1と第２の円C2の間の領域に配置される。直視画像表示領域５１に対する側視Bカメラ表示領域５２Bの位置関係についても同様である。これにより、合成画像において、直視画像と側視画像の映像の連続性が確保された表示となり、術者の術野の視認性が向上する。
【００５０】
なお、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプではなく、イメージセンサの向きと内視鏡プローブ１１の先端部分の向きの位置関係が変わり得る場合には、例えば、直視用カメラ２１の基準位置（基準方向）を示すような切欠きを内視鏡プローブ１１の先端部分に設け、切欠きが直視画像内に映るようにして、直視画像内の切欠きを画像処理により検出することで、直視用カメラ２１の向きを検出し、検出された向きに基づいて側視カメラ２２Aの角度αを算出し、側視Aカメラ表示領域５２Aの配置を決定することができる。
【００５１】
次に、図６及び図７を参照して、合成画像の表示について説明する。
【００５２】
内視鏡プローブ１１が挿入される体内の空間を、図６のAに示されるように、円柱形状６１の内側の空間に見立てる。例えば、図６のBに示されるように、円柱形状６１の底面に文字「F」が記載され、円柱形状６１の内側面（内壁）に文字「A」と文字「B」が、対向する位置に記載されているとする。
【００５３】
この場合、画像処理装置１２の画像合成部３３によれば、図６のCに示されるような合成画像５０が生成される。すなわち、合成画像５０の直視画像表示領域５１には文字「F」が映し出され、側視Aカメラ表示領域５２Aには文字「A」が映し出され、側視Bカメラ表示領域５２Bには文字「B」が映し出される。
【００５４】
また、図７に示されるように、内視鏡プローブ１１が術者の操作によって回転された場合には、ディスプレイ１３の合成画像５０の表示も、内視鏡プローブ１１の動きに合わせて回転させるようにすることができる。あるいは、内視鏡プローブ１１の動きに関係なく、合成画像５０の表示は固定としてもよい。
【００５５】
直視画像表示領域５１には、２眼の直視用カメラ２１で撮像された３D画像が表示される。ここで、３D画像とは、３D表示を行うための２D画像であり、左眼用画像と右眼用画像の組で構成される。左眼用画像と右眼用画像には視差が設定されており、左眼用画像と右眼用画像を交互に表示させることにより、表示された映像を見た人に立体感（奥行き感）を知覚させることができる。
【００５６】
一方、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bには、対応する単眼の側視用カメラ２２（２２A及び２２B）により得られた平面的な画像（２D画像）が表示される。
【００５７】
あるいはまた、画像合成部３３は、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bについても、対応する単眼の側視用カメラ２２で得られた画像から、視差を設けた左眼用画像と右眼用画像を生成し、３D画像を表示させるようにしてもよい。この場合、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２B内の位置（座標点）が、直視画像表示領域５１から遠くなるほど、換言すれば、扇形状の外側になるほど、奥行き感が少なく、より手前に感じるように視差画像を生成することができる。
【００５８】
以上のように合成画像を生成してディスプレイ１３に表示させることにより、術部の上部から、術部を覗き込んだときに見えるような表示が可能となる。
【００５９】
例えば、矩形状の直視画像及び側視画像を並べて配置する表示方法や、直視画像を表示したモニタと、側視画像を表示したモニタを並べて表示する表示方法などの場合は、術者が側視画像を見るために視点を大きく動かす必要がある。これに対して、本開示の表示方法によれば、視点を動かす必要がなく、直視画像と側視画像との位置関係も瞬時に判断することができる。
【００６０】
すなわち、本開示の表示方法によれば、術者は、直視画像と側視画像との位置関係を容易かつ瞬時に判断することができ、直視方向の術部だけでなく、その周辺の術野も容易に把握することができる。したがって、直視用カメラ２１と側視用カメラ２２で得られた画像を分かり易く提示することができる。
【００６１】
また、直視方向以外の周辺の術野も容易に把握することができるので、直視方向以外のエリアで、例えば、内視鏡プローブ１１や鉗子が臓器に接触するようなことも防止することができる。
【００６２】
＜パラメータの例＞
図８乃至図１４を参照して、設定部３６で設定可能な合成画像のパラメータについて説明する。
【００６３】
設定部３６では、例えば、図８に示されるような、合成画像５０の第１の円C1の直径P１と、第２の円C2の直径P2を設定することができる。直径P１と直径P2の関係により、扇形状の側視画像の高さが決定される。
【００６４】
ここで設定される第１の円C1の直径P１と、第２の円C2の直径P2は、固定的な値としてもよいが、初期状態のデフォルトの値として、例えば、図９に示されるように、画像合成部３３が、直視画像に対するズーム操作に応じて変更する制御を行ってもよい。
【００６５】
すなわち、図９は、ズーム操作に応じて、合成画像の第１の円C1の直径P１を変更する制御の例を示している。
【００６６】
直視画像のズームイン操作がなされた場合、ユーザが直視画像を注視することが重量な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも大きい値P1’に変更する制御を行う。
【００６７】
一方、直視画像のズームアウト操作がなされた場合、ユーザが直視画像の周囲を広く確認することが重要な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも小さい値P1”に変更する制御を行う。
【００６８】
また、設定部３６では、図１０に示されるように、合成画像５０が表示されるディスプレイ１３上の位置も、例えば、右側、中央、左側のように、パラメータで設定することができる。
【００６９】
また、図１１に示されるように、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bの扇形状の横幅Wも設定することができる。
【００７０】
図１２に示されるように、直視画像表示領域５１が含まれる第１の円C1の直径が、直視用カメラ２１のズーム倍率に応じて変化する表示モード、第１の円C1の直径がズーム倍率に応じて変化した場合に、図１３に示されるように、側視画像を表示する側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出す表示モードや、図１４に示されるように、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出ないように側視画像の高さを調整する表示モードなどを設定することができる。
【００７１】
以上説明した各種の表示設定が、術者の嗜好に応じて適切に選択される。なお、使用者は、全てのパラメータを必ず設定する必要はなく、未設定の場合には、画像合成部３３が自動で調整する。
【００７２】
＜画像合成処理の処理フロー＞
図１５のフローチャートを参照して、画像処理装置１２による画像合成表示処理について説明する。
【００７３】
初めに、ステップＳ１において、画像処理装置１２は、直視画像と側視画像を取得する。具体的には、直視用カメラデータ取得部３１が、直視用カメラ２１から供給された直視画像を取得して画像合成部３３に供給する。また、側視用カメラデータ取得部３２Aが、側視用カメラ２２Aから供給された側視画像を取得し、側視用カメラデータ取得部３２Bが、側視用カメラ２２Bから供給された側視画像を取得し、それぞれ、画像合成部３３に供給する。
【００７４】
ステップＳ２において、画像合成部３３は、取得した直視画像と側視画像を用いて、第１の円C1の内側に直視画像を配置し、第１の円C1の外側の円周上に、側視用カメラ２２Aと側視用カメラ２２Bで撮像された側視画像を扇形状に配置した合成画像を生成し、表示制御部３４に供給する。
【００７５】
ステップＳ３において、表示制御部３４は、画像合成部３３から供給された合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。
【００７６】
上述したステップＳ１乃至Ｓ３の処理は、直視画像と側視画像が内視鏡プローブ１１から供給されている間、継続的に実行される。
【００７７】
術者は、画像合成表示処理により表示された合成画像を見ることにより、直視方向の術部だけでなく、側方を含む広域な範囲を同時に観察することができる。
【００７８】
＜変形例１＞
上述した例では、円筒状の内視鏡プローブ１１の側面に取り付けられている側視用カメラ２２の個数が２個である例について説明したが、側視用カメラ２２の個数は、１個でもよいし、３個以上でもよい。
【００７９】
図１６は、４個の側視用カメラ２２A乃至２２Dが、側方の周囲を均等に４方向に分割して撮像するように内視鏡プローブ１１の側面に取り付けられている例を示している。なお、側視用カメラ２２Dの取り付け位置は図１６では見えない位置となるため、図１６では、側視用カメラ２２Dは示されていない。
【００８０】
４個の側視用カメラ２２A乃至２２Dが設けられている場合、第１の円C1と第２の円C2の間の領域には、図１７に示されるように、側視Aカメラ表示領域５２A、側視Bカメラ表示領域５２B、側視Cカメラ表示領域５２C、及び、側視Dカメラ表示領域５２Dが、撮像方向に応じて配置される。
【００８１】
このように、本開示の表示方法によれば、側視用カメラ２２の位置や個数の変更に容易に対応することができる。
【００８２】
４個の側視用カメラ２２A乃至２２Dそれぞれで撮像された側視画像において、撮像範囲が重複している場合もある。撮像範囲が重複している領域は、任意のスティッチング技術を用いて、重複範囲を含む複数の側視画像がシームレスに接続される。
【００８３】
図１７では、斜線を付した領域が、隣り合う側視画像どうしで撮像範囲が重複している領域を示している。このような撮像範囲が重複している領域の側視画像としては、例えば、２枚の側視画像を合成比αで合成して重複部分の側視画像を生成し、隣り合う側視画像どうしを接続することができる。また例えば、４個の側視用カメラ２２A乃至２２Dそれぞれで撮像される側視画像の優先度を予め設定しておいて、その設定された優先度に応じて、重複する側視画像のいずれか一方を採用することで隣り合う側視画像どうしを接続するようにしてもよい。
【００８４】
＜変形例２＞
上述した実施の形態では、内視鏡プローブ１１の側方の周囲全体が出来るだけ撮像されるように、内視鏡プローブ１１の側面に側視用カメラ２２が均等配置される例について説明した。
【００８５】
しかし、図１８に示されるように、側視用カメラ２２A及び２２Bを、内視鏡プローブ１１の側方の周囲のうち、ある一定の側方のみに隣接して配置させ、側視用カメラ２２A及び２２Bがステレオカメラとして機能する配置とすることもできる。この場合、２個の側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の長手方向に沿って配置されるため、側視用カメラ２２A及び２２B間の距離をある程度長めに確保することができるので、ステレオ視による距離情報を正確に得ることができる。
【００８６】
＜変形例３＞
図１９に示されるように、内視鏡プローブ１１は１個の側視用カメラ２２を回転機構とともに備え、側視用カメラ２２が３６０度回転することにより、内視鏡プローブ１１の側方の周囲全体を撮像した側視画像を取得して表示してもよい。この場合、内視鏡プローブ１１には、側視用カメラ２２の回転角を検出できる角度センサを搭載しておき、角度センサが、側視画像が取得された瞬間の側視用カメラ２２の回転角を検出する。そして、側視画像が取得された瞬間の角度情報に基づいて、合成画像における側視画像の表示位置を決定することができる。
【００８７】
＜コンピュータのハードウエア構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００８８】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００８９】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９０】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【００９１】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【００９２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した画像合成表示処理を含む一連の処理が行われる。
【００９３】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９５】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【００９６】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００９７】
例えば、上述した複数の機能の全てまたは一部を適宜組み合わせた形態を採用することができる。
【００９８】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００９９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１００】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１０１】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１０２】
なお、本開示は以下のような構成も取ることができる。
（１）
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
画像処理装置。
（２）
前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
前記（１）に記載の画像処理装置。
（３）
複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
前記（２）に記載の画像処理装置。
（４）
撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
前記（２）または（３）に記載の画像処理装置。
（５）
前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記画像合成部は、前記直視画像のズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記直視画像は、３D画像である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記側視画像は、３D画像である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
前記（８）に記載の画像処理装置。
（１０）
前記直視画像は、前記側視画像より高解像度の画像である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記合成画像の表示方法を設定する設定部をさらに備える
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記設定部は、扇形状の前記側視画像の横幅を設定する
前記（１１）に記載の画像処理装置。
（１３）
前記設定部は、前記円形状の径を設定する
前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記設定部は、扇形状の前記側視画像の高さを設定する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記設定部は、画面内の前記合成画像の表示位置を設定する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
画像処理装置が、
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
画像処理方法。
【符号の説明】
【０１０３】
１１  内視鏡プローブ，  １２  画像処理装置，  １３  ディスプレイ，  ３３  画像合成部，  ３４  表示制御部，  ３５  操作部，  ３６  設定部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ
【図１】
2016043063.tif 000003
【図２】
2016043063.tif 000004
【図３】
2016043063.tif 000005
【図４】
2016043063.tif 000006
【図５】
2016043063.tif 000007
【図６】
2016043063.tif 000008
【図７】
2016043063.tif 000009
【図８】
2016043063.tif 000010
【図９】
2016043063.tif 000011
【図１０】
2016043063.tif 000012
【図１１】
2016043063.tif 000013
【図１２】
2016043063.tif 000014
【図１３】
2016043063.tif 000015
【図１４】
2016043063.tif 000016
【図１５】
2016043063.tif 000017
【図１６】
2016043063.tif 000018
【図１７】
2016043063.tif 000019
【図１８】
2016043063.tif 000020
【図１９】
2016043063.tif 000021
【図２０】
2016043063.tif 000022
【手続補正書】
【提出日】平成27年12月25日(2015.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プローブの先端方向である直視方向の被写体を撮像して得られた第１の画像を、当該第１の画像のズーム倍率に応じて領域サイズが定められた所定の領域内に配置し、前記プローブの前記直視方向と異なる視野方向に対して被写体を撮像して得られた第２の画像を、前記所定の領域の外周に配置した合成画像を生成する画像合成部を備える
画像処理装置。
【請求項２】
前記所定の領域は略円形領域であり、前記第２の画像は、前記第１の画像のズーム倍率に応じて径が定められた前記略円形領域の外周に沿わせて扇形状に配置されている
請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像は前記直視方向に対して直交する方向に向けて撮像された画像である
請求項１に記載の画像処理装置。
【請求項４】
前記第１の画像及び前記第２の画像は、内視鏡画像である
請求項１に記載の画像処理装置。
【請求項５】
前記合成画像には、複数の撮像素子で得られた複数の前記第２の画像が配置されている
請求項２に記載の画像処理装置。
【請求項６】
複数の前記第２の画像は、前記プローブの前記複数の撮像素子の位置に対応した前記略円形領域の外周の位置に配置されている
請求項５に記載の画像処理装置。
【請求項７】
撮像範囲が重複している領域を含む複数の前記第２の画像は、スティッチングにより接続される
請求項５に記載の画像処理装置。
【請求項８】
前記第１の画像と前記第２の画像の境界では、映像の連続性が確保されている
請求項２に記載の画像処理装置。
【請求項９】
前記第１の画像は、３Ｄ画像である
請求項２に記載の画像処理装置。
【請求項１０】
前記第２の画像は、３Ｄ画像である
請求項２に記載の画像処理装置。
【請求項１１】
前記第２の画像は、扇形状の外側になるほど、より手前に感じる画像である
請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の画像は、前記第２の画像より高解像度の画像である
請求項２に記載の画像処理装置。
【請求項１３】
前記合成画像の表示方法を設定する設定部をさらに備える
請求項２に記載の画像処理装置。
【請求項１４】
前記設定部は、扇形状の前記第２の画像の横幅を設定する
請求項１３に記載の画像処理装置。
【請求項１５】
前記設定部は、前記略円形領域の径を設定する
請求項１３に記載の画像処理装置。
【請求項１６】
前記設定部は、扇形状の前記第２の画像の高さを設定する
請求項１３に記載の画像処理装置。
【請求項１７】
前記設定部は、画面内の前記合成画像の表示位置を設定する
請求項１３に記載の画像処理装置。
【請求項１８】
画像処理装置が、
プローブの先端方向である直視方向の被写体を撮像して得られた第１の画像を、当該第１の画像のズーム倍率に応じて領域サイズが定められた所定の領域内に配置し、前記プローブの前記直視方向と異なる視野方向に対して被写体を撮像して得られた第２の画像を、前記所定の領域の外周に配置した合成画像を生成する
画像処理方法。
【請求項１９】
プローブの先端方向である直視方向の被写体を撮像する第１の撮像部と、前記プローブの直視方向とは異なる視野方向に対して被写体を撮像する第２の撮像部とを有する内視鏡と、
前記第１の画像を、当該第１の画像のズーム倍率に応じて領域サイズが定められた所定の領域内に配置し、前記第２の画像を、前記所定の領域の外周に配置した合成画像を生成する画像合成部と
を備える内視鏡システム。
【国際調査報告】
2016043063.tif 000023
2016043063.tif 000024
2016043063.tif 000025
2016043063.tif 000026