(57)【要約】【課題】複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができる内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法を提供する。【解決手段】内視鏡画像におけるＲ画像のシーンからシーン特徴量を算出し、シーン特徴量を特徴量ベクトルとして統計的又は非統計的識別器を用いて判別分析を行い、内視鏡挿入方向に密接に関係する管腔暗部、襞等の複数の特徴量のクラスに分類する。さらに、主要な特徴量のクラスを算出して、その特徴量に対応した挿入方向算出を行い、精度の良い挿入方向マーカ等を表示する。【選択図】図４
2007282857.tif 000002
【特許請求の範囲】
【請求項１】
体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴量のクラスに分類する分類手段と、
前記分類手段により分類された特徴量のクラスそれぞれに対応して設けられ、前記内視鏡の挿入方向を算出する挿入方向算出手段と、
を具備したことを特徴とする内視鏡挿入方向検出装置。
【請求項２】
さらに前記特徴量分類手段により分類された特徴量のクラスから、主要な特徴量のクラスを判定する判定手段を有し、該判定手段は、前記挿入方向算出手段が主要な特徴量のクラスに対応した挿入方向の算出のみを行うように制御することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項３】
前記分類手段は、前記内視鏡画像のシーンに対して、シーン特徴量を算出するシーン特徴量算出手段と、前記シーン特徴量に対応する特徴量ベクトルから前記複数の特徴量のクラスを算出するクラス算出手段とを有することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項４】
前記シーン特徴量算出手段は、複数の基準パターンを用いて前記内視鏡画像のシーンの自己相関係数を算出することを特徴とする請求項３に記載の内視鏡挿入方向検出装置。
【請求項５】
前記分類手段は、ヒストグラムを利用して前記複数の特徴量のクラスに分類することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項６】
前記分類手段は、内視鏡画像のシーンを複数に分割された小領域の画像から前記複数の特徴量のクラスに分類することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項７】
前記分類手段は、内視鏡画像のシーンの解像度を変換した変換画像に対して前記複数の特徴量のクラスに分類することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項８】
前記分類手段は、前記複数の特徴量としての管腔暗部、襞、その他のクラスに分類することを特徴とする請求項１に記載の内視鏡挿入方向検出装置。
【請求項９】
体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴量のクラスに分類する分類ステップと、
前記分類ステップにより分類された特徴量のクラスそれぞれに対応して、前記内視鏡の挿入方向を算出可能する挿入方向算出ステップと、
を具備したことを特徴とする内視鏡挿入方向検出方法。
【請求項１０】
さらに前記分類ステップにより分類された特徴量のクラスから主要な特徴量のクラスを算出する算出ステップを有し、
前記挿入方向算出ステップは主要な特徴量のクラスのみに対応して、前記内視鏡の挿入方向を算出することを特徴とする請求項９に記載の内視鏡挿入方向検出方法。
【請求項１１】
前記挿入方向算出ステップは、算出した挿入方向の情報を表示する挿入方向表示ステップを有することを特徴とする請求項９に記載の内視鏡挿入方向検出方法。
【請求項１２】
前記分類ステップは、前記内視鏡画像のシーンに対して、シーン特徴量を算出するシーン特徴量算出ステップと、前記シーン特徴量に対応する特徴量ベクトルから前記複数の特徴量のクラスを算出するクラス算出ステップとを有することを特徴とする請求項９に記載の内視鏡挿入方向検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡の挿入方向を検出する内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法に関する。
【背景技術】
【０００２】
近年、内視鏡は医療分野において広く用いられるようになった。内視鏡の挿入部を体腔内に挿入して内視鏡検査を行う場合、大腸のように複雑に屈曲した部位に円滑に挿入するためには、熟練を要する場合がある。  
このため、経験の浅い術者の場合においても、挿入部を簡単に挿入できると、内視鏡検査の時間の短縮が可能となり、そのメリットは大きい。  
例えば、第１の従来例としての特開２００４−１６７０１０号公報は、内視鏡画像により、内視鏡挿入方向の検出に関係、或いは管腔構造に関係するハレーション等、所定の濃度値の画素を抽出する画素抽出手段等を備えた内視鏡挿入方向検出装置を開示している。そして、この第１の従来例は、抽出結果により、内視鏡の挿入方向を決定する。
【０００３】
また、第２の従来例としての特開２００３−９３３２８号公報は、内視鏡画像における明暗方向を検出することにより、内視鏡の挿入部を挿入する方向を決定する内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法を開示している。  
【特許文献１】特開２００４−１６７０１０号公報
【特許文献２】特開２００３−９３３２８号公報
【非特許文献１】Ｏ  Ｐｌｕｓ  Ｅ  ２００３年１０月ｐｐ１１３０〜１１３６「シーン理解のためのパターン認識」長谷川
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来例は、挿入方向を決定する手段若しくは方法として、内視鏡画像のシーンにおける挿入方向（管腔構造）に関係する特徴量を総合的に判断していないため、精度の高い挿入方向を検出することが困難になる欠点があった。  
例えば複数の異なる特徴量に対応したシーンがあると、従来例は、抽出若しくは検出された特徴量の順序に依存して挿入方向を決定する。このため、従来例は、主要でない特徴量に対して挿入方向の検出処理を行う可能性があり、精度の高い挿入方向を検出することが困難になる欠点があった。
【０００５】
（発明の目的）
本発明は上述した点に鑑みてなされたもので、内視鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができる内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の内視鏡挿入方向検出装置は、体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴量のクラスに分類する分類手段と、
前記分類手段により分類された特徴量のクラスそれぞれに対応して設けられ、前記内視鏡の挿入方向を算出する挿入方向算出手段と、
を具備したことを特徴とする。  
上記構成により、内視鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができるようにしている。
【０００７】
また、本発明の内視鏡挿入方向検出方法は、体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴量のクラスに分類する分類ステップと、
前記分類ステップにより分類された特徴量のクラスそれぞれに対応して、前記内視鏡の挿入方向を算出可能する挿入方向算出ステップと、
を具備したことを特徴とする。  
上記ステップを備えた構成により、内視鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができるようにしている。
【発明の効果】
【０００８】
本発明によれば、内視鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施例を説明する。  
【実施例１】
【００１０】
図１ないし図１３は本発明の実施例１に係り、図１は本発明の実施例１の挿入方向検出装置を備えた内視鏡システムの全体構成を示し、図２は挿入方向検出装置の構成を示し、図３は挿入方向検出装置を構成するＣＰＵの主要な機能を示し、図４は本実施例による挿入方向検出の処理内容を示し、図５は内視鏡画像の表示画面に検出された管腔暗部の領域を示すマーカを表示した例を示す。  
図６は内視鏡画像の表示画面に検出された襞により挿入方向を示す挿入方向マーカを表示した例を示し、図７はシーン特徴量を高次局所自己相関係数の算出に用いられる基準となる２次元のパターンを示し、図８はシーン特徴量を算出する演算の説明図を示し、図９は特徴量を算出する処理手順を示す。  
図１０は図９の画像を縮小する際に用いられる離散ウェーブレット変換による縮小されたサブバンド画像例を示し、図１１は第１変形例における特徴量を算出する処理手順を示し、図１２は第２変形例における特徴量を算出する処理手順を示し、図１３は図１２の離散ウェーブレット変換による縮小されたサブバンド画像例を示す。
【００１１】
図１に示すように本発明の実施例１を備えた内視鏡システム１は、内視鏡装置２と、この内視鏡装置２から入力される内視鏡画像の映像信号に対して、挿入方向を検出する画像処理を行う内視鏡挿入方向検出装置（以下、挿入方向検出装置と略記）３とから構成される。  
内視鏡装置２は、被検体としての例えば大腸４に挿入される内視鏡５と、この内視鏡５に照明光を供給する光源部６と信号処理部７とを備えた制御装置８と、信号処理部７から出力される映像信号を表示する観察用モニタ９とから構成される。  
この信号処理部７から出力される映像信号は、挿入方向を検出及び表示する挿入方向検出装置３に入力される。
【００１２】
内視鏡５は、大腸４等に挿入される細長の挿入部１１と、この挿入部１１の後端に設けられた操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有し、このユニバーサルケーブル１３の末端のコネクタ１４は、制御装置８に着脱自在に接続される。  
制御装置８内の光源部６は、照明光を発生するランプ１５を有し、このランプ１５の照明光は内視鏡５のライトガイド１６の入射端に入射され、この入射端に入射された照明光は、挿入部１１の先端部１７のライトガイド出射端に伝送される。そして、このライトガイド出射端から伝送された照明光が出射され、挿入部１１が挿入された大腸４内部を照明する。
【００１３】
先端部１７には、ライトガイド出射端に隣接して観察窓（撮像窓）が設けてあり、この観察窓には対物レンズ１８と、その結像位置に配置された例えば電荷結合素子（ＣＣＤと略記）１９とが配置されている。  
なお、先端部１７の後端には湾曲自在の湾曲部２０が設けてあり、術者等の操作者は、操作部１２に設けた湾曲ノブ３０を回動等する操作を行うことにより、湾曲部２０を上下、左右の任意の方向に湾曲することができる。  
上記ＣＣＤ１９は、制御装置８内の信号処理部７を構成するＣＣＤドライブ回路２１と信号線を介して接続され、このＣＣＤドライブ回路２１からのＣＣＤドライブ信号がＣＣＤ１９に印加されることにより、ＣＣＤ１９は光電変換した撮像信号を出力する。  
この撮像信号は、信号処理回路２２に入力され、この信号処理回路２２は撮像信号から、例えばアナログＲＧＢ信号の映像信号を生成する。
【００１４】
この映像信号は、観察モニタ９に入力され、この観察モニタ９の表示面にはＣＣＤ１９の撮像面に結像された内視鏡画像が表示される。また、この映像信号が入力される挿入方向検出装置３は、図２に示すような構成である。  
この挿入方向検出装置３は、コンピュータ２３と、表示装置２４とから構成される。アナログＲＧＢ信号は、コンピュータ２３内のＡ／Ｄ変換器２５を介してデジタルのＲＧＢ信号に変換された後、入出力制御を行うＩ／Ｏ制御部２６に入力される。  
このＩ／Ｏ制御部２６は、挿入方向検出の画像処理を行う中央処理装置（ＣＰＵと略記）２７と、ＣＰＵ２７の画像処理のメインプログラム２８ａを記憶した記憶装置２８と、表示装置２４とに接続されている。また、ＣＰＵ２７は、挿入方向検出の画像処理を行う際のワークエリアとして使用したり、画像情報等を一時記憶するメインメモリ２９と接続されている。
【００１５】
メインプログラム２８ａは、本実施例における挿入方向検出にともなう一連の処理を実行するプログラムであるとともに、Ｉ／Ｏ制御部２６に対するＡ／Ｄ変換器２５からの画像信号の取得要求、表示装置２４への挿入方向検出処理結果表示要求等を行うようになっている。  
本実施例においては、ＣＰＵ２７は、図３に示すような処理機能を有する。つまり、ＣＰＵ２７は、内視鏡画像のシーンからシーン特徴量を算出するシーン特徴量算出機能２７ａと、シーン特徴量の特徴量ベクトルに基づき、内視鏡挿入方向を検出するために体腔内における内視鏡挿入方向（換言すると体腔内の管腔構造）に密接に関係する複数の異なる特徴量（具体的には後述する管腔暗部、襞、その他）のクラスに分類する判別分析機能（クラス分け機能）２７ｂとを有する。
【００１６】
また、このＣＰＵ２７は、分類された複数の異なる特徴量のクラスそれぞれに対応して挿入方向を算出する挿入方向算出（検出）機能２７ｄを有している。  
従って、本実施例は、内視鏡画像における内視鏡挿入方向を検出する場合に用いられる内視鏡画像の各シーンにおいて、複数の異なる特徴量、或いはこれらの特徴量に対応した構造が存在するような場合にも、クラス分けにより複数の特徴量に分類し、かつ分類された各特徴量に対応した挿入方向の算出を行うことにより、適切に挿入方向の算出を行うことができるようにしている。  
なお、本実施例は、図３に示すようにクラス分け機能２７ｂは、クラス分けする機能の他に、複数の特徴量のクラスにおける主要な特徴量のクラスを算出する主要クラス算出機能２７ｃを含む。そして、実際に挿入方向の算出を行う処理は、主要な特徴量のクラスに対してのみ行う構成にして、処理量を削減している。このように処理量を削減しない場合については後述（図１４）する。
【００１７】
次に本実施例の（内視鏡）挿入方向検出方法による作用を図４のフローチャートを参照して説明する。  
挿入方向検出装置３のＣＰＵ２７は、ステップＳ１に示すように内視鏡画像のＲＧＢ画像における例えば、Ｒ画像を取得し、メインメモリ２９或いは記憶装置２８に一時格納する。  
そして、次のステップＳ２においてＣＰＵ２７は、取り込んだＲ画像のシーンに対して、管腔暗部、襞等を含むシーン特徴量の算出処理を行う。このシーン特徴量の算出については、後述する。また、各シーンは、動画の内視鏡画像における各フレームの場合でも良いし、数フレーム周期における１フレームの場合でも良い。  
次のステップＳ３において、ＣＰＵ２７は、算出したシーン特徴量の判別分析の処理を行う。
【００１８】
判別分析の処理は、例えば特開２００２−１６５７５７号公報にて開示されているものを採用することができる。  
ＣＰＵ２７は、算出されたシーン特徴量を特徴量ベクトルとして、統計的若しくは非統計的識別器を用いて管腔暗部、襞、その他との、内視鏡挿入方向（或いは管腔構造）に密接に関係する複数の特徴量のクラスにクラス分け（或いはクラス分類）する判別分析を行う。  
また、ＣＰＵ２７は、このクラス分けした後、ステップＳ４に示すように、管腔暗部、襞、その他の各特徴量のクラスにおける基準として予め用意された教師データからの類似度を示す指標も算出し、複数の特徴量のクラスが存在する場合、主要な特徴量のクラスを算出する。  
そして、ステップＳ４で算出された主要な特徴量のクラスに応じて、次の分岐処理して行う。
【００１９】
主要なクラスとして、管腔暗部が算出された場合には、ステップＳ５ａに示すようにＣＰＵ２７は、Ｒ画像に対して管腔暗部領域の検出の処理を行う。管腔暗部領域の検出の処理は、暗部検出用の閾値で、所定サイズ以上の領域を検出することにより行う。或いは、ステップＳ２或いはＳ３の処理に用いた情報を用いて管腔暗部領域の検出を行う。或いは、例えば特公２７１０３８４号公報の暗部領域検出手法を採用して行うようにしても良い。  
この管腔暗部領域の検出の後、ステップＳ６ａに示すようにＣＰＵ２７は、検出された管腔暗部領域に図５に示すように管腔暗部マーカＭａを内視鏡画像に表示する。或いは図５における点線で示すように内視鏡画像の中心から管腔暗部方向に向く挿入方向マーカＭａ′を表示しても良い。  
一方、ステップＳ４において主要なクラスとして、襞が算出された場合には、ステップＳ５ｂに示すようにＣＰＵ２７は、Ｒ画像から襞の検出の処理を行い、その後ステップＳ６ｂに示すように、襞の重心位置を算出する処理を行う。
【００２０】
襞の検出及び重心位置の算出の処理は、ステップＳ２或いはＳ３の処理に用いた情報を用いて行うことができる。或いは、特公２６８０１１１号公報の襞検出及び襞の重心位置検出手法に基づいて襞の重心位置を算出しても良い。  
そして、ステップＳ７に示すようにＣＰＵ２７は、襞を含んだ管腔の中心を求めて、図６に示すように挿入方向マーカＭｂを表示する。  
一方、ステップＳ４において主要なクラスとして、その他のクラスに分類された場合（つまり、管腔暗部や襞が十分に算出できないシーンの場合）には、ステップＳ５ｃに示すようにＣＰＵ２７はＲ画像から濃度勾配の検出を行う。この濃度勾配の検出の処理は、例えば特開２００３−０９３３２８号公報の濃度勾配検出手法を採用する。そしてＣＰＵ２７は、この濃度勾配検出手法に基づいて内視鏡画像の濃度勾配を求める。そして、検出された濃度勾配の方向に、図６に示すような挿入方向マーカを表示する。
【００２１】
このようにして挿入方向マーカ等の表示を行う分岐処理を行うことによりステップＳ８の分岐処理エンドとなる。そして、最初のステップＳ１に戻り、次のシーンに対して同様の処理を繰り返す。  
本実施例は、図４に示したように、動画の内視鏡画像の各シーンにおけるそのシーン特徴量を算出し、さらにシーン特徴量の判別分析を行って、内視鏡挿入方向（換言すると管腔構造）に密接に関係する特徴量としての管腔暗部、襞、その他の特徴量にクラス分けし、主要な特徴量のクラスの情報に基づいて挿入方向を検出し、挿入方向のマーカ等の情報を表示する処理を行う。  
従って、術者は、挿入方向の情報に従って、湾曲操作を行うことにより、挿入部１１の先端側を管腔暗部に導入することが容易となり、挿入作業を円滑に行うことが可能となる。
【００２２】
このように本実施例における方法は、従来例が抽出又は検出された特徴量の順序に左右された挿入方向の検出を行ってしまう欠点を改善し、精度の高い挿入方向の検出を行う。また、本実施例では、複数の特徴量のクラスに分類した場合、分類された複数の特徴量に対応した挿入方向の検出をそれぞれ行う行うことなく、主要な特徴量のクラスの場合に対してのみ行うようにＣＰＵ２７は処理を低減する制御をしている。
【００２３】
つまり、ＣＰＵ２７は、主要な特徴量に対応した挿入方向の算出及び算出された挿入方向の表示を行うようにして、処理量を低減できるようにしている。
【００２４】
次に、シーン特徴量の算出、及びシーン特徴量の判別分析（クラス分け）について説明する。本実施例では、自己相関係数、より具体的には高次局所自己相関係数を算出してシーン特徴量の算出を行う。この高次局所自己相関係数に関して、例えば非特許文献１のＯ  Ｐｌｕｓ  Ｅ  ２００３年１０月ｐｐ１１３０〜１１３６「シーン理解のためのパターン認識」長谷川に解説がある。  
シーン特徴量を算出する手法は、シーンとなる画像内のテクスチャーのシーン特徴量を求める手法である。高次局所自己相関係数をシーン特徴量とする手法は、局所領域（具体的には３×３画素領域）内のｎ点（一般的にはｎ＝３が使用される）までで限定した自己相関関数を定義し、これを画像全体に適用することによりシーン特徴量を統計的に算出する手法である。
【００２５】
図７は、本実施例におけるシーン特徴量の算出において使用する２次元の基準パターンとしての高次局所自己相関特徴を示す。ここで、１で示す画素部分の配置が特徴となっている。そして、ＣＰＵ２７は、Ｒ画像に対して、３×３の局所領域を設定し、図７のＮｏ．１からＮｏ．２５におけるそれぞれ１で示す部分の画素値を加算する局所の自己相関係数の算出に対応した処理を、Ｒ画像上で３×３の局所領域を１画素づつずらしながら行うことにより、シーン特徴量を算出する。  
この場合、例えば図７におけるＮｏ．２の特徴に対する特徴量を算出する例を、図８（Ａ）及び図８（Ｂ）に示す。図８（Ａ）は、あるシーンの画像における左上隅に設定した最初の３×３の局所領域を示し、Ｎｏ．２の特徴に対するシーン特徴量を算出する場合には、画素ａ２２とａ２３の画素値ａ２２とａ２３（簡単化のため画素と同じ符号で示す）を加算する。つまり、ＣＰＵ２７は、加算値ａ２２＋ａ２３を算出する。
【００２６】
そして、ＣＰＵ２７は、この３×３の局所領域を左側に１画素分平行に移動して図８（Ｂ）に示す３×３の局所領域を設定して、この場合の画素値ａ２３＋ａ２４を図８（Ａ）で求めた加算値に加算する。このような処理を各シーンの画像全てに対して行うことにより、Ｎｏ．２の特徴に対するシーン特徴量を算出する。Ｎｏ．２の場合で説明したが、その他のＮｏ．の場合にも同様に行う。このようにして、２５個のシーン特徴量を算出することができる。  
本実施例では、図７に示す２５個の特徴を適用する場合、図９に示すように画像の縮小処理を行って、シーン特徴量を算出することにより、シーン特徴量の算出処理を高速化する。  
図９は、シーン特徴量の算出と、算出されたシーン特徴量を特徴量ベクトルとみなしてクラス分けを行う処理を示す。
【００２７】
図９に示すように、シーン特徴量の算出が開始すると、ステップＳ１１に示すようにＣＰＵ２７は、画像を縮小する処理を行う。この場合、ＣＰＵ２７は、内視鏡画像におけるＲ画像の撮像領域を５１２×５１２のサイズで切り出し、この切り出した画像を、例えば３２×３２のサイズに縮小する。  
この画像を縮小（換言すると解像度を変換）する縮小方法としては、公知の技術である例えば離散ウェーブレット変換を使用する。図１０は、離散ウェーブレット変換において、分解レベル２の変換係数群（サブバンド画像）を示す。離散ウェーブレット変換により生成されたサブバンド画像をＨＨ１、ＬＨ１、ＨＬ１、ＨＨ２、ＬＨ２、ＨＬ２、ＬＬ２で示している。
【００２８】
ここで、例えばＨＨ１は、水平、垂直方向共に、高域通過フィルタを適用して得られる画像成分を示し、ＨＨｘのｘは原画像に対する分解レベルを示す。また、ＬＨ、ＨＬ、ＬＬは、それぞれ水平方向に低域通過型フィルタ、垂直方向に高域通過型フィルタを適用した画像成分、水平方向に高域通過型フィルタ、垂直方向に低域通過型フィルタを適用した画像成分、水平方向に低域通過型フィルタ、垂直方向に低域通過型フィルタを適用した画像成分を示す。  
また、ＬＬ２、ＨＬ２、ＬＨ２、ＬＬ２は、ＬＬ１をサブバンドに分解することで導出される。なお、分解レベル１の場合には、分解前の画像は、原画像の水平及び垂直方向のサイズが１／２となる４つの変換係数ＨＨ１、ＬＨ１、ＨＬ１、ＬＬ１に分解されることになる（図１３参照）。
【００２９】
このようにして離散ウェーブレット変換によるサブバンド画像の生成を分解レベル４まで行うことにより３２×３２の縮小画像を生成する。  
そして、ステップＳ１２に示すようにＣＰＵ２７は、上述した高次局所自己相関係数の算出を行う。  
そして、算出された２５個のシーン特徴量の数列を特徴量ベクトルとみなして、ステップＳ１３に示すようにＣＰＵ２７は、管腔暗部、襞、その他の特徴量のクラスにクラス分けする判別処理を行うことになる。  
この場合、ＣＰＵ２７は、クラス分けの判別処理を行う場合、例えば記憶装置２８に予め管腔暗部、襞、その他の場合が有する特徴量ベクトルの分布領域等の教師データを参照して行う。
【００３０】
また、管腔暗部、襞、その他の教師データとの類似度を示す指標を算出することにより、複数の特徴量のクラスが存在した場合には主要な特徴量のクラスの算出を行う。そして、図４にて説明したように主要な特徴量のクラスに対して挿入方向を検出する処理を行い、検出された挿入方向を表示する。  
このような処理を行う本実施例は、外乱などでノイズが発生或いは混入しても、自己相関係数を用いてシーン特徴量を算出するため、ノイズの影響を殆ど受けないで各シーンから内視鏡挿入方向（又は管腔構造）に密接に関係する特徴量を精度良く算出することができる。  
また、本実施例は、管腔暗部、襞等の複数の構造が内視鏡画像中に存在しても、各シーン特徴量を抽出すると共に、それらを管腔暗部、襞等の特徴量のクラスにクラス分けし、主要な特徴量のクラスに対応した処理アルゴリズムで挿入方向を算出して表示する。
【００３１】
従って、本実施例は、、管腔暗部、襞等における１つの特徴量のみを含むような構造の場合はもとより、複数の構造が存在する場合にも、適切に挿入方向を算出して表示するので、術者は挿入作業や、内視鏡検査を円滑に行うことができる。  
次に図９に対する第１変形例を説明する。図９においては、画像を縮小して、縮小した画像に対して高次局所自己相関係数の算出を行っていたが、第１変形例は簡略化した処理方法、つまり、小領域の画素の平均値をシーン特徴量として算出する。  
本変形例は、シーン特徴量の算出のために、内視鏡画像の解像度の変換とも言える小領域の画素の平均値を算出する。
【００３２】
図１１は第１変形例によるシーン特徴量の算出等を示すフローチャートを示す。シーン特徴量の算出処理が開始すると、ＣＰＵ２７はステップＳ３１において、撮像されたＲ画像を例えば８×８の小領域に分割し、小領域内の画素値の平均値を小領域画素値とすることにより縮小画像を生成する。
【００３３】
次のステップＳ３２においてＣＰＵ２７は、この縮小画像における小領域画素値をシーン特徴量の構成要素とみなして、その小領域画素値をスキャンしてその数列を特徴量ベクトルとするシーン特徴量を算出する。  
次のステップＳ３３においてＣＰＵ２７は、この特徴量ベクトルを用いて判別分析を行う。  
本変形例は、図９に示した処理方法よりも簡単な処理で特徴量のクラス分けを行うことができる。  
次に図１２に示すフローチャートを参照して図９の第２変形例を説明する。本変形例は、ヒストグラムを利用する処理方法である。  
本変形例は、シーン特徴量を回転や平行移動に依存せずに行うために、画像の画素値または周波数特性のヒストグラムを、教師画像のヒストグラムと比較する手法を採用する。  周波数特性に関しては、前述の離散ウェーブレット変換を使用する。
【００３４】
そして、シーン特徴量の算出が開始すると、最初のステップＳ４１においてＣＰＵ２７は、Ｒ画像に対して、前述の離散ウェーブレット変換を行う。  
ステップＳ４１により、図１３に示すように各解像度の画像ごとに、水平（ＨＬ１）、垂直（ＬＨ１）、斜め（ＨＨ１）の３方向のスペクトルと低周波成分（ＬＬ１）の各々のサブバンド画像を得ることができる。  
次のステップＳ４２においてＣＰＵ２７は、サブバンド画像に対してヒストグラム算出を行う。そして、次のステップＳ４３においてＣＰＵ２７は、ヒストグラムの比較により、クラス分け（分類）を行う。なお、ここでは分解レベル１の場合のサブバンド画像の場合で説明するが、分解レベル２等のサブバンド画像で行っても良い。
【００３５】
ヒストグラムを比較する方法としては、例えばχ２分布を用いた手法を採用する。この場合、Ｋ個のヒストグラムを比較する場合には、以下の公式（１）によりＫ個のχ２分布の値を求め、式（２）により比較値ＣＯＭＰを求める。
【００３６】
χ２＝Σｉ（ｑｉ−ｈｉ）２／（ｑｉ＋ｈｉ）  （１）
ＣＯＭＰ＝（１／Ｋ）Σα（χ２α）        （２）
ここで、Σαは、α＝１からＫまでの総和を、Σｉは、ｉの総和を示す。また、ｑｉは、比較（検出）対象のヒストグラムのｉ番目の頻度値であり、ｈｉは、教師画像のヒストグラムのｉ番目の頻度値である。  
よって、各分類された特徴量のクラスに、その特徴量に対応する教師画像のヒストグラムを用意しておき、各々のχ２分布を求めることにより、その値が小さい教師画像が属する特徴量のクラスに分類できる。また、χ２分布の値が最も小さい教師画像が属する主要な特徴量のクラスを算出することもできる。
【００３７】
このように本変形例によれば、ヒストグラムを利用して、内視鏡挿入方向（或いは管腔構造）に関係する管腔暗部等の特徴量を算出することができる。そして、主要な特徴量を算出して、その主要な特徴量に対して精度の高い挿入方向の検出ができる。  
なお、χ２分布ではなく、相関係数（Σｉｑｉ・ｈｉ−Σｉｑｉ・Σｉｈｉ）／（（Σｉｑｉ２−Σｉｑｉ・Σｉｑｉ）・（Σｉｈｉ２−Σｉｈｉ・Σｉｈｉ））１／２や差分Σｉｍｉｎ（ｑｉ，ｈｉ）を比較値として使用してもよい。  
このように変形例の場合においても、内視鏡挿入方向（或いは管腔構造）に関係した特徴量を算出でき、精度の高い挿入方向の検出が可能となる。
【実施例２】
【００３８】
次に図１４から図１８を参照して本発明の実施例２を説明する。実施例１においては、シーン特徴量の判別分析を行った後、特徴量のクラス分けを行い、このクラス分けの際に、主要なクラスの算出を行った。本実施例では、主要なクラスを算出する処理を行わないで、クラス分けした結果に応じた分岐処理を行うようにしたものである。  
図１４は、本実施例の内視鏡挿入方向検出方法を示す。図１４は、図４におけるステップＳ４の主要なクラスを算出する代わりに、クラス分けに応じた処理に分岐するステップＳ４′としている。
【００３９】
従って、本実施例は、シーンにおいて複数の特徴量に対応する構造が存在した場合には、複数の特徴量に応じて、複数の挿入方向を検出して、その結果を表示する。この場合、複数の挿入方向が全て一致していると、その挿入方向の精度が高いことになる。これに対して、複数の挿入方向が異なる場合には、全て一致して検出された場合よりは挿入方向の検出精度が低くなる。この場合にはその表示内容から挿入方向を術者が判断する。  
従って、本実施例は、シーンにおいて複数の特徴量に対応する構造が存在した場合にも、従来例における特徴量の検出（抽出）の順序により挿入方向の検出結果が影響されてしまうような欠点を解消する。
【００４０】
なお、本実施例の変形例として、実施例１で説明したように予め用意された教師データとの類似度を示す指標の値の情報を、挿入方向の表示に反映するようにしても良い。例えば指標の値の大きさに応じて、挿入方向を示す矢印の大きさを変え、術者に対して、最も大きな矢印で表示される挿入方向が最も精度良く検出された挿入方向であると告知するようにしても良い。  
また、実施例１にも適用できるが、本実施例における特徴量のクラス分けにより管腔暗部の特徴量のクラスが検出された場合における（挿入方向の検出のための）管腔暗部の領域部分を精度良く検出する検出方法を以下に説明する。  
本実施例における管腔暗部の領域検出は、特公２７１０３８４号公報に記載された内容を改良したものである。この場合の改良点を簡単に説明すると、以下のようになる。
【００４１】
特公２７１０３８４号公報に記載の方法は、多重の解像度の画像を生成し、上位／下位の階層間の明度平均値を比較することにより、領域の分割、併合を行い、所定の明度範囲を持つ暗部領域を検出する。  
しかし、この方法は、滑らかな明度変化を持つ暗部の場合におけるその境界を検出することが難しかった。また、この方法は、明度平均値のみの比較であるため、分散の大きい小領域、テクスチャーのある小領域を誤検出してしまう可能性があった。  
より具体的に説明すると、上記公報記載の方法は、図１５（Ａ）に示すように管腔暗部の領域として検出された解像度Ａにおける実線で示す画素（原画像における矩形の小領域）の画素値（小領域内に含まれる画素の平均値）と、隣接する画素（解像度Ａの点線で示す小領域）の画素値との差または比が、所定の閾値内である場合に、その小領域を併合する。
【００４２】
また、この方法は、４分割する４分木構造の多重の解像度の画像を利用して、直近の下位の階層の画像をおける近接した小領域を併合して、管腔暗部の領域の外形線を求める。  つまり、直近の下位の階層の画像（図１５（Ｂ）に示すように解像度Ａの下位となる解像度Ｂの画像）について、解像度Ａにおける管腔暗部の領域の画素と同じ位置に存在する画素（図１５（Ａ）における解像度Ｂの太い実線で示す４つの小領域）に近接する、点線で示す画素（解像度Ｂの点線で示す小領域）の画素値との差または比が、所定の閾値内である場合に、その小領域を併合する。  
このように上記公報の方法は、解像度Ａ、解像度Ｂの画素値は、画素を小領域とみなす場合の、小領域内に含まれる原画像の画素値の平均値を使用している。
【００４３】
しかし、図１５（Ｂ）に示すように、小領域内にエッジやテクスチャーが存在する場合や濃度勾配が存在する場合には正確な判定ができず、誤った管腔暗部の領域を抽出してしまう、という問題があった。例えば、図１５（Ｂ）の右側の３つの各小領域内の画素値平均値は、全て同一である。このため、上記方法はこれらを同じ平均値を持つために併合する処理を行い、誤った管腔暗部の領域を抽出してしまう可能性がある。  
このため、本実施例においては、図１５（Ｂ）のような誤抽出（誤併合）を行わないで、適切に併合処理を行うようにする。このため、本実施例は、図１６及び図１７のような処理を行う。  
管腔暗部の検出が開始すると、図１６のステップＳ５１においてＣＰＵ２７は、取り込んだＲ画像から画素数の異なる複数の画像を生成する。
【００４４】
そして、次のステップＳ５２においてＣＰＵ２７は、前のステップＳ５１によって生成された複数の画像において、画素数の少ない画像から順に、その画像における各画素の明度を検査し、所定の画素数の画像における管腔暗部に相当する暗部領域を抽出する。
【００４５】
次のステップＳ５３においてＣＰＵ２７は、前のステップＳ５２で求めた暗部領域の近傍の領域であって、求める明度範囲内の領域を、前のステップＳ５２で求めた暗部領域に併合する併合処理を行う。このようにして、ＣＰＵ２７は、ステップＳ５１からステップＳ５３の処理を行うことにより、管腔暗部に相当する暗部領域の検出を行う。  
また、本実施例におけるステップＳ５３の詳細を図１７に示す。ステップＳ５３の処理が開始すると、ステップＳ６１においてＣＰＵ２７は、抽出された暗部領域のグレーレベル（Ｒの平均値）を算出する。この場合、例えば図１５（Ａ）に示したような、ある解像度Ａの画像において実線で示す暗部領域（前のステップＳ５２で抽出）内のグレーレベルとして、その領域内のＲの平均値を求める。
【００４６】
また、ＣＰＵ２７は、この暗部領域に近接する領域（例えば、図１５（Ａ）の解像度Ａにおける点線で囲まれた領域）における、グレーレベル（つまり、Ｒの平均値）と、濃度勾配角の分散と、変動係数（Ｃ．Ｖ．、標準偏差を平均値で割った値）を求める。  
濃度勾配角は、図１８に示すように対象とする３×３の小領域における画素ａ１１から３画素目の濃淡値の勾配或いは差分情報をもとにして、Ｘ方向濃淡勾配とＹ方向濃淡勾配のタンジェントにより求める。  
具体的には、図１８のように画素を表した場合、濃度勾配角θは、θ＝arc tan（ａ３１−ａ１１）／（ａ１３−ａ１１）で算出される。また、濃度勾配角の分散とは、領域内に含まれる画素の位置の濃度勾配角の分散である。
【００４７】
次のステップＳ６２においてＣＰＵ２７は、抽出された領域内のグレーレベルに近接する領域のグレーレベルとの差分または比が所定の範囲内にあるか否かを検査する。そして、所定の範囲内にあれば次のステップＳ６３に進む。一方、所定の範囲内に入っていない場合には、ステップＳ６６の処理に移る。  
続くステップＳ６３においてＣＰＵ２７は、近接する領域の変動係数が所定の範囲内にあるか否かを検査する。そして、所定の範囲内にあれば次のステップＳ６４に進む。一方、所定の範囲内に入っていない場合には、ステップＳ６６の処理に移る。
【００４８】
続くステップＳ６４においてＣＰＵ２７は、近接する領域の濃度勾配角の分散が所定の範囲内にあるか否かを検査する。そして、所定の範囲内にあれば次のステップＳ６５に進む。一方、所定の範囲内に入っていない場合には、ステップＳ６６の処理に移る。  
ステップＳ６２からステップＳ６４までの条件を満たす場合には、ステップＳ６５においてＣＰＵ２７はその近接する周辺の領域を既に得られた暗部領域に併合して、ステップＳ６１に戻る。  
一方、ステップＳ６２からステップＳ６４に示す条件のいずれかを満たさない場合にはステップＳ６６に示すようにＣＰＵ２７は、より高い精度の検査が必要か否かを、現在の解像度の設定値から判定する。現在の解像度の設定値が所定の終端解像度の設定値と同一であれば、この処理を終了する。そうでなければ、次のツリーレベル（解像度）の画像に対して同様の処理を行う。例えば、図１５（Ａ）の解像度で行っていた場合には、その下に示す解像度Ｂについて同様の判定処理を行う。そして、ステップＳ６１に戻る。
【００４９】
このような処理を、初期の管腔暗部に相当する暗部領域に対して再帰的に処理することによって管腔暗部の領域を広げていき、管腔暗部の領域の外形線（輪郭）の精度を高める。  
以上のように本実施例は、近接する領域との併合処理において、近接領域の画素平均値だけではなく、近接領域の画素値の変動を考慮して比較することにより、ほぼ一様な画素値分布を持った領域を併合することになり、管腔暗部の領域の検出精度を向上できる。
【００５０】
また、近接する領域との併合処理において、近接する領域の濃度勾配角の分散を比較することにより、滑らかな勾配を持った領域を併合することになり、管腔暗部の領域の検出精度を向上できる。  
このような併合処理を行うため、例えば図１５（Ｂ）に示したように単にグレーレベルが所定の範囲内に入るような場合に併合してしまう誤併合を防止して精度の高い管腔暗部の領域を検出できる。従って、本実施例は、管腔暗部の領域の検出精度の向上により、内視鏡挿入方向の検出の精度が向上する。
【実施例３】
【００５１】
次に図１９から図２３を参照して本発明の実施例３を説明する。本実施例も実施例２と同様に、精度良く管腔暗部を検出する方法を提供する。本実施例における管腔暗部を検出する方法は、図１９のフローチャートに示すものであり、この方法は、例えば特開２００３−９３３２８号公報に開示されている方法を改良したものである。  
この場合、特開２００３−９３３２８号公報の従来例に開示された方法は、例えば図２０に示すような内視鏡画像のように管腔暗部の領域Ｃ以外にも、暗部領域Ｄが存在した場合、検出しようとする管腔暗部の領域Ｃを精度良く検出することが困難であった。なお、この例では、管腔暗部の領域Ｃ内には、その奥方に腸管湾曲や襞による明領域と暗領域Ｅが存在している。  
そして、図２０における管腔暗部の領域Ｃと暗部領域Ｄを結ぶ線分Ｆ，Ｆ′上の濃度値を示すと図２１のようになる。
【００５２】
上記従来例においては、管腔暗部の領域Ｃを検出する閾値を一意に決定する必要がある。その決定方法は、全画面内の画素値のヒストグラムの解析などが広く使用される。  
もし決定された閾値がＴである場合には、図２０のＥで囲まれた領域しか抽出できない。また、決定された閾値がＴ’である場合には、暗部領域Ｄの一部も抽出してしまう。このように従来例では、画像ごとに最適な閾値を決定することが必要になり、管腔暗部の領域Ｃを精度良く検出することが困難になるという問題があった。  
このため、本実施例では、図１９に示すフローチャートに示す検出方法によって、管腔暗部の領域Ｃを抽出する。この検出方法は、図２０における管腔暗部の領域Ｃのみを抽出する手法となる。
【００５３】
図１９に示すようにＣＰＵ２７は最初のステップＳ７１において、内視鏡画像を小領域に分割する。本実施例では、説明を簡単にするために、図２２に示すように４×４個の矩形の小領域ｂｘｙ（ｘ＝１〜４，ｙ＝１〜４）に分割した例で説明する。  
次のステップＳ７２においてＣＰＵ２７は、各小領域ｂｘｙの画素値の平均値＜ｂｘｙ＞を求める。本実施例では、内視鏡画像に対応するＲＧＢ色信号のうちＲの平均値を求める。  
次のステップＳ７３においてＣＰＵ２７は、各々の小領域ｂｘｙについて、近接する８方向（４隅では３方向、外周に沿った小領域では５方向）の画素値の平均値と、処理対象の自小領域ｂｘｙの画素値の平均値＜ｂｘｙ＞とを比較（或いは差分値を算出）して、濃度勾配方向を求める。もし、自小領域ｂｘｙの画素値の平均値＜ｂｘｙ＞が比較する近接小領域の中の最低値であれば、濃度勾配方向は０とする。
【００５４】
具体的には、最初の小領域ｂ１１の場合には、差分値で表現すると、＜ｂ２１＞−＜ｂ１１＞、＜ｂ２２＞−＜ｂ１１＞、＜ｂ１２＞−＜ｂ１１＞の差分値が負となる場合で、かつその絶対値が最も大きくなる方向を濃度勾配方向とする。  
この小領域ｂ１１の場合には、＜ｂ２１＞の平均値が最も小さいため、濃度勾配方向は小領域ｂ１１から小領域ｂ２１に向かう方向となる。このようにして、図２３に示すような濃度勾配方向の分布（配列）の情報が得られる。  
なお、上記のような差分値を算出した場合、その値の全てが正となる場合には、上記のように濃度勾配方向は０とする。図２３における小領域ｂ２１、ｂ４２（ｂ２１等の符号は図２２参照）では、濃度勾配方向＝０の小領域となっている。  
次のステップＳ７４においてＣＰＵ２７は、近接小領域への濃度勾配が生じていない、すなわち濃度勾配方向＝０である小領域を順次抽出する。
【００５５】
そして、次のステップＳ７５においてＣＰＵ２７は、ステップＳ７４の処理で濃度勾配が生じていない小領域が抽出されたか否かの判定を行い、そのような小領域が抽出されない場合にはこの処理を終了し、抽出された場合には、ステップＳ７６の処理に進む。  
ステップＳ７６の処理においてＣＰＵ２７は、濃度勾配が生じていない（濃度勾配方向＝０の）小領域に対して、その小領域に近接する全ての小領域の濃度勾配が、１つの小領域への濃度勾配方向に集中している条件を満たすかどうか判定する。  
図２３における例えば小領域ｂ２１に関しては、下、右下、右の近接小領域の濃度勾配がこの小領域ｂ２１に向いていない。このため、ステップＳ７６の判定結果でＮと判定され、ステップＳ７４に戻る。
【００５６】
一方、小領域ｂ４２に介しては、全ての近接小領域の濃度勾配が小領域ｂ４２に集中している。このように、全ての近接小領域の濃度勾配が１つの小領域に集中している場合には、ステップＳ７７に示すようにＣＰＵ２７は、その小領域を管腔暗部の領域候補としてマークする。  
図２３の内視鏡画像の場合には、小領域ｂ４２が管腔暗部の領域候補としてマークされることとなる。そして、ステップＳ７８においてＣＰＵ２７は、濃度勾配のない小領域における最後の小領域であるかを判定し、最後の小領域でない場合にはステップＳ７４に戻り、最後の小領域まで行った場合にはステップＳ７９に進む。  
ステップＳ７９においてＣＰＵ２７は、以上の処理によりマークされた管腔暗部の領域候補から最終的な管腔暗部の領域を決定する。この場合、複数の管腔暗部の領域候補がマークされる場合がある。その場合には、ＣＰＵ２７は、複数の管腔暗部の領域候補における画素平均値が最も低い値の管腔暗部の領域候補を、管腔暗部の領域と決定する。  
なお本実施例では、画像を４×４に分割した矩形の小領域としたが、例えばボロノイ線図による非矩形領域、特公２７１０３８４号公報にあるような多重解像度画像の領域統合の結果として得られる領域を利用して処理を行っても、本実施例の目的に対応る効果が得られる。
【００５７】
本実施例は、画像を小領域に分割し、分割した各小領域に対して近接する小領域の濃度勾配を調べ、濃度勾配が全て１つに向くように集中している小領域を管腔暗部の領域候補とすることにより、閾値によらないで正確な管腔暗部の領域の検出を行える。従って、本実施例によれば、内視鏡挿入方向検出の精度が向上する。
【００５８】
図１９における、ステップＳ７６の判定において、全濃度勾配が１つの小領域に集中している条件を満たすか否かの判定を行った場合には、１つも該当する小領域が存在しない場合には、最も濃度勾配が集中している小領域を管腔暗部の候補の可能性があると表示するようにしても良い。
【産業上の利用可能性】
【００５９】
体腔内に挿入される内視鏡により撮像された内視鏡画像のシーンにおけるシーン特徴量を算出して、内視鏡挿入方向に関係する管腔暗部、襞等の特徴量のクラスに分類し、分類された特徴量に応じた挿入方向を検出することにより、複数の特徴量が混在するような内視鏡画像の場合にも、精度の良い挿入方向の検出ができる。
【図面の簡単な説明】
【００６０】
【図１】図１は本発明の実施例１の挿入方向検出装置を備えた内視鏡システムの全体構成図。
【図２】図２は挿入方向検出装置の構成を示すブロック図。
【図３】図３は挿入方向検出装置を構成するＣＰＵの主要な機能を示す図。
【図４】図４は本実施例による内視鏡挿入方向検出の処理内容を示すフローチャート図。
【図５】図５は内視鏡画像の表示画面に検出された管腔暗部の領域を示すマーカを表示した例を示す図。
【図６】図６は内視鏡画像の表示画面に検出された襞により挿入方向を示す挿入方向マーカを表示した例を示す図。
【図７】図７はシーン特徴量を高次局所自己相関係数の算出に用いられる基準となる２次元のパターンを示す図。
【図８】図８はシーン特徴量を算出する演算の説明図。
【図９】図９は特徴量を算出する処理手順を示すフローチャート図。
【図１０】図１０は図９の画像を縮小する際に用いられる離散ウェーブレット変換による縮小されたサブバンド画像例を示す図。
【図１１】図１１は第１変形例における特徴量を算出する処理手順を示すフローチャート図。
【図１２】図１２は第２変形例における特徴量を算出する処理手順を示すフローチャート図。
【図１３】図１３は図１２の離散ウェーブレット変換による縮小されたサブバンド画像例を示す図。
【図１４】図１４は本発明の実施例２における内視鏡挿入方向検出の処理内容を示すフローチャート図。
【図１５】図１５はある解像度の画像からその周辺の画像の併合を行う場合等の説明図。
【図１６】図１６は本実施例における暗部領域を検出する処理手順の概略を示すフローチャート図。
【図１７】図１７は図１６におけるステップＳ５３の処理手順の詳細を示すフローチャート図。
【図１８】図１８は濃度勾配角の算出の説明図。
【図１９】図１９は本発明の実施例３における管腔暗部の領域検出の処理内容を示すフローチャート図。
【図２０】図２０は管腔暗部の領域と共に、暗部領域等が混在している内視鏡画像を模式的に示す図。
【図２１】図２１は図２０におけるＦ−Ｆ′線の断面に沿った濃度値を示す図。
【図２２】図２２は図１９の方法を行う際に分割された小領域を示す図。
【図２３】図２３は図２０に示した内視鏡画像中に、図１９の方法に従って濃度勾配方向を示した図。
【符号の説明】
【００６１】
１…内視鏡システム
２…内視鏡装置
３…挿入方向検出装置
４…大腸
５…内視鏡
６…光源部
７…信号処理部
８…制御装置
９…観察モニタ
１１…挿入部
２３…コンピュータ
２４…表示装置
２７…ＣＰＵ
２７ａ…シーン特徴量検出機能
２７ｂ…判別分析機能（クラス分け機能）
２７ｃ…主要クラス算出機能
２７ｄ…挿入方向算出機能
２８…記憶装置
【図１】
2007282857.tif 000003
【図２】
2007282857.tif 000004
【図３】
2007282857.tif 000005
【図４】
2007282857.tif 000006
【図５】
2007282857.tif 000007
【図６】
2007282857.tif 000008
【図７】
2007282857.tif 000009
【図８】
2007282857.tif 000010
【図９】
2007282857.tif 000011
【図１０】
2007282857.tif 000012
【図１１】
2007282857.tif 000013
【図１２】
2007282857.tif 000014
【図１３】
2007282857.tif 000015
【図１４】
2007282857.tif 000016
【図１５】
2007282857.tif 000017
【図１６】
2007282857.tif 000018
【図１７】
2007282857.tif 000019
【図１８】
2007282857.tif 000020
【図１９】
2007282857.tif 000021
【図２０】
2007282857.tif 000022
【図２１】
2007282857.tif 000023
【図２２】
2007282857.tif 000024
【図２３】
2007282857.tif 000025
【手続補正書】
【提出日】平成18年5月10日(2006.5.10)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2007282857.tif 000026