(57)【要約】【課題】物体表面の形状を特定することができる画像処理システムを提供すること。【解決手段】画像処理システムであって、照射光を物体に照射する光照射部と、照射光が照射された物体の表面の画像である表面画像を取得する画像取得部と、照射光の照射方向を算出する照射方向算出部と、表面画像の画像内容、および照射方向算出部が算出した照射光の照射方向に基づいて、照射光が照射された物体の表面の形状を算出する形状算出部とを備える。【選択図】図１
2009273655.tif 000002
【特許請求の範囲】
【請求項１】
空間的に所定の輝度変化パターンで輝度が変化する照射光を物体に照射する光照射部と、
前記照射光の照射方向を算出する照射方向算出部と、
前記照射光が照射された前記物体の表面の画像である表面画像を取得する画像取得部と、
前記輝度変化パターンに対する前記表面画像における輝度パターンの差、および前記照射方向に基づいて、前記物体の表面の形状を算出する形状算出部と
を備える画像処理システム。
【請求項２】
前記光照射部は、所定の照射面において所定の間隔で輝度が極大となる輝度変化パターンで輝度が変化する前記照射光を照射し、
前記形状算出部は、前記物体の表面において前記照射光の輝度が極大となる位置に対応する前記表面画像上の位置である対応位置を特定し、特定した対応位置の間隔、および前記照射方向に基づいて、前記物体の表面の形状を算出する
請求項１に記載の画像処理システム。
【請求項３】
前記形状算出部は、前記照射光の輝度が極大値となる位置の間隔に対する前記対応位置の間隔の差、および前記照射方向に基づいて、前記物体の表面の形状を算出する
請求項２に記載の画像処理システム。
【請求項４】
前記光照射部は、所定の照射面において所定の間隔で輝度が極大となる輝度変化パターンで輝度が変化する第１照射光、および前記所定の照射面において前記所定の間隔より短い間隔で輝度が極大となる輝度変化パターンで輝度が変化する第２照射光とを、前記物体に照射し、
前記形状算出部は、前記第２照射光が照射された前記物体の表面の画像である前記表面画像における対応位置の間隔および前記照射方向に基づいて、前記第１照射光が照射された前記物体の表面の画像である前記表面画像における前記対応位置の間隔および前記照射方向に基づいて算出した前記物体の表面の形状の空間分解能より高い空間分解能で、前記物体の表面の形状を算出する
請求項２に記載の画像処理システム。
【請求項５】
前記照射光が照射された前記物体からの光により前記表面画像を撮像する撮像部
をさらに備え、
前記光照射部は、第１波長領域の光である前記第１照射光、および前記第１波長領域より短い第２波長領域の光である前記第２照射光を、前記物体に照射し、
前記撮像部は、前記光照射部から照射された前記第１照射光が前記物体の表面で反射した光、および前記光照射部から照射された前記第２照射光が前記物体の表面で反射された光により、前記表面画像を撮像し、
前記形状算出部は、前記第２照射光が前記物体の表面で反射した光による前記表面画像における前記対応位置の間隔および前記照射方向に基づいて、前記第１照射光が前記物体の表面で反射した光による前記表面画像における前記対応位置の間隔および前記照射方向に基づいて算出した前記物体の表面の形状の空間分解能より高い空間分解能で、前記物体の表面の形状を算出する
請求項４に記載の画像処理システム。
【請求項６】
前記光照射部は、第１波長領域の光である前記第１照射光と、第２波長領域の光である前記第２照射光とを、略同一のタイミングで照射し、
前記撮像部は、
前記第１波長領域の光を含む波長領域の光を選択的に受光する第１受光素子と、
前記第２波長領域の光を含む波長領域の光を選択的に受光する第２受光素子と、
前記第１受光素子が受光した光に基づく第１色成分、および前記第２受光素子が受光した光に基づく第２色成分を有する前記表面画像を生成する画像生成部と
を有し、
前記形状算出部は、前記表面画像における前記第２色成分に基づいて特定された前記対応位置の間隔および前記照射方向に基づいて、前記表面画像における前記第１色成分に基づいて特定された前記対応位置の間隔および前記照射方向に基づいて算出した前記物体の表面の形状の空間分解能より高い空間分解能で、前記物体の表面の形状を算出する
請求項５に記載の画像処理システム。
【請求項７】
前記光照射部は、不可視光である前記照射光を前記物体に照射する
請求項１に記載の画像処理システム。
【請求項８】
前記光照射部が照射する前記照射光の照射方向を制御する制御量を取得する制御量取得部
をさらに備え、
前記照射方向算出部は、前記制御量取得部が取得した前記制御量に基づいて、前記照射光が照射された照射方向を算出する
請求項１に記載の画像処理システム。
【請求項９】
照射光を物体に照射する光照射部と、
前記光照射部が照射する前記照射光の照射方向と略同一の方向から、前記照射光が照射された前記物体を撮像することにより、前記物体の表面の画像である表面画像を撮像する撮像部と、
前記表面画像における輝度値に基づいて、前記照射光を正反射した前記物体の表面上の位置である正反射位置を算出する正反射位置算出部と、
前記正反射位置における前記物体の表面に接する面の法線方向を、前記正反射位置に照射された前記照射光の照射方向とすることにより、前記正反射位置における前記物体の表面の形状を算出する形状算出部と
を備える画像処理システム。
【請求項１０】
前記光照射部は、異なる複数の照射方向から前記物体に前記照射光を照射し、
前記撮像部は、前記光照射部により前記異なる複数の照射方向から前記照射光がそれぞれ照射された前記物体をそれぞれ撮像することにより、複数の前記表面画像を撮像し、
前記正反射位置算出部は、前記複数の表面画像のそれぞれにおける輝度値に基づいて、前記照射光を正反射した前記物体の表面上の位置である複数の正反射位置を算出し、
前記形状算出部は、前記複数の正反射位置のそれぞれにおける前記物体の表面に接する面の法線方向を、前記複数の正反射位置のそれぞれの正反射位置が特定された前記表面画像が撮像された場合に前記複数の正反射位置のそれぞれに照射されていた前記照射光の照射方向とすることにより、前記複数の正反射位置のそれぞれにおける前記物体の表面の形状を算出する
請求項９に記載の画像処理システム。
【請求項１１】
第１波長領域の光である第１照射光、および前記第１波長領域より短い第２波長領域の光である第２照射光を、物体に照射する光照射部と、
前記光照射部から照射された前記第１照射光が前記物体の表面で反射した光、および前記光照射部から照射された前記第２照射光が前記物体の表面で反射した光により、前記物体の表面の画像である表面画像を撮像する撮像部と、
前記表面画像から、影の領域である影領域を特定する影領域特定部と、
前記第２照射光が前記物体の表面で反射した光による前記表面画像から特定された前記影領域の位置および前記照射方向に基づいて、前記第１照射光が前記物体の表面で反射した光による前記表面画像から特定された前記影領域の位置および前記照射方向に基づいて算出した前記物体の表面の形状の空間分解能より高い空間分解能で、前記物体の表面の形状を算出する形状算出部と
を備える画像処理システム。
【請求項１２】
異なる位置からそれぞれ撮像された物体の表面の画像である複数の表面画像であり、中央の画像領域より、前記表面画像における周辺の画像領域において画質が低減された複数の表面画像を取得する画像取得部と、
前記複数の表面画像の画像内容に基づいて、前記複数の表面画像のそれぞれを撮像した場合における、前記表面画像を撮像した撮像部と前記物体との間の位置関係を特定する位置関係特定部と、
前記複数の表面画像の画像内容、および前記位置関係特定部が特定した前記位置関係に基づいて、前記表面の形状を算出する形状算出部と
を備える画像処理システム。
【請求項１３】
前記画像取得部は、前記表面画像における前記中央の画像領域より、前記表面画像における前記周辺の画像領域において、解像度が低減された前記複数の表面画像を取得する
請求項１２に記載の画像処理システム。
【請求項１４】
前記画像取得部は、前記表面画像における前記周辺の画像領域の画像を、前記表面画像における前記中央の画像領域の画像を取得する取得レートより高い取得レートで取得する
請求項１２に記載の画像処理システム。
【請求項１５】
物体の表面の画像である表面画像を取得する画像取得部と、
前記表面画像における、前記物体の表面に所定のパターンで分布する特定被写体が撮像された特定オブジェクトの分布に基づいて、前記物体の表面の形状を算出する形状算出部と
を備える画像処理システム。
【請求項１６】
前記形状算出部は、前記表面画像における、前記物体の表面に略一様に分布する特定被写体が撮像された前記特定オブジェクトの分布に基づいて、前記物体の表面の形状を算出する
請求項１５に記載の画像処理システム。
【請求項１７】
前記形状算出部は、前記表面画像における前記特定オブジェクトの密度に基づいて、前記物体の表面の形状を算出する
請求項１６に記載の画像処理システム。
【請求項１８】
前記形状算出部は、前記表面画像における前記特定オブジェクトの密度の空間的変化に基づいて、前記物体の表面の形状の空間的変化を算出する
請求項１７に記載の画像処理システム。
【請求項１９】
前記形状算出部は、前記物体の表面と前記表面画像を撮像する撮像部との間の距離、および前記表面画像における前記特定オブジェクトの密度に基づいて、前記物体の表面の形状を算出する
請求項１７に記載の画像処理システム。
【請求項２０】
前記形状算出部は、前記表面画像における、異なる前記特定オブジェクトの間の位置の間隔に基づいて、前記物体の表面の形状を算出する
請求項１６に記載の画像処理システム。
【請求項２１】
前記形状算出部は、異なる複数の方向からそれぞれ前記物体が撮像された前記複数の表面画像のそれぞれにおける前記特定オブジェクトの分布に基づいて、前記物体の表面の形状を算出する
請求項１６に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関する。本発明は、特に、画像を処理する画像処理システムに関する。
【背景技術】
【０００２】
観察部位の吸光特性が異なる二つの波長の光による二つの映像信号の差を検出することにより、照明光の反射光成分を除去した画像信号を生成する技術が考案されている（例えば、特許文献１参照。）。
【特許文献１】特許第２６４３９４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献に記載の技術では、物体表面の形状に関する情報が失われてしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態によると、画像処理システムであって、空間的に所定の輝度変化パターンで輝度が変化する照射光を物体に照射する光照射部と、照射光の照射方向を算出する照射方向算出部と、照射光が照射された物体の表面の画像である表面画像を取得する画像取得部と、輝度変化パターンに対する表面画像における輝度パターンの差、および照射方向に基づいて、物体の表面の形状を算出する形状算出部とを備える。
【０００５】
また、本発明の第２の形態によると、画像処理方法であって、空間的に所定の輝度変化パターンで輝度が変化する照射光を物体に照射する光照射段階と、照射光の照射方向を算出する照射方向算出段階と、照射光が照射された物体の表面の画像である表面画像を取得する画像取得段階と、輝度変化パターンに対する表面画像における輝度パターンの差、および照射方向に基づいて、物体の表面の形状を算出する形状算出段階とを備える。
【０００６】
また、本発明の第３の形態によると、画像処理システム用のプログラムであって、コンピュータを、空間的に所定の輝度変化パターンで輝度が変化する照射光を物体に照射する光照射部、照射光の照射方向を算出する照射方向算出部、照射光が照射された物体の表面の画像である表面画像を取得する画像取得部、輝度変化パターンに対する表面画像における輝度パターンの差、および照射方向に基づいて、物体の表面の形状を算出する形状算出部として機能させる。
【０００７】
本発明の第４の形態によると、画像処理システムであって、照射光を物体に照射する光照射部と、光照射部が照射する照射光の照射方向と略同一の方向から、照射光が照射された物体を撮像することにより、物体の表面の画像である表面画像を撮像する撮像部と、表面画像における輝度値に基づいて、照射光を正反射した物体の表面上の位置である正反射位置を算出する正反射位置算出部と、正反射位置における物体の表面に接する面の法線方向を、正反射位置に照射された照射光の照射方向とすることにより、正反射位置における物体の表面の形状を算出する形状算出部とを備える。
【０００８】
本発明の第５の形態によると、画像処理方法であって、照射光を物体に照射する光照射段階と、照射光の照射方向と略同一の方向から、照射光が照射された物体を撮像することにより、物体の表面の画像である表面画像を撮像する撮像段階と、表面画像における輝度値に基づいて、照射光を正反射した物体の表面上の位置である正反射位置を算出する正反射位置算出段階と、正反射位置における物体の表面に接する面の法線方向を、正反射位置に照射された照射光の照射方向とすることにより、正反射位置における物体の表面の形状を算出する形状算出段階とを備える。
【０００９】
本発明の第６の形態によると、画像処理ステム用のプログラムであって、コンピュータを、照射光を物体に照射する光照射部、光照射部が照射する照射光の照射方向と略同一の方向から、照射光が照射された物体を撮像することにより、物体の表面の画像である表面画像を撮像する撮像部、表面画像における輝度値に基づいて、照射光を正反射した物体の表面上の位置である正反射位置を算出する正反射位置算出部、正反射位置における物体の表面に接する面の法線方向を、正反射位置に照射された照射光の照射方向とすることにより、正反射位置における物体の表面の形状を算出する形状算出部として機能させる。
【００１０】
本発明の第７の形態によると、画像処理システムであって、第１波長領域の光である第１照射光、および第１波長領域より短い第２波長領域の光である第２照射光を、物体に照射する光照射部と、光照射部から照射された第１照射光が物体の表面で反射した光、および光照射部から照射された第２照射光が物体の表面で反射した光により、物体の表面の画像である表面画像を撮像する撮像部と、表面画像から、影の領域である影領域を特定する影領域特定部と、第２照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて、第１照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて算出した物体の表面の形状の空間分解能より高い空間分解能で、物体の表面の形状を算出する形状算出部とを備える。
【００１１】
本発明の第８の形態によると、画像処理方法であって、第１波長領域の光である第１照射光、および第１波長領域より短い第２波長領域の光である第２照射光を、物体に照射する光照射段階と、光照射段階において照射された第１照射光が物体の表面で反射した光、および光照射段階において照射された第２照射光が物体の表面で反射した光により、物体の表面の画像である表面画像を撮像する撮像段階と、表面画像から、影の領域である影領域を特定する影領域特定段階と、第２照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて、第１照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて算出した物体の表面の形状の空間分解能より高い空間分解能で、物体の表面の形状を算出する形状算出段階とを備える。
【００１２】
本発明の第９の形態によると、画像処理システム用のプログラムであって、コンピュータを、第１波長領域の光である第１照射光、および第１波長領域より短い第２波長領域の光である第２照射光を、物体に照射する光照射部、光照射部から照射された第１照射光が物体の表面で反射した光、および光照射部から照射された第２照射光が物体の表面で反射した光により、物体の表面の画像である表面画像を撮像する撮像部、表面画像から、影の領域である影領域を特定する影領域特定部、第２照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて、第１照射光が物体の表面で反射した光による表面画像から特定された影領域の位置および照射方向に基づいて算出した物体の表面の形状の空間分解能より高い空間分解能で、物体の表面の形状を算出する形状算出部として機能させる。
【００１３】
本発明の第１０の形態によると、画像処理システムであって、異なる位置からそれぞれ撮像された物体の表面の画像である複数の表面画像であり、中央の画像領域より、表面画像における周辺の画像領域において画質が低減された複数の表面画像を取得する画像取得部と、複数の表面画像の画像内容に基づいて、複数の表面画像のそれぞれを撮像した場合における、表面画像を撮像した撮像部と物体との間の位置関係を特定する位置関係特定部と、複数の表面画像の画像内容、および位置関係特定部が特定した位置関係に基づいて、表面の形状を算出する形状算出部とを備える。
【００１４】
本発明の第１１の形態によると、画像処理方法であって、異なる位置からそれぞれ撮像部により撮像された物体の表面の画像である複数の表面画像であり、中央の画像領域より、表面画像における周辺の画像領域において画質が低減された複数の表面画像を取得する画像取得段階と、複数の表面画像の画像内容に基づいて、複数の表面画像のそれぞれを撮像した場合における撮像部と物体との間の位置関係を特定する位置関係特定段階と、複数の表面画像の画像内容、および位置関係特定段階において特定された位置関係に基づいて、表面の形状を算出する形状算出段階とを備える。
【００１５】
本発明の第１２の形態によると、画像処理システム用のプログラムであって、コンピュータを、異なる位置からそれぞれ撮像された物体の表面の画像である複数の表面画像であり、中央の画像領域より、表面画像における周辺の画像領域において画質が低減された複数の表面画像を取得する画像取得部、複数の表面画像の画像内容に基づいて、複数の表面画像のそれぞれを撮像した場合における、表面画像を撮像した撮像部と物体との間の位置関係を特定する位置関係特定部、複数の表面画像の画像内容、および位置関係特定部が特定した位置関係に基づいて、表面の形状を算出する形状算出部として機能させる。
【００１６】
本発明の第１３の形態によると、画像処理システムであって、物体の表面の画像である表面画像を取得する画像取得部と、表面画像における、物体の表面に所定のパターンで分布する特定被写体が撮像された特定オブジェクトの分布に基づいて、物体の表面の形状を算出する形状算出部とを備える。
【００１７】
本発明の第１４の形態によると、画像処理方法であって、物体の表面の画像である表面画像を取得する画像取得段階と、表面画像における、物体の表面に所定のパターンで分布する特定被写体が撮像された特定オブジェクトの分布に基づいて、物体の表面の形状を算出する形状算出段階とを備える。
【００１８】
本発明の第１５の形態によると、画像処理システム用のプログラムであって、コンピュータを、物体の表面の画像である表面画像を取得する画像取得部、表面画像における、物体の表面に所定のパターンで分布する特定被写体が撮像された特定オブジェクトの分布に基づいて、物体の表面の形状を算出する形状算出部として機能させる。
【００１９】
なお、上記の発明の概要は、この発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２０】
以下、発明の実施の形態を通じてこの発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２１】
図１は、一実施形態に係わる内視鏡システム１０の構成の一例を、生体１９０とともに示す。内視鏡システム１０は、生体１９０を撮像して得られた生体１９０の表面の画像である表面画像から、表面の形状を特定する。また、内視鏡システム１０は、特定した表面の形状に基づいて、表面の形状を強調した出力画像を生成する。また、内視鏡システム１０は、特定した表面の形状に基づいて、生体１９０における癌、腫瘍などの異常組織の部位を特定する。
【００２２】
内視鏡システム１０は、内視鏡の一部としてのスコープ１００、鉗子１３５、画像処理部１４０、制御部１０５、光照射部１２０、操作部１６０、および出力部１５０を備える。なお、図１において、Ａ部は、スコープ１００の先端部１０２を拡大して示す。なお、内視鏡システム１０は、以下に説明するように、撮像システムあるいは画像処理システムとして機能することができる。また、生体１９０は、この発明における物体の一例であってよい。
【００２３】
スコープ１００は、撮像部１１０および鉗子口１３０を有しており、光照射部１２０の一部としてのライトガイド１２４を内蔵する。スコープ１００の先端部１０２は、ノズル１３８、撮像部１１０の一部としてのレンズ１１２、およびライトガイド１２４の一部としての出射口１２８を有する。なお、スコープ１００が内蔵するライトガイド１２４および出射口１２８は、スコープ１００の外部に設けられた発光部１２２とともに、光照射部１２０として機能する。なお、スコープ１００は、発光部１２２を内蔵することもできる。
【００２４】
鉗子口１３０には鉗子１３５が挿入され、鉗子口１３０は鉗子１３５を先端部１０２にガイドする。なお、鉗子１３５は、各種の先端形状を備えてよい。なお、鉗子口１３０には、鉗子の他に、生体１９０を処置する種々の処置具が挿入されてよい。ノズル１３８は、水あるいは空気を生体１９０に送出する。
【００２５】
発光部１２２は、出射口１２８から生体１９０に向けて照射される光を発生する。発光部１２２は、赤成分、緑成分、および青成分の光を含む可視光を発生してよい。発光部１２２は、ハロゲンランプであってよい。また、発光部１２２は、赤外光などの不可視光を発生してもよい。また、発光部１２２は、可視光および不可視光を含む光を発生してもよい。
【００２６】
ライトガイド１２４は、一例として光ファイバで形成される。ライトガイド１２４は、発光部１２２が発生した光をスコープ１００の先端部１０２の出射口１２８にガイドする。発光部１２２で発生して出射口１２８から出射した光は、照射光として生体１９０に照射される。なお、照射光は、後に説明するように、生体１９０の表面の形状を算出するために照射する光として機能することができる。また、照射光は、生体１９０を照明する照明光としても機能することができる。
【００２７】
なお、スコープ１００は、一例として生物の内部に挿入される。そして、撮像部１１０は、生物内部の生体１９０を照射光により撮像する。具体的には、撮像部１１０は、照射光が照射された生体１９０からの光により、生体１９０の表面１９２の画像である表面画像を撮像する。具体的には、撮像部１１０は、照射光が生体１９０で反射した光である反射光を受光して、生体１９０の画像を撮像する。なお、生体１９０としては、胃の粘膜、腸の消化器の粘膜等のような、生物の消化器の粘膜を例示することができる。
【００２８】
画像処理部１４０は、撮像部１１０により得られた表面画像を処理する。例えば、画像処理部１４０は、表面画像の画像内容を解析して、解析結果を生成する。例えば、画像処理部１４０は、表面画像の画像内容を解析して、生体１９０の表面形状を示す解析結果を生成する。具体的には、画像処理部１４０は、表面画像を解析することにより、表面１９２に含まれる凹部１９６ａおよび凸部１９４ａおよび凸部１９４ｂ、ならびに表面１９２に含まれる凹部１９６ａおよび凹部１９６ｂの位置を特定することにより、表面１９２の形状を示す解析結果を生成する。
【００２９】
なお、凸部１９４ａおよび凹部１９６ａは、生体１９０に異常組織が発生している場合に期待される空間スケールの凹凸であってよい。また、凸部１９４ｂおよび凹部１９６ｂは、生体１９０の正常組織が元々有する空間スケールの凹凸であってよい。
【００３０】
また、画像処理部１４０は、当該表面形状に基づいて表面画像に画像処理を施して出力画像を生成してよい。例えば、画像処理部１４０は、表面画像における凸部１９４ａおよび凹部１９６ａを示す画像領域を、表面画像における凸部１９４ｂおよび凹部１９６ｂを示す画像領域より強調した出力画像を生成してよい。そして、画像処理部１４０は、解析結果または出力画像の少なくとも一方を出力部１５０に供給する。
【００３１】
出力部１５０は、画像処理部１４０から供給された解析結果または出力画像を出力する。例えば、出力部１５０は、出力画像を不揮発性メモリ等の記録媒体に記録してよい。また、出力部１５０は、出力画像を表示してもよい。また、出力部１５０は、解析結果を表示したり、解析結果を記録媒体に記録してよい。
【００３２】
なお、操作部１６０は、ユーザから操作指示を取得する。具体的には、操作部１６０は、スコープ１００を制御する制御内容を含む指示を、ユーザから取得する。例えば、操作部１６０は、スコープ１００の先端部１０２を駆動する駆動量を含む指示を、ユーザから取得する。一例として、操作部１６０は、スコープ１００の先端部１０２のアングルを変化させる場合にユーザが回転させるアングル制御ノブを有しており、アングル制御ノブがユーザによって回転させられた回転量を含む指示を、スコープ１００の先端部１０２を駆動する駆動量を含む指示としてユーザから取得してよい。
【００３３】
制御部１０５は、操作部１６０がユーザから取得した指示に基づいて、スコープ１００を制御する。例えば、制御部１０５は、当該指示に基づいて、スコープ１００を駆動してよい。例えば、制御部１０５は、操作部１６０が取得した回転量に応じた量だけ、スコープ１００の先端部１０２のアングルを変化させてよい。
【００３４】
他にも、制御部１０５は、発光部１２２による光の発生を制御してよい。例えば、制御部１０５は、発光部１２２が発生する光の波長を制御してよい。具体的には、制御部１０５は、発光部１２２が可視光または不可視光の少なくとも一方を発生するタイミングを制御してよい。なお、制御部１０５は、操作部１６０が取得した指示に基づいて、発光部１２２による光の発生を制御してよい。
【００３５】
また、制御部１０５は、画像処理部１４０による画像処理の内容を制御してよい。例えば、制御部１０５は、表面形状を強調する強調処理の種類を、操作部１６０が取得したユーザからの指示に基づいて決定してよい。そして、画像処理部１４０は、制御部１０５が決定した種類の強調処理を表面画像に施すことによって、出力画像を生成してよい。
【００３６】
このように、内視鏡システム１０によると、生体１９０の表面１９２の形状を特定することができる。そして、内視鏡システム１０によると、表面１９２の形状に応じて適切な画像処理がなされた出力画像を提供することができる。
【００３７】
図２は、画像処理部１４０のブロック構成の一例を示す。画像処理部１４０は、画像取得部２１０、正反射位置算出部２４０、影領域特定部２５０、位置関係特定部２７０、形状算出部２００、および出力画像生成部２９０を備える。位置関係特定部２７０は、速度算出部２４２、制御量取得部２４４、および位置関係算出部２６０を有する。また、位置関係算出部２６０は、撮像方向算出部２２０および照射方向算出部２３０を含む。
【００３８】
画像取得部２１０は、生体１９０の表面の画像である表面画像を取得する。具体的には、画像取得部２１０は、撮像部１１０が撮像した表面画像を取得する。より具体的には、画像取得部２１０は、照射光が照射された生体１９０の表面の画像である表面画像を取得する。
【００３９】
そして、形状算出部２００は、表面画像の画像内容に基づいて、生体１９０の表面の形状を算出する。具体的には、形状算出部２００は、表面画像の画像内容に基づいて、照射光が照射された生体１９０の表面の形状を算出する。例えば、形状算出部２００は、後に説明するように、表面画像の輝度値に基づいて、生体１９０の表面の形状を算出する。
【００４０】
より具体的には、形状算出部２００は、表面画像の輝度値に基づいて、表面画像が有する特定のオブジェクトの位置、特定のオブジェクトの間の間隔、および特定のオブジェクトの大きさの少なくともいずれかを特定して、特定した特定のオブジェクトの位置、特定のオブジェクトの間の間隔、および特定のオブジェクトの大きさに基づいて、生体１９０の表面の形状を算出してよい。なお、特定のオブジェクトは、後述するように、特定の輝度パターンの照明光を表面１９２に照射した場合に表面１９２に現れる輝度パターン像、表面１９２に現れているピット像、表面画像におけるスペキュラ像、表面画像に含まれる影の像を含む。
【００４１】
正反射位置算出部２４０は、表面画像における輝度値に基づいて、照射光を正反射した生体１９０の表面上の位置である正反射位置を算出する。そして、形状算出部２００は、照射光の照射方向に基づいて、正反射位置における表面の形状を算出する。
【００４２】
具体的には、形状算出部２００は、正反射位置における生体１９０の表面に接する面の法線方向を、正反射位置に照射された照射光の照射方向とすることにより、正反射位置における生体１９０の表面の形状を算出する。なお、形状算出部２００は、上記法線方向を、正反射位置算出部２４０によって正反射位置が算出された表面画像が撮像された場合に正反射位置に照射されていた照射光の照射方向とすることにより、正反射位置における生体１９０の表面の形状を算出することはいうまでもない。また、形状算出部２００が正反射位置に基づいて表面の形状を算出する場合、撮像部１１０は、光照射部１２０が照射する照射光の照射方向と略同一の方向から、照射光が照射された生体１９０を撮像することにより、表面画像を撮像しているとする。
【００４３】
なお、光照射部１２０は、異なる複数の照射方向から生体１９０に照射光を照射してよい。そして、撮像部１１０は、光照射部１２０により異なる複数の照射方向から照射光がそれぞれ照射された生体１９０をそれぞれ撮像することにより、異なる複数の照射方向からそれぞれ照射光が照射された複数の表面画像を撮像してよい。そして、正反射位置算出部２４０は、複数の表面画像のそれぞれにおける輝度値に基づいて、照射光を正反射した生体１９０の表面上の位置である複数の正反射位置を算出してよい。そして、形状算出部２００は、複数の正反射位置のそれぞれにおける生体１９０の表面に接する面の法線方向を、複数の正反射位置のそれぞれの正反射位置が特定された表面画像が撮像された場合に複数の正反射位置のそれぞれに照射されていた照射光の照射方向とすることにより、複数の正反射位置のそれぞれにおける生体１９０の表面の形状を算出してよい。
【００４４】
これにより、形状算出部２００は、スポット的な小領域でなく、広い領域の表面形状を算出することができる。なお、ユーザからの指示によりスコープ１００の先端部１０２のアングルが時間的に変化することで出射口１２８から照射される照射光の向きが時間的に変化することにより、光照射部１２０は異なるタイミングでそれぞれ複数の照射方向から生体１９０に照射光を照射してよい。この場合、正反射位置算出部２４０は、ユーザが生体の表面を観察すべくスコープ１００の位置・向きを変えた場合に撮像された複数の表示画像のそれぞれの画像内容に基づいて、異なる方向から照射光が照射された場合における正反射位置を算出することができる。これにより、形状算出部２００は、ユーザによる観察行為の最中に表面形状を算出することができる。
【００４５】
影領域特定部２５０は、表面画像から、影の領域である影領域を特定する。具体的には、影領域特定部２５０は、表面画像における輝度値に基づいて、表面画像から影領域を特定してよい。そして、形状算出部２００は、影領域の位置、および照射方向に基づいて、生体１９０の表面の形状を算出する。具体的には、形状算出部２００は、影領域の位置、形状、および照射光の照射方向に基づいて、生体１９０の表面の形状を算出する。また、形状算出部２００は、影領域の位置、形状、および照射光の照射方向に基づいて、生体１９０の表面の高さを算出することにより、生体１９０の表面の形状を算出する。
【００４６】
なお、形状算出部２００は、影領域に対応する生体１９０の表面上の領域に隣接しており、照射光を生体１９０に照射する光照射部１２０に近い領域の高さを、影領域に対応する生体１９０の表面上の領域より高く算出する。また、形状算出部２００は、影領域の照射方向の長さがより長い場合に、光照射部１２０に近い領域の高さをより高く算出してよい。なお、撮像部１１０が照射光の照射方向と略同一の方向から生体１９０を撮像することにより表面画像を撮像している場合には、形状算出部２００は、影領域が示す生体１９０の表面上の影領域に隣接していて、撮像部１１０に近い領域の高さを、影領域が示す生体１９０の表面上の領域より高く算出することになる。
【００４７】
なお、出力画像生成部２９０は、形状算出部２００が算出した表面１９２の形状に基づいて表面画像に画像処理を施すことにより、出力画像を生成する。一例として、出力画像生成部２９０は、表面形状に応じた陰影処理、テクスチャ処理、スペキュラー処理、グレースケール処理、カラーマップ処理、ワイヤフレーム処理を、表面画像に施すことにより出力画像を生成してよい。このようにして、出力画像生成部２９０は、形状算出部２００が算出した表面１９２の形状が示す３次元構造を強調した出力画像を生成することができる。出力画像生成部２９０が生成した出力画像は、出力画像を出力部１５０に供給され、出力部１５０において記録または表示される。
【００４８】
なお、出力画像生成部２９０は、ユーザによる操作部１６０からの指示に基づいて、表面画像を回転させた出力画像を生成してよい。例えば、出力画像生成部２９０は、操作部１６０から画像の回転量を含む指示を取得して、当該回転量で表面画像を回転させた出力画像を生成してよい。これにより、内視鏡システム１０によると、実際にスコープ１００を回転させることなく、ユーザが欲する方向から生体１９０を見た場合に得られるべき画像を提供することができる。
【００４９】
なお、位置関係特定部２７０は、生体１９０と撮像部１１０との間の位置関係、または生体１９０と光照射部１２０との間の位置関係を特定する。そして、形状算出部２００は、位置関係特定部２７０が特定した位置関係に基づいて、生体１９０の表面の形状を特定してよい。なお、この発明における生体１９０と撮像部１１０との間の位置関係とは、生体１９０とレンズ１１２との間の位置関係を意味してよい。また、この発明における生体１９０と光照射部１２０との間の位置関係とは、生体１９０と出射口１２８との間の位置関係を意味してよい。
【００５０】
なお、本実施形態のように、レンズ１１２および出射口１２８がスコープ１００の先端部１０２に設けられている場合、生体１９０と撮像部１１０との間の位置関係、または生体１９０と光照射部１２０との間の位置関係は、生体１９０と先端部１０２との間の位置関係を意味してよい。また、生体１９０と撮像部１１０との間の位置関係は、撮像部１１０の撮像方向を示す情報をさらに含んでよい。また、生体１９０と光照射部１２０との間の位置関係は、照射光の照射方向を示す情報をさらに含んでよい。また、撮像部１１０の撮像方向と照射光の照射方向とが略同一である場合には、生体１９０と先端部１０２との間の位置関係は、先端部１０２の向きを示す情報をさらに含んでよい。
【００５１】
例えば、位置関係特定部２７０は、複数の表面画像の画像内容に基づいて、複数の表面画像のそれぞれを撮像した場合における撮像部１１０と生体１９０との間の位置関係を特定する。そして、形状算出部２００は、複数の表面画像の画像内容、および位置関係特定部２７０が特定した位置関係に基づいて、表面の形状を算出する。
【００５２】
具体的には、撮像部１１０は、ユーザからの指示によってスコープ１００の先端部１０２の位置が変化している間に連続的に表面画像を撮像することによって、生体１９０に対して異なる位置から複数の表面画像を撮像する。そして、画像取得部２１０は、当該複数の表面画像を取得する。そして、速度算出部２４２は、当該複数の表面画像の画像内容に基づいて、撮像部１１０が生体１９０に対して動く速度を算出する。なお、撮像部１１０が生体１９０に対して動く速度とは、レンズ１１２が生体１９０に対して動く速度を意味してよい。例えば、速度算出部２４２は、複数の表面画像のそれぞれから同一被写体を示すオブジェクトの位置を特定して、特定した位置に基づいて、撮像部１１０が生体１９０に対して動く速度を算出する。
【００５３】
そして、位置関係算出部２６０は、速度算出部２４２が算出した速度、および複数の表面画像のそれぞれを撮像部１１０が撮像したタイミングに基づいて、位置関係を算出する。具体的には、位置関係算出部２６０は、特定のタイミングにおける撮像部１１０と生体１９０との間の位置関係、および速度算出部２４２が算出した速度に基づいて、他のタイミングにおける撮像部１１０と生体１９０との間の位置関係を算出する。
【００５４】
より具体的には、撮像方向算出部２２０は、特定のタイミングにおける撮像方向、および速度算出部２４２が算出した速度に基づいて、他のタイミングにおける撮像方向を算出する。また、照射方向算出部２３０は、特定のタイミングにおける照射光の照射方向、および速度算出部２４２が算出した速度に基づいて、他のタイミングにおける照射光の照射方向を算出する。なお、撮像方向と照射方向との関係が予め定められている場合には、撮像方向算出部２２０は、当該関係および照射方向算出部２３０が算出した照射方向に基づいて、撮像方向を算出することができる。同様に、照射方向算出部２３０は、当該関係および撮像方向算出部２２０が算出した撮像方向に基づいて、照射方向を算出することができる。
【００５５】
そして、形状算出部２００は、照射方向算出部２３０が算出した照射方向および撮像方向算出部２２０が算出した撮像方向の少なくとも一方、および複数の表面画像の画像内容に基づいて、表面の形状を算出する。例えば、画像取得部２１０は、表面画像を撮像する撮像部１１０が異なる方向から撮像した複数の表面画像を取得する。そして、形状算出部２００は、異なる撮像方向からそれぞれ撮像されて得られた複数の表面画像における視差情報に基づいて、表面の形状を算出してよい。また、形状算出部２００は、異なる照射方向から照射光が照射されている場合にそれぞれ撮像されて得られた複数の表面画像の間における輝度の差に基づいて、表面の形状を算出してよい。
【００５６】
このように、形状算出部２００は、複数の表面画像の画像内容、および位置関係算出部２６０が算出した位置関係に基づいて、表面の形状を算出する。なお、形状算出部２００は、表面画像の画像内容、および照射方向に基づいて、照射光が照射された生体１９０の表面の、照射光が照射された照射方向に対する傾きを算出することにより、生体１９０の表面の形状を算出してよい。
【００５７】
なお、位置関係算出部２６０は、スコープ１００の先端部１０２の位置を制御する制御量に基づいて、上記位置関係を算出することもできる。具体的には、位置関係算出部２６０は、スコープ１００の先端部１０２の位置を制御部１０５が制御する制御値に基づいて、上記位置関係を算出してよい。位置関係算出部２６０は、一例として、制御部１０５がスコープ１００を屈曲させるモータを制御する制御値に基づいて、上記位置関係を算出してよい。なお、スコープ１００の先端部１０２の位置を制御する制御量は、この発明における照射光の照射方向を制御する制御量の一例であってよい。
【００５８】
そして、照射方向算出部２３０は、制御量取得部２４４が取得した制御量に基づいて、照射光が照射された照射方向を算出する。例えば、照射方向算出部２３０は、制御量に対応づけて照射方向の変化量を予め記憶しており、照射方向算出部２３０は、制御量取得部２４４が取得した制御量に対応づけて記憶している照射方向の変化量、および当該制御量による制御前の照射方向に基づいて、当該制御量による制御後の照射方向を算出することができる。同様にして、撮像方向算出部２２０は、制御量取得部２４４が取得した制御量に基づいて、撮像方向を算出することができる。
【００５９】
なお、上記の説明では、形状算出部２００は、表面画像における影の画像、表面画像から特定された正反射位置、異なる撮像方向から撮像された複数の表面画像に基づく視差情報、あるいは異なる照射方向から光が照射されて撮像された複数の表面画像に基づく輝度情報に基づいて、表面形状を算出した。他にも、形状算出部２００は、表面画像から特定の画像パターンを抽出して、抽出した画像パターンに基づいて、生体１９０の表面の形状を算出することができる。形状算出部２００が当該画像パターンに基づいて生体１９０の表面の形状を算出する算出方法については、図６および図７に関連して後に説明する。
【００６０】
このように、ユーザの指示によって先端部１０２の位置が変化させられることで、レンズ１１２の位置または出射口１２８の位置が変化する。内視鏡システム１０によると、位置変化させながら撮像された表面画像から、生体１９０の表面の形状を算出することができる。また、内視鏡システム１０によると、表面１９２の形状に応じて適切な画像処理を施すことによって、異常組織を検出し易い出力画像を提供することができる場合がある。また、内視鏡システム１０によると、算出した形状に基づいて、異常組織に特有な空間スケールの凹凸を抽出することにより、異常組織の位置またはその異常度を推定することができる場合がある。また、内視鏡システム１０によると、表面１９２の形状に基づいて、異常組織の凹部の深さまたは異常組織の凸部の高さ、あるいはその形状を特定することで、異常組織の異常度を推定することができる場合がある。
【００６１】
図３は、撮像部１１０の構成の一例を示す。撮像部１１０は、レンズ１１２、フィルタ部３１０、受光部３００、および画像生成部３３０を有する。レンズ１１２は、生体１９０からの光を受光部３００に結像させる。なお、フィルタ部３１０は、異なる波長領域の光を選択的に透過する複数の色フィルタ素子が略同一面上にマトリクス状に配列されたカラーフィルタであってよい。画像生成部３３０は、図４に関連して説明する受光部３００が有する受光素子が受光した受光量に基づいて、表面画像を生成する。画像生成部３３０が生成した表面画像は、画像取得部２１０に供給される。
【００６２】
図４は、受光部３００における受光素子の配列の一例を示す。受光部３００は、赤外成分の光を受光するＩＲ光受光素子４１０、赤成分の光を受光するＲ光受光素子４２０、緑成分の光を受光するＧ光受光素子４３０、および青成分の光を受光するＢ光受光素子４４０を有する受光ユニット４００を有する。受光部３００は、受光ユニット４００と同様の配列の受光ユニットが２次元的に配列されて形成される。なお、本図において、ＩＲが付された領域にはＩＲ光受光素子４１０が形成され、Ｒが付された領域にはＲ光受光素子４２０が形成され、Ｇが付された領域にはＧ光受光素子４３０が形成され、Ｂが付された領域にはＢ光受光素子４４０が形成される。
【００６３】
このように、受光部３００は、特定の波長領域の光をそれぞれ選択的に受光するＩＲ光受光素子４１０、Ｒ光受光素子４２０、Ｇ光受光素子４３０、及びＢ光受光素子４４０が所定のパターンでマトリクス状に配列されて形成される。なお、フィルタ部３１０は、受光部３００が有する複数の受光素子のそれぞれの位置に対応した位置に色フィルタ素子が設けられている。そして、受光部３００が有する複数の受光素子のそれぞれは、対応した位置に設けられた色フィルタ素子が透過した光を受光する。
【００６４】
なお、光照射部１２０は、赤外成分の光、赤成分の光、緑成分の光、および青成分の光を含む光を照射する。そして、受光部３００は、赤外成分の光、赤成分の光、緑成分の光、および青成分の光を含む照射光を照射した場合に生体１９０から戻ってくる戻り光を受光する。具体的には、受光部３００は、光照射部１２０から照射された照射光が場合に生体１９０の表面１９２で反射した反射光を受光する。例えば、ＩＲ光受光素子４１０、Ｒ光受光素子４２０、Ｇ光受光素子４３０、およびＢ光受光素子４４０は、それぞれ、反射光に含まれる赤外成分の光、赤成分の光、緑成分の光、および青成分の光を含む光を受光する。
【００６５】
なお、光照射部１２０は、赤成分の光、緑成分の光、および青成分の光を含む可視光を、生体１９０を照明する照明光として照射してよい。そして、光照射部１２０は、不可視光の一例としての赤外成分の光を、生体１９０の表面１９２を算出するための照射光として照射する。そして、形状算出部２００は、受光部３００が有する複数のＩＲ光受光素子４１０が受光した光に基づく表面画像に基づいて、生体１９０の表面１９２を算出してよい。
【００６６】
このように、光照射部１２０は、一例として、不可視光である照射光を生体１９０に照射する。そして、形状算出部２００は、不可視光である照射光により生体１９０の表面が撮像された生体１９０の表面の画像である表面画像の画像内容、および照射方向に基づいて、生体１９０の表面の形状を算出する。
【００６７】
なお、光照射部１２０は、照明光の強度とは独立に不可視光の光強度を制御することができる。このため、形状算出部２００は、より高いＳＮ比で表面形状を算出することができる場合がある。また、内視鏡システム１０によると、可視光によって照明されて得られた表面画像と、不可視光により生成された形状算出用の表面画像とを同時に得ることができる。このため、内視鏡システム１０によると、先端部１０２が高速に移動している場合においても、より高い時間解像度で表面形状を算出して、算出した表面１９２の形状に基づいて表面画像に画像処理を施すことができる。
【００６８】
図５は、先端部１０２の位置変化の一例を模式的に示す。制御部１０５は、操作部１６０が取得したユーザからの指示に応じて先端部１０２を動かす。先端部１０２の動きに応じて、レンズ１１２の光軸の向きおよびレンズ１１２の位置、ならびに出射口１２８から出射される照射光の照射方向および出射口１２８の位置が変化する。
【００６９】
撮像部１１０は、ユーザからの指示に基づく制御部１０５による制御によって先端部１０２が動いている間に連続的に表面１９２を撮像することによって、複数の表面画像を生成する。そして、画像処理部１４０は、図２に関連して説明したように、複数の表面画像の画像内容に加えて、複数の表面画像が撮像されたタイミングのそれぞれにおけるレンズ１１２の光軸の向き、レンズ１１２の位置、出射口１２８から出射される照射光の照射方向、および出射口１２８の位置の少なくともいずれかとに基づいて、表面１９２の形状を算出することができる。
【００７０】
図６は、表面画像の輝度パターンに基づいて表面形状を算出する方法の一例を示す。光照射部１２０は、一例として、光量が所定のパターンで空間的に変化する照射光を照射する。例えば、光照射部１２０は、照射光の照射方向に垂直な面において所定の矩形パターンを有する照射光を生体１９０に照射する。矩形パターンは、一例として正方形パターンであってよい。また、光照射部１２０は、照射光の照射軸６３０に対して発散する光である照射光を照射してよい。
【００７１】
例えば、光照射部１２０は、本図に示すように、照射方向に垂直な面６１０において正方形パターンが描かれる照射光を照射するとする。この場合、画像６５０のように正方形が同一間隔で並んでいる表面画像が撮像部１１０によって撮像される。ここで、物体の表面が、面６２０で示されるように照射方向に対して垂直な面からｘ方向に傾斜している場合、画像６６０のように変形した矩形パターンを有する表面画像が撮像部１１０によって撮像される。例えば、画像６６０では、本図に向き６７０で示される方向に変形した矩形パターンが現れているので、画像６６０において向き６７０で示される方向に面６２０が傾斜していると判断することができる。このように、形状算出部２００は、表面画像から抽出された輝度パターンの形状の、照射パターンの形状からの変形量に基づいて、照射軸６３０に垂直な面に対する表面の接平面の傾斜角度を算出することにより、生体１９０の表面の形状を算出することができる。
【００７２】
したがって、照射光の照射方向が既知であれば、形状算出部２００は、表面画像に現れた矩形パターンの正方形パターンからの変形量に基づいて、物体表面の傾きを算出することができる。このように、形状算出部２００は、輝度変化パターンに対する表面画像における輝度パターンの差、および照射方向に基づいて、生体１９０の表面の形状を算出することができる。
【００７３】
例えば、光照射部１２０が、所定の照射面において所定の間隔で輝度が極大となる輝度変化パターンで輝度が変化する照射光を照射したとする。この場合、形状算出部２００は、生体１９０の表面において照射光の輝度が極大となる位置に対応する表面画像上の位置である対応位置を特定して、特定した対応位置の間隔、および照射方向に基づいて、生体１９０の表面の形状を算出する。例えば、形状算出部２００は、表面画像において輝度が極大値となる位置の間隔を特定して、特定した対応位置の間隔、および照射方向に基づいて、生体１９０の表面の形状を算出することができる。このように、形状算出部２００は、所定の照射面において照射光の輝度が極大値となる位置の間隔に対する対応位置の間隔の差、および照射方向に基づいて、生体１９０の表面の形状を算出することができる。
【００７４】
なお、形状算出部２００は、表面画像における変形度合いがより大きい場合に、照射方向に垂直な面に対する物体表面の傾斜角をより大きく算出することができる。また、画像６６０に示されるように、矩形パターンの一辺の長さは面６２０の傾斜方向に変化している。したがって、形状算出部２００は、照射方向に垂直な面からの物体表面の傾斜方向が矩形の一辺の長さが変化している方向であるとみなすことによって、物体表面の形状を算出することができる。
【００７５】
以上説明したように、光照射部１２０は、空間的に所定の輝度変化パターンで輝度が変化する照射光を照射する。そして、形状算出部２００は、表面画像における輝度パターン、および照射方向に基づいて、生体１９０の表面の形状を算出する。
【００７６】
なお、図５等に関連して説明したように、ユーザによる操作に応じてスコープ１００の先端が動くことによって、照射光の照射方向が変化する。そこで、形状算出部２００は、異なる複数の照射方向で照射光が照射された場合にそれぞれ撮像された複数の表面画像のそれぞれにおける輝度パターンに基づいて、生体１９０の表面の形状を算出することができる。例えば、形状算出部２００は、それら複数の表面画像のそれぞれから算出された同じ位置の表面の傾斜角度を平均化してよい。これにより、表面形状の算出精度をより高めることができる。
【００７７】
なお、本図に関連して説明したように、特定の照射パターンの照射光を生体１９０の表面に照射することで表面形状を算出する方法によると、照射パターンが表面上において変化する空間周波数に応じた空間分解能で、表面形状を算出することができる。つまり、形状算出部２００は、より高い周波数で空間的に変化する照射パターンの照射光、例えばより短い周期で輝度が変化する照射パターンの照射光を照射した場合に、生体１９０の表面の形状をより高い空間分解能で算出することができる。
【００７８】
そこで、光照射部１２０は、所定の照射面において所定の間隔で輝度が極大となる輝度変化パターンで輝度が変化する第１照射光、および所定の照射面において所定の間隔より短い間隔で輝度が極大となる輝度変化パターンで輝度が変化する第２照射光とを、生体１９０に照射してよい。そして、形状算出部２００は、第２照射光が照射された生体１９０の表面の画像である表面画像における対応位置の間隔および照射方向に基づいて、第１照射光が照射された生体１９０の表面の画像である表面画像における対応位置の間隔および照射方向に基づいて算出した生体１９０の表面の形状の空間分解能より高い空間分解能で、生体１９０の表面の形状を算出してよい。例えば、形状算出部２００は、一辺がより短い矩形パターンの第２照射光を照射した場合に撮像された表面画像に基づいて、より高い空間分解能で生体１９０の表面の形状を算出することができる。
【００７９】
したがって、形状算出部２００は、一辺が予め定められた長さより長い矩形パターンの照射光により照射された表面画像に基づいて、生体１９０の表面の形状を大局的なスケールで算出することができる。また、形状算出部２００は、一辺が予め定められた長さより短い矩形パターンの照射光により照射された表面画像に基づいて、生体１９０の表面の形状を微細なスケールで算出することができる。なお、それら矩形パターンの一辺の長さは、腫瘍等の注目すべき被写体の大きさに応じて、予め定められてよい。
【００８０】
図７は、腺管開口部が撮像された表面画像の一例を示す。表面画像７００は、この発明における特定被写体の一例である腺管開口部を撮影して得られた表面画像を模式的に示している。表面画像７００は、この発明における特定オブジェクトの一例であるピット像７１０を複数含む。
【００８１】
ところで、腺管開口部は、生体１９０の表面において略一様に分布しているとみなすことができる。したがって、撮像部１１０が撮像方向に垂直な平面状の表面を撮影して得られた画像においては、ピット像の分布は略一様となる。一方、生体１９０の表面が湾曲している場合等のように、表面の傾きが空間的に変化している場合には、撮像部１１０が表面を撮像して得られた画像におけるピット像７１０の分布は、非一様になる。したがって、形状算出部２００は、ピット像７１０の分布および撮像部１１０の撮像方向に基づいて、表面形状を算出することができる。
【００８２】
ピット像７１０の分布としては、近傍に位置する他のピット像７１０の間の間隔を例示することができる。以下の説明では近傍に位置する他のピット像７１０の間の間隔を、ピット間隔と称する。本図を参照して、表面画像７００においては、左上領域におけるピット間隔は、右下領域におけるピット間隔より短い。したがって、形状算出部２００は、向き７７０が示すように、右下領域から左上領域の方向に向けて、表面が湾曲することにより傾斜が空間的に変化していると判断することができる。このように、形状算出部２００は、表面画像における、特定オブジェクトの間の位置の間隔に基づいて、生体１９０の表面の形状を算出することができる。なお、ピット間隔は、ピット像７１０の重心位置同士の間隔であってよい。
【００８３】
なお、ピット像７１０の分布としては、ピット像７１０の間隔の他に、ピット像７１０の密度を例示することができる。すなわち、形状算出部２００は、表面画像における特定オブジェクトの密度に基づいて、生体１９０の表面の形状を算出することができる。このように、形状算出部２００は、表面画像における特定オブジェクトの密度の空間的変化に基づいて、生体１９０の表面の形状の空間的変化を算出することができる。
【００８４】
上記の説明では、形状算出部２００が、特定被写体が生体１９０の表面に略一様に分布するとしたが、特定被写体が生体１９０の表面に非一様に分布している場合であっても、表面における特定被写体の分布が分かっていれば、特定オブジェクトの分布に基づいて表面形状を算出することができる。このように、形状算出部２００は、表面画像における、生体１９０の表面に所定のパターンで分布する特定被写体が撮像された特定オブジェクトの分布に基づいて、生体１９０の表面の形状を算出することができる。
【００８５】
また、上記の説明では、生体１９０の表面が湾曲している場合に、ピット像７１０の分布に基づいて表面形状を算出する場合を例に挙げて形状算出部２００の動作を説明した。一方、生体１９０の表面が平面状である場合にはピット間隔が一様になってしまう。このような場合でも、形状算出部２００は、ピット像７１０の２次元形状に基づいて、生体１９０の表面の形状を算出することができる場合がある。
【００８６】
例えば、本図を参照すると、ピット像７１０の形状は、表面画像７００の左上領域において、右下領域より扁平になっている。そこで、形状算出部２００は、ピットを正面から撮像した場合に得られるべきピット像の形状を示す基準パターンを予め記憶しており、ピット像７１０の２次元形状を示す形状パターンの、当該基準パターンからの変形量に基づいて、生体１９０の表面の形状を算出してよい。形状パターンとしては、ピットのアスペクト比を例示することができる。
【００８７】
他にも、少なくともレンズ１１２と表面１９２との間の光軸方向の距離が分かっていれば、形状算出部２００は、当該距離、およびピット像７１０の密度に基づいて、表面形状を算出することができる。例えば、形状算出部２００は、ピットを正面から撮像した場合に得られるべきピット像の間隔を距離に応じて予め記憶してよい。そして、形状算出部２００は、レンズ１１２と表面１９２との間の光軸方向の距離に対応づけて記憶しているピット像の間隔と、表面画像７００におけるピット間隔との差に基づいて生体１９０の表面の傾きを算出することにより、生体１９０の表面の形状を算出することができる。このように、形状算出部２００は、生体１９０の表面と表面画像を撮像する撮像部１１０との間の距離、および表面画像における特定オブジェクトの密度に基づいて、前記物体の表面の形状を算出する。
【００８８】
なお、図５等に関連して説明したように、ユーザによる操作に応じてスコープ１００の先端が動くことによって、表面に対する撮像方向が変化する。そこで、形状算出部２００は、異なる複数の方向からそれぞれ生体１９０が撮像された複数の表面画像のそれぞれにおける特定オブジェクトの分布に基づいて、生体１９０の表面の形状を算出することができる。例えば、形状算出部２００は、異なる方向から撮像された表面画像のそれぞれから算出した同じ位置の表面の傾斜角度を平均化してよい。これにより、表面形状の算出精度をより高めることができる。
【００８９】
図８は、正反射光領域を含む表面画像の一例を示す。表面画像８００は、光照射部１２０から照射された光を正反射した領域の画像である正反射像８１０および正反射像８２０を含む。正反射位置算出部２４０は、位置関係特定部２７０が特定した位置関係、および正反射像８１０および正反射像８２０の表面画像８００上の位置に基づいて、正反射像８１０および正反射像８２０のそれぞれが示す、照射光を正反射した生体１９０の表面上の位置である正反射位置を算出することができる。
【００９０】
なお、正反射位置算出部２４０は、正反射像８１０および正反射像８２０の位置を、表面画像８００における輝度値に基づいて算出してよい。例えば、正反射位置算出部２４０は、表面画像８００において予め定められた値より高い輝度値を有する領域を、正反射像の領域として決定してよい。また、正反射位置算出部２４０は、表面画像８００において予め定められた値より高い輝度値を有しており、周辺領域における輝度の平均値との輝度の差が予め定められた値より大きい領域を、正反射像の領域として決定してもよい。
【００９１】
また、正反射位置算出部２４０は、表面画像８００において予め定められた値より高い輝度値を有しており、白色度が予め定められた値より大きい領域を、正反射像の領域として決定してよい。また、正反射位置算出部２４０は、表面画像８００において予め定められた値より高い輝度値を有しており、白色度が予め定められた値より大きく、周辺領域における白色度の平均値との白色度の差が予め定められた値より大きい領域を、正反射像の領域として決定してもよい。このようにして、正反射位置算出部２４０は、正反射像８１０および正反射像８２０の位置を、表面画像８００における輝度値に基づいて決定することができる。
【００９２】
正反射像８１０および正反射像８２０の位置が決定されると、正反射位置算出部２４０は、正反射像８１０および正反射像８２０の位置、表面画像８００を撮像した場合における撮像部１１０の先端部の位置に基づいて、生体１９０の表面における正反射位置を算出することができる。そして、形状算出部２００は、当該正反射位置における生体１９０の表面に接する平面の法線方向が、撮像部１１０の撮像方向と垂直であるとすることによって、生体１９０の表面の形状を算出することができる。
【００９３】
なお、図５等に関連して説明したように、ユーザによる操作に応じてスコープ１００の先端が動くことによって、表面に対する撮像方向および照射光の照射方向が変化する。形状算出部２００は、異なる複数の方向から照射光が照射された場合に生体１９０が撮像された複数の表面画像のそれぞれにおける正反射位置、および複数の表面画像のそれぞれが撮像された場合における照射光の照射方向に基づいて、生体１９０の表面の形状を面的に算出することができる。
【００９４】
図９は、表面画像における影領域の一例を示す。表面画像９００は、生体１９０の表面における凸部９１０により形成された影領域９２０を含む。影領域特定部２５０は、表面画像９００において輝度値が予め定められた値より低い領域を、影領域９２０として特定してよい。また、影領域特定部２５０は、表面画像９００において予め定められた値より低い輝度値を有しており、周辺領域における輝度の平均値に対する輝度の比が予め定められた値より小さい領域を、影領域９２０として特定してもよい。
【００９５】
そして、形状算出部２００は、影領域９２０が示す表面１９２上の領域より出射口１２８の側の領域に、凸部が存在すると判断することができる。これにより、形状算出部２００は、表面の形状を算出することができる。また、形状算出部２００は、影領域９２０において、照射光の照射方向の長さ成分ｌがより長い場合に、凸部の高さをより高く算出することができる。また、形状算出部２００は、影領域９２０の形状に基づいて、凸部の形状を算出してもよい。
【００９６】
なお、図５等に関連して説明したように、ユーザによる操作に応じてスコープ１００の先端が動くことによって、照射光の照射方向が変化する。形状算出部２００は、異なる複数の方向から照射光が照射された場合に生体１９０が撮像された複数の表面画像のそれぞれにおける影領域、および複数の表面画像のそれぞれが撮像された場合における照射光の照射方向に基づいて、生体１９０の表面の形状をより正確に算出することができる。
【００９７】
図１０は、表面画像において画質が低減される画像領域の一例を示す。撮像部１１０は、時刻ｔ１〜ｔ８にわたって生体１９０の表面を連続的に撮像することによって生成した表面画像１０００−１〜表面画像１０００−８を、画像取得部２１０に供給する。具体的には、画像生成部３３０は、受光部３００が受光した生体１９０の表面からの光により、表面画像１０００−１〜表面画像１０００−８を生成して、生成した表面画像１０００−１〜表面画像１０００−８を画像取得部２１０に供給する。
【００９８】
ここで、画像生成部３３０は、周辺の画像領域１０２０の解像度を中央の画像領域１０１０の解像度より低減した表面画像１０００−１〜表面画像１０００−３、表面画像１０００−４〜表面画像１０００−７を生成して、画像取得部２１０に供給する。なお、画像生成部３３０は、所定のタイミングで、周辺の画像領域１０２０の解像度が中央の画像領域１０１０の解像度と同じ表面画像１０００−４、表面画像１０００−８を生成してもよい。このように、画像取得部２１０は、表面画像における中央の画像領域１０１０より、表面画像における周辺の画像領域１０２０において、解像度が低減された複数の表面画像を取得する。
【００９９】
そして、位置関係特定部２７０は、画像取得部２１０が取得した周辺領域の画像の画像内容に基づいて、撮像部１１０と生体１９０との間の位置関係を特定してもよい。そして、形状算出部２００は、複数の表面画像における中央の画像領域１０１０の画像内容、および位置関係特定部２７０が特定した位置関係に基づいて、複数の表面画像における中央の画像領域１０１０に撮像されている生体１９０の表面の形状を算出する。
【０１００】
具体的には、速度算出部２４２は、複数の表面画像における周辺の画像領域１０２０の画像内容に基づいて、先端部１０２の生体１９０の表面に対する速度を算出する。そして、位置関係算出部２６０は、速度算出部２４２が算出した速度、および複数の表面画像のそれぞれを撮像部１１０が撮像したタイミングに基づいて、位置関係を算出する。そして、形状算出部２００は、複数の表面画像における中央の画像領域１０１０の画像内容、および位置関係算出部２６０が算出した位置関係に基づいて、複数の表面画像における中央の画像領域１０１０に撮像されている生体１９０の表面の形状を算出する。なお、速度算出部２４２は、表面画像１０００−１〜表面画像１０００−８のそれぞれにおける周辺の画像領域１０２０から、同じ被写体を示す同一オブジェクトの位置を特定して、特定した同一オブジェクトの位置に基づいて、表面１９２に対する先端部１０２の速度を算出することができる。
【０１０１】
このようにして、画像取得部２１０は、表面画像における中央の画像領域１０１０より、表面画像における周辺の画像領域１０２０において画質が低減された複数の表面画像を取得する。なお、画質を示す指標としては、上記の解像度の他に、色数、輝度の階調数を例示することができる。すなわち、画像生成部３３０は、周辺の画像領域１０２０において中央の画像領域１０１０より色数が少ない表面画像を画像取得部２１０に供給したり、周辺の画像領域１０２０において中央の画像領域１０１０より階調数が少ない表面画像を画像取得部２１０に供給することができる。
【０１０２】
なお、受光部３００が有する受光素子は、ＣＭＯＳ等の撮像素子であってよい。この場合、画像生成部３３０は、受光部３００が有する受光素子の出力を間引いて読み出すことにより、解像度を低減した表面画像を生成してもよい。
【０１０３】
なお、画像生成部３３０は、周辺の画像領域１０２０において画質を低減した表面画像を、周辺の画像領域１０２０を送信する送信レートより高い送信レートで送信してよい。このように、画像取得部２１０は、表面画像における周辺の画像領域１０２０の画像を、表面画像における中央の画像領域１０１０の画像を取得する取得レートより高い取得レートで取得してよい。
【０１０４】
以上説明したように、画像生成部３３０は、表面画像における中央の画像領域１０１０より、表面画像における周辺の画像領域１０２０において画像のデータ量が低減された複数の表面画像を生成する。このため、撮像部１１０は、表面画像を高速に画像処理部１４０に供給することができる。このため、内視鏡システム１０によると、スコープ１００の先端部１０２が高速に移動した場合であっても、先端部１０２と生体１９０との間の位置関係をより高い時間解像度で算出することができる。
【０１０５】
なお、図１から図１０に関連して、生体１９０からの光を用いて生体１９０の表面の形状を算出する内視鏡システム１０の各部の動作を説明した。ここで、生体１９０を通過する光は、波長が長いほど生体１９０の組織により散乱を受けにくくなる。したがって照射光のうち、より長い波長領域の光ほど、生体１９０の組織内部に深達することができる。このため、生体１９０からの光のうち、長波長領域の光ほど、表面における局所的な情報を有していないと言える。したがって、生体１９０の表面における大局的な形状を算出するためにはより長波長領域の光による表面画像を用いることが望ましく、生体１９０の表面の微細構造を算出するためにはより短波長領域の光による表面画像を用いることが望ましい。
【０１０６】
このため、光照射部１２０は、第１波長領域の光である第１照射光、および第１波長領域より短い第２波長領域の光である第２照射光を、生体１９０に照射する。そして、撮像部１１０は、光照射部１２０から照射された第１照射光が生体１９０の表面で反射した光、および光照射部１２０から照射された第２照射光が生体１９０の表面で反射された光により、表面画像を撮像する。
【０１０７】
例えば、図６に関連して説明したように大局的な形状を算出する場合には、光照射部１２０は、より大きい矩形パターンを有する照射光として第１照射光を照射する。また、表面における微細構造を算出する場合には、光照射部１２０はより小さい矩形パターンを有する照射光として第２照射光を照射する。そして、形状算出部２００は、第２照射光が生体１９０の表面で反射した光による表面画像における対応位置の間隔および照射方向に基づいて、第１照射光が生体１９０の表面で反射した光による表面画像における対応位置の間隔および照射方向に基づいて算出した生体１９０の表面の形状の空間分解能より高い空間分解能で、生体１９０の表面の形状を算出してよい。
【０１０８】
また、図９に関連して説明したように、影領域に基づいて表面形状を算出する場合でも、光照射部１２０は、大局的な表面形状を算出する場合には第１照射光を照射して、表面における微細構造を算出する場合には第２照射光を照射してよい。そして、形状算出部２００は、第２照射光が生体１９０の表面で反射した光による表面画像から特定された影領域および照射方向に基づいて、第１照射光が生体１９０の表面で反射した光による表面画像から特定された影領域および照射方向に基づいて算出した生体１９０の表面の形状の空間分解能より高い空間分解能で、生体１９０の表面の形状を算出することができる。
【０１０９】
なお、光照射部１２０は、第１照射光および第２照射光を同時に照射してよい。例えば、光照射部１２０は、第１波長領域の光である第１照射光と、第１波長領域より短い波長領域である第２波長領域の光である第２照射光とを、略同一のタイミングで照射してよい。なお、受光部３００は、第１波長領域の光を含む波長領域の光を選択的に受光する受光素子と、第２波長領域の光を含む波長領域の光を選択的に受光する受光素子とを、それぞれ複数有している。
【０１１０】
そして、画像生成部３３０は、第１波長領域の光を含む波長領域の光を選択的に受光する受光素子が受光した光に基づく第１色成分、および第２波長領域の光を含む波長領域の光を選択的に受光する受光素子が受光した光に基づく第２色成分を有する表面画像を生成する。そして、形状算出部２００は、表面画像における第２色成分に基づいて特定された対応位置の間隔および照射方向に基づいて、表面画像における第１色成分に基づいて特定された対応位置の間隔および照射方向に基づいて算出した生体１９０の表面の形状の空間分解能より高い空間分解能で、生体１９０の表面の形状を算出する。なお、一例として、第１照射光は赤色領域の光であってよく、当該光を選択的に受光する受光素子はＲ光受光素子４２０であってよい。また、第２照射光は青色領域の光であってよく、当該光を選択的に受光する受光素子はＢ光受光素子４４０であってよい。
【０１１１】
また、以上の説明では、生体１９０を表面形状の算出対象の一例として、内視鏡システム１０の各構成要素の動作の一例を説明した。この発明は、生体１９０の他にも、工業的に製造された製品等の物品の表面形状、または生体以外の自然物の表面形状を算出する場合にも使用することができる。すなわち、この発明における物体は、物品または自然物であってよい。
【０１１２】
図１１は、画像処理部１４０のハードウェア構成の一例を示す。画像処理部１４０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【０１１３】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１１４】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【０１１５】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理部１４０が起動するときに実行するブート・プログラム、あるいは画像処理部１４０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１１６】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理部１４０を、図１から図１０に関連して説明した画像処理部１４０が有する各構成要素として機能させる。
【０１１７】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理部１４０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理部１４０として機能する。また、同様にして、プログラムが、コンピュータを内視鏡システム１０が有する各構成要素としてコンピュータを機能させることができることは言うまでもない。
【０１１８】
以上、この発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態もこの発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【０１１９】
【図１】一実施形態に係わる内視鏡システム１０の構成の一例を、生体１９０とともに示す図である。
【図２】画像処理部１４０のブロック構成の一例を示す図である。
【図３】撮像部１１０の構成の一例を示す。
【図４】受光部３００における受光素子の配列の一例を示す。
【図５】先端部１０２の位置変化の一例を模式的に示す図である。
【図６】表面画像の輝度パターンに基づいて表面形状を算出する方法の一例を示す図である。
【図７】腺管開口部が撮像された表面画像の一例を示す図である。
【図８】正反射光領域を含む表面画像の一例を示す図である。
【図９】表面画像における影領域の一例を示す図である。
【図１０】表面画像において画質が低減される画像領域の一例を示す図である。
【図１１】画像処理部１４０のハードウェア構成の一例を示す図である。
【符号の説明】
【０１２０】
１０  内視鏡システム
１００  スコープ
１０２  先端部
１０５  制御部
１１０  撮像部
１１２  レンズ
１２０  光照射部
１２２  発光部
１２４  ライトガイド
１２８  出射口
１３０  鉗子口
１３５  鉗子
１３８  ノズル
１４０  画像処理部
１５０  出力部
１６０  操作部
１９０  生体
１９２  表面
１９４  凸部
１９６  凹部
２１０  画像取得部
２００  形状算出部
２２０  撮像方向算出部
２３０  照射方向算出部
２４０  正反射位置算出部
２４２  速度算出部
２４４  制御量取得部
２５０  影領域特定部
２６０  位置関係算出部
２７０  位置関係特定部
２９０  出力画像生成部
３００  受光部
３１０  フィルタ部
３３０  画像生成部
４００  受光ユニット
４１０  ＩＲ光受光素子
４２０  Ｒ光受光素子
４３０  Ｇ光受光素子
４４０  Ｂ光受光素子
６１０  面
６２０  面
６３０  照射軸
６５０  画像
６６０  画像
６７０  向き
７００  表面画像
７１０  ピット像
７７０  向き
８００  表面画像
８１０  正反射像
８２０  正反射像
９００  表面画像
９１０  凸部
９２０  影領域
１０００  表面画像
１０１０  画像領域
１０２０  画像領域
１５０５  ＣＰＵ
１５１０  ＲＯＭ
１５２０  ＲＡＭ
１５３０  通信インターフェイス
１５４０  ハードディスクドライブ
１５５０  フレキシブルディスク・ドライブ
１５６０  ＣＤ−ＲＯＭドライブ
１５７０  入出力チップ
１５７５  グラフィック・コントローラ
１５８０  表示デバイス
１５８２  ホスト・コントローラ
１５８４  入出力コントローラ
１５９０  フレキシブルディスク
１５９５  ＣＤ−ＲＯＭ
１５９８  ネットワーク通信装置
【図１】
2009273655.tif 000003
【図２】
2009273655.tif 000004
【図３】
2009273655.tif 000005
【図４】
2009273655.tif 000006
【図５】
2009273655.tif 000007
【図６】
2009273655.tif 000008
【図７】
2009273655.tif 000009
【図８】
2009273655.tif 000010
【図９】
2009273655.tif 000011
【図１０】
2009273655.tif 000012
【図１１】
2009273655.tif 000013