(57)【要約】  可視光投影装置は、非可視光を発する第１の領域を検出する検出部と、検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、操作者により選択された色に基づいて、投影部に投影を行わせる制御部と、を備える。制御部は、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色が選択された場合、第１の領域に対して前記投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる。第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色とは異なる第２の色が選択された場合、第１の領域に対して投影部が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる。
2016157260.tif 000002
【特許請求の範囲】
【請求項１】
非可視光を発する第１の領域を検出する検出部と、
前記検出部が検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、
操作者により選択された色に基づいて、前記投影部に投影を行わせる制御部と、を備え、
前記制御部は、
前記第２の領域のうち、前記第１の領域以外の領域に対して前記投影部が投影する可視光の色として、第１の色が選択された場合、前記第１の領域に対して前記投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる一方で、
前記第２の領域のうち、前記第１の領域以外の領域に対して前記投影部が投影する可視光の色として、前記第１の色とは異なる第２の色が選択された場合、記第１の領域に対して前記投影部が投影する可視光の色を、前記第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる、可視光投影装置。
【請求項２】
前記制御部は、
前記第１の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、前記第１の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする、請求項１に記載の可視光投影装置。
【請求項３】
前記制御部は、前記検出部が検出する前記第１の領域を構成する各部分からの非可視光の強度に応じて、前記第１の領域に対して前記投影部に多階調による色の投影をさせる場合に、前記投影部が投影する可視光の色の彩度を階調に応じて異ならせる、請求項１又は２に記載の可視光投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、非可視光の発光を検出した領域に対して、可視光を投影する可視光投影装置に関する。
【背景技術】
【０００２】
特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２４０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より使いやすい可視光投影装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示にかかる可視光投影装置は、非可視光を発する第１の領域を検出する検出部と、検出部が検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、操作者により選択された色に基づいて、投影部に投影を行わせる制御部と、を備える。制御部は、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色が選択された場合、第１の領域に対して前記投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる。一方、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色とは異なる第２の色が選択された場合、第１の領域に対して投影部が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる。【０００６】
より好ましくは、制御部は、第１の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、第１の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする。【０００７】
より好ましくは、制御部は、検出部が検出する第１の領域を構成する各部分からの非可視光の強度に応じて、第１の領域に対して投影部に多階調による色の投影をさせる場合に、投影部が投影する可視光の色の彩度を階調に応じて異ならせる。
【発明の効果】
【０００８】
本開示によれば、より使いやすい可視光投影装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】手術支援システム１００の構成を説明する図
【図２】投影制御装置の画像処理にかかる構成を説明する図
【図３】操作者１４０が各種の設定操作を行う際に、表示される画面を説明する図
【図４】背景色が黒色で階調数を２階調に限定した場合の投影映像を示すイメージ図
【図５】背景色が白色で階調数を２階調に限定した場合の投影映像を示すイメージ図
【図６】背景色が白色で階調数を４階調に限定した場合の投影映像を示すイメージ図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施の形態１）
＜１．手術支援システムの概要＞
以下では一例として、本開示の投影システムを、病院における手術支援に適用した実施の形態１を説明する。病院における手術支援に適用した投影システムを、手術支援システム１００と称する。
【００１３】
最初に、実施の形態１にかかる手術支援システム１００の概要を、図１を用いて説明する。図１は、手術支援システム１００の構成を説明する図である。図１に示すように、手術支援システム１００は、手術台１１０に載った患者１２０の鉛直方向上方に、撮像照射装置２００が位置するように配置される。
【００１４】
手術支援システム１００を利用するにあたって、手術を受ける患者１２０には、光感受性物質が血液中などに投与される。光感受性物質は、励起光を受光して蛍光を発する物質である。実施の形態１では、光感受性物質の一例として、インドシアニングリーン（以下、ＩＣＧと称する）を用いた場合を説明する。ＩＣＧは、医療承認されており、人体への使用が可能な試薬である。ＩＣＧは、血液中に投与されると血液やリンパ液の流れが滞っている患部１３０に蓄積される。ＩＣＧは、８００ｎｍ前後の赤外励起光が照射されることにより、ピーク波長８５０ｎｍ前後の赤外蛍光を発する。従って、赤外蛍光の発している領域（ＩＣＧ発光領域）を検出することができれば、患部１３０の領域を特定することが可能となる。
【００１５】
手術支援システム１００は、ＩＣＧの赤外蛍光の発している領域を検出して、患部１３０の領域を特定するシステムである。手術支援システム１００は、特定した患部１３０の領域が医師に視認可能となるように、特定した患部１３０の領域に対して可視光を投影する。これにより、手術支援システム１００は、患部１３０への手術を行う際に、医師による患部１３０の領域特定を支援することができる。
【００１６】
＜２．手術支援システムの構成＞
続いて、手術支援システム１００の構成の詳細について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、主に、撮像照射装置２００、投影制御装置３００、メモリ２４０、赤外励起光光源２３０を備えている。また、手術支援システム１００は、操作者１４０からの各種の設定操作を受け付けるために、表示制御装置１５０、ディスプレイ１６０、マウス１７０を備えている。更に、図示はしていないが、手術支援システム１００は、撮像照射装置２００を配置する位置を変更するための機構（撮像照射装置２００と機械的に接続された駆動アームや、手術支援システム１００の一式を載置する台座のキャスターなど）を備えている。
【００１７】
撮像照射装置２００は、撮像手段や照射手段を一体的に内包した装置である。撮像照射装置２００は、赤外カメラ２１０、ダイクロイックミラー２１１、プロジェクタ２２０を備えている。撮像照射装置２００は、手術台１１０に横になっている患者１２０から発した赤外蛍光２２３を検出する。そして、プロジェクタ２２０から射出させた可視照射光２２２を、検出した赤外蛍光２２３が示す患部１３０の領域に対して照射する。赤外蛍光２２３をより適切に検出し、かつ、可視照射光２２２をより適切に照射するため、撮像照射装置２００は、手術台１１０に載った患者１２０の直上に配置するとよい。
【００１８】
投影制御装置３００は、手術支援システム１００を構成する各部を統括制御する装置である。投影制御装置３００は、赤外カメラ２１０、プロジェクタ２２０、赤外励起光光源２３０、メモリ２４０を制御可能なように、それらに電気的に接続されている。投影制御装置３００は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置３００の機能は、専用に設計された電子回路により実現されてもよい。
【００１９】
メモリ２４０は、投影制御装置３００が演算を実行するにあたって、適宜アクセスを行う記憶媒体である。
【００２０】
赤外励起光光源２３０は、少なくともＩＣＧの励起波長８００ｎｍ前後の赤外励起光２３１を照射する光源である。赤外励起光光源２３０は、投影制御装置３００からの制御信号に従って、赤外励起光２３１の照射のＯＮ／ＯＦＦを切り替えることができる。赤外励起光２３１の照射ムラを低減させるため、赤外励起光光源２３０は、手術台１１０に載った患者１２０の直上に配置するとよい。
【００２１】
表示制御装置１５０は、ディスプレイ１６０と、マウス１７０と電気的に接続されている。ディスプレイ１６０は、投影制御装置３００の投影動作にかかる各種の設定を行うためのメニューを表示することができる。操作者１４０は、ディスプレイ１６０に表示されたメニューを見ながら、マウス１７０を把持して操作することにより、投影制御装置３００の投影動作にかかる各種の設定を行うことができる。具体的には、ＩＣＧ発光領域（患部１３０）に対して投影する投影色及びその階調数の切り替え、並びに、ＩＣＧ発光領域の周囲（背景）及びその輪郭部に対して投影する投影色の切り替え、の設定を行うことができる。表示制御装置１５０は、操作者１４０から設定操作を受け付けると、投影制御装置３００に対してその設定を反映させるための通知を行う。これにより、投影制御装置３００は、操作者１４０によって設定された内容の投影動作を行うことができる。ディスプレイ１６０は、液晶表示方式、有機ＥＬ方式など各種方式が適用可能である。また、マウス１７０は操作手段の一例であり、タッチパネルやキーボードなど他の操作手段を用いてもよい。
【００２２】
次に、撮像照射装置２００に備わる各構成について説明する。
【００２３】
赤外カメラ２１０は、赤外領域に分光感度特性を有するカメラである。本開示にかかる手術支援システム１００では、ＩＣＧから発せられる８５０ｎｍ前後の赤外蛍光２２３を検出する必要がある。そのため、赤外カメラ２１０は、少なくとも８５０ｎｍ前後の赤外領域に対して分光感度特性を有する。なお、ＩＣＧから発せられる赤外蛍光２２３以外の光の受光を回避するために、赤外カメラ２１０の前方に８５０ｎｍ付近の波長の光のみを通過させるバンドパスフィルターを配置してもよい。赤外カメラ２１０は、撮像により得られている赤外画像を、投影制御装置３００に伝送する。
【００２４】
プロジェクタ２２０は、投影制御装置３００からの制御信号に従って、可視光を照射する投影装置である。プロジェクタ２２０は、人間が視認できる可視光領域の光であれば、任意の波長（色）の光を使用することができる。プロジェクタ２２０は、投影制御装置３００からの制御信号に従って、複数の波長（色）の光による照射を切り替え可能に構成されている。プロジェクタ２２０は、可視照射光２２２を、ダイクロイックミラー２１１に向けて照射する。
【００２５】
ダイクロイックミラー２１１は、赤外カメラ２１０及びプロジェクタ２２０のそれぞれと対向して配置される。ダイクロイックミラー２１１は、特定の波長の光を反射する一方、その他の波長の光を透過する機能を備えた光学素子である。本開示においては、ダイクロイックミラー２１１の水平方向にプロジェクタ２２０の投影口が配置される一方、ダイクロイックミラー２１１の鉛直方向上方に赤外カメラ２１０が配置される。ダイクロイックミラー２１１は、プロジェクタ２２０から照射された可視照射光２２２を反射する一方、赤外カメラ２１０の撮像面に向かう赤外蛍光２２３は透過させる光学特性を備える。また、図１に示すように、ダイクロイックミラー２１１で反射された可視照射光２２２と、赤外カメラ２１０の撮像面に入射する赤外蛍光２２３とは光路が一致されている。これにより、赤外蛍光２２３の発している領域（患部１３０）に対する可視照射光２２２の照射精度を高めることができる。
【００２６】
なお、上記において、赤外カメラ２１０は、本開示の検出部の一例である。プロジェクタ２２０は、本開示の可視光を用いた投影を行う投影部の一例である。表示制御装置１５０及び投影制御装置３００からなる構成は、本開示の制御部の一例である。そして、手術支援システム１００は、本開示の可視光投影装置の一例である。
【００２７】
図１に示す例では、表示制御装置１５０と投影制御装置３００とを別体のハードウェア構成として例示しているが、本開示はこれに限定されない。すなわち、表示制御装置１５０と投影制御装置３００とを一体のハードウェア構成としてもよい。
【００２８】
＜３．投影制御装置による画像処理＞
続いて、投影制御装置３００による画像処理の詳細について説明する。図２は、投影制御装置３００の画像処理にかかる構成を説明する図である。
【００２９】
図２に示すように、投影制御装置３００は、ガウシアンフィルタ３１０、ゾーベルフィルタ３１１、２値化処理３１２、孤立点除去処理３１３、色変換処理３１４、遅延処理３２０、多値化処理３２１、色変換処理３２２、重畳処理３２３の処理機能を有している。これらの処理機能は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。また、投影制御装置３００は、インターフェイス３３０を介して、表示制御装置１５０と接続されている。
【００３０】
投影制御装置３００が有する各処理機能の詳細について説明する。
【００３１】
赤外カメラ２１０により撮像され生成された赤外画像は、入力３０１を介して、投影制御装置３００に取り込まれる。入力３０１から取り込まれた赤外画像は、ガウシアンフィルタ３１０及び、遅延処理３２０に送られる。
【００３２】
ガウシアンフィルタ３１０は、ＩＣＧにより赤外蛍光２２３が発せられている領域のエッジ検出の前処理として、赤外カメラ２１０により生成された赤外画像に対して、画像中に含まれるノイズ成分を除去する。赤外画像中において、ノイズ成分を除去する対象の画素の座標を（Ｘ，Ｙ）、その座標の信号レベルをＬＶ（Ｘ，Ｙ）とする。このとき、ノイズ成分を除去する対象の画素及び、その隣接８画素の信号レベルを示す行列Ｓ１は下記の数１に示す行列となる。
【数１】
2016157260.tif 000003
【００３３】
ガウシアンフィルタ３１０は、行列Ｓ１を、数２に示すフィルタ係数（ガウシアンフィルタ）Ｇに基づいて平滑化処理を行う。すなわち、数３に示すように、フィルタ係数Ｇと信号レベルＳ１を乗じることにより、画像中に含まれるノイズ成分を除去することができる。
【数２】
2016157260.tif 000004
［数３］
Ｇ＊Ｓ１＝｛１×ＬＶ（Ｘ−１，Ｙ−１）＋２×ＬＶ（Ｘ，Ｙ−１）＋１×ＬＶ（Ｘ＋１，Ｙ−１）＋２×ＬＶ（Ｘ−１，Ｙ）＋４×ＬＶ（Ｘ，Ｙ）＋２×ＬＶ（Ｘ＋１，Ｙ）＋１×ＬＶ（Ｘ−１，Ｙ＋１）＋２×ＬＶ（Ｘ，Ｙ＋１）＋１×ＬＶ（Ｘ＋１，Ｙ＋１）｝／１６
【００３４】
ゾーベルフィルタ３１１は、ガウシアンフィルタ３１０が出力した赤外画像を構成する各画素について、その周辺画素に対して相対的な明るさの差分が大きい画素を検出する。すなわち、ゾーベルフィルタ３１１は、赤外画像のエッジ部を検出する。ここで、ゾーベルフィルタ３１１によるエッジ検出の対象画素の座標を（Ｘ，Ｙ）、その座標の信号レベルをＥＧ（Ｘ，Ｙ）とする。このときに、エッジ検出の対象画素及びその隣接８画素の信号レベルＳ２は、数４に示す行列となる。
【数４】
2016157260.tif 000005
【００３５】
ゾーベルフィルタ３１１は、行列Ｓ２を、数５に示すフィルタ係数（水平ゾーベルフィルタ）ＳＨに基づいて水平成分のエッジ検出処理を行う。すなわち、数６に示すように、フィルタ係数ＳＨと信号レベルＳ２を乗じて、その絶対値をとることにより、エッジ検出の対象画素について水平成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、水平成分のエッジ検出処理を行う。
【数５】
2016157260.tif 000006
［数６］
ＳＨ＊Ｓ２＝絶対値｛−１×ＥＧ（Ｘ−１，Ｙ−１）＋０×ＥＧ（Ｘ，Ｙ−１）＋１×ＥＧ（Ｘ＋１，Ｙ−１）−２×ＥＧ（Ｘ−１，Ｙ）＋０×ＥＧ（Ｘ，Ｙ）＋２×ＥＧ（Ｘ＋１，Ｙ）−１×ＥＧ（Ｘ−１，Ｙ＋１）＋０×ＥＧ（Ｘ，Ｙ＋１）＋１×ＥＧ（Ｘ＋１，Ｙ＋１）｝
【００３６】
同様に、ゾーベルフィルタ３１１は、行列Ｓ２を、数７に示すフィルタ係数（垂直ゾーベルフィルタ）ＳＰに基づいて垂直成分のエッジ検出処理を行う。すなわち、数８に示すように、フィルタ係数ＳＰと信号レベルＳ２を乗じて、その絶対値をとることにより、エッジ検出の対象画素について垂直成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、垂直成分のエッジ検出処理を行う。
【数７】
2016157260.tif 000007
［数８］
ＳＰ＊Ｓ２＝絶対値｛−１×ＥＧ（Ｘ−１，Ｙ−１）−２×ＥＧ（Ｘ，Ｙ−１）−１×ＥＧ（Ｘ＋１，Ｙ−１）＋０×ＥＧ（Ｘ−１，Ｙ）＋０×ＥＧ（Ｘ，Ｙ）＋０×ＥＧ（Ｘ＋１，Ｙ）＋１×ＥＧ（Ｘ−１，Ｙ＋１）＋２×ＥＧ（Ｘ，Ｙ＋１）＋１×ＥＧ（Ｘ＋１，Ｙ＋１）｝
【００３７】
続いて、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、求めた水平成分及び垂直成分の比較を行う。そして、ゾーベルフィルタ３１１は、水平成分が垂直成分以上である場合は、数９に基づいて、対象画素のエッジ成分を決定する。一方、ゾーベルフィルタ３１１は、水平成分が垂直成分よりも小さい場合は、数１０に基づいて、対象画素のエッジ成分を決定する。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、エッジ成分を決定する。
［数９］
エッジ成分＝水平成分＋垂直成分／２
［数１０］
エッジ成分＝垂直成分＋水平成分／２
【００３８】
これにより斜め方向も含めたエッジ成分を簡易的に算出することができる。
【００３９】
２値化処理３１２は、ゾーベルフィルタ３１１が出力した、赤外画像を構成する各画素のエッジ成分に対して、２値化処理を行う。エッジ成分の小さい画素は、ノイズ成分や微小なテクスチャー成分に相当し、強調処理する必要がない。そのため、２値化処理３１２は、エッジ成分に対して所定の閾値を設けて２値化し、赤外画像を構成する各画素においてＩＣＧの発光領域の輪郭部を選択的に抜き出す。なお、２値化の閾値を操作者１４０が選択できるようにして、輪郭部の検出度合いを調整できるようにしてもよい。
【００４０】
孤立点除去処理３１３は、２値化処理３１２が出力した赤外画像の２値情報に対して、孤立点除去処理を行う。孤立点除去処理３１３は、黒画素の中に孤立して存在している白画素を粒上のノイズ成分と判断して黒画素に変換し、白画素の中に孤立して存在している黒画素を粒上のノイズ成分と判断して白画素に変換する処理である。撮像照射装置２００による映像の投影対象となる患部１３０が他の臓器と癒着しており、癒着を剥離した後のように患部１３０の表面状態があまり良くない場合に、２値化処理３１２によるエッジ成分の２値化処理のみではノイズ成分を十分に除去できない場合がある。そのため、孤立点除去処理３１３は、エッジ成分の２値化処理後に孤立点除去処理を行う。これにより、ＩＣＧ発光領域の輪郭部の大部分は残したまま、細かい粒上のノイズ成分を除去することができる。なお、孤立点除去処理３１３によるノイズ除去効果の程度を操作者１４０が選択できるようにしてもよい。このとき、選択肢として、例えば、対象画素の上下左右の４画素から判定する場合（ノイズ除去効果：小）と、斜めも含めた８画素から判定する場合（ノイズ除去効果：大）の２通りを用意しておいてもよい。また、患部１３０の状態や様々な症例などに応じて、操作者１４０が孤立点除去処理３１３のＯＮ／ＯＦＦを調整できるようにしてもよい。
【００４１】
色変換処理３１４は、ＩＣＧ発光領域に対する可視光投影の視認性を上げるために、孤立点除去処理３１３が出力したエッジ成分（ＩＣＧ発光領域の輪郭部）の色変換を行う。操作者１４０は、ＩＣＧ発光領域の輪郭部の色を、選択肢として並んだ色のバリエーションの中から一つ選択することができる。色変換処理３１４は、操作者１４０により選択された色へと、エッジ成分（ＩＣＧ発光領域の輪郭部）の色を変換する。
【００４２】
遅延処理３２０は、入力３０１から、赤外カメラ２１０により撮像され生成された赤外画像を取得する。そして、遅延処理３２０は、取得した赤外画像に対して所定ライン分の遅延処理を行う。より具体的には、遅延処理３２０は、入力３０１から取り込まれた同一内容の赤外画像について、ガウシアンフィルタ３１０、ゾーベルフィルタ３１１、２値化処理３１２、孤立点除去処理３１３、色変換処理３１４の経路に沿って処理されるエッジ検出のタイミングと、多値化処理３２１、色変換処理３２２の経路に沿って処理される画像のタイミングとが、重畳処理３２３における重畳のときに合致するように、赤外画像を遅延させる。これにより、重畳処理３２３において適切な重畳画像を得ることができる。なお、図２に示す例では、遅延処理３２０は、多値化処理３２１、色変換処理３２２の前処理として配置されているが、これに限定されない。重畳処理３２３においてタイミングを合わせることができれば、多値化処理３２１と色変換処理３２２との間に配置してもよいし、色変換処理３２２の後に配置してもよい。
【００４３】
多値化処理３２１は、遅延処理３２０から出力された赤外画像に対して、多値化処理を行う。例えば、元の赤外画像の階調が２５６階調であるとする。多値化処理３２１は、元の赤外画像に対して、２階調、４階調、８階調、２５６階調のいずれか操作者１４０が設定した階調への変換処理を行う。
【００４４】
２階調が設定された場合、多値化処理３２１は、閾値を１２７に設定する。そして、赤外画像のうち階調が０〜１２７を示す画素について、その画素の値は０に変換される。一方、赤外画像のうち階調が１２８〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、２階調の赤外画像を生成する。
【００４５】
４階調が設定された場合、多値化処理３２１は、６３、１２７、１９１の３つの閾値を設定する。そして、赤外画像のうち階調が０〜６３を示す画素について、その画素の値は０に変換される。また、赤外画像のうち階調が６４〜１２７を示す画素について、その画素の値は８５に変換される。また、赤外画像のうち階調が１２８〜１９１を示す画素について、その画素の値は１７０に変換される。また、赤外画像のうち階調が１９２〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、４階調の赤外画像を生成する。
【００４６】
８階調が設定された場合、多値化処理３２１は、３１、６３、９５、１２７、１５９、１９１、２２３の７つの閾値を設定する。そして、赤外画像のうち階調が０〜３１を示す画素について、その画素の値は０に変換される。また、赤外画像のうち階調が３２〜６３を示す画素について、その画素の値は３６に変換される。また、赤外画像のうち階調が６４〜９５を示す画素について、その画素の値は７３に変換される。また、赤外画像のうち階調が９６〜１２７を示す画素について、その画素の値は１０９に変換される。また、赤外画像のうち階調が１２８〜１５９を示す画素について、その画素の値は１４６に変換される。また、赤外画像のうち階調が１６０〜１９１を示す画素について、その画素の値は１８２に変換される。また、赤外画像のうち階調が１９２〜２２３を示す画素について、その画素の値は２１９に変換される。また、赤外画像のうち階調が２２４〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、８階調の赤外画像を生成する。
【００４７】
２５６階調が設定された場合、多値化処理３２１は、元の赤外画像の階調をそのまま出力する。すなわち、２５６階調の赤外画像を出力する。
【００４８】
以上のようにして、操作者１４０は、患部１３０の状態や様々な症例などに応じて、最適な階調数を設定することができる。
【００４９】
なお、操作者１４０が選択できる階調数の中には、元画像の階調数と同じ数があってもよい。
【００５０】
色変換処理３２２は、ＩＣＧ発光領域に対する可視光投影の視認性を上げるために、多値化処理３２１が出力した赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）の色変換を行う。操作者１４０は、ＩＣＧ発光領域の面部の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。同様に、操作者１４０は、ＩＣＧ発光領域の面部を囲む背景の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。本実施の形態では、背景の色として、黒色又は白色のうち一つを選択することができる。特に、背景の色として白色を選択した場合、無影灯を点灯させる必要なく、手術に必要な術野の明るさと、ＩＣＧ発光領域の視認性を両立することができる。色変換処理３２２は、操作者１４０により選択された色へと、赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）の色を変換する。
【００５１】
重畳処理３２３は、色変換処理３２２から出力された色変換済みの赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）に対して、色変換処理３１４から出力された色変換済みのエッジ成分（ＩＣＧ発光領域の輪郭部）を重畳処理する。この重畳処理の対象となる赤外画像とエッジ成分は、同タイミングで赤外カメラ２１０により撮像された赤外画像に基づくことは先述したとおりである。重畳処理３２３は、出力３０２を介して、重畳処理済みの赤外画像に基づく投影制御データを、プロジェクタ２２０に供給する。これにより、プロジェクタ２２０は、ＩＣＧ発光領域の面部、面部を囲む背景、輪郭部に対して可視光を投影することができる。
【００５２】
インターフェイス３３０は、表示制御装置１５０と電気的に接続されている。そして、インターフェイス３３０は、表示制御装置１５０から通知された設定操作に関する制御信号を、投影制御装置３００が使用可能な信号へと変換する。具体的には、インターフェイス３３０は、ＵＳＢ／ＩＩＣ変換器により、表示制御装置１５０で制御された各種の設定値を、投影制御装置３００で使用可能なＩＩＣ信号に変換する。そして、インターフェイス３３０は、変換した信号を、多値化処理３２１、色変換処理３１４、色変換処理３２２に供給する。これにより、操作者１４０による各種の設定操作を反映させることができる。
【００５３】
＜４．投影制御装置による画像処理＞
続いて、操作者１４０が各種の設定操作を行う際に、ディスプレイ１６０に表示される画面について説明する。図３は、操作者１４０が各種の設定操作を行う際に、表示される画面を説明する図である。
【００５４】
図３に示すように、ディスプレイ１６０には、複数のタブにより区分けされたウインドウが表示される。複数のタブのそれぞれは、ＩＣＧ発光領域の面部を囲む背景の色を示している。図３に示す例では、複数のタブのそれぞれは、黒背景タブ４００、白背景タブ５００、黄色背景タブ６００を示している。操作者１４０は、いずれかのタブを、マウス１７０を用いてクリックすることにより、いずれかの背景色を選択する。いずれかのタブが選択されると、ディスプレイ１６０は、その選択されたタブにかかる選択項目のメニューを、他のタブにかかる選択項目のメニューの前面に表示する。
【００５５】
図３（Ａ）、（Ｂ）に示す各メニューの構成例について説明する。まず、図３（Ａ）を用いて、ＩＣＧ発光領域の面部を囲む背景の色として黒色が選択された場合を説明する。図３（Ａ）は、ＩＣＧ発光領域の面部を囲む背景の色として黒色が選択されたときのメニューを示している。
【００５６】
操作者１４０は、黒背景タブ４００を、マウス１７０を用いてクリックすると、ディスプレイ１６０は、図３（Ａ）に示すように、黒背景が選択された場合に、ＩＣＧ発光領域の面部に対して投影する色（項目４１０）、ＩＣＧ発光領域の面部に対する投影の階調数（項目４２０）、ＩＣＧ発光領域の輪郭部（面部と背景との境界）に対して投影する色（項目４３０）、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目４１０、項目４２０、項目４３０について順番に説明する。
【００５７】
まず、項目４１０について説明する。ＩＣＧ発光領域の面部に対して投影する色（項目４１０）を選択するために、白色ボタン４１１、黄色ボタン４１２、緑色ボタン４１３、シアンボタン４１４、ＯＦＦボタン４１５が配置され表示される。
【００５８】
操作者１４０が項目４１０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（色変換処理３２２）に対して行う。これにより、投影制御装置３００（色変換処理３２２）は、操作者１４０から選択された色により赤外画像の色変換を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された色による面部の投影を行わせる。すなわち、操作者１４０が、白色ボタン４１１を選択した場合、面部に対する投影色が白色に切り替わる。同様に、操作者１４０が、黄色ボタン４１２を選択した場合、黄色に切り替わる。操作者１４０が、緑色ボタン４１３を選択した場合、緑色に切り替わる。操作者１４０が、シアンボタン４１４を選択した場合、シアン色に切り替わる。また、操作者１４０が、ＯＦＦボタン４１５を選択した場合、ＩＣＧ発光領域への投影はＯＦＦ状態とする。すなわち、ＯＦＦボタン４１５を選択した場合、ＩＣＧ発光領域は、背景色と同じ黒色となる。
【００５９】
次に、項目４２０について説明する。黒背景が選択されたか否かに関わらず、ＩＣＧ発光領域の面部に対する投影の階調数を選択するために、２階調ボタン４２１、４階調ボタン４２２、８階調ボタン４２３、２５６階調ボタン４２４が配置され表示される。
【００６０】
操作者１４０が項目４２０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（多値化処理３２１）に対して行う。これにより、投影制御装置３００（多値化処理３２１）は、操作者１４０から選択された階調数により赤外画像の多値化処理を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された階調数による面部の投影を行わせる。すなわち、操作者１４０が２階調ボタン４２１を選択した場合、面部に対する投影が２階調に切り替わる。操作者１４０が４階調ボタン４２２を選択した場合、面部に対する投影が４階調に切り替わる。操作者１４０が８階調ボタン４２３を選択した場合、面部に対する投影が８階調に切り替わる。そして、操作者が２５６階調ボタン４２４を選択した場合、面部に対する投影が２５６階調（階調を限定しない）に切り替わる。
【００６１】
最後に、項目４３０について説明する。ＩＣＧ発光領域の輪郭部に対して投影する色（項目４３０）を選択するために、白色ボタン４３１、黄色ボタン４３２、緑色ボタン４３３、シアン色ボタン４３４、ＯＦＦボタン４３５が配置され表示される。操作者１４０が項目４３０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（色変換処理３１４）に対して行う。これにより、投影制御装置３００（色変換処理３１４）は、操作者１４０から選択された色により赤外画像の色変換を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された色による輪郭部の投影を行わせる。操作者１４０により、白色ボタン４３１、黄色ボタン４３２、緑色ボタン４３３、シアン色ボタン４３４、ＯＦＦボタン４３５のいずれかが選択されたときの、投影色の切り替え動作については、項目４１０の面部に対する場合と同様であるため、詳細説明は省略する。
【００６２】
続いて、図３（Ｂ）を用いて、ＩＣＧ発光領域の面部を囲む背景の色として白色が選択された場合を説明する。図３（Ｂ）は、ＩＣＧ発光領域の面部を囲む背景の色として白色が選択されたときのメニューを示している。
【００６３】
操作者１４０は、白背景タブ５００を、マウス１７０を用いてクリックすると、ディスプレイ１６０は、図３（Ｂ）に示すように、白背景が選択された場合に、ＩＣＧ発光領域の面部に対して投影する色（項目５１０）、ＩＣＧ発光領域の面部に対する投影の階調数（項目５２０）、ＩＣＧ発光領域の輪郭部（面部と背景との境界）に対して投影する色（項目５３０）、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目５１０、項目５２０、項目５３０について順番に説明する。
【００６４】
まず、項目５１０について説明する。ＩＣＧ発光領域の面部に対して投影する色（項目５１０）を選択するために、青色ボタン５１１、シアン色ボタン５１２、緑色ボタン５１３、赤色ボタン５１４、ＯＦＦボタン５１５が配置され表示される。操作者１４０が項目５１０のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目４１０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６５】
次に、項目５２０について説明する。白背景が選択されたか否かに関わらず、ＩＣＧ発光領域の面部に対する投影の階調数を選択するために、２階調ボタン５２１、４階調ボタン５２２、８階調ボタン５２３、２５６階調ボタン５２４が配置され表示される。操作者１４０が項目５２０のいずれかのボタンを選択した場合の階調数の切り替え動作については、黒背景の場合に項目４２０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６６】
最後に、項目５３０について説明する。ＩＣＧ発光領域の輪郭部に対して投影する色（項目５３０）を選択するために、青色ボタン５３１、シアン色ボタン５３２、緑色ボタン５３３、赤色ボタン５３４、ＯＦＦボタン５３５が配置され表示される。操作者１４０が項目５３０のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目４３０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６７】
図３（Ａ），（Ｂ）に示すように、手術支援システム１００は、ＩＣＧ発光領域の面部を囲む背景の色に応じて、選択できるＩＣＧ発光領域の色及び、エッジ部分の色を限定させている。換言すると、選択した背景色によって、面部及び輪郭部の色として選択できる色の選択肢を異ならせている。すなわち、黒背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢（白色、黄色、緑色、シアン色）と、白背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢（青色、シアン色、緑色、赤色）とを異ならせている。詳細説明は省略するが、黄色背景タブ６００がクリックされ、黄色背景が選択された場合も、黒背景及び白背景が選択された場合とは、面部及び輪郭部の色として選択できる色の選択肢を異ならせる。これにより、操作者１４０は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
【００６８】
なお、背景色の色にかかわらず、ＩＣＧ発光領域の面部に対して投影する色と、輪郭部（面部と背景との境界）に対して投影する色とを同じ色とした場合、ＩＣＧ発光領域の面部と輪郭部の見分けがつかなくなる。そのため、ＩＣＧ発光領域の面部と輪郭部とで、同色の投影色の選択はできないようにしてもよい。例えば、面部の色選択にかかる項目４１０で黄色ボタン４１２を選択し、ＩＣＧ発光領域の面部に対する投影色を黄色に切り替えたときは、輪郭部の色選択にかかる項目４２０では、黄色ボタン４３２を自動的に押せないようにしてもよい。但し、例外として、ＯＦＦボタン４１５、４３５については、面部及び輪郭部に対する投影をＯＦＦ状態とすることが目的であるため、同時にボタンを押せるようにしてもよい。これにより、プロジェクタ２２０が投影する全画面を強制的に黒画面にできるようにしてもよい。黒背景の場合で説明したが、白背景の場合もこれらは同様である。
【００６９】
ここで、ＩＣＧ発光領域の面部を囲む背景の色に応じて、選択できるＩＣＧ発光領域の面部及び輪郭部の色を限定させる意義について詳細を説明する。
【００７０】
投影光の色の差に対する視認性を高めるために、最も重要な色の要素が「明度差」であり、その次に「彩度差」「色相差」の順番になることが一般的に知られている。例えば、明度が最も低い黒色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番大きい白色、有彩色の中で明度が一番大きい黄色があげられる。つまり、背景色を黒色とした場合に視認性を最も高くするためには、ＩＣＧ発光領域の面部に対する投影光の色として白色や黄色を選択すればよい。黒色と黄色の組み合わせの例としては、運転手への注意喚起を促す「警戒標識」の交通標識や、「製造物責任法（ＰＬ法）」に基づき製品に貼られるラベル等にも採用されている。
【００７１】
一方、明度が最も高い白色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番小さい黒色、有彩色の中で明度が一番小さい青色があげられる。つまり、背景色を白色とした場合に視認性を最も高くするためには、ＩＣＧ発光領域の面部に対する投影色の色として黒色や青色を選択すればよい。但し、背景色が白色で、ＩＣＧ発光領域の面部への投影色が黒色の組み合わせとした場合、赤外カメラ２１０より撮像された赤外画像中の黒い部分（ＩＣＧ発光強度が弱い部分）が白色に投影され、赤外カメラ２１０より撮像された赤外画像中の白い部分（ＩＣＧ発光強度が強い部分）が黒色に投影されてしまう。このとき、操作者１４０が患部１３０に投影されたＩＣＧの発光強度分布を間違って認識してしまう可能性があるため、色の組わせとしては避けるほうが望ましい。従って、背景色を白色とした場合に、操作者１４０が誤認識することなくかつ視認性を最も高くするためには、ＩＣＧ発光領域の面部への投影色の色として青色を投影色として選択すればよい。白色と青色の組み合わせの例としては、運転手に対して瞬時に情報を伝えるための「指示標識」や「案内標識」などの交通標識にも採用されている。
【００７２】
上記では、視認性を高めるために、背景色に応じて異なる投影色を選択可能とした。これは、患部１３０の色に応じて医師に見やすい投影色を選択可能としてもいいし、眼の負担の少ない投影色を選択可能としてもよい。或いは、手術中に患部１３０等から生じる体液の色とは異なる投影色を選択可能としてもよいし、投影対象となる患部の表面状態（血管の脈管や切断面の組織状態など）が見やすい投影色を選択可能としてもよい。
【００７３】
なお、上記では、赤外の励起光とＩＣＧとを組み合わせて赤外蛍光を検知していたが、それ以外の組み合わせ、例えば、可視光の励起光と試薬を用いて、可視光の蛍光を検知する等、励起光の波長と、検知する蛍光の波長はいずれでもよいが、蛍光の波長は、投影する光の波長と異なることが望ましい。
【００７４】
また、患部１３０へ投影する情報としては、ＣＴ、ＭＲＩ画像、超音波画像や、それらの画像を元に構成された３Ｄシミュレーション画像でもよい。
【００７５】
＜５．投影映像＞
続いて、手術支援システム１００による患者１２０に対する投影映像について説明する。図４は、背景色が黒色で階調数を２階調に限定した場合の投影映像を示すイメージ図である。
【００７６】
背景色を黒色に選択した場合、図４（Ａ）〜（Ｄ）に示す背景１３２のように、ＩＣＧ発光強度が弱い領域（ＩＣＧ非発光領域）では、階調が０に変換されるため投影光が投影されない。一方、ＩＣＧ発光強度が強い領域では投影階調が２５５に変換され、図４（Ａ）〜（Ｄ）に示す患部１３０のように、操作者１４０に選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部に対しても、図４（Ａ）〜（Ｄ）に示す輪郭部１３１のように、選択された投影色に応じた色の投影光が照射される。
【００７７】
図５は、背景色が白色で階調数を２階調に限定した場合の投影映像を示すイメージ図である。背景色を白色に選択した場合、図５（Ａ）〜（Ｄ）に示す背景１３２のように、ＩＣＧ発光強度が弱い領域（ＩＣＧ非発光領域）では、ＲＧＢのいずれも階調が２５５に変換され、白色の投影光が投影される。一方、ＩＣＧ発光強度が強い領域では、ＲＧＢのうち設定された投影色に影響しない要素の階調が０に変換され、図５（Ａ）〜（Ｄ）に示す患部１３０のように、操作者１４０に選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部に対しても、図５（Ａ）〜（Ｄ）に示す輪郭部１３１のように、選択された投影色に応じた色の投影光が照射される。なお、背景色を白色に選択した場合に、ＩＣＧ発光領域への投影色として青色を選択すると、最も視認性が高くなる。また、シアン色や緑色を選択すると、良好な視認性が得られるとともに、目が疲れにくくなる。また、症例によっては、体液が緑色など他の色と似ている場合がある。このときは、誤認を避けるため、赤色が選択される。
【００７８】
黒背景とする場合と、白背景とする場合のともに、輪郭部１３１に対して投影する投影光の色は、患部１３０に対して投影する投影光の色とは異なるようにすると、輪郭部の位置が明確になる。但し、ＩＣＧ発光領域とＩＣＧ非発光領域との境界と、ＩＣＧ発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を２階調に限定した時に、最適な投影映像を得るために、階調を０と２５５とに分割するための閾値を変えて調整してもよい。また、階調は０，２５５に限定した値でなくてもよい。
【００７９】
図６は、背景色が白色で階調数を４階調に限定した場合の投影映像を示すイメージ図である。８階調、２５６階調の場合も階調数が異なるだけであり、４階調の場合と同様の投影映像となる。図６（Ａ）に示す患部１３０Ａ〜Ｄのように、４階調設定では、ＩＣＧ発光強度が弱い順に０，８５，１７０，２５５の４段階に階調を割り当て、操作者１４０により選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部１３１にも選択された投影色に応じた色の投影光が照射される。但し、２階調のときと同様に、各階調の投影領域の境界部と、ＩＣＧ発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を４階調に限定した時に、最適な投影映像を得るために、階調を０，８５，１７０，２５５に分割するための閾値を変えて調整してもいい。また、全ての閾値を個別に設定してもいいし、一つの閾値を設定するとそれ以外の閾値が連動して決定されるようにしてもいい。また、投影階調は０，８５，１７０，２５５に限定した値でなくてもいい。
【００８０】
ここで、ＩＣＧ発光領域の面部に対して階調表現するときの投影色について、更に詳細を説明する。
【００８１】
患部１３０上の投影映像のＩＣＧ発光強度の情報量と視認性は相反する関係にあり、階調数が大きくなるほど微妙なＩＣＧ発光強度の変化を投影により表現することができるが、各階調の投影色の差分が小さくなるためメリハリがなく視認性の低い投影映像となってしまう。一方、階調数が小さくなるほど微妙なＩＣＧ発光強度の変化を投影により表現することは難しくなるが、各階調の投影色の差分が大きくなるためメリハリがあり視認性の高い投影映像が得られる。
【００８２】
ここで階調表現する際の投影色であるが、前述したとおり視認性を高めるためには「明度差」が重要な要素になる。そのため、基本的には明度を変化させることで階調を表現することが望ましい。しかしながら、ＩＣＧ発光領域の面部に対して、背景色との明度の差がある色を投影した場合、背景色より明るい色はより明るく、暗い色はより暗く見える「明度対比」という人間の視覚特性が存在する。背景色が黒色である場合は、背景色の明度に比べてＩＣＧ発光領域の面部に対する投影色の明度は必ず大きい値となる。そして、明度対比の効果により、人間の目には本来の明るさ以上に明るいと感じられ、各階調の投影色の差分がより強調されて見えることになる。従って、黒背景とした場合は、選択した投影色により、ＩＣＧ発光領域の面部に対して良好に投影することができる。
【００８３】
一方、背景色が白色である場合は、背景色の明度に比べてＩＣＧ発光領域の面部に対する投影色の明度は必ず小さい値となる。そして、明度対比の効果により、人間の目には本来の明るさより暗くなったと感じられ、各階調の投影色の差分がより判別しにくくなる。従って、背景色を白色とする場合は、「明度差」で階調表現するのではなく、「明度差」の次に色の視認性において重要な要素である「彩度差」により階調を表現することが望ましい。
【００８４】
図６（Ｂ）は、ＩＣＧ発光強度に対する彩度差を示す表である。図６（Ｂ）に示す例では、ＩＣＧ発光強度が強くなるほど、彩度（Ｃ）が高くなるように階調表現が設定されている。
すなわち、ＩＣＧ発光強度が強い領域から弱い領域に行くに従って、彩度がＣ４、Ｃ３、Ｃ２、Ｃ１の順で変化するように階調表現が設定されている。そして、図６（Ａ）に示す患部１３０Ａ〜Ｄのように、４階調の場合、ＩＣＧ発光強度が弱い順に０，８５，１７０，２５５の４段階に階調を割り当て、それぞれの階調に対して彩度をＣ１、Ｃ２，Ｃ３、Ｃ４に設定する。ここでは、ＩＣＧ発光強度は、患部１３０Ａ，１３０Ｂ，１３０Ｃ、１３０Ｄの順に強くなっているとする。このとき、撮像照射装置２００は、患部１３０Ａに対して、彩度Ｃ１による投影色（例えば青色）の投影を行う。患部１３０Ｂに対して、彩度Ｃ２による投影色の投影を行う。また、患部１３０Ｃに対して彩度Ｃ３による投影色の投影を行う。そして、患部１３０Ｄに対して彩度Ｃ４による投影色の投影を行う。これにより、背景色を白色とした場合であっても、ＩＣＧ発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。
【００８５】
＜６．まとめ＞
上記のように、本開示の手術支援システム１００は、赤外蛍光２２３を発する患部１３０を検出する赤外カメラ２１０と、赤外カメラ２１０が検出した患部１３０（ＩＣＧ発光領域）を含む術野に対して、可視光を用いた投影を行うプロジェクタ２２０と、操作者１４０により選択された色に基づいて、プロジェクタ２２０に投影を行わせる投影制御装置３００と、を備える。投影制御装置３００は、術野のうち、患部１３０以外の領域（背景）に対してプロジェクタ２２０が投影する可視光の色として、黒色が選択された場合、患部１３０に対してプロジェクタ２２０が投影する可視光の色を、第１の選択肢（白色、黄色、緑色、シアン色）の中から選択可能なようにディスプレイ１６０にメニュー表示することで操作者１４０に知らせる。一方で、術野のうち、患部１３０以外の領域に対してプロジェクタ２２０が投影する可視光の色として、白色が選択された場合、患部１３０に対してプロジェクタ２２０が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢（青色、シアン色、緑色、赤色）の中から選択可能なようにディスプレイ１６０にメニュー表示することで操作者１４０に知らせる。
【００８６】
これにより、操作者１４０は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
【００８７】
また、上記のように、本開示の手術支援システム１００において、投影制御装置３００は、患部１３０（ＩＣＧ発光領域）の輪郭部に対してプロジェクタ２２０が投影する可視光の色の選択肢の中から、患部１３０の面部に対してプロジェクタ２２０が投影する可視光の色として操作者が選択した色は選択できないようにする。これにより、医師は、患部１３０（ＩＣＧ発光領域）と輪郭部との見分けることができる。
【００８８】
また、上記のように、本開示の手術支援システム１００において、赤外カメラ２１０が検出する患部１３０（ＩＣＧ発光領域）を構成する各部分からの赤外蛍光２２３の強度に応じて、患部１３０に対してプロジェクタ２２０に多階調による色の投影をさせる場合に、プロジェクタ２２０が投影する可視光の色の彩度を階調に応じて異ならせる。これにより、ＩＣＧ発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。これは、背景色を白色とした場合において、特に有効である。
【００８９】
＜７．その他の実施の形態＞
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９０】
上記実施の形態では、操作者１４０は、ディスプレイ１６０に表示されるメニューから、所望する色のボタンを、マウス１７０を用いて選択操作する場合を例示したが、本開示はこれに限定されない。投影制御装置３００に接続されたスピーカから、投影色にかかる選択肢をアナウンスしてもよい。そして、操作者１４０は、そのアナウンスを聞いた後に、所望する色を、マイクに向かって発声することにより選択操作してもよい。もちろん、操作者１４０は、ディスプレイ１６０に表示されるメニュー上のボタンを見ながら、所望する色を、マイクに向かって発声することにより選択操作してもよい。
【００９１】
実施の形態１では、手術用途を例に挙げて説明したが、本開示はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合にも、本発明を適用することができる。
【００９２】
具体的には、実施の形態１のＩＣＧからの赤外蛍光に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ２１０による撮像の対象とし、可視光を投影するようにしてもよい。或いは、発光ではなく、発熱箇所を熱センサで検出して、その発熱箇所に対して可視光を投影するようにしてもよい。この場合、発熱箇所から発せられる遠赤外線も、本開示における非可視光の一例である。
【００９３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９４】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須で
あるとの認定をするべきではない。
【００９５】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９６】
本開示における投影システムは、手術用途に限定されず、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。
【図１】
2016157260.tif 000008
【図２】
2016157260.tif 000009
【図３】
2016157260.tif 000010
【図４】
2016157260.tif 000011
【図５】
2016157260.tif 000012
【図６】
2016157260.tif 000013
【手続補正書】
【提出日】平成29年5月8日(2017.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
非可視光を発する第１の領域を検出する検出部と、
前記検出部が検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、
操作者により選択された色に基づいて、前記投影部に投影を行わせる制御部と、を備え、
前記制御部は、
前記第２の領域のうち、前記第１の領域以外の領域に対して前記投影部が投影する可視光の色として、第１の色が選択された場合、前記第１の領域に対して前記投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる一方で、
前記第２の領域のうち、前記第１の領域以外の領域に対して前記投影部が投影する可視光の色として、前記第１の色とは異なる第２の色が選択された場合、記第１の領域に対して前記投影部が投影する可視光の色を、前記第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる、可視光投影装置。
【請求項２】
前記制御部は、
前記第１の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、前記第１の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする、請求項１に記載の可視光投影装置。
【請求項３】
前記制御部は、前記検出部が検出する前記第１の領域を構成する各部分からの非可視光の強度に応じて、前記第１の領域に対して前記投影部に多階調による色の投影をさせる場合に、前記投影部が投影する可視光の色の彩度を階調に応じて異ならせる、請求項１又は２に記載の可視光投影装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、非可視光の発光を検出した領域に対して、可視光を投影する可視光投影装置に関する。
【背景技術】
【０００２】
特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２４０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、より使いやすい可視光投影装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示にかかる可視光投影装置は、非可視光を発する第１の領域を検出する検出部と、検出部が検出した第１の領域を含む第２の領域に対して、可視光を用いた投影を行う投影部と、操作者により選択された色に基づいて、投影部に投影を行わせる制御部と、を備える。制御部は、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色が選択された場合、第１の領域に対して前記投影部が投影する可視光の色を、第１の選択肢の中から選択可能なように操作者に知らせる。一方、第２の領域のうち、第１の領域以外の領域に対して投影部が投影する可視光の色として、第１の色とは異なる第２の色が選択された場合、第１の領域に対して投影部が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢の中から選択可能なように操作者に知らせる。
【０００６】
より好ましくは、制御部は、第１の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、第１の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする。
【０００７】
より好ましくは、制御部は、検出部が検出する第１の領域を構成する各部分からの非可視光の強度に応じて、第１の領域に対して投影部に多階調による色の投影をさせる場合に、投影部が投影する可視光の色の彩度を階調に応じて異ならせる。
【発明の効果】
【０００８】
本開示によれば、より使いやすい可視光投影装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】手術支援システム１００の構成を説明する図
【図２】投影制御装置の画像処理にかかる構成を説明する図
【図３】操作者１４０が各種の設定操作を行う際に、表示される画面を説明する図
【図４】背景色が黒色で階調数を２階調に限定した場合の投影映像を示すイメージ図
【図５】背景色が白色で階調数を２階調に限定した場合の投影映像を示すイメージ図
【図６】背景色が白色で階調数を４階調に限定した場合の投影映像を示すイメージ図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施の形態１）
＜１．手術支援システムの概要＞
以下では一例として、本開示の投影システムを、病院における手術支援に適用した実施の形態１を説明する。病院における手術支援に適用した投影システムを、手術支援システム１００と称する。
【００１３】
最初に、実施の形態１にかかる手術支援システム１００の概要を、図１を用いて説明する。図１は、手術支援システム１００の構成を説明する図である。図１に示すように、手術支援システム１００は、手術台１１０に載った患者１２０の鉛直方向上方に、撮像照射装置２００が位置するように配置される。
【００１４】
手術支援システム１００を利用するにあたって、手術を受ける患者１２０には、光感受性物質が血液中などに投与される。光感受性物質は、励起光を受光して蛍光を発する物質である。実施の形態１では、光感受性物質の一例として、インドシアニングリーン（以下、ＩＣＧと称する）を用いた場合を説明する。ＩＣＧは、医療承認されており、人体への使用が可能な試薬である。ＩＣＧは、血液中に投与されると血液やリンパ液の流れが滞っている患部１３０に蓄積される。ＩＣＧは、８００ｎｍ前後の赤外励起光が照射されることにより、ピーク波長８５０ｎｍ前後の赤外蛍光を発する。従って、赤外蛍光の発している領域（ＩＣＧ発光領域）を検出することができれば、患部１３０の領域を特定することが可能となる。
【００１５】
手術支援システム１００は、ＩＣＧの赤外蛍光の発している領域を検出して、患部１３０の領域を特定するシステムである。手術支援システム１００は、特定した患部１３０の領域が医師に視認可能となるように、特定した患部１３０の領域に対して可視光を投影する。これにより、手術支援システム１００は、患部１３０への手術を行う際に、医師による患部１３０の領域特定を支援することができる。
【００１６】
＜２．手術支援システムの構成＞
続いて、手術支援システム１００の構成の詳細について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、主に、撮像照射装置２００、投影制御装置３００、メモリ２４０、赤外励起光光源２３０を備えている。また、手術支援システム１００は、操作者１４０からの各種の設定操作を受け付けるために、表示制御装置１５０、ディスプレイ１６０、マウス１７０を備えている。更に、図示はしていないが、手術支援システム１００は、撮像照射装置２００を配置する位置を変更するための機構（撮像照射装置２００と機械的に接続された駆動アームや、手術支援システム１００の一式を載置する台座のキャスターなど）を備えている。
【００１７】
撮像照射装置２００は、撮像手段や照射手段を一体的に内包した装置である。撮像照射装置２００は、赤外カメラ２１０、ダイクロイックミラー２１１、プロジェクタ２２０を備えている。撮像照射装置２００は、手術台１１０に横になっている患者１２０から発した赤外蛍光２２３を検出する。そして、プロジェクタ２２０から射出させた可視照射光２２２を、検出した赤外蛍光２２３が示す患部１３０の領域に対して照射する。赤外蛍光２２３をより適切に検出し、かつ、可視照射光２２２をより適切に照射するため、撮像照射装置２００は、手術台１１０に載った患者１２０の直上に配置するとよい。
【００１８】
投影制御装置３００は、手術支援システム１００を構成する各部を統括制御する装置である。投影制御装置３００は、赤外カメラ２１０、プロジェクタ２２０、赤外励起光光源２３０、メモリ２４０を制御可能なように、それらに電気的に接続されている。投影制御装置３００は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置３００の機能は、専用に設計された電子回路により実現されてもよい。
【００１９】
メモリ２４０は、投影制御装置３００が演算を実行するにあたって、適宜アクセスを行う記憶媒体である。
【００２０】
赤外励起光光源２３０は、少なくともＩＣＧの励起波長８００ｎｍ前後の赤外励起光２３１を照射する光源である。赤外励起光光源２３０は、投影制御装置３００からの制御信号に従って、赤外励起光２３１の照射のＯＮ／ＯＦＦを切り替えることができる。赤外励起光２３１の照射ムラを低減させるため、赤外励起光光源２３０は、手術台１１０に載った患者１２０の直上に配置するとよい。
【００２１】
表示制御装置１５０は、ディスプレイ１６０と、マウス１７０と電気的に接続されている。ディスプレイ１６０は、投影制御装置３００の投影動作にかかる各種の設定を行うためのメニューを表示することができる。操作者１４０は、ディスプレイ１６０に表示されたメニューを見ながら、マウス１７０を把持して操作することにより、投影制御装置３００の投影動作にかかる各種の設定を行うことができる。具体的には、ＩＣＧ発光領域（患部１３０）に対して投影する投影色及びその階調数の切り替え、並びに、ＩＣＧ発光領域の周囲（背景）及びその輪郭部に対して投影する投影色の切り替え、の設定を行うことができる。表示制御装置１５０は、操作者１４０から設定操作を受け付けると、投影制御装置３００に対してその設定を反映させるための通知を行う。これにより、投影制御装置３００は、操作者１４０によって設定された内容の投影動作を行うことができる。ディスプレイ１６０は、液晶表示方式、有機ＥＬ方式など各種方式が適用可能である。また、マウス１７０は操作手段の一例であり、タッチパネルやキーボードなど他の操作手段を用いてもよい。
【００２２】
次に、撮像照射装置２００に備わる各構成について説明する。
【００２３】
赤外カメラ２１０は、赤外領域に分光感度特性を有するカメラである。本開示にかかる手術支援システム１００では、ＩＣＧから発せられる８５０ｎｍ前後の赤外蛍光２２３を検出する必要がある。そのため、赤外カメラ２１０は、少なくとも８５０ｎｍ前後の赤外領域に対して分光感度特性を有する。なお、ＩＣＧから発せられる赤外蛍光２２３以外の光の受光を回避するために、赤外カメラ２１０の前方に８５０ｎｍ付近の波長の光のみを通過させるバンドパスフィルターを配置してもよい。赤外カメラ２１０は、撮像により得られている赤外画像を、投影制御装置３００に伝送する。
【００２４】
プロジェクタ２２０は、投影制御装置３００からの制御信号に従って、可視光を照射する投影装置である。プロジェクタ２２０は、人間が視認できる可視光領域の光であれば、任意の波長（色）の光を使用することができる。プロジェクタ２２０は、投影制御装置３００からの制御信号に従って、複数の波長（色）の光による照射を切り替え可能に構成されている。プロジェクタ２２０は、可視照射光２２２を、ダイクロイックミラー２１１に向けて照射する。
【００２５】
ダイクロイックミラー２１１は、赤外カメラ２１０及びプロジェクタ２２０のそれぞれと対向して配置される。ダイクロイックミラー２１１は、特定の波長の光を反射する一方、その他の波長の光を透過する機能を備えた光学素子である。本開示においては、ダイクロイックミラー２１１の水平方向にプロジェクタ２２０の投影口が配置される一方、ダイクロイックミラー２１１の鉛直方向上方に赤外カメラ２１０が配置される。ダイクロイックミラー２１１は、プロジェクタ２２０から照射された可視照射光２２２を反射する一方、赤外カメラ２１０の撮像面に向かう赤外蛍光２２３は透過させる光学特性を備える。また、図１に示すように、ダイクロイックミラー２１１で反射された可視照射光２２２と、赤外カメラ２１０の撮像面に入射する赤外蛍光２２３とは光路が一致されている。これにより、赤外蛍光２２３の発している領域（患部１３０）に対する可視照射光２２２の照射精度を高めることができる。
【００２６】
なお、上記において、赤外カメラ２１０は、本開示の検出部の一例である。プロジェクタ２２０は、本開示の可視光を用いた投影を行う投影部の一例である。表示制御装置１５０及び投影制御装置３００からなる構成は、本開示の制御部の一例である。そして、手術支援システム１００は、本開示の可視光投影装置の一例である。
【００２７】
図１に示す例では、表示制御装置１５０と投影制御装置３００とを別体のハードウェア構成として例示しているが、本開示はこれに限定されない。すなわち、表示制御装置１５０と投影制御装置３００とを一体のハードウェア構成としてもよい。
【００２８】
＜３．投影制御装置による画像処理＞
続いて、投影制御装置３００による画像処理の詳細について説明する。図２は、投影制御装置３００の画像処理にかかる構成を説明する図である。
【００２９】
図２に示すように、投影制御装置３００は、ガウシアンフィルタ３１０、ゾーベルフィルタ３１１、２値化処理３１２、孤立点除去処理３１３、色変換処理３１４、遅延処理３２０、多値化処理３２１、色変換処理３２２、重畳処理３２３の処理機能を有している。これらの処理機能は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。また、投影制御装置３００は、インターフェイス３３０を介して、表示制御装置１５０と接続されている。
【００３０】
投影制御装置３００が有する各処理機能の詳細について説明する。
【００３１】
赤外カメラ２１０により撮像され生成された赤外画像は、入力３０１を介して、投影制御装置３００に取り込まれる。入力３０１から取り込まれた赤外画像は、ガウシアンフィルタ３１０及び、遅延処理３２０に送られる。
【００３２】
ガウシアンフィルタ３１０は、ＩＣＧにより赤外蛍光２２３が発せられている領域のエッジ検出の前処理として、赤外カメラ２１０により生成された赤外画像に対して、画像中に含まれるノイズ成分を除去する。赤外画像中において、ノイズ成分を除去する対象の画素の座標を（Ｘ，Ｙ）、その座標の信号レベルをＬＶ（Ｘ，Ｙ）とする。このとき、ノイズ成分を除去する対象の画素及び、その隣接８画素の信号レベルを示す行列Ｓ１は下記の数１に示す行列となる。
【数１】
2016157260.tif 000014
【００３３】
ガウシアンフィルタ３１０は、行列Ｓ１を、数２に示すフィルタ係数（ガウシアンフィルタ）Ｇに基づいて平滑化処理を行う。すなわち、数３に示すように、フィルタ係数Ｇと信号レベルＳ１を乗じることにより、画像中に含まれるノイズ成分を除去することができる。
【数２】
2016157260.tif 000015
［数３］
Ｇ＊Ｓ１＝｛１×ＬＶ（Ｘ−１，Ｙ−１）＋２×ＬＶ（Ｘ，Ｙ−１）＋１×ＬＶ（Ｘ＋１，Ｙ−１）＋２×ＬＶ（Ｘ−１，Ｙ）＋４×ＬＶ（Ｘ，Ｙ）＋２×ＬＶ（Ｘ＋１，Ｙ）＋１×ＬＶ（Ｘ−１，Ｙ＋１）＋２×ＬＶ（Ｘ，Ｙ＋１）＋１×ＬＶ（Ｘ＋１，Ｙ＋１）｝／１６
【００３４】
ゾーベルフィルタ３１１は、ガウシアンフィルタ３１０が出力した赤外画像を構成する各画素について、その周辺画素に対して相対的な明るさの差分が大きい画素を検出する。すなわち、ゾーベルフィルタ３１１は、赤外画像のエッジ部を検出する。ここで、ゾーベルフィルタ３１１によるエッジ検出の対象画素の座標を（Ｘ，Ｙ）、その座標の信号レベルをＥＧ（Ｘ，Ｙ）とする。このときに、エッジ検出の対象画素及びその隣接８画素の信号レベルＳ２は、数４に示す行列となる。
【数４】
2016157260.tif 000016
【００３５】
ゾーベルフィルタ３１１は、行列Ｓ２を、数５に示すフィルタ係数（水平ゾーベルフィルタ）ＳＨに基づいて水平成分のエッジ検出処理を行う。すなわち、数６に示すように、フィルタ係数ＳＨと信号レベルＳ２を乗じて、その絶対値をとることにより、エッジ検出の対象画素について水平成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、水平成分のエッジ検出処理を行う。
【数５】
2016157260.tif 000017
［数６］
ＳＨ＊Ｓ２＝絶対値｛−１×ＥＧ（Ｘ−１，Ｙ−１）＋０×ＥＧ（Ｘ，Ｙ−１）＋１×ＥＧ（Ｘ＋１，Ｙ−１）−２×ＥＧ（Ｘ−１，Ｙ）＋０×ＥＧ（Ｘ，Ｙ）＋２×ＥＧ（Ｘ＋１，Ｙ）−１×ＥＧ（Ｘ−１，Ｙ＋１）＋０×ＥＧ（Ｘ，Ｙ＋１）＋１×ＥＧ（Ｘ＋１，Ｙ＋１）｝
【００３６】
同様に、ゾーベルフィルタ３１１は、行列Ｓ２を、数７に示すフィルタ係数（垂直ゾーベルフィルタ）ＳＰに基づいて垂直成分のエッジ検出処理を行う。すなわち、数８に示すように、フィルタ係数ＳＰと信号レベルＳ２を乗じて、その絶対値をとることにより、エッジ検出の対象画素について垂直成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、垂直成分のエッジ検出処理を行う。
【数７】
2016157260.tif 000018
［数８］
ＳＰ＊Ｓ２＝絶対値｛−１×ＥＧ（Ｘ−１，Ｙ−１）−２×ＥＧ（Ｘ，Ｙ−１）−１×ＥＧ（Ｘ＋１，Ｙ−１）＋０×ＥＧ（Ｘ−１，Ｙ）＋０×ＥＧ（Ｘ，Ｙ）＋０×ＥＧ（Ｘ＋１，Ｙ）＋１×ＥＧ（Ｘ−１，Ｙ＋１）＋２×ＥＧ（Ｘ，Ｙ＋１）＋１×ＥＧ（Ｘ＋１，Ｙ＋１）｝
【００３７】
続いて、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、求めた水平成分及び垂直成分の比較を行う。そして、ゾーベルフィルタ３１１は、水平成分が垂直成分以上である場合は、数９に基づいて、対象画素のエッジ成分を決定する。一方、ゾーベルフィルタ３１１は、水平成分が垂直成分よりも小さい場合は、数１０に基づいて、対象画素のエッジ成分を決定する。このようにして、ゾーベルフィルタ３１１は、赤外画像を構成する各画素について、エッジ成分を決定する。
［数９］
エッジ成分＝水平成分＋垂直成分／２
［数１０］
エッジ成分＝垂直成分＋水平成分／２
【００３８】
これにより斜め方向も含めたエッジ成分を簡易的に算出することができる。
【００３９】
２値化処理３１２は、ゾーベルフィルタ３１１が出力した、赤外画像を構成する各画素のエッジ成分に対して、２値化処理を行う。エッジ成分の小さい画素は、ノイズ成分や微小なテクスチャー成分に相当し、強調処理する必要がない。そのため、２値化処理３１２は、エッジ成分に対して所定の閾値を設けて２値化し、赤外画像を構成する各画素においてＩＣＧの発光領域の輪郭部を選択的に抜き出す。なお、２値化の閾値を操作者１４０が選択できるようにして、輪郭部の検出度合いを調整できるようにしてもよい。
【００４０】
孤立点除去処理３１３は、２値化処理３１２が出力した赤外画像の２値情報に対して、孤立点除去処理を行う。孤立点除去処理３１３は、黒画素の中に孤立して存在している白画素を粒上のノイズ成分と判断して黒画素に変換し、白画素の中に孤立して存在している黒画素を粒上のノイズ成分と判断して白画素に変換する処理である。撮像照射装置２００による映像の投影対象となる患部１３０が他の臓器と癒着しており、癒着を剥離した後のように患部１３０の表面状態があまり良くない場合に、２値化処理３１２によるエッジ成分の２値化処理のみではノイズ成分を十分に除去できない場合がある。そのため、孤立点除去処理３１３は、エッジ成分の２値化処理後に孤立点除去処理を行う。これにより、ＩＣＧ発光領域の輪郭部の大部分は残したまま、細かい粒上のノイズ成分を除去することができる。なお、孤立点除去処理３１３によるノイズ除去効果の程度を操作者１４０が選択できるようにしてもよい。このとき、選択肢として、例えば、対象画素の上下左右の４画素から判定する場合（ノイズ除去効果：小）と、斜めも含めた８画素から判定する場合（ノイズ除去効果：大）の２通りを用意しておいてもよい。また、患部１３０の状態や様々な症例などに応じて、操作者１４０が孤立点除去処理３１３のＯＮ／ＯＦＦを調整できるようにしてもよい。
【００４１】
色変換処理３１４は、ＩＣＧ発光領域に対する可視光投影の視認性を上げるために、孤立点除去処理３１３が出力したエッジ成分（ＩＣＧ発光領域の輪郭部）の色変換を行う。操作者１４０は、ＩＣＧ発光領域の輪郭部の色を、選択肢として並んだ色のバリエーションの中から一つ選択することができる。色変換処理３１４は、操作者１４０により選択された色へと、エッジ成分（ＩＣＧ発光領域の輪郭部）の色を変換する。
【００４２】
遅延処理３２０は、入力３０１から、赤外カメラ２１０により撮像され生成された赤外画像を取得する。そして、遅延処理３２０は、取得した赤外画像に対して所定ライン分の遅延処理を行う。より具体的には、遅延処理３２０は、入力３０１から取り込まれた同一内容の赤外画像について、ガウシアンフィルタ３１０、ゾーベルフィルタ３１１、２値化処理３１２、孤立点除去処理３１３、色変換処理３１４の経路に沿って処理されるエッジ検出のタイミングと、多値化処理３２１、色変換処理３２２の経路に沿って処理される画像のタイミングとが、重畳処理３２３における重畳のときに合致するように、赤外画像を遅延させる。これにより、重畳処理３２３において適切な重畳画像を得ることができる。なお、図２に示す例では、遅延処理３２０は、多値化処理３２１、色変換処理３２２の前処理として配置されているが、これに限定されない。重畳処理３２３においてタイミングを合わせることができれば、多値化処理３２１と色変換処理３２２との間に配置してもよいし、色変換処理３２２の後に配置してもよい。
【００４３】
多値化処理３２１は、遅延処理３２０から出力された赤外画像に対して、多値化処理を行う。例えば、元の赤外画像の階調が２５６階調であるとする。多値化処理３２１は、元の赤外画像に対して、２階調、４階調、８階調、２５６階調のいずれか操作者１４０が設定した階調への変換処理を行う。
【００４４】
２階調が設定された場合、多値化処理３２１は、閾値を１２７に設定する。そして、赤外画像のうち階調が０〜１２７を示す画素について、その画素の値は０に変換される。一方、赤外画像のうち階調が１２８〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、２階調の赤外画像を生成する。
【００４５】
４階調が設定された場合、多値化処理３２１は、６３、１２７、１９１の３つの閾値を設定する。そして、赤外画像のうち階調が０〜６３を示す画素について、その画素の値は０に変換される。また、赤外画像のうち階調が６４〜１２７を示す画素について、その画素の値は８５に変換される。また、赤外画像のうち階調が１２８〜１９１を示す画素について、その画素の値は１７０に変換される。また、赤外画像のうち階調が１９２〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、４階調の赤外画像を生成する。
【００４６】
８階調が設定された場合、多値化処理３２１は、３１、６３、９５、１２７、１５９、１９１、２２３の７つの閾値を設定する。そして、赤外画像のうち階調が０〜３１を示す画素について、その画素の値は０に変換される。また、赤外画像のうち階調が３２〜６３を示す画素について、その画素の値は３６に変換される。また、赤外画像のうち階調が６４〜９５を示す画素について、その画素の値は７３に変換される。また、赤外画像のうち階調が９６〜１２７を示す画素について、その画素の値は１０９に変換される。また、赤外画像のうち階調が１２８〜１５９を示す画素について、その画素の値は１４６に変換される。また、赤外画像のうち階調が１６０〜１９１を示す画素について、その画素の値は１８２に変換される。また、赤外画像のうち階調が１９２〜２２３を示す画素について、その画素の値は２１９に変換される。また、赤外画像のうち階調が２２４〜２５５を示す画素について、その画素の値は２５５に変換される。これにより、多値化処理３２１は、８階調の赤外画像を生成する。
【００４７】
２５６階調が設定された場合、多値化処理３２１は、元の赤外画像の階調をそのまま出力する。すなわち、２５６階調の赤外画像を出力する。
【００４８】
以上のようにして、操作者１４０は、患部１３０の状態や様々な症例などに応じて、最適な階調数を設定することができる。
【００４９】
なお、操作者１４０が選択できる階調数の中には、元画像の階調数と同じ数があってもよい。
【００５０】
色変換処理３２２は、ＩＣＧ発光領域に対する可視光投影の視認性を上げるために、多値化処理３２１が出力した赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）の色変換を行う。操作者１４０は、ＩＣＧ発光領域の面部の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。同様に、操作者１４０は、ＩＣＧ発光領域の面部を囲む背景の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。本実施の形態では、背景の色として、黒色又は白色のうち一つを選択することができる。特に、背景の色として白色を選択した場合、無影灯を点灯させる必要なく、手術に必要な術野の明るさと、ＩＣＧ発光領域の視認性を両立することができる。色変換処理３２２は、操作者１４０により選択された色へと、赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）の色を変換する。
【００５１】
重畳処理３２３は、色変換処理３２２から出力された色変換済みの赤外画像（ＩＣＧ発光領域の面部及び、面部を囲む背景）に対して、色変換処理３１４から出力された色変換済みのエッジ成分（ＩＣＧ発光領域の輪郭部）を重畳処理する。この重畳処理の対象となる赤外画像とエッジ成分は、同タイミングで赤外カメラ２１０により撮像された赤外画像に基づくことは先述したとおりである。重畳処理３２３は、出力３０２を介して、重畳処理済みの赤外画像に基づく投影制御データを、プロジェクタ２２０に供給する。これにより、プロジェクタ２２０は、ＩＣＧ発光領域の面部、面部を囲む背景、輪郭部に対して可視光を投影することができる。
【００５２】
インターフェイス３３０は、表示制御装置１５０と電気的に接続されている。そして、インターフェイス３３０は、表示制御装置１５０から通知された設定操作に関する制御信号を、投影制御装置３００が使用可能な信号へと変換する。具体的には、インターフェイス３３０は、ＵＳＢ／ＩＩＣ変換器により、表示制御装置１５０で制御された各種の設定値を、投影制御装置３００で使用可能なＩＩＣ信号に変換する。そして、インターフェイス３３０は、変換した信号を、多値化処理３２１、色変換処理３１４、色変換処理３２２に供給する。これにより、操作者１４０による各種の設定操作を反映させることができる。
【００５３】
＜４．投影制御装置による画像処理＞
続いて、操作者１４０が各種の設定操作を行う際に、ディスプレイ１６０に表示される画面について説明する。図３は、操作者１４０が各種の設定操作を行う際に、表示される画面を説明する図である。
【００５４】
図３に示すように、ディスプレイ１６０には、複数のタブにより区分けされたウインドウが表示される。複数のタブのそれぞれは、ＩＣＧ発光領域の面部を囲む背景の色を示している。図３に示す例では、複数のタブのそれぞれは、黒背景タブ４００、白背景タブ５００、黄色背景タブ６００を示している。操作者１４０は、いずれかのタブを、マウス１７０を用いてクリックすることにより、いずれかの背景色を選択する。いずれかのタブが選択されると、ディスプレイ１６０は、その選択されたタブにかかる選択項目のメニューを、他のタブにかかる選択項目のメニューの前面に表示する。
【００５５】
図３（Ａ）、（Ｂ）に示す各メニューの構成例について説明する。まず、図３（Ａ）を用いて、ＩＣＧ発光領域の面部を囲む背景の色として黒色が選択された場合を説明する。図３（Ａ）は、ＩＣＧ発光領域の面部を囲む背景の色として黒色が選択されたときのメニューを示している。
【００５６】
操作者１４０は、黒背景タブ４００を、マウス１７０を用いてクリックすると、ディスプレイ１６０は、図３（Ａ）に示すように、黒背景が選択された場合に、ＩＣＧ発光領域の面部に対して投影する色（項目４１０）、ＩＣＧ発光領域の面部に対する投影の階調数（項目４２０）、ＩＣＧ発光領域の輪郭部（面部と背景との境界）に対して投影する色（項目４３０）、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目４１０、項目４２０、項目４３０について順番に説明する。
【００５７】
まず、項目４１０について説明する。ＩＣＧ発光領域の面部に対して投影する色（項目４１０）を選択するために、白色ボタン４１１、黄色ボタン４１２、緑色ボタン４１３、シアンボタン４１４、ＯＦＦボタン４１５が配置され表示される。
【００５８】
操作者１４０が項目４１０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（色変換処理３２２）に対して行う。これにより、投影制御装置３００（色変換処理３２２）は、操作者１４０から選択された色により赤外画像の色変換を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された色による面部の投影を行わせる。すなわち、操作者１４０が、白色ボタン４１１を選択した場合、面部に対する投影色が白色に切り替わる。同様に、操作者１４０が、黄色ボタン４１２を選択した場合、黄色に切り替わる。操作者１４０が、緑色ボタン４１３を選択した場合、緑色に切り替わる。操作者１４０が、シアンボタン４１４を選択した場合、シアン色に切り替わる。また、操作者１４０が、ＯＦＦボタン４１５を選択した場合、ＩＣＧ発光領域への投影はＯＦＦ状態とする。すなわち、ＯＦＦボタン４１５を選択した場合、ＩＣＧ発光領域は、背景色と同じ黒色となる。
【００５９】
次に、項目４２０について説明する。黒背景が選択されたか否かに関わらず、ＩＣＧ発光領域の面部に対する投影の階調数を選択するために、２階調ボタン４２１、４階調ボタン４２２、８階調ボタン４２３、２５６階調ボタン４２４が配置され表示される。
【００６０】
操作者１４０が項目４２０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（多値化処理３２１）に対して行う。これにより、投影制御装置３００（多値化処理３２１）は、操作者１４０から選択された階調数により赤外画像の多値化処理を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された階調数による面部の投影を行わせる。すなわち、操作者１４０が２階調ボタン４２１を選択した場合、面部に対する投影が２階調に切り替わる。操作者１４０が４階調ボタン４２２を選択した場合、面部に対する投影が４階調に切り替わる。操作者１４０が８階調ボタン４２３を選択した場合、面部に対する投影が８階調に切り替わる。そして、操作者が２５６階調ボタン４２４を選択した場合、面部に対する投影が２５６階調（階調を限定しない）に切り替わる。
【００６１】
最後に、項目４３０について説明する。ＩＣＧ発光領域の輪郭部に対して投影する色（項目４３０）を選択するために、白色ボタン４３１、黄色ボタン４３２、緑色ボタン４３３、シアン色ボタン４３４、ＯＦＦボタン４３５が配置され表示される。操作者１４０が項目４３０のいずれかのボタンを選択した場合、表示制御装置１５０は、その選択にかかる通知を投影制御装置３００（色変換処理３１４）に対して行う。これにより、投影制御装置３００（色変換処理３１４）は、操作者１４０から選択された色により赤外画像の色変換を行う。そして、投影制御装置３００は、プロジェクタ２２０に対して、操作者１４０から選択された色による輪郭部の投影を行わせる。操作者１４０により、白色ボタン４３１、黄色ボタン４３２、緑色ボタン４３３、シアン色ボタン４３４、ＯＦＦボタン４３５のいずれかが選択されたときの、投影色の切り替え動作については、項目４１０の面部に対する場合と同様であるため、詳細説明は省略する。
【００６２】
続いて、図３（Ｂ）を用いて、ＩＣＧ発光領域の面部を囲む背景の色として白色が選択された場合を説明する。図３（Ｂ）は、ＩＣＧ発光領域の面部を囲む背景の色として白色が選択されたときのメニューを示している。
【００６３】
操作者１４０は、白背景タブ５００を、マウス１７０を用いてクリックすると、ディスプレイ１６０は、図３（Ｂ）に示すように、白背景が選択された場合に、ＩＣＧ発光領域の面部に対して投影する色（項目５１０）、ＩＣＧ発光領域の面部に対する投影の階調数（項目５２０）、ＩＣＧ発光領域の輪郭部（面部と背景との境界）に対して投影する色（項目５３０）、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目５１０、項目５２０、項目５３０について順番に説明する。
【００６４】
まず、項目５１０について説明する。ＩＣＧ発光領域の面部に対して投影する色（項目５１０）を選択するために、青色ボタン５１１、シアン色ボタン５１２、緑色ボタン５１３、赤色ボタン５１４、ＯＦＦボタン５１５が配置され表示される。操作者１４０が項目５１０のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目４１０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６５】
次に、項目５２０について説明する。白背景が選択されたか否かに関わらず、ＩＣＧ発光領域の面部に対する投影の階調数を選択するために、２階調ボタン５２１、４階調ボタン５２２、８階調ボタン５２３、２５６階調ボタン５２４が配置され表示される。操作者１４０が項目５２０のいずれかのボタンを選択した場合の階調数の切り替え動作については、黒背景の場合に項目４２０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６６】
最後に、項目５３０について説明する。ＩＣＧ発光領域の輪郭部に対して投影する色（項目５３０）を選択するために、青色ボタン５３１、シアン色ボタン５３２、緑色ボタン５３３、赤色ボタン５３４、ＯＦＦボタン５３５が配置され表示される。操作者１４０が項目５３０のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目４３０のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
【００６７】
図３（Ａ），（Ｂ）に示すように、手術支援システム１００は、ＩＣＧ発光領域の面部を囲む背景の色に応じて、選択できるＩＣＧ発光領域の色及び、エッジ部分の色を限定させている。換言すると、選択した背景色によって、面部及び輪郭部の色として選択できる色の選択肢を異ならせている。すなわち、黒背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢（白色、黄色、緑色、シアン色）と、白背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢（青色、シアン色、緑色、赤色）とを異ならせている。詳細説明は省略するが、黄色背景タブ６００がクリックされ、黄色背景が選択された場合も、黒背景及び白背景が選択された場合とは、面部及び輪郭部の色として選択できる色の選択肢を異ならせる。これにより、操作者１４０は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
【００６８】
なお、背景色の色にかかわらず、ＩＣＧ発光領域の面部に対して投影する色と、輪郭部（面部と背景との境界）に対して投影する色とを同じ色とした場合、ＩＣＧ発光領域の面部と輪郭部の見分けがつかなくなる。そのため、ＩＣＧ発光領域の面部と輪郭部とで、同色の投影色の選択はできないようにしてもよい。例えば、面部の色選択にかかる項目４１０で黄色ボタン４１２を選択し、ＩＣＧ発光領域の面部に対する投影色を黄色に切り替えたときは、輪郭部の色選択にかかる項目４２０では、黄色ボタン４３２を自動的に押せないようにしてもよい。但し、例外として、ＯＦＦボタン４１５、４３５については、面部及び輪郭部に対する投影をＯＦＦ状態とすることが目的であるため、同時にボタンを押せるようにしてもよい。これにより、プロジェクタ２２０が投影する全画面を強制的に黒画面にできるようにしてもよい。黒背景の場合で説明したが、白背景の場合もこれらは同様である。
【００６９】
ここで、ＩＣＧ発光領域の面部を囲む背景の色に応じて、選択できるＩＣＧ発光領域の面部及び輪郭部の色を限定させる意義について詳細を説明する。
【００７０】
投影光の色の差に対する視認性を高めるために、最も重要な色の要素が「明度差」であり、その次に「彩度差」「色相差」の順番になることが一般的に知られている。例えば、明度が最も低い黒色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番大きい白色、有彩色の中で明度が一番大きい黄色があげられる。つまり、背景色を黒色とした場合に視認性を最も高くするためには、ＩＣＧ発光領域の面部に対する投影光の色として白色や黄色を選択すればよい。黒色と黄色の組み合わせの例としては、運転手への注意喚起を促す「警戒標識」の交通標識や、「製造物責任法（ＰＬ法）」に基づき製品に貼られるラベル等にも採用されている。
【００７１】
一方、明度が最も高い白色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番小さい黒色、有彩色の中で明度が一番小さい青色があげられる。つまり、背景色を白色とした場合に視認性を最も高くするためには、ＩＣＧ発光領域の面部に対する投影色の色として黒色や青色を選択すればよい。但し、背景色が白色で、ＩＣＧ発光領域の面部への投影色が黒色の組み合わせとした場合、赤外カメラ２１０より撮像された赤外画像中の黒い部分（ＩＣＧ発光強度が弱い部分）が白色に投影され、赤外カメラ２１０より撮像された赤外画像中の白い部分（ＩＣＧ発光強度が強い部分）が黒色に投影されてしまう。このとき、操作者１４０が患部１３０に投影されたＩＣＧの発光強度分布を間違って認識してしまう可能性があるため、色の組わせとしては避けるほうが望ましい。従って、背景色を白色とした場合に、操作者１４０が誤認識することなくかつ視認性を最も高くするためには、ＩＣＧ発光領域の面部への投影色の色として青色を投影色として選択すればよい。白色と青色の組み合わせの例としては、運転手に対して瞬時に情報を伝えるための「指示標識」や「案内標識」などの交通標識にも採用されている。
【００７２】
上記では、視認性を高めるために、背景色に応じて異なる投影色を選択可能とした。これは、患部１３０の色に応じて医師に見やすい投影色を選択可能としてもいいし、眼の負担の少ない投影色を選択可能としてもよい。或いは、手術中に患部１３０等から生じる体液の色とは異なる投影色を選択可能としてもよいし、投影対象となる患部の表面状態（血管の脈管や切断面の組織状態など）が見やすい投影色を選択可能としてもよい。
【００７３】
なお、上記では、赤外の励起光とＩＣＧとを組み合わせて赤外蛍光を検知していたが、それ以外の組み合わせ、例えば、可視光の励起光と試薬を用いて、可視光の蛍光を検知する等、励起光の波長と、検知する蛍光の波長はいずれでもよいが、蛍光の波長は、投影する光の波長と異なることが望ましい。
【００７４】
また、患部１３０へ投影する情報としては、ＣＴ、ＭＲＩ画像、超音波画像や、それらの画像を元に構成された３Ｄシミュレーション画像でもよい。
【００７５】
＜５．投影映像＞
続いて、手術支援システム１００による患者１２０に対する投影映像について説明する。図４は、背景色が黒色で階調数を２階調に限定した場合の投影映像を示すイメージ図である。
【００７６】
背景色を黒色に選択した場合、図４（Ａ）〜（Ｄ）に示す背景１３２のように、ＩＣＧ発光強度が弱い領域（ＩＣＧ非発光領域）では、階調が０に変換されるため投影光が投影されない。一方、ＩＣＧ発光強度が強い領域では投影階調が２５５に変換され、図４（Ａ）〜（Ｄ）に示す患部１３０のように、操作者１４０に選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部に対しても、図４（Ａ）〜（Ｄ）に示す輪郭部１３１のように、選択された投影色に応じた色の投影光が照射される。
【００７７】
図５は、背景色が白色で階調数を２階調に限定した場合の投影映像を示すイメージ図である。背景色を白色に選択した場合、図５（Ａ）〜（Ｄ）に示す背景１３２のように、ＩＣＧ発光強度が弱い領域（ＩＣＧ非発光領域）では、ＲＧＢのいずれも階調が２５５に変換され、白色の投影光が投影される。一方、ＩＣＧ発光強度が強い領域では、ＲＧＢのうち設定された投影色に影響しない要素の階調が０に変換され、図５（Ａ）〜（Ｄ）に示す患部１３０のように、操作者１４０に選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部に対しても、図５（Ａ）〜（Ｄ）に示す輪郭部１３１のように、選択された投影色に応じた色の投影光が照射される。なお、背景色を白色に選択した場合に、ＩＣＧ発光領域への投影色として青色を選択すると、最も視認性が高くなる。また、シアン色や緑色を選択すると、良好な視認性が得られるとともに、目が疲れにくくなる。また、症例によっては、体液が緑色など他の色と似ている場合がある。このときは、誤認を避けるため、赤色が選択される。
【００７８】
黒背景とする場合と、白背景とする場合のともに、輪郭部１３１に対して投影する投影光の色は、患部１３０に対して投影する投影光の色とは異なるようにすると、輪郭部の位置が明確になる。但し、ＩＣＧ発光領域とＩＣＧ非発光領域との境界と、ＩＣＧ発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を２階調に限定した時に、最適な投影映像を得るために、階調を０と２５５とに分割するための閾値を変えて調整してもよい。また、階調は０，２５５に限定した値でなくてもよい。
【００７９】
図６は、背景色が白色で階調数を４階調に限定した場合の投影映像を示すイメージ図である。８階調、２５６階調の場合も階調数が異なるだけであり、４階調の場合と同様の投影映像となる。図６（Ａ）に示す患部１３０Ａ〜Ｄのように、４階調設定では、ＩＣＧ発光強度が弱い順に０，８５，１７０，２５５の４段階に階調を割り当て、操作者１４０により選択された投影色に応じた色の投影光が投影される。さらに、ＩＣＧ発光領域の輪郭部１３１にも選択された投影色に応じた色の投影光が照射される。但し、２階調のときと同様に、各階調の投影領域の境界部と、ＩＣＧ発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を４階調に限定した時に、最適な投影映像を得るために、階調を０，８５，１７０，２５５に分割するための閾値を変えて調整してもいい。また、全ての閾値を個別に設定してもいいし、一つの閾値を設定するとそれ以外の閾値が連動して決定されるようにしてもいい。また、投影階調は０，８５，１７０，２５５に限定した値でなくてもいい。
【００８０】
ここで、ＩＣＧ発光領域の面部に対して階調表現するときの投影色について、更に詳細を説明する。
【００８１】
患部１３０上の投影映像のＩＣＧ発光強度の情報量と視認性は相反する関係にあり、階調数が大きくなるほど微妙なＩＣＧ発光強度の変化を投影により表現することができるが、各階調の投影色の差分が小さくなるためメリハリがなく視認性の低い投影映像となってしまう。一方、階調数が小さくなるほど微妙なＩＣＧ発光強度の変化を投影により表現することは難しくなるが、各階調の投影色の差分が大きくなるためメリハリがあり視認性の高い投影映像が得られる。
【００８２】
ここで階調表現する際の投影色であるが、前述したとおり視認性を高めるためには「明度差」が重要な要素になる。そのため、基本的には明度を変化させることで階調を表現することが望ましい。しかしながら、ＩＣＧ発光領域の面部に対して、背景色との明度の差がある色を投影した場合、背景色より明るい色はより明るく、暗い色はより暗く見える「明度対比」という人間の視覚特性が存在する。背景色が黒色である場合は、背景色の明度に比べてＩＣＧ発光領域の面部に対する投影色の明度は必ず大きい値となる。そして、明度対比の効果により、人間の目には本来の明るさ以上に明るいと感じられ、各階調の投影色の差分がより強調されて見えることになる。従って、黒背景とした場合は、選択した投影色により、ＩＣＧ発光領域の面部に対して良好に投影することができる。
【００８３】
一方、背景色が白色である場合は、背景色の明度に比べてＩＣＧ発光領域の面部に対する投影色の明度は必ず小さい値となる。そして、明度対比の効果により、人間の目には本来の明るさより暗くなったと感じられ、各階調の投影色の差分がより判別しにくくなる。従って、背景色を白色とする場合は、「明度差」で階調表現するのではなく、「明度差」の次に色の視認性において重要な要素である「彩度差」により階調を表現することが望ましい。
【００８４】
図６（Ｂ）は、ＩＣＧ発光強度に対する彩度差を示す表である。図６（Ｂ）に示す例では、ＩＣＧ発光強度が強くなるほど、彩度（Ｃ）が高くなるように階調表現が設定されている。
すなわち、ＩＣＧ発光強度が強い領域から弱い領域に行くに従って、彩度がＣ４、Ｃ３、Ｃ２、Ｃ１の順で変化するように階調表現が設定されている。そして、図６（Ａ）に示す患部１３０Ａ〜Ｄのように、４階調の場合、ＩＣＧ発光強度が弱い順に０，８５，１７０，２５５の４段階に階調を割り当て、それぞれの階調に対して彩度をＣ１、Ｃ２，Ｃ３、Ｃ４に設定する。ここでは、ＩＣＧ発光強度は、患部１３０Ａ，１３０Ｂ，１３０Ｃ、１３０Ｄの順に強くなっているとする。このとき、撮像照射装置２００は、患部１３０Ａに対して、彩度Ｃ１による投影色（例えば青色）の投影を行う。患部１３０Ｂに対して、彩度Ｃ２による投影色の投影を行う。また、患部１３０Ｃに対して彩度Ｃ３による投影色の投影を行う。そして、患部１３０Ｄに対して彩度Ｃ４による投影色の投影を行う。これにより、背景色を白色とした場合であっても、ＩＣＧ発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。
【００８５】
＜６．まとめ＞
上記のように、本開示の手術支援システム１００は、赤外蛍光２２３を発する患部１３０を検出する赤外カメラ２１０と、赤外カメラ２１０が検出した患部１３０（ＩＣＧ発光領域）を含む術野に対して、可視光を用いた投影を行うプロジェクタ２２０と、操作者１４０により選択された色に基づいて、プロジェクタ２２０に投影を行わせる投影制御装置３００と、を備える。投影制御装置３００は、術野のうち、患部１３０以外の領域（背景）に対してプロジェクタ２２０が投影する可視光の色として、黒色が選択された場合、患部１３０に対してプロジェクタ２２０が投影する可視光の色を、第１の選択肢（白色、黄色、緑色、シアン色）の中から選択可能なようにディスプレイ１６０にメニュー表示することで操作者１４０に知らせる。一方で、術野のうち、患部１３０以外の領域に対してプロジェクタ２２０が投影する可視光の色として、白色が選択された場合、患部１３０に対してプロジェクタ２２０が投影する可視光の色を、第１の選択肢に含まれる候補の組み合わせとは異なる第２の選択肢（青色、シアン色、緑色、赤色）の中から選択可能なようにディスプレイ１６０にメニュー表示することで操作者１４０に知らせる。
【００８６】
これにより、操作者１４０は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
【００８７】
また、上記のように、本開示の手術支援システム１００において、投影制御装置３００は、患部１３０（ＩＣＧ発光領域）の輪郭部に対してプロジェクタ２２０が投影する可視光の色の選択肢の中から、患部１３０の面部に対してプロジェクタ２２０が投影する可視光の色として操作者が選択した色は選択できないようにする。これにより、医師は、患部１３０（ＩＣＧ発光領域）と輪郭部との見分けることができる。
【００８８】
また、上記のように、本開示の手術支援システム１００において、赤外カメラ２１０が検出する患部１３０（ＩＣＧ発光領域）を構成する各部分からの赤外蛍光２２３の強度に応じて、患部１３０に対してプロジェクタ２２０に多階調による色の投影をさせる場合に、プロジェクタ２２０が投影する可視光の色の彩度を階調に応じて異ならせる。これにより、ＩＣＧ発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。これは、背景色を白色とした場合において、特に有効である。
【００８９】
＜７．その他の実施の形態＞
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９０】
上記実施の形態では、操作者１４０は、ディスプレイ１６０に表示されるメニューから、所望する色のボタンを、マウス１７０を用いて選択操作する場合を例示したが、本開示はこれに限定されない。投影制御装置３００に接続されたスピーカから、投影色にかかる選択肢をアナウンスしてもよい。そして、操作者１４０は、そのアナウンスを聞いた後に、所望する色を、マイクに向かって発声することにより選択操作してもよい。もちろん、操作者１４０は、ディスプレイ１６０に表示されるメニュー上のボタンを見ながら、所望する色を、マイクに向かって発声することにより選択操作してもよい。
【００９１】
実施の形態１では、手術用途を例に挙げて説明したが、本開示はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合にも、本発明を適用することができる。
【００９２】
具体的には、実施の形態１のＩＣＧからの赤外蛍光に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ２１０による撮像の対象とし、可視光を投影するようにしてもよい。或いは、発光ではなく、発熱箇所を熱センサで検出して、その発熱箇所に対して可視光を投影するようにしてもよい。この場合、発熱箇所から発せられる遠赤外線も、本開示における非可視光の一例である。
【００９３】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９４】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須で
あるとの認定をするべきではない。
【００９５】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９６】
本開示における投影システムは、手術用途に限定されず、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2016157260.tif 000019
【図２】
2016157260.tif 000020
【図３】
2016157260.tif 000021
【図４】
2016157260.tif 000022
【図５】
2016157260.tif 000023
【図６】
2016157260.tif 000024
【国際調査報告】
2016157260.tif 000025
2016157260.tif 000026
2016157260.tif 000027
2016157260.tif 000028