(57)【要約】      （修正有）【課題】アノテーションを含めた内視鏡画像を、術者の視野の方向に応じた適切な向きでウェアラブルグラスに表示させることができる、内視鏡表示装置、及び、内視鏡システムを提供する。【解決手段】内視鏡表示装置１ａ、１ｂは、スコピストにより撮像された内視鏡画像を受信可能な画像信号受信部１２ａ、１２ｂと、アノテーションにより生成された描画画像を受信可能な描画受信部２０ａ、２０ｂと、スコピストを基準とする第一の位置情報を検出する位置検出部１５ａ、１５ｂと、を有する。また、第一の位置情報に応じて、内視鏡画像を正転表示させるか反転表示させるかを判定し、また、描画画像を正転表示させるか反転表示させるかを判定する制御部１４ａ、１４ｂと、判定結果に従い、内視鏡画像の表示向きと描画画像の表示向きを切り替えて重畳する画像生成部１３ａ、１３ｂと、重畳画像をウェラブルグラス上に表示する表示部１７ａ、１７ｂを有する。【選択図】図２
2019093073.tif 000002
【特許請求の範囲】
【請求項１】
スコピストにより撮像される撮像信号により生成された画像信号を受信可能な画像信号受信部と、
アノテーションにより生成された描画画像を受信可能な描画受信部と、
前記スコピストを基準とする第一の位置情報を検出する位置検出部と、
前記第一の位置情報に応じて、前記画像信号に基づく内視鏡画像を正転表示させるか反転表示させるかを判定し、また、前記描画受信部で受信した前記描画画像を正転表示させるか反転表示させるかを判定する判定部と、
前記判定部の判定結果に従い、前記内視鏡画像の表示向きと前記描画画像の表示向きを切り替えて、前記内視鏡画像と前記描画画像とを重畳する、画像生成部と、
前記画像生成部で重畳された重畳画像をウェラブルグラス上に表示する表示部と、
を有することを特徴とする、内視鏡表示装置。
【請求項２】
前記第一の位置情報は、前記スコピストと前記内視鏡表示装置との相対角度であり、前記判定部は、前記相対角度が、予め設定された基準角度内に一定期間継続して含まれる場合に、前記内視鏡画像を反転表示させる旨の判定を行うことを特徴とする、請求項１に記載の内視鏡表示装置。
【請求項３】
前記第一の位置情報は、前記スコピストと前記内視鏡表示装置との距離であり、前記判定部は、前記距離が、予め設定された基準距離範囲内に一定期間継続して含まれるである場合に、前記内視鏡画像を反転表示させる旨の判定を行うことを特徴とする、請求項１に記載の内視鏡表示装置。
【請求項４】
前記画像生成部は、前記判定部から前記描画画像を反転表示する旨の指示が入力された場合、前記描画画像を反転した後、前記描画画像に文字が含まれる場合には前記文字を反転し、正転表示させることを特徴とする、請求項１乃至請求項３のいずれか一項に記載の内視鏡表示装置。
【請求項５】
スコピストにより撮像される撮像信号を出力する内視鏡と、
前記撮像信号により生成された撮像信号に基づく内視鏡画像と、アノテーションにより生成された描画画像とを受信し、前記内視鏡画像と前記描画画像とを重畳して重畳画像を生成する重畳画像生成装置と、
前記重畳画像をウェラブルグラス上に表示する表示装置と、
を有する内視鏡システムであって、
前記重畳画像生成装置は、前記スコピストと前記描画画像の送信元との間の第二の位置情報に応じて前記描画画像を正転、または反転させて、前記内視鏡画像に重畳させる、画像重畳部を有し、
前記表示装置は、前記スコピストを基準とする第三の位置情報を検出する位置検出部と、前記第三の位置情報に応じて前記重畳画像を正転表示させるか反転表示させるかを判定する判定部と、前記判定部の判定結果に従い前記重畳画像の表示向きを切り替える画像生成部と、前記画像生成部で切り替えられた前記重畳画像をウェラブルグラス上に表示する表示部と、を有することを特徴とする、内視鏡システム。
【請求項６】
前記第二の位置情報は、前記スコピストと前記描画画像の送信元との相対角度であり、前記重畳画像生成装置は、前記相対角度が予め設定された基準角度内に一定期間継続して含まれる場合に、前記描画画像を反転して前記内視鏡画像に重畳させることを特徴とする、請求項５に記載の内視鏡システム。
【請求項７】
前記第二の位置情報は、前記スコピストと前記描画画像の送信元との距離であり、前記重畳画像生成装置は、前記距離が予め設定された基準距離範囲内に一定期間継続して含まれるである場合に、前記描画画像を反転して前記内視鏡画像に重畳させることを特徴とする、請求項５に記載の内視鏡システム。
【請求項８】
前記第三の位置情報は、前記スコピストと前記表示装置との相対角度であり、前記判定部は、前記相対角度が予め設定された基準角度内に一定期間継続して含まれる場合に、前記重畳画像を反転表示させる旨の判定を行うことを特徴とする、請求項６、または、請求項７のいずれかに記載の内視鏡システム。
【請求項９】
前記第三の位置情報は、前記スコピストと前記内視鏡表示装置との距離であり、前記判定部は、前記距離が予め設定された基準距離範囲内に一定期間継続して含まれるである場合に、前記重畳画像を反転表示させる旨の判定を行うことを特徴とする、請求項６または、請求項７のいずれかに記載の内視鏡システム。
【請求項１０】
前記重畳画像生成装置は、前記描画画像を反転して前記内視鏡画像に重畳する場合、前記描画画像を反転した後、前記描画画像に文字が含まれる場合には前記文字を反転し、正転表示させることを特徴とする、請求項５乃至請求項９のいずれか一項に記載の内視鏡システム。
【請求項１１】
前記画像生成部は、前記重畳画像を反転させる場合、前記重畳画像に文字が含まれる場合には前記文字を反転し、正転表示させることを特徴とする、請求項１０に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、内視鏡表示装置、及び、内視鏡システムに関し、特に、スマートグラス等のウェラブルデバイスを用いた手技に用いる内視鏡表示装置、及び、内視鏡システムに関する。
【背景技術】
【０００２】
従来、医療分野において、体腔内の臓器の観察や、処置具を用いての治療処置、内視鏡観察下における外科手術などに、内視鏡装置が広く用いられている。一般的に、内視鏡装置は、挿入部の先端に電荷結合素子（ＣＣＤ）などの撮像素子を搭載した電子内視鏡によって得られた被写体の撮像信号を、プロセッサに伝送して画像処理を施す。画像処理により得られた内視鏡画像は、プロセッサから内視鏡モニタに出力され、表示される。
【０００３】
近年、内視鏡観察下における外科手術において、スコピストが撮影した内視鏡画像を、術者が着用するメガネ型ウェアラブルデバイス（以下、ウェアラブルグラスと示す）に表示させながら手技を行うスタイルが提案され、実用化されつつある。ウェアラブルグラスに内視鏡画像を表示させることで、術者は、術野からモニタに視線を移動させることなく内視鏡画像を確認することができ、手技をスムーズに行うことができるという利点がある。
【０００４】
また、ウェアラブルグラスには、各種センサが取り付けられているものもあり、イメージャや距離センサなどを応用して、内視鏡画像に仮想オブジェクトを重畳して表示させることができるものが開発されている。中でも、アノテーション機能（ユーザのジェスチャーに合わせて描画画像を生成する機能）を有し、アノテーションにより生成された描画画像を内視鏡画像に重畳して表示させることが可能なウェラブルグラスは、教育や情報共有を目的とした用途においてとても利便性が高く、近年注目されている。
【０００５】
ところで、ウェアラブルグラスを用いた手術において、術者とスコピストとが患者を挟んだ位置に立っている場合、スコピストが撮影する内視鏡画像の向きは、術者から見る術野の向きと一致せず、反対向きになってしまう。
【０００６】
そこで、術者とスコピストとの位置関係に応じ、スコピストが撮影する内視鏡画像の向きを反転させて、術者のウェアラブルグラスに表示させる内視鏡画像の向きと、術者から見る術野の向きとを一致させる内視鏡表示装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１４５６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の提案においては、術者のウェアラブルグラスに表示させる内視鏡画像の反転方法については言及されているが、アノテーションにより生成された描画画像についてはなんら言及されていない。例えば、アノテーションにより内視鏡画像の所定部位にマーキングを行って、マーキング位置を情報共有する場合、内視鏡画像のみを反転させ描画画像はそのまま表示させると、ウェアラブルグラスに表示される内視鏡画像上のマーキングの位置が、意図した位置とは異なる位置に表示されてしまい、正しく情報が伝わらないという問題があった。
【０００９】
そこで本発明は、アノテーションを含めた内視鏡画像を、術者の視野の方向に応じた適切な向きでウェアラブルグラスに表示させることができる、内視鏡表示装置、及び、内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様の内視鏡表示装置は、スコピストにより撮像される撮像信号により生成された画像信号を受信可能な画像信号受信部と、アノテーションにより生成された描画画像を受信可能な描画受信部と、前記スコピストを基準とする第一の位置情報を検出する位置検出部と、を有する。また、前記第一の位置情報に応じて、前記画像信号に基づく内視鏡画像を正転表示させるか反転表示させるかを判定し、また、前記描画受信部で受信した前記描画画像を正転表示させるか反転表示させるかを判定する判定部と、前記判定部の判定結果に従い、前記内視鏡画像の表示向きと前記描画画像の表示向きを切り替えて、前記内視鏡画像と前記描画画像とを重畳する、画像生成部と、前記画像生成部で重畳された重畳画像をウェラブルグラス上に表示する表示部とも有する。
【００１１】
本発明の一態様の内視鏡システムは、スコピストにより撮像される撮像信号を出力する内視鏡と、前記撮像信号により生成された撮像信号に基づく内視鏡画像と、アノテーションにより生成された描画画像とを受信し、前記内視鏡画像と前記描画画像とを重畳して重畳画像を生成する重畳画像生成装置と、前記重畳画像をウェラブルグラス上に表示する表示装置とを有する。前記重畳画像生成装置は、前記スコピストと前記描画画像の送信元との間の第二の位置情報に応じて前記描画画像を正転、または反転させて、前記内視鏡画像に重畳させる、画像重畳部を有する。前記表示装置は、前記スコピストを基準とする第三の位置情報を検出する位置検出部と、前記第三の位置情報に応じて前記重畳画像を正転表示させるか反転表示させるかを判定する判定部と、前記判定部の判定結果に従い前記重畳画像の表示向きを切り替える画像生成部と、前記画像生成部で切り替えられた前記重畳画像をウェラブルグラス上に表示する表示部と、を有する。
【発明の効果】
【００１２】
本発明の内視鏡表示装置、及び、内視鏡システムによれば、アノテーションを含めた内視鏡画像を、術者の視野の方向に応じた適切な向きでウェアラブルグラスに表示させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係わる内視鏡システムを用いた手技の全体構成一例を説明する図。
【図２】第１の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図。
【図３】第１の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャート。
【図４】表示装置のユーザとスコピストとの位置関係を判定する手順の一例を説明するフローチャート。
【図５】角度によるユーザとスコピストとの位置関係を説明する図。
【図６】表示装置のユーザとスコピストとの位置関係を判定する手順の別の一例を説明するフローチャート。
【図７】距離によるユーザとスコピストとの位置関係を説明する図。
【図８】各表示装置に表示させる内視鏡画像の一例を説明する図。
【図９】各表示装置に表示させる内視鏡画像の一例を説明する図。
【図１０】第２の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図。
【図１１】第２の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャート。
【図１２】第３の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャート。
【図１３】各表示装置に表示させる内視鏡画像の一例を説明する図。
【図１４】各表示装置に表示させる内視鏡画像の一例を説明する図。
【図１５】第３の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の別の生成手順を説明するフローチャート
【発明を実施するための形態】
【００１４】
以下、図面を参照して実施形態を説明する。
（第１の実施形態）
【００１５】
図１は、本発明の実施形態に係わる内視鏡システムを用いた手技の全体構成一例を説明する図である。本実施形態の内視鏡システムは、内視鏡観察下において、患者の腹腔内の患部を電気メスなどの処置具などを用い、複数の術者が処置する手術などに用いられる。
【００１６】
例えば、図１に示すように、二人の術者１０ａ、１０ｂと、内視鏡２で患部１０１を撮影するスコピスト２００とが参加する内視鏡下手術について、以下、説明する。手術台上に右側臥位の状態で横たわる患者１００の左側腹部の内視鏡下手術を行う場合において、患者１００の右側（背面側）に執刀医である術者１０ａが位置し、患者１００の左側（腹部側）に助手である術者１０ｂが位置する。すなわち、術者１０ａと、術者１０ｂとは、患者１００を挟んで対向するように位置している。スコピスト２００は、術者１０ａの隣に位置しており、プロセッサ３に接続された内視鏡２を保持して患部１０１を撮影する。
【００１７】
なお、術者は２人に限定されるものでなく、別のウェアラブルグラスを装着した第２助手を参加させるなど、３人以上で手技を行ってもよい。また、スコピスト２００もウェアラブルグラスを装着して手技に参加してもよい。
【００１８】
術者１０ａ、１０ｂは、ウェアラブルグラスである表示装置１ａ、１ｂをそれぞれ装着している。表示装置１ａ、１ｂには、スコピスト２００が撮影した内視鏡画像と、術者１０ａ、１０ｂがアノテーションにより内視鏡画像に書き加えた描画画像とが、重畳されて表示される。
【００１９】
図２は、第１の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図である。本実施形態の内視鏡システムは、複数の表示装置１ａ、１ｂと、内視鏡２と、プロセッサ３とを有して構成される。なお、図２において、実線は画像信号の流れを示し、点線は通信信号の流れを示している。
【００２０】
内視鏡２は、患者の体腔内等に挿入可能な細長の挿入部を有しており、挿入部の先端には例えばCCD等の撮像素子が配設されている。なお、挿入部は、軟性であってもよいし、硬性（外科手術に用いられる硬性内視鏡）であってもよい。また、内視鏡２には、挿入部の先端へ照明光を導くライトガイドも設けられている。
【００２１】
プロセッサ３は、撮像素子から出力される映像信号に各種の処理を施して、表示装置１ａ、１ｂに表示させる内視鏡画像を生成する。プロセッサ３は、信号処理部３１と、送信部３２と、制御部３３とを有して構成される。
【００２２】
信号処理部３１は、撮像素子から出力されるアナログの画像信号に対して、AGC処理（オートゲインコントロール処理）やCDS処理（相関二重サンプリング処理）などの所定の処理を施した後に、デジタルの画像信号に変換する。そして、デジタルの画像信号に対し、ホワイトバランス処理、色補正処理、歪み補正処理、強調処理などを施して、送信部３２へ出力する。
【００２３】
送信部３２は、信号処理部３１から入力された画像処理後の内視鏡画像を、プロセッサ３に接続されている表示装置１ａ、１ｂに対して送信する。
【００２４】
制御部３３は、表示装置１ａ、１ｂとの間で通信信号を送受信する。表示装置１ａ、１ｂからのリクエストが入力された場合、信号処理部３１にその内容を入力して画像処理にフィードバックさせる。
【００２５】
内視鏡表示装置としての表示装置１ａ、１ｂは、アノテーション機能を用いて描画画像を生成する機能と、内視鏡画像や他の表示装置で生成される描画画像を受信してこれらを適切に重畳して表示する機能をと有する。表示装置１ａと表示装置１ｂとは同様の構成であるので、ここでは表示装置１ａを例に用いて、詳細な構成を説明する。
【００２６】
表示装置１ａは、通信信号送受信部１１ａと、画像信号受信部１２ａと、画像生成部１３ａと、制御部１４ａと、位置検出部１５ａと、ユーザ登録部１６ａとを有している。また、表示装置１ａは、表示部１７ａと、描画生成部１８ａと、描画送信部１９ａと、描画受信部２０ａも有している。
【００２７】
通信信号送受信部１１ａは、プロセッサ３との間で通信信号を送受信する。プロセッサ３から受信した通信信号は、制御部１４ａに出力される。
【００２８】
画像信号受信部１２ａは、プロセッサ３で所定の画像処理が施した画像信号（内視鏡画像）を受信する。受信した内視鏡画像は、画像生成部１３ａに出力される。
【００２９】
位置検出部１５ａは、表示装置１ａを装着している術者１０ａと、スコピスト２００との位置関係を検出し、視野方向が同一であるか否かを判定する。判定結果は制御部１４ａに入力される。
【００３０】
ユーザ登録部１６ａは、表示装置１ａを装着するユーザの属性を登録する。登録される属性としては、例えば、ユーザがスコピストであるか術者であるかの区分や、アノテーション機能を用いて描画画像を生成可能か否か、また、描画画像を表示可能か否かといった、描画画像に関する権限区分などがあげられる。ユーザ登録部１６ａの登録内容は、必要に応じて制御部１４ａに出力される。
【００３１】
描画生成部１８ａは、アノテーションを用いて内視鏡画像に付加する描画画像を生成する。アノテーションで描画画像を作成する方法は、従来から提案されている技術を用いることができる。例えば、表示装置１ａ、１ｂを装着したユーザが、指や手を用いて空中に所望の図形を描画すると、その指や手の動きを表示装置１ａ、１ｂに取り付けられたカメラなどが検知し、ジェスチャーにあわせて仮想オブジェクトを生成する方法などを用いることができる。描画画像としては、例えば、内視鏡画像中の特定の箇所を囲む印や、特定の箇所を指し示す矢印、文字を用いた注釈などがあげられる。
【００３２】
描画生成部１８ａで作成された描画画像は、描画送信部１９ａに出力される。描画送信部１９ａは、入力された描画画像を、接続されている全ての表示装置１ａ、１ｂの描画受信部２０ａ、２０ｂに出力する。
【００３３】
描画受信部２０ａは、入力された描画画像を画像生成部１３ａに出力する。また、描画画像の送信元の表示装置の情報を、制御部１４ａに出力する。
【００３４】
判定部としての制御部１４ａは、通信信号送受信部１１ａと、位置検出部１５ａと、ユーザ登録部１６ａと、描画受信部２０ａの各部位から必要な情報や指示を送受信し、画像生成部１３ａに対して、内視鏡画像と描画画像との重畳に関する指示を入力する。
【００３５】
図３は、第１の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャートである。制御部１４ａでは、図３に示す手順により、内視鏡画像と描画画像との重畳の仕方を決定し、画像生成部１３ａに出力する。
【００３６】
まず、表示装置１ａのユーザ（術者１０ａ）と、内視鏡画像を撮像しているスコピスト２００との位置関係を判定する（Ｓ１）。図４は、表示装置のユーザとスコピストとの位置関係を判定する手順の一例を説明するフローチャートである。図４に従って、Ｓ１の具体的な判定方法を説明する。
【００３７】
まず、当該表示装置を装着しているユーザが、スコピストであるか否かを判定する（Ｓ１１）。判定には、例えば、ユーザ登録部１６ａに登録されている、ユーザの属性情報を用いる。スコピストであると判定された場合（Ｓ１１、Ｙｅｓ）、Ｓ１７に進み、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し、位置関係の判定処理を終了する。
【００３８】
一方、スコピストでないと判定された場合（Ｓ１１、Ｎｏ）、ユーザとスコピストとの位置関係を検出する（Ｓ１２）。図５は、角度によるユーザとスコピストとの位置関係を説明する図である。スコピストと表示装置のユーザとの位置関係は、図５（ａ）（ｂ）（ｃ）に示す３つのパターンに大別される。図５（ａ）は、スコピストとユーザが患者を挟んで対向しているが、ユーザの正面にスコピストが位置していない場合である。例えば、図１におけるスコピスト２００と術者１０ｂの位置関係がこの関係に相当する。図５（ｂ）は、スコピストとユーザが患者を挟んで対向しており、ユーザの正面にスコピストが位置している場合である。例えば、図１において、術者１０ａと術者１０ｂとの位置関係がこの関係に相当する。図５（ｃ）は、スコピストが患者の足元に位置しており、ユーザとの体の向きが９０度ずれている場合である。
【００３９】
いずれのパターンにおいても、Ｓ１２においては、ユーザとスコピストとの位置関係として、スコピストの顔面の中心から前方方向に延出する線を中心線（図５において一点鎖線で示している線）とし、スコピストの顔面の中心とユーザの顔面の中心とを結ぶ線と、該中心線とのなす角度θｕを検出する。
【００４０】
続いて、Ｓ１２で検出した角度θｕと、予め設定された所定の角度θ１とを比較する（Ｓ１３）。所定の角度θ１とは、スコピストとユーザとが対向位置（視野方向が同一でない位置関係）にあるか否かを判定するために設定する角度である。図５においては、スコピスト２００から角度θ１の範囲内にユーザが位置する場合、スコピストとユーザとが対向位置にあると判定する。なお、所定の角度θ１は、患者１００が横たわっている手術台の幅や、手術台の片側に並んで立つ術者間（または、術者とスコピスト）との間隔などから算出したり、表示装置のユーザが任意の値を選択したりして、事前に登録しておく。
【００４１】
Ｓ１２で検出した角度θｕが、予め設定された角度θ１よりも大きい場合（Ｓ１３、Ｎｏ）、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し（Ｓ１７）、位置関係の判定処理を終了する。例えば、スコピスト２００とユーザ（術者１０ａ、または、術者１０ｂ）との位置関係が、図５（ｃ）に示すパターンである場合、及び、ユーザが術者１０ａである場合における図５（ａ）（ｂ）に示すスコピストとユーザの位置関係のパターンが、これに相当する。
【００４２】
一方、Ｓ１２で検出した角度θｕが、予め設定された角度θ１よりも小さい場合（Ｓ１３、Ｙｅｓ）、角度θｕが角度θ１よりも小さい状態が継続されている時間をカウントする（Ｓ１４）。
【００４３】
予め設定された時間内に、角度θｕが角度θ１よりも大きくなった場合（Ｓ１５、Ｎｏ）、スコピスト、または、ユーザが移動中であったり、一時的に顔面の方向を変えたりしたために角度θuの大きさが一時的に角度θ１より小さくなったとみなし、通常状態では角度θｕは角度θ１よりも大きいと判定する。この場合も、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し（Ｓ１７）、位置関係の判定処理を終了する。
【００４４】
一方、予め設定された時間に達しても、角度θｕが角度θ１よりも小さい状態が継続されている場合（Ｓ１５、Ｙｅｓ）、スコピストと表示装置を装着しているユーザの視野方向が異なると判定し（Ｓ１６）、位置関係の判定処理を終了する。例えば、スコピスト２００と術者１０ｂとの位置関係が、図５（ａ）や図５（ｂ）に示すパターンである場合がこれに相当する。
【００４５】
なお、表示装置１ａのユーザ（術者１０ａ）と、内視鏡画像を撮像しているスコピスト２００との位置関係の判定は、上述のように角度を用いた判定方法に限定されず、他の方法により行ってもよい。図６は、表示装置のユーザとスコピストとの位置関係を判定する手順の別の一例を説明するフローチャートである。図６に示す手順では、スコピストとユーザとの距離を用いて、位置関係を判定する。
【００４６】
まず、当該表示装置を装着しているユーザが、スコピストであるか否かを判定する（Ｓ１１）。スコピストであると判定された場合（Ｓ１１、Ｙｅｓ）、Ｓ１７に進み、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し、位置関係の判定処理を終了する。
【００４７】
一方、スコピストでないと判定された場合（Ｓ１１、Ｎｏ）、ユーザとスコピストとの位置関係を検出する（Ｓ１２１）。図７は、距離によるユーザとスコピストとの位置関係を説明する図である。スコピストと表示装置のユーザとの位置関係は、図７（ａ）（ｂ）（ｃ）に示す３つのパターンに大別される。図７（ａ）は、スコピストとユーザが患者を挟んで対向しているが、ユーザの正面にスコピストが位置していない場合である。例えば、図１におけるスコピスト２００と術者１０ｂの位置関係がこの関係に相当する。図７（ｂ）は、スコピストとユーザが患者を挟んで対向しており、ユーザの正面にスコピストが位置している場合である。例えば、図１において、術者１０ａと術者１０ｂとの位置関係がこの関係に相当する。図７（ｃ）は、スコピストが患者の足元に位置しており、ユーザとの体の向きが９０度ずれている場合である。
【００４８】
いずれのパターンにおいても、Ｓ１２１においては、ユーザとスコピストとの位置関係として、スコピストの頭部の中心と、ユーザの頭部の中心とを結ぶ線の長さ（＝スコピストとユーザとの間の距離ｒｕ）を検出する。
【００４９】
続いて、Ｓ１２１で検出した距離ｒｕと、予め設定された所定の距離ｒ１及び距離ｒ２とを比較する（Ｓ１３１）。所定の距離ｒ１及びｒ２とは、スコピストとユーザとが対向位置（視野方向が同一でない位置関係）にあるか否かを判定するために設定する距離である。図７においては、スコピスト２００からの距離ｒｕが、距離ｒ１から距離ｒ２の範囲内である場合、スコピストとユーザとが対向位置にあると判定する。なお、所定の距離ｒ１、ｒ２は、患者１００が横たわっている手術台の幅や、手術台の片側に並んで立つ術者間（または、術者とスコピスト）との間隔などから算出したり、表示装置のユーザが任意の値を選択したりして、事前に登録しておく。
【００５０】
Ｓ１２１で検出した距離ｒｕが、予め設定された距離ｒ１から距離ｒ２の間の値でない場合（Ｓ１３１、Ｎｏ）、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し（Ｓ１７）、位置関係の判定処理を終了する。例えば、スコピスト２００とユーザ（術者１０ａ、または、術者１０ｂ）との位置関係が、図７（ｃ）に示すパターンである場合、及び、ユーザが術者１０ａである場合における図７（ａ）（ｂ）に示すスコピストとユーザの位置関係のパターンが、これに相当する。
【００５１】
一方、Ｓ１２１で検出した距離ｒｕが、予め設定された距離ｒ１から距離ｒ２の間の値である場合（Ｓ１３１、Ｙｅｓ）、距離ｒｕが距離ｒ１から距離ｒ２の間の値である状態が継続されている時間をカウントする（Ｓ１４）。
【００５２】
予め設定された時間内に、距離ｒｕが変化し、距離ｒ１から距離ｒ２の間の値でなくなった場合（Ｓ１５、Ｎｏ）、スコピスト、または、ユーザが移動中であったために距離ｒｕの値が一時的に距離ｒ１から距離ｒ２の間の値になったとみなす。この場合も、スコピストと表示装置を装着しているユーザの視野方向が同一であると判定し（Ｓ１７）、位置関係の判定処理を終了する。
【００５３】
一方、予め設定された時間に達しても、予め設定された距離ｒ１から距離ｒ２の間の値である状態が継続されている場合（Ｓ１５、Ｙｅｓ）、スコピストと表示装置を装着しているユーザの視野方向が異なると判定し（Ｓ１６）、位置関係の判定処理を終了する。例えば、スコピスト２００と術者１０ｂとの位置関係が、図７（ａ）や図７（ｂ）に示すパターンである場合がこれに相当する。
【００５４】
以上のようにして、ユーザと内視鏡画像を撮像しているスコピスト２００との位置関係を判定する（図３、Ｓ１）。スコピストとユーザの視野方向が同一であると判定された場合（Ｓ１、Ｙｅｓ）、制御部１４ｂは、画像生成部１３ａに対し、内視鏡画像を正立表示させるように指示を出力する。
【００５５】
続いて、制御部１４ｂは、アノテーションによる描画画像の送信元と、ユーザとの視野方向が同一であるか否かを判定する（Ｓ３）。視野方向が同一であると判定した場合（Ｓ３、Ｙｅｓ）、制御部１４ｂは、画像生成部１３ａに対し、描画画像を正立表示させて内視鏡画像に重畳させるように指示を出力する（Ｓ４）。一方、視野方向が同一でないと判定した場合（Ｓ３、Ｎｏ）、制御部１４ｂは、画像生成部１３ａに対し、描画画像を反転表示させて内視鏡画像に重畳させるように指示を出力する（Ｓ５）。
【００５６】
Ｓ１において、スコピストとユーザの視野方向が同一でないと判定された場合（Ｓ１、Ｎｏ）、制御部１４ｂは、画像生成部１３ａに対し、内視鏡画像を反転表示させるように指示を出力する。
【００５７】
続いて、制御部１４ｂは、アノテーションによる描画画像の送信元と、ユーザとの視野方向が同一であるか否かを判定する（Ｓ７）。視野方向が同一であると判定した場合（Ｓ７、Ｙｅｓ）、制御部１４ｂは、画像生成部１３ａに対し、描画画像を正立表示させて内視鏡画像に重畳させるように指示を出力する（Ｓ８）。一方、視野方向が同一でないと判定した場合（Ｓ７、Ｎｏ）、制御部１４ｂは、画像生成部１３ａに対し、描画画像を反転表示させて内視鏡画像に重畳させるように指示を出力する（Ｓ７）。
【００５８】
画像生成部１３ａは、画像信号受信部１２ａから入力された画像信号（内視鏡画像）と、描画受信部２０ａから入力された描画画像とを重畳し、表示部１７ａに表示させる重畳画像を生成する。内視鏡画像と描画画像との重畳は、制御部１４ａからの指示に従って実行する。
【００５９】
表示部１７ａは、画像生成部１３ａによって生成された画像（内視鏡画像と描画画像とを重畳した重畳画像）を表示する。
【００６０】
図８、及び、図９は、各表示装置に表示させる内視鏡画像（重畳画像）の一例を説明する図である。図８（ａ）は、内視鏡画像も描画画像も共に正立表示させる場合の重畳画像の一例を示している。例えば、図１において、描画画像の送信元が術者１０ａであり、表示装置のユーザも術者１０ａである場合、ユーザの表示装置１ａには図８（ａ）に示すような画像が表示される。すなわち、スコピスト２００が撮像した内視鏡画像１０２と、術者１０ａが内視鏡画像１０２上に生成した描画画像（処置具の先端付近を囲む図形）１０３ａが、共に正立表示される。
【００６１】
図８（ｂ）は、スコピストとユーザの視野方向が同一であるが、描画画像の送信元とユーザの視野方向が異なる場合において、内視鏡画像と描画画像とを共に正立表示させた場合の重畳画像の一例を示している。スコピストとユーザの視野方向が同一であるが、描画画像の送信元とユーザの視野方向が異なる場合とは、例えば、図１において、描画画像の送信元が術者１０ｂであり、表示装置のユーザが術者１０ａである場合がこれに該当する。
【００６２】
術者１０ｂは、スコピスト２００と視野方向が同一でないので、術者１０ｂの表示装置１ｂには内視鏡画像が反転表示される。すなわち、図９（ａ）に示すような内視鏡画像１０２´が表示される。図９（ａ）は、スコピストとユーザの視野方向が異なるが、描画画像の送信元とユーザの視野方向が同一である場合において、内視鏡画像１０２´を反転表示させ、描画画像１０３ｂを正立表示させた場合の重畳画像の一例を示している。
【００６３】
術者１０ｂが、内視鏡画像１０２´上に、処置具の先端付近を囲むように描画画像１０３ｂを生成する場合、描画画像１０３ｂは、内視鏡画像の右上部に配置される。正立表示させた内視鏡画像１０２に、この描画画像１０３ｂを正立表示して重畳すると、図８（ｂ）に示すように、処置具の先端付近とは異なる部分に描画画像１０３ｂが表示されてしまう。すなわち、術者１０ａには、術者１０ｂが意図した部分とは異なる部分に描画画像１０３ｂが表示されてしまう。
【００６４】
従って、描画画像１０３ｂを反転して内視鏡画像１０２に重畳することで、ユーザの表示装置１ａには、図８（ｃ）に示すような重畳画像が表示される。すなわち、内視鏡画像１０２の左下（＝術者１０ｂが意図した位置である処置具の先端付近を囲む位置）に描画画像１０３ｂ´が表示される。図８（ｃ）は、スコピストとユーザの視野方向が同一であるが、描画画像の送信元とユーザの視野方向が異なる場合において、内視鏡画像を正立表示させ、描画画像を反転表示させた場合の重畳画像の一例を示している。
【００６５】
図９（ｂ）は、スコピストとユーザの視野方向も、描画画像の送信元とユーザの視野方向も、共に異なる場合において、内視鏡画像を反転表示させて描画画像を正立表示させた場合の重畳画像の一例を示している。スコピストとユーザの視野方向も、描画画像の送信元とユーザの視野方向も異なる場合とは、例えば、図１において、描画画像の送信元が術者１０ａであり、表示装置のユーザが術者１０ｂである場合がこれに該当する。
【００６６】
術者１０ａは、スコピスト２００と視野方向が同一であるので、術者１０ｂの表示装置１ａには内視鏡画像が正立表示される。すなわち、図８（ａ）に示すような内視鏡画像１０２が表示される。
【００６７】
術者１０ａが、内視鏡画像１０２上に、処置具の先端付近を囲むように描画画像１０３ａを生成する場合、描画画像１０３ａは、内視鏡画像の左下部に配置される。反転表示させた内視鏡画像１０２´に、この描画画像１０３ａを正立表示して重畳すると、図９（ｂ）に示すように、処置具の先端付近とは異なる部分に描画画像１０３ａが表示されてしまう。すなわち、術者１０ｂには、術者１０ａが意図した部分とは異なる部分に描画画像１０３ａが表示されてしまう。
【００６８】
従って、描画画像１０３ａを反転して内視鏡画像１０２´に重畳することで、ユーザの表示装置１ｂには、図９（ｃ）に示すような重畳画像が表示される。すなわち、内視鏡画像１０２´の右上（＝術者１０ａが意図した位置である処置具の先端付近を囲む位置）に描画画像１０３ａ´が表示される。図９（ｃ）は、スコピストとユーザの視野方向、及び、描画画像の送信元とユーザの視野方向が異なる場合において、内視鏡画像と描画画像とを共に反転表示させた場合の重畳画像の一例を示している。
【００６９】
このように、本実施形態の表示装置は、スコピストとユーザとの位置関係を判定し、視野方向に応じて内視鏡画像を適切な向きで表示させる。また、描画画像の送信元とユーザとの位置関係も判定し、視野方向に応じて描画画像を適切な向きで表示させる。従って、内視鏡画像上に重畳して表示させる描画画像の位置が、描画画像の送信元の意図した位置に表示されるので、正しく情報を伝えることができる。すなわち、アノテーションを含めた内視鏡画像を、術者の視野の方向に応じた適切な向きでウェアラブルグラスに表示させることができる。
【００７０】
なお、上述の説明では、全ての表示装置において、内視鏡画像と描画画像とを重畳して表示させているが、描画画像を生成したユーザが描画画像を表示させるユーザを指定し、指定されたユーザの表示装置のみに重畳画像を表示させ、その他のユーザには内視鏡画像のみを表示させるように構成してもよい。
（第２の実施形態）
【００７１】
上述した第１の実施形態においては、各ユーザの表示装置において、入力された内視鏡画像を表示する向きと、入力された描画画像を表示する向きとをそれぞれ個別に判定し、表示装置内の画像生成部で重畳して表示していた。これに対し、本実施形態においては、内視鏡画像と描画画像とを表示装置外の装置で予め重畳し、各表示装置においては、入力された重畳画像を適切な向きで表示する点が異なっている。
【００７２】
本実施形態の内視鏡システムの構成は、中継装置４が設けられている点と、各表示装置１ａ、１ｂから描画受信部２０ａ、２０ｂが削除されている点を除き、図２を用いて説明した、第１の実施形態の内視鏡システムと同様である。以下、第１の実施形態の内視鏡システムと異なる部分について説明し、同一の構成要素については同じ符号を付して説明を省略する。
【００７３】
図１０は、第２の実施形態に係わる内視鏡システムの全体構成の一例を説明するブロック図である。中継装置４は、プロセッサ３から内視鏡画像を受信し、また、接続されている表示装置１ａ、１ｂから描画画像を受信して、内視鏡画像に適切な向きで重畳する。そして、重畳画像を各表示装置１ａ、１ｂへ出力する。
【００７４】
重畳画像生成装置としての中継装置４は、受信部４１と、制御部４２と、描画受信部４３ａ、４３ｂと、画像重畳部４４と、送信部４５とを有して構成される。
【００７５】
受信部４１は、プロセッサ３で所定の画像処理が施した画像信号（内視鏡画像）を受信する。受信した内視鏡画像は、画像重畳部４４に出力される。
【００７６】
制御部４２は、プロセッサ３、及び、表示装置１ａ、１ｂとの間で通信信号を送受信する。
【００７７】
描画受信部４３ａは、表示装置１ａにおいて生成された描画画像を描画送信部１９ａから受信し、画像重畳部４４に出力する。同様に、描画受信部４３ｂは、表示装置１ｂにおいて生成された描画画像を描画送信部１９ｂから受信し、画像重畳部４４に出力する。３台以上の表示装置が中継装置４に接続される場合、各表示装置からの描画画像を受信する描画受信部が更に設けられる。それぞれの描画受信部に入力された描画画像は、画像重畳部４４に出力される。
【００７８】
画像重畳部４４は、描画受信部４３ａ、４３ｂから入力された描画画像を、スコピストと描画画像を作成したユーザとの視野方向に応じた向きで表示し、受信部４１から入力され、内視鏡画像に重畳させる。重畳画像は、送信部４５に出力される。
【００７９】
送信部４５は、接続されている表示装置１ａ、１ｂの画像信号受信部１２ａ、１２ｂに、重畳画像を出力する。
【００８０】
表示装置１ａ、１ｂの画像信号受信部１２ａ、１２ｂは、受信した重畳画像を画像生成部１３ａ、１３ｂに出力する。画像生成部１３ａ、１３ｂは、それぞれ、制御部１４ａ、１４ｂから反転表示の指示が入力されている場合、重畳画像を反転させて、表示部１７ａ、１７ｂへ出力する。正立表示の指示が入力されている場合、重畳画像をそのまま表示部１７ａ、１７ｂへ出力する。
【００８１】
制御部１４ａ、１４ｂは、スコピストと該表示装置１ａ、１ｂを装着しているユーザとの視野方向が同一であるか否かを判定する。視野方向が同一方向である場合は、重畳画像を正立表示させるように、画像生成部１３ａ、１３ｂに対して指示を出力する。異なる方向である場合は、重畳画像を反転表示させるように、画像生成部１３ａ、１３ｂに対して指示を出力する。
【００８２】
図１１は、第２の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャートである。まず、Ｓ２１において、プロセッサ３で所定の画像処理が施した画像信号（内視鏡画像）と、表示装置１ａ、または、表示装置１ｂで生成された描画画像とが、中継装置４に入力される。次に、中継装置４の画像重畳部４４は、内視鏡画像を撮像したスコピスト２００と、描画画像の送信元の表示装置１ａ、または表示装置１ｂのユーザの視野方向が同一であるか否かを判定する。視野方向が同一であるか否かの判定は、第１の実施形態で説明した、スコピスト２００から所定の角度範囲内にユーザが位置するか否かにより行ってもよいし、所定の距離範囲内にユーザが位置するか否かによって行ってもよい。また、これらの方法に限らず、別の方法を用いて判定してもよい。
【００８３】
例えば、図１に示す内視鏡下手術において本実施形態の内視鏡システムを用いる場合について、以下、説明する。描画画像の送信元が表示装置１ａである場合、表示装置１ａのユーザ１０ａとスコピスト２００との視野方向は同一であると判定される（Ｓ２２、Ｙｅｓ）。この場合、入力された描画画像をそのまま内視鏡画像に重畳する（Ｓ２３）。Ｓ２３で生成された重畳画像は、例えば、図８（ａ）に示す、正立の内視鏡画像１０２に表示装置１ａから送信された画像を正立表示した描画画像１０３ａを重畳した画像となる。
【００８４】
一方、描画画像の送信元が表示装置１ｂである場合、表示装置１ｂのユーザ１０ｂとスコピスト２００との視野方向は異なると判定される（Ｓ２２、Ｎｏ）。この場合、入力された描画画像を反転し、内視鏡画像に重畳する（Ｓ２４）。例えば、図８（ｃ）に示す、正立の内視鏡画像１０２に表示装置１ｂから送信された画像を反転表示した描画画像１０３ｂ´を重畳した画像となる。
【００８５】
Ｓ２３、または、Ｓ２４によって生成された重畳画像は、中継装置４から各表示装置１ａ、１ｂへ出力される（Ｓ２５）。各表示装置１ａ、１ｂの制御部１４ａ、１４ｂは、重畳画像が入力されると、スコピスト２００と該表示装置１ａ、１ｂのユーザとの視野方向が同一であるか否かを判定する（Ｓ２６）。Ｓ２６における判定は、第１の実施形態で説明した、スコピスト２００から所定の角度範囲内にユーザが位置するか否かにより行ってもよいし、所定の距離範囲内にユーザが位置するか否かによって行ってもよい。また、これらの方法に限らず、別の方法を用いて判定してもよい。
【００８６】
表示装置１ａのユーザ１０ａは、スコピスト２００と視野方向が同一であると判定されるので（Ｓ２６、Ｙｅｓ）、制御部１４ａは画像生成部１３ａに対し、重畳画像を正立表示させるよう指示する。画像生成部１３ａは、制御部１４ａからの指示に従い、表示部１７ａに重畳画像を正立表示させる（Ｓ２７）。例えば、表示装置１ａには、図８（ａ）、または、図８（ｃ）に示す重畳画像が、表示部１７ａに表示される。
【００８７】
一方、表示装置１ｂのユーザ１０ｂは、スコピスト２００と視野方向が異なると判定されるので（Ｓ２６、Ｎｏ）、制御部１４ｂは画像生成部１３ｂに対し、重畳画像を反転して表示させるよう指示する。画像生成部１３ｂは、制御部１４ｂからの指示に従い、表示部１７ａに重畳画像を反転表示させる（Ｓ２８）。例えば、表示装置１ｂには、図８（ａ）を反転した重畳画像（図９（ｃ）に示す重畳画像）、または、図８（ｃ）を反転した重畳画像（図９（ａ）に示す重畳画像）が表示部１７ｂに表示される。
【００８８】
このように、本実施形態の内視鏡システムは、中継装置で予め内視鏡画像と描画画像とを適切な向きで重畳して重畳画像を作成し、該重畳画像を各表示装置に送信する。各表示装置は、スコピストと該表示装置を装着しているユーザとの視野方向に応じて重畳画像を表示させる向き（正立表示、または、反転表示）を判断し、表示させる。従って、表示装置では、描画画像の送信元とユーザとの位置関係を判定したり、描画画像と内視鏡画像とを重畳したりする必要がなく、装置の構造を簡略化することができる。
（第３の実施形態）
【００８９】
上述した第１及び第２の実施形態においては、描画画像の送信元とユーザとの位置関係に応じて描画画像をそのまま反転し、内視鏡画像に重畳していた。若手医師の教育やサポートを目的としてアノテーションを用いる場合、描画画像にはマーキングだけでなく文字情報が含まれる場合もある。例えば、マーキングした部位を処置する際の注意点（例えば、「出血注意」など）を文字で描画したり、マーキングした部位の臓器名を描画したりすることが考えられる。
【００９０】
このように、描画画像に文字が含まれる場合、描画画像をそのまま反転して内視鏡画像に重畳すると、文字が逆さまに表示されてしまい、読みづらくなってしまうという問題がある。そこで、本実施形態においては、描画画像に文字が含まれている場合には、文字を常に正立表示させることで、視認性を向上させる。
【００９１】
本実施形態の内視鏡システムの構成は、図２を用いて説明した第１の実施の形態の内視鏡システム、または、図１０を用いて説明した第２の実施形態の内視鏡システムの構成と同一であるので、説明を省略する。以下、本実施形態における、描画画像に文字が含まれる場合の文字を正立表示させるための方法について説明する。
【００９２】
まず、図２を用いて説明した第１の実施形態の内視鏡システムを用いる場合について説明する。第１の実施形態の内視鏡システムは、内視鏡画像と描画画像との重畳を、各表示装置１ａ、１ｂで行う。図１２は、第３の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の生成手順を説明するフローチャートである。また、図１３、及び、図１４は、各表示装置に表示させる内視鏡画像の一例を説明する図である。
【００９３】
図１２に示す重畳画像の生成手順は、描画画像を反転して内視鏡画像に重畳する場合に、描画画像に文字が含まれるか否かを判定し、文字が含まれる場合には文字のみを切り出して更に反転することで文字を正立表示させる点以外は、図３に示す重畳画像の生成手順と同一の手順で行う。従って、同一の処理手順については詳細な説明を省略する。
【００９４】
まず、表示装置１ａ、１ｂのユーザと、スコピスト２００との位置関係を判定し、視野方向が同一である場合には（Ｓ１、Ｙｅｓ）、内視鏡画像を正立表示させる（Ｓ２）。次に、描画画像の送信元と、該表示装置のユーザとの位置関係を判定し、視野方向が同一である場合には（Ｓ３、Ｙｅｓ）、描画画像を正立のまま内視鏡画像に重畳し、重畳画像を生成する（Ｓ４）。
【００９５】
例えば、図１に示す内視鏡下手術において本実施形態の内視鏡システムを用いる場合、表示装置１ａのユーザ１０ａによって描画画像が生成された場合、表示装置１ａには、図１３（ａ）に示すように、正立表示した内視鏡画像１０２に、正立のまま描画画像１０３ａを重畳した重畳画像が生成される。描画画像１０３ａに対する反転処理は行われないため、描画画像１０３ａに文字が含まれていても、そのまま表示されるため視認性を損なうことはない。
【００９６】
Ｓ３において、該表示装置のユーザとの視野方向が異なると判定された場合（Ｓ３、Ｎｏ）には、描画画像を反転させる（Ｓ３１）。続いて、描画画像に文字が含まれるか否かを判定する（Ｓ３２）。なお、描画画像に文字が含まれるか否かの判定は、従来より行われている画像中における文字認識技術などを用いて行う。文字が含まれない場合（Ｓ３２、Ｎｏ）、Ｓ３１で反転した描画画像を内視鏡画像に重畳し、重畳画像を生成する（Ｓ５）。描画画像に文字が含まれる場合（Ｓ３２、Ｙｅｓ）、Ｓ３１で反転した描画画像から文字が描画されている領域を切り出し、当該領域のみ反転させる。そして、文字領域を反転させた描画画像を内視鏡画像に重畳し、重畳画像を生成する（Ｓ３３）。
【００９７】
例えば、表示装置１ｂのユーザ１０ｂによって描画画像が生成され、表示装置１ａに重畳画像を表示させる場合が、このパターンに該当する。描画画像に文字が含まれない場合、図８（ｃ）に示すように、内視鏡画像１０２に、術者１０ｂにより描画された画像を反転させた描画画像１０３ｂ´を重畳した重畳画像が生成される。描画画像１０３ｂに対する反転処理が行われるが、描画画像１０３ｂに文字が含まれていないため、内視鏡画像にそのまま重畳しても視認性を損なうことはない。
【００９８】
一方、描画画像に文字が含まれる場合、内視鏡画像１０２に、術者１０ｂにより描画された画像を反転させた描画画像１０３ｂ´をそのまま重畳すると、図１３（ｂ）に示すような画像になってしまう。すなわち、「出血注意」の文字が反転表示されるため、文字が読みづらい。そこで、Ｓ３３において、文字領域のみを切り出して反転することで、図１３（ｃ）に示すような重畳画像を生成することができ、視認性が向上する。
【００９９】
表示装置１ａ、１ｂのユーザと、スコピスト２００との位置関係を判定し、視野方向が異なる場合には（Ｓ１、Ｎｏ）、内視鏡画像を反転表示させる（Ｓ６）。次に、描画画像の送信元と、該表示装置のユーザとの位置関係を判定し、視野方向が同一である場合には（Ｓ７、Ｙｅｓ）、描画画像を正立のまま内視鏡画像に重畳し、重畳画像を生成する（Ｓ８）。
【０１００】
例えば、表示装置１ｂのユーザ１０ｂによって描画画像が生成され、表示装置１ｂに重畳画像を表示させる場合が、このパターンに該当する。表示装置１ｂには、図１４（ａ）に示すように、反転表示した内視鏡画像１０２´に、正立のまま描画画像１０３ｂを重畳した重畳画像が生成される。描画画像１０３ｂに対する反転処理は行われないため、描画画像１０３ｂに文字が含まれていても、そのまま表示されるため視認性を損なうことはない。
【０１０１】
Ｓ７において、該表示装置のユーザとの視野方向が異なると判定された場合（Ｓ７、Ｎｏ）には、描画画像を反転させる（Ｓ３４）。続いて、描画画像に文字が含まれるか否かを判定する（Ｓ３５）。文字が含まれない場合（Ｓ３５、Ｎｏ）、Ｓ３４で反転した描画画像を内視鏡画像に重畳し、重畳画像を生成する（Ｓ９）。描画画像に文字が含まれる場合（Ｓ３５、Ｙｅｓ）、Ｓ３４で反転した描画画像から文字が描画されている領域を切り出し、当該領域のみ反転させる。そして、文字領域を反転させた描画画像を内視鏡画像に重畳し、重畳画像を生成する（Ｓ３６）。
【０１０２】
例えば、表示装置１ａのユーザ１０ａによって描画画像が生成され、表示装置１ｂに重畳画像を表示させる場合が、このパターンに該当する。描画画像に文字が含まれない場合、図９（ｃ）に示すように、反転した内視鏡画像１０２´に、術者１０ａにより描画された画像を反転させた描画画像１０３ａ´を重畳した重畳画像が生成される。描画画像１０３ａに対する反転処理が行われるが、描画画像１０３ａに文字が含まれていないため、内視鏡画像にそのまま重畳しても視認性を損なうことはない。
【０１０３】
一方、描画画像に文字が含まれる場合、反転した内視鏡画像１０２´に、術者１０ａにより描画された画像を反転させた描画画像１０３ａ´をそのまま重畳すると、図１４（ｂ）に示すような画像になってしまう。すなわち、「出血注意」の文字が反転表示されるため、文字が読みづらい。そこで、Ｓ３６において、文字領域のみを切り出して反転することで、図１４（ｃ）に示すような重畳画像を生成することができ、視認性が向上する。
【０１０４】
このように、本実施形態の表示装置は、スコピストとユーザとの位置関係を判定し、視野方向に応じて内視鏡画像を適切な向きで表示させる。また、描画画像の送信元とユーザとの位置関係も判定し、視野方向に応じて描画画像を適切な向きで表示させる。従って、内視鏡画像上に重畳して表示させる描画画像の位置が、描画画像の送信元の意図した位置に表示されるので、正しく情報を伝えることができる。すなわち、アノテーションを含めた内視鏡画像を、術者の視野の方向に応じた適切な向きでウェアラブルグラスに表示させることができる。更に、描画画像を反転表示させる場合、描画画像中に文字が含まれる場合には、文字領域を切り出して反転させることで、文字を正立表示させる。従って、描画画像の表示の向きにかかわらず、描画された文字は常に正立表示されるため、視認性が向上する。
【０１０５】
次に、図１０を用いて説明した第２の実施形態の内視鏡システムを用いる場合について説明する。第２の実施形態の内視鏡システムは、内視鏡画像と描画画像との重畳を、中継装置４で行う。図１５は、第３の実施形態に係わる各表示装置に表示させる内視鏡画像（重畳画像）の別の生成手順を説明するフローチャートである。
【０１０６】
図１５に示す重畳画像の生成手順は、描画画像を反転して内視鏡画像に重畳する場合に、描画画像に文字が含まれるか否かを判定し、文字が含まれる場合には文字のみを切り出して更に反転することで文字を正立表示させる点以外は、図１１に示す重畳画像の生成手順と同一の手順で行う。従って、同一の処理手順については詳細な説明を省略する。
【０１０７】
まず、Ｓ２１において、プロセッサ３で所定の画像処理が施した画像信号（内視鏡画像）と、表示装置１ａ、または、表示装置１ｂで生成された描画画像とが、中継装置４に入力される。次に、中継装置４の画像重畳部４４は、内視鏡画像を撮像したスコピスト２００と、描画画像の送信元の表示装置１ａ、または、表示装置１ｂのユーザの視野方向が同一であるか否かを判定する（Ｓ２２）。視野方向が同一であると判定された場合（Ｓ２２、Ｙｅｓ）、入力された描画画像をそのまま内視鏡画像に重畳し（Ｓ２３）、各表示装置へ出力する（Ｓ２５）。Ｓ２３で生成された重畳画像は、例えば、図１３（ａ）に示すように、正立の内視鏡画像１０２に表示装置１ａから送信された画像を正立表示した描画画像１０３ａを重畳した画像となる。
【０１０８】
一方、視野方向が異なると判定された場合（Ｓ２２、Ｎｏ）、入力された描画画像を反転し、内視鏡画像に重畳する（Ｓ２４）。続いて、描画画像に文字が含まれるか否かを判定する（Ｓ４１）。文字が含まれない場合（Ｓ４１、Ｎｏ）、重畳画像には特に処理を施さず、そのまま各表示装置へ出力する（Ｓ２５）。
【０１０９】
描画画像に文字が含まれる場合（Ｓ４１、Ｙｅｓ）、反転した描画画像から文字が描画されている領域を切り出し、当該領域のみ反転させる（Ｓ４２）。そして、文字領域を反転させた重畳画像を各表示装置へ出力する（Ｓ２５）。
【０１１０】
Ｓ２４で生成された重畳画像は、描画画像に文字が含まれない場合、例えば、図８（ｃ）に示すように、正立の内視鏡画像１０２に表示装置１ｂから送信された画像を反転表示した描画画像１０３ｂ´を重畳した画像となる。描画画像に文字が含まれる場合、例えば、図１３（ｂ）に示すような画像になってしまう。すなわち、「出血注意」の文字が反転表示されるため、そのまま表示すると文字が読みづらい。そこで、Ｓ４２において、文字領域のみを切り出して反転することで、図１３（ｃ）に示すような重畳画像を生成することができ、視認性が向上する。
【０１１１】
各表示装置１ａ、１ｂの制御部１４ａ、１４ｂは、重畳画像が入力されると、スコピスト２００と該表示装置１ａ、１ｂのユーザとの視野方向が同一であるか否かを判定する（Ｓ２６）。スコピスト２００と視野方向が同一であると判定される場合（Ｓ２６、Ｙｅｓ）、制御部１４ａは画像生成部１３ａに対し、重畳画像を正立表示させるよう指示する。画像生成部１３ａは、制御部１４ａからの指示に従い、表示部１７ａに重畳画像を正立表示させる（Ｓ２７）。例えば、表示部１７ａには、図８（ａ）、または、図８（ｃ）に示す重畳画像が表示される。
【０１１２】
一方、スコピスト２００と視野方向が異なると判定される場合（Ｓ２６、Ｎｏ）、制御部１４ａは画像生成部１３ａに対し、重畳画像を反転表示させるよう指示する（Ｓ２８）。続いて、重畳画像に文字が含まれるか否かを判定する（Ｓ４３）。文字が含まれない場合（Ｓ４３、Ｎｏ）、重畳画像には特に処理を施さず、表示部１７ａに表示させる。例えば、表示部１７ａには、図９（ａ）、または、図９（ｃ）に示す重畳画像が表示される。
【０１１３】
重畳画像に文字が含まれる場合（Ｓ４３、Ｙｅｓ）、反転した重畳画像から文字が描画されている領域を切り出し、当該領域のみ反転させる（Ｓ４４）。そして、文字領域を反転させた重畳画像を表示部１７ａに表示させる。文字を反転させない場合、例えば、または、図１４（ｂ）に示すような画像が表示されてしまう。すなわち、「出血注意」の文字が反転表示されるため、文字が読みづらい。そこで、Ｓ４４において、文字領域のみを切り出して反転することで、図１４（ｃ）に示すような重畳画像を生成することができ、視認性が向上する。
【０１１４】
このように、本実施形態の内視鏡システムは、中継装置で予め内視鏡画像と描画画像とを適切な向きで重畳して重畳画像を作成し、該重畳画像を各表示装置に送信する。各表示装置は、スコピストと該表示装置を装着しているユーザとの視野方向に応じて重畳画像を表示させる向き（正立表示、または、反転表示）を判断し、表示させる。従って、表示装置では、描画画像の送信元とユーザとの位置関係を判定したり、描画画像と内視鏡画像とを重畳したりする必要がなく、装置の構造を簡略化することができる。
【０１１５】
更に、描画画像を反転表示させる場合、描画画像中に文字が含まれる場合には、文字領域を切り出して反転させることで、文字を正立表示させる。従って、描画画像の表示の向きにかかわらず、描画された文字は常に正立表示されるため、視認性が向上する。
【０１１６】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
【０１１７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１８】
１ａ、１ｂ…表示装置、２…内視鏡、３…プロセッサ、４…中継装置、１０ａ、１０ｂ…術者、１１ａ、１１ｂ…通信信号送受信部、１２ａ、１２ｂ…画像信号受信部、１３ａ、１３ｂ…画像生成部、１４ａ、１４ｂ…制御部、１５ａ、１５ｂ…位置検出部、１６ａ、１６ｂ…ユーザ登録部、１７ａ、１７ｂ…表示部、１８ａ、１８ｂ…描画生成部、１９ａ、１９ｂ…描画送信部、２０ａ、２０ｂ…描画受信部、３１…信号処理部、３２…送信部、３３…制御部、４１…受信部、４２…制御部、４３ａ、４３ｂ…描画受信部、４４…画像重畳部、４５…送信部、１００…患者、１０１…患部、１０２…内視鏡画像、１０３ａ、１０３ｂ…描画画像、２００…スコピスト、
【図１】
2019093073.tif 000003
【図２】
2019093073.tif 000004
【図３】
2019093073.tif 000005
【図４】
2019093073.tif 000006
【図５】
2019093073.tif 000007
【図６】
2019093073.tif 000008
【図７】
2019093073.tif 000009
【図８】
2019093073.tif 000010
【図９】
2019093073.tif 000011
【図１０】
2019093073.tif 000012
【図１１】
2019093073.tif 000013
【図１２】
2019093073.tif 000014
【図１３】
2019093073.tif 000015
【図１４】
2019093073.tif 000016
【図１５】
2019093073.tif 000017