(57)【要約】【課題】患部または患者に投影画像を投影する手術現場において、患部を撮影中の映像を表示装置で確認するサポートメンバーにとって、より最適な映像表示をできる映像表示システムを提供する。【解決手段】撮像映像を取得する撮像映像取得部と、前記撮像映像に投影データを合成可能な合成部と、前記合成部の出力を表示する表示部と、前記投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、前記投影部の投影状態を取得する投影状態取得部と、前記投影状態に応じて、前記合成部で前記投影データの合成をするか否かを判断する合成判断部と、を備える。【選択図】図３
2019095634.tif 000002
【特許請求の範囲】
【請求項１】
撮像映像を取得する撮像映像取得部と、
前記撮像映像に投影データを合成可能な合成部と、
前記合成部の出力を表示する表示部と、
前記投影データを取得する投影データ取得部と、
前記投影データを投影する投影部と、
前記投影部の投影状態を取得する投影状態取得部と、
前記投影状態に応じて、前記合成部で前記投影データの合成をするか否かを判断する合成判断部と、
を備えることを特徴とする映像表示システム。
【請求項２】
表示装置と、撮像装置と、投影機と、情報処理装置と、を備えた映像表示システムにおいて、
前記撮像装置は、撮影を行う撮影部と、前記撮影部で撮影した撮影データを前記表示装置に送信する撮影データ送信部と、を備え、
前記投影機は、前記情報処理装置から投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、を備え、
前記情報処理装置は、前記投影データを記憶する記憶部と、前記投影データを前記投影機に送信する第1の投影データ送信部と、前記投影データを前記表示装置に送信する第２の投影データ送信部と、を備え、
前記表示装置は、前記撮像装置からの前記撮影データを受信する撮影データ受信部と、前記情報処理装置から前記投影データを受信する投影データ受信部と、前記撮影データに前記投影データを合成可能な合成部と、前記合成部の出力を表示する表示部と、前記投影機の投影状態に応じて前記投影データを前記合成部で合成をするか否かを判断する合成判断部と、を備えることを特徴とする映像表示システム。
【請求項３】
前記情報処理装置は、前記投影機での投影状態を送信する投影状態送信部を備え、
前記表示装置は、前記投影状態を受信する投影状態受信部を備える、ことを特徴とする請求項２に記載の映像表示システム。
【請求項４】
前記表示装置は、前記撮影データと、前記投影データの合成時の調整を行う合成調整部を備える、ことを特徴とする請求項２に記載の映像表示システム。
【請求項５】
前記合成調整部は、前記投影データの合成時の、拡大縮小率、色補正、変形率の少なくとも１つの調整を行うことを特徴とする請求項４に記載の映像表示システム。。
【請求項６】
前記表示装置は、前記投影状態の映像をキャプチャ―する映像キャプチャ―部を備え、
前記投影機が投影中断状態の場合、前記キャプチャ―映像と前記投影データ受信部で受信中の投影データとの画像比較により前記合成調整部での合成調整値を決定するための画像比較解析を行う合成調整値決定用画像解析部と、を備えることを特徴とする請求項４に記載の映像表示システム。
【請求項７】
前記表示装置は、前記投影状態の映像をキャプチャ―する映像キャプチャ―部を備え、
前記表示部は、前記投影機が投影中断状態の場合は、前記映像キャプチャ―にてキャプチャ―した画像の表示を行うことを特徴とする請求項２に記載の映像表示システム。
【請求項８】
前記表示装置は、３次元人物データを記憶する３次元人物データ記憶部を備え、
前記投影機が投影中断状態の場合は、前記３次元人物データを前記３次元人物データ記憶部から読み出し、表示を行う映像信号表示部を備えることを特徴とする請求項２に記載の映像表示システム。
【請求項９】
表示装置と、撮像装置と、投影機と、情報処理装置と、を備えた映像表示システムにおいて、
前記撮像装置は、撮影を行う撮影部と、前記撮影部で撮影データを前記情報処理装置に送信する撮影データ送信部と、を備え、
前記投影機は、前記情報処理装置から投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、を備え、
前記表示装置は、前記情報処理装置から伝送される映像データを取得する映像データ取得部と、前記映像データを表示する表示部と、を備え、
前記情報処理装置は、前記投影機の投影状態を判断する投影状態判断部と、前記撮像装置から前記撮影データを取得する撮像データ取得部と、前記投影データを保存する投影データ保存部と、前記映像データに前記投影データを合成可能な投影データ合成部と、前記合成部の出力を映像データとして前記表示装置に送信する映像データ送信部と、を備え、前記投影状態判断部の判断結果に応じて、前記合成部で投影データを合成するか否かを切換えることを特徴とする映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システムに関する。
【背景技術】
【０００２】
近年、医療分野では、血管映像を腕に投影することで注射を補助する装置や、内臓画像を人物等に投影する等の研究が進められている。そのため、今後の医療分野では、手術中に患者に血管や内臓の映像を投影することで、手術の補助を行うことが想定される。
【０００３】
また一方、手術の現場では、手術を行う者は、目視で患部を確認し、手術をサポートするものは、患部を撮影している映像をリアルタイムでディスプレイ等の表示装置で確認するケースがある。そのため、今後の医療分野では、図１４で示すように、手術現場で患者に投影画像を投影し、手術を行う者は、目視で直接患者を確認し、手術サポートメンバーは、投影画像を投影された患者を表示装置で確認するケースが想定される。
【０００４】
そのようなケースにおいて、手術を行う者は、患部の状況を直に確認したい場合に投影を中断し、血管等を投影画像で再確認したい場合には、投影を再開する等、手術の過程で投影の中断、再開を繰り返すことが想定される。
【０００５】
このように、術者が投影を中断すると、サポートメンバーが、血管の投影画像と患部の映像を視認することで、血管と患部の位置を確認し続けたい場合等、その確認を継続ができないという課題がある。
【０００６】
一方で、特許文献１では、複数のプロジェクタにより投影される部分画像をスクリーン上でつなぎ合わせて１つの投影画像を投影する画像投影システムにおいて、自プロジェクタに割り当てられた部分画像の画像データと、他のプロジェクタの部分画像の画像データと、を合成し、投影画像全体のキャプチャ―画像データを生成する技術が開示されている。
【０００７】
つまり、特許文献１では、自プロジェクタの画像データと、他のプロジェクタの部分画像の画像データと、を合成する技術が開示されている。
【０００８】
特許文献１の技術を用いれば、投影状態に依らず、患者の撮影映像に投影画像を表示装置で合成して表示することが可能であり、それによって、サポートメンバーが、投影状態に依らず、患者と投影画像とを確認し続けることが可能となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１４−１４５９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の先行技術を用いて、表示装置にて患者の撮影映像に投影画像を合成した場合、実際に投影画像を患者に投影している最中は、実際に投影している投影画像と、表示装置で合成した投影画像と、が２重で表示されることになる。そのため、投影画像が確認しづらくなる可能性がある。
【００１１】
そこで、本発明は、患部または患者に投影画像を投影する手術現場において、患部を撮影中の映像を表示装置で確認するサポートメンバーにとって、より最適な映像表示をできる映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る映像表示システムは、撮像映像を取得する撮像映像取得部と、前記撮像映像に投影データを合成可能な合成部と、前記合成部の出力を表示する表示部と、前記投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、前記投影部の投影状態を取得する投影状態取得部と、前記投影状態に応じて、前記合成部で前記投影データの合成をするか否かを判断する合成判断部と、を備えることを特徴とする。
【００１３】
また、本発明に係る別の映像表示システムは、表示装置と、撮像装置と、投影機と、情報処理装置と、を備えた映像表示システムにおいて、前記撮像装置は、撮影を行う撮影部と、前記撮影部で撮影した撮影データを前記表示装置に送信する撮影データ送信部と、を備え、前記投影機は、前記情報処理装置から投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、を備え、前記情報処理装置は、前記投影データを記憶する記憶部と、前記投影データを前記投影機に送信する第1の投影データ送信部と、前記投影データを前記表示装置に送信する第２の投影データ送信部と、を備え、前記表示装置は、前記撮像装置からの前記撮影データを受信する撮影データ受信部と、前記情報処理装置から前記投影データを受信する投影データ受信部と、前記撮影データに前記投影データを合成可能な合成部と、前記合成部の出力を表示する表示部と、前記投影機の投影状態に応じて前記投影データを前記合成部で合成をするか否かを判断する合成判断部と、を備えることを特徴とする。
【００１４】
また、本発明に係る別の映像表示システムは、表示装置と、撮像装置と、投影機と、情報処理装置と、を備えた映像表示システムにおいて、前記撮像装置は、撮影を行う撮影部と、前記撮影部で撮影データを前記情報処理装置に送信する撮影データ送信部と、を備え、前記投影機は、前記情報処理装置から投影データを取得する投影データ取得部と、前記投影データを投影する投影部と、を備え、前記表示装置は、前記情報処理装置から伝送される映像データを取得する映像データ取得部と、前記映像データを表示する表示部と、を備え、前記情報処理装置は、前記投影機の投影状態を判断する投影状態判断部と、前記撮像装置から前記撮影データを取得する撮像データ取得部と、前記投影データを保存する投影データ保存部と、前記映像データに前記投影データを合成可能な投影データ合成部と、前記合成部の出力を映像データとして前記表示装置に送信する映像データ送信部と、を備え、前記投影状態判断部の判断結果に応じて、前記合成部で投影データを合成するか否かを切換えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、患部または患者に投影画像を投影する手術現場において、患部を撮影中の映像を表示装置で確認するサポートメンバーにとって、より最適な映像表示をできる映像表示システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る映像表示システムの構成を示す構成図である。
【図２】本発明の実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】第１の実施形態における表示装置の構成を示すブロック図である
【図４】第１の実施形態における情報処理装置の投影状態情報送信処理を説明するためのフロー図である。
【図５】第１の実施形態における表示装置の処理を説明するためのフロー図である。
【図６】第１の実施形態における表示装置における投影データ合成処理を説明するための説明図である。
【図７】第２の実施形態における表示システムの構成を示すブロック図である
【図８】第２の実施形態における表示システムの画像解析処理を説明するための説明図である。
【図９】第２の実施形態における表示装置の処理を説明するためのフロー図である。
【図１０】第３の実施形態における表示システムの構成を示すブロック図である。
【図１１】第３の実施形態における表示装置の処理を説明するためのフロー図である。
【図１２】第４の実施形態における表示システムの構成を示すブロック図である。
【図１３】第４の実施形態における表示装置の処理を説明するためのフロー図である。
【図１４】背景技術を説明するための説明図である。
【発明を実施するための形態】
【００１７】
（第１の実施形態）
（システム構成の説明）
図１は、本発明の実施形態に係る映像表示システムのシステム構成図である。撮像装置１０１は、被写体１１９を撮影する撮像装置である。撮影された映像データは、映像信号伝送線１０２を経由して表示装置１０３へ伝送される。
【００１８】
表示装置１０３は、投影装置１０７の投影状態が投影中か否かに応じて、表示を切り替える。具体的には、表示装置１０３は、投影装置１０７の投影状態が投影中の場合は撮像装置１０１から伝送される映像信号をそのまま表示する。他方、表示装置１０３は、投影装置１０７の投影状態が投影中断中の場合は、映像信号と情報処理装置１０５から送信される投影データとを合成して表示する。表示装置１０３が、投影装置１０７の投影状態に応じて表示内容を切換える処理の詳細については後述する。
【００１９】
投影装置１０７は、映像信号伝送線１０６を経由して、情報処理装置１０５から伝送される投影データを被写体１１９に対して投影する。投影装置１０７は、情報処理装置１０５から映像データが伝送されている場合は投影を行い、映像データが伝送されていない場合は投影を中断する。
【００２０】
情報処理装置１０５は、投影データを映像信号として、映像信号伝送線１０６を経由して、投影装置１０７に送信する。また、情報処理装置１０５は、投影データを投影装置１０７に送信中は、投影データを、データ伝送線１０４を経由して、表示装置１０３に送信する。また、情報処理装置１０５は、投影状態情報を、データ伝送線１０４を経由して、表示装置１０３に送信する。
【００２１】
投影状態情報は、投影装置１０７が投影中か、投影中断中かの状態を示す情報である。
【００２２】
（情報処理装置１０５の説明）
図２は、本発明の実施形態に係る情報処理装置１０５の構成図である。通信部２０１は、データ伝送線１０４を経由して、表示装置１０３に、投影データと、投影状態情報とを、送信する処理部である。投影データ記憶部２０２は、投影装置１０７により被写体に投影される投影画像を記憶する処理部である。
【００２３】
投影データ記憶部２０２に記憶される投影データは、例えば、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（以降はＪＰＥＧと記載する）方式で圧縮された静止画像である。また、投影データ記憶部２０２に記憶される投影データの形式はＪＰＥＧに限定されない。
【００２４】
投影状態情報生成部２０３は、送信制御部２０５が映像信号送信部２０６によって映像信号を送出しているか否かによって、投影装置１０７が投影中か投影中断中かの状態を示す投影状態情報を生成する。
【００２５】
投影装置１０７は、情報処理装置１０５から映像信号が伝送されている場合は投影を行い、映像信号が伝送されていない場合は投影を中断する。そのため、投影状態情報生成部２０３は、送信制御部２０５から取得可能な映像信号送信状態から、投影状態情報を生成できる。
【００２６】
投影受付部２０４は、図示しないリモコン等により、ユーザーから投影を開始するか、投影を中断するかの支持を受け付ける処理部である。送信制御部２０５は、投影受付部２０４が投影開始を受け付けると、投影データ記憶部２０２から投影データを取得し、映像信号送信部２０６を介して投影データを映像信号として、投影装置１０７へ送信する。
【００２７】
また、送信制御部２０５は、投影受付部２０４が投影開始を受け付けると、投影状態情報生成部２０３から取得した投影状態情報を、通信部２０１を介して、表示装置１０３に送信する。そして、送信制御部２０５は、投影開始後、投影受付部２０４が投影中断を受け付けると、映像信号送信部２０６を介しての投影装置１０７への投影データ送信を中断する。さらに、送信制御部２０５は、投影データ記憶部２０２から取得した投影データと、投影状態情報生成部２０３から取得した投影状態情報とを、通信部２０１を介して、表示装置１０３に送信する。
【００２８】
映像信号送信部２０６は、送信制御部２０５を介して投影データ記憶部２０２から取得した投影データを、映像信号に変換する。さらに、前記変換後の映像信号を映像信号送信部２０６は、映像信号線１０６を介して投影装置１０７に送信する。そして、映像信号送信部２０６は、送信制御部２０５を介して取得したＪＰＥＧ画像である投影データをデコードし、デコードした画像を毎フレームの画像データとした映像信号を送出する。
【００２９】
（表示装置１０３の説明）
図３は、本実施形態に係る表示装置１０３の構成図である。通信部３０１は、データ伝送線１０４を介して、情報処理装置１０５より投影データと、投影状態情報を取得するための通信を行う処理部である。投影状態情報取得部３０２は、通信部３０１を介して、情報処理装置１０５より送信される投影状態情報を取得する処理部である。投影データ取得部３０３は、通信部３０１を介して、情報処理装置１０５より送信される投影データを取得する処理部である。
【００３０】
投影データ合成判断部３０４は、投影状態情報取得部３０２で取得した投影状態情報に応じて、合成部３０６で、映像信号受信部３０７で受信した映像信号と、投影データ取得部３０３で取得した投影データとを、合成するか否かを判断する処理部である。表示部３０５は、合成部３０６から送信される映像を表示する処理部である。合成部３０６は、投影データ合成判断部３０４の判断結果に応じて、映像信号受信部３０７で受信した映像信号をそのまま表示部３０５に送信するもしくは、映像信号受信部３０７で受信した映像信号に、投影データ取得部３０３から取得した投影データを合成して送信する処理部である。
【００３１】
また、合成部３０６は、映像信号受信部３０７で受信した映像信号に、投影データ取得部３０３から取得した投影データを合成する場合は、投影データ合成調整部の調整結果に応じて、合成を行う。合成方法の説明は後述する。
【００３２】
映像信号受信部３０７は、映像信号伝送線１０２を経由して、撮像装置１０１で撮影中の被写体１１９の映像信号を受信する処理部である。投影データ合成調整部３０８は、合成部３０６で映像信号に投影データを合成する際の合成位置、サイズ、等価率等の調整をユーザーの指定に従って行う処理部である。映像信号に投影データを合成する方法についての説明は後述する。投影データ合成調整値記憶部３０９は、投影データ合成調整部３０８で調整された調整値を記憶する処理部である。
【００３３】
（投影状態に応じた表示内容切換の説明）
投影状態に応じた表示装置１０３での表示内容の切換処理の説明を、図４と、図５の説明図を用いて行う。図４は、情報処理装置１０５が投影状態情報を送信する処理を説明するフロー図である。情報処理装置１０５は、映像信号送信部２０６を介して投影データを映像信号として、投影装置１０７へ送信している場合（Ｓ４０２がＹＥＳ）、投影受付部２０４によって、ユーザーからの投影中断の指定を待つ（Ｓ４０３）。
【００３４】
情報処理装置１０５は、ユーザーから投影中断の指定があると、映像信号送信部２０６を介して投影装置１０７に映像信号として送信している投影データの送信を中断する（Ｓ４０４）。そして、情報処理装置１０５は、投影装置への投影データ送信を中断すると（Ｓ４０４）、投影状態情報として投影中断を通信部２０１を介して、表示装置１０３へ送信する（Ｓ４０５）。
【００３５】
情報処理装置１０５は、投影状態情報として投影中断を表示装置１０３へ送信（Ｓ４０５）後、通信部２０１を介して投影データを表示装置１０３へ送信する（Ｓ４０６）。そして、情報処理装置１０５は、映像信号送信部２０６を介して投影データを映像信号として、投影装置１０７へ送信していない場合（Ｓ４０２がＮｏ）、投影受付部２０４によって、ユーザーからの投影開始の指定を待つ（Ｓ４０７）。
【００３６】
情報処理装置１０５は、ユーザーからの投影開始の指定があると、映像信号送信部２０６を介して投影データを映像信号として、投影装置１０７へ送信を開始する（Ｓ４０８）。そして、情報処理装置１０５は、投影装置１０７への投影データの送信を開始（Ｓ４０８）後、投影状態情報として投影中を通信部２０１を介して、表示装置１０３へ送信する（Ｓ４０９）。
【００３７】
以上のように、情報処理装置１０５は、投影装置１０７が投影中断時は、表示装置１０３へ投影データと、投影中断の投影状態情報を送信し、投影装置１０７が投影開始時は、示装置１０３へ投影中の投影状態情報を送信する。
【００３８】
図５は、表示装置１０３の撮影映像をそのまま表示するか、投影データを合成して表示するかの表示内容の切換処理を説明するフロー図である。表示装置１０３は、図示しないリモコン等によるユーザーの指定により、撮像装置１０１で撮影中の映像信号を映像信号受信処理部３０７で受信し、表示処理を開始する（Ｓ５０２）。そして、表示装置１０３は、投影状態情報取得部３０２により通信部３０１を介して、情報処理装置１０５より投影状態情報を取得する（Ｓ５０３）。
【００３９】
表示装置１０３は、投影状態情報を取得し（Ｓ５０３）、投影状態が投影中であると判断した場合は（Ｓ５０４がＹｅｓ）、投影データ合成判断部３０４は、投影データを映像信号に合成しないと判断する。その結果、表示装置１０３は、映像信号受信部３０７で、撮像装置１０１から取得した映像信号をそのまま表示する（Ｓ５０５）。
【００４０】
表示装置１０３は、投影状態情報を取得し（Ｓ５０３）、投影状態が投影中断であると判断した場合は（Ｓ５０４がＮｏ）、投影データ合成判断部３０４は、映像信号に投影データを合成すると判断する。
【００４１】
表示装置１０３は、投影状態が投影中断である場合は（Ｓ５０４がＮｏ）、投影データ取得部３０３は、通信部３０１を介して、情報処理装置１０５より投影データを取得する（Ｓ５０６）。そして、表示装置１０３は、投影データを取得すると（Ｓ５０６）、合成部３０６により、撮像装置１０１から取得した映像信号に投影データを合成する（Ｓ５０７）。そして、表示装置１０３は、映像信号に投影データを合成した映像を表示部３０５により、表示を行う（Ｓ５０８）。
【００４２】
以上のように、表示装置１０３は、投影状態が投影中の場合は、撮像装置で撮影した映像信号をそのまま表示を行い、投影状態が投影中断中の場合は、撮像装置で撮影した映像信号に投影データを合成して表示を行う。
【００４３】
（映像信号に投影データを合成する方法の説明）
図６は、投影データ合成調整部３０８で、投影データを合成する際の合成調整を行う際の表示画面を表した説明図である。表示画面６０１は、表示部３０５で表示される画面である。映像信号６０２は、映像信号受信部３０７で取得する撮像装置１０１の撮影映像である。被写体６０３は、撮像装置１０１で撮影されている被写体１１９を表している。投影データ６０４は、投影データ取得部３０３により情報処理装置１０５から取得した投影データである。合成調整ＵＩ６０５は、投影データ合成調整部３０８が生成し、ユーザーが投影データの合成の調整を行うためのユーザーインターフェースである。
【００４４】
合成部３０６で、映像信号受信部３０７で受信した撮影映像信号に、投影データ取得部３０３で取得した投影データの合成を行う場合、投影データ合成調整部３０８は、合成調整を行う。投影データ合成調整部３０８は、合成調整を行うために、合成調整ＵＩ６０５の表示を行い、ユーザーの指定を受け付ける。ユーザーは合成調整ＵＩ６０５により、合成データの透過率、合成位置、合成データのサイズの指定を行う。ユーザーが合成調整ＵＩ６０５により指定した調値は、投影データ６０４に反映され、映像信号６０２に合成される。投影データ合成調整部３０８は、投影データと映像信号の合成が初回である場合は、合成調整ＵＩ６０５の表示を行うことで、ユーザーに合成調整を促す。また、ユーザーによる合成調整値は、投影データ合成調整値記憶部３０９に記憶される。
【００４５】
投影データ合成調整部３０８は、投影データと映像信号の合成が２回目以降である場合は、投影データ合成調整値記憶部３０９より調整値を取得して合成を行う。つまり、投影データ合成した後、投影データの合成を停止し、その後、投影データを合成する場合は、投影データ合成調整部３０８は、投影データ合成調整値記憶部３０９より調整値を取得して合成を行う。
【００４６】
また、本実施形態では、表示装置１０３が取得する投影状態情報を情報処理装置１０５から取得したが、投影装置１０７が投影状態情報を送信し、それを表示装置１０３が取得するとしてもよい。
【００４７】
また、本実施形態では、表示装置１０３、撮像装置１０１から撮像映像を取得し、投影データとの合成を行ったが、表示装置１０３は情報処理装置１０５から映像信号を受信し表示のみを行うとして、情報処理装置１０５が撮像装置１０１から撮像映像を取得し、投影データとの合成する、しないをおこなってもよい。その場合、情報処理装置１０５が、投影状態情報取得部３０２、投影データ取得部３０３、投影データ合成判断部３０４、合成部３０６、投影データ合成調整部３０８、投影データ合成調整値記憶部３０９を備える。
【００４８】
（本実施形態のまとめ）
以上のように、本実施形態での表示システムでは、投影装置での投影状態に応じて、表示装置で表示する撮像映像に投影データを合成する、合成しないを制御することが可能となる。そのため、手術を行うケースで、目視で患者の確認を行う術者にとって投影画像が邪魔になる場合に、投影を中断しても、患者を撮像装置で撮影した映像で確認する手術サポートメンバーが投影された映像を確認し続けることが可能となる。
【００４９】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る表示装置７０１の構成を示している。表示装置７０１の各処理部について、図７を用いて説明する。表示装置７０１において、実施の形態１に係る表示装置１０３と同じ番号の処理部は、表示装置１０３と同等の処理を行う処理部である。
【００５０】
映像信号キャプチャ―部７０２は、映像信号受信部３０７で受信している撮影映像のキャプチャ―を行う処理部である。映像信号キャプチャ―部７０２は、投影装置１０７で投影を行っている場合、にキャプチャ―した画像は、キャプチャ―画像記憶部７０３に送る。つまり、投影状態情報取得部３０２で取得する投影状態情報が投影中である場合に、キャプチャ―した画像は、キャプチャ―画像記憶部７０３に送る。
【００５１】
キャプチャ―画像記憶部７０３は、投影中に映像信号キャプチャ―部７０２で、キャプチャ―されたキャプチャ―画像を記憶する処理部である。つまり、キャプチャ―画像記憶部７０３に記憶されているキャプチャ―画像は、投影装置１０７で、投影中の映像をキャプチャ―した画像となる。画像解析部７０４は、投影中断中に、投影中の画像と、投影中断中の画像とを解析比較して、投影データ合成調整部７０５での合成調整値を決定する。
【００５２】
画像解析部７０４の、解析処理を図８の説明図を用いて説明する。画像８０１は、投影中に、映像信号キャプチャ―部７０２で取得した画像である。そして、画像８０１は、キャプチャ―画像記憶部７０３に記憶されている。被写体８０２と被写体８０５は、撮像装置１０１で撮影中の被写体１１９である。
【００５３】
投影部分８０３は、被写体８０２のうち、投影装置１０７で投影されている部分を示している。画像８０４は、投影中断中に、映像信号キャプチャ―部７０２で取得した画像である。
【００５４】
画像解析部７０４は、画像８０１と画像８０４の画素の比較を行い、画素値が異なる範囲を投影部分８０３として検出する。画像解析部７０４は、検出した投影部分８０３から投影のサイズと位置を算出する。また、画像解析部７０４は、投影データ取得部３０３により情報処理装置１０５から取得した投影データと、投影部分８０３と、画像８０４の投影部分８０３と同じ位置での画素との比較を行うことで画素毎の透過率を算出する。具体的には、画像８０４に、透過率を変化させた投影データを合成して、画像８０１と比較して類似度が高くなる投影率を決定する。
【００５５】
また、画像解析部７０４は、投影データ取得部３０３により情報処理装置１０５から取得した投影データと、投影部分８０３の画素値の色の比較を行うことで、色の差を算出する。色の差の検出時は、類似度が高くなる投影率で、画像８０４に投影データを合成したものと、画像８０１とで比較を行う。
【００５６】
画像解析部７０４は、以上のように算出した、投影サイズ、色の差、透過率を投影データ合成調整部７０５へ通知する。投影データ合成調整部７０５は、画像解析部７０４から通知された情報を用いて、投影データの合成時の拡大縮小率、色の補正、透過率を決定して合成時の調整値を決定する。
【００５７】
また、画像解析部７０４では投影データと、投影部分８０３との比較を行うことで、投影データの拡大だけでなく、変形率等を解析して、投影データと映像信号の合成時に適用してもよい。
【００５８】
図９のシーケンスを用いて、本実施形態に係る表示装置７０１の投影中断中の投影データ合成調整値を決定する処理を説明する。表示装置７０１は、投影状態情報得部３０２により投影状態情報を取得する。表示装置７０１は、投影状態情報得部３０２の投影状態情報の取得結果が、投影中（Ｓ９０２がＹｅｓ）の場合、映像信号キャプチャ―部７０２により、映像信号受信部３０７で受信中の映像信号のキャプチャ―を行う（Ｓ９０４）。そして、表示装置７０１は、キャプチャ―した画像をキャプチャ―画像記憶部７０３に記憶する（Ｓ９０５）。
【００５９】
表示装置７０１は、投影状態情報得部３０２の投影状態情報の取得結果が、投影中断中（Ｓ９０２がＮｏ）の場合、投影データ取得部３０３にて投影データの取得を行う（Ｓ９０６）。そして、表示装置７０１は、映像信号キャプチャ―部７０２により、映像信号受信部３０７で受信中の映像信号のキャプチャ―を行う（Ｓ９０７）。
【００６０】
そして、画像解析部７０４は、キャプチャ―画像記憶部７０３に保存した投影中のキャプチャ―画像と、投影データと、投影中断中のキャプチャ―画像と、から、投影サイズ、色の差、透過率等を算出する（Ｓ９０８）。画像解析部７０４での投影サイズ、色の差、透過率等の算出方法は前述の通りである。そして、投影データ合成調整部は７０５、画像解析部７０４の算出結果（Ｓ９０８）から、合成調整値を決定する（Ｓ９０９）。投影データ合成調整部７０５部が、合成調整値を決定すると（Ｓ９０９）、合成部３０６が合成調整値に基づいて、映像信号受信部３０７で受信中の映像信号と、投影データ取得部３０３で取得した投影データと、を合成し、表示部３０５へ送信する（Ｓ９１０）。
【００６１】
なお、本実施形態では、表示装置７０１が、撮像装置１０１から撮像映像を取得し、投影データとの合成を行ったが、表示装置７０１は情報処理装置１０５から映像信号を受信し表示のみを行うとして、情報処理装置１０５が撮像装置１０１から撮像映像を取得し、投影データとの合成する、しないをおこなってもよい。
【００６２】
（本実施形態のまとめ）
以上のように、本実施形態での表示システムでは、表示装置で投影データと撮影映像を合成する際に、投影装置で投影されている時の撮影映像のキャプチャ―画像と、投影されていない場合の撮影映像のキャプチャ―画像と、合成データとを、解析、比較し、投影データを合成する際の調整値に反映する。そのため、投影中の映像を表示している場合と、投影データと撮影映像を合成して表示している場合と、での、見た目の差による違和感間を軽減することが可能となる。
【００６３】
（第３の実施形態）
図１０は、本発明の第３の実施形態に係る表示装置１００１の構成を示している。表示装置１００１の各処理部について、図１０を用いて説明する。表示装置１００１において、実施の形態１に係る表示装置１０３と同じ番号の処理部は、表示装置１０３と同等の処理を行う処理部である。表示装置１００１において、実施の形態２に係る表示装置７０１と同じ番号の処理部は、表示装置７０１と同等の処理を行う処理部である。
【００６４】
合成部１００２は、投影データ合成判断部３０４が投影データを合成しないと判断した場合は、映像信号受信部３０７で、受信した映像信号をそのまま表示部３０５へ送信する。そして、合成部１００２は、投影データ合成判断部３０４が投影データを合成すると判断した場合は、キャプチャ―画像記憶部７０３に保存されている投影時のキャプチャ―画像を表示部３０５へ送信する。
【００６５】
図１１のシーケンスを用いて、本発明の実施の形態３に係る表示装置１００１の投影中と、投影中断中の表示処理を説明する。表示装置１００１は、投影状態情報得部３０２により投影状態情報を取得する。合成部１００２は、投影状態情報得部３０２の投影状態情報の取得結果が、投影中（Ｓ１１０２がＹｅｓ）の場合、映像信号受信部３０７で、受信した映像信号をそのまま表示部３０５へ送信する（Ｓ１１０３）。そして、映像信号キャプチャ―部７０２により、受信中の映像信号のキャプチャ―を行い、キャプチャ―画像記憶部７０３に記憶する。
【００６６】
合成部１００２は、投影状態情報得部３０２の投影状態情報の取得結果が、投影中断中（Ｓ１１０２がＮｏ）の場合、キャプチャ―画像記憶部７０３に保存されているＳ１１０４でキャプチャ―した投影時のキャプチャ―画像を表示部３０５へ送信する（Ｓ１１０５）。
【００６７】
なお、本実施形態では、表示装置１００１が、撮像装置１０１から撮像映像を取得し、投影データとの合成を行ったが、表示装置１００１は情報処理装置１０５から映像信号を受信し表示のみを行うとして、情報処理装置１０５が撮像装置１０１から撮像映像を取得し、投影データとの合成する、しないをおこなってもよい。
【００６８】
（本実施形態のまとめ）
以上のように、本実施形態では投影中断中に、投影中の映像をキャプチャ―した画像の表示を行う。それによって、投影データを合成する必要がない簡易なシステムで投影中断中も、手術サポートメンバーが投影データの確認を行うことが可能となる。
【００６９】
（第４の実施形態）
図１２は、本発明の実施の形態４に係る表示装置１２０１の構成を示している。表示装置１２０１の各処理部について、図１２を用いて説明する。表示装置１２０１において、実施の形態１に係る表示装置１０３と同じ番号の処理部は、表示装置１０３と同等の処理を行う処理部である。
【００７０】
３次元人物データ記憶部１２０２は、３次元の人物データを記憶する処理部である。３次元人物データ記憶部１２０２に、記憶している人物データは、性別、体型等が異なる数パターンの人物データである。
【００７１】
合成部１２０３は、投影データ合成判断部３０４が投影データを合成しないと判断した場合は、映像信号受信部３０７で受信した映像信号をそのまま表示部３０５へ送信する。合成部１２０３は、投影データ合成判断部３０４が投影データを合成すると判断した場合は、３次元人物データ記憶部１２０２から取得した人物データに、投影データ取得部３０３で取得した投影データを合成して表示部３０５へ送信する。合成部１２０３で合成する際の人物データは、ユーザーが図示しないユーザーインターフェースで指定する。合成部１２０３で、３次元人物データに、投影データを合成する方法は、投影データをテクスチャとして３次元人物データに貼ることで合成を行う。
【００７２】
図１３のシーケンスを用いて、本発明の実施の形態４に係る表示装置１２０１の投影中と、投影中断中の表示処理を説明する。表示装置１２０１は、投影状態情報取得部３０２で取得した投影状態情報が投影中の場合（Ｓ１３０２がＹｅｓ）、合成部１２０３により映像信号受信部３０７で受信した映像信号を表示部３０５へ送信する。表示装置１２０１は、投影状態情報取得部３０２で取得した投影状態情報が投影中断中の場合（Ｓ１３０２がＮｏ）、投影データ取得部３０３により投影データを取得し、合成部１２０３へ送信する（Ｓ１３０４）。
【００７３】
合成部１２０３は、投影データを取得後（Ｓ１３０４）、３次元人物データ記憶部１２０２から人物データを取得する（Ｓ１３０５）。その後、合成部１２０３は、３次元人物データに投影データをテクスチャマッピングして表示部３０５へ送信する（Ｓ１３０６）。
【００７４】
なお、本実施形態では、表示装置１２０１が、撮像装置１０１から撮像映像を取得し、投影データとの合成を行ったが、表示装置１２０１は情報処理装置１０５から映像信号を受信し表示のみを行うとして、情報処理装置１０５が撮像装置１０１から撮像映像を取得し、投影データとの合成する、しないをおこなってもよい。
【００７５】
（本実施形態のまとめ）
以上のように、本実施形態では投影中断中に、３次元人物データに投影データをテクスチャマッピングで貼りつけて表示を行うことで、投影データの表示を行う。それによって、映像信号に投影データを合成する処理部や、投影中の映像データをキャプチャ―する処理部が不要となる。そのため、より簡易なシステムで投影中断中も、手術サポートメンバーが投影データの確認を行うことが可能となる。
【符号の説明】
【００７６】
１０１  撮像装置
１０３  表示装置
１０５  情報処理装置
１０７  投影装置
２０１  通信部
２０２  投影データ記憶部
２０３  投影状態情報生成部
２０４  投影受付部
２０５  送信制御部
２０６  映像信号送信部
３０１  通信部
３０２  投影状態情報取得部
３０３  投影データ取得部
３０４  投影データ合成判断部
３０５  表示部
３０６  合成部
３０７  映像信号受信部
３０８  投影データ合成調整部
３０９  投影データ合成調整値記憶部
７０１  表示装置
７０２  映像信号キャプチャ―部
７０３  キャプチャ―画像記憶部
７０４  画像解析部
７０５  投影データ合成調整部
１００１  表示装置
１００２  合成部
１２０１  表示装置
１２０２  ３次元人物データ記憶部
１２０３  合成部
【図１】
2019095634.tif 000003
【図２】
2019095634.tif 000004
【図３】
2019095634.tif 000005
【図４】
2019095634.tif 000006
【図５】
2019095634.tif 000007
【図６】
2019095634.tif 000008
【図７】
2019095634.tif 000009
【図８】
2019095634.tif 000010
【図９】
2019095634.tif 000011
【図１０】
2019095634.tif 000012
【図１１】
2019095634.tif 000013
【図１２】
2019095634.tif 000014
【図１３】
2019095634.tif 000015
【図１４】
2019095634.tif 000016