(57)【要約】【課題】本発明は、使用者の使い勝手を良くすることを目的とするものである。【解決手段】手術の映像情報を３次元の手術映像６として記録し、前記手術時のバイタル情報９と医用画像１０を３次元の手術映像６に対して手前側に表示可能に記録したデータ担体２とし、このデータ担体を再生して、３次元映像信号とする手術立体映像再生装置と、この手術立体映像再生装置からの３次元映像信号について、前記バイタル情報を前記３次元手術映像に対して手前側に表示する手術立体映像表示装置と、を備えた手術立体映像表示システムとした。【選択図】図２
2014094124.tif 000002
【特許請求の範囲】
【請求項１】
手術の映像情報を３次元手術映像として記録し、前記手術のバイタル情報を前記３次元手術映像に対して手前側に表示可能に記録したデータ担体。
【請求項２】
前記手術のバイタル情報は、前記３次元手術映像に対して手前側に３次元表示可能に記録した請求項１に記載のデータ担体。
【請求項３】
医用画像を記録し、この医用画像を前記３次元手術映像に対して手前側に表示可能に記録した請求項１または２に記載のデータ担体。
【請求項４】
前記医用画像は、前記３次元手術映像に対して手前側に３次元表示可能に記録した請求項３に記載のデータ担体。
【請求項５】
前記手術のバイタル情報と、医用画像は、同一ストリームに交互に記録した請求項３または４に記載のデータ担体。
【請求項６】
請求項１から５のいずれか一つに記載のデータ担体を表示可能に再生する手術立体映像再生装置であって、前記データ担体を読み取るデータ読み取り部と、このデータ読み取り部からのデータを３次元手術映像信号と、バイタル情報と、に分離するデータ分離部と、このデータ分離部からの３次元手術映像信号と、バイタル情報と、を３次元映像信号として合成する立体映像合成部とを備え、前記立体映像合成部は、前記バイタル情報を前記３次元手術映像に対して手前側に表示可能に合成する構成とした手術立体映像再生装置。
【請求項７】
請求項６の手術立体映像再生装置からの３次元映像を表示する手術立体映像表示装置であって、前記バイタル情報を前記３次元手術映像に対して手前側に表示する表示部を備えた手術立体映像表示装置。
【請求項８】
請求項１から５のいずれか一つに記載のデータ担体と、このデータ担体を再生して、３次元映像信号とする手術立体映像再生装置と、この手術立体映像再生装置からの３次元映像信号について、前記バイタル情報を前記３次元手術映像に対して手前側に表示する手術立体映像表示装置と、を備えた手術立体映像表示システム。
【請求項９】
手術時のバイタル情報を３次元手術映像に対して手前側に表示する工程を含む手術立体映像表示方法。
【請求項１０】
手術時のバイタル情報を３次元手術映像に対して手前側に表示するステップを含む手術立体映像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、内視鏡手術の立体映像を再生、表示する装置に関するものである。
【背景技術】
【０００２】
従来の手術の立体映像を再生、表示する手術立体映像表示システムは、表示装置の表示画面に、３次元の手術用映像を表示するとともに、バイタル情報をそれぞれ分割した画面に表示するシステムとなっていた。
【０００３】
あるいは、３次元の手術用映像を所定の３次元映像表示装置に表示し、バイタル情報や、そのほか、ＣＴやＸ線画像などの医用画像を別の表示装置に表示する構成もあった。
【０００４】
つまり、手術用映像を３次元映像で視聴することができ、しかも、そのときのバイタル情報も確認することができるようにしていた。
【０００５】
表示画面の任意の領域の３次元表示について立体表示の程度を制御可能とする技術もあった（下記特許文献１）
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２５００５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記従来例における課題は、使用者の使い勝手が悪いことであった。
【０００８】
すなわち、上記従来例における手術立体映像表示システムは、３次元の手術用映像を所定の表示装置に表示し、バイタル情報や、ＣＴやＸ線画像などの医用画像を別の表示装置に表示するので、手術映像とバイタル情報を交互に見る必要があり、使い勝手の悪いものであった。
【０００９】
上記の課題を解決するために、１つの表示装置の表示画面に、３次元の手術用映像と、バイタル情報を合成表示する構成とした場合には、バイタル情報は前記３次元の手術用映像に対して埋もれた状態で表示されていたので、バイタル情報が見にくく、結論として使い勝手の悪いものであった。
【００１０】
この点を、さらに詳細に説明をすると、手術用映像は、臨場感を出すためにも３次元映像であることが好ましいが、バイタル情報は本来、２次元映像であるので、従来の技術では、このバイタル情報が、上述した３次元の手術用映像の基準面（飛び出し、奥行き０の面）と同一面に出すこととなる。
この時、鉗子や鋏を出し入れされると、内視鏡の視野の最も手前から現れて、患部に接近していくこととなる。よってバイタル情報は鉗子や鋏によって埋もれた状態で表示される。このバイタル情報は極めて見にくく、その結果として使い勝手の悪いものとなるのである。
【００１１】
そこで本発明は、使用者の使い勝手を良くすることを目的とするものである。
【課題を解決するための手段】
【００１２】
そしてこの目的を達成するために本発明は、手術の映像情報を３次元手術映像として記録し、前記手術時のバイタル情報を前記３次元手術映像に対して手前側に表示可能に記録したので、これにより所期の目的を達成するものである。
【発明の効果】
【００１３】
以上のように本発明は、手術の映像情報を３次元手術映像として記録し、前記手術時のバイタル情報を前記３次元手術映像に対して手前側に表示可能に記録したデータ担体としたので、３次元の手術用映像の奥行き感を認識しやすく、また前記バイタル情報は、前記３次元の手術用映像に対して手前側に表示したので、手術用映像に埋もれることなく、認識しやすいものとなる。
【００１４】
この点を、さらに詳細に説明をすると、手術用映像は、臨場感を出すためにも３次元映像であることが好ましいが、バイタル情報は本来、２次元映像であるので、このバイタル情報は、上述した３次元の手術用映像よりも手前に表示させることとし、その結果、バイタル情報が３次元の手術用映像に対して埋もれた状態で表示されることは無く、これにより、このバイタル情報も見やすくなり、その結果として使い勝手の良いものとなるのである。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態を示す手術立体映像再生システムのブロック図
【図２】本発明の一実施形態の表示画面の図
【図３】本発明の一実施形態のデータ担体の論理フォーマットを示す図
【図４】本発明の一実施形態を示す手術立体映像再生システムのブロック図
【図５】本発明の一実施形態を示す手術立体映像再生システムの制御フローチャート図
【図６】手術時に、３Ｄ内視鏡の立体出力とバイタルモニタ出力を表示、記録するシステムのブロック図
【図７】手術時の３Ｄ内視鏡による手術立体映像の表示画面の図
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を、手術立体映像表示システムに適用した物を、添付図面を用いて説明する。
【００１７】
最近の内視鏡手術は、最先端の手術用ロボットを用いたものがあり、１〜２ｃｍの小さな創より３次元内視鏡を挿入し、この３次元内視鏡からの３次元映像を見ながら、手術医は、最先端の手術用ロボットを遠隔的に操作し、手術を行うことが可能である。
【００１８】
この手術の状況は、映像情報として記録され、学会発表や、医学生の学習教材として活用されることになるが、手術時の臨場感を出すために手術映像を３次元で表示したり、この手術の進行に同期したバイタル情報（生体情報）を手術映像とともに視聴を可能とするシステムが医療現場から要望されている。
【００１９】
例えば、図６は、手術中に、ＲＡＷ（原）データ、すなわち手術時の３次元の手術映像と、手術の進行に同期したバイタル情報（生体情報）とともに記録する記録システムの構成図を示す。
【００２０】
上記システム構成において、図６における手術立体映像表示装置６４の表示部７５の表示画面を図７に示す。
【００２１】
手術立体映像表示装置６４の表示部７５の表示画面には、３Ｄ内視鏡６１で記録した手術映像７６が立体的に３次元表示されている。
【００２２】
３Ｄ内視鏡カメラを用いた手術映像７６は、手術医の距離感を認識しやすくするために、奥行き方向に対して立体的に表示することができる。
【００２３】
たとえば、図７においては、手術医が鉗子７７を操作しながら鉗子７７の先端で患部を摘出する手術の模様を表示しているのであるが、画面中央奥に表示される患部７８と、鉗子７７の先端部分との距離感を認識しやすくするために、患部の手術映像７６を奥行き方向に立体的に表示している。
【００２４】
このように、内視鏡カメラからの手術映像７６を奥行き方向に立体的に表示することで、手術医は、あたかも肉眼で手術しているかのごとく、患部と処置具との距離感をつかみやすくなるので、内視鏡手術を容易に行うことができるのである。
【００２５】
実際の手術中については、この手術映像７６は、１台の手術立体映像表示装置６４に手術映像７６のみを表示するのであるが、手術の経過に伴う、心電図などのバイタル情報（生体情報）や、手術に関連する、Ｘ線画像や、ＣＴ画像などの医用画像を、手術映像７６に重畳して表示したほうが良い。
【００２６】
この表示方法であれば、手術映像７６を見ながら、バイタル情報（生体情報）や、医用画像を、視線を移動することなく同時に見ることができるので、手術の様子をより容易に把握することが可能となる。
【００２７】
手術立体映像記録装置 ６２は、この手術映像７６と映像以外の医療情報、例えばバイタル情報を同時に記録することができる。
【００２８】
さらに記録した手術立体映像とバイタル情報（生体情報）は、手術の後に、学会発表や、医学生の学習教材として活用する場合に、手術映像７６とバイタル情報（生体情報）や、その他ＭＲＩなどの関係する医用画像に重畳して記録、編集することにより、図２のように１つの画面に複数の画像を表示できるようになる、
この映像は視線を移動することなく、一見して手術状況を把握することが可能となり、視聴者に対して、より理解しやすいものである。
【００２９】
この手術時の３次元の手術映像を、手術の進行に同期したバイタル情報（生体情報）とともに記録、編集したデータを再生するシステムが手術立体映像表示システムである。
【００３０】
図１に手術立体映像表示システムの構成図を示す。
【００３１】
この手術立体映像表示システム１は、手術の映像情報を３次元手術映像として記録し、前記手術時のバイタル情報を前記３次元手術映像に対して手前側に表示可能に記録したデータ担体２と、このデータ担体２を再生して、バイタル情報を３次元手術映像に対して手前側に表示可能に合成する構成とした手術立体映像再生装置３と、この手術立体映像再生装置３からの３次元映像信号を、バイタル情報を３次元手術映像に対して手前側に３次元表示する表示部を備えた手術立体映像表示装置４と、より構成されている。
【００３２】
上記システム構成において、手術立体映像表示装置４の表示部５の表示画面を図２に示す。
【００３３】
手術立体映像表示装置４の表示部５の表示画面には、３次元内視鏡カメラで記録した手術映像６が立体的に３次元表示されている。
【００３４】
３Ｄ内視鏡カメラを用いた手術映像６は、手術医の距離感を認識しやすくするために、奥行き方向に対して立体的に表示している。
【００３５】
たとえば、図２においては、手術医が鉗子７を操作しながら鉗子７の先端で患部を摘出する手術の模様を表示しているのであるが、画面中央奥に表示される患部８と、鉗子７の先端部分との距離感を認識しやすくするために、患部の手術映像６を奥行き方向に立体的に表示している。
【００３６】
このように、内視鏡カメラからの手術映像６を奥行き方向に立体的に表示することで、手術医は、あたかも肉眼で手術しているかのごとく、患部と処置具との距離感をつかみやすくなるので、内視鏡手術を容易に行うことができるのである。
【００３７】
実際の手術中については、この手術映像６は、１台の表示装置に手術映像６のみを表示するのであるが、手術の経過に伴う、心電図などのバイタル情報（生体情報）や、手術に関連する、Ｘ線画像や、ＣＴ画像などの医用画像を、手術映像６に重畳して表示する表示方法もある。この表示方法であれば、手術映像６を見ながら、バイタル情報（生体情報）や、医用画像を視線を移動することなく同時に見ることができるので、手術の様子をより容易に把握することが可能となる。特に手術の後に、この手術映像６を学会発表や、医学生の学習教材として活用する場合には、バイタル情報（生体情報）や、医用画像を手術映像６に重畳して表示することにより、視線を移動することなく、一見して手術状況を把握することが可能となるので、視聴者に対して、より理解しやすいものとなる。
【００３８】
しかしながら、立体的な手術映像６に、平面的なバイタル情報（生体情報）や医用画像を重畳して表示すると、立体度を与えた手術映像６に対して、バイタル情報（生体情報）、医用画像が後方側、もしくは、埋もれた立体位置に結像した場合は、バイタル情報（生体情報）、医用画像が手術映像６に対して、立体的に干渉した状態で表示することになるので、バイタル情報（生体情報）、医用画像が見難くなってしまう。あるいは、手術映像６の奥行き方向の認識がしづらくなってしまうのである。その結果、視聴者に強い違和感を与え、３Ｄ酔いなどを生じさせるという課題がある。
【００３９】
この課題を解決するために、バイタル情報（生体情報）９、医用画像１０は、図２に示すように、３次元の手術映像６に対して手前側に結像して表示している。さらには、バイタル情報（生体情報）、医用画像を手前側に出てくるように立体的に３次元表示することによって、手術映像６との干渉を避けることができるので、バイタル情報（生体情報）９、医用画像１０がより見やすくなり、また、手術映像６の奥行き感がより認識しやすくなるのである。
【００４０】
では、次にどのように上記表示画面を表示可能にするかについてのシステム構成について説明する。
【００４１】
図３にデータ担体２の論理フォーマットを示す。
【００４２】
データ担体２の映像情報の論理フォーマットは、メニュー情報１１を格納するＩＧ＿ＰＬＡＮＥ１２と、このメニュー情報１１を表示画面に対して、どの位置に立体的に結像するのかのオフセット情報を格納するＩＧ＿ＯＦＦＳＥＴ１３と、字幕ストリームを格納するＰＧ＿ＰＬＡＮＥ１４と、この字幕ストリームを表示画面に対して、どの位置に立体的に結像するのかのオフセット情報を格納するＰＧ＿ＯＦＦＳＥＴ１５と、３次元映像情報の左視野の情報１６を格納するＶＩＤＥＯ（Ｌ）＿ＰＬＡＮＥ１７と、３次元映像情報の右視野の情報１８を格納するＶＩＤＥＯ（Ｒ）＿ＰＬＡＮＥ１９により構成されている。
【００４３】
このＰＧ＿ＰＬＡＮＥ１４にバイタル情報９と、医用画像１０の映像情報を格納する。ＰＧ＿ＰＬＡＮＥ１４に格納可能なストリームは１種類のストリームのみになるので、バイタル情報９と、医用画像１０を格納する場合は、ストリーム上に時間軸上交互に格納していくことになる。
【００４４】
特に医用画像１０の映像は、ＣＴ画像やＸ線画像などの静止画であるので、バイタル情報９と比較して変化しないものなので、バイタル情報９に対して、かなり間引いた間隔で格納してもよい。
【００４５】
バイタル情報９と、医用画像１０を表示画面に対して、立体的にどの程度手前側に飛び出して結像するのかについては、ＰＧ＿ＯＦＦＳＥＴ１５に格納したオフセット値を参照する。
【００４６】
このＰＧ＿ＰＬＡＮＥ１４の出力データは、ＶＩＤＥＯ（Ｌ）＿ＰＬＡＮＥ１７と、
ＶＩＤＥＯ（Ｒ）＿ＰＬＡＮＥ１９の映像ストリームに対して、時間軸上同期して記録可能なフォーマットとなっている。
【００４７】
すなわち手術用映像Ｌと、手術用映像Ｒが、１フレーム毎に、手術立体映像再生装置３のスイッチ３０２によって交互に切り換えられて出力されたタイミングで、ＰＧ＿ＯＦＦＳＥＴ１５が手術立体映像再生装置３の加算器３０１で合成されるように構成されている、
また、この手術立体映像再生装置３のスイッチ３０２の切り換えタイミングによって、医用画像１０とバイタル情報９の入力の切り換えや、それぞれのＰＧ＿ＯＦＦＳＥＴ１５のオフセット値の切り換えを行うことで、処理を簡単にすることができる。
【００４８】
尚、データ担体２については、可換型記録媒体であり、例えば、光ディズク、半導体メモリーなどがある。
【００４９】
次に、手術立体映像再生装置３の構成について説明をする。
【００５０】
図４は、手術立体映像表示システム１の制御ブロック図を示したものである。
【００５１】
手術立体映像再生装置３は、データ担体２を読み取るデータ読み取り部２０で読み取られる。次に、このデータ読み取り部２０からのデータは、データ分離部２１によって、３次元の手術映像６の信号と、バイタル情報９、および医用画像１０と、メニュー信号に分分けられる。
【００５２】
次に、分離された３次元の手術映像６の信号は、手術ストリームＬ処理部２２、手術ストリームＲ処理部２３にて３次元表示可能に処理される。
【００５３】
また、分離されたバイタル情報９、および医用画像１０の信号は、バイタルストリーム処理部２４において、ＰＧ＿ＯＦＦＳＥＴ１５のオフセット値の分、表示画面に対して、立体的に３次元表示可能に処理される。同様に、メニュー信号も、メニューストリーム処理部２５において、ＩＧ＿ＯＦＦＳＥＴ１３のオフセット値の分、表示画面に対して、立体的に３次元表示可能に処理される。
【００５４】
上記、３次元可能に処理された手術映像、バイタル情報、メニュー情報は、立体映像合成部２６において、１つの表示画面に３次元表示可能に合成される。
【００５５】
次に、立体映像合成部２６で合成された映像は、映像出力部２７から、手術立体映像表示装置４に送られる。手術立体映像表示装置４では、表示制御部２８で表示可能に処理され、表示部５の表示画面にバイタル情報（生体情報）９、医用画像１０は、図２に示すように、３次元の手術映像６に対して手前側に結像して表示する。さらには、バイタル情報（生体情報）９、医用画像１０を手前側に出てくるように立体的に３次元表示して映される。
【００５６】
図５に手術立体映像表示システム１の制御フローを示す。
【００５７】
制御フローは、データ担体２をデータ読み取り部２０で読み取る第１の工程（Ｓ１）。このデータ読み取り部２０からのデータは、データ分離部２１によって、３次元の手術映像６の信号と、バイタル情報９、および医用画像１０と、メニュー信号に分けられる第２の工程（Ｓ２）。
【００５８】
次に、分離された３次元の手術映像６の信号は、手術ストリームＬ処理部２２、手術ストリームＲ処理部２３にて３次元表示可能に処理され、また、分離されたバイタル情報９、および医用画像１０の信号は、バイタルストリーム処理部２４において、オフセット値の分、表示画面に対して、立体的に３次元表示可能に処理される第３の工程（Ｓ３）。
【００５９】
次に、３次元可能に処理された手術映像、バイタル情報、メニュー情報は、立体映像合成部２６において、１つの表示画面に３次元表示可能に合成される第４の工程（Ｓ４）。
【００６０】
次に、立体映像合成部２６で合成された映像は、表示部５の表示画面にバイタル情報（生体情報）９、医用画像１０は、３次元の手術映像６に対して手前側に結像して表示する第５の工程（Ｓ５）により制御することになる。
【００６１】
上記制御フローにしたがって、手術立体映像表示システム１のプログラムは実行されることになる。
【００６２】
以上のように本発明の実施形態では、手術の映像情報を３次元の手術映像６として記録し、前記手術時のバイタル情報９と医用画像１０を３次元の手術映像６に対して手前側に表示可能に記録したデータ担体２としたので、３次元の手術映像６の奥行き感を認識しやすく、また前記バイタル情報９と医用画像１０は、３次元の手術映像６に対して手前側に表示したので、手術映像６に埋もれることなく、認識しやすいものとなるのである。
【産業上の利用可能性】
【００６３】
以上のように本発明は、手術の映像情報を３次元手術映像として記録し、前記手術時のバイタル情報を前記３次元手術映像に対して手前側に表示可能に記録したデータ担体としたので、３次元の手術用映像の奥行き感を認識しやすく、また前記バイタル情報は、前記３次元の手術用映像に対して手前側に表示したので、手術用映像に埋もれることなく、認識しやすいものとなる。
【００６４】
この点を、さらに詳細に説明をすると、手術用映像は、臨場感を出すためにも３次元映像であることが好ましいが、バイタル情報は本来、２次元映像であるので、このバイタル情報は、上述した３次元の手術用映像よりも手前に表示させることとし、その結果、バイタル情報が３次元の手術用映像に対して埋もれた状態で表示されることは無く、これにより、このバイタル情報も見やすくなり、その結果として使い勝手の良いものとなるのである。
【００６５】
したがって、手術中の患部の映像を立体的に表示、記録することが求められる３Ｄ内視鏡等の手術の記録表示装置への適用が大いに期待されるものである。
【符号の説明】
【００６６】
１  手術立体映像表示システム
２  データ担体
３  手術立体映像再生装置
４  手術立体映像表示装置
５  表示部
６  手術映像
７  鉗子
８  患部
９  バイタル情報（生体情報）
１０  医用画像
１１  メニュー情報
１２  ＩＧ＿ＰＬＡＮＥ
１３  ＩＧ＿ＯＦＦＳＥＴ
１４  ＰＧ＿ＰＬＡＮＥ
１５  ＰＧ＿ＯＦＦＳＥＴ
１６  左視野の情報
１７  ＶＩＤＥＯ（Ｌ）＿ＰＬＡＮＥ
１８  右視野の情報
１９  ＶＩＤＥＯ（Ｒ）＿ＰＬＡＮＥ
２０  データ読み取り部
２１  データ分離部
２２  手術ストリームＬ処理部
２３  手術ストリームＲ処理部
２４  バイタルストリーム処理部
２５  メニューストリーム処理部
２６  立体映像合成部
２７  映像出力部
２８  表示制御部
３０１  加算器
３０２  スイッチ
６１  ３Ｄ内視鏡
６２  手術立体映像記録装置
６３  バイタルモニタ
６４  手術立体映像表示装置
７５  表示部
７６  手術映像
７７  鉗子
７８  患部
【図１】
2014094124.tif 000003
【図２】
2014094124.tif 000004
【図３】
2014094124.tif 000005
【図４】
2014094124.tif 000006
【図５】
2014094124.tif 000007
【図６】
2014094124.tif 000008
【図７】
2014094124.tif 000009