(57)【要約】  手術映像表示装置が、複数のカメラを用いて、異なる視点で同じ術野を撮影した複数の映像データを取得する取得部と、各映像データの各フレームの画像について、画像内に前記術野が写っている度合いである術野露出度を評価する評価部と、フレームごとに、前記複数の映像データそれぞれの画像の術野露出度に基づいて、前記複数の映像データの中から映像データを選択する選択部と、前記選択部により選択された映像データの画像をディスプレー装置に表示する映像表示部と、を備える。
2019130889.tif 000002
【特許請求の範囲】
【請求項１】
手術映像表示装置であって、
複数のカメラを用いて、異なる視点で同じ術野を撮影した複数の映像データを取得する取得部と、
各映像データの各フレームの画像について、画像内に前記術野が写っている度合いである術野露出度を評価する評価部と、
フレームごとに、前記複数の映像データそれぞれの画像の術野露出度に基づいて、前記複数の映像データの中から映像データを選択する選択部と、
前記選択部により選択された映像データの画像をディスプレー装置に表示する映像表示部と、
を備えることを特徴とする手術映像表示装置。
【請求項２】
前記評価部は、画像から、前記術野、前記術野の周囲に存在し得る物、及び、前記術野を遮る物のうち少なくともいずれかを検出し、その検出結果に基づいて前記画像の術野露出度を評価する
ことを特徴とする請求項１に記載の手術映像表示装置。
【請求項３】
前記評価部は、画像から、前記術野の周囲に存在し得る物として、手の検出を行い、手が検出されなかった画像よりも、手が検出された画像の方が、術野露出度が大きいと評価する
ことを特徴とする請求項２に記載の手術映像表示装置。
【請求項４】
前記評価部は、画像から検出された手の数が多いほど、術野露出度が大きいと評価する
ことを特徴とする請求項３に記載の手術映像表示装置。
【請求項５】
前記評価部は、画像から、前記術野を遮る物として、帽子の検出を行い、帽子が検出されなかった画像よりも、帽子が検出された画像の方が、術野露出度が小さいと評価する
ことを特徴とする請求項２に記載の手術映像表示装置。
【請求項６】
前記評価部は、画像から検出された帽子の領域の面積が大きいほど、術野露出度が小さいと評価する
ことを特徴とする請求項５に記載の手術映像表示装置。
【請求項７】
前記評価部は、画像から、前記術野として、切開部の検出を行い、切開部が検出されなかった画像よりも、切開部が検出された画像の方が、術野露出度が大きいと評価する
ことを特徴とする請求項２に記載の手術映像表示装置。
【請求項８】
前記評価部は、画像から、前記術野として、所定の色条件を満たす領域の検出を行い、前記所定の色条件を満たす領域の面積が大きいほど、術野露出度が大きいと評価する
ことを特徴とする請求項２に記載の手術映像表示装置。
【請求項９】
前記評価部は、画像から、前記術野として、所定の輝度条件を満たす領域の検出を行い、前記所定の輝度条件を満たす領域の面積が大きいほど、術野露出度が大きいと評価する
ことを特徴とする請求項２に記載の手術映像表示装置。
【請求項１０】
前記選択部は、前記複数の映像データの中から、画像の術野露出度が最も大きい映像データを選択する
ことを特徴とする請求項１〜９のうちいずれか１項に記載の手術映像表示装置。
【請求項１１】
前記選択部は、画像の術野露出度を可及的に大きくし、且つ、映像データの切り替え頻度を可及的に少なくするように設定された最適化問題を解くことによって、選択する映像データを決定する
ことを特徴とする請求項１〜９のうちいずれか１項に記載の手術映像表示装置。
【請求項１２】
前記映像表示部は、前記選択部により選択された映像データの画像から前記術野を含む領域を抽出し、前記抽出した領域をディスプレー装置に拡大表示する
ことを特徴とする請求項１〜１１のうちいずれか１項に記載の手術映像表示装置。
【請求項１３】
各カメラの視点の情報に基づいて、各カメラで撮影された映像データの画像を基準の視点から視た画像へと変換する画像変換部をさらに有し、
前記映像表示部は、前記画像変換部により変換された後の画像をディスプレー装置に表示する
ことを特徴とする請求項１〜１２のうちいずれか１項に記載の手術映像表示装置。
【請求項１４】
前記術野を照明するための無影灯をさらに有し、
前記複数のカメラが前記無影灯に設けられている
ことを特徴とする請求項１〜１３のうちいずれか１項に記載の手術映像表示装置。
【請求項１５】
手術映像表示装置の制御方法であって、
複数のカメラを用いて、異なる視点で同じ術野を撮影した複数の映像データを取得するステップと、
各映像データの各フレームの画像について、画像内に前記術野が写っている度合いである術野露出度を評価するステップと、
フレームごとに、前記複数の映像データそれぞれの画像の術野露出度に基づいて、前記複数の映像データの中から映像データを選択するステップと、
前記選択された映像データの画像をディスプレー装置に表示するステップと、
を有することを特徴とする手術映像表示装置の制御方法。
【請求項１６】
請求項１５に記載の制御方法の各ステップを手術映像表示装置が備えるプロセッサに実行させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを非一時的に記憶しているコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外科手術などの手技の映像を多視点カメラで撮影し、ディスプレー上に表示する映像を選択するシステムに関する。
【背景技術】
【０００２】
従来、多視点映像のコンテンツを視聴する際の視点を手軽に選ぶことができる視聴インタフェースとして視対象中心の釘づけ視聴インタフェースがすでに提案されている（たとえば非特許文献１）。しかし、これはスポーツや演芸などを行う人間の全身をあらゆる角度から見ることを想定しているものであり、施術者の手元の操作をあらゆる角度から見ることを想定しているものではない。カメラと撮影対象との間に障害物がなければ、どの映像を選択しても撮影対象が含まれているので、どの映像を視点の選択肢に含めても問題はない。しかし、外科手術などの手元の操作を撮影する場合には、カメラと手元の間に施術者の頭や体が入り込んでしまい、手元が見えなくなってしまう問題がある。このような映像には情報的価値がなく、多視点映像の視聴インタフェースとして、このような視点の映像を選択肢に含めるべきではない。視点を選択する際に、情報的価値のない映像を選択してしまった場合には、改めて視点を選択し直さなければならなくなる。
なおこの明細書では、施術者とは、外科医を初めとして
「もの作り
・家具職人 ・刃物職人 ・彫金師 ・炭焼き職人 ・織布技術者
・ガラス製品製造工・窯業技術者 ・七宝工 ・れんが、かわら類製造工
・鋳物工 ・ろうそく製造工 ・金型製作工 など
伝統工芸
・ガラス吹き工 ・人形作家 ・金工 ・竹工芸師 ・刀匠 ・ろう細工職人 ・友禅染
・仏壇、仏具職人 ・和傘職人 ・花火師 ・書道用品の職人 ・和紙職人 ・指物師
・押絵羽子板職人 ・かざり師 ・陶芸家 ・鬼瓦職人 ・漆職人 ・ちょうちん、うちわ、扇子職人
・表具技能士 ・弓、矢師 ・面職人（能面・狂言面・神楽面）・漆器工 など
建築・土木
・左官 ・大工 ・石工 ・宮大工 ・塗装工 ・板金工
・畳職人 ・溶接工 ・電気工事士 ・造園師（庭師） など
食関連
・調理師 ・寿司職人 ・和菓子職人 ・塩職人 ・豆腐職人 ・パン職人 ・清酒製造工
・蕎麦職人 ・コーヒー焙煎の職人 ・味噌職人 ・醤油職人 ・ワイン製造工
・豆腐職人
サービス（ファッション、医療）
・美容師 ・理容師 ・クリーニング師 ・靴職人 ・和裁士 ・エステティシャン
・トータルビューティシャン ・着物着付け師 ・製革工 ・皮革製衣服仕立工
・整体師 ・柔道整復師 ・カイロプラクター ・あん摩マッサージ指圧師
・はり、きゅう（鍼・灸）師 ・手品師  など
芸術
・画家  ・書道家  など」を意味する。【０００３】
以上のように、外科手術などの手元の操作の多視点映像のコンテンツを視聴する際には、視聴インタフェースにおいて、障害物によって手元が見えなくなっている映像は選択肢から除かれていることが望ましい。【０００４】
また、手術などの医療行為に際しては照明が用いられる。この照明には、治療対象患部に、施術者の身体、特に、頭、腕、手など、および手術器械の陰が生じないようにするため、無影灯が通常用いられている。
この無影灯としては、天井から懸垂するアームの先端に取り付けられ、移動および傾動が可能な円形の支持基体と、この支持基体の中央に配置された中央灯と、この中央灯の周囲に配置され、前記支持基体に取り付けられた複数の周囲灯を備えた構造のものが多く用いられている。
ところで、施術中において、次の手術器械の準備を行う等の施術を補助する者、別室で手術の進行状況を把握する者は、直接、治療患部を観察することができないため、撮影映像により治療患部の状態を知るのが通常である。
このとき、カメラが用いられるが、このカメラは、無影灯の移動、傾動とともに、移動、傾動するのが便利なことから、該無影灯に取り付けられることが多い。無影灯にカメラを備えた例として、特開２０００−１０２５４７号公報（特許文献１）、国際公開第２０１５／１７３８５１号（特許文献２）が提案されており、無影灯の中央の光源に近接した位置、もしくは無影灯を操作するハンドル部の内部にカメラが設けられている。
この構造のカメラ付き無影灯を用いての施術の場合、治療対象患部に照明が当たっていたとしても、撮影映像では施術者の身体、特に、頭、腕、手など、および手術器械などが映り込んでしまい、該患部が映っていないという状況が生じる。以下に、この課題について詳述する。【０００５】
手術における治療対象患部の撮影においては、治療者である施術者の覗き込み動作、手や指の動きまたは手術器械等により、撮影対象である治療対象患部が隠れてしまう視野障害が生じる。視野障害を避けて撮影を完遂するためには、手術中に絶え間なく変化する、治療対象患部と、撮影の障害となりうる施術者、手術器械などとの位置関係に合わせて、カメラの位置、方向、画角を調整することが必要である。ただし実際には、治療対象患部と障害物の位置の変化に合わせて、直ちにカメラの操作を行うことは困難であり、以下に困難を生じる要因を挙げる。【０００６】
まず、手術室の現場で上記のようなカメラの操作のための人員を配置することが困難であることが挙げられる。執刀医や助手として手術に参加する外科医である施術者、手術器械を施術者に手渡す器械出し看護師は、手術の進行に集中しているため、撮影映像の状況を術中に把握することは困難である。手術室には、器械出し看護師に追加の手術器械を差し出す外回り看護師が配置されており、業務の合間にカメラの操作を行う場合もある。それでも、治療対象患部と障害物の位置が変わるたびに、直ちにカメラの操作を行うことは困難である。【０００７】
次に、カメラの位置を変化させることが困難である状況があることが挙げられる。手術の場では、治療対象患部は消毒され、手術用ベッドに横たわる患者は滅菌された布で覆われており、施術者、器械出し看護師は手術衣の上に滅菌ガウンを着ており、その周囲には滅菌された手術器械を置く器械台が配置されている。治療対象患部の撮影にあたり、カメラはこれら滅菌状態の人や物に触れることは許されず、カメラが配置されうるのは治療対象患部の真上付近であるか、滅菌状態の人や物からさらに離れた位置となる。また無影灯は通常では治療対象患部の真上付近に配置される。カメラが治療対象患部の真上付近にある場合、カメラの位置を操作しうる外回り看護師は滅菌ガウンを着用していないので、滅菌状態の人や物に触れることなくカメラに近づくことは困難である。【０００８】
また、特許文献１、特許文献２のように、無影灯に１台のカメラを備えるのみでは、治療対象患部に照明が当たっているものの、カメラと治療対象患部の間に施術者の頭や手などの障害物が介在することによって視野障害が生じる状況が生じうる。このとき、障害物を避けて治療対象患部を撮影するためにはカメラの位置を操作する必要があるが、特許文献１、特許文献２のいずれも、カメラと無影灯が同一の筐体に備わっているために、施術者の動作に合わせてカメラの位置、方向を操作する場合に、これに連動して無影灯の位置、方向も変わってしまい、治療対象患部に照明が当たらなくなる困難を生じる。【０００９】
いずれの場合においても共通することは、手術室では、安全な手術の完遂が、良好な映像の撮影よりも優先されるということであり、カメラの操作よりも、治療対象患部への安定した照明が優先される。これらの理由から、特許文献１、特許文献２のいずれのカメラも、障害物による視野障害を避けて治療対象患部の撮影を遂行することは困難である。【００１０】
また、撮影中に障害物によるカメラの視野障害が生じたときには、施術者は手術の進行に集中しており、ディスプレーを同時に見ることは不可能であるので、カメラの視野障害が生じていることに気づくことは困難であり、撮影が遂行されていない状況のまま、手術は進行してしまう。【００１１】
一方で、医療の現場で求められる手術の映像において、最も必要な情報は治療対象患部への医療操作の内容であって、撮影映像の視聴者がこれを正確に随時把握するためには、施術者の頭や体、腕や手などの撮影の視野障害を避けて、治療対象患部の撮影を遂行する必要がある。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０００−１０２５４７号公報
【特許文献２】国際公開第２０１５／１７３８５１号
【特許文献３】特開２０１２−１２０８１２号公報
【非特許文献】
【００１３】
【非特許文献１】間瀬健二、東海彰吾、川本哲也、藤井俊彰、"多視点画像の釘付け視聴方式と操作インタフェースのデザインに関する考察"、ヒューマンインタフェース学会研究報告集、Vol.11、No.1、pp.7-12、 2009.3.10-11 .
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、上記のような必要性や状況に鑑みてなされたものであり、本発明の目的は、手術映像を表示する際に視野障害を可及的に回避するための技術を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明は、複数のカメラを用いて、異なる視点で同じ術野を撮影した複数の映像データを取得する取得部と、各映像データの各フレームの画像について、画像内に前記術野が写っている度合いである術野露出度を評価する評価部と、フレームごとに、前記複数の映像データそれぞれの画像の術野露出度に基づいて、前記複数の映像データの中から映像データを選択する選択部と、前記選択部により選択された映像データの画像をディスプレー装置に表示する映像表示部と、を備えることを特徴とする手術映像表示装置を提供する。
【発明の効果】
【００１６】
本発明によれば、手術映像を表示する際に視野障害を可及的に回避することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は本願の第１の発明の構成の一例を示す図である。
【図２】図２は本願の第１の発明において映像を選択するアルゴリズムの一例を示すフローチャートである。
【図３】図３は本願の第１の発明において手の認識領域から平均点を算出するアルゴリズムの一例を示すフローチャートである。
【図４】図４は本願の第１の発明装置において画像に含まれる手の領域を検出した認識領域の一例を示す図である。
【図５】図５は本願の第１の発明装置において、画像に含まれる手の領域を検出し、各領域の中心点を求め、これら各領域の中心点の座標の平均から平均点を算出し、画像の中心点との距離を計算する過程の一例を示す図である。
【図６】図６は本願の第１の発明装置において、画像に含まれる手の領域を検出し、各領域の中心点を求め、これら各領域の中心点の座標の平均から平均点を算出し、画像の中心点との距離を計算する過程の一例を示す図である。
【図７】図７は本願の第１の発明装置において、画像に含まれる手の領域を検出し、各領域の中心点を求め、これら各領域の中心点の座標の平均から平均点を算出し、画像の中心点との距離を計算する過程の一例を示す図である。
【図８】図８は本願の第２の発明の実施形態によるカメラシステムの概略図である。
【図９】図９は複数のカメラの映像の中から、操作装置によってディスプレー装置に表示する映像を選択する構成を示す図である。
【図１０】図１０は複数のカメラの映像を同時に録画ユニットで記録する構成を示す図である。
【図１１】図１１は同時に撮影された複数の映像を、共通の撮影日時で記録して、同時に再生する実施形態例を示す図である。
【図１２】図１２は操作ハンドルの回転によって、周囲カメラユニットの傾動ユニットを傾動させる実施形態例を示す図である。
【図１３】図１３は本発明装置にカメラの映像の方向を知らせるガイド光照射装置を備えた場合に、撮影対象に照射するガイド光の実施形態例を示す図である。
【図１４】図１４は本発明装置にマイクを備えた実施形態例である。
【図１５】図１５は同時に取得された複数の映像と音声を、共通の撮影日時で記録して、同時に再生する実施形態例を示す図である。
【図１６】図１６は本発明装置に半天球カメラを備えた実施形態例である。
【図１７】図１７は操作ハンドルに光源、画角、ピントの自動調節、録画ユニット、録音装置の操作装置を備え、焦点距離操作装置がモニター機構の操作装置例からの入力もしくはユニット基体の傾動によってピントの自動調節を作動する本発明装置の実施形態例である。
【図１８】図１８は記録された複数の映像および音声を、共通の撮影日時の範囲で切り出して、複数の分割データとして出力する構成を示す図である。
【図１９】図１９はディスプレー装置が映像障害を認識したときに映像を切り替えるアルゴリズムの一例を示すフローチャートである。
【図２０】図２０は距離計測装置とモニター機構に備えるCPUよってディスプレー装置に表示する映像を選択する構成を示す図である。
【図２１】図２１は動画データ、音声データの内容を自動認識して文字列データを作成し、撮影時間情報に文字列のタグ情報を付加してリストデータを作成する構成を示す図である。
【図２２】図２２は第３の発明に係る手術映像表示装置の構成例を示す図である。
【図２３】図２３は第３の発明に係る情報処理装置の処理の一例を示すフローチャートである。
【図２４】図２４Ａ及び図２４Ｂは術野の上方に設置されたカメラから取り込まれた画像の例を示す図である。
【図２５】図２５はフレーム毎の術野露出度の変化と、表示する画像の切り替えの例を示す図である。
【図２６】図２６はダイクストラ法を応用した画像の切り替え制御アルゴリズムの例を示す図である。
【図２７】図２７は第３の発明に係る手術映像表示装置の他の構成例を示す図である。
【発明を実施するための形態】
【００１８】
＜第１の発明＞
本願の第１の発明は、複数のビデオカメラで撮影された画像データおよび時間領域に配置されたフレーム列である動画像（映像）データについて、情報処理装置において手を対象とした画像認識を行うことで、手が映像に表示されているものを選択し、もしくは手が映像に表示されていないものを選択しないことで、映像表示部に表示される映像を予め選別して視聴者に提示する。
【００１９】
本願の第１の発明は、上記のような構成により、手術などの手技に関わる多視点映像の効果的な視聴を支援する機能を提供するものであり、手が障害物によって隠れていたり、カメラの画角から外れてしまったりして映っていないような、情報的価値のない映像を予め選択肢から除き、もしくは手が多数、画面の中心付近に映っているような情報的価値の大きい映像を予め選択して提示することで、視聴者が多くの選択肢のなかから適切な映像を選択する際のストレスを軽減する効果が期待される。
【００２０】
本願の第１の発明を具体化した実施形態を、以下図面を参照して詳細に説明する。図は説明の都合上模式的に描いてある。なお、本発明の実施の形態に係る多視点映像視聴システムの応用範囲は、以下に示す構成に限定されるものではなく、任意の構成に応用できる。
【００２１】
図１は１台の主カメラ１２と２台の副カメラ１４からなる３台のビデオカメラで被写体１０を撮影した３つの映像が、情報処理装置２０の画像取得部２２に送られ、制御部２４によって選択された映像が映像表示部３４を介してディスプレー装置４０に送られる、本発明の実施例を示す。ビデオカメラの数は２台以上であって上限はない。各カメラにはカメラＩＤが付与されている。同時に同一の時間情報を付加した画像データを、それぞれのカメラが自身のカメラＩＤ情報とともに画像取得部２２に送信する。ある時点で制御部２４から映像表示部３４に送られる画像データは、画像取得部２２に入力された複数の画像データのうち、画像認識部２６によって手が認識された手画像データを含む画像データである。画像（映像）選択部３２によって選択され映像表示部３４に送られる画像データの数は１つとは限らず、複数の画像データが選択される場合がある。情報処理装置２０とディスプレー装置４０はＰＣ（パーソナルコンピューター）でもよいし、スマートフォンやタブレット端末であってもよい。後述する情報処理装置２０の処理および機能は、記憶装置又は記憶媒体（例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、磁気ディスクなど）に非一時的に格納されたプログラムを、メモリに展開し、プロセッサ（例えば、ＣＰＵ、ＧＰＵなど）が実行することによって、ソフトウェア的に実現されてもよい。あるいは、情報処理装置２０の処理及び機能の一部が、ＡＳＩＣなどのハードウェアで実現されてもよいし、クラウドサーバなどの他のコンピューターで実行されてもよい。
【００２２】
図２は制御部２４におけるアルゴリズムの例を示すフローチャートである。まず、各ビデオカメラで時間同期して撮影された映像は情報処理装置２０の画像取得部２２に送られ、制御部２４に受け渡される。このとき、制御部２４では、受け渡されたそれぞれの画像データについて、画像認識部２６において、ある時点のフレームにおいて画像に手が表示されている領域である認識領域を認識する（ステップＳ１、図４の５２、５４、５６、５８）。なお画像認識については、従来、デジタルカメラやデジタルビデオカメラなどの撮像装置では、画像上から人の顔や手を検出し、検出した顔を追尾してフォーカスを合わせたり、検出した手の動きに応じて所定の処理を実行したりするものが提案されている。画像から手を認識する方法としては、例えば、色特徴に基づき認識する方法、形状特徴に基づき認識する方法などがある。手術映像が対象画像である場合には、施術者は所定の手術用手袋を装着しているので色特徴を比較的とらえやすい。あるいは、画像認識を容易にするために、特別な色（カメラの視野内に存在する他の物とは明らかに異なる色）の手術用手袋を装着するようにしたり、手術用手袋に画像認識用のマーカーを付しておいてもよい。形状特徴に基づき認識する方法としては、例えば、ＨＯＧ特徴を用いる方法、手のひらと五指からなる構造を認識する方法などがある。また、ディープラーニングなどの機械学習によって、手の認識器を生成してもよい。また、動画像を対象とした画像認識技術として使用することができるものの例として、Ｇｏｏｇｌｅ社が提供しているＣｌｏｕｄ  Ｖｉｄｅｏ  Ｉｎｔｅｌｌｉｇｅｎｃｅや、マイクロソフト社が提供しているＶｉｄｅｏ  ＩｎｄｅｘｅｒなどのＡＰＩ（アプリケーション・プログラミング・インタフェース）が挙げられる。また、ＯｐｅｎＰｏｓｅのような姿勢検出アルゴリズムを利用してもよい。
また、手を認識する画像認識の対象画像として、温度分布を画像として視覚的に表示できるサーモグラフィや、被写体までの距離情報を画像として取得可能なデプスカメラなどを用いて得られた画像データを採用してもよい。
【００２３】
次に、カウント部２８において、各画像データの認識領域の数を数える（ステップＳ２）。次に、平均点算出部３０において、各画像データの認識領域から平均点の座標を算出する（ステップＳ３、図６の７０）。平均点の算出の方法については、後述する。これにより、同一時間における各カメラの画像データのそれぞれに、認識領域の数と、平均点の座標情報が付与された状態となる。これらをもとに、画像（映像）選択部３２において、まずは認識領域の数の最大値を確認する（ステップＳ４）。各画像データのいずれにおいても手が認識されなかった場合、すなわち認識領域の数はいずれの画像データにおいても０である場合には、画像（映像）選択部３２は主カメラ１２の映像である主映像を選択し（ステップＳ９）、映像表示部３４に送信する。なお、視聴者の操作やコンピューターのアルゴリズムによって、副カメラ１４のうちいずれかのカメラを主カメラ１２と定義し直すことが可能であり、同時に、主カメラ１２は副カメラ１４に置き換わることが可能である。
【００２４】
ステップＳ４において認識領域の数の最大値が１以上である場合には、画像（映像）選択部３２は認識領域の数が最大値となる画像データを選択する（ステップＳ５）。このとき、選択される画像データは複数であるかどうかを確認する（ステップＳ６）。認識領域の数が最大値となる画像データが１つだけであれば、画像（映像）選択部３２はこの画像データを含む映像を選択して、映像表示部３４に送信する。認識領域の数が最大値となる画像データが２つ以上であれば、画像（映像）選択部３２は、これら画像のそれぞれについて、前記平均点の座標から画像の中心点との距離を算出し（図７の９０）、この距離が一番小さくなる画像データを含む映像を選択して、映像表示部３４に送信する。
【００２５】
図３は平均点算出部３０において、各画像データの認識領域から平均点の座標を算出するアルゴリズムの例を示すフローチャートである。まず、平均点算出部３０は各画像データについてカウント部２８で得られた認識領域の数を確認する（ステップＳ３１）。認識領域の数が０、すなわち手が認識されなかった画像データについては、平均点は算出されない（ステップＳ３６）。認識領域の数が１以上であれば、平均点算出部３０は画像認識部２６で検出された認識領域の座標情報から、それぞれの領域の中心点の座標を算出する（ステップＳ３２。図５に領域を矩形で認識する場合の例を示す。この場合、中心点は矩形の４つの角の座標の平均となる座標に等しい）。次に、認識領域の数が２以上であるかどうかを確認する（ステップＳ３３）。認識領域の数が１の場合は、この領域の中心点が、このカメラ画像の平均点となる（ステップＳ３５）。認識領域の数が２以上の場合は、各認識領域の中心点のすべて座標から、平均値を算出し、これを平均点の座標と定義する（ステップＳ３４、図６の７０）。
【００２６】
なお図２、図３に示したアルゴリズムは一例であって、それぞれのステップの順が入れ替わったり、ステップが追加・削除されたりしても、期待した結果、すなわち、手が認識されない映像が選択されなかったり、手が多く含まれている映像や、手が映像の中心を囲むように配置されている映像が選択されるようなアルゴリズムであれば、本願発明の範囲に含まれ得る。
【００２７】
また、画像取得部２２に送られた映像について、制御部２４が画像認識から映像の選択を行う処理を行う対象は、全てのフレームの画像データである必要はなく、処理が行われる時間の間隔は、５秒ごと、１０秒ごとなど、視聴者の選択やコンピューターのアルゴリズムによって、調整されうる。
【００２８】
図４は画像認識部２６によって、手が認識された領域である認識領域５２、５４、５６、５８の一例を示す図である。この図では該認識領域が矩形である場合を示しているが、認識領域の形状は、楕円や多角形など、どのような形状でもよい。また、分かりやすいように画面に矩形を示しているが、実際のユーザー・インターフェースとしては、矩形は前記ディスプレー装置に表示されなくてもよく、内部的にコンピューター処理が行われていればよい。また、例えば手術を撮影の対象とする場合には、手を治療の対象とする場合もあり、この場合には治療対象の手を認識領域に含めることは望ましくない。よって、画像認識手段においては、手袋を装着した手と、手袋を装着しない手を区別して認識できるものを採用してもよい。
【００２９】
図５は平均点算出部３０によって、前記認識領域５２、５４、５６、５８の中心点６２、６４、６６、６８を求めた例を示す図である。該認識領域５２、５４、５６、５８が矩形である場合、該中心点６２、６４、６６、６８は矩形の４つの角の座標を平均して求める場合や、対角線の交点を求める場合がある。該中心点の求め方には他にも多くの場合があるが、結果として該中心点と同一もしくは近似される点が算出されるのであれば、どのような方法をとってもよい。また、認識領域が矩形でない場合には、認識領域の面積を算出して、この重心となるような点を中心点とするような方法をとってもよい。
【００３０】
図６は前記平均点算出部３０によって、前記中心点６２、６４、６６、６８の平均点７０を求めた例を示す図である。該平均点７０の座標は、前記中心点６２、６４、６６、６８について、それぞれの座標の値から平均値を算出して得られた座標として算出すればよい。
【００３１】
図７は前記平均点算出部３０によって算出された前記平均点７０の座標から、画像（映像）選択部３２によって該平均点７０と映像の中心の点８０との距離を求めた例を示す図である。なお、この図における距離とはｘ座標とｙ座標の両者を考慮して算出したものを示しているが、例えば、ｘ座標もしくはｙ座標のいずれか一方を利用して算出してもよい。また、該平均点７０と映像の中心の点８０との距離９０を求めるのは、上記の構成のように画像（映像）選択部３２で行ってもよいし、前記平均点算出部３０で予め該平均点７０と映像の中心点８０との距離９０を算出してもよく、この場合には、該距離９０の値を前記画像（映像）選択部３２に受け渡して、映像の選択に利用してもよい。
【００３２】
第１の発明は、以下のように捉えることができる。
（１）施術者の手により、対象物を処理する際の状態を示す多視点の複数の映像データを得、該映像データを処理しディスプレー装置で表示する多視点映像視聴システムにおいて、
異なった視点で、対象物を処理する施術者の手を同時並行して撮影し、連続する多数の画像データからなる映像データを出力する複数のビデオカメラと、
前記複数のビデオカメラで同時に撮影した複数の映像データを受け取り、処理する情報処理装置を備え、
前記情報処理装置は、
多重受信した複数の映像データについて、個々の画像データを探知し、個々の画像データ中の手に関する手画像データを認識する画像認識部と、
前記複数の画像データの中から、時系列に、前記画像認識部によって手画像データが認識された画像データを選択する画像選択部、および
前記画像選択部により時系列に選択された画像データを前記ディスプレー装置に送信する映像表示部
を備えていることを特徴とする多視点映像視聴システム。
（２）前記映像表示部は、前記画像選択部により時系列に選択された画像データを繋ぎ合わせる編集を行い、前記ディスプレー装置に出力すべき１つの編集映像データを作成し、この編集映像データを前記ディスプレー装置に送信する（１）に記載の多視点映像視聴システム。
（３）前記情報処理装置はカウント部を備え、個々の画像データについて、前記画像認識部によって手が認識された手画像データの領域である認識領域の数を数え、前記画像選択部に送り、
前記画像選択部は前記認識領域の数が多い画像データを選択して前記映像表示部に送る、（１）又は（２）に記載の多視点映像視聴システム。
（４）前記複数のビデオカメラは、１台の主カメラと１台以上の副カメラからなり、
前記情報処理装置はカウント部を備え、個々の画像データについて、前記画像認識部によって手が認識された手画像データの領域である認識領域の数を数え、前記画像選択部に送り、
前記画像選択部はいずれの映像においても前記認識領域の数が０の場合に、主カメラの画像データを選択して前記映像表示部に送る、（１）〜（３）のいずれかに記載の多視点映像視聴システム。
（５）前記多視点映像視聴システムは、任意の前記ビデオカメラを前記主カメラと定義することができる、（４）に記載の多視点映像視聴システム。
（６）前記画像認識部は手を認識した前記認識領域の表示された位置と画像における領域を出力し、
前記情報処理装置は平均点算出部を備え、前記画像認識部が出力した１つ以上の前記認識領域の中心点から該中心点の平均点を算出し、前記画像選択部に送り、
前記画像選択部は前記平均点が画像の中心点に近い画像データを選択して前記映像表示部に送る、（１）〜（５）のいずれかに記載の多視点映像視聴システム。
（７）前記画像認識部は、手袋を装着した手の画像データのみを認識し、手袋を装着していない手の画像データは認識しない（１）〜（６）のいずれかの多視点映像視聴システム。
（８）施術者の手により、対象物を処理する際の状態を示す多視点の複数の映像データを処理し、ディスプレー装置で表示する映像を選択する方法において、
多重受信した複数の映像データについて、個々の画像データを探知し、個々の画像データ中の手に関する手画像データを認識する画像認識ステップと、
前記複数の画像データの中から、時系列に、前記画像認識ステップによって手画像データが認識された画像データを選択する画像選択ステップと、を有することを特徴とする方法。
（９）（８）に記載の方法が、
前記個々の画像データについて、前記画像認識ステップによって手が認識された手画像データの領域である認識領域の数を数えるカウントステップを有し、
前記画像選択ステップが、前記個々の画像データにおける前記認識領域の数が多い画像データを選択する方法。
（１０）前記複数の映像データは、１つの主映像データと１つ以上の副映像データからなり、
前記画像選択ステップは、いずれの映像データの同時刻における個々の画像データにおいても前記認識領域の数が０の場合に、主映像データの画像データを選択する、（９）に記載の方法。
（１１）（８）〜（１０）のいずれかに記載の方法が、
前記画像認識ステップにおいて手を認識した前記認識領域の表示された位置と画像における領域を出力し、
前記画像認識ステップが出力した１つ以上の前記認識領域の中心点から該中心点の平均点を算出し、
前記画像選択ステップに送る平均点算出ステップを有し、
前記画像選択ステップは前記平均点が画像の中心点に近い画像データを選択する方法。
（１２）前記画像認識ステップは、手袋を装着した手の画像データのみを認識し、手袋を装着していない手の画像データは認識しない（８）〜（１１）のいずれかの方法。
（１３）（８）〜（１２）のいずれかに記載の方法の各ステップを、情報処理装置もしくは画像認識部に実行させるコンピュータープログラム。
（１４）（１３）に記載のコンピュータープログラムを記録したコンピューター読み取り可能な記録媒体。
【００３３】
＜第２の発明＞
次に、本願の第２の発明について説明する。第２の発明の目的は、施術者が撮影を意識せず、手術に集中しながらにして、治療対象患部の撮影を完遂することができ、撮影された映像のいずれかには、高確率に治療対象患部が映っているカメラシステムを提供することにある。
【００３４】
本願の第２の発明は、カメラと複数の光源で構成されるカメラユニットについて、光源による照明の範囲がカメラで撮影される範囲に収まるものとし、このカメラユニットを複数配置して無影灯を構成することで、無影灯の複数の光源の集合の内部に複数のカメラが分散して配置されたものとし、治療対象患部にいずれの光源が当たっていた場合においても、同時にこの光源の近傍に位置するカメラによって撮影が完遂される状況を実現する。この状況においては、施術者は撮影の状況を意識することなく、治療対象患部への安定した照明を保ちながら、カメラの位置を変化させずとも、いずれかのカメラにおいて、治療対象患部の撮影を完遂することが可能である。また治療対象患部への安定した照明を改善するために無影灯が移動した場合においても、治療対象患部の撮影はいずれかのカメラにおいて達成される。
【００３５】
本願の第２の発明は、上記目的を達成するため手術などの医療に際し治療対象患部を撮影する無影灯付きカメラ機構、ならび該カメラ機構で撮影された映像を表示するモニター機構を備えたカメラシステムであり、該無影灯付きカメラ機構は、全体の形態は手術に際して一般に用いられる無影灯と同様であり、複数の光源を備え、一般的な無影灯と同様に、移動および傾斜が可能な全体基体と、該全体基体のほぼ中央に滅菌のカバーを装着できる操作ハンドルを備え、該全体基体の中央部に中央カメラユニット、該中央カメラユニットの周囲に少なくとも１つの周囲カメラユニットを備えることを特徴とする。全体的な形態や構成は一般的な無影灯と同様であり、施術者は一般的な無影灯を操作する感覚で治療対象患部に照明を当てることが可能である。
【００３６】
このとき、前記周囲カメラユニットは、それぞれに備える複数の光源の近傍に周囲カメラを備えており、光源の照明の方向と該周囲カメラの撮影の方向は一致しているため、複数の光源のうちいずれかの照明が治療対象患部に届いている場合には、該患部に到達した光源の近傍に位置する周囲カメラからは、該患部が撮影されている可能性が高い。逆に、照明が治療対象患部に到達していない場合には、撮影されている映像にも該患部は写っていない可能性が高くなるが、該患部に照明が到達していない状況では手術の実施が困難であるので、施術者は前記操作ハンドルを把持して該無影灯付きカメラ機構の前記全体基体を移動および傾動させ、該患部に照明が届くようにすることは、一般的な無影灯における操作と同様であり、この操作によって、該患部がいずれかの光源の近傍のカメラによって撮影される状況に復帰することが可能となる。この操作の間、施術者は撮影の状況を気に留める必要はない。なお、前記周囲カメラユニットには光源が必須であるが、前記中央カメラユニットに光源を設置するかどうかは任意である。
【００３７】
前記モニター機構には複数のカメラの映像が入力され、ディスプレー装置に表示される映像は初期設定では中央カメラのものが望ましいが、手術の状況によっては周囲カメラの映像のほうが多くの情報を有する場合があり、該モニター機構に備える操作装置を操作することで、該ディスプレー装置の映像を切り替えたり、複数の映像を同時に表示したりすることができる。
【００３８】
本願の第２の発明は、上記のような構成により、手術などの医療に関わる動画の効果的な活用を支援する機能を提供するものであり、
・施術者は撮影を意識することなく、従来の無影灯を操作するのと同じ感覚で手術を行うのみで、治療対象患部の撮影を完遂できる。
・撮影のための人員を配置する必要がない。
・障害物によるカメラの視野障害が生じるときには、同時に光源の照明も治療対象患部に届かなくなるため、施術者が視野障害の発生に気付くことができ、照明を当てるために無影灯付きカメラ機構を移動、傾動させることで、視野障害も改善させることができる。
・ディスプレーに、より確実に治療対象患部の映像を表示することが可能となり、手術に関わる外回り看護師、麻酔科医、手術の見学者である医師や学生、手術室の管理者などのスタッフが、より正確な手術の進行状況を、実際に手術が行われている現場を施術者の背後から覗き込まなくても把握でき、手術室の効率的な運営や、汚染の減少による創部感染の発生数の減少などが期待される。
・その他、医療の現場において、手術を含めた医療処置を撮影した映像の用途については、医療事故の原因の究明や、患者へのより具体的な説明による満足度の向上、外科医や若手医療スタッフの教育の改善などの効果が期待できる。
【００３９】
なお歯科医療の領域においては、特開２０１２−１２０８１２号公報（特許文献３）に、複数のビデオカメラによる多視点映像を出力するビデオカメラシステムに無影灯を組み合わせる手段が提案されているが、単純にこの手段を、全身を扱う医科の手術に流用しても、良好な撮影は達成し得ない。
【００４０】
まず、歯科における治療対象患部を多視点から撮影するためには、口腔の入り口である口裂や、上下の切歯の間を通して、少なくとも大臼歯までの深さの構造を複数のカメラで撮影できるように、ビデオカメラを配置する必要がある。口裂は成人男性でも６ｃｍ大程度までの広さであって、上下の切歯間の距離は５ｃｍ程度までであり、第三大臼歯までの深さも６ｃｍ程度である。歯科における診察の体勢で歯科医が無影灯を操作するためには、無影灯は高くても患者から６０〜７０ｃｍの位置にあるので、この距離から口裂や切歯間を通して第三大臼歯を複数の視点から撮影するためには、カメラ間の距離は１５ｃｍ程度以内に配置する必要がある。もちろん、小児や女性などで口が小さい場合には、カメラはより近い位置に配置されていなければならない。これでは、手術の際に視野障害を生じうる施術者の頭の幅よりも狭い距離しかカメラが離れておらず、医科の手術において治療対象患部を撮影することは困難である。医科の手術では、歯科の診療よりも広い身体範囲を治療対象とし、治療に携わるスタッフの人数も多いことから、治療対象患部に良好な照明を当てるためには、無影灯は少なくとも５０ｃｍ大程度の広さに光源を備える必要がある。カメラと光源の位置関係に留意しなければ、この無影灯に複数のカメラを備えたところで、前述したように、治療対象患部に照明は当たっているものの、カメラでは撮影されていない状況が生じる。この状況に気付くためには、第三者がディスプレーを監視する必要があり、撮影が達成されていない状況から復帰するためには、やはり無影灯ごとカメラの位置、方向を操作する必要があり、これは治療の進行に支障を生じ、患者に危害を生じるおそれもある。
【００４１】
次に、本願の第２の発明を具体化した実施形態を、以下図８以降を参照して詳細に説明する。図は説明の都合上模式的に描いてある。
【００４２】
図８はカメラシステム１１０が１台の中央カメラユニット１１６と６台の周囲カメラユニット１２６からなる本発明の実施例を示す。無影灯の光源は中央カメラユニットの光源１２４については必須ではなく、周囲カメラユニットの光源１３２については図１の実施例のように周囲カメラ１３０を取り囲むように配置してもよいし、並列するように配置してもよい。中央カメラ１２２は図８の実施例のように操作ハンドル１２０に並設してもよいし、操作ハンドル内に設置してもよい。各カメラの映像はモニター機構１４０のディスプレー装置１４２に表示される。無影灯付きカメラ機構１１２とモニター機構１４０の数は、最小で１対１であるが、多対１、１対多、多対多のいずれの場合もありうる。モニター機構１４０は手術室において壁面に固定される場合や、カートに乗せて移動可能な場合に限らず、院内ネットワークを介して手術室や医局のスタッフルームに設置される場合、患者の同意があれば他施設に設置されてインターネットを介して手術の状況をライブサージャリーとして視聴される場合がありうる。ディスプレー装置１４２に表示する映像は操作装置１４４を用いて選択が可能である。操作装置１４４はモニター機構１４０に設置されたボタンであったり、マウスやキーボードであったりする場合や、ディスプレー装置１４２がタッチパネルとなっている場合、モニター機構１４０に無線で接続するリモートコントローラーである場合、これらの組み合わせである場合がありうる。リモートコントローラーを滅菌されたビニール袋に入れれば、滅菌ガウンを着たスタッフでも映像の選択が可能となる。ディスプレー装置１４２は表示されている映像の一部を拡大して表示することが可能であり、治療対象患部が小さく映っている場合には、該患部を選択して拡大して表示することができる。これはディスプレー装置１４２にポインタを表示してマウスなどで操作すること、もしくはディスプレー装置１４２がタッチパネルとなっていることによって、拡大すべき領域の選択が可能となる。
【００４３】
図９は操作装置１４４が中央カメラ１２２と６台の周囲カメラ１３０の映像の中からディスプレー装置１４２に表示する映像を選択する構成を示す。手術の現場では、ディスプレーの映像を視聴するのは施術者ではなく手術室看護師や、手術には参加していない見学者が主である。本発明では、撮影された複数の映像をモニター機構で選択して表示し、拡大する手段を提供する。各映像のそれぞれについて表示のオンとオフを指定することができ、指定のない場合は中央カメラ１２２の映像のみをディスプレー装置１４２に表示する。オンと指定されたカメラの数に応じてディスプレー装置の画面の領域を自動的に分割して映像を並べて表示するが、分割の大きさの比率や、それぞれの映像の配置の順は操作装置１４４で調整できる。またそれぞれの分割された領域に表示された映像について、映像の拡大が可能である。
【００４４】
図１０は録画ユニット１６２が中央カメラ１２２と６台の周囲カメラ１３０の映像を同時に入力する構成を示す。図示していない録画の開始と停止を操作するスイッチを備え、一つのスイッチの操作ですべてのカメラの録画の開始と停止を行う。スイッチは録画ユニットに備える場合と、図８に例示した操作ハンドル１２０に備える場合と、リモートコントローラーに備える場合と、これらの組み合わせである場合がありうる。
【００４５】
図１１は中央カメラ１２２と２台の周囲カメラ１３０で同時に撮影された複数の映像を、共通の撮影日時を付加して録画装置１６４に記録して、出力手段１６８を介して、任意の組み合わせでの複数の動画を、記録された撮影日時信号付加装置１６６からの撮影日時信号Ｓｇ１を揃えて同時に再生し、映像をモニター機構１４０のディスプレー装置１４２に表示する場合の実施形態例を示す。複数の動画を同時に再生する場合、撮影された現実時間を合わせて同一の場面を再生するためには、各動画に記録される録画時間にずれがある場合に、再生時間の細かな調整を行う必要がある場合があった。本発明では、この手間をなくすために、複数の映像を記録の時間を合わせて同時に並行して録画する手段、これら複数の録画映像を撮影の時間をあわせて同時に再生もしくはデータに出力する手段を提供する。本発明では、共通の撮影日時信号Ｓｇ１により撮影日時を揃えて複数の動画を再生することで、別カメラの映像へ時間のずれのなく画面の切り替えをしたり、同時に表示したりすることが可能である。なお周囲カメラ１３０は模式的に２台で図示したが、実際には、視野障害のおそれを回避する効果的な撮影のためには３台以上の周囲カメラ１３０で中央カメラ１２２を取り囲む構成であることが望ましい。録画ユニット１６２は図１１に例示したようにモニター機構１４０と離れて構成されている場合もあれば、モニター機構１４０の内部に組み込まれている場合がありうる。また、出力手段１６８は図１１に例示したように録画ユニット１６２に備えられている場合もあれば、録画ユニット１６２がモニター機構１４０に組み込まれている状況においては、操作装置１４４が出力手段１６８の役割を担う場合がありうる。また図１１に例示したように動画の出力先がディスプレー装置１４２である場合には、同時に出力された複数の動画を同時に再生しながら、操作装置１４４を介して、図２で例示した際と同様に、ディスプレー装置１４２に表示する動画の選択や、画面の構成の調整が可能である。また、出力先がディスプレーでなくＤＶＤなどの記憶媒体である場合もありうるが、この場合には、複数の動画のうちから任意の動画を選択して独立した動画ファイルとして出力する場合や、任意の組み合わせの動画を任意の配置で並べて表示した一つの動画ファイルとして出力する場合がありうる。
【００４６】
図１２はリンク装置１８２によって操作ハンドル１２０とそれぞれの周囲カメラユニット１２６の傾動ユニット１８４を機械的にリンクし、操作ハンドル１２０の回転によって、傾動ユニット１８４を操作する実施形態例を示す。リンク装置１８２は、図示していない傘歯車やヘリカルギアーを用いて回転の力の方向を変換し、傾動ユニット１８４に機械的に力を伝達する場合がありうる。なお図１２では周囲カメラユニット１２６は円形であり、この円の直径に一致する軸で回転することで、無影灯付きカメラ機構１１２の中央に対する傾動を行うように例示しているが、周囲カメラユニット１２６の形状は円形に限らず、また、傾動の方式は無影灯付きカメラ機構１１２の中央に対するものであれば、傾動の中心や支点が周囲カメラユニット１２６の中心からずれていてもよい。また他の形態例として、リンク装置１８２は電子信号を伝達し、傾動ユニット１８４に備えるモーターを作動して、傾動を達成する電動式のものであってもよい。
【００４７】
図１３は前記無影灯付きカメラ機構にカメラの映像の方向を知らせるガイド光照射装置を備えた場合に、撮影対象１９０に照射するガイド光の実施形態例を示す。映像の垂直方向に沿ったガイド光１９２と、映像の水平方向に沿ったガイド光１９４を撮影対象１９０に照射することにより、施術者はディスプレーで映像を確認することなく、ガイド光を見ながら無影灯付きカメラ機構を操作して、映像に写る撮影対象１９０の傾きの調整が可能である。ガイド光は線状光の組み合わせで、一方向に映像の特定の方向を示すポインタを表示すべきである。本例では矢頭を付した線状光１９２で垂直方向の上方を示しているが、この形態は任意である。複数のカメラの映像の傾きが水平方向に平行であれば、該ガイド光照射装置は一つで十分であるが、そうでなければ、前記カメラユニットに一つずつ備えてもよい。
【００４８】
ガイド光の照射は、無影灯付きカメラ機構を移動、傾動した際に自動で出力し、一定時間経過したら自動で消灯されるのが望ましい。前記無影灯付きカメラ機構の移動および傾動が生じたことの検知は、加速度センサーが用いられる。もちろん、加速度センサーに限らず、該無影灯付きカメラ機構の移動や傾動、該周囲カメラユニットの傾動に必要な関節の角度を計測する内界センサーなどの手段によって、これら運動の発生を検知する場合もありうる。
また、前記ガイド光は人体、特に眼球への安全性を確保する必要がある。
【００４９】
図１４は無影灯付きカメラ機構１１２にマイク２０２を備え、録音装置２０４、音声出力装置２０６に音声を出力するマイク２０２を備えた本発明の実施例である。手術においては、スタッフの会話も重要な情報である。特に、滅菌ガウンを着て手術に参加するインターンのスタッフに指導を行う場合には、手術中にメモを取ることはできないので、指導された内容を正確に記憶することは困難である。また、指導の内容は手術室看護師や見学者にも共有されるに値するが、施術者の発声の音量が十分でなく、周囲の人間には聞き取れない場合がある。説明の都合上、図８の中央カメラ１２２、モニター機構１４０などを省略しているが、これらの構成は図８と同様である。図１４にはマイク２０２は操作ハンドル１２０に並設する場合を例示しているが、効果的な収音のためには、施術者に近い操作ハンドル１２０の先端付近にマイク２０２が設置されることが望ましい。また、手術室には心電図や血中酸素飽和度をモニターする生体モニターや、電気メスなどの医療機器が発する音が響き渡っている場合があるため、マイク２０２はノイズキャンセリングの機能を備え、照明および撮影の方向に沿った単一指向性のマイクであることが望ましい。
【００５０】
図１５は図１１にマイク２０２、音声出力装置２０６、録音装置２０４を追加した本発明の実施例である。音声出力装置２０６は図示のようにモニター機構１４０に組み込まれている場合の他に、独立に備えられる場合や、イヤホンのようにスタッフが装用する機器である場合がありうる。録音装置２０４は、図示のように録画ユニット１６２に組み込み、同時に記録される動画と同一の撮影日時を付加して録音を行うことが望ましい。動画の出力においては、出力手段１６８を介して、撮影日時を揃えて動画と音声を同時に出力することが可能である。共通の撮影日時を揃えて複数の動画および音声を再生することで、別カメラの映像へ時間のずれのなく画面の切り替えをしたり、同時に表示したりすることが可能である。
【００５１】
図１６は無影灯付きカメラ機構１１２の中央カメラ１２２が半天球カメラもしくはステレオカメラもしくは赤外線カメラ２２２であり、操作ハンドル１２０の先端にいずれかのカメラ２２２が備えられている本発明の実施例である。
手術室においては、治療対象患部の映像のみでなく、スタッフや手術器械の配置や操作など、広範囲の状況が把握されることが望ましい。本発明では、半天球カメラによって広範囲の映像を取得する手段を提供する。半天球カメラを用いる場合、半天球カメラとは別に中央カメラが中央カメラユニット１１６に備えられる場合がありうるが、この場合においても、３６０°に渡って映像障害のない映像を得るためには、半天球カメラは操作ハンドル１２０の先端に設置されることが望ましい。なお、図１６においては図８におけるモニター機構１４０は省略して図示しているが、半天球カメラ２２２の映像も他のカメラと同様にモニター機構１４０に入力され、操作装置１４４によって映像の選択や拡大範囲の調整が可能である。
【００５２】
また、治療対象患部の状況を把握するうえで、二次元表示の映像で得られる情報は、三次元表示の映像で得られる情報に劣る。本発明では、ステレオカメラ２２２によって三次元で映像を表示する手段を提供する。ステレオカメラを用いる場合、前記ディスプレー装置１４２の映像を二次元で表示するか三次元で表示するかは前記モニター機構１４０の前記操作装置１４４で選択できる。ステレオカメラ２２２は前記中央カメラ１２２もしくは前記周囲カメラ１３０のうち任意の２台を組み合わせたものでもよいし、いずれか１台以上のカメラ自体がステレオカメラ２２２であるものでもよい。
【００５３】
また、手術室ではしばしば赤外線カメラを用いて治療対象患部の評価を行う場面があるが、このとき、該患部の付近に赤外線カメラを滅菌の袋に入れて持ち込んで撮影を行う手間がある。本発明では、この手間を省略して赤外線カメラの映像を表示する手段を提供する。赤外線カメラを用いる場合、前記中央カメラ１２２もしくは前記周囲カメラ１３０のうち１台が赤外線カメラであるか、赤外線カメラに切り替えることが可能であればよい。
【００５４】
図１７は操作ハンドル１２０の側面にスイッチ２３４、２３６、２４２、２４６、２４８を備え、施術者が手術の間に操作することで、電子信号を介して、光源、画角、各カメラのピントの自動調節機能の作動の切り替え、録画ならびに録音の開始と停止を行うことができ、また各カメラのピントの自動調節機能は傾動検知部２４４によりユニット基体の傾動を検知することによっても作動することができる本発明の実施例における構成を示す。従来、カメラの設定や録画、録音の操作は、滅菌ガウンを着ているスタッフには行えないため、手術室の人員が不足しており、滅菌ガウンを着ていないスタッフがいない場合には操作が困難であった。本発明では、一般の無影灯において滅菌のカバーが装着されるハンドル部に光源、カメラの画角、オートフォーカス設定、録音、録画の操作を行う手段を備えたカメラシステムを提供する。操作ハンドル１２０は手術の実施に当たっては滅菌ガウンを着た施術者でも操作できるように、滅菌されたカバーを装着される。このとき、スイッチ２３４、２３６、２４２、２４６、２４８の操作に支障がないように、該カバーはビニールや薄いプラスチックなどの透明で柔らかい素材から作製されたものであることが望ましい。また、スイッチ２３４、２３６、２４２、２４６、２４８の位置は、無影灯付きカメラ機構の全体を移動ならびに傾動させる、もしくは周囲カメラユニットを傾動させるために操作ハンドル１２０に触れたときに、誤って該スイッチ２３４、２３６、２４２、２４６、２４８を作動してしまうおそれのないように配置する必要がある。
なおカメラの自動調節機能は、カメラと治療対象患部との位置関係が変わった場合に自動で作動することが望ましいが、カメラと該患部との位置関係が変わりうる前記無影灯付きカメラ機構１１２の移動および傾動、もしくは前記周囲カメラユニット１２６の傾動が生じたことの検知は、前記周囲カメラユニット１２６のいずれかに備えた加速度センサーを用いれば、これらのいずれの運動についても検出が可能であるので、加速度センサーを用いることが望ましい。もちろん、加速度センサーに限らず、該無影灯付きカメラ機構１１２の移動や傾動、該周囲カメラユニット１２６の傾動に必要な関節の角度を計測する内界センサーなどの手段によって、これら運動の発生を検知する場合もありうる。
【００５５】
図１８は記録された複数の動画２５２、２５４および音声２５６を外部レコーダに出力する際に、記録が行われたすべての時間に渡ってデータを出力するのではなく、撮影時間の範囲Ｔ１〜Ｔ２を限定してデータの出力を行う場合に、各データを同位置の時間の範囲でデータとして切り出し、各動画に音声を合成して出力する本発明の実施例を示すものである。本発明では図１１ならびに図１５で示したように、いずれの動画データもしくは音声データでも、同一の撮影日時データを共有しているため、データを切り出す時間の範囲Ｔ１〜Ｔ２を指定すれば、一括で複数の動画データの分割が可能である。
【００５６】
図１９は前記ディスプレー装置が映像障害を認識したときに映像を切り替えるアルゴリズムの一例を示すフローチャートである。モニター機構を操作する滅菌ガウンを着ていないスタッフが手術室にいない場合には、ディスプレーに表示された映像を切り替えることが困難であり、手術の助手や器械出し看護師が映像を切り替えたい場合に不便を生じる。本発明では、表示された映像が映像障害によって治療対象患部を表示していないことをモニター機構が検知し、自動で別の映像に切り替わりうる手段を備えたカメラシステムを提供する。図９で説明したように、映像の指定を行わない場合、該ディスプレー装置には中央カメラの映像が表示される（ステップＳ１０１）。該ディスプレー装置は、表示する映像が該患部を表示していない可能性が高いことを、映像の画素の構成から検知し、自動で別のカメラの映像に切り替わることができる。手術においては、該患部の映像の画素は肌色や赤色などで構成される範囲が大きく、該患部が撮影されていないときに表示される映像の画素は、該患部の周囲を覆う清潔な布や手術衣や帽子の一般的な色である青色や緑色であったり、施術者の手袋の色である緑色であったりする。該ディスプレー装置は、映像の一定の割合の範囲を青色や緑色の画素が占めたときに、映像障害が生じたものと認識する（ステップＳ１０２）。ステップＳ１０２でＹＥＳであれば、監視時間タイマーをセットする（ステップＳ１０３）。タイマーセット時間が経過するまでは、映像障害が持続しているかどうかの認識を継続する（ステップＳ１０４）。映像障害がなくなっていればステップＳ１０５でＹＥＳとなり、中央カメラの映像の表示を継続する。映像障害が継続していればステップＳ１０５でＮＯとなり、タイマーセット時間が経過するまで映像障害のモニターを継続する。映像障害が継続したままタイマーセット時間が経過すると、ステップＳ１０４でＹＥＳとなり、自動で別のカメラの映像に切り替わって映像を表示する（ステップＳ１０６）。以下、表示されている映像について、同様に映像障害を検知し、自動で別のカメラの映像に切り替わることが可能である（ステップＳ１０７〜Ｓ１１１）。この映像障害の認識は、複数の映像を同時に表示している場合にはそれぞれの映像について同時に実行される。また、表示していない映像についても、バックグラウンドで同様に映像障害の監視を行うことによって、切り替わる先の映像を、映像障害の生じていない映像に指定することも可能である。
【００５７】
図２０は中央カメラ１２２およびそれぞれの周囲カメラ１３０の近傍に距離計測装置２７２を備え、モニター機構１４０に備えるＣＰＵ２７４によってディスプレー装置１４２に表示する映像を自動で選択する本発明の構成例を示す。距離計測装置２７２は、レーザー距離計を用いる場合には、光源にレーザークラス１（近赤外線）を採用し、人体、特に眼球への安全性を確保することが好ましい。それぞれの距離計測装置１７２の計測値はＣＰＵ２７４に伝達され、該ＣＰＵ２７４は、治療対象患部を撮影していた状況における計測値から、一定の時間に渡ってこの値が大きく変化した場合に、該距離計測装置２７２の近傍に位置するカメラ１２２、１３０の映像を、ディスプレー装置１４２で表示されないように制御することが可能である。
【００５８】
図２１は、動画データ２８２、音声データ２８８の内容をそれぞれ動画認識手段２８４および音声認識手段２９０によって自動認識し、文字列データを作成し、撮影時間情報に文字列のタグ情報を付加してリストデータ２８６、２９２を作成する本発明の構成を示す。記録された動画は長時間であり、全体的な色調や構成は単調であることが多く、再生したい手術の場面の記録時間を同定することはしばしば困難である。これに対する手段として動画の視聴者が手動でタグ情報を動画に追加する方法があるが、大きな手間を要する。本発明では、記録された映像、音声を機械的に自動認識し、データの時間情報に文字列のタグ情報を付加することで、記録の時間情報を検索可能とすることで、再生したい場面が同定されうる手段を提供する。動画認識手段２８４、音声認識手段２９０の具体例としては、それぞれ、Ｇｏｏｇｌｅ社が提供しているＣｌｏｕｄ  Ｖｉｄｅｏ  ＩｎｔｅｌｌｉｇｅｎｃｅおよびＣｌｏｕｄ  ＳｐｅｅｃｈのＡＰＩ（アプリケーション・プログラミング・インタフェース）が挙げられる。ただし、実際には、動画データ１８２および音声データ２８８には患者情報が含まれるため、Ｇｏｏｇｌｅ社のサーバーとの連絡が必要である該ＡＰＩを使用する場合には、予め患者の許可を得る必要がある。院外のネットワークを介さずに本発明を実施するためには、院内に動画認識手段２８４、音声認識手段２９０を構築しての運用が求められる。
【００５９】
第２の発明は以下のように捉えることができる。
（１５）手術などの施術行為に際し用いられ、治療対象患部および／または施術者の手許を固定画及び動画で撮影できる無影灯付きカメラ機構、ならびにこのカメラ機構で撮影された映像を表示するモニター機構を備えたカメラシステムにおいて、前記カメラ機構は、移動および傾斜が可能な全体基体、この全体基体のほぼ中央に配設された中央カメラユニット、および前記全体基体に設けられ、前記中央カメラユニットの周囲に配設された少なくとも１つの周囲カメラユニットを備え、前記中央カメラユニットは、中央ユニット基体、この中央ユニット基体の中央部に立設され、施術者の操作により、前記カメラ機構全体を移動および傾動させることができるようになっている操作ハンドル、およびこの操作ハンドルに内蔵もしくは隣接して配設された中央カメラを備え、前記周囲カメラユニットは、それぞれ、周囲ユニット基体、この周囲ユニット基体に配設された周囲カメラ、および前記周囲ユニット基体に、前記周囲カメラに隣接して配置された複数の光源を備え、前記中央カメラと周囲カメラは、それぞれ異なった視点で、治療対象患部および／または施術者の手許を固定画及び動画で同時に撮影できるようになっており、前記モニター機構は、通常は前記中央カメラの映像を表示する少なくとも１台のディスプレー装置、および視聴者の操作により、該ディスプレー装置に表示される映像を周囲カメラが撮影した映像からも選択することが可能な操作装置を備えていることを特徴とするカメラシステム。
（１６）前記中央カメラユニットは、前記中央カメラの近傍に配置された複数の光源を備え、これら複数の光源は無影灯を構成している（１５）に記載のカメラシステム。
（１７）前記操作装置は、前記中央カメラユニットおよび前記周囲カメラユニットの撮影した映像のうち、２つ以上の映像を組み合わせて前記ディスプレー装置に表示させることができる機能を有している（１５）または（１６）に記載のカメラシステム。
（１８）前記中央カメラユニットおよび前記周囲カメラユニットで撮影されたそれぞれの映像を並行して同時に録画する録画ユニットを更に備えた（１５）〜（１７）のいずれかに記載のカメラシステム。
（１９）前記録画ユニットは、前記中央カメラユニットおよび前記周囲カメラユニットで同時に撮影された２つ以上の映像を、撮影された時間を同期して同時に再生することができる（１８）に記載のカメラシステム。
（２０）前記周囲カメラユニットは、前記周囲ユニット基体を傾動させる傾動ユニットを更に備え、前記操作ハンドルと該傾動ユニットはリンク装置を介して連絡しており、前記操作ハンドルは回転軸に沿って回転させることで、該リンク装置を介して前記傾動ユニットを作動して、前記周囲カメラユニットの基体を、前記中央カメラユニットに対して傾動させることによって、前記周囲カメラの方向を調整することが可能な（１５）または（１６）に記載のカメラシステム。
（２１）前記無影灯付きカメラ機構は、前記中央カメラもしくは前記周囲カメラのいずれかのカメラの映像の縦横方向を示す光線であるガイド光を撮影対象に照射するガイド光照射装置を備え、ディスプレーを見なくても撮影された映像の治療対象患部に対する傾きを知ることができる（１５）〜（２０）のいずれかに記載のカメラシステム。
（２２）手術中の会話を含む音声情報を取得するマイクを備え、更に取得した音声情報を記録する録音装置、取得した音声を出力する音声出力装置を備えた（１５）〜（２１）のいずれかに記載のカメラシステム。
（２３）前記録画ユニットは、前記中央カメラユニット、前記周囲カメラユニットおよび前記マイクで撮影および録音された映像および音声を、時間を同期して同時に再生することができる（１８）〜（２２）のいずれかに記載のカメラシステム。
（２４）前記操作ハンドルは、ハンドルの先端に半天球カメラを備え、周囲の環境を３６０°に渡って録画することが可能な（１５）〜（２３）のいずれかに記載のカメラシステム。
（２５）前記中央カメラが半天球カメラであり、周囲の環境を３６０°に渡って録画することが可能な（１５）〜（２３）のいずれかに記載のカメラシステム。
（２６）前記操作ハンドルは、ハンドルの側面に前記中央ユニットおよび前記周囲ユニット基体の光源の操作装置を備え、光源の点消灯、照度の調整に関する指示信号を送ることができる（１５）〜（２４）のいずれかに記載のカメラシステム。
（２７）前記中央カメラと前記周囲カメラはそれぞれ画角操作装置を備え、前記操作ハンドルは、ハンドルの側面に該画角操作装置に指示信号を送るためのスイッチを備えた（１５）〜（２６）のいずれかに記載のカメラシステム。
（２８）前記中央カメラと前記周囲カメラはそれぞれ焦点距離操作装置を備え、該焦点距離操作装置は自動ピント調節機能によって自動で撮影対象に合わせてピントを調節することが可能な（１５）〜（２７）のいずれかに記載のカメラシステム。
（２９）前記操作ハンドルは、ハンドルの側面のスイッチを介して、前記中央カメラと前記周囲カメラの前記焦点距離操作装置の前記自動ピント調節機能の作動と停止を操作することが可能な（１５）〜（２８）のいずれかに記載のカメラシステム。
（３０）前記焦点距離操作装置は、前記自動ピント調節機能が停止しているときに、前記操作ハンドルを介した前記前記中央カメラと前記周囲カメラの画角の調整、および前記カメラ機構全体の移動もしくは傾動の操作が生じたことを検知したときに、前記自動ピント調節機能を働かせてピントを合わせてから、自動で自動ピント調節機能を停止させることが可能な（１５）〜（２９）のいずれかに記載のカメラシステム。
（３１）前記操作ハンドルは、ハンドルの側面に前記録画ユニットの操作装置を付随し、録画の開始と停止の操作ができる（１５）〜（３０）のいずれかに記載のカメラシステム。
（３２）前記操作ハンドルは、ハンドルの側面に前記録音装置の操作装置を付随し、録音の開始と停止の操作ができる（２１）〜（３１）のいずれかに記載のカメラシステム。
（３３）前記モニター機構の前記操作装置は、前記中央カメラと前記周囲カメラの前記焦点距離操作装置の自動ピント調節機能の作動と停止を操作することが可能な（１５）〜（２２）のいずれかに記載のカメラシステム。
（３４）前記中央カメラと前記周囲カメラのうち少なくとも一台がステレオカメラであり、前記ディスプレー装置は、該ステレオカメラで撮影された映像を三次元表示できる（１５）〜（３３）のいずれかに記載のカメラシステム。
（３５）前記中央カメラと前記周囲カメラのうち少なくとも一台が赤外線カメラであり、前記ディスプレー装置は、該赤外線カメラで撮影された映像を表示できる（１５）〜（３４）のいずれかに記載のカメラシステム。
（３６）前記モニター機構は、前記ディスプレー装置に表示される映像を選択する前記操作装置によって、前記中央カメラ、前記周囲カメラ、前記半天球カメラのいずれかで撮影された映像を、任意の撮影範囲で切り出し拡大して前記ディスプレーに表示することができる（２４）〜（３５）のいずれかに記載のカメラシステム。
（３７）前記録画ユニットは、記録された複数の映像および音声を、時間の同期を保ちながら、任意の時間の範囲で切り出して、データとして出力することができる（１８）〜（３６）のいずれかに記載のカメラシステム。
（３８）前記ディスプレー装置は、表示されている映像が治療対象患部および／または施術者の手許などの撮影対象を表示していないことを映像の画素を認識して検知し、一定時間以上にわたり状況が改善しない場合に、自動で別の映像の表示に切り替わることが可能な（１５）〜（３７）のいずれかに記載のカメラシステム。
（３９）前記中央ユニット基体および前記周囲ユニット基体は、前記中央カメラおよび前記周囲カメラの近傍に撮影対象までの距離を光学的に計測する距離計測装置を備え、前記モニター機構に備えるCPUに距離情報を伝達し、該CPUはこの距離が突然に大きく変化し、一定の時間に渡って距離が復帰しないことを検知したときに、撮影対象が撮影されていないものと判定し、前記ディスプレー装置の映像を自動で別のカメラの映像の表示に切り替えることが可能な（１５）〜（３８）のいずれかに記載のカメラシステム。
（４０）前記録画ユニットおよび前記録音装置は、記録された映像の画像情報、音声情報を機械的に自動認識し、データの時間情報にタグ情報を付加することで、タグ情報に基づいて記録の時間情報を検索可能とし、該当する時点からの再生を可能とする（１８）〜（３９）のいずれかに記載のカメラシステム。
（４１）手術などの施術行為に際し用いられ、治療対象患部および／または術者の手許を固定画及び動画で撮影できる無影灯付きカメラ機構、ならびにこのカメラ機構で撮影された映像を表示するモニター機構を備えたカメラシステムにおいて、
前記カメラ機構は、
移動および傾斜が可能な全体基体、
この全体基体に設置された少なくとも２つのカメラユニット、並びに、
前記カメラ機構全体を移動および傾動させることができるようになっている操作ハンドル
を備え、
前記少なくとも２つのカメラユニットは、それぞれ、ユニット基体、およびこのユニット基体に設置された少なくとも１つのカメラを有し、
前記少なくとも２つのカメラユニットのカメラは、それぞれ異なった視点で、治療対象患部および／または術者の手許を固定画及び動画で同時に撮影できるようになっており、
前記カメラ機構は、更に、前記ディスプレー装置に表示される映像を、前記少なくとも２つのカメラユニットのカメラがそれぞれ撮影した映像から選択した映像とする映像選択手段を備えていることを特徴とするカメラシステム。
【００６０】
＜第３の発明＞
本願の第３の発明は、複数のカメラを用いて、異なる視点で同じ術野を撮影した複数の映像データを取得する取得部と、各映像データの各フレームの画像について、画像内に前記術野が写っている度合いである術野露出度を評価する評価部と、フレームごとに、前記複数の映像データそれぞれの画像の術野露出度に基づいて、前記複数の映像データの中から１つの映像データを選択する選択部と、前記選択部により選択された映像データの画像をディスプレー装置に表示する映像表示部と、を備える手術映像表示装置に関する。手術映像表示装置は、外科手術などの手術映像の記録、再生、表示などを行うためのシステムである。前述した本願の第１の発明に係る多視点映像視聴システムも、手術映像表示装置の一具体例である。
【００６１】
本願の第３の発明によれば、異なる視点から撮影された複数の映像データの中から、術野露出度（画像内に術野が写っている度合い）に基づいて適切な映像データが選択的に表示される。これにより、ユーザ（手術映像を視る者）は、障害物によって術野が遮られているような映像を避け、術野が露出している画像を選択的に視聴することができる。したがって、手術の終始にわたって、術野が良好に写る画像のみを視聴でき、ユーザは術野（患部や切開部）の状態や手術の進行を容易に観察することが可能となる。
【００６２】
本願の第３の発明を具体化した実施形態を、図面を参照して詳細に説明する。図２２は、手術映像表示装置の一構成例を示している。図２２に示すように、本実施形態の手術映像表示装置３００は、３台のカメラ３１０と、情報処理装置３２０と、ディスプレー装置３３０とを有している。
【００６３】
カメラ３１０は、カラーのデジタルビデオカメラであり、例えば、毎秒３０フレームの映像データを取り込み可能である。各カメラ３１０は、手術用ベッド３５０の上方から、手術用ベッド上の患者の術野を撮影できるような位置に設置されている。各カメラ３１０は、図８に示すように無影灯に取り付けられていてもよいし、無影灯とは別の場所（天井やアームなど）に取り付けられていてもよい。３台のカメラ３１０は、それぞれ異なる視点（方向）から術野を撮影できるよう、異なる位置・姿勢で設置される。各カメラ３１０の位置・姿勢が固定の場合には、各カメラ３１０の視点の情報（３次元的な位置及び姿勢を定義する情報）が情報処理装置３２０に予め登録されている。各カメラ３１０の位置・姿勢が可変の場合には、各カメラ３１０の位置・姿勢を変化させたときに、その視点の情報が情報処理装置３２０に送られるとよい。なお、カメラの数は３つに限られず、２以上であれば何台設けても構わない。また、全てのカメラの構成や仕様が同じである必要はなく、異なる構成ないし仕様のカメラが混在していてもよい（例えば、可視光カメラと赤外光カメラ、高解像カメラと低解像カメラ、カラーカメラとモノクロカメラなど）。
【００６４】
情報処理装置３２０は、画像取得部３２１、画像認識部３２２、スコア算出部３２３、映像選択部３２４、映像表示部３２５を有する。画像取得部３２１は、複数のカメラ３１０のそれぞれから映像データを取得する機能である。ここでは、画像取得部３２１に、異なる視点で同じ術野を撮影した３つの映像データが同期して入力される。画像認識部３２２は、各映像データの各フレームの画像に対して画像認識処理を適用し、画像から所定の物体又は所定の条件を満たす領域（画素群）を検出する機能である。スコア算出部３２３は、画像認識部３２２の検出結果に基づいて、画像内に術野が写っている度合いを評価し、その度合いを示す評価スコアを算出する機能である。以後、この評価スコアを、カメラの視野に術野が露出している度合いという意味で、「術野露出度」と呼ぶ。映像選択部３２４は、フレームごとに、３つの映像データそれぞれの画像の術野露出度に基づいて、３つの映像データの中から１つの映像データを選択する機能である。映像表示部３２５は、映像選択部３２４により選択された映像データの画像をディスプレー装置３３０に表示する機能である。本実施形態の構成において、画像取得部３２１が本発明の「取得部」の一例であり、画像認識部３２２及びスコア算出部３２３が本発明の「評価部」の一例であり、映像選択部３２４が本発明の「選択部」の一例であり、映像表示部３２５が本発明の「映像表示部」の一例である。
【００６５】
情報処理装置３２０は、例えば、プロセッサ（ＣＰＵ、ＧＰＵなど）、メモリ、不揮発性の記憶装置（ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリなど）、入力装置などを備えた汎用のコンピューターにより構成することができる。その場合、前述した機能３２１〜３２５は、記憶装置に非一時的に格納されたプログラムを、メモリに展開し、プロセッサが実行することによって、ソフトウェア的に実現される。あるいは、情報処理装置３２０の処理及び機能の一部が、ＡＳＩＣなどのハードウェアで実現されてもよいし、クラウドサーバなどの他のコンピューターで実行されてもよい。情報処理装置３２０としては、パーソナルコンピューター、スマートフォン、タブレット端末などを用いることができる。
【００６６】
ディスプレー装置３３０は、映像表示部３２５から出力される映像を表示するデバイスである。ディスプレー装置３３０としては、液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。なお、情報処理装置３２０とディスプレー装置３３０が一体的に構成されていてもよい。
【００６７】
図２３は、情報処理装置３２０の処理の一例を示すフローチャートである。図２３はフレーム毎に実行される処理を示している。まず、画像取得部３２１が、３台のカメラ３１０で時間同期して撮影された３枚の画像のデータを取り込む（ステップＳ３００）。この３枚の画像は、同じ術野を同時刻に異なる視点から撮影した画像セットである。次に、画像認識部３２２が、３枚の画像のそれぞれに対し画像認識処理を適用する（ステップＳ３０１）。次に、スコア算出部３２３が、画像認識の結果に基づき、各画像の術野露出度を計算する（ステップＳ３０２）。次に、映像選択部３２４が、３枚の画像の中から、術野露出度が最も大きい画像を選択する（ステップＳ３０３）。そして、映像表示部３２５が、ステップＳ３０３で選択された画像をディスプレー装置３３０に表示する（ステップＳ３０４）。以上述べた処理をフレーム毎に実行することによって、複数のカメラ３１０の画像の中から、術野が最も良好に写っている画像が選択され、ディスプレー装置３３０に表示される。
【００６８】
続いて、画像認識部３２２とスコア算出部３２３の処理の具体例を説明する。本実施形態では、医師や看護師の頭部によって術野が遮られることが多いことに着目し、画像認識によって「帽子」を検出する。そして、画像中の帽子領域の面積（すなわち、画像における帽子領域の割合）が小さいほど術野露出度が大きく、逆に、画像中の帽子領域の面積が大きいほど術野露出度が小さい、と評価する。手術用の帽子の色や形状は予めわかっているとともに、帽子は手術中に汚染することもない。よって、帽子の画像認識は、比較的容易であるとともに、安定した認識結果が得られるという利点がある。
【００６９】
図２４Ａ、図２４Ｂは、術野の上方に設置されたカメラ３１０から取り込まれた画像の例を示している。図２４Ａでは、画像のほぼ中央部に術野（切開部４００）が写っており、その周囲に外科医の手４０１、手術器械４０２、外科医が被っている帽子４０３が写っている。図２４Ｂは、外科医が切開部４００を覗き込む姿勢をとったために、帽子４０３によってカメラ３１０の視界から術野の大半が遮られてしまった例である。これらの例の場合、図２４Ｂの画像に比べて図２４Ａの画像の方が術野露出度が大きいと評価すべきである。
【００７０】
画像から帽子４０３を認識する方法としてはどのようなアルゴリズムを採用してもよい。例えば、手術用の帽子４０３は、青、緑、白など、予め決まった色をしているため、色特徴に基づく認識アルゴリズムが好適である。帽子の色特徴は、ユーザが設定（教示）してもよいし、多数の手術画像（トレーニングデータ）を用いて機械学習してもよい。あるいは、頭部の形状は概ね丸いことから、色特徴と形状特徴を組み合わせた認識アルゴリズムを採用してもよい。さらには、画像認識の容易化ないし精度向上を図るため、色、テクスチャ、又は形状が特殊な帽子、あるいは画像認識用のマーカーを付した帽子を医師や看護師に着用させてもよい。
【００７１】
図２２の画像認識部３２２は、帽子４０３を検出すると、画像から帽子４０３の領域を抽出する。領域抽出には公知のセグメンテーションアルゴリズムを用いることができる。その後、スコア算出部３２３が、帽子領域の面積（例えば画素数）を計算し、下記式により、術野露出度を求める。
術野露出度＝（画像全体の面積−帽子領域の面積）／画像全体の面積
この術野露出度は、画像に帽子が写っていない場合に最大値１をとり、画像全体が帽子で完全に遮られている場合（術野が全く写っていない場合）に最小値０をとる。
【００７２】
図２５は、フレーム毎の術野露出度の変化と、表示する画像の切り替えの例を示している。図２５の上段に示す時刻ｔ１のフレームでは、３台のカメラの画像Ｉ１〜Ｉ３の中で画像Ｉ２の術野露出度が最も大きく、ディスプレー装置３３０には画像Ｉ２が表示される。その後、時刻ｔ２のフレームでは、図２５の下段に示すように、画像Ｉ３の術野露出度が最も大きくなり、ディスプレー装置３３０（図２２）には画像Ｉ３が表示されることとなる。このように術野露出度が大きいカメラの画像を選択的に表示することで、ユーザは常に術野の状態を観察することができる。
【００７３】
なお、本実施形態では、術野を遮る物として「帽子」を検出する例を説明したが、術野露出度の評価方法はこれに限られない。例えば、画像認識部３２２は、術野の周囲に存在し得る物（例えば、手、手術器械など）を検出してもよい。術野の周囲に存在し得る物（手、手術器械など）が画像に写っているということは、術野も画像に写っている蓋然性が高いからである。この場合、手や手術器械が検出された画像の方が術野露出度が大きいと評価することができる。また、画像から検出された手や手術器械の数が多いほど、術野露出度が大きいと評価してもよい。手の検出には、第１の発明で述べたものと同じアルゴリズムを用いることができる。手術器械の検出には、例えば、色特徴や形状特徴に基づく認識アルゴリズムを用いてもよい。また、手袋や手術器械に画像認識用のマーカーを付すなどして、画像認識を容易化してもよい。
【００７４】
画像認識部３２２は、術野そのもの（例えば、切開部など）を検出してもよい。一般に、術野（切開部）以外は滅菌ドレープで覆われることから、肌色や赤系色は術野（切開部）にのみ表れることが多い。したがって、肌色や赤系色などの色特徴を有する、という色条件を満たす領域を術野として認識してもよい。また、術野の部分は、無影灯の光が常にあたっているため、術野以外の部分に比べて明るい画像が得られることから、輝度が所定の閾値よりも明るい、という輝度条件を満たす領域を術野として認識してもよい。なお、術野として認識する色特徴や輝度閾値については、ユーザが設定（教示）してもよいし、多数の手術画像（トレーニングデータ）を用いて機械学習してもよい。この場合、色条件を満たす領域又は輝度条件を満たす領域の面積が大きいほど、術野露出度が大きいと評価すればよい。
【００７５】
本実施形態の映像選択部３２４は、３枚の画像の中から術野露出度が最も大きい画像を表示用の画像として選択したが、この方法では、カメラの切り替えが頻繁に発生し、画像を視聴している者に不快感を与える可能性がある。そこで、映像選択部３２４は、単純に術野露出度の大きさのみで選択画像を決定するのではなく、カメラの切り替え頻度も考慮して選択画像を決定することが好ましい。例えば、映像選択部３２４は、画像の術野露出度を可及的に大きくし、且つ、切り替え頻度を可及的に少なくするように設定された最適化問題を解くことによって、選択画像を決定してもよい。一例として、術野露出度の逆数を術野遮蔽度と定義し、術野遮蔽度の項と切り替え頻度の項を含む目的関数（コスト関数）を設定し、この目的関数の値が最小となるように画像の切り替えを制御する方法を採用できる。このとき、目的関数における術野遮蔽度と切り替え頻度のそれぞれの重みを決定するパラメータをユーザが調整できるようにしてもよい。このようなパラメータ調整機能を設けることにより、術野の露出ができるだけ大きい画像の表示を優先するか、画像の切り替えをできるだけ少なくすることを優先するかを、ユーザの好みで調整することが可能となる。
【００７６】
図２６に、最短経路問題の解法であるダイクストラ法を応用した画像の切り替え制御アルゴリズムの例を示す。図２６では、説明の便宜のため、３台のカメラ（３つの画像）の切り替え制御を示しているが、４台以上のカメラの切り替えにも適用可能である。まず、画像の切り替えを禁止する最小限のフレーム数ｎ（ｎは２以上の整数）を予め設定する（例えばｎ＝１０を設定した場合、少なくとも１０フレームのあいだは同じカメラの画像が表示され続けることを保証する。）。あるフレームｔにおいて選択されているカメラＣ１を頂点と考え、次に選択され得るカメラまでを辺でつなぐ。同じカメラ同士の場合は、フレームｔと次のフレームｔ＋１のあいだを辺５００でつなぎ、辺５００の重みとして、フレームｔ＋１のカメラＣ１の画像の術野遮蔽度を設定する。異なるカメラ同士の場合は、フレームｔにおけるカメラＣ１とフレームｔ＋ｎにおけるカメラＣ２あいだを辺５０１でつなぎ、辺５０１の重みとして、フレームｔ＋１〜フレームｔ＋ｎまでのカメラＣ２の画像の術野遮蔽度の合算値を設定する。同様に、フレームｔにおけるカメラＣ１とフレームｔ＋ｎにおけるカメラＣ３のあいだを辺５０２でつなぎ、辺５０２の重みとして、フレームｔ＋１〜フレームｔ＋ｎまでのカメラＣ３の画像の術野遮蔽度の合算値を設定する。このようにグラフ構造を作成した後、ダイクストラ法によって最適な組み合わせ問題を解く。なお、辺５０１（異なるカメラへの切り替え）が選択された場合には、フレームｔ＋１の時点でカメラＣ２に切り替えて、フレームｔ＋１〜フレームｔ＋ｎのｎフレームのあいだカメラＣ２の画像が表示され続けるようにする。辺５０２が選択された場合も同様である。このようなアルゴリズムによって、ｎフレームよりも短い期間に画像の切り替えが発生することを禁止しつつ、術野遮蔽度が最も小さくなるように画像の選択が行われる。
【００７７】
図２２の映像表示部３２５が、映像選択部３２４で選択された画像から術野を含む領域（「術野領域」と呼ぶ）を抽出し、抽出した術野領域をディスプレー装置３３０に拡大表示してもよい。これにより、術野の観察をより適切に行うことが可能となる。術野領域の抽出は、例えば、多数の手術画像（トレーニングデータ）を用いて術野領域の画像特徴を学習した識別器により術野領域を認識することにより行ってもよいし、画像中の高輝度領域を抽出することにより行ってもよいし、ユーザによる術野領域の教示に基づき抽出してもよい。ユーザによる術野領域の教示方法としては、ポインティングデバイスにより領域を指定する方法や、視線入力によって関心領域を教示する方法などがある。なお、これらの教示方法は、トレーニングデータに術野領域を設定する際にも応用できる。
【００７８】
図２７は、手術映像表示装置の別構成例を示している。映像選択部３２４と映像表示部３２５のあいだに画像変換部３２６が設けられている点が、図２２の構成と異なる。この画像変換部３２６は、カメラの視点の情報に基づいて、当該カメラの画像を基準の視点から視た画像へと変換する機能を有する。
【００７９】
例えば、３台のカメラをＣ１〜Ｃ３とし、カメラＣ１の視点を基準の視点に設定した場合、下記の変換式により、カメラＣ２〜Ｃ３の画像Ｉ２〜Ｉ３をカメラＣ１の視点から視た画像に変換することができる。
【数１】
2019130889.tif 000003
ここで、（ｘ１，ｙ１）は画像Ｉ１の座標であり、（ｘｉ，ｙｉ）は画像Ｉｉ（ｉ＝２，３）の座標であり、Ａｉは画像Ｉｉの座標を画像Ｉの座標に変換するための変換行列である。変換行列Ａｉにより、画像の回転、拡大／縮小などの変換が可能である。なお、前述のように、各カメラの視点の情報は既知であるため、変換行列Ａｉはこれらの視点の情報から幾何学的計算により求めることができる。
【００８０】
このような画像変換を行うことにより、表示する画像の視点（すなわち、画像の見た目）をそろえることができる。したがって、カメラ切り替え時の画像の不連続を可及的に小さくできるので、術野露出度に応じてカメラが切り替わった場合でも違和感のない視聴を継続することができる。
【００８１】
また画像変換部３２６は、複数のカメラの画像をもとに、各カメラの画像に含まれる各画素の深度情報を取得し、三次元画像に変換することができる。映像表示部３２５は、深度情報が一定の値より小さい画素を省略して表示することで、あたかも頭が消失した三次元映像として術野を表示することができる。また映像表示部３２５は、画像変換部３２６によって作成された三次元画像を回転させ、視聴者の操作によって任意の視点で表示することが可能である。ディスプレー装置３３０としてヘッドマウント・ディスプレーを採用することで、視聴者はより直感的に三次元画像を観察することができ、あたかも実際の手術に参加しているような視聴体験が可能である。
【符号の説明】
【００８２】
１０  被写体
１２  主カメラ
１４  副カメラ
２０  情報処理装置
２２  画像取得部
２４  制御部
２６  画像認識部
２８  カウント部
３０  平均点算出部
３２  映像選択部（画像選択部）
３４  映像表示部
４０  ディスプレー装置
５２、５４、５６、５８  手が認識された領域（認識領域）
６２、６４、６６、６８  認識領域の中心点
７０  認識領域の中心点の平均点
８０  映像の中心点
９０  平均点と映像の中心点との距離
【図１】
2019130889.tif 000004
【図２】
2019130889.tif 000005
【図３】
2019130889.tif 000006
【図４】
2019130889.tif 000007
【図５】
2019130889.tif 000008
【図６】
2019130889.tif 000009
【図７】
2019130889.tif 000010
【図８】
2019130889.tif 000011
【図９】
2019130889.tif 000012
【図１０】
2019130889.tif 000013
【図１１】
2019130889.tif 000014
【図１２】
2019130889.tif 000015
【図１３】
2019130889.tif 000016
【図１４】
2019130889.tif 000017
【図１５】
2019130889.tif 000018
【図１６】
2019130889.tif 000019
【図１７】
2019130889.tif 000020
【図１８】
2019130889.tif 000021
【図１９】
2019130889.tif 000022
【図２０】
2019130889.tif 000023
【図２１】
2019130889.tif 000024
【図２２】
2019130889.tif 000025
【図２３】
2019130889.tif 000026
【図２４】
2019130889.tif 000027
【図２５】
2019130889.tif 000028
【図２６】
2019130889.tif 000029
【図２７】
2019130889.tif 000030
【国際調査報告】
2019130889.tif 000031
2019130889.tif 000032
2019130889.tif 000033
2019130889.tif 000034