(57)【要約】      （修正有）【課題】映像に簡易に付加的データであるアノテーションを付与することができるアノテーション付与システム、アノテーション付与プログラム、アノテーションデータ構造及びアノテーションデータ構造を生成する方法を提供する。【解決手段】複数のフレームによって構成される映像にアノテーションを付与するアノテーション付与システム１０において、コンピュータのストレージに格納されたアノテーション付与プログラムは、フレームに表示されるフレームを構成する要素にアノテーションを付与するアノテーション付与手段と、アノテーション付与手段でアノテーションを要素に付与する際にアノテーションを複数のフレームの要素に連続して付与する連続付与手段と、を備える。【選択図】図１
2020135230.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームによって構成される映像にアノテーションを付与するアノテーション付与システムにおいて、
前記フレームに表示される該フレームを構成する要素に前記アノテーションを付与するアノテーション付与手段と、
該アノテーション付与手段で前記アノテーションを前記要素に付与する際に該アノテーションを複数の前記フレームの前記要素に連続して付与する連続付与手段と、
を備えることを特徴とするアノテーション付与システム。
【請求項２】
前記アノテーション付与手段は、
前記要素にアノテーションを付与する際に前記要素に関する複数のアノテーションを逐次的に付与することを特徴とする請求項１に記載のアノテーション付与システム。
【請求項３】
前記アノテーション付与手段によって前記アノテーションを前記要素に付与したアノテーションデータを前記フレームの軸と前記要素の軸とからなる二次元データとして生成することを特徴とする請求項１または２に記載のアノテーション付与システム。
【請求項４】
前記要素に応じて前記アノテーションを付与することが許容される作業者が該作業者の属性に応じて設定されることを特徴とする請求項１&#12316;３のいずれか１項に記載のアノテーション付与システム。
【請求項５】
前記連続付与手段は、
前記映像を再生しながら前記アノテーションを複数の前記フレームの前記要素に連続して付与することを特徴とする請求項１&#12316;４のいずれか１項に記載のアノテーション付与システム。
【請求項６】
前記連続付与手段は、
任意の範囲の複数の前記フレームを指定して指定した前記フレームの前記要素に前記アノテーションを連続して付与することを特徴とする請求項１&#12316;４のいずれか１項に記載のアノテーション付与システム。
【請求項７】
前記連続付与手段は、
前記アノテーションが付与された任意の前記要素が含まれる前記フレームを抽出して抽出した前記フレームを構成するとともに前記アノテーションが付与されていない前記要素に前記アノテーションを連続して付与することを特徴とする請求項１&#12316;６のいずれか１項に記載のアノテーション付与システム。
【請求項８】
前記映像は、
内視鏡外科手術を撮像したものであることを特徴とする請求項１&#12316;７のいずれか１項に記載のアノテーション付与システム。
【請求項９】
前記映像が記憶される第１記憶領域と、
該第１記憶領域に記憶された前記映像に付与する前記アノテーションがアノテーションファイルとして格納されるデータベースと、
該データベースに格納された前記アノテーションファイルに基づいて前記映像に付与された前記アノテーションが記憶される第２記憶領域と、を備え、
前記第１記憶領域に記憶された前記映像が前記データベースに複製されるとともに該データベースに格納された前記アノテーションファイルに基づいて前記映像に付与された任意の前記アノテーションが記憶された前記第２記憶領域から任意の前記アノテーションが読み込まれ、読み込まれた任意の前記アノテーションが付与された任意の前記フレームが前記データベースに複製された前記映像から抽出され、抽出された前記フレームに付与された任意の前記アノテーションとは異なるアノテーションが抽出された任意の前記フレームに追加的に付与され、追加的に付与された前記アノテーションが前記第２記憶領域に記憶されることを特徴とする請求項１&#12316;８のいずれか１項に記載のアノテーション付与システム。
【請求項１０】
複数のフレームによって構成される映像にアノテーションを付与するアノテーション付与プログラムにおいて、
前記フレームに表示される該フレームを構成する要素に前記アノテーションを付与するアノテーション付与手段と、
該アノテーション付与手段で前記アノテーションを前記要素に付与する際に該アノテーションを複数の前記フレームの前記要素に連続して付与する連続付与手段と、
を備えることを特徴とするアノテーション付与プログラム。
【請求項１１】
前記映像に付与するアノテーションがアノテーションファイルとして格納されるデータベースを備え、
該データベースに前記映像が複製されるとともに前記映像に付与された任意の前記アノテーションが読み込まれ、読み込まれた任意の前記アノテーションが付与された任意の前記フレームが前記データベースに複製された前記映像から抽出され、抽出された前記フレームに付与された任意の前記アノテーションとは異なるアノテーションが抽出された任意の前記フレームに追加的に付与され、追加的に付与された前記アノテーションが記憶されることを特徴とする請求項１０に記載のアノテーション付与プログラム。
【請求項１２】
複数のフレームによって構成される映像にアノテーションが付与されて生成されるアノテーションデータ構造において、
前記フレームに表示される該フレームを構成する要素に前記アノテーションが付与されて前記フレームの軸と前記要素の軸とからなる二次元データとして生成されることを特徴とするアノテーションデータ構造。
【請求項１３】
前記フレームの軸が横軸に設定されるとともに前記要素の軸が縦軸に設定されて前記要素への前記アノテーションの付与によって該アノテーションが前記縦軸の方向に積層されることを特徴とする請求項１２に記載のアノテーションデータ構造。
【請求項１４】
複数のフレームによって構成される映像にアノテーションを付与してアノテーションデータ構造を生成する方法において、
前記フレームに表示される該フレームを構成する要素に前記アノテーションを付与して前記フレームの軸と前記要素の軸とからなる二次元データとしてアノテーションデータ構造を生成することを特徴とするアノテーションデータ構造を生成する方法。
【請求項１５】
前記アノテーションデータ構造は、
前記フレームの軸が横軸に設定されるとともに前記要素の軸が縦軸に設定されて前記要素への前記アノテーションの付与によって該アノテーションが前記縦軸の方向に積層されるものであることを特徴とする請求項１４に記載のアノテーションデータ構造を生成する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション付与システム、アノテーション付与プログラム、アノテーションデータ構造及びアノテーションデータ構造を生成する方法、特に、複数のフレームで構成される映像にアノテーションを付与するアノテーション付与システム、アノテーション付与プログラム、アノテーションデータ構造及びアノテーションデータ構造を生成する方法に関する。
【背景技術】
【０００２】
例えば、映像を構成する複数のフレームに表示される場面やフレームに表示される事物といったフレームを構成する任意の要素に着目して映像の解析を行う際に、着目する要素が多岐に亘る場合は、解析の際にその要素を情報として処理する情報処理量が増大することから、映像の解析が困難になる場合がある。
【０００３】
このような対策として、映像の任意の場面にメタデータのような付加的データを付与して、付与した付加的データを契機として映像の任意の場面を検索することが可能な技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２２３２９公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、映像にメタデータのような付加的データを付与するといった、映像の解析のためのいわば事前準備に類する作業は、付加的データを付与する作業者にとって簡易に行えるものであることが好ましい。
【０００６】
特に、映像の変化に乏しい場面が比較的長時間に亘って続くような映像の場合には、付加的データを付与する作業が簡易となれば作業時間の短縮にもなり、便宜である。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、映像に簡易に付加的データであるアノテーションを付与することができるアノテーション付与システム、アノテーション付与プログラム、アノテーションデータ構造及びアノテーションデータ構造を生成する方法を提供することを課題とするものである。
【課題を解決するための手段】
【０００８】
上記課題を達成するための、本発明に係るアノテーション付与システムは、複数のフレームによって構成される映像にアノテーションを付与するアノテーション付与システムにおいて、フレームに表示されるフレームを構成する要素にアノテーションを付与するアノテーション付与手段と、アノテーション付与手段でアノテーションを要素に付与する際にアノテーションを複数のフレームの要素に連続して付与する連続付与手段と、を備えることを特徴としている。
【０００９】
これによれば、アノテーション付与手段でフレームを構成する要素にアノテーションを付与する際に、連続付与手段によって、複数のフレームの要素にアノテーションが連続して付与されることから、簡易かつ短時間で映像にアノテーションを付与することができる。
【００１０】
このアノテーション付与システムのアノテーション付与手段は、要素にアノテーションを付与する際に要素に関する複数のアノテーションを逐次的に付与することを特徴としている。
【００１１】
これによれば、アノテーション付与手段で要素にアノテーションを付与する際に、要素に付与されるアノテーションが複数ある場合は、複数のアノテーションを逐次的に付与することができることから、アノテーションを付与する作業を効率的に進めることができる。
【００１２】
このアノテーション付与システムでは、アノテーション付与手段によってアノテーションを要素に付与したアノテーションデータをフレームの軸と要素の軸とからなる二次元データとして生成することを特徴としている。
【００１３】
このように、フレームと要素とを軸とすることによって、フレームを構成する多数の要素にアノテーションを精緻に付与するような場合であっても、アノテーションデータのデータ量を要素の軸の方向に容易に増大させることができる。
【００１４】
このアノテーション付与システムは、要素に応じてアノテーションを付与することが許容される作業者が作業者の属性に応じて設定されることを特徴としている。したがって、誤ったアノテーションを要素に付与することが抑制される。
【００１５】
さらに、アノテーション付与システムの連続付与手段は、映像を再生しながらアノテーションを複数のフレームの要素に連続して付与することが可能であり、あるいは任意の範囲の複数のフレームを指定して指定したフレームの要素にアノテーションを連続して付与することも可能である。
【００１６】
アノテーション付与システムの連続付与手段は、アノテーションが付与された任意の要素が含まれるフレームを抽出して抽出したフレームを構成するとともにアノテーションが付与されていない要素にアノテーションを連続して付与することも可能である。
【００１７】
一方、アノテーション付与システムでアノテーションを付与する映像は、内視鏡外科手術を撮像したものであってもよい。
【００１８】
アノテーション付与システムは、映像が記憶される第１記憶領域と、第１記憶領域に記憶された映像に付与するアノテーションがアノテーションファイルとして格納されるデータベースと、データベースに格納されたアノテーションファイルに基づいて映像に付与されたアノテーションが記憶される第２記憶領域と、を備え、第１記憶領域に記憶された映像がデータベースに複製されるとともにデータベースに格納されたアノテーションファイルに基づいて映像に付与された任意のアノテーションが記憶された第２記憶領域から任意のアノテーションが読み込まれ、読み込まれた任意のアノテーションが付与された任意のフレームがデータベースに複製された映像から抽出され、抽出されたフレームに付与された任意のアノテーションとは異なるアノテーションが抽出された任意のフレームに追加的に付与され、追加的に付与されたアノテーションが第２記憶領域に記憶されることを特徴としている。
【００１９】
上記課題を達成するための、本発明に係るアノテーション付与プログラムは、複数のフレームによって構成される映像にアノテーションを付与するアノテーション付与プログラムにおいて、フレームに表示されるフレームを構成する要素にアノテーションを付与するアノテーション付与手段と、アノテーション付与手段でアノテーションを要素に付与する際にアノテーションを複数のフレームの要素に連続して付与する連続付与手段と、を備えることを特徴としている。
【００２０】
これによれば、アノテーション付与手段でフレームを構成する要素にアノテーションを付与する際に、連続付与手段によって、複数のフレームの要素にアノテーションが連続して付与されることから、簡易かつ短時間で映像にアノテーションを付与することができる。
【００２１】
さらに、アノテーション付与プログラムは、映像に付与するアノテーションがアノテーションファイルとして格納されるデータベースを備え、データベースに映像が複製されるとともに映像に付与された任意のアノテーションが読み込まれ、読み込まれた任意のアノテーションが付与された任意のフレームがデータベースに複製された映像から抽出され、抽出されたフレームに付与された任意のアノテーションとは異なるアノテーションが抽出された任意のフレームに追加的に付与され、追加的に付与されたアノテーションが記憶されることを特徴としている。
【００２２】
上記課題を達成するための、本発明に係るアノテーションデータ構造は、複数のフレームによって構成される映像にアノテーションが付与されて生成されるアノテーションデータ構造において、フレームに表示されるフレームを構成する要素にアノテーションが付与されてフレームの軸と要素の軸とからなる二次元データとして生成されることを特徴としている。
【００２３】
さらに、アノテーションデータ構造は、フレームの軸が横軸に設定されるとともに要素の軸が縦軸に設定されて要素へのアノテーションの付与によってアノテーションが縦軸の方向に積層されることを特徴としている。
【００２４】
上記課題を達成するための、本発明に係るアノテーションデータ構造を生成する方法は、複数のフレームによって構成される映像にアノテーションを付与してアノテーションデータ構造を生成する方法において、フレームに表示されるフレームを構成する要素にアノテーションを付与してフレームの軸と要素の軸とからなる二次元データとしてアノテーションデータ構造を生成することを特徴としている。
【００２５】
さらに、アノテーションデータ構造を生成する方法で生成されるアノテーションデータ構造は、フレームの軸が横軸に設定されるとともに要素の軸が縦軸に設定されて要素へのアノテーションの付与によってアノテーションが縦軸の方向に積層されるものであることを特徴としている。
【発明の効果】
【００２６】
この発明によれば、簡易かつ短時間で映像にアノテーションを付与することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係るアノテーション付与システムの概略を説明する図である。
【図２】同じく、本実施の形態に係るアノテーション付与システムのコンピュータの構成の概略を説明する図である。
【図３】同じく、本実施の形態に係るアノテーション付与システムのコンピュータのストレージの構成の概略を説明するブロック図である。
【図４】同じく、本実施の形態に係るアノテーション付与プログラムのユーザインターフェースの概略を説明する図である。
【図５】同じく、本実施の形態に係るアノテーション付与プログラムの連続入力手段の作動概略を説明する図である。
【図６】同じく、本実施の形態に係るアノテーション付与プログラムの連続入力手段の作動概略を説明する図である。
【図７】同じく、本実施の形態に係るアノテーション付与プログラムのアノテーション付与手段の構成の概略を説明するブロック図である。
【図８】同じく、本実施の形態に係るアノテーション付与手段の各アノテーション付与部への入力作業の概略を説明する図である。
【図９】同じく、本実施の形態に係るアノテーション付与手段の各アノテーション付与部への入力作業の概略を説明する図である。
【図１０】同じく、本実施の形態に係るアノテーション付与手段でアノテーションが要素に付与されることによって生成されるアノテーションデータの概略を説明する図である。
【図１１】同じく、本実施の形態に係るアノテーション付与システムの作動概略を説明するフローチャートである。
【図１２】同じく、本実施の形態に係るアノテーション付与システムの作動概略を説明するフローチャートである。
【発明を実施するための形態】
【００２８】
次に、図１〜図１２に基づいて、本発明の実施の形態に係るアノテーション付与システムについて説明する。
【００２９】
なお、本実施の形態において、アノテーション付与システムが、内視鏡外科手術を撮像した映像を解析するために作業者が映像にアノテーションを付与するものとして用いられる場合を説明する。
【００３０】
図１は、本実施の形態に係るアノテーション付与システムの概略を説明する図である。図示のように、アノテーション付与システム１０は、カメラ１００で撮像した内視鏡外科手術Ｏの映像Ｍが格納されるコンピュータ２０、及びコンピュータ２０と接続されるディスプレイ３０を備える。
【００３１】
図２は、コンピュータ２０の構成の概略を説明する図である。図示のように、コンピュータ２０は、プロセッサ２１、メモリ２２、ストレージ２３、送受信部２４、及び入出力部２５を主要構成として備え、これらが互いにバス２６を介して電気的に接続される。
【００３２】
プロセッサ２１は、コンピュータ２０の動作を制御し、各構成間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
【００３３】
このプロセッサ２１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、後述するストレージ２３に格納されてメモリ２２に展開されたアプリケーションプログラムを実行して各処理を行う。
【００３４】
メモリ２２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
【００３５】
このメモリ２２は、プロセッサ２１の作業領域として使用される一方、コンピュータ２０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
【００３６】
ストレージ２３は、プログラムや各種の処理に用いられるデータ等が格納されている。このストレージ２３の具体的な構成については、後述する。
【００３７】
送受信部２４は、コンピュータ２０をネットワークに接続する。この送受信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
【００３８】
入出力部２５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。
【００３９】
バス２６は、接続したプロセッサ２１、メモリ２２、ストレージ２３、送受信部２４及び入出力部２５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【００４０】
ディスプレイ３０は、本実施の形態では、後述するユーザインターフェースが表示される。
【００４１】
図３は、本実施の形態に係るストレージ２３の構成の概略を説明するブロック図であり、図４は、アノテーション付与プログラムのユーザインターフェースの概略を説明する図である。
【００４２】
図３で示すように、ストレージ２３は、アノテーション付与プログラム４０、第１記憶領域４１及び第２記憶領域４２を備える。
【００４３】
アノテーション付与プログラム４０は、映像表示手段４０Ａ、操作手段４０Ｂ、データベース４０Ｃ、アノテーション付与手段４０Ｄ、マーカ入力手段４０Ｅ、連続入力手段４０Ｆ及び集計手段４０Ｇを備える。
【００４４】
映像表示手段４０Ａは、コンピュータ２０のストレージ２３に格納される映像Ｍを表示するモジュールであり、本実施の形態では、図４で示すユーザインターフェースＵＩにおいて映像表示インターフェースＩＦ１として実装される。
【００４５】
この映像表示インターフェースＩＦ１に表示される映像ＭのフレームＦは、本実施の形態では、例えば図４で示すように、患部Ｘにおいて執刀医の左手の器具Ｂで把持して牽引した臓器内の組織を、執刀医の右手の器具Ａ（例えば電気メス）で切開する状態の内視鏡外科手術Ｏを撮像したものである。
【００４６】
本実施の形態の映像ＭのフレームＦでは、患部Ｘを器具Ａで切開する場面、及び執刀医の右手の器具Ａや執刀医の左手の器具Ｂといった事物がフレームを構成する要素であって、アノテーションが付与される対象となる。
【００４７】
操作手段４０Ｂは、映像Ｍの再生、停止、スキップ、倍速等といった映像Ｍに関する基本操作を実行するモジュールであり、本実施の形態では、図４で示すユーザインターフェースＵＩにおいて操作インターフェースＩＦ２として実装される。
【００４８】
データベース４０Ｃは、次述のアノテーション付与部４０Ｄで付与するアノテーションとしての情報がファイル形式（アノテーションファイル）で格納される。
【００４９】
本実施の形態では、例えば、映像Ｍの場面として表示される内視鏡外科手術Ｏの工程の属性（「工程１」、「工程２」等）、映像Ｍの要素として表示される手術具の属性（「器具Ａ」、「器具Ｂ」等）、手術を行う行為者の属性（「執刀医（右手）」、「執刀医（左手）」、「助手（右手）、助手（左手）」等）等がアノテーションファイルとして格納される。
【００５０】
さらに、データベース４０Ｃは、アノテーションが付与された映像Ｍの任意のフレームＦに、付与されたアノテーションとは異なるアノテーションを追加的に付与する場合に、映像Ｍが複製されて格納される。
【００５１】
アノテーション付与手段４０Ｄは、データベース４０Ｃを参照して、複数のフレームによって構成される映像Ｍにアノテーションを付与するモジュールであって、本実施の形態では、ユーザインターフェースＵＩにおいてアノテーション付与インターフェースＩＦ３として実装される。このアノテーション付与手段４０Ｄの具体的な構成は、後述する。
【００５２】
マーカ入力手段４０Ｅは、映像Ｃの任意の要素にマーカを付与するモジュールであって、本実施の形態では、入出力部２５を介してコンピュータ２０に接続されるキーボードやマウスといった情報入力機器への入力によって、映像Ｍの任意の要素にマーカが付与される。
【００５３】
連続付与手段４０Ｆは、映像Ｃを再生しながらアノテーション付与手段４０Ｄでアノテーションを付与する際、あるいは予め設定された任意の範囲の複数のフレームＦにアノテーション付与手段４０Ｄでアノテーションを付与する際に、アノテーションを複数のフレームに連続して付与するモジュールである。
【００５４】
この連続付与手段４０Ｆは、本実施の形態では、ユーザインターフェースＵＩのアノテーション付与インターフェースＩＦ３において、例えば「タグづけしながら再生」あるいは「まとめてタグづけ」のように、連続付与手段４０Ｆによる付与の状態が表示される。
【００５５】
映像Ｃを再生しながらアノテーション付与手段４０Ｄでアノテーションを付与する場合は、連続付与手段４０Ｆによって、映像Ｍを構成する連続する複数のフレームＦに亘ってアノテーションＰが連続的に付与される。
【００５６】
本実施の形態では、図５で示すように、映像ＭのフレームＦ１からフレームＦ２００まで再生される場合には、フレームＦ１からフレームＦ２００に亘ってアノテーションＰが連続的に付与される。
【００５７】
一方、任意の範囲の複数のフレームＦを指定してアノテーション付与手段４０Ｄでアノテーションを付与する場合も、連続付与手段４０Ｆによって、映像Ｍを構成する複数のフレームＦに亘ってアノテーションＰが連続的に付与される。
【００５８】
本実施の形態では、図５で示すように、映像ＭのフレームＦ１からフレームＦ２００までのフレームが指定されている場合は、フレームＦ１からフレームＦ２００に亘ってアノテーションＰが連続的に付与される。
【００５９】
さらに、複数のフレームＦのうち任意のアノテーション（例えば「工程３」）が付与された任意の要素を含むフレームを抽出して、抽出したフレームを構成する要素であってかつ他のアノテーションが付与されていない要素（例えば「執刀医の右手」）にアノテーション付与手段４０Ｄで更に他のアノテーションを付与する場合は、抽出した複数のフレームＦに亘ってアノテーションが連続的に付与される。
【００６０】
本実施の形態では、図６で示すように、例えば「工程３」のアノテーションＰ１が付与された複数のフレームＦ（フレームＦ５&#12316;フレームＦ８）を抽出し、連続付与手段４０Ｆによって、フレームＦ５&#12316;フレームＦ８を構成する要素であってまだアノテーションが付与されていない要素（例えば執刀医の左手に把持された器具Ｃ）に、器具Ｃを含む複数のフレームＦ５&#12316;フレームＦ８に亘ってアノテーションＰ２が連続的に付与される。
【００６１】
図３で示すように、集計手段４０Ｇは、アノテーション付与手段４０Ｄ及び連続入力手段４０Ｆによって映像Ｍに付与されたアノテーションを集計して後述するアノテーションデータを生成するモジュールであって、本実施の形態では、ユーザインターフェースＵＩにおいて集計結果インターフェースＩＦ４として実装される。
【００６２】
第１記憶領域４１及び第２記憶領域４２は、ストレージ２３の提供する記憶領域として実現され、本実施の形態では、第１記憶領域４１には、カメラ１００で撮像された内視鏡外科手術Ｏの映像Ｍがそのまま記憶され、第２記憶領域４２には、映像Ｍに付与されたアノテーションデータが例えばＣＳＶ（Ｃｏｍｍａ  Ｓｅｐａｒａｔｅｄ  Ｖａｌｕｅ）形式のデータとして記憶される。
【００６３】
次に、図７に基づいて、アノテーション付与手段４０Ｄの構成の概略を説明する。
【００６４】
図示のように、アノテーション付与手段４０Ｄは、本実施の形態では、工程入力部４０Ｄａ、執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅを備える。
【００６５】
工程入力部４０Ｄａは、映像ＭのフレームＦを構成する要素であるフレームＦに表示される場面にアノテーションを付与するモジュールであって、本実施の形態では、フレームＦの場面である内視鏡外科手術Ｏの工程の属性（例えば工程に付与された工程番号（「工程１」、「工程２」等））が選択されて、選択された工程番号にデータが入力される。
【００６６】
工程入力部４０Ｄａでの工程番号へのデータの入力は、例えば、選択された１の工程番号にのみデータとして「１」が入力され、選択された工程番号に「１」が入力されると、選択されなかった工程番号には自動的に「０」が入力される。
【００６７】
執刀医右入力部４０Ｄｂは、映像ＭのフレームＦを構成する要素であるフレームＦに表示される事物にアノテーションを付与するモジュールであって、本実施の形態では、フレームＦに表示される事物である執刀医の右手の動作に関する属性（例えば「有効」または「無効」）や、右手に把持される手術具の属性（例えば「器具Ａ」等）等が選択されて、選択された属性にデータが入力される。
【００６８】
執刀医右入力部４０Ｄｂでの属性へのデータの入力は、例えば、選択された属性にデータとして「１」が入力され、選択された属性に「１」が入力されると、選択されなかった属性には自動的に「０」が入力される。
【００６９】
執刀医右入力部４０Ｄｂでアノテーションを付与する場合は、本実施の形態では例えば、図４で示すように、マーカ入力手段４０Ｅでアノテーションを付与する部位（例えば執刀医が右手に把持する手術具）にマーカＱを付与したうえで、アノテーションを付与する。
【００７０】
執刀医左入力部４０Ｄｃは、映像ＭのフレームＦを構成する要素であるフレームＦに表示される事物にアノテーションを付与するモジュールであって、本実施の形態では、フレームＦに表示される事物である執刀医の左手の動作に関する属性（例えば「有効」または「無効」）や、左手に把持される手術具の属性（例えば「器具Ａ」等）等が選択されて、選択された属性にデータが入力される。
【００７１】
執刀医左入力部４０Ｄｃでの属性へのデータの入力は、例えば、選択された属性にデータとして「１」が入力され、選択された属性に「１」が入力されると、選択されなかった属性には自動的に「０」が入力される。
【００７２】
執刀医左入力部４０Ｄｃでアノテーションを付与する場合は、本実施の形態では例えば、図４で示すように、マーカ入力手段４０Ｅでアノテーションを付与する部位（例えば執刀医が左手に把持する手術具）にマーカＱを付与したうえで、アノテーションを付与する。
【００７３】
助手右入力部４０Ｄｄは、映像ＭのフレームＦを構成する要素であるフレームＦに表示される事物にアノテーションを付与するモジュールであって、本実施の形態では、フレームＦに表示される事物である助手の右手の動作に関する属性（例えば「有効」または「無効」）や、右手に把持される手術具の属性（例えば「器具Ｂ」等）等が選択されて、選択された属性にデータが入力される。
【００７４】
助手右入力部４０Ｄｄでの属性へのデータの入力は、例えば、選択された属性にデータとして「１」が入力され、選択された属性に「１」が入力されると、選択されなかった属性には自動的に「０」が入力される。
【００７５】
助手右入力部４０Ｄｄでアノテーションを付与する場合は、本実施の形態では例えば、図４で示すように、マーカ入力手段４０Ｅでアノテーションを付与する部位（例えば助手が右手に把持する手術具）にマーカＱを付与したうえで、アノテーションを付与する。
【００７６】
助手左入力部４０Ｄｅは、映像ＭのフレームＦを構成する要素であるフレームＦに表示される事物にアノテーションを付与するモジュールであって、本実施の形態では、フレームＦに表示される事物である助手の左手の動作に関する属性（例えば「有効」または「無効」）や、左手に把持される手術具の属性（例えば「器具Ｂ」等）等が選択されて、選択された属性にデータが入力される。
【００７７】
助手左入力部４０Ｄｅでの属性へのデータの入力は、例えば、選択された属性にデータとして「１」が入力され、選択された属性に「１」が入力されると、選択されなかった属性には自動的に「０」が入力される。
【００７８】
助手左入力部４０Ｄｅでアノテーションを付与する場合は、本実施の形態では例えば、図４で示すように、マーカ入力手段４０Ｅでアノテーションを付与する部位（例えば助手が左手に把持する手術具）にマーカＱを付与したうえで、アノテーションを付与する。
【００７９】
ところで、本実施の形態に係るアノテーション付与手段４０Ｄは、映像ＭのフレームＦを構成する要素にアノテーションを付与する際に、その要素について複数のアノテーションを付与する場合は、逐次的に付与することができる。
【００８０】
したがって、作業者がフレームＦを構成する要素に付与するアノテーションを、ユーザインターフェースＵＩのアノテーション付与インターフェースＩＦ３を介して入力する場合も、逐次的に入力することができる。
【００８１】
例えば、本実施の形態では、図８（ａ）で示すように、工程入力部４０ＤａでフレームＦに表示される場面にアノテーションを付与する場合は、まず、フレームＦの場面である内視鏡外科手術Ｏの工程に付与された工程番号（例えば「工程１」）を選択して「工程１」に「１」を入力する。
【００８２】
工程入力部４０Ｄａでアノテーションを付与した後に、執刀医右入力部４０ＤｂでフレームＦに表示される事物に引き続きアノテーションを付与する場合は、図８（ｂ）で示すように、執刀医の右手に把持された手術具で実行された動作が有効な動作であるか無効な動作であるかを選択して、例えば「有効」あるいは「無効」に「１」を入力する。
【００８３】
次に、「有効」に「１」を入力したデータに対して、執刀医右入力部４０Ｄｂで執刀医の右手に把持された手術具にアノテーションを付与する場合は、続いて、執刀医の右手に把持された手術具の属性（例えば、その手術具の名称等）を選択して入力する。本実施の形態では、例えば「器具Ａ」を選択して「器具Ａ」に「１」を入力する。
【００８４】
図９は、作業者によるアノテーション付与手段４０Ｄへの入力作業の概略を説明する図である。図示のように、アノテーション付与手段４０Ｄへの入力は、作業者の属性に応じて予め設定された作業者による入力に限って許容される。
【００８５】
例えば、アノテーション付与手段４０Ｄへの入力作業を行う作業者が作業者１及び作業者２の二人である場合において、工程入力部４０Ｄａへの入力は作業者１のみに許容され、執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅへの入力は作業者１及び作業者２のいずれにも許容される。
【００８６】
本実施の形態では、医療行為に関する高度かつ専門的な判断を要する工程入力部４０Ｄａへの入力を行う作業者１は、執刀医であることが想定され、医療行為に関する一定程度の知識で足りる執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅへの入力を行う作業者２は、助手であることが想定される。
【００８７】
作業者１がアノテーションの付与作業を行う場合には、例えば、作業者１に割り当てられたＩＤを用いてコンピュータ２０にログインすると、作業者１の入力が許容される工程入力部４０Ｄａ、執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅに対応するアノテーション付与インターフェースＩＦ３への入力が有効化される。
【００８８】
同様に、作業者２がアノテーションの付与作業を行う場合には、例えば、作業者２に割り当てられたＩＤを用いてコンピュータ２０にログインすると、作業者２の入力が許容される執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅに対応するアノテーション付与インターフェースＩＦ３への入力が有効化される。
【００８９】
アノテーション付与インターフェースＩＦ３への入力は、例えば、入力が可能なコマンドがアクティブ化されたり、入力が可能なコマンドがハイライトされたり、あるいは入力が可能なコマンドのみが表示されたりといった各種の手法によって有効化される。
【００９０】
したがって、作業者１がアノテーションの付与作業を行う場合には、例えば、工程入力部４０Ｄａ、執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅに対応するアノテーション付与インターフェースＩＦ３の入力を行うコマンドがアクティブ化される。
【００９１】
一方、作業者２がアノテーションの付与作業を行う場合には、例えば、執刀医右入力部４０Ｄｂ、執刀医左入力部４０Ｄｃ、助手右入力部４０Ｄｄ及び助手左入力部４０Ｄｅに対応するアノテーション付与インターフェースＩＦ３の入力を行うコマンドのみがアクティブ化され、工程入力部４０Ｄａに対応するアノテーション付与インターフェースＩＦ３の入力を行うコマンドは、アクティブ化されない。
【００９２】
図１０は、本実施の形態に係るアノテーション付与手段４０Ｄでアノテーションが要素に付与されることによって生成されるアノテーションデータ構造であるアノテーションデータの概略を説明する図である。
【００９３】
図示のように、アノテーションデータＤは、フレームを横軸に、場面及び執刀医（右）の動作の有効性あるいは執刀医（右）の器具といった事象からなる要素を横軸にしたＣＳＶ形式の二次元データとして生成される。
【００９４】
具体的には、横軸に配置される複数のフレームＦごとに、縦軸に配置される各フレームＦを構成する要素に付与されたアノテーションが集計されることによってアノテーションデータＤが生成される。
【００９５】
本実施の形態では、任意のフレームＦ（例えばフレームＦ２）の場面に「工程２」のアノテーションが付与されると、アノテーションデータＤにおけるフレームＦ２の「工程２」には「１」が表示される。
【００９６】
同様に、任意のフレームＦ（例えばフレームＦ２）の事物である「執刀医（右）」の動作について「有効」のアノテーションが付与されると、アノテーションデータＤにおけるフレームＦ２の「執刀医（右）」の「有効」には「１」が表示される。
【００９７】
さらに、任意のフレームＦ（例えばフレームＦ２）の事物である「執刀医（右）」の保有する器具について「器具Ａ」のアノテーションが付与されると、アノテーションデータＤにおけるフレームＦ２の「執刀医（右）」の「器具Ａ」には「１」が表示される。
【００９８】
このように、フレームＦを構成する複数の要素にアノテーションが付与されると、付与されたアノテーションは縦軸の方向に積層される。
【００９９】
次に、図１１及び図１２に基づいて、本実施の形態に係るアノテーション付与システム１０の作動概略について説明する。
【０１００】
なお、本実施の形態では、執刀医である作業者１が、患部Ｘにおいて器具Ｂで把持して牽引した臓器内の組織を器具Ａで切開する状態の内視鏡外科手術Ｏを撮像した図４で示した映像Ｍに、アノテーションを付与する場合を例として説明する。
【０１０１】
アノテーション付与システム１０で映像Ｍにアノテーションを付与する場合は、事前の準備として、まず、内視鏡外科手術Ｏを撮像した映像Ｍを読み込んでコンピュータ２０のストレージ２３の第１記憶領域４１に格納するとともに、予め設定されてデータベース４２に格納されたアノテーションファイルを読み込む。
【０１０２】
事前の準備が完了した後、図１１で示すように、ステップＳ１において、映像ＭのフレームＦを構成する要素に付与するアノテーションをアノテーション付与手段４０Ｄで選択する。
【０１０３】
本実施の形態では、映像ＭのフレームＦを構成する要素に付与するアノテーションを、アノテーション付与インターフェースＩＦ３として実装された工程入力部４０Ｄａ、執刀医右入力部４０Ｄｂ及び執刀医左入力部４０Ｄｃで選択する。
【０１０４】
ここで、工程入力部４０Ｄａに対応するアノテーション付与インターフェースＩＦ３への入力が作業者１のみに許容される場合は、作業者２が作業者２に割り当てられたＩＤでコンピュータ２０にログインしている際には、工程入力部４０Ｄａに対応するアノテーション付与インターフェースＩＦ３のコマンドはアクティブ化されない。
【０１０５】
続いて、ステップＳ２において、アノテーションを付与する手順を選択する。具体的には、映像Ｍを再生しながらアノテーションを付与するか、あるいは任意の範囲の複数のフレームＦを指定してアノテーションを付与するかを選択する。
【０１０６】
映像Ｍを再生しながらアノテーションを付与する場合は、ステップＳ３において、映像Ｍのうちアノテーションの付与を開始するフレームＦ（例えばフレームＦ１）を選択する。
【０１０７】
続いて、ステップＳ４において、選択したフレームＦにアノテーションを付与する。本実施の形態では、図３で示した映像Ｍ内の選択したフレームＦに表示される場面に工程入力部４０Ｄａでアノテーションが付与され、器具Ａに執刀医右入力部４０Ｄｂでアノテーションが付与され、かつ器具Ｂに執刀医左入力部４０Ｄｃでアノテーションが付与される。
【０１０８】
その後、ステップＳ５において映像Ｍを再生すると、連続付与手段Ｆによって、再生した映像ＭのフレームＦの各要素に前のフレームＦと同一のアノテーションが複製されて付与される。本実施の形態では、映像Ｍを例えばフレームＦ１からフレームＦ２００まで再生すると、フレームＦ１&#12316;フレームＦ２００の場面、器具Ａ及び器具Ｂにアノテーションが連続して付与される。
【０１０９】
作業者は、映像Ｍを再生しながら内視鏡外科手術Ｏの状態を判断して、継続して同一の状態であれば再生を続けて、前のフレームＦと同一のアノテーションを複製して付与する。
【０１１０】
次に、内視鏡外科手術Ｏの状態が変化した場合は、前のフレームＦと異なるアノテーションを付与する。この場合は、再生を停止した後、新たなアノテーションを付与して再生を再開する。
【０１１１】
ここで、内視鏡外科手術Ｏの状態が変化する時点のフレームＦから映像Ｍを再生して、以降のフレームＦに誤ったアノテーションを付与した場合には、ステップＳ６において、内視鏡外科手術Ｏの状態が変化する時点のフレームＦまで映像Ｍを戻し、そのフレームＦに新たなアノテーションを付与して映像Ｍを再生することにより微調整を行う。これにより、内視鏡外科手術Ｏの状態が変化する時点のフレームＦから新たなアノテーションが上書きされる。
【０１１２】
一方、映像Ｍの再生を停止したフレームＦが、例えばアノテーションの付与を予定していたフレームＦ（例えばフレームＦ２００）よりも手前のフレームＦ（例えばフレームＦ１９０）である場合は、ステップＳ６において、フレームＦ２００に到達するまで各フレームＦ１９１&#12316;Ｆ２００の各要素にアノテーションを付与して、微調整を行う。
【０１１３】
同様に、映像Ｍの再生を停止したフレームＦが、例えばアノテーションの付与を予定していたフレームＦ（例えばフレームＦ２００）よりも後のフレームＦ（例えばフレームＦ２１０）である場合は、ステップＳ６において、フレームＦ２００まで戻して、各フレームＦ２０１&#12316;Ｆ２１０の各要素に付与すべきアノテーションをフレームＦ２０１&#12316;Ｆ２１０ごとに付与して、微調整を行う。
【０１１４】
一方、ステップＳ２において、アノテーションを付与する手順として、任意の範囲の複数のフレームＦを指定してアノテーションを付与することを選択する場合は、ステップＳ７において、映像Ｍのうちアノテーションの付与を開始するフレームＦ及びアノテーションの付与を終了するフレームＦを選択して、アノテーションを連続して付与するフレームＦの範囲を指定する。
【０１１５】
本実施の形態では、例えば、アノテーションの付与を開始するフレームＦとしてフレームＦ１を選択し、アノテーションの付与を終了するフレームＦとしてフレームＦ２００を選択して、フレームＦ１&#12316;フレームＦ２００を、アノテーションを連続して付与するフレームＦの範囲として指定する。
【０１１６】
フレームＦ１&#12316;フレームＦ２００を指定すると、図３で示した映像Ｍにおいてアノテーションの付与を開始するフレームＦ1が映像表示インターフェースＩＦ１に表示される。
【０１１７】
続いて、ステップＳ８において、指定した範囲のフレームＦ１&#12316;フレームＦ２００にアノテーションを付与する。本実施の形態では、映像表示インターフェースＩＦに表示されるフレームＦ1に表示される場面に工程入力部４０Ｄａでアノテーションが付与され、器具Ａに執刀医右入力部４０Ｄｂでアノテーションが付与され、かつ器具Ｂに執刀医左入力部４０Ｄｃでアノテーションが付与される。
【０１１８】
これにより、連続付与手段４０Ｆによって、指定した範囲のフレームＦの各要素にアノテーションが付与される。本実施の形態では、指定した範囲のフレームＦ１&#12316;フレームＦ２００の場面、器具Ａ及び器具Ｂにアノテーションが連続して付与される。
【０１１９】
映像Ｃに付与されたアノテーションは、ＣＳＶ形式のアノテーションデータＤとしてストレージ２３の第２記憶領域４２に記憶される。
【０１２０】
ところで、既にアノテーションを付与した要素を含むフレームＦを構成する他の要素にアノテーションを付与する場合は、図１２で示すように、ステップＳ１０において、映像ＭのフレームＦを構成する他の要素に付与するアノテーションをアノテーション付与手段４０Ｄで選択する。
【０１２１】
本実施の形態では、例えば器具Ｃを把持した助手の左手が、「工程３」のアノテーションが付与されたフレーム（例えば図６で示したフレームＦ５&#12316;フレームＦ８）を構成する場合において、この器具Ｃにアノテーションを付与するために助手左入力部４０Ｄｅが選択される。
【０１２２】
続いて、ステップＳ１１において、アノテーションを付与する映像ＭのフレームＦを抽出する。本実施の形態では、「工程３」のアノテーションが付与された複数のフレームＦを抽出する。
【０１２３】
フレームＦを抽出する際には、まず、アノテーション付与プログラム４０のデータベース４０Ｃに、第１記憶領域４１から映像Ｍを複製して、第２記憶領域４２からアノテーションデータを読み込み、アノテーションデータから「工程３」のアノテーションが付与されたフレームＦをフレームＦに割り当てられた番号に基づいて検出し、そのフレームＦを映像Ｍから抽出する。
【０１２４】
フレームＦを抽出した後、ステップＳ１２において、本実施の形態では、連続付与手段４０Ｆによって、選択された助手左入力部４０Ｄｅに基づいて、助手の左手に把持された器具Ｃに、器具Ｃを含む複数のフレームＦ５&#12316;フレームＦ８に亘ってアノテーションが連続的に付与される。
【０１２５】
その後、ステップＳ１３において、抽出したフレームＦ５&#12316;フレームＦ８にアノテーションを付与した後のアノテーションデータＤが、第２記憶領域４２に記憶される。
【０１２６】
これにより、連続付与手段４０Ｆによって、抽出したフレームＦの各要素にアノテーションが迅速かつ効率的に付与される。本実施の形態では、抽出したフレームＦ５&#12316;フレームＦ８の器具Ｃにアノテーションが連続して付与される。
【０１２７】
このように、アノテーション付与手段４０ＤでフレームＦを構成する各要素にアノテーションを付与する際に、連続付与手段４０Ｆによって、複数のフレームＦの各要素にアノテーションが連続して付与されることから、簡易かつ短時間で映像Ｍにアノテーションを付与することができる。
【０１２８】
アノテーション付与手段４０Ｄで各要素にアノテーションを付与する際に、各要素に付与されるアノテーションが複数ある場合は、各アノテーションを逐次的に付与することができることから、アノテーションを付与する作業を効率的に進めることができる。
【０１２９】
アノテーションデータＤは、フレームを横軸に、要素を縦軸にしたＣＳＶ形式の二次元データとして生成されることから、フレームＦを構成する多数の要素にアノテーションを精緻に付与すると、付与されたアノテーションはアノテーションデータＤにおいて縦軸の方向に積層される。
【０１３０】
このように、フレームを横軸とし、要素を縦軸とすることによって、フレームＦを構成する多数の要素にアノテーションを精緻に付与する場合であっても、アノテーションデータＤのデータ量を、二次元データの構造を維持したまま縦軸の方向に容易に増大させることができる。
【０１３１】
一方、複数のアノテーションを逐次的に付与する場合であっても、フレームを横軸とし、要素を縦軸とすることによって、アノテーションデータＤのデータ量を、二次元データの構造を維持したまま縦軸の方向に容易に増大させることができる。
【０１３２】
さらに、本実施の形態では、アノテーションデータＤは、処理が容易なＣＳＶ形式の二次元データとして生成されることから、例えばディープラーニング用のデータとしてデータの加工等を施さずにそのまま使用することができる。
【０１３３】
しかも、アノテーション付与手段４０Ｄへの入力は、作業者の属性に応じて予め設定された作業者による入力に限って許容されることから、各要素に誤ったアノテーションを付与することが抑制される。
【０１３４】
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、アノテーションを付与する映像が内視鏡外科手術Ｏを撮像した映像Ｍである場合を説明したが、気象映像や顕微鏡映像等、解析や評価の対象となりうる各種の映像にアノテーションを付与する際に用いることができる。
【０１３５】
さらには、工場内での製品の組み立て等の工程の解析や、各種の作業や操作や運転等の工程を解析する各種の映像にアノテーションを付与する際に用いることができる。
【０１３６】
上記実施の形態では、アノテーションデータＤがＣＳＶ形式で生成される場合を説明したが、ＴＳＶ（Ｔａｂ  Ｓｅｐａｒａｔｅｄ  Ｖａｌｕｅｓ）形式で生成されるものであってもよく、さらには、テキスト形式等の一次元データの形式や他の形式で出力した後に、二次元データの形式に変換してもよい。
【０１３７】
上記実施の形態では、アノテーション付与システム１０が、コンピュータ２０及びコンピュータ２０と接続されるディスプレイ３０によって構成される場合を説明したが、コンピュータ２０とディスプレイ３０とが一体的に形成されているものであってもよい。
【０１３８】
この場合、カメラ１００がコンピュータ２０に内蔵されるものであってもよい。
【符号の説明】
【０１３９】
１、２    作業者
１０    アノテーション付与システム
２０    コンピュータ
２３    ストレージ
３０    ディスプレイ
４０    アノテーション付与プログラム
４０Ｄ    アノテーション付与手段
４０Ｆ    連続付与手段
Ａ&#12316;Ｃ    器具（要素）
Ｄ    アノテーションデータ（アノテーションデータ構造）
Ｆ    フレーム
ＩＦ１    映像表示インターフェース
ＩＦ３    アノテーション付与インターフェース
Ｍ    映像
Ｐ    アノテーション
【図１】
2020135230.tif 000003
【図２】
2020135230.tif 000004
【図３】
2020135230.tif 000005
【図４】
2020135230.tif 000006
【図５】
2020135230.tif 000007
【図６】
2020135230.tif 000008
【図７】
2020135230.tif 000009
【図８】
2020135230.tif 000010
【図９】
2020135230.tif 000011
【図１０】
2020135230.tif 000012
【図１１】
2020135230.tif 000013
【図１２】
2020135230.tif 000014