(57)【要約】【課題】カメラまたは後段の装置に対するなんらかの操作に応じて、それ自体意味を持った情報を映像素材に付与することにより、後段の装置が、この情報をその操作に応じた動作のために利用できるようにする。【解決手段】映像信号生成装置１に、映像信号を生成するカメラ部１１と、カメラ部１１か、この映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部２２〜２４と、操作部２２〜２４の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部２０と、テキストデータ生成部２０で生成されたテキストデータを、カメラ部１１で生成された映像信号に対応させて挿入するテキストデータ挿入部１９とを設ける。【選択図】図６
2008072236.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を生成するカメラ部と、
上記カメラ部か、上記映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
上記操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
上記テキストデータ生成部で生成された上記テキストデータを上記映像信号に対応させて挿入するテキストデータ挿入部と
を有することを特徴とする映像信号生成装置。
【請求項２】
請求項１に記載の映像信号生成装置において、
上記カメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
上記テキストデータ生成部は、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを生成し、
上記テキストデータ挿入部は、上記Term Valueを、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入する
ことを特徴とする映像信号生成装置。
【請求項３】
請求項１に記載の映像信号生成装置において、
上記操作部は、上記映像信号を受信させる装置での映像の記録開始，記録終了をそれぞれ行う記録開始操作手段，記録終了操作手段を含み、
上記テキストデータ生成部は、上記記録開始操作手段，上記記録終了操作手段の操作に応じて、それぞれ、映像記録の開始点，終了点であることを示すテキストデータを生成する
ことを特徴とする映像信号生成装置。
【請求項４】
請求項１に記載の映像信号生成装置において、
上記操作部は、映像のうちの着目すべきフレームで操作することにより、上記映像信号を受信させる装置に当該フレームを着目点として伝えるための操作手段を含み、
上記テキストデータ生成部は、上記操作手段の操作に応じて、着目点であることを示すテキストデータを生成する
ことを特徴とする映像信号生成装置。
【請求項５】
請求項１に記載の映像信号生成装置において、
マイクロホンと、
上記マイクロホンに入力された音声を認識する音声認識部と、
をさらに有しており、
上記テキストデータ生成部は、上記音声認識部での認識結果にも基づいて上記テキストデータを生成する
ことを特徴とする映像信号生成装置。
【請求項６】
意味をもつ言葉を含んだテキストデータが挿入された映像信号を受信する受信部と、
上記受信部において受信した映像信号から上記テキストデータを抽出するテキストデータ抽出部と、
上記テキストデータ抽出部で抽出された上記テキストデータを動作指示として解釈する解釈部と
を有し、上記テキストデータに対応した所定の動作を行うことを特徴とする映像信号受信装置。
【請求項７】
請求項６に記載の映像信号受信装置において、
上記受信部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
上記テキストデータ抽出部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを抽出する
ことを特徴とする映像信号受信装置。
【請求項８】
請求項６に記載の映像信号受信装置において、
上記受信部で受信した映像信号を記録する記録部
を有しており、
上記解釈部は、映像記録の開始点，終了点であることを示すテキストデータを、それぞれ、映像信号の記録開始指示，記録終了指示として解釈し、
上記映像記録の開始点，終了点であることを示すテキストデータに応じて、それぞれ、上記記録部での映像信号の記録開始，記録終了を行う
ことを特徴とする映像信号受信装置。
【請求項９】
請求項８に記載の映像信号受信装置において、
オンスクリーンデータを発生するオンスクリーンデータ発生部と、
上記オンスクリーンデータ発生部で発生したオンスクリーンデータを、上記受信部で受信した映像信号に合成する合成部と
をさらに有しており、上記合成部を経由した映像信号がモニタ表示用に出力され、
上記記録部での映像信号の記録開始から記録終了までの間、記録中であることを表すオンスクリーンデータを上記オンスクリーンデータ発生部で発生させる
ことを特徴とする映像信号受信装置。
【請求項１０】
請求項６に記載の映像信号受信装置において、
上記受信部で受信した映像信号を静止画としてキャプチャする静止画キャプチャ部
を有しており、
上記解釈部は、着目点であることを示すテキストデータを、映像信号を静止画としてキャプチャする指示として解釈し、
上記着目点であることを示すテキストデータに応じて、上記静止画キャプチャ部でのキャプチャを行う
ことを特徴とする映像信号受信装置。
【請求項１１】
請求項１０に記載の映像信号受信装置において
上記受信部で受信した映像信号と、上記静止画キャプチャ部でキャプチャされた静止画とを一画面に表示するマルチ画面の映像信号を生成するマルチ画面処理部
をさらに有しており、
上記マルチ画面処理部を経由した映像信号がモニタ表示用に出力される
ことを特徴とする映像信号受信装置。
【請求項１２】
請求項６に記載の映像信号受信装置において、
オンスクリーンデータを発生するオンスクリーンデータ発生部と、
上記オンスクリーンデータ発生部で発生したオンスクリーンデータを、上記受信部で受信した映像信号に合成する合成部と
をさらに有しており、
上記解釈部は、上記テキストデータ抽出部で抽出されたテキストデータを、当該テキストデータを映像にスーパインポーズする指示として解釈し、
上記テキストデータ抽出部で抽出されたテキストデータを、上記オンスクリーンデータ発生部でオンスクリーンデータとして発生させる
ことを特徴とする映像信号受信装置。
【請求項１３】
映像信号生成装置と映像信号受信装置とで構成されており、
上記映像信号生成装置は、
映像信号を生成するカメラ部と、
上記カメラ部か、上記映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
上記操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
上記テキストデータ生成部で生成された上記テキストデータを上記映像信号に対応させて挿入するテキストデータ挿入部と
を有しており、
上記映像信号受信装置は、
上記映像信号生成装置によって上記テキストデータが挿入された映像信号を受信する受信部と、
上記受信部において受信した映像信号から上記テキストデータを抽出するテキストデータ抽出部と、
上記テキストデータ抽出部で抽出された上記テキストデータを動作指示として解釈する解釈部と
を有し、上記テキストデータに対応した所定の動作を行う
ことを特徴とする映像信号生成・受信システム。
【請求項１４】
請求項１３に記載の映像信号生成・受信システムにおいて、
上記映像信号生成装置の上記カメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
上記映像信号生成装置の上記テキストデータ生成部は、上記テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Valueを生成し、
上記映像信号生成装置の上記テキストデータ挿入部は、上記Term Valueを、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入し、
上記映像信号受信装置の上記受信部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
上記映像信号受信装置の上記テキストデータ抽出部は、上記ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、上記テキストデータとして上記Term Valueを抽出する
ことを特徴とする映像信号生成・受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ部を有する映像信号生成装置や、この映像信号生成装置で生成された映像信号を受信する映像信号受信装置に関し、特に、映像信号生成装置の側で、カメラ部または映像信号生成装置に対する操作に応じて、可読性のあるテキストデータを映像信号に挿入するようにしたものに関する。
【背景技術】
【０００２】
〔エッセンスマーク（登録商標）の本来の目的〕
ＳＭＰＴＥ（全米映画テレビジョン技術者協会）では、メタデータの記述方法の基本構造として、ＫＬＶを規定している。これは、図１に示すように、メタデータを、Key-Length-Value という構造のバイト列として記述するものである。Keyはメタデータの種類を示す１６バイトのラベルであって、全てのKeyはＳＭＰＴＥメタデータ辞書に登録されている。Valueは、Keyによって示された種類のメタデータの実際の値である。Valueに先行するLengthは、Valueのデータ長（バイト数）を示す。
【０００３】
本発明の出願人は、このＳＭＰＴＥによるＫＬＶメタデータの種類のひとつであるTerm Valueを応用して、ＡＶ（オーディオ，ビデオ）素材に対する“栞”としての役割を果たすメタデータである「エッセンスマーク（登録商標であるが、以下エッセンスマークＴＭと表記する）」を提唱している（非特許文献１，２）。これは、ＡＶ素材の所望のフレームに直接的、あるいは間接的に可読性を持ったテキストデータを付与するというものであり、その主な目的は、当該付与位置への高速アクセスをテキストデータ値に応じて選択的に実現すること（例えば、或るエッセンスマークＴＭを付与した位置へ高速キューアップする、あるいは指定のエッセンスマークＴＭが付与された全てのフレームを抽出してサムネイル表示する（例えば非特許文献２の図５）など）である。また、日本語などのマルチバイト文字の格納方法も厳密に定めている。
【０００４】
ＳＭＰＴＥでは、ＡＶ素材をＳＤＩ(Serial Digital Interface)フォーマットでベースバンド伝送する場合、ＫＬＶメタデータのパケットを、ＶＢＩ(Vertical Blanking Interval)領域に補助データ（Ancillary data）として格納することを規定している（ＳＭＰＴＥ２５９Ｍ，２９２Ｍ，２９１Ｍ）。エッセンスマークＴＭもＫＬＶメタデータのひとつの応用例であることから、ＳＤＩフォーマットでは、それが付与されたフレームのＶＢＩ領域に補助データとして格納されて伝送される。
【０００５】
エッセンスマークＴＭの仕様の一部として、予約語がある。これは、元々は良く使われるエッセンスマーク値（図１のValueの値）の表記のゆらぎを低減するための共通言語として導入したものである。図２は、この予約語を一覧表示した図である。予約語は、先頭の文字が“_”になっている。例えば、“_RecStart”は、ＡＶ素材の記録開始位置を示す予約語であり、例えばテープでつなぎ記録をしていく場合に、それぞれの記録開始位置をマーキングする目的で使用することができる。“_RecEnd”は、ＡＶ素材の記録終了位置を示す予約語である。“_ShotMark1”，“_ShotMark2”は、それぞれＡＶ素材のうちの着目したシーンである着目点を示す予約語である。
【０００６】
エッセンスマーク値自体としては、任意のテキストデータを指定可能である。しかし事実上それが最も活かされるのは、当該値自体が意味を持ったテキスト値として提供されている場合である。図３は、非特許文献１のFigure ２（非特許文献２の図1と等価である）と同じ図であり、エッセンスマークＴＭが付与されたＡＶ素材（ビデオクリップ）を模式的に示した図である。また図４は、非特許文献１のFigure ６と同じ図であり、図３のクリップ１に付与されたエッセンスマークＴＭをＸＭＬ（Extensible Markup Language）文書で一覧表示した図である。この図４のように、素材に付与されたエッセンスマークＴＭの一覧が可読性を持ったＸＭＬ文書として表現された場合、どのフレームにどんな意味を持ったエッセンスマークＴＭが付与されているかが一目瞭然となる。
【０００７】
一般に映像記録装置（例えば光ディスクレコーダ，ＶＴＲ等）がエッセンスマークＴＭに対応しているといった場合、それは映像を記録する際に、映像に付与されたエッセンスマークＴＭも同時に記録することを示す。また、本発明の出願人は、映像素材の撮影・記録に並行して映像素材にエッセンスマークＴＭのようなテキストデータを付与し、後段の編集装置において、このテキストデータが付与された映像シーンへの高速キューアップや当該シーンの一覧表示などを行うことによって編集作業を効率化する技術を提案している（特許文献１）。しかし、エッセンスマークＴＭに対応した従来の映像記録装置には、映像素材に付与されたエッセンスマークＴＭに応じて映像の記録を開始したり終了したりするといった機能はなかった。
【０００８】
〔従来の内視鏡（カメラ）及び映像記録装置〕
現在、医療用の内視鏡（カメラ）と映像記録装置（例えば光ディスクレコーダ，ＶＴＲ等）とは、ＨＤ−ＳＤＩフォーマットの映像信号を伝送するための同軸ケーブルと、後段の映像記録装置を制御するためのＲＳ２３２Ｃケーブルとの二本のケーブルで接続されている。これは、カメラと映像記録装置とをPeer to Peerで接続する分には問題ないが、将来この系が更に大きなシステムの一部を構成するといった状況においては問題になってくる可能性が高い。例えば映像記録装置に記録された動画を診断ソフトへ供給し、その解析結果を別のＰＡＣＳ（Picture Archiving and Communication Systems：医療用の画像保存・配信システム）に保存するといった処理を可能とするようなシステムにおいては、当然のことながら映像記録装置そのものがネットワークに接続されることとなる。そしてこのようなシステムで例えばオリジナル動画をメインモニタで確認したいといった場合、その再生制御をおこなうのは当該診断ソフトを搭載したパーソナルコンピュータであるべきであって、そのためにカメラを手元に持ってくるというのは実用的でない（映像記録装置も手元になく、リモート操作していることを前提とする）。つまり、撮影、記録などに関する制御項目はカメラからの操作を可能とすべきであろうが、そうでないもの、例えば再生、早送り、巻き戻し、特定箇所へのキューアップなど撮影と無関係な機能についてはカメラがやるべきものではなく、別のインターフェースを介した制御をおこなうべきである。
【０００９】
しかしながら従来の映像記録装置は、先述したように、全ての制御コマンドをＲＳ２３２Ｃを介しておこなうように設計されていることから、サブシステムとしてこれを展開することは困難であった。もちろんその対策としてＲＳ２３２Ｃを２系統以上設け、一方を従来のカメラとの接続に、他方を診断ソフトを搭載したパーソナルコンピュータに接続するといった方法もあろうが、その場合は例えば競合する制御コマンドがそれぞれのＲＳ２３２Ｃを介して同時に入力された場合の動作などについても新たに規定する必要があり（そもそも現行のＲＳ２３２Ｃプロトコルはそのような状況での利用を想定していない）、冗長なインターフェース回路の追加も相まって大幅なコストアップにつながる。また、そもそもカメラと映像記録装置との間で同軸ケーブルとＲＳ２３２Ｃケーブルとの二本のケーブルを引かなければならないことが煩わしい。
【００１０】
〔カメラと映像記録装置との接続について〕
本発明の出願時には未公開であるが、本発明の出願人は、複数の放送局による取材の一態様である代表取材（１つの幹事局がビデオカメラで撮影・記録する映像を、他の放送局のＶＴＲに分配して記録させるもの）において、幹事局のビデオカメラで作成される素材テープと同じものを他の放送局のＶＴＲでも同時に作成させるといった課題を解決するための発明を出願している（特願２００５−７７９６５号）。これは、ビデオカメラから記録と並行して他の一台以上の映像記録装置に伝送される映像信号に制御情報を多重化し、それらの映像記録装置では、伝送された映像信号から当該制御情報を検出して内部の映像記録系を制御するというものである。
【００１１】
しかし、同出願では、制御情報として、それ自体は意味を持たない（可読性のない）数値が用いられており、且つ、こうした可読性のない情報が、ＳＭＰＴＥ２９１Ｍによる補助データパケット中のユーザ領域（標準化の対象とならず、ユーザが独自の仕様を包含できる領域）に格納されている。しかし、このように可読性のない情報をユーザ領域に格納した場合には、同出願の発明に対応した映像記録装置以外の映像記録装置では、当該ユーザ領域がどのように利用されており当該情報が何を意味しているのかを判別することができないので、相互運用性が全く保証されなくなる。したがって、同出願の発明は、当該発明に対応した機器独自の拡張機能の域を超えることが困難である。
【００１２】
また、同出願では、ビデオカメラで作成される素材テープと同じものを他のＶＴＲでも同時に作成させるといった課題のみに厳密に対応すべく、制御情報は、映像記録装置に対する基本操作コマンド（例えば記録開始，記録終了，早送り，巻き戻し等）に限定されている。
【００１３】
【特許文献１】特開２００３−２９９０１０号公報
【非特許文献１】Yoshiaki Shibata, Takumi Yoshida and Mitsutoshi Shinkai, "EssenceMark - ＳＭＰＴＥ Standard-based Textual Video Marker -", ＳＭＰＴＥ Motion Imaging Journal, Vol.114, No.12, pp.463-473 （Dec 2005）
【非特許文献２】「エッセンスマーク」映画テレビ技術協会機関誌2006年9月号掲載
【発明の開示】
【発明が解決しようとする課題】
【００１４】
このように、従来、エッセンスマークＴＭを編集装置における着目すべき映像シーンへの高速キューアップや当該シーンの一覧表示などのために利用する発明や、ビデオカメラの後段の映像記録装置に対する基本操作コマンドとして、可読性のない情報を映像素材に付与する発明（但し未公開）や、内視鏡のようなカメラから、映像信号伝送用のケーブルとは別の制御用のケーブルを介して映像記録装置を制御する技術（例えば特開２００４−３０５３７３）は存在していた。
【００１５】
しかし、カメラまたは後段の装置に対するなんらかの操作に応じて、可読性のある（それ自体意味を持った）情報を映像素材に付与することにより、後段の装置が、この情報を、その操作に応じた動作のために利用できるようにした発明は、未だ提案されていない。また、こうした情報を付与した映像素材を、当該発明に対応した装置以外の装置が受信した場合にも或る程度の相互運用性を保証する技術も、未だ提案されていない。
【００１６】
本発明は、上述の点に鑑み、カメラまたは後段の装置に対するなんらかの操作に応じて、それ自体意味を持った情報を映像素材に付与することにより、後段の装置が、この情報をその操作に応じた動作のために利用できるようにすることを第１の課題とする。さらに、本発明は、こうした情報を付与した映像素材を、本発明に対応した装置以外の装置が受信した場合にも或る程度の相互運用性を保証することを第２の課題とする。
【課題を解決するための手段】
【００１７】
上記第１の課題を解決するために、本発明に係る映像信号生成装置は、
映像信号を生成するカメラ部と、
このカメラ部か、この映像信号を受信させる装置かの少なくともいずれか一方を操作する操作部と、
この操作部の操作に応じて、意味をもつ言葉を含んだテキストデータを生成するテキストデータ生成部と、
このテキストデータ生成部で生成されたこのテキストデータをこの映像信号に対応させて挿入するテキストデータ挿入部と
を有することを特徴とする。
【００１８】
この映像信号生成装置では、操作部で、カメラ部か後段の装置（映像信号を受信させる装置）かの少なくともいずれか一方を操作することに基づき、意味をもつ言葉を含んだテキストデータ（すなわち、それ自体意味を持った、可読性のある情報）が生成され、そのテキストデータが、映像信号に対応させて挿入される。
【００１９】
このように、カメラ部または後段の装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが映像素材に付与されるので、後段の装置が、このテキストデータを、この映像信号生成装置での操作に応じた動作のために利用することができるようになる。
これにより、前述の第１の課題が解決される。
【００２０】
次に、本発明に係る映像信号受信装置は、
意味をもつ言葉を含んだテキストデータが挿入された映像信号を受信する受信部と、
この受信部において受信した映像信号からこのテキストデータを抽出するテキストデータ抽出部と、
このテキストデータ抽出部で抽出されたこのテキストデータを動作指示として解釈する解釈部と
を有し、このテキストデータに対応した所定の動作を行うことを特徴とする。
【００２１】
この映像信号受信装置では、受信した映像信号からテキストデータが抽出され、そのテキストデータが動作指示として解釈されて、そのテキストデータに対応した所定の動作が行われる。したがって、前述の本発明に係る映像信号生成装置で生成された映像信号を受信させることにより、抽出したテキストデータを利用して、この映像信号生成装置での操作に応じた動作を行うことができる。
【００２２】
次に、本発明に係る映像信号生成・受信システムは、前述の本発明に係る映像信号生成装置と映像信号受信装置とで構成されており、この映像信号生成装置によってテキストデータが挿入された映像信号を映像信号受信装置が受信することを特徴とする。
【００２３】
この映像信号生成・受信システムでは、映像信号生成装置でのカメラ部または映像信号受信装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが挿入された映像信号が映像信号受信装置で受信され、映像信号受信装置では、このテキストデータを利用して、映像信号生成装置での操作に応じた動作を行うことができる。
【００２４】
なお、本発明に係る映像信号生成装置や映像信号受信装置や映像信号生成・受信システムにおいて、
映像信号生成装置のカメラ部は、ＳＭＰＴＥによって規定されたＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を生成し、
映像信号生成装置のテキストデータ生成部は、テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Value（それを応用したエッセンスマークＴＭも含まれる）を生成し、
映像信号生成装置のテキストデータ挿入部は、このTerm Valueを、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間に補助データとして挿入し、
映像信号受信装置の受信部は、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号を受信し、
映像信号受信装置のテキストデータ抽出部は、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域から、テキストデータとしてTerm Valueを抽出する
ことが好適である。
【００２５】
意味をもつ言葉を含んだテキストデータを、このように標準化されたメタデータとして挿入することにより、本発明に係る映像信号生成装置が生成した映像信号を、本発明に係る映像信号受信装置以外の装置が受信した場合でも、当該装置では、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができる。したがって、そのレベルでの相互運用性を保証することができるので、前述の第２の課題も解決される。
【発明の効果】
【００２６】
本発明に係る映像信号生成装置によれば、カメラ部または後段の装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが映像素材に付与されるので、後段の装置が、このテキストデータを、この映像信号生成装置での操作に応じた動作のために利用できるようになるという効果が得られる。
【００２７】
本発明に係る映像信号受信装置によれば、本発明に係る映像信号生成装置で生成された映像信号を受信させることにより、抽出したテキストデータを利用して、この映像信号生成装置での操作に応じた動作を行えるという効果が得られる。
【００２８】
本発明に係る映像信号生成・受信システムによれば、映像信号生成装置でのカメラ部または映像信号受信装置に対する操作に応じて、意味をもつ言葉を含んだテキストデータが挿入された映像信号が映像信号受信装置で受信され、映像信号受信装置では、このテキストデータを利用して、映像信号生成装置での操作に応じた動作を行えるという効果が得られる。
【００２９】
また、テキストデータとして、ＳＭＰＴＥによって規定されたメタデータの１つであるTerm Value（それを応用したエッセンスマークＴＭも含まれる）を、ＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号の垂直ブランキング期間の補助データ領域に挿入した場合には、本発明に対応した映像受信装置以外の装置でも、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができるので、そのレベルでの相互運用性を保証できるという効果が得られる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態を、図面を用いて具体的に説明する。なお、以下では、医療用の電子内視鏡と、この電子内視鏡で撮影された映像を記録する光ディスクレコーダとに本発明を適用した例について説明する。
【００３１】
図５は、この電子内視鏡と光ディスクレコーダとをシステムの一部として含んだ医療用の映像ネットワークシステムの全体構成を示す図である。電子内視鏡１と光ディスクレコーダ２とが、ＳＭＰＴＥ２９２Ｍ規格によるＨＤ−ＳＤＩフォーマットのシリアルデジタル映像信号（以下ＨＤ−ＳＤＩ信号と呼ぶ）を伝送するための同軸ケーブル３で接続されている。光ディスクレコーダ２には、映像表示用のモニタ４が接続されている。
【００３２】
光ディスクレコーダ２は、医療施設内のＬＡＮ（ローカルエリアネットワーク）５で、診断用ＰＣ（診断用のソフトウェアを搭載したパーソナルコンピュータ）６や、アーカイブ（ＰＡＣＳ：医療用の画像保存・配信システム）７や、電子カルテシステム８とも相互に接続されている。
【００３３】
図６は、電子内視鏡１の構成を示すブロック図である。電子内視鏡１は、人体に挿入される部分であるスコープ部（カメラ部）１１と、プロセッサ部１２とを、軟性のチューブ１３で接続したものである。プロセッサ部１２内の光源１４からの光が、チューブ１３内のライトガイド１５を通して、スコープ部１１の先端から出射される。スコープ部１１の先端部のＣＣＤカメラ（撮像レンズ及びＣＣＤ撮像素子）１６は、この光を照明光として人体内を撮影する。
【００３４】
ＣＣＤカメラ１６で光電変換された撮像信号は、スコープ部１１内の映像信号処理回路１７に送られる。映像信号処理回路１７では、この撮像信号にデジタル変換処理及び各種信号処理（輝度信号処理，色信号処理，ガンマ補正，Ｙ・Ｃｂ・Ｃｒへの変換等）が施されることによってデジタルＨＤＴＶ信号が生成される。このデジタルＨＤＴＶ信号は、チューブ１３内のパラレルケーブル１８を通して、スコープ部１１内のＳＤＩエンコーダ１９に送られる。
【００３５】
ＳＤＩエンコーダ１９は、このデジタルＨＤＴＶ信号に、ＳＭＰＴＥ２９２Ｍ規格（ＨＤ−ＳＤＩ）に則って多重，スクランブル等の処理を施す回路である。また、ＳＤＩエンコーダ１９は、プロセッサ部１２全体を制御するＣＰＵ２０の制御のもとで、このデジタルＨＤＴＶ信号のＶＢＩ(Vertical Blanking Interval)領域に、ＳＭＰＴＥ２９１Ｍ規格に則った補助データ（Ancillary data）として、エッセンスマークＴＭを重畳する。
【００３６】
本発明の特徴として、プロセッサ部１２の筐体表面の操作パネル２１には、光ディスクレコーダ２（図１）を操作する釦として、ＲＥＣ釦２２と、ＳＴＯＰ釦２３と、ＭＡＲＫ釦２４とが含まれている。また、プロセッサ部１２の筐体表面の、操作パネル２１の近傍には、マイクロホン２５が設けられている。
【００３７】
ＲＥＣ釦２２は、光ディスクレコーダ２に対する映像の記録開始操作を行うための釦であり、ＳＴＯＰ釦２３は、光ディスクレコーダ２に対する映像の記録終了操作を行うための釦である。
【００３８】
ＭＡＲＫ釦２４は、映像のうちの着目すべきフレーム（例えば疾患の部位が映っているフレームなど）で、光ディスクレコーダ２に対して映像を静止画としてキャプチャさせる操作を行うための釦である。
【００３９】
マイクロホン２５は、ＲＥＣ釦２２，ＳＴＯＰ釦２３，ＭＡＲＫ釦２４を押すことによる光ディスクレコーダ２に対する操作と同じ操作を、それぞれ「レック」，「ストップ」，「マーク」というような単語を発音することによって行うためのものである。マイクロホン２５に入力されて電気信号に変換された音声信号は、音声認識回路２６に送られる。音声認識回路２６は、この音声信号から前述の「レック」，「ストップ」，「マーク」という単語を認識して、その認識結果をＣＰＵ２０に伝える。
【００４０】
図７は、このＲＥＣ釦２２，ＳＴＯＰ釦２３，ＭＡＲＫ釦２４の操作や音声認識回路２６の認識結果に基づいてＣＰＵ２０がＳＤＩエンコーダ１９を制御する処理を示すフローチャートである。
【００４１】
この処理では、最初に、ＲＥＣ釦２２が押されたかまたは音声認識回路２６で「レック」という単語が認識されたかの判断（ステップＳ１）と、ＳＴＯＰ釦２３が押されたかまたは音声認識回路２６で「ストップ」という単語が認識されたかの判断（ステップＳ２）と、ＭＡＲＫ釦２４が押されたかまたは音声認識回路２６で「マーク」という単語が認識されたかの判断（ステップＳ３）とを、いずれかでイエスになるまで繰り返す。
【００４２】
ステップＳ１でイエスになると、“_RecStart”（図２に示したように、ＡＶ素材の記録開始位置を示す予約語）をエッセンスマーク値（図１に示したＫＬＶメタデータのValueの値）としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ４）。そしてステップＳ１に戻る。
【００４３】
ステップＳ２でイエスになると、“_RecEnd”（図２に示したように、ＡＶ素材の記録終了位置を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ５）。そしてステップＳ１に戻る。
【００４４】
ステップＳ３でイエスになると、“_ShotMark1” （図２に示したように、ＡＶ素材のうちの着目したシーンである着目点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成し、ＳＤＩエンコーダ１９を制御して、そのタイミングのフレームのＶＢＩ領域にこのエッセンスマークＴＭを補助データとして重畳させる（ステップＳ６）。そしてステップＳ１に戻る。
【００４５】
ＣＰＵ２０が実行するこの図７の処理に基づき、ＳＤＩエンコーダ１９が、デジタルＨＤＴＶ信号のＶＢＩ領域にエッセンスマークＴＭを重畳する。図８は、ＳＤＩエンコーダ１９によって重畳されるエッセンスマークＴＭの例として“_RecStart”をエッセンスマーク値としたエッセンスマークＴＭ（図７の処理のステップＳ４に基づいて重畳されるもの）を示した図であり、非特許文献１のFigure ５と同じ図である。
【００４６】
図６に示すように、ＳＤＩエンコーダ１９の処理を経たパラレルデジタル映像信号は、パラレル／シリアル変換回路２７によってシリアル信号に変換される。そして、このシリアルデジタル映像信号（ＨＤ−ＳＤＩ信号）が、ＨＤ−ＳＤＩ出力端子２８から出力され、図５に示した同軸ケーブル３を通して光ディスクレコーダ２（図５）に送られる。
【００４７】
図９は、光ディスクレコーダ２のうち本発明に関連する部分の構成を示すブロック図である。同軸ケーブル３を通して送られたＨＤ−ＳＤＩ信号は、ＨＤ−ＳＤＩ入力端子３１から入力し、シリアル／パラレル変換回路３２によってパラレル信号に変換されて、ＳＤＩデコーダ３３に送られる。
【００４８】
ＳＤＩデコーダ３３は、このパラレル変換されたＨＤ−ＳＤＩ信号に対して、ＳＭＰＴＥ２９２Ｍ規格に則ってデスクランブルや多重されたデータの分離等の処理を施すことにより、元のデジタルＨＤＴＶ信号を復元する回路である。また、ＳＤＩデコーダ３３は、デジタルＨＤＴＶ信号のＶＢＩ領域から、タイミングリファレンス信号（ＥＡＶ及びＳＡＶ）と補助データとを検出する処理も行う。
【００４９】
ＳＤＩデコーダ３３によって復元されたデジタルＨＤＴＶ信号は、キャラクタをスーパインポーズするための合成回路３４を経由して、記録用の映像信号処理回路３５と、静止画キャプチャ処理回路３６と、マルチ画面処理回路３７とに送られる。
【００５０】
映像信号処理回路３５では、デジタルＨＤＴＶ信号に、エラー正符号の付加や、光ディスクへの記録に適した信号への変調や、圧縮等の処理が施される。映像信号処理回路３５の処理を経た信号は、光学ピックアップ３８に送られる。
【００５１】
静止画キャプチャ処理回路３６は、デジタルＨＤＴＶ信号から静止画をキャプチャし、その静止画データを、医療用の画像データのフォーマットであるＤＩＣＯＭ（Digital Imaging and Communications in Medicine）フォーマットの画像ファイルとして画像メモリ３９に格納する回路である。
【００５２】
マルチ画面処理回路３７は、合成回路３４からのデジタルＨＤＴＶ信号と、画像メモリ３９から読み出した（例えばファイルの作成時の新しい順に所定数だけ読み出した）画像ファイルの静止画データとをそれぞれ縮小して一画面に配列したマルチ画面の映像信号を生成する回路である。なお、画像メモリ３９にまだ画像ファイルが記憶されていない場合には、マルチ画面処理回路３７は、合成回路３４からのデジタルＨＤＴＶ信号をそのまま出力する（別の例として、静止画データの部分を空白にしたマルチ画面の映像信号を生成してもよい）。マルチ画面処理回路３７で生成された映像信号は、モニタ表示用の映像出力端子４０から出力して、図５のモニタ４に送られる。
【００５３】
ＳＤＩデコーダ３３によって検出されたタイミングリファレンス信号及び補助データは、光ディスクレコーダ２全体を制御するＣＰＵ４１に送られる。ＣＰＵ４１は、この補助データのうちのタイムコードに基づき、オンスクリーンデータ発生回路４２を制御して、現在のタイムコードを表すオンスクリーンデータ（キャラクタ）を発生させる。オンスクリーンデータ発生回路４２で発生されたキャラクタは、合成回路３４に送られて、デジタルＨＤＴＶ信号にスーパインポーズされる。
【００５４】
また、ＣＰＵ４１は、フレーム毎に、ＳＤＩデコーダ３３から送られる補助データからエッセンスマークＴＭの有無及び内容を判別することにより、図１０に示すような処理を実行する。
【００５５】
この処理では、最初に、当該フレームの補助データに、“_RecStart”（図２に示したように、ＡＶ素材の記録開始位置を示す予約語）をエッセンスマーク値（図１に示したＫＬＶメタデータのValueの値）としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１１）と、“_RecEnd” （図２に示したように、ＡＶ素材の記録終了位置を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１２）と、“_ShotMark1” （図２に示したように、ＡＶ素材のうちの着目したシーンである着目点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭが含まれているかの判断（ステップＳ１３）とを、いずれかでイエスになるまで繰り返す。
【００５６】
ステップＳ１１でイエスになると、オンスクリーンデータ発生回路４２（図９）を制御して、現在映像を記録中であることを表す「ＲＥＣ」のようなキャラクタを、それ以降のフレームで発生させ続ける（ステップＳ１４）。また、図９の光学ピックアップ３８の位置を調節するアクチュエータや、スピンドルモータを駆動する駆動回路等（図示略）を制御して、光ディスクレコーダ２内に装填された光ディスク（図示略）への映像の記録を開始させる（ステップＳ１５）。そして、当該フレームにおける処理を終了する。
【００５７】
ステップＳ１２でイエスになると、オンスクリーンデータ発生回路４２を制御して、それまで発生していた記録中であることを表すキャラクタ（過去のフレームについての処理においてステップＳ１４で発生させたキャラクタ）の発生を終了させる（ステップＳ１６）。また、前述のアクチュエータや駆動回路等を制御して、光ディスクへの映像の記録を終了させる（ステップＳ１７）。そして、当該フレームにおける処理を終了する。
【００５８】
ステップＳ１３でイエスになると、エッセンスマーク値である“_ShotMark1”を、当該フレームを識別する識別情報 （例えばフレーム番号）と共に、例えば図４に示したＸＭＬ文書のファイルのような文書ファイルとして、ＣＰＵ４１内部のメモリに記憶する（ステップＳ１８）。続いて、静止画キャプチャ処理回路３６（図９）を制御して、当該フレームの映像を静止画としてキャプチャして画像メモリ３９に画像ファイルを格納させる（ステップＳ１９）。そして、当該フレームにおける処理を終了する。
【００５９】
次に、図５の電子内視鏡１での操作によって、光ディスクレコーダ２に映像が記録される様子や、モニタ４に表示される映像について説明する。
【００６０】
電子内視鏡１を操作するオペレータが撮影を開始すると、電子内視鏡１から光ディスクレコーダ２に同軸ケーブル３を通してＨＤ−ＳＤＩ信号が送られ、光ディスクレコーダ２からモニタ４にデジタルＨＤＴＶ信号が送られることにより、撮影中の映像がモニタ４に表示される。
【００６１】
このオペレータが、光ディスクレコーダ２で映像の記録を開始するために、電子内視鏡１の操作パネル２１のＲＥＣ釦２２（図６）を押すか、または操作パネル２１の近傍のマイクロホン２５（図６）に向けて「レック」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_RecStart”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ４）。
【００６２】
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、映像の記録が開始される（図１０のステップＳ１５）。また、記録中であることを表す「ＲＥＣ」のようなキャラクタがスーパインポーズされて（図１０のステップＳ１４）、モニタ４にもこのキャラクタがスーパ表示される。
【００６３】
このようにして映像の記録を開始した後、このオペレータが、着目すべきフレーム（例えば疾患の部位が映っているフレームなど）で、操作パネル２１のＭＡＲＫ釦２４（図６）を押すか、マイクロホン２５に向けて「マーク」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_ShotMark1”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ６）。
【００６４】
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、エッセンスマーク値“_ShotMark1”がフレーム番号などと共に文書ファイルとして記憶される（図１０のステップＳ１８）とともに、そのフレームの映像が静止画としてキャプチャされる（図１０のステップＳ１９）。また、キャプチャした静止画が、撮影中の映像とともにモニタ４にマルチ画面で表示される。
【００６５】
図１１は、複数のフレームでＭＡＲＫ釦２４を押した（または「マーク」という音声を発した）段階でのモニタ４の表示画面を例示した図である。画面の上寄りに、撮影中の映像が表示されている。この映像には、現在のタイムコードと、記録中であることを表すキャラクタ「ＲＥＣ」とがスーパ表示されている。画面の下寄りには、左から新しい順（タイムコードが現在の値に近い順）に４つの静止画が表示されている。
【００６６】
その後、このオペレータが、光ディスクレコーダ２で映像の記録を終了するために、操作パネル２１のＳＴＯＰ釦２３（図６）を押すか、またはマイクロホン２５に向けて「ストップ」という音声を発すると、そのタイミングのＨＤ−ＳＤＩ信号のフレームのＶＢＩ領域に、“_RecEnd”をエッセンスマーク値としたエッセンスマークＴＭが重畳される（図７のステップＳ５）。
【００６７】
光ディスクレコーダ２の側では、このエッセンスマークＴＭが分離され、このエッセンスマークＴＭを動作指示と解釈して、映像の記録が終了する（図１０のステップＳ１７）。また、記録中であることを表すキャラクタの発生が終了し（図１０のステップＳ１６）、モニタ４にもこのキャラクタがスーパ表示されなくなる。
【００６８】
このようにして、電子内視鏡１の操作パネル２１での光ディスクレコーダ２に対する記録開始，静止画キャプチャ，記録終了操作（操作釦または音声による操作）に応じて、意味をもつ言葉を含んだテキストデータであるエッセンスマークＴＭが挿入されたＨＤ−ＳＤＩ信号が光ディスクレコーダ２で受信され、光ディスクレコーダ２では、このエッセンスマークＴＭを利用して、電子内視鏡１での操作に応じた記録開始，静止画キャプチャ，記録終了動作を行うことができる。
【００６９】
また、電子内視鏡１と光ディスクレコーダ２とをＨＤ−ＳＤＩ信号の伝送用の一本の同軸ケーブル３で接続するだけで、光ディスクレコーダ２での記録動作や静止画キャプチャ動作を制御することができる。
【００７０】
また、電子内視鏡１からは、光ディスクレコーダ２での映像の記録動作を制御するが、記録した映像の再生動作は制御しない。例えば図５の診断用ＰＣ６からＬＡＮ５経由で再生動作を制御するとともに、光ディスクレコーダ２を、この制御に応じて、記録した映像をファイル化してＬＡＮ５経由で送信するように構成することにより、電子内視鏡１と光ディスクレコーダ２とから成る系を、上位システムである図５の医療用映像ネットワークシステム内のサブシステムとして構築することが可能となる。
【００７１】
また、エッセンスマークＴＭは、標準化されたメタデータであるＫＬＶメタデータを応用した可読性のあるテキストデータなので、光ディスクレコーダ２のような本発明に対応した装置以外の装置が電子内視鏡１からＨＤ−ＳＤＩ信号を受信した場合でも、当該装置では、当該メタデータがどのように利用されており当該テキストデータが何を意味しているのかを判別することができる。したがって、そのレベルでの相互運用性（例えば、映像を記録した後の再生時に、“_ShotMark1”をエッセンスマーク値としたエッセンスマークＴＭが重畳されたフレームのサムネイル画像を一覧表示することなど）を保証することができる。
【００７２】
なお、以上の例では、図２に示した予約語をエッセンスマーク値としたエッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号に重畳している。しかし、変更例として、予約語以外のエッセンスマーク値として、オペレータが任意の名称（例えばポリープのような疾患の名称）を割り当てることのできる操作釦を電子内視鏡１の操作パネル２１に設け、その操作釦を押すことによって、その操作釦に割り当てた名称をエッセンスマーク値としたエッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号に重畳し、光ディスクレコーダ２の側では、このエッセンスマーク値をオンスクリーンデータ発生回路４２でキャラクタとして発生するようにしてもよい。それにより、図１２に例示したように、このエッセンスマーク値自体（図では“ポリープ”）をスーパ表示した映像を、光ディスクレコーダ２に記録するとともにモニタ４に表示することができるようになる。
【００７３】
さらに、この変更例において、こうした名称をスーパ表示する時間の長さや画面上の位置やフォント色等を設定するための操作釦を操作パネル２１に設け、その設定内容を示すコマンドを、名称自体とは区別できるようにしてエッセンスマーク値に付加し、光ディスクレコーダ２の側では、そのコマンドに応じて、キャラクタを発生させる時間の長さや画面上の位置やフォント色等を調整するようにしてもよい。
【００７４】
また、以上の例では、操作釦または音声による操作に応じてエッセンスマークＴＭを生成・重畳しているが、こうした操作以外に、次の（１）〜（３）のような処理をトリガーとしてエッセンスマークＴＭを生成・重畳するようにしてもよい。
（１）画像処理によって所定の結果が得られた（例えばパターン認識技術の適用で疾患の部位が検出された）こと。
（２）映像とともに音声を記録する場合に、音声処理によって所定の結果が得られた（た例えば所定のレベルの音声が検出された）こと。
（３）予め設定された時刻が到来したこと。
【００７５】
また、以上の例では、医療用の電子内視鏡と、この電子内視鏡で撮影された映像を記録する光ディスクレコーダとに本発明を適用している。しかし、本発明は、医療用途に限らず、セキュリティ（防犯・防災）用途や、学術用途（遺跡発掘）や、その他、カメラ部を有する装置で生成した映像を他の装置で記録するあらゆる用途に適用してよい。さらに、本発明は、カメラ部を有する装置で生成した映像を、映像記録機能を有しない他の装置に受信させる用途において、当該他の装置の動作を制御するために適用してもよい。
【００７６】
また、以上の例では、電子内視鏡１での光ディスクレコーダ２に対する操作に応じてエッセンスマークＴＭを生成・重畳している。しかし、カメラ部に対する操作を行う操作部を有する装置に本発明を適用する場合に、カメラ部に対する操作に応じたエッセンスマークＴＭを生成・重畳する（例えば、フィルタやシャッタ速度やゲインを変更する操作を行ったことに応じて、図２に示した予約語のうちの“_FilterChange”（フィルタの変更点を示す予約語）や“_ShutterSpeedChange”（シャッタ速度の変更点を示す予約語）や“_GainChange”（ゲインの変更点を示す予約語）をエッセンスマーク値としたエッセンスマークＴＭを生成・重畳する）ようにしてもよい。
【００７７】
また、以上の例では、エッセンスマークＴＭを生成してＨＤ−ＳＤＩ信号のＶＢＩ領域に重畳しているが、エッセンスマークＴＭ以外の、意味をもつ言葉を含んだテキストデータを生成したり、ＨＤ−ＳＤＩ信号以外のフォーマットの映像信号にそうしたテキストデータを挿入するようにしてもよい。
【図面の簡単な説明】
【００７８】
【図１】ＳＭＰＴＥによるＫＬＶメタデータの構造を示す図である。
【図２】エッセンスマークＴＭの予約語を示す図である。
【図３】エッセンスマークＴＭが付与されたビデオクリップを例示した図である。
【図４】図３のエッセンスマークＴＭをＸＭＬ文書で一覧表示した図である。
【図５】医療用の映像ネットワークシステムの全体構成を示す図である。
【図６】図５の電子内視鏡の構成を示すブロック図である。
【図７】電子内視鏡内でＣＰＵがＳＤＩエンコーダを制御する処理を示すフローチャートである。
【図８】“_RecStart”をエッセンスマーク値としたエッセンスマークＴＭを示す図である。
【図９】図５の光ディスクレコーダの構成を示すブロック図である。
【図１０】光ディスクレコーダ内のＣＰＵがエッセンスマークＴＭに基づいて実行する処理を示すフローチャートである。
【図１１】図５のモニタの表示画面を例示した図である。
【図１２】変更例に係るモニタの表示画面を例示した図である。
【符号の説明】
【００７９】
１  内視鏡、  ２  光ディスクレコーダ、  ３  同軸ケーブル、  ４  モニタ、  ５  ＬＡＮ、  ６  診断用ＰＣ、  ７  アーカイブ、  ８  電子カルテシステム、  １１  スコープ部、  １２  プロセッサ部、  １６  ＣＣＤカメラ、  １９  ＳＤＩエンコーダ、  ２０  ＣＰＵ、  ２２  ＲＥＣ釦、  ２３  ＳＴＯＰ釦、  ２４  ＭＡＲＫ釦、  ２５  マイクロホン、  ２６  音声認識回路、  ３３  ＳＤＩデコーダ、  ３４  合成回路、  ３５  映像信号処理回路、  ３６  静止画キャプチャ処理回路、  ３７  マルチ画面処理回路、  ３９  画像メモリ、  ４１  ＣＰＵ、  ４２  オンスクリーンデータ発生回路
【図１】
2008072236.tif 000003
【図２】
2008072236.tif 000004
【図３】
2008072236.tif 000005
【図４】
2008072236.tif 000006
【図５】
2008072236.tif 000007
【図６】
2008072236.tif 000008
【図７】
2008072236.tif 000009
【図８】
2008072236.tif 000010
【図９】
2008072236.tif 000011
【図１０】
2008072236.tif 000012
【図１１】
2008072236.tif 000013
【図１２】
2008072236.tif 000014