(57)【要約】      （修正有）【課題】観察対象物を動画により記録して、画像を覆い隠すことなくコメントを容易に記録する内視鏡装置を提供する。【解決手段】動画記録制御部３２４は、画像処理部３１２からフレームを受信して、フレームから動画を作成する。動画記録制御部３２４はマイク（音声取得部）３５４と接続される。ユーザがマイク３５４に向かって喋ると、マイク３５４はユーザの音声を音声信号に変換して動画記録制御部３２４に送信する。音声信号を受信した動画記録制御部３２４は、後述する文字変換処理を実行して音声認識を行う。これにより、音声信号が文字コードから成る文字データに変換される。動画記録制御部３２４は、音声信号、フレーム、及び文字コードを合成及び圧縮して動画を作成し、ファイル生成制御部３２６に送信する。動画圧縮方式は、例えばＭＰＥＧ−２やＭＰＥＧ−４である。【選択図】図１
2014036682.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を出力する撮像部と、
音声を録音して音声信号を出力する音声取得部と、
前記音声信号を受信して文字列に変換し、文字信号を生成する文字生成部と、
前記画像信号、前記音声信号、及び前記文字信号を受信して動画ファイルを作成する動画作成部とを備え、
前記動画作成部は、前記画像信号とは別に前記文字信号を文字コードとして前記動画ファイルに記録する内視鏡装置。
【請求項２】
前記動画作成部は、撮像部が被写体を撮像した時及び音声を録音した時を動画ファイルに記録する請求項１に記載の内視鏡装置。
【請求項３】
前記動画ファイルを再生して表示するモニタと、
前記文字信号を選択的に前記モニタに表示させる画像出力部とをさらに備え、
前記画像出力部は、撮像部が被写体を撮像した時と音声を録音した時とが合致するように、動画ファイルと文字信号とを前記モニタに表示させる請求項２に記載の内視鏡装置。
【請求項４】
前記動画ファイルを再生して表示するモニタと、
前記文字信号を選択的に前記モニタに表示させる画像出力部とをさらに備える請求項１又は２に記載の内視鏡装置。
【請求項５】
検索情報を入力する入力部と、
前記動画に記録された文字列から前記検索情報に対応する文字列を検索する検索部とをさらに備える請求項１から６のいずれかに記載の内視鏡装置。
【請求項６】
検索情報を入力する入力部と、
前記動画に記録された文字列から前記検索情報に対応する文字列を検索する検索部と、
前記動画ファイルを再生して表示するモニタと、
前記検索部が検索した文字列に対応する音声が記録された箇所から、前記動画ファイルを前記モニタに表示させる画像出力部とをさらに備える請求項２又は３に記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像して記録する内視鏡装置に関する。
【背景技術】
【０００２】
内視鏡装置はスコープとプロセッサとを備え、被験者の体内にスコープを挿入して体内の観察対象物を撮像する。撮像して得られた画像はプロセッサにより処理されて、体外に設けられたモニタに表示される。術者は、モニタに表示された画像を参照して、体内を観察する。そして、所望の画像が表示されたときに、スイッチを操作して、所望の画像を静止画として記録装置に保存する。術者は、キーボード又はタッチパネルを操作してコメントを内視鏡装置に入力できる。内視鏡装置は、入力されたコメントを静止画に重畳して記録する。すなわち、コメントは画像データとして静止画にオーバーレイされる（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１７８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、キーボード又はタッチパネルを術者が操作してコメントを入力する構成では、コメントを入力する度に術者がスコープから手を離さなければならず、煩雑であるとともに、観察時間が長くなるおそれが生じる。観察時間が長くなると被験者の負担が増加する。また、コメントを画像データとして静止画にオーバーレイしてしまうと、観察部位がコメントによって隠されてしまい、経過観察に支障が生じるおそれが生じる。さらに、静止画は、術者が意識して記録したものしか記録できないため、静止画に記録された範囲以外を観察終了後に参照したくなったとしても、このような範囲を参照することはできない。
【０００５】
したがって本発明は、観察対象物を動画により記録して、画像を覆い隠すことなくコメントを容易に記録する内視鏡装置を得ることを課題とする。
【課題を解決するための手段】
【０００６】
本願発明による内視鏡装置は、被写体を撮像して画像信号を出力する撮像部と、音声を録音して音声信号を出力する音声取得部と、音声信号を受信して文字列に変換し、文字信号を生成する文字生成部と、画像信号、音声信号、及び文字信号を受信して動画ファイルを作成する動画作成部とを備え、動画作成部は、画像信号とは別に文字信号を文字コードとして動画ファイルに記録することを特徴とする。
【０００７】
動画作成部は、撮像部が被写体を撮像した時及び音声を録音した時を動画ファイルに記録してもよい。
【０００８】
内視鏡装置は、動画ファイルを再生して表示するモニタと、文字信号を選択的にモニタに表示させる画像出力部とをさらに備え、画像出力部は、撮像部が被写体を撮像した時と音声を録音した時とが合致するように、動画ファイルと文字信号とをモニタに表示させることが好ましい。
【０００９】
内視鏡装置は、動画ファイルを再生して表示するモニタと、文字信号を選択的にモニタに表示させる画像出力部とをさらに備えることが好ましい。
【００１０】
内視鏡装置は、検索情報を入力する入力部と、動画に記録された文字列から検索情報に対応する文字列を検索する検索部とをさらに備えてもよい。
【００１１】
内視鏡装置は、検索情報を入力する入力部と、動画に記録された文字列から検索情報に対応する文字列を検索する検索部と、動画ファイルを再生して表示するモニタと、検索部が検索した文字列に対応する音声が記録された箇所から、動画ファイルをモニタに表示させる画像出力部とをさらに備えてもよい。
【発明の効果】
【００１２】
本発明によれば、観察対象物を動画により記録して、画像を覆い隠すことなくコメントを容易に記録する内視鏡装置を得る。
【図面の簡単な説明】
【００１３】
【図１】内視鏡装置を概略的に示したブロック図である。
【図２】動画ファイルを構成するトランスポートパケットのヘッダを示したブロック図である。
【図３】動画記録制御部を示したブロック図である。
【図４】動画読出制御部を示したブロック図である。
【図５】再生装置を概略的に示したブロック図である。
【図６】動画を再生するモニタを示した図である。
【図７】動画を再生するモニタを示した図である。
【図８】動画記録処理を示したフローチャートである。
【図９】録画処理を示したフローチャートである。
【図１０】文字変換処理を示したフローチャートである。
【図１１】再生処理を示したフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明における内視鏡装置１００について添付図面を参照して説明する。まず、図１を用いて内視鏡装置１００の構成について説明する。
【００１５】
内視鏡装置１００は、スコープ２００、プロセッサ３００、サーバ３９０、モニタ（表示部）３５１、及び記録装置（記録部）３５３を主に備える。
【００１６】
スコープ２００は、観察対象、例えば人体の内部に挿入される挿入部２１０と、使用者が把持する操作部２２０と、コネクタ２３０とから主に構成される。コネクタ２３０を介して操作部２２０がプロセッサ３００に接続される。
【００１７】
挿入部２１０の先端に設けられる可撓管２１１の内部には、撮像レンズ２１２、撮像素子２１３、照明レンズ２１４、及び照明ファイバ２１５が設けられる。
【００１８】
照明ファイバ２１５は、後述する光源ブロック３４０が生成した照明光を運び、照明レンズ２１４を介して観察対象物に照射する。
【００１９】
撮像レンズ２１２は、被写体像を撮像素子２１３に結像させ、撮像素子２１３は、被写体像を撮像して画像信号を出力する。画像信号は、可撓管２１１の内部に設けられる画像信号線２１６を介してコネクタ２３０に送信される。
【００２０】
操作部２２０は、その外面から突出する複数の操作スイッチ２２１を備える。操作スイッチ２２１は、静止画記録スイッチ２２２、フリーズスイッチ２２３、及び録画スイッチ２２４を含む。静止画を記録するために静止画記録スイッチ２２２が用いられ、モニタ３５１に表示されている動画を一時的に静止させるためにフリーズスイッチ２２３が用いられ、動画の記録を開始及び停止するために録画スイッチ２２４が用いられる。すなわち、内視鏡装置１００の動作を制御するために操作スイッチ２２１をユーザが操作する。
【００２１】
コネクタ２３０は、通信制御部２３１と、処理回路部２３２とを備える。通信制御部２３１は、操作スイッチ２２１から信号を受信し、プロセッサ３００に送信する。処理回路部２３２は、ＣＣＤ駆動回路及び信号処理回路を備え、撮像素子２１３を駆動する信号を送信するとともに、撮像素子２１３から画像信号を受信して所定の処理を施した後にプロセッサ３００に送信する。
【００２２】
次にプロセッサ３００について説明する。プロセッサ３００は、スコープ２００とプロセッサ３００とを絶縁する絶縁回路３１１と、スコープ２００から受信した画像を処理する画像処理ブロック３１０と、内視鏡装置１００の動作を制御する制御ブロック３２０と、画像を読み出す処理を行う読み出しブロック３３０と、照明光を生成する光源ブロック３４０とから主に構成される。
【００２３】
まず、画像処理ブロック３１０について説明する。画像処理ブロック３１０は、画像処理部３１２と、画像処理メモリ３１３と、ディスプレイ用ビデオエンコーダ３１４と、ＤＶＩ−Ｄ変換部３１５と、ＤＶＩ−Ａ変換部３１６と、セレクタ３１８とを主に備える。
【００２４】
観察を行っているとき、画像処理部３１２は、絶縁回路３１１を介して撮像素子２１３から画像信号を連続的に受信してフレームを作成する。フレームの作成について詳しく説明すると、画像処理部３１２は、画像処理メモリ３１３を一時メモリとして使用しながら、連続的に受信した画像信号を順次処理してフレームを作成する。このとき、画像処理部３１２の内部に設けられるスケーラ３１７が画像信号を処理して、フレームの縦横比、垂直周波数、画質などを適切に調整する。作成されたフレームは、ディスプレイ用ビデオエンコーダ３１４並びに後述する静止画記録制御部３２２及び動画記録制御部３２４に送信される。連続的に表示されたフレームを動画としてユーザが認知する。
【００２５】
記録済みの動画を再生するとき、画像処理部３１２は、後述する動画読出制御部３３１から画像信号及び文字コードを連続的に受信する。そして、画像処理メモリ３１３を一時メモリとして使用しながら、画像信号及び文字コードを順次処理してフレームを作成する。このとき、画像処理部３１２の内部に設けられるスケーラ３１７が画像信号を処理して、フレームの縦横比、垂直周波数、画質などを適切に調整する。文字コードは、対応する文字を表す文字画像に変換される。作成されたフレーム及び文字画像は、ディスプレイ用ビデオエンコーダ３１４に送信される。
【００２６】
ディスプレイ用ビデオエンコーダ３１４は、モニタ３５１が表示可能なフォーマットにフレーム及び文字画像を変換して、モニタ３５１に出力する。ＤＶＩ−Ｄ変換部３１５は、ＤＶＩ−Ｄフォーマットにフレーム及び文字画像を変換してモニタ３５１に出力する。ＤＶＩ−Ａ変換部３１６は、ＤＶＩ−Ａフォーマットにフレーム及び文字画像を変換してモニタ３５１に出力する。そして、モニタ３５１はフレーム及び文字画像を表示する。
【００２７】
次に、制御ブロック３２０について説明する。制御ブロック３２０は、システム制御回路３２１と、静止画記録制御部３２２と、静止画用メモリ３２３と、動画記録制御部３２４と、動画用メモリ３２５と、ファイル生成制御部（送信部）３２６とを備える。
【００２８】
システム制御回路３２１は、キーボード、マウス、フットスイッチ、及びメニューボタンのようなユーザインターフェース３５２及びタッチパネル３５６と接続され、ユーザインターフェース３５２及びタッチパネル３５６を介してユーザから指示を受信する。そして、受信した指示に基づいて、内視鏡装置１００の動作を制御する。また、システム制御回路３２１は観察情報を作成し、記録装置３５３に記憶させる。観察情報は、患者の情報、観察を行った人や場所の情報、及び観察日時等と、後述する動画ファイルとを互いに対応づけるテーブルである。
【００２９】
静止画記録制御部３２２は、画像処理部３１２からフレームを受信して、静止画用メモリ３２３を一時メモリとして使用しながら、フレームを用いて静止画を作成する。この一連の処理を静止画キャプチャという。静止画を作成する処理について以下に説明する。ユーザが静止画記録スイッチ２２２を押すと、通信制御部２３１を介してシステム制御回路３２１に信号が送信される。信号を受信したシステム制御回路３２１は、静止画記録制御部３２２に、静止画を作成する旨の信号を送信する。静止画記録制御部３２２は、この信号を受信した時に画像処理部３１２から受信したフレームを、所定の画像圧縮方式により圧縮して静止画として出力する。静止画はファイル生成制御部３２６に送信される。画像圧縮方式は、例えばＪＰＥＧである。
【００３０】
動画記録制御部３２４は、画像処理部３１２からフレームを受信して、動画用メモリ３２５を一時メモリとして使用しながら、フレームから動画を作成する。動画を作成する処理の概略を以下に説明する。ユーザが操作スイッチ２２１を押すと、通信制御部２３１を介してシステム制御回路３２１に信号が送信される。信号を受信したシステム制御回路３２１は、動画記録制御部３２４に、動画の記録を開始する旨の信号を送信する。動画記録制御部３２４は、この信号を受信した時に画像処理部３１２から受信したフレームを所定の動画圧縮方式により圧縮して動画として出力する。他方、動画記録制御部３２４はマイク（音声取得部）３５４と接続される。ユーザがマイク３５４に向かって喋ると、マイク３５４はユーザの音声を音声信号に変換して動画記録制御部３２４に送信する。音声信号を受信した動画記録制御部３２４は、後述する文字変換処理を実行して音声認識を行う。これにより、音声信号が文字コードから成る文字データに変換される。文字コードは、例えばＵｎｉｃｏｄｅ、ＥＵＣ、又はＳｈｉｆｔ＿ＪＩＳ等が用いられる。そして、動画記録制御部３２４は、音声信号、フレーム、及び文字コードを合成及び圧縮して動画を作成し、ファイル生成制御部３２６に送信する。動画圧縮方式は、例えばＭＰＥＧ−２やＭＰＥＧ−４である。
【００３１】
ファイル生成制御部３２６は、受信した静止画及び動画を適切な通信プロトコルを用いて、記録装置３５３に送信する。通信プロトコルは、例えばＵＳＢやＩＥＥＥ１３８４である。また、ファイル生成制御部３２６は、受信した静止画及び動画を無線ＬＡＮを介してサーバ３９０に送信することも可能である。サーバ３９０は、静止画及び動画を受信して記録する。
【００３２】
次に、読み出しブロック３３０について説明する。読み出しブロック３３０は、動画読出制御部３３１、Ｄ／Ａコンバータ３３２、アンプ３３３、スピーカ３３４、及びヘッドフォンジャック３３５を主に備える。
【００３３】
動画読出制御部３３１は、記録装置３５３及びＤ／Ａコンバータ３３２に接続され、記録装置３５３に記録されている動画ファイルを読み出す。そして、動画ファイルを解凍して画像信号、音声信号、及び文字コードを順次取り出す。画像信号及び文字コードは画像処理部３１２に送信され、音声信号はＤ／Ａコンバータ３３２に送信される。Ｄ／Ａコンバータ３３２は、音声信号をアナログ音声信号に変換してアンプ３３３に送信する。アンプ３３３は、アナログ音声信号を適切なレベルに増幅してスピーカ３３４及びヘッドフォンジャック３３５に送信する。
【００３４】
次に、光源ブロック３４０について説明する。光源ブロック３４０は、集光レンズ３４１と、ランプ３４２と、光源制御及び電源回路３４３とを主に備える。光源制御及び電源回路３４３は、プロセッサ３００が備える図示しないプロセッサ電源回路から電力を受け、ランプ３４２に適した電圧に変換してランプ３４２に電力を供給する。ランプ３４２は、光源制御及び電源回路３４３から電力を受けて、照明光を生成する。集光レンズ３４１は、ランプ３４２が生成した照明光を照明ファイバ２１５に集光させて入射させる。
【００３５】
システム制御回路３２１の検索部としての機能について説明する。ユーザが、検索したい文字列をユーザインターフェース３５２又はタッチパネル３５６を介して入力すると、システム制御回路３２１に伝達される。ユーザが入力した情報を検索情報と呼ぶ。検索情報は、チャプタナンバー、イベントの名称及び発生時間、患者の情報、観察を行った者の情報、観察日時等である。ここで、イベントの名称は、ユーザによるユーザインターフェース３５２及びタッチパネル３５６の操作に対応し、例えば、静止画記録スイッチ２２２の操作には静止画キャプチャ、フリーズスイッチ２２３の操作には動画フリーズなどの名称が割り当てられている。検索情報を受信したシステム制御回路３２１は、検索情報に対応する文字列を、記録装置３５３に記憶されている動画ファイルから検索する。
【００３６】
次に、図２を用いて文字コードを記録する手段について、ＭＰＥＧ−２を一例として説明する。ＭＰＥＧ−２のトランスポートストリームは、動画データをトランスポートパケットに分割して送信する。トランスポートパケットはパケット識別子を有し、パケット識別子にイベントレジスタが記録される。図２は、トランスポートパケットのパケット識別子の構造を概念的に示した図である。パケット識別子には、ＰＭＴ、ＰＡＴ、ＰＣＲ、ＰＥＳ（Ｖｉｄｅｏ）、ＰＥＳ（Ａｕｄｉｏ）、及びＰＥＳ（Ｃｈａｒ）が主に記録される。ここで、ＰＭＴ、ＰＡＴ、ＰＣＲ、ＰＥＳ（Ｖｉｄｅｏ）、及びＰＥＳ（Ａｕｄｉｏ）は公知であるため、説明を省略する。ＰＥＳ（Ｃｈａｒ）は、ユーザが自由に使用できる領域に記録され、文字コードを記録する。
【００３７】
次に図３を用いて動画記録制御部３２４の構成について説明する。動画記録制御部３２４は、ディスプレイ用ビデオエンコーダ３１４とオーディオエンコーダ３６２とマルチプレクサ３６３と文字エンコーダ３６４とを主に備える。オーディオエンコーダ３６２は、マイク３５４が送信した音声信号を受信し、音声信号を圧縮してオーディオストリームとして出力する。すなわちオーディオストリームは、音声信号を圧縮して得られる信号であって、マルチプレクサ３６３に送信される。文字エンコーダ３６４は、システム制御回路３２１から音声信号を受信し、後述する文字変換処理を実行する。この文字変換処理により文字コードが作成され、文字コードはマルチプレクサ３６３に出力される。圧縮用ビデオエンコーダ３６１は、画像処理部３１２からフレームを受信し、フレームを圧縮してビデオストリームとして出力する。すなわちビデオストリームは、動画のフレームを圧縮して得られる信号であって、マルチプレクサ３６３に送信される。マルチプレクサ３６３は、オーディオストリーム、ビデオストリーム、及び文字コードを受信して合成及び圧縮し、動画として出力する。
【００３８】
次に図４を用いて動画読出制御部３３１の構成について説明する。動画読出制御部３３１は、デマルチプレクサ３７１と、同期調整部３７２と、ビデオデコーダ３７３と、オーディオデコーダ３７４と、文字デコーダ３７５とを主に備える。
【００３９】
デマルチプレクサ３７１は、記録装置３５３から動画ファイルを受信し、図示しないクロックジェネレータからクロック信号を受信する。そして、クロック信号に同期しながら、動画ファイルからビデオストリーム、オーディオストリーム、文字ストリーム、及び同期信号を取り出す。ビデオストリームはビデオデコーダ３７３に送信され、オーディオストリームはオーディオデコーダ３７４に送信され、文字ストリームは文字デコーダ３７５に送信され、同期信号は同期調整部３７２を介してビデオデコーダ３７３、オーディオデコーダ３７４及び文字デコーダ３７５に送信される。
【００４０】
ビデオデコーダ３７３は、ビデオストリームをフレームに変換し、同期信号に同期しながらフレームを出力する。オーディオデコーダ３７４は、オーディオストリームを音声信号に変換し、同期信号に同期しながら音声信号を出力する。
【００４１】
文字デコーダ３７５は、文字ストリームを文字コードに変換し、同期信号に同期しながら文字コード信号を出力する。同期信号に同期しながらフレーム、音声信号及び文字コードを出力することにより、フレーム、音声及び文字列がずれることなく再生される。また、文字デコーダ３７５はシステム制御回路３２１から文字列信号を受信する。文字列信号は、検索情報を含む信号である。文字列信号を受信した文字デコーダ３７５は、検索情報に対応する動画ファイルを記録装置３５３から読み出して、画像処理部３１２に送信する。
【００４２】
次に、図５を参照して再生装置４００について説明する。再生装置４００は、例えばパーソナルコンピュータであって、内視鏡装置１００とは別個に設けられる。再生装置４００は、ＰＣ本体４１０と、ＰＣモニタ４０２と、ＰＣスピーカ４０３と、ＰＣユーザインターフェース４０４とを主に備える。ＰＣモニタ４０２、ＰＣスピーカ４０３、及びＰＣユーザインターフェース４０４は各々ＰＣ本体４１０に接続される。
【００４３】
ＰＣ本体４１０は、ＰＣ記録装置４１１と、ＣＰＵ４１２と、ビデオボード４１５と、サウンドボード４１６と、ネットワークアダプタ４１７とを主に備える。ＰＣ記録装置４１１、ビデオボード４１５、サウンドボード４１６、及びネットワークアダプタ４１７は、ＣＰＵ４１２に各々接続される。
【００４４】
ＣＰＵ４１２は、画像読出制御部４１３とシステム制御部４１４とを有する。システム制御部４１４は、ＣＰＵ４１２に接続される各要素を制御する。システム制御部４１４の制御により、ネットワークアダプタ４１７はネットワークを介してサーバ３９０から動画ファイルを取得する。取得された動画ファイルをＰＣ記録装置４１１が記憶する。画像読出制御部４１３は、ＰＣ記録装置４１１から動画ファイルを読み出して、フレーム、音声信号、及び文字コードを作成する。そして、フレームと文字コードとをビデオボード４１５に出力し、音声信号をサウンドボード４１６に出力する。ビデオボード４１５は、フレームと文字コードとをＰＣモニタ４０２が表示可能なフォーマットに変換して、ＰＣモニタ４０２に出力する。サウンドボード４１６は、音声信号をＰＣスピーカ４０３が音声出力可能なフォーマットに変換して、ＰＣスピーカ４０３に出力する。そして、ＰＣモニタ４０２はフレームと文字コードとを表示し、ＰＣスピーカ４０３は音を発する。
【００４５】
ユーザは、ＰＣユーザインターフェース４０４を用いて、ＰＣ本体４１０に検索情報を入力可能である。システム制御部４１４は、システム制御回路３２１と同様の検索機能を有し、入力された検索情報を用いて動画ファイルを検索する。
【００４６】
次に図６及び７を用いて、モニタ３５１に表示されたフレーム及び文字画像について説明する。なお、ＰＣモニタ４０２もモニタ３５１と同様の表示が可能である。
【００４７】
図６は、第１の表示パターンを示す。第１の表示パターンでは、モニタ３５１の中央から左側に渡って映像エリア３５１ａが設けられ、モニタ３５１の右下に文字列表示エリア３５１ｂが設けられ、モニタ３５１の右上に情報表示エリア３５１ｃが設けられる。
【００４８】
映像エリア３５１ａはフレームのみを表示し、文字列表示エリア３５１ｂは文字画像を表示し、情報表示エリア３５１ｃは、患者の情報、観察を行った人や場所の情報、及び観察日時等を表示する。これにより、フレームに含まれる観察対象物の画像を文字画像が覆ってしまうことを防止できる。情報表示エリア３５１ｃが表示する情報は、前述のように記録装置３５３に記憶されている。
【００４９】
映像エリア３５１ａはフレーム上に文字列を重畳した画像のみを表示することも可能である。これにより、モニタ３５１全体を使ってフレームを拡大表示できる。フレーム上に文字画像を重畳するか、あるいはフレームの外側に文字画像を表示するかは、ユーザが任意に選択可能である。
【００５０】
図７は、第２の表示パターンを示す。第２の表示パターンでは、モニタ３５１の中央から上側に渡って映像エリア３５１ａが設けられ、モニタ３５１の下部に文字列表示エリア３５１ｂが設けられ、モニタ３５１の左上に情報表示エリア３５１ｃが設けられる。映像エリア３５１ａ、文字列表示エリア３５１ｂ、及び情報表示エリア３５１ｃが表示する情報は第１の表示パターンと同様であるため、説明を省略する。
【００５１】
次に図８を参照して動画記録処理について説明する。動画記録処理は、プロセッサ３００が使用されているときに、プロセッサ３００が周期的に実行する処理である。
【００５２】
まず、ステップＳ４０１において録画スイッチ２２４が操作されたか否かを判断する。録画スイッチ２２４が操作された場合、処理はステップＳ４０２に進み、録画スイッチ２２４が操作されていない場合、処理はステップＳ４０３に進む。
【００５３】
ステップＳ４０２では、操作された録画スイッチ２２４が動画の記録開始を指示するものか、あるいは記録停止を指示するものかを判断する。記録開始を指示するものである場合、ステップＳ４１１からＳ４１８までの処理において動画を記録する。記録停止を指示するものである場合、ステップＳ４２１からＳ４２９までの処理において動画の記録を停止する。
【００５４】
他方、ステップＳ４０３では、動画を記録中であるか否かを判断する。動画を記録中である場合、ステップＳ４３１からＳ４３６までの処理において動画の記録を継続する。記録中でない場合、処理はステップＳ４４１に進み、他の処理を実行し、ステップＳ４５０において動画記録処理を終了する。
【００５５】
ステップＳ４１１からＳ４１８までの動画記録開始処理について説明する。ステップＳ４１２では、録画の開始を指示する信号を動画記録制御部３２４にシステム制御回路３２１が送信する。ステップＳ４１３からＳ４１５は動画記録制御部３２４により実行される。ステップＳ４１３では、動画記録制御部３２４が画像処理部３１２から受信したフレームの垂直同期信号を検出する。ステップＳ４１４では、フレームを圧縮する。そして、ステップＳ４１５では、圧縮したフレームと共に、対応するイベントレジスタ又はチャプタレジスタを動画用メモリ３２５に記憶させる。次のステップＳ４１６からＳ４１８はファイル生成制御部３２６により実行される。ステップＳ４１６では、ファイル生成制御部３２６が動画記録制御部３２４を介して動画用メモリ３２５から圧縮されたフレームを読み出す。ステップＳ４１７では、複数のフレームを結合して動画ファイルを作成する。そして、ステップＳ４１８では、動画ファイルを記録装置３５３に送信して記憶させ、ステップＳ４１１からＳ４１８までの処理を終了してステップＳ４０１に戻る。
【００５６】
ステップＳ４２１からＳ４２９までの動画記録停止処理について説明する。ステップＳ４２２では、録画の停止を指示する信号を動画記録制御部３２４にシステム制御回路３２１が送信する。ステップＳ４２３からＳ４２６は動画記録制御部３２４により実行される。ステップＳ４２３では、画像処理部３１２から受信したフレームの垂直同期信号と、最終フレームとを検出する。ステップＳ４２４では、最終フレームを圧縮して画像圧縮を終了する。次のステップＳ４２５では、圧縮した最終フレームと共に、対応するイベントレジスタ又はチャプタレジスタを動画用メモリ３２５に記憶させる。そして、ステップＳ４２６では、最終フレームの圧縮が終了した旨の信号をファイル生成制御部３２６に送信する。次のステップＳ４２７からＳ４２９はファイル生成制御部３２６により実行される。ステップＳ４２７では、ファイル生成制御部３２６が動画記録制御部３２４を介して動画用メモリ３２５から圧縮された最終フレームを読み出す。ステップＳ４２８では、複数のフレームを結合して動画ファイルを作成した後、動画ファイルをクローズする。そして、ステップＳ４２９では、動画ファイルを記録装置３５３に送信して記憶させ、ステップＳ４２１からＳ４２９までの処理を終了してステップＳ４０１に戻る。
【００５７】
ステップＳ４３１からＳ４３６までの動画記録継続処理について説明する。ステップＳ４３２及びＳ４３３は動画記録制御部３２４により実行される。ステップＳ４３２では、受信したフレームを圧縮する。次のステップＳ４３３では、圧縮したフレームと共に、対応するイベントレジスタ又はチャプタレジスタを動画用メモリ３２５に記憶させる。次のステップＳ４３４からＳ４３６はファイル生成制御部３２６により実行される。ステップＳ４３４では、ファイル生成制御部３２６が動画記録制御部３２４を介して動画用メモリ３２５から圧縮されたフレームを読み出す。ステップＳ４３５では、複数のフレームを結合して動画ファイルを作成する。そして、ステップＳ４３６では、動画ファイルを記録装置３５３に送信して記憶させ、ステップＳ４３１からＳ４３６までの処理を終了してステップＳ４０１に戻る。
【００５８】
次に、図９を用いて録画処理について説明する。録画処理は、動画記録処理のステップＳ４１４の一部として実行される。すなわち動画記録制御部３２４は、フレームを圧縮する処理に加えて録画処理を実行する。
【００５９】
始めのステップＳ９１では、動画記録制御部３２４マイクから音声信号を受信したか否かを判断する。受信した場合、処理はステップＳ９２に進み、受信していない場合、処理は終了して動画記録処理に戻る。ステップＳ９２では、後述する文字変換処理を実行して、音声信号を文字コードに変換する。次のステップＳ９３では、マルチプレクサ３６３がオーディオストリーム、ビデオストリーム、及び文字コードを合成及び圧縮し、動画として出力する。そして、ファイル生成制御部３２６が動画から動画ファイルを作成し、記録装置３５３が動画ファイルを記憶する。その後、処理が終了する。
【００６０】
次に、図１０を用いて文字変換処理について説明する。文字変換処理は、録画処理のステップＳ９２において実行される。
【００６１】
始めのステップＳ１００１では、音声信号を正規化する。次のステップＳ１００２では、音声信号をデータベースと比較、照合して、音声信号に近似する文字コードを決定する。データベースは、音声信号と文字コードとの対応を予め決定して作成され、記録装置３５３に記憶されている。そして次のステップＳ１００３では、文字コードをマルチプレクサ３６３に出力し、処理を終了する。
【００６２】
次に、図１１を用いて再生処理について説明する。再生処理は、内視鏡装置１００において実行される。ユーザはユーザインターフェース３５２を操作して、内視鏡装置１００に再生処理の実行を指示する。なお、再生装置４００もまた再生処理を実行可能である。
【００６３】
始めのステップＳ１１０１では、ユーザが指示した動画ファイルを記録装置３５３から読み出す。次のステップＳ１１０２では、動画読出制御部３３１が動画ファイルを解凍して画像信号、音声信号、及び文字コードを取り出し、画像信号及び文字コードを画像処理部３１２に送信し、音声信号をＤ／Ａコンバータ３３２に送信する。
【００６４】
ステップＳ１１０３では、Ｄ／Ａコンバータ３３２が音声信号をアナログ音声信号に変換してアンプ３３３に送信する。そして次のステップＳ１１０４では、アンプ３３３がアナログ音声信号を適切なレベルに増幅してスピーカ３３４及びヘッドフォンジャック３３５に送信する。これによりスピーカ３３４及びヘッドフォンジャック３３５から音声が出力される。
【００６５】
ステップＳ１１０５では、画像処理部３１２が画像信号を処理してフレームを作成する。また、ステップＳ１１０６では、画像処理部３１２が文字コードを処理して文字画像を作成する。次のステップＳ１１０７では、モニタ３５１に表示する表示パターンを選択する。表示パターンは、前述した第１又は第２の表示パターン、あるいはフレーム上に文字列を重畳した画像を表示する第３の表示パターンを有し、ユーザにより選択される。第１又は第２の表示パターンが選択されている場合、処理はステップＳ１１０９に進み、第３の表示パターンが選択されている場合、処理はステップＳ１１０８に進む。
【００６６】
ステップＳ１１０８では、画像処理部３１２がフレーム上に文字列を重畳した画像を作成して、ステップＳ１１１０に進み、画像処理部３１２が画像をディスプレイ用ビデオエンコーダ３１４に送信する。
【００６７】
ステップＳ１１０９では、画像処理部３１２が文字画像をディスプレイ用ビデオエンコーダ３１４に送信する。そしてステップＳ１１１０において、画像処理部３１２がフレームをディスプレイ用ビデオエンコーダ３１４に送信する。
【００６８】
次のステップＳ１１１１では、ディスプレイ用ビデオエンコーダ３１４がモニタ３５１に合致した形式にフレーム及び文字画像、又は画像を変換して、モニタ３５１に出力する。そして、モニタ３５１がこれらを表示する。
【００６９】
ステップＳ１１１２では、動画再生を停止する操作をユーザが行ったか否かを判断する。停止する操作が行なわれた場合、処理はステップＳ１１１３に進み、行われていない場合、処理はステップＳ１１０２に戻ってステップＳ１１０２からＳ１１１１までの処理を反復する。
【００７０】
ステップＳ１１１３では、動画の再生を終了する処理を行う。具体的には、動画ファイルをクローズする。そして処理を終了する。
【００７１】
本実施形態によれば、動画を撮影しながらコメントを容易に記録することができる。また、画像を覆い隠すことなく、コメントを表示することができる。
【００７２】
さらに、動画に含まれるコメントを検索して、所望の静止画を容易に検索することができる。経過観察を行う場合、患者の名前又は観察日時等によりフレームを検索できるため、経過観察の対象となる部位を容易に検索できる。
【００７３】
また、動画を圧縮することにより、長時間に渡る観察であっても全ての過程を記録することが出来る。これにより、観察対象物を撮影し忘れることがなくなる。
【００７４】
さらに、録画済みの動画から静止画を作成できるため、静止画を記録する操作を手技中に行う必要がなくなる。
【００７５】
また、音声と動画とを同時に記録することにより、手技中の情報を漏れなく記録することが出来る。
【００７６】
録画された動画を患者に見せることにより、手技の内容を的確に患者に知らせることが出来る。また、録画された動画を用いて、第三者が手技を学習することが出来る。
【００７７】
なお、撮像素子２１３はＣＣＤに限定されず、ＣＭＯＳ等の固体撮像素子であればよい。
【００７８】
静止画及び動画を圧縮する方式は、前述のものに限定されない。
【００７９】
動画記録処理において、動画ファイルの送信先は記録装置３５３でなく、サーバ３９０であっても良い。ファイル生成制御部３２６は、有線ＬＡＮを介して静止画及び動画をサーバ３９０に送信しても良い。このとき、動画ファイルは無線ＬＡＮでなく、ピアツーピアで接続されるサーバ３９０であっても良い。
【符号の説明】
【００８０】
１００  内視鏡装置
２００  スコープ
２１０  挿入部
２１１  可撓管
２１２  撮像レンズ
２１３  撮像素子
２１４  照明レンズ
２１５  照明ファイバ
２１６  画像信号線
２２０  操作部
２２１  操作スイッチ
２２２  静止画記録スイッチ
２２３  フリーズスイッチ
２２４  録画スイッチ
２３０  コネクタ
２３１  通信制御部
２３２  処理回路部
３００  プロセッサ
３１０  画像処理ブロック
３１１  絶縁回路
３１２  画像処理部
３１３  画像処理メモリ
３１４  ディスプレイ用ビデオエンコーダ
３１５  ＤＶＩ−Ｄ変換部
３１６  ＤＶＩ−Ａ変換部
３１７  スケーラ
３２０  制御ブロック
３２１  システム制御回路
３２２  静止画記録制御部
３２３  静止画用メモリ
３２４  動画記録制御部
３２５  動画用メモリ
３２６  ファイル生成制御部
３３０  読み出しブロック
３３１  動画読出制御部
３３２  Ｄ／Ａコンバータ
３３３  アンプ
３３４  スピーカ
３３５  ヘッドフォンジャック
３４０  光源ブロック
３４１  集光レンズ
３４２  ランプ
３４３  電源回路
３５１  モニタ
３５１ａ  映像エリア
３５１ｂ  文字列表示エリア
３５１ｃ  情報表示エリア
３５２  ユーザインターフェース
３５３  記録装置
３５４  マイク
３５６  タッチパネル
３６１  圧縮用ビデオエンコーダ
３６２  オーディオエンコーダ
３６３  マルチプレクサ
３６４  文字エンコーダ
３７１  デマルチプレクサ
３７２  同期調整部
３７３  ビデオデコーダ
３７４  オーディオデコーダ
３７５  文字デコーダ
３９０  サーバ
４００  再生装置
４０２  ＰＣモニタ
４０３  ＰＣスピーカ
４０４  ＰＣユーザインターフェース
４１０  ＰＣ本体
４１１  ＰＣ記録装置
４１２  ＣＰＵ
４１３  画像読出制御部
４１４  システム制御部
４１５  ビデオボード
４１６  サウンドボード
４１７  ネットワークアダプタ
【図１】
2014036682.tif 000003
【図２】
2014036682.tif 000004
【図３】
2014036682.tif 000005
【図４】
2014036682.tif 000006
【図５】
2014036682.tif 000007
【図６】
2014036682.tif 000008
【図７】
2014036682.tif 000009
【図８】
2014036682.tif 000010
【図９】
2014036682.tif 000011
【図１０】
2014036682.tif 000012
【図１１】
2014036682.tif 000013