(57)【要約】【課題】検査時のPinP画像でのモニタの表示イメージを正確に再現し、画像診断を的確に行う。【解決手段】CPU３１は、記録制御手段としてのシステム制御部３１０、倍率設定手段としての倍率設定部３１１、関連付け情報生成手段としてのPinP関連付け部３１２、配置設定手段としての画像配置設定部３１３及びレイアウト情報生成手段としてのレイアウト情報生成部３１４の、各機能部から構成される。【選択図】図２
2009207522.tif 000002
【特許請求の範囲】
【請求項１】
医療用観測機器より出力される第１の信号、及び該第１の信号とは異なる第２の信号を入力可能な入力手段と、
前記第１の信号に基づいて生成される第１の映像信号、及び前記第２の信号に基づいて生成される第２の映像信号の少なくともいずれか一方の映像信号に対して拡大処理または縮小処理を施した第１及び第２の変倍映像信号を生成する変倍手段と、
前記変倍手段における拡大率または縮小率を設定する倍率設定手段と、
前記倍率設定手段の設定に基づいて前記第１及び第２の変倍映像信号を合成し、合成画像信号を生成する合成手段と、
前記合成手段において合成される前記第１及び第２の変倍映像信号に基づき、前記第１及び第２の映像信号の関連付けを表す関連付け情報を生成する関連付け情報生成手段と、
前記合成手段において前記第１及び第２の変倍映像信号を合成する際の、前記第１及び第２の変倍映像信号の配置を設定する配置設定手段と、
前記倍率設定手段及び前記配置設定手段の設定を表すレイアウト情報を生成するレイアウト情報生成手段と、
前記第１及び第２の映像信号、前記関連付け情報、及び前記レイアウト情報を記録媒体に記録する制御を行う記録制御手段と、
を備えたことを特徴とする医療用画像処理装置。
【請求項２】
前記入力手段は、
内視鏡によって体腔内の像を撮像して得られる撮像信号に基づいた前記第１の映像信号としての内視鏡映像信号を入力可能であり、
前記倍率設定手段は、
前記内視鏡映像信号を相対的にサイズの大きい親画面とし、前記第２の映像信号を相対的にサイズの小さい子画面とするように前記内視鏡映像信号及び前記第２の映像信号の変倍率を設定する
ことを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記合成画像信号に文字を表す信号を重畳する文字重畳手段をさらに備え、
前記文字重畳手段は、
前記倍率設定手段及び前記配置設定手段の設定に基づき、文字を重畳する位置を決定する
ことを特徴とする請求項１または請求項２に記載の医療用画像処理装置。
【請求項４】
前記第１の映像信号または前記第２の映像信号の少なくともいずれかー方に画像処理を施す画像処理手段と、
前記画像処理手段が施した画像処理内容を表す画像処理情報を生成する画像処理情報生成手段と、
をさらに備え、
前記記録制御手段は、
前記画像処理情報を前記記録媒体に記録する制御を行う
ことを特徴とする請求項１ないし請求項３のいずれか１つに記載の医療用画像処理装置。
【請求項５】
前記記録媒体に記録されている前記第１及び第２の映像信号、前記関連付け情報、及び前記レイアウト情報を読み出し、読み出した情報に基づき再生画像を構築する再生画像構築手段をさらに備えた
ことを特徴とする請求項１ないし請求項４のいずれか１つに記載の医療用画像処理装置。
【請求項６】
前記医療用観測機器は、
被写体を撮像する撮像手段と、該被写体の状態を表す被映像情報を生成するセンサと、を備え、
前記入力手段は、
前記撮像素子の出力信号に基づいた信号と、前記センサの出力信号に基づいた信号と、を前記第１の信号及び第２の信号として入力可能である
ことを特徴とする請求項１ないし請求項５のいずれか１つに記載の医療用画像処理装置。
【請求項７】
前記入力手段は、前記医療用観測機器に設けられた撮像素子の出力信号に基づいた信号と、外部機器から出力される信号に基づいた信号と、を前記第１の信号及び第２の信号として入力可能である
ことを特徴とする請求項１ないし請求項５のいずれか１つに記載の医療用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の医療画像をモニタ画面に合成表示する医療用画像処理装置に関するものである。
【背景技術】
【０００２】
被写体としての被検体の体内を撮像して得られる内視鏡画像と、当該内視鏡とは異なるモダリティ（観測機器）からの画像とにそれぞれ拡大／縮小処理を施した後に合成して親子画像信号を生成し、当該親子画像信号に基づく親子画像をモニタに表示したり、記録媒体に記録する装置が、例えば特開平１０−３０８８９６号公報や特開２００２−１１２９５８号公報等に提案されている。
【特許文献１】特開平１０−３０８８９６号公報
【特許文献２】特開２００２−１１２９５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記親子画像を構成する親画像と子画像とは、一般的に内視鏡や他のモダリティから得られる原画像に対して変倍処理が施されているため、例えば検査後に記録媒体に記録された親子画像を基に詳細な診断を行なうことが困難であるという課題があった（原画像に縮小処理が施されている場合、画像そのものが小さく見づらいため診断が困難となり、原画像に拡大処理が施されている場合、画像が粗くなって見づらいため診断が困難となることが考えられる）。
【０００４】
この課題を解決するために、親画像と子画像の基となる原画像を互いに関連付けて記録媒体に記録することも考えられるが、この場合においては検査時に表示される親子画像と記録媒体から読み出される画像とのレイアウトに対して特に考慮が払われていないため、内視鏡検査時と検査後の記録画像に基づく診断時とで表示される画像のレイアウトが異なる場合があり、ユーザが検査時のイメージを把握することが困難であった。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、検査時のPinP画像でのモニタの表示イメージを正確に再現し、画像診断を的確に行うことのできる医療用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の医療用画像処理装置は、
医療用観測機器より出力される第１の信号、及び該第１の信号とは異なる第２の信号を入力可能な入力手段と、
前記第１の信号に基づいて生成される第１の映像信号、及び前記第２の信号に基づいて生成される第２の映像信号の少なくともいずれか一方の映像信号に対して拡大処理または縮小処理を施した第１及び第２の変倍映像信号を生成する変倍手段と、
前記変倍手段における拡大率または縮小率を設定する倍率設定手段と、
前記倍率設定手段の設定に基づいて前記第１及び第２の変倍映像信号を合成し、合成画像信号を生成する合成手段と、
前記合成手段において合成される前記第１及び第２の変倍映像信号に基づき、前記第１及び第２の映像信号の関連付けを表す関連付け情報を生成する関連付け情報生成手段と、
前記合成手段において前記第１及び第２の変倍映像信号を合成する際の、前記第１及び第２の変倍映像信号の配置を設定する配置設定手段と、
前記倍率設定手段及び前記配置設定手段の設定を表すレイアウト情報を生成するレイアウト情報生成手段と、
前記第１及び第２の映像信号、前記関連付け情報、及び前記レイアウト情報を記録媒体に記録する制御を行う記録制御手段と、
を備えて構成される。
【発明の効果】
【０００７】
本発明によれば、検査時のPinP画像でのモニタの表示イメージを正確に再現し、画像診断を的確に行うことができるという効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例１】
【０００９】
図１ないし図３４は本発明の実施例１に係わり、図１はビデオプロセッサの構成を示すブロック図、図２は図１のCPUの機能構成を示す機能ブロック図、図３は図１のPCMCIAコントローラが生成する検査管理情報ファイルを示す図、図４は図１のCFカードのディレクトリ構造を示す図、図５は図４のディレクトリ構造におけるCFカードに格納された画像の再生例を示す第１の図、図６は図４のディレクトリ構造におけるCFカードに格納された画像の再生例を示す第２の図、図７は図４のXMLファイルにより展開されるウインドウの一例を示す図、図８は図７のウインドウによるCFカードに格納された画像の再生例を示す図、図９は図１のモニタに表示されるPinP画像を説明する第１の図、図１０は図１のモニタに表示されるPinP画像を説明する第２の図である。
【００１０】
図１１は図１のモニタに表示されるPinP画像のレイアウトを決定する処理を説明するフローチャート、図１２は図１１の処理で決定されるPinP画像のレイアウトを説明する図、図１３は図３の検査管理情報ファイルに基づくCFカードからの画像再生処理を説明するフローチャート、図１４は図１３の処理によりCFカードから再生されたPinP画像を説明する第１の図、図１５は図１３の処理によりCFカードから再生されたPinP画像を説明する第２の図、図１６は図１３の処理によりCFカードから再生されたPinP画像を説明する第３の図、図１７は図１３の処理によりCFカードから再生されたPinP画像を説明する第４の図、図１８は図１３の処理によりCFカードから再生されたPinP画像を説明する第５の図、図１９は図１のUSBコントローラに接続されるプリンタに対する第１の制御を説明する第１のフローチャート、図２０は図１９の処理を説明するための第１の図である。
【００１１】
図２１は図１９の処理を説明するための第２の図、図２２は図１のUSBコントローラに接続されるプリンタに対する第２の制御を説明する第２のフローチャート、図２３は図１のUSBコントローラに接続されるプリンタに対する第３の制御を説明する第３のフローチャート、図２４は図２３の処理を説明するための第１の図、図２５は図２３の処理を説明するための第２の図、図２６は図１のUSBコントローラに接続されるプリンタに対する第４の制御を説明するための図、図２７は図１のUSBコントローラに接続されるプリンタに対する第５の制御を説明する第５のフローチャート、図２８は図２７の処理を説明するための図、図２９は変形例１に係る図４のディレクトリ構造を示す図、図３０は変形例２に係るビデオプロセッサの構成を示すブロック図である。
【００１２】
図３１は図３０のビデオプロセッサの作用を説明するための図、図３２は変形例３に係るビデオプロセッサの構成を示すブロック図、図３３は変形例４に係るビデオプロセッサの構成を示すブロック図、図３４は図３３のカプセル内視鏡の構成を示す図である。
【００１３】
図１に示すように、本実施例の医療用画像処理装置であるビデオプロセッサ１は、内視鏡検査を実施し電子内視鏡（以下、内視鏡と略記する）２により得られた内視鏡画像と、外部画像機器（例えば超音波観察装置等）３から得られた外部入力画像とを、PinP（ピクチャインピクチャ）画像としてモニタ４に表示すると共に、モニタ４に表示されたPinP画像を、記録媒体である例えばCFカード５に記録することのできる画像処理装置である。
【００１４】
ビデオプロセッサ１は、内視鏡２の先端内に配置されている撮像手段としての例えばCCD６からの撮像信号を入力する第１の入力部としてのプリプロセス部１１と、外部画像機器３からの映像信号を入力する第２の入力部としてのA/D変換部１６とを、入力手段として備えている。
【００１５】
プリプロセス部１１は、入力された撮像信号に対して相関２重サンプリング処理等の前処理を行い、後段の映像信号処理回路１２に前処理した信号を出力する。映像信号処理回路１２は、RGBマトリックス処理、ホワイトバランス処理、輪郭強調処理等の公知の映像処理を行った後に、内視鏡画像として後段の第１のスケーラ１３に処理後の信号を出力する。
【００１６】
一方、A/D変換部１６は、外部画像機器３からの映像信号をデジタル信号に変換すると共に２値化した映像データを生成し、後段のFIFOメモリ１７に順次格納する。FIFOメモリ１７は、格納された映像データを、同期回路１８を介して外部入力画像として後段の第２のスケーラ１９に出力する。
【００１７】
前記第１のスケーラ１３及び第２のスケーラ１８は、内視鏡画像及び外部入力画像の大きさを設定する変倍手段を構成する。
【００１８】
ビデオプロセッサ１は、内部バス３０を介して、CPU３１、USBコントローラ３２、第１のF-RAM（フラッシュメモリ）３３、第２のF-RAM３４、WORK RAM３５、第１のスケーラ１３、第２のスケーラ１８、圧縮／伸張処理部２４、PCMCIAコントローラ２５等が接続されており、これら各部は、内部バス３０を介して、各種データ及びコマンドを互いに送受することができるようになっている。
【００１９】
CPU３１は、内部バス３０を介し、第１のF-RAM３３に格納されているシステムプログラムに従って、WORK RAM３５を用いて各種演算等の処理を実行する。
【００２０】
また、USBコントローラ３２は、プリンタ（図示せず）及びキーボード（図示せず）とUSBプロトコルにて通信可能な入出力ポートを有している。例えばキーボードから入力される各種設定情報等は、USBコントローラ３２を介して内部バス３０に送られる。
【００２１】
USBコントローラ３２を介して入力されたキーボードからの情報や、CPU３１の演算結果等の処理情報は、内部バス３０を介して、第２のF-RAM３４に適宜格納される。
【００２２】
キーボードから入力される各種設定情報としては、例えばモニタ４に表示する画像の状態を設定する画像情報等がある。例えば、この画像情報は、内視鏡画像と外部入力画像をモニタ４にてPinP表示する際のPinP画像の設定情報である。具体的には、PinP画像の設定情報は、例えばPinP画像の親画像と子画像の設定情報、子画像のサイズ情報、子画像の配置位置情報等からなる。
【００２３】
キーボードからの親画像と子画像の設定情報、子画像のサイズ情報がUSBコントローラ３２を介してCPU３１に認識されると、CPU３１は、第１のスケーラ１３及び第２のスケーラ１９に対して倍率情報を、内部バス３０を介して出力する。第１のスケーラ１３及び第２のスケーラ１９は、この倍率情報に基づいて、内視鏡画像及び外部入力画像を拡大あるいは縮小し、PinP画像に対応した大きさに設定する。
【００２４】
第１のスケーラ１３及び第２のスケーラ１９により処理された、PinP画像に対応した大きさの内視鏡画像及び外部入力画像は、合成手段としてのOSD（オンスクリーンディスプレイ）／合成部１５に出力される。
【００２５】
OSD／合成部１５は、入力されたPinP画像に対応した大きさの内視鏡画像及び外部入力画像より、SDRAM２１を用いて、PinP画像を生成する。このとき、OSD／合成部１５は、モニタ４にオンスクリーンディスプレイ機能によりGUIメニュー（図示せず）を表示し、キーボード等の操作により、PinP画像の親画像及び子画像の大きさや配置の設定を受け付け、これらの情報に基づき、PinP画像を生成する。
【００２６】
さらに、OSD／合成部１５は、キーボード等の操作により、内視鏡２による内視鏡検査に関する各種検査情報（例えば、患者名、患者生年月日、患者ID、患者年齢、患者性別、検査年月日、検査部位、検査担当術者名等の情報）を文字画像として、CPU３１より内部バス３０を介して入力する。そして、OSD／合成部１５は、生成したPinP画像の所定の位置にこの文字画像を重畳させて、後段のD/A変換部２２に出力する。
【００２７】
D/A変換部２２は、文字画像が重畳されたPinP画像を公知のTV信号に変換し、モニタ４にPinP観察画像として表示させる。
【００２８】
また、ビデオプロセッサ１は、映像信号処理回路１２からの内視鏡画像及び同期回路１８からの外部入力画像をメモリ２３に格納するようになっている。メモリ２３に格納された内視鏡画像及び外部入力画像は、圧縮／伸張処理部２４にて圧縮処理され、PCMCIAコントローラ２５を介して画像ファイルとしてCFカード５に記録される。
【００２９】
ここで、CFカード５には、上記の内視鏡画像及び外部入力画像の画像ファイルの他に、CPU３１からの検査情報及びPinP画像に関する画像関連情報等に基づく、検査管理情報ファイルがPCMCIAコントローラ２５により生成され、検査管理情報ファイルが格納される。
【００３０】
CFカード５に格納されている内視鏡画像及び外部入力画像は、例えばキーボードを操作しCPU３１の制御により、PCMCIAコントローラ２５を介して圧縮／伸張処理部２４にて伸張処理され、メモリ２３に格納することができる。
【００３１】
このとき、OSD／合成部１５は、CFカード５に格納されている検査管理情報ファイルのPinP画像に関する画像関連情報に基づき、メモリ２３に格納されたCFカード５より読み出した内視鏡画像及び外部入力画像を、検査時にモニタ４に表示していたPinP画像の表示形態と同一の表示形態のPinP画像を構築し、検査情報より文字画像を生成し、生成した文字画像をPinP画像に重畳してモニタ４に表示させる。
【００３２】
すなわち、本実施例のビデオプロセッサ１は、検査時に表示していたPinP画像を、観察後にも全く同一のPinP画像にて表示させることができるようになっている。
【００３３】
CPU３１は、図２に示すように、記録制御手段としてのシステム制御部３１０、倍率設定手段としての倍率設定部３１１、関連付け情報生成手段としてのPinP関連付け部３１２、配置設定手段としての画像配置設定部３１３及びレイアウト情報生成手段としてのレイアウト情報生成部３１４の、各機能部から構成される。
【００３４】
PCMCIAコントローラ２５は、図３に示すように、情報＃１〜情報＃１３、情報＃１６からなる検査情報、情報＃１４、情報＃１５からなる内視鏡画像情報、情報＃１７A、情報＃１８A、＃１９A等のPinP画像情報（画像関連情報）等からなる、検査管理情報ファイルを生成する。
【００３５】
検査情報（情報＃１〜情報＃１３、情報＃１６）は、内視鏡検査時に入力された患者名、患者生年月日、患者ID、患者年齢、患者性別、検査年月日、検査部位、検査担当術者名、コメント等の情報から生成される。
【００３６】
内視鏡画像情報の情報＃１４は、この検査管理情報ファイルが管理する内視鏡画像のファイル名であり、ファイル名がDCIM以下フルパスで指定される。また、情報＃１５は、CPU３１の倍率設定部３１１による内視鏡画像の大きさを示す情報である。
【００３７】
PinP画像情報（情報＃１７A 〜１７D、情報＃１８A 〜１８D、情報＃１９A 〜１９D等）は、検査管理情報ファイルが管理する内視鏡画像に対するPinP情報であり、CPU３１のレイアウト情報生成部３１４により生成される。
【００３８】
検査情報及び内視鏡画像情報は、従来より検査管理情報ファイルによって管理されていたが、本実施例では、PinP画像情報をこの検査管理情報ファイルにより管理する。
【００３９】
PinP画像情報について詳細に説明すると、
（１）  情報＃１７A 〜１７D＝（CPU３１のPinP関連付け部３１２による）内視鏡画像と外部入力画像の親子関係を示す情報：具体例「xxxxyyyy」＝「xxxx」が親画像、「yyyy」が子画像（上位４ビットが親画像ファイルを指定し、下位４ビットが子画像ファイルを指定）
（２）  情報＃１８A〜１８D＝（CPU３１の画像配置設定部３１３による）子画面を配置するPinP画像上の位置情報：具体例「00」＝左下、「01」＝左上、「10」＝右上、「11」＝右下
（３）  情報＃１９A 〜１９D＝（CPU３１の倍率設定部３１１による）子画面の大きさを示す情報：具体例「00」＝1/9、「01」＝1/4、「10」＝親画像を同サイズ
である。
【００４０】
なお、PinP画像情報は、PinP画像の数だけ複数存在する。すなわち、図３の例では、４つのPinP画像が存在し、A 〜Dにより、それぞれのPinP画像情報が示されている。
【００４１】
このように生成された検査管理情報ファイルは、図４に示すようなディレクトリ構造にて、「FILES.bin」としてCFカード５に管理／格納される。なお、このディレクトリ構造は、例えば公知のDCIM規格に基づいている。
【００４２】
ここで、「FILES.bin」はバイナリ形式のファイルであるが、「FILES.xml」という名称の、HTMLのようなハイパーリンク形式のファイルも同時に検査管理情報ファイルのディレクトリ構造にて管理／格納される。
【００４３】
なお、CFカード５は、図４のディレクトリ構造のように、検査毎に検査フォルダ（例えば100ABCD）を生成し、この検査フォルダ内に、「FILES.bin」及び「FILES.xml」の他に、フルサイズのJPEGファイル（例えば、ABCD0001.jpgやABCD0002.jpg等）を生成する。なお、JPEGファイルの下位４ビットが画像データを識別するコードとなっている。
【００４４】
例えばユーザがPC（パーソナルコンピュータ）上でCFカード５にアクセスし、「ABCD0001.jpg」をダブルクリックすると図５に示すようなフルサイズの内視鏡画像が再生されたり、「ABCD0002.jpg」をダブルクリックすると図６に示すようなフルサイズの超音波画像が再生されたりする。この場合、PinP画像とはならない。
【００４５】
一方、ユーザがPC上でCFカード５にアクセスし、「FILES.xml」をダブルクリックすると、XMLファイル起動ソフトウエアが起動され、図７に示すようなブラウザウインドウが表示される。XMLファイルは、上述したように、HTMLとほぼ同一のハイパーリンク形式のファイルであり、文字や画像を所定の位置に表示することができる。そこで、図７に示すように、PinP関係が成立している場合には、例えば矢印図形５００等にて関連づけられている画像を視認しやすく表示させることができ、図７に示すようなブラウザウインドウ上にて、一方の画像ファイルをダブルクリックすることで、図８に示すような、内視鏡画像５０、外部入力画像（例えば超音波画像）５１及び文字画像５２からなるPinP画像をモニタ４に表示させることができる。
【００４６】
次に、上記のPinP画像情報を、観察時のモニタ４の表示を模式的に示して、より詳細に説明する。
【００４７】
図９に示すように、モニタ４に表示されるPinP画像は、子画像の表示位置により４つの異なる配置のPinPパターンである位置パターンP（n）（n＝１〜４）が存在する。上述した情報＃１８A〜１８Dは、この位置パターンP（n）に対応したデータとなる。
【００４８】
また、図１０に示すように、モニタ４に表示されるPinP画像は、子画像の大きさ（サイズ）により４つの異なる配置のPinPパターンである子画像サイズパターンS（n）（n＝１〜３）が存在する。上述した情報＃１９A〜１９Dは、この位置パターンP（n）に対応したデータとなる。
【００４９】
このように複数のパターンが存在するため、OSD／合成部１５は、モニタ４にオンスクリーンディスプレイ機能により各種設定情報を取得し、図１１に示すような処理を行い、親画像と子画像を合成し、文字画像を重畳させたPinP画像を構築する。
【００５０】
すなわち、図１１に示すように、OSD／合成部１５は、ステップS２１にてオンスクリーンディスプレイ機能にて設定された子画像サイズパターンがS（３）であるかどうか判断する。もし、子画像サイズパターンがS（３）ならば（子画像サイズ＝親画像サイズ）、OSD／合成部１５は、ステップS３１にてレイアウトを、図１２に示す第６のレイアウトL（６）とし、文字画像を例えば画像下部に重畳させたPinP画像を構築する。
【００５１】
また、子画像サイズパターンがS（３）でないならば、OSD／合成部１５は、ステップS２２にてオンスクリーンディスプレイ機能にて設定された位置パターンがP（３）あるいはP（４）かどうか判断する。もし、位置パターンがP（３）あるいはP（４）ならば、OSD／合成部１５は、ステップS３０にてレイアウトを、図１２に示す第５のレイアウトL（５）とし、文字画像を内視鏡画像及び外部入力画像にかからない位置である、例えば画像左部に重畳させたPinP画像を構築する。
【００５２】
位置パターンがP（３）あるいはP（４）でないならば、OSD／合成部１５は、ステップS２３にてオンスクリーンディスプレイ機能にて設定された位置パターンがP（１）かどうか判断する。もし、位置パターンがP（１）ならば、OSD／合成部１５は、ステップS２７にてオンスクリーンディスプレイ機能にて設定された子画像サイズパターンがS（２）（＝１／４）かどうか判断する。もし、子画像サイズパターンがS（２）ならば、OSD／合成部１５は、ステップS２９にてレイアウトを、図１２に示す第４のレイアウトL（４）とし、文字画像を少なくとも子画像にかからない位置である例えば画像左下部に重畳させたPinP画像を構築する。
【００５３】
ステップS２７において子画像サイズパターンがS（２）でない（すなわちS（１）＝１／９である）と判断すると、OSD／合成部１５は、ステップS２８にてレイアウトを、図１２に示す第３のレイアウトL（３）とし、文字画像を少なくとも子画像にかからない位置である例えば画像左下部に重畳させたPinP画像を構築する。
【００５４】
また、ステップS２３おいて位置パターンがP（１）でないと判断すると、OSD／合成部１５は、ステップS２４にてオンスクリーンディスプレイ機能にて設定された子画像サイズパターンがS（２）（＝１／４）かどうか判断する。もし、子画像サイズパターンがS（２）ならば、OSD／合成部１５は、ステップS２６にてレイアウトを、図１２に示す第２のレイアウトL（２）とし、文字画像を少なくとも子画像にかからない位置である例えば画像左上部に重畳させたPinP画像を構築する。
【００５５】
ステップS２４において子画像サイズパターンがS（２）でない（すなわちS（１）＝１／９である）と判断すると、OSD／合成部１５は、ステップS２５にてレイアウトを、図１２に示す第１のレイアウトL（１）とし、文字画像を少なくとも子画像にかからない位置である例えば画像左上部に重畳させたPinP画像を構築する。
【００５６】
以上のようにして、OSD／合成部１５は、オンスクリーンディスプレイ機能によりPinP画像のレイアウトL（１）〜L（６）を決定して、SDRAM２１を用いてPinP画像を構築し、モニタ４に表示する。
【００５７】
そして、OSD／合成部１５におけるレイアウトの決定の制御は、図２に示したCPU３１の、倍率設定部３１１、PinP関連付け部３１２、画像配置設定部３１３の各機能部の制御により実行され、CPU３１は、レイアウト情報生成部３１４により、決定したレイアウトの情報をPinP画像情報（情報＃１７A 〜１７D、情報＃１８A 〜１８D、情報＃１９A 〜１９D等）として取得する。
【００５８】
モニタ４に上述のように決定したレイアウトのPinP画像を表示している際に、例えばキーボード操作により、表示画像を記録する指示が入力されると、CPU３１のシステム制御部３１０は、圧縮／伸張処理部２４を制御し、メモリ２３に格納されている内視鏡画像及び外部入力画像を圧縮させて、PCMCIAコントローラ２５を介して、CFカード５に画像データを保存する。
【００５９】
このとき、CPU３１は、検査情報（情報＃１〜情報＃１３、情報＃１６）と共に、レイアウト情報生成部３１４により生成されたPinP画像情報（情報＃１７A 〜１７D、情報＃１８A 〜１８D、情報＃１９A 〜１９D等）をPCMCIAコントローラ２５に出力する。
【００６０】
この結果、PCMCIAコントローラ２５は、画像データと共に、「FILES.bin」及び「FILES.xml」を生成し、CFカード５に格納する（図３及び図４参照）。
【００６１】
次に、内視鏡検査後に、ビデオプロセッサ１にて、CFカード５に格納されている内視鏡画像及び外部入力画像からなるPinP画像の再生について説明する。
【００６２】
CPU３１はキーボード操作によりCFカード５の再生を検知すると、図１３に示すように、ステップS１にてPCMCIAコントローラ２５を介してCFカード５の「setting.bin」ファイル（図４参照）にアクセスする。そして、CPU３１は、ステップS２にてCFカード５のディレクトリ構造を読み出し、ビデオプロセッサ１内の各部を制御し、格納されている画像データのサムネイル画像をモニタ４に表示する。
【００６３】
次に、CPU３１は、ステップS３にてOSD／合成部１５を制御し、オンスクリーンディスプレイ機能によりサムネイル画像を表示しているモニタ４上にGUIによるメニューを表示させ、所望のサムネイル画像の選択をユーザに促す。
【００６４】
所望のサムネイル画像が選択されると、CPU３１は、ステップS４にて「FILES.bin」内の情報＃１７A 〜１７D等（図３参照）より、選択されたサムネイル画像がPinP画像を構築している画像かどうか判断する。
【００６５】
選択されたサムネイル画像がPinP画像を構築している画像と判断すると、CPU３１は、ステップS５にて「FILES.bin」内の情報＃１７A 〜１７D等より、PinP画像を構成する２つの画像のファイル名と、親子関係の情報を取得する。
【００６６】
例えば、図４において、親画像が「ABCD0001」で、子画像が「ABCD0002」ならば、例えば＃１７Aは、上位４ビットが親画像ファイル名を示し、下位４ビットが子画像ファイル名を示す「00010002」というデータとなっている。
【００６７】
次に、CPU３１は、ステップS６にて子画像の位置情報を「FILES.bin」内の情報＃１８A〜１８D等より取得する。さらに、CPU３１は、ステップS７にて子画像のサイズを「FILES.bin」内の情報＃１９A〜１９D等より取得する。そして、CPU３１は、ステップS７にて、選択されたサムネイル画像の検査情報（情報＃１〜情報＃１３、情報＃１６）を取得する。
【００６８】
続いて、CPU３１は、ステップS９にてOSD／合成部１５を制御し、SDRAM２１上に、PinP画像を構成する２つの画像を展開し、さらに、CPU３１は、ステップS１０にて子画像となる画像をステップS７において取得した子画像のサイズの情報に基づき、スケーリングする。
【００６９】
そして、CPU３１は、ステップS１１にてOSD／合成部１５を制御し、親画像、及びスケーリングされた子画像、及び検査情報に基づく文字画像を合成し、PinP画像を構築し、ステップS１２にてモニタ４に文字画像を重畳したPinP画像を出力する。
【００７０】
また、ステップS１２において選択されたサムネイル画像がPinP画像を構築している画像でないと判断すると、CPU３１は、ステップS１３にて選択されたサムネイル画像の原画像のファイル名を取得する。そして、CPU３１は、ステップS１４にて選択されたサムネイル画像の検査情報（情報＃１〜情報＃１３、情報＃１６）を取得する。さらに、CPU３１は、ステップS１１にてOSD／合成部１５を制御し、選択されたサムネイル画像の原画像に文字画像を合成し、ステップS１２に進む。
【００７１】
図１４に第１のレイアウトL（１）のPinP画像をCFカード５より再生し時のモニタ４の表示画像を示し、図１５に第２のレイアウトL（２）のPinP画像をCFカード５より再生し時のモニタ４の表示画像を示す。
【００７２】
また、本実施例のビデオプロセッサ１は、モニタ４のアスペクト比に応じて、図１６（アスペクト比＝４：３）あるいは図１７（アスペクト比＝１６：９）に示すように、アスペクト比を反映させた子画像を配置してPinP画像を構成することもできる。この場合も、CFカード５にモニタ４のアスペクト比情報を格納することで、検査時のモニタ４の表示形態と同一の表示形態にてCFカード５からの画像を表示することができる。
【００７３】
また、本実施例のビデオプロセッサ１は、検査時のモニタ４のPinP画像に対して、OSD／合成部１５のオンスクリーンディスプレイ機能により、図１８に示すように、親画像である内視鏡画像の大きさを変更して表示したり、親画像及び子画像と、文字画像とを左右入れ替えて（位置変更）表示したりすることができる。CFカード５にPinP画像を記録する際には、内視鏡画像の大きさ情報は情報＃１５に記録される。また、親画像及び子画像と、文字画像との左右入れ替え情報は、PinP画像情報に付加して格納する。こうして、この場合にも、CFカード５に内視鏡画像の大きさ情報及び、親画像及び子画像と、文字画像との左右入れ替え情報を格納することで、検査時のモニタ４の表示形態と同一の表示形態にてCFカード５からの画像を表示することができる。
【００７４】
このように本実施例では、検査時に表示されていた表示形態が、単独の内視鏡画像であっても、あるいは内視鏡画像と外部入力画像のPinP画像であっても、検査情報（情報＃１〜情報＃１３、情報＃１６）と共に、PinP画像情報（情報＃１７A 〜１７D、情報＃１８A 〜１８D、情報＃１９A 〜１９D等）により内視鏡画像と外部入力画像の記録を管理しているので、検査時に表示された画像と、同一のレイアウト構成（子画像の配置、大きさ、文字画像の配置等）の画像を再生することができる。
【００７５】
これにより、ユーザは、検査時と全く同一の表示形態にて検査画像を再生し、検査結果を適切に確認することができるので、より適切かつ正確な診断を行うことができる。
【００７６】
ところで、本実施例では、図１に示したように、ビデオプロセッサ１は、USBコントローラ３２を介してプリンタ（図示せず）に接続できるようになっている。通常、医療画像のプリントは、カルテ等に保存する必要があるため、例えばA4サイズのプリント用紙を４分割した大きさにて印刷する。しかし、PinP画像をこのような４分割してプリントすると、特に子画像をプリントから確認することが難しくなる。
【００７７】
そこで、本実施例では、モニタ４に表示されているPin画像のプリント出力を以下のような処理を行うことでこのような問題を解決する。
【００７８】
すなわち、図１９に示すように、CPU３１（のシステム制御部３１０）は、ステップS５１にてプリンタにおいて画像をキャプチャし印刷する位置（キャプチャ位置）が左に設定されているかどうか判断する。キャプチャ位置＝左でないならばステップS５２にてキャプチャ位置＝左としてステップS５３に進み、キャプチャ位置＝左ならばそのままステップS５３に進む。
【００７９】
ステップS５３では、CPU３１は、図２０に示すPinP画像４Aを親画像である内視鏡画像５０（文字画像５２を含む）と、子画像である外部入力画像５１を分離し、内視鏡画像５０（文字画像５２を含む）をUSBコントローラ３２を介してプリンタに出力すると共に、ステップS５４にてキャプチャを指示するキャプチャコマンドをプリンタに出力する。
【００８０】
続いて、CPU３１は、ステップS５５にてキャプチャ位置＝右として、ステップS５６に進む。
【００８１】
ステップS５６では、CPU３１は、子画像である外部入力画像５１をUSBコントローラ３２を介してプリンタに出力すると共に、ステップS５４にてキャプチャを指示するキャプチャコマンドをプリンタに出力する。
【００８２】
このように処理することで、図２０に示すように４分割されたプリント用紙７５の（上）左に親画像である内視鏡画像５０（文字画像５２を含む）の印刷画像７０がプリントされ、プリント用紙７５の（上）右に子画像である外部入力画像５１の印刷画像７１がプリントされる。ユーザは、プリント用紙７５の左右に印刷画像７０、７１がプリントされたことで、検査時の観察画像は、印刷画像７０を親画像、印刷画像７１を子画像としたPinP画像であることを容易に認識でき、かつ子画像を印刷画像７１としてプリントしているので、プリント画像より鮮明な外部入力画像５１を確認することができる。
【００８３】
なお、キャプチャ位置＝左に親画像である内視鏡画像５０（文字画像５２を含む）の印刷画像７０をプリントするとしたが、これに限らず、キャプチャ位置＝左には、図２１に示すように、PinP画像４Aをプリントしても良い。
【００８４】
本実施例では、外部画像機器として、超音波観測装置以外に、例えばVTRを接続することができる。VTRの画像は通常、記録画像であるため、モニタにPinP画像と表示したとしても、VTR画像をプリント出力することはない。
【００８５】
そこで、本実施例では、図２２に示すように、プリンタにてプリントを行う際に、CPU３１（のシステム制御部３１０）は、ステップS６１にて外部入力画像の画像信号がVTRからの信号かどうか判断する。CPU３１は、画像信号がVTRからの信号と判断すると、外部入力画像の画像信号のキャプチャをせずに処理を終了する。画像信号がVTRからの信号でないと判断すると、CPU３１は、ステップS６２にて外部入力画像が例えば超音波画像信号かどうか判断する。外部入力画像が超音波画像信号でないと判断すると、外部入力画像の画像信号のキャプチャをせずに処理を終了する。また、CPU３１は、外部入力画像が超音波画像信号と判断すると、ステップS６２にて外部入力画像の画像信号のキャプチャをプリンタに指示して処理終了する。
【００８６】
また、本実施例では、外部画像機器からの画像のアスペクト比を反映させて印刷することができる。すなわち、図２３に示すように、プリンタにてプリントを行う際に、CPU３１は、ステップS７１にて子画像である外部画像機器からの画像のアスペクト比が16:9かどうか判断する。子画像のアスペクト比が16:9ではなく４：３と判断すると、図２５に示すように、ステップS７３にてプリント用紙７５の右側にそのまま子画像５１をプリントする。
【００８７】
一方、子画像のアスペクト比が16:9と判断すると、CPU３１は、ステップS７２にて子画像の上下に図２５に示すように黒帯８０を付加してアスペクト比が16:9の印刷画像を生成し、ステップS７３にてプリント用紙７５の右側にアスペクト比が16:9の子画像５１をプリントする。
【００８８】
なお、図２６に示すように、プリントにPinP画像４Aを印刷する際には、プリントイメージ画像８５として、親画像５０と子画像５１の大きさを略等しくした画像を生成し、プリント用紙７５に印刷しても、PinP画像４Aの印刷が行われたことを容易にユーザに認識させることができると共に、子画像を見やすい大きさでプリントすることが可能となる。
【００８９】
これまでのプリンタへの印刷はプリント用紙７５の４分割印刷を例に説明してきたが、本実施例では、プリント用紙７５への印刷を２分割印刷に設定することができる。
【００９０】
具体的には、図２７に示すように、CPU３１は、ステップS８１にてプリンタより設定分割数を読み出す。そして、CPU３１は、ステップS８２にて読み出した設定分割数が２分割かどうか判断し、設定分割数が２分割の場合はステップS８４にて印刷分割数を設定分割数とし、設定分割数が２分割でない場合はステップS８３にて印刷分割数を２分割に設定して、それぞれステップS８５に進む。
【００９１】
ステップS８５では、CPU３１は、まずUSBコントローラ３２のプリンタ出力ポートから親画像である内視鏡画像のみを出力し、ステップS８６にて、この内視鏡画像をキャプチャするためのキャプチャコマンドをプリンタに出力する。
【００９２】
次に、CPU３１は、ステップS８７にてUSBコントローラ３２のプリンタ出力ポートから子画像である外部入力画像のみを出力し、ステップS８８にて、この外部入力をキャプチャするためのキャプチャコマンドをプリンタに出力する。
【００９３】
そして、CPU３１は、ステップS８９にてプリンタに対して印刷コマンドを出力し、ステップS９０にて印刷の終了を待つ。
【００９４】
印刷の終了を検知すると、CPU３１は、ステップS９１にてプリンタに当初設定されていた設定分割数が２分割であったかどうか判断し、設定分割数が２分割ではなかった場合には、設定分割数を当初設定されていた設定分割数に戻し、ステップS９２に進み、設定分割数が２分割の場合にはそのままステップS９２に進む。
【００９５】
そして、CPU３１は、ステップS９２にて印刷処理の終了を検知するまで、上記のステップS８１〜ステップS９１の処理を繰り返す。
【００９６】
このような処理を行うことで、図２８に示すように、プリンタ用紙７５の通常の４分割プリント処理に対して、２分割の大きな印刷形態の印刷処理が可能となる。
【００９７】
（変形例１）
本実施例の変形例２としては、図２９に示すように、親画像、子画像が識別を可能とする画像ファイル名とする。図２９の場合、ファイル名９０の「ABCM0001」の「M」という文字がマスタ（親画像）であることを示し、ファイル名９１の「ABCS0001」の「S」という文字がスレイブ（子画像）であることを示している。このような変形例１のようにファイル名を変更することで、ディレクトリ構造上から、容易に親画像、子画像の識別が可能となる。
【００９８】
（変形例２）
本実施例の変形例２として、図３０に示すように、外部画像装置３が画像信号の他に文字情報を出力可能な場合、ビデオプロセッサ１は、この外部画像装置３からの文字情報をUSBコントローラ３２を介して入力することができる。この場合のPinP画像は、内視鏡画像、外部入力画像と内視鏡検査時の文字情報からなる文字画像の他に、外部画像装置３からの文字情報からなる文字画像が重畳された画像となる。例えば図３１に示すように、内視鏡画像、外部入力画像とが同じ大きさの第６のレイアウトL（６）の場合、内視鏡画像の下側には内視鏡検査時の文字情報からなる文字画像５２を重畳し、外部入力画像の下側には外部画像装置３からの文字情報からなる文字画像を重畳したPinP画像となる。
【００９９】
（変形例３）
本実施例の変形例３として、図３２に示すように、内視鏡２の先端部内に、温度、湿度pH等の情報を検知するセンサ１００を設け、ビデオプロセッサ１内に、このセンサ１００からの情報を文字画像化して可視化するセンサ情報可視化部１０１と、可視化された文字画像の大きさを変更してOSD／合成部１５に出力する第３のスケーラ１０２を設けて構成しても良い。
【０１００】
この変形例３の場合、センサ１００より得られる非映像信号に基づく画像（例えばセンサ１００からの統計的データをグラフ化した画像、あるいはサーモグラフィのような画像）を生成する回路を設けて、文字画像ではない画像をOSD／合成部１５に出力するようにしてもよい。
【０１０１】
このようにセンサ情報を文字画像あるいは可視化画像としてPinP画像に重畳することで、検査時の情報を１つの画像にて観察することができると共に、効率的にCFカード５に画像情報及び検査情報と共に、センサ情報を格納でき、さらに、検査後に於いても検査時と同じ表示形態にて情報を再生することが可能となる。
【０１０２】
（変形例４）
本実施例の変形例４として、変形例３に対して、図３３及び図３４に示すように、内視鏡４の代わりに、センサ１００を内蔵したカプセル内視鏡１２０としてもよい。このカプセル内視鏡１２０は、内部に撮像素子２とセンサ１００と、撮像素子２からの撮像信号及びセンサ１００からのセンサ信号を出力する送信部１２３が設けられている（図３４参照）一方、ビデオプロセッサ１はカプセル内視鏡１２０の送信部１２３からの信号を受信するためのアンテナ部１２１と、受信した撮像信号をプリプロセス部１１に、また受信したセンサ信号をセンサ情報可視化部１０１に、それぞれ出力する受信部１２２とを備えて構成される。この場合の変形例３と同様な効果を得ることが可能である。
【０１０３】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施例１に係るビデオプロセッサの構成を示すブロック図
【図２】図１のCPUの機能構成を示す機能ブロック図
【図３】図１のPCMCIAコントローラが生成する検査管理情報ファイルを示す図
【図４】図１のCFカードのディレクトリ構造を示す図
【図５】図４のディレクトリ構造におけるCFカードに格納された画像の再生例を示す第１の図
【図６】図４のディレクトリ構造におけるCFカードに格納された画像の再生例を示す第２の図
【図７】図４のXMLファイルにより展開されるウインドウの一例を示す図
【図８】図７のウインドウによるCFカードに格納された画像の再生例を示す図
【図９】図１のモニタに表示されるPinP画像を説明する第１の図
【図１０】図１のモニタに表示されるPinP画像を説明する第２の図
【図１１】図１のモニタに表示されるPinP画像のレイアウトを決定する処理を説明するフローチャート
【図１２】図１１の処理で決定されるPinP画像のレイアウトを説明する図
【図１３】図３の検査管理情報ファイルに基づくCFカードからの画像再生処理を説明するフローチャート
【図１４】図１３の処理によりCFカードから再生されたPinP画像を説明する第１の図
【図１５】図１３の処理によりCFカードから再生されたPinP画像を説明する第２の図
【図１６】図１３の処理によりCFカードから再生されたPinP画像を説明する第３の図
【図１７】図１３の処理によりCFカードから再生されたPinP画像を説明する第４の図
【図１８】図１３の処理によりCFカードから再生されたPinP画像を説明する第５の図
【図１９】図１のUSBコントローラに接続されるプリンタに対する第１の制御を説明する第１のフローチャート
【図２０】図１９の処理を説明するための第１の図
【図２１】図１９の処理を説明するための第２の図
【図２２】図１のUSBコントローラに接続されるプリンタに対する第２の制御を説明する第２のフローチャート
【図２３】図１のUSBコントローラに接続されるプリンタに対する第３の制御を説明する第３のフローチャート
【図２４】図２３の処理を説明するための第１の図
【図２５】図２３の処理を説明するための第２の図
【図２６】図１のUSBコントローラに接続されるプリンタに対する第４の制御を説明するための図
【図２７】図１のUSBコントローラに接続されるプリンタに対する第５の制御を説明する第５のフローチャート
【図２８】図２７の処理を説明するための図
【図２９】変形例１に係る図４のディレクトリ構造を示す図
【図３０】変形例２に係るビデオプロセッサの構成を示すブロック図
【図３１】図３０のビデオプロセッサの作用を説明するための図
【図３２】変形例３に係るビデオプロセッサの構成を示すブロック図
【図３３】変形例４に係るビデオプロセッサの構成を示すブロック図
【図３４】図３３のカプセル内視鏡の構成を示す図
【符号の説明】
【０１０５】
１…ビデオプロセッサ
２…内視鏡
３…外部画像機器
４…モニタ
５…CFカード
１３…第１のスケーラ
１５…OSD／合成部
１８…第２のスケーラ
３１…CPU
【図１】
2009207522.tif 000003
【図２】
2009207522.tif 000004
【図３】
2009207522.tif 000005
【図４】
2009207522.tif 000006
【図５】
2009207522.tif 000007
【図６】
2009207522.tif 000008
【図７】
2009207522.tif 000009
【図８】
2009207522.tif 000010
【図９】
2009207522.tif 000011
【図１０】
2009207522.tif 000012
【図１１】
2009207522.tif 000013
【図１２】
2009207522.tif 000014
【図１３】
2009207522.tif 000015
【図１４】
2009207522.tif 000016
【図１５】
2009207522.tif 000017
【図１６】
2009207522.tif 000018
【図１７】
2009207522.tif 000019
【図１８】
2009207522.tif 000020
【図１９】
2009207522.tif 000021
【図２０】
2009207522.tif 000022
【図２１】
2009207522.tif 000023
【図２２】
2009207522.tif 000024
【図２３】
2009207522.tif 000025
【図２４】
2009207522.tif 000026
【図２５】
2009207522.tif 000027
【図２６】
2009207522.tif 000028
【図２７】
2009207522.tif 000029
【図２８】
2009207522.tif 000030
【図２９】
2009207522.tif 000031
【図３０】
2009207522.tif 000032
【図３１】
2009207522.tif 000033
【図３２】
2009207522.tif 000034
【図３３】
2009207522.tif 000035
【図３４】
2009207522.tif 000036