(57)【要約】  画像合成システムは、複数の画像の画像関連情報を取得する画像関連情報取得部と、複数の画像の中から第１の画像、第２の画像を表示するようにそれぞれ指示する第１、第２画像指示部と、第１の画像を第２の画像よりも優先して第１の画像表示形態での表示を指示する第１画像表示形態指示部と、第２の画像の表示形態を決定する第２画像表示形態決定部と、第１の画像、第２の画像を処理する第１、第２画像処理部と、第１、第２画像処理部により処理された第１の画像と、第２の画像とを合成する画像合成部と、を備える。
2012008299.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、
前記複数の画像の画像関連情報を取得する画像関連情報取得手段と、
前記入力される複数の画像の中から第１の画像を表示するように指示する第１画像指示手段と、
前記入力される複数の画像の中から第２の画像を表示するように指示する第２画像指示手段と、
前記第１画像指示手段で指示された前記第１の画像を前記第２の画像よりも優先してその表示形態を指示する第１画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第２の画像の画像関連情報と、前記第１画像表示形態指示手段により指示された前記第１の画像の表示形態とに基づき、前記第２の画像の表示形態を決定する第２画像表示形態決定手段と、
前記第１画像表示形態指示手段による指示に対応した前記第１の画像を処理する第１画像処理手段と、
前記第２画像表示形態決定手段による決定に対応した前記第２の画像を処理する第２画像処理手段と、
前記第１画像表示形態指示手段による指示と、前記第２画像表示形態決定手段による決定に基づき、前記第１画像処理手段により処理された前記第１の画像と、前記第２画像処理手段により処理された前記第２の画像と、を合成する画像合成手段と、
を備えることを特徴とする画像合成システム。
【請求項２】
前記複数の画像は、第１の画像及び第２の画像としての２つの医用画像、又は該２つの医用画像と該医用画像に関連するデータの画像を含み、
前記画像関連情報取得手段は、前記複数の画像に関する医用画像の領域と、前記医用画像に関連するデータの画像の領域と、いずれの画像の表示の設定がない空領域と、の表示形態情報を含む前記画像関連情報を取得し、
前記第２画像表示形態決定手段は、前記第２の画像として設定された医用画像部分を、前記第１の画像として設定されて、該第１の画像の表示の設定がない空領域に収まるように決定し、
前記第２画像処理手段は、前記第２の画像として指示された画像の医用画像部分のみを抽出し、前記第２画像表示形態決定手段により決定された表示形態に収まるように拡大又は縮小し、
前記画像合成手段は、前記第１の画像が設定されて、該第１の画像の表示の設定がない空領域に、前記第２画像処理手段により処理された画像を合成することを特徴とする請求項１に記載の画像合成システム。
【請求項３】
前記画像合成システムは、更に、前記合成画像のアスペクト比を設定するアスペクト比設定手段を備え、
前記第１画像処理手段は、前記アスペクト比設定手段によって設定されたアスペクト比に基づく前記第１の画像の画像処理を行い、
第２画像表示形態決定手段は、前記第２の画像として設定された画像の医用画像部分を、前記アスペクト比設定手段によって設定されたアスペクト比に基づき、前記前記第１画像処理手段により処理された、前記第１の画像の表示の設定がない空領域に収まるように決定することを特徴とする請求項２に記載の画像合成システム。
【請求項４】
前記第１画像表示形態指示手段による指示に応じて、前記第１の画像としての前記医用画像と該医用画像に関連するデータの配置位置を変更可能に設定する配置位置設定手段を有することを特徴とする請求項２に記載の画像合成システム。
【請求項５】
前記配置位置設定手段は、前記第１画像表示形態指示手段による指示に応じて、前記第１の画像としての前記医用画像のサイズを変更可能に設定することを特徴とする請求項４に記載の画像合成システム。
【請求項６】
前記第１画像処理手段は、前記第１の画像がカラーの画像である場合とモノクロの画像である場合とに応じて、画像処理特性を決めるパラメータを変更して画像処理する画像処理手段を有することを特徴とする請求項５に記載の画像合成システム。
【請求項７】
前記第２の画像としての医用画像は、撮像素子を備えた内視鏡による内視鏡画像であり、前記第２画像処理手段は、前記内視鏡の種類に応じて、前記第２の画像における内視鏡画像部分を切り出す切出範囲の条件を変更することを特徴とする請求項５に記載の画像合成システム。
【請求項８】
さらに、前記第１の画像としての医用画像を含む第１の画像信号から前記医用画像部分のみを、該第１の画像信号に対するエッジ抽出の処理を用いて切り出す画像処理を行う第１の切出回路と、前記第２の画像としての医用画像を含む第２の画像信号から前記医用画像部分のみを、該第２の画像信号に対するエッジ抽出の処理を用いて切り出す第２の切出回路とを有することを特徴とする請求項５に記載の画像合成システム。
【請求項９】
さらに、前記画像合成システムに入力される前記第１の画像と前記第２の画像との両画像信号の有無を監視し、一方の画像信号が入力されない判定結果の場合には、前記画像合成手段により合成された第１の画像及び第２の画像の合成画像から、他方の画像のみを所定のサイズで表示するように切り替えることを特徴とする請求項１に記載の画像合成システム。
【請求項１０】
さらに、前記画像合成システムを使用するユーザの情報と、該ユーザの情報に対応して前記合成画像を生成した場合の設定情報とを関連付けて格納する設定情報格納手段を有することを特徴とする請求項１に記載の画像合成システム。
【請求項１１】
さらに、異なる設定条件で前記合成画像を生成した場合の複数の設定情報を格納する設定情報格納手段を有し、前記画像合成システムを使用するユーザに対して前記複数の設定情報から実際に使用する設定情報を選択可能にすることを特徴とする請求項１に記載の画像合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を親子画像として合成して表示する画像合成システムに関する。
【背景技術】
【０００２】
近年、医用機器としての内視鏡を用いて体内の患部等を検査したり、必要に応じて処置具を用いて治療のための処置を行うことができる内視鏡装置が広く用いられるようになっている。  
また、患部等をより詳細に観察できるように複数の内視鏡を接続したり、機能が異なる外部機器を接続して共通の表示装置に複数の画像を表示するシステムも提案されている。  
複数の画像を表示するシステムとして、第１の従来例としての日本国特開２００９−１８９５５６号公報には、複数のＸ線撮像系を備え、複数の画像の配置を指定して表示装置に合成して表示するものが開示されている。  
また、第２の従来例としての日本国特開２００８−３０７２９４号公報には、撮像素子の画素数などに応じて表示を制御するものが開示されている。【０００３】
しかしながら、上述した従来例においては、撮像系又は撮像素子の画素数が異なるような場合、表示装置における表示画面の表示領域に適切に表示することができなかった。  
２つの撮像素子による第１の画像と第２の画像とを同等に表示するのでなく、一方のを優先した親画像とし、他方の画像をこの親画像に従属する子画像とした親子画像（親子画面）として表示する場合、従来例においては従属的に表示する子画像を適切なサイズで表示することが出来なかった。  
この場合、表示装置における親画像の表示領域の残りの空いた表示領域に、子画像を表示することになるが、従来例では子画像のサイズを決定する要因となる撮像素子の画素数が低い（小さい）と、空いた表示領域の一部のみを占有する小さな表示領域となってしまっていた。【０００４】
このように空いた表示領域の一部のみに表示され、その表示領域を有効に利用できない。このため、画素数が小さい場合にはより大きくして表示することが望まれる。一方、例えば中位の画素数の撮像素子の画像を子画像として表示すると、子画像の表示領域を有効に利用して表示することができるが、さらに画素数が大きい撮像素子の場合には、子画像を表示するための空いた表示領域のサイズを超えて、親画像と重なってしまい、重なった部分の観察が行い難くなってしまう。  
このように、従来例では画素数が異なるような場合には、表示領域を有効に利用して、複数の画像を適切に表示することができなかった。また、子画像が拡大または縮小されてそのサイズが変化したような場合にも、従来例では表示領域を有効に利用できない。【０００５】
このため、親子画像のように、複数の画像における１つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で表示できるように合成画像を生成できることが望まれる。  
本発明は上述した点に鑑みてなされたもので、親子画像のように複数の画像における１つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能とする画像合成システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明は、複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、
前記複数の画像の画像関連情報を取得する画像関連情報取得手段と、
前記入力される複数の画像の中から第１の画像を表示するように指示する第１画像指示手段と、
前記入力される複数の画像の中から第２の画像を表示するように指示する第２画像指示手段と、
前記第１画像指示手段で指示された前記第１の画像を前記第２の画像よりも優先してその表示形態を指示する第１画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第２の画像の画像関連情報と、前記第１画像表示形態指示手段により指示された前記第１の画像の表示形態とに基づき、前記第２の画像の表示形態を決定する第２画像表示形態決定手段と、
前記第１画像表示形態指示手段による指示に対応した前記第１の画像を処理する第１画像処理手段と、
前記第２画像表示形態決定手段による決定に対応した前記第２の画像を処理する第２画像処理手段と、
前記第１画像表示形態指示手段による指示と、前記第２画像表示形態決定手段による決定に基づき、前記第１画像処理手段により処理された前記第１の画像と、前記第２画像処理手段により処理された前記第２の画像と、を合成する画像合成手段と、
を備えることを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の第１の実施形態の画像合成システムの全体構成を示す図。
【図２】図２は、図１におけるプロセッサ、光源装置の内部構成を示す図。
【図３】図３は、図２における画像信号処理部の詳細な構成を示すブロック図。
【図４】図４は、親画像と関連データとの配置例を示す図。
【図５Ａ】図５Ａは、サイズが大きい内視鏡画の場合においてその内視鏡画像を含むように切り出された内視鏡画像を、子画像領域内に子画像として縮小して配置した様子を示す説明図。
【図５Ｂ】図５Ｂは、サイズが小さい内視鏡画の場合においてその内視鏡画像を含むように切り出された内視鏡画像を、子画像領域内に子画像として縮小して配置した様子を示す説明図。
【図６】図６は、図３の構成において配置位置設定回路を設けた場合の配置位置設定回路周辺部の構成を示すブロック図。
【図７Ａ】図７Ａは、ＰｉｎＰ合成回路内の画像メモリに配置される親画像及び関連データの１つの配置例を示す図。
【図７Ｂ】図７Ｂは、ＰｉｎＰ合成回路内の画像メモリに配置される図７Ａとは異なる親画像及び関連データの１つの配置例を示す図。
【図８】図８は、設定されたアスペクト比で生成された合成画像の表示例を示す図。
【図９】図９は、内視鏡の種類に応じた切出範囲で子画像が切り出される例を示す図。
【図１０】図１０は、本発明の第２の実施形態の画像合成システムの全体構成を示す図。
【図１１】図１１は、本発明の第３の実施形態の画像合成システムにおける画像信号処理部の一部の構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１に示すように本発明の第１の実施形態の画像合成システム１は、第１の医用機器としての外部機器２と、体腔内に挿入され、内視鏡検査に使用される第２の医用機器としての内視鏡３と、外部機器２及び内視鏡３とが着脱自在に接続され、合成画像を生成する画像処理を行うプロセッサ４と、内視鏡３に照明光を供給する光源装置５と、プロセッサ４と接続され、複数の画像の合成画像としての親子画像を表示する表示装置としてのモニタ６と、外部入力機器としての例えばキーボード７を有する。  
内視鏡３は、体腔内に挿入される細長の挿入部８と、この挿入部８の後端に設けられた操作部９と、操作部９から延出されたユニバーサルケーブル１０とを有し、このユニバーサルケーブル１０の端部に設けた電気コネクタ１０ａは、プロセッサ４に着脱自在に接続される。
【０００９】
なお、ユニバーサルケーブル１０の端部のライトガイドコネクタ１０ｂは、光源装置５に着脱自在に接続される。光源装置５は、ライトガイドコネクタ１０ｂを介して内視鏡３内部のライトガイド１１（図２参照）に照明光を供給する。なお、図２は内視鏡３，プロセッサ４及び光源装置５の内部構成を示す。  
挿入部８は、撮像素子としての電荷結合素子（ＣＣＤと略記）１２が搭載された先端部１３と、湾曲自在の湾曲部１４と、長尺の可撓部１５とから構成される。  
図２に示すように上記ライトガイド１１は供給された照明光を先端部１３の照明窓に配置された出射端に伝送し、照明窓から照明光を出射し、ＣＣＤ１２により撮像する患部等の撮像対象となる部位を照明する。
【００１０】
内視鏡３に搭載されたＣＣＤ１２により撮像された画像信号は、内視鏡３内部（例えば挿入部８又は操作部９内部）に設けられた相関二重サンプリング回路（ＣＤＳ回路）８ａに入力される。ＣＤＳ回路８ａは、撮像信号に対してＣＤＳ処理を行いベースバンドの画像信号を生成してＡ／Ｄ変換回路８ｂに出力する。Ａ／Ｄ変換された画像信号は、パラレル／シリアルの変換処理を行う第１のＦＰＧＡ（Field Programmable Gate Array）８ｃを経た後、小振幅差動信号方式(Low-Voltage Differential Signaling)のラインドライバとしての例えばＬＶＤＳドライバ８ｄを経た後、電気コネクタ１０ａを介してプロセッサ４内のＬＶＤＳレシーバ３２ａに入力される。  
このＬＶＤＳレシーバ３２ａにより受信された信号は、第２のＦＰＧＡ３３を経てシリアル／パラレルの変換処理された後、画像信号処理部３４に入力される。また、内視鏡３内には、スコープ情報を格納したＲＯＭ８ｅが設けられ、このＲＯＭ８ｅのスコープ情報は、ＦＰＧＡ８ｃ、３２ａを介してプロセッサ４内のＣＰＵ３２ｂに取り込まれる。  
また、図１に示すように外部機器２の内部に搭載された撮像素子としての例えばＣＣＤ１６により撮像された画像信号も外部機器２から延出されたケーブル１７と、ケーブル１７の端部の電気コネクタ１７ａを介してプロセッサ４に入力される。  
つまり、内視鏡３及び外部機器２は、それぞれの撮像素子で撮像した画像に対応する画像信号を出力する画像信号出力手段を形成する。  
なお、後述するように外部機器２としては光学的な撮像素子による画像信号を出力するものに限定されるものでなく、音響的な撮像素子としての超音波振動子による超音波の画像信号を出力するものでも良い。
【００１１】
プロセッサ４は、複数の画像信号出力手段から入力される複数の画像を合成した合成画像を生成する画像合成処理を行う画像信号処理部３４（図２参照）を有し、生成した合成画像の画像信号をモニタ６に出力する。  
術者等のユーザは、キーボード７から、複数の画像を合成してモニタ６で表示する場合、合成画像の表示形態を指示する指示入力する指示入力手段の機能を有する。  
合成画像の具体例として、基本的には一方の画像を（他方に）優先してその画像のサイズ等で表示する親画像又は親画面と、他方の画像を縮小又は拡大した子画像又は子画面として親画面内に埋め込むように合成した親子画像又は親子画面（ピクチャインピクチャ、ＰｉｎＰと略記）の表示形態となる。
【００１２】
さらに、本実施形態においては、図６以降に説明するように親画像の配置位置を変更して、その変更に応じて子画像の配置を適切に変更することもできるようにしている。なお、子画像は、その原画像が多くの場合、縮小されるが、子画像を表示する表示領域のサイズに依存して、拡大する場合にも適用できる。  
また、本実施形態においては、親画面は、主として親画像とその親画像に関連する関連データとを含む場合を意味し、親画像部分のみを指す場合には親画像を用いる。子画面に関しても同様の意味で用いる。  
キーボード７は、例えば、複数の画像の中から第１の画像を表示するように指示する第１画像指示手段としての第１画像指示部７ａの機能と、複数の画像の中から第２の画像を表示するように第２画像指示手段としての第２画像指示部７ｂの機能と、前記第１画像指示手段で指示された前記第１の画像を第２の画像よりも優先した表示形態で表示する指示をする第１画像表示形態指示手段としての第１画像表示形態指示部７ｃの機能とを有する。
【００１３】
図１の上側に示すモニタ６の表示画面６１での合成画像の表示例は、キーボード７により、内視鏡３で撮像された第２の医用画像としての内視鏡画像を親画像として表示し、外部機器２で生成された画像（外部画像と記す）を子画像として、表示したＰｉｎＰの表示形態例を示す。  
また、図１の下側に示すモニタ６での表示例は、キーボード７により、外部機器２で生成された外部画像を親画像として表示し、内視鏡３で撮像された内視鏡画像を子画像として表示したＰｉｎＰ（親子画像）の表示形態例を示す。  
また、本実施形態の画像合成システム１においては、キーボード７からの指示入力により、図１の上と下のモニタ６にそれぞれ示すＰｉｎＰを一方の表示形態から他方の表示形態に入れ換えて表示させることができるようにしている。  
このように本実施形態においては、キーボード７からの指示入力により、ＰｉｎＰで表示する機能を備えている。
【００１４】
尚、図１における子画像の上側の表示領域には、親画像に関連する患者の文字データ等の医用画像に関連するデータ（以下関連データと略記）の画像である。プロセッサ４は、複数、具体的には２つの医用画像と、関連データの画像とを合成したＰｉｎＰの合成画像を生成し、モニタ６に合成画像の画像信号を出力し、モニタ６には生成された合成画像が表示される。なお、関連データの画像に関しては、簡単化のために単に関連データと記載する。  
プロセッサ４は、複数の医用画像及び関連データに関する画像関連情報を取得する画像関連情報取得手段としての情報取得部５１（図３参照）を有する。また、プロセッサ４は、この情報取得部５１による子画像として表示する第２の画像の関連情報と、第１画像表示形態指示手段により指示された第２の画像の表示形態を決定する第２画像表示形態決定手段を構成するＰｉｎＰ表示形態設定部５７（図３参照）を有する。
【００１５】
図２に示すように光源装置５は、発光するランプ２１を備え、このランプ２１により発光した光は、帯域フィルタ２２によって、可視領域の波長帯域の光のみが透過し、赤外の波長帯域等の光が透過しないように帯域制限される。  
帯域フィルタ２２を透過した可視領域の光は、さらにカラーフィルタ部２３により、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の面順次の照明光に変換されてライトガイド１１の入射端に入射（供給）される。そして、ライトガイド１１の先端の出射端から伝送された照明光が出射され、体内の患部等の部位が照明される。  
なお、上記カラーフィルタ部２３は、図示しないモータと、このモータにより回転される，Ｒ，Ｇ，Ｂの光をそれぞれ透過するＲ，Ｇ，Ｂのカラーフィルタが設けられた回転カラーフィルタと、モータを所定の回転速度で駆動するモータ駆動回路により構成され、光路上にＲ，Ｇ，Ｂのカラーフィルタが順次配置される。
【００１６】
上記面順次の照明光で照明された部位は、ＣＣＤ１２により撮像され、ＣＣＤ１２により光電変換された撮像信号は、上述したＣＤＳ回路８ａ、Ａ／Ｄ変換回路８ｂを経てデジタル信号に変換された後、さらにＦＰＧＡ８ｃ、３３を経て、ＰｉｎＰの合成画像を生成する画像信号処理部（映像信号処理部）３４における一方の入力端に出力される。この画像信号処理部３４における他方の入力端には、外部機器（ＡＵＸ）２の外部画像の画像信号が入力される。  
この画像信号処理部３４は、２つの入力端から入力される画像信号からＰｉｎＰの合成画像を生成し、生成した合成画像の画像信号としての合成画像信号は、Ｄ／Ａ変換回路３５により、アナログの合成画像信号に変換された後、モニタ６に出力され、モニタ６の表示画面６１にはＰｉｎＰの合成画像が表示される。
【００１７】
また、各内視鏡３には、各内視鏡３に搭載されているＣＣＤ１２の画素数（縦横の画素数サイズを含む）、内視鏡３（が内科用内視鏡か外科用内視鏡か等）の種類等の情報を含む内視鏡情報を発生する情報発生手段として例えば固有の識別情報（ＩＤ）を発生するＩＤ発生部）２５を内蔵している。  
このＩＤ発生部２５は、例えば電気コネクタ１０ａ内に設けられている。従って、電気コネクタ１０ａがプロセッサ４に接続されると、このＩＤ発生部２５によるＩＤは、プロセッサ４内の（ＩＤ検知又は）ＣＣＤ検知回路３６に入力される。ＣＣＤ検知回路３６は、ＩＤから内視鏡３の搭載されているＣＣＤ１２の画素数などのＣＣＤ１２の種類を判別して、ＣＣＤ種類の情報を画像信号処理部３４内の情報取得部５１（図３参照）に出力する。
【００１８】
また、プロセッサ４内には、各種の処理を行う際のタイミングを決めるタイミング信号を発生するタイミングジェネレータ（ＴＧと略記）３１を有し、このＴＧ３１により生成されたタイミング信号としての同期信号を、プロセッサ４内部の各回路ブロックとしてのＦＰＧＡ３３、画像信号処理部３４、Ｄ／Ａ変換回路３５に出力すると共に、内視鏡３内のＦＰＧＡ８ｃにも出力する。なお、この同期信号は、図３で示す画像信号処理部３４を構成する各回路ブロックにも供給される。  
このＴＧ３１は、基準クロックの発生手段としての例えばクリスタル発振回路（ＣＸＯ回路と略記）３７からの基準クロックに同期して、同期信号を生成する。なお、同期信号は、画像を表示に利用される水平同期信号、垂直同期信号、これらの両同期信号に同期したクロックなどを含む。
【００１９】
また、ＴＧ３１は、光源装置５のカラーフィルタ部２３に対して、タイミング信号としてのＲ，Ｇ，Ｂインデックス信号を出力し、カラーフィルタ部２３は、このＲ，Ｇ，Ｂインデックス信号に同期して光路上にＲ，Ｇ，Ｂカラーフィルタを順次配置するように動作する。  
このため、ＣＣＤ１２により撮像された撮像信号は、実際にはＲ，Ｇ，Ｂの照明光の下で撮像されたＲ，Ｇ，Ｂの撮像信号となり、画像信号処理部３４内でカラーの画像信号に変換される。  
また、プロセッサは、ＣＸＯ回路３７の他に、点線で示すPhase Locked Loop 回路（ＰＬＬ回路）３８を有する。このＰＬＬ回路３８は、このＰＬＬ回路３８内部に、電圧値に応じて発振周波数を調整できる電圧制御水晶発振回路（ＶＣＸＯ）３９を内蔵している。このＰＬＬ回路３８は、プロセッサ４の外部の装置からの信号と同期して動作させるような場合に使用される。
【００２０】
上記画像信号処理部３４には、上述した各種の機能を有するキーボード７による指示入力に対応した各種の指示信号が入力される。  
図３は、画像信号処理部３４の詳細な構成例を示す。図２のＡ／Ｄ変換回路３３から出力される画像信号は、第１又は第２の画像処理手段を構成する内視鏡画像信号処理部４１を構成するオプティカルブラッククランプ回路（ＯＢクランプ回路）４２に入力される。  
このＯＢクランプ回路４２により、ＣＣＤ１２における実際の撮像に利用されている撮像信号の黒レベルがＯＢ部分のクランプレベルに設定され、撮像信号の黒レベルが再生される。
【００２１】
ＯＢクランプ回路４２の出力信号は、ローパスフィルタ回路（ＬＰＦ回路）４３により、不要な高周波成分が除去された後、ホワイトバランス回路（Ｗ／Ｂ回路）４４に入力される。このＷ／Ｂ回路４４は、白色の被写体を撮像した場合に、白色の画像信号を出力するようにＷ／Ｂの調整を行う。  
なお、このＷ／Ｂ回路４４は、例えば面順次の画像信号の３フレーム分、具体的にはＲ，Ｇ，Ｂの面順次の照明光の元でＣＣＤ１２によりそれぞれ撮像して生成されたＲ，Ｇ，Ｂの色成分の画像信号を格納するフレームメモリを有し、このフレームメモリに格納されたＲ，Ｇ，Ｂの色成分の画像信号を同時に読み出すことにより、カラーの画像信号を同時に出力する同時化回路を有する。なお、同時化回路をＷ／Ｂ回路４４よりも後段側に設けるようにしても良い。
【００２２】
Ｗ／Ｂ回路４４の出力信号は、調光回路４５に入力されると共にガンマ補正を行うガンマ回路４６に入力される。調光回路４５は、Ｒ，Ｇ，Ｂの色信号から調光を行う調光信号を生成し、調光信号を光源装置５に出力する。  
光源装置５は、調光信号により図示しない絞りの開口量を調整して照明光量の調整、つまり調光を行う。  
ガンマ回路４６の出力信号は、カラーの色調を調整可能にするペイント回路４７に入力される。ペイント回路４７の出力信号は拡大又は縮小の処理をする拡大・縮小回路４８に入力される。この拡大・縮小回路４８の出力信号は、輪郭等の強調を行う強調回路４９に入力される。
【００２３】
拡大・縮小回路４８により拡大又は縮小された場合には、その拡大率又は縮小率の情報が、情報取得部５１に入力され、この情報取得部５１は、ＣＣＤ１２の画素数の情報と、内視鏡画像が拡大・縮小回路４８により拡大又は縮小された場合には、その拡大率又は縮小率の情報も取得する。そして、情報取得部５１は、ＣＣＤ１２の画素数による内視鏡画像のサイズを拡大率又は縮小率の情報により補正して、後述する切出範囲等を設定（決定）する。
【００２４】
なお、強調回路４９は、強調処理を行うと共に、強調処理後の画像信号における４角形の内視鏡画像部分に対して、４隅を切り欠いて８角形にするマスキング処理する。このマスキング処理された画像信号は、親画面と子画面とを切り替える切替回路５２の一方の入力端に入力される。なお、後述するようにマスキング処理は、内科用内視鏡の場合に行われるが、外科用内視鏡の場合には行われない。
【００２５】
一方、外部機器２からの外部画像に対応する画像信号は、外部画像信号処理部５３を構成するＡ／Ｄ変換回路５４に入力され、デジタルの画像信号に変換された後、画像信号のレート変換をするレート変換回路５５に入力される。  
このレート変換回路５５は、外部機器２からの画像信号の表示形態の規格が、内視鏡３のＣＣＤ１２に対する画像処理を行うプロセッサ４に内蔵された画像信号処理部３４に採用されている規格と同じ規格となるように画像信号の周波数を変換するレート変換の処理を行う。例えば、プロセッサ４が標準規格（ＳＤ）の画像処理を行う設定に対して、外部機器２から高精細規格（ＨＤ）の画像信号が入力された場合には、レート変換回路５５は、ＨＤの画像信号をＳＤの画像信号にするためにレート変換の処理を行う。
【００２６】
このため、同じ信号規格の場合には、レート変換回路５５は、レート変換の処理を行わないで入力信号をスルーして、ガンマ補正を行うガンマ回路５６ａに入力され、このガンマ回路５６ａの出力信号は、強調処理する強調回路５６ｂに入力される。  
ガンマ回路５６ａと強調回路５６ａは、モノクロ／カラーパラメータ切替回路５９からのパラメータに応じてガンマ補正する特性と強調処理する特性が変更される。  
このモノクロ／カラーパラメータ切替回路５９は、通常の設定状態においては、カラーの画像信号に対応した特性のパラメータに設定されている。
【００２７】
これに対して、超音波画像の画像信号のように、モノクロの画像信号が入力される場合には、例えばキーボード７からモノクロの画像信号が入力される旨の指示入力を行うことにより、モノクロ／カラーパラメータ切替回路５９は、ガンマ回路５６ａと、強調回路５６ｂに対してモノクロの画像信号に対応したガンマ補正処理と強調処理を行う特性のパラメータに設定する。  
このように外部機器２から入力される画像信号がカラーの場合とモノクロの場合とに応じて、画像処理するパラメータを変更することにより、合成画像を生成した場合、外部機器２からの画像の階調や輪郭等をより適切に表示できる。
【００２８】
強調回路５６ｂの出力信号は、切替回路５２の他方の入力端に入力される。この切替回路５２は、入力される外部画像と内視鏡画像との親子関係を、入れ換えることを可能にする２つのスイッチＳＷ１，ＳＷ２により構成される。  
この切替回路５２は、キーボード７によるＰｉｎＰ表示形態指示に基づいて、ＰｉｎＰ表示形態の設定（又は決定）するＰｉｎＰ表示形態設定部５７が出力するＰｉｎＰ表示形態設定信号により制御される。  
ＰｉｎＰ表示形態設定信号は、２つのスイッチＳＷ１，ＳＷ２を連動して切り替えることができる２値信号である。
【００２９】
例えば、キーボード７から外部機器２の外部画像を親画像又は親画面とし、内視鏡３の内視鏡画像を子画像又は子画面とするＰｉｎＰ表示形態の指示を行うと、ＰｉｎＰ表示形態設定部５７は、切替回路５２のスイッチＳＷ１，ＳＷ２を実線で示す状態に設定する。  
また、キーボード７から内視鏡３の内視鏡画像を親画像又は親画面とし、外部機器２の外部画像を子画像又は子画面とするＰｉｎＰ表示形態の指示を行うと、ＰｉｎＰ表示形態設定部５７は、切替回路５２のスイッチＳＷ１，ＳＷ２を点線で示す状態に設定する。
【００３０】
本実施形態においては、上記のようなＰｉｎＰ表示形態の指示を行う場合に限らず、優先する画像となる親画像又は親画面の表示形態を指示することにより、上記の子画像又は子画面の表示形態を指示しなくても、第２画像表示形態決定手段を構成するＰｉｎＰ表示形態設定部５７は、親子画像で表示するようにスイッチＳＷ１，ＳＷ２の切替を決定する。  
なお、上記内視鏡画像信号処理部４１と外部画像信号処理部５３とは、内視鏡画像と外部画像とにおいて、一方の画像が他方の画像に優先した第１の画像（具体的には親画像）として表示されるように指示されると、その第１の画像に対する画像処理を行う第１画像処理手段を形成し、他方が従属的に第２画像処理手段を形成する。
【００３１】
子画面の画像信号を出力するスイッチＳＷ１の出力信号は、切出／拡大・縮小回路５８を経て、画像合成手段としてのＰｉｎＰの合成画像を生成するＰｉｎＰ合成回路６０の一方の入力端に入力される。  
一方、親画面の画像信号を出力するスイッチＳＷ２の出力信号は、直接、ＰｉｎＰ合成回路６０の他方の入力端に入力される。ＰｉｎＰ合成回路６０は、スイッチＳＷ２の出力信号を親画面の親画像とし、親画面の空領域に子画像を配置してＰｉｎＰの合成画像を生成する画像処理を行う。
【００３２】
このため、ＰｉｎＰ合成回路６０は、図１のモニタ６の表示画面６１の表示領域に対応する画像メモリ６０ａによる画像領域（又は画像配置領域）を備え、ＰｉｎＰ表示形態設定部５７による親画面又は親画像の設定に基づいて、この画像メモリ６０ａに親画面を構成する親画像と、この親画像に関連する関連データとを配置（格納）する。そして、この親画像と関連データを配置した残りの空領域に子画像を配置する。  
図３に示す構成例では、外部機器２から入力される画像を親画像と指示入力した場合には、外部機器２から入力される画像及びその関連データの配置及びサイズがそのまま画像メモリ６０ａにおける親画像及び関連データの配置及びサイズが設定される。
【００３３】
従って、図３の構成例においては、外部機器２が出力する画像の種類を、例えばキーボード７からの入力によって特定することにより、親画像と関連データが配置された位置及びサイズの領域が決定し、決定した領域以外における空領域に子画像が配置される子画像領域が設定される。また、子画像領域に子画像を配置する場合、子画面の画像信号から子画像部分を切り出すために、情報取得部５１により取得した情報が利用される。  
情報取得部５１は、取得した情報に基づき、子画面の画像信号から子画像部分を切り出す切出範囲と、この切出範囲の子画像部分を、子画像領域に最大サイズで収めるために、切出範囲の子画像部分を拡大又は縮小する場合の倍率と、の設定（決定）をする切出範囲・倍率設定部５１ａを備える。
【００３４】
情報取得部５１には、合成画像としてのＰｉｎＰの表示形態の設定を行うＰｉｎＰ表示形態設定部５７から親画像側の表示形態を設定する情報が入力される。そして、情報取得部５１は、親画像側の表示形態の情報に基づいて子画像側の表示形態の設定を行う。なお、情報取得部５１とＰｉｎＰ表示形態設定部５７とは図３の矢印で示すように、お互いの情報を利用できるような構成にしても良い。  
また、切出範囲・倍率設定部５１ａを、情報取得部５１の外部に設けても良い。また、例えばＰｉｎＰ表示形態設定部５７内に切出範囲・倍率設定部５１ａを設けるような構成にしても良い。切出範囲・倍率設定部５１ａとＰｉｎＰ表示形態設定部５７とは、子画像の表示形態を決定する子画像表示形態決定手段を形成する。なお、後述する第３の実施形態のように、画像信号自体からエッジ抽出を利用して切出範囲を自動的に設定する構成にすることもできる。
【００３５】
このような構成の本実施形態の画像合成システム１は、複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、前記複数の画像の画像関連情報としてのＣＣＤ１２の画素数、拡大・縮小回路４８による拡大率又は縮小率等の情報を取得する画像関連情報取得手段としての情報取得部５１と、前記入力される複数の画像の中から第１の画像を表示するように指示するキーボード７により構成される第１画像指示手段としての第１画像指示部７ａと、を備える。  
また、この画像合成システム１は、前記入力される複数の画像の中から第２の画像を表示するように指示するキーボード７により構成される第２画像指示手段としての第２画像指示部７ｂと、前記第１画像指示手段で指示された前記第１の画像を前記第２の画像よりも優先してその表示形態を指示するキーボード７により構成される第１画像表示形態指示手段としての第１画像表示形態指示部７ｃと、を備える。
【００３６】
また、この画像合成システム１は、前記画像関連情報取得手段により取得した前記第２の画像の画像関連情報と、前記第１画像表示形態指示手段により指示された前記第１の画像の表示形態とに基づき、前記第２の画像の表示形態を決定する第２画像表示形態決定手段を構成するＰｉｎＰ表示形態設定部５７を備える。  
また、この画像合成システム１は、前記第１画像表示形態指示手段による指示に対応した前記第１の画像を処理する第１画像処理手段及び前記第２画像表示形態決定手段による決定に対応した前記第２の画像を処理する第２画像処理手段としての内視鏡画像信号処理部４１、外部画像信号処理部５３、切替回路５２及び切出／拡大・縮小回路５８を有する。
【００３７】
また、この画像合成システム１は、前記第１画像表示形態指示手段による指示と、前記第２画像表示形態決定手段による決定に基づき、前記第１画像処理手段により処理された前記第１の画像と、前記第２画像処理手段により処理された前記第２の画像と、を合成する画像合成手段としてのＰｉｎＰ合成回路６０、を備えることを特徴とする。  
図４Ａは親画面を形成する親画像及び関連データの標準的な配置例を示す。表示画面６１に対応して設定された画像メモリ６０ａの画像配置領域に、外部機器２の外部画像による親画像６２ａが親画像領域６２に配置されると共に、この親画像６２ａに関連する関連データ６３ａが関連データ領域６３に配置される。
【００３８】
この画像メモリ６０ａにおける親画像領域６２と、親画像６２ａに関連する関連データの領域とを除く、（モニタ６には何も）表示されない領域が、子画面を配置可能になる空領域６４となる。そして、この空領域６４中に２点鎖線で示すように子画像（子画面）として表示するための子画像領域６５が設定される。  
そして、上記切出／拡大・縮小回路５８は、スイッチＳＷ１から出力される子画面の画像信号から子画像部分を切り出し、上記子画像領域６５内に最大に近いサイズで配置するように、子画像部分の切出と、拡大又は縮小する。  
この場合、子画像として表示される内視鏡３のＣＣＤ１２の画素数が異なる場合にも、その画素数を考慮して、内視鏡画像部分の切出と、切り出した内視鏡画像の拡大又は縮小を適切に行う。
【００３９】
上述したように、内視鏡画像信号処理部４１は、拡大・縮小回路４８を含むため、内視鏡画像部分の切出を行う場合、ＣＣＤ１２の画素数の情報の他に、拡大・縮小回路４８による拡大率又は縮小率の情報も参照して、内視鏡画像部分の切出を行う。  
具体的には、内視鏡画像部分を切り出す場合、ＣＣＤ１２の画素数で決まる内視鏡画像のサイズを、拡大・縮小回路４８による拡大率又は縮小率により補正して、この補正したサイズで内視鏡画像部分よりも僅かに大きい縦横サイズの切出範囲６６ａ，６６ｂで図５Ａ，図５Ｂの左側に示すように切出を行う。なお、内視鏡画像部分の縦横サイズと等しいサイズに設定して、切り出すようにしても良い。  
図５Ａ及び図５Ｂは、空領域６４に設定された子画像領域６５に対して、画素数が大きい場合の内視鏡画像部分（Ａで示す）と画素数が小さい場合の内視鏡画像部分Ｂとにおいて、それぞれ切出及び拡大又は縮小を適切に行い、子画像領域６５に子画像６５ａに収める様子の説明図を示す。
【００４０】
本実施形態においては、子画像として表示する医用画像（具体例ではＣＣＤ１２による内視鏡画像）の画素数及び拡大・縮小回路４８による拡大又は縮小されたサイズが異なる場合にも、子画像領域６５の縦横のサイズを示す枠内で、最大に近いサイズで子画像を表示できるようにする。  
このため、切出／拡大・縮小回路５８における切出回路（５８ａとする）は、子画面の内視鏡画像及び関連データを含む画像信号から内視鏡画像部分Ａ、Ｂを、切出範囲６６ａ，６６ｂに示すように切り出す。そして、切り出した内視鏡画像部分Ａ，Ｂを含む切出範囲部分が、切出／拡大・縮小回路５８における拡大・縮小回路（５８ｂとする）により子画像領域６５のサイズ以内で、このサイズにできるだけ近いサイズにする拡大率又は縮小率で拡大又は縮小される。
【００４１】
具体的には、図５Ａの左側に示す内視鏡画像部分Ａは、その切出範囲６６ａの縦横サイズが子画像領域６５の縦横サイズよりもかなり大きいため、縮小する割合が大きく設定される（以下に用いる拡大率又は縮小率の値としては小さく設定される）。  
これに対して、図５Ｂの左側に示す内視鏡画像部分Ｂは、その切出範囲６６ｂの縦横サイズが子画像領域６５の縦横サイズよりも若干大きいため、縮小する割合が小さく設定される。  
切出／拡大・縮小回路５８は、情報取得部５１によりＣＣＤ１２の画素数の情報と、拡大・縮小回路４８による拡大率又は縮小率の情報を参照して、内視鏡画像部分Ａ又はＢを含むように切出範囲６６ａ、６６ｂを設定して、切り出すことができる。
【００４２】
例えば、切出／拡大・縮小回路５８は、切出範囲６６ａの縦横のサイズをＶａ，Ｈａとし、子画像領域６５の縦横のサイズをＶｃ，Ｈｃとした場合、
Ｖａ・Ｋａ≦Ｖｃ  、Ｈａ・Ｋｂ≦Ｈｃ      （１）
の条件を満たすＫａ，Ｋｂにおける最大の値となるＫａ，Ｋｂを算出する。さらに、算出した２つの値Ｋａ，Ｋｂにおいて、小さい方の値を、子画像領域６５に配置する内視鏡画像部分Ａを含む切出範囲６６ａの縦横サイズとする拡大率又は縮小率として決定する。  
なお、拡大率は、１倍以上に拡大する場合を意味し、縮小率は、１倍未満に縮小する場合を意味する。従って、値が１以下となる場合も含めるように拡大率を定義したり、値が１以上となる場合も含むように縮小率として定義することによって、一方のみを用いて表現しても良い。
【００４３】
切出範囲６６ａを決定した拡大率又は縮小率で拡大又は縮小した切出範囲を６６ａ′で示すと、図５Ａの右側に示すように子画像領域６５内に内視鏡画像部分Ａを含む切出範囲６６ａ′が配置される。  
なお、図５Ａからも明らかなように子画像領域６５は、その横サイズがモニタ６の表示画面６１に相当する画像メモリ６０ａの画像配置領域の左端から親画像領域６２の左端までのサイズＨｄよりも僅かに小さいサイズに設定されている。同様に、子画像領域６５は、その縦サイズが画像メモリ６０ａの画像配置領域の下端から関連データ領域６３の下端までのサイズＶｄより僅かに小さいサイズに設定されている。
【００４４】
なお、図５Ｂの内視鏡画像部分Ｂの切出範囲６６ｂの場合も同様に処理され、図５Ｂの右側に示すように子画像領域６５内に内視鏡画像部分Ｂを含む切出範囲６６ｂ′が配置される。  
上記のように切出／拡大・縮小回路５８は、子画像としての内視鏡画像部分Ａ，Ｂを切り出し、かつ切り出した内視鏡画像部分Ａ，Ｂのサイズを拡大又は縮小により子画像領域６５の縦横サイズに収まるサイズ内で最大に近いサイズに調整して画像メモリ６０ａにおける子画像領域６５に配置する。  
ＰｉｎＰ合成回路６０は、画像メモリ６０ａに配置された親画像、親画像の関連データ及び子画像からなる画像データを合成画像データとして読み出し、Ｄ／Ａ変換回路３５によりアナログの合成画像信号に変換した後、モニタ６に出力する。
【００４５】
モニタ６には、外部機器２を親画像と指示した場合には、図１の下側に示すように親子画像が表示される。  
本実施形態においては、モニタ６に親子画像を表示する場合の親画像側の表示形態を指示して、モニタ６に表示される親画像の配置位置及び表示サイズと、親画像に関連するデータの表示位置及びサイズを決定する。  
そして、親画面における親画像と関連データの領域以外における、矩形形状の空領域部分に子画像を表示する子画像領域６５を設定し、この子画像領域６５のサイズ内に、このサイズに近い最大に近いサイズで子画像を収めるように子画像を配置する。  
この場合、子画像としての例えば内視鏡画像のＣＣＤ１２の画素数、内視鏡画像が拡大又は縮小された場合には、その拡大率又は縮小率の情報を参照して内視鏡画像部分を切り出し、さらに拡大又は縮小して子画像領域６５のサイズ以下で最大となるサイズとなるように、サイズを調整する。
【００４６】
なお、図３に示した構成においては、切替回路５２により選択された親画面における親画像と関連データとの位置及びサイズが、モニタ６での表示にそのまま利用する例で示している。  
これに対して、以下に説明するように親画像の表示形態の１つとして、親画像６２ａと関連データ６３ａの配置位置及びサイズ、換言すると親画像６２ａの表示領域に対応する親画像領域６２と関連データ６３ａの表示領域に対応する関連データ領域６３との配置位置及びサイズを可変設定する機能を設けるようにしても良い。  
図６は、画像信号処理部３４による画像処理により、親画像６２ａと関連データ６３ａの配置位置及びサイズを可変設定する配置位置設定回路７１周辺部の構成例を示す。
【００４７】
ユーザは、例えば、キーボード７から親画像６２ａと関連データ６３ａとのそれぞれの配置位置及びそのサイズを切り出す情報と共に、キーボード７により構成される配置指示手段としての配置指示部７ｄにより、切り出した親画像６２ａ及び関連データを配置する配置位置及びサイズの情報との指示入力を行う。これにより、ＰｉｎＰ表示形態設定部５７は、指示入力に対応した信号を切替回路５２とＰｉｎＰ合成回路６０との間に設けられた配置位置設定回路７１に出力する。  
この配置位置設定回路７１は、切替回路５２から出力される親画面の画像信号を入力信号として、親画像部分とその関連データ部分とを切り出す切出回路７２を有する。また、配置位置設定回路７１は、切り出した親画像部分（及び関連データ部分）を指示されたサイズに拡大又は縮小する拡大・縮小回路７３と、拡大又は縮小された画像データを内部に配置（格納）する画像メモリ７４とを有する。
【００４８】
拡大・縮小回路７３により指示されたサイズに設定された親画像部分と、関連データ部分とは、画像メモリ７４におけるキーボード７からの配置位置及びサイズの指示に対応した領域にそれぞれ配置（格納）される。なお、関連データ部分に関しては、拡大は縮小を行わないようにしても良い。  
切出回路７２は、上述した子画面の内視鏡画像から切出を行う場合と同様に、親画面の親画像部分と関連データ部分とをそれぞれ切り出す。そして、切り出された親画像部分を含む切出範囲の画像データと関連データ部分の切出範囲の画像データとは指示されたサイズに拡大又は縮小された後、画像メモリ７４に配置される。
【００４９】
画像メモリ７４に配置された親画像６２ａを含む切出範囲の画像データと、関連データを含む切出範囲の画像データとは、ＴＧ３１からの同期信号に同期したタイミングで読み出され、ＰｉｎＰ合成回路６０に出力され、ＰｉｎＰ合成回路６０内の画像メモリ６０ａに、上記画像メモリ７４と同じ配置位置に同じサイズで格納される。  
図７Ａはこの場合の画像メモリ６０ａ（画像メモリ７４も同様、但し画像メモリ７４での親画像及び関連データの切出範囲は、図７Ａでは親画像領域及び関連データ領域になる）の配置例を示す。  
なお、図７Ａでは、例えば拡大・縮小回路７３は、１倍の拡大率の場合で示している。換言すると、図７Ａは、図４における親画像６２ａ及び関連データ６３ａの配置をサイズの変更を行わないで配置位置のみを変更した場合に対応する。
【００５０】
切替回路５２から配置位置設定回路７１に入力される親画面の画像信号における親画像６２ａと関連データ６３ａとは、例えば図４に示すように配置状態のものである。
【００５１】
切出回路７２は、親画像６２ａと関連データ６３ａの配置情報を従って、親画像部分と関連データ部分とをそれぞれ切り出す。  
また、それぞれ切り出した切出範囲の画像データは、キーボード７から指示されたサイズの情報に従って、拡大・縮小回路７３により拡大又は縮小した後、指示された配置位置、例えば図７Ａの（画像メモリ６０ａの場合と同様に）実線で示すような配置（図７Ａでは符号６２，６３）となるように画像メモリ７４に配置される。
【００５２】
画像メモリ７４に配置された親画像の切出範囲の画像データと、関連データの切出範囲の画像データは、ＰｉｎＰ合成回路６０の画像メモリ６０ａに配置され、その際、各切出範囲のサイズが、親画像６２ａを含む親画像領域６２、関連データ６３ａを含む関連データ領域６３に設定される。  
図７Ａに示す配置例は、図４に示した親画像６２ａと関連データ６３ａの配置を横方向に関して左右を反転したものとなっている。従って、この場合には、図４に示した子画像領域６５を左右反転した位置で、図７Ａの２点鎖線で示すように（子画像が配置される）子画像領域６５が決定されることになる。
【００５３】
また、図７Ｂは、親画像６２ａのサイズを変更（具体的には縮小）して、図７Ａの場合と同様に親画像６２ａ（の親画像領域６２）を左側に配置した例を示す。また、この図７Ｂの配置例においては、関連データ６３ａの関連データ領域６３を右側における下側寄りに配置している。  
この場合においても、この親画像６２ａ（の親画像領域６２）の配置位置及びサイズと、関連データ領域６３の配置位置及びそのサイズの設定に応じて子画像が配置される子画像領域６５のサイズも、これらの領域が配置されていない空領域６４内に２点鎖線で示すように決定される。
【００５４】
後述する実施形態のように外部機器２として、内視鏡装置による内視鏡画像の画像信号を外部画像に設定することもできる。このような場合には、通常の内視鏡画像の場合における表示サイズとして採用される複数種類のサイズに対応したサイズで親画像のサイズを予め登録されたものから選択して設定できるようにしても良い。また、サイズと共に、配置位置も登録されたものから選択して設定できるようにしても良い。  
このように、親画像の配置位置及び表示サイズの設定を簡単に行うことができるようにするために以下のようにしても良い。
【００５５】
例えば図６に示すＰｉｎＰ表示形態設定部５７内に、ユーザがモニタ６に表示したいと望む親画像及び関連データの配置位置及び親画像の表示サイズの情報を予め配置位置・表示サイズ情報として配置情報格納部５７ａに格納しておく。  
また、ユーザが配置・表示サイズ情報を選択する操作を行うことができるように、例えばキーボード７は、所望の配置位置及び表示サイズに対応する配置位置・表示サイズを選択する配置位置・表示サイズ選択手段としての配置位置・表示サイズ選択部７ｅの機能を持つ。  
なお、本実施形態においては、キーボード７により、各種の指示や設定を行う機能を持たせているが、キーボード７に限らず、マウスやポインティグデバイスなどを用いても良い。
【００５６】
このような構成にすることにより、ユーザは、親画像の配置位置及び表示サイズを簡単に指示でき、かつ指示した所望の配置及び表示サイズに親画像を表示できるようになる。  
なお、キーボード７による配置位置・表示サイズの選択情報は、ＰｉｎＰ表示形態設定部５７から情報取得部５１に送られる。そして、親画像及び関連データの配置位置・表示サイズの選択情報に基づいて、上述したように子画像を配置する子画像領域６５が決定され、その子画像領域６５に子画像が配置される。  
また、例えばメニュー画面をモニタ６に表示する等して、モニタ６に表示される合成画像のアスプクト比を設定する機能を設けるようにしても良い。例えば図６は、合成画像のアスプクト比を設定する処理回路を設けた例も示している（なお、図３の構成に適用しても良い）。
【００５７】
この場合、例えばキーボード７は、ユーザが合成画像における親画像及び子画像の両画像に対するアスペクト比の設定指示するアスペクト比設定手段としてのアスペクト比設定部７ｆの機能を持つ。このキーボード７からのアスペクト比の設定指示により、ＰｉｎＰ表示形態設定部５７は、例えば内視鏡画像信号処理部４１内と外部画像信号処理部５３内にそれぞれ設けたアスペクト比処理回路７５、７６に対して、指示されたアスプクト比に設定する設定信号を送る。  
アスペクト比処理回路７５、７６は、内視鏡画像及び外部画像に対して、それぞれ指示されたアスプクト比に設定する画像処理を行う。そして、それぞれ生成されたアスペクト比の内視鏡画像及び外部画像に対して、切替回路５２以降の画像処理により上述した実施形態と同様にＰｉｎＰの合成画像を生成する処理が行われる。
【００５８】
図８は、このようにして生成された合成画像のモニタ６での表示例を示す。図８は、例えば１６：９のアスペクト比の設定指示の場合に相当する例を示す。この場合においても、それぞれ１６：９に設定された親画像６２ａ及び子画像６５ａは、両画像が重ならないで、かつ子画像６５ａは子画像領域の横方向において最大に近いサイズで表示されるように設定される。  
なお、図８の具体例の場合には、指示されたアスペクト比の条件により、（１）式の条件は実質的には一方の拡大率又は縮小率Ｋｂにより決定されることになる。  
なお、図８の表示例においては、子画像６５ａは以下に説明する外科用内視鏡の場合に対応する内視鏡画像で示している。  
外科用内視鏡の場合には、外科用内視鏡に搭載されたＣＣＤによる画像をマスキングしないで内視鏡画像として表示するように画像処理を行う。
【００５９】
これに対して、上述した内視鏡３をその代表例とした内科用内視鏡の場合には、プロセッサ４の内視鏡画像信号処理部４１は、ＣＣＤ１２により撮像された画像の４隅をマスキングした画像処理を行い、モニタ６にはマスキングされた内視鏡画像が表示される。  
このため、上述した実施形態において、さらに内視鏡の種類によって、切出範囲を変更したり、切出範囲の条件を変更するようにしても良い。この場合には、図２のＣＣＤ検知回路３６は、ＣＣＤ１２の画素数の情報の他に、内視鏡の種類も検知する内視鏡種類の検知機能を備え、検知した情報を、図３に示す情報取得部５１に出力する。情報取得部５１は、ＣＣＤ１２の画素数の情報の他に、内視鏡３の種類の情報を取得する。  
内視鏡３の種類の情報として、例えば内視鏡３が内科用内視鏡であるか、外科用内視鏡であるかの情報を含む。
【００６０】
情報取得部５１は、上述したようにＣＣＤ種別の情報等により、子画像として表示するための内視鏡画像の切出範囲を決定していたが、本変形例においては、さらに内視鏡種別の情報に応じて、つまり内科用内視鏡である場合と、外科用内視鏡である場合とに応じて切出範囲を変更するように決定する。  
そして、切出／拡大・縮小回路５８における切出回路（以下、５８ａ）は、図９に示すように、内視鏡画像の切り出しを行う。  
図９の上側は内科用内視鏡の場合における切替回路５２から出力される子画面の画像信号から実線で示す内視鏡画像部分を切り出す場合の切出範囲６６を点線で示し、下側は外科用内視鏡の場合における切出範囲６６を示す。
【００６１】
内科用内視鏡の場合においては、８角形の内視鏡画像Ｃのマスキング枠が欠けない様に縦横の切出範囲６６が設定され、この切出範囲６６で内視鏡画像部分が切り出される。なお、８角形の内視鏡画像部分に隣接する左上側部分には、この内視鏡画像に関連する関連データである。  
一方、外科用内視鏡の場合においては、ＣＣＤにより撮像された画像がマスキングされることなく、そのまま矩形形状の内視鏡画像Ｄとして画像処理及び表示に利用される。そして、この矩形形状の内視鏡画像Ｄの中央領域を含む縦横サイズの切出範囲６６が設定される。
【００６２】
例えばＰｉｎＰ表示形態設定部５７内に異なる縦横サイズの複数の切出範囲の情報を登録しておき、ユーザは例えばキーボード７から複数の切出範囲の情報から１つの切出範囲を選択できるようにすることにより、所望とする切出範囲６６で切り出すことができる。  
このようにするために、例えば図６に示すＰｉｎＰ表示形態設定部５７は、切出範囲の情報を格納する不揮発性メモリ等からなる切出範囲情報格納部５７ｂを備えた構成にしても良い。なお、切出範囲情報格納部５７ｂは、プロセッサ４内であれば、ＰｉｎＰ表示形態設定部５７の外部に設けるようにしても良い。そして、キーボード７は、切出範囲の指示手段を形成する。
【００６３】
なお、上述の説明においては、外部画像信号処理部５３内にアスペクト比処理回路７５，７６を設けた例で説明したが、上述した親画像の切出回路７２をアスペクト比処理に利用しても良い。  
なお、上述の説明においては、外部機器２側を親画像、内視鏡３側を子画像とした指示の場合に対して説明したが、外部機器２による画像信号と内視鏡３による画像信号とを入れ替えて説明することにより、殆ど同様の作用効果を得ることができる。  
例えば、内視鏡３側を親画像とした表示形態が指示された場合には、図４に示す親画像６２ａは内視鏡画像となり、関連データ６３ａは内視鏡画像に関連するデータ（の画像）となる。
【００６４】
このような配置は、キーボード７からの指示と拡大・縮小回路４８の拡大率又は縮小率によって決まり、このような配置の情報を、情報取得部５１が取得する。また、これらの画像が配置された領域を除く（画像の表示の無い）空領域６４中に、外部機器２側の外部画像部分を配置する子画像領域６５が決定される。この子画像領域６５の情報も情報取得部５１が取得する。  
そして、この子画像領域６５に収めるように、外部機器２による画像信号から外部画像部分が、切出／拡大・縮小回路５８により切り出され、かつ拡大又は縮小される。この説明は、図５Ａ，図５Ｂの内視鏡画像を外部画像に置換した説明に該当する。  
従って、本実施形態によれば、複数の画像における１つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能となる。
【００６５】
この場合、従属的に表示される画像としての子画像のサイズが、撮像素子の画素数や拡大・縮小手段によって変化するような場合においても、複数の画像が重ならないで、かつ子画像を最大サイズに近い状態で生成可能となる。  
また、本実施形態によれば、親子画像で表示する場合の親子画像の配置位置や表示サイズを変更設定することができる。このため、術者は、所望とする配置状態及び表示サイズに設定して、モニタ６に親子画像を表示して、内視鏡検査等を円滑に行うことができる。  
また、親子画像で表示する場合、術者は、親画像側の配置を指定することによって、子画像側の配置位置と、表示サイズが自動的に空領域中に適正に設定されるため、使い勝手の良いシステムを実現できる。また、アスペクト比を指定して親子画像を表示させる場合にも、親子画像が重ならないでかつ子画像を最大サイズに近い状態で表示することが可能になる。
【００６６】
なお、図２における点線で示すように例えばＣＰＵ３２ｂに接続された不揮発性で書き換え可能なメモリ（例えばフラッシュメモリ）３２ｃを設け、このメモリ３２ｃ内に画像合成システム１を使用して合成画像を表示した場合のユーザ名（又はユーザ識別情報）と、モニタ６に表示する合成画像の設定情報（親画像、子画像等の配置位置、配置位置のサイズ、アスペクト比等の情報）とを関連付けて格納する合成画像の設定情報格納部３２ｄを備える構成にしても良い。
【００６７】
そして、ユーザが次回に画像合成システム１を使用する場合には、ＣＰＵ３２ｂは、ユーザ名などから対応する合成画像の設定情報格納部３２ｄから合成画像の設定情報を読み出して、モニタ６に表示するように制御し、ユーザに対してモニタ６に表示した設定情報で合成画像を生成するか否かの確認を求めるようにしても良い。ユーザは同じ設定情報で合成画像を生成する場合には、単にＯＫ、ＹＥＳなどの回答で済む。  
このような構成にすると、ユーザは、そのユーザが望む設定情報で合成画像を生成する設定を行った場合、次回使用する場合には、前回と同じ設定情報で簡単に合成画像を生成でき、ユーザに対する操作性を大幅に向上できる。
【００６８】
個別のユーザに対応した設定情報の他に、一般のユーザが選択の指示入力により簡単に合成画像を生成できる機能を追加しても良い。
【００６９】
合成画像を生成するのに必要となる設定条件が異なる互いに異なる複数の代表的な設定情報をメモリ３２ｃ内の設定情報格納部３２ｄに格納する。ユーザが画像合成システム１を使用する場合に、ＣＰＵ３２ｂは複数の代表的な設定情報をモニタ６に表示するように制御する。ユーザは、複数の代表的な設定情報から希望する設定情報を選択することにより、簡単に合成画像を生成することができる。この場合にも、選択の指示入力により、ユーザが希望する合成画像を簡単に生成できる効果を有する。
【００７０】
（第２の実施形態）
次に図１０を参照して本発明の第２の実施形態を説明する。本実施形態の画像合成システム１Ｂは、上述した第１の実施形態における外部機器２を、内視鏡装置８１に置換した構成にしている。  
本実施形態の画像合成システム１Ｂは、第１の実施形態で説明した内視鏡３と、プロセッサ４と、光源装置５と、モニタ６及びキーボード７からなるメイン側の内視鏡装置と、外部機器を構成するスレーブ側の内視鏡装置８１とからなる。  
内視鏡装置８１は、スレーブ側内視鏡（単に内視鏡とも記す）３Ｂと、この内視鏡３Ｂに対する画像処理を行うスレーブ側プロセッサ（単にプロセッサとも記す）４Ｂと、内視鏡３Ｂのライトガイド１１に照明光を供給するスレーブ側光源装置（単に光源装置とも記す）５Ｂと、を有する。
【００７１】
なお、内視鏡３Ｂは、内視鏡３と同じ構成要素（構成部材）からなるため、内視鏡３の構成要素と同じ符号を付け、その説明を省略する。また、プロセッサ４Ｂも、プロセッサ４と殆ど同じ構成であり、プロセッサ４の場合と同じ構成要素には、同じ符号を付け、その説明を省略する。また、光源装置５Ｂも、光源装置５と同じ構成であり、光源装置５の場合と同じ構成要素には、同じ符号を付け、その説明を省略する。  
プロセッサ４Ｂに設けられた画像信号処理部３４における外部から画像信号が入力される外部入力端子には、外部機器が接続されていない。一方、プロセッサ４の外部入力端子には、プロセッサ４Ｂの出力端子が接続され、この外部入力端子にはプロセッサ４Ｂから出力される内視鏡画像を含むアナログの画像信号が入力される。
【００７２】
そして、キーボード７から例えばプロセッサ４Ｂ側の画像、つまり内視鏡３Ｂにより撮像した内視鏡画像を、親画像とする表示形態の指示を行うことにより、モニタ６にはその内視鏡画像を親画像、内視鏡３による内視鏡画像を子画像とするＰｉｎＰの合成画像が表示される。  
また、プロセッサ４は、ＴＧ３１で生成したＲＧＢインデックス信号を光源装置５のカラーフィルタ部２３に出力し、同様にプロセッサ４Ｂも、ＴＧ３１で生成したＲＧＢインデックス信号を光源装置５Ｂのカラーフィルタ部２３に出力する。  
また、本実施形態の画像合成システム１Ｂは、光源装置５及び５Ｂは、それぞれ面順次方式の光源装置であり、両光源装置５，５Ｂとプロセッサ４，４Ｂが同期して照明及び画像処理を行うようにしている。
【００７３】
このため、プロセッサ４内のＴＧ３１は、タイミング信号としての水平同期信号及び垂直同期信号からなる同期信号と、ＲＧＢインデックス信号とを、プロセッサ４Ｂ内のＴＧ３１及びＰＬＬ回路３８に出力する。なお、プロセッサ４のＴＧ３１は、第１の実施形態で説明した場合と同様にＣＸＯ回路３７の基準クロックを用いてタイミング信号を生成する。  
一方、プロセッサ４ＢのＴＧ３１は、ＣＸＯ回路３７の基準クロックを用いないで、ＰＬＬ回路３８を用いる。そして、このＰＬＬ回路３８は、プロセッサ４側から入力される同期信号を参照信号として、ＶＣＸＯ回路３９によってプロセッサ４のＣＸＯ回路３７の基準クロックに位相同期した基準クロックを生成し、さらにこの基準クロックに位相同期した同期信号及びＲＧＢインデックス信号を生成する。
【００７４】
従って、両光源装置５，５Ｂとプロセッサ４，４Ｂとは同期した面順次の照明及び画像処理を行うようになる。  
このように同期した照明及び画像処理を行うようにすることで、術者は、両内視鏡３、３Ｂを同時に使用して体内の患部の観察、診断や、内視鏡観察下での処置を円滑に行うことができる。つまり、このような同期した照明及び画像処理を行わないと、両光源装置５，５Ｂによる面順次の照明のタイミングがずれることになるため、色再生の機能が低下する。  
本実施形態によれば、このような機能の低下を防止して、それぞれの内視鏡３，３Ｂを独立して使用した場合と同様の色再生の機能を確保できる。そして、２つの内視鏡３，３Ｂを用いることによって、術者は診断等をより円滑に行うことができるようになる。その他、第１の実施形態と同様の効果を有する。
【００７５】
（第３の実施形態）
図１１は本発明の第３の実施形態におけるプロセッサ４内の画像信号処理部３４Ｃの一部の構成を示す。上述した実施形態においては、子画面の画像信号から子画像部分や、親画面から親画像部分を切り出す場合、キーボード７等からの情報を参照して行うようにしていた。  
これに対して本実施形態においては、例えば図６に示す切出／拡大・縮小回路５８における切出範囲と、配置位置設定回路７１の切出回路７２による切出範囲とを、それぞれ入力される画像信号から、エッジ抽出を利用して自動的に決定して、切り出すようにしたものである。
【００７６】
このため、例えば図６の構成において、切替回路５２からそれぞれ出力される親画面の画像信号と子画面の画像信号を入力信号として、それぞれ親画像部分及び関連データ部分と、子画像との切出範囲を検出する切出範囲検出回路９１Ａ，９１Ｂを設けている。  
なお、切出範囲検出回路９１Ａ，９１Ｂを切替回路５２の入力側に設けるようにしても良い。また、本実施形態では図６の構成を若干変更した構成のＰｉｎＰ表示形態設定部５７を採用している。  
切出範囲検出回路９１Ａ，９１Ｂは、入力される画像信号に対して、それぞれエッジ部分を抽出するエッジ抽出回路９２ａ，９２ｂと、エッジ抽出回路９２ａ，９２ｂにより抽出したエッジの情報から切出範囲を設定する切出範囲設定回路９３ａ、９３ｂと、を有する。
【００７７】
エッジ抽出回路９２ａ，９２ｂは、例えば画像信号に対してエッジ強調回路によりエッジ強調した後のエッジ強調信号を、比較回路により閾値レベルと比較して、閾値レベルを超える信号を抽出することにより画像信号におけるエッジ部分を抽出する。  
切出範囲設定回路９３ａ、９３ｂは、抽出されたエッジ部分から、４角形又は８角形の画像の枠部分を識別する。この場合、抽出したエッジ部分を予め登録しておいた枠形状とでパターンマッチングを行う等、予め登録しておいた切出範囲の条件（例えば切出範囲のサイズの大きさの条件）を満たすものの選択等、他の処理を併用して識別機能を高めてるようにしても良い。そして、識別した枠形状が４角形の場合には、その枠を切出範囲に設定し、８角形の場合には、その８角形を含むように外挿した４角形の枠部分を、画像部分の切出範囲に設定する。なお、８角形のままの切出範囲に設定しても良い。
【００７８】
また、切出範囲設定回路９３ａ、９３ｂは、抽出されたエッジ部分の情報を、予め文字情報をエッジ抽出した場合の登録情報とパターンマッチング等して、文字情報からなる関連データ部分であるか否かにより、その関連データ部分が存在する範囲を決定し、その範囲を含む４角形を関連データの切出範囲に設定する。  
なお、外部機器によっては関連データを有しない画像信号の場合もあり得るので、関連データの切出範囲の検出ができない、又は切出範囲がゼロになる場合もあり得る。  このようにして切出範囲設定回路９３ａ、９３ｂは、画像部分の切出範囲と関連データの切出範囲の情報を、例えばＰｉｎＰ表示形態設定部５７を介して配置位置設定回路７１内の切出回路７２による切出範囲と、切出／拡大・縮小回路５８による切出範囲との設定にそれぞれ利用する。
【００７９】
また、本実施形態においては、ＣＣＤ検知回路３６によるＣＣＤの種類の情報と内視鏡の種類の情報を、例えばＰｉｎＰ表示形態設定部５７内の情報取得部５１に入力する構成にしている。  
なお、図３に示す情報取得部５１は、ＣＣＤ１２の種類等により切出範囲の設定を行うようにしていたが、図１１に示す本実施形態での構成においてはＣＣＤ１２の種類等の情報は、必ずしも必要としない。勿論、このような情報と併用したり、一方の情報を優先して切出範囲を決定するようにしても良い。  
このＰｉｎＰ表示形態設定部５７は、キーボード７からの各種の指示入力と、切出範囲設定回路９３ａ、９３ｂの情報等を利用して、ユーザにより指示された表示形態で親子画像の合成画像を生成する。
【００８０】
また、本実施形態において、以下のように画像信号の有無を監視（判定）して、画像信号が入力されていない判定結果の場合には、親子等の合成画像から一方の画像を通常の画像サイズ等、所定のサイズで表示するように自動的に切り替える制御機能を持つようにしても良い。まず、外部機器２がプロセッサ４に接続された状態から外された場合を説明する。
【００８１】
また、本実施形態における切出範囲検出回路９１Ａ，９１Ｂは、画像信号の有無を監視する監視手段を形成し、例えばエッジ抽出回路９２ａ、９２ｂが入力信号のレベルが０に近い閾値以下であって、所定の信号レベルを有しないために、エッジ部分を抽出できないと判定した場合には、画像信号が水平同期信号及び垂直同期信号からなる同期信号を含むか否かの判定を行う。
【００８２】
そして、切出範囲検出回路９１Ａ，９１Ｂは、同期信号を含まないと判定した場合には、外部機器２の画像信号が入力されていないと判定し、外部機器２の画像信号が入力されていない判定信号をＰｉｎＰ表示形態設定部５７に出力する。なお、同期信号の有無を判定することなく、画像信号が入力されていないと判定しても良い。  
ＰｉｎＰ表示形態設定部５７は、この判定信号が入力された場合には、画像信号が入力されている画像信号を、例えば親画像としてそのままＰｉｎＰ合成回路６０に出力するように、切替回路５２、切出／拡大・縮小回路５８、配置位置設定回路７１を制御する。
【００８３】
具体的な例としては、内視鏡３と外部機器２とがプロセッサ４に接続されて、内視鏡３による内視鏡画像の画像信号と外部機器の画像信号とが切替回路５２に入力された状態において、外部機器２がプロセッサ４から外されたような場合には、両画像が親子画像として合成画像で表示された状態から、内視鏡画像側のみが単独で表示される表示状態に設定する。  
仮に外部機器２の外部画像が親画像、内視鏡画像が子画像に設定された表示状態に設定されていても、外部機器２がプロセッサ４から外されると、自動的に内視鏡画像が子画像でなく、通常のサイズの内視鏡画像として表示されるようにできる。このため、ユーザが外部機器２をプロセッサ４から外した場合、親子画像の設定を変更する操作を行わなくても済み、ユーザに対する操作性を向上できる。
【００８４】
上記の例は、外部機器２が外された場合について説明したが、内視鏡３側が交換などのためにプロセッサ４から外された場合に対しても適用しても良い。内視鏡３が外された場合には、画像信号が入力されなくなるので、切出範囲検出回路９１Ａ、９１Ｂの一方は、それを検出して、親子画像の表示形態から画像信号が入力されている画像を通常のサイズで表示する。この場合にも、ユーザに対する操作性を向上できる。
【００８５】
また、本実施形態においては、ＰｉｎＰ表示形態設定部５７は、キーボード７により親画像及び関連データの配置位置及び表示サイズの指示がされた場合には、指示されたように親画像と関連データを配置するように、配置位置設定回路７１を制御する。  
また、この配置に応じて、ＰｉｎＰ表示形態設定部５７は、その空領域に子画像領域を設定する。そして、配置位置設定回路７１は、さらに切出／拡大・縮小回路５８による子画面の画像信号から子画像部分を切出等の動作を制御する。  
この場合、ＰｉｎＰ表示形態設定部５７は、合成される親子画像の配置状態を把握する。そして、例えばユーザにより指示されている又は現在のアスペクト比を変更した場合には、例えば子画像の表示サイズをより大きくした状態で合成画像としてより適切に生成及び表示可能な場合には、その旨をユーザに表示するようにしても良い。
【００８６】
このため、例えば、表示形態設定部５７は、現在設定されているＰｉｎＰの合成画像の配置状態に対して、親画像のアスペクト比を変更可能な場合には、そのアスペクト比の変更可能な範囲内で親画像側の配置状態を変更し、子画像領域のサイズをより大きくできるか否かの判定を行うようにしても良い。  
また、上述したように外部機器として、例えば音響的な撮像手段を備え、超音波画像の画像信号を出力する超音波装置が接続される場合がある。このような特定の外部機器がプロセッサ４に接続された場合には、ＰｉｎＰ表示形態設定部５７は、外部機器が特定の外部機器としての超音波装置であると識別した場合には、表示形態の指示設定に優先して、超音波画像を親画像とし、内視鏡画像を子画像に設定するようにしても良い。
【００８７】
このため、ＰｉｎＰ表示形態設定部５７は、外部機器と例えば通信線９４を用いた通信を行い、外部機器の識別コード等を取得して、その識別コード等から外部機器の種類を識別する識別部５７ｃを備える。そして、この識別部５７ｃによって特定の外部機器であることを識別した場合には、その識別結果により特定のＰｉｎＰ表示形態に設定するようにしても良い。  
また、この場合、ＰｉｎＰ表示する場合の親子画像の配置位置を特定の配置状態、例えば図７Ｂのような配置で超音波画像を親画像、その右上側に内視鏡画像を子画像として表示するような配置状態にしても良い。  
その他の構成は、上述した第１の実施形態と同様である。
【００８８】
本実施形態によれば、第１の実施形態の場合に比較して、親画面の画像信号から親画像部分及び関連データ部分の切出範囲や、子画面の画像信号から子画像部分の切出範囲の設定を行わなくても、両画像信号から自動的に両切出範囲を設定することができる。  このように、両画像信号における画像部分の切出範囲及びサイズを特定し無くても済むためユーザの利便性が向上する。  
また、例えば外部機器側の画像信号における画像部分のサイズを変更したような場合においても、本実施形態においてはその変更に対応した切出範囲で切り出すことが迅速にでき、ユーザの利便性が向上する。  
その他、第１の実施形態と同様の効果を有する。  
なお、上述した実施形態において、殆どの場合において親画面の画像信号は、親画像と共に、親画像に関連する関連データを含む場合を想定して説明したが、関連データを含まない場合にも適用できることは明らかである。
【００８９】
例えば、図４を用いて説明すると、画像メモリ６０ａにおける画像配置領域において、親画面の画像信号が親画像６２ａのみを有し、関連データを有しない場合には、親画像６２ａが配置される親画像領域６２を除く空領域６４に４角形の子画像領域６５を設定して、その子画像領域６５に子画像が配置される。  
図４の場合では、子画像領域６５としては、２点鎖線で示す配置位置に限らず、その上側（関連データ領域６３側）に配置することも可能になる。このように関連データを考慮しない場合には、ユーザは子画像を配置する位置を、より自由に選択できる。なお、このように子画像を配置する位置に自由度が存在する場合には、予め設定した条件（例えば空領域において、子画像を配置する位置として、縦方向に複数の位置が存在した場合には、例えば最も下側に配置する位置を優先するような条件）に従って配置する位置を決定するようにしても良い。  
また、親画像の配置位置やサイズによっては、子画像を配置する子画像領域のサイズをより大きくすることも可能になる。また、子画面側が子画像と共に、子画像に関連する関連データを含む場合には、上述した関連データ領域６３に、子画像の関連データを配置するようにしても良い。  
なお、上述した各実施形態等を部分的に組み合わせて異なる実施形態を構成することもでき、そのような実施形態も本発明に属する。
【００９０】
本出願は、２０１０年７月１３日に日本国に出願された特願２０１０−１５８９５３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
2012008299.tif 000003
【図２】
2012008299.tif 000004
【図３】
2012008299.tif 000005
【図４】
2012008299.tif 000006
【図５Ａ】
2012008299.tif 000007
【図５Ｂ】
2012008299.tif 000008
【図６】
2012008299.tif 000009
【図７Ａ】
2012008299.tif 000010
【図７Ｂ】
2012008299.tif 000011
【図８】
2012008299.tif 000012
【図９】
2012008299.tif 000013
【図１０】
2012008299.tif 000014
【図１１】
2012008299.tif 000015
【手続補正書】
【提出日】平成23年12月28日(2011.12.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の一態様による第１の画像と第２の画像とが入力され合成画像を出力する画像合成システムであって、該画像合成システムは、前記第１の画像と前記第２の画像との画像関連情報を取得する画像関連情報取得手段と、前記第１の画像を前記第２の画像よりも優先してその表示形態を指示する画像表示形態指示手段と、前記画像関連情報取得手段により取得した前記第２の画像の画像関連情報と前記画像表示形態指示手段による指示とに基づき、前記第１の画像の所定の領域へ前記第２の画像を表示するように、前記第２の画像の表示形態を決定する第２画像表示形態決定手段と、前記第２画像表示形態決定手段による決定に基づき前記第２の画像を処理する第２画像処理手段と、前記第２画像処理手段により処理された前記第２の画像を、前記第１の画像の前記所定の領域へ合成した合成画像を出力する画像合成手段と、を備える。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像とが入力され合成画像を出力する画像合成システムであって、
前記第１の画像と前記第２の画像との画像関連情報を取得する画像関連情報取得手段と、
前記第１の画像を前記第２の画像よりも優先してその表示形態を指示する画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第２の画像の画像関連情報と前記画像表示形態指示手段による指示とに基づき、前記第１の画像の所定の領域へ前記第２の画像を表示するように、前記第２の画像の表示形態を決定する第２画像表示形態決定手段と、
前記第２画像表示形態決定手段による決定に基づき前記第２の画像を処理する第２画像処理手段と、
前記第２画像処理手段により処理された前記第２の画像を、前記第１の画像の前記所定の領域へ合成した合成画像を出力する画像合成手段と、
を備えることを特徴とする画像合成システム。
【請求項２】
前記第１の画像及び前記第２の画像としての２つの医用画像、又は該２つの医用画像と該医用画像に関連するデータの画像を含み、
前記画像関連情報取得手段は、前記第１の画像及び第２の画像に関する前記医用画像の領域と、前記医用画像に関連するデータの画像の領域と、表示のない領域と、の表示形態情報を含む前記画像関連情報を取得し、
前記第２画像表示形態決定手段は、前記第２の画像の医用画像部分を、前記第１の画像の医用画像のない領域に収まるように決定し、
前記第２画像処理手段は、前記第２の画像の医用画像部分のみを抽出し、前記第２画像表示形態決定手段により決定された表示形態に収まるように拡大又は縮小し、
前記画像合成手段は、前記第１の画像の医用画像表示のない領域に、前記第２画像処理手段により処理された画像を合成することを特徴とする請求項１に記載の画像合成システム。
【請求項３】
前記画像合成システムは、更に、前記合成画像のアスペクト比を設定するアスペクト比設定手段と、前記アスペクト比設定手段によって設定されたアスペクト比に基づく前記第１の画像の画像処理を行う第１画像処理手段と、を備え、
前記第２画像表示形態決定手段は、前記アスペクト比設定手段によって設定されたアスペクト比の前記第１画像処理手段により処理された前記第１の画像の表示のない領域に収まるように、前記第２の画像の表示形態を決定することを特徴とする請求項２に記載の画像合成システム。
【請求項４】
前記画像表示形態指示手段は、
前記第１の画像の前記医用画像と該医用画像に関連するデータの配置位置を変更可能に設定する配置位置設定手段を有することを特徴とする請求項２に記載の画像合成システム。
【請求項５】
前記配置位置設定手段は、前記画像表示形態指示手段による指示に応じて、前記第１の画像としての前記医用画像のサイズを変更可能に設定することを特徴とする請求項４に記載の画像合成システム。
【請求項６】
前記第２画像処理手段は、前記第２の画像がカラーの画像である場合とモノクロの画像である場合とに応じて、画像処理特性を決めるパラメータを変更して画像処理する画像処理手段を有することを特徴とする請求項５に記載の画像合成システム。
【請求項７】
前記第２の画像としての医用画像は、撮像素子を備えた内視鏡による内視鏡画像であり、前記第２画像処理手段は、前記内視鏡の種類に応じて、前記第２の画像における内視鏡画像部分を切り出す切出範囲の条件を変更することを特徴とする請求項５に記載の画像合成システム。
【請求項８】
さらに、前記第１の画像としての医用画像を含む第１の画像信号から前記医用画像部分のみを、該第１の画像信号に対するエッジ抽出の処理を用いて切り出す画像処理を行う第１の切出回路と、前記第２の画像としての医用画像を含む第２の画像信号から前記医用画像部分のみを、該第２の画像信号に対するエッジ抽出の処理を用いて切り出す第２の切出回路とを有することを特徴とする請求項５に記載の画像合成システム。
【請求項９】
さらに、前記画像合成システムに入力される前記第１の画像と前記第２の画像との両画像信号の有無を監視し、一方の画像信号が入力されない判定結果の場合には、前記画像合成手段により合成された第１の画像及び第２の画像の合成画像から、他方の画像のみを所定のサイズで表示するように切り替えることを特徴とする請求項１に記載の画像合成システム。
【請求項１０】
さらに、前記画像合成システムを使用するユーザの情報と、該ユーザの情報に対応して前記合成画像を生成した場合の設定情報とを関連付けて格納する設定情報格納手段を有することを特徴とする請求項１に記載の画像合成システム。
【請求項１１】
さらに、異なる設定条件で前記合成画像を生成した場合の複数の設定情報を格納する設定情報格納手段を有し、前記画像合成システムを使用するユーザに対して前記複数の設定情報から実際に使用する設定情報を選択可能にすることを特徴とする請求項１に記載の画像合成システム。
【国際調査報告】
2012008299.tif 000016
2012008299.tif 000017
2012008299.tif 000018
2012008299.tif 000019