(57)【要約】【課題】  外部装置において容易に重畳表示が可能なデータを生成して出力する装置を提供する。【解決手段】  制御装置は、検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得し、第１の画像と、第１の画像に重畳して表示させるための第２の画像とを、検査に関連する情報に基づいて選択し、少なくとも第２の画像を第１の画像に重畳して表示させるための情報とを外部装置に出力するためのオブジェクトを生成する。【選択図】  図１
2018057697.tif 000002
【特許請求の範囲】
【請求項１】
検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得する取得手段と、
前記取得された前記複数の画像のなかから、第１の画像と、前記第１の画像に重畳して表示させるための第２の画像とを、前記検査に関連する情報に基づいて選択する選択手段と、
少なくとも前記第２の画像を前記第１の画像に重畳して表示させるための情報を外部装置に出力するためのオブジェクトを生成する生成手段と、
を有することを特徴とする制御装置。
【請求項２】
前記取得手段は、被検体への光照射により発生する光音響波に基づいて生成された光音響画像と、前記光照射に関する情報に基づいて特定される超音波画像とを取得し、
前記選択手段は前記第１の画像として前記超音波画像を選択し、前記第２の画像として前記光音響画像を選択することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記取得手段は、被検体への１回の光照射により発生する光音響波に基づいて生成される複数の光音響画像を取得し、
前記選択手段は、前記複数の光音響画像の中から前記第１の画像に重畳して表示させるための第２の画像を選択することを特徴とする請求項１又は請求項２のいずれか１項に記載の制御装置。
【請求項４】
前記選択手段は、前記複数の光音響画像の中から前記第１の画像及び前記第２の画像に重畳して表示させるための第３の画像を、前記検査に関連する情報に基づいてさらに選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の制御装置。
【請求項５】
前記生成手段は、前記第２の画像及び前記第３の画像の前記第１の画像に対する重畳の順序を特定可能なオブジェクトを生成することを特徴とする請求項４に記載の制御装置。
【請求項６】
前記オブジェクトの生成に関する設定を受け付ける受付手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の制御装置。
【請求項７】
前記検査は、被検体への複数回の光照射を含み、
前記取得手段は、前記光音響画像を前記複数回の光照射のそれぞれにおいて発生する光音響波に基づいてそれぞれ生成される複数の光音響画像を取得し、
前記取得された前記超音波画像と前記光音響画像とのうち、前記複数回の光照射に含まれる１回の光照射により発生する光音響波に基づいて生成される複数の光音響画像と、前記１回の光照射に関する情報に基づいて特定される超音波画像とを含む画像群を関連付ける関連付け処理手段をさらに有し、
前記生成手段は、前記関連付けられた前記画像群ごとに前記オブジェクトを生成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の制御装置。
【請求項８】
前記選択手段は、前記検査に関連する情報として、前記検査において超音波信号と光音響信号とをそれぞれ取得した時刻の情報に基づいて選択することを特徴とする請求項１乃至請求項７のいずれか１項に記載の制御装置。
【請求項９】
前記オブジェクトは、検査インスタンスＩＤ、シリーズＵＩＤ、患者ＩＤ、検査ＵＩＤ、検査に関する時刻の情報の少なくともいずれかの情報を含むことを特徴する請求項１乃至請求項８のいずれか１項に記載の制御装置。
【請求項１０】
前記検査に関する時刻の情報は、検査日、検査時刻、前記超音波画像の取得時刻、前記光音響画像の取得時刻の少なくともいずれかの情報を含むことを特徴とする請求項９記載の制御装置。
【請求項１１】
前記生成手段は、前記第２の画像を前記第１の画像に重畳して表示するための情報として、前記第２の画像を前記第１の画像に対するオーバーレイ画像データとして生成し、前記第１の画像と前記オーバーレイ画像データとを含むＤＩＣＯＭ画像ファイルを前記オブジェクトとして生成することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の制御装置。
【請求項１２】
前記生成手段は、前記第１の画像を含むＤＩＣＯＭ画像ファイルを前記オブジェクトとして生成し、前記第２の画像を前記第１の画像に重畳して表示するための情報を前記オブジェクトとして生成することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の制御装置。
【請求項１３】
前記生成手段は、前記第２の画像を前記第１の画像に重畳して表示するための情報である前記オブジェクトは、ＧＳＰＳオブジェクト又はＣＳＰＳオブジェクトの何れかであることを特徴とする請求項１２に記載の制御装置。
【請求項１４】
前記選択手段は、前記取得された前記複数の画像のうち、診断に適さないと判定されなかった画像のなかから選択することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の制御装置。
【請求項１５】
前記生成手段は、前記第１の画像を含む前記オブジェクトを生成することを特徴とする請求項１乃至請求項１４のいずれか１項に記載の制御装置。
【請求項１６】
前記第２の画像を前記第１の画像に重畳して表示するための情報には、前記第１の画像を特定するための情報を少なくとも含むことを特徴とする請求項１乃至請求項１５のいずれか１項に記載の制御装置。
【請求項１７】
前記第２の画像を前記第１の画像に重畳して表示するための情報には、前記第１の画像に重畳される複数の画像のうち、前記第２の画像を前記第１の画像に重畳する順序を示す情報を含むことを特徴とする請求項１６に記載の制御装置。
【請求項１８】
検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得する取得工程と、
前記取得された前記複数の画像のなかから、第１の画像と、前記第１の画像に重畳して表示させるための第２の画像とを、前記検査に関連する情報に基づいて選択する選択工程と、
前記第１の画像と、前記第２の画像を前記第１の画像に重畳して表示させるための情報とを外部装置に出力するためのオブジェクトを生成する生成工程と、
を有することを特徴とする制御方法。
【請求項１９】
検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得する取得手段と、
前記取得された前記複数の画像のなかから、第１の画像と、前記第１の画像に重畳して表示させるための第２の画像とを、前記検査に関連する情報に基づいて選択する選択手段と、
前記第１の画像と、前記第２の画像を前記第１の画像に重畳して表示させるための情報とを外部装置に出力するためのオブジェクトを生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項２０】
被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブを更に有し、
前記取得手段は前記プローブから、前記超音波信号と前記光音響信号とのうち少なくともいずれかを取得して前記複数の画像を取得することを特徴とする請求項１９に記載の撮像システム。
【請求項２１】
検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得する取得工程と、
前記取得された前記複数の画像のなかから、第１の画像と、前記第１の画像に重畳して表示させるための第２の画像とを、前記検査に関連する情報に基づいて選択する選択工程と、
前記第１の画像と、前記第２の画像を前記第１の画像に重畳して表示させるための情報とを外部装置に出力するためのオブジェクトを生成する生成工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法、制御システム及びプログラムに関する。
【背景技術】
【０００２】
被検体内部の状態を低侵襲に画像化する撮像装置として、超音波撮像装置や光音響撮像装置が利用されている。たとえば、特許文献１には、医用画像を用いた診断において、超音波画像に対して光音響画像を重畳した重畳画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
所定の装置において重畳画像を生成した後に、当該装置の外部に設けられたビューアに重畳画像に含まれる複数の医用画像が送信された場合、外部のビューアは複数の医用画像をどのように重畳すればよいかという情報がないため重畳画像を生成できない。すなわち、ビューアによっては重畳画像を生成することができないという問題点があった。
【課題を解決するための手段】
【０００５】
本発明の実施形態に係る制御装置は、検査において撮影された超音波画像と光音響画像とを含む複数の画像を取得する取得手段と、前記取得された前記複数の画像のなかから、第１の画像と、前記第１の画像に重畳して表示させるための第２の画像とを、前記検査に関連する情報に基づいて選択する選択手段と、少なくとも前記第２の画像を前記第１の画像に重畳して表示させるための情報とを外部装置に出力するためのオブジェクトを生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明の実施形態に係る制御装置によれば、ビューアにおいて所望の画像を表示させることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る制御装置の機能構成の一例を示す図である。
【図２】本発明の実施形態に係る制御装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態に係る制御装置により生成される情報の一例を示す図である。
【図４】本発明の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。
【図５】本発明の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。
【図６】本発明の実施形態に係る制御装置により行われる処理の一例を示すフローチャートである。
【図７】本発明の実施形態に係る制御装置により表示部に表示される画面の一例を示す図である。
【図８】本発明の実施形態に係る制御装置による医用画像の表示態様の一例を示す図である。
【図９】本発明の実施形態に係る制御装置により表示部に表示される画面の一例を示す図である。
【図１０】本発明の実施形態に係る制御装置により表示部に表示される画面の一例を示す図である。
【図１１】本発明の実施形態に係る制御装置により生成される情報の一例を示す図である。
【図１２】本発明の実施形態に係る制御装置により生成される情報の一例を示す図である。
【図１３】本発明の実施形態に係る制御装置により表示部に表示される画面の一例を示す図である。
【図１４】本発明の実施形態に係る制御装置により表示部に表示される画面の一例を示す図である。
【図１５】本発明の実施形態に係る制御装置を含むシステムの構成の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
本願明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。
【００１０】
被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響波を用いた画像化の手法が利用されている。超音波を用いた画像化の方法は、たとえばトランスデューサから発振された超音波が被検体内部の組織で音響インピーダンスの差に応じて反射され、反射波がトランスデューサに到達するまでの時間や反射波の強度に基づいて画像を生成する方法である。超音波を用いて画像化された画像を以下では超音波画像と称する。ユーザはプローブの角度等を変えながら操作し、様々な断面の超音波画像をリアルタイムに観察することができる。超音波画像には臓器や組織の形状が描出され、腫瘍の発見等に活用されている。また、光音響波を用いた画像化の方法は、たとえば光を照射された被検体内部の組織が断熱膨張することにより発生する光音響波に基づいて画像を生成する方法である。光音響波を用いて画像化された画像を以下では光音響画像と称する。光音響画像には各組織の光の吸収の度合いといった光学特性に関連した情報が描出される。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られており、腫瘍の悪性度の評価等への活用が検討されている。
【００１１】
診断の精度を高めるために、被検体の同一部位を、異なる原理に基づいて異なる現象を画像化することにより、様々な情報を収集する場合がある。たとえば、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）画像で得られた形態情報と、ＰＥＴ（ｐｏｓｉｔｒｏｎ  ｅｍｉｓｓｉｏｎ  ｔｏｍｏｇｒａｐｈｙ）画像で得られた代謝に関する機能情報とを組み合わせて、がんに関する診断を行う場合がある。このように、異なる原理に基づいて異なる現象を画像化して得られた情報を用いて診断を行うことは、診断の精度向上に有効であると考えられる。
【００１２】
上述した超音波画像と光音響画像に関しても、それぞれの特性を組み合わせた画像を得るための撮像装置が検討されている。特に、超音波画像も光音響画像も被検体からの超音波を利用して画像化されることから、超音波画像の撮像と光音響画像の撮像とを同じ撮像装置で行うことも可能である。より具体的には、被検体に照射した反射波と光音響波とを同じトランスデューサで受信する構成とすることができる。これにより、超音波信号と光音響信号とを一つのプローブで取得することができ、ハードウェア構成が複雑にならずに、超音波画像の撮像と光音響画像の撮像とを行う撮像装置を実現できる。
【００１３】
たとえば、上述したように超音波画像の撮像と光音響画像の撮像とを行う撮像装置を用いて検査を行う場合に、１回の検査で様々な画像が生成されることが想定される。超音波画像の撮像を行いながら、適宜ユーザが光照射を指示する操作入力を行って光音響画像の撮像を行う場合を例に説明する。１回の検査で、一連の超音波画像群からなる動画または、ユーザの指示したタイミングにおける超音波画像が生成される。また、１回の検査において行われた光照射ごとに、被検体で光音響波が発生し、後述するような様々な種類の光音響画像が生成される。１回の検査において複数回の光照射が行われる場合には、それぞれの光照射のタイミングごとに、複数の光音響画像が生成され得る。
【００１４】
画像をそれぞれ個別のオブジェクトとして外部装置に送信した場合では、ビューアの仕様によっては重畳表示ができないおそれがあり、また重畳表示の態様についてはユーザが手動で設定する必要がある。あるいは複数の画像を合成した合成画像を１つのオブジェクトとして外部装置に送信した場合では、複数の画像が合成された状態でユーザは観察することができるが、ビューアにおいて当該複数の画像のそれぞれの画像を個別に表示させることができない。
【００１５】
このような課題に鑑みると、超音波画像と光音響画像とを比較しながら観察を行う趣旨のもとでは、略同時のタイミングで撮像された超音波画像と光音響画像とが関連付けられて記憶されることが好ましい。さらに、関連付けられた画像群を外部装置に出力する際には、ユーザにとって好適な態様で自動的に表示可能なオブジェクトを生成して出力することが好ましい。
【００１６】
本発明の実施形態に係る制御装置は、外部装置で複数の画像をユーザにとって好適な態様で表示させるためのオブジェクトを生成することで、たとえば読影や診断のワークフローの効率を向上することを目的とする。
【００１７】
図１５は、本発明の実施形態に係る制御装置１０１を含むシステムの構成の一例を示す図である。超音波画像と光音響画像とを生成可能な撮像システム１００は、ネットワーク１１０を介して各種の外部装置と接続されている。撮像システム１００に含まれる各構成及び各種の外部装置は、同じ施設内に設置されている必要はなく、通信可能に接続されていればよい。
【００１８】
撮像システム１００は、制御装置１０１、プローブ１０２、表示部１０４、操作部１０５を含む。制御装置１０１は、プローブ１０２から超音波信号と光音響信号とを取得し、たとえば超音波画像に基づいて光音響信号の取得を制御し、当該制御に基づいて光音響画像を生成する装置である。また、制御装置１０１は、超音波画像ならびに光音響画像の撮像を含む検査に関する情報をオーダリングシステム１１２から取得し、当該検査が行われる際にプローブ１０２や表示部１０４を制御する。制御装置１０１は、生成された超音波画像、光音響画像、超音波画像に光音響画像を重畳した重畳画像をＰＡＣＳ１１３に出力する。制御装置１０１は、ＨＬ７（Ｈｅａｌｔｈ  ｌｅｖｅｌ  ７）及びＤＩＣＯＭ（Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｉｎ  Ｍｅｄｉｃｉｎｅ）といった規格に準じて、オーダリングシステム１１２やＰＡＣＳ１１３といった外部装置との間で情報の送受信を行う。制御装置１０１により行われる処理についての詳細は、後述する。
【００１９】
撮像システム１００で超音波画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、肝臓、膵臓、腹部といった領域である。また、撮像システム１００では、たとえば微小気泡を利用した超音波造影剤を投与した被検体の超音波画像を撮像してもよい。
【００２０】
また、撮像システム１００で光音響画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、径部、腹部、手指および足指を含む四肢といった領域である。特に、被検体内の光吸収に関する特性に応じて、新生血管や血管壁のプラークを含む血管領域を、光音響画像の撮像の対象としてもよい。以下では、超音波画像を撮像しながら光音響画像を撮像する場合を例に説明するが、撮像システム１００で光音響画像を撮像される被検体内の領域は必ずしも超音波画像を撮像される領域と一致していなくてもよい。撮像システム１００では、たとえばメチレンブルー（ｍｅｔｈｙｌｅｎｅ  ｂｌｕｅ）やインドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅ  ｇｒｅｅｎ）といった色素や、金微粒子、それらを集積あるいは化学的に修飾した物質を造影剤として投与した被検体の光音響画像を撮像してもよい。
【００２１】
プローブ１０２は、ユーザにより操作され、超音波信号と光音響信号とを制御装置１０１に送信する。プローブ１０２は、送受信部１０６と照射部１０７とを含む。プローブ１０２は、送受信部１０６から超音波を送信し、反射波を送受信部１０６で受信する。また、プローブ１０２は照射部１０７から被検体に光を照射し、光音響波を送受信部１０６で受信する。プローブ１０２は受信した反射波ならびに光音響波を電気信号に変換し、超音波信号ならびに光音響信号として制御装置１０１に送信する。プローブ１０２は、被検体との接触を示す情報を受信したときに、超音波信号を取得するための超音波の送信ならびに光音響信号を取得するための光照射が実行されるように制御されることが好ましい。
【００２２】
送受信部１０６は、少なくとも１つのトランスデューサ（不図示）と、整合層（不図示）、ダンパー（不図示）、音響レンズ（不図示）を含む。トランスデューサ（不図示）はＰＺＴ（ｌｅａｄ  ｚｉｒｃｏｎａｔｅ  ｔｉｔａｎａｔｅ）やＰＶＤＦ（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅ  ｄｉｆｌｕｏｒｉｄｅ）といった、圧電効果を示す物質からなる。トランスデューサ（不図示）は圧電素子以外のものでもよく、たとえば静電容量型トランスデューサ（ＣＭＵＴ：ｃａｐａｃｉｔｉｖｅ  ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ  ｕｌｔｒａｓｏｎｉｃ  ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサである。典型的には、超音波信号は２〜２０ＭＨｚ、光音響信号は０．１〜１００ＭＨｚの周波数成分からなり、トランスデューサ（不図示）はこれらの周波数を検出できるものが用いられる。トランスデューサ（不図示）により得られる信号は時間分解信号である。受信された信号の振幅は各時刻にトランスデューサで受信される音圧に基づく値を表したものである。送受信部１０６は、電子フォーカスのための回路（不図示）もしくは制御部を含む。トランスデューサ（不図示）の配列形は、たとえばセクタ、リニアアレイ、コンベックス、アニュラアレイ、マトリクスアレイである。プローブ１０２は、超音波信号と光音響信号とを取得し、これらを交互に取得してもよいし、同時に取得してもよいし、予め定められた態様で取得してもよい。
【００２３】
送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を増幅する増幅器（不図示）を備えていてもよい。また、送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えていてもよい。トランスデューサ（不図示）は、超音波画像の撮像の目的に応じて、送信用と受信用とに分割されてもよい。また、トランスデューサ（不図示）は、超音波画像の撮像用と、光音響画像の撮像用とに分割されてもよい。
【００２４】
照射部１０７は、光音響信号を取得するための光源（不図示）と、光源（不図示）から射出されたパルス光を被検体へ導く光学系（不図示）とを含む。光源（不図示）が射出する光のパルス幅は、たとえば１ｎｓ以上、１００ｎｓ以下のパルス幅である。また、光源（不図示）が射出する光の波長は、たとえば４００ｎｍ以上、１６００ｎｍ以下の波長である。被検体の表面近傍の血管を高解像度でイメージングする場合は、４００ｎｍ以上、７００ｎｍ以下の、血管での吸収が大きい波長が好ましい。また、被検体の深部をイメージングする場合には、７００ｎｍ以上、１１００ｎｍ以下の、水や脂肪といった組織で吸収されにくい波長が好ましい。
【００２５】
光源（不図示）は、たとえばレーザーや発光ダイオードである。照射部１０７は、複数の波長の光を用いて光音響信号を取得するために、波長を変換できる光源を用いてもよい。あるいは、照射部１０７は、互いに異なる波長の光を発生する複数の光源を備え、それぞれの光源から交互に異なる波長の光を照射できる構成であってもよい。レーザーは、たとえば固体レーザー、ガスレーザー、色素レーザー、半導体レーザーである。光源（不図示）として、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーといったパルスレーザーを用いてもよい。また、Ｎｄ：ＹＡＧレーザーの光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（ｏｐｔｉｃａｌ  ｐａｒａｍｅｔｒｉｃ  ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源（不図示）として用いてもよい。また、光源（不図示）として、マイクロウェーブ源を用いてもよい。
【００２６】
光学系（不図示）には、レンズ、ミラー、光ファイバといった光学素子が用いられる。被検体が乳房である場合には、パルス光のビーム径を広げて照射することが好ましいため、光学系（不図示）は射出される光を拡散させる拡散板を備えていてもよい。あるいは解像度を上げるために、光学系（不図示）はレンズ等を備え、ビームをフォーカスできる構成であってもよい。
【００２７】
表示部１０４は、制御装置１０１からの制御に基づいて、撮像システム１００で撮像された画像や、検査に関する情報を表示する。表示部１０４は、制御装置１０１からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部１０４は、たとえば液晶ディスプレイである。
【００２８】
操作部１０５は、ユーザの操作入力に関する情報を制御装置１０１に送信する。操作部１０５は、たとえばキーボードやトラックボールや、検査に関する操作入力を行うための各種のボタンである。
【００２９】
なお、表示部１０４と操作部１０５はタッチパネルディスプレイとして統合されていてもよい。また、制御装置１０１と表示部１０４と操作部１０５は別体の装置である必要はなく、これらの構成が統合された操作卓として実現されてもよい。制御装置１０１は、複数のプローブを有していてもよい。
【００３０】
ＨＩＳ（Ｈｏｓｐｉｔａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）１１１は、病院の業務を支援するシステムである。ＨＩＳ１１１は、電子カルテシステム、オーダリングシステムや医事会計システムを含む。ＨＩＳ１１１により検査のオーダ発行から会計までを連携して管理することができる。ＨＩＳ１１１のオーダリングシステムは、オーダ情報を部門ごとのオーダリングシステム１１２に送信する。そして後述するオーダリングシステム１１２において当該オーダの実施が管理される。
【００３１】
オーダリングシステム１１２は、検査情報を管理し、撮像装置でのそれぞれの検査の進捗を管理するシステムである。オーダリングシステム１１２は検査を行う部門ごとに構成されていてもよい。オーダリングシステム１１２は、たとえば放射線部門においてはＲＩＳ（Ｒａｄｉｏｌｏｇｙ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）である。オーダリングシステム１１２は、制御装置１０１からの問い合わせに応じて、撮像システム１００で行う検査の情報を制御装置１０１に送信する。オーダリングシステム１１２は、制御装置１０１から検査の進捗に関する情報を受信する。そして、オーダリングシステム１１２は、検査が完了したことを示す情報を制御装置１０１から受信すると、当該検査が完了したことを示す情報をＨＩＳ１１１に送信する。オーダリングシステム１１２はＨＩＳ１１１に統合されていてもよい。
【００３２】
ＰＡＣＳ（Ｐｉｃｔｕｒｅ  Ａｒｃｈｉｖｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）１１３は、施設内外の各種の撮像装置で得られた画像を保持するデータベースシステムである。ＰＡＣＳ１１３は、医用画像及びかかる医用画像の撮影条件や、再構成を含む画像処理のパラメータや患者情報といった付帯情報を記憶する記憶部（不図示）と、当該記憶部に記憶される情報を管理するコントローラ（不図示）とを有する。ＰＡＣＳ１１３は、制御装置１０１から出力されたオブジェクトである、超音波画像や光音響画像や重畳画像を記憶する。ＰＡＣＳ１１３と制御装置１０１との通信や、ＰＡＣＳ１１３に記憶される各種の画像はＨＬ７やＤＩＣＯＭといった規格に則していることが好ましい。制御装置１０１から出力される各種の画像は、ＤＩＣＯＭ規格に則って各種のタグに付帯情報が関連付けられ、記憶されている。
【００３３】
Ｖｉｅｗｅｒ１１４は、画像診断用の端末であり、ＰＡＣＳ１１３等に記憶された画像を読み出し、診断のために表示する。医師は、Ｖｉｅｗｅｒ１１４に画像を表示させて観察し、当該観察の結果得られた情報を画像診断レポートとして記録する。Ｖｉｅｗｅｒ１１４を用いて作成された画像診断レポートは、Ｖｉｅｗｅｒ１１４に記憶されていてもよいし、ＰＡＣＳ１１３やレポートサーバ（不図示）に出力され、記憶されてもよい。
【００３４】
Ｐｒｉｎｔｅｒ１１５は、ＰＡＣＳ１１３等に記憶された画像を印刷する。Ｐｒｉｎｔｅｒ１１５はたとえばフィルムプリンタであり、ＰＡＣＳ１１３等に記憶された画像をフィルムに印刷することにより出力する。
【００３５】
図２は、制御装置１０１の構成の一例を示す図である。制御装置１０１は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＵＳＢ２０５と、通信回路２０６と、ＧＰＵ２０７と、ＨＤＭＩ（登録商標）２０８と、プローブコネクタポート２１０とを有する。これらはＢＵＳにより通信可能に接続されている。ＢＵＳはデータバスであり、接続されたハードウェア間でのデータの送受信や、ＣＰＵ２０１から他のハードウェアへの命令を送信するために使用される。
【００３６】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は制御装置１０１及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ２０１は、表示部１０４を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１０４に対する表示制御を行う。さらにＣＰＵ２０１は、操作部１０５に対する入出力制御を行う。
【００３７】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１による制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ２０２は、制御装置１０１のブートプログラムや各種初期データを記憶する。また、制御装置１０１の処理を実現するための各種のプログラムを記憶する。
【００３８】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３は、ＣＰＵ２０１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ２０３は、スタックとワーク領域とを有する。ＲＡＭ２０３は、制御装置１０１を及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１が実行する制御プログラムを格納し、ＣＰＵ２０１が各種制御を実行する際の様々なデータを一時的に格納する。
【００３９】
ＨＤＤ２０４は、超音波画像や光音響画像などの各種のデータを保存する補助記憶装置である。
【００４０】
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）２０５は操作部１０５と接続する接続部である。
【００４１】
通信回路２０６は撮像システム１００を構成する各部や、ネットワーク１１０に接続されている各種の外部装置との通信を行うための回路である。通信回路２０６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、ネットワーク１１０を介して外部装置に出力する。制御装置１０１は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。
【００４２】
ＧＰＵ２０７は、ビデオメモリを含む汎用グラフィックスボードに含まれる。ＧＰＵ２０７は、たとえば光音響画像の再構成処理を行う。このような演算装置を使用するにより、専用ハードウェアを必要とせずに高速に再構成処理などの演算を行うことができる。
【００４３】
ＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）２０８は、表示部１０４と接続する接続部である。
【００４４】
プローブコネクタポート２１０は、プローブ１０２を制御装置１０１に接続するための接続口である。プローブ１０２から出力される超音波信号及び光音響信号は、ポート２１０を介して制御装置１０１に取得される。
【００４５】
ＣＰＵ２０１やＧＰＵ２０７はプロセッサの一例である。また、ＲＯＭ２０２やＲＡＭ２０３やＨＤＤ２０４はメモリの一例である。制御装置１０１は複数のプロセッサを有していてもよい。第１の実施形態においては、制御装置１０１のプロセッサがメモリに格納されているプログラムを実行することにより、制御装置１０１の各部の機能が実現される。
【００４６】
なお、制御装置１０１は特定の処理を専用に行うＣＰＵやＧＰＵを有していても良い。また、制御装置１０１は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を有していてもよい。制御装置１０１は補助記憶装置としてＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を有していてもよい。
【００４７】
図１は、制御装置１０１の機能構成の一例を示す図である。制御装置１０１は、検査実施情報保存部１２０と、画像処理部１２１と、撮影制御部１２２と、信号取得部１２３と、設定保存部１２４と、検査制御部１２５と、入出力制御部１２６と、外部送信情報生成部１２７と、送受信制御部１２８とを含む。
【００４８】
検査実施情報保存部１２０は、過去に実施された検査情報を記憶する。検査実施情報保存部１２０に記憶される検査情報は、ユーザの操作入力及び制御装置１０１の関連する構成からの制御に基づいて、登録され、更新され、削除され、検索される。検査実施情報保存部１２０は、データベースで構成される。
【００４９】
画像処理部１２１は、超音波画像と光音響画像と、超音波画像に対して光音響画像を重畳させた重畳画像とを生成する。画像処理部１２１は、信号取得部１２３により取得された超音波信号から、表示部１０４に表示させるための超音波画像を生成する。画像処理部１２１は、検査制御部１２５から取得した撮影手技の情報に基づいて、設定されたモードに適した超音波画像を生成する。たとえば撮影手技としてドプラモードが設定されている場合には、画像処理部１２１は、信号取得部１２３により取得された超音波信号の周波数と送信周波数との差に基づいて、被検体内部の流速を示す画像を生成する。
【００５０】
また、画像処理部１２１は信号取得部１２３により取得された光音響信号に基づいて光音響画像を生成する。画像処理部１２１は、光音響信号に基づいて光が照射された時の音響波の分布（以下、初期音圧分布と称する。）を再構成する。画像処理部１２１は、再構成された初期音圧分布を、被検体に照射された光の被検体の光フルエンス分布で除することにより、被検体内における光の吸収係数分布を取得する。また、被検体に照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることを利用して、複数の波長に対する吸収係数分布から被検体内の物質の濃度分布を取得する。たとえば画像処理部１２１は、オキシヘモグロビンとデオキシヘモグロビンの被検体内における物質の濃度分布を取得する。さらに画像処理部１２１は、オキシヘモグロビン濃度のデオキシヘモグロビン濃度に対する割合として酸素飽和度分布を取得する。画像処理部１２１により生成される光音響画像は、たとえば上述した初期音圧分布、光フルエンス分布、吸収係数分布、物質の濃度分布、酸素飽和度分布といった情報を示す画像である。
【００５１】
画像処理部１２１は、さらに複数の画像データを合成して１つの合成画像を生成する。たとえば、超音波画像に光音響画像が重畳された状態の画像を合成画像として生成する。以下では、重畳表示の背景となる画像をベース画像、ベース画像に対して重畳される画像をレイヤ画像と称する。また、重畳表示された状態の画像を、重畳画像と称する。なお、画像処理部１２１は各画像データに対して階調処理といった、表示や診断支援のための画像処理を実施する。画像処理部１２１は、超音波画像と光音響画像とを取得する取得手段の一例である。
【００５２】
撮影制御部１２２は、検査制御部１２５から受信した撮影手技の情報に基づいてプローブ１０２を制御する。撮影制御部１２２は、信号取得部１２３に撮影手技の情報を含む、検査オーダに関連する情報を送信する。撮影制御部１２２は、検査における超音波信号の取得及び光音響信号の取得に関わるフローを制御する。
【００５３】
信号取得部１２３は、プローブ１０２から超音波信号と光音響信号とを取得する。具体的には、信号取得部１２３は、検査制御部１２５及び撮影制御部１２２からの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。たとえば、撮像を行っている撮影手技において、超音波信号の取得と光音響信号の取得のタイミングが規定されている場合がある。その場合、信号取得部１２３は、検査制御部１２５から取得した当該取得のタイミングの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。
【００５４】
設定保存部１２４は、撮影手技情報３０１や写損設定など、制御装置１０１の動作に関連する設定の情報を記憶する。たとえば、設定保存部１２４は撮像システム１００で取得された画像データを外部装置で重畳表示するためのオブジェクトの生成に関する設定を受け付け、保存する。設定保存部１２４に記憶される設定の情報は、ユーザの操作入力及び制御装置１０１の関連する構成からの制御に基づいて、登録され、更新され、削除され、検索される。設定保存部１２４に記憶される設定の情報の詳細については後述する。設定保存部１２４は、データベースで構成される。設定保存部１２４は、受付手段の一例である。
【００５５】
検査制御部１２５は、撮像システム１００において行われる検査を制御する。検査制御部１２５は、オーダリングシステム１１２から検査オーダの情報を取得する。検査オーダには、検査を受ける患者の情報や、撮影手技に関する情報が含まれる。検査制御部１２５は、撮影制御部１２２に検査オーダに関する情報を送信する。また、検査制御部１２５は、ユーザに検査に関する情報を提示するために表示制御部３０５を介して表示部１０４に当該検査の情報を表示させる。表示部１０４に表示される検査の情報には、検査を受ける患者の情報や、当該検査に含まれる撮影手技の情報や、既に撮像が完了して生成された画像が含まれる。さらに検査制御部１２５は、当該検査の進捗に関する情報をオーダリングシステム１１２に送信する。たとえば、ユーザにより当該検査が開始された際には、システム１１２に開始を通知し、当該検査に含まれる全ての撮影手技による撮像が完了した際には、システム１１２に完了を通知する。
【００５６】
入出力制御部１２６は、表示部１０４を制御して、表示部１０４に情報を表示させる。入出力制御部１２６は、検査制御部１２５や画像処理部１２１からの入力や、操作部１０５を介したユーザの操作入力に応じて、表示部１０４に情報を表示させる。また、入出力制御部１２６は、操作部１０５からの情報を取得する。
【００５７】
外部送信情報生成部１２７は、検査制御部１２５からの制御やユーザの操作入力に応じて、各種の情報をＰＡＣＳ１１３やＶｉｅｗｅｒ１１４といった外部装置に送信するための情報を生成する。たとえば外部送信情報生成部１２７は、画像処理部１２１で生成された超音波画像や光音響画像、これらの重畳画像をＰＡＣＳ１１３に出力するための情報を生成する。外部装置に出力される情報には、ＤＩＣＯＭ規格に則った各種のタグとして付帯された付帯情報が含まれる。付帯情報には、たとえば患者情報や、当該画像を撮像した撮像装置を示す情報や、当該画像を一意に識別するための画像ＩＤや、当該画像を撮像した検査を一意に識別するための検査ＩＤが含まれる。また、付帯情報には、検査の中で撮像された超音波画像と光音響画像とを関連付ける情報が含まれる。超音波画像と光音響画像とを関連付ける情報とは、たとえば超音波画像を構成する複数のフレームのうち、光音響画像を取得したタイミングが最も近いフレームを示す情報である。すなわち、外部送信情報生成部１２７は、検査実施情報保存部１２０や設定保存部１２４に記憶されている情報や、画像処理部１２１で取得された超音波画像や光音響画像に基づいて、外部装置に送信するためのオブジェクトを生成する。オブジェクトとは、制御装置１０１からＰＡＣＳ１１３やＶｉｅｗｅｒ１１４といった外部装置に送信される対象となる情報である。外部送信情報生成部１２７により生成されるオブジェクトは、少なくともある画像を他の画像に重畳して表示させるための情報を含む。当該オブジェクトは、画像データと、当該画像データに対する付帯情報で構成される場合がある。外部送信情報生成部１２７は、たとえば外部送信情報１１０１を生成する。外部送信情報１１０１についての詳細は後述する。外部送信情報生成部１２７は、生成手段の一例である。また、外部送信情報生成部１２７は、選択手段の一例である。
【００５８】
送受信制御部１２８は、ネットワーク１１０を介してオーダリングシステム１１２やＰＡＣＳ１１３、Ｖｉｅｗｅｒ１１４といった外部装置と制御装置１０１との間での、情報の送受信を制御する。送受信制御部１２８は、オーダリングシステム１１２から検査オーダの情報を受信する。送受信制御部１２８は、外部送信情報生成部１２７で生成されたオブジェクトをＰＡＣＳ１１３やＶｉｅｗｅｒ１１４に送信する。
【００５９】
なお、図１５、図１、図２では、プローブ１０２と接続され、超音波画像及び光音響画像の撮像を制御する制御装置１０１を例示したが、本発明の実施形態に係る制御装置は必ずしもこの形態に限定されない。本発明の実施形態に係る制御装置は、当該撮像を制御する装置から超音波画像と光音響画像とを取得する構成であってもよい。
【００６０】
図３は、オーダリングシステム１１２から受信した検査オーダに基づいて検査制御部１２５により生成される撮影手技情報３０１の構成を示す図である。撮影手技情報３０１は、超音波信号及び光音響信号を取得し、外部装置に出力するためのオブジェクトを外部送信情報生成部１２７で生成するのに用いられる。以下、詳述する。
【００６１】
撮影手技情報３０１は、たとえば撮影画像情報３０２、合成画像識別情報３０３、重畳画像識別情報３０４、関連画像情報３０５を含む。撮影手技情報３０１は、さらに撮影手技情報３０１を一意に特定する撮影手技ＩＤ、撮影種別、撮影部位、撮影方向を示す情報、再構成パラメータや撮像条件のデフォルト設定値、ストレージ転送設定、プリント出力設定などを含んでいてもよい。すなわち、撮影手技情報３０１には撮影を実施し、画像データに後処理を施し、外部装置に送信するための情報であって、撮影手技毎に設定可能な情報を含む。
【００６２】
撮影画像情報３０２は、撮像システム１００において撮像された画像データと当該画像データに付帯する付帯情報とで構成される。本実施形態において、撮影画像情報３０２と画像データとは１対１で対応する。たとえば、検査において同じ撮影手技で撮像された画像データが複数存在する場合には、撮影手技３０１に複数の撮影画像情報３０２が含まれる。
【００６３】
合成画像識別情報３０３は、撮影手技情報３０１に含まれる撮影画像情報３０２のうち、少なくとも２つ以上の画像データを重ね合わせた状態で合成して１つの画像データとした合成画像の画像データと、付帯情報とを含む。同じ撮影手技で撮像された画像データを用いて作成された合成画像の数に応じて、合成画像識別情報３０３が撮影手技情報３０１に登録される。合成画像識別情報３０３の付帯情報は、たとえば合成画像識別情報３０３を一意に特定する画像ＩＤ、当該合成画像を生成するのに用いられた画像を特定するためのそれぞれの画像ＩＤ、重畳方法といった情報を含む。
【００６４】
重畳画像識別情報３０４は、撮影手技情報３０１に含まれる撮影画像情報３０２のうち、重畳画像として表示可能なオブジェクトを特定するための情報である。同じ撮影手技で撮像された画像データを用いて作成された、重畳画像として表示可能なオブジェクトの数に応じて、重畳画像識別情報３０４が撮影手技情報３０１に登録される。重畳画像識別情報３０４は、たとえば重畳表示に使用する撮影画像のまとまりを管理するための情報であり、重畳画像として表示可能なオブジェクトを特定するためのオブジェクトＩＤを含む。重畳画像識別情報３０４は、さらに当該オブジェクトに含まれる少なくとも２つ以上の画像データを識別するためのそれぞれの画像ＩＤの情報を含んでいてもよい。
【００６５】
関連画像情報３０５は、撮影手技情報３０１で撮影された複数の画像データを関連付けたグループとして扱うための情報である。関連画像情報３０５は、たとえば当該グループを特定するためのグループＩＤや、予め定められた関連付けのためのルールに則ってグループ化された少なくとも２つ以上の画像ＩＤの組み合わせの情報を含む。関連付けのためのルールの一例としては、所定の範囲の時間内に、被検体に対する光や超音波の照射時刻や、信号検出時刻が含まれる画像情報群を関連付けることが挙げられる。これにより、たとえば１回の光照射によって発生した光音響波に基づいて生成される光音響画像と、当該光照射の時刻に基づいて特定される超音波画像とをグループ化することができる。
【００６６】
撮影画像情報３０２は、たとえば写損情報３０６、送信可否情報３０７、画像種別情報３０８、重畳画像情報３０９、重畳表示履歴情報３１０、後処理履歴情報３１１、合成画像情報３１２を含む。撮影画像情報３０２はさらに、撮影画像情報３０２を一意に特定する画像ＩＤ、画像データ、画像処理パラメータ、幾何変換パラメータ、配置情報、関心領域の情報、実施撮影条件、実施撮影情報を含む。画像処理パラメータには、たとえば光音響画像の再構成にかかる再構成パラメータが含まれる。実施撮影条件とは、撮影を実施した時の実際の撮影条件である。実施撮影情報には、たとえば画像を取得した時刻の情報や、関連付けられている画像情報の画像ＩＤが含まれる。配置情報とは、たとえばフリーアノテーション、撮影方向を示すマーカー、計測処理、切り出し、マスクなどを含む画像データ上に重畳表示する付帯情報の情報である。
【００６７】
写損情報３０６は、撮影画像情報３０２と対応する画像データが診断に用いるのに適さない、いわゆる写損画像であるか否かを示す情報である。写損情報３０６は、撮影画像情報３０２と対応する画像データが写損画像である場合には、当該写損の理由を示す情報を含む。
【００６８】
送信可否情報３０７は、撮影画像情報３０２と対応する画像データを外部装置へ送信するか否かを示す情報である。
【００６９】
画像種別情報３０８は、撮影画像情報３０２と対応する画像データの種別を特定するための情報である。画像種別情報３０８は、たとえば当該画像データの撮影方法、画像種別、位置合わせに関する情報を含む。画像種別の情報は、たとえば、超音波信号に基づいて生成される画像の種別を示す情報や、光音響信号に基づいて生成される画像の種別を示す情報である。超音波信号に基づいて生成される画像には、たとえばＢモード画像やエラストグラフィ画像が挙げられる。光音響信号に基づいて生成される画像には、たとえば吸収係数画像や酸素飽和度画像が挙げられる。画像種別の情報は、撮影画像情報３０２が形態画像であるか機能画像であるかを示す情報をさらに含んでいてもよい。画像データの画像種別と、形態画像であるか機能画像であるかを示す情報は、ユーザの操作入力により設定されてもよいし、予め定められた情報に基づいて設定されてもよい。位置合わせに関する情報とは、合成画像や重畳表示のための位置合わせにおいて変形された画像であるか否かを示す情報である。
【００７０】
重畳画像情報３０９は、撮影画像情報３０２と対応する画像データが含まれる重畳画像に関する情報である。
【００７１】
重畳表示履歴情報３１０は、撮影画像情報３０２と対応する画像データを取得した際に他の画像データと重畳表示していたか否かを示す情報である。重畳表示していた場合は、当該重畳表示における他の画像データに対する重畳順序に関わらず、重畳表示していた画像データの画像ＩＤや重畳順序を示す情報が重畳表示履歴情報３１０に記録される。
【００７２】
後処理履歴情報３１１は、撮影画像情報３０２と対応する画像データに対して後処理を実施した際に、他の画像データと重畳表示していたか否かを示す情報である。重畳表示していた場合は、当該重畳表示における他の画像データに対する重畳順序に関わらず、重畳表示していた画像データの画像ＩＤや重畳順序が記録される。
【００７３】
合成画像情報３１２は、撮影画像情報３０２と対応する画像データが含まれる合成画像を示す情報である。
【００７４】
なお、撮影手技情報３０１において、たとえば超音波信号に基づいてＡモードといった波形データが生成された場合には、画像種別情報３０８に波形データであることを示す情報が含まれる。
【００７５】
図３に示す撮影手技情報３０１は一例であり、後述するようにユーザにとって好適な表示態様で表示可能なオブジェクトを生成し外部装置に出力可能であれば、いかなるデータ構造でも構わないし、上述した全ての情報を含んでいなくてもよい。
【００７６】
図４は、検査で撮像された画像データのうち、重畳画像として表示可能なオブジェクトを外部装置に出力するために、当該重畳画像に含めるべき画像データを選択するための処理の一例を示すフローチャートである。下記の処理において、特に断りがない場合、各ステップの処理を実現する主体は、ＣＰＵ２０１またはＧＰＵ２０７である。
【００７７】
ステップＳ４０１において、検査制御部１２５は、画像データの出力形態を選択する指示を受け付ける。当該選択の指示は、ユーザの操作入力や、制御装置１０１内部の制御により行われる。制御装置１０１内部の制御により当該選択の指示が行われる例としては、撮影制御部１２２を介して信号取得部１２３から、超音波及び光の照射が終了したことを示す通知が、検査制御部１２５に通知されたことをもって当該選択の指示とする場合があげられる。
【００７８】
ステップＳ４０２において、検査制御部１２５は、検査において取得された全ての画像データに対応する撮影画像情報を取得する。たとえば、１回の検査において、超音波を被検体に断続的に照射することによりリアルタイムで超音波画像を生成しつつ、任意のタイミングで被検体に光を照射して光音響信号を取得し光音響画像を生成する場合がある。この場合、行われた全ての光照射のそれぞれにより発生する光音響波に基づいて生成される複数の光音響画像と、当該光照射に関する情報に基づいて特定される超音波画像に対応する撮影画像情報がそれぞれ取得される。リアルタイムで生成された一連の超音波画像から構成される動画と対応する撮影画像情報を取得してもよい。
【００７９】
ステップＳ４０３において、検査制御部１２５は、関連付けられた一連の撮影画像情報を取得する。関連付けられた一連の撮影画像情報は、撮影手技情報３０１に含まれる関連画像情報３０５により特定される。これにより、たとえば１回の光照射により発生する光音響波に基づいて生成される光音響画像と、当該光照射に関する情報に基づいて特定される超音波画像とを含む、関連付けられた一連の撮影画像情報が取得される。
【００８０】
ステップＳ４０４において、外部送信情報生成部１２７は、ステップＳ４０３で取得された一連の撮影画像情報の中から、基準とする画像情報を一つ取得する。当該基準とする画像情報は、必ずしも重畳画像のベース画像でなくてもよい。また、当該基準とする画像情報は、外部装置に出力するためのオブジェクトに含まれなくてもよい。検査制御部１２５は、撮影手技情報３０１を外部送信情報生成部１２７に送信する。外部送信情報生成部１２７は、設定保存部１２４より当該選択に関する設定の情報を取得する。たとえば、検査において取得された一連の画像データのなかで、最も多い画像種別と対応する画像情報を当該基準とする。ユーザが特定の画像種別を基準とするように予め設定しておいてもよい。また別の例では、検査において取得された一連の画像データのなかで、形態情報の観察に最も適した画像種別を基準とするように設定してもいてもよい。以下では、超音波信号と光音響信号とを取得する撮像システム１００において、超音波信号から生成される超音波画像を基準として説明する。
【００８１】
ステップＳ４０５において、外部送信情報生成部１２７は、基準とする画像情報と対応する画像データとともに重畳表示する画像データを選択する。ステップＳ４０５で選択される画像データは、必ずしもステップＳ４０４で選択された画像データをベース画像として重畳表示するためのレイヤ画像でなくてもよい。ステップＳ４０４で基準とされた画像情報に基づいてステップＳ４０５で重畳表示のための画像データが選択される。ステップＳ４０５ではステップＳ４０３で取得された、関連付けられた一連の撮影画像情報のうち、ステップＳ４０４で選択されなかった画像情報以外の画像情報を選択してもよいし、さらに絞り込んで選択してもよい。当該絞り込みにおいて、たとえば画像データの画質や類似度に基づいて画像データが選択される。たとえば被検体の体動などにより画質が低下している画像データや、近接する時刻に撮影された画像データであって、類似度の大きい複数の画像データの一部の画像データを除外することにより、ステップＳ４０５で選択される画像データが絞り込まれる。ステップＳ４０４とステップＳ４０５とで選択された画像情報の組合せに基づいて、後述する処理により重畳表示のためのオブジェクトが生成される。
【００８２】
ステップＳ４０６において、外部送信情報生成部１２７は、ステップＳ４０５までの処理で選択された撮影画像情報の組み合わせが、重畳画像情報３０９に含まれていないか判定する。含まれる場合には、その組合せを重畳画像識別情報３０４に重複して登録せず、ステップＳ４０８に進む。含まれない場合にはステップＳ４０７に進む。
【００８３】
ステップＳ４０７において、外部送信情報生成部１２７は、ステップＳ４０５までの処理で選択された撮影画像情報の組合せを、撮影手技情報３０１の重畳画像識別情報３０４に追加する。
【００８４】
ステップＳ４０８において、外部送信情報生成部１２７は、関連付けられた一連の画像情報の全てに対して、重畳表示の対象とするか否かについての判定を完了したか否か、判定する。完了している場合にはステップＳ４０９に進む。完了していない場合にはステップＳ４０４に進み、当該判定のための処理を継続する。
【００８５】
ステップＳ４０９において、外部送信情報生成部１２７は、重畳画像生成処理を実行する。重畳画像生成処理の詳細については、図５に基づいて後述する。
【００８６】
ステップＳ４１０において、外部送信情報生成部１２７は、検査に含まれる全ての撮影画像情報に対して、重畳表示の対象とするか否かについての判定を完了したか否か、判定する。完了している場合には、外部送信情報生成部１２７は、撮影手技情報３０１に含まれる情報を更新し、検査制御部１２５に対して当該判定の処理が完了したことを通知し、図４に示す処理を終了する。完了していない場合には、ステップＳ４０３に進み、当該判定のための処理を継続する。
【００８７】
図５は、図４に示すステップＳ４０９において行われる重畳画像生成処理の一例を示すフローチャートである。
【００８８】
ステップＳ５０１において、外部送信情報生成部１２７は、設定保存部１２４から重畳画像の生成に関する情報を取得する。重畳画像の生成に関する情報は、たとえば図１３に例示するような各種の設定により得られる。
【００８９】
ステップＳ５０２において、外部送信情報生成部１２７は、撮影手技情報３０１に登録されている重畳画像識別情報３０４から重畳画像または合成画像を生成する対象とする画像データの組合せを一つ取得する。
【００９０】
ステップＳ５０３において、外部送信情報生成部１２７は、ステップＳ５０２において取得された組合せの中から、重畳画像のベース画像を選択する。
【００９１】
ステップＳ５０４において、外部送信情報生成部１２７は、ステップＳ５０３において選択したベース画像に他の画像データを重畳して重畳画像を生成する方法を決定する。外部送信情報生成部１２７は、ステップＳ５０２において取得された組合せの中から、ステップＳ５０３でベース画像として選択された画像データ以外の画像データを、当該ベース画像に対して重畳する方法と順序を決定する。そして、外部送信情報生成部１２７は、重畳画像情報３０９を生成する。
【００９２】
ステップＳ５０３とステップＳ５０４との処理において、それぞれベース画像とレイヤ画像とを選択し、重畳する方法は、たとえば図１３に示す設定１３０６の情報に基づいて決定される。図１３に示す例では、ベース画像とレイヤ画像とを選択する方法として、設定１３０４に示すように「デフォルト選別方法」「カスタマイズ選別方法」「重畳表示履歴に基づいて選別する」「後処理履歴に基づいて選別する」のいずれかが設定可能である。
【００９３】
「デフォルト選別方法」が設定されている場合は、外部送信情報生成部１２７は、制御装置１０１にデフォルト値として記憶されている方法に基づいて、重畳画像のベース画像とレイヤ画像とを選択する。「カスタマイズ選別方法」が選択されている場合は、外部送信情報生成部１２７は、設定保存部１２４から対応するカスタマイズ設定の情報を取得する。そして、外部送信情報生成部１２７は、カスタマイズ設定の情報に基づいて、重畳画像のベース画像とレイヤ画像とを選択する。
【００９４】
「デフォルト選別方法」や「カスタマイズ選別方法」において設定可能な方法は、たとえば画像種別情報３０８に基づいてベース画像とレイヤ画像とを選択する例が挙げられる。たとえば、撮影手技情報３０１に画像データと波形データとが混在している場合には、画像データ間のみで重畳画像を生成するように設定できる。また、特定の画像種別の画像データをベース画像とするように設定できる。たとえば、超音波画像の一例であるＢモード画像のように、形態情報に詳しい形態画像をベース画像とするように設定できる。画像種別情報３０８に、形態画像であるか機能画像であるかを示す情報が含まれている場合には、それに基づいてベース画像やレイヤ画像を選択してもよい。形態画像をベース画像とし、機能画像をレイヤ画像とすることにより、効率的に重畳画像の読影を行うことができる。また、別の例のでは、画像種別情報３０８の位置合わせに関する情報に基づいて重畳画像を生成する画像データの組合せを選択するように設定できる。たとえば、位置合わせされた画像データの組が存在する場合には、位置合わせされた画像データ間で重畳画像を生成するように設定できる。外部送信情報生成部１２７は、複数の撮影画像情報の中に位置合わせされた画像データの組が存在しない場合には、画像処理部１２１を制御して位置合わせ処理を行わせてもよい。
【００９５】
「重畳表示履歴に基づいて選別する」が選択されている場合は、外部送信情報生成部１２７は、重畳表示履歴情報３１０に基づいて、重畳画像のベース画像とレイヤ画像とを選択する。たとえば、ユーザの操作入力や、上述したような事前の設定により選択された基準となる画像データの取得時の重畳表示の態様に基づいて、当該基準となる画像データとともに重畳表示する画像データを選択する。重畳画像に含まれる画像データの画像種別や重畳方法、重畳順序は、当該基準となる画像データの取得時の重畳表示の態様に準拠するものとする。重畳表示履歴情報３１０に情報が登録されていない場合は、入出力制御部１２６により表示部１０４に、対象となる画像が存在しないことをユーザに報知する画面を表示させてもよい。そして、ステップＳ４０３で取得された、関連付けられた一連の撮影画像情報の中からベース画像とレイヤ画像とをユーザに選択させるための画面を表示させてもよい。
【００９６】
「後処理履歴に基づいて選別する」が選択されている場合は、外部送信情報生成部１２７は、後処理履歴情報３１１に基づいて、重畳画像のベース画像とレイヤ画像とを選択する。たとえば、ユーザの操作入力や、上述したような事前の設定により選択された基準となる画像データに対して、後処理を行った時点での重畳表示の態様に基づいて、当該基準となる画像データとともに重畳表示する画像データを選択する。重畳画像に含まれる画像データの画像種別や重畳方法、重畳順序は、当該ベース画像に後処理を施した際の重畳表示の態様に準拠するものとする。具体的には、外部送信情報生成部１２７は、当該基準となる画像データをプレビュー表示している際に、画像処理や当該画像データの表示状態を変更するための処理を行った時点で、ともに重畳表示されている画像データを選択する。たとえば超音波画像の一例であるＢモード画像を表示している際に、ユーザが詳細な観察を行うべき箇所として腫瘍の可能性がある領域を見つけた場合、当該領域にアノテーションを配置する場合がある。あるいは当該領域をより鮮明に視認するために画像処理を施す場合がある。このような後処理を実施する際に、光音響画像等を当該Ｂモード画像に対して重畳表示していたのであれば、その光音響画像は読影に対する補助情報として有用であると判断される。一方、重畳表示を行っていないのであれば、何も重畳しない方がより有効な読影が出来ると判断される。これにより、ユーザが読影に好適であると判断した態様を、外部装置に出力するためのオブジェクトに反映することができる。外部送信情報生成部１２７は、重畳画像識別情報３０４に含まれるそれぞれの撮影画像情報３０２の画像種別情報３０８を参照する。外部送信情報生成部１２７は、当該組合せに含まれる画像データのうち、形態情報に詳しい画像種別の画像データを優先してベース画像として選択する。形態情報に詳しい画像種別とは、前述したように、たとえば超音波画像の一例であるＢモード画像である。たとえばＢモード画像と、ＣＴ画像やＭＲＩ画像といった形態情報に詳しい画像が重畳画像識別情報３０４に複数含まれている場合は、外部送信情報生成部１２７は、検査実施情報保存部１２０より過去に実施された同一被検体の検査の情報を取得する。また、重畳画像識別情報３０４に光音響波に基づいて得られる一部の画像種別やＳＰＥＣＴ画像といった、形態情報に乏しい画像データしか含まれない場合が考えられる。その場合、外部送信情報生成部１２７は、検査実施情報保存部１２０より過去に実施された同一被検体の検査の情報を取得する。外部送信情報生成部１２７は、同一の撮影手技により行われた検査の情報を検査実施情報保存部１２０から検索する。同一の撮影手技により実施された検査の情報が見つかる場合には、外部送信情報生成部１２７は、過去に実施された検査と同様にして、ベース画像を選択する。同一の撮影手技により実施された検査の情報が見つからない場合には、たとえば取得された順が最も古い画像データをベース画像とする。
【００９７】
また、重畳方法は図１３の例では設定１３０６に示すように、「デフォルト選別方法」「カスタマイズ選別方法」「重畳表示履歴に基づいて選別する」「後処理履歴に基づいて選別する」のいずれかが設定可能である。
【００９８】
ステップＳ５０５において、外部送信情報生成部１２７は、重畳方法が「ベース画像とレイヤ画像を合成する」に設定されている場合に、当該合成の処理を画像処理部１２１に行わせる。外部送信情報生成部１２７は、ベース画像とレイヤ画像とに対応する撮影画像情報３０２を、重畳方法及び重畳順序を示す情報とともに画像処理部１２１に送信する。重畳方法が「ベース画像とレイヤ画像を合成する」に設定されていない場合には、ステップＳ５０８に進む。
【００９９】
ステップＳ５０６において画像処理部１２１は、ステップＳ５０５において受信した情報に基づいて、ベース画像とレイヤ画像とを重畳して合成した合成画像の画像データを生成する。外部送信情報生成部１２７は、合成画像識別情報３０３に生成した合成画像を識別するための画像ＩＤと、画像データとを登録する。
【０１００】
ステップＳ５０７において、外部送信情報生成部１２７は、ステップＳ５０６で生成された合成画像に用いられた画像データに対応する全ての撮影画像情報３０２の情報を更新する。外部送信情報生成部１２７は、合成画像識別情報３０３にステップＳ５０６で生成された合成画像を識別するための画像ＩＤを登録する。
【０１０１】
ステップＳ５０８において、外部送信情報生成部１２７は、重畳方法が「レイヤ画像を合成する」に設定されている場合に、当該合成の処理を画像処理部１２１に行わせる。外部送信情報生成部１２７は、ベース画像とレイヤ画像に対応する撮影画像情報３０２を、重畳方法及び重畳順序を示す情報とともに画像処理部１２１に送信する。重畳方法が「レイヤ画像を合成する」に設定されていない場合には、ステップＳ５１０に進む。
【０１０２】
ステップＳ５０９において、画像処理部１２１は、ステップＳ５０８において受信した情報に基づいて、複数のレイヤ画像を合成した合成画像を生成する。
【０１０３】
ステップＳ５１０において、外部送信情報生成部１２７は、ベース画像と対応する撮影画像情報３０２の重畳画像情報３０９の情報を更新する。外部送信情報生成部１２７は、ステップＳ５０９で当該ベース画像に重畳するための合成画像に用いられた画像データを識別するための画像ＩＤを、重畳画像情報３０９に登録する。一方、重畳方法として「個別に重畳する」が選択されている場合や、レイヤ画像が１つの場合には合成画像を生成しない。この場合、ベース画像と対応する撮影画像情報３０２の重畳画像情報３０９に、重畳する画像データと対応する画像ＩＤを登録する。
【０１０４】
ステップＳ５１１において、外部送信情報生成部１２７は、重畳画像または合成画像を生成する対象とする画像データの全てについて、ステップＳ５１０までの処理を完了したか否かを判定する。重畳画像または合成画像を生成する対象とする画像データは、撮影手技情報３０１に登録されている重畳画像識別情報３０４から特定される。全ての画像データについて当該処理を完了していない場合には、ステップＳ５０２に進む。完了した場合には、図５に示す処理を終了する。
【０１０５】
図５に示す一連の処理について、図４に示すステップＳ４０９の詳細な処理の一例として説明したが、本発明はこれに限らない。たとえば図１３に示す設定に基づいて、図４のステップＳ４０４において重畳表示のベース画像を選択し、ステップＳ４０５において当該ベース画像に重畳するレイヤ画像を選択してもよい。そして、ステップＳ５０３においてはステップＳ４０４で選択された画像データを特定し、ステップＳ５０４においてはステップＳ４０５で選択された画像データを特定することにより、図５に示す一連の処理を実現してもよい。
【０１０６】
図６は、制御装置１０１から重畳画像を表示するためのオブジェクトを外部装置に送信するための処理の一例を示すフローチャートである。
【０１０７】
ステップＳ６０１において、検査制御部１２５は外部装置に画像データを含む情報を外部装置に出力する指示を受け付ける。当該出力の指示は、ユーザによる操作入力によって行われてもよいし、特定の処理が行われたことをトリガーとして行われてもよい。検査制御部１２５は、外部送信情報生成部１２７を制御して、外部装置に送信するための画像データを含むオブジェクトを生成させる。外部装置に送信するための画像データのオブジェクトは、画像データと、たとえばＤＩＣＯＭ規格に則って付帯された各種の情報を含む。外部装置に送信されるオブジェクトは、必ずしも画像データを含んでいなくてもよい。検査制御部１２５は、当該オブジェクトの生成に必要な情報である、患者情報、検査情報、撮影手技情報３０１といった情報を、外部送信情報生成部１２７へ送信する。
【０１０８】
ステップＳ６０２において、外部送信情報生成部１２７は、ステップＳ６０１で外部装置への出力が指示された画像データに対応する撮影画像情報３０２を取得する。
【０１０９】
ステップＳ６０３において、外部送信情報生成部１２７は、ステップＳ６０２で取得された撮影画像情報３０２から一つの画像情報を取得する。
【０１１０】
ステップＳ６０４において、外部送信情報生成部１２７は、撮影画像情報３０２に含まれる写損情報３０６を取得する。写損情報３０６がＯＮに設定されている場合はステップＳ６０５に進み、ＯＦＦに設定されている場合はステップＳ６０７に進む。
【０１１１】
ステップＳ６０５において、外部送信情報生成部１２７は、写損情報３０６がＯＮである写損画像と、当該写損画像を含む重畳画像及び合成画像とを、外部装置に出力しないように制御する。具体的には、外部送信情報生成部１２７は、当該写損画像と関連付けられている画像情報群を全て参照する。そして外部送信情報生成部１２７は、当該写損画像の画像ＩＤが重畳画像情報３０９に登録されている場合は、重畳画像情報３０９、合成画像情報３１２、合成画像識別情報３０３、重畳画像識別情報３０４から当該写損画像の画像ＩＤを削除する。
【０１１２】
ステップＳ６０６において、外部送信情報生成部１２７は、制御装置１０１に写損画像を記憶するための記憶装置（不図示）が接続されているか否かを判定する。写損画像を記憶するための記憶装置（不図示）は、たとえば画像サーバである。一般的に、写損画像は読影に不適切であるため、ＰＡＣＳ１１３には送信されない。しかしながら、写損画像をユーザ間の情報交換や教育の目的で利用する場合があり、写損画像を管理するために、当該記憶装置を備える場合がある。写損画像を記憶するための記憶装置（不図示）と制御装置１０１とが接続されている場合にはステップＳ６０９に進み、接続されていない場合にはステップＳ６１２に進む。
【０１１３】
ステップＳ６０７において、外部送信情報生成部１２７は、撮影画像情報３０２に含まれる外部送信可否情報３０７を取得する。外部送信可否情報３０７がＯＮに設定されている場合にはステップＳ６０９に進み、ＯＦＦに設定されている場合にはステップＳ６０８に進む。
【０１１４】
ステップＳ６０９において、外部送信情報生成部１２７は、ステップＳ６０１で外部装置への出力が指示された画像データに対応する撮影画像情報に基づいて、画像オブジェクト１１０２を生成する。
【０１１５】
ステップＳ６０８において、外部送信情報生成部１２７は、ステップＳ６０１で外部装置への出力が指示された画像データと対応する撮影画像情報３０２が、重畳表示のベース画像、レイヤ画像、合成画像のいずれかに使用されているか否かを判定する。いずれかに使用されている場合にはステップＳ６１０に進み、いずれにも使用されていない場合にはステップＳ６１１に進む。
【０１１６】
ステップＳ６１０において、外部送信情報生成部１２７は、外部送信情報１１０１に重畳画像情報３０９の情報を登録する。ステップＳ６１０における撮影画像情報３０２は、外部送信可否情報３０７がＯＦＦに設定されているので、個別の画像データを外部装置に出力せず、重畳画像や合成画像として出力すればよい。
【０１１７】
ステップＳ６１１において、入出力制御部１２６は、表示部１０４に警告を表示させる。ステップＳ６１１における撮影画像情報３０２は、外部送信可否情報３０７がＯＦＦであり、かつ重畳画像のベース画像、レイヤ画像、合成画像のいずれにも使用されていないので、当該撮影画像情報３０２と対応する画像データは、外部装置に出力されない。したがって入出力制御部１２６は、たとえば図１０に例示するように、撮影画面７０１上に警告ダイアログ１００１をポップアップ表示させる。警告ダイアログ１００１上には、外部装置に送信されない画像データが存在する旨をユーザに報知するためのメッセージや、外部装置に送信されない画像データの画像ＩＤが表示される。さらに、警告ダイアログ１００１上には、外部装置への送信処理の続行を指示するための続行指示部１００２と、当該送信処理の中止を指示するための中止指示部１００３とが表示される。続行指示部１００２が押下されると、警告ダイアログ１００１が閉じられ、外部装置に送信されない設定となっている画像の設定は変更されずに、他の画像データに関する送信処理が続行される。中止指示部１００３が押下されると、警告ダイアログ１００１が閉じられ、送信処理が中止される。図１３に示す設定１３０９がＯＦＦに設定されている場合には、入出力制御部１２６は警告を表示部１０４に表示しない。
【０１１８】
ステップＳ６１２において、外部送信情報生成部１２７は、ステップＳ６０１で外部装置への出力が指示された画像データと対応する撮影画像情報の全てに対して、ステップＳ６１１までの処理が完了したか否かを判定する。完了していない場合にはステップＳ６０３に進んで処理を繰り返し、完了している場合にはステップＳ６１３に進む。
【０１１９】
ステップＳ６１３において、外部送信情報生成部１２７は、重畳画像あるいは合成画像に使用されている画像データを個別に送信するか否かに関する設定である重複送信設定に関する情報を、設定保存部１２４から取得する。重複表示設定は、たとえば図１３に示す設定１３１０において設定される。重複表示設定がＯＮの場合はステップＳ６１５に進み、ＯＦＦの場合はステップＳ６１４に進む。
【０１２０】
ステップＳ６１４において、外部送信情報生成部１２７は、外部送信情報１１０１に登録されている撮影画像情報のうち、重畳画像あるいは合成画像に使用した画像データと対応するものを削除する。
【０１２１】
ステップＳ６１５において、外部送信情報生成部１２７は、ステップＳ６０１で出力が指示された外部装置に関する情報を取得する。外部装置に関する情報とは、たとえばＰＡＣＳ１１３やＶｉｅｗｅｒ１１４のＤＩＣＯＭ適合の機能に関する情報や、重畳表示に関わる機能の情報を指す。たとえば、ＤＩＣＯＭのＧＳＰＳ（ｇｒａｙｓｃａｌｅ  ｓｏｆｔｃｏｐｙ  ｐｒｅｓｅｎｔａｔｉｏｎ  ｓｔａｔｅ）やＣＳＰＳ（ｃｏｌｏｒ  ｓｏｆｔｃｏｐｙ  ｐｒｅｓｅｎｔａｔｉｏｎ  ｓｔａｔｅ）といったＩＯＤオブジェクトを受信し表示する機能や、個別に受信した画像データを重畳表示する機能に関する情報である。外部送信情報生成部１２７は、外部装置に関する情報を、任意のタイミングでネットワーク１１０を介してＰＡＣＳ１１３やＶｉｅｗｅｒ１１４から取得する。あるいは、制御装置１０１とＰＡＣＳ１１３やＶｉｅｗｅｒ１１４とを接続した際に、これらの外部装置に関する情報を設定保存部１２４に記憶しておき、外部送信情報生成部１２７は設定保存部１２４から取得してもよい。
【０１２２】
ステップＳ６１６において、外部送信情報生成部１２７は、ステップＳ６１５までに取得された情報に基づいて、外部装置に送信するための外部送信情報１１０１を生成する。外部送信情報生成部１２７は、撮影手技情報３０１の重畳画像識別情報３０４、合成画像識別情報３０３、それぞれの撮影画像情報３０２の重畳画像情報３０９に基づいて、外部送信情報１１０１を生成する。外部送信情報生成部１２７は、重畳画像を表示するためのオブジェクトである画像オブジェクト１１０２の生成方法を、予め定められた送信方法に関する設定に基づいて決定する。当該送信方法に関する設定は、たとえば図１３に示す設定１３０８により設定される。
【０１２３】
個別に送信する撮影画像情報３０２と、重畳画像のベース画像に選択された撮影画像情報３０２は、設定１３０８において送信方法として設定されている内容に関わらず、外部送信情報１１０１の画像オブジェクト１１０２の単独画像情報１１０３として生成される。また、合成画像識別情報３０３は、設定１３０８において送信方法として設定されている内容に関わらず、画像オブジェクト１１０２の合成画像情報１１０４として生成される。そして、重畳画像情報３０９は、設定１３０８において送信方法として設定されている内容に基づいて生成される。
【０１２４】
「ベース画像の付帯情報として送信する」が選択されている場合は、重畳画像情報３０９は対応するベース画像の単独画像情報１１０３に含まれる重畳画像情報１１０８に格納される。「ベース画像への参照オブジェクトとして送信する」が選択されている場合は、重畳画像情報３０９は重畳画像データごとに、重畳参照画像情報１１０５として画像オブジェクト１１０２に格納される。そして、付帯情報１１１１に対応するベース画像の画像ＩＤが入力される。「個別の画像オブジェクトとして送信する」が選択されている場合は、重畳画像情報３０９は画像データごとに単独画像情報１１０３として画像オブジェクト１１０２に格納される。
【０１２５】
また、外部送信情報１１０１の画像オブジェクト１１０２はＤＩＣＯＭで定義されている形式に則って作成されてもよい。ＤＩＣＯＭ形式に則って作成される場合、個別に送信する撮影画像情報３０２、ベース画像に選択された撮影画像情報３０２、及び合成画像識別情報３０３は、送信方法設定に関わらず、図１２に示すＤＩＣＯＭ画像ファイル１２０１として生成される。そして、重畳画像情報３０９は送信方法設定に基づいて生成される。
【０１２６】
「ベース画像の付帯情報として送信する」が選択されている場合は、重畳画像情報３０９は対応するベース画像（重畳表示のベース画像）のＤＩＣＯＭ画像ファイル１２０１に含まれるオーバーレイ画像データ１２０６に格納される。「ベース画像への参照オブジェクトとして送信する」が選択されている場合は、重畳画像情報３０９は画像データごとにＧＳＰＳオブジェクト１２０７として生成される。そして、参照ＳＯＰＩｎｓｔａｎｃｅＵＩＤ（ｓｅｒｖｉｃｅ  ｏｂｊｅｃｔ  ｐａｉｒ  ｉｎｓｔａｎｃｅ  ｕｎｉｑｕｅ  ｉｄｅｎｔｉｆｉｅｒ）１２０８に、対応するベース画像のＳＯＰＩｎｓｔａｎｃｅＵＩＤ１２０４が入力される。「個別の画像オブジェクトとして送信する」が選択されている場合は、重畳画像情報３０９は画像データごとに、ＤＩＣＯＭ画像ファイル１２０１として生成される。なお、以下ではＤＩＣＯＭのＧＳＰＳオブジェクトを例に用いるが、ＣＳＰＳオブジェクトなど、他のオブジェクトであってもよい。
【０１２７】
ＤＩＣＯＭで定義されているＤＩＣＯＭ画像ファイル１２０１のヘッダ情報１２０２やＧＳＰＳオブジェクト１２０７に含まれるオーバーレイ画像データ１２０６は、撮影手技情報３０１に含まれている画像データ群と画素値のビット幅が異なる場合が考えられる。その場合は、撮影手技情報３０１に含まれている重畳画像情報３０９の画素値をオーバーレイ画像データ１２０６に格納可能な値に変換してから入力する。
【０１２８】
さらに、外部送信情報生成部１２７は、ステップＳ６１５で取得した外部装置に関する情報に応じて生成方法を制御してもよい。例えば、ＰＡＣＳ１１３やＶｉｅｗｅｒ１１４が、個別に送信された画像データを重畳表示する機能を有している場合は、「個別の画像オブジェクトとして送信する」設定と同様の生成方法とする。これにより、たとえばＶｉｅｗｅｒ１１４を使用して当該画像オブジェクトを表示したユーザは、重畳画像として表示させることもできるし、個別の画像を表示させることもできる。また、ＧＳＰＳオブジェクトを受信し、表示する機能を外部装置が有している場合は、「ベース画像への参照オブジェクトとして送信する」設定と同様の生成方法とする。外部装置が上述したいずれの機能も有していない場合は、「ベース画像の付帯情報として送信する」設定と同様の生成方法とする。
【０１２９】
ステップＳ６１７において、送受信制御部１２８は、ステップＳ６１６において生成されたオブジェクトを外部装置に送信する。外部送信情報生成部１２７は、生成した外部送信情報１１０１を検査制御部１２５に送信する。検査制御部１２５は、送受信制御部１２８を介して、外部装置に外部送信情報１１０１を送信する。
【０１３０】
図７は、制御装置１０１により表示部１０４に表示される撮影画面７０１の一例を示す図である。撮影画面７０１は、関連画像リスト７０２、関連画像アイテム７０３、重畳指示部７０４、写損指示部７０５、送信指示部７０６、画像表示部７０７、重畳画像切替部７０８、重畳画像追加部７０９、重畳画像確定部７１０、重畳画像削除部７１１、合成画像切替部７１２、合成画像表示指示部７１３、合成画像追加部７１４、合成画像確定部７１５、合成画像削除部７１６、アノテーション入力部７１７、アノテーション配置部７１８、アノテーション削除部７１９、透過表示指示部７２０、混合表示指示部７２１、重畳表示指示部７２２、一覧確認部７２３、サムネイル画像表示部７２４、サムネイル画像７２５、ページ切替指示部７２６により構成される。
【０１３１】
関連画像リスト７０２は、サムネイル画像表示部７２４上で選択された状態となっているサムネイル画像７２５ａに関連付けられた全ての画像リストである。関連画像リスト７０２の全ての情報を一覧で表示部１０４に表示できない場合は、スクロールにより関連画像リスト７０２の表示切り替えがなされる。関連画像リスト７０２の各行には、関連画像アイテム７０３が表示される。なお、図７の例においては撮像種別に応じて関連画像リスト７０２が区別して表示されているが、検査において関連付けられて撮像された画像と対応する関連画像アイテム７０３を一つのリストに含めて表示してもよい。
【０１３２】
関連画像アイテム７０３は、画像データと１対１で対応するリストアイテムである。関連画像アイテム７０３内には、画像データの名称を表す文字列、重畳指示部７０４、写損指示部７０５、送信指示部７０６が表示される。関連画像アイテム７０３には、画像データの名称を表す文字列に代えて対応する画像データのサムネイル画像が表示されてもよいし、当該文字列と当該サムネイル画像とが併せて表示されてもよい。ユーザは関連画像アイテム７０３に対する操作入力を行い、関連画像アイテム７０３を選択することができる。選択された関連画像アイテム７０３と対応する画像データが画像表示部７０７に表示される。図７の例においては、超音波画像のＢモード画像と対応する関連画像アイテム７０３が選択されており、画像表示部７０７にはＢモード画像７２７が表示される。
【０１３３】
重畳指示部７０４は、画像表示部７０７にプレビュー表示されている画像に対して、関連画像アイテム７０３と対応する画像を重畳するための指示を行うボタンである。重畳指示部７０４がＯＮに設定されると、プレビュー表示されている画像上に、対応する画像がレイヤ画像として重畳表示される。重畳指示部７０４がＯＦＦに設定されると、プレビュー表示されている画像上に重畳表示されていた画像が非表示になる。図７の例においては、プレビュー表示中のＢモード画像７２７上に酸素飽和度画像７２８及びオキシヘモグロビン量画像７２９を重畳表示している。なお、重畳表示が意味をなさない組合せとなる関連画像アイテム７０３においては、重畳指示部７０４はＯＦＦとなる。たとえば、超音波信号から生成されるＡモードの波形データやＭモードの時間軸のデータは、Ｂモード画像に対する重畳表示がＯＦＦに設定される。
【０１３４】
写損指示部７０５は、関連画像アイテム７０３と対応する画像データに対して写損処理を行うためのボタンである。写損処理が実行されると、当該画像データと対応する写損情報３０６がＯＮに切り替えられる。また、関連画像アイテム７０３上に写損画像であることを示す写損マークが表示される。写損が解除されると、写損情報３０６がＯＦＦに切り替えられる。また、関連画像アイテム７０３上の写損マークが非表示となる。
【０１３５】
送信指示部７０６は、関連画像アイテム７０３と対応する画像データを外部装置に送信するか否かを個別に指示するためのボタンである。送信指示部７０６がＯＮに設定されると、当該画像データと対応する送信可否情報３０７がＯＮに切り替えられる。送信指示部７０６は、ＯＮとＯＦＦとの設定に応じて、異なる態様で表示される。図７の例にでは、ＯＮの場合に送信指示部７０６ａの態様で表示され、ＯＦＦの場合に送信指示部７０６ｂの態様で表示される。
【０１３６】
このように、制御装置１０１においては関連画像アイテム７０３ごとに、すなわち画像データごとに写損処理や外部装置への送信を設定できる。また、写損指示部７０５と送信指示部７０６とを区別して設定可能とすることで、外部装置に送信されない理由が写損であるか否かを制御装置１０１は区別することができる。なお、図７の例においては、写損指示部７０５及び送信指示部７０６は関連画像リスト７０２の全ての関連画像アイテム７０３に対して表示され、設定可能である。この例に限らず、たとえば画像表示部７０７に表示されている画像データに対応する関連画像アイテム７０３においてのみ、写損指示部７０５や送信指示部７０６が表示され、設定可能となるようにしてもよい。
【０１３７】
画像表示部７０７は、撮像システム１００で取得された医用画像を表示するための領域である。画像表示部７０７に表示される画像は、静止画、動画、波形データなどいずれの画像種別であってもよい。動画撮影中は、画像表示部７０７に画像がリアルタイムでプレビュー表示される。関連画像リスト７０２上で選択された関連画像アイテム７０３と対応する画像データが、画像表示部７０７上にプレビュー表示される。
【０１３８】
重畳画像切替部７０８は、画像表示部７０７にプレビュー表示されている画像データと対応する重畳画像情報３０９に登録されている重畳表示の切り替えを行うための領域である。重畳画像切替部７０８では、「表示なし」と、当該重畳画像情報３０９に登録されている重畳表示の中から選択するための選択肢が表示される。重畳画像切替部７０８において選択された画像データが、画像表示部７０７にプレビュー表示されている画像データに対する例や画像として表示される。「表示なし」が選択された場合は、いかなる画像データも重畳されない。
【０１３９】
重畳画像追加部７０９は、画像表示部７０７に重畳表示されている状態を、画像表示部７０７にプレビュー表示するように選択されている関連画像アイテム７０３と対応する画像データの重畳画像情報３０９に追加するためのボタンである。重畳画像追加部７０９が押下される時点での、画像表示部７０７における重畳表示の態様を反映した重畳画像情報３０９が生成される。重畳表示の態様とは、レイヤ画像として重畳されている画像データと、それらの重畳順序についての態様である。画像表示部７０７にプレビュー表示するように選択されている関連画像アイテム７０３と対応する画像データの重畳画像情報３０９に、生成された重畳画像情報３０９と同一の重畳表示の態様を反映したものが登録されていなければ、これが新規で追加される。重畳画像情報３０９の情報が更新されると、重畳画像切替部７０８の選択肢も更新される。
【０１４０】
重畳画像確定部７１０は、重畳表示の態様を確定し、重畳画像情報３０９の内容を更新することを指示するためのボタンである。重畳画像切替部７０８で選択されている重畳表示の態様を、重畳画像確定部７１０が押下された時点における重畳表示の態様を反映した内容に変更する。図７に示す例では、「重畳画像１」として登録されている重畳表示の態様が、確定部７１０が押下された時点での態様に更新される。これに伴って、重畳画像情報３０９が確定される。重畳画像切替部７０８で「表示なし」が選択されている場合には、重畳画像確定部７１０は無効化される。
【０１４１】
重畳画像削除部７１１は、登録されている重畳画像情報３０９の内容を削除することを指示するためのボタンである。重畳画像削除部７１１が押下されると、選択されている重畳表示の態様と対応する情報が重畳画像情報３０９から削除され、重畳画像切替部７０８における選択肢から削除される。そして、画像表示部７０７における重畳表示が中止される。重畳画像切替部７０８で「表示なし」が選択されている場合には、重畳画像削除部７１１は無効化される。
【０１４２】
合成画像切替部７１２は、撮影手技情報３０１に登録されている合成画像識別情報３０３と対応する合成画像データの表示の切り替えを行うための領域である。合成画像切替部７１２では、「表示なし」と、当該撮影手技情報３０１に登録されている合成画像の中から選択するための選択肢が表示される。
【０１４３】
合成画像表示指示部７１３は、合成画像切替部７１２で選択されている合成画像を画像表示部７０７に表示することを指示するためのボタンである。合成画像表示指示部７１３が押下された時点で合成画像切替部７１２において選択されている合成画像が画像表示部７０７に表示される。合成画像切替部７１２において「表示なし」が選択されている場合は、画像表示部７０７に合成画像は表示されない。合成画像表示指示部７１３が押下された時点で画像表示部７０７に表示されている画像データは非表示となる。
【０１４４】
合成画像追加部７１４は、画像表示部７０７に重畳表示されている複数の画像データを合成した合成画像を生成し、撮影手技情報３０１の合成画像識別情報３０３に追加することを指示するためのボタンである。撮影手技情報３０１に、画像表示部７０７に重畳表示されているのと同一の態様の合成画像識別情報３０３が登録されていなければ、これが新規で追加される。合成画像識別情報３０３の情報が更新されると、合成画像切替部７１２の選択肢も更新される。
【０１４５】
合成画像確定部７１５は、合成画像における重畳表示の態様を確定し、合成画像識別情報３０３の内容を更新することを指示するためのボタンである。合成画像切替部７１２で選択されている合成画像における重畳表示の態様を、合成画像確定部７１５が押下された時点における重畳表示の態様を反映した内容に変更する。図７に示す例では、「合成画像２」として登録されている重畳表示の態様が、確定部７１５が押下された時点での態様に更新される。これに伴って、合成画像識別情報３０３が更新される。合成画像切替部７１２で「表示なし」が選択されている場合には、合成画像確定部７１５は無効化される。
【０１４６】
合成画像削除部７１６は、登録されている合成画像識別情報３０３の内容を削除することを指示するためのボタンである。削除部７１６が押下されると、選択されている合成画像と対応する情報が合成画像識別情報３０３から削除され、合成画像切替部７１２における選択肢から削除される。そして、画像表示部７０７における合成画像の表示が中止される。合成画像切替部７１２で「表示なし」が選択されている場合には、合成画像削除部７１６は無効化される。
【０１４７】
アノテーション入力部７１７は、画像表示部７０７上に配置するアノテーションの文字列を入力するための領域である。アノテーション配置部７１８は、アノテーション入力部７１７に入力した文字列を、画像表示部７０７に表示されている画像データ上への配置を指示するためのボタンである。アノテーション配置部７１８が押下された時点でアノテーション入力部７１７に入力されている文字列がアノテーションデータとなり、画像表示部７０７上に配置される。アノテーション削除部７１９は、画像表示部７０７上に配置されたアノテーションの削除を指示するためのボタンである。画像表示部７０７上に配置されたいずれかのアノテーションが選択された状態で、アノテーション削除部７１９が押下されると、当該選択されたアノテーションが削除される。
【０１４８】
透過表示指示部７２０は、画像表示部７０７で重畳表示されているレイヤ画像の透過率を変更するための領域である。混合表示指示部７２１は、画像表示部７０７での重畳表示を混合表示に切り替えることを指示するためのボタンである。ここで混合表示とは、複数の画像データを重畳表示する際に、重なりあう画素の画素値を混合して表示する表示方法である。混合表示は、たとえば図８に示す「重複部分を別の色で表示」の例と対応する。重畳表示指示部７２２は、画像表示部７０７での重畳表示を、レイヤ画像の重畳順序を指定し、当該指定された順序に応じた重畳表示に切り替えることを指示するためのボタンである。なお、透過表示指示部７２０、混合表示指示部７２１、重畳表示指示部７２２は三者択一とし、指定の切り替えに連動して画像表示部７０７上の重畳表示方法が切り替わる。
【０１４９】
一覧確認部７２３は、押下された時点における外部送信情報１１０１の一覧を表示部１０４に表示することを指示するためのボタンである。一覧確認部７２３が押下されると、撮影画面７０１上に一覧画面９０１がポップアップ表示される。
【０１５０】
サムネイル画像表示部７２４は、検査において関連付けられた複数の画像データの中で、基準として選択された画像データと対応するサムネイル画像が表示される領域である。サムネイル画像表示部７２４は、写損指示部７０５、送信指示部７０６、サムネイル画像７２５、ページ切り替え指示部７２６が含まれる。図７に示す例では、超音波画像の一例である、一連のＢモード画像を、取得された時系列でサムネイル画像が表示されている。たとえば、超音波信号と光音響信号とを取得可能な装置において、超音波画像を撮像しつつ、任意のタイミングにおいて光音響信号を取得して光音響画像を取得する場合が想定される。そして、取得された超音波画像と光音響画像とを、たとえば重畳表示することで比較して観察することが想定される。上述したように、制御装置１０１は、たとえば超音波画像を基準画像として選択する。これにより、基準として選択された超音波画像がサムネイル画像表示部７２４に表示され、選択された超音波画像に関連付けられた画像群が関連画像リスト７０２に表示される。なお、基準として選択される画像種別は超音波画像に限らず、上述したように任意に設定および選択できる。
【０１５１】
サムネイル画像表示部７２４には、例えば１回の撮影手技において取得され画像データのまとまりごとに、それぞれの画像データと対応するサムネイル画像７２５が表示される。動画像が取得された場合は、当該動画像に含まれる複数フレームのうち、代表フレーム画像と対応するサムネイル画像７２５が表示される。撮影画面７０１において、検査が終了するまで、画像データが取得されるたびにサムネイル画像表示部７２４上に順次取得された画像データと対応するサムネイル画像７２５が追加される。
【０１５２】
サムネイル画像表示部７２４上に表示されるサムネイル画像７２５に対する操作入力に応じて、画像表示部７０７にプレビュー表示させる画像データが選択される。選択されたサムネイル画像７２５はプレビュー選択状態（７２５ａ）となり、選択されていないサムネイル画像７２５は非プレビュー状態（７２５ｂ）となる。また、画像表示部７０７にプレビュー表示させるサムネイル画像７２５が切り替えられたことに伴い、サムネイル画像表示部７２４に含まれる写損指示部７０５、送信指示部７０６の表示、及び関連画像リスト７０２内に表示されている関連画像アイテム７０３が更新される。サムネイル画像表示部７２４に含まれる写損指示部７０５、送信指示部７０６は、プレビュー選択状態のサムネイル画像７２５ａに関わる写損設定及び送信可否設定を示す。全てのサムネイル画像７２５をサムネイル画像表示部７２４に表示できない場合は、ページ切り替え指示部７２６が有効化される。サムネイル画像７２５群の左右に表示されるページ切り替え指示部７２６が押下されることに応じて、サムネイル画像表示部７２４に表示されるサムネイル画像７２５の一覧が切り替わる。
【０１５３】
図８は、制御装置１０１により設定され、適用される重畳表示の一例を示す図である。複数の画像データを用いて重畳表示のためのデータあるいは合成画像のデータは、重畳方法の設定によって切り替えられる。当該重畳方法は、たとえば「透過表示」「重複部分を別の色で表示」「順序通りに重畳表示」「マスク表示」「差分表示」から選択される。なお、当該重畳方法は、複数の画像データを用いた画像処理を規定するものであればよく、上述の選択肢に限定されない。以下では、図８（ａ）と図８（ｂ）に示す２つの画像データを用いる場合を例に説明する。
【０１５４】
図８（ｃ）は、重畳方法が「透過表示」に設定されている場合の表示の一例である。ユーザはレイヤ画像の透過率を設定することができる。２つの画像データの少なくとも一方が当該設定された透過率で表示される。
【０１５５】
図８（ｄ）は、重畳方法が「重複部分を別の色で表示」に設定されている場合の表示の一例である。２つの画像データの少なくとも一方が、単独で表示される場合とは異なる色で表示される。これによりユーザは、２つの画像データを重畳した際に、重なっている領域を視認しやすくなる。たとえば、２つの画像データで同一の座標の画素値に基づいて画素値が決定され、それぞれの表示色を混ぜ合わせた色で重畳画像が表示される。一方の画像データのみ画素値が設定されており、他方の画像データでは画素値が存在しない座標、あるいは画素値が０である座標は、前者の画像データの画素値の値のまま、すなわち前者の画像データの従来の色で表示されてもよい。
【０１５６】
図８（ｅ）および図８（ｆ）は、重畳方法が「順序通りに重畳表示」に設定されている場合の表示の例である。ユーザは、レイヤ画像の重畳順序を設定することができる。図８（ｅ）は、図８（ａ）の画像データをレイヤ画像として設定した場合であり、図８（ｆ）は図８（ｂ）の画像データをレイヤ画像として設定した場合にそれぞれ表示される例である。
【０１５７】
図８（ｇ）は、重畳方法が「マスク表示」に設定されている場合の表示の一例である。マスク表示では、ベース画像と、重畳される複数のレイヤ画像とで、画素値が重複して存在している座標のみが表示される。レイヤ画像に画素値が存在する座標はベース画像の画素値のみが表示され、レイヤ画像に画素値が存在しない座標はマスクされる。
【０１５８】
図８（ｈ）は、重畳方法が「差分表示」に設定されている場合の表示の一例である。差分表示では、ベース画像と、重畳されるレイヤ画像とで、一方の画素値のみが存在する座標が表示される。ベース画像と、レイヤ画像の双方に画素値が存在する座標はマスクされる。一方の画素値のみが存在する座標は、「順序通りに重複表示」の重畳方法と同様に表示される。
【０１５９】
このように、複数の重畳表示方法を切り替えて表示可能であることによって、様々な読影ユースケースに対応した重畳表示を容易に行うことができる。
【０１６０】
図９は、外部装置に送信される重畳表示のためのオブジェクトを含む外部送信情報を一覧で表示するための画面の一例を示す図である。一覧画面９０１は、実施中の検査における撮影手技ごとに、外部送信情報１１０１を一覧で確認するための画面である。一覧画面９０１は、一覧表示切替部９０２、撮影手技名称９０３、一覧表示部９０４、終了指示部９０５を含む。
【０１６１】
一覧表示切替部９０２は、一覧表示部９０４上に一覧表示する内容を切り替えるための領域である。図９に示す例では、一覧表示する内容を「重畳画像」と「合成画像」とで切り替えられる。また、表示すべき外部送信情報の全てを一覧表示部９０４に表示できない場合は、一覧表示部９０４に表示させる情報の群を切り替えるためのボタンが表示される。
【０１６２】
撮影手技名称９０３は、一覧表示部９０４に表示されている画像データに関する撮影手技の名称が表示される領域である。
【０１６３】
一覧表示部９０４は、外部送信情報１１０１を一覧表示するための領域である。一覧表示部９０４には、図７に示す一覧確認部７２３に操作入力が行われ、一覧画面９０１が表示された時点における外部送信情報１１０１が表示される。一覧表示する内容として「重畳画像」が選択されている場合、一覧表示部９０４上にはベース画像と、当該ベース画像上に重畳されるレイヤ画像とが表示される。ここで、一覧表示部９０４のベース画像の列には、個別に送信する画像データも表示される。レイヤ画像１つにつき、一覧表示部９０４の１つのセルに表示される。１つのセルには、ベース画像に対してレイヤ画像が予め設定された重畳方法に則って重畳された状態が表示される。一方、一覧表示する内容として「合成画像」が選択されている場合、一覧表示部９０４上にはベース画像とレイヤ画像とが、予め設定された合成方法に則って合成された合成画像が表示される。なお、図９に示す例においては、サムネイル画像が表示されているが、画像種別や重畳方法が理解できる形態であればいかなる形態で表現されても構わない。
【０１６４】
終了指示部９０５は、外部送信情報１１０１の一覧表示を終了するためのボタンである。終了指示部９０５が押下されると、一覧画面９０１が閉じられる。
【０１６５】
図１１は、外部装置に送信されるオブジェクトを含む外部送信情報１１０１の詳細な構造の一例を示す図である。外部送信情報１１０１は、撮像システム１００で実施した検査において取得された画像データや、撮像された画像データから生成される重畳表示のための画像データや、合成画像を含む画像オブジェクト１１０２をまとめて外部の装置へ送信するための情報である。ただし制御装置１０１は、全ての画像オブジェクト１１０２を一度に送信しなくてもよく、複数回に分けて送信してもよい。
【０１６６】
画像オブジェクト１１０２には、少なくとも一つの画像情報が含まれる。画像オブジェクト１１０２に含まれる画像情報は、たとえば単独画像情報１１０３、合成画像情報１１０４、重畳参照画像情報１１０５である。いずれの画像情報も、画像オブジェクト１１０２内に複数含まれていてもよいし、該当する画像データが送信されない場合は、対応する画像情報が含まれていなくてよい。
【０１６７】
単独画像情報１１０３は、撮像システム１００において撮像された画像データと関連する情報とを含む。単独画像情報１１０３は、たとえば付帯情報１１０６と画像データ１１０７とを含む。付帯情報１１０６には、患者情報、検査情報、画像ＩＤといった情報が含まれる。付帯情報１１０６には、画像データを１１０７及び重畳画像情報１１０８に含まれる画像データを特定するためのいかなるデータを含んでいてもよい。付帯情報１１０６は、たとえば画像データ１１０７のヘッダ情報として記録される。付帯情報１１０６は、ＰＡＣＳ１１３やＶｉｅｗｅｒ１１４が読み取ることが出来る形式であれば、いかなる態様であってもよい。また、単独画像情報１１０３は、重畳画像情報１１０８を複数含んでいてもよい。重畳画像情報１１０８が複数含まれる場合には、単独画像情報１１０３はたとえば付帯情報１１０６に、重畳画像情報１１０８に含まれるそれぞれの画像データの重畳順序を特定可能な情報が含まれる。重畳画像情報１１０８は、画像データ１１０７に重畳して表示するためのレイヤ画像の画像データを含む。単独画像情報１１０３により、ベース画像となる画像データ１１０７に対して重畳するレイヤ画像の画像データを含む重畳画像情報１１０８が対応づけられる。単独画像情報１１０３は、外部装置において重畳表示が可能なオブジェクトの一例である。
【０１６８】
合成画像情報１１０４は、複数の画像データを合成することにより得られる合成画像の画像データと関連する情報とを含む。合成画像情報１１０４は、たとえば付帯情報１１０９と画像データ１１１０とを含む。付帯情報１１０９には、患者情報、検査情報、画像ＩＤといった情報が含まれる。付帯情報１１０９には、画像データ１１１０を特定するためのいかなるデータを含んでいてもよい。付帯情報１１０６は、たとえば画像データ１１１０のヘッダ情報として記録される。付帯情報１１０９は、ＰＡＣＳ１１３やＶｉｅｗｅｒ１１４が読み取ることが出来る形式であれば、いかなる態様であってもよい。付帯情報１１０９には更に、合成画像を生成するのに用いられた画像データと対応する単独画像情報１１０３の画像ＩＤや、合成方法を示す情報が含まれる。画像データ１１１０は、当該合成画像の画像データである。
【０１６９】
重畳参照画像情報１１０５は、ベース画像を参照するための情報と、レイヤ画像の画像データとを含む。重畳参照画像情報１１０５は、たとえば付帯情報１１１１と画像データ１１１２とを含む。付帯情報１１１１は、患者情報、検査情報、画像ＩＤといった情報が含まれる。付帯情報１１１１には、画像データ１１１２を特定するためのいかなるデータを含んでいてもよい。付帯情報１１１１は、たとえば画像データ１１１２のヘッダ情報として記録される。付帯情報１１１１は、ＰＡＣＳ１１３やＶｉｅｗｅｒ１１４が読み取ることが出来る形式であれば、いかなる態様であってもよい。また付帯情報１１１１には、重畳表示のための重畳方法や、ベース画像と対応する単独画像情報１１０３の画像ＩＤの情報を含む。画像データ１１１２は、レイヤ画像の画像データである。複数の重畳参照画像情報１１０５が、同一の単独画像情報１１０３をベース画像として参照してもよい。この場合、重畳参照画像情報１１０５の付帯情報１１１１又はベース画像の単独画像情報１１０３の付帯情報１１０６の少なくともいずれかに、複数のレイヤ画像の重畳順序を特定可能な情報が含まれる。重畳参照画像情報１１０５により、ベース画像として参照される画像データに対して重畳するレイヤ画像が対応づけられる。重畳参照画像情報１１０５は、外部装置において重畳表示が可能なオブジェクトの一例である。
【０１７０】
図１２は、外部装置に送信されるオブジェクトをＤＩＣＯＭ規格に則って生成した場合の構造の一例を示す図である。ＤＩＣＯＭ規格に則って生成されるオブジェクトには、検査インスタンスＩＤ、シリーズＵＩＤ、患者ＩＤ、検査ＵＩＤ、検査に関する時刻の情報の少なくともいずれかの情報が含まれる。検査に関する時刻の情報は、検査日、検査時刻、超音波画像の取得時刻、光音響画像の取得時刻の少なくともいずれかの情報を含む。超音波画像の取得時刻は、たとえば１つのＢモード画像を生成するための全ての超音波信号の取得が完了した時刻である。また、光音響画像の取得時刻は、たとえば当該光音響画像を生成するのに用いられた光音響信号が取得された時刻である。本実施形態において当該オブジェクトは、図１３に例示する重畳画像設定画面１３０１の設定１３０８によって設定される２種類の方法で、送信されるものとする。
【０１７１】
図１２（ａ）は、設定１３０８が「ベース画像の付帯情報として送信する」あるいは「個別の画像オブジェクトとして送信する」が選択されている場合の構成の一例を示す図である。外部装置に送信されるオブジェクトであるＤＩＣＯＭ画像ファイル１２０１は、ヘッダ情報１２０２と画像データ１２０３とを含む。ヘッダ情報１２０２には、少なくともＤＩＣＯＭ画像ファイル１２０１を一意に特定するＳＯＰＩｎｓｔａｎｃｅＵＩＤ１２０４、患者情報や検査情報などの文字列データ１２０５、オーバーレイ画像データ１２０６が含まれる。オーバーレイ画像データ１２０６は、画像データ１２０３に重畳されるレイヤ画像の画像データである。設定１３０８が「ベース画像の付帯情報として送信する」に設定されている場合は、１つのＤＩＣＯＭ画像ファイル１２０１に対して、オーバーレイ画像データ１２０６が複数登録されていてもよい。設定１３０８が「個別の画像オブジェクトとして送信する」に設定されている場合は、オーバーレイ画像データ１２０６は生成されない。図１２（ａ）に例示したＤＩＣＯＭ画像ファイル１２０１は、たとえば図１１に示す単独画像情報１１０３と対応する。なお、合成画像は１つのＤＩＣＯＭ画像ファイル１２０１として生成する。合成画像を含むＤＩＣＯＭ画像ファイル１２０１は、たとえば図１１に示す合成画像情報１１０４と対応する。
【０１７２】
図１２（ｂ）は、設定１３０８が「ベース画像への参照オブジェクトとして送信する」に設定されている場合の構成の一例を示す図である。ＤＩＣＯＭ画像ファイル１２０１は、ヘッダ情報１２０２と画像データ１２０３とを含む。ヘッダ情報１２０２は、ＳＯＰＩｎｓｔａｎｃｅＵＩＤ１２０４、患者情報や検査情報等の文字列データ１２０５を含む。ヘッダ情報１２０２はオーバーレイ画像データ１２０６を含まない。画像データ１２０３に重畳されるレイヤ画像と対応する、オーバーレイ画像データは、たとえば個別にＧＳＰＳオブジェクト１２０７として生成される。ＧＳＰＳオブジェクト１２０７は、オーバーレイ画像データ１２０６を重畳するベース画像と対応するＤＩＣＯＭ画像ファイル１２０１を特定するための参照ＳＯＰＩｎｓｔａｎｃｅＵＩＤ１２０８を含む。また、ＧＳＰＳオブジェクト１２０７は、患者情報や検査情報などの文字列データ１２０５、オーバーレイ画像データ１２０６を含む。レイヤ画像データとＧＳＰＳオブジェクト１２０７は１対１で生成される。１つのＤＩＣＯＭ画像ファイル１２０１を、複数のＧＳＰＳオブジェクト１２０７が参照ＳＯＰＩｎｓｔａｎｃｅＵＩＤ１２０８に設定することも可能である。図１２（ｂ）に例示したＧＳＰＳオブジェクト１２０７は、たとえば図１１に示す重畳参照画像情報１１０５と対応する。これらの構成により、外部装置で重畳表示するためのオブジェクトを制御装置１０１は送信することができる。
【０１７３】
図１３は、重畳表示に関する設定を行うための画面の一例を示す図である。図１３に重畳画像設定画面１３０１により、撮影手技ごとに、重畳表示に関する設定が行われる。重畳画像設定画面１３０１は、撮影手技名称１３０２と、設定１３０３〜１３１０と、キャンセル部１３１２、確定部１３１３とを含む。
【０１７４】
撮影手技名称１３０２は、重畳画像設定画面１３０１において設定可能な単位としての撮影手技の名称を表示するための領域である。設定１３０３において、撮像システム１００で取得される全ての画像データに設定を適用するか、すなわち一括設定とするか否かが選択される。一括設定ではない場合には、撮影手技ごとに定められた設定に基づいて重畳表示が行われる。
【０１７５】
なお、図１３では撮影手技ごとに重畳表示に関する設定を行う例を示したが、これに限らず、他のいかなる単位で設定されてもよい。たとえば、重畳表示に関する設定を、撮像システム１００で取得される全ての画像データに適用できるよう一括設定としてもよい。たとえば一括設定の場合には、撮影手技名称１３０２、設定１３０３が非表示となり、表示領域が詰められた重畳画像設定画面１３０１が表示される。
【０１７６】
設定１３０４において、重畳画像として表示可能なオブジェクトを外部装置に出力するために、当該重畳画像に含めるべき画像データを選択するための方法が選択される。設定１３０４は、たとえば「デフォルト選別方法」「カスタマイズ選別方法」「重畳表示履歴に基づいて選別する」「後処理履歴に基づいて選別する」から選択される。
【０１７７】
設定１３０５において、重畳表示に関するカスタマイズ設定が行われる。図１３において、設定１３０５はカスタマイズ設定画面１４０１の表示を指示するためのボタンである。カスタマイズ設定に関しては、図１４を用いて後述する。
【０１７８】
設定１３０６において、ベース画像として選択された画像データ以外の画像データを、当該ベース画像に対して重畳する方法が選択される。設定１３０６は、たとえば「個別に重畳する」「重畳用の画像を合成する」「ベース画像とレイヤ画像を合成する」から選択される。
【０１７９】
設定１３０７において、重畳表示の表示方法が選択される。設定１３０７は、たとえば「透過表示」「重複部分を別の色で表示」「順序通りに重畳表示」「マスク表示」「差分表示」から選択される。それぞれの表示方法で行われる重畳表示の例は、図８に示される。なお、設定１３０７は、合成画像の生成時にも利用される。
【０１８０】
設定１３０８において、重畳表示のためのオブジェクトを送信する方法が選択される。設定１３０８は、たとえば「ベース画像の付帯情報として送信する」「ベース画像への参照オブジェクトとして送信する」「個別の画像オブジェクトとして送信する」から選択される。
【０１８１】
設定１３０９において、外部送信の指示時に、重畳表示のベース画像、レイヤ画像、合成画像にも使用されておらず、個別にも送信されない画像データが存在する場合に警告ダイアログ１００１を表示するか否かが選択される。設定１３０９がＯＮの場合は、外部装置に送信されない画像データが存在する場合に警告ダイアログ１００１が表示される。設定１３０９がＯＦＦの場合は、外部装置に送信されない画像データが存在しても警告ダイアログ１００１が表示されない。
【０１８２】
設定１３１０において、重畳画像あるいは合成画像に使用されている画像データを個別に送信するか否かが選択される。設定１３１０がＯＮの場合は、外部送信可否情報３０７がＯＮに設定されている画像データを含む個別の画像オブジェクトが、当該画像データが重畳表示のベース画像、レイヤ画像、合成画像に利用されているか否かに関わらず外部装置に送信される。設定１３１０がＯＦＦの場合は、外部送信可否情報３０７に関わらず、当該画像データが重畳表示のベース画像、レイヤ画像、合成画像に利用されている画像データを含む個別の画像オブジェクトは外部装置に送信されない。これにより、外部装置に送信されるデータ容量を低減することができる。
【０１８３】
キャンセル部１３１２は、重畳画像設定画面１３０１で設定された内容の破棄を指示するためのボタンである。キャンセル部１３１２が押下されると、重畳画像設定画面１３０１が閉じられる。
【０１８４】
確定部１３１３は、重畳画像設定画面１３０１で設定された内容の確定を指示するためのボタンである。確定部１３１３が押下されると、設定された内容が設定保存部１２４に保存され、重畳画像設定画面１３０１が閉じられる。
【０１８５】
図１４（ａ）はカスタマイズ設定画面１４０１の一例を示す図である。カスタマイズ設定画面１４０１は、重畳表示に関するカスタマイズ設定を行うための画面である。カスタマイズ設定画面１４０１は、一覧表示切替部１４０２、追加部１４０３、編集部１４０４、撮影手技名称１４０５、一覧表示部１４０６、キャンセル部１４０７、確定部１４０８を含む。
【０１８６】
一覧表示切替部１４０２は、一覧表示部１４０６上に一覧表示する内容を切り替える指示をするための領域である。図１４（ａ）に示す例では、一覧表示する内容は「重畳画像」と「合成画像」から選択される。また、一覧表示切替部１４０２には、表示内容が一覧表示部１４０６に収まらない場合は、一覧表示部１４０６に表示させる内容を切り替えるためのボタンが表示される。
【０１８７】
追加部１４０３は、カスタマイズ設定を新規に追加する指示を行うためのボタンである。追加部１４０３が押下されると、カスタマイズ設定画面１４０１上に図１４（ｂ）に例示する個別設定ダイアログ１４０９がポップアップ表示される。個別設定ダイアログ１４０９に入力することにより、ユーザはカスタマイズ設定を追加することができる。
【０１８８】
編集部１４０４は、一覧表示部１４０６上で選択されたカスタマイズ設定を編集する指示を行うためのボタンである。編集部１４０４が押下されると、カスタマイズ設定画面１４０１上に個別設定ダイアログ１４０９がポップアップ表示される。個別設定ダイアログ１４０９に入力することにより、ユーザは選択したカスタマイズ設定を編集することができる。
【０１８９】
撮影手技名称１４０５は、カスタマイズ設定画面１４０１において設定可能な単位としての撮影手技の名称を表示するための領域である。
【０１９０】
一覧表示部１４０６は、重畳表示に関するカスタマイズ設定の内容を一覧で表示するための領域である。カスタマイズ設定画面１４０１に表示する内容として「重畳画像」が選択されている場合、一覧表示部１４０６上にはベース画像と、当該ベース画像に重畳されるレイヤ画像とを示す情報が表示される。一覧表示部１４０６では、１つの画像データに関する情報が１つのセル内に表示される。個々のセルには、画像データの画像種別及びベース画像に対する重畳方法が表示される。１つのレイヤ画像が、複数の画像データを合成して得られた合成画像である場合は、当該合成画像に用いられた全ての画像データの画像種別がセル内に表示される。カスタマイズ設定画面１４０１に表示する内容として「合成画像」が選択されている場合、一覧表示部１４０６上には合成時にベース画像とする画像データと、当該ベース画像上に重畳して合成されるレイヤ画像とが表示される。そして、レイヤ画像の画像データの画像種別及びベース画像との合成方法が表示される。なお、図１４（ａ）では一覧表示部１４０６上の各セルにおいて、画像種別や重畳方法を示す情報を文字列で表示する例を示したが、これらの情報がユーザに理解できる態様であれば、たとえばサムネイル画像など他の態様で表示されてもよい。
【０１９１】
キャンセル部１４０７は、カスタマイズ設定の編集内容の破棄を指示するためのボタンである。キャンセル部１４０７が押下されると、編集されたカスタマイズ設定の内容は廃棄され、カスタマイズ設定画面１４０１が閉じられる。
【０１９２】
確定部１４０８は、カスタマイズ設定の編集内容の確定を指示するためのボタンである。確定部１４０８が押下されると、編集されたカスタマイズ設定の内容が確定し、当該設定の情報が設定保存部１２４に保存される。そして、カスタマイズ設定画面１４０１が閉じられる。
【０１９３】
図１４（ｂ）は、重畳表示に関するカスタマイズ設定を個別に行うための個別設定ダイアログ１４０９の一例である。カスタマイズ設定画面１４０１は、撮影手技名称１４１０、設定１４１１〜１４１３、キャンセル部１４１４、確定部１４１５を含む。
【０１９４】
撮影手技名称１４１０は、カスタマイズ設定画面１４０１において設定可能な単位としての撮影手技の名称を表示するための領域である。
【０１９５】
設定１４１１において、ベース画像に用いる画像データの画像種別が選択される。設定１４１２は、ベース画像上に重畳して表示される画像データ、又は合成される画像データすなわちレイヤ画像の画像種別が選択される。設定１４１２では、ベース画像の画像種別以外の画像種別のそれぞれをレイヤ画像として選択し、重畳順序を設定することができる。重畳方法選択部１４１３は、図１３に例示した設定１３０７と同様であるので、上述した説明を援用することにより詳しい説明を省略する。
【０１９６】
キャンセル部１４１４は、個別設定の編集内容の破棄を指示するためのボタンである。キャンセル部１４１４が押下されると、編集された個別設定の内容は廃棄され、個別設定ダイアログ１４０９が閉じられる。確定部１４１５は、個別設定の編集内容の確定を指示するためのボタンである。確定部１４１５が押下されると、編集された個別設定の内容が確定され、個別設定ダイアログ１４０９が閉じられる。カスタマイズ設定画面１４０１の一覧表示部１４０６の表示内容は、個別設定ダイアログ１４０９を介して編集され、確定された内容が更新される。
【０１９７】
以上のようにして、撮像システム１００で取得された複数の画像データが、たとえばＰＡＣＳ１１３やＶｉｅｗｅｒ１１４で重畳表示するのに適切なオブジェクトとして出力される。撮像システム１００で超音波信号と光音響信号とを取得し、得られた信号から生成される画像データを外部装置に出力する例を説明する。
【０１９８】
オーダリングシステム１１２から取得した情報またはユーザが設定した情報に基づいて、撮影制御部１２２及び検査制御部１２５による制御のもと、信号取得部１２３は超音波信号と光音響信号とを取得する。たとえば、ユーザは被検体にプローブ１０２を接触させ、被検体に超音波を照射し、反射エコーを受信して一連の超音波信号を取得する。画像処理部１２１及び入出力制御部１２６により、一連の超音波画像が表示部１０４に表示される。
【０１９９】
ユーザは適宜操作入力を行って、所望のタイミングでプローブ１０２から被検体に光を照射し、音響波を受信して光音響信号を取得する。画像処理部１２１及び入出力制御部１２６により、光音響画像の一例である吸収係数画像が、超音波画像に対して重畳して、表示部１０４に表示される。
【０２００】
超音波ならびに光の被検体に対する照射が終了し、制御装置１０１は取得した画像データの出力形態を選択する処理を開示する（図４）。検査制御部１２５は、一連の超音波画像と、所望のタイミングで併せて取得された光音響画像とに関する撮影画像情報３０２（図３）を取得する（ステップＳ４０２）。そして検査制御部１２５は、たとえば所望のタイミングで取得された光音響画像と、当該タイミングの近傍の時刻で取得された超音波画像とを関連付けられた一連の画像として特定し、それらの撮影画像情報３０２を取得する（ステップＳ４０３）。
【０２０１】
図１３に例示する設定に基づいて、重畳表示のためのオブジェクトを生成するための画像データの組合せが特定される（ステップＳ４０４〜４０８）。そして、重畳表示に用いられる画像データが選択され、重畳方法が決定される（図５）。たとえば外部送信情報生成部１２７は図１３、図１４に例示する設定に基づいて、超音波画像の一例であるＢモード画像をベース画像として選択し、光音響画像の一例である酸素飽和度画像をレイヤ画像として選択する（ステップＳ５０２〜５０３）。これらの選択は、たとえばユーザによるカスタマイズ設定に基づいて行われる。図８に示すような様々な重畳表示の態様の中から、ユーザの設定に基づいて所望の態様が選択される。そして、合成画像が生成され（ステップＳ５０６〜５１０）、または重畳表示のためのデータが生成される（ステップＳ５１０）。
【０２０２】
出力の指示に応じて、重畳表示のためのオブジェクトがＰＡＣＳ１１３といった外部装置に送信される。外部装置への送信が指示された画像データが写損であるか否かが判定され（ステップＳ６０４）、さらに外部装置に送信するか否かが判定される（ステップＳ６０７〜６１０、ステップＳ６１３）。そして、図１３、図１４に例示する設定に基づいて、外部装置に出力するためのオブジェクトが生成され（ステップＳ６１６）、送信される（ステップＳ６１７）。ここで、たとえば写損ではない、観察に適した画像データは、図６に示す処理により、外部装置に送信される。たとえば、画像データの外部装置への送信方法が、設定１３０８において「ベース画像の付帯情報として送信する」に設定されているとする。このとき、ベース画像である超音波画像（Ｂモード画像）を有するＤＩＣＯＭ画像ファイル１２０１が生成される（図１２）。レイヤ画像である光音響画像（酸素飽和度画像）は、当該ＤＩＣＯＭ画像ファイル１２０１に含まれるオーバーレイ画像データ１２０６に含まれる。別の例では、画像データの外部装置への送信方法が、設定１３０８において「ベース画像への参照オブジェクトとして送信する」に設定されているとする。このとき、ベース画像である超音波画像（Ｂモード画像）を有するＤＩＣＯＭ画像ファイル１２０１が生成される（図１２）。そして、酸素飽和度画像と対応する重畳参照画像情報１１０５（図１１）が生成される。重畳参照画像情報１１０５は、酸素飽和度画像をカラー表示したい場合には、たとえばＣＳＰＳオブジェクト（不図示）である。ＣＳＰＳオブジェクト（不図示）は、図１２に示すＧＳＰＳオブジェクト１２０７と同様の構成から成る。ＣＳＰＳオブジェクト（不図示）は、酸素飽和度画像をレイヤ画像として重畳するためのベース画像すなわちＢモード画像のＤＩＣＯＭ画像ファイル１２０１と対応するＳＯＰＩｎｓｔａｎｃｅＵＩＤを含む。これにより、Ｖｉｅｗｅｒ１１４において、酸素飽和度画像のＣＳＰＳオブジェクト（不図示）に基づいて、Ｂモード画像をベース画像とする重畳表示が可能となる。ユーザは、好適な態様の重畳表示を容易に行うことができる。
【０２０３】
［変形例］
上述の実施形態において、撮像システム１００で取得された複数の画像データを好適な重畳表示の形態で外部装置において表示するためのオブジェクトを生成する例を説明したが、本発明はこれに限らない。たとえば、上述の処理をレポートシステムとして実現してもよい。レポートシステムは、医師が被検体の画像データを観察することにより、画像データに描出された特徴に基づいて被検体の病状等について診断を行った、読影の結果を読影レポートとして生成するためのシステムである。上述した処理により、撮像システム１００で生成された重畳画像、合成画像、重畳表示のためのデータを、たとえば読影レポートのキー画像として設定することにより、医師が読影レポートを生成するのをサポートすることができる。
【０２０４】
上述の実施形態において、撮像システム１００で取得された複数の画像データを外部装置に出力する際に、当該外部装置において好適な重畳表示の態様で表示するためのオブジェクトを生成する例を説明したが、本発明はこれに限らない。たとえば、既に生成された、外部装置に出力するためのオブジェクトに基づいて、外部装置で重畳表示するためのオブジェクトを新たに生成してもよい。たとえば、既に生成されたＢモード画像のＤＩＣＯＭ画像ファイルを制御装置１０１で参照し、ユーザが重畳表示に関する操作入力を行うとする。外部送信情報生成部１２７は、ＤＩＣＯＭ画像ファイルに含まれる付帯情報に基づいて、当該Ｂモード画像と重畳表示する画像データを特定する。たとえば、ＤＩＣＯＭ画像ファイルに含まれる検査インスタンスＩＤ、シリーズＵＩＤ、患者ＩＤ、検査ＵＩＤ、検査に関する時刻の情報の少なくともいずれかの情報を用いて、当該Ｂモード画像が撮像された検査が特定される。検査に関する時刻の情報は、検査日、検査時刻、超音波画像の取得時刻、光音響画像の取得時刻の少なくともいずれかの情報を含む。特定された検査で取得された一連の画像データから、外部送信情報生成部１２７は当該Ｂモード画像と重畳表示する画像データを選択する。検査制御部１２５は、当該Ｂモード画像に関する撮影画像情報３０２の重畳表示履歴情報３１０又は後処理履歴情報３１１に当該重畳表示に関する情報を登録する。そして、当該重畳表示に関するデータを外部装置に送信する旨の指示がユーザによりなされた場合には、上述した処理に基づいて、外部送信情報生成部１２７は当該重畳表示のためのオブジェクトを生成する。
【０２０５】
上述の実施形態において、図４を用いて説明したように、ステップＳ４０４で基準となる画像情報を選択した後に、ステップＳ４０９においてベース画像とレイヤ画像とを選択して重畳画像を表示させる例を説明した。本発明はこれに限らず、たとえばステップＳ４０４で示した基準となる画像情報の選択を行わなくてもよい。その場合、ステップＳ４０３で取得された、関連付けられた一連の画像情報の中から重畳画像識別情報に含まれない組合せを選択し、ステップＳ４０９に進む。
【０２０６】
上述の実施形態においては、重畳表示のための情報として重畳順序やベース画像やレイヤ画像を特定するための情報を用いる例を説明した。本発明はこれに限らず、さらに複数の画像データの位置合わせのための処理を行い、画像データ間の位置のずれを示す情報や、オフセットを示す情報を、重畳表示のための情報として用いてもよい。
【０２０７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０２０８】
上述の各実施形態における制御装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。制御装置および制御システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
【０２０９】
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
【０２１０】
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２１１】
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
【図１】
2018057697.tif 000003
【図２】
2018057697.tif 000004
【図３】
2018057697.tif 000005
【図４】
2018057697.tif 000006
【図５】
2018057697.tif 000007
【図６】
2018057697.tif 000008
【図７】
2018057697.tif 000009
【図８】
2018057697.tif 000010
【図９】
2018057697.tif 000011
【図１０】
2018057697.tif 000012
【図１１】
2018057697.tif 000013
【図１２】
2018057697.tif 000014
【図１３】
2018057697.tif 000015
【図１４】
2018057697.tif 000016
【図１５】
2018057697.tif 000017