(57)【要約】【課題】超音波画像上にコメント情報を表示する場合において、通常時においては超音波画像の観察を優先させ、コメント参照時にはコメント情報の参照を優先させる。【解決手段】超音波画像上に重畳表示された元コメントを選択すると、詳細表示制御が実行される。すなわち、その元コメントの近傍にポップアップウインドウ８０が表示される。ポップアップウインドウ８０は元コメントに関連付けられた１又は複数の追加コメント８６，９０を含む。元コメントの選択を解除すると、簡易表示制御が実行されて、元コメントだけが表示された状態に戻る。動画像に対しても簡易表示制御及び詳細表示制御が選択的に適用され得る。【選択図】図６
2018138087.tif 000002
【特許請求の範囲】
【請求項１】
超音波画像上の特定座標に関連付けられた元コメントごとに、前記特定座標を表す座標情報及び当該元コメントに関連付けられた追加コメントの内容を管理する管理手段と、
ユーザー選択されていない非選択元コメントについては前記超音波画像と共に当該非選択元コメントを表示し且つ当該非選択元コメントに関連付けられた追加コメントを非表示とする簡略表示制御を適用し、ユーザー選択された選択元コメントについては前記超音波画像と共に当該選択元コメント及び当該選択元コメントに関連付けられた追加コメントを表示する詳細表示制御を適用する表示制御手段と、
を含むことを特徴とする超音波画像処理装置。
【請求項２】
請求項１記載の装置において、
前記表示制御手段は、前記詳細表示制御において、ポップアップウインドウを表示し、前記ポップアップウインドウ内に前記選択元コメントに関連付けられた追加コメントを表示する、
ことを特徴とする超音波画像処理装置。
【請求項３】
請求項２記載の装置において、
前記表示制御手段は、前記ポップアップウインドウ内に、更に、前記追加コメントの作成時期を示す情報及び当該追加コメントの作成者を示す情報の内の少なくとも１つを表示する、
ことを特徴とする超音波画像処理装置。
【請求項４】
請求項１記載の装置において、
前記表示制御手段は、前記追加コメントを伴う元コメントと前記追加コメントを伴わない元コメントとを視覚的に識別するための表示処理を実行する、
ことを特徴とする超音波画像処理装置。
【請求項５】
請求項１記載の装置において、
前記管理手段は、ユーザー入力に基づいて元コメント及び追加コメントを編集する編集手段を含む、
ことを特徴とする超音波画像処理装置。
【請求項６】
請求項１記載の装置において、
前記超音波画像は動画像であり、
前記管理手段は前記追加コメントごとに表示期間を管理し、
前記表示制御手段は前記詳細表示制御において前記追加コメントごとの表示期間に基づいて当該追加コメントの表示を制御する、
ことを特徴とする超音波画像処理装置。
【請求項７】
請求項６記載の装置において、
前記表示制御手段は、前記追加コメントごとの表示期間に基づいて表示有無を決定し又は表示態様を変化させる、
ことを特徴とする超音波画像処理装置。
【請求項８】
請求項２記載の装置において、
前記表示制御手段は、前記超音波画像上における前記元コメントの表示位置に応じて前記ポップアップウインドウの表示位置を変化させる、
ことを特徴とする超音波画像処理装置。
【請求項９】
超音波画像処理装置においてコメント表示制御方法を実行するためのプログラムであって、
前記コメント表示制御方法は、
超音波画像上の特定座標に関連付けられた元コメントごとに前記特定座標を表す座標情報及び当該元コメントに関連付けられた追加コメントの内容を管理する工程と、
ユーザー選択されていない非選択元コメントについては前記超音波画像と共に当該非選択元コメントを表示し且つ当該非選択元コメントに関連付けられた追加コメントを非表示とする簡略表示制御を適用し、ユーザー選択された選択元コメントについては前記超音波画像と共に当該選択元コメント及び当該選択元コメントに関連付けられた追加コメントを表示する詳細表示制御を適用する工程と、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は超音波画像処理装置に関し、特に、コメント情報の管理及び表示に関する。
【背景技術】
【０００２】
超音波画像処理装置は、医用画像としての超音波画像を処理する機能をもった装置であり、超音波診断装置、情報処理装置、超音波画像管理システム等として構成される。以下においては、超音波診断装置を例にとり、超音波画像に付加されるコメント情報の処理について説明する。
【０００３】
超音波診断装置は、被検者に対して超音波を送受波することによって得られた受信信号に基づいて超音波画像を形成する装置である。超音波画像に対しては、必要に応じて、コメントが付加される。コメントは、組織名、観察方向、所見その他を表す文字列、単語、文等のテキスト情報である。コメントはアノテーションとも呼ばれる。コメントと共に関連情報が表示されることもある。
【０００４】
典型的には、コメントは、超音波画像上における任意の座標に挿入される（特許文献１を参照、重畳表示方式）。その場合、コメントの一部又は全部が超音波画像に重畳表示されることになる。長文コメントが記入されると、超音波画像の観察に支障が生じるため、通常、短文コメントの入力しか許されていない。また、超音波画像のストア後又は超音波画像の転送後にコメントの追記や修正が制限されていることもある。そのような背景から、複数の観察者（検査技師、担当医師、専門医師等）によって複数のコメントを順次入力し、関係者間でそれらのコメントを共有することが困難な状況にある。
【０００５】
超音波画像が表示されているウインドウの下又は横に、比較的に大きな別のウインドウを表示し、その別のウインドウ内に複数のコメントを表示することも考えられる（分離表示方式）。その場合には表示画面内においてコメント用の表示スペースを確保しなければならず、超音波画像を表示するウインドウが小さくなってしまう。すなわち、超音波画像を縮小して表示しなければならなくなる。
【０００６】
特許文献２に開示されたシステムでは上記分離表示方式が採用されている。具体的には、同システムでは、医用画像が表示されているウインドウの左側に、それと非重複関係をもって別のウインドウが表示され、その別のウインドウの中に複数のコメントが表示される。そのシステムによれば、複数の者により順次入力された複数のコメントを参照することが可能である。しかし、有限な表示画面内において、別のウインドウを表示するためのある程度大きな表示スペースを確保する必要が生じる。
【０００７】
特許文献３にも上記分離表示方式が開示されている。特許文献３に開示された超音波診断装置では、超音波画像が表示されているウインドウの下に、非重複関係をもって別のウインドウが表示され、その別のウインドウの中に所見が表示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１６−２４０５号公報
【特許文献２】特開２０１４−２１０１３４号公報
【特許文献３】特開２００６−１４１９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
超音波画像処理装置において、元コメントの入力後における追加コメントの入力、あるいは、複数の観察者による複数のコメントの順次入力、を受け付けることが求められている。しかし、超音波画像へのコメントのオーバーレイ表示を前提とした場合、複数のコメントを継続的に表示すると、超音波画像の観察上、支障が生じる。
【００１０】
本発明の目的は、ユーザーフレンドリーな超音波画像処理装置を提供することにある。あるいは、本発明の目的は、通常時においては超音波画像の観察を優先させ、コメント参照時にはコメント情報の参照を優先させることが可能な超音波画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明に係る超音波画像処理装置の実施形態は、超音波画像上の特定座標に関連付けられた元コメントごとに前記特定座標を表す座標情報及び当該元コメントに関連付けられた追加コメントの内容を管理する管理手段と、ユーザー選択されていない非選択元コメントについては前記超音波画像と共に当該非選択元コメントを表示し且つ当該非選択元コメントに関連付けられた追加コメントを表示しない簡略表示制御を適用し、ユーザー選択された選択元コメントについては前記超音波画像と共に当該選択元コメント及び当該選択元コメントに関連付けられた追加コメントを表示する詳細表示制御を適用する表示制御手段と、を含むものである。
【００１２】
上記構成によれば、元コメントが選択されていない場合には当該元コメント（非選択元コメント）について簡略表示制御が適用され、元コメントが選択された場合には当該元コメント（選択元コメント）について詳細表示制御が適用される。すなわち、ユーザーの指示に応じて、コメント情報の表示態様、とりわけ追加コメントの表示有無、が切り替えられる。通常時においては簡略化されたコメント情報が表示されるので、コメント情報によって隠されてしまう部分の面積を小さくできる。通常時においては元コメントが表示されるので、元コメントの参照によって一定の情報が得られる。一方、元コメントが選択されると、その元コメントと共に、その元コメントに関連付けられた１又は複数の追加コメントが追加的に表示される。これにより、詳細なコメント情報を入手することが可能となる。その場合、複数の者が入力したコメント情報を複数の者で共有することも容易となる。
【００１３】
以上のように、状況に応じて、コメント情報の簡略表示と詳細表示とを切り替えることにより、超音波画像のサイズを維持したままで、超音波画像の観察と非画像情報の参照とを両立させることが可能となる。
【００１４】
上記構成において、超音波画像は静止画像又は動画像である。動画像においては追加コメントが時限的に表示されてもよい。元コメントはコメント情報のシンボルとして機能するので、元コメントについては常時表示されるように制御するのが望ましいが、それを時限的に表示してもよい。上記構成は、少なくとも元コメントの一部又は全部が超音波画像上に重畳表示されることを前提とするものである。元コメントが超音波画像に融合（一体化）されてもよいが、元コメントの事後的な編集を可能とするためには、元コメントをテキスト情報として管理した方がよい。追加コメントについても同様である。元コメントと追加コメントとの関係に着目した場合、元コメントは親コメント、代表コメントであり、追加コメントは子コメント、従属コメントである。なお、一定条件が満たされた元コメントについてはユーザー選択が行われなくても詳細表示制御を自動適用する変形例が考えられる。
【００１５】
実施形態において、前記表示制御手段は、前記詳細表示制御においてポップアップウインドウを表示し、前記ポップアップウインドウ内に前記選択元コメントに関連付けられた追加コメントを表示する。この構成によれば、ポップアップウインドウという一時的な表示エリアを利用して追加コメントが表示される。ポップアップウインドウは、元コメントの近傍に表示されてもよい。その場合、通常、ポップアップウインドウの一部又は全部が超音波画像上に重畳表示される。よって、超音波画像の中央部（一般に観察対象となる部分）をポップアップウインドウが覆わないように（中央部を避けた位置に）、ポップアップウインドウを表示するのが望ましい。すなわち、超音波画像上における元コメントの表示位置に応じて、ポップアップウインドウの表示位置を変更するのが望ましい。一方、ポップアップウインドウを、超音波画像を避けた位置（非重畳位置）に表示することも可能である。その場合、元コメントとポップアップウインドウとの対応関係を示す引出し線等のガイダンスを表示するのが望ましい。
【００１６】
実施形態において、前記表示制御手段は、前記ポップアップウインドウ内に、更に、前記追加コメントの作成時期を示す情報及び当該追加コメントの作成者を示す情報の内の少なくとも１つを表示する。複数の者によって複数のコメントを順次記入する場合、個々のコメントごとに上記のような属性情報を付加するのが望ましい。
【００１７】
実施形態において、前記表示制御手段は、前記追加コメントを伴う元コメントと前記追加コメントを伴わない元コメントとを視覚的に識別するための表示処理を実行する。かかる表示処理を施さない場合、観察者において元コメントの選択を試行してみないと、追加コメントの存否はわからない。そのような操作は煩雑である。場合によっては、重要な追加コメントの参照機会を逸してしまうおそれがある。これに対し、上記構成によれば、元コメントの参照時に、当該元コメントが追加コメントを伴うものか否かを直ちに認識できる。
【００１８】
実施形態において、前記管理手段は、ユーザー入力に基づいて元コメント及び追加コメントを編集する編集手段を含む。観察者ごとに編集権限を管理してもよい。超音波画像のストア後又は転送後において、コメント情報を事後的に加工できるように構成するのが望ましい。
【００１９】
実施形態において、前記超音波画像は動画像であり、前記管理手段は前記追加コメントごとに表示期間を管理し、前記表示制御手段は前記詳細表示制御において前記追加コメントごとの表示期間に基づいて当該追加コメントの表示を制御する。実施形態において、前記表示制御手段は、前記追加コメントごとの表示期間に基づいて表示有無を決定し又は表示態様を変化させる。
【００２０】
本発明に係る表示制御方法の実施形態は、超音波画像上の特定座標に関連付けられた元コメントごとに前記特定座標を表す座標情報及び当該元コメントに関連付けられた追加コメントの内容を管理する工程と、ユーザー選択されていない非選択元コメントについては前記超音波画像と共に当該非選択元コメントを表示し且つ当該非選択元コメントに関連付けられた追加コメントを表示しない簡略表示制御を適用し、ユーザー選択された選択元コメントについては前記超音波画像と共に当該選択元コメント及び当該選択元コメントに関連付けられた追加コメントを表示する詳細表示制御を適用する工程と、を含む。この表示制御方法はプログラムの機能によって実現され得る。そのプログラムは、記憶媒体又はネットワークを介して、情報処理装置としての超音波画像処理装置にインストールされる。
【発明の効果】
【００２１】
本発明によれば、通常時においては超音波画像の観察を優先させ、コメント参照時にはコメント情報の参照を優先させることが可能となる。あるいは、本発明によれば、元コメントの常時表示と追加コメントの一時的表示の併用によって、換言すれば、コメント情報表示スペースの大きさの適応的な可変によって、超音波画像の観察及びコメント情報の参照を両立させることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る医療システムを示すブロック図である。
【図２】管理テーブルの第１構成例を示す図である。
【図３】ユーザーによるコメント指定を示す図である。
【図４】ポップアップウインドウを示す図である。
【図５】追加コメントの記入を示す図である。
【図６】２つ目の追加コメントの記入を示す図である。
【図７】ポップアップウインドウの他の例を示す図である。
【図８】元コメントの識別表示の第１例を示す図である。
【図９】元コメントの識別表示の第２例を示す図である。
【図１０】検査レポートへの追加コメントの転記を示す図である。
【図１１】ポップアップウインドウへの計測値の取り込みを示す図である。
【図１２】管理テーブルの第２構成例を示す図である。
【図１３】動画像に付加された追加コメント情報の第１表示例を示す図である。
【図１４】動画像に付加された追加コメント情報の第２表示例を示す図である。
【図１５】動画像に付加された追加コメント情報の第３表示例を示す図である。
【図１６】追加コメント情報の表示及び編集の際の動作例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面に基づいて説明する。
【００２４】
図１には、本発明に係る超音波画像システムの構成例が示されている。同システムは、医療機関に設置されるものである。同システムは、図示の例において、超音波診断装置１０、サーバー１２及びＰＣ１４を含んでいる。それらはネットワーク１６を介して相互に接続されている。サーバー１２は医用画像を管理する情報処理装置であり、ＰＣ１４は医用画像を観察するためのビューワーを備えた情報処理装置である。超音波診断装置１０において生成された超音波画像が超音波診断装置１０からサーバー１２へ転送され、サーバー１２において超音波画像が管理される。サーバー１２において管理されている超音波画像をＰＣ１４において参照することが可能である。
【００２５】
以下に説明する超音波診断装置１０は超音波画像処理装置として機能するものである。超音波診断装置１０に搭載されたコメント処理機能（コメント管理機能、コメント表示機能等）がサーバー１２及びＰＣ１４に搭載されてもよい。もちろん、超音波診断装置１０が単体で使用されてもよい。
【００２６】
超音波診断装置１０は、生体に対する超音波の送受波により得られた受信信号に基づいて超音波画像を形成する装置である。超音波診断装置１０はプローブ１８を有している。プローブ１８は可搬型の送受器である。プローブ１８は、本実施形態において、直線又は曲線に沿って一次元配列された複数の振動素子からなるアレイ振動子を有している。アレイ振動子によって超音波ビーム２２が形成され、その超音波ビーム２２が電子的に走査される。これにより観測面としてのビーム走査面２０が形成される。図１において、ｒは深さ方向を示しており、θは電子走査方向を示している。電子走査方式としては、電子セクタ走査方式、電子リニア走査方式、等が知られている。超音波ビームを二次元走査することによって三次元データ取込空間を形成し、当該空間からボリュームデータを得るようにしてもよい。
【００２７】
送受信部２４は送信ビームフォーマ―及び受信ビームフォーマ―として機能する電子回路である。送信時において、送受信部２４は、アレイ振動子に対して複数の送信信号を並列的に出力する。これにより送信ビームが形成される。受信時において、生体内からの反射波がアレイ振動子において受波される。これによりアレイ振動子から送受信部２４へ複数の受信信号が並列的に出力される。送受信部２４においては、複数の受信信号をそれぞれデジタル信号に変換した上で、複数のデジタル受信信号を遅延加算（整相加算）し、これによりビームデータを生成する。１回の電子走査で、電子走査方向に並ぶ複数のビームデータが取得される。それらは受信フレームを構成する。個々のビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。
【００２８】
ビームデータ処理部２６は、個々のビームデータを処理する電子回路である。具体的には、ビームデータ処理部２６は、複数の動作モードに対応した複数のデータ処理機能を有し、例えば、直交検波回路、振幅演算回路、対数変換回路、フィルタ回路、相関回路等を有する。処理後のビームデータが超音波画像形成部３０へ送られる。そのビームデータが図示されていない第１のシネメモリへ並列的に出力されてもよい（符号２８参照）。
【００２９】
超音波画像形成部３０はデジタルスキャンコンバータ（ＤＳＣ）等を含む電子回路である。ＤＳＣは、座標変換機能、補間機能、フレームレート調整機能等を有する。座標変換機能は、例えば、ｒθ座標（極座標）をｘｙ座標（直交座標）に変換する機能である。例えば、Ｂモードが選択されている場合、ＤＳＣによって受信フレームから断層画像（Ｂモード画像）が形成される。超音波画像データが画像合成部３２へ送られる。その超音波画像データが図示されていない第２のシネメモリに並列的に出力されてもよい（符号３１参照）。
【００３０】
画像合成部３２は、超音波画像と参照画像又は非超音波画像としての情報画像とを合成し、表示画像を構成する機能を有している。表示器４９は例えばＬＣＤ又は有機ＥＬ表示デバイスにより構成される。超音波画像として、Ｂモード画像、Ｍモード画像、ＣＦＭ画像、ドプラ波形画像、高調波イメージング画像、弾性情報画像等が知られている。表示器４９の画面上に超音波画像を含む表示画像が表示される。
【００３１】
制御部３４は、ＣＰＵ及び動作プログラムによって構成される。制御部３４は、図1に示されている各構造の動作を制御するものである。図１においては、制御部３４が有する複数の機能の内で、代表的な幾つかの機能が複数のブロックとして表現されている。情報画像生成部３６は、コメント情報、グラフィック情報等を含む情報画像を生成するモジュールである。情報画像は上記のように超音波画像に合成される画像である。表示制御部３８は、表示制御手段として機能するものであり、特にコメント情報の表示を制御するモジュールである。その制御には、元コメントの非選択状態において実行される簡易表示制御と、元コメントの選択時に実行される詳細表示制御と、が含まれる。それぞれについては後に詳述する。通信部４０はネットワーク１６を介して他の装置と通信するためのモジュールである。
【００３２】
コメント管理部４２は、管理手段として機能するものであり、具体的には、管理テーブル４８を用いてコメント情報を管理するモジュールである。コメント管理部４２はコメント情報のエディタ（編集手段）としても機能する。記憶部４６は、半導体メモリ、ハードディスク等によって構成されるものであり、そこには管理テーブル４８が格納される。管理テーブル４８は、超音波画像ごとにコメント情報を管理するためのテーブルである。コメント情報は、一般には、元コメントの内容、追加コメントの内容、追加コメントに関連する情報等を含む表示情報である。元コメントに対して追加コメントを関連付けるか否かは任意であり、その関連付けを行う場合において、任意数の追加コメントを関連付けることが可能である。管理テーブル４８には、コメント情報の表示制御において利用される座標情報等の非表示情報も含まれる。符号４３は心電信号の入力を示している。心臓の動画像表示において、心電波形の解析により心拍時相を特定することが可能である。
【００３３】
操作パネル４４は、複数のボタン、複数のつまみ、キーボード、トラックボール等を有する入力デバイスである。例えば、トラックボールを利用して、画面上に表示されたカーソルが動かされる。このような操作により、元コメントを選択して、選択状態を形成することが可能であり、また、その選択状態を解除して通常状態（非選択状態）へ復帰させることが可能である。選択状態が所定時間継続した場合、自動的に通常状態へ復帰させてもよい。選択されていない元コメントを非選択元コメントと称することができ、選択された元コメントを選択元コメントと称することができる。
【００３４】
図２には管理テーブル４８の構成例が示されている。管理テーブル４８は複数のレコード５０を有する。１つの超音波画像（図示の例では静止画像）当たり１つのレコード５０が構成されている。各レコード５０は、画像識別子としての画像ＩＤ５２、画像の所在を表す所在情報（ＵＲＬ）５４、関連情報５６を含む。関連情報５６は、図示の例では、超音波画像の周囲に表示される検査情報（検査日時、検査機関等）５８及び被検者情報（氏名、性別、年齢等）６０を含む。関連情報５６には、更に、図示されてはいないが、動作条件を示す情報（動作モード、送信周波数等）も含まれる。
【００３５】
本実施形態では、関連情報５６には、元コメント情報６２及び追加コメント情報６４，６６が含まれる。追加コメント情報６４，６６は、元コメントに対して事後的に追加コメントが付加された場合に生成される情報である。上限数以内において、任意数の追加コメントを付加することが可能である。
【００３６】
元コメント情報６２には、元コメントの代表座標、元コメントについて定義される領域を特定する領域情報、元コメントの内容をなすテキストデータ、元コメントを作成した者を表す情報、元コメントの作成日時を表す情報、等が含まれる。それらは例示である。追加コメント情報６４，６６には、それぞれ、追加コメントの内容をなすテキストデータ、追加コメントを作成した者を表す情報、追加コメントの作成日時を表す情報、等が含まれる。それらも例示である。
【００３７】
図１に示したコメント管理部４２は上記のように管理テーブル４８の内容を管理するものであり、コメント管理部４２によってコメント情報の追加、削除又は修正がなされる。元コメントの記入及び追加コメントの付加等に際しては、上記の操作パネル４４が利用される。作成者名、作成日時等が管理テーブル４８上に自動的に登録されてもよい。
【００３８】
なお、本実施形態では、元コメントが超音波画像とは別にテキスト情報として管理されているが、元コメントが超音波画像の一部として埋め込まれる態様を採用することも可能である。その場合、元コメントの位置を表す情報、元コメントと追加コメントとの関連付け情報等が管理される。追加コメントについても同様であるが、その事後的編集の便宜から、追加コメントは超音波画像とは別にテキスト情報として管理されるのが望ましい。
【００３９】
次に、コメント管理部４２及び表示制御部３８によるコメント処理の具体例について説明する。
【００４０】
図３乃至図５には追加コメントの付加を行う場合の動作例が示されている。図３において、表示画面７０上には超音波画像７２が表示されている。表示画面７０の全体にわたって超音波画像７２が表示されている。例示された超音波画像７２は静止画像としての白黒の断層画像であり、それは扇状（セクタ状）の形態を有する。すなわち、その断層画像は電子セクタ走査によって生成された画像である。超音波画像と共に、各種の情報を含む情報画像も表示されている。情報画像には単語、文字列又は文書としての元コメント７４が含まれる。元コメント７４の実体は例えば臓器名、所見等である。元コメント７４は、超音波画像上の任意の位置（ユーザー指定された位置）に記入することができる。典型的には、注目部位上に又はその付近に、元コメント７４が記入される。その場合、通常、元コメント７４の全部又は一部が超音波画像７２に重畳した状態で表示される。元コメント７４を構成する文字のサイズ、色等をユーザー指定できるように構成してもよい。1枚の超音波画像に複数の元コメント７４が記入されてもよい。
【００４１】
図３において、元コメント７４に対しては、それを包摂する元コメント領域７６が定義される。例えば、元コメント７４の代表座標（例えば先頭文字座標、中間座標）、元コメント７４の文字数又は横幅、元コメント７４を構成する文字のサイズ等に基づいて、元コメント領域７６が自動的に定義される。元コメント領域７６それ自体は表示されないが、それを示す枠等を表示してもよい。
【００４２】
トラックボール等を利用してカーソル７８を表示画面７０内において移動させ、元コメント領域７６内にカーソル７８による指示座標が属した場合、元コメント７４が自動的に選択状態となり、図４に示すように、ポップアップウインドウ８０が表示される。ポップアップウインドウ８０はサブウインドウ又は一時的に登場する小さなウインドウであり、通常、その表示位置は固定されておらず、それは元コメント７４の表示位置に依存する。ポップアップウインドウ８０及びそこに含まれる情報も、情報画像の一部を構成する。
【００４３】
具体的に説明すると、図４において、ポップアップウインドウ８０は、元コメント７４の近傍に表示されており、より詳しくは、元コメント７４の斜め右下に表示されている。ポップアップウインドウ８０は、コメント欄８１と編集結果を確定させるためのボタン８２とを有している。図４は、元コメント７４に対する追加コメントの付加を行う前の状態を示しており、コメント欄８１は空欄である。なお、カーソルが常時表示されていてもよいし、トラックボール等を動かした時点でカーソルが再表示されてもよい。
【００４４】
図５において、ユーザーにより、コメント欄８１の中に追加コメント８６が記入される。その場合にはキーボード等が利用される。追加コメント８６の実体は所見、意見等である。追加コメント８６の入力者を自動的に認識できる場合、追加コメント８６と共に、作成者名８４が自動的に記入される。もちろん、マニュアルで作成者名８４を入力してもよい。作成者名に代えて、又は、それと共に、作成日時（作成時期情報）が自動的に入力されてもよい。更に、別の情報が追加コメント８６と共に入力されてもよい。追加コメント８６の入力の完了後、ボタン８２上にカーソル７８を移動して、エンター操作を行うことにより、追加コメント８６及びそれに関連する情報が確定し、それらが管理テーブルに登録される。以上のようなコメント情報の入力は、例えば、シネメモリから読み出された超音波画像（静止画像）の表示状態において実行される。
【００４５】
図６には、追加コメント表示が示されている。元コメントを選択状態とした場合において、元コメントに１又は複数の追加コメントが関連付けられているならば、詳細表示制御が実行される。具体的には、図６に示すポップアップウインドウ８０が表示される。ポップアップウインドウ８０のコメント欄８１には複数の追加コメント８６，９０が含まれ、また、それらを入力した複数の者を表す複数の作成者名８４，８８が含まれる。その状態において、必要に応じて、コメント欄８１の内容を追加、削除、修正等することができる。編集の完了後にボタン８２を操作することにより、コメント欄８１の内容が確定する。
【００４６】
以上のように、本実施形態においては、元コメントに対して任意数の追加コメントを付加することが可能である。よって、元コメントに対して事後的に付加された追加コメント、複数の観察者によって順次入力された複数のコメント等を状況に応じて観察することができる。
【００４７】
元コメントが選択されていない非選択状態においては簡略表示制御が実行される。すなわち、元コメントと追加コメントの内で、元コメントだけが表示される。これにより、超音波画像の内で、コメント情報によって隠されてしまう部分を小さくして、超音波画像の観察を優先させることができる。もちろん、その場合においても、元コメントは表示されるので、それを通じて超音波画像に関する必要な情報を得ることが可能である。
【００４８】
一方、元コメントが選択された選択状態においては詳細表示制御が実行される。すなわち、元コメントに関連付けられた１又は複数の追加コメントを画面上に登場させることができる。そのような追加情報を通じて超音波画像に関する詳細情報を得ることが可能である。１又は複数の追加コメントの表示に際し、ポップアップウインドウによって比較的に大きな部分が隠されてしまうが、そのような状態は一時的なものであるので、つまり、選択を解除すれば、詳細表示から簡略表示に戻るので、超音波画像の観察と関連情報の参照とを両立させることが可能である。
【００４９】
元アイコンの選択時からタイマを起動し、コメント欄への入力が行われてない等の一定状態が一定時間経過した時点で、詳細表示から簡略表示へ自動復帰させてもよい。これによれば選択解除の手間が省ける。もちろん、元コメントの表示有無及びポップアップウインドウの表示有無をユーザーによって指定してもよい。
【００５０】
超音波画像上での元コメントの表示位置に応じて、ポップアップウインドウの表示位置を変更するのが望ましい。一般に、超音波画像における注目部分は超音波画像の中央部である。そこで、超音波画像の中心線よりも右側に元コメントの中心が位置している場合（右寄り表示の場合）には、例えば、元コメントの右斜め下に、ポップアップウインドウを表示し、一方、超音波画像において左側に元コメントの中心が位置している場合（左寄り表示の場合）には、例えば、元コメントの左斜め下に、ポップアップウインドウを表示してもよい。元コメントの下側にポップアップウインドウを表示すれば、元コメントを含む複数のコメントの相互間において、コメント記載順とコメント表示順とを一致させることが可能である。
【００５１】
ポップアップウインドウの表示位置を適応的に可変する場合において、元コメントの下側にポップアップウインドウ表示用のスペースが不足するならば、元コメントの右斜め上又は左斜め上にポップアップウインドウを表示すればよい。扇状の形態を有する超音波画像の場合、超音波画像の右上及び左上に空きスペースが生じ易いので、そのような空きスペースを利用するものである。超音波画像と共にサムネイル画像列が表示されている場合、サムネイル画像列に重合する態様で、ポップアップウインドウを表示してもよい。
【００５２】
超音波画像のストア後及び超音波画像の転送後において、ポップアップウインドウの内容を編集できるように構成するのが望ましい。超音波画像のストア時又は転送時に、管理テーブル内の対応レコード情報が超音波画像と共にストア又は転送されるように構成すればよい。そのような構成によれば、ストア後又は転送後において、超音波画像をレビューする場合に、必要に応じて、詳細なコメント情報を参照及び編集することが可能となる。
【００５３】
図７にはポップアップウインドウの他の表示例が示されている。ポップアップウインドウ９１は、超音波画像７２に隣接して生じた空きスペース内に表示されている。これによりポップアップウインドウ９１と超音波画像７２との間で非重複関係が生じている。超音波画像７２の観察上、このような表示態様は有効である。元コメント７４とポップアップウインドウ９１との対応関係を示すために両者間を結ぶ引出し線９２も表示されている。対応関係を示す他のガイダンス表示を採用してもよい。図７に示した表示例でも元コメント７４は超音波画像７２上に重畳表示されているが、ポップアップウインドウ９１は非重畳表示（別表示）されているので、超音波画像７２の観察上有利である。もっとも、超音波画像を大きく表示したい場合には図６に示した近傍表示を採用するのが望ましい。
【００５４】
図８及び図９を用いて識別表示について説明する。図８において、元コメント７４の先頭にマーク９４が表示されている。このマーク９４は元コメント７４に関連付けられた追加コメントが存在することを示すものである。逆に言えば、マーク９４を伴わない元コメントについてはそれに関連付けられた追加コメントが存在しないことを直観的に認識できる。すなわち、マーク９４の付与の有無を利用して追加コメントの有無を視覚的に識別することが可能である。
【００５５】
図９に示す例では、元コメント７４Ａに対して識別処理が施されており、これによって追加コメントの存在が表明されている。この場合の識別処理は、高輝度化、特定カラー表現、フォントサイズ拡大等である。このような識別表示を行わない場合、元コメントを選択してみないと、追加コメントの有無がわからず、その操作は煩雑である。上記識別表示によれば、そのような操作を行わなくて済むのでユーザー負担を軽減できる。
【００５６】
次に、幾つかの応用例について説明する。図１０に示すように、ポップアップウインドウ９６の中の情報（１又は複数の追加コメントを含む）９８を、電子文書としての検査レポート１００の中に、マニュアルで又は自動的に転記する仕組みを採用してもよい。検査レポート１００の中にもコメント欄１０２があり、そこに情報９８Ａをコピーするものである。逆方向のコピーも考えられる。
【００５７】
図１１において、ポップアップウインドウ９６はコメント欄９６Ａと計測欄９６Ｂとからなる。計測欄９６Ｂ内において特定の計測名１０６を入力すると、検査レポート１００における該当計測値１０４が自動的に計測欄９６Ｂの中に転記される。転記後の計測値が符号１０４Ａで示されている。他の計測値についても同様である。検査レポート１００ではなく計測値データベースから上記同様の転記が行われてもよい。
【００５８】
次に図１２乃至図１５を用いて動画像に対するコメント情報の付加について説明する。図１２には、その処理を行う場合に利用される管理テーブル４８Ａが例示されている。管理テーブル４８Ａは、図２に示した管理テーブルと同様に、複数のレコード１１０からなるものである。個々のレコード１１０は１つの動画像に対応している。
【００５９】
具体的には、個々のレコード１１０は、動画像ＩＤ１１２、所在情報１１４、関連情報１１６等を含む。関連情報１１６は、元コメント情報１１８、追加コメント情報１２０，１２２を含む。元コメント情報１１８には、代表座標、領域情報、テキストデータ、作成者情報、作成日時情報の他、表示期間１１８ａが含まれる。元コメントについての表示期間１１８ａは、元コメントが表示される期間を指定するものである。例えば、表示期間は、開始フレーム番号及び終了フレーム番号として特定され、心拍期間として特定され、あるいは、その他の方法によって特定される。例えば、基準時からの時間、心拍数として特定されてもよい。特定された情報から、開始フレーム番号及び終了フレーム番号を換算し、それらを管理テーブル上に登録してもよい。もっとも、静止画像と同様、動画像においても元コメントは基本的に常時表示される。よって、通常、表示期間１１８ａは指定されず、あるいは、表示期間１１８ａとして全期間が指定される。
【００６０】
追加コメント情報１２０，１２２には、代表座標、領域情報、テキストデータ、作成者情報、作成日時情報の他、表示期間１２０ａ，１２２ａが含まれる。表示期間１２０ａは、第１追加コメントを表示する期間を定めるものであり、フレーム番号、心拍時相、その他によってその期間が特定される。表示期間１２２ａも同様である。
【００６１】
追加コメントごとに表示期間を指定でき、つまり、追加コメントごとにそれが表示されるタイミングを個別的に制御することが可能である。例えば、心臓の超音波画像が表示されている場合、元コメントとして左室を示す文字列が挿入され、第１追加コメントとして収縮期についての所見が記入され、第２追加コメントとして拡張期についての所見が記入される。その場合、収縮期と拡張期とで別の追加コメントが表示される。心電信号に基づいて心拍時相を特定することが可能であるので、心拍時相に基づいて複数の心拍周期にわたって特定の期間だけ追加コメントが周期的に表示されるようにしてもよい。あるいは、逆流等の疾患が認められる特定期間だけ追加コメントが表示されるようにしてもよい。もっとも、表示期間に応じて、追加コメントの表示順序や表示態様を変化させてもよい。ある動画像に対して複数の元コメントが挿入される場合、管理テーブル上に当該動画像との関係で複数のレコードが登録される。表示期間については最小（最短）時間を定めるようにしてもよい。
【００６２】
図１３には動画像についてのコメント処理の第１例が示されている。横軸は時間軸である。図示の例では、元コメントについて３つの追加コメント１２６，１２８，１３０が関連付けられている。それぞれの表示期間としてＴ１，Ｔ２，Ｔ３が定められている。ここではＴ１＜Ｔ２＜Ｔ３の関係がある。説明のため、元コメントについての選択状態が継続されているものとする。表示期間Ｔ１内においては、ポップアップウインドウ１２４Ａ内に３つの追加コメント１２６，１２８，１３０が表示される。表示期間Ｔ１を超えた時点で、ポップアップウインドウの内容が変化し（符号１２４Ｂ参照）、追加コメント１２８，１３０が上側に繰り上がってそのまま表示され、表示期間外となった追加コメント１２６は追加コメント１２８，１３０の下側に半透明で表示される。表示期間Ｔ２を超えた時点で、ポップアップウインドウの内容が更に変化し（符号１２４Ｃ参照）、追加コメント１３０が上に繰り上がってそのまま表示され、表示期間外となった追加コメント１２６，１２８が追加コメント１３０の下側に並んで半透明で表示される。このように、追加コメントごとに個別的に表示期間を定めることにより、追加コメントごとにそれを参照すべき時期又は時間帯をコントロールできる。
【００６３】
図１３に示した第１例に代えて図１４に示す第２例を採用してもよい。すなわち、符号１２４Ａ，１２４Ｄ，１２４Ｅに示すように、表示期間を過ぎた追加コメントが完全に消去されるようにしてもよい。
【００６４】
図１５には第３例が示されている。表示画面１３２には、メイン領域１３２Ａとその下側のサブ領域１３２Ｂとが設定されている。現在、選択状態にあり、メイン領域１３２Ａ内には、超音波画像及び元コメントの他、ポップアップウインドウ１３８が表示されている。サブ領域１３２ＢにはＲ波を含む心電波形１３４が表示されている。また、サブ領域１３２Ｂには追加コメントごとの表示期間を図形として示すグラフ１３６が表示されている。グラフ１３６は、第１追加コメント１４０の表示期間を示すバー１３６ａと、第２追加コメントの表示期間を示すバー１３６ｂと、を有している。個々のバー１３６ａ，１３６ｂの両端が表示期間の始期及び終期に対応する。運動するライン１４４は、表示されたフレームに対応する時相を示している。
【００６５】
バー１３６ａで特定される期間内においては、図１５に示されているように、ポップアップウインドウ１３８内に、第１追加コメント１４０が標準態様で表示されるが、第２追加コメント１４２は半透明の態様で表示される。一方、バー１３６ｂで特定される期間内においては、ポップアップウインドウ１３８内に、第１追加コメント１４０が半透明表示され、第２追加コメント１４２が通常態様で表示される。このように第３例によれば個々の追加コメントを通常態様で表示する期間を、心電波形との関係で、つまり心拍時相との関係で、具体的に認識することが可能となる。複数の追加コメントの内で、現在の表示時相に対応する追加コメントに対して、インジケータやマーカー等を付加表示してもよい。また、複数の追加コメントを表示する際に、時系列ではなく優先度順で表示してもよい。例えば特定の者が入力された追加コメントが常に最上位に表示されるように制御してもよい。
【００６６】
図１６にはコメント処理がフローチャートとして示されている。Ｓ１０では、簡略表示制御の実行下において、元コメントの選択の有無が判定される。Ｓ１０において、本処理の終了条件が満たされた場合、本処理が終了する。一方、Ｓ１０において、元コメントの選択（ユーザー指定）が判定されると、詳細表示制御が実行される。具体的には、Ｓ１２において、選択された元コメントの近傍に、ポップアップウインドウが表示される。元コメントに対して１又は複数の追加コメントが関連付けられている場合、ポップアップウインドウ内に１又は複数の追加コメントが表示される。これにより、ポップアップウインドウの編集可能状態となる。
【００６７】
Ｓ１４では、ポップアップウインドウへの入力が受け付けられる。追加コメントの追加、削除又は修正が行われる。この他、必要に応じて表示条件が受け付けられる。フォントサイズ、表示色、表示期間等の表示条件がユーザー指定されてもよい。編集を希望しない場合には入力を行わずに参照だけを行えばよい。Ｓ１６では復帰条件が満たされたか否かが判断され、復帰条件が満たされた場合には、Ｓ２２で、簡略表示制御が実行されて、選択前の状態に戻る。その上で、Ｓ１０が再び実行される。復帰条件は、ユーザーによる復帰操作の検出、詳細表示制御の開始から一定時間の経過、等である。Ｓ１８においては、編集結果を確定する操作の有無が判断され、その操作が検出されない場合にはＳ１４からの処理が繰り返し実行される。Ｓ１８において、編集結果を確定する操作があったと判断された場合、Ｓ２０において実際にポップアップウインドウ内容が確定し、つまり管理テーブルの内容が更新される。
【００６８】
上記実施形態によれば、通常時においては超音波画像の観察を優先させ、コメント参照時にはコメント情報の参照を優先させることが可能となる。すなわち、元コメントの常時表示と追加コメントの一時的表示の併用によって、換言すれば、コメント情報表示スペースの大きさの適応的な可変によって、超音波画像の観察及びコメント情報の参照を両立させることができる。
【符号の説明】
【００６９】
４２  コメント管理部、４８  管理テーブル、７４  元コメント、８０  ポップアップウインドウ（サブウインドウ）、８６  追加コメント。
【図１】
2018138087.tif 000003
【図２】
2018138087.tif 000004
【図３】
2018138087.tif 000005
【図４】
2018138087.tif 000006
【図５】
2018138087.tif 000007
【図６】
2018138087.tif 000008
【図７】
2018138087.tif 000009
【図８】
2018138087.tif 000010
【図９】
2018138087.tif 000011
【図１０】
2018138087.tif 000012
【図１１】
2018138087.tif 000013
【図１２】
2018138087.tif 000014
【図１３】
2018138087.tif 000015
【図１４】
2018138087.tif 000016
【図１５】
2018138087.tif 000017
【図１６】
2018138087.tif 000018