(57)【要約】【課題】機器のメーカの違いや表示機能の設定によらず、医用画像機器の表示部に出力される表示画像の出力用画像信号を、どの外部画像表示装置で表示させても同じ色味で表示でき、正確な画像情報の共有を可能にする画像処理装置、画像処理システム、及び画像処理方法を提供する。【解決手段】画像処理装置３００は、モダリティの表示部に出力される出力用画像信号を入力し、出力用画像信号を規格化した規格化画像信号を出力する。画像処理装置は、基準画像信号を出力する基準画像信号出力部２７、基準画像信号の色表示情報を検出する色表示情報検出部２９、色表示情報とチャート像の色情報から表示特性プロファイルを生成するプロファイル生成部３１、出力用画像信号を表示特性プロファイルで補正した色補正画像信号を生成する表示特性補正部３５、色補正画像信号を規格化された規格化画像信号に変換する規格化処理部３７を備える。【選択図】図１
2015066262.tif 000002
【特許請求の範囲】
【請求項１】
モダリティの表示部に出力される出力用画像信号を入力し、該出力用画像信号を規格化した規格化画像信号を出力する画像処理装置であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する基準画像信号出力部と、
前記基準画像信号に基づいて前記表示部に表示された画像の色表示情報を検出する色表示情報検出部と、
前記検出された色表示情報と前記チャート像の色情報とを用いて、前記表示部の表示特性プロファイルを生成するプロファイル生成部と、
前記モダリティから入力される出力用画像信号を、前記表示特性プロファイルに基づいて補正した色補正画像信号を生成する表示特性補正部と、
生成された前記色補正画像信号を、規格化された規格化画像信号に変換する規格化処理部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記規格化処理部は、特定の色空間の規格化画像に変換する画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置であって、
前記モダリティは内視鏡装置である画像処理装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の画像処理装置と、
前記表示部を備えるモダリティと、
前記規格化画像信号を表示する外部画像表示装置と、
を備える画像処理システム。
【請求項５】
請求項４に記載の画像処理システムであって、
前記規格化処理部は、前記規格化画像信号の出力先となる前記外部画像表示装置が基準とする特定の色空間に前記色補正画像信号を変換することで、前記規格化画像信号を生成する画像処理システム。
【請求項６】
モダリティの表示部に出力される出力用画像信号を入力し、該出力用画像信号を規格化した規格化画像信号を出力する画像処理方法であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する工程と、
前記基準画像信号に基づいて前記表示部に表示された画像の色表示情報を検出する工程と、
前記検出された色表示情報と前記チャート像の色情報とを用いて、前記表示部の表示特性プロファイルを生成する工程と、
前記モダリティから入力される出力用画像信号を、前記表示特性プロファイルに基づいて補正した補正画像信号を生成する工程と、
生成された前記補正画像信号を、規格化された規格化画像信号に変換する工程と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、及び画像処理方法に関する。
【背景技術】
【０００２】
内視鏡装置等の各種のモダリティにより撮像して得た観察画像データを保存し、この保存された観察画像データのファイルを、モダリティが接続されるネットワークを通じて共有させるシステムが、医用画像管理システム（Picture Archiving and Communication Systems：ＰＡＣＳ）に組み込まれている。このシステムによれば、ネットワークに接続された外部画像表示装置から、モダリティ側で保存された観察画像データのファイルを取り出して、表示させることができる。
【０００３】
また、近年では、異なるメーカが製造した画像診断装置や医用情報サーバ等の医用画像機器の相互接続を可能とする、医用画像データ用の通信プロトコルの標準化が行われている。この規格では、画像情報や患者情報などの医用情報の内容やデータ構造、医用情報を通信する際の手順やインターフェースが細かく定められており、画像信号の色情報の基準となる色空間もその規格の一つとして挙げられている。
【０００４】
上記の観察画像データは、ネットワークに接続されるどの外部画像表示装置で表示させた場合でも、観察画像データの表示画像を常にモダリティによる検査時と同じ色味で表示させることが望まれる。一般に、複数の表示装置で同じ色味で表示させるための技術は種々提案されており、例えば特許文献１、２に示す技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２０８３６０号公報
【特許文献２】特開２０１０−２１２９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、標準表示装置に表示される画像と同じ画像を特定の表示装置に表示させる際に、標準表示装置の色表示特性に関する情報を予め較正テーブルに登録しておき、この較正テーブルを用いて特定の表示装置に出力する画像信号を補正している。しかし、仮に標準表示装置の表示特性に応じて画像信号を補正しても、特定の表示装置が、基準表示装置とは異なる規格の表示系である場合、規格の違いから正確な色表示ができない場合がある。
特許文献２の技術は、表示装置の表示内容を実測して、色度のキャリブレーションを行うものであるが、目標色度を表示画面内で平均的なレベルに合わせるものであって、基準表示装置自体の目標色度を他の表示装置の表示特性に応じて変更するものである。
また、複数の表示装置で同じ色味で表示させるには、上記した標準化された規格に基づく規格化画像データを用いればよいが、内視鏡装置や外部画像表示装置は、メーカの違いや表示機能の設定等によって、その規格化画像データに対応しない機器である場合もある。
【０００７】
内視鏡診断においては、観察画像データの微妙な色味の変化から病状を判定することがあり、観察画像データの表示に際しては、特に高い色再現性が要求されている。更に、内視鏡診断による観察画像データは、内視鏡検査終了後に観察画像を参照するため再表示する場合を始め、内視鏡検査結果の報告書に検査画像を添付したり、病理検査部門の検査報告書に病理画像を添付したりする等、内視鏡検査を実施した内視鏡装置以外の画像表示装置で観察画像データを表示させる機会が多い。
【０００８】
そこで本発明は、機器のメーカの違いや表示機能の設定によらず、モダリティの表示部に出力する出力用画像信号を、どの外部画像表示装置で表示させても同じ色味で表示でき、正確な画像情報の共有を可能にする画像処理装置、画像処理システム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は下記構成からなる。
（１）  モダリティの表示部に出力される出力用画像信号を入力し、その出力用画像信号を規格化した規格化画像信号を出力する画像処理装置であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する基準画像信号出力部と、
上記基準画像信号に基づいて上記表示部に表示された画像の色表示情報を検出する色表示情報検出部と、
上記検出された色表示情報と上記チャート像の色情報とを用いて、上記表示部の表示特性プロファイルを生成するプロファイル生成部と、
上記モダリティから入力される出力用画像信号を、上記表示特性プロファイルに基づいて補正した色補正画像信号を生成する表示特性補正部と、
生成された上記色補正画像信号を、規格化された規格化画像信号に変換する規格化処理部と、
を備える画像処理装置。
（２）  （１）に記載の画像処理装置と、
上記表示部を備えるモダリティと、
上記規格化画像信号を表示する外部画像表示装置と、
を備える画像処理システム。
（３）  モダリティの表示部に出力される出力用画像信号を入力し、その出力用画像信号を規格化した規格化画像信号を出力する画像処理方法であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する工程と、
上記基準画像信号に基づいて上記表示部に表示された画像の色表示情報を検出する工程と、
上記検出された色表示情報と上記チャート像の色情報とを用いて、上記表示部の表示特性プロファイルを生成する工程と、
上記モダリティから入力される出力用画像信号を、上記表示特性プロファイルに基づいて補正した補正画像信号を生成する工程と、
生成された上記補正画像信号を、規格化された規格化画像信号に変換する工程と、
を含む画像処理方法。
【発明の効果】
【００１０】
本発明によれば、機器のメーカの違いや表示機能の設定によらず、モダリティの表示部に出力する出力用画像信号を、どの外部画像表示装置で表示させても同じ色味で表示でき、正確な画像情報の共有が可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態を説明するための図で、画像処理システムのブロック図である。
【図２】内視鏡装置と画像処理装置の一例を示す外観図である。
【図３】表示画像の色味を一致させる手順を示すフローチャートである。
【図４】キャリブレーションによる校正処理を概念的に示す説明図である。
【図５】内視鏡装置からのモニタ出力用画像信号がキャプチャ装置に入力され、キャプチャ装置が規格化画像を生成して各外部画像表示装置に出力する様子を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は本発明の実施形態を説明するための図で、画像処理システムのブロック図である。本構成の画像処理システム１００は、モダリティの一つである内視鏡装置２００、画像処理装置としてのキャプチャ装置３００を備え、外部画像表示装置１３が接続される医用画像管理システムＰＡＣＳのネットワーク１５と接続される。
【００１３】
図２に内視鏡装置２００と画像処理装置３００の一例としての外観図を示す。内視鏡装置２００は、主に、長尺状の内視鏡挿入部１７の先端部１７ａに撮像部を有する内視鏡スコープ１９と、内視鏡スコープ１９が撮像した観察画像の画像信号が入力されるビデオプロセッサ２１と、ビデオプロセッサ２１に接続され画像情報を表示する画像表示部としてのモニタ２３とを備える。
【００１４】
キャプチャ装置３００は、モニタ２３の表示色との色合わせを行うキャリブレーション機能を有する。キャプチャ装置３００は、キャリブレーションモードに設定されると、内視鏡装置２００のモニタ２３に複数の基準色が含まれるチャート像を表示させて、表示されたチャート像の表示色を検出する。
【００１５】
そして、検出された表示色とチャート像の基準色とを対応付けすることで、モニタ２３の表示特性を表す表示特性プロファイルを生成する。このキャプチャ装置３００は、キャリブレーション時はモニタ２３の表示部２５に対面して配置され、キャリブレーション終了後はモニタ２３の表示部２５から取り外される、着脱自在な構成となっている。
【００１６】
図１に示すように、キャプチャ装置３００は、モニタ２３にチャート像を表示させるための基準画像信号を出力する基準画像信号出力部２７と、モニタ２３の表示部２５に表示されたチャート像を撮像して、チャート像の表示色を検出する色表示情報検出部としての画像センサ２９と、上記の表示特性プロファイルを生成するプロファイル生成部３１とを備える。
【００１７】
また、キャプチャ装置３００は、ビデオプロセッサ２１からモニタ２３に入力されるモニタ出力用画像信号（出力用画像信号）と同じ画像信号が入力される入力Ｉ／Ｆ３３と、詳細を後述する表示特性補正部３５、規格化処理部３７、規格化画像出力部３９、記憶部４１と、各部を制御する制御部４３とを備える。
【００１８】
なお、モニタ２３は、ビデオプロセッサ２１からのモニタ出力用画像信号の画像表示を、コントラストやゲイン等を標準状態から調整する表示調整部４５を備える。
【００１９】
上記構成の画像処理システム１００は、内視鏡装置２００がモニタ２３に表示する出力用画像信号の画像情報を、外部画像表示装置１３に表示させる場合に、モニタ２３に表示される画像の色味と、外部画像表示装置１３に表示される画像の色味とを高精度に一致させる機能を有する。
【００２０】
次に、画像処理システム１００により、モニタ２３と外部画像表示装置１３における表示画像の色味を一致させる手順について説明する。図３に表示画像の色味を一致させる手順を示すフローチャートを示す。
【００２１】
まず、内視鏡装置２００が、規格化された規格化画像データに対応可能なモダリティである場合は、キャプチャ装置３００を用いることなく、内視鏡装置２００がモニタ出力用画像信号の規格化画像信号を出力する（Ｓ６）。出力された規格化画像信号の画像データは、図示はしないが、内視鏡装置２００の記憶部や、ネットワーク１５に接続された医用画像情報サーバ等の記憶装置に保存される。
【００２２】
そして、外部画像表示装置１３は、内視鏡装置２００が保存した画像データのファイルをその規格に従って読み出して、画像表示する。その場合、規格化画像データにより外部画像表示装置１３に表示される表示画像は、内視鏡装置２００のモニタ２３に表示された表示画像と同じ色味となる。
【００２３】
しかし、内視鏡装置２００が上記の規格化画像信号に対応しないモダリティである場合、内視鏡装置２００は規格化画像信号を生成できない。そこで、キャプチャ装置３００が規格化画像信号を生成して、キャプチャ装置３００の記憶部４１やネットワーク１５に接続される外部記憶装置（図示略）等に画像データとして保存する。外部画像表示装置１３が、この保存された画像データを読み出して画像表示すれば、内視鏡装置２００のモニタ２３に表示された表示画像と同じ色味で表示できる。
【００２４】
次に、キャプチャ装置３００により規格化画像信号を生成する場合を詳細に説明する。機器設置者は、内視鏡装置で定められた手順又は内視鏡医の指示による内視鏡装置とモニタの色調整を実施する。内視鏡装置２００のモニタ２３に対する標準の表示特性プロファイルが記憶部４１等に存在しない状態であるか、或いは、モニタ２３の表示調整部４５が、標準の設定から変更された状態であるかを確認する（Ｓ２）。少なくともいずれか一方の条件を満たす場合には、キャリブレーションを実施して、表示特性プロファイルを実測により生成する（Ｓ３）。なお、設置時以外でもモニタの経年変化による表示特性の変化や、内視鏡装置やモニタの設定変更に伴ってキャリブレーションは実施される。
【００２５】
具体的には、制御部４３は、キャプチャ装置３００をキャリブレーションモードに切り替える。そして、制御部４３の指令により、基準画像信号出力部２７から複数の基準色のパッチやグレースケール等が同一面上に配列されたチャート像の基準画像信号をモニタ２３に出力させる。基準画像信号は、上記パッチやグレースケールが時系列順に表示される基準画像信号であってもよい。
【００２６】
モニタ２３は、入力された基準画像信号を表示部２５に表示する。キャプチャ装置３００は、表示部２５に表示されたチャート像を画像センサ２９で撮像し、チャート像の表示色を検出することでＲＧＢの色度特性を求める。
【００２７】
チャート像によるキャリブレーションは、例えば、ＲＧＢ（０．０．０）からＲＧＢ（２５５，２５５，２５５）までの１６７７万色の色信号をモニタ２３に表示させ、これら色信号の全て又は一部の組み合わせに対して、絶対色空間とのマッピングを行うものである。このチャート像は、表示面上の座標軸に展開されるチャート像だけでなく、時間軸上で変化するチャート像であってもよい。
【００２８】
制御部４３は、検出されたチャート像の表示色と、そのチャート像の基準色等の情報をプロファイル生成部３１に出力する。プロファイル生成部３１は、チャート像の表示色に関する表示色情報とチャート像の基準色に関する色情報とを対応付けした表示特性プロファイルを生成する。表示特性プロファイルは、モニタの駆動信号レベルを絶対色空間と対応付けたＬＵＴ（ルックアップテーブル）であり、チャート像により得られる階調特性、色度、色温度等の各種表示特性の各パラメータを、規定の標準特性に校正するために使用される。
【００２９】
図４はキャリブレーションによる校正処理を概念的に示す説明図である。規格化画像となる画像情報は、ＰＡＣＳのネットワーク１５に接続された保存先に保存され、その画像の各ピクセルのＲＧＢ輝度レベルが、ＬＵＴに定められたレベルに調整される。このＬＵＴを変更することで、外部表示装置１３に表示される画像をモニタ２３に表示された色味と合わせることができる。
【００３０】
本キャリブレーションは、例えば入力信号レベルがＰ１で、検出結果の表示輝度がＱである場合、この表示輝度Ｑを標準特性のＰ２のレベルになるように駆動信号レベルを変更するものである。実際には表示特性補正部３５にて絶対色空間と対応付けるＬＵＴと、規格化処理部３７にて絶対色空間と規格化色空間と対応付けるＬＵＴの２種類が使用され、前者がキャリブレーションにより校正される。
【００３１】
生成された表示特性プロファイルは、キャプチャ装置３００の記憶部４１やネットワーク１５に接続された外部記憶装置に保存され、モニタ出力用画像信号の補正に供される。
【００３２】
次に、制御部４３は、入力Ｉ／Ｆ３３から入力されるモニタ出力用画像信号を、連続静止画像として取り込む。表示特性補正部３５は、上記の表示特性プロファイルを用いて、取り込んだ各静止画像を内視鏡装置２００のモニタ２３の表示特性に応じた色補正を行い、色補正画像を生成する（Ｓ４）。他の方式として、静止画キャプチャ指示によって抽出された静止画のみに上記の色補正を行う場合もある。これは動画キャプチャの必要性が無い場合に処理の負荷を低減させるために用いられる。
【００３３】
規格化処理部３７は、色補正がなされた色補正画像を、所定の規格化された規格化画像に変換する（Ｓ５）。規格化された規格化画像とは、特定の色空間と変換可能な規格化画像であり、例えばsRGB、adobe RGB等の規格化画像である。DICOM規格ＰＡＣＳに送信する際には更にDICOM規格フォーマットに変換される。制御部４３は、変換された規格化画像を規格化画像出力部３９からネットワーク１５に出力する（Ｓ６）。
【００３４】
次に、上記した画像処理システム１００による作用効果について説明する。図５は、内視鏡装置２００からのモニタ出力用画像信号がキャプチャ装置３００に入力され、キャプチャ装置３００が規格化画像を生成して各外部画像表示装置１３Ａ，１３Ｂ，１３Ｃに出力する様子を示す説明図である。
【００３５】
外部画像表示装置１３ＡはsRGBの色空間画像データを表示するもので、外部画像表示装置１３Ｂはadobe RGBの色空間画像データを表示するもので、外部画像表示装置１３Ｃは他の色空間で定義される画像データを表示するものである。モニタ２３の設定で色味を調整した場合、かつ内視鏡装置２００からのモニタ出力用画像信号を、各外部画像表示装置１３Ａ，１３Ｂ，１３Ｃに直接入力した場合、外部画像表示装置１３Ａ，１３Ｂ，１３Ｃに表示される各表示画像は、外部画像表示装置１３Ａでは色空間は一致するがモニタ２３の設定が反映できず、外部画像表示装置１３Ｂ、１３Ｃでは色空間が異なりモニタ２３の設定も反映できず、いずれも内視鏡装置２００のモニタ２３に表示される表示画像と異なる色味となってしまう。
【００３６】
そこで、モニタ２３の表示特性プロファイルを有するキャプチャ装置３００にモニタ出力用画像信号を入力する。キャプチャ装置３００は、表示特性プロファイルを用いてモニタ出力用画像信号を補正した補正画像信号を求め、更に、この補正画像信号を特定の規格に基づく規格化画像に変換する。
【００３７】
各外部画像表示装置１３Ａ，１３Ｂ，１３Ｃは、変換された規格化画像が入力されると、規格化画像の規格と外部画像表示装置の規格が同じであれば、内視鏡装置２００のモニタ２３に表示される表示画像と同じ色味の画像が表示される。規格化画像の規格と外部画像表示装置の規格とが異なる場合は、異なる色味で画像が表示される。その場合には、外部画像表示装置で規格化画像の色空間の変換処理を行うことで、同じ色味の画像を表示できる。
【００３８】
また、規格化処理部３７（図１）は、特定の規格を直接指定することで、規格の種類を任意に変更できる。即ち、指定の外部画像表示装置の規格が既知である場合、その既知である規格に基づいて補正画像信号を規格化画像信号に変換する。例えば、規格化処理部３７は、sRGBが指定されるとsRGB規格に基づいて補正画像信号を変換する。これにより、指定された外部画像表示装置に適合した規格化画像信号が生成される。
【００３９】
本画像処理システム１００は、内視鏡装置２００のモニタ出力用画像を変換した規格化画像信号を、キャプチャ装置３００が出力する前述の構成に限らない。例えば、キャプチャ装置３００が、表示特性プロファイルとモニタ出力用画像とを出力して、ネットワーク１５に接続される外部機器によって規格化画像信号を生成する構成としてもよい。
【００４０】
このように、本発明は上記の実施形態に限定されるものではなく、実施形態の各構成を相互に組み合わせることや、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
内視鏡装置２００のビデオプロセッサ２１から出力されるモニタ出力用画像信号は、内視鏡装置２００以外の機器から出力される外部記録用画像信号であってもよい。また、色補正画像や規格化画像を生成する処理は、デジタルフレーム画像を取得した後に施すのではなく、連続するアナログ信号の段階で電気的に補正する方式であってもよい。
【００４１】
以上の通り、本明細書には次の事項が開示されている。
（１）  モダリティの表示部に出力される出力用画像信号を入力し、その出力用画像信号を規格化した規格化画像信号を出力する画像処理装置であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する基準画像信号出力部と、
上記基準画像信号に基づいて上記表示部に表示された画像の色表示情報を検出する色表示情報検出部と、
上記検出された色表示情報と上記チャート像の色情報とを用いて、上記表示部の表示特性プロファイルを生成するプロファイル生成部と、
上記モダリティから入力される出力用画像信号を、上記表示特性プロファイルに基づいて補正した色補正画像信号を生成する表示特性補正部と、
生成された上記色補正画像信号を、規格化された規格化画像信号に変換する規格化処理部と、
を備える画像処理装置。
（２）  （１）に記載の画像処理装置であって、
上記規格化処理部は、特定の色空間の規格化画像に変換する画像処理装置。
（３）  （１）又は（２）に記載の画像処理装置であって、
上記モダリティは内視鏡装置である画像処理装置。
（４）  （１）乃至（３）のいずれか一項に記載の画像処理装置と、
上記表示部を備えるモダリティと、
上記規格化画像信号を表示する外部画像表示装置と、
を備える画像処理システム。
（５）  （４）に記載の画像処理システムであって、
上記規格化処理部は、上記規格化画像信号の出力先となる上記外部画像表示装置が基準とする特定の色空間に上記色補正画像信号を変換することで、上記規格化画像信号を生成する画像処理システム。
（６）  モダリティの表示部に出力される出力用画像信号を入力し、その出力用画像信号を規格化した規格化画像信号を出力する画像処理方法であって、
複数色の色情報が表示面上又は時間軸上に含まれるチャート像の基準画像信号を出力する工程と、
上記基準画像信号に基づいて上記表示部に表示された画像の色表示情報を検出する工程と、
上記検出された色表示情報と上記チャート像の色情報とを用いて、上記表示部の表示特性プロファイルを生成する工程と、
上記モダリティから入力される出力用画像信号を、上記表示特性プロファイルに基づいて補正した補正画像信号を生成する工程と、
生成された上記補正画像信号を、規格化された規格化画像信号に変換する工程と、
を含む画像処理方法。
【符号の説明】
【００４２】
１３  外部画像表示装置
１５  ネットワーク
１７  内視鏡挿入部
２１  ビデオプロセッサ
２３  モニタ
２５  表示部
２７  基準画像信号出力部
２９  画像センサ（色表示情報検出部）
３１  プロファイル生成部
３５  表示特性補正部
３７  規格化処理部
３９  規格化画像出力部
４１  記憶部
４３  制御部
４５  表示調整部
１００  画像処理システム
２００  内視鏡装置（モダリティ）
３００  キャプチャ装置
【図１】
2015066262.tif 000003
【図２】
2015066262.tif 000004
【図３】
2015066262.tif 000005
【図４】
2015066262.tif 000006
【図５】
2015066262.tif 000007