(57)【要約】  デカルト色空間（例えばＲＧＢ）において色画素ベクトルａ＝［ａ１，ａ２，ａ３］によって定義された画素を含む自然な医療画像の色可視化及び分離のための方法に関する。色画素ベクトルは純四元数ｑ＝ａ１ｉ＋ａ２ｊ＋ａ３ｋによって表され、ｉ、ｊ、ｋは、ｉ２＝ｊ２＝ｋ２＝ｉｊｋ＝−１，ｉｊ＝−ｊｉ＝ｋ，ｊｋ＝−ｋｊ＝ｉ，ｋｉ＝−ｉｋ＝ｊを満たす。画像は、直交２Ｄ平面の分割を用いて、ｑ＋＝（１／２）（ｑ＋ｆｑｇ），ｑ−＝（１／２）（ｑ−ｆｑｇ）によりｑ＋及びｑ−へ分解される。ｆ及びｇは純単位四元数であるか、対話的に決定又は計算された色（ｓ１，ｓ２）を記述する。本方法は、ディジタル画像における所定の色の迅速な可視化及び分離を可能にし、純単位四元数ｆ及びｇによって対応する分解を定義して可視化又は分離可能な色の種類に関する柔軟な定義を可能にする。色ｓ１，ｓ２は画像から手動で定義されるか又は自動的に計算可能である。
2021521523.tif 000002
【特許請求の範囲】
【請求項１】
デカルト色空間において色画素ベクトルａ＝［ａ１，ａ２，ａ３］によって定義された画素を含む自然な医療画像の色可視化及び分離のための方法であって、
上記色画素ベクトルは純四元数ｑ＝ａ１ｉ＋ａ２ｊ＋ａ３ｋによって表され、ｉ、ｊ、ｋは次式を満たし：
ｉ２＝ｊ２＝ｋ２＝ｉｊｋ＝−１，ｉｊ＝−ｊｉ＝ｋ，ｊｋ＝−ｋｊ＝ｉ，ｋｉ＝−ｉｋ＝ｊ
上記画像は、次式に係る直交２Ｄ平面の分割の概念を用いて、ｑ＋及びｑ−へ分解され：
ｑ＋＝（１／２）（ｑ＋ｆｑｇ），ｑ−＝（１／２）（ｑ−ｆｑｇ）
ｆ及びｇは純単位四元数であるか、又は、ｆ及びｇは対話的に決定又は計算された色（ｓ１，ｓ２）を記述する、
方法。
【請求項２】
上記決定又は計算された色は上記画像に含まれる色であり、好ましくは、ｆ＝ｇ又はｆ≠ｇである、
請求項１記載の方法。
【請求項３】
ｆ及びｇは、次式の純単位四元数の１つ又は複数に対応する：
μ１＝ｉ，μ２＝ｊ，μ３＝ｋ，μ４＝（ｉ＋ｊ）／√２，μ５＝（ｉ＋ｋ）／√２，μ６＝（ｊ＋ｋ）／√２，μ７＝（ｉ＋ｊ＋ｋ）／√３，μ８＝（−ｉ＋ｊ）／√２，μ９＝（−ｉ＋ｋ）／√２，μ１０＝（−ｊ＋ｋ）／√２，μ１１＝（−ｉ＋ｊ＋ｋ）／√３，μ１２＝（ｉ−ｊ＋ｋ）／√３，μ１３＝（ｉ＋ｊ−ｋ）／√３
請求項１又は２記載の方法。
【請求項４】
ｆ及びｇは、純単位四元数μａ又はμａμｂ又はμａμｂμｃであり、ａ、ｂ、及びｃは１から１３までの整数である、
請求項３記載の方法。
【請求項５】
上記色空間はデカルト色空間であり、好ましくはＲＧＢである、
請求項１〜４のうちの１つに係る方法。
【請求項６】
ｑ＋及びｑ−は、３つの色チャネルＲ（赤）、Ｇ（緑）、及びＢ（青）のうちの１つをそれぞれ形成する実数の集合に変換可能である、
請求項１〜５のうちの１つに係る方法。
【請求項７】
上記実数は、予め定義された範囲に正規化されるか、又は、上記実数は、０未満である場合に０に切り上げられ、１より大きい場合に１に切り下げられる、
請求項６記載の方法。
【請求項８】
複雑な色分離ワークフローのために複数回の色可視化及び分離ステップが反復的に実行される、
請求項１〜７のうちの１つに係る方法。
【請求項９】
色可視化により教師付き機械学習ワークフローの性能向上（分類）をもたらす、
請求項１〜８のうちの１つに係る方法。
【請求項１０】
色可視化及び分離は、医療画像分析、科学的調査、ソーシャルメディア、マルチメディア及びグラフィックス、航空学、深海及び宇宙探査（コンピュータ写真の分野において実行される、
請求項１〜９のうちの１つに係る方法。
【請求項１１】
実装は、追加の科学的／技術的な洞察を提供し、新たな機能を有する製品を作成又は強化し、組織及び細胞の診断のワークフロー及びパイプラインを増大させることを提供する、
請求項１〜１０のうちの１つ又は複数に係る方法。
【請求項１２】
請求項１〜１１のうちの１つに係る方法を実行するように実装されたソフトウェアモジュール。
【請求項１３】
請求項１〜１１のうちの１つに係る方法を実行するように実装された集積回路。
【請求項１４】
カメラ（１）、計算装置（２）、ディスプレイ装置（３）、及び入力装置（４）を備えた画像分析のための装置であって、
上記計算装置（２）は、請求項１２記載のソフトウェアモジュール及び／又は請求項１３記載の集積回路を備える、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色可視化及び分離のための方法、ソフトウェアモジュール、及び集積回路に関する。本発明は、特に、医療画像分析のための方法、ソフトウェアモジュール、及び集積回路に関する。
【背景技術】
【０００２】
色分離及び可視化はリソース及び時間がかかる処理であり、従って、これらの問題の迅速（リアルタイム又はほぼリアルタイムの）かつ効率的なソリューションが必要とされる。
【０００３】
画像の自動分析は、医学、科学的調査、ソーシャルメディア、マルチメディア及びグラフィックス、航空学、深海及び宇宙探査、コンピュータ写真などのような多数の分野において重要である。
【０００４】
医学診断法では、及び特に、パソミクス（pathomics）で、生体内原一のタンパク質を染色するために特定の標識が付与された抗体が使用される。関心対象の特定の部位における染色された組織の強度及び分布を分析することで、病気（例えば癌）の診断又は予後に関する臨床的に重要な情報を提供することができる。診療所における一般的な習慣は、中程度の拡大率を有する光学顕微鏡を用いて染色の視覚的なスコアリングを行うことである。しかしながら、視覚的なスコアリングは時間がかかり、また、主観的となりうる。
【０００５】
染色された組織のコンピュータに支援された分析は、処理時間を短縮し、観察者間のばらつきを減少させる。染色の画像分析は、概して、染料成分、例えば、免疫反応の生成物（茶色；ジアミノベンジジン）及び対比染色染料としてのヘマトキシリン（青色）を区別することで実行される。染料を可視化及び分離することは、パソミクス、例えば染色された組織の定性及び定量分析の分野における重要な処理である。
【０００６】
医学診断法でのディジタル画像は、繰り返された評価、遠隔病理学、品質保証、アーカイブ及び共有、教育及び会議、画像分析、研究及び出版、マーケティング及びビジネスの目的、及び追跡のために一次診断を行うために使用可能である。ディジタル画像処理は、４つのキーステップ、すなわち、画像取得と、保存及び管理と、操作及び注釈と、画像の閲覧又は送信とを含む。
【０００７】
病理学は、典型的には、臨床医が画像を検査し、関連情報を抽出し、診断の決定を行うことをともなう。形態に加えて、色は、評価する医師（又はアルゴリズム）にとっての主要なガイドパラメータを表す。特定の色を識別するための画像の処理は、例えば、色逆畳み込みアルゴリズムを用いて実行され、これらは多くのリソースを必要とし、比較的長い計算時間を有する可能性がある。カラー画像における特定の色の識別は、評価フェーズを著しく遅くするボトルネックを表す。画像がより大きくなると、典型的には、特定の色を識別するためにより多くの計算リソース及び時間が必要になる。
【０００８】
画像の画素は、四元数によって表すことができる。四元数は、１つの実数部及び３つの虚数部を有する超複素数である。色は、原点に対する３つの座標として知覚可能であり、原点はしばしば黒色に一致するように選択される。従って、色は、黒色から所定の向き及び大きさを有して符号化空間における任意の点に到達するベクトルによって定義することができる。一例として、色は、３原色の線形結合によって構成されるベクトルによって表すことができる。デカルト色空間、例えばＲＧＢにおいて、基本要素ｉは赤を記述するため、ｊは緑を記述するため、また、ｋは青を記述するために選択される。原色の線形結合によって任意の色が符号化されるので、色画素は、超複素数代数フレームワーク、すなわち四元数における３つの基底ベクトルの線形結合によって符号化することができる。このことは、色画像を幾何学的方法で処理する機会を提供し、従って、色の四元数表現は、画像処理及び解析を、よりコヒーレントな方法で実行できるようにする。
【０００９】
非特許文献１は、四元数数学に関連するものであり、また、フィルタリングに関するアプリケーションを提示する。
【００１０】
非特許文献２もまた、四元数数学に関連するが、後に顔認識で使用するために、その成分を平行及び垂直のものとして定義する。
【００１１】
非特許文献３は、改善された両側四元数フーリエ変換を報告する。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Sangwine et al.，"Linear colour-dependent image(<-n) filtering based on vector decomposition"; 11th European Signal Processing Conference; Sept. 3-6，2002，Toulouse，France
【非特許文献２】Lan and Zhou，"Quaternion Decomposition Based Discriminant Analysis for Color Face Recognition"; IEEE International Conference on Systems，Man，and Cybernetics SMC 2016; Oct. 9-12，2016，Budapest，Hungary
【非特許文献３】Hitzer，"General two-sided quaternion Fourier transform，convolution and Mustard convolution"; Adv. Appl. Clifford Algebras 27; May 12，2016，p. 381-395
【非特許文献４】J.P. Morais et al.，"Real Quaternionic Calculus Handbook"，Springer，Basel，2014，Chapter 1
【非特許文献５】E. Hitzer et al.，"Quaternion and Clifford Fourier Transforms and Wavelets"，Springer，Heidelberg，2013，Chapter 2.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した従来技術は、画像における、色可視化及び分離を潜在的なアプリケーションであると識別せず、自然画像及び医療画像における教師なし又は教師付きの色可視化（再カラー化及び非カラー化）又は色分離を記述していない。
【００１４】
本発明は、超複素数（四元数）代数のフレームワークにおいて染色情報をディジタル的に可視化及び分離する、簡単で、迅速で、柔軟な方法を提供する。本質的に、本発明の目的は、画像における所定の色を可視化及び識別するための高速かつ効率的なソリューションを提供することにある。本目的は独立請求項の要旨によって果たされる。好ましい実施例は対応する従属請求項において提供される。
【課題を解決するための手段】
【００１５】
本発明は、デカルト色空間（例えばＲＧＢ）において色画素ベクトルａ＝［ａ１，ａ２，ａ３］によって定義された画素を含む画像の色可視化及び分離のための方法を提供する。色画素ベクトルは純四元数ｑ＝ａ１ｉ＋ａ２ｊ＋ａ３ｋによって表される。ｉ、ｊ、ｋは次式を満たす。
【００１６】
ｉ２＝ｊ２＝ｋ２＝ｉｊｋ＝−１，ｉｊ＝−ｊｉ＝ｋ，ｊｋ＝−ｋｊ＝ｉ，ｋｉ＝−ｉｋ＝ｊ
【００１７】
画像は、次式に係る直交２Ｄ平面の分割の概念を用いて、ｑ＋及びｑ−へ分解される。
【００１８】
ｑ＋＝（１／２）（ｑ＋ｆｑｇ），ｑ−＝（１／２）（ｑ−ｆｑｇ）
【００１９】
ここで、ｆ及びｇは純単位四元数である。
【００２０】
四元数代数は、直交２Ｄ平面の分割の概念を用いて、カラー画像を分解するためのフレームワークを提供する。このことは、特に、画素がベクトルによって表されるディジタル画像の色可視化及び分離に有用である。これらのベクトルは分解可能であり、従って、画像から色情報を抽出することができる。
【００２１】
本方法は、ディジタル画像における所定の色を迅速に可視化及び分離できるようにするだけでなく、純単位四元数ｆ及びｇによって対応する分解を定義することにより、可視化又は分離可能な色の種類に関する柔軟な定義を可能にする。好ましくは、ｆ及びｇは純単位四元数であるか、又は、ｆ及びｇは対話的に決定又は計算された色ｓ１，ｓ２を記述する。色ｓ１，ｓ２は画像から手動で定義されるか又は自動的に計算可能である。
【００２２】
ｑ＋及びｑ−における画素は、３つ組（３つの実数）に）変換可能であり、各３つ組は、色チャネルＲ（赤）、Ｇ（緑）、及びＢ（青）を形成する。各三つ組の値は、ｎ×ｍ×３アレイを形成する行列に配置可能であり、（ｎ，ｍ）は画像における対応する画素の座標である。
【００２３】
行列又はアレイ全体の実数は、予め定義された範囲に、特に０〜１の範囲に正規化可能である。さらに、行列の実数は、０未満である場合に０に切り上げられ、１より大きい場合に１に切り下げられる、そのようなステップは色の分離のために行われる。処理の後、３つの行列が色画像に連結されてもよく、又は、各色チャネルは独立して分析されてもよい。
【００２４】
画像が分解される前に、以下を含む前処理ステップを実行可能である。
【００２５】
・各純四元数ｑに対する演算［ｌｎ（ｑ）ｅｘｐ（ｑ）］、
・四元数を、３つの色チャネルＲ、Ｇ、及びＢをそれぞれ定義する三つ組に変換し、結果として生じる行列の値を予め定義された範囲０〜１に正規化する。
【００２６】
前述した方法のうちの１つ又は複数が逐次に実行され、第１の実行では色分離は実行されず、第２の（又はさらなる）実行で色分離ステップが実行される。そのようなシーケンスにおいて、同じ方法を繰り返してもよく、又は、異なる方法を逐次に実行してもよい。すべての方法は、直交２Ｄ平面の分割の概念を用いて画像を分解するステップを含む。各方法は、分解のために異なる純単位四元数ｆ及びｇを用いる点で異なってもよく、又は、各方法は上述したような追加のステップを含む。
【００２７】
従って、幾何学的考察を考慮して簡単な代数演算により画像の四元数表現を都合よく書き直すことによって、染色された組織の画像を数学的に分解して、染色において符号化された色原体情報を可視化及び分離可能な異なるスペクトル表現にすることを実現できる。この画素に基づくアプローチは、現代の計算システムにおける並列アーキテクチャ（例えば、複数のプロセッサ及び複数のグラフィックスカード）を利用することで、計算上効率的である。利点は、以下の２つの要素に翻訳することができる。
ｉ）臨床医による染色された組織のより良好な手動評価（例えば、ホットスポット及び弱い染色のより容易な識別、など）のための手段としての要素（可視化）、及び
ｉｉ）さらなる定量化のための染色されたエリアをディジタル的に分離するキーのステップとしての要素（分離）。
【００２８】
本質的に、（可視化フェーズにおける）本発明の寄与は、例えば臨床医又は科学者に、染色された組織の画像の頑健かつ場合によらず不変な代替の視覚的表現を（リアルタイム又はほぼリアルタイムで）提供することにある。（分離フェーズにおける）本発明の寄与は、例えば臨床医又は科学者又はアルゴリズムに、染色された組織の画像における特定の色の簡単かつ迅速な分離を提供することにある。これによって、専門家の解釈（又はアルゴリズムの実装）にポジティブに影響を与えることができ、従って、一貫性があり、正確で、かつ効率的な診断の性能を提供し、次いで、大規模な専用トレーニングの必要性を低減することができ、また、臨床医の視覚的な専門技術又は自動化されたアルゴリズムのワークフローの効率を増大させることができる。
【００２９】
第１の態様によれば、本発明は、デカルト色空間において色画素ベクトルａ＝［ａ１，ａ２，ａ３］によって定義された画素を含む自然な医療画像の色可視化及び分離のための方法を提供する。色画素ベクトルは純四元数ｑ＝ａ１ｉ＋ａ２ｊ＋ａ３ｋによって表される。ｉ、ｊ、ｋは次式を満たす。
【００３０】
ｉ２＝ｊ２＝ｋ２＝ｉｊｋ＝−１，ｉｊ＝−ｊｉ＝ｋ，ｊｋ＝−ｋｊ＝ｉ，ｋｉ＝−ｉｋ＝ｊ
【００３１】
画像は、次式に係る直交２Ｄ平面の分割の概念を用いて、ｑ＋及びｑ−へ分解される。
【００３２】
ｑ＋＝（１／２）（ｑ＋ｆｑｇ），ｑ−＝（１／２）（ｑ−ｆｑｇ）
【００３３】
それによって、ｆ及びｇは純単位四元数であってもよく、又は、ｆ及びｇは対話的に決定又は計算された色（ｓ１，ｓ２）を記述する。
【００３４】
一実施形態によれば、決定又は計算された色は、画像に含まれていてもよい。
【００３５】
一実施形態によれば、ｆ＝ｇ又はｆ≠ｇである。
【００３６】
一実施形態によれば、
ｆ及びｇは、次式の純単位四元数のうちの１つ又は複数に対応してもよい。
【００３７】
μ１＝ｉ，μ２＝ｊ，μ３＝ｋ，μ４＝（ｉ＋ｊ）／√２，μ５＝（ｉ＋ｋ）／√２，μ６＝（ｊ＋ｋ）／√２，μ７＝（ｉ＋ｊ＋ｋ）／√３，μ８＝（−ｉ＋ｊ）／√２，μ９＝（−ｉ＋ｋ）／√２，μ１０＝（−ｊ＋ｋ）／√２，μ１１＝（−ｉ＋ｊ＋ｋ）／√３，μ１２＝（ｉ−ｊ＋ｋ）／√３，μ１３＝（ｉ＋ｊ−ｋ）／√３
【００３８】
好ましくは、ｆ及びｇはそれぞれ、上述した純単位四元数のうちの１つに独立に対応する。
【００３９】
好ましくは、ｆ及びｇは、純単位四元数μａ又はμａμｂ又はμａμｂμｃであり、ａ、ｂ、及びｃは１から１３までの整数である。
【００４０】
一実施形態によれば、色空間はデカルト色空間であってもよく、好ましくはＲＧＢである。
【００４１】
一実施形態によれば、ｑ＋及びｑ−は、３つの色チャネルＲ（赤）、Ｇ（緑）、及びＢ（青）のうちの１つをそれぞれ形成する実数の集合に変換可能である。好ましくは、実数は、予め定義された範囲に正規化されるか、又は、実数は、０未満である場合にゼロに切り上げられ、１より大きい場合に１に切り下げられる。
【００４２】
一実施形態によれば、複雑な色分離ワークフローのために複数回の色可視化及び分離ステップが反復的に実行される。
【００４３】
一実施形態によれば、色可視化により教師付き機械学習ワークフローの性能向上（分類）をもたらす。
【００４４】
一実施形態によれば、色可視化及び分離は、医療画像分析、科学的調査、ソーシャルメディア、マルチメディア及びグラフィックス、航空学、深海及び宇宙探査（コンピュータ写真の分野において実行される。
【００４５】
一実施形態によれば、実装は、追加の科学的／技術的な洞察を提供し、新たな機能を有する製品を作成又は強化し、組織及び細胞の診断のワークフロー及びパイプラインを増大させることを提供する。
【００４６】
第２の態様によれば、本発明は、本発明に係る方法を実行するように実装されたソフトウェアモジュールを提供する。
【００４７】
第３の態様によれば、本発明は、本発明に係る方法を実行するように実装された集積回路を提供する。
【００４８】
第４の態様によれば、本発明は、カメラ、計算装置、ディスプレイ装置、及び入力装置を備えた画像分析のための装置であって、計算装置は、本発明に係るソフトウェアモジュール及び／又は集積回路を備える。
【００４９】
しかしながら、本発明の使用は、臨床又は医療の使用に限定されない。むしろ、本発明は、カラー画像から所定の色又は色の組み合わせを可視化及び分離できる場合、例えば、科学的調査、ソーシャルメディア、マルチメディア及びグラフィックスなど、任意の種類の処理において使用可能である。
【図面の簡単な説明】
【００５０】
【図１】色可視化及び分離のための装置を概略的に示す図である。
【図２】対合ｉ・（）・ｊ及びｆ・（）・ｇを幾何学的に示す図であって、マップｉ・（）・ｊは、ｑ−平面を２Ｄのｑ＋軸平面のまわりに１８０°回転させ（左）、同様にｆ・（）・ｇ（右）を示す。
【図３】本発明の方法に従って色可視化及び分離に使用可能である、純単位四元数を対応するグラフとともに示す図である。
【図４ａ】染色された（色）組織を模擬する、構成要素となる複数の正方形が３つの異なるパターンで占有されている合成画像を示す図である。
【図４ｂ】本発明の方法に従って図４ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図４ｃ】本発明の方法に従って図４ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図４ｄ】本発明の方法に従って図４ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図５ａ】染色された（色）組織を模擬する、構成要素となる複数の正方形が３つの異なるパターンで占有されている合成画像を示す図である。
【図５ｂ】本発明の方法に従って図５ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図５ｃ】本発明の方法に従って図５ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図５ｄ】本発明の方法に従って図５ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図６ａ】染色された（色）組織を模擬する、構成要素となる複数の正方形が４つの異なるパターンで占有されている合成画像を示す図である。
【図６ｂ】本発明の方法に従って図６ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図６ｃ】本発明の方法に従って図６ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【図６ｄ】本発明の方法に従って図６ａの合成画像を処理することで生成された異なる色チャネルを示す図である。
【発明を実施するための形態】
【００５１】
本発明の例は、添付の図面によって詳細後述される。
【００５２】
図１に、本発明に係る方法を実行するための装置を概略的に示し、本装置は、カメラ１、計算装置２、ディスプレイ装置３、及び入力装置４を備える。計算装置２は、通常、スタンドアロンの計算装置として実装され、入力装置４は、キーボード又は他の入力装置として実装される。しかしながら、さらに、計算装置２がカメラ１へ一体化されてもよい。そのような実装において、計算装置は、好ましくは、組み込み型計算システムを備える。
【００５３】
カメラ１はレンズ系５を備え、レンズ系５は、プローブ６をスキャンするためにプローブ６に向けられる。図１に示すような現在の実施例では、プローブ６は平坦な物品である。カメラ１は、任意の種類の顕微鏡に組み込まれてもよい。カメラ１は、ヒト又は動物の身体の血管をスキャンするために医療用カテーテルに組み込まれてもよい。そのような場合、プローブ６を照射するために光源が設けられる。計算装置２において、画像の色可視化及び分離のための方法を実行するソフトウェアモジュールが格納されて実行される。
【００５４】
本発明に係る方法は四元数代数に基づく。四元数の基礎的な代数学は、非特許文献４で説明されている。実四元数の代数Ｈは、次式を満たす標準基底１，ｉ，ｊ，ｋを有する実数体Ｒの上における４次元（４Ｄ）の非可換な代数である。
【００５５】
ｉ２＝ｊ２＝ｋ２＝ｉｊｋ＝−１，ｉｊ＝−ｊｉ＝ｋ，ｊｋ＝−ｋｊ＝ｉ，ｋｉ＝−ｉｋ＝ｊ      （１）
【００５６】
四元数は、実数上に定義された４Ｄベクトル空間とみなすことができる。四元数は、従来の複素数の一般化でもあり、４つの要素、すなわち１つの実数部及び３つの虚数部からなる。四元数は、しばしば、次の形式で表される。
【００５７】
ｑ＝ｑｒ＋ｑｉｉ＋ｑｊｊ＋ｑｋｋ      （２）
【００５８】
ｑｒ，ｑｉ，ｑｊ，ｑｋ∈Ｒである。式２によれば、ｑｒは実数（スカラー）部と呼ばれ、ｑｉｉ＋ｑｊｊ＋ｑｋｋはベクトル部と呼ばれる。四元数の共役はスカラー部を変更せず、次式で定義される。
【００５９】
【数１】
2021521523.tif 000003
【００６０】
四元数のノルムは次式で与えられる。
【００６１】
｜ｑ｜＝√（ｑｒ２＋ｑｉ２＋ｑｊ２＋ｑｋ２）      （４）
【００６２】
本質的に、ｑｒ＝０の場合、ｑは純四元数である。｜ｑ｜＝１かつｑｒ＝０の場合、ｑは純単位四元数である。四元数による算術演算及び代数演算は、非特許文献４に説明されている。四元数の分割は、四元数フーリエ変換における２つの項の一貫性のある出現によって動機づけられる。
【００６３】
【数２】
2021521523.tif 000004
【００６４】
この観察（ｉは左側にあり、ｊは右側にある）と、すべての四元数を、次式
ｑ＝ｑｒ＋ｑｉｉ＋ｑｊｊ＋ｑｋｋ＝ｑｒ＋ｑｉｉ＋ｑｊｊ＋ｑｋｉｊ      （６）
のように書き直せることとにより、一対の正規直交純単位四元数ｉ，ｊに関する四元数の分割を動機づけた。
【００６５】
ｑ＝ｑ＋＋ｑ−，ｑ＝（１／２）（ｑ±ｉｑｊ）      （７）
【００６６】
基本的には、例えば、ｉをｊで置換し、ｊをｋで置換することにより、基本的な観察事項ではなく単に記法が変更されるであろう。この四元数の分割は、直交２Ｄ平面の分割と呼ばれる（図２）。四元数の直交２Ｄ平面の分割に関する詳細は、非特許文献５で見つけることができる。任意の２つの四元数ｐ，ｑが与えられ、かつ、直交２Ｄ平面の分割を適用するとき、結果として生じる２つ部分は直交する。マップｉ・（）・ｊは、Ｈの適応化された直交基底をもたらす。
【００６７】
ｉｑｊ＝ｑ＋−ｑ−      （８）
【００６８】
マップｉ・（）・ｊの下では、ｑ＋部分は不変であるが、ｑ−部分は符号を変化させる。両方の部分は２Ｄであり、２つの直交平面を形成し、よって、名前直交平面の分割をもたらす。ｑ＋及びｑ−平面は直交四元数基底を有する。
【００６９】
ｑ＋：｛ｉ−ｊ＝ｉ（１＋ｉｊ），１＋ｉｊ＝１＋ｋ｝，ｑ−：｛１＋ｊ＝ｉ（１−ｉｊ），１−ｉｊ＝１−ｋ｝      （９）
【００７０】
４つの基底四元数｛１−ｊ，１＋ｉｊ，１＋ｊ，１−ｉｊ｝のすべては、Ｒ４として解釈されるＨの直交基底を形成する。図２の左側において、幾何学的な像が取得される。マップｉ・（）・ｊは、２Ｄのｑ＋軸平面のまわりにｑ−平面を１８０°回転させる。幾何学的解釈に合わせると、マップｉ・（）・ｊは、２回適用することにより恒等写像になるので対合である。
【００７１】
ｉ（ｉｑｊ）ｊ＝ｉ２ｑｊ２＝（−１）２ｑ＝ｑ      （１０）
【００７２】
任意のペアの純単位四元数ｆ，ｇを仮定すると、直交２Ｄ平面の分割は、次式のように、任意の純単位四元数ｆ及びｇに関して定義される。
【００７３】
ｑ±＝（１／２）（ｑ±ｆｑｇ），ｆｑｇ＝ｑ＋−ｑ−      （１１）
【００７４】
ｆ・（）・ｇの下では、ｑ＋部分は不変であるが、ｑ−部分は符号を変化させる。両方の部分は２Ｄであり、２つの直交平面を形成する。ｆ≠ｇについて、ｑ＋及びｑ−平面は、２つの直交四元数によってそれぞれ形成される。
【００７５】
ｑ＋：｛ｆ−ｇ，１＋ｆｇ＝−ｆ（ｆ−ｇ）｝，ｑ−：｛ｆ＋ｇ，１−ｆｇ＝−ｆ（ｆ＋ｇ）｝      （１２）
【００７６】
ｆ＝ｇについては、Ｈの完全な正規直交４Ｄ基底は次式になる。
【００７７】
｛１，ｆ，ｊ’，ｋ’｝＝［ｉ（ｉ＋ｆ）］−１（１，ｉ，ｊ，ｋ）［ｉ（ｉ＋ｆ）］，ｑ＋：｛ｊ’，ｋ’｝，ｑ−：｛１，ｆ｝      （１３）
【００７８】
任意の２つの四元数ｐ及びｑが与えられ、かつ、任意の２つの純単位四元数ｆ及びｇに関する直交２Ｄ平面の分割を適用するとき、混合積のスカラー部分についてゼロを得る。Ｒ４における任意の２Ｄ平面は、直交平面の分割を決定し、また、その逆も成り立つ。マップｆ・（）・ｇの幾何学的解釈については、図２の右側を参照されたい。ここでは、ｑ−平面をｑ＋軸平面のまわりに１８０°回転させる。
【００７９】
デカルト色空間（例えばＲＧＢ）における画像の画素は３つの成分を有し、それらは純四元数を用いて、四元数形式で表されてもよい。例えば、カラー画像ｑの座標（ｎ，ｍ）における画素は、次式のように表されてもよい。
【００８０】
ｑ（ｎ，ｍ）＝ｒ（ｎ，ｍ）ｉ＋ｇ（ｎ，ｍ）ｊ＋（ｎ，ｍ）ｋ      （１４）
【００８１】
ｒ（ｎ，ｍ）、ｇ（ｎ，ｍ）、及びｂ（ｎ，ｍ）はそれぞれ、画素の赤、緑、及び青の成分である。画素値を表す四元数の虚数部の選択は、色画素をベクトルとして解釈することで決定される。四元数の虚数部は３つの成分を有し、３空間ベクトルに関連付けられてもよい。このように、カラー画像は、純四元数を要素として有するサイズｎ×ｍの行列として表される。実数及び複素数のシステムは、１Ｄ及び２Ｄのデータの算術演算を行うために使用されるが、四元数は、３つ組の数の代数演算取り扱う、すなわちカラーデータを直接に表すことができる。
【００８２】
上述したように、四元数は、任意の純単位四元数ｆ及びｇに関する直交２Ｄ平面の分割を介して都合よく分解することができる。ｑ＋及びｑ−平面の分解は次式により定義される。
【００８３】
ｑ＋＝（１／２）（ｑ＋ｆｑｇ），ｑ−＝（１／２）（ｑ−ｆｑｇ）      （１５）
【００８４】
これらの分解において、本発明者らは、純四元数ｉ、ｊ、ｋ、ｉ＋ｊ、ｉ＋ｋ、ｊ＋ｋ、及びｉ＋ｊ＋ｋから導出される純単位四元数μ１〜μ１３の組み合わせとなるようにマップｆ・（）・ｇを定義する。例えば、ＲＧＢ色空間におけるμ７は、輝度軸に対応する方向である。シンボル（）は、純四元数形式において色画素を示す。図３において、式を対応するグラフとともに示す。
【００８５】
純単位四元数ｆ及びｇの初期選択は、ｆ＝ｇの概念、すなわち次式に基づく。
【００８６】
μ１・（  ）・μ１，μ２・（  ）・μ２，μ３・（  ）・μ３，μ４・（  ）・μ４，μ５・（  ）・μ５，μ６・（  ）・μ６，及び  μ７・（  ）・μ７
【００８７】
ｆ及びｇの最終的な選択は、ｆ≠ｇの概念に基づく。これらの分解において、ｆ・（）・ｇは、純粋な単位四元数μ１〜μ１３の組み合わせになるように一般化される。第１のインスタンスにおいて、ｆ及びｇは各々、単一の純単位四元数（例えば、ｆ＝μ１及びｇ＝μ２）に等しく、すなわち次式が得られる（重複を避けるため、ｆ＜ｇ）。
【００８８】
μ１・（  ）・μ２，μ１・（  ）・μ３，μ１・（  ）・μ４，μ１・（  ）・μ５，μ１・（  ）・μ６，μ１・（  ）・μ７，μ２・（  ）・μ３，μ２・（  ）・μ４，μ２・（  ）・μ５，μ２・（  ）・μ６，μ２・（  ）・μ７，μ３・（  ）・μ４，μ３・（  ）・μ５，μ３・（  ）・μ６，μ３・（  ）・μ７，μ４・（  ）・μ５，μ４・（  ）・μ６，μ４・（  ）・μ７，μ５・（  ）・μ６，μ５・（  ）・μ７，及び  μ６・（  ）・μ７
【００８９】
最終的なインスタンスにおいて、ｆ及びｇは各々、単一の純単位四元数に等しいか、又は、２つ又は３つの純単位四元数の積に等しく、例えば、ｆ＝ｆＡｆＢ＝μ１μ２及びｇ＝ｇＡｇＢ＝μ４μ６が得られる（重複を避けるため、ｆＡ＜ｆＢ＜ｇＡ＜ｇＢ及び四元数乗算の特性）。多数の組み合わせが存在するが、スペースを考慮して図示しない。
【００９０】
四元数代数は、デカルト色空間（例えばＲＧＢ）において色画素ベクトルａ＝［ａ１，ａ２，ａ３］によって定義された画素を含む画像の色可視化及び分離のための本発明に係る方法によって適用される。色画素ベクトルは、純四元数ｑ＝ａ１ｉ＋ａ２ｊ＋ａ３ｋによって表され、画像は可視化され、直交２Ｄ平面の分割の概念を用いてｑ＋及びｑ−に分離される。これにより、適切な純単位四元数を選択することで、画像をｑ＋及びｑ−に分解することを可能にする。この計算は、計算装置によって、わずかなステップ数で、従って迅速に実行可能である。これは画素に基づくアプローチであり、従って、現代のプロセッサ及びグラフィックのカードによって並列化され、高速に実行可能である。
【実施例】
【００９１】
図４〜図６において、画像の色可視化及び分離のための本発明に係る方法を適用した実施例を提供する。
【００９２】
第１の実施例Ａ１は、画像における所定の色の可視化のための方法である。この実施例は以下のステップを含む。
【００９３】
・色画像（要素∈Ｒ）を入力して、四元数行列（要素∈Ｈ）に変換する。
・μ１からμ１３（要素∈Ｈ）までの関心対象の任意の純単位四元数の組み合わせを用いて直交２Ｄ平面の分割を実行する。
・四元数行列を、３つの色チャネルＲ、Ｇ、及びＢに対応する３つの実行列（要素∈Ｒ）に変換する。
・各行列又はアレイ全体の値を、対応する最小値及び最大値（要素∈Ｒ）を用いて、範囲０〜１に正規化する。
・３つの行列を１つに連結して、色画像（要素∈Ｒ）を出力する。
【００９４】
カラー画像（例えばＲＧＢ）は、赤、緑、及び青の色の値を表す３つの成分をそれぞれ有する画素を備える。画素はアレイを形成し、画素の座標（ｎ，ｍ）が割り当てられる。式１４によれば、各画素を四元数ｑ（ｎ，ｍ）によって表すことができる。
【００９５】
この実施例の第１のステップにおいて、カラー画像が入力される。第２のステップにおいて、画素は四元数ｑ（ｎ，ｍ）に変換され、純四元数を要素として含むサイズｎ×ｍの行列に配置される。次いで、純単位四元数（μ１〜μ１３）の組み合わせを用いて直交２Ｄ平面の分割が実行される。物理的な用語では、このことは、画像を、元の画像に関して異なる色を有する２つの画像（ｑ＋，ｑ−）に分解することに対応する。ｆ及びｇの適切な選択によって、元の画像の異なるスペクトル表現を生成することができる。
【００９６】
次いで、画像（ｑ＋，ｑ−）はそれぞれ、３つの色チャネルＲ、Ｇ、及びＢに対応する３つの行列に変換される。画素を記述する純四元数の３つの成分は、式１４に従って抽出され、ここで、ファクターｒは赤の強度であり、ファクターｇは緑の強度であり、ファクターｂは青の強度である。座標（ｎ，ｍ）を有する色チャネルＲの行列は、すべてのファクターｒを備える。Ｇ及びＢについて、対応する行列が生成される。
【００９７】
各行列又はアレイ全体の値は、対応する最小値及び最大値を用いて範囲０〜１に正規化される。正規化ステップにおいて、３つの色の強度が変更される。次いで、３つの行列がマージされて、各（ｑ＋，ｑ−）についての色画像にされ、それにより出力を構成する。
【００９８】
この方法によって、元の画像は、所定の色が強調されるようにｆ及びｇを定義することで迅速に分解することができる。このことは、１つ又は複数の色を有するプローブの画像を分析する際に特に有利である。ベクトルｆ及びｇは、関心対象の色が容易に強調されるような方法で選択される。
【００９９】
第２の実施例Ｂ１ａは、画像における所定の色を分離する方法である。
【０１００】
・色画像（要素∈Ｒ）を入力して、四元数行列（要素∈Ｈ）に変換する。
・μ１からμ１３（要素∈Ｈ）までの関心対象の任意の純単位四元数の組み合わせを用いて直交２Ｄ平面の分割を実行する。
・四元数行列を、３つの色チャネルＲ、Ｇ、及びＢに対応する３つの実行列（要素∈Ｒ）に変換する。
・０未満である各行列の値を０に切り上げ、１より大きいものを１に切り下げる（要素∈Ｒ）。
・３つの行列を１つに連結して、色画像（要素∈Ｒ）を出力する。
【０１０１】
第２の実施例Ｂ１ａは、実質的に第１の実施例Ａ１に対応するが、値を正規化するステップを、各行列の値を切り上げる又は切り下げるステップで置き換えらことにおいてのみ異なる。０未満である値は０に切り上げられ、１より大きいものは１に切り下げられる。この方法によって、背景は、色をより簡単に分離できるように均質化される。
【０１０２】
さらに、３つの行列を連結して色画像にする代わりに、３つの色チャネルは別々に見られてもよい。このことは、ここで説明した他のすべての実施例にあてはまる。
【０１０３】
図４ａは、個々の正方形がチェス盤パターン、正方形パターン、及び一様なグレーパターンで占有される合成画像（染色された組織を模擬する）を示す。チェス盤パターンは染料ＤＡＢ（茶色）に対応し、正方形パターンは対比染色染料ヘマトキシリン（青色）に対応し、一様なグレーパターンは背景に対応する。この合成画像は、実施例Ｂ１ａに係る方法によって処理された。分解ステップについては、μ７がｆ及びｇの両方に使用される。ｑ＋画像は、赤、緑、青のチャネルをそれぞれ示す図４ｂ〜図４ｄについて計算される。赤のチャネルは、元の画像における茶色の画素（チェス盤パターン）を含み、青のチャネルは、元の画像における青色の画素（正方形パターン）を含む。従って、赤及び青のチャネルにおいて、（染料ＤＡＢ及び対比染色染料ヘマトキシリンの）色が正確に分離される。このことは、実際、染料及び対比染色染料が正確に茶色又は青色でないが、茶色及び青色の所定の強度範囲内の色をそれぞれ有する場合（染色処理の間に生じうる実験的なばらつきを表す）である。
【０１０４】
図５ａ〜図５ｄは、合成画像（染色された組織を模擬する）が実施例Ｂ１ａに係る方法によって処理された同様の実施例を示す。合成画像は、染料Ｖｉｎａ  Ｇｒｅｅｎについて緑の画素（チェス盤パターン）を含み、対比染色染料ヘマトキシリンについて青の画素（正方形パターン）を含み、背景について一様なグレーパターンの画素を含む。ｆ及びｇについてμ７による同じ分解が適用された。緑のチャネルは、元の画像における染料Ｖｉｎａ  Ｇｒｅｅｎに対応する画素（チェス盤パターン）を含み、青のチャネルは、対比染色染料ヘマトキシリンに対応する画素（正方形パターン）を含む。
【０１０５】
ｆ及びｇについてのμ７による実施例Ｂ１ａに係る方法は、Ｆａｓｔ  Ｒｅｄ／ヘマトキシリン又はヘマトキシリン及びエオシン（Ｈ＆Ｅ）染料などのような、他の染料の色を同様に分離するために使用可能である。
【０１０６】
本方法は、二重染色を可視化するために使用可能である。図６ａは、染料ＤＡＢについて正方形が茶色で占有され（チェス盤パターン）、染料Ｆａｓｔ  Ｒｅｄについて正方形が明るい赤色で占有され（正方形パターン）、対比染色染料ヘマトキシリンについて正方形が青色で占有され（対角線のパターン）、背景について正方形が一様なグレーパターンで占有される合成画像（染色された組織を模擬する）を示す。さらに、この画像は、実施例Ｂ１ａに係る方法によって処理された。図６ｂは、染料ＤＡＢ（チェス盤パターン）及び染料Ｆａｓｔ  Ｒｅｄ（正方形パターン）の画素を含む赤のチャネルを示す。青のチャネルは、対比染色染料ヘマトキシリンに対応する画素（対角線パターン）を含む。
【０１０７】
本方法は、前述した染色により現実世界の画像への適用に成功した。色チャネルＲ、Ｇ、及びＢにおいて、異なる染料の分離に成功した。
【０１０８】
第３の実施例Ｂ１ｂは、画像における所定の色を分離する別の方法である。
【０１０９】
・色画像（要素∈Ｒ）を入力し、四元数行列に変換し、次いで、要素ごとに演算［ｌｎ（ｑ）ｅｘｐ（ｑ）］（ｑ要素∈Ｈ）を実行する。
・ｎ×ｍ×３アレイに変換し、その値を、構成要素となる各行列（ｎ，ｍ要素∈Ｒ）の最小値及び最大値を用いて範囲０〜１に正規化する。
・四元数行列（要素∈Ｈ）に変換する。
・μ１からμ１３（要素∈Ｈ）までの関心対象の任意の純単位四元数の組み合わせを用いて直交平面の分割を実行する。
・四元数行列を、３つの色チャネルＲ、Ｇ、及びＢに対応する３つの実行列（要素∈Ｒ）に変換する。
・０未満である各行列の値を０に切り上げ、１より大きいものを１に切り下げる（要素∈Ｒ）。
・３つの行列を１つに連結し、色画像を出力する。出力の色チャネルは各染料の寄与分に対応する（要素∈Ｒ）。
【０１１０】
第３の実施例Ｂ１ｂに係る方法は、実質的に第２の実施例Ｂ１ａの方法に対応するが、四元数行列に変換し、要素ごとの演算を実行し、次いでｎ×ｍ×３アレイに変換してその値を正規化する追加のステップにおいてのみ異なる。これらの追加のステップは、不均一なグレー背景を均一な黒色背景に変換する効果がある。このことは分離ステップをより効率的にする。
【０１１１】
第４の実施例Ｂ１ｃは、画像における所定の色を分離する別の方法である。
【０１１２】
・色画像（要素∈Ｒ）を入力して、四元数行列（要素∈Ｈ）に変換する。
・ユーザによって対話的に決定された値（例えば、点又はエリアサンプリング）又は自動化された方法によって計算された値（要素∈Ｈ）を用いて直交２Ｄ平面の分割ｑ＋＝（１／２）（ｑ＋ｓ１ｑｓ２）を実行する。ここで、ｓ１，ｓ２は、染料１及び染料２のベクトルである。
・四元数行列を、３つの色チャネルＲ、Ｇ、及びＢに対応する３つの実行列（要素∈Ｒ）に変換する。
・０未満である各行列の値を０に切り上げ、１より大きいものを１に切り下げる（要素∈Ｒ）。
・３つの行列を１つに連結し、色画像を出力する。出力の色チャネルは各染料の寄与分に対応する（要素∈Ｒ）。
【０１１３】
第４の実施例Ｂ１ｃは、実質的に第２の実施例Ｂ１ａの方法に対応するが、直交２Ｄ平面の分割を実行する方法においてのみ異なる。分割のために、純単位四元数μ１〜μ１３の代わりにベクトルｓ１，ｓ２が使用される。ベクトルｓ１，ｓ２は、画像の２つの色、すなわち染料１及び染料２の色を記述する。この分解によって、ｓ１及びｓ２に対応する画像における色が強調される。
【０１１４】
色ベクトルは、ユーザによって対話的に、例えば、染料の色に対応する元の画像からの画素を選択することによって決定可能である。さらに、色ベクトルを計算するために自動化された方法を使用可能であり、このことは、色を効率的に取得できるという利点を有する。前述したすべての実施例において、ベクトルｓ１，ｓ２は純粋な単位四元数μ１〜μ１３の代わりに利用可能である。
【０１１５】
前述の実施例は異なる方法で変更可能である。例えば、第３及び第４の実施例において、切り下げ及び切り上げを正規化ステップに交換することができる。また、純単位四元数を適切に選択して、第１の実施例Ａ１に係る可視化方法を実行し、その後、第２〜第４の実施例に係る分離ワークフローを実行することもできる。
【０１１６】
多段式のアプローチでは、二重、三重、又は多重の染色のために、いくつかの分離方法を組み合わせることができる。１つ又は複数の分離方法は、各染料の寄与分及び背景の染料について、純単位四元数又は色ベクトルｓ１，ｓ２を適切に選択して、第１の実施例Ａ１に係る可視化方法に従うことができる。そのような可視化方法は元の画像の色を変更し、これにより、より効率的な分離を可能にする。分離は、第２〜第４の実施例（Ｂ１ａ〜Ｂ１ｃ）に従って実行可能である。
【０１１７】
例えば、茶色及び赤色で染色された細胞構造物と、青色で染色された背景としての細胞核とを含む二重染色の場合、染料を分離するために異なる方法が組み合わされてもよい。
ｉ）画像において茶色及び赤色の染料のみが、ただし異なる色で現れるように、第１の実施例Ａ１に係る可視化方法が実行され、次いで、実施例Ｂ１ａ〜Ｂ１ｃのうちの任意のものを用いて分離が行われる。ｉｉ）画像において赤色の染料のみが現れるように（他のすべては背景である）、第１の実施例Ａ１に係る可視化方法が実行され、次いで、実施例Ｂ１ａ〜Ｂ１ｃのうちの任意のものを用いて分離が行われる（茶色の染料の場合と同様）。
【符号の説明】
【０１１８】
１  カメラ
２  計算装置
３  ディスプレイ装置
４  入力装置
５  レンズ系
６  プローブ
【図１】
2021521523.tif 000005
【図２】
2021521523.tif 000006
【図３】
2021521523.tif 000007
【図４ａ】
2021521523.tif 000008
【図４ｂ】
2021521523.tif 000009
【図４ｃ】
2021521523.tif 000010
【図４ｄ】
2021521523.tif 000011
【図５ａ】
2021521523.tif 000012
【図５ｂ】
2021521523.tif 000013
【図５ｃ】
2021521523.tif 000014
【図５ｄ】
2021521523.tif 000015
【図６ａ】
2021521523.tif 000016
【図６ｂ】
2021521523.tif 000017
【図６ｃ】
2021521523.tif 000018
【図６ｄ】
2021521523.tif 000019
【国際調査報告】
2021521523.tif 000020
2021521523.tif 000021
2021521523.tif 000022