Fapas® ONLINE CHARTING FACILITY FOR PARTICIPANTS –A TECHNICAL GUIDANCE NOTE＜FAPAS チャート機能のテクニカルガイダンスノート＞
Mark Sykes, Head of Science, Fapas® Proficiency Testing, fapas.com
March 2019

Introduction
技能試験において定量試験の技能は z-スコアで判定されます。z-スコアについての説明は資料[1]に記載されています。しかしながら、一つの z-スコアはその技能試験実施時点での技能を示しているにすぎません。ラボの技能を測るには長期間に渡る z-スコアの傾向を見る必要があります。
z-スコアの傾向を見ることで、再現性のある技能なのか、系統的な偏りがあるのか、の二点を見ることができます。ラボの認定機関や顧客は、ラボの参加データをプロットすることで、技能に偏りがないか確認したり、ある場合は是正することを期待しています。この時の注意事項として、同じ技能試験提供者の技能試験において、長期間のトレンドを比較するべきであるということです。異なる技能試験提供者の場合、統計処理の方法が異なり、単純に z-スコアを比較できない可能性があるからです。特に技能評価に用いる標準偏差（FAPAS のレポートでは σp と表示されています。）は同じ方法で算出されなくてはなりません。
長期における技能のトレンドを確認する方法は資料[1]で説明されていますが、適用・解釈は簡単
ではありません。チャートを手動で作成し、常にアップデートしていくより簡単でコストがかからない方法があります。FAPAS のセキュアウェブサイトではこのチャート機能が備わっており、全ての技能試験スキームにおいて無料で利用することができます。この文書ではこの機能のコンセプトとメカニズムを説明していきます。
The performance in a quantitative proficiency test (PT) is measured in most PTs by the use of thez-score. The interpretation of a z-score is well documented [1]. However, a single z-score by itself
offers only the laboratory performance at the time of that PT. A better measure of laboratory
performance is to understand the trend of z-scores over a long period of time. Furthermore, thiscan actually provide two measures; compliance (or otherwise) with the expected reproducibility
precision and any systematic bias. Your accreditation body and customers will expect you to beplotting your participation data to identify and correct any trends in performance.
The caveat to this is that the laboratory should compare long term trends against PTs from the sameprovider, since different PT providers might apply different performance calculations. In particular,
the standard deviation for proficiency assessment (denoted as σp in Fapas® reports) needs to beconsistently derived.
The process of long term trending of PT performance is documented (see reference list in [1]) but
not always easily applied and interpreted. It also relies on someone manually creating andconstantly updating the generated control charts. Is there an easier and more cost-effective
mechanism for undertaking this task?
The short answer is yes. The Fapas® SecureWeb interface for participants has this facility built inand has now been extended to include all the scheduled PT schemes, including the water andenvironmental sector. This technical note explains the concepts and mechanisms for accessing this(free of charge) facility as a Fapas® participant.

Reproducibility precision＜再現性精度＞

精度の測定にはいろいろな異なったものがありますが、これらはすべて一つの許容値周辺でのばらつき(あるいは不一致)の推定に関与しています。品質管理チャートにおいては再現性の精度を見ます。
Page 1 of 4これに関連した問は以下の通りです。
・我々が得る結果が、長い期間の違いや、分析者が異なったり、母材が異なったりに寄ってどの程度変化するのか。
・その変動はコントロールされているのか。
技能試験評価は既知の再現性精度の測定に従って定義されます。これは z-スコアの式の分母となるσp（技能試験の標準偏差）です。チャートを機能させる為には各 z-スコアのσp は同じ方法で導き出されなくてはなりません。FAPAS の z-スコアは同じ方法で導き出されたものなので、FAPAS 技能試験の z-スコアチャートは関連性・連続性を持っています。
注意：異なる技能試験提供者の z-スコアを一緒にチャート化できるのは、σp が同じ方法で導き出されている場合のみです。
There are different types of precision measurements, all of which involve an estimate of dispersion(or variance) around an accepted value. For the purposes of quality control charts, the type ofprecision of interest is that of reproducibility.
Relevant questions to ask are:••

How much do our results vary over a long period of time, across different analysts andmaterials?
Is that variation under control?

Proficiency test assessments are defined by compliance to a known measure of reproducibility
precision. This is the denominator σp (standard deviation for proficiency assessment [1]) in the zscore equation. In order for the control chart to be useful, σp has to be derived in the same way foreach z-score being charted. Fortunately, the z-scores in Fapas® PTs are highly consistently derived,
so charting z-scores from Fapas® assessments has both relevance and continuity. A control chartfrom Fapas® has that confidence of consistency automatically built in.
Note: charting z-scores obtained from different PT providers all together is only relevant if σp isderived in the same way between the different providers.

Probability and interpretation of precision＜精度の確率と解釈＞技能試験の統計処理では正規分布を仮定しています。そのため、通常の状況下でおよそ 20 分の 1の確率で z-スコアは±2 を超える可能性があります。FAPAS のレポートの z-スコアヒストグラムやチャートにおいて見やすくする為に-2 と＋2 に線を表記しています。
また、通常の状況下で z-スコアが±3 を超えるのは 300 分の 1 の確率です。z-スコアが±2 から±3 の間にある場合は、単純に統計的例外である可能性があるため、必ずしも是正措置が必要というわけではないかもしれません。同じ種類の技能試験に長期間参加し、その技能評価を見ることで統計的例外が起こった可能性を統計的に見ることが可能になります。
The normal probability distribution curve is a defining part of PT statistical processes. Therefore,
there is approximately a 1-in-20 chance that a z-score will fall outside of ±2 under normal
circumstances. This is why the Fapas® z-score histograms in reports and the control charts featurethe -2 and +2 lines for ease of visual inspection.
It should be remembered that a z-score outside of ±3 has a chance of occurring under normal
circumstances only with a rate of about 1 in 300. A z-score between ±2 and ±3 might simply be astatistical anomaly and not necessarily require corrective action. Only a long-term knowledge ofperformance in the same type of PTs will establish the statistical probability for these occurrences
for each laboratory.

Page 2 of 4

Bias
＜偏り＞
分析結果にはいくつかの偏りがありますが、使用した分析方法が偏っていることを示すのでしょうか？z-スコアがゼロとなるのは極めて珍しいことです（付与値と比較して偏りがゼロということです。）。もしラボの z-スコアが常にプラス値またはマイナス値となるのなら、分析方法に偏りがあることを示しているかもしれません。もし z-スコアのプラス値・マイナス値がほぼ半々であるなら、一般的にバイアスがないことを示しています。片方（プラス値、マイナス値）への偏りは、その分析方法が数値を大きく見積もるあるいは少なく見積もる偏りがあることを示しています。
FAPAS のチャート機能は z-スコアのバイアスの存在を示唆することで、適切な是正措置を取れるようになります。
There inevitably will be some bias in each analytical result but does that mean that the method being
applied is biased? A z-score of exactly 0 will occur only rarely (zero bias compared to the assignedvalue). If your z-scores are consistently all positive or all negative values, however, that might
indicate a bias in the method. If the proportion of z-scores approximates 50:50 (positive:negative)then this indicates a general lack of bias. A higher proportion of z-scores in one direction (positiveor negative) indicates an over-estimate or under-estimate bias.
The Fapas® charting tool additionally provides an indication of the bias in the z-scores, from whichappropriate action can be taken.

Fapas® SecureWeb charting＜FAPAS のセキュアウェブでのチャート機能＞＜FAPAS のセキュアウェブでのチャート機能＞
FAPAS のチャート機能は、各参加者のセキュアウェブサイトで利用することができます。‘ My
Account’のページにログインし、‘Charts - Go to Charts’をクリックするとチャートの選択画面に入ります。ここで、どのチャートが見たいのかフィルタリングします。フィルタリングは母材-分析項目の組み合わせや、特定の期間、分析担当者などで行えます。表示されたチャートは特定の期間だけを拡大させることもできます。またデータポイントにカーソルを合わせることでそのデータポイントの詳細な情報が表示されるようになっています。
さらに、データポイントをクリックするとそのレポートや証明書をダウンロードできるリンクが表示されます。
2018 年から結果報告時に複数の結果を報告できるようになり、この追加で提出した結果もチャートに表示させることができます。レポートに掲載された正式な結果は●で、追加で提出した結果は▲で表示されます。‘Plot by Analyst’の機能を使うと各分析担当者の技能を分かりやすく表示させることができます。より詳しい機能の説明は別の文書で FAPAS ウェブサイトに掲載されていますのでご確認ください。
The charting facility for Fapas® participants is available from the Fapas® SecureWeb interface foreach user. Having logged into ‘My Account’ the ‘Charts - Go to Charts’ link, takes you to the selectionpage. The facility is comprehensive, providing a variety of filters with which to target particularanalyses (matrix / analyte combinations). Analyte groups and matrix groups can also be selected.
The date range can be selected, or charts can be zoomed to particular time intervals. Further filters
can be applied on the chart itself and additional detail on each data point can be viewed by hovering
the cursor over the point.
Links to other Fapas® SecureWeb functions are available by clicking on the data points to go to therelated PT report, certificate of participation and to search for similar products in the catalogue.
Page 3 of 4

Since 2018, Fapas® results entry has permitted multiple results to be entered. The charting facility
additionally shows these extra results, identified by a triangle icon, rather than the circle icon
(representing the laboratory overall result). A ‘Plot by Analyst’ function further allows a quick andeasy check of individual analyst or technician performance.
Note: you can only view charts for matrix / analyte combinations in which you have participated.
Further guidance on how to use the charting feature, which includes screen shots, is available as aseparate document from our website [2].

Data exports＜データの出力＞FAPAS のレポートはデジタル署名され保護されていますので、チャート分析やその他 zZ-スコアを使ったデータ分析を行うためには手動で書き写すしか方法がありませんでした。チャート機能の一つとしてチャート表示したデータをダウンロードするオプションがあり、手動で書き写す作業をなくすことができます。
Some laboratories prefer to undertake their own charting or trending analysis, especially where there
are multiple sites to include in such a comparison. Fapas® reports are locked and digitally signed
PDF files, so historically, the only method to capture all the data was to transcribe each assessment
manually. Now, as part of the new charting facility, there is also the option to download the samedata in a spreadsheet-compatible format, to avoid the manual transcription.

References
1Fapas®, 2017, Protocol for Proficiency Testing Schemes, Version 6, April 2017,
Part 1 – Common Principles, available from: fapas.com/technical-documentation

2Charting Guide – October 2018.pdf, available from: fapas.com/technical-documentation

Page 4 of 4