Anasayfa

İstatistiksel Değerlendirme ve Raporlama

İstatistiksel Değerlendirme ve Raporlama

İstatistiksel değerlendirilme yapılmadan önce, katılımcıların sonuçları gözle kontrol edilerek analiz ve hesap yapmadan düzeltilebilecek hatalar için katılımcılara dönüş yapılır. Katılımcıların varsa düzeltmeleri raporda “D/İlk Sonuç” olarak belirtilir. LABKAR programında sonuçların istatistiksel değerlendirmesi yapılırken katılımcı sayısına göre yöntem belirlenir. İstatistik değerlendirmeye alınan katılımcı sayısının 2 veya daha çok ancak 14 veya daha az olması durumunda robust istatistik yapılmaz, ancak istatistik değerlendirme yapılır. Sonuç sayısının 15’e eşit veya fazla olması durumunda ISO 13528:2015 “Statistical methods for use in proficiency testing by interlaboratory comparisons” standardı temel alınarak robust istatistik yapılır. Grubbs testinin %95 güven aralığı ile gerçekleştirilebilmesi için gerekli olan en küçük populasyon sayısı 7 olduğu için, bu değer kullanılmaktadır. ISO 13528:2015 standardı D.1.3.2 maddesinde ise robust (sağlam) istatistiksel yöntemlerin kullanılabilmesi için populasyon sayısının alt sınırı olarak 15 sayısı önerilmektedir.


Aşağıdaki durumlarda istatistik değerlendirme yapılmaz:

  1. İstatistik değerlendirmeye alınan sonuç sayısının 2’den az olması durumunda,
  2. İstatistik değerlendirmeye alınan sonuç sayısının 6’ya eşit ya da daha az olması durumunda katılımcı sonuçlarının standart sapmasının program standart sapmasının 2 katından büyük olması halinde,
  3. İstatistik değerlendirmeye alınan sonuç sayısının 6’ya eşit ya da daha az olması durumunda referans metodun veya referans metodun uyarlık değerinin bulunmadığı hallerde,
  4. Sayısal olmayan ve (<, > v.s) şekilde raporlanan ölçümlerin sayısının sonuç sayısının %20’sinden fazla olduğu ve (<, > v.s) şekilde raporlanan ölçüm sonuçlarının sayısal sonuçlar ile uyumlu olmadığı durumlarda,
  5. Sayısal sonuç verilemeyen ölçümler (kalitatif ölçümler),

Bu ölçümlere ait z-skor, z΄-skor ve zeta-skor değerleri de raporlanmamaktadır.


Aykırı Değerlerin Belirlenmesi
Analiz sonuçları istatistiksel değerlendirmeye alınmadan önce kontrol edilir. Kontrol yapıldıktan sonra, istatistik değerlendirmeye alınan katılımcı sayısı 7 ile 14 (her ikisi de dahil) olması durumunda veriler Grubbs yöntemi (%1) ile aykırı değer testine alınır. Aykırı değer kalmayıncaya kadar test tekrarlanır. Aykırı değer olduğu belirlenen ölçümler, raporda (AD) ile gösterilir. Sayısal sonuç sayısının 15’e eşit veya daha fazla olduğu durumda istatistiksel değerlendirme ISO 13528:2015’de verilen yöntemler kullanılarak yapılır. Bir ölçümün aykırı değer olarak işaretlenmesi performans değerlendirmesi değildir. Aykırı değerler tanımlanmış
değer hesaplanmasında kullanılmaz.


Program Standard Sapmalarının Belirlenmesi
Numunelerin homojenlik, kararlılık ve katılımcıların performans değerlendirmelerinin yapılabilmesi için programa ait standard sapmanın belirlenmesi gerekmektedir. LABKAR’da program standard sapması, referans metodun uyarlık değerinin 2,8’e bölünmesi ile hesaplanır. Referans metod olarak ürün ana standartlarında verilmiş olan metodlar kullanılmaktadır. Ürün ana standardı bulunmuyorsa, katılımcıların kullandığı ISO, TS, EN vb. standartlar referans metod olarak değerlendirilir. Birden fazla referans metod varsa en büyük uyarlık değeri, R olarak alınır.


Referans metodun veya referans metodun uyarlık değerinin bulunmadığı analitler için 

  1. İstatistik değerlendirmeye alınan katılımcı sayısının 6’ya eşit ya da daha az olması durumunda, program standart sapma değeri belirlenmez,
  2. İstatistik değerlendirmeye alınan katılımcı sayısının 7 ile 14 (her ikisi de dahil) olması durumunda, program standart sapma değeri aykırı değerler çıkartıldıktan sonra kalan sonuçların standart sapması olarak,
  3. İstatistik değerlendirmeye alınan katılımcı sayısının 15’e eşit ya da daha fazla olması durumunda, program standart sapma değeri ISO 13528:2015 C.5.2.2 maddesinde verilen Q metodu kullanılarak hesaplanır.

İstatistiksel değerlendirme yapılamayan durumlarda program standard sapma değeri belirlenmez.

Tanımlanmış Değer ve Tanımlanmış Değer Belirsizliğinin Hesaplanması
Her bir analit için tanımlanmış değer olarak,

  1. İstatistik değerlendirmeye alınan katılımcı sayısının 6’ya eşit ya da daha az olması durumunda sonuçların sapma değeri program standart sapma değerinin 2 katından az ise medyan değeri kullanılarak,
  2. Sayısal sonuç sayısının 7 ile 14 (her ikisi de dahil) arasında olduğu durumda;
    • o aykırı değerler çıkartıldıktan sonra kalan sonuçların ortalama değeri,
    • o aykırı değer sayısının istatistiksel değerlendirmeye alınan sonuç sayısının %20’sinden fazla olması durumunda kalan sonuçlar ile medyan değeri,
    • o (<, > v.s) şekilde raporlanan ölçümlerin sayısı sonuç sayısının %20’sinden fazla ve sayısal sonuçlar ile uyumlu ise, aykırı değer sayısı sonuç sayısının %20’sinden az olması durumunda ortalama değer,
    • o (<, > v.s) şekilde raporlanan ölçümlerin sayısı sonuç sayısının %20’sinden fazla ve sayısal sonuçlar ile uyumlu ise, aykırı değer sayısı sonuç sayısının %20’sinden fazla olması durumunda sonuçların sapma değeri program standart sapma değerinin 2 katından az ise medyan değeri,
  3. İstatistik değerlendirmeye alınan katılımcı sayısının 15’e eşit ya da daha fazla olması durumunda, ISO 13528:2015 C.5.3 maddesinde verilen Hampel metodu kullanılarak hesaplanır.

İstatistiksel değerlendirme yapılamayan durumlarda tanımlanmış değer belirlenmez.


Ayrıca her bir analit için tanımlanmış değer belirsizliği,

  1. İstatistik değerlendirmeye alınan katılımcı sayısının 6’ya eşit ya da daha az olması durumunda, sonuçlar ile hesaplanan standart sapma (SD) ve ölçüm sayısı (p) kullanılarak, Şekil I (a),
  2. İstatistik değerlendirmeye alınan katılımcı sayısının 7 ile 14 (her ikisi de dahil) arasında olması durumunda, aykırı değerler çıkartıldıktan sonra kalan sonuçlar ile hesaplanan standart sapma (SD’) ve kalan ölçüm sayısı (p’) kullanılarak, Şekil I (b),
  3. İstatistik değerlendirmeye alınan katılımcı sayısının 15’e eşit ya da daha fazla olması durumunda, robust istatistik yöntem ile bulunan standart sapma (s*) kullanılarak hesaplanır, Şekil I (c).


Sonuçların istatistiksel olarak z-skor yöntemi ile değerlendirilebilmesi için tanımlanmış değer belirsizliğinin ihmal edilebilir olması gerekmektedir. ISO 13528’de belirtildiği gibi eğer tanımlanmış değer belirsizliği program standard sapmasının %30’una eşit ya da %30’undan küçük ise ihmal edilebilir, Şekil I (d).

Belirsizliğin azalmasında en önemli ölçüt katılımcı sayısıdır. Katılımcı sayısı ne kadar çok olur ise belirsizlik o kadar azalacak ve sağlıklı sonuçlar elde edilecektir. Raporda, genişletilmiş ölçüm belirsizliği beyan edilmektedir ve standard belirsizliğinin k=2 olarak alınan genişletme katsayısı ile çarpımı sonucunda bulunan değerdir ve %95 oranında güvenilirlik sağlamaktadır.

Sonuçların Değerlendirilmesi
Tanımlanmış değer belirsizliğinin ihmal edilebildiği durumlarda z-skor değerleri hesaplanarak raporlanmaktadır. Belirsizliğin ihmal edilemeyecek kadar büyük olduğu durumlarda z-skorlar hesaplanmaz ve raporlanmaz. Tanımlanmış değer belirsizliğinin ihmal edilemediği, dolayısıyla z-skor değerlerinin hesaplanamadığı durumda z-skor yerine z΄-skor değerleri hesaplanır ve raporlanır. z΄-skor değerleri içerisinde tanımlanmış değer belirsizliğinin de etkisi katılmış olduğundan, z-skor değerlerine göre daha esnek bir değerlendirme yapılır. Diğer bir deyişle, z΄-skor değerleri z-skor değerlerinden daha küçüktür. Bu yüzden laboratuvarların performanslarının uyarı veya önlem olarak değerlendirilmesi daha zor olur. z-skor ve z΄-skor değerleri laboratuvarların kendi ölçüm sonuçlarını tanımlanmış değere ve diğer laboratuvarlara göre karşılaştırmaları için kullanılır. z- ve z΄-skor değerleri Şekil I (e) ve Şekil I (f)'de bulunan denklemler kullanılarak hesaplanır:


Normal dağılım varsayımına göre z- ve z΄-skor değerlerinin yaklaşık %95’i -2 ve +2 arasındadır. Analiz sonuçlarının bu sınırlar içerisinde olması beklenmelidir. z- ve z΄-skor değeri -2’den küçük veya +2’den büyük olması durumunda bu bir ‘UYARI’ olarak algılanmalıdır. z- ve z΄-skor değerinin -3’den küçük veya +3’den büyük olması ‘ÖNLEM’ alınmasını gerektirir. Aşağıda verilen şartların olması durumunda laboratuvarların harekete geçmesi önerilir: 

  • Herhangi bir ‘ÖNLEM’ gerektiren sonuçta.
  • Birbirini takip eden iki ‘UYARI’ alan sonuçta.
  • Tanımlanmış değere karşı aynı yönde hatanın olduğu birbirini takip eden 9 sonuçta.

Ayrıca daha önce de belirtildiği gibi sayısal sonuç verilmeyen ölçümler için program standard sapması belirlenemediğinden z- ve z΄-skor değerleri raporlanmamaktadır. Bu durumda sadece katılımcılara ait sonuçlar verilir. Analiz sonuçları ile beraber raporlanan ölçüm belirsizliğinin değerlendirilmesi için zeta-skor değerleri hesaplanmıştır. Katılımcı sonuçlarından elde edilen ortak değer tanımlanmış değer olarak kullanıldığından, tanımlanmış değer ile katılımcı sonuçları birbirlerinden etkilenir (ISO 13528:2015 Madde 9.6.1). Bu nedenle zeta-skor (ζ) değerleri katılımcılara sadece ölçüm belirsizlikleri hakkında fikir vermek için raporlanmıştır. UYARI ve ÖNLEM yorumları verilmemekte olup aşağıdaki koşullara göre bir değerlendirme yapılabilir.



Laboratuvarların performanslarını yukarıdaki ölçütler çerçevesinde değerlendirmeleri için karşılaştırma programına düzenli katılımları önemlidir.

Raporlama

Her çevrim sonunda katılımcı laboratuvarlara birer rapor gönderilir. Raporda çevrime katılan laboratuvarların sonuçları ve z/z′ ve zeta-skorları, katılımcı sayısı, istatistik değerlendirmeye alınan katılımcı sayısı, aykırı değerler çıkarıldıktan sonra kalan ölçüm sayısı, raporlanan en yüksek ve en düşük değer, tanımlanmış değer ve genişletilmiş tanımlanmış değer belirsizliği, program standart sapması, değerlendirme yöntemi ve birimler istatistiksel değerlendirmenin yapıldığı analitler için belirtilir. Şüpheli sonuçlar raporlarda “UYARI”, yeterli olmayan sonuçlar ise “ÖNLEM” şeklinde belirtilir. Raporlar yayınlandığında katılımcılara e-posta ile bilgilendirme yapılır.