Anasayfa

İstatistiksel Değerlendirme ve Raporlama

İstatistiksel Değerlendirme ve Raporlama

Homojenlik Değerlendirilmesi

Homojenlik değerlendirmesi için alınan numuneler arasından rastgele 10 numune seçilir ve numuneler katılımcılara gönderilmeden önce ODTÜ Petrol Araştırma Merkezi Laboratuvarlarında analiz edilerek, homojenlik değerlendirilmesi yapılır. Homojenlik değerlendirilmesinde kullanılan analizler raporun Homojenlik Testi başlığı altında verilmektedir. Homojen olmadığı belirlenen numuneler için katılımcı performansları tüm parametrelerde ISO 13528:2015 B.2.5 b maddesine göre z’-skor ile değerlendirilir.

Numune alma hatası ve analiz tekrarlanabilirliği parametrelerini hesaba katmak için homojenlik değerlendirmesi ISO 13528:2015 B.2.3 maddesinde verilen F test metoduna göre yapılır.

Kararlılık Değerlendirilmesi

Numunelerin özelliklerinin zaman içinde değişmeden kalması katılımcıların ölçümlerinin tutarlılığı açısından önem taşıdığı için numunelerin kararlılık değerlendirmesi yapılmaktadır. Kararlılık değerlendirmesi için, alınan numuneler arasından rastgele 3 numune seçilir ve katılımcılar veri girişini tamamladıktan sonra ODTÜ Petrol Araştırma Merkezi Laboratuvarları’nda homojenlik değerlendirmesinde kullanılan ölçümler stabilite numuneleri kullanılarak yapılır.

ISO 13528:2015 B.4.2.3 maddesinde verilen yönteme göre hesaplanan stabilite ölçümlerinin ortalaması ile homojenite ölçümlerinin ortalamasınıın mutlak değerce farkı alınır ve program standart sapma değerinin 0,3 katıyla karşılaştırılır. Bu farkın program standart sapma değerinin 0,3 katından küçük veya eşit olduğu durumda numunelerin kararlı olduğu, büyük olduğu durumda ise kararlı olmadığı kabul edilir.

Kararlılık analiz sonuçlarının değerlendirilmesi sonrasında “numune kararlı değil” sonucu elde edilirse ISO 13528:2015 B.5.2 (c) maddesine göre kararlılık kabul kriteri tekrar değerlendirilir. Buna göre, homojenite ve stabilite ölçümlerine ait ölçüm belirsizliği değerlerinin kareleri toplamının karekökü %95 güvenlik seviyesinde k=2 ile çarpılarak (0,3xprogram standart sapma) değerine eklenir. Tekrar yapılan bu değerlendirmeden sonra kararlılık sağlanamaz ise tüm parametreler için katılımcı performansları ISO 13528:2015  B.5.3 maddesi ve B.5.2 (b) maddesine göre z’-skor ile değerlendirilir.

Sonuçların İstatistiksel Değerlendirilmesi

İstatistiksel değerlendirilme yapılmadan önce, katılımcıların sonuçları gözle kontrol edilerek analiz yapmadan düzeltilebilecek hatalar için katılımcılara dönüş yapılır. Katılımcıların varsa düzeltmeleri raporda “D/İlk Sonuç” olarak belirtilir. Katılımcılar ilgili analitler için farklı ölçüm metotları kullansalar dahi farklı istatistiksel değerlendirmeye tabii tutulmazlar, birlikte değerlendirilirler. LABKAR programında sonuçların istatistiksel değerlendirmesi yapılırken katılımcı sayısına göre yöntem belirlenir. Katılımcı sayısına bağlı olarak ve ISO 13528:2015 “Statistical methods for use in proficiency testing by interlaboratory comparisons” standardı temel alınarak hangi istatistiksel yöntemin kullanılacağı belirlenmekte ve ilgili analite ait sayfada değerlendirme yöntemi verilmektedir.

Aşağıdaki durumlarda istatistiksel değerlendirme yapılmaz:

  1. istatistiksel değerlendirmeye alınan sonuç sayısının 2’den az olması durumunda,
  2. sayısal olmayan ve  (<, > v.s) şekilde raporlanan ölçümlerin sayısının sonuç sayısının %20’sinden fazla olduğu ve (<, > v.s) şekilde raporlanan ölçüm sonuçlarının sayısal sonuçlar ile uyumlu olmadığı durumlarda,

Bu ölçümlere ait z-skor, z΄-skor ve zeta-skor değerleri de raporlanmamaktadır.

Katılımcı laboratuvarların sonuçları paylaşma ve/veya bilgi alışverişinde bulunma hususunun gözlemlenmesi durumunda LabKar Program Sağlayıcısı, katılımcıdan ham verileri talep etme ve/veya katılımcılar arasında paylaşıldığı değerlendirilen sonuçların tamamını istatistiksel değerlendirmeye almama hakkına sahiptir.

Aykırı Değerlerin Belirlenmesi

İstatistiksel değerlendirmeye alınan katılımcı sayısının 7’den az olduğu durumlarda, aykırı değer testi yapılmamaktadır. Katılımcı sayısının 7 ile 14 (her ikisi de dahil) olması durumunda, Grubbs testinin %99 güven aralığı ile gerçekleştirilmesi sonucu belirlenen aykırı değerler veri setinden çıkarılır. Aykırı değer kalmayıncaya kadar test tekrarlanır. Aykırı değer olduğu belirlenen ölçümler, raporda (AD) ile gösterilir.

Sayısal sonuç sayısının 15’e eşit veya daha fazla olduğu durumda Q-Hampel metodu kullanılmakta ve ayrıca aykırı değer testi yapılmamaktadır.

Bir ölçümün aykırı değer olarak işaretlenmesi performans değerlendirmesi yapılmasına engel değildir. Aykırı değerler tanımlanmış değer hesaplanmasında kullanılmaz.

Program Standart Sapmalarının Belirlenmesi

Numunelerin homojenlik, kararlılık ve katılımcıların performans değerlendirmelerinin yapılabilmesi için programa ait standart sapmanın belirlenmesi gerekmektedir. LABKAR’da program standart sapması,  ilgili analiz için ürün ana standardlarında yer alan metodlardaki uyarlık değerinin 2,8’e bölünmesi ile hesaplanır. Ana standardı olmayan ürünlerde ise katılımcı metodlarının uyarlık değerinin 2,8’e bölünmesi ile hesaplanır. Birden fazla analiz metodu varsa en büyük uyarlık değeri, program standard sapmasının hesaplanmasında kullanılır.

Analiz metodunda uyarlık değerinin bulunmadığı analitler için program standart sapma değeri, LabKar İstatistiksel Değerlendirme Grubu tarafından belirlenir. (Geçmiş çevrimlerin program standard sapma değerlerinin kullanımı, hesaplanan standard sapma değerinin kullanımı vb).

İstatistiksel değerlendirme yapılamayan durumlarda program standart sapma değeri belirlenmez.

Tanımlanmış Değer ve Tanımlanmış Değer Belirsizliğinin Hesaplanması

Her bir analit için tanımlanmış değer olarak,

  1. istatistiksel değerlendirmeye alınan katılımcı sayısının 6’ya eşit ya da daha az olması durumunda ISO 13528:2015 Madde 6.6- Not 3’te yer alan değerlendirmelere göre medyan değeri kullanılarak,
  2. sayısal sonuç sayısının 7 ile 14 (her ikisi de dahil) arasında olduğu durumda;
    • aykırı değer sayısının istatistiksel değerlendirmeye alınan sonuç sayısının %20’sinden az olması durumunda aykırı değerler çıkartıldıktan sonra kalan sonuçların ortalama değeri,
    • aykırı değer sayısının istatistiksel değerlendirmeye alınan sonuç sayısının %20’sinden fazla olması durumunda kalan sonuçlar ile medyan değeri,
    • (<, > v.s) şekilde raporlanan ölçümlerin sayısı sonuç sayısının %20’sinden fazla ve sayısal sonuçlar ile uyumlu ise, aykırı değer sayısının sonuç sayısının %20’sinden az olması durumunda aykırı değerler çıkartıldıktan sonra kalan sonuçların ortalama değeri,
    • (<, > v.s) şekilde raporlanan ölçümlerin sayısı sonuç sayısının %20’sinden fazla ve sayısal sonuçlar ile uyumlu ise, aykırı değer sayısının sonuç sayısının %20’sinden fazla olması durumunda medyan değeri,
  3. istatistiksel değerlendirmeye alınan katılımcı sayısının 15’e eşit ya da daha fazla olması durumunda, ISO 13528:2015 C.5.3 maddesinde verilen Hampel metodu kullanılarak hesaplanır.

İstatistiksel değerlendirme yapılamayan durumlarda tanımlanmış değer belirlenmez.

Ayrıca her bir analit için tanımlanmış değer belirsizliği,

  1. istatistiksel değerlendirmeye alınan katılımcı sayısının;
    1.  2 ile 6 (her ikisi de dahil) arasında olması durumunda ISO 13528:2015 Madde 6.6- Not 3’te yer alan değerlendirmelerle belirlenen değerler çıkarıldıktan sonra kalan sonuçlar ile hesaplanan standard sapma (SD’) ve kalan ölçüm sayısı (p’) kullanılarak,
    2. 7 ile 14 (her ikisi de dahil)  arasında olması durumunda, aykırı değerler çıkartıldıktan sonra kalan sonuçlar ile hesaplanan standart sapma (SD’) ve kalan ölçüm sayısı (p’) kullanılarak,

  1. istatistiksel değerlendirmeye alınan katılımcı sayısının 15’e eşit ya da daha fazla olması durumunda, robust istatistik yöntem ile bulunan standart sapma (s*) kullanılarak hesaplanır.

Yayınlanan raporlarda, genişletilmiş tanımlanmış değer belirsizliği, Ux ,olarak beyan edilmektedir ve standart belirsizliğin k=2 olarak alınan genişletme katsayısı ile çarpımı sonucunda bulunan değerdir ve %95 oranında güvenilirlik sağlamaktadır.

Sonuçların Değerlendirilmesi

Sonuçların istatistiksel olarak z-skor yöntemi ile değerlendirilebilmesi için tanımlanmış değer belirsizliğinin ihmal edilebilir olması gerekmektedir. ISO 13528’de belirtildiği gibi eğer tanımlanmış değer belirsizliği program standart sapmasının %30’una eşit ya da %30’undan küçük ise ihmal edilebilir.

Tanımlanmış değer belirsizliğinin ihmal edilemediği, dolayısıyla z-skor değerlerinin hesaplanamadığı durumda z-skor yerine z΄-skor değerleri hesaplanır ve raporlanır. z- ve z΄-skor değerleri aşağıdaki denklemler kullanılarak hesaplanır:


z- ve z΄-skor değerinin -2’den küçük veya +2’den büyük olması ‘UYARI’ , z- ve z΄-skor değerinin -3’den küçük veya +3’den büyük olması ‘ÖNLEM’ olarak değerlendirilir. Herhangi bir ‘ÖNLEM’ veya ‘UYARI’ alındığında laboratuvarların harekete geçmesi önerilir.

 “<,>” işaretli sonuçlar için program standart sapması belirlenemediğinden z- ve z΄-skor değerleri raporlanmamaktadır. Bu durumda sadece katılımcılara ait sonuçlar verilir.

zeta-skor (ζ) değerleri, ölçüm belirsizliği değerini bildiren katılımcılara, verdikleri ölçüm belirsizlikleri de göz önüne alınarak sonuçlarının tanımlanmış değere ne kadar yakın olduğu hakkında fikir vermek için raporlanmaktadır. UYARI ve ÖNLEM yorumları verilmemekte olup aşağıdaki koşullara göre bir değerlendirme yapılabilir.

Laboratuvarların performanslarını yukarıdaki ölçütler çerçevesinde değerlendirmeleri için karşılaştırma programına düzenli katılımları önemlidir. Az sayıda katılımcı sonucu ile (7’den az) yapılan ve/veya katılımcı performanslarının başarısız olarak değerlendirildiği analitler için istatistiksel güvenilirlik, diğer analitlere göre daha düşüktür. Performans değerlendirmesi yapılırken bu durumun dikkate alınması önerilmektedir.

Grafikler

Ölçüm Sonuçları Grafiği

Katılımcı laboratuvarların ölçüm sonuçları küçükten büyüğe sıralanmış olarak verilmektedir. Tanımlanmış değer, rapordaki grafik üzerinde mavi renk ile gösterilmektedir. Katılımcı laboratuvarların ölçüm sonuçlarının tanımlanmış değer çizgisine yakın olması beklenmektedir. Sonuçlara ait ölçüm belirsizliği değerleri, grafik üzerinde hata çubukları ile gösterilmektedir.

z-skor veya z΄-skor Grafiği

Tanımlanmış değer belirsizliğinin büyüklüğüne göre z-skor ya da z΄-skor değerleri verilmektedir. UYARI sınırı üzerindeki laboratuvarlar sarı renk ile ve ÖNLEM sınırı üzerindeki laboratuvarlar kırmızı renk ile gösterilmektedir. Katılımcı laboratuvarların z-skor veya z΄-skor değerlerinin mavi renkli olması beklenmektedir.

Kernel Density Grafiği

Kernel Density grafikleri sonuçların normal dağılım gösterip göstermediğini görsel olarak belirlemeye yarayan bir araçtır.  

Kalitatif Analiz Sonuçlarının Değerlendirilmesi

Kalitatif analiz sonuçlarının değerlendirilmesinde, ISO 13528 Ek E.15’te verilen MOD yöntemi kullanılır. Buna göre en fazla tekrar eden sonuç ve bulunması halinde uyarlık sınırları içindeki sonuçların oranı tüm raporlanan sonuçlar içerisinde %80 ve üzeri ise bu değerler MOD olarak işaretlenir. Diğer sonuçlar “Uygun Değil” olarak raporlanır ve raporda verilen “Değerlendirme” sütununda “Uygun Değil” anlamına gelen “UD” işaretlemesi yapılır. En fazla tekrar eden sonuç ve bulunması halinde uyarlık sınırları içindeki sonuçların oranı %80’in altında ise değerlendirme yapılmaz.