Özgün Araştırma

Yoğun Bakımda Kullanılan Skorlama Sistemlerinin Mortalite Tahminindeki Rolleri Açısından Karşılaştırılması

10.4274/tybdd.09.02

  • Şule Özbilgin
  • Kubilay Demirağ
  • Asuman Sargın
  • Mehmet Uyar
  • Ali Reşat Moral

J Turk Soc Intens Care 2011;9(1):0-0

Amaç:

Hastaların yoğun bakıma kabul edilmelerine veya yoğun bakım ünitelerinden başka servislere çıkartılmalarında skorlama sistemlerinin kullanılması önemlidir. Günümüze kadar bu amaçla çeşitli skorlama sistemleri kullanılmış ve çelişkili veya farklı sonuçlar elde edilmiştir. Biz de bu çalışmada dört farklı skorlama sistemini mortalite tahmini açısından birbirleriyle karşılaştırmayı amaçladık Araştırmamızda APACHE II, SAPS II, MPM0 II ve LODS skorlama sistemlerinin YBÜ’deki hastaların mortalite tahmininde performanslarının karşılaştırılması amaçlanmıştır.

Gereç ve Yöntem:

Anesteziyoloji ve Reanimasyon Kliniğinde 2005-2006 tarihlerinde tedavi görmüş hastaların dosyaları retrospektif olarak tarandı. 615 hasta araştırmaya dahil edildi. Demografik verileri; APACHE II, SAPS II, MPM0 II, LODS skorları hesaplandı. Hastanın yoğun bakıma kabul edildiği klinik, yoğun bakımda ve hastanede kalış süresi, taburcu oldu ise telefonla aranarak 6. ay mortalitesi öğrenildi.

Bulgular:

APACHE II, SAPS II, MPM0 II ve LODS’un yoğun bakım mortalite tahmininde tümünün anlamlı ilişkiye sahip olduğu bulundu. APACHE II için ROC analizinde eğri altında kalan alan 0,812 (%95 CI: 0,778-0,845), SAPS II için 0,841 (%95 CI: 0,810-0,872), MPM0 II için 0,797 (%95 CI: 0,763-0,832), LODS için 0,815 (%95 CI: 0,781-0,849) olarak hesaplandı.Yoğun bakım mortalitesi %46 olarak bulundu. Skorlama sistemlerinin Pearson korelasyonu ile değerlendirildiğinde yoğun bakımda yatış süresi ile ilişkisinin olmadığı ancak hastane yatış süresi ile APACHE II, SAPS II, MPM0 II’nin ilişkisinin anlamlı olduğu bulundu. Skorlama sistemleri ile taburcu olduktan sonraki 6. aydaki mortalite arasındaki ilişkiyi gösteren ROC eğrilerindeki tüm değerlerin 0,5’in altında olduğu ve aralarında ilişki bulunmadığı belirlenmiştir. Yoğun bakım 6.ay mortalitesi %24 bulundu.

Sonuç:

Yoğun bakım ünitesine alınmış 615 hastadan; 289’nun öldüğü ve toplam 326 hastanın ise taburcu edildikleri saptandı. APACHE II, SAPS II, MPM0 II ve LODS’un yoğun bakım mortalitesini tahmin açısından tümünün anlamlı ilişkiye sahip olmakla birlikte SAPS II ve LODS’un duyarlılık ve özgüllüklerinin diğer iki skora göre daha yüksek olması, ayrıca bu iki skorlama sisteminin diğerlerine göre daha kolay uygulanabilir olması SAPS II ve LODS’un yoğun bakımda mortalite tahmini açısından daha uygun olabileceğini düşündürmektedir. (Türk Yoğun Bakım Derneği Dergisi 2011; 9: 8-13)

Anahtar Kelimeler: Yogun bakim skorlama sistemleri, APACHE II, SAPS II, MPM0 II, LODS

Giriş

Fizyolojik skorlama sistemleri yoğun bakım ünitesine kabul edilen hastaların tanımlanması, klinik gözlem ve verilerin kaydedilmesi, mortalite ve morbidite olasılıklarının belirlenmesi, hastalar arasında veya farklı yoğun bakım üniteleri arasında kıyaslamalar yapılabilmesi, uygulamaların kalitesinin takip edilmesi gibi amaçlar ile geliştirilmişlerdir. Bu özellikler nedeniyle hastaların gözlem ve tedavilerinde rehber olabilecek sistemlerdir. Bu araştırmada son yıllarda en yaygın olarak kullanılan skorlama sistemlerinden olan APACHE II, SAPS II, MPM0 II ve LODS’nin Yoğun Bakım Ünitemize yatırılan hastaların mortalite tahminindeki rollerinin karşılaştırılması amaçlanmıştır. 

Bu skorlama sistemleri arasında en sık kullanılanlar Acute Physiology and Chronic Health Evaluation Score (APACHE II), Simplified Acute Physiology Score (SAPS II), Mortality Probability Model (MPM II), Logistic Organ Dysfunction System (LODS)’dir. Bu skorlama sistemleri temelde hastanın fizyolojik değişkenleriyle birlikte, yaş, hastaneye yatış nedeni, kronik hastalığı, resüsitasyon ya da mekanik ventilatöre ihtiyacı olup olmadığını dikkate alarak morbidite ve mortalite riskini tahmin etmeye çalışırlar. Yoğun bakıma hastaların kabul edilmesi ve tedavilerinin yönlendirilmesi gibi son derece kritik kararların alınmasında kullanılacak olan bu skorlama sistemlerinin güvenilir olması ve mümkünse en güvenilir olan skorlama sisteminin kullanılması gerekmektedir.


Gereç ve Yöntem

Anesteziyoloji ve Reanimasyon Kliniğinde Ocak 2005-Ocak 2006 tarihleri arasında tedavi görmüş olan hastaların dosyaları retrospektif olarak tarandı. Yoğun bakım ünitesinde 24 saatten daha az kalan hastalar, yanık hastaları, 16 yaşından küçük hastalar, kardiyovasküler cerrahi geçiren postoperatif dönemdeki hastalar ve kayıtlarında skorların hesaplanması için veri eksikliği olan hastalar araştırma kapsamı dışında tutuldu. Yoğun Bakım Ünitesi’ne bir defadan daha fazla yatışı olan hastalarda ise yalnızca ilk başvurudaki bilgiler kaydedildi. Değişik tanılar ile yoğun bakım ünitesine alınmış 254’ü kadın, 361’i erkek olmak üzere toplam 615 hasta araştırmaya dahil edildi.

Her hasta için APACHE II, SAPS II, MPM0 II ve LODS skorları hesaplandı. Bütün fizyolojik ölçümler ilk 24 saat içinde normalden en fazla sapma gösteren değer üzerinden puanlandırıldı. Bütün bu değerler bilgisayardaki önceden hazırlanmış programa girildi. Hasta dosyalarından bütün bu değişkenlerin yanında hastanın tanısı, yoğun bakıma geldiği yer, yoğun bakım ve hastanede kalış süresi, taburcu oldu ise telefonla aranarak 6. ay mortalitesi öğrenildi. 

APACHE II, SAPS II, MPM0 II, LODS skorlama sistemleri için; ölenleri ayırt etme başarısı (duyarlılık), yaşayanları ayırt etme başarısı (özgüllük) ve kritik mortalite skoru (cut-off) araştırıldı. Duyarlılık, özgüllük ve cut-off değerlerinin tespiti için ROC analizleri yapıldı. Nümerik değişkenler arasında doğrusal ilişki varlığı Pearson korelasyon analizi ile incelendi. Kategorik değişkenlerin, yaşayan ve ölen hastalar arasındaki karşılaştırmaları ki-kare yöntemi, t-testi, Mann-Whitney U testi ile gerçekleştirildi.


Bulgular

Taburcu ve ölen hastaların cinsiyet, yaş ve yoğun bakımda kalış süreleri Tablo 1’de gösterildi. Taburcu  ve ölen hastalar arasında cinsiyet dağılımı yönünden istatistiksel olarak anlamlı fark saptanmadı (p>0,05) .Taburcu olanlarda yaş ortalaması  48,68±20,09 ve ölen hastalarda  55,81±19,36 olması ile istatistiksel olarak anlamlı idi (p<0,001). Yoğun bakımda yatış süresi taburcu olanlarda 7,00 ±15 (1-170), ölenlerde 5±10 (1-300) olarak saptandı (p=0.006) (Tablo 1).

Hastaların tanılara göre dağılımı ve tanılara göre yaşayan ve ölen hasta sayıları ve oranları Tablo 2’da görülmektedir. Tanılarının dağılımı incelendiğinde postoperatif solunum yetmezliği, KOAH, pnömoni, akciğer kontüzyonu gibi solunumsal sebepler ilk sırayı almakta ve tanıların %36,5’ini oluşturmaktadır. Çoklu travma, spontan ve travma sonrası oluşan intrakraniyal olaylar diğer sık görülen tanılar arasında yer almaktadır.

Hastaların geliş yerleri ve geliş yerlerine göre mortalite dağılımı Tablo 3’de gösterilmiştir. Yoğun bakım ünitemize kabul edilen hastalar geliş yerlerine göre incelendiğinde en fazla sayıda hastanın acil servisten kabul edildiği görülmüştür. Acil servisten 240 hasta kabul edilmiş olup toplam hasta sayısının %39’unu oluşturmaktadır. Bunu, acil veya elektif cerrahi uygulandıktan sonra postoperatif yoğun bakım ihtiyacı olan hastalar ile hastanemizin diğer kliniklerinde yatan ve yoğun bakım desteği gereken hastalar takip etmektedir (%33,8) (Tablo 3).

Skorlama sistemlerinin YBÜ mortalitesini belirlemedeki etkinlikleri “receiver operating characteristic curve” (ROC eğrisi) kullanılarak araştırıldı (1) . Duyarlılık ve özgüllük, standart formüllere göre hesaplandı. Yoğun bakım mortalitesi %46 olarak belirlendi. Skorların karşılaştırılmasında, ROC analizinde eğri altında kalan alan hesaplandı (değerin anlamlı olabilmesi için 0,5-1,0 arasında olması gerekmektedir; 1.0 en anlamlı ilişkiyi gösterir). APACHE II skorunun 13,5’un (ROC analizi ile belirlenen eşik değer) üzerinde olmasının mortaliteyi belirlemedeki duyarlılığı %77,5, özgüllüğü %70,9 idi. APACHE II skoru için ROC analizinde  eğri altında kalan alan 0.812 olarak hesaplandı (%95 CI: 0,778-0,845) (Şekil 1).

SAPS II skorunun 37,5’in üzerinde olmasının mortaliteyi belirlemedeki duyarlılığı %80,6, özgüllüğü %74,8 idi. SAPS II skoru için ROC analizinde eğri altında kalan alan 0,841 olarak hesaplandı (%95 CI: 0,810-0,872) (Şekil 1).

MPM0 II skorunun -1,33’ün üzerinde olmasının mortaliteyi belirlemedeki duyarlılığı %74,7, özgüllüğü %70,6 idi. MPM II skoru için ROC analizinde eğri altında kalan alan 0,797 olarak hesaplandı. (%95 CI: 0,763-0,832) (Şekil 1).

LODS skorunun 5.50’in (ROC analizi ile belirlenen eşik değer) üzerinde olmasının mortaliteyi belirlemedeki duyarlılığı %79,2, özgüllüğü %72,1 idi. LODS skoru için ROC analizinde eğri altında kalan alan 0.815 olarak hesaplandı (%95 CI: 0,781-0,849) (Şekil 1).

APACHE II, SAPS II, MPM0 II ve LODS’un yoğun bakım mortalitesini tahmin açısından tümünün anlamlı ilişkiye sahip olduğu bulundu (Tablo 4). (CI: Confidence interval = Güven aralığı)

Yoğun bakımdan taburcu olan hastalar ise telefonla aranarak son durumları hakkında bilgi edinildi. Taburcu olan 326 hastadan 218’nin halen yaşamakta olduğu, 108 hastanın öldüğü öğrenildi. Yoğun bakım ünitesinden taburcu olduktan sonra ilk 6 ay içerisindeki mortalite %24 olarak belirlendi. Skorlama sistemleri ile taburcu olduktan sonraki 6. aydaki mortalite arasındaki ilişkiyi gösteren ROC eğrilerindeki tüm değerlerin 0.5’in altında olduğu ve aralarında ilişki bulunmadığı belirlenmiştir (Şekil 2).

Pearson korelasyon testi ile değerlendirildiğinde skorlama sistemlerinin yoğun bakım yatış süresi ile ilişkisinin olmadığı ancak hastane yatış süresi ile APACHE II, SAPS II, MPM0 II’nin ilişkisinin anlamlı olduğu bulundu (Tablo 5).


Tartışma

Bu araştırmada 2005 yılı içerisinde Anesteziyoloji ve Reanimasyon Anabilim Dalı Reanimasyon Kliniği’ne yatırılmış olan hastaların dosyaları retrospektif olarak incelenmiş, toplam 615 olgunun APACHE II, SAPS II, MPM0 II ve LODS skorları hesaplanarak yoğun bakım ve taburcu olduktan sonraki 6. aydaki mortalite tahmini ile olan ilişkisi araştırılmış ve bu skorların hepsinin mortalite tahmininde değerli olduğu ve birbirlerine üstünlükleri olmadığı belirlenmiştir. Yoğun bakımdan taburcu olduktan sonra 6. aydaki mortalitenin tahmininde ise duyarlılık ve özgüllükleri düşük bulunmuştur.

Mortalite skorlama sistemleri yoğun bakım hastalarında çeşitli amaçlar için kullanılmak üzere geliştirilmiş ve kullanılmıştır. Öncelikli amaçları hastaları mortalite ihtimallerine göre ayırt etmektir. Ayrıca beklenen ölüm oranına karşılık gözlenen ölüm oranı, yoğun bakım ünitelerinin klinik performanslarının değerlendirilmesinde sık olarak kullanılmaktadır. 

Glance ve ark. (2) cerrahi, medikal ve karışık hasta gruplarından oluşan yoğun bakım ünitelerinde 39617 hasta popülasyonu üzerinde SAPS II ve MPM0 II’nin 0. saat modelini değerlendirmişler ve her iki skorlama sistemini de mortaliteyi tahminde başarılı bulmuşlardır.
Bizim araştırmamızda APACHE II, SAPS II, MPM0 II ve LODS skorlarının yoğun bakım mortalitesinin tahmininde ROC analizine göre orta derecede duyarlılık ve özgüllüğe sahip olduklarını ancak bu skorlama sistemlerinin mortaliteyi tahmin açısından birbirlerine üstünlüklerinin olmadığı belirlenmiştir.

Michael ve ark. (3) çoklu organ disfonksiyonu olasılığı olan kritik hastaların klinik sonuçlarının değerlendirilmesinde LODS’un kullanımının yararlı olduğunu bulmuşlardır. Mortaliteyi değerlendirmede LODS’un popülaritesi gittikçe artmaktadır. LODS skorunun artması ile mortalite artacağı için bunun klinisyenleri uyarması gerektiğini ileri sürmüşlerdir.

Hutchinson ve ark. (4) LODS kullanımının kolay olması, istatistiksel güçlülüğünün geliştirilmiş olması ve çok sayıda hasta grubu üzerinde onaylanmış olmasından dolayı tercih edilebileceğini belirtmişlerdir.

Organ disfonksiyon skorlamaları fizyolojik disfonksiyon açısından morbiditeyi tanımlamak için düzenlenmiştir. LODS, SOFA, MODS gibi skorlama sistemlerinde mortaliteyi öngörmeleri sekonder amaçtır (5). Pek çok araştırmada organ disfonksiyon skorlama sistemleri kendi aralarında karşılaştılır. Bu nedenle LODS’u mortaliteyi tahmin etmek için kullanılan skorlama sistemleri ile karşılaştıran araştırma sayısı azdır. Bizim araştırmamızda LODS mortaliteyi tahmin etmemizi sağlayan diğer skorlama sistemleri ile karşılaştırılmış ve mortaliteyi tahmin açısından duyarlılığı ve özgüllüğü istatistiksel anlamlı olmamakla birlikte APACHE II ve MPM0 II’ye göre daha yüksek bulduk. Organ fonksiyon bozukluklarının yoğun bakım mortalitesi ile ilişkili olduğunun bilinmesi mortaliteyi tahmin etmede LODS’un gelecekte değerli bir skor olabileceği ve daha yaygın olarak kullanılabileceğini düşündürmektedir.

Sakarya’nın (6) yaptığı araştırmada yoğun bakım hastalarının prognozlarının değerlendirilmesinde APACHE II ve APACHE III skorları karşılaştırılmıştır. Bütün olarak ele alındığında hastalık ciddiyetinin değerlendirilmesi ve klinik araştırmaların standardizasyonu için her iki sistemin de uygulanabilir olduğu, bu açıdan APACHE III sisteminin APACHE II sistemine büyük bir üstünlük taşımadığı sonucuna varılmıştır. APACHE II ve APACHE III skorlarının yoğun bakım kalış süresi ile anlamlı bir ilişki göstermediği de belirtilmiştir. 

Gündeniz ve ark. (7) solunum yoğun bakım ünitesinde mortalite oranları ve bunu etkileyen faktörleri belirlemek amacı ile yaptıkları çalışmada APACHE II skorunun 17,5’un (ROC analizi ile belirlenen eşik değer) üzerinde olmasının mortaliteyi belirlemedeki duyarlılığını %81,4, özgüllüğünü ise %51,1 olarak belirlemişlerdir. Fakat tek ve çok değişkenli analizlerde hastane mortalitesini tahmin açısından anlamlı bir ilişkinin olmadığı tespit edilmiştir. Bizim çalışmamızda da bu iki çalışmaya benzer şekilde APACHE II, SAPS II, MPM0 II ve LODS skorlarının yoğun bakımda yatış süresi ile anlamlı ilişkisi olmadığı belirlenmiştir. Skorları daha yüksek olan hastaların yoğun bakımda daha kısa süre yatıp ölme ihtimallerinin yüksek olması bu konuyu açıklayıcı bir faktör olabilir.

Carson ve ark. (8)  APACHE II, SAPS II, MPM0 II ve LODS’un etkinliğini yoğun bakım ünitesine başvuran ve uzun dönem kalan 182 hasta üzerinde araştırmışlardır. Ölenleri yaşayanlardan ayırma başarısı açısından skorların sıralaması SAPS II (AUC=0,69), LODS (AUC = 0,65), APACHE II (AUC=0,63) ve MPM0 II 24 (AUC = 0,59) olarak bulunmuştur. Bizim araştırmamızda da istatistiksel anlamlı olmamakla birlikte SAPS II için AUC değeri en yüksek belirlenmiş (0,841), sonraki sıralama Carson ve ark’nın sonuçlarıyla aynı bulunmuştur (LODS için AUC=0,815, APACHE II için AUC=0,812 ve MPM0 II için AUC=0,797).

Azoulay ve ark. (9) yoğun bakım ünitesinden sonra mortalite belirleyicilerini saptayabilmek amacı ile prospektif, çok merkezli, altı yoğun bakım ünitesinin sonuçlarını değerlendiren bir araştırma yapmışlardır. Hastalarda SAPS II, LODS ve SOFA skorları hesaplanmıştır. Yoğun bakım sonrası mortalite oranına bakmışlardır. Yoğun bakım sonrası mortalite, yoğun bakımdan çıktıktan sonra hastaneden taburcu olana kadar gerçekleşen ölüm olarak tanımlanmıştır ve bu değer %10,8 olarak bulunmuştur. Yoğun bakımdan taburcu olduktan sonra hastanede ölen hastaların hayatta kalanlara göre çıkış gününde belirgin olarak daha yüksek skorlara sahip oldukları belirtilmiştir. Bizim araştırmamızla bu sonuçların farklı olması, hastaların yoğun bakım ünitesinden taburcu olduktan sonra hastane içerisinde veya evde bakım kalitesindeki farklılıklardan kaynaklanmış olabilir. Bizim araştırmamızda sadece 6. ay mortalitesini sorguladık ve 6. ay mortalite oranının %24 olduğunu tespit ettik. Bunun APACHE II, SAPS II, MPM II ve LODS ile istatistiksel olarak anlamlı olmadığı sonucuna ulaştık.

Hugo ve ark. (10) karma bir yoğun bakım ünitesinde, cinsiyet farkının yoğun bakım mortalitesi ile olan ilişkisini değerlendiren araştırmalarında, retrospektif olarak iki farklı yılda (1983 ve 1985) yatan hastaları incelemişlerdir. Araştırmaları sonucunda 50 yaş üstündeki kadınların mortalitelerinin erkeklerden daha yüksek olduğunu bulmuşlardır. Ancak genç grupta cinsiyet farkı ile mortalite ilişkisinin olmadığını gözlemlemişlerdir. Silva ve ark. (11) ise LODS skoru yüksek olan tüm hastaların postoperatif yoğun bakım desteği gereken ve çoğunlukla erkek hastalar olduğunu bulmuşlardır. Bizim araştırmamızda ise sağ kalan ve ölen hastalar arasında cinsiyet dağılımı yönünden skorlarla ilişkili, istatiksel olarak anlamlı bir fark saptanmamıştır.

Castella ve ark. (12) 3 aylık dönemde 137 yoğun bakım ünitesi ve 14745 hastayı kapsayan çok merkezli çalışmalarında APACHE II, SAPS I, ve MPM I ile bu skorlama sistemlerinin yeni versiyonları olan APACHE III, SAPS II, MPM II’in performanslarını karşılaştırmışlardır. APACHE II, SAPS II ve MPM II bu uluslararası veritabanında iyi bir ayırt etme ve kalibrasyon sergilemişlerdir. Model karşılaştırmasının aynı popülasyonda, en son istatistiksel yöntemlerle ifadesi zorunlu sayılmaktadır. Fakat bununla birlikte; bunun gibi bir çalışma gerçekleştirmenin karmaşıklığı nedeniyle sistemlerin performanslarının karşılaştırıldığı çok az sayıda çalışma mevcuttur (13,14).

Bilgin ve ark’nın (15) APACHE II, SAPS II ve GKS skorlama sistemlerinin, yoğun bakımdaki zehirlenme olgularında tahmini ölüm oranını belirleme performanslarını karşılaştırmak amacı ile yaptıkları çalışmada APACHE II, SAPS II ve GKS skorlarının ölenleri ve yaşayanları ayırma başarısı arasında farklılık belirlenmemiştir. Her üç skor sisteminin de nümerik olarak kritik skorlarına ulaştıklarında ölmesi beklenen hastaları yüksek oranda doğru tahmin edebildiği düşünülmüştür.

Tüm bu özetlenen çalışmaların sonucunda bu skorlama sistemlerinin performanslarının değişik popülasyonlara uygulandığı zaman ciddi farklılıklar gösterebileceği düşünülebilir. Bunun sebepleri arasında skorlama sistemlerinin uygulanmasındaki hatalar ve henüz bilinmeyen faktörlerin sonuçlar üzerinde etkisinin sayılabileceği öngörülmektedir (16). Günümüzde skorlama sistemlerinin geçerliliğini kurmada temel alınacak bir altın standart bulunmamaktadır (17).


Sonuç

Yoğun bakım ünitesi mortalitesini belirlemede kullanılan skorlama sistemlerinden APACHE II, SAPS II, MPM0 II ve LODS’un yoğun bakım mortalitesini tahmin etme açısından istatistiksel olarak anlamlı ilişkiye sahip oldukları belirlenmiştir.

Yoğun bakımdan taburcu olduktan sonra 6. aydaki mortalitenin tahmininde ise bu skorlama sistemlerinin duyarlılık ve özgüllüklerinin düşük olduğu bulunmuştur. 

Skorlama sistemlerinin yoğun bakım yatış süresi ile ilişkisinin olmadığı ancak hastane yatış süresi ile APACHE II, SAPS II, MPM0 II’nin ilişkisinin anlamlı olduğu bulunmuştur.

APACHE II, SAPS II, MPM0 II ve LODS’un yoğun bakım mortalitesini tahmin etme açısından birbirlerine üstünlükleri belirlenmemekle birlikte SAPS II ve LODS’un duyarlılık ve özgüllükleri APACHE II ve MPM0 II’ye göre çok daha yüksektir. İstatistiksel olarak anlamlı olmasa da SAPS II ve LODS’un klinik uygulamasının daha kolay olduğu düşünüldüğünde yoğun bakım mortalite tahmininde kullanılmalarının tercih edilebileceği sonucuna varılmıştır.

Yazışma Adresi/Address for Correspondence: Dr. Şule Özbilgin, Ege Üniversitesi Tıp Fakültesi Anesteziyoloji ve Reanimasyon Anabilim Dalı, Ankara, Türkiye
Gsm: +90 505 525 29 01 E-posta: sule.ozbilgin@ege.edu.tr 
Geliş Tarihi/Received: 05.10.2010 Kabul Tarihi/Accepted: 01.05.2011


1. Zweig MH, Campbell G. Receiver-Operating Characteristic (ROC) Plots: A Fundamental Evaluation Tool in Clinical Medicine. Clin Chem 1993;39:561-7.
2. Glance LG, Osler TM, Dick AW. Identifying quality outliers in a large, multiple institution database by using customized versions of the simplified acute physiology score II and the mortality probability model II 0. Crit Care Med 2002;30:1995-2002.
3. Michael JP, Abcede M, Raul E, Alvin L, Eduardo V. Caguioa. The Modified Logistic Organ Dysfunction System: A Diagnostic and Prognostic Index For Critically-ill cardiac patient. Phil. J Internal Medicine 2005;47-51.
4. Hutchinson C, Craig S, Ridley S. Sequential organ scoring as a measure of effectiveness of critical care: Anaesthesia 2000;55:1149-54.
5. Silva R.J, Anderson A, Tempest H, Ridley S. Sequential organ scoring as a measure of effectiveness of care in the high-dependency unit. Anaesthesia 2001;56:850-4.
6. Sakarya M. Yoğun bakım hastalarının prognozlarının değerlendirilmesinde APACHE II ve APACHE III skorlama sistemlerinin karşılaştırılması. Uzmanlık tezi, 1994.
7. Gündeniz A, Tabakoğlu E, Özdemir L, Tokuç B, Çevirme L, Hatipoğlu O, ve ark. Solunum Yoğun Bakım Hastalarında Mortalite Oranları ve İlişkili Faktörlerin Belirlenmesi. Toraks Dergisi 2007;8:79-84.
8. Carson SS, Bach PB. Predicting mortality in patients suffering from prolonged critical illness: an assessment of four severity-of-illness measures. Chest 2001;120:928-33.
9. Azoulay E, Christophe A, Lassence A, Pochard F, Moreau D, Thiery G, et al. Determinants of postintensive care unit mortality:A prospective multicenter study. Crit Care Med 2003;31:428-32.
10. Romo H, Amaral AC, Vincent JL. Effect of patient sex on intensive care unit survival. Arch Intern Med 2004;164;61-5.
11. Silva R.J, Anderson A, Tempest H, Ridley S. Sequential organ scoring as a measure of effectiveness of care in the high-dependency unit. Anaesthesia 2001;56:850-4.
12. Castella X, Artigas A, Bion J, Kari A. A comparison of severity of illness scoring systems for intensive care unit patients: Results of a multicenter, multinational study. Crit Care Med 1995;23:132735.
13. Lemeshow S, Teres D, Avrunin JS, Pastides H. A comparison of methods to predict mortality of intensive care unit patients. Crit Care Med 1987;15:715-22.
14. Rowan KM, Kerr JH, Major E, McPherson K, Short A, Vessey MP. Intensive Care Society's Acute Physiology and Chronic Health Evaluation (APACHE II) study in Britain and Ireland: A prospective, multicenter, cohort study comparing two methods for predicting outcome for adult intensive care patients. Crit Care Med 1994;22:1392-401.
15. Bilgin TE, Altunkan AA ve ark. Skorlama sistemlerinin etkinliğinin zehirlenmelerde karşılaştırılması. Türk Yoğun Bakım Derneği Dergisi 2006;4:116-20.
16. Metnitz P, Valentin A, Vesely H, Alberti C, Lang T, Lenz K, et al. Prognostic performance and customization of the SAPS II: results of a multicenter Austrian study. Simplified Acute Physiology Score. Intensive Care Med 1999;25:192-7.
17. Groeger J S, Glassman J, Nierman D, Wallace KS, Pirice K, Horak D, et.al. Probability of mortality of critically ill cancer patients at 72 h of intensive care unit. Support Care Cancer 2003.