Machine learning techniques based on classification
Transkript
Machine learning techniques based on classification
T.C. İSTANBUL ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ DOKTORA TEZİ SINIFLANDIRMAYA DAYALI MAKİNE ÖĞRENMESİ TEKNİKLERİ VE KARDİYOLOJİK RİSK DEĞERLENDİRMESİNE İLİŞKİN BİR UYGULAMA Elif KARTAL Enformatik Anabilim Dalı Enformatik Programı Danışman Prof. Dr. M. Erdal BALABAN Haziran, 2015 İSTANBUL Bu çalışma İstanbul Üniversitesi Bilimsel Araştırma Projeleri Yürütücü Sekreterliğinin 49091 numaralı projesi ile desteklenmiştir. ÖNSÖZ Sadece bu tezin tamamlanması sürecinde değil, kendisini tanıdığım ilk günden beri bilgisi, bilimsel titizliği, sorgulayıcılığı ve yaratıcılığıyla bir akademisyenin nasıl olması gerektiğini öğrendiğim değerli danışmanım Prof. Dr. M. Erdal BALABAN’a büyük bir içtenlikle teşekkür ederim. Sonsuz hoşgörüsü ve anlayışıyla her zaman yanımda olduğunu hissettiğim, yüksek lisanstaki danışmanlığı sayesinde çalışma alanımı seçmemde önemli rolü olan bölüm başkanım Prof. Dr. Sevinç GÜLSEÇEN’e teşekkür ederim. Tezde ihtiyaç duyulan verinin temin edilebilmesini sağlayan Acıbadem Maslak Hastanesi Başhekimi Prof. Dr. Çağlar ÇUHADAROĞLU’na, Acıbadem Maslak Hastanesi Kalp Damar Cerrahisi Bölüm Başkanı ve Acıbadem Üniversitesi Tıp Fakültesi, Kalp Damar Cerrahisi Anabilim Dalı Başkanı Prof. Dr. Cem ALHAN’a ve Acıbadem Maslak Hastanesi Kalp Damar Cerrahisi Bölüm Asistanı Sevinç KOCAMAN’a değerli katkıları için teşekkürlerimi sunarım. Hem iyi gün hem kötü gün dostlarım, sevgili meslektaşlarım Zeki ÖZEN, F. Önay KOÇOĞLU ve Çiğdem EROL’a çok teşekkür ederim. Tezimi, Annem Fatma Nurten KARTAL, babam Lütfi KARTAL başta olmak üzere canım ailem ve özellikle beni Benim Prof Kızım diye seven sevgili dedem Turhan KARASU’ya ithaf ederim. Haziran, 2015 Elif KARTAL i İÇİNDEKİLER Sayfa No ÖNSÖZ .............................................................................................................................. i İÇİNDEKİLER ...............................................................................................................ii ŞEKİL LİSTESİ ............................................................................................................. iv TABLO LİSTESİ ..........................................................................................................vii SİMGE VE KISALTMA LİSTESİ .............................................................................. ix ÖZET............................................................................................................................... xi SUMMARY ...................................................................................................................xii 1. GİRİŞ ........................................................................................................................... 1 2. GENEL KISIMLAR .................................................................................................. 4 2.1. MAKİNE ÖĞRENMESİ ......................................................................................... 4 2.2. ÖĞRENME STRATEJİLERİ.................................................................................. 7 2.3. SINIFLANDIRMA ................................................................................................ 11 2.4. MAKİNE ÖĞRENMESİ SÜRECİ ADIMLARI ................................................... 13 2.4.1. Problemin Tanımlanması................................................................................ 14 2.4.2. Veriyi Anlama (Data Understanding)............................................................ 15 2.4.3. Veri Hazırlama (Data Preprocessing) ............................................................ 16 2.4.3.1. Kayıp değerler ile çalışma .................................................................... 16 2.4.3.2. Normalizasyon ...................................................................................... 17 2.4.3.3. Uç noktalar (Outliers) ........................................................................... 18 2.4.4. Modelleme ...................................................................................................... 18 2.4.4.1. Naive Bayes Sınıflandırıcı ..................................................................... 19 2.4.4.2. k-En Yakın Komşu Algoritması ............................................................. 20 2.4.4.3. Logistik Regresyon ................................................................................ 23 2.4.4.4. ID3 Karar Ağacı Algoritması ............................................................... 27 2.4.4.5. C4.5 Karar Ağacı Algoritması .............................................................. 29 2.4.5. Model Değerlendirme ve Seçimi .................................................................... 29 2.4.5.1. Model Performans Değerlendirme Yöntemleri ..................................... 29 2.4.5.2. Model Performans Değerlendirme Ölçüleri ......................................... 32 ii 2.4.6. Modelin Uygulamaya Geçirilmesi.................................................................. 39 3. MALZEME VE YÖNTEM ..................................................................................... 40 3.1. PROBLEMİN TANIMLANMASI ........................................................................ 40 3.2. VERİYİ ANLAMA ............................................................................................... 47 3.3. VERİNİN HAZIRLANMASI ............................................................................... 53 3.4. MODELLEME ...................................................................................................... 58 4. BULGULAR ............................................................................................................. 60 4.1. NAIVE BAYES SINIFLANDIRICISINDAN ELDE EDİLEN BULGULAR ..... 60 4.2. K-EN YAKIN KOMŞU ALGORİTMASINDAN ELDE EDİLEN BULGULAR ............................................................................................................ 69 4.3. LOGİSTİK REGRESYON ANALİZİNDEN ELDE EDİLEN BULGULAR ...... 79 4.4. KARAR AĞACI ALGORİTMALARINDAN ELDE EDİLEN BULGULAR .... 89 4.5. MODEL PERFORMANSI KARŞILAŞTIRMA TABLOSU ............................. 101 4.6. SHINY ................................................................................................................. 104 5. TARTIŞMA VE SONUÇ ....................................................................................... 108 KAYNAKLAR ............................................................................................................ 114 EKLER ......................................................................................................................... 129 ÖZGEÇMİŞ ................................................................................................................. 133 iii ŞEKİL LİSTESİ Sayfa No Şekil 2.1: Danışmanlı Makine Öğrenmesi Süreci (Kotsiantis, 2007). ......................................... 10 Şekil 2.2: CRISP Modeli (Shearer, 2000). .................................................................................. 14 Şekil 2.3: Makine Öğrenmesi Modeli.......................................................................................... 19 Şekil 2.4: Sapma ve Varyans İlişkisi (Scott, 2012). .................................................................... 31 Şekil 2.5: 5 - Kat Çapraz Geçerleme. .......................................................................................... 32 Şekil 2.6: ROC Uzayı (Fawcett, 2006). ....................................................................................... 35 Şekil 2.7: İkili Sınıflandırıcı Biçiminde Verilen Hata Matrisi (Kazemian ve diğ., 2010). .......... 37 Şekil 3.1: Geliştirilen EuroSCORE Modelleri. ........................................................................... 43 Şekil 3.2: SGK Sağlık Uygulama Tebliği - Kardiyak Risk Puanlaması (T.C. Sosyal Güvenlik Kurumu, 2014)................................................................................................................... 44 Şekil 3.3: EuroSCORE ve SGK Kardiyak Risk Puanlaması’na ait Risk Faktörlerinin Karşılaştırması (T.C. Sosyal Güvenlik Kurumu, 2014; Karabulut ve diğ., 2001). ............ 45 Şekil 3.4: Veri Setinde Tahmin Edici Niteliklere ait Tanımlayıcı Bilgi. ..................................... 49 Şekil 3.5: Standart ve Logistik EuroSCORE için Kullanılan Hesap Makinesi Ekran Görüntüsü (euroscore.org, 2015a). .................................................................................... 50 Şekil 3.6: EuroSCORE’un Hastalar için Hazırlamış Olduğu Hesap Makinesinden Ekran Görüntüsü (1) (euroscore.org, 2015b). .............................................................................. 50 Şekil 3.7: EuroSCORE’un Hastalar için Hazırlamış Olduğu Hesap Makinesinden Ekran Görüntüsü (2) (euroscore.org, 2015b). .............................................................................. 51 Şekil 3.8: Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerine ait Kutu Grafiği Çizimleri............................................................................. 52 Şekil 3.9: Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerinin Risk Grupları Göz Önünde Bulundurularak İkili Karşılaştırılması. ............ 52 Şekil 3.10: binary_euSCR Veri Setindeki Niteliklerin Özeti. ..................................................... 55 Şekil 3.11: mixed_euSCR Veri Setindeki Niteliklerin Özeti. ..................................................... 56 Şekil 3.12: mixed_euSCR Veri Setine ait Kutu Grafiği Çizimleri. ............................................. 56 iv Şekil 3.13: mixed_euSCR Veri Setinde Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerinin Risk Grupları Göz Önünde Bulundurularak İkili Karşılaştırılması. ........................................................................................................ 57 Şekil 3.14: binary_euSCR ve mixed_euSCR Veri Setlerinde Risk Hedef Niteliğinin Dağılımı. ............................................................................................................................ 57 Şekil 4.1: Naive Bayes Sınıflandırıcısına ait Ortalama Doğruluk. .............................................. 61 Şekil 4.2: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Kesinlik ve Duyarlılık. .......................................................................................................................... 62 Şekil 4.3: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen F-Ölçüsü........... 63 Şekil 4.4: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Duyarlılık, Belirleyicilik ve F-Ölçüsü Değerleri.................................................................................. 63 Şekil 4.5: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı ve Tanısal Üstünlük Oranı. ........................... 64 Şekil 4.6: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı ve Tanısal Üstünlük Oranı. ........................... 65 Şekil 4.7: k-En Yakın Komşu Algoritmasından Elde Edilen Ortalama Doğruluk Değerleri. ..... 70 Şekil 4.8: binary_euSCR Veri Setindeki Mikro ve Makro Seviyede İncelemeye İlişkin Tanısal Üstünlük Oranı Değerleri (𝑘 = 7,8,9,10 için). ..................................................... 71 Şekil 4.9: mixed_euSCR Veri Setine ait mDOR ve MDOR Değerleri (𝑘 = 2,3,5 için). ............ 71 Şekil 4.10: İkili Nitelikler Arasındaki İlişkileri Gösteren Phi Korelasyon Katsayıları. .............. 81 Şekil 4.11: Nümerik ve ikili nitelikler Arasındaki İlişkileri Gösteren Point Biserial Korelasyon Katsayıları. ..................................................................................................... 81 Şekil 4.12: Nümerik Nitelikler Arasındaki İlişkileri Gösteren Pearson r Korelasyon Katsayıları. ......................................................................................................................... 81 Şekil 4.13: 10-Kat Çapraz Geçerlemenin Her Bir Katı İçin Logistik Regresyon Analizinden Elde Edilen ROC Eğrileri. ................................................................................................. 82 Şekil 4.14: mixed_euSCR Veri Setinde Seçilen Logistik Regresyon Modelinin HosmerLemeshow Testi Sonucu. ................................................................................................... 83 Şekil 4.15: Logistik Regresyon Analizi Sonuçları R Ekran Görüntüsü. ..................................... 83 Şekil 4.16: Niteliklerin Üstünlük Oranları (Odds Ratios). .......................................................... 85 Şekil 4.17: Tahmin Etmede Kullanılan Nitelikler Arasındaki Phi Katsayıları. ........................... 85 Şekil 4.18: 10-Kat Çapraz Geçerlemenin Her Bir Katı için Logistik Regresyon Analizinden Elde Edilen ROC Eğrileri. ................................................................................................. 86 Şekil 4.19: İkili Logistik Regresyon Analizi Sonucu. ................................................................. 87 v Şekil 4.20: Niteliklerin Üstünlük Oranları (Odds Ratios). .......................................................... 88 Şekil 4.21: ID3 Algoritmasının Sırasıyla binary_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. ...................................................................................... 90 Şekil 4.22: C4.5 Algoritmasının mixed_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. .............................................................................................. 90 Şekil 4.23: C4.5 Algoritmasından Elde Edilen Karar Ağacı. ...................................................... 99 Şekil 4.24: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif Logistik EuroSCORE Modeli – 1. .................................................................. 105 Şekil 4.25: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif Logistik EuroSCORE Modeli – 2. .................................................................. 106 Şekil 4.26: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif EuroSCORE C4.5 Karar Ağacı Modeli – 3. ................................................... 107 vi TABLO LİSTESİ Sayfa No Tablo 2.1: İkili Değerler Alan Niteliklerden Oluşmuş İki Gözleme ait Karşılaştırma. .............. 21 Tablo 2.2: Niteliklere ait Kontenjans Tablosu. ........................................................................... 26 Tablo 2.3: Kontenjans Tablosu. .................................................................................................. 33 Tablo 3.1: Standart ve Logistic EuroSCORE Risk Faktörleri (euroscore.org, 2015d; Roques ve diğ., 2003; Karabulut ve diğ., 2001). ............................................................................ 42 Tablo 3.2: Veri Setindeki Niteliklere İlişkin Özellikler. ............................................................. 48 Tablo 3.3: Yaş Niteliğinin İkili Hale Getirilmesi Örneği............................................................ 55 Tablo 4.1: Naive Bayes Sınıflandırıcısı Analiz Özeti. ................................................................ 60 Tablo 4.2: mixed_euSCR Veri Setinde Tabakalı k-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. ..................................... 66 Tablo 4.3: mixed_euSCR Veri Setinde Tabakalı Hold-Out Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. ........................................................... 67 Tablo 4.4: euSCR_binary Veri Setine Tabakalı k-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. ..................................... 68 Tablo 4.5: k-En Yakın Komşu Analiz Özeti. .............................................................................. 69 Tablo 4.6: k-En Yakın Komşu Algoritması Analizlerinin Süresi. .............................................. 72 Tablo 4.7: binary_euSCR Veri Setine Tabakalı 4-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .......................................................... 73 Tablo 4.8: binary_euSCR Veri Setine Tabakalı 5-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .......................................................... 74 Tablo 4.9: binary_euSCR Veri Setine Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .......................................................... 75 Tablo 4.10: mixed_euSCR Veri Setine Tabakalı 4-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .......................................................... 76 Tablo 4.11: mixed_euSCR Veri Setine Tabakalı 5-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .......................................................... 77 Tablo 4.12: mixed_euSCR Veri Setinde Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. .................................................. 78 vii Tablo 4.13: Logistik Regresyon Analiz Özeti............................................................................. 79 Tablo 4.14: mixed_euSCR Veri Setine Tabakalı 10-Kat Çapraz Geçerleme Kullanarak Uygulanan Logistik Regresyon Analizi Model Performans Değerlendirme Ölçüleri. ...... 82 Tablo 4.15: binary_euSCR Veri Setine tabakalı 10-kat çapraz geçerleme Kullanarak Uygulanan Logistik Regresyon Analizi Model Performans Değerlendirme Ölçüleri. ...... 86 Tablo 4.16: Karar Ağacı Algoritmaları Analiz Özeti. ................................................................. 89 Tablo 4.17: ID3 Algoritmasının Sırasıyla binary_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. ...................................................................................... 91 Tablo 4.18: C4.5 Algoritmasının Sırasıyla mixed_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. ...................................................................................... 92 Tablo 4.19: binary_euSCR Veri Setindeki Niteliklerin Bilgi Kazançları. .................................. 97 Tablo 4.20: C4.5 Algoritmasına Göre mixed_euSCR Veri Setinde Niteliklerin Kazanç Oranları. ........................................................................................................................... 100 Tablo 4.21: Analizlerin Genel Performans Değerlendirmesi (Tabakalı 10-Kat Çapraz Geçerleme)....................................................................................................................... 101 Tablo 4.22: Niteliklerin Modele Verdikleri Katkılara Göre Sıralanması. ................................. 103 viii SİMGE VE KISALTMA LİSTESİ Simgeler Açıklama 𝑪 𝒄̂ m n Y Χ 𝒙𝒊 𝒙𝒊𝒋 : Sınıf Uzayı : Ayrık Sınıflandırıcı : Veri Setindeki Örneklerin Sayısı : Veri Setindeki Niteliklerin Sayısı : Çıktı Uzayı : Veri Seti : Veri Setinde Yer Alan i. Örnek : i. Örneğe ait j. Nitelik Değeri Kısaltmalar Açıklama ACC Acil AktEnd aveACC aveERR binary_euSCR Cnsyt CRISP dn DOR dp ERR EuroSCORE F FNR FPR GecMiyInf KarAng KOAH KorBayCer : Doğruluk : Acil : Aktif endokardit : Ortalama Doğruluk : Ortalama Hata : Yalnızca Kategorik Niteliklerin Bulunduğu Veri Seti : Cinsiyet : CRoss-Industry Standard Process for Data Mining : Doğru Negatif : Tanısal Üstünlük Oranı : Doğru Pozitif : Hata Oranı : The European System for Cardiac Operative Risk Evaluation : F-Ölçüsü : Yanlış Negatif Oranı : Yanlış Pozitif Oranı : Geçirilmiş Miyokard İnfarktüsü : Kararsiz Angina Pektoris : Kronik Akciğer Hastalığı : Koroner Baypas Cerrahisine İlave Veya Bağımsız Majör Kardiyak Prosedür : Kritik Preoperatif Durum : Negatif Olabilirlik Oranı : Pozitif Olabilirlik Oranı : Hem Kategorik Hem Nümerik Niteliklerin Bir Arada Bulunduğu Veri Seti : Gerçekte Negatiflerin Toplamı : Nörolojik Disfonksiyon KriPreDur LRLR+ mixed_euSCR neg NorDis ix NPV PerDamHast PosInfVSD poz PPV PulHip Reop Risk ROC SerKre SGK SolVenDis SPC tNeg TNR TorAorCer tPoz TPR TÜİK Yas yn yp : Negatif Öngörü Değeri : Periferik Damar Hastalığı : Post-infarkt VSD : Gerçekte Pozitiflerin Toplamı : Pozitif Öngörü Değeri : Pulmoner Hipertansiyon : Reoperasyon : Hastanın Hayati Riski : Receiver Operating Characteristic : Serum Kreatinin : T.C. Sosyal Güvenlik Kurumu : Sol Ventrikül Disfonksiyonu : Belirleyicilik : Tahmin Edilen Negatiflerin Toplamı : Belirleyicilik : Torasik Aort Cerrahisi : Tahmin Edilen Pozitiflerin Toplamı : Duyarlılık : Türkiye İstatistik Kurumu : Yaş : Yanlış Negatif : Yanlış Pozitif x ÖZET DOKTORA TEZİ SINIFLANDIRMAYA DAYALI MAKİNE ÖĞRENMESİ TEKNİKLERİ VE KARDİYOLOJİK RİSK DEĞERLENDİRMESİNE İLİŞKİN BİR UYGULAMA Elif KARTAL İstanbul Üniversitesi Fen Bilimleri Enstitüsü Enformatik Anabilim Dalı Danışman: Prof. Dr. M. Erdal BALABAN Bu tezin amacı kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastaya ait hayati riskin sınıflandırmaya dayalı makine öğrenmesi teknikleri kullanılarak belirlenebilmesidir. Çalışmada kullanılan veri seti Acıbadem Maslak Hastanesi’nden temin edilmiştir. Literatürde kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastanın ölüm riskinin tahmini için kullanılan EuroSCORE (The European System for Cardiac Operative Risk Evaluation)’a ait risk faktörleri kullanılmıştır. Veri setindeki gözlemlerde EuroSCORE’daki gibi 30 günlük takip bilgisi bulunmadığından, öncelikle hastaların Standart EuroSCORE puanları hesaplanmıştır. Sonrasında bu risk grupları sınıf etiketi olarak kullanılmış ve tahminler gerçekleştirilmiştir. Naive Bayes Sınıflandırıcı, k-En Yakın Komşu Algoritması, Logistik Regresyon Analizi, ID3 ve C4.5 Karar Ağacı Algoritmaları kullanılarak farklı modeller oluşturulmuştur. Modellerin performansları karşılaştırılmıştır. Veri analizleri R dilinde yazılan kodlarla gerçekleştirilmiştir. R kodlarını geliştirme aracı olarak RStudio kullanılmıştır. Logistik Regresyon Analizinden elde edilen modeller, Shiny (shinyapps.io) aracılığı ile web üzerinden kamuya açık hale getirilmiştir. En iyi performansı gösteren C4.5 karar ağacı modeli için ise başka bir Shiny uygulaması geliştirilmiştir. Haziran 2015, 147 sayfa. Anahtar kelimeler: EuroSCORE, Değerlendirmesi, Sınıflandırma. Kardiyoloji, xi Makine Öğrenmesi, Risk SUMMARY Ph.D. THESIS MACHINE LEARNING TECHNIQUES BASED ON CLASSIFICATION AND A STUDY ON CARDIAC RISK ASSESSMENT Elif KARTAL İstanbul University Institute of Graduate Studies in Science and Engineering Informatics Department Supervisor: Prof. Dr. M. Erdal BALABAN In this thesis, it is aimed to determine the mortality risk of a patient during or shortly after the heart surgery by using machine learning techniques based on classification. The dataset used in this study is obtained from Acıbadem Maslak Hospital. Risk factors of EuroSCORE which is used to predict the mortality risk of a patient during or shortly after the heart surgery is used for predicting mortality risk. Because 30-day follow-up information of patients is not available in the dataset, first the standard EuroSCORE scores of patients are calculated. Then these risk groups are treated like class labels so predictions are carried out. Different models are created using Naive Bayes Classifier, k-Nearest Neighbor Algorithm, Logistic Regression Analysis, ID3 and C4.5 Decision Tree Algorithms. Performance of the classifiers are compared. Data analysis is carried out with R language. RStudio was used as a development tool for R codes. Models derived from Logistic Regression are made available for public via web with Shiny (shinyapps.io). Another Shiny application is developed for the C4.5 decision tree model which has best performance. June 2015, 147 pages. Keywords: EuroSCORE, Classification Cardiology, Machine xii Learning, Risk Assesment, 1 1. GİRİŞ Bilgi ve iletişim teknolojilerinde yaşanan gelişmeler, veri toplanmayı ve depolamayı oldukça kolay hale getirmiştir. Bireylerin özellikle bilgisayar, cep telefonu ve interneti kullanarak gün içinde gerçekleştirdiği birçok işlem elektronik ortamda birer iz bırakmakta, kurum ve kuruluşlar ise yapılan bu işlemleri kayıt altına almaktadır. İlk bakışta büyük bir avantaj gibi görünen bu durum, büyük veri (big data) kavramını diğer bir ifade ile fazla miktardaki ve hızla artan verinin varlığı kavramını ortaya çıkarmıştır. Bu nedenle, kamu ve özel sektör için yalnızca verinin depolanması ve veriye erişim sağlanması yetmemektedir. Çok fazla miktarda veriden, rekabet avantajı yaratacak ve gelişme sağlayacak çıkarımların yapılabilmesi, saklı örüntülerin bulunabilmesi, daha doğru tahminlerin elde edilebilmesi ve tüm bunlar yapılırken en iyi performansın sağlanması, sağlık, askeriye, siyaset gibi birçok alanda stratejik kararların verilmesi için büyük önem taşımaktadır. Bu gibi durumlarda, konu hakkında yeterli bilgi, tecrübe ve öngörü yeteneğine sahip kişilerin bulunması gerekir; ancak vasıfların tümünü bir arada bulunduran uzman kişilerle çalışma fırsatı yakalamak oldukça güçtür. Örneğin, öngörü yeteneği güçlü bir lider olan Mustafa Kemal ATATÜRK’ün, Kurtuluş Savaşı yıllarında ve Cumhuriyetin ilanından sonra başarı sağlamasında en büyük etkenlerden biri de karar verme sürecinde, vereceği karara etki eden birçok etmeni değerlendirmesi ve proaktif yaklaşımla mevcut alternatifler arasından en iyisini seçmesidir. Ancak günümüzde ATATÜRK’ün sahip olduğu siyasi ve askeri bilgi ve deneyimden faydalanmak ve karar verirken nasıl öngörüde bulunduğunu öğrenmek ne yazık ki mümkün değildir. Başka bir örnek verecek olursak, bir doktor hastadan birtakım tetkikler isteyerek veya herhangi bir tetkik istemeden hastalığın ne olduğunu kolaylıkla teşhis edebilmekte ve buna göre tedavi uygulamaktadır. Burada doktor sahip olduğu bilginin yanı sıra, o güne kadar muayene ettiği hastalardan elde ettiği deneyimden faydalanmaktadır. Bu nedenle bir doktorun hastalığı nasıl teşhis ettiği ve tedavisini uyguladığını öğrenmek de mümkün değildir. Oysa özellikle stratejik karar alma ve öngörüde bulunma bir insan yerine bir bilgisayar tarafından gerçekleştirildiğinde, bu durumun sağlayacağı birçok avantaj bulunmaktadır: İşgücünden ve maliyetten tasarruf, işin yapılması için gereken 2 performansın iyileştirilmesi, gerekli bilginin kolaylıkla kopyalanarak çoğaltılması ve taşınabilmesi, tarafsız olabilme vb. Bugün makine öğrenmesi çalışmaları, yapay zekâ, matematik ve istatistikten de yararlanarak karar alma ve öngörüye katkıda bulunacak problemlerin çözümü için kullanılmaktadır. En yalın hali ile makine öğrenmesi, bir makinenin (genellikle bir bilgisayarın) bir işi yapmayı öğrenmesini hedeflemektedir. Simon (1984) öğrenmeyi, bir sistemin aynı görevi ikinci defa gerçekleştirmesinde ya da aynı popülasyonla oluşturulan yeni bir görevde daha iyi performans sergilemesini sağlayacak her türlü değişiklik olarak ifade etmiştir. Makine öğrenmesinde öğrenme işi, kullanılan veri setleri ve algoritmalar ile sağlanmaktadır. Sınıflandırma, makine öğrenmesinin popüler ve temel uygulama alanlarından biri olup, bilinmeyen bir veri parçasını bilinen bir gruba yerleştirmekte kullanılmaktadır (Harrington, 2012). Literatürdeki çalışmalar incelendiğinde sınıflandırmaya yönelik makine öğrenmesi çalışmalarının hisse senedi tahmini, banka kredisi için müşteri risk analizi, deprem tahmini, metin sınıflandırma, hastalık teşhisi, genetik çalışmalar gibi çok çeşitli alanlarda kullanıldığı görülmektedir. Bu alanların içinde sağlık, makine öğrenmesi çalışmalarının sürdürüldüğü, başarılı sonuçlar elde edildiği takdirde hem doktorlara hem de hastalara fayda sağlayacağı düşünülen önemli bir sektördür. Bu düşünceyi, Rana ve diğ. (2015) tıp ve sağlıkta veri madenciliği ve makine öğrenmesi tekniklerinin artarak uygulandığını belirterek desteklemektedir. İnsan hayatının bağlı olduğu en hayati organın kalp olması nedeniyle, kardiyovasküler araştırmaların sağlıkta daha özel bir yerinin olduğu düşünülmektedir. Eski Sağlık Bakanlarından Recep AKDAĞ, kronik hastalıklar içerisinde, kalp ve damar hastalıklarının tüm ölüm nedenleri arasında ilk sırada yer aldığını belirtmiştir (Sağlık Bakanlığı Temel Sağlık Hizmetleri Genel Müdürlüğü, 2008). TÜİK (2014) dolaşım sistemi hastalıkları nedeniyle gerçekleşen ölümlerden %38.8’i iskemik kalp hastalığı, %25.2’si serebro-vasküler hastalık, %17.7’si diğer kalp hastalığı ve %12.8’i hipertansif hastalıklardan kaynaklandığını açıklamıştır. Bu nedenlerle, hastanelerin mevcut hasta kayıtlarından ve makine öğrenmesi tekniklerinden faydalanarak, kalp ameliyatı sırasında ya da ameliyat sonrasındaki hastaya ait hayati riskin belirlenmesinin, kalp ile ilgili sebeplerden ötürü 3 gerçekleşen ölümlerin azaltılması başta olmak üzere birçok avantajı beraberinde getireceğine inanılmaktadır. Bu tezin amacı kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastaya ait hayati riskin sınıflandırmaya dayalı makine öğrenmesi teknikleri kullanılarak belirlenebilmesidir. Bu amaç doğrultusunda tezin kavramsal temellerini oluşturmak için GENEL KISIMLAR bölümünde, MAKİNE ÖĞRENMESİ, ÖĞRENME STRATEJİLERİ, SINIFLANDIRMA ve MAKİNE ÖĞRENMESİ SÜRECİ’ne değinilmiştir. Veri Madenciliği için Çarpraz Endüstri Standard Süreç Modeli (CRoss-Industry Standard Process for Data Mining - CRISP) (Shearer, 2000) adımlarının makine öğrenmesi sürecinde kullanılmasına karar verilmiş ve model hakkında detaylı bilgilere yer verilmiştir. Öncelikle makine öğrenmesinde ele alınan Problemin Tanımlanması, Veriyi Anlama (Data Understanding) ve Veri Hazırlama (Data Preprocessing) açıklanmıştır. Sonrasında tez çalışmasında kullanılan algoritmalar hakkında Modelleme bölümünde temel bilgiler verilmiştir. MALZEME VE YÖNTEM bölümünde, tez çalışmasında geliştirilen kardiyolojik risk değerlendirmesine ilişkin uygulama, CRISP modeli süreç adımları takip edilerek açıklanmıştır. Veri analizine ve analizler sonucunda elde edilen modellerin uygulanabilirliğine ilişkin sonuçlara BULGULAR’da yer verilmiştir. Yine aynı bölümde sınıflandırmaya dayalı makine öğrenmesi teknikleri birbirleriyle karşılaştırılarak en iyi tahminleyici model seçilmiştir. Son olarak TARTIŞMA VE SONUÇ’ta tezin bütününü kapsayan bir değerlendirme yapılarak, gelecekteki çalışmalara ışık tutması için önerilerde bulunulmuştur. 4 2. GENEL KISIMLAR 2.1. MAKİNE ÖĞRENMESİ Öğrenmek, yetenek, beceri kazanmak ve bilgi edinmek anlamlarında kullanılmaktadır (Türk Dil Kurumu, 2015). Öğrenme aynı zamanda, tecrübe, eğitim ve çalışma yoluyla davranışta meydana gelen ölçülebilir ve nispeten kalıcı olan değişimdir (BusinessDictionary, 2015). Öğrenmek işi yani öğrenme denildiğinde bir insan ya da evcil bir hayvan yerine bir makinenin öğrenebileceğini düşünmek ilk bakışta zor olsa da, yapay zekâ, matematik ve istatistik bilimlerinin ortak çalışmaları sonucunda makinelerin de öğrenmesi mümkün kılınmıştır. “Makine” kelimesi çoğu insan için gıcırdayan dişlileri, tıslayan buharı veya çınlayan çelik parçalarının sesini çağrıştırsa da, günümüzde bilgisayarlar bir makinenin ne olabileceği kavramını oldukça genişletmiştir; öyle ki, işleyen bir bilgisayar sistemi, yazılım ve donanımdan meydana gelmekte olup sıklıkla yazılımın kendisi “makine” olarak düşünülmektedir (Nilsson, 2009). Bu tanımlamadan yola çıkılarak, öğrenen makinenin bir televizyon, bir cep telefonu, bir klima ya da buzdolabı gibi bir donanım olabileceğini; ancak makinelerin öğrenmesini sağlayan asıl unsurun, içlerinde bulunan bilgisayar programları/yazılımlar olduğunu söylemek mümkündür. Türkçeye “makine öğrenmesi” olarak yerleşen bu kavram yapay öğrenme (Alpaydın, 2013) biçiminde de ifade edilmektedir. İnsan zekâsının bilgisayarlara aktarılabilmesi düşüncesi yapay zekâ çalışmalarının temelini oluşturmaktadır. Böylelikle, çabuk işlem yapabilme kapasitesi, taşınabilirlik, kolay kopyalama gibi bilgisayarların insan zekâsıyla kıyaslandığında yapay zekânın sunduğu birçok avantajdan faydalanmak mümkündür. Üstelik bu çalışmalar, bir hastanın kanser olup olmadığının belirlenebilmesi, bankaya gelen bir müşterinin risk durumunun tespit edilmesi gibi klasik matematiksel denklemler ve algoritmalar ile çözülemeyecek problemleri ele almaktadır. Bu doğrultuda, öğrenebilen makinelerin geliştirilmesine etki eden unsurlardan birinin, insandaki öğrenmenin bilgisayarlara aktarılabilmesi yani bir yapay öğrenme elde edebilme düşüncesi olduğunu söylemek yanlış olmayacaktır. 5 Simon (1984) öğrenmeyi, bir sistemin aynı görevi ikinci defa gerçekleştirmesinde ya da aynı popülasyon ile ilgili oluşturulan yeni bir görevde daha iyi performans sergilemesini sağlayacak her türlü değişiklik olarak ifade etmiştir. Bir makinenin öğrenmesi için davranışını performansı da göz önünde bulundurarak nasıl değiştireceğini Mitchell (1997) şu şekilde ifade etmiştir: Eğer bir bilgisayar programının G görevlerinde P ile ölçülen performansı deneyim D ile artıyorsa, o bilgisayar programının bazı G görevlerinin sınıflarına ve performans ölçüsü P’ye göre deneyim D’den öğrendiği söylenmektedir. Tanımda söz edilen ve gerçekleştirmesi istenen G görevi, banka müşterilerinin kredi riskinin sınıflandırılması, P performansı, risk grubu doğru biçimde belirlenen müşterilerin yüzdesi (ya da risk grubu yanlış biçimde belirlenen müşterilerin yüzdesi) ve D deneyimi, bankanın bugüne kadar kredi verdiği ve vermediği müşterilerin kayıtlarını içeren veritabanı olarak düşünülebilir. Bir müşteriye kredi verilip verilmemesiyle ilgili kararı verecek kişiden, alanında uzman bilgi ve deneyim sahibi bir çalışan olması beklenirdi. Kararı alacak kişi söz edilen özelliklere sahip olsa bile bir insanın, müşteriye kredi verilip verilmeme durumuna etki eden faktörleri çıplak gözle incelemesi ve karar vermesi yine de güçtür. Bir ya da iki müşteri için karar vermek kolay olsa da gün içinde çok sayıda müşterinin risk analizini yaparken hata yapma olasılığı artacaktır. Aynı durumda karar verici bir bilgisayar olsaydı bilgisayarın öncelikle müşteri risk analizinin nasıl yapılacağını öğrenmesi gerekirdi. Bunun içinse bilgisayar, Mitchell’in tanımında olduğu gibi bankaya ait müşteri veritabanından (deneyimlerinden) faydalanacak, genellikle çok sayıda müşteri bilgisini içeren bu veritabanında, daha önce kredi verilen ve verilmeyen müşterilerin risk analizine etki edecek özelliklerine bakarak bu bilgiler ışığında yeni müşteri için analiz sonucunu ortaya koyacaktır. Bilgisayarın başarılı bir biçimde müşteri risk analizini gerçekleştirip gerçekleştirmediği ise en basit şekilde risk grubu doğru biçimde belirlenen müşterilerin yüzdesi dikkate alınarak (performans değerlendirmesi yapılarak) görülebilecektir. 6 Alpaydın (2013) makine öğrenmesinin amacını açıklarken yukarıdaki tanım ve örneğe benzer biçimde, birtakım parametrelere bağlı olarak oluşturulmuş bir modeli ve veri ya da geçmiş deneyimler üzerinde bu modelin performansının ölçüldüğü bir performans ölçütünü ele alalım demiştir. Temel amacın, modelin sonunda en iyi performansı sağladığı parametre değerlerinin bulunması biçiminde ifade etmiştir. Kullanılan modelin, gelecek ile ilgili karar vermeye yönelik öngörü yeteneğine sahip bir model olabileceği gibi, bilgi çıkarmakta kullanılan açıklayıcı bir model olabileceğinin altını çizmiştir. Langley (1996) makine öğrenmesinin yapay bilimi (artificial science) olduğunu ve bu alandaki temel performansını deneyimlere dayalı bir biçimde artıran insan yapımı (yapay/artificial) şeyler, özellikle de algoritmalar olduğunu belirtmiştir. Makine öğrenmesi etkili ve hatasız tahmin yapabilen algoritmaların tasarlanmasından oluşmaktadır (Mohri ve diğ., 2012). Makine öğrenmesi alanı deneyim ile otomatik olarak gelişen bilgisayar programlarının nasıl oluşturulabileceği ile ilgilenmektedir (Mitchell, 1997). Makine öğrenmesi, performans optimizasyonu için örnek veri ya da geçmiş deneyimleri kullanarak bilgisayar programlamaktır (Alpaydın, 2014). Bir makine, performansını deneyimler ile arttırdığında, o makinenin öğrenmiş olduğu kabul edilmektedir ki burada sözü edilen öğrenme, veriyi tutan ve ilginç ya da faydalı örüntüleri ortaya çıkaran algoritma ve programlara gereksinim duymaktadır (Harrington, 2012). Makine öğrenmesi, veriden kural öğrenebilen, değişikliklere uyum sağlayabilen ve deneyim ile performansını geliştirebilen yazılımları tasarlamakla ilgilenmektedir (Blum, 2007). Makine öğrenmesi sistemleri veriden programları otomatik bir şekilde öğrenmektedir (Domingos, 2012). Makine öğrenmesi en yalın hali ile geçmiş deneyimlerden geleceği tahmin etmektir (Hal Daumé III, 2012). Makine öğrenmesiyle ilgili önemli görülen unsurları kısaca özetlersek, Günümüzde makine öğrenmesi denildiğinde öğrenmeyi gerçekleştiren makine olarak akla bilgisayarlar getirilebilir. Yapılan makine öğrenmesi tanımlarında özellikle deneyim ve performansın vurgulanması dikkat çekicidir. Makine için geçmiş deneyim olarak kabul edilen aslında öğrenmenin gerçekleşebilmesi için gereken veri ve bu verinin büyüklüğüdür. 7 Öğrenmenin başarısını ölçebilmek için belirli ölçütler tanımlanmıştır. Böylelikle süreç sonunda model performansı değerlendirilmektedir. Makinenin öğrenebilmesi için kurulan modele ait parametreler varsa bu parametreler değiştirilmektedir. Makine öğrenmesi, optik karakter algılama, yüz tanıma, spam e-posta filtrelemesi, konuşma dili anlama, tıbbî teşhis, müşteri segmentasyonu, sahtekârlık tespiti ve hava durumu tahmini gibi birçok farklı problemin çözümünde kullanılmaktadır (Schapire, 2008). Bir problemin makine öğrenmesi ile çözülebilmesi sırasıyla birtakım adımların izlenmesi gerekmektedir. Bu adımlar Bölüm 2.4’de ele alınmış olup öncesinde, bir makinenin öğrenmesini sağlamak için geliştirilen çeşitli öğrenme stratejilerinden söz edilecektir (Bölüm 2.2). 2.2. ÖĞRENME STRATEJİLERİ Günlük hayattaki öğretmen-öğrenci ilişkisinde olduğu gibi makine öğrenmesinde de önemli iki aktör mevcuttur: Bunlardan ilki verilen görevin yerine getirilebilmesi için gereken bilgiye sahip olan eğitmen (teacher), ikincisi ise verilen görevin yerine getirilebilmesi için bilgiyi öğrenmek zorunda olan öğrenendir (learner) (Camastra ve Vinciarelli, 2008). Literatürde makine öğrenmesinde kullanılan öğrenme stratejilerinin farklı şekillerde sınıflandırılmaktadır. Camastra ve Vinciarelli (2008), öğrenme stratejilerini; Ezbere dayalı öğrenme (rote learning) Talimatlardan öğrenme (learning from instruction) Benzetim yoluyla öğrenme (learning by analogy) Örneklerden öğrenme (learning from examples) o Danışmanlı öğrenme (supervised learning) o Danışmansız öğrenme (unsupervised learning) olarak sınıflandırmış, öğrenme stratejilerini ise öğrenenin eğitmenden sağladığı enformasyondan çıkarım miktarına göre ayrılabileceğini belirtmiştir. Mohri vd. (2012), makine öğrenmesi için kullanılan senaryoların; öğrenen için kullanılabilir eğitim verisi, eğitim verisindeki sıra ve yöntem ile öğrenme algoritmasının değerlendirilmesinde 8 kullanılan test verisine göre birbirinden ayrılabileceğini ifade ederek, bu senaryoları şu biçimde özetlemiştir: Danışmanlı öğrenme Danışmansız öğrenme Yarı-danışmanlı öğrenme (semi-supervised learning) Transdüktif akıl yürütme (transductive inference) Çevrimiçi öğrenme (online learning) Pekiştirmeli öğrenme (reinforcement learning) ve Aktif öğrenme (active learning) Brownlee (2013), öğrenme stillerini danışmanlı öğrenme, danışmansız öğrenme, yarıdanışmanlı öğrenme ve pekiştirmeli öğrenme biçiminde dört başlıkta incelemiştir. Mannan (2005), ele aldığı öğrenme türlerini; talimatlardan öğrenme, sınıflandırma ile öğrenme, araştırma ve kavramsallaştırma yoluyla öğrenme, deneyim ve benzetim yoluyla öğrenme, hatalardan öğrenme, problem-çözümünden öğrenme biçiminde sıralamıştır. Öğrenme stratejilerinin literatürdeki farklı sınıflandırılmalarına karşın kabaca danışmanlı öğrenme ve danışmansız öğrenme olarak ikiye ayrıldığı tespit edilmiştir (Harrington, 2012; Murphy, 2012; Donalek, 2011; Hastie ve diğ., 2008). Ayrıca bu iki öğrenme türü sırasıyla sınıflandırma ve kümeleme olarak da adlandırılmaktadır (Witten ve diğ., 2011). Literatürde adı geçen öğrenme stratejilerine aşağıda kısaca değinilmiştir. Ezbere dayalı öğrenme biçiminde yeni bilgi doğrudan öğrenene aktarılmaktadır (Camastra ve Vinciarelli, 2008). Dolayısıyla öğrenen tarafından gerçekleştirilmesi beklenen herhangi bir çıkarım söz konusu değildir. Bu öğrenme modeline örnek olarak klasik yollar ile bilgisayarların programlanması ve basit veritabanı sistemleri verilmiştir. Talimatlardan öğrenme biçiminde bilgi bir eğitmen ya da farklı bir kaynaktan gelmekte olup, öğrenen bu bilgiyi girdi dilinden farklı bir iç dile dönüştürmektedir, fazla olmasa da öğrenen tarafından gerçekleştirilen bir çıkarım söz konusudur (Camastra ve Vinciarelli, 2008). 9 Benzetim yoluyla öğrenme var olan ve yeni bir kavram ya da yetenekle benzerlik gösteren bilginin artırılarak ve dönüştürülerek yeni gerçeklere ya da yeteneklere ulaşılmasıdır (Camastra ve Vinciarelli, 2008). Öğrenen tarafından gerçekleştirilen çıkarım miktarı diğer iki yönteme göre daha fazladır. Örneklerden öğrenme bahsedilen yöntemlerin içinde öğrenenin en fazla çıkarım yaptığı öğrenme biçimidir (Camastra ve Vinciarelli, 2008). Öğrenen, bir kavramla ilgili verilen örnekler kümesinden bu örnekleri tarif eden genel bir tanım çıkarmaktadır. Danışmanlı öğrenme, öğrenenin eğitim verisi olarak bir dizi etiketlenmiş örneği aldığı ve daha önce görmediği noktalar için tahminlerde bulunduğu bir öğrenme şeklidir (Mohri ve diğ., 2012). Amacı, veri içindeki kestirici nitelikler (predictor features) cinsinden sınıf etiketlerinin dağılımını ifade eden özlü bir model ortaya koyabilmektir (Kotsiantis ve diğ., 2006). Danışmanlı öğrenmede adından da anlaşılacağı gibi öğrenme işi bir danışman yardımı ile gerçekleştirilmektedir. Bu danışman, makine öğrenmesi tanımlarında da sıklıkla kullanılan veri ya da geçmiş deneyim anlamına gelmektedir. Girdi-çıktı değerlerinin birlikte yer aldığı veriyi oluşturan her bir örnek etiketlenmiş olarak kabul edilmektedir. Bir başka ifade ile hangi girdi değerine hangi çıktı değerinin karşılık geldiği bilinmektedir. Danışmanlı öğrenme literatürde gözetimli öğrenme, eğiticili/eğitmenli öğrenme ve denetimli öğrenme biçiminde de adlandırılmaktadır. Danışmanlı makine öğrenmesi gerçek hayattan bir probleme uygulanırken Şekil 2.1’deki adımlar takip edilebilir (Kotsiantis, 2007). Yarı-danışmanlı öğrenmede öğrenene çok miktarda etiketlenmemiş verinin yanında az miktarda da olsa etiketlenmiş veri sunulmaktadır (Witten ve diğ., 2011). Genellikle etiketlenmemiş verinin kolaylıkla elde edilebileceği ancak veriyi etiketlemenin oldukça zor olduğu durumlar (örneğin metin madenciliği) için kullanılmaktadır. Yarı-danışmanlı öğrenmede daha önce görülmemiş örneklerin etiketlerini doğru tahmin edilmesi için hem etiketlenmiş hem de etiketlenmemiş veri kullanılmaktadır; transdüktif akıl yürütmede ise yine aynı bilgi kullanılır ancak amaç sadece bilinmeyen etiketsiz örneklerin etiketlerini tahmin etmektir (Cortes ve Mohri, 2007). Transdüktif, bilginin aktarımı anlamındadır ve 10 transdüktif akıl yürütme, test verisinin dağılımıyla ilgili bilginin test verisi için bir sınıflandırıcı oluşturularak öğrenene aktarılmasıdır (Branson, 2001). Şekil 2.1: Danışmanlı Makine Öğrenmesi Süreci (Kotsiantis, 2007). Danışmansız öğrenme, öğrenenin eğitim verisinde hiçbir etiketlenmiş örneğinin bulunmadığı öğrenme biçimidir (Mohri ve diğ., 2012). Öğrenen, bu eğitim verisi doğrultusunda tahminlerde bulunmaktadır. Literatürde gözetimsiz öğrenme, eğiticisiz öğrenme ve denetimsiz öğrenme olarak da 11 adlandırılmaktadır. Kümeleme ve boyut indirgeme başlıca danışmansız öğrenme örnekleri olarak verilebilir (Mohri ve diğ., 2012). Çevrimiçi öğrenmede bir dizi tur birbirini izlemektedir (Shalev-Shwartz, 2007). Her turda, öğrenene bir soru yöneltilmekte ve bu soruya cevap vermesi beklenmektedir. Öğrenen soruya cevap verebilmek için hipotez olarak adlandırılan tahmin mekanizmasını kullanmaktadır. Öğrenenin verdiği cevap ile doğru cevap arasındaki farkın kayıp fonksiyonunun ölçülmesi ile öğrenenin verdiği cevabın kalitesi elde edilmektedir. Pekiştirmeli öğrenme, dinamik programlama ve danışmanlı öğrenme alanlarını birleştiren, öğrenene başarması için bir hedef verildiği ve öğrenenin de bu hedefe kendi çevresinde deneme-yanılma yoluyla nasıl ulaşacağını öğrendiği bir öğrenme türüdür (Harmon ve Harmon, 1997). Pekiştirmeli öğrenmede öğrenene hangi eylemi gerçekleştirmesi gerektiği söylenmemekte, bunun yerine öğrenen eylemleri deneyerek en çok ödülü sağlayan eylemi keşfetmektedir, yani bir eylem sadece mevcut ödülü değil bir sonraki durumu da etkilemektedir (Sutton ve Barto, 1998). Yeni doğmuş bir ceylan yavrusunun yarım saat uğraştıktan sonra saatte yaklaşık 30 km hızla koşabilmesi ya da mobil bir robotun çöp toplamak için odalara girme ya da pilini şarj etmek için uygun bir yer bulma arasında seçim yapması pekiştirmeli öğrenmenin daha iyi anlaşılabilmesi için verilmiş bazı örneklerdendir (Sutton ve Barto, 1998). Aktif öğrenmede öğrenen aktif bir biçimde etiketleyeceği örnekleri toplamaktadır; amaç ise öğrenme için gereken etiketlenmiş örneklerin sayısını düşürebilmektir (Zhang, 2011; Olsson, 2009). Aktif öğrenme konuşma tanıma, bilgi çıkarımı, resim, ses, video ya da doküman sınıflandırma problemlerinde karşılaşılan etiketleme darboğazını, etiketlenmemiş örneklerin bir uzman tarafından etiketlenebilmesi için sorgular yardımı ile aşmakta, böylece mümkün olduğu kadar az miktarda etiketlenmiş veri ile yüksek doğruluk elde etmeyi amaçlamaktadır (Settles, 2010). 2.3. SINIFLANDIRMA Bölüm 2.2’de makinenin öğrenmesi için girdi ve çıktıların birlikte yer aldığı örneklerin makineye sunulduğu öğrenme biçimi danışmanlı öğrenme olarak ifade edilmişti. Her 12 girdi vektörünü, sonlu sayıdaki bir ayrık kategoriye atamayı amaçlayan durumlar ise sınıflandırma (classification) problemi olarak ele alınmaktadır (Bishop, 2007). Sınıflandırma problemlerinde çıktı uzayındaki her bir eleman birer sınıf (class), sınıflandırma problemini çözen algoritmaya da sınıflandırıcı (classifier) adı verilmektedir (Camastra ve Vinciarelli, 2008). Literatürde makine öğrenmesinde sınıflandırma için kullanılan Karar Ağaçları, Naive Bayes Sınıflandırıcı, Yapay Sinir Ağları, Destek Vektör Makineleri, k-En Yakın Komşu Algoritması gibi çok sayıda algoritma mevcuttur. Bir sınıflandırıcı, bir başka ifade ile bir sınıflandırma modeli (classification model), örneklerden tahmin edilen sınıflara doğru bir haritalamadır (Fawcett, 2006). Bir sınıflandırıcı, 𝑐̂ : 𝑋 → 𝐶, 𝐶 = {𝐶1 , 𝐶2 , … , 𝐶𝑛 } biçiminde gösterilebilir (Flach, 2012). Burada sınıflandırıcının 𝑐̂ (𝑥) şeklinde ifade edilmesinin nedeni, gerçekte var olan ancak sınıfı bilinmeyen 𝑐(𝑥) fonksiyonunun tahminini ifade etmesidir. Bir sınıflandırıcı için örnekler (𝑥, 𝑐(𝑥)) formunu almakta, 𝑐(𝑥) ise gerçek sınıf değerini göstermektedir. Sınıflandırma, makine öğrenmesinin popüler ve temel görevlerinden biridir ve bilinmeyen bir veri parçasının bilinen bir gruba yerleştirilmesinde kullanılmaktadır (Harrington, 2012). Örneklerden çıkarım olarak da bilinen sınıflandırmada amaç, kavram tanımı elde edildikten sonra, daha önce algoritmaya tanıtılmamış örnekleri en yüksek doğrulukla etiketleyecek sınıflandırıcıyı geliştirmektir (Çakır, 2005). Makine öğrenmesi sınıflandırması literatürde örüntü tanıma olarak da adlandırılmaktadır (Cen ve diğ., 2010; Alpaydın, 2006). Sınıflandırmada bazı modeller (olasılı (probabilistic) sınıflandırıcı) çıktı olarak bir örneğin belirli bir sınıfa aitliğini gösteren olasılık değerini verirken, bazıları (ayrık (discrete) sınıflandırıcı) sadece örneğin tahmin edilen sınıfını gösteren ayrık sınıf etiketini vermektedir (Fawcett, 2006). Ayrık sınıf etiketi veren 𝑐̂ sınıflandırıcısını göz önüne alalım. Yapılacak olan sınıflandırma aşağıdakilerden biridir (Sokolova ve Lapalme, 2009): İkili: Girdi {𝐶1 , 𝐶2 } gibi birbiriyle örtüşmeyen iki sınıftan yalnızca birine aittir. Çoklu-sınıf: Girdi birbiriyle örtüşmeyen 𝑙 adet sınıftan yalnızca birine aittir. 13 Çoklu-etiketli: Girdi birbiriyle örtüşmeyen 𝑙 adet sınıftan birkaç tanesine aittir. Hiyerarşik: Girdi birbiriyle alt sınıflara ayrılan ya da üst sınıflara gruplanabilen sınıflardan yalnızca birine aittir. 2.4. MAKİNE ÖĞRENMESİ SÜRECİ ADIMLARI Literatürde seçilen bir problemi makine öğrenmesinden faydalanılarak çözebilmek için birbirine yakın bazı yaklaşımlar mevcuttur. Örneğin, Hu (2013) bir makine öğrenmesi modelinin uygulanması için gerekli adımları beş ana başlıkta incelemiştir. Bu adımlar: 1. Veri toplanma 2. Veri ön-işleme 2.1. Veri temizleme 2.2. Veri dönüştürme 2.3. Veriyi eğitim ve test kümelerine ayırma 3. Eğitim verisi üzerinde modelin kurulması 4. Test verisi üzerinde modelin değerlendirilmesi 5. Performans tatmin edici bulunduğu takdirde gerçek uygulamaya geçilmesi Brownlee (2014), makine öğrenmesi problemlerinin adım kullanılabilecek uygulamalı makine öğrenmesi süreci sunmuştur: Problem Tanımı Veri Analizi Veri Hazırlama Algoritma Değerlendirme Sonuçların Geliştirilmesi Sonuçların Sunumu Rossi (2007), sınıflandırma problemlerinin çözümünü Girdiye karar verme, Eğitim veri setinin oluşturulması, Sınıflandırıcının eğitilmesi ve performansının tahmini, Sınıflandırıcı tahminlerinin değerlendirilmesi adım çözümünde 14 olmak üzere dört ana başlıkta incelemiştir. Veri madenciliğiyle yakın ilişkisi dikkate alınırsa makine öğrenmesinde, veri madenciliğinde izlenen sürece benzer bir yolun izlenmesi olanaklıdır. Endüstri liderlerinin ve iki yüzden fazla uzmanın, veri madenciliği aracı ve hizmeti sağlayıcılarının katkılarıyla Veri Madenciliği için Çarpraz Endüstri Standard Süreç Modeli (CRoss-Industry Standard Process for Data Mining - CRISP) geliştirilmiştir (Shearer, 2000). CRISP modeli, Problemin Tanımlanması, Veriyi Anlama, Veri Hazırlama, Modelleme, Modelin Değerlendirme ve Seçimi ve Modelin Uygulamaya Geçirilmesi olmak üzere altı aşamadan oluşmaktadır (Şekil 2.2). Bu tez çalışmasındaki sınıflandırmaya dayalı makine öğrenmesi uygulaması gerçekleştirilirken CRISP modeli adımları izlenmiştir. Şekil 2.2: CRISP Modeli (Shearer, 2000). 2.4.1. Problemin Tanımlanması Makine öğrenmesi çalışmalarında gereken ilk adım üzerinde çalışılacak olan öğrenme probleminin iyi tanımlanmasıdır. Bu aşamada, ihtiyaç belirlenerek makine öğrenmesi ile kurulacak modelin amacının ne olduğu ortaya konmalıdır. İyi tanımlanan bir öğrenme 15 problemi aynı zamanda, Bölüm 2.1’de verilen makine öğrenmesi tanımındaki G görevinin, P performans ölçüsünün ve D deneyiminin de belirlenmesini sağlamaktadır (Mitchell, 1997). Örneğin, Bir kanser teşhisi öğrenme problemi için: Görev G: Hastaların kanser ya da kanser değil biçiminde sınıflandırılması Performans P: Doğru sınıflandırılan hastaların yüzdesi Deneyim D: Kanserli ve kanserli olmayan hastalara ait örnek olarak alınan kayıtlar veya gözlemler 2.4.2. Veriyi Anlama (Data Understanding) Makinenin deneyim olarak yararlanacağı veri, ele alınan probleme uygun bir biçimde temin edilir. Toplanan veri yapılandırılmış (veritabanı düzenindeki gibi), ya da yapılandırılmamış (Twitter’dan elde edilen twitler gibi) olabilir. Veri toplama aşamasında farklı kaynaklardan yararlanılabilmektedir. Bunlardan ilki internette yer alan hazır veri setleridir. Bu veri setleri, erişim ve kullanım kolaylığı bakımından makine öğrenmesi çalışmalarına avantaj sağlamaktadır. University of California, Irvine (UCI) Machine Learning Repository (Lichman, 2013), Machine Learning Dataset Repository (Braun ve diğ., 2015) web sayfalarından bu gibi paylaşıma açılan veri setlerine erişmek mümkündür. Bazı çalışmalarda veri seti araştırmacılar tarafından oluşturulmaktadır; ancak uydurma veri setlerinin kullanılması, çalışma sonuçlarına müdahale edilmesi düşüncesini de beraberinde getirmektedir. Kimi çalışmalarda internetteki hazır veri setlerinden birini ya da uydurma veri seti kullanmak yerine, ele alınan probleme özgü orijinal veri setleri problem için yeniden oluşturulmaktadır. Bu gibi durumlarda ise verinin temin edildiği organizasyonlar tarafından güvenlik açığı kaygısı ya da elde edilecek sonuçların organizasyon aleyhine olabileceği düşüncesi ortaya çıkmaktadır. Bunlara ek olarak, organizasyon içinde istenen verinin dağınık tutuluyor oluşu, veriye erişmek için gerekli bürokratik süreç ve sürecin zaman alması, verinin elde edilmesinde teknolojik altyapı yetersizliği gibi birçok unsur dezavantaj olarak görülebilir. Verinin analizler için hazırlaması belki de makine öğrenmesi sürecinin en zaman alıcı aşaması olarak kabul edilebilir. Modelin kurulmasından önce mevcut verinin iyi 16 anlaşılması ve iyi analiz edilmesi gerekmektedir. Veri seti temin edildikten sonra veri hakkında ön fikir edinilmesi için bazı basit istatistiksel hesaplamalar yapılabilir ve grafikler çizilebilir. Niteliklerin kategorik ya da nümerik olmasına göre maksimum, minimum, mod, medyan, ortalama ya da kartil hesaplamaları yapılabilir, nitelikler kutu grafiği (box and whisker plot), histogram, sütun ve pasta grafikleri ile görselleştirilebilir. Tüm bu işlemler, veri ön-işleme sürecinde hangi analizlerin gerçekleştirilmesi gerektiği hakkında da bilgi sunmaktadır. 2.4.3. Veri Hazırlama (Data Preprocessing) Veri analizine geçmeden önce verinin analizler için hazır hale getirilmesi önemlidir. Literatürde veri ön-işleme (data preprocessing) olarak bilinen veri hazırlama süreci Han ve Kamber (2006) tarafından veri özetleme, veri temizleme, veri bütünleştirme ve dönüştürme, veri indirgeme, veri ayrıklaştırma ve kavram hiyerarşisi yaratma başlıkları altında ayrıntılı bir biçimde ele alınmıştır. Veri hazırlama sürecinde gerçekleştirilecek işlemlerin herhangi bir standardı olmayıp, kullanılan veri setine göre değişmektedir. Bu tez çalışmasında faydalanılan veri hazırlama süreci işlemlerinden bazılarına bu bölümde değinilmiştir. 2.4.3.1. Kayıp değerler ile çalışma Veri setinde bazen bir örneğin herhangi bir niteliğine ait değer ölçülmemiş olabilmektedir. Bu da literatürde kayıp değer (missing value) ile çalışma ve kayıp değerlerden kaynaklanabilecek bazı problemleri beraberinde getirmiştir. Kayıp değerler sınıflandırma algoritmasının performansını etkileyebilmektedir (Suthar ve diğ., 2012; Somasundaram ve Nedunchezhian, 2011). Bunlara ek olarak eksik verinin analiz sonucunun kesinliğini azaltması, kayıp değerler nedeniyle meydana gelecek boşlukların hesaplamada zorluk yaratması ve veri dağılımındaki bozukluktan meydana gelecek olası yönlendirme gibi olumsuz etkileri olabilmektedir (Suthar ve diğ., 2012; Somasundaram ve Nedunchezhian, 2011). Kayıp değerlerin tamamlaması işlemi de veri hazırlama adımında gerçekleştirilmelidir. Bu işlemi gerçekleştirmek için çeşitli yöntemler geliştirilmiştir. Bunlardan bazılarını sıralayacak olursak (Carpenter ve diğ., 2015; Rahman ve Davis, 2013; Somasundaram ve Nedunchezhian, 2011; Steyerberg, 2008; Gelman ve Hill, 2006; Durrant, 2005; Batista ve Monard, 2003): 17 Genellikle hedef niteliğin bulunmadığı ya da aynı örneğe ait çok sayıda kayıp değer olduğu durumlarda ilgili kayıt yani tüm satır silinebilmektedir. Kayıp değerlerin tümü, “bilinmeyen”, “N/A” gibi belirlenen bir sabit ile gösterilebilir. Bu yöntem kayıp değerin tahmininin önemli olmadığı zamanlarda tercih edilmektedir. Kayıp değerlerin olduğu niteliğin ortalaması alınarak, elde edilen ortalama değer, kayıp değerlerin yerine yazılabilir. Ortalama değerinin hesaplanması ile kayıp değerlerin tamamlanması konusunda izlenen başka bir yol da nitelikteki ortalamaların sınıf değerlerine göre alınarak ilgili kayıp değerlere atanmasıdır. Kategorik niteliklerde en sık tekrar eden (mode) değer, kayıp değerler yerine atanabilmektedir. Bazı makine öğrenmesi algoritmalarının kullanılmasıyla da kayıp değerler tahmin edilebilmektedir. Bu yaklaşımda kayıp değerlerin tahmin edilmesi de bir sınıflandırma problemi olarak ele alınmaktadır. Kayıp değerlerin olduğu örnekler, hiç kayıp değer olmayan örneklerden ayrılır. Bu aşamadan sonra, hiç kayıp değeri olmayan örnekler, algoritmalar yardımıyla kayıp değerlerin tahmin edilebilmesi için kullanılmaktadır. Kayıp değerlerin tahmini için regresyon kullanılabilmektedir. Aynı niteliğin birden fazla defa gözlemlenmesi durumunda nitelikte gözlemlenen en son değer, kayıp değerler yerine atanabilmektedir. 2.4.3.2. Normalizasyon Veri setinde yer alan nümerik değerlerin tümü aynı aralıklarda bulunmayabilir. Örneğin yaş niteliği 18 ile 85 arasında değişirken, gelir seviyesi niteliği 1000 ile 5000 arasında değişebilmektedir. Bu durum, niteliklerin aldığı değerler arasında dengesizliğe veya büyük değerlere sahip bir niteliğin hedef değerleri domine etmesine neden olabilmektedir. Bu problemi ortadan kaldırabilmek için normalizasyon kavramı geliştirilmiştir. Nitelikler farklı yöntemlerle normalize edilebilmektedir. Bu yöntemlerden bazıları Denklem 2.1, 2.2 ve 2.3’te verilmiştir (Han ve Kamber, 2006): Min-max: 𝑣′ = 𝑣 − 𝑚𝑖𝑛𝐴 (𝑦𝑒𝑛𝑖_𝑚𝑎𝑥𝐴 − 𝑦𝑒𝑛𝑖_𝑚𝑖𝑛𝐴 ) + 𝑦𝑒𝑛𝑖_𝑚𝑖𝑛𝐴 𝑚𝑎𝑥𝐴 − 𝑚𝑖𝑛𝐴 (2.1) 18 Z-score: 𝑣′ = 𝑣 − 𝐴̅ 𝜎𝐴 (2.2) Ondalık ölçekleme: 𝑣′ = 𝑣 ; 10𝑗 (2.3) 𝑀𝑎𝑥(|𝑣 ′ |) < 1 koşulunu sağlayan en küçük tam sayı 𝑗 olmak üzere. 2.4.3.3. Uç noktalar (Outliers) Uzakta bulunan gözlemler ya da uç noktalar (outliers), bulunduğu örneklemin diğer üyelerinden belirgin biçimde ayrılmış durumdaki gözlemlerdir (Cheng, 2000; Grubbs, 1969). Uç noktalar aşağıda verilen farklı şekillerde karşımıza çıkabilir (Cheng, 2000; Hair ve diğ., 1998); Veri girişi ya da kodlama hatası gibi prosedürel hatalardan kaynaklanabilir, Sıra dışı bir olayın sonucu şeklinde ortaya çıkabilir, Araştırmacının da açıklayamadığı sıra dışı bir gözlem olabilir, Her bir değişkenin normal aralığına girmiş olmasına rağmen değişkenlerin kombinasyonu biçiminde yazıldığında uç nokta haline gelebilir. 2.4.4. Modelleme Makine öğrenmesi alanında pratik yapanlar, karmaşık ve çok sayıda farklı nitelikten oluşan ham veriyi birtakım yöntemler kullanarak modellemektedir; ve bu söz konusu model, verinin içindeki olası esas gizli düzen ya da örüntüyü yakalamak için kullanılmaktadır (Vellido ve diğ., 2012). Flach (2012), bir görevin niteliklerle tanımlanan veriyi çıktılara uygun ihtiyaç duyduğu haritalamayı model olarak ele almış, öğrenme problemlerinin, çözüldüğünü, görevlerinse vurgulamıştır (Flach, 2012). modelleri modeller üreten öğrenme tarafından algoritmaları tarafından yönlendirilmekte olduğunu 19 Şekil 2.3: Makine Öğrenmesi Modeli. Tüm modellerin yer aldığı küme 𝑀 = {𝑀1 , 𝑀2 , … , 𝑀𝑛 } olsun. Amaç bu modeller arasından en iyisini seçmektir. Bir başka ifade ile test veri setinde en iyi sonucu veren model seçilecektir ve söz edilen 𝑀 kümesi aşağıda verilenlerden oluşabilir (Rai, 2011): Aynı öğrenme modeli farklı biçimlerde denenebilir. Örneğin, k-En Yakın Komşu Algoritmasının farklı k sayıları ile ele alınması ya da yapay sinir ağlarında farklı sayıdaki katmanlar ile çalışılması gibi. Birbirinden farklı öğrenme modelleri kullanılabilir. Örneğin, k-En Yakın Komşu Algoritması, destek vektör makineleri, karar ağaçları gibi. Bu tez çalışmasındaki 𝑀 modeller kümesini oluşturmada faydalanılan algoritmalar Bölüm 2.4.4.1, 2.4.4.2, 2.4.4.3, 2.4.4.4 ve 2.4.4.5’te kısaca özetlenmiştir. 2.4.4.1. Naive Bayes Sınıflandırıcı Naive Bayes Sınıflandırıcı (Naive Bayes Classifier) Bayes Teoremi’nden faydalanılarak oluşturulmuş kolaylıkla anlaşılabilir ve uygulanabilir bir yöntemidir. Bu yöntemle bir örneğin hedef niteliğin sınıf değerlerine ait olma olasılıkları bulunabilmektedir. Naive Bayes sınıflandırıcı aşağıda özetlenmiştir (Han ve Kamber, 2006): 𝑋 = (𝑥1 , 𝑥2 , … , 𝑥𝑛 ) örnekler kümesi, 𝐶 = (𝐶1 , 𝐶2 , … , 𝐶𝑚 ) sınıflar kümesi olsun. Amaç, 𝑃(𝐶𝑖 |𝑋)’i maksimize etmektir. 𝐶𝑖 sınıfı için 𝑃(𝐶𝑖 |𝑋)’in maksimize edilmesine maksimum sonsal hipotez (maximum posteriori hypothesis) denmektedir. Bayes Teoremi’nden; 𝑃(𝐶𝑖 |𝑋) = 𝑃(𝐶𝑖 )𝑃(𝑋|𝐶𝑖 ) 𝑃(𝑋) (2.4) 20 elde edilir. 𝑃(𝑋) tüm sınıflar için eşit olduğundan sabit olarak kabul edilir ve yalnızca payın maksimize edilmesi ile ilgilenilmektedir. Fazla sayıda niteliğin bulunduğu veri setlerinde 𝑃(𝑋|𝐶𝑖 )’in hesaplanması zor olduğundan sınıf koşullu bağımsızlık varsayımı (assumption of class conditional independence) mevcuttur. Bu varsayıma göre, niteliklerin arasında hiçbir bağımlı ilişki söz konusu değildir. Böylece 𝑃(𝑋|𝐶𝑖 ); 𝑛 (2.5) 𝑃(𝑋|𝐶𝑖 ) = ∏ 𝑃(𝑥𝑘 |𝐶𝑖 ) = 𝑃(𝑥1 |𝐶𝑖 )𝑃(𝑥2 |𝐶𝑖 ) … 𝑃(𝑥𝑛 |𝐶𝑖 ) 𝑘=1 biçiminde kolaylıkla yazılabilmektedir. 𝑃(𝑋|𝐶𝑖 )’nin hesaplaması niteliğin kategorik ya da nümerik olma durumuna göre değişmektedir. Eğer nitelik kategorikse, nitelik için sınıf değerlerine göre hesaplanan frekans tablosundan 𝑃(𝑋|𝐶𝑖 ) kolaylıkla bulunabilir. Nitelik değeri 𝑥𝑘 olan 𝐶𝑖 sınıfına ait gözlemlerin sayısı, 𝐶𝑖 sınıfına ait tüm gözlemlerin sayısına bölünerek elde edilebilmektedir. Eğer nitelik nümerikse (normal dağılım varsayımı ile), niteliğin 𝜇 ortalama ve 𝜎 standart sapma ile Gauss dağılımı (Gaussian distribution) gösterdiği varsayılmakta ve aşağıdaki gibi hesaplanmaktadır: 𝑝(𝑥𝑘 |𝐶𝑖 ) = 𝑔(𝑥𝑘 , 𝜇𝐶𝑖 , 𝜎𝐶𝑖 ) 𝑔(𝑥𝑘 , 𝜇𝐶𝑖 , 𝜎𝐶𝑖 ) = 1 𝜎𝐶𝑖 √2 𝑒 (2.6) − 1 𝑥𝑘 −𝜇𝐶𝑖 ( ) 2 𝜎𝐶𝑖 2 (2.7) 2.4.4.2. k-En Yakın Komşu Algoritması k-En Yakın Komşu Algoritması (k-Nearest Neighbor Algorithm) uzaklık hesaplamasına dayalı geliştirilen bir sınıflandırma yöntemidir. Bu yöntemi uygularken (Harrington, 2012); Sınıf değeri bulunmak istenen yeni örneğin veri setinde bulunan tüm örneklere uzaklığı hesaplanır. Uzaklıklar büyükten küçüğe sıralanır. k en küçük uzaklık değerine sahip gözlemler alınır. k gözlemin içinde en sık tekrar eden sınıf tahmini sınıf değeri olarak bulunur (çoğunluk oylaması - majority voting (Bridge, 2013)). 21 Algoritmanın son aşamasında sınıf değerinin bulunmasında en sık tekrar eden sınıf değerinin bulunması yerine, ağırlıklı oylama (weighted voting) yöntemi kullanılabilir. Uzaklıkların tersi (Bridge, 2013; Xia, 2013) ya da tersinin karesi (Özkan, 2008) ağırlık olarak kullanılabilmektedir. Sınıf bazında hesaplanan bu ağırlıklar toplanmaktadır. Böylelikle en fazla ağırlığa sahip sınıf tahmini sınıf değeri olarak bulunmaktadır. Uzaklık ölçüleri ise veri setinde yalnızca nümerik, ikili, kategorik niteliklerin bulunması ya da hem kategorik hem nümerik niteliklerin bir arada bulunması durumlarında değişmektedir. Tüm nitelikler nümerik olduğunda gözlemlerin arasındaki uzaklığı hesaplamak için en sık kullanılan uzaklık ölçüsü Öklid Uzaklığıdır (Denklem 2.8) (Dekhtyar, 2009). 𝑁 (2.8) 𝑑(𝑥, 𝑦) = √(∑(𝑥𝑗 − 𝑦𝑗 )2 ) 𝑗=1 Tüm niteliklerin 0 ve 1’lerden oluşma durumunda gözlemler arasındaki uzaklıkları hesaplamak için çok çeşitli benzerlik ve uzaklık ölçüleri geliştirilmiştir (Choi ve diğ., 2010). Tablo 2.1: İkili Değerler Alan Niteliklerden Oluşmuş İki Gözleme ait Karşılaştırma. 𝑥𝑖 = 1 𝑥𝑖 = 0 𝑦𝑖 = 1 A B 𝑦𝑖 = 0 C D Eğer ikili biçimde kodlanan nitelik değerlerinin her birine ait önem eşitse (kadın ve erkek gibi) simetrik nitelik olarak adlandırılmaktadırlar ve bu türdeki niteliklerden oluşan örneklerin birbirine olan uzaklıklarını hesaplamak için Simple Matching Distance (Denklem 2.9) kullanılabilmektedir (Dekhtyar, 2009): 𝑑𝑠 (𝑥, 𝑦) = 𝐵+𝐶 𝐴+𝐵+𝐶+𝐷 (2.9) 22 Eğer ikili biçimde kodlanan nitelik değerlerinin her birine ait önem eşit değilse (doğru ve yanlış; var ve yok gibi) asimetrik nitelik olarak adlandırılmaktadırlar ve bu türdeki niteliklerden oluşan örneklerin birbirine olan uzaklıklarını hesaplamak için Jaccard Distance (Denklem 2.10) kullanılabilmektedir (Denklem 2.10) (Dekhtyar, 2009): 𝑑𝑠 (𝑥, 𝑦) = 𝐵+𝐶 𝐴+𝐵+𝐶 (2.10) İkili olmayan kategorik nitelikler için, 𝐧 𝑥 𝑣𝑒 𝑦’ye ait nitelik say𝚤s𝚤, 𝐪 𝑥 𝑣𝑒 𝑦’de eşleşen değerleri olan niteliklerin sayısı olmak üzere Simple Matching Distance kullanılabilmektedir (Denklem 2.11) (Dekhtyar, 2009): 𝑑𝑠 (𝑥, 𝑦) = 𝑛−𝑞 𝑛 (2.11) Gözlemlerde hem kategorik hem de nümerik değer içeren niteliklerin bir arada bulunması durumunda Gower tarafından önerilen Gower benzerlik ölçüsü iki gözlem arasındaki benzerliğin bulunabilmesi için geliştirilmiştir (Gan, 2011). Bu benzerlik ölçüsü 1’den çıkarılarak uzaklık ölçüsü olarak kullanılabilmektedir 𝑑𝑔𝑜𝑤 (𝑥, 𝑦) = 1 − 𝑆𝑔𝑜𝑤 (𝑥, 𝑦) (Kaufman ve Rousseeuw, 1990). Benzerlik ölçüsünün hesabı şu şekilde yapılmaktadır (Denklem 2.12) (Cichosz, 2015; Dunn ve Everitt, 2012; Gan, 2011): 𝑑 1 𝑆𝑔𝑜𝑤 (𝑥, 𝑦) = 𝑑 ∑ 𝑤(𝑥𝑗 , 𝑦𝑗 ) 𝑠(𝑥𝑗 , 𝑦𝑗 ) ∑𝑗=1 𝑤(𝑥𝑗 , 𝑦𝑗 ) (2.12) 𝑗=1 Dikkat edilmesi gereken önemli nokta niteliklerin tipine göre 𝑤(𝑥𝑗 , 𝑦𝑗 ) ve s(𝑥𝑗 , 𝑦𝑗 ) hesaplamaları değişmektedir (Denklem 2.13, 2.14 ve 2.15). Eğer 𝒋.nitelik sürekliyse: 𝑅(aralık)𝑗 , 𝑗. niteliğin değişim aralığı olmak üzere |𝑥𝑗 − 𝑦𝑗 | 𝑅(aralık)𝑗 0, 𝑒ğ𝑒𝑟 𝑥𝑗 𝑦𝑎 𝑑𝑎 𝑦𝑗 𝑘𝑎𝑦𝚤𝑝𝑠𝑎 𝑠(𝑥𝑗 , 𝑦𝑗 ) = 1 − 𝑤(𝑥𝑗 , 𝑦𝑗 ) = { 1, 𝑎𝑘𝑠𝑖 h𝑎𝑙𝑑𝑒 (2.13) 23 Eğer 𝒋.nitelik ikiliyse: 𝑠(𝑥𝑗 , 𝑦𝑗 ) = { 1, 𝑒ğ𝑒𝑟 𝑥𝑗 ve 𝑦𝑗 "var"𝑠𝑎 0, 𝑎𝑘𝑠𝑖 h𝑎𝑙𝑑𝑒 0, 𝑒ğ𝑒𝑟 𝑥𝑗 ve 𝑦𝑗 "yok"𝑠𝑎 𝑤(𝑥𝑗 , y𝑗 ) = { 1, 𝑎𝑘s𝑖 h𝑎𝑙𝑑𝑒 Eğer 𝒋.nitelik isimsel ya da kategorikse: 𝑠(𝑥𝑗 , 𝑦𝑗 ) = { (2.14) 1, 𝑒ğ𝑒𝑟 𝑥𝑗 = 𝑦𝑗 0, 𝑎𝑘𝑠𝑖 h𝑎𝑙𝑑𝑒 0, 𝑒ğ𝑒𝑟 𝑥𝑗 ya da 𝑦𝑗 kay𝚤ps𝑎 𝑤(𝑥𝑗 , 𝑦𝑗 ) = { 1, 𝑎𝑘𝑠𝑖 h𝑎𝑙𝑑𝑒 (2.15) 2.4.4.3. Logistik Regresyon Logistik Regresyon, hedef niteliğin kategorik değişken olması durumunda tahmin edici nitelikler (bağımsız değişkenler) ile hedef nitelik (bağımlı değişken) arasındaki ilişkinin bulunmasını sağlamaktadır. Hedef nitelik eğer; İki kategoriye sahipse ikili (binary) logistik regresyon, İkiden fazla sıralı kategoriye sahipse sıralı (ordinal) logistik regresyon, İkiden fazla sırasız kategoriye sahipse çok kategorili (multinomial) logistik regresyon şeklinde adlandırılmaktadır (Karabulut & Alpar, 2011). Amaç; hedef niteliğin değerinin bulunması yerine, örneğin ikili logistik regresyonda riskli durum için hedef nitelikte 1 kodu kullanıldığında hedef niteliğin 1 değerini alması olasılığı tahmin edilmeye çalışılmaktadır (Karabulut & Alpar, 2011). Çok kategorili logistik regresyonda ikili logistik regresyona benzer işlemler gerçekleştirilmektedir. Bu nedenle hesaplamalara temel oluşturması ve daha iyi anlaşılabilmesi için tek bağımsız değişken 𝑋 içeren ikili logistik regresyona ait bazı gösterimlere aşağıda değinilmiştir (Karabulut & Alpar, 2011): 𝜋 olasılığı ile 𝑋 bağımsız değişkenleri arasındaki ilişki logistik fonksiyonu ile gösterilebilmektedir (Denklem 2.16): 24 𝜋(𝑥) = 𝑃(𝑌 = 1|𝑋 = 𝑥) = 𝑒 𝛽0 +𝛽1 𝑥 1 = 𝛽 +𝛽 𝑥 −(𝛽 1+𝑒 0 1 1 + 𝑒 0 +𝛽1𝑥) (2.16) Bir olayın olma olasılığının, olmama olasılığına oranı üstünlük (odds) şeklinde ifade edilmektedir (Denklem 2.17). 𝜋(𝑥) = 𝑒 𝛽0 +𝛽1 𝑥 1 − 𝜋(𝑥) (2.17) Hedef nitelik 𝑌 = 0 ve 𝑌 = 1 gibi yalnızca iki değer aldığından parametre tahminleri en küçük kareler yöntemi ile yapılamamaktadır (Karkacier, 2013). Bu nedenle logit dönüşüm uygulanmaktadır (Denklem 2.18). Böylece model doğrusal hale getirilerek tahminde kolaylık sağlanmaktadır (Ulutürk Akman, 2004). 𝜋(𝑥) 𝑙𝑜𝑔𝑖𝑡 𝜋(𝑥) = 𝑔(𝑥) = ln ( ) = ln(𝑒 𝛽0 +𝛽1𝑥 ) = 𝛽0 + 𝛽1 𝑥 1 − 𝜋(𝑥) (2.18) Logistik regresyon analizinde 𝛽 katsayılarının tahmini maksimum olabilirlik yöntemi ile gerçekleştirilebilmektedir (Ulutürk Akman, 2004; Topuz ve Çakır, 2003; Czepiel, 2002). Çoklu kategorili logistik regresyon Hosmer, Lemeshow, & Sturdivant (2013) tarafından şu şekilde özetlenmiştir: Gösterimlerin basit ve anlaşılabilir olması için hedef niteliğin 𝑌 = 0, 𝑌 = 1 ve 𝑌 = 2 gibi üç farklı kategoriden oluştuğunu varsayarak, 𝑝 adet bağımsız değişkeni göz önüne alalım. İkili logistik regresyonda tek bir logit fonksiyon kullanılırken, bu durumda iki logit fonksiyona ihtiyaç duyulmaktadır. Hedef niteliğin kategorilerinden birisi (genellikle 𝑌 = 0) referans kategori olarak belirlenmekte ve diğer iki kategori ile kıyaslanmaktadır. Bu durumda logit fonksiyonlar Denklem 2.19 ve 2.20’de ve her kategoriye ait koşullu olasılık değerleri Denklem 2.21, 2.22 ve 2.23’de gösterilmiştir. 𝑃(𝑌 = 1|𝑥) 𝑔1 (𝑥) = 𝑙𝑛 ( ) = 𝛽10 + 𝛽11 𝑥1 + ⋯ + 𝛽1𝑝 𝑥𝑝 𝑃(𝑌 = 0|𝑥) (2.19) 𝑃(𝑌 = 2|𝑥) 𝑔2 (𝑥) = 𝑙𝑛 ( ) = 𝛽20 + 𝛽21 𝑥1 + ⋯ + 𝛽2𝑝 𝑥𝑝 𝑃(𝑌 = 0|𝑥) (2.20) 25 𝜋0 = 𝑃(𝑌 = 0|𝑥) = 𝜋1 = 𝑃(𝑌 = 1|𝑥) = 𝜋2 = 𝑃(𝑌 = 2|𝑥) = 1 1+ 𝑒 𝑔1 (𝑥) 𝑒 (2.21) + 𝑒 𝑔2 (𝑥) 𝑔1 (𝑥) + 𝑒 𝑔2 (𝑥) (2.22) 𝑒 𝑔2 (𝑥) 1 + 𝑒 𝑔1 (𝑥) + 𝑒 𝑔2 (𝑥) (2.23) 1+ 𝑒 𝑔1 (𝑥) Olabilirlik fonksiyonunu oluşturmak için hedef niteliğe ait kategoriler ikili biçimde kodlanmaktadır. Bir başka ifade ile hedef niteliğin değeri 𝑌 yerine 𝑌0 , 𝑌1 ve 𝑌2 olmak üzere üç adet ikili nitelik biçiminde ifade edilecektir. ∑2𝑗=0 𝑌𝑗 = 1’dir. Bu durumda 𝑛 adet gözlemden oluşan bir örneklemin koşullu olabilirlik fonksiyonu (conditional likelihood function) Denklem 2.24’te ve bu fonksiyonun doğal logaritmasının alınmasıyla elde edilen log-olabilirlik fonksiyonu (log-likelihood function) Denklem 2.25’te verilmiştir. 𝑛 𝑙(𝛽) = ∏[𝜋0 (𝑥𝑖 )𝑦0𝑖 𝜋1 (𝑥𝑖 )𝑦1𝑖 𝜋2 (𝑥𝑖 )𝑦2𝑖 ] (2.24) 𝑖=1 𝑛 𝐿(𝛽) = ∑ 𝑦1 𝑔1 (𝑥𝑖 ) + 𝑦2 𝑔2 (𝑥𝑖 ) − 𝑙𝑛(1 + 𝑒 𝑔1 (𝑥𝑖 ) + 𝑒 𝑔2 (𝑥𝑖 ) ) (2.25) 𝑖=1 Olabilirlik fonksiyonları 𝐿(𝛽)’nin birinci kısmi türevleri alınarak bulunmaktadır. 𝑗 = 1,2; 𝑘 = 0,1,2, … , 𝑝 ve 𝜋𝑗𝑖 = 𝜋𝑗 (𝑥𝑖 ) olmak üzere: 𝑛 𝜕𝐿(𝛽) = ∑ 𝑥𝑘𝑖 (𝑦𝑗𝑖 − 𝜋𝑗𝑖 ) 𝜕𝛽𝑗𝑘 (2.26) 𝑖=1 Maksimum olabilirlik tahmincisi 𝛽̂ , bu denklemlerin sıfıra eşitlenerek çözülmesiyle elde edilmektedir. Eğer çözüm bulunuyorsa her çözüm maksimum ya da minimum olabilecek bir kritik noktayı göstermektedir. Eğer kritik nokta maksimumsa ikinci kısmi türevler negatif tanımlıdır (köşegen matris üzerindeki her değer sıfırdan küçüktür) (Czepiel, 2002). İkinci kısmi türevler aynı zamanda bilgi matrisinin (information matrix) ve maksimum olabilirlik tahmincisinin kovaryans matrisi tahmincisinin elde edilmesi için gerekmektedir. 26 𝑛 (2.27) 𝜕 2 𝐿(𝛽) = − ∑ 𝑥𝑘 ′ 𝑖 𝑥𝑘𝑖 𝜋𝑗𝑖 (1 − 𝜋𝑗𝑖 ) 𝜕𝛽𝑗𝑘 𝜕𝛽𝑗𝑘 ′ 𝑖=1 Logistik regresyon analizinde dikkat edilmesi gereken noktalardan biri bağımsız değişkenlerin gerçekten birbirinden bağımsız olması, yani bir niteliğin bir diğerinin ya da birkaçının lineer fonksiyonu biçiminde yazılmaması gerektiğidir. Başka bir deyişle birbirleri arasındaki korelasyonun yüksek olmaması gerekmektedir. Aksi halde literatürde eş doğrusallık (collinearity) ya da çoklu eş doğrusallık (multicollinearity) olarak adlandırılan durum ortaya çıkmaktadır (Anderson, 2015; Statistics Solutions, 2015; O’Halloran, 2008; Tu ve diğ., 2005). Değişkenler arasındaki ilişkileri ölçebilmek için birçok ölçü bulunmakta olup korelasyon bu yöntemlerin içinde en sık kullanılanıdır (Gingrich, 2004). Korelasyon katsayısı ise iki değişken arasındaki ilişkinin tek bir sayı ile özetlenebilmesini sağlamaktadır (Gingrich, 2004). Aralık ya da oran seviyesindeki ölçüler arasındaki ilişki için en sık Pearson (𝒓), ikili kategorik nitelikler arasındaki ilişki için Phi (𝝓), bir nümerik ve bir ikili kategorik nitelik arasındaki ilişki için Point Biserial (𝒓𝒑𝒃𝒊 ) korelasyon katsayıları hesaplanabilmektedir (Calkins, 2005; Brown, 2001). Hesaplanan korelasyon katsayıları -1 ile +1 arasında değişmektedir. Nitelikler arasındaki ilişkiler arttıkça korelasyon katsayısı (pozitif ya da negatif yönde) +1 ya da -1’e yaklaşılmaktadır. 𝑋 = {𝑋𝑖 |𝑖 = 1, … , 𝑛} ve 𝑌 = {𝑌𝑖 |𝑖 = 1, … , 𝑛} olsun. Bu durumda Pearson (𝑟) (Gingrich, 2004): 𝑟= ∑(𝑋𝑖 − 𝑋̅)(𝑌𝑖 − 𝑌̅) (2.28) √∑(𝑋𝑖 − 𝑋̅)2 (𝑌𝑖 − 𝑌̅)2 𝑋 = {0,1} ve 𝑌 = {0,1} niteliklerine ait kontenjans tablosu Tablo 2.2’deki gibi verilsin. Bu durumda Phi Korelasyon Katsayısı (𝜙) (Chedzoy, 2004): Tablo 2.2: Niteliklere ait Kontenjans Tablosu. X Y 1 0 1 a c 0 b d 27 𝜙= 𝑎𝑑 − 𝑏𝑐 (2.29) √(𝑎 + 𝑏)(𝑐 + 𝑑)(𝑎 + 𝑐)(𝑏 + 𝑑) 𝑋 = {𝑋𝑖 |𝑖 = 1, … , 𝑛}, 𝑌 = {0,1} olmak üzere 𝜂𝑋 (𝑌 = 1) 𝑌 = 1 değerini aldığında 𝑋’in ortalaması, 𝜂𝑋 (𝑌 = 0) ise 𝑌 = 0 değerini aldığında 𝑋’in ortalaması, 𝜎𝑋 𝑋’in standart sapması, 𝑝 ve 𝑞 = 1 − 𝑝 ise 𝑋’in 0 ve 1 değerlerini aldığındaki gözlem sayısı olsun. Bu durumda Point Biserial Korelasyon Katsayısı (𝑟𝑝𝑏𝑖 ) Denklem 2.30’daki gibi hesaplanacaktır (Calkins, 2005): 𝑟𝑝𝑏𝑖 = (𝜂𝑋 (𝑌 = 1)) − (𝜂𝑋 (𝑌 = 0)) √𝑝𝑞 𝜎𝑋 (2.30) Literatürde logistik regresyon modelinin uyum iyiliğini belirlemek için geliştirilmiş çeşitli yöntemler mevcuttur (Joseph, 2015b). Bunlardan biri de Hosmer-Lemeshow Testidir. Teste ait 𝐻0 hipotezi “yapılan tahminler, gözlenen değerlere çok iyi uymaktadır” demektedir (Wuensch, 2015; Çokluk, 2010). Bu nedenle, test sonucunun istatistiksel olarak anlamlı çıkmaması (𝑝 − 𝑑𝑒ğ𝑒𝑟𝑖 > 0.05), modelin iyi uyumlu bir model olduğunu göstermektedir. Literatürde, Hosmer-Lemeshow Testi’nin veri setinin büyüklüğünden etkilendiği, veri seti büyüdükçe gözlemlenen ve tahmin edilen değerler arasında anlamlı daha da küçük farklılıklar bulduğu tespit edilmiştir (University of Strathclyde, 2015; Feudtner ve diğ., 2009). Logistik regresyon modelinde tahmin edici nitelikler ile tahmin arasındaki ilişkinin ortaya konabilmesi için kullanılan yöntemlerden biri Nagelkerke 𝑹𝟐 değeridir (Burns ve Burns, 2008). Nagelkerke 𝑅 2 , logistik regresyon modelindeki açıklanan varyans miktarını belirtir ve 1 mükemmel model uyumunu göstermektedir (Çokluk, 2010). Diğer 𝑅 2 ’ler ile kıyaslandığında Nagelkerke 𝑅 2 ’nin 1 değerine erişebiliyor olması kesin bir yorumu sağlayacağı düşüncesi ile bir avantaj olarak görülmektedir (Fehrenbacher, 2013). 2.4.4.4. ID3 Karar Ağacı Algoritması ID3, en basit karar ağacı algoritmalarından biridir. Eğitim örneklerinin ne kadar iyi ayrıldığını ölçmek için entropi (entropy) ve bilgi kazancı (information gain) kavramlarından faydalanmaktadır. Bu iki kavram aşağıda kısaca özetlenmiştir (Han ve Kamber, 2006; Mitchell, 1997): 28 𝐷, sınıf etiketleri bulunan eğitim kümesini, 𝐶i ; 𝑖 = 1, … , 𝑚 sınıf sayısını, 𝐶i,D , 𝐷’deki 𝐶i sınıfına ait gözlemlerine kümesini, |𝐷| ve |𝐶i,D | de sırası ile 𝐷 ve 𝐶i,D ’deki gözlemlerin sayısını göstersin. 𝑝𝑖 = |𝐶i,D | |𝐷| , 𝐷’deki 𝐶i sınıfına ait keyfi bir gözlemin olasılığını göstersin. 𝐷’deki bir gözlemi sınıflandırmak için beklenen bilginin hesaplanması Denklem 2.31’de verilmiştir: 𝑚 (2.31) 𝐼𝑛𝑓𝑜(𝐷) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝐷) = − ∑ 𝑝𝑖 𝑙𝑜𝑔2 ( 𝑝𝑖 ) 𝑖=1 Nitelik 𝐴 {𝑎1 , 𝑎2 , … , 𝑎𝑣 } gibi 𝑣 farklı değerden oluşsun. O halde 𝐴 niteliği 𝐷’yi {𝐷1 , 𝐷2 , … , 𝐷𝑣 } şeklinde 𝑣 parçaya ayırabilecektir (𝐷𝑗 ’de 𝐴 niteliği 𝑎𝑗 değerini almış gözlemler yer almaktadır); ancak amaç en iyi sınıflandırmanın gerçekleştirilmesidir. Bu nedenle öncelikle iyi bir sınıflandırmanın yapılabilmesi için ayırma işlemi sonrasında hala ne kadarlık bir bilginin gerektiği Denklem 2.32’de verilmiştir. 𝑣 𝐼𝑛𝑓𝑜𝐴 (𝐷) = ∑ 𝑗=1 |𝐷𝑗 | ∗ 𝐼𝑛𝑓𝑜(𝐷𝑗 ) |𝐷| (2.32) Sonrasında bilgi kazancı ise Denklem 2.31 ve 2.32’nin farkından elde edilir (Denklem 2.33). 𝐺𝑎𝑖𝑛(𝐴) = 𝐼𝑛𝑓𝑜(𝐷) − 𝐼𝑛𝑓𝑜𝐴 (𝐷) (2.33) Böylece karar ağacı oluşturulurken bölme işlemi 𝐴 niteliği kullanılarak yapıldığında ne kadarlık bir bilgi kazancının elde edileceği bulunmaktadır. Yüksek bilgi kazancı sağlayan nitelik ayrımın yapılacağı nitelik olarak belirlenmektedir. Nümerik değer alan bir nitelik söz konusu olduğunda bilgi kazancının hesaplanabilmesi θ= 𝑎1 +𝑎2 2 gibi bir eşik değere bağlı olarak gerçekleştirilebilmektedir. Bunun yapılabilmesi için eşik değeri belirlenmek istenen niteliğe ait değerler küçükten büyüğe sıralanmakta, olası her eşik değer için 𝐼𝑛𝑓𝑜𝐴 (𝐷) hesaplanmaktadır. En küçük bilgi gereksiniminin elde edildiği değer, niteliği 𝐴 ≤ 𝜃 ve 𝐴 > 𝜃 olacak biçimde ikiye ayıracaktır. 29 2.4.4.5. C4.5 Karar Ağacı Algoritması Bilgi kazancı, nitelik seçiminde çok sayıda farklı değer alan niteliklere karşı doğal bir eğilim içinde olup, performansı olumsuz etkilemektedir (Jiang ve Li, 2010; Han ve Kamber, 2006; de Mantaras ve diğ., 1998). Bunun üstesinden gelebilmek için ID3 algoritmasında kullanılan bilgi kazancı kriteri, C4.5 algoritmasında yerini kazanç oranına (gain ratio) bırakmıştır (Han ve Kamber, 2006; Quinlan, 1996). Bilgi tabanlı bir ölçü olan kazanç oranı, C4.5 algoritması tarafından varsayılan olarak kullanılan bölme kriteridir (Quinlan, 1996). Bilgi kazancına, bölme bilgisi (split information) adı verilen bir çeşit normalizasyon uygulamaktadır (Han ve Kamber, 2006; Quinlan, 1996): 𝑣 𝑆𝑝𝑙𝑖𝑡𝐼𝑛𝑓𝑜𝐴 (𝐷 ) = − ∑ 𝑗=1 |𝐷𝑗 | |𝐷𝑗 | ∗ 𝑙𝑜𝑔2 ( ) |𝐷| |𝐷| (2.34) Buradaki 𝑆𝑝𝑙𝑖𝑡𝐼𝑛𝑓𝑜A , eğitim verisinin 𝐴 niteliğinin aldığı 𝑣 farklı değere bağlı olarak 𝑣 parçaya ayrıldığında oluşturulan potansiyel bilgiyi temsil etmektedir. En yüksek kazanç oranını sağlayan nitelik ayrımın yapılacağı nitelik olarak seçilmektedir. Gain Ratio(𝐴) = Gain(𝐴) (2.35) SplitInfo(𝐴 ) C4.5 algoritması hem kategorik hem de nümerik değerler alan nitelikler ile çalışabilmektedir (Kohavi ve Quinlan, 2002). 2.4.5. Model Değerlendirme ve Seçimi 𝑀 kümesine ait her bir modelin performans değerlendirmesi için geliştirilen birtakım performans değerlendirme ölçüleri ve yöntemleri bulunmaktadır. Bu bölümde konu ile ilgili literatür çalışmasına kısaca yer verilecektir. 2.4.5.1. Model Performans Değerlendirme Yöntemleri Bir modelin performansı kullanılan öğrenme algoritmasının dışında, sınıf dağılımı, hatalı sınıflandırma ya da eğitim ve test kümelerinin büyüklüğüne bağlı olabilir (Zhang, 2014). Bu gibi durumları ortadan kaldırabilmek için çeşitli yöntemler geliştirilmiştir. Geliştirilen bu yöntemlerden aşağıda kısaca bahsedilmiştir (Page, 2015; Dua ve Chowriappa, 2013; Gutierrez, 2013; Nordman, 2011; Nguyen, 2008): 30 Holdout: Holdout yönteminde veri, eğitim ve test veri seti olmak üzere ikiye ayrılmaktadır. Eğitim veri seti, eğitim aşamasında model oluşturulması için seçilen sınıflandırıcının eğitiminde kullanılmaktadır. Model parametreleri için en iyi değerler ve uygun performans ölçüsü bu adımda belirlenmektedir. Test veri seti ise oluşturulan modelin genel performansını bulabilmek için kullanılmaktadır. Bu yöntemin iki temel dezavantajı mevcuttur. Bunlardan ilki elde az verinin olması durumunda test veri seti için yeteri kadar örneğin ayrılamayacak olmasıdır. Diğeri ise, eğitim ve test veri seti bir kereye mahsus olmak üzere birbirinden ayrıldığından, elde edilen hata oranında bu ayrımdan kaynaklanan sorunlar yaşanabilir. Tekrarlı Holdout (repeated holdout): Değişik alt veri setleri yaratmak için her defasında veri setinden belirli bir oran eğitim veri seti olarak ayrılarak Holdout yöntemi birkaç defa tekrar edilebilir. Ancak farklı test veri seti üst üste binebileceği ihtimali göz önünde bulundurulduğunda tekrarlı Holdout yöntemi elverişli görülmektedir. Tabakalı Örnekleme (stratified sampling): Çıktı değeri birer sınıf olan bazı veri setlerinde, bazı sınıfların örnekleri çok az olabilir ya da hiç olmayabilir. Bu gibi durumlarda sınıf oranlarının korunması istenebilir. Bu nedenle tabakalı örnekleme tercih edilmektedir, fakat çıktı değeri bir sınıf yerine nümerik bir değer olduğunda bu yöntemden faydalanılamaz. Üçlü Ayırma (three-way split): Bu yöntemde model seçimi ve performans tahmini aynı anda gerçekleştirilmektedir. Veri eğitim, doğrulama ve test veri seti olarak üçe ayrılmaktadır. Holdout yönteminden farklı olarak doğrulama veri setindeki örnekler ile eğitim veri setinden seçilen modele ait parametrelerin ince ayarı yapılmaktadır. Test veri seti ise ince ayarı yapılmış modelin son performans değerini elde etmek için kullanılmaktadır. Çapraz-Geçerleme (cross validation): Bu yöntemde Bir algoritma kullanılarak mevcut veriden öğrenilen modelin performansını ölçmek, İki ya da daha fazla algoritmanın performansını ölçmek ve mevcut veri için en iyi algoritmayı seçmek ya da parametreli bir modelin iki ya da daha fazla değişkesinin performansını kıyaslamak, 31 şeklinde iki temel hedef mevcuttur (Refaeilzadeh ve diğ., 2009). Çapraz geçerleme, k-kat çapraz geçerleme (k-fold) ve birini dışarıda bırak çapraz geçerleme (leave one out – LOOCV) olmak üzere iki farklı biçimde uygulanabilmektedir. k-kat çapraz geçerlemede, veri seti k eşit parçaya ayrılır. k parçadan her seferinde bir tanesi test, k-1 tanesi de eğitim için kullanılmaktadır. Sonuçta k tane hata oranı elde edilmekte ve tüm tahmin hatasını hesaplayabilmek için hataların ortalaması alınmaktadır. Kullanılan k kat sayısının büyük olması halinde, tahminci daha doğru olacağından gerçek hata tahmincisinin sapması (bias) küçük; varyans ve hesaplama zamanı ise büyüktür (Gutierrez, 2013; Saharidis ve diğ., 2011). Bir başka deyişle, k kat sayısı küçük seçilirse, tahmincinin sapması küçük ve sapması gerçek hata tahmincisinden büyük olacaktır (Remesan ve Mathew, 2014; Gutierrez, 2013). Sapmadan kaynaklanan hata gerçek değer ile tahmin edilen değer arasındaki farktır, varyanstan kaynaklanan hata ise verilen bir nokta için model tahminindeki değişikliktir (Scott, 2012). Şekil 2.4: Sapma ve Varyans İlişkisi (Scott, 2012). k değerinin en sık kullanılan değeri 10’dur (Martinasek ve diğ., 2014; Remesan ve Mathew, 2014; Rajeev, 2013; Guil-Reyes ve Daza-Gonzalez, 2011; Olson ve Delen, 2008; Baker, 2007). Kohavi (1995) model seçimi için tabakalı 10-kat çapraz 32 geçerlemeyi önermiştir. 5-kat çapraz geçerleme Rogers & Girolami (2011)’den faydalanılarak Şekil 2.5’da şematize edilmiştir. Şekil 2.5: 5 - Kat Çapraz Geçerleme. Birini dışarıda bırak yönteminde ise, veri setinde her seferinde sadece 1 örnek test veri seti, geri kalan örnekler ise eğitim veri seti olarak kullanılmaktadır. Bu yöntem özellikle veri setindeki örnek sayısının çok az olduğu durumlarda tercih edilmektedir. Monte-Carlo çapraz geçerleme olarak da bilinen rasgele örnekleme (random subsampling) yönteminde ise veri seti k defa bölünmektedir. Veri setindeki örnekler kullanıcının belirlediği oranda eğitim ve test veri setine dâhil edilmektedir. Çapraz geçerlemeden farkı, analiz süresince kullanılacak k adet test veri setinde aynı noktaların tekrar edebilmesidir. Bootstrap örnekleme (bootstrap sampling): n adet örnekten oluşan bir veri seti olsun. Bootstrap yöntemi, veri setinden eğitim veri seti için n defa rasgele örnek seçmektedir; ancak her defasında seçilen örnek veri setinden çıkarılmaz. Bu nedenle aynı örnek, eğitim veri setinde birden fazla tekrar edebilmektedir. Eğitim veri seti için örnek seçim işlemi bittikten sonra, eğitim veri setinde olmayan asıl veri setindeki tüm örnekler test veri setine atanmaktadır. Test veri setinde her örnek sadece bir defa tekrar edebilecektir. 2.4.5.2. Model Performans Değerlendirme Ölçüleri Hangi sınıflandırıcının daha iyi olduğunu bulabilmek için çeşitli yöntemler geliştirilmiştir. Bunlardan bazıları, kontenjans tablosu/olabilirlik çizelgesi/hata matrisi (contingency table ya da confusion matrix) oluşturulmasına dayanmaktadır (Japkowicz, 2011). Gerçek çıktı değerleri ile model tarafından tahmin edilen değerlerin sunulduğu çizelge Tablo 2.3’de verilmiş olup, bu tabloya göre ikili sınıflandırma sonuçlarının değerlendirilmesi için hesaplanan bazı performans değerlendirme ölçüleri aşağıda 33 sıralanmıştır (Clark, 2015; Nizam ve Akın, 2014; Ertorsun ve diğ., 2009; Hamel, 2009; Memiş, 2008; Parikh ve diğ., 2009; Glas ve diğ., 2003; Flach, 2004). Tahmin Tablo 2.3: Kontenjans Tablosu. Gerçek Pozitif Negatif Toplam tPoz Pozitif Doğru Pozitif Yanlış Pozitif (dp) (yp) tNeg Negatif Yanlış Negatif Doğru Negatif (yn) (dn) poz neg m Toplam Tablo 2.3’e göre sınıflandırmanın doğruluğu (accuracy) ve hata oranı (error rate) aşağıdaki gibi hesaplanmaktadır: Doğruluk (𝐴𝐶𝐶) = 𝑑𝑝 + 𝑑𝑛 𝑚 Hata oranı (𝐸𝑅𝑅) = 1 − ACC (2.36) (2.37) Sınıflandırıcının pozitif sınıf etiketlerini tahmin etmedeki etkililiği duyarlılık (sensitivity, true positive rate ya da recall) olarak adlandırılmaktadır. Duyarlılık, doğru sınıflandırılan pozitif örneklerin toplam pozitif örnek sayısına oranıdır. Duyarlılık (𝑇𝑃𝑅) = 𝑑𝑝 𝑑𝑝 = 𝑝𝑜𝑧 𝑑𝑝 + 𝑦𝑛 (2.38) Sınıflandırıcının negatif sınıf etiketlerini tahmin etmedeki etkililiği belirleyicilik (specificity, true negative rate) biçiminde adlandırılmaktadır. Belirleyicilik, doğru sınıflandırılan negatif örneklerin toplam negatif örnek sayısına oranıdır. 𝐵𝑒𝑙𝑖𝑟𝑙𝑒𝑦𝑖𝑐𝑖𝑙𝑖𝑘 (𝑆𝑃𝐶) = 𝑑𝑛 𝑑𝑛 = 𝑛𝑒𝑔 𝑑𝑛 + 𝑦𝑝 (2.39) Gerçekte negatif olan ancak pozitif olarak sınıflandırılmış örneklerin, tüm negatif etiketli örneklere oranı yanlış pozitif oranı (false positive rate); gerçekte pozitif olan ancak negatif olarak sınıflandırılmış örneklerin, tüm pozitif etiketli örneklere oranı da yanlış negatif oranı (false negative rate) olarak adlandırılmaktadır. 34 𝑦𝑝 𝑦𝑝 = 𝑛𝑒𝑔 𝑦𝑝 + 𝑑𝑛 𝑦𝑛 𝑦𝑛 𝑌𝑎𝑛𝑙𝚤ş 𝑛𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤 (𝐹𝑁𝑅) = 1 − 𝑇𝑃𝑅 = = 𝑝𝑜𝑧 𝑦𝑛 + 𝑑𝑝 𝑌𝑎𝑛𝑙𝚤ş 𝑝𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤 (𝐹𝑃𝑅) = 1 − 𝑆𝑃𝐶 = (2.40) (2.41) Doğru sınıflandırılan pozitif örneklerin toplam pozitif tahmin edilen örneklere oranına kesinlik ya da pozitif öngörü değeri (precision / positive predictive value); doğru sınıflandırılan negatif sınıf etiketine sahip örneklerin toplam negatif tahmin edilen örneklere oranına negatif öngörü değeri (negative predictive value) denir. 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖 (𝑃𝑃𝑉) = 𝑑𝑝 𝑑𝑝 = 𝑡𝑃𝑜𝑧 𝑑𝑝 + 𝑦𝑝 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖 (𝑁𝑃𝑉) = 𝑑𝑛 𝑑𝑛 = 𝑡𝑁𝑒𝑔 𝑑𝑛 + 𝑦𝑛 (2.42) (2.43) F-ölçüsü (F-measure), kesinlik ve duyarlılık performans değerlendirme ölçülerinin harmonik ortalamasıdır ve her iki ölçünün birlikte ele alınmasını sağlamaktadır. 𝐹 − Ö𝑙çü𝑠ü (𝐹) = 2 ∗ 𝑃𝑃𝑉 ∗ 𝑇𝑃𝑅 𝑃𝑃𝑉 + 𝑇𝑃𝑅 (2.44) Tahmin sonucunun gerçekte pozitif sınıf etiketinin varlığında pozitif çıkma olasılığının, negatif sınıf etiketi varlığında pozitif çıkma olasılığına oranına pozitif olabilirlik oranı (positive likelihood ratio); tahmin sonucunun gerçekte pozitif sınıf etiketinin varlığında negatif çıkma olasılığının, negatif sınıf etiketi varlığında negatif çıkma olasılığına oranına negatif olabilirlik oranı (negative likelihood ratio) denmektedir. 𝐿 + ne kadar yüksekse gerçekte pozitif sınıf etiketi almış örnekler o kadar iyi sınıflandırılmakta; 𝐿 − ne kadar küçükse, gerçekte negatif sınıf etiketine sahip örnekler o kadar iyi ayrılmaktadır. 𝑇𝑃𝑅 𝑇𝑃𝑅 = 𝐹𝑃𝑅 1 − 𝑆𝑃𝐶 𝐹𝑁𝑅 1 − 𝑇𝑃𝑅 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 (𝐿𝑅 −) = = 𝑇𝑁𝑅 𝑆𝑃𝐶 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 (𝐿𝑅 +) = (2.45) (2.46) 35 Pozitif ve negatif olabilirlik oranlarını kapsayan Tanısal Üstünlük Oranı (Diagnostic Odds Ratio) ise, tahmin edilen pozitif sınıfın üstünlüğünün, negatif sınıfa üstünlüğüne oranıdır (Glas ve diğ., 2003). 𝑇𝑎𝑛𝚤𝑠𝑎𝑙 ü𝑠𝑡ü𝑛𝑙ü𝑘 𝑜𝑟𝑎𝑛𝚤 (𝐷𝑂𝑅) = 𝐿𝑅 + 𝐿𝑅 − (2.47) Alıcı İşlem Karakteristikleri (Receiver Operating Characteristic - ROC) Eğrileri: ROC analizi, ikinci dünya savaşı yıllarında sinyallerin doğru tanımlanabilmesi için geliştirilmiştir (Ertorsun ve diğ., 2009). y ekseninde 𝑑𝑝 ve x ekseninde ise 𝑓𝑝 oranlarının gösterilmesiyle çizilmektedir (Zhang, 2014). 1967 yılında Lusted, tıpta karar verme için ROC’u önermiş; 1969 yılında medikal görüntüleme cihazlarında bu analiz kullanılmıştır ve bu kullanım sonraki yıllarda da tıpta tanı testlerinin performans değerlendirilmesinde giderek artmıştır (Ertorsun ve diğ., 2009). ROC uzayı Şekil 2.6‘daki grafikte gösterilmiştir (Fawcett, 2006): Şekil 2.6: ROC Uzayı (Fawcett, 2006). ROC uzayı ile ilgili bilinmesi gereken önemli noktalar şu şekilde sıralanmaktadır (Fawcett, 2006): (0,0) noktası, hiçbir zaman pozitif bir sınıflandırmanın verilmeyeceğini, (1,1) noktası, mutlak pozitif sınıflandırmaların elde edileceğini, 36 (0,1) noktası, mükemmel sınıflandırmayı göstermektedir. ROC uzayında 𝑑𝑝 oranı yüksek, 𝑦𝑝 oranının düşük ya da her ikisinin olduğu durumlarda bir sınıflandırıcının diğerinden iyi olduğunu söyleyebilmek mümkündür. Bu nedenledir ki; genellikle bir sınıflandırıcının 𝑦𝑝 oranının 0, 𝑑𝑝 oranının 1 olması beklenmektedir, bu nedenle iyi bir sınıflandırıcının Şekil 2.6‘da verilen grafikte hep sol üst köşeye yakın olması tercih edilmektedir (Alpaydın, 2014). ROC grafiğinin sol tarafında kalan sınıflandırıcılar, yalnızca güçlü kanıtlar ışığında pozitif sınıflandırmalar yaptıklarından conservative, üst sağda kalan sınıflandırıcılar ise zayıf kanıtlar ışığında pozitif sınıflandırmalar yaptıklarından liberal olarak nitelendirilmektedir. Grafikteki köşegen ise sınıf tahmininin rasgele yapıldığını göstermektedir. Köşegenin altında kalan alan ise rasgele tahminden bile kötü olarak nitelendirilmektedir. Bir ayrık sınıflandırıcı, çıktı değeri olarak bir sınıf değeri verdiğinden sınıflandırıcıya ait yalnızca tek bir 𝑦𝑝 ve 𝑑𝑝 oranı elde edilmektedir. Bu nedenle, bir ayrık sınıflandırıcıya ait elde edilen bir tek 𝑦𝑝 ve 𝑑𝑝 ikilisi ROC uzayında tek bir noktaya karşılık gelmektedir (Fawcett, 2006). Genellikle belirli bir eşik değere (θ) göre çıktı değerinin hangi sınıfa dâhil olduğunu belirten olasılı sınıflandırıcıların ROC eğrisinin çizilebilmesi için gereken algoritma aşağıda verilmiştir (Fawcett, 2006): Gerçek sınıf değerleri 𝑓(𝑥), sınıflandırıcının tahmin ettiği değerler 𝑓̂(𝑥), R ROC eğrisini oluşturacak noktaların kümesi olsun. 1. adım: 𝑦𝑝 ve 𝑑𝑝 değerleri sıfır kabul edilir. 𝑓̂(𝑥) değerleri büyükten küçüğe doğru sıralanır. 2. adım: Eğer 𝑓̂(𝑥) > θ ve 𝑓(𝑥) pozitifse 𝑑𝑝’nin değeri bir arttırılır, Eğer 𝑓̂(𝑥) > θ ve 𝑓(𝑥) negatifse 𝑦𝑝’nin değeri bir arttırılır, 37 𝑦𝑝 𝑑𝑝 3. adım: (𝑁𝑒𝑔 , 𝑃𝑜𝑧) noktası hesaplanır ve ROC’u oluşturacak noktalardan biri olarak R kümesine eklenir. 4. adım: Test veri setindeki bütün örneklere 2. adım ve 3. adım uygulanır. 5. adım: R kümesindeki noktalar yardımı ile ROC çizilir. Buraya kadar verilen tüm yöntemler ikili sınıflandırma için geliştirilmiş yöntemlerdendir. İkiden fazla sınıfın söz konusu olduğu çoklu-sınıf sınıflandırma problemlerinde modelin performansının değerlendirilebilmesi için performans ölçüsü olarak ikili sınıflandırmada kullanılan yöntemlerin genelleştirilmiş biçimleri kullanılabilmektedir (Mukkamala, 2013; Justan, 2002; Sokolova ve Lapalme, 2009; Felkin, 2007). Öncelikle çoklu-sınıf sınıflandırıcı, birkaç tane ikili sınıflandırıcıya dönüştürülmekte, elde edilen her ikili sınıflandırıcı için performans ölçüsü hesaplanmakta ve son olarak hesaplanan performans ölçülerinin ortalamaları alınarak çoklu-sınıf performans ölçüleri elde edilmektedir (Kazemian ve diğ., 2010). 𝐶 = {𝐶1 , 𝐶2 , 𝐶3 } sınıf değerleri kümesi olsun. Şekil 2.7‘deki hata matrisi ikili sınıflandırıcı için verilmiştir. 𝐶1 pozitif, 𝐶2 ve 𝐶3 de negatif sınıfına aittir. Şekil 2.7: İkili Sınıflandırıcı Biçiminde Verilen Hata Matrisi (Kazemian ve diğ., 2010). 𝜇 mikro, 𝑀 makro ortalama, 𝑙 sınıf sayısı olmak üzere (Sokolova ve Lapalme, 2009), 𝑑𝑝𝑖 + 𝑑𝑛𝑖 ∑𝑙𝑖=1 ( ) 𝑑𝑝𝑖 +𝑦𝑛𝑖 + 𝑦𝑝𝑖 + 𝑑𝑛𝑖 𝑂𝑟𝑡𝑎𝑙𝑎𝑚𝑎 𝑑𝑜ğ𝑟𝑢𝑙𝑢𝑘 (𝑎𝑣𝑒𝐴𝐶𝐶) = 𝑙 𝑦𝑝𝑖 + 𝑦𝑛𝑖 ∑𝑙𝑖=1 ( ) 𝑑𝑝𝑖 +𝑦𝑛𝑖 + 𝑦𝑝𝑖 + 𝑑𝑛𝑖 𝑂𝑟𝑡𝑎𝑙𝑎𝑚𝑎 ℎ𝑎𝑡𝑎 𝑜𝑟𝑎𝑛𝚤 (𝑎𝑣𝑒𝐸𝑅𝑅) = 𝑙 (2.48) (2.49) 38 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖𝜇 (𝑚𝑃𝑃𝑉) = 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘 𝜇 (𝑚𝑇𝑃𝑅) = 𝐹 − Ö𝑙çü𝑠ü 𝜇 (𝑚𝐹) = ∑𝑙𝑖=1 𝑑𝑝𝑖 ∑𝑙𝑖=1(𝑑𝑝𝑖 + 𝑦𝑝𝑖 ) ∑𝑙𝑖=1 𝑑𝑝𝑖 ∑𝑙𝑖=1(𝑑𝑝𝑖 (2.50) (2.51) + 𝑦𝑛𝑖 ) 2 ∗ 𝑚𝑃𝑃𝑉 ∗ 𝑚𝑇𝑃𝑅 𝑚𝑃𝑃𝑉 + 𝑚𝑇𝑃𝑅 (2.52) 𝑑𝑝𝑖 ∑𝑙𝑖=1 ( ) 𝑑𝑝𝑖 + 𝑦𝑝𝑖 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖𝑀 (𝑀𝑃𝑃𝑉) = 𝑙 𝑑𝑝𝑖 ∑𝑙𝑖=1 ( ) 𝑑𝑝𝑖 + 𝑦𝑛𝑖 𝐷𝑢𝑦𝑎𝑟𝑙𝚤𝑙𝚤𝑘 𝑀 (𝑀𝑇𝑃𝑅) = 𝑙 2 ∗ 𝑀𝑃𝑃𝑉 ∗ 𝑀𝑇𝑃𝑅 𝐹 − Ö𝑙çü𝑠ü 𝑀 (𝑀𝐹) = 𝑀𝑃𝑃𝑉 + 𝑀𝑇𝑃𝑅 (2.53) (2.54) (2.55) Yukarıda çoklu-sınıf sınıflandırma performans ölçüleri arasında listelenmeyen ikili sınıflandırma için verilmiş diğer performans değerlendirme ölçüleri de benzer biçimde mikro ve makro düzeyde formüle edilmiştir: 𝐵𝑒𝑙𝑖𝑟𝑙𝑒𝑦𝑖𝑐𝑖𝑙𝑖𝑘𝜇 (𝑚𝑆𝑃𝐶) = 𝐵𝑒𝑙𝑖𝑟𝑙𝑒𝑦𝑖𝑐𝑖𝑙𝑖𝑘𝑀 (𝑀𝑆𝑃𝐶) = ∑𝑙𝑖=1 𝑑𝑛𝑖 (2.56) ∑𝑙𝑖=1(𝑑𝑛𝑖 + 𝑦𝑝𝑖 ) ∑𝑙𝑖=1 ( 𝑑𝑛𝑖 ) 𝑑𝑛𝑖 + 𝑦𝑝𝑖 𝑙 ∑𝑙𝑖=1 𝑦𝑝𝑖 𝑌𝑎𝑛𝑙𝚤ş 𝑝𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤𝜇 (𝑚𝐹𝑃𝑅) = 𝑌𝑎𝑛𝑙𝚤ş 𝑝𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤𝑀 (𝑀𝐹𝑃𝑅) = (2.57) (2.58) ∑𝑙𝑖=1(𝑦𝑝𝑖 + 𝑑𝑛𝑖 ) ∑𝑙𝑖=1 ( 𝑌𝑎𝑛𝑙𝚤ş 𝑛𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤𝜇 (𝑚𝐹𝑁𝑅) = 𝑌𝑎𝑛𝑙𝚤ş 𝑛𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑟𝑎𝑛𝚤𝑀 (𝑀𝐹𝑁𝑅) = 𝑦𝑝𝑖 ) 𝑦𝑝𝑖 + 𝑑𝑛𝑖 𝑙 ∑𝑙𝑖=1 𝑦𝑛𝑖 ∑𝑙𝑖=1(𝑦𝑛𝑖 ∑𝑙𝑖=1 ( 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖𝜇 (𝑚𝑁𝑃𝑉) = 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 ö𝑛𝑔ö𝑟ü 𝑑𝑒ğ𝑒𝑟𝑖𝑀 (𝑀𝑁𝑃𝑉) = (2.59) (2.60) + 𝑑𝑝𝑖 ) 𝑦𝑛𝑖 ) 𝑦𝑛𝑖 + 𝑑𝑝𝑖 𝑙 ∑𝑙𝑖=1 𝑑𝑛𝑖 (2.61) (2.62) ∑𝑙𝑖=1(𝑑𝑛𝑖 + 𝑦𝑛𝑖 ) ∑𝑙𝑖=1 𝑑𝑛𝑖 𝑑𝑛𝑖 + 𝑦𝑛𝑖 𝑙 (2.63) 39 𝑚𝑇𝑃𝑅 1 − 𝑚𝑆𝑃𝐶 𝑀𝑇𝑃𝑅 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 𝑀 (𝑀𝐿𝑅+) = 1 − 𝑀𝑆𝑃𝐶 1 − 𝑚𝑇𝑃𝑅 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 𝜇 (𝑚𝐿𝑅−) = 𝑚𝑆𝑃𝐶 1 − 𝑀𝑇𝑃𝑅 𝑁𝑒𝑔𝑎𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 𝑀 (𝑀𝐿𝑅−) = 𝑀𝑆𝑃𝐶 𝑚𝐿𝑅 + 𝑇𝑎𝑛𝚤𝑠𝑎𝑙 ü𝑠𝑡ü𝑛𝑙ü𝑘 𝑜𝑟𝑎𝑛𝚤 𝜇 (𝑚𝐷𝑂𝑅) = 𝑚𝐿𝑅 − 𝑀𝐿𝑅 + 𝑇𝑎𝑛𝚤𝑠𝑎𝑙 ü𝑠𝑡ü𝑛𝑙ü𝑘 𝑜𝑟𝑎𝑛𝚤 𝑀 (𝑀𝐷𝑂𝑅) = 𝑀𝐿𝑅 − (2.64) 𝑃𝑜𝑧𝑖𝑡𝑖𝑓 𝑜𝑙𝑎𝑏𝑖𝑙𝑖𝑟𝑙𝑖𝑘 𝑜𝑟𝑎𝑛𝚤 𝜇 (𝑚𝐿𝑅+) = (2.65) (2.66) (2.67) (2.68) (2.69) 2.4.6. Modelin Uygulamaya Geçirilmesi Makine öğrenmesinde kurulan modeller Bölüm 2.4.5.1’te verilen model performans değerlendirme yöntemleri ve Bölüm 2.4.5.2’de verilen model performans değerlendirme ölçüleri kullanılarak seçilip ve ilgili problemin çözümünde kullanılmaya başlanmaktadır. Tanımlanan problemi çözmek üzere toplanan veri seti tanımlanmalı veya iyi anlaşılmalıdır. Veri seti üzerindeki eksiklikler tamamlanarak veri seti öğrenme algoritmaları ile analize hazır hale getirilir. Öğrenme algoritmalarının veri üzerinde seçilen performans değerlendirme yöntemleri ile en iyi performansı gösteren tahmin modeli seçilir. Bu adımların tamamlanmasında geriye dönük herhangi bir sorun veya eksiklik görülmüyorsa modelin uygulamaya geçilmesi sağlanır. Bu uygulamanın dinamik bir yapıda olabilmesi için Shiny ile web için uygulama geliştirilecektir. 40 3. MALZEME VE YÖNTEM Tezin malzeme ve yöntem bölümünde makine öğrenmesi teknikleri kullanılarak kardiyolojik risk değerlendirmesine ilişkin gerçekleştirilen uygulamaya yer verilmiştir. Bölüm 2.4’te makine öğrenmesi için verilmiş olan temel adımlar izlenerek gerçekleştirilen uygulama adım adım anlatılmıştır. Kardiyolojik risk değerlendirmesi için sırasıyla CRISP modeli adımları izlenmiştir. 3.1. PROBLEMİN TANIMLANMASI Risk gruplandırma ve tahmin modelleri, bakım kalitesinin değerlendirilmesi, tıbbî karar verme, hasta danışmanlığının ve hasta rızası için zorunlu araçlar olarak görülmektedir (Akar ve diğ., 2011). Erişkin kalp cerrahisinde ölüm (mortalite) ve hastalık (morbidite) ile ilgili nesnel ölçütleri kullanarak önceden risk belirleyebilmek hem hasta ve hasta yakınlarını bilgilendirebilme, hem de operasyon öncesi cerrahi ekibin süreç planlaması açısından önemlidir (Akgül ve diğ., 2013). Batı toplumlarında yer alan hastaneler, açık kalp cerrahisi sonuçlarını açıklamakta, hastaneler de bu sonuçlara göre kalp cerrahisi dernekleri tarafından sıralanmaktadır (Okutan ve diğ., 2002). Risk puanlama sistemleri geliştirilmediği takdirde, 𝑌ü𝑘𝑠𝑒𝑘 𝑟𝑖𝑠𝑘𝑙𝑒 𝑎𝑚𝑒𝑙𝑖𝑦𝑎𝑡 𝑜𝑙𝑎𝑛 ℎ𝑎𝑠𝑡𝑎 𝑠𝑎𝑦𝚤𝑠𝚤 𝑇𝑜𝑝𝑙𝑎𝑚 𝑎𝑚𝑒𝑙𝑖𝑦𝑎𝑡 𝑠𝑎𝑦𝚤𝑠𝚤 oranı yüksek olan hastanelerdeki sonuçlar daha kötü çıkacaktır (Okutan ve diğ., 2002). Okutan ve diğ. (2002) bu durumun sebep olacağı iki önemli sonucu aşağıdaki biçimde özetlemiştir: Hastaneler, yüksek risk grubunda yer alan hastaları ameliyat etmeyecektir. Hastalar ise sıralama sonuçlarına bakarak sadece düşük riskli hastaları ameliyat eden hastaneleri tercih ederek yanlış yönlenmiş olacaktır. Erişkin kalp cerrahisi sonrası hayatî riski belirlemek üzere değişik skorlama sistemleri geliştirilmiştir (Parsonnet ve diğ., 1989; Higgins ve diğ., 1992; Hattler ve diğ., 1994; Roques ve diğ., 1995; Tu ve diğ., 1995; Pons ve diğ., 1997; Roques ve diğ., 1999; 41 Nashef ve diğ., 1999; Tremblay ve diğ., 1993; Okutan ve diğ., 2002). Geissler ve diğ. (2000), Initial Parsonnet Score, Cleveland Clinic Score, French Score, EuroSCORE, Pons Score ve Ontario Province Risk Score olmak üzere altı farklı puanlama tekniğini birbiriyle kıyaslamış, EuroSCORE’un en iyi ölüm tahmin değerini verdiğini ortaya koymuştur. Dişcigil ve diğ. (2005), EuroSCORE’da ameliyat ile ilgili yalnızca 4 belirleyici faktörün olduğuna dikkat çekmiş, bu nedenle EuroSCORE’un ameliyat ile ilgili değişkenlerden en az etkilenen bir metot olduğunu belirtmiştir. Bu yönü ile EuroSCORE için hasta temelli riskin değerlendirilmesi ve farklı merkezlerle standartlaşmada cerrahî ekip nedeni ile doğacak farklılıkları en aza indirgenmesi bir avantaj olarak görülmektedir (Dişcigil ve diğ., 2005; Geissler ve diğ., 2000). EuroSCORE (The European System for Cardiac Operative Risk Evaluation) kalp cerrahisi hastalarında erken ölümü tahmin etmek için geliştirilmiş bir puanlama sistemidir (euroscore.org, 2015c, 2015e; Nashef ve diğ., 1999). Roques vd. (1999) EuroSCORE’un geliştirme çalışmasının bir parçası olarak kalp ameliyatı olan yetişkin hastaların ölmesine ilişkin risk faktörlerini belirlemişlerdir. Bu çalışmaya ait veritabanının büyük bir kısmı yine EuroSCORE’un geliştirilmesinde kullanılmıştır. 8 Avrupa ülkesindeki 128 hastaneden yaklaşık 20 bin hastadan 97 adet risk faktörüne ilişkin bilgiler toplanmış; ancak bunların içinden aşağıda listelenen 17 tanesi (Tablo 3.1) en önemli, güvenilir ve objektif olduğu kabul edilerek puanlama sistemi için seçilmiştir (euroscore.org, 2015d). Risk modeli oluşturulurken (Nashef ve diğ., 1999); Veritabanı rasgele biçimde ikiye ayrılmış, 13302 hasta modelin geliştirilmesinde, 1497 hasta ise doğrulanmasında kullanılmıştır. Logistik regresyon analizi baz alınarak risk faktörleri ağırlıklandırılmış ve tahmin edilen ölümün eklemeli puanı oluşturulmuştur. Hastalar 0-2 düşük (low), 3-5 orta (medium), 6 ve üzeri yüksek (high) olmak üzere üç risk grubuna ayrılmıştır. Bir hastanın tahmini ölüm riski hesaplanırken, mevcut risk faktörlerine ait puanlar birbirine eklenmektedir. 42 Tablo 3.1: Standart ve Logistic EuroSCORE Risk Faktörleri (euroscore.org, 2015d; Roques ve diğ., 2003; Karabulut ve diğ., 2001). EuroSCORE parametreleri EuroSCORE parametreleri Standart Logistik (Türkçe) EuroSCORE EuroSCORE puanı 𝛽 katsayıları Hasta ile ilgili etmenler β0 = -4.789594 1 Age Yaş 1 0.0666354 2 Sex Cinsiyet 1 0.3304052 3 Chronic pulmonary disease KOAH 1 0.4931341 4 Extracardiac arteriopathy Periferik damar hastalığı 2 0.6558917 5 Neurological dysfunction Nörolojik disfonksiyon 2 0.84162626 disease 6 Previous cardiac surgery Reoperasyon 3 1.002625 7 Serum creatinine Serum kreatinin > 200 μmol 2 0.6521653 (ya da > 2.26 mg/dl) 8 Active endocarditis Aktif endokardit 3 1.101265 9 Critical preoperative state Kritik preoperatif durum 3 0.9058132 (preop VT, VF, masaj, ventilatöre bağımlılık, IABP uygulanımı, inotrop kullanımı, akut böbrek yetmezliğinin varlığı) Kalp ile ilgili etmenler 10 Unstable angina Kararsız angina pektoris 2 0.5677075 11 LV dysfunction Sol ventrikül disfonksiyonu EF %30-50 1 0.4191643 EF < %30 3 1.094443 12 Recent myocardial infarct Geçirilmiş miyokard 2 0.5460218 infarktüsü (< 90 gün) 13 Pulmonary hypertension Ameliyat ile ilgili etmenler 14 Emergency Pulmoner hipertansiyon 2 (sistolik PAP > 60 mmHg) 0.7676924 Acil (anjiyo ile aynı gün 2 operasyon) 0.7127953 0.5420364 1.462009 15 Other than isolated CABG 16 Surgery on thoracic aorta Koroner baypas cerrahisine 2 ilave veya bağımsız majör kardiyak prosedür Torasik aort cerrahisi 3 17 Postinfarct septal rupture Post-infarkt VSD 4 1.159787 EF = ejeksiyon fraksiyonu. PAP = pulmoner arter basıncı. VSD = ventriküler sepal defekt 43 Günümüzde çevrimiçi risk hesaplamasını sağlayan üç adet EuroSCORE modeli mevcuttur. Bunlar sırası ile Standart (Additive) EuroSCORE (Roques ve diğ., 1995), Logistic EuroSCORE (Roques ve diğ., 2003) ve EuroSCORE II (EuroSCORE Project Group, 2011)’dir (Şekil 3.1). Şekil 3.1: Geliştirilen EuroSCORE Modelleri. Ülkemizde Sosyal Güvenlik Kurumu Sağlık Uygulama Tebliği’nin “Tanı ve Tedavi” bölümünde (2.4.4.G) Kardiyak Risk Puanlaması yer almaktadır (T.C. Sosyal Güvenlik Kurumu, 2014). Bu puanlama sistemi, EuroSCORE risk faktörlerini temel almakla beraber, hastaların işlem bedellerinin ne kadarının SGK tarafından karşılanacağı da, yine bu puanlama sonucunda çıkacak risk grubuna göre belirlenmektedir (Şekil 3.2). EuroSCORE ve SGK kardiyak risk puanlamasına ait faktörlerin karşılaştırması Şekil 3.3’de verilmiştir. SGK Kardiyak Risk Puanlaması’nda 15 adet risk faktörü mevcuttur; ancak sol ventrikül disfonksiyonu iki madde olarak sayılmıştır. Hasta ile ilgili 10, kalp ile ilgili 3, ameliyat ile ilgili 2 adet risk faktörü yer almaktadır. Sonuç nümeriktir ve risk grupları 1-3 düşük, 4-6 orta, 7 ve üzeri ise yüksek risk olarak belirlenmiştir. SGK Kardiyak Risk Puanlaması’nda, EuroSCORE’da mevcut olmayan böbrek yetmezliği + diyaliz hastaları ve şeker hastalığı faktörleri (diabetes mellitus) bulunmaktadır. EuroSCORE’da olup SGK Kardiyak Risk Puanlamasında olmayan risk faktörleri de mevcuttur (Şekil 3.3). Kriterin aynı olduğu; ancak puanın farklı verildiği faktörler de mevcuttur. Örneğin EuroSCORE 60 yaşın üzerinde her 5 yılda bir 1 puan eklerken, SGK kardiyak risk puanlamasında 60-65 yaş 1, 66-70 yaş 2, 71 yaş ve üzeri için 3 puan verilmektedir. Buna göre, 90 yaşında olup diğer etmenlerin görülmediği bir hastanın ölüm riski, EuroSCORE’da 6 (yüksek), SGK kardiyak risk puanlamasında 3 (düşük) olarak hesaplanacaktır. 44 Şekil 3.2: SGK Sağlık Uygulama Tebliği - Kardiyak Risk Puanlaması (T.C. Sosyal Güvenlik Kurumu, 2014). 45 Şekil 3.3: EuroSCORE ve SGK Kardiyak Risk Puanlaması’na ait Risk Faktörlerinin Karşılaştırması (T.C. Sosyal Güvenlik Kurumu, 2014; Karabulut ve diğ., 2001). 46 Literatürde EuroSCORE’un farklı bölgelerde farklı veritabanları üzerindeki uygulamalarına rastlamak mümkündür. Nashef vd. (2002), Standart EuroSCORE’u Kuzey Amerika’daki kalp cerrahisi topluluğuna uygulamış, Avrupa ve Kuzey Amerika’da demografik farklılıklar mevcut olmasına rağmen EuroSCORE’un iyi performans sergilediği tespit edilmiştir. Avrupa ulusal yetişkin kalp cerrahisindeki epidemik farklılıklar göz önünde bulundurularak, EuroSCORE’un geliştirildiği veri seti 6 ulusal alt kümeye ayrılmış ve alt veri setlerinde de EuroSCORE’un ayırt edici gücü gözlemlenmiştir (Roques ve diğ., 2000). Özellikle yüksek risk grubundaki hastalar için logistik EuroSCORE’un standart EuroSCORE’a göre daha iyi risk tahmininde bulunduğu tespit edilmiştir (Michel ve diğ., 2003). Gogbashian, Sedrakyan, & Treasure (2004) Japonya, Belçika, Fransa, Türkiye ve İngiltere’de yapılan çalışmaları inceleyerek, standart EuroSCORE’un ≤ 6 değerlerinde aşırı, > 6 değerlerinde ise eksik tahminde bulunduğunu; ancak EuroSCORE’un modern uygulamar arasında en iyi kurulmuş ve doğrulanmış bir risk modeli olduğunu vurgulamıştır. EuroSCORE’un yalnızca hastane içi ölüm tahmini için değil, kalp kapak cerrahisi (heart valve surgery) uzun dönem ölüm tahmininde de kullanabileceği görüşünü ortaya konmuştur (Toumpoulis ve diğ., 2005). Özetle, literatürde EuroSCORE’un tahmin gücü ile ilgili yapılan kimi çalışmalarda (Nikolic, 2015; Bouleti ve diğ., 2014; Lafuente ve diğ., 2008) sonuçlar EuroSCORE’un tahmin gücünü destekleyici yönde olup, kimi çalışmalardaysa bu başarıdan uzaktır (Osswald ve diğ., 2009; Yap ve diğ., 2006). Kalp cerrahisi sonrasında ölüm riskinin tahmin edilebilmesinde, puanlama sistemlerinin yanı sıra makine öğrenmesiyle ilgili çalışmalar da yapılmıştır. Nouei ve diğ. (2014) tarafından dünyada en sık görülen açık kalp ameliyatından biri olan koroner arter baypas greft (coronary artery bypass graft - CABG) ameliyatından sonra ölümün tahmin edilmesi için bulanık genetik bir sistem önermiştir. Tu ve diğ. (1997) ise CABG operasyonu sonrasında hastanede ölüm riskinin tahmin edilmesi için yapay sinir ağı ve logistik regresyonun performansını birbiriyle kıyaslamış, iki yöntemin hasta özellikleri ve ölüm arasında birbirleriyle benzer ilişkileri öğrendiği tespit edilmiştir. Lippmann ve diğ. (1995) yapay sinir ağlarını kullanarak CABG operasyonu geçirmiş hastalar için ölüm, inme ve böbreklerle ilgili bozukluk riskinin tahmini gerçekleştirmiştir. Tunca (2008), Türkiye’deki hastaları göz önünde bulundurup TurkoSCORE adında EuroSCORE’a benzer bir veritabanı elde ederek ROC eğrisi altında kalan alanın 47 maksimize edilmesine dayanan REMARC (Risk Estimation by Maximizing Area under ROC curve) algoritması ile risk tahmini modeli geliştirmiştir. Bu tez çalışmasında ise esas olarak “Sınıflandırmaya dayalı makine öğrenmesi tekniklerini kullanarak, kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastaya ait hayati riskin belirlenmesi” probleminin ele alınmasına karar verilmiştir. Dolayısıyla Mitchell (1997)’in makine öğrenmesi tanımındaki Görev G: “Bir hastanın kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastaya ait hayati riskin belirlenmesi”dir. Bir sonraki bölümde analizlerde kullanılan veri seti hakkında bilgiler yer almaktadır. 3.2. VERİYİ ANLAMA Analizlerde kullanılmak üzere Acıbadem Maslak Hastanesi’nden veri seti temin edilmiş olup, bu veri setinde herhangi bir hastaya ait ad, soyad, T.C. kimlik numarası bilgisi ya da hastanın kimliğini ortaya çıkarabilecek herhangi bir bilgi mevcut değildir. Mitchell (1997)’in makine öğrenmesi tanımındaki Deneyim D: “Standart ve Logistic EuroSCORE modellerine ait değerlendirme kriterlerini içeren veri seti”dir. Ham veri seti, uzman görüşü yardımı ile analizler için kullanılabilir hale getirilmiştir. Veri setinde bulunan yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon nitelikleri nümeriktir; ancak gerektiğinde analizlerde EuroSCORE’daki ayrıklaştırma kıstaslarına uygun biçimde kategorik hale dönüştürülerek kullanılmıştır. 15 adet kategorik nitelik bulunmaktadır (Şekil 3.4). İkili kategorik (binary) niteliklerde, 0 risk faktörünün mevcut olmadığını, 1 ise risk faktörünün mevcut olduğunu göstermektedir. İkiden fazla kategorinin söz konusu olduğu niteliklerde ise 0’ın yine en düşük risk durumunu temsil etmesi göz önünde bulundurulmuştur. Veri setinde bulunan niteliklere ait özellikler Tablo 3.2’de verilmiştir. Roques vd. (1999) tarafından yapılan çalışmada, hastaların ölü/sağ durum bilgileri operasyondan sonraki 30 gün temel alınarak oluşturulmuştur; ancak bu tezde kullanılan veri setindeki kayıtlarda operasyon tarihi ve hastaneden çıkış tarihi bilgisi incelendiğinde operasyondan sonraki 30 günlük bir standart takip süresi elde edilememiştir. Bu nedenle, hastaların hastaneden çıktıkları andaki durumlarını ifade eden bilgi analizlerde hedef nitelik olarak kullanılmamış ve analizlere dâhil 48 edilmemiştir. Bunun yerine, hastalar Standart EuroSCORE risk durumlarına göre gruplandırılmış ve analizlerde makine öğrenmesi algoritmaları ile sınıflandırma, belirtilen risk grupları dâhilinde incelenmiştir. Bu nedenle, Tablo 3.2’de ve Şekil 3.4’te verilen veri seti özetindeki risk niteliği hedef niteliktir. Hedef nitelik olarak seçilen Risk, Standart EuroSCORE puanına göre; düşük (0-2 puan), orta (3-5 puan) ve yüksek (6 ve üzeri puan) olarak üç gruba ayrılmıştır. Kalan 16 nitelikse tahmin için kullanılan niteliklerdir. Nümerik nitelikler için 1. ve 3. kartiller, minimum ve maksimum değer, ortalama ve medyan hesaplanmıştır. Kategorik niteliklerinse her bir değerinin veri setindeki frekans bilgisi verilmiştir. Tüm bu bilgiler Şekil 3.4’ten incelenebilir. Tablo 3.2: Veri Setindeki Niteliklere İlişkin Özellikler. TAHMİN İÇİN KULLANILAN NİTELİKLER (Bağımsız Değişkenler) Nitelik Adı Yaş Cinsiyet KOAH Periferik damar hastalığı Nörolojik disfonksiyon Reoperasyon Serum kreatinin Aktif endokardit Kritik preoperatif durum Kararsız angina pektoris Sol ventrikül disfonksiyonu Geçirilmiş miyokard infarktüsü Pulmoner hipertansiyon Acil Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Torasik aort cerrahisi Post-infarkt VSD Risk Kısaltma (𝑌𝑎𝑠) (𝐶𝑛𝑠𝑦𝑡) (𝐾𝑂𝐴𝐻) (𝑃𝑒𝑟𝐷𝑎𝑚𝐻𝑎𝑠𝑡) (𝑁𝑜𝑟𝐷𝑖𝑠) (𝑅𝑒𝑜𝑝) (𝑆𝑒𝑟𝐾𝑟𝑒) (𝐴𝑘𝑡𝐸𝑛𝑑) (𝐾𝑟𝑖𝑃𝑟𝑒𝐷𝑢𝑟) (𝐾𝑎𝑟𝐴𝑛𝑔𝑃𝑒𝑘) (𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠) Veri Tipi Nümerik İkili Kategorik (binary) İkili Kategorik (binary) İkili Kategorik (binary) İkili Kategorik (binary) İkili Kategorik (binary) Nümerik (mg/dl) İkili Kategorik (binary) İkili Kategorik (binary) İkili Kategorik (binary) Nümerik (%) Kodlama Biçimi (𝐺𝑒𝑐𝑀𝑖𝑦𝐼𝑛𝑓) İkili Kategorik (binary) 0: Yok, 1: Var (𝑃𝑢𝑙𝐻𝑖𝑝) (𝐴𝑐𝑖𝑙) (𝐾𝑜𝑟𝐵𝑎𝑦𝐶𝑒𝑟) Nümerik (mmHg) İkili Kategorik (binary) İkili Kategorik (binary) 0: Yok, 1: Var 0: Yok, 1: Var İkili Kategorik (binary) (𝑇𝑜𝑟𝐴𝑜𝑟𝐶𝑒𝑟) İkili Kategorik (binary) (𝑃𝑜𝑠𝐼𝑛𝑓𝑉𝑆𝐷) HEDEF NİTELİK (Bağımlı Değişken) (𝑅𝑖𝑠𝑘) Kategorik 0: Erkek, 1:Kadın 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var 0: Yok, 1: Var Düşük, Orta, Yüksek 49 Şekil 3.4: Veri Setinde Tahmin Edici Niteliklere ait Tanımlayıcı Bilgi. Özellikle aktif endokardit, geçirilmiş miyokard infarktüsü ve pulmoner hipertansiyon nitelikleri başta olmak üzere veri setinde çok sayıda kayıp değer tespit edilmiştir (Şekil 3.4). EuroSCORE’da ilgili niteliğe ait ölçüm bilgisi olmasa bile ilgili risk faktörünün etkisi “Hayır/Yok” biçiminde kabul edilerek hesaplama yapılmaktadır (Şekil 3.5). EuroSCORE’un hastalar için hazırlamış olduğu hesap makinesinde hem “Bilmiyorum (Don’t know)” hem de “Hayır (No)” seçeneği bulunmasına rağmen her iki durum için de hesaplanan puanlar eşittir (Şekil 3.6 ve Şekil 3.7). Bu tez çalışmasında ise analizlerden önce veri setindeki kayıp değerlerin tamamlanmasına karar verilmiştir. 50 Şekil 3.5: Standart ve Logistik EuroSCORE için Kullanılan Hesap Makinesi Ekran Görüntüsü (euroscore.org, 2015a). Şekil 3.6: EuroSCORE’un Hastalar için Hazırlamış Olduğu Hesap Makinesinden Ekran Görüntüsü (1) (euroscore.org, 2015b). 51 Şekil 3.7: EuroSCORE’un Hastalar için Hazırlamış Olduğu Hesap Makinesinden Ekran Görüntüsü (2) (euroscore.org, 2015b). Nümerik niteliklerdeki ait olası uç noktalar hakkında bilgi edinmek için kutu grafiği çizimleri (Şekil 3.8), olası ilişkiler içinse ilk aşamada serpme diyagramları (scatter plots) (Şekil 3.9) kullanılmıştır. Şekil 3.8 ve Şekil 3.9 incelenirse ilk bakışta veri setindeki yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerine ait uç değerlerin varlığı, niteliklerin aldıkları değerlerin farklı aralıklarda bulunduğu ve nitelikler arasında kuvvetli bir ilişkinin mevcut olmadığı tespit edilmiştir. 52 Şekil 3.8: Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerine ait Kutu Grafiği Çizimleri. Şekil 3.9: Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerinin Risk Grupları Göz Önünde Bulundurularak İkili Karşılaştırılması. 53 3.3. VERİNİN HAZIRLANMASI Veri setinin analizlere hazır hale getirilmesi için Bölüm 2.4.3’de verilen bilgilerden faydalanılarak sırasıyla aşağıdaki işlemler uygulanmıştır: Veri setinde bulunan kayıp değerler tamamlanmıştır. Niteliklerdeki kayıp değerler, eğer nitelik nümerik değerler alıyorsa, niteliğin aldığı değerler hedef değişkendeki her sınıfa göre ortalama değeriyle, eğer nitelik kategorik değerler alıyorsa, nitelikte en çok tekrar eden kategoriyle tamamlanmıştır. Örneğin, serum kreatinin niteliği nümerik değerler almaktadır ve 5 adet kayıp değer mevcuttur (Şekil 3.4). Hedef değişkenin düşük, orta ve yüksek sınıf değerlerine göre; serum kreatinin niteliğindeki tüm değerlerin ortalamaları bulunmuş ve kayıp değerler, sınıflara göre ortalamalara bakılarak tamamlanmıştır. Veri setindeki kayıp değerler tamamlandıktan sonra bazı gözlemlere ait standart ve logistik EuroSCORE değerleri değişse de bu değişikliğin hastaların risk gruplarında herhangi bir değişiklik yaratmadığı tespit edilmiştir. Değerlerinde değişiklik tespit edilen gözlemlerin tümü eksik veri tamamlanmadan önce de yüksek risk grubundaki bulunan gözlemlerdir. Uç noktalar veri setinden çıkartılmıştır. Uzman görüşü çerçevesinde niteliklerin alması gereken değerlere ait kurallar ele alınmış ve bu kurallara uymayan 15 kayıt veri setinden çıkartılmıştır. Böylece başlangıçta 1482 olan gözlem sayısı 1467’ye düşmüştür. Başlangıçta Post-infarkt VSD etkeninin görüldüğü (PostInfVSD = 1) yalnızca tek bir gözlem varken, aykırı değerlerin çıkarılmasından sonra bu nitelikte geri kalan gözlemlerin tümünde Post-infarkt VSD etkeninin görülmediği (yani PostInfVSD = 0) ve boş değerler kalmıştır. Bu nedenle, Post-infarkt VSD faktörünün analizlere katkısının olmayacağı düşünülmüş ve analizlerde kullanılmamıştır. Tekrar eden gözlemler veri setinden çıkartılmıştır. Veri setinde tekrar eden gözlemin olup olmadığı kontrol edilmiş, tekrar eden 2 gözlem bulunmuştur. Tekrar eden satırlar veri setinden çıkartılmış, neticede 1465 adet kayıt kalmıştır. 54 Nümerik değer alan yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon nitelikleri ayrıklaştırılmıştır. EuroSCORE yalnızca kategorik nitelikler ile hesaplama yapmaktadır; ancak tezde kullanılan veri setinde yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin nümerik değerleri mevcuttur. Hayati riskin tahmin edilebilmesi için yalnızca kategorik niteliklerden oluşan veri setiyle çalışmak yerine, hem nümerik hem de kategorik değerler alan niteliklerin bir arada yer aldığı veri seti ile çalışarak daha hassas hesaplamalar yapılabileceği düşünülmüştür. Bu üstünlüğü gösterebilmek için yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin nümerik değerleri mevcut olduğu veri seti ile kategorik değerlerinin yer aldığı veri seti ile elde edilen sonuçlar birbiriyle kıyaslanmıştır. Bunun için EuroSCORE’daki ayrıklaştırma kuralları temel alınarak yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon nitelikleri ayrıklaştırılmış ve ikili hale getirilmiştir. EuroSCORE hesaplarına göre, 𝑌𝑎𝑠 < 60 ise 0 puan, 60 ≤ 𝑌𝑎𝑠 < 65 ise 1 puan, 65 ≤ 𝑌𝑎𝑠 < 70 ise 2 puan vb. biçimde artarak puanlama yapılmaktadır. Veri setinde yaş (𝑌𝑎𝑠) niteliğinin aldığı değerler minimum 18.4 ve maksimum 86.5 arasında değiştiğinden yaş niteliği, " 𝑌𝑎𝑠0" (sıfır puan alan gözlemler), 𝑌𝑎𝑠0, 𝑌𝑎𝑠1, 𝑌𝑎𝑠2, 𝑌𝑎𝑠3, 𝑌𝑎𝑠4, 𝑌𝑎𝑠5, 𝑌𝑎𝑠6 olmak üzere yedi farklı kategoriye ayrılarak ayrıklaştırılmıştır. 𝑌𝑎𝑠0, 𝑌𝑎𝑠 < 60 𝑌𝑎𝑠1, 60 ≤ 𝑌𝑎𝑠 < 65 𝑌𝑎𝑠2, 65 ≤ 𝑌𝑎𝑠 < 70 𝑌𝑎𝑠 = 𝑌𝑎𝑠3, 70 ≤ 𝑌𝑎𝑠 < 75 𝑌𝑎𝑠4, 75 ≤ 𝑌𝑎𝑠 < 80 𝑌𝑎𝑠5, 80 ≤ 𝑌𝑎𝑠 < 85 {𝑌𝑎𝑠6, 85 ≤ 𝑌𝑎𝑠 < 90 Sonrasında özellikle uzaklık hesaplamalarında işlemleri kolaylaştırması için yaş niteliği ikili hale getirilmiştir. Örneğin, 𝑌𝑎𝑠 = 78 olan bir gözlemin 𝑌𝑎𝑠 niteliği yerine 𝑌𝑎𝑠0, 𝑌𝑎𝑠1, 𝑌𝑎𝑠2, 𝑌𝑎𝑠3, 𝑌𝑎𝑠4, 𝑌𝑎𝑠5, 𝑌𝑎𝑠6 niteliklerinin aldığı değerler analizlere dâhil edilmiştir. 55 Tablo 3.3: Yaş Niteliğinin İkili Hale Getirilmesi Örneği. gözlem Yas0 0 Yas1 0 Yas2 0 Yas Yas3 0 Yas4 1 Yas5 0 Yas6 0 Serum kreatinin (𝑆𝑒𝑟𝐾𝑟𝑒), sol ventrikül disfonksiyonu (𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠) ve pulmoner hipertansiyon (𝑃𝑢𝑙𝐻𝑖𝑝) niteliklerine de benzer işlemler uygulanmıştır. 1, SerKre > 2.26 mg/dl 𝑆𝑒𝑟𝐾𝑟𝑒 = { 0, SerKre ≤ 2.26 mg/dl 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠1, 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 > 50 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 = {𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠2, 30 ≥ 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 ≥ 50 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠3, 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 < 30 𝑃𝑢𝑙𝐻𝑖𝑝 = { 1, 𝑃𝑢𝑙𝐻𝑖𝑝 > 60 mmHg 0, 𝑃𝑢𝑙𝐻𝑖𝑝 ≤ 60 mmHg Böylelikle mevcut veri seti, yalnızca kategorik niteliklerin yer aldığı binary_euSCR ve hem nümerik hem de kategorik niteliklerin yer aldığı mixed_euSCR olarak iki farklı biçimde analizlerde kullanılmıştır. binary_euSCR veri setindeki tekrar eden değerler çıkartılmış, son durumda sadece 422 adet gözlem kalmıştır. mixed_euSCR veri setindeki nümerik nitelikler max-min normalizasyon tekniği kullanılarak [0,1] aralığına indirgenmiştir. mixed_euSCR veri setindeki gözlem sayısı son durumda 1465’tir. Şekil 3.10 ve Şekil 3.11‘de her iki veri setinin özeti yer almaktadır. Şekil 3.10: binary_euSCR Veri Setindeki Niteliklerin Özeti. 56 Şekil 3.11: mixed_euSCR Veri Setindeki Niteliklerin Özeti. mixed_euSCR veri setinde yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerine ait kutu grafiği çizimlerinde gözlemlenen uç noktalar, hastalara ait farklı durumları temsil ediyor olması nedeniyle veri setinde bırakılmıştır (Şekil 4.9). Nitelikler aynı aralığa indirgendiğinden aralarında kuvvetli bir ilişki olmadığı Şekil 3.13’deki serpilme diyagramlarından da görülebilmektedir. binary_euSCR ve mixed_euSCR veri setlerinde hayati riski gösteren hedef niteliğin (𝑅𝑖𝑠𝑘) dağılımı sırasıyla Şekil 3.14‘te verilmektedir. Şekil 3.12: mixed_euSCR Veri Setine ait Kutu Grafiği Çizimleri. 57 Şekil 3.13: mixed_euSCR Veri Setinde Yaş, Serum Kreatinin, Sol Ventrikül Disfonksiyonu ve Pulmoner Hipertansiyon Niteliklerinin Risk Grupları Göz Önünde Bulundurularak İkili Karşılaştırılması. Şekil 3.14: binary_euSCR ve mixed_euSCR Veri Setlerinde Risk Hedef Niteliğinin Dağılımı. 58 3.4. MODELLEME Bu tez çalışmasında, hayati riskin sınıflandırılması için alternatif modeller oluşturulmuştur. Bu modellerin kurulmasında ise, binary_euSCR ve mixed_euSCR veri setlerinden, Bölüm 2.4.4’te detayları verilen Naive Bayes Sınıflandırıcı, k-En Yakın Komşu Algoritması, Logistik Regresyon Analizi, ID3 ve C4.5 Karar Ağacı Algoritmaları’ndan faydalanılmıştır. Algoritmaları birbirlerine göre kıyaslayabilmek için Bölüm 2.4.5.1’deki model performans değerlendirme yöntemlerinden tabakalı örnekleme ve çapraz geçerleme göz önünde bulundurularak, tabakalı 10-kat çapraz geçerleme yöntemi seçilmiştir. Yalnızca BULGULAR Bölümü’nde ilk sırada verilen Naive Bayes algoritmasının mixed_euSCR veri seti ile yapılan analizine mahsus olmak üzere, hem tabakalı 2-kat, 4-kat 5-kat ve 10-kat çapraz geçerleme yöntemleri kullanılmış, hem de yine tabakalı örnekleme göz önünde bulundurularak veri seti Hold-out yöntemi ile %50/%50, %75/%25, %80/%20 ve %90/%10 oranlarında eğitim/test veri seti olacak şekilde ayrılmıştır. Böylelikle farklı performans değerlendirme yöntemleri kullanılarak hesaplanan performans değerlendirme ölçülerinin doğru ve birbiriyle tutarlı sonuçlar verip vermediği incelenmiştir. Bu seçimle ilgili detaylı bilgiye Bölüm 4.1’de değinilmiştir. Her bir performans değerlendirme ölçüsü için, tabakalı 10-kat çapraz geçerleme denemesinde elde edilen değerlerin ortalaması esas alınmıştır. Bölüm 2.4.5.2’te verilen model performans değerlendirme ölçülerinin sayısı oldukça fazla olduğundan, tüm algoritmaların performansını birbiriyle karşılaştırabilmek için seçim yapılmış, bu seçime ilişkin detaylı bilgiye Bölüm 4.1’de yer verilmiştir. Hesaplanan değerlendirme ölçülerinden bazıları, performans mükemmele yaklaştığı için “Inf” (Sonsuz) değerimi almıştır. Analizler R dilinde yazılan kodlarla gerçekleştirilmiştir. R, istatistiki hesaplamalara ve grafik çizimine imkân veren ücretsiz bir dil ve ortamdır (r-project, 2014). Bir kullanıcı, R kaynak kodunu Genel Kamu Lisansı (General Public License - GPL) kapsamında yayınlayabilmektedir. Böylece, diğer kullanıcılar da bu koddan ücretsiz 59 faydalanabilmektedir. Yani R, kullanıcılara kodlama anlamında sürekli geliştirmeyi destekleyen bir ortam sunmaktadır. R dilinde analizler varsayılan R konsol aracılığında gerçekleştirilmektedir; ancak bu tez çalışmasında RStudio tercih edilmiştir. RStudio (RStudio, 2015a), R için bütünleşik geliştirme ortamıdır (Integrated Development Environment). RStudio, açık kaynak kodlu ya da ticari olarak kullanılabilmekte, kullanıcılara esnek bir çalışma ortamı sunmaktadır. Tezde seçilen modellerin Shiny uygulaması geliştirilmiştir. RStudio’nun Shiny projesi (RStudio, 2015b), R kodlarını web ortamına aktarılmasını sağlayan uygulamaların geliştirilmesini sağlamaktadır. Bu uygulamaları webde paylaşmanın yollarından biriyse shinyapps.io’dan (RStudio, 2015c) yayınlamaktır. Tez çalışmasında kullanılan grafikler RStudio’ya ek olarak Microsoft Office 2013 Excel kullanılarak çizilmiştir. Tezin uygulama kısmında R dilinde yazılan pek çok kod örneği incelenmiştir (Al Sharif, 2015; UCLA: Statistical Consulting Group, 2013). Analizlerden elde edilen tüm bulgulara Bölüm 4’te yer verilmiştir. 60 4. BULGULAR Tezin bu bölümünde Naive Bayes Sınıflandırıcı, k-En Yakın Komşu Algoritması, Logistik Regresyon Analizi, ID3 ve C4.5 Karar Ağacı Algoritmaları’nın binary_euSCR ve mixed_euSCR veri setlerine uygulanması ve bu analizlerin sonucunda elde edilen bulgulara yer verilmiştir. Her analiz için analizde kullanılan veri seti, tahmin edici nitelikler, hedef nitelik, performans değerlendirme yöntemi ve parametre seçiminin olup olmadığı bilgisi özet tablo halinde belirtilmiştir (Tablo 4.1, Tablo 4.5, Tablo 4.13, Tablo 4.21). 4.1. NAIVE BAYES SINIFLANDIRICISINDAN ELDE EDİLEN BULGULAR Tablo 4.1: Naive Bayes Sınıflandırıcısı Analiz Özeti. Veri Seti mixed_euSCR Hedef nitelik Risk (düşük/orta/yüksek) Performans Değerlendirme Yöntemi Parametre Seçimi Kullanılan R kütüphaneleri Tabakalı 2-kat, 4-kat, 5kat ve 10-kat çapraz geçerleme Tabakalı örnekleme kullanılarak %50/%50, %75/%25, %80/%20 ve %90/%10 oranlarında hold-out binary_euSCR Tabakalı 2-kat, 4-kat, 5-kat ve 10-kat çapraz geçerleme Yok xlsx (Dragulescu, 2014) ve RODBC (Ripley ve Lapsley, 2014): MS Excel dosyasından veri okuma, TunePareto (Müssel ve diğ., 2012): Çapraz geçerleme için veri setini parçalara ayırma, e1071 (Meyer ve diğ., 2014) Naive Bayes algoritmasını uygulayabilmek 61 Şekil 4.1’de Naive Bayes Algoritmasından tabakalı 10-kat çapraz geçerleme kullanarak elde edilen ortalama doğruluk 𝑎𝑣𝑒𝐴𝐶𝐶 grafiği verilmiştir. Ortalama doğruluk, her bir sınıf değerine ait 𝑑𝑝 ve 𝑑𝑛 değerleriyle hedef niteliğin sınıf sayısı göz önünde bulundurarak hesaplanmaktadır. Şekil 4.1: Naive Bayes Sınıflandırıcısına ait Ortalama Doğruluk. Analizlerde yapılan sınıflandırmanın doğru olduğu kadar kesinlik göstermesi de beklenmektedir. Analizdeki Kesinlik ve Duyarlılık (Şekil 4.2) birlikte ele alınarak FÖlçüsünü (Şekil 4.3) hesaplamada kullanılmaktadır. Bu nedenle F-Ölçüsü, Kesinlik ve Duyarlılığa göre performans ölçüsü olarak daha kapsamlı gözükmektedir. Elde edilen sonuçların sırasıyla mikro ve makro ölçekte kesinliğini gösteren grafikler Şekil 4.2‘de verilmiştir. Kesinlik ve Duyarlılık mikro ve makro seviyede incelendiğinde birbirine eşit oldukları gözlemlenmiştir. Kesinlik, Duyarlılık ve F-Ölçüsü sınıf temelinde incelendiğinde ise mikro ölçekte yapılan inceleme ile aralarındaki farkın çok küçük olduğu görülebilmektedir. 62 Şekil 4.2: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Kesinlik ve Duyarlılık. 63 Şekil 4.3: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen F-Ölçüsü. Şekil 4.4’te yapılan analizin Belirleyiciliğinin mikro ve makro seviyedeki değerleri verilmektedir. Mikro ve makro seviyede incelemeler arasındaki diğer performans ölçülerinde olduğu gibi küçük farklılıklar gözlemlenmiştir. Şekil 4.4: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Duyarlılık, Belirleyicilik ve F-Ölçüsü Değerleri. Şekil 4.5’te analizlere ait Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı ve bu iki ölçünün birlikte ele alınmasına olanak tanıyan Tanısal Üstünlük Oranı verilmektedir. Tanısal Üstünlük Oranı; Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı, Duyarlılık ve Belirleyicilikten faydalanarak oluşturulduğu için en kapsamlı performans ölçüsüdür. 64 Şekil 4.5: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı ve Tanısal Üstünlük Oranı. 65 Tabakalı k-kat çapraz geçerleme yerine, mixed_euSCR veri seti eğitim ve test veri seti tabakalı örnekleme kullanılarak sırasıyla %50/%50, %75/%25, %80/%20 ve %90/%10 olacak şekilde rastgele ikiye ayrılsaydı, Tanısal Üstünlük Oranı mikro ve makro seviyede Şekil 4.6’daki gibi bir durumu yaratacaktır. Tabakalı 2-kat çapraz geçerleme (50/50) dışındaki tüm denemeler (özellikle de tabakalı 10-kat çapraz geçerleme (90/10)) için daha kötümser sonuçlar elde edilecektir. Mikro ve makro seviyede incelenen Tanısal Üstünlük Oranı’ndaki performans tabakalı k-kat çapraz geçerlemede 90/10, 75/25, 80/20, 50/50 iken, tabakalı hold-out yönteminde bu sıralama 50/50, 90/10, 80/20, 75/25 biçiminde değişmektedir. Şekil 4.6: Naive Bayes Algoritmasına ait Mikro ve Makro Ölçekte İncelenen Pozitif Olabilirlik Oranı, Negatif Olabilirlik Oranı ve Tanısal Üstünlük Oranı. Naive Bayes için tabakalı k-kat çapraz geçerleme ve tabakalı Hold-out yöntemleri kullanılarak elde edilen performans ölçülerinin tümü Tablo 4.2, Tablo 4.3 ve Tablo 4.4‘te verilmiştir. Buraya kadar elde edilen tüm sonuçlar göz önünde bulundurularak, bu tez çalışmasında, makine öğrenmesi algoritmalarıyla yapılacak olan diğer analizlerde tek bir performans değerlendirilirken; mikro ölçekte incelenen Tanısal Üstünlük Oranı, F-Ölçüsü, (Ortalama) Doğruluk ve (Ortalama) Hata ele alınacaktır. Model performansı değerlendirme yöntemi olarak da Bölüm 2.4.5.1’de verilen bilgiler ve yukarıda elde edilen sonuçlar neticesinde tabakalı 10-kat çapraz geçerleme yönteminin kullanılmasına karar verilmiştir. 66 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.2: mixed_euSCR Veri Setinde Tabakalı k-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. Tabakalı 2-Kat Tabakalı 4-Kat Çapraz Çapraz Geçerleme Geçerleme Maksimize Edilmek İstenen Performans Ölçüleri Tabakalı 5-Kat Çapraz Geçerleme Ortalama Doğruluk 0.97724872 0.97770532 0.97679181 0.97722176 Duyarlılık 0.96587309 0.96655797 0.96518771 0.96583263 Belirleyicilik 0.98293654 0.98327899 0.98259386 0.98291632 Kesinlik 0.96587309 0.96655797 0.96518771 0.96583263 Negatif Öngörü Değeri 0.98293654 0.98327899 0.98259386 0.98291632 F-Ölçüsü 0.96587309 0.96655797 0.96518771 0.96583263 Pozitif Olabilirlik Oranı 57.45129870 62.33750000 59.85555556 89.53587302 Tanısal Üstünlük Oranı Duyarlılık 1704.2150341 5 0.96667810 2119.2132291 7 0.96733909 2001.4484567 9 0.96598051 6910.2363708 7 0.96656762 Belirleyicilik 0.98268008 0.98307193 0.98236501 0.98267276 Kesinlik 0.96656612 0.96743007 0.96618801 0.96690138 Negatif Öngörü Değeri 0.98267189 0.98314381 0.98249274 0.98284559 F-Ölçüsü 0.96662206 0.96738377 0.96608278 0.96673306 Pozitif Olabilirlik Oranı 56.66505220 61.52695109 59.38048838 86.81269237 2070.4250942 4 6646.5666697 1 Tanısal Üstünlük Oranı Makro Seviyede Mikro Seviyede İnceleme İnceleme 1727.9775935 2152.2813517 2 3 Minimize Edilmek İstenen Performans Ölçüleri Tabakalı 10Kat Çapraz Geçerleme Ortalama Hata 0.02275128 0.02229468 0.02320819 0.02277824 Yanlış Pozitif Oranı 0.01706346 0.01672101 0.01740614 0.01708368 Yanlış Negatif Oranı 0.03412691 0.03344203 0.03481229 0.03416737 Negatif Olabilirlik Oranı 0.03472808 0.03405247 0.03546421 0.03495525 Yanlış Pozitif Oranı 0.01731992 0.01692807 0.01763499 0.01732724 Yanlış Negatif Oranı 0.03332190 0.03266091 0.03401949 0.03343238 Negatif Olabilirlik Oranı 0.03391868 0.03326488 0.03466753 0.03421199 67 Tablo 4.3: mixed_euSCR Veri Setinde Tabakalı Hold-Out Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. Makro Seviyede İnceleme Mikro Seviyede İnceleme 50/50 Tabakalı 75/25 Tabakalı Hold-Out Hold-Out Maksimize Edilmek İstenen Performans Ölçüleri 90/10 Tabakalı Hold-Out Ortalama Doğruluk Duyarlılık 0.98271942 0.97463768 0.97740113 0.98198198 0.97407913 0.96195652 0.96610169 0.97297297 Belirleyicilik 0.98703956 0.98097826 0.98305085 0.98648649 Kesinlik 0.97407913 0.96195652 0.96610169 0.97297297 Negatif Öngörü Değeri F-Ölçüsü 0.98703956 0.98097826 0.98305085 0.98648649 0.97407913 0.96195652 0.96610169 0.97297297 Pozitif Olabilirlik Oranı Tanısal Üstünlük Oranı Duyarlılık 75.15789474 50.57142857 57.00000000 72.00000000 2861.93351801 1304.02040816 1653.00000000 2628.00000000 0.97525084 0.96410892 0.96753208 0.97344419 Belirleyicilik 0.98708885 0.98120898 0.98310377 0.98617379 Kesinlik 0.97379724 0.96140437 0.96577936 0.97432099 Negatif Öngörü Değeri F-Ölçüsü 0.98679309 0.98070146 0.98275551 0.98630131 0.97452350 0.96275475 0.96665492 0.97388239 57.26320117 70.40573825 1733.88599226 2614.58040920 Pozitif Olabilirlik 75.53554926 51.30690269 Oranı Tanısal Üstünlük 3012.63967094 1402.65465645 Oranı Minimize Edilmek İstenen Performans Ölçüleri Makro Seviyede Mikro Seviyede İnceleme İnceleme 80/20 Tabakalı Hold-Out Ortalama Hata 0.01728058 0.02536232 0.02259887 0.01801802 Yanlış Pozitif Oranı Yanlış Negatif Oranı Negatif Olabilirlik Oranı Yanlış Pozitif Oranı Yanlış Negatif Oranı Negatif Olabilirlik Oranı 0.01296044 0.01902174 0.01694915 0.01351351 0.02592087 0.03804348 0.03389831 0.02702703 0.02626123 0.03878116 0.03448276 0.02739726 0.01291115 0.01879102 0.01689623 0.01382621 0.02474916 0.03589108 0.03246792 0.02655581 0.02507288 0.03657843 0.03302593 0.02692812 68 Tablo 4.4: euSCR_binary Veri Setine Tabakalı k-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Naive Bayes Model Performans Değerlendirme Ölçüleri. Makro Seviyede İnceleme Mikro Seviyede İnceleme Makro Seviyede İnceleme Mikro Seviyede İnceleme Tabakalı 2-Kat Tabakalı 4-Kat Tabakalı 5-Kat Çapraz Çapraz Çapraz Geçerleme Geçerleme Geçerleme Maksimize Edilmek İstenen Performans Ölçüleri Tabakalı 10-Kat Çapraz Geçerleme Ortalama Doğruluk Duyarlılık 0.89099526 0.90832585 0.90838469 0.91306755 0.83649289 0.86248877 0.86257703 0.86960133 Belirleyicilik 0.91824645 0.93124438 0.93128852 0.93480066 Kesinlik 0.83649289 0.86248877 0.86257703 0.86960133 Negatif Öngörü Değeri F-Ölçüsü 0.91824645 0.93124438 0.93128852 0.93480066 0.83649289 0.86248877 0.86257703 0.86960133 Pozitif Olabilirlik Oranı Tanısal Üstünlük Oranı Duyarlılık 10.44358974 13.61250000 13.19780220 14.49333333 61.07326759 107.76906250 99.34937809 122.84755556 0.55795369 0.59603227 0.61604709 0.63065134 Belirleyicilik 0.89056352 0.90478221 0.89984496 0.90745278 Negatif 0.90409726 0.91421879 Öngörü Değeri Pozitif 5.11878913 7.55760047 Olabilirlik Oranı Tanısal 10.31823267 18.64852481 Üstünlük Oranı Minimize Edilmek İstenen Performans Ölçüleri 0.91362552 0.91934424 6.49670029 8.20404652 19.64066301 24.29206226 Ortalama Hata Yanlış Pozitif Oranı Yanlış Negatif Oranı Negatif Olabilirlik Oranı Yanlış Pozitif Oranı Yanlış Negatif Oranı Tanısal Üstünlük Oranı 0.10900474 0.09167415 0.09161531 0.08693245 0.08175355 0.06875562 0.06871148 0.06519934 0.16350711 0.13751123 0.13742297 0.13039867 0.17835829 0.14850341 0.14799421 0.14029811 0.10943648 0.09521779 0.10015504 0.09254722 0.44204631 0.40396773 0.38395291 0.36934866 0.49639996 0.44954887 0.42850233 0.40870935 69 4.2. K-EN YAKIN KOMŞU ALGORİTMASINDAN ELDE EDİLEN BULGULAR Tablo 4.5: k-En Yakın Komşu Analiz Özeti. Veri Seti mixed_euSCR Hedef nitelik Risk (düşük/orta/yüksek) Performans Değerlendirme Yöntemi Tabakalı 4-kat, 5-kat ve 10-kat çapraz geçerleme Parametre Seçimi k komşu sayısı belirlenmiştir Kullanılan R kütüphaneleri binary_euSCR xlsx (Dragulescu, 2014) ve RODBC (Ripley ve Lapsley, 2014): MS Excel dosyasından veri okuma, TunePareto (Müssel ve diğ., 2012): Çapraz geçerleme için veri setini parçalara ayırma, knnGarden (Wei ve diğ., 2012): k-En Yakın Komşu algoritmasını uygulayabilmek k-En Yakın StatMatch (D’Orazio, 2015): Gower uzaklığını hesaplamak Komşu Algoritmasının performansını diğer algoritmalarla karşılaştırabilmek için öncelikle en iyi performansı veren 𝑘 değeri seçilmiştir. En iyi 𝑘 parametresini elde edebilmek için 4-kat, 5-kat ve 10-kat çapraz geçerleme ile algoritma 𝑘 = 1, 2, … , 10 için ayrı ayrı uygulanmıştır. 𝑘’nın en iyi değerinin bulunabilmesi için 1 ile 10 aralığında seçilmiş olması rastgeledir. Algoritma dikkat edilmesi gereken bir başka nokta da 𝑘’nın seçimi kadar hangi uzaklık ölçüsünün kullanılacağıdır. Analizlerde algoritma için, binary_euSCR veri setindeki niteliklerin asimetrik ikili biçimde kodlanması nedeni ile Jaccard, mixed_euSCR veri setinde hem ikili kodlanmış hem de nümerik niteliklerin bulunması nedeni ile Gower uzaklıkları tercih edilmiştir. 70 Yalnızca kategorik niteliklerden oluşan veri setinde ortalama doğruluk 0.84 ile 0.90 arasında değişirken, nümerik değerler alan nitelikler kullanıldığında ortalama doğruluk 0.95 ile 0.98 arasında daha dar bir aralıkta değişmektedir (Şekil 4.7). Bir başka ifade ile elde edilen hata oranları düşük olup, dar bir aralıkta değişmektedir. Şekil 4.7: k-En Yakın Komşu Algoritmasından Elde Edilen Ortalama Doğruluk Değerleri. Her iki veri seti için en iyi 𝑘 değerini seçebilmek için tanısal üstünlük oranları mikro ve makro düzeyde incelenmiştir. Her bir çapraz geçerlemeye ait mikro ve makro seviyede incelemeye ait Tanısal Üstünlük Oranı değerleri yüksekten düşüğe doğru sıralanmış ve ilk üçe giren 𝑘 değerleri değerlendirmeye alınmıştır. binary_euSCR veri setinde 𝑘 = 7,8,9,10 (Şekil 4.8), mixed_euSCR veri setinde ise 𝑘 = 2,3,5 (Şekil 4.9) en yüksek Tanısal Üstünlük Oranı değerlerinin elde edilmesini sağlamıştır. mixed_euSCR veri setinde yapılan üç farklı çapraz geçerleme denemesinin üçünde de en yüksek mikro ve makro değerlendirmelere ilişkin Tanısal Üstünlük Oranı değerleri 𝑘 = 1 için elde edilmiştir; ancak birden fazla komşuluğa bakılması sayesinde daha nesnel sonuçlar elde edileceği düşüncesi ile değerlendirmeye alınmamıştır. 71 Şekil 4.8: binary_euSCR Veri Setindeki Mikro ve Makro Seviyede İncelemeye İlişkin Tanısal Üstünlük Oranı Değerleri (𝑘 = 7,8,9,10 için). Şekil 4.9: mixed_euSCR Veri Setine ait mDOR ve MDOR Değerleri (𝑘 = 2,3,5 için). binary_euSCR veri setinde 𝑘 değerlerine ait ortalamalar alındığında 𝜇𝑘=7 = 53.35, 𝜇𝑘=8 = 62.57, 𝜇𝑘=10 = 69.57 ve 𝜇𝑘=9 = 69,76 elde edilir. Grafiklere eklenen mDOR ve MDOR değerlerinin elde edilen en yüksek değerler olduğu göz önünde bulundurulursa Kat 4 ve Kat 5’te elde edilen k=7’ye ait mDOR ve MDOR değerlerinin eklenmesi ortalamaların sıralamasını değiştirmeyecektir. Bu nedenle binary_euSCR veri seti ile tahminler yapılırken 𝑘 = 9 seçilmiştir. mixed_euSCR veri setinde ise 𝑘 değerlerine ait ortalamalar alındığında 𝜇𝑘=3 = 1370.38, 𝜇𝑘=5 = 1516.61 ve 𝜇𝑘=2 = 1688.62 elde edilir. En yüksek ortalama 𝑘 = 2’de elde edilmiştir; ancak 𝑘’nın çift sayı olması durumunda yeni gelen bir örneğin sınıfı seçilirken iki komşunun ayrı sınıflardan olması olasılığını da beraberinde getirmektedir. Analizlerde bu gibi durumlarda, sınıf değerlerinden rastgele biri seçilmektedir. Bu nedenle rastgele elde edilmiş sonuçların en aza indirgenebilmesi için mixed_euSCR veri seti ile tahminler yapılırken 𝑘 = 5 seçilmiştir. 72 Diğer algoritmalardan farklı olarak k-En Yakın Komşu algoritması ile gerçekleştirilen analizlerin süreleri Tablo 4.6’de verilmiştir. Mixed_euSCR veri seti ile gerçekleştirilen analizler, diğer algoritmalardakine yakındır; ancak 1465 adet gözlemin bulunduğu mixed_euSCR çok büyük bir veri seti olmasa da analizler uzun sürmüştür. Tablo 4.7, Tablo 4.8, Tablo 4.9’de binary_euSCR; Tablo 4.10, Tablo 4.11 ve Tablo 4.12’de de mixed_euSCR veri setinde elde edilen performans değerlendirme ölçüleri verilmektedir. Tablo 4.6: k-En Yakın Komşu Algoritması Analizlerinin Süresi. binary_euSCR 4 Kat 57sn 5 Kat 1dk 4sn 10 Kat 1dk 19sn mixed_euSCR 1 gün 21sa 1dk 10sn 2 gün 3sa 41dk 37sn 2 gün 19sa 11dk 39sn K k=8 k=9 k = 10 Maksimize Edilmek İstenen Performans Ölçüleri k=7 k=6 k=5 k=4 k=1 k=2 k=3 Ortalama Doğruluk 0.8863282 0.8847260 0.8847110 0.8704852 0.8626235 0.8594340 0.8594489 0.8515124 0.8467655 0.8420485 Duyarlılık 0.8294924 0.8270889 0.8270665 0.8057278 0.7939353 0.7891509 0.7891734 0.7772686 0.7701482 0.7630728 Belirleyicilik 0.9147462 0.9135445 0.9135332 0.9028639 0.8969677 0.8945755 0.8945867 0.8886343 0.8850741 0.8815364 Kesinlik 0.8294924 0.8270889 0.8270665 0.8057278 0.7939353 0.7891509 0.7891734 0.7772686 0.7701482 0.7630728 Negatif Öngörü Değeri 0.9147462 0.9135445 0.9135332 0.9028639 0.8969677 0.8945755 0.8945867 0.8886343 0.8850741 0.8815364 F-Ölçüsü 0.8294924 0.8270889 0.8270665 0.8057278 0.7939353 0.7891509 0.7891734 0.7772686 0.7701482 0.7630728 Pozitif Olabilirlik Oranı 10.570658 10.240842 10.168872 8.719967 8.017456 7.616848 7.572552 7.024348 6.725418 6.457963 Tanısal Üstünlük Oranı 66.62946 61.12654 60.16884 44.62395 37.64849 33.53244 32.84051 28.39232 26.08317 24.14893 Duyarlılık 0.5843847 0.5851880 0.5815033 0.5618666 0.5195253 0.5213986 0.5345123 0.5000446 0.5045861 0.4876274 Belirleyicilik 0.8582776 0.8551591 0.8520878 0.8401301 0.8338208 0.8365614 0.8398624 0.8417636 0.8359599 0.8323084 Kesinlik 0.7077038 0.7010805 0.7031143 0.6450814 0.5517150 0.5341520 0.5766196 0.5166539 0.5182102 0.5052174 Negatif Öngörü Değeri 0.9051672 0.8992784 0.9033275 0.8858497 0.8814636 0.8726223 0.8702857 0.8743153 0.8710884 0.8612944 F-Ölçüsü 0.6371651 0.6349912 0.6338421 0.5999309 0.5349016 0.5274947 0.5544580 0.5080914 0.5111182 0.4959576 Pozitif Olabilirlik Oranı 4.613381 4.439245 4.273446 3.710146 3.293791 3.283814 3.392942 3.163677 3.093739 2.942567 Tanısal Üstünlük Oranı 11.518647 10.489774 9.885123 7.998817 6.662262 6.463099 6.442894 5.363283 5.369505 4.893541 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.1136718 0.1152740 0.1152890 0.1295148 0.1373765 0.1405660 0.1405511 0.1484876 0.1532345 0.1579515 Yanlış Pozitif Oranı 0.08525382 0.08645553 0.08646676 0.09713612 0.10303235 0.10542453 0.10541330 0.11136568 0.11492588 0.11846361 Yanlış Negatif Oranı 0.1705076 0.1729111 0.1729335 0.1942722 0.2060647 0.2108491 0.2108266 0.2227314 0.2298518 0.2369272 Negatif Olabilirlik Oranı 0.1877025 0.1905825 0.1903982 0.2162167 0.2307224 0.2360675 0.2359743 0.2508146 0.2598039 0.2688502 Yanlış Pozitif Oranı 0.1417224 0.1448409 0.1479122 0.1598699 0.1661792 0.1634386 0.1601376 0.1582364 0.1640401 0.1676916 Yanlış Negatif Oranı 0.4156153 0.4148120 0.4184967 0.4381334 0.4804747 0.4786014 0.4654877 0.4999554 0.4954139 0.5123726 Negatif Olabilirlik Oranı 0.4891543 0.4901032 0.4956555 0.5248859 0.5800936 0.5742610 0.5553094 0.5940048 0.5931222 0.6163212 73 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.7: binary_euSCR Veri Setine Tabakalı 4-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. k=9 k = 10 k=8 Maksimize Edilmek İstenen Performans Ölçüleri k=1 k=7 k=2 k=6 k=4 k=5 k=3 Ortalama Doğruluk 0.8942670 0.8957983 0.8832120 0.8752194 0.8800187 0.8720261 0.8642017 0.8546218 0.8515406 0.8435668 Duyarlılık 0.8414006 0.8436975 0.8248179 0.8128291 0.8200280 0.8080392 0.7963025 0.7819328 0.7773109 0.7653501 Belirleyicilik 0.9207003 0.9218487 0.9124090 0.9064146 0.9100140 0.9040196 0.8981513 0.8909664 0.8886555 0.8826751 Kesinlik 0.8414006 0.8436975 0.8248179 0.8128291 0.8200280 0.8080392 0.7963025 0.7819328 0.7773109 0.7653501 Negatif Öngörü Değeri 0.9207003 0.9218487 0.9124090 0.9064146 0.9100140 0.9040196 0.8981513 0.8909664 0.8886555 0.8826751 F-Ölçüsü 0.8414006 0.8436975 0.8248179 0.8128291 0.8200280 0.8080392 0.7963025 0.7819328 0.7773109 0.7653501 Pozitif Olabilirlik Oranı 11.488889 11.326905 9.974089 9.260802 9.328889 8.897949 7.945614 7.229561 7.076471 6.557310 Tanısal Üstünlük Oranı 78.14331 74.03205 58.51300 50.69381 49.47042 46.72911 36.22877 30.03565 29.02638 24.92707 Duyarlılık 0.6028030 0.6058333 0.5698549 0.5697607 0.5656946 0.5735358 0.5082449 0.5131623 0.5226579 0.4957509 Belirleyicilik 0.8677412 0.8686497 0.8509436 0.8720386 0.8469965 0.8638602 0.8358664 0.8355451 0.8246953 0.8308775 Negatif Öngörü Değeri 0.9131647 0.9133394 0.9034598 0.8925945 0.8979772 0.8924361 0.8802231 0.8693509 0.8591727 0.8592983 Pozitif Olabilirlik Oranı 4.988820 4.820865 4.063025 4.821014 3.799860 4.446929 3.179547 3.150133 3.040458 2.960337 Tanısal Üstünlük Oranı 14.465759 13.249925 10.000720 10.944454 8.201940 9.493476 5.535543 5.574481 5.331632 5.003867 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.1057330 0.1042017 0.1167880 0.1247806 0.1199813 0.1279739 0.1357983 0.1453782 0.1484594 0.1564332 Yanlış Pozitif Oranı 0.07929972 0.07815126 0.08759104 0.09358543 0.08998599 0.09598039 0.10184874 0.10903361 0.11134454 0.11732493 Yanlış Negatif Oranı 0.1585994 0.1563025 0.1751821 0.1871709 0.1799720 0.1919608 0.2036975 0.2180672 0.2226891 0.2346499 Negatif Olabilirlik Oranı 0.1732517 0.1700823 0.1928561 0.2077472 0.1981614 0.2134208 0.2271312 0.2449503 0.2509479 0.2659942 Yanlış Pozitif Oranı 0.1322588 0.1313503 0.1490564 0.1279614 0.1530035 0.1361398 0.1641336 0.1644549 0.1753047 0.1691225 Yanlış Negatif Oranı 0.3971970 0.3941667 0.4301451 0.4302393 0.4343054 0.4264642 0.4917551 0.4868377 0.4773421 0.5042491 Negatif Olabilirlik Oranı 0.4628074 0.4564093 0.5096518 0.4959663 0.5138716 0.4945324 0.5891486 0.5832634 0.5786126 0.6073629 74 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.8: binary_euSCR Veri Setine Tabakalı 5-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. K k = 10 k=9 k=7 Maksimize Edilmek İstenen Performans Ölçüleri k=8 k=1 k=2 k=6 k=4 k=3 k=5 Ortalama Doğruluk 0.8910299 0.8863787 0.8768918 0.8753045 0.8703950 0.8655962 0.8642673 0.8577704 0.8465855 0.8500185 Duyarlılık 0.8365449 0.8295681 0.8153378 0.8129568 0.8055925 0.7983942 0.7964009 0.7866556 0.7698782 0.7750277 Belirleyicilik 0.9182724 0.9147841 0.9076689 0.9064784 0.9027962 0.8991971 0.8982004 0.8933278 0.8849391 0.8875138 Kesinlik 0.8365449 0.8295681 0.8153378 0.8129568 0.8055925 0.7983942 0.7964009 0.7866556 0.7698782 0.7750277 Negatif Öngörü Değeri 0.9182724 0.9147841 0.9076689 0.9064784 0.9027962 0.8991971 0.8982004 0.8933278 0.8849391 0.8875138 F-Ölçüsü 0.8365449 0.8295681 0.8153378 0.8129568 0.8055925 0.7983942 0.7964009 0.7866556 0.7698782 0.7750277 Pozitif Olabilirlik Oranı 11.132222 10.687778 9.452222 9.252222 8.983571 8.587143 8.105556 7.650859 7.146485 7.110303 Tanısal Üstünlük Oranı 74.50638 69.99681 53.34871 51.04871 48.71171 45.00433 38.42238 34.38458 31.20794 29.88905 Duyarlılık 0.5867398 0.5814873 0.5349216 0.5318913 0.5322048 0.5632149 0.4989237 0.5172901 0.4980355 0.4985684 Belirleyicilik 0.8601420 0.8572120 0.8441437 0.8400625 0.8627355 0.8520885 0.8335653 0.8449302 0.8440393 0.8228829 Negatif Öngörü Değeri 0.9134472 0.9056603 0.8989244 0.8980388 0.8893275 0.8891478 0.8871503 0.8745942 0.8642884 0.8575605 Pozitif Olabilirlik Oranı 4.869313 4.662237 3.967319 3.768736 4.434580 4.134421 3.242226 3.408892 3.389213 3.049800 Tanısal Üstünlük Oranı 13.807133 13.337166 8.825027 8.041373 9.515730 9.449615 5.826538 6.356061 6.239570 5.543046 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.1089701 0.1136213 0.1231082 0.1246955 0.1296050 0.1344038 0.1357327 0.1422296 0.1534145 0.1499815 Yanlış Pozitif Oranı 0.08172757 0.08521595 0.09233112 0.09352159 0.09720377 0.10080288 0.10179956 0.10667220 0.11506091 0.11248616 Yanlış Negatif Oranı 0.1634551 0.1704319 0.1846622 0.1870432 0.1944075 0.2016058 0.2035991 0.2133444 0.2301218 0.2249723 Negatif Olabilirlik Oranı 0.1790328 0.1874860 0.2045841 0.2073813 0.2171544 0.2260024 0.2274808 0.2398031 0.2620092 0.2543411 Yanlış Pozitif Oranı 0.1398580 0.1427880 0.1558563 0.1599375 0.1372645 0.1479115 0.1664347 0.1550698 0.1559607 0.1771171 Yanlış Negatif Oranı 0.4132602 0.4185127 0.4650784 0.4681087 0.4677952 0.4367851 0.5010763 0.4827099 0.5019645 0.5014316 Negatif Olabilirlik Oranı 0.4850836 0.4928926 0.5581675 0.5629447 0.5479634 0.5164019 0.6055299 0.5726054 0.5975341 0.6145658 75 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.9: binary_euSCR Veri Setine Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. K k=1 k=2 k=3 Maksimize Edilmek İstenen Performans Ölçüleri k=5 k=4 k=7 k=6 k=9 k=8 k = 10 Ortalama Doğruluk 0.9786111 0.9708722 0.9690594 0.9658693 0.9626854 0.9613156 0.9599557 0.9590387 0.9585834 0.9526709 Duyarlılık 0.9679166 0.9563083 0.9535891 0.9488040 0.9440282 0.9419734 0.9399335 0.9385581 0.9378750 0.9290064 Belirleyicilik 0.9839583 0.9781542 0.9767946 0.9744020 0.9720141 0.9709867 0.9699668 0.9692790 0.9689375 0.9645032 Kesinlik 0.9679166 0.9563083 0.9535891 0.9488040 0.9440282 0.9419734 0.9399335 0.9385581 0.9378750 0.9290064 Negatif Öngörü Değeri 0.9839583 0.9781542 0.9767946 0.9744020 0.9720141 0.9709867 0.9699668 0.9692790 0.9689375 0.9645032 F-Ölçüsü 0.9679166 0.9563083 0.9535891 0.9488040 0.9440282 0.9419734 0.9399335 0.9385581 0.9378750 0.9290064 Pozitif Olabilirlik Oranı 62.46515 44.71167 42.32100 38.02165 34.17361 33.09719 32.07271 31.88255 31.27979 26.54404 Tanısal Üstünlük Oranı 2050.562 1044.393 946.3667 609.696 758.4928 543.24 574.61 522.3009 544.5967 370.49 Duyarlılık 0.9684760 0.9568754 0.9543544 0.9495504 0.9453323 0.9425328 0.9406086 0.9390889 0.9387547 0.9303330 Belirleyicilik 0.9835256 0.9774713 0.9761098 0.9736038 0.9712857 0.9699939 0.9690410 0.9682974 0.9680031 0.9635688 Kesinlik 0.9697423 0.9600584 0.9575116 0.9539153 0.9479062 0.9482108 0.9457267 0.9448523 0.9431316 0.9340476 Negatif Öngörü Değeri 0.9838792 0.9783351 0.9770319 0.9748494 0.9721017 0.9714821 0.9703192 0.9696760 0.9690999 0.9645034 F-Ölçüsü 0.9691083 0.9584632 0.9559303 0.9517276 0.9466169 0.9453631 0.9431593 0.9419609 0.9409376 0.9321845 Pozitif Olabilirlik Oranı 60.74419 43.44630 41.06133 36.82828 33.29390 31.98253 31.10164 30.87879 30.34136 25.89794 Tanısal Üstünlük Oranı 2027.891800 1032.054000 928.443100 605.494200 741.583800 531.284100 559.827100 512.523600 531.922000 368.747200 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.02138890 0.02912777 0.03094058 0.03413067 0.03731456 0.03868441 0.04004432 0.04096127 0.04141665 0.04732906 Yanlış Pozitif Oranı 0.01604168 0.02184583 0.02320543 0.02559800 0.02798592 0.02901330 0.03003324 0.03072095 0.03106248 0.03549679 Yanlış Negatif Oranı 0.03208335 0.04369165 0.04641086 0.05119601 0.05597184 0.05802661 0.06006648 0.06144191 0.06212497 0.07099358 Negatif Olabilirlik Oranı 0.03262484 0.04468760 0.04754310 0.05258028 0.05760258 0.05979631 0.06197332 0.06348137 0.06418982 0.07364630 Yanlış Pozitif Oranı 0.01647439 0.02252872 0.02389023 0.02639620 0.02871430 0.03000612 0.03095896 0.03170261 0.03199693 0.03643116 Yanlış Negatif Oranı 0.03152397 0.04312459 0.04564559 0.05044959 0.05466771 0.05746723 0.05939136 0.06091114 0.06124529 0.06966703 Negatif Olabilirlik Oranı 0.03207018 0.04414051 0.04679063 0.05185373 0.05630069 0.05928021 0.06133540 0.06299907 0.06334200 0.07234336 76 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.10: mixed_euSCR Veri Setine Tabakalı 4-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. K k=1 k=5 k=2 Maksimize Edilmek İstenen Performans Ölçüleri k=3 k=7 k=6 k=4 k=9 k=8 k = 10 Ortalama Doğruluk 0.9822526 0.9699659 0.9758817 0.9740614 0.9658703 0.9649602 0.9699659 0.9594994 0.9599545 0.9549488 Duyarlılık 0.9733788 0.9549488 0.9638225 0.9610922 0.9488055 0.9474403 0.9549488 0.9392491 0.9399317 0.9324232 Belirleyicilik 0.9866894 0.9774744 0.9819113 0.9805461 0.9744027 0.9737201 0.9774744 0.9696246 0.9699659 0.9662116 Kesinlik 0.9733788 0.9549488 0.9638225 0.9610922 0.9488055 0.9474403 0.9549488 0.9392491 0.9399317 0.9324232 Negatif Öngörü Değeri 0.9866894 0.9774744 0.9819113 0.9805461 0.9744027 0.9737201 0.9774744 0.9696246 0.9699659 0.9662116 F-Ölçüsü 0.9733788 0.9549488 0.9638225 0.9610922 0.9488055 0.9474403 0.9549488 0.9392491 0.9399317 0.9324232 Pozitif Olabilirlik Oranı 73.80794 52.59316 56.65074 52.43038 45.47126 41.82142 44.10546 33.23610 33.33524 29.29569 Tanısal Üstünlük Oranı 2785.9626 1907.1145 1737.0429 1480.0346 1386.6585 1099.3540 1043.5235 619.2308 617.8567 472.6861 Duyarlılık 0.9738821 0.9551998 0.9641004 0.9615817 0.9493567 0.9483663 0.9556661 0.9402132 0.9411504 0.9338840 Belirleyicilik 0.9863829 0.9766401 0.9813164 0.9799423 0.9735783 0.9729963 0.9767881 0.9687181 0.9691837 0.9653546 Kesinlik 0.9746643 0.9605450 0.9669973 0.9646535 0.9542951 0.9516332 0.9593771 0.9454465 0.9445458 0.9379186 Negatif Öngörü Değeri 0.9865792 0.9780899 0.9820291 0.9807690 0.9748938 0.9739439 0.9778579 0.9701393 0.9701037 0.9664855 F-Ölçüsü 0.9742727 0.9578604 0.9655461 0.9631136 0.9518139 0.9499932 0.9575147 0.9428152 0.9428417 0.9358874 Pozitif Olabilirlik Oranı 72.07494 50.78618 54.81678 50.92166 44.03731 40.61469 42.85882 32.40893 32.62153 28.74456 Tanısal Üstünlük Oranı 2760.1520 1863.0740 1687.7740 1453.5426 1341.7476 1060.4640 1031.4900 619.4769 621.6379 479.9606 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.01774744 0.03003413 0.02411832 0.02593857 0.03412969 0.03503982 0.03003413 0.04050057 0.04004551 0.04505119 Yanlış Pozitif Oranı 0.01331058 0.02252560 0.01808874 0.01945392 0.02559727 0.02627986 0.02252560 0.03037543 0.03003413 0.03378840 Yanlış Negatif Oranı 0.02662116 0.04505119 0.03617747 0.03890785 0.05119454 0.05255973 0.04505119 0.06075085 0.06006826 0.06757679 Negatif Olabilirlik Oranı 0.02698368 0.04620920 0.03688487 0.03972833 0.05270192 0.05410493 0.04612270 0.06276442 0.06202124 0.07006727 Yanlış Pozitif Oranı 0.01361713 0.02335986 0.01868359 0.02005773 0.02642168 0.02700368 0.02321188 0.03128195 0.03081625 0.03464535 Yanlış Negatif Oranı 0.02611789 0.04480018 0.03589958 0.03841835 0.05064330 0.05163372 0.04433391 0.05978682 0.05884962 0.06611601 Negatif Olabilirlik Oranı 0.02648111 0.04599739 0.03662518 0.03925530 0.05218657 0.05319397 0.04542271 0.06183588 0.06082022 0.06862926 77 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.11: mixed_euSCR Veri Setine Tabakalı 5-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. K k=1 k=2 k=5 Maksimize Edilmek İstenen Performans Ölçüleri k=3 k=7 k=4 k=6 k=8 k=9 k = 10 Ortalama Doğruluk 0.9840866 0.9772497 0.9722517 0.9736185 0.9672444 0.9708881 0.9681577 0.9649706 0.9604262 0.9595098 Duyarlılık 0.9761299 0.9658746 0.9583776 0.9604277 0.9508666 0.9563321 0.9522365 0.9474560 0.9406393 0.9392647 Belirleyicilik 0.9880650 0.9829373 0.9791888 0.9802139 0.9754333 0.9781661 0.9761183 0.9737280 0.9703196 0.9696324 Kesinlik 0.9761299 0.9658746 0.9583776 0.9604277 0.9508666 0.9563321 0.9522365 0.9474560 0.9406393 0.9392647 Negatif Öngörü Değeri 0.9880650 0.9829373 0.9791888 0.9802139 0.9754333 0.9781661 0.9761183 0.9737280 0.9703196 0.9696324 F-Ölçüsü 0.9761299 0.9658746 0.9583776 0.9604277 0.9508666 0.9563321 0.9522365 0.9474560 0.9406393 0.9392647 Pozitif Olabilirlik Oranı Inf 63.21667 55.59667 54.28310 45.48051 47.46500 44.03310 40.12027 34.69577 33.73797 Tanısal Üstünlük Oranı Inf 2284.4319 1884.2350 1684.7367 1285.3011 1239.3265 1110.2531 924.5890 677.0998 629.2755 Duyarlılık 0.9765827 0.9666702 0.9587363 0.9610083 0.9512794 0.9572933 0.9528601 0.9483331 0.9416280 0.9403136 Belirleyicilik 0.9877503 0.9825857 0.9783966 0.9796144 0.9745914 0.9775535 0.9753343 0.9729909 0.9694850 0.9687976 Kesinlik 0.9776794 0.9681438 0.9639637 0.9642782 0.9568881 0.9603957 0.9576361 0.9530678 0.9472457 0.9459599 Negatif Öngörü Değeri 0.9880330 0.9829857 0.9799101 0.9804963 0.9760875 0.9784887 0.9767058 0.9742717 0.9709579 0.9702521 F-Ölçüsü 0.9771300 0.9674045 0.9613362 0.9626366 0.9540630 0.9588366 0.9552328 0.9506797 0.9444143 0.9431082 Pozitif Olabilirlik Oranı Inf 62.36024 53.87983 52.94093 44.14865 46.35478 42.84466 39.24973 33.90021 32.99395 Tanısal Üstünlük Oranı Inf 2322.5686 1864.3418 1678.7054 1264.0210 1247.0063 1107.8814 925.6945 680.0535 631.2227 Makro Seviyede İnceleme Mikro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Ortalama Hata 0.01591340 0.02275029 0.02774827 0.02638151 0.03275557 0.02911192 0.03184233 0.03502935 0.03957382 0.04049017 Yanlış Pozitif Oranı 0.01193505 0.01706272 0.02081120 0.01978613 0.02456668 0.02183394 0.02388174 0.02627202 0.02968037 0.03036763 Yanlış Negatif Oranı 0.02387010 0.03412543 0.04162240 0.03957227 0.04913335 0.04366788 0.04776349 0.05254403 0.05936073 0.06073525 Negatif Olabilirlik Oranı 0.02423644 0.03477152 0.04265248 0.04045338 0.05051930 0.04472243 0.04902615 0.05410220 0.06134367 0.06283898 Yanlış Pozitif Oranı 0.01224970 0.01741432 0.02160344 0.02038559 0.02540860 0.02244655 0.02466567 0.02700911 0.03051502 0.03120236 Yanlış Negatif Oranı 0.02341734 0.03332978 0.04126366 0.03899165 0.04872059 0.04270671 0.04713993 0.05166687 0.05837196 0.05968635 Negatif Olabilirlik Oranı 0.02378540 0.03397652 0.04232887 0.03989072 0.05015209 0.04377223 0.04843394 0.05325763 0.06038636 0.06183412 78 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.12: mixed_euSCR Veri Setinde Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Elde Edilen Model Performans Değerlendirme Ölçüleri. 79 4.3. LOGİSTİK REGRESYON ANALİZİNDEN ELDE EDİLEN BULGULAR Tablo 4.13: Logistik Regresyon Analiz Özeti. Veri Seti mixed_euSCR Hedef nitelik Risk (düşük/yüksek) Performans Değerlendirme Yöntemi Tabakalı 10-kat çapraz geçerleme Tabakalı 10-kat çapraz geçerleme Parametre Seçimi Analiz sırasında ActEnd ve CriPreSta nitelikleri çıkarılmıştır Analiz sırasında ActEnd niteliği çıkarılmıştır Kullanılan R kütüphaneleri binary_euSCR xlsx (Dragulescu, 2014) ve RODBC (Ripley ve Lapsley, 2014): MS Excel dosyasından veri okuma, TunePareto (Müssel ve diğ., 2012): Çapraz geçerleme için veri setini parçalara ayırma, ResourceSelection (Lele ve diğ., 2014): Hosmer- Lemeshow Testi sonuçlarını elde etme, BaylorEdPsych (Beaujean, 2012): Nagelkerke, Cox.Sneel gibi istatistiksel bilgileri elde etme, pROC (Robin ve diğ., 2011): ROC çizme ve AUC değerlerini elde etme, Çapraz tablo (crosstab) oluşturma fonksiyonu (Williamson, 2013) Risk hedef niteliği düşük, orta ve yüksek olmak üzere üç kategoriden oluştuğu için ilk aşamada çok kategorili logistik regresyon analizi yapmak hedeflenmiştir. Ancak analiz öncesinde her iki veri setinde de tahmin için kullanılacak nitelikler ve hedef nitelik çapraz tablolama kullanılarak incelenmiş ve sıfır frekanslı hücre sayısının oldukça fazla olduğu tespit edilmiştir. Veri setlerinde herhangi bir değişikliğe gidilmeden IBM SPSS Statistics 21’de kontrol edilmiş ve sıfır frekanslı hücre sayısının fazla olduğuna ve analizi etkileyebileceğine dair hata mesajı alınmıştır. binary_euSCR veri setinde düşük sınıfına ait örneklerin yalnızca 18 adet olmasının bu sonucun elde edilmesinde etkisi olduğu düşünülmektedir. Bu nedenle, bazı niteliklerin kategorileri birleştirilerek veri 80 analize uygun hale getirilmeye çalışılmıştır. Yaş (𝑌𝑎𝑠), sol ventrikül disfonksiyonu (𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠) ve hastanın hayati riski (𝑅𝑖𝑠𝑘) niteliklerinde bulunan kategoriler birleştirilmiştir. Böylece, binary_euSCR veri setinde: 7 farklı grupta incelenen 𝑌𝑎𝑠 𝑌𝑎𝑠_𝑖𝑘𝑖𝑙𝑖 o risk var: 𝑌𝑎𝑠1 + 𝑌𝑎𝑠2 + 𝑌𝑎𝑠3 + 𝑌𝑎𝑠4 + 𝑌𝑎𝑠5 + 𝑌𝑎𝑠6 o risk yok: 𝑌𝑎𝑠0 3 grupta incelenen 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠_𝑖𝑘𝑖𝑙𝑖 o risk var: 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠2 + 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠3 o risk yok: 𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠1 hem binary_euSCR hem de mixed_euSCR veri setinde ise 𝑅𝑖𝑠𝑘 𝑅𝑖𝑠𝑘_𝑖𝑘𝑖𝑙𝑖: o düşük risk: düşük + orta o yüksek risk: yüksek olarak yeniden düzenlenmiştir. Hedef niteliğe ait iki kategori bulunduğundan ikili logistik regresyon analizi yapılmıştır. Hayati riskin yüksekliğinin, düşük olmasına göre incelenmesi hedeflenmiştir, bu nedenle referans kategori düşük olarak seçilmiştir. Ardından mixed_euSCR veri seti üzerindeki logistik regresyon analizi çalışmalarına, hedef niteliğin sınıfını bulmak için kullanılacak niteliklerin birbirinden bağımsız olup olmadığının incelenmesiyle devam edilmiştir. Bu amaçla niteliklerin arasındaki ilişkiler korelasyon katsayıları aracılığı ile belirlenmiştir (Bölüm 2.4.4.3). Veri setinde hem ikili hem de nümerik nitelikler mevcut olduğundan, iki ikili nitelik arasındaki ilişki phi korelasyon katsayısı (Şekil 4.10), iki nümerik nitelik arasındaki ilişki Pearson r korelasyon katsayısı (Şekil 4.11), bir nümerik ve bir ikili değişken arasındaki ilişki ise Point Biserial Korelasyon katsayısı (Şekil 4.12) tablolarının hesaplanmasıyla elde edilmiştir. Korelasyonlar incelendiğinde nitelikler arasında kuvvetli bir ilişkinin olmadığı gözlemlenmiştir. 81 Şekil 4.10: İkili Nitelikler Arasındaki İlişkileri Gösteren Phi Korelasyon Katsayıları. Şekil 4.11: Nümerik ve ikili nitelikler Arasındaki İlişkileri Gösteren Point Biserial Korelasyon Katsayıları. Şekil 4.12: Nümerik Nitelikler Arasındaki İlişkileri Gösteren Pearson r Korelasyon Katsayıları. Korelasyonların hesaplanmasından sonra logistik regresyon analizi tabakalı 10-kat çapraz kullanılarak gerçekleştirilmiştir. Analizde aktif endokardit (𝐴𝑘𝑡𝐸𝑛𝑑) ve kritik preoperatif durum (KriPreDur) niteliklerinin tüm denemelerde istatistiksel olarak anlamlı olmadığı tespit edilmiştir (𝛽𝐴𝑘𝑡𝐸𝑛𝑑 ve 𝛽𝐾𝑟𝑖𝑃𝑟𝑒𝐷𝑢𝑟 𝑝 > 0.05). Bu nedenle de, aktif endokardit ve kritik preoperatif durum modelden çıkartılarak analiz tekrarlanmış, elde edilen model performansı değerlendirme ölçüleri Tablo 4.14‘de verilmiştir. mixed_euSCR veri setine tabakalı 10-kat çapraz geçerleme kullanılarak gerçekleştirilen Logistik Regresyon Analizi model performans değerlendirme ölçülerini göstermektedir. Hedef niteliğe ait iki sınıf değeri mevcut olduğundan, ikili sınıflandırma için kullanılan performans değerlendirme ölçüleri dikkate alınmıştır. 82 Tablo 4.14: mixed_euSCR Veri Setine Tabakalı 10-Kat Çapraz Geçerleme Kullanarak Uygulanan Logistik Regresyon Analizi Model Performans Değerlendirme Ölçüleri. Maksimize Edilmek İstenen Performans Ölçüleri Doğruluk 0.98224769 Duyarlılık 0.97329932 Belirleyicilik 0.98673469 Kesinlik 0.97387105 Negatif Öngörü Değeri 0.98677317 F-Ölçüsü 0.97333824 Pozitif Olabilirlik Oranı Inf Tanısal Üstünlük Oranı Inf Minimize Edilmek İstenen Performans Ölçüleri Hata 0.01775231 Yanlış Pozitif Oranı 0.01326531 Yanlış Negatif Oranı 0.02670068 Negatif Olabilirlik Oranı 0.02702649 Şekil 4.13: 10-Kat Çapraz Geçerlemenin Her Bir Katı İçin Logistik Regresyon Analizinden Elde Edilen ROC Eğrileri. Analizin tekrarlanması sonucunda en iyi tahmini sağlayan, model ile veri uyumu mevcut olan denemeye ait 𝛽 katsayıları seçilmiştir. Şekil 4.15‘te verilen logistik regresyon analizi özetinde nitelikler için elde edilen tüm β katsayıları istatistiksel olarak anlamlı bulunmuştur (𝑝 < 0.05). Yapılan Hosmer-Lemeshow Testi ekran görüntüsü Şekil 4.14‘de verilmiştir. Testte 𝑝 > 0.05 olarak elde edilmesi modelin tahminlerinin, 83 gözlem değerlerine uyduğunu yani model ile veri uyumunu göstermektedir. Nagelkerke değeri de 0.98’dir. Bu da logistik model tarafından açıklanan varyans oldukça iyi olduğunu göstermektedir. Şekil 4.14: mixed_euSCR Veri Setinde Seçilen Logistik Regresyon Modelinin Hosmer-Lemeshow Testi Sonucu. Şekil 4.15: Logistik Regresyon Analizi Sonuçları R Ekran Görüntüsü. 84 Niteliklerin β katsayılarına bakılarak modele verdikleri katkı çoktan aza doğru şu şekilde sıralanabilir: 1. 2. 3. 4. 5. 6. Pulmoner hipertansiyon Yaş Reoperasyon Torasik aort cerrahisi Sol ventrikül disfonksiyonu Geçirilmiş miyokard infarktüsü 7. Kararsız angina pektoris 8. Serum kreatinin 9. Periferik damar hastalığı 10. Nörolojik disfonksiyon 11. Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür 12. Acil 13. KOAH 14. Cinsiyet Pulmoner hipertansiyon ve yaş niteliklerinin, diğer niteliklere göre fazla baskın ve sonucu etkileyici biçimde olduğu tespit edilmiştir. Sol ventrikül disfonksiyonu dışındaki tüm nitelikler pozitif yönde etki etmekte, sol ventrikül disfonksiyonu ise tersi yönde etki yaratmaktadır. Bu beklenen bir sonuçtur, çünkü sol ventrikül disfonksiyonu değerinin artması, risk etmeninin azalması anlamına gelmektedir. Regresyon Analizi sonucunda yeni gelen bir örneğin sınıfını belirlemek için aşağıdaki denklem kullanılabilecektir. 𝑙𝑜𝑔𝑖𝑡 𝜋(𝑥) = 𝑔(𝑥) = −48.346 + 34.566𝛽𝑌𝑎𝑠 + 3.191𝛽𝐶𝑛𝑠𝑦𝑡 + 6.312𝛽𝐾𝑂𝐴𝐻 + 7.374𝛽𝑃𝑒𝑟𝐷𝑎𝑚𝐻𝑎𝑠𝑡 + 7.255𝛽𝑁𝑜𝑟𝐷𝑖𝑠 + 13.526𝛽𝑅𝑒𝑜𝑝 + 9.304𝛽𝑆𝑒𝑟𝐾𝑟𝑒 + 10.001𝛽𝐾𝑎𝑟𝐴𝑛𝑔𝑃𝑒𝑘 − 11.404𝛽𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 + 11.160𝛽𝐺𝑒𝑐𝑀𝑖𝑦𝐼𝑛𝑓 + 43.311𝛽𝑃𝑢𝑙𝐻𝑖𝑝 + 6.797𝛽𝐴𝑐𝑖𝑙 + 7.237𝛽𝐾𝑜𝑟𝐵𝑎𝑦𝐶𝑒𝑟 + 13.373𝛽𝑇𝑜𝑟𝐴𝑜𝑟𝐶𝑒𝑟 Şekil 4.15’teki sonuçları ve logistik regresyon denklemini farklı biçimde yorumlayacak olursak, örneğin yaşın 1 birimlik artışında, hayati riskin yüksek olmasının log üstünlüğü 34.566 kat artmaktadır. Niteliklerin log üstünlüklerine bakarak etkilerini görmek yerine niteliklerin üstünlükleri 𝐸𝑥𝑝(𝛽)’lar hesaplanarak ilişkiler rahat görülebilmektedir (Şekil 4.16). Modele göre kadınlarda hayati riskin yüksek olması erkeklere göre 24.31 kat fazladır. 85 Şekil 4.16: Niteliklerin Üstünlük Oranları (Odds Ratios). binary_euSCR veri seti ile çalışırken de mixed_euSCR’deki benzer adımlar izlenmiştir. Analize başlamadan önce veri setindeki nitelikler arasında çoklu eş doğrusallıkların varolup olmadığı araştırılmıştır. Nitelikler arasındaki korelasyonlar analize giren tüm nitelikler ikili olduğundan 𝜙 katsayılarının hesaplanmasıyla kontrol edilmiştir (Şekil 4.17). Aynı zamanda R’da analiz gerçekleştirilirken bir diğer nitelikle ilişkili olduğu tespit edilen niteliğin β katsayısı ve ilgili diğer değerleri hesaplanmamakta, kullanıcıya uyarı mesajı verilmektedir (Joseph, 2015a). Her iki durum da kontrol edilmiş; ancak nitelikler arasında kuvvetli bir ilişki gözlemlenmemiştir. Gen ChrPulDis ExtArt NeuDys PreCarSur Cre ActEnd CriPreSta UnsAng RecMI PulHyp Eme OthThaIsoCABG SurOnThoAor cAgeBinary cLVFunBinary Gen 1,00 -0,02 -0,07 0,03 0,02 -0,09 -0,11 -0,08 0,03 0,01 0,05 -0,02 0,06 -0,03 0,03 ChrPulDis -0,02 1,00 -0,04 -0,04 -0,02 0,04 -0,08 -0,09 -0,03 0,02 0,03 -0,11 0,10 0,00 0,11 0,01 ExtArt -0,07 -0,04 1,00 0,12 -0,07 -0,05 -0,03 -0,04 -0,10 0,03 -0,07 -0,04 0,07 0,12 0,06 -0,14 -0,10 NeuDys 0,03 -0,04 0,12 1,00 -0,06 0,02 -0,05 0,00 -0,07 -0,02 -0,08 -0,07 0,01 0,03 0,00 -0,06 PreCarSur 0,02 -0,02 -0,07 -0,06 1,00 -0,02 0,06 0,12 -0,08 0,09 0,01 0,03 0,15 0,01 -0,08 -0,01 Cre -0,09 0,04 -0,05 0,02 -0,02 1,00 -0,02 -0,05 0,03 0,08 0,05 -0,02 0,01 0,02 0,01 0,04 ActEnd -0,11 -0,08 -0,03 -0,05 0,06 -0,02 1,00 0,03 -0,07 0,06 -0,03 0,06 0,12 0,05 -0,07 -0,06 CriPreSta -0,08 -0,09 -0,04 0,00 0,12 -0,05 0,03 1,00 0,13 0,18 0,07 0,14 0,03 0,03 -0,06 0,10 UnsAng 0,03 -0,03 -0,10 -0,07 -0,08 0,03 -0,07 0,13 1,00 0,10 -0,04 0,49 -0,26 -0,06 -0,03 0,02 RecMI 0,01 0,02 0,03 -0,02 0,09 0,08 0,06 0,18 0,10 1,00 0,09 0,19 0,19 0,20 0,06 -0,02 PulHyp 0,05 0,03 -0,07 -0,08 0,01 0,05 -0,03 0,07 -0,04 0,09 1,00 -0,09 0,20 -0,04 -0,02 0,05 Eme -0,02 -0,11 -0,04 -0,07 0,03 -0,02 0,06 0,14 0,49 0,19 -0,09 1,00 -0,03 0,04 -0,08 -0,07 OthThaIsoCABG 0,06 0,10 0,07 0,01 0,15 0,01 0,12 0,03 -0,26 0,19 0,20 -0,03 1,00 0,39 -0,03 -0,05 SurOnThoAor -0,03 0,00 0,12 0,03 0,01 0,02 0,05 0,03 -0,06 0,20 -0,04 0,04 0,39 1,00 -0,05 -0,17 cAgeBinary 0,03 0,11 0,06 0,00 -0,08 0,01 -0,07 -0,06 -0,03 0,06 -0,02 -0,08 -0,03 -0,05 1,00 0,00 cLVFunBinary -0,10 0,01 -0,14 -0,06 -0,01 0,04 -0,06 0,10 0,02 -0,02 0,05 -0,07 -0,05 -0,17 0,00 1,00 Şekil 4.17: Tahmin Etmede Kullanılan Nitelikler Arasındaki Phi Katsayıları. İlişkilere bakıldıktan sonra logistik regresyon analizi tabakalı 10-kat çapraz kullanılarak gerçekleştirilmiştir. Analizde aktif endokardit (𝐴𝑘𝑡𝐸𝑛𝑑) niteliğinin tüm denemelerde istatistiksel olarak anlamlı olmadığı tespit edilmiştir (𝛽𝐴𝑘𝑡𝐸𝑛𝑑 >0.05). Bu nedenle de, aktif endokardit modelden çıkartılarak analiz tekrarlanmıştır. Tablo 4.15, binary_euSCR veri setine tabakalı 10-kat çapraz geçerleme kullanılarak gerçekleştirilen logistik regresyon analizi model performans değerlendirme ölçülerini göstermektedir. 86 Tablo 4.15: binary_euSCR Veri Setine tabakalı 10-kat çapraz geçerleme Kullanarak Uygulanan Logistik Regresyon Analizi Model Performans Değerlendirme Ölçüleri. Maksimize Edilmek İstenen Performans Ölçüleri Doğruluk 0.89849462 Duyarlılık 0.91623377 Belirleyicilik 0.85666667 Kesinlik 0.93920359 Negatif Öngörü Değeri 0.83234848 F-Ölçüsü 0.92599949 Pozitif Olabilirlik Oranı Inf Tanısal Üstünlük Oranı Inf Minimize Edilmek İstenen Performans Ölçüleri Hata Oranı 0.10150538 Yanlış Pozitif Oranı 0.14333333 Yanlış Negatif Oranı 0.08376623 Negatif Olabilirlik Oranı 0.09669913 Analizin tekrarlanması sonucunda en iyi tahmini sağlayan, model ile veri uyumu mevcut olan denemeye ait 𝛽 katsayıları seçilmiştir. Şekil 4.19‘da verilen logistik regresyon analizi özetinde nitelikler için elde edilen tüm β katsayılarının istatistiksel olarak anlamlılığı tespit edilmiştir (𝑝 < 0.05). Yapılan Hosmer-Lemeshow Testi sonucunda elde edilen 𝑝 = 0.889 > 0.05 ve Nagelkerke değeri 0.839’dir. Şekil 4.18: 10-Kat Çapraz Geçerlemenin Her Bir Katı için Logistik Regresyon Analizinden Elde Edilen ROC Eğrileri. 87 Şekil 4.19: İkili Logistik Regresyon Analizi Sonucu. Şekil 4.19‘da verilen özetten de anlaşılacağı gibi tüm niteliklerin β katsayıları istatistiksel olarak anlamlıdır (𝑝 < 0.05). Niteliklere ait β katsayılarının tümü pozitiftir. Örneğin, Yaştaki her 1 birimlik artışta, hayati riskin yüksek olmasının log üstünlüğü 4.7 artmaktadır. Benzer biçimde, bir hastanın cinsiyetinin kadın olması erkek olmasına göre yüksek hayati riskin log üstünlüğünü 2.3 değiştirmektedir. Niteliklerin β katsayılarına bakılarak modele verdikleri katkı çoktan aza doğru şu şekilde sıralanabilir: 88 1. Torasik aort cerrahisi 2. Kritik preoperatif durum 3. Geçirilmiş miyokard infarktüsü 4. Yaş 5. Reoperasyon 6. Pulmoner hipertansiyon 7. Kararsız angina pektoris 8. Serum kreatinin 9. Koroner baypas cerrahisine ilave bağımsız majör kardiyak prosedür 10. Nörolojik disfonksiyon 11. Sol ventrikül disfonksiyonu 12. Periferik damar hastalığı 13. Acil 14. Cinsiyet 15. KOAH veya Yine Şekil 4.19’dan faydalanarak, bundan sonra gelecek olan yeni örneklerin sınıfının tahmin edilmesinde kullanılacak olan ikili logistik regresyon denklemi aşağıdaki gibi yazılabilecektir. Niteliklere ait üstünlük oranları Şekil 4.20’te verilmiştir. 𝑙𝑜𝑔𝑖𝑡 𝜋(𝑥) = 𝑔(𝑥) = −11.5435 + 4.7414𝛽𝑌𝑎𝑠 + 2.2976𝛽𝐶𝑛𝑠𝑦𝑡 + 2.1218𝛽𝐾𝑂𝐴𝐻 + 2.7787𝛽𝑃𝑒𝑟𝐷𝑎𝑚𝐻𝑎𝑠𝑡 + 3.3200𝛽𝑁𝑜𝑟𝐷𝑖𝑠 + 4.6363𝛽𝑅𝑒𝑜𝑝 + 3.6565𝛽𝑆𝑒𝑟𝐾𝑟𝑒 + 5.9768𝛽𝐾𝑟𝑖𝑃𝑟𝑒𝐷𝑢𝑟 + 4.2992𝛽𝐾𝑎𝑟𝐴𝑛𝑔𝑃𝑒𝑘 + 2.7862𝛽𝑆𝑜𝑙𝑉𝑒𝑛𝐷𝑖𝑠 + 4.7914𝛽𝐺𝑒𝑐𝑀𝑖𝑦𝐼𝑛𝑓 + 4.5792𝛽𝑃𝑢𝑙𝐻𝑖𝑝 + 2.3308𝛽𝐴𝑐𝑖𝑙 + 3.5036𝛽𝐾𝑜𝑟𝐵𝑎𝑦𝐶𝑒𝑟 + 6.1766𝛽𝑇𝑜𝑟𝐴𝑜𝑟𝐶𝑒𝑟 Şekil 4.20: Niteliklerin Üstünlük Oranları (Odds Ratios). 89 4.4. KARAR AĞACI ALGORİTMALARINDAN ELDE EDİLEN BULGULAR Tablo 4.16: Karar Ağacı Algoritmaları Analiz Özeti. Veri Seti mixed_euSCR binary_euSCR Algoritma C4.5 ID3 Hedef nitelik Risk (düşük/orta/yüksek) Performans Değerlendirme Yöntemi Tabakalı 4-kat, 5-kat, 10-kat çapraz geçerleme Parametre Seçimi Yok Kullanılan R kütüphaneleri xlsx (Dragulescu, 2014) ve RODBC (Ripley ve Lapsley, 2014): MS Excel dosyasından veri okuma, TunePareto (Müssel ve diğ., 2012): Çapraz geçerleme için veri setini parçalara ayırma, RWeka (Hornik ve diğ., 2009; Witten ve Frank, 2006), partykit (Hothorn ve Zeileis, 2015): ID3 ve C4.5 (J48 fonksiyonu) karar ağacı algoritmaları ile çalışırken Karar ağacı algoritmalarından ID3 algoritması binary_euSCR veri setine, hem nümerik hem de kategorik nitelikler ile çalışabilmesi sayesinde C4.5 algoritması ise mixed_euSCR veri setine tabakalı 4-kat, 5-kat ve 10-kat çapraz geçerleme kullanılarak uygulanmıştır. Bu algoritmalar için de herhangi bir parametre seçimine ihtiyaç duyulmamıştır. Şekil 4.21 ve Şekil 4.22 sırasıyla binary_euSCR ve mixed_euSCR veri setlerinden elde edilen Ortalama Doğruluk (𝑎𝑣𝑒𝐴𝐶𝐶), F-Ölçüsü (𝑚𝐹 ve 𝑀𝐹) ile Tanısal Üstünlük Oranlarını (𝑚𝐷𝑂𝑅 ve 𝑀𝐷𝑂𝑅) göstermektedir. Grafiklerden açıkça görülmektedir ki 4kat, 5-kat ve 10-kat çapraz geçerleme kullanıldığında ortalama doğruluk, mF ve MF değerleri her iki veri setinde de oldukça dar bir aralıkta seyretmiş ve istikrar göstermiştir. mDOR ve MDOR değerleri ise mixed_euSCR’da 5-kat çapraz geçerleme denemesinde belirgin bir düşüş sergilemiştir; ancak yine de bu değerlerin mixed_euSCR veri setinde binary_euSCR’ye göre üstünlük sağladığı açıkça görümektedir. 90 Şekil 4.21: ID3 Algoritmasının Sırasıyla binary_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. Şekil 4.22: C4.5 Algoritmasının mixed_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. mixed_euSCR ve binary_euSCR’da algoritmaların tüm performans değerlendirme ölçüleri sırası ile Şekil 4.21 ve Şekil 4.22’de verilmiştir. 91 Tablo 4.17: ID3 Algoritmasının Sırasıyla binary_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. Makro Seviyede Mikro Seviyede İnceleme İnceleme Makro Seviyede İnceleme Mikro Seviyede İnceleme Tabakalı 4-Kat Tabakalı 5-Kat Çapraz Geçerleme Çapraz Geçerleme Maksimize Edilmek İstenen Performans Ölçüleri Tabakalı 10-Kat Çapraz Geçerleme Ortalama Doğruluk Duyarlılık 0.82738850 0.83524800 0.84045780 0.74108280 0.75287200 0.76068670 Belirleyicilik 0.87054140 0.87643600 0.88034330 Kesinlik 0.74108280 0.75287200 0.76068670 Negatif Öngörü Değeri F-Ölçüsü 0.87054140 0.87643600 0.88034330 0.74108280 0.75287200 0.76068670 Pozitif Olabilirlik Oranı Tanısal Üstünlük Oranı Duyarlılık 5.96756170 6.37742300 7.30069930 21.72704780 24.60948160 35.21268180 0.55659240 0.56485410 0.58814720 Belirleyicilik 0.85169500 0.84660280 0.85529700 Kesinlik 0.54110080 0.53604590 0.54868350 Negatif Öngörü Değeri F-Ölçüsü 0.83088910 0.84304440 0.84565870 0.54841970 0.54926960 0.56679340 Pozitif 3.89508080 4.00016720 Olabilirlik Oranı Tanısal Üstünlük 8.38762510 8.97370620 Oranı Minimize Edilmek İstenen Performans Ölçüleri 4.89367040 16.52326810 Ortalama Hata 0.17261150 0.16475200 0.15954220 Yanlış Pozitif Oranı Yanlış Negatif Oranı Negatif Olabilirlik Oranı Yanlış Pozitif Oranı Yanlış Negatif Oranı Negatif Olabilirlik Oranı 0.12945860 0.12356400 0.11965670 0.25891720 0.24712800 0.23931330 0.29904920 0.28374660 0.27575340 0.14830500 0.15339720 0.14470300 0.44340760 0.43514590 0.41185280 0.52296350 0.52139390 0.49145290 92 Makro Seviyede İnceleme Mikro Seviyede İnceleme Tablo 4.18: C4.5 Algoritmasının Sırasıyla mixed_euSCR Veri Setine Uygulanması Sonucu Elde Edilen Performans Ölçüleri. Tabakalı 5-Kat Tabakalı 4-Kat Çapraz Çapraz Geçerleme Geçerleme Maksimize Edilmek İstenen Performans Ölçüleri Tabakalı 10Kat Çapraz Geçerleme Ortalama Doğruluk 0.989532616 0.990443686 0,9890722 Duyarlılık 0.984298923 0.985665529 0,9836082 Belirleyicilik 0.992149462 0.992832765 0,9918041 Kesinlik 0.984298923 0.985665529 0,9836082 Negatif Öngörü Değeri 0.992149462 0.992832765 0,9918041 F-Ölçüsü 0.984298923 0.985665529 0,9836082 Pozitif Olabilirlik Oranı 150.600000000 142.546666667 Inf Tanısal Üstünlük Oranı 13256.780000000 10639.309111111 Inf Duyarlılık 0.984603703 0.986029760 0,9840708 Belirleyicilik 0.992025099 0.992798998 0,9917519 Kesinlik 0.984703042 0.985722834 0,983903 Negatif Öngörü Değeri 0.992056565 0.992733868 0,9917102 F-Ölçüsü 0.984653154 0.985876138 0,9839865 Pozitif Olabilirlik Oranı 148.730689345 142.049943822 Inf Tanısal Üstünlük Oranı 13506.660361787 10912.809412886 Inf Ortalama Hata 0.010467384 0.009556314 0,0109278 Mikro Seviyede İnceleme Yanlış Pozitif Oranı 0.007850538 0.007167235 0,0081959 Yanlış Negatif Oranı 0.015701077 0.014334471 0,0163918 Negatif Olabilirlik Oranı 0.015850966 0.014441282 0,0165711 Makro Seviyede İnceleme Minimize Edilmek İstenen Performans Ölçüleri Yanlış Pozitif Oranı 0.007974901 0.007201002 0,0082481 Yanlış Negatif Oranı 0.015396297 0.013970240 0,0159292 Negatif Olabilirlik Oranı 0.015547526 0.014074962 0,0161056 ID3 ve C4.5 algoritmalarının diğer algoritmalar ile performans kıyaslamasında 10-kat çapraz geçerleme sonuçları ele alınacağından, algoritmaların karar ağacı, kural çıkarımı ve ağaç çizimi gibi daha detaylı analizleri gerçekleştirilirken 10-kat çapraz geçerleme kullanılarak elde edilen sonuçlar göz önünde bulundurulmuştur. binary_euSCR veri setindeki 10-kat çapraz geçerlemenin 1.katında en yüksek doğruluk değeri elde edildiğinden, ID3 algoritmasından çıkarılan ağaç yapısı sayfa 93-96’te verilmiştir. 93 GecMiyInf = 0 | Yas = Age0 | | KorBayCer = 0 | | | Cnsyt = 0 | | | | SolVenDis = LVFun1 | | | | | Reop = 0 | | | | | | KarAngPek = 0: dusuk | | | | | | KarAngPek = 1 | | | | | | | Acil = 0: dusuk | | | | | | | Acil = 1: orta | | | | | Reop = 1: orta | | | | SolVenDis = LVFun2 | | | | | Reop = 0 | | | | | | KOAH = 0 | | | | | | | Acil = 0 | | | | | | | | NorDis = 0: dusuk | | | | | | | | NorDis = 1: orta | | | | | | | Acil = 1: orta | | | | | | KOAH = 1 | | | | | | | KarAngPek = 0: dusuk | | | | | | | KarAngPek = 1: yuksek | | | | | Reop = 1: yuksek | | | | SolVenDis = LVFun3: null | | | Cnsyt = 1 | | | | PerDamHast = 0 | | | | | Reop = 0 | | | | | | KarAngPek = 0 | | | | | | | TorAorCer = 0: dusuk | | | | | | | TorAorCer = 1: orta | | | | | | KarAngPek = 1: orta | | | | | Reop = 1: orta | | | | PerDamHast = 1: orta | | KorBayCer = 1 | | | Acil = 0 | | | | Reop = 0 | | | | | TorAorCer = 0 | | | | | | Cnsyt = 0 | | | | | | | KOAH = 0 | | | | | | | | SolVenDis = LVFun1 | | | | | | | | | PerDamHast = 0 | | | | | | | | | | NorDis = 0 | | | | | | | | | | | AktEnd = 0: dusuk | | | | | | | | | | | AktEnd = 1: orta | | | | | | | | | | NorDis = 1: orta | | | | | | | | | PerDamHast = 1: orta | | | | | | | | SolVenDis = LVFun2: orta | | | | | | | | SolVenDis = LVFun3: orta | | | | | | | KOAH = 1: orta | | | | | | Cnsyt = 1: orta | | | | | TorAorCer = 1 | | | | | | KOAH = 0: orta | | | | | | KOAH = 1: yuksek | | | | Reop = 1 | | | | | PulHip = 0: orta | | | | | PulHip = 1: yuksek | | | Acil = 1 | | | | SolVenDis = LVFun1: orta | | | | SolVenDis = LVFun2 94 | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | Cnsyt = 0: orta | | | | Cnsyt = 1: yuksek | | | SolVenDis = LVFun3: yuksek Yas = Age1 | KorBayCer = 0 | | PerDamHast = 0 | | | NorDis = 0 | | | | Acil = 0 | | | | | Reop = 0 | | | | | | KriPreDur = 0 | | | | | | | Cnsyt = 0 | | | | | | | | KOAH = 0: dusuk | | | | | | | | KOAH = 1 | | | | | | | | | SolVenDis = LVFun1: dusuk | | | | | | | | | SolVenDis = LVFun2: orta | | | | | | | | | SolVenDis = LVFun3: null | | | | | | | Cnsyt = 1 | | | | | | | | KOAH = 0 | | | | | | | | | SolVenDis = LVFun1: dusuk | | | | | | | | | SolVenDis = LVFun2: orta | | | | | | | | | SolVenDis = LVFun3: null | | | | | | | | KOAH = 1: orta | | | | | | KriPreDur = 1: orta | | | | | Reop = 1: orta | | | | Acil = 1: orta | | | NorDis = 1: orta | | PerDamHast = 1: orta | KorBayCer = 1 | | TorAorCer = 0 | | | SolVenDis = LVFun1 | | | | PerDamHast = 0: orta | | | | PerDamHast = 1 | | | | | KOAH = 0: orta | | | | | KOAH = 1: yuksek | | | SolVenDis = LVFun2: orta | | | SolVenDis = LVFun3: yuksek | | TorAorCer = 1: yuksek Yas = Age2 | KorBayCer = 0 | | SolVenDis = LVFun1 | | | KarAngPek = 0 | | | | KOAH = 0 | | | | | Cnsyt = 0 | | | | | | Reop = 0 | | | | | | | Acil = 0: dusuk | | | | | | | Acil = 1: orta | | | | | | Reop = 1: orta | | | | | Cnsyt = 1: orta | | | | KOAH = 1: orta | | | KarAngPek = 1: yuksek | | SolVenDis = LVFun2 | | | Reop = 0: orta | | | Reop = 1: yuksek | | SolVenDis = LVFun3: yuksek | KorBayCer = 1 | | PerDamHast = 0 | | | Cnsyt = 0 | | | | TorAorCer = 0: orta 95 | | | | | TorAorCer = 1: yuksek | | | | Cnsyt = 1 | | | | | KOAH = 0 | | | | | | SolVenDis = LVFun1: orta | | | | | | SolVenDis = LVFun2: yuksek | | | | | | SolVenDis = LVFun3: null | | | | | KOAH = 1: yuksek | | | PerDamHast = 1: yuksek | Yas = Age3 | | KorBayCer = 0 | | | PerDamHast = 0 | | | | KarAngPek = 0: orta | | | | KarAngPek = 1: yuksek | | | PerDamHast = 1 | | | | KOAH = 0 | | | | | SolVenDis = LVFun1: orta | | | | | SolVenDis = LVFun2: yuksek | | | | | SolVenDis = LVFun3: null | | | | KOAH = 1: yuksek | | KorBayCer = 1 | | | SolVenDis = LVFun1 | | | | Cnsyt = 0 | | | | | SerKre = 0: orta | | | | | SerKre = 1: yuksek | | | | Cnsyt = 1: yuksek | | | SolVenDis = LVFun2: yuksek | | | SolVenDis = LVFun3: null | Yas = Age4 | | KorBayCer = 0 | | | KarAngPek = 0 | | | | PerDamHast = 0: orta | | | | PerDamHast = 1: yuksek | | | KarAngPek = 1: yuksek | | KorBayCer = 1: yuksek | Yas = Age5 | | Cnsyt = 0 | | | SolVenDis = LVFun1: orta | | | SolVenDis = LVFun2: yuksek | | | SolVenDis = LVFun3: null | | Cnsyt = 1: yuksek | Yas = Age6: yuksek GecMiyInf = 1 | KorBayCer = 0 | | Yas = Age0 | | | KarAngPek = 0 | | | | KriPreDur = 0 | | | | | PerDamHast = 0 | | | | | | SolVenDis = LVFun1 | | | | | | | Cnsyt = 0 | | | | | | | | KOAH = 0 | | | | | | | | | Acil = 0: dusuk | | | | | | | | | Acil = 1: orta | | | | | | | | KOAH = 1: orta | | | | | | | Cnsyt = 1: orta | | | | | | SolVenDis = LVFun2: orta | | | | | | SolVenDis = LVFun3: orta | | | | | PerDamHast = 1: yuksek | | | | KriPreDur = 1: yuksek 96 | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | KarAngPek = 1 | | | Acil = 0 | | | | KriPreDur = 0: orta | | | | KriPreDur = 1: yuksek | | | Acil = 1: yuksek | Yas = Age1 | | KarAngPek = 0 | | | SolVenDis = LVFun1 | | | | NorDis = 0 | | | | | Reop = 0: orta | | | | | Reop = 1: yuksek | | | | NorDis = 1: yuksek | | | SolVenDis = LVFun2: orta | | | SolVenDis = LVFun3: yuksek | | KarAngPek = 1: yuksek | Yas = Age2 | | Acil = 0 | | | SolVenDis = LVFun1 | | | | KOAH = 0: orta | | | | KOAH = 1: yuksek | | | SolVenDis = LVFun2: yuksek | | | SolVenDis = LVFun3: yuksek | | Acil = 1: yuksek | Yas = Age3 | | SolVenDis = LVFun1 | | | Cnsyt = 0 | | | | KOAH = 0 | | | | | KriPreDur = 0: orta | | | | | KriPreDur = 1: yuksek | | | | KOAH = 1: yuksek | | | Cnsyt = 1: yuksek | | SolVenDis = LVFun2: yuksek | | SolVenDis = LVFun3: yuksek | Yas = Age4: yuksek | Yas = Age5: yuksek | Yas = Age6: yuksek KorBayCer = 1 | SolVenDis = LVFun1: yuksek | SolVenDis = LVFun2 | | Yas = Age0 | | | Cnsyt = 0 | | | | Reop = 0 | | | | | KOAH = 0 | | | | | | TorAorCer = 0 | | | | | | | PerDamHast = 0: orta | | | | | | | PerDamHast = 1: yuksek | | | | | | TorAorCer = 1: yuksek | | | | | KOAH = 1: yuksek | | | | Reop = 1: yuksek | | | Cnsyt = 1: yuksek | | Yas = Age1: yuksek | | Yas = Age2: yuksek | | Yas = Age3: yuksek | | Yas = Age4: yuksek | | Yas = Age5: yuksek | | Yas = Age6: null | SolVenDis = LVFun3: yuksek 97 Verilen ağacın düğümleri, niteliğin sağladığı bilgi kazancı ile doğru orantılı biçimde oluşturulmaktadır. Ağaç incelenirse dallanmanın öncelikle geçirilmiş miyokard infarktüsünden başladığı görülebilecektir. Bu durumda en fazla bilgiyi sağlayan düğüm geçirilmiş miyokard infarktüsüdür. Tüm niteliklere ait bilgi kazancı verilmiştir. Niteliklerin yukarıda verilen ağaçta görüldüğü sıra da aşağıda hesaplanan bilgilerle uyuşmaktadır. Geçirilmiş miyokard infarktüsü niteliğinin bilgi kazancı 0.2558’dir ve sıralamada en üstte yer almaktadır. Geçirilmiş miyokard infarktüsünden sonra ağaçta beliren düğümler koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür ve yaş niteliklerine aittir. Tablo 4.19: binary_euSCR Veri Setindeki Niteliklerin Bilgi Kazançları. Nitelik Adı Geçirilmiş miyokard infarktüsü Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Yaş Torasik aort cerrahisi Kritik preoperatif durum Acil Reoperasyon Kararsız angina pektoris Periferik damar hastalığı Sol ventrikül disfonksiyonu Cinsiyet Pulmoner hipertansiyon KOAH Serum kreatinin Aktif endokardit Nörolojik disfonksiyon Bilgi Kazancı (𝑮𝒂𝒊𝒏) 0,2558 0,1386 0,1162 0,0862 0,0300 0,0274 0,0248 0,0201 0,0184 0,0167 0,0156 0,0143 0,0025 0,0025 0,0017 0,0004 ID3 algoritmasından elde edilen ağaç kullanılarak kural çıkarımı yapılabilmektedir. Aşağıda karar ağacından elde edilen birkaç kural örneğine yer verilmiştir: EĞER Geçirilmiş miyokard infarktüsü YOK ve Yaş < 60 ve Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür YOK ve Cinsiyet ERKEK ve Sol ventrikül disfonksiyonu > 50 ve Reoperasyon YOK ve Kararsız angina pektoris YOK ise Risk = DÜŞÜK 98 EĞER Geçirilmiş miyokard infarktüsü YOK ve Yaş < 60 ve Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür YOK ve Cinsiyet Erkek ve Sol ventrikül disfonksiyonu > 50 ve Reoperasyon YOK ve Kararsız angina pektoris VAR ve Acil YOK veya Acil VAR ise Risk = ORTA mixed_euSCR veri setinde ise C4.5 algoritmasından çapraz geçerlemenin 5.katında en yüksek doğruluk değeri elde edilmiş ve çıkarılan ağaç yapısı aşağıda verilmiştir. C4.5 algoritmasından elde edilen ağaç, ID3’ten daha farklıdır. Karar ağacının her yaprağında (sınıf değerinin belirlendiği bölüm) en az iki gözlem kalacak şekilde ayarlanmakta, budama (sub-tree raising yöntemi) yapılmaktadır (Stiglic ve diğ., 2012). Kullanılan budama yöntemi, aynı düğümden çıkan dallardaki gözlem sayısına bağlı olarak gerçekleştirilmektedir (Witten ve Frank, 2006). Ağaçta ağacında parantez içinde verilen değerler sırası ile doğru ve yanlış sınıflandırılan gözlemleri belirtmektedir. J48 pruned tree -----------------PulHip <= 0.1625 | PulHip <= 0.15 | | GecMiyInf = 0 | | | KorBayCer = 0: dusuk (3.0) | | | KorBayCer = 1: orta (8.0/1.0) | | GecMiyInf = 1: yuksek (6.0/3.0) | PulHip > 0.15: dusuk (388.0) PulHip > 0.1625 | PulHip <= 0.375 | | PulHip <= 0.275 | | | GecMiyInf = 0 | | | | Cnsyt = 0 | | | | | TorAorCer = 0 | | | | | | Yas <= 0.634361: dusuk (4.0) | | | | | | Yas > 0.634361: orta (2.0) | | | | | TorAorCer = 1: orta (2.0) | | | | Cnsyt = 1: orta (11.0/1.0) | | | GecMiyInf = 1: yuksek (14.0/1.0) | | PulHip > 0.275 | | | PulHip <= 0.3: orta (435.0) | | | PulHip > 0.3 | | | | GecMiyInf = 0: orta (14.0/1.0) | | | | GecMiyInf = 1: yuksek (12.0) | PulHip > 0.375 | | PulHip <= 0.425: yuksek (383.0/2.0) | | PulHip > 0.425 | | | GecMiyInf = 0: orta (11.0/2.0) | | | GecMiyInf = 1: yuksek (25.0) Number of Leaves : Size of the tree : 29 15 Oluşturulan karar ağacının çizimine Şekil 4.23’de yer veilmiştir. 99 Şekil 4.23: C4.5 Algoritmasından Elde Edilen Karar Ağacı. 100 C4.5 algoritmasında dallanmanın hangi nitelikle devam ettirileceğine kazanç oranı ile karar verilmektedir. Tablo 4.20’de hesaplanan kazanç oranları, Şekil 4.23’te karar ağacının 𝑃𝑢𝑙𝑚𝑜𝑛𝑒𝑟 ℎ𝑖𝑝𝑒𝑟𝑡𝑎𝑛𝑠𝑖𝑦𝑜𝑛 niteliği ile başlamasını doğrulamaktadır. Tablo 4.20: C4.5 Algoritmasına Göre mixed_euSCR Veri Setinde Niteliklerin Kazanç Oranları. Nitelik Adı Pulmoner hipertansiyon Geçirilmiş miyokard infarktüsü Torasik aort cerrahisi Kritik preoperatif durum Reoperasyon Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Acil Kararsız angina pektoris Periferik damar hastalığı Yaş Cinsiyet Aktif endokardit Nörolojik disfonksiyon KOAH Serum kreatinin Sol ventrikül disfonksiyonu Kazanç Oranı (𝑮𝒂𝒊𝒏 𝑹𝒂𝒕𝒊𝒐) 0.72189210 0.44578485 0.23408725 0.22673190 0.19092314 0.18889067 0.15827252 0.13798775 0.12812840 0.12356679 0.09375722 0.06805238 0.06795276 0.06725404 0.06658685 0.06456431 C4.5 için de ID3’te olduğu gibi kural çıkarımı yapmak mümkündür. Aşağıda karar ağacından çıkarılan birkaç kural örneğine yer verilmiştir: EĞER Pulmoner hipertansiyon <= 0.1625 ve Pulmoner hipertansiyon <= 0.15 ve Geçirilmiş miyokard infarktüsü YOK ve Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür YOK ise Risk = DÜŞÜK EĞER Pulmoner hipertansiyon <= 0.1625 ve Pulmoner hipertansiyon <= 0.15 ve Geçirilmiş miyokard infarktüsü YOK ve Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür VAR ise Risk = ORTA EĞER Pulmoner hipertansiyon <= 0.1625 ve Pulmoner hipertansiyon <= 0.15 ve Geçirilmiş miyokard infarktüsü VAR ise Risk = YÜKSEK 4.5. MODEL PERFORMANSI KARŞILAŞTIRMA TABLOSU Tüm analizlerden elde edilen sonuçlar Tablo 4.21‘de özetlenmiştir. En iyi performansların elde edildiği algoritmalar tabloda vurgulanmıştır. Tablo 4.21: Analizlerin Genel Performans Değerlendirmesi (Tabakalı 10-Kat Çapraz Geçerleme). mixed_euSCR binary_euSCR Mikro Seviyede İnceleme Ortalama Tanısal Doğruluk Üstünlük F-Ölçüsü Ortalama Ortalama Tanısal Hata Doğruluk Üstünlük Oranı 0.977 Ortalama Hata Oranı 6910.236 0.966 0.023 0.913 122.848 0.870 0.087 Sınıflandırıcı k-En Yakın Komşu 𝒌=𝟓 𝒌=𝟗 0.972 1884.235 0.958 0.028 0.886 69.997 0.830 0.114 0.982 Inf 0.973 0.018 0.898 Inf 0.926 0.102 0.761 0.160 Algoritması Logistik Regresyon Karar Ağacı Algoritmaları C4.5 0.989 Inf ID3 0.984 0.011 0.840 35.213 101 Naive Bayes F-Ölçüsü 102 Tablo 4.21‘ye göre hem kategorik hem de nümerik niteliklerin bir arada bulunduğu veri seti göz önünde bulundurulduğunda (mixed_euSCR), risk tahmininde en iyi performansı sergileyen algoritma C4.5 Karar Ağacı Algoritmasıdır. Bunu Logistik Regresyon, k-En Yakın Komşu Algoritması ve Naive Bayes Sınıflandırıcı izlemektedir. Diğer yandan yalnızca kategorik niteliklerle çalışılması durumunda (binary_euSCR) Logistik Regresyon Analizi Tanısal Üstünlük Oranı ve F-Ölçüsü ile ilk sırada gibi gözükse de, elde edilen ortalama doğruluk ve hata oranı da incelendiğinde Naive Bayes algoritmasının en iyi performansı veren algoritma olduğu görülecektir. Naive Bayes’i Logistik Regresyon Analizi, k-En Yakın Komşu ve ID3 algoritmaları izlemektedir. Algoritmalar değerlendirilirken, Kesinlik ve Duyarlılık ölçülerini içeren F-Ölçüsü ve Pozitif ve Negatif Olabilirlik Oranlarını içeren Tanısal Üstünlük Oranının birbiriyle doğru orantılı biçimde davrandığı da görülebilir. Tablo 4.22’de ise analizlerde kullanılan niteliklerin modele verdikleri katkılara göre sıralaması yer almaktadır. ID3 ve C4.5 algoritmalarından elde edilen sonuçlar tüm eğitim veri seti gözönünde bulundurulduğunda ilk düğümün hangi nitelikten başlayacağını gösteren sıralamadır. Logistik Regresyon analizindeki Sıralamalarda ise niteliklerin β katsayıları incelenmiştir. Nümerik değerlerin analize dâhil edilmesiyle pulmoner hipertansiyonun listenin en başında olduğu görülebilir. Yalnızca kategorik nitelikler ile analiz yapılması durumunda ise ID3’te geçirilmiş miyokard infarktüsü, Logistik Regresyon Analizinde ise torasik aort cerrahisi birinci sırada yer alırken geçirilmiş miyokard infarktüsü niteliği Logistik Regresyon Analizinde de önem sıralamasındaki ilk üçe girmiştir. Aktif endokardit binary_euSCR veri setindeki Logistik Regresyon Analizlerinde, aktif endokardit ve kritik preoperatif durum mixed_euSCR veri setindeki analizlerde istatistiksel olarak anlamlı bulunmamış ve analizlerden çıkarılmıştır. Bu nedenle de Logistik Regresyon Analizi için verilen listelerin en sonuna sıra gözetmeksizin eklenmiştir. Aktif endokardit niteliği için Logistik Regresyon Analizinden elde edilen bu sonucu ID3 ve C4.5’ten elde edilen sonuçlar da desteklemektedir; ancak kritik preoperatif durum niteliği için aynı durum geçerli olmayıp, karar ağaçlarında sağladığı bilgi kazancı ve kazanç oranı ile listenin başlarında yer almaktadır. 103 Tablo 4.22: Niteliklerin Modele Verdikleri Katkılara Göre Sıralanması. ID3 (binary_euSCR) C4.5 (mixed_euSCR) Geçirilmiş miyokard infarktüsü Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Yaş Pulmoner hipertansiyon* Kritik preoperatif durum Reoperasyon 6 Torasik aort cerrahisi Kritik preoperatif durum Acil 7 Reoperasyon Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Acil 8 Kararsız angina pektoris Periferik damar hastalığı Kararsız angina pektoris Periferik damar hastalığı Sol ventrikül disfonksiyonu Cinsiyet Yaş Aktif endokardit 13 Pulmoner hipertansiyon KOAH 14 15 Serum kreatinin Aktif endokardit Nörolojik disfonksiyon KOAH Serum kreatinin 16 Nörolojik disfonksiyon Sol ventrikül disfonksiyonu 1 2 3 4 5 9 10 11 12 * Logistik Regresyon (binary_euSCR) Torasik aort cerrahisi Logistik Regresyon (mixed_euSCR) Pulmoner hipertansiyon* Geçirilmiş miyokard infarktüsü Kritik preoperatif Yaş durum Torasik aort cerrahisi Geçirilmiş miyokard infarktüsü Yaş Cinsiyet Reoperasyon Reoperasyon Pulmoner hipertansiyon Torasik aort cerrahisi Sol ventrikül disfonksiyonu Geçirilmiş miyokard infarktüsü Kararsız angina Kararsız angina pektoris pektoris Serum kreatinin Serum kreatinin Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür Nörolojik disfonksiyon Sol ventrikül disfonksiyonu Periferik hastalığı Acil Periferik damar hastalığı Nörolojik disfonksiyon Koroner baypas cerrahisine ilave veya bağımsız majör kardiyak prosedür damar Acil Cinsiyet KOAH Aktif endokardit KOAH Cinsiyet Kritik preoperatif durum Aktif endokardit Başlangıçta 𝑃𝑢𝑙𝑚𝑜𝑛𝑒𝑟 ℎ𝑖𝑝𝑒𝑟𝑡𝑎𝑛𝑠𝑖𝑦𝑜𝑛 niteliğine ait çok sayıda kayıp değerin olmasının elde edilen sonuç üzerinde etkisinin olduğu düşünülmektedir. 104 4.6. SHINY Shiny, R için bir web uygulama çatısı, bir RStudio projesidir (RStudio, 2015b). shinyapps.io ise geliştirilen Shiny uygulamalarının web üzerinden paylaşılmasını sağlamaktadır. Bu tez çalışması için shinyapps.io’da ücretsiz hesap açılarak geliştirilen Logistik Regresyon modelleri paylaşılmıştır. Logistik Regresyon Analizinden elde edilen 𝛽 katsayıları kullanılarak alternatif iki model oluşturulmuş ve Shiny arayüzü ile web ortamına aktarılmıştır. Ayrıca C4.5 karar ağacı algoritması kullanılarak elde edilen en performansa sahip ağaç yapısı karar modeli de Shiny uygulamasına dönüştürülmüştür. Uygulamalar geliştirilirken Shiny kütüphanesinden faydalanılmıştır (Chang ve diğ., 2015). 105 Şekil 4.24: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif Logistik EuroSCORE Modeli – 1. 106 Şekil 4.25: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif Logistik EuroSCORE Modeli – 2. 107 Şekil 4.26: Hayati Risk Tahmini İçin R Programlama ve Shiny Kullanılarak Oluşturulan Alternatif EuroSCORE C4.5 Karar Ağacı Modeli – 3. 108 5. TARTIŞMA VE SONUÇ Ülkelerin öncelikli amacı, vatandaşlarının yaşam kalitesini ve yaşam süresini arttırmaktır. Bu nedenle de vatandaşlarının daha uzun yaşamalarını sağlamak için en sık görülen hastalıkların tedavisine öncelik vermektedirler. İnsanların ölüm nedenlerinin en başında kalp ve damar hastalıkları gelmektedir (Dünya Sağlık Örgütü, 2015). Dünya Sağlık Örgütü (2014)’nün verisine göre 2012 yılında sadece iskemik kalp hastalıklarının yol açtığı ölümler 7.4 milyon (%13.6) ile ilk sırada gelmekte iken, iskemik kalp hastalıklarına bağlı ölümler ise 1.1 milyon (%2) olarak kaydedilmiştir. Ülkemizde de durum dünyadakinden farklı değildir. Ulusal düzeyde ölüm nedenlerinin temel hastalık gruplarına göre dağılımı araştırıldığında kardiyovasküler hastalıklar %47.73 listenin başında yer almaktadır (Sağlık Bakanlığı Temel Sağlık Hizmetleri Genel Müdürlüğü, 2008). TÜİK (2014) ülkemizde dolaşım sistemi hastalıkları nedeniyle gerçekleşen ölümlerden %38.8’i iskemik kalp hastalığı, %25.2’si serebro-vasküler hastalık, %17.7’si diğer kalp hastalığı ve %12.8’i hipertansif hastalıklardan kaynaklandığını açıklamıştır. Türk Kalp ve Damar Cerrahisi Derneği Başkanı Prof. Dr. Ali Gürbüz, 2014 yılında Hürriyet Gazetesi’ne verdiği röportajda Türkiye’de 75 bin açık kalp ameliyatı yapıldığını ifade etmiştir (Kozak, 2014). Bu nedenle kalp ameliyatı sırasında ya da kalp ameliyatından kısa bir süre sonra hastaya ait hayati riskin belirlenebilmesi önem taşımaktadır. Belirlenecek olan risk hem hastaların hem de doktorların ameliyat ile ilgili kararlarına etki edecektir. Kalp ameliyatında ölüm riskinin belirlenebilmesi için değişik puanlama sistemleri geliştirilmiştir ve EuroSCORE bu sistemler arasında en sık tercih edilen sistemlerden biridir (Bölüm 3.1). Ayrıca ülkemizde Sosyal Güvenlik Kurumu, EuroSCORE’u temel alan Kardiyak Risk Puanlaması adında bir sistemin hastaneler tarafından kullanılmasını sağlamaktadır (T.C. Sosyal Güvenlik Kurumu, 2014). Bu risk oranına bağlı olarak hastaların işlem belirlenmektedir. bedellerinin ne kadarının SGK tarafından karşılanacağı 109 Bu tez çalışmasında, kalp ameliyatı sırasında ya da kalp ameliyatı geçirdikten kısa bir süre sonra hastaya ait hayati risk, sınıflandırmaya dayalı makine öğrenmesi teknikleri kullanılarak belirlenmeye çalışılmıştır. Hayati riske etki eden faktörler olarak EuroSCORE risk faktörleri kullanılmıştır. Veri seti Maslak Acıbadem Hastanesi’nden temin edilmiştir. Veri setinin tamamı kalp ameliyatı geçirmiş hastalardan oluşmaktadır. Bu çalışma literatürde EuroSCORE kullanılarak yapılan diğer çalışmalardan aşağıdaki yönleri ile farklılık göstermektedir: Çalışmada, veri setinde hastaların EuroSCORE’daki gibi 30 günlük takip bilgisi bulunmadığından, öncelikle hastaların Standart EuroSCORE puanları hesaplanmış ve ortaya çıkan risk grupları hedef nitelik olarak kullanılarak tahminler gerçekleştirilmiştir (Bölüm 3.2). Standart ve Logistik EuroSCORE puanlarının hesaplanmasında 17 adet risk faktörü kullanılmaktadır; ancak bu 17 risk faktöründen biri olan Post-infarkt VSD veri setindeki hastaların hiçbirinde görülmediği için bu nitelik analizlerde kullanılmamıştır (Bölüm 3.3). EuroSCORE’da hastanın bir risk faktörü verisi eğer bilinmiyorsa, bu etmen yokmuş gibi hesaplama yapılmaktadır. Ancak bu çalışmanın veri hazırlama sürecinde, tahmin için kullanılan 16 risk faktörünün veri setine girilmemiş (kayıp) değerleri tamamlanmıştır (Bölüm 3.3). EuroSCORE risk faktörlerinin tümü kategoriktir; ancak tezde kullanılan veri setinde yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin nümerik değerleri mevcuttur. Bu nedenle analizlerde ilgili niteliklerin hem kategorik hem de nümerik değerleri ayrı ayrı kullanılmıştır. Model performans değerlendirme yöntemi olarak doğrudan tabakalı 10-kat çapraz geçerlemenin seçilmesi yerine öncelikle farklı çapraz geçerleme denemeleri ile farklı oranlarda tekrarlanan hold-out’lardan elde edilen performans değerleri yorumlanmıştır (Bölüm 4.1). Model performans değerlendirme ölçüsü olarak yalnızca doğruluk ya da hata oranı değil, literatürde yer alan birbirinden farklı birçok performans değerlendirme ölçüsü kullanılmış; ancak bunların arasından ortalama doğruluk, F-Ölçüsü ve Tanısal Üstünlük Oranı değerlendirmelerde kullanılmıştır. 110 Tez kapsamında hayati riski tahmin edebilmek için Naive Bayes Sınıflandırıcı, k-En Yakın Komşu Algoritması, Logistik Regresyon Analizi, ID3 ve C4.5 Karar Ağacı Algoritmaları’ndan faydalanılmıştır. Yalnızca kategorik nitelikler ile çalışıldığında Logistik Regresyon Analizinin Tanısal Üstünlük Değeri çok yüksek çıkmasına rağmen (Inf) elde edilen F-ölçüsü, ortalama doğruluk ve ortalama hata oranları da göz önünde bulundurularak en yüksek performansın Naive Bayes Algoritmasından elde edildiği tespit edilmiştir. En düşük performans ise ID3 karar ağacı algoritmasından elde edilmiştir. Bu durumda Logistik Regresyon Analizi ikinci, k-En Yakın Komşu algoritması da üçüncü sıradadır. (Tablo 4.21) Veri setinde bulunan yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin kategorik değerleri yerine nümerik değerleri analizlere dâhil edildiğinde ise en yüksek performans değeri C4.5 karar ağacı algoritmasından elde edilmiştir. Bunu Logistik Regresyon Analizi, Naive Bayes ve k-En Yakın Komşu algoritmaları izlemektedir. (Tablo 4.21) Yalnızca kategorik değerlerin kullanıldığı veri seti üzerindeki çalışmalardan elde edilen performans ölçülerinin, hem kategorik hem de nümerik niteliklerin bir arada kullanılmasıyla elde edilen değerlerden oldukça düşük olduğu tespit edilmiştir (Tablo 4.21). Genel değerlendirme yapıldığında ise, Tablo 4.21’da elde edilen hatalar 0.011 ile 0.160 arasında değişmekte olduğu görülecektir (Tablo 4.21). Başka bir uygulama alanı için hatalar arasındaki bu fark önemsiz olarak görülebilir, en iyi performansı veren algoritma yerine bir diğeri kullanılabilir; ancak hastanın hayati riskinin belirlenmesi gibi önemli bir konuda aynı tutumun söz konusu olamayacağı düşünülmektedir. Bu nedenle yine özellikle sağlık gibi hayati önem taşıyan alanlarda hedef niteliğe etki eden faktörlerin varsa sayısal değerlerinin analizlerde kullanılması önerilmektedir. ID3, C4.5 ve Logistik Regresyon Analizi yardımı ile hayati riske etki eden 16 nitelik modele verdikleri katkıya, bir başka ifade ile önem derecelerine göre sıralanmıştır. Logistik Regresyon Analizinde Kritik preoperatif durum ve aktif endokardit niteliklerinin modele katkısı olmadığı tespit edilerek analizden çıkarılmış, bu nedenle sıralamaya girememiştir. Özellikle Pulmoner hipertansiyon niteliğine ait sayısal değerler analize dâhil edildiğinde, hem Logistik Regresyon hem de karar ağaçları ile 111 değerlendirmede ilk sırada yer almaktadır. Yaş faktörünün de her üç analiz için üç sıralarda yer aldığı belirlenmiştir. Sadece ikili nitelikler kullanılarak elde edilen Logistik Regresyon modeline ait 𝛽 katsayıları, hem nümerik hem de kategorik nitelikler ile kurulan modelinin mixed_euSCR veri setine ait modele ilişkin elde edilen 𝛽 katsayıları ile kıyaslandığında, binary_euSCR veri setinden elde edilen katsayıların birbirine daha yakın değerler aldığı tespit edilmiştir (Bölüm 4.3). Bu durumda mixed_euSCR veri setinden elde edilen modelde yer alan Pulmoner hipertansiyon ve Yaş niteliklerinin diğerlerine göre risk tahminini doğrudan yönlendirebileceği düşünülmektedir. Çalışma kapsamında yapılan tüm analizler R programlama dili ile gerçekleştirilmiştir. R, özellikle bilimsel hesaplama, istatistik, veri madenciliği ve makine öğrenmesi konularında sıklıkla tercih edilen, güncel bir dildir. Açık kaynak kodlu olması, dokümantasyonunun gelişmiş olması ve geniş topluluk desteği ile alternatiflerine göre R dilinin bu alanda öne çıkmasını sağlamaktadır. Bu tez çalışmasındaki R kodlarının geliştirme aracı olarak RStudio’nun açık kaynak kod ürünü kullanılmıştır. R ile analizler gerçekleştirilirken Gower uzaklığının k-En Yakın Komşu algoritmasında uzaklık ölçüsü olarak kullanılmasını sağlayan bir fonksiyonun bulunamamış, bu nedenle de ilgili kodun geliştirilerek analiz gerçekleştirilmiştir. 1465 gözlemden oluşan hem kategorik hem de nümerik niteliklerin bir arada kullanıldığı veri seti tabakalı 10-kat çapraz geçerleme kullanıldığında yaklaşık 146 gözlem her denemede test için ayrılmıştır. Test veri setinde bulunan her bir gözlem için eğitim veri setinde bulunan yaklaşık 1319 gözleme uzaklığı hesaplanmış, yalnızca tek bir çapraz geçerleme denemesinde tek bir gözlemin en yakın komşusunu bulabilmek için 146 defa 1320x1320 uzaklık matrisi oluşturulmuştur. k-En Yakın Komşu Algoritması uzaklık hesabına dayalı olduğu için veri seti büyüdükçe hesaplama zamanı da buna bağlı olarak artmaktadır. Nitekim bu tez çalışmasında hem kategorik hem de nümerik niteliklerin bir arada kullanıldığı veri seti çok büyük olmamasına rağmen k-En Yakın Komşu Algoritmasının 10-kat çapraz geçerleme kullanılarak sonuca ulaşması için geçen zaman 2 gün 19sa 11dk 39sn’dir. k-En Yakın Komşu Algoritması ile yapılan analizler yalnızca kategorik niteliklerin bulunduğu veri seti ile kıyaslandığında bu işlem süresinin çok yüksek olduğu görülebilecektir. 112 Bu tez çalışmasının literatürdeki çalışmalar arasından öne çıkan bir diğer özelliği ise, Logistik Regresyon Analizi ve C4.5 karar ağacı algoritmalarıyla geliştirilen sınıflandırıcıların shinyapps.io aracılığı ile web üzerinden kamuya açık hale getirilmesinin ve geliştirilen bu modellerin uygulanabilirliğinin mümkün kılınmasıdır. Shiny, arka planda R kodlarının çalıştığı ve bu kodlara web üzerinden erişilmesini sağlayan bir RStudio projesidir. Logistik modellere ait ara yüzler web ortamına aktarılmıştır, C4.5’e ait arayüz ise şimdilik yerel sunucudan çalıştırılmaktadır. Makine öğrenmesi, sınıflandırma, tahmin etme, öngörü yaratma gibi pek çok amaçla kullanılmaktadır. Yalnızca bu tez çalışmasında seçilen uygulama alanı sağlık için değil, yapılan çalışmalarda iyi modellerin kurulması ve iyi sonuçların elde edilebilmesi için veri seti ihtiyacı bulunmaktadır değişik alanlarda farklı problemler için toplanmış veri setlerinin araştırmacıların erişimine açılması ve kolaylıkla veri setlerini kullanabilmelerinin sağlanması gerekmektedir. Dünyada örnekleri olan kamuya açık veri depolarının ülkemizde de güncel, büyük veri setleri ile desteklenmesi ve araştırmacıların veri paylaşımı konusunda teşvik edilmesi gerekmektedir. Ülkemiz için böyle bir veri deposunun oluşturulabilmesi bu tez sonrasında planlanan bir çalışma olarak hedeflenmektedir. İleride yapılması planlanan diğer çalışmalar ise aşağıda listelenmiştir: Bu tez çalışmasında, tahminler EuroSCORE risk gruplarına dayanılarak yapıldığı için makine öğrenmesi algoritmalarının performansları EuroSCORE ile kıyaslanamamıştır. İleride hastaların ölü/sağ durumlarına ait takip bilgisini de içeren farklı bir veritabanı üzerinde modellerin yeniden kurgulanarak, EuroSCORE ile karşılaştırılması, Hayati riskin tahmini için farklı risk faktörlerinin göz önünde bulundurularak modellerde çeşitlilik sağlanması, Bu tez çalışması kapsamında ele alınamamış olan makine öğrenmesi tekniklerinden Yapay Sinir Ağları, Destek Vektör Makineleri gibi yöntemleri kullanarak performansı yüksek yeni sınıflandırıcıların elde edilebilmesi, Yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin EuroSCORE’da yapılan ayrıklaştırma yöntemi ile değil, farklı makine öğrenmesi tekniklerinin kullanılması ile en iyi performansın elde edecek 113 biçimde bir ya da birden fazla eşik değerin belirlenerek niteliklerin ayrıklaştırılması ve analizlere dâhil edilmesi, Shiny ile webe aktarılan modellerin arttırılması, kullanımının yaygınlaştırılması. Sonuç olarak, Enformatik Biliminin sağlık sektöründe uygulaması olarak ele alınan özgün tez çalışmamızda kardiyolojik veri seti üzerinde öngörüye dayalı öğrenme modelleri ile veriden öğrenen kararlar üretilmiştir. Bu modeller üzerinden insan hayatını kaybetme riski değerlendirilerek bilime katkı sağlanması amaçlanmıştır. Bu çalışmaların, tezde ele alınmayan diğer makine öğrenmesi algoritmaları ile devam ettirilmesi, yapılacak diğer çalışmalara temel oluşturması ve insanlığa faydalı olması en büyük dileğimizdir. 114 KAYNAKLAR Akar, A. R., Kurtcephe, M., Sener, E., Alhan, C., Durdu, S., Kunt, A. G. ve Güvenir, H. A., 2011, Validation of the EuroSCORE risk models in Turkish adult cardiac surgical population, European Journal of Cardio-Thoracic Surgery, 40 (3), 730–735. Akgül, A., Gürsoy, M., Bakuy, V., Polat, E. B., Kömürcü, İ. G., Kavala, A. A., Türkyılmaz, S., Çağlar, İ. M., Tekdöş, Y. ve Atay, M., 2013, Koroner arter baypas greftleme sonrası erken mortalitenin belirlenmesinde standart, lojistik Euroscore ve Euroscore II’nin karşılaştırılması, Anadolu Kardiyoloji Dergisi, 13 , 425–31. Alpaydın, E., 2014, Introduction to Machine Learning, MIT Press, ISBN: 978-0-26202818-9. Alpaydın, E., 2006, Projects in Machine http://web.eecs.utk.edu/~parker/Courses/CS594spring06/handouts/Introduction.pdf, [Ziyaret Tarihi: 30.04.2013]. Learning, Alpaydın, E., 2013, Yapay öğrenme, 2nd ed., Boğaziçi Üniversitesi Yayınevi İstanbul, ISBN: 978-605-4238-49-1. Anderson, S., 2015, Logistic Regression, http://schatz.sju.edu/multivar/guide/Logistic.pdf, [Ziyaret Tarihi: 02.06.2015]. Baker, D. R., 2007, A Hybrid Approach to Expert and Model Based Effort Estimation, ProQuest, ISBN: 0-549-46778-5. Batista, G. E. ve Monard, M. C., 2003, An analysis of four missing data treatment methods for supervised learning, Applied Artificial Intelligence, 17 (5-6), 519– 533. Beaujean, A. A., 2012, BaylorEdPsych: R Package for Baylor University Educational Psychology Quantitative Courses, http://CRAN.Rproject.org/package=BaylorEdPsych, [Ziyaret Tarihi: 02.06.2015]. Bishop, C. M., 2007, Pattern Recognition and Machine Learning, Springer, ISBN: 0387-31073-8. Blum, A., 2007, Machine learning theory, http://www.cs.cmu.edu/afs/cs/user/avrim/www/Talks/mlt.pdf, [Ziyaret Tarihi: 22.04.2013]. Bouleti, C., Iung, B., Sophie, P., Alkhoder, S., Dilly, M. P., Himbert, D., Ait-Namane, R., Raffoul, R., Nataf, P. ve Vahanian, A., 2014, Is the Euroscore II reliable to 115 estimate operative mortality of valvular surgery?, Journal of the American College of Cardiology, 63 (12). Branson, K., 2001, A Naïve Bayes Classifier Using Transductive Inference for Text Classification, Department of Computer Science and Engineering, University of California, San Diego. Braun, M. L., Ong, C. S., Hoyer, P. O., Sonnenburg, S. ve Henschel, S., 2015, Mldata, http://mldata.org/about/, [Ziyaret Tarihi: 11.02.2015]. Bridge, D., 2013, Classification: k www.cs.ucc.ie/~dgb/courses/tai/notes/handout4.pdf, 26.04.2015]. Nearest Neighbours, [Ziyaret Tarihi: Brown, J. D., 2001, Point-biserial correlation coefficients, The Japan Association for Language Teaching Testing & Evaluation Special Interest Group Newsletter, 5 (3), 12–15. Brownlee, J., 2013, A Tour of Machine Learning Algorithms, http://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/, [Ziyaret Tarihi: 08.02.2015]. Brownlee, J., 2014, Solve Machine Learning Problems Step-by-Step, https://machinelearningmastery.com/applied-machine-learning-process/, [Ziyaret Tarihi: 11.02.2015]. Burns, R. P. ve Burns, R., 2008, Business Research Methods and Statistics Using SPSS, SAGE, ISBN: 978-1-4462-0476-4. BusinessDictionary, 2015, What is learning? definition and meaning, http://www.businessdictionary.com/definition/learning.html, [Ziyaret Tarihi: 07.02.2015]. Calkins, K. G., 2005, An Introduction to Statistics - More Correlation Coefficients, http://www.andrews.edu/~calkins/math/edrm611/edrm13.htm, [Ziyaret Tarihi: 09.06.2015]. Camastra, F. ve Vinciarelli, A., 2008, Machine Learning for Audio, Image and Video Analysis: Theory and Applications, Springer, ISBN: 1-84800-007-3. Carpenter, J., Bartlett, J. ve Kenward, M., 2015, Introduction to missing data, http://missingdata.lshtm.ac.uk/index.php?option=com_content&view=section&i d=7&Itemid=96, [Ziyaret Tarihi: 16.02.2015]. Cen, L., Dong, M., Liang Yu, H. L. Z. ve Ch, P., 2010, Machine Learning Methods in the Application of Speech Emotion Recognition, Application of Machine Learning, In: Zhang, Y. (ed.), InTech, ISBN: 978-953-307-035-3. 116 Chang, W., Cheng, J., Allaire, J. J., Xie, Y. ve McPherson, J., 2015, Shiny: Web Application Framework for R, http://CRAN.R-project.org/package=shiny, [Ziyaret Tarihi: 02.06.2015]. Chedzoy, O. B., 2004, Phi-Coefficient, Encyclopedia of Statistical Sciences, John Wiley & Sons, Inc., ISBN: 978-0-471-66719-3. Cheng, J. G., 2000, Outlier management in intelligent data analysis, Ph.D. Thesis, University of London. Choi, S.-S., Cha, S.-H. ve Tappert, C. C., 2010, A survey of binary similarity and distance measures, Journal of Systemics, Cybernetics and Informatics, 8 (1), 43–48. Cichosz, P., 2015, Data Mining Algorithms: Explained Using R, John Wiley & Sons, ISBN: 978-1-118-33258-0. Clark, M., 2015, An Introduction to Machine Learning with Applications in R, http://www3.nd.edu/~mclark19/learn/ML.pdf, [Ziyaret Tarihi: 13.02.2015]. Cortes, C. ve Mohri, M., 2007, On transductive regression, Advances in Neural Information Processing Systems 19, 2007 Vancouver, Canada, In: Schölkopf, B. ve diğ. (ed.), MIT Press, ISBN: 978-0-262-19568-3, 305–312. Czepiel, S. A., 2002, Maximum likelihood estimation of logistic regression models: theory and implementation, http://ww.saedsayad.com/docs/mlelr.pdf, [Ziyaret Tarihi: 27.03.2014]. Çakır, M., 2005, Firma Başarısızlığının Dinamiklerinin Belirlenmesinde Makina Öğrenmesi Teknikleri: Ampirik Uygulamalar ve Karşılaştırmalı Analiz, Uzmanlık Yeterlilik Tezi, Türkiye Cumhuriyet Merkez Bankası İstatistik Genel Müdürlüğü. Çokluk, Ö., 2010, Lojistik regresyon analizi: Kavram ve uygulama, Kuram ve Uygulamada Eğitim Bilimleri, 10 (3), 1357–1407. Dekhtyar, A., 2009, CSC 466: Knowledge Discovery from Data - Distance/Similarity Measures, http://users.csc.calpoly.edu/~dekhtyar/560Fall2009/lectures/lec09.466.pdf, [Ziyaret Tarihi: 20.05.2015]. Dişcigil, B., Badak, M. İ., Gürcün, U., Boğa, M., Özkısacık, E. A. ve Güneş, T. Ü., 2005, Açık Kalp Cerrahisi Sonuçlarının Avrupa Kardiyak Risk Skorlama Sistemi (Euroscore) ile Değerlendirilmesi, Adnan Menderes Üniversitesi Tıp Fakültesi Dergisi, 6 (1), 19–23. Domingos, P., 2012, A few useful things to know about machine learning, Communications of the ACM, 55 (10), DOI: 10.1145/2347736.2347755, 78–87. 117 Donalek, C., 2011, Supervised and Unsupervised Learning, www.astro.caltech.edu/~george/aybi199/Donalek_Classif.pdf, [Ziyaret Tarihi: 28.05.2015]. D’Orazio, M., 2015, StatMatch: Statistical Matching, project.org/package=StatMatch, [Ziyaret Tarihi: 02.06.2015]. http://CRAN.R- Dragulescu, A. A., 2014, Xlsx: Read, write, format Excel 2007 and Excel 97/2000/XP/2003 files, http://CRAN.R-project.org/package=xlsx, [Ziyaret Tarihi: 28.05.2015]. Dua, S. ve Chowriappa, P., 2013, Data mining for bioinformatics, CRC Press, ISBN: 978-1-4200-0430-4. Dunn, G. ve Everitt, B. S., 2012, An Introduction to Mathematical Taxonomy, Courier Corporation, ISBN: 978-0-486-15136-6. Durrant, G. B., 2005, Imputation methods for handling item-nonresponse in the social sciences: a methodological review, http://missingdata.lshtm.ac.uk/preprints/durrantOct05.pdf, [Ziyaret Tarihi: 28.05.2015]. Dünya Sağlık Örgütü, 2015, Cardiovascular http://www.who.int/mediacentre/factsheets/fs317/en/, 30.05.2015]. Dünya Sağlık Örgütü, 2014, WHO | The top 10 causes of death, http://www.who.int/mediacentre/factsheets/fs310/en/, [Ziyaret Tarihi: 30.05.2015]. diseases [Ziyaret (CVDs), Tarihi: Ertorsun, A. D., Bağ, B., Uzar, G. ve Turanoğlu, M. A., 2009, ROC (Receiver Operating Characteristic) Eğrisi Yöntemi ile Tanı Testlerinin Performanslarının Değerlendirilmesi, XIII. Öğrenci Sempozyumu, 2009, Ankara. euroscore.org, 2015a, Additive/Logistic EuroSCORE Interactive http://euroscore.org/calc.html, [Ziyaret Tarihi: 22.05.2015]. Calculator, euroscore.org, 2015b, EuroSCORE for Patients, http://www.euroscore.org/patienteuroscore2.html, [Ziyaret Tarihi: 22.05.2015]. euroscore.org, 2015c, What does EuroSCORE mean?, http://www.euroscore.org/what_is_euroscore.htm, [Ziyaret Tarihi: 23.05.2014]. euroscore.org, 2015d, What is euroSCORE ?, http://www.euroscore.org/what_is_euroscore.htm, [Ziyaret Tarihi: 22.05.2015]. euroscore.org, 2015e, What is euroSCORE ? (for http://www.euroscore.org/patient.htm, [Ziyaret Tarihi: 22.05.2015]. patients), 118 EuroSCORE Project Group, 2011, EuroSCORE II, http://www.euroscore.org/calc.html, [Ziyaret Tarihi: 22.05.2015]. Fawcett, T., 2006, An introduction to ROC analysis, Pattern recognition letters, 27 (8), 861–874. Fehrenbacher, D. D., 2013, Design of Incentive Systems: Experimental Approach to Incentive and Sorting Effects, Springer Science & Business Media, ISBN: 9783-642-33599-0. Felkin, M., 2007, Comparing classification results between n-ary and binary problems, Quality Measures in Data Mining, In: Guillet, F. ve Hamilton, H. J. (ed.), Springer, 277–301. Feudtner, C., Hexem, K. R., Shabbout, M., Feinstein, J. A., Sochalski, J. ve Silber, J. H., 2009, Prediction of Pediatric Death in the Year after Hospitalization: A Population-Level Retrospective Cohort Study, Journal of Palliative Medicine, 12 (2), DOI: 10.1089/jpm.2008.0206, 160–169. Flach, P., 2012, Machine Learning: The Art and Science of Algorithms that Make Sense of Data, 1st, Cambridge University Press Glasgow, UK, ISBN: 978-1-10709639-4. Flach, P., 2004, Tutorial on “The Many Faces of ROC Analysis in Machine Learning”, Tutorial Notes, 2004 Banff, Alberta, Canada, ICML 2004, 1–49. Gan, G., 2011, Data Clustering in C++: An Object-Oriented Approach, CRC Press, ISBN: 978-1-4398-6224-7. Geissler, H. J., Hölzl, P., Marohl, S., Kuhn-Régnier, F., Mehlhorn, U., Südkamp, M. ve Vivie, E. R. de, 2000, Risk stratification in heart surgery: comparison of six score systems, European Journal of Cardio-Thoracic Surgery, 17 (4), DOI: 10.1016/S1010-7940(00)00385-7, 400–406. Gelman, A. ve Hill, J., 2006, Missing-data imputation, Data Analysis Using Regression and Multilevel Hierarchical Models, Cambridge University Press (Analytical Methods for Social Research), ISBN: 978-0-511-79094-2. Gingrich, P., 2004, Social Studies 201 Text Introductory Statistics for the Social Sciences Chapter 11 Correlation, http://uregina.ca/~gingrich/corr.pdf, [Ziyaret Tarihi: 02.06.2015]. Glas, A. S., Lijmer, J. G., Prins, M. H., Bonsel, G. J. ve Bossuyt, P. M. M., 2003, The diagnostic odds ratio: a single indicator of test performance, Journal of Clinical Epidemiology, 56 (11), DOI: 10.1016/S0895-4356(03)00177-X, 1129–1135. Gogbashian, A., Sedrakyan, A. ve Treasure, T., 2004, EuroSCORE: a systematic review of international performance, European Journal of Cardio-Thoracic Surgery, 25 (5), DOI: 10.1016/j.ejcts.2004.02.022, 695–700. 119 Grubbs, F. E., 1969, Procedures for detecting outlying observations in samples, Technometrics, 11 (1), 1–21. Guil-Reyes, F. ve Daza-Gonzalez, M. T., 2011, Summarizing frequent itemsets via pignistic transformation, Progress in Artificial Intelligence, Springer, ISBN: 3642-24768-7, 297–310. Gutierrez, R., 2013, Lecture 13: Validation (Intelligent Sensor Systems), http://research.cs.tamu.edu/prism/lectures/iss/iss_l13.pdf, [Ziyaret Tarihi: 24.04.2013]. Hair, J. F., Anderson, R. E., Tatham, R. L. ve William, C., 1998, Multivariate data analysis, 5th Edition, Prentice Hall New Jersey, ISBN: 978-0-13-894858-0. Hal Daumé III 2012, A Course in Machine Learning, http://ciml.info/dl/v0_8/cimlv0_8-ch08.pdf, [Ziyaret Tarihi: 22.09.2014]. Hamel, L., 2009, The Encyclopedia of Data Warehousing and Mining, Model Assessment with ROC Curves., In: Wang, J. (ed.), 2nd Edition, Idea Group Publishers Hershey, PA, 1316–1323. Han, J. ve Kamber, M., 2006, Data mining: concepts and techniques (the Morgan Kaufmann Series in data management systems), 2nd Edition, Morgan Kaufmann Publishers, ISBN: 978-1-55860-901-3. Harmon, M. E. ve Harmon, S. S., 1997, Reinforcement learning: A tutorial, http://www.dtic.mil/cgibin/GetTRDoc?Location=U2&doc=GetTRDoc.pdf&AD=ADA323194, [Ziyaret Tarihi: 09.02.2015]. Harrington, P., 2012, Machine Learning in Action, 1st Edition, Manning Publications Shelter Island, NY, ISBN: 978-1-61729-018-3. Hastie, T., Tibshirani, R. ve Friedman, J., 2008, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd Edition, Springer, ISBN: 0-38784857-6. Hattler, B. G., Madia, C., Johnson, C., Armitage, J. M., Hardesty, R. L., Kormos, R. L., Pham, S. M., Payne, D. N. ve Griffith, B. P., 1994, Risk stratification using the Society of Thoracic Surgeons program, The Annals of thoracic surgery, 58 (5), 1348–1352. Higgins, T. L., Estafanous, F. G., Loop, F. D., Beck, G. J., Blum, J. M. ve Paranandi, L., 1992, Stratification of morbidity and mortality outcome by preoperative risk factors in coronary artery bypass patients: a clinical severity score, Jama, 267 (17), 2344–2348. Hornik, K., Buchta, C. ve Zeileis, A., 2009, Open-Source Machine Learning: R Meets Weka, Computational Statistics, 24 (2), DOI: 10.1007/s00180-008-0119-7, 225–232. 120 Hosmer, D. W., Lemeshow, S. ve Sturdivant, R. X., 2013, Applied logistic regression, Third edition, Wiley Hoboken, New Jersey, (Wiley series in probability and statistics), ISBN: 978-0-470-58247-3. Hothorn, T. ve Zeileis, A., 2015, Partykit: A Modular Toolkit for Recursive Partytioning in R, http://EconPapers.RePEc.org/RePEc:inn:wpaper:2014-10, [Ziyaret Tarihi: 22.05.2015]. Hu, J., 2013, About Data Mining: Basic steps of applying machine learning methods, http://www.aboutdm.com/2013/03/basic-steps-of-applying-machine.html, [Ziyaret Tarihi: 11.02.2015]. Japkowicz, N., 2011, Performance Evaluation for Learning Algorithms, 2011. Jiang, L. ve Li, C., 2010, An empirical study on attribute selection measures in decision tree learning, Journal of Computational Information Systems, 6 (1), 105–112. Joseph, L., 2015a, Confounding and Collinearity in Logistic Regression, http://www.medicine.mcgill.ca/epidemiology/Joseph/courses/EPIB621/logconfound.pdf, [Ziyaret Tarihi: 25.05.2015]. Joseph, L., 2015b, Goodness of Fit in http://www.medicine.mcgill.ca/epidemiology/joseph/, 02.06.2015]. Logistic Regression, [Ziyaret Tarihi: Justan, M. P., 2002, Integrating Real Medical Studies into Teaching Biostatistics, Conference Proceedings, 2002, Greece. Karabulut, E. ve Alpar, R., 2011, Lojistik Regresyon, Uygulamalı Çok Değişkenli İstatistiksel Yöntemler, Detay Yayıncılık Ankara, ISBN: 978-605-5437-42-8. Karabulut, H., Toraman, F., Dağdelen, S., Çamur, G. ve Alhan, C., 2001, EuroSCORE (European System for Cardiac Operative Risk Evaluation) Risk Skorlama Sistemi Gerçekçi mi?, Türk Kardiyoloji Derneği Arşivi, 21 (6), 364–367. Karkacier, O., 2013, İyi tarım uygulamaları ve tüketici davranışları (logit regresyon analizi), Journal of Agricultural Faculty of Gaziosmanpasa University, 30 (2013-2), DOI: 10.13002/jafag566, 71–71. Kaufman, L. ve Rousseeuw, P. J., 1990, Finding Groups in Data: An Introduction to Cluster Analysis, John Wiley & Sons, Inc. Hoboken, New Jersey, ISBN: 0471-73578-7. Kazemian, M., Moshiri, B., Palade, V. ve Nikbakht, H., 2010, Using classifier fusion techniques for protein secondary structure prediction, International Journal of Computational Intelligence in Bioinformatics and Systems Biology, 1 (4), 418– 434. Kohavi, R., 1995, A study of cross-validation and bootstrap for accuracy estimation and model selection,1995, 1137–1145. 121 Kohavi, R. ve Quinlan, J. R., 2002, Handbook of Data Mining and Knowledge Discovery, Decision Tree Discovery, In: Klosgen, W. ve Zytkow, J. M. (ed.), Oxford University Press, 267–276. Kotsiantis, S. B., 2007, Supervised machine learning: A review of classification techniques, Informatica, 31 (3), 249–268. Kotsiantis, S. B., Zaharakis, I. D. ve Pintelas, P. E., 2006, Machine learning: a review of classification and combining techniques, Artificial Intelligence Review, 26 (3), DOI: 10.1007/s10462-007-9052-3, 159–190. Kozak, M., 2014, Türkiye Dünya Üçüncüsü, http://www.hurriyet.com.tr/avrupa/27505656.asp, [Ziyaret Tarihi: 30.05.2015]. Lafuente, S., Trilla, A., Bruni, L., González, R., Bertrán, M. J., Pomar, J. L. ve Asenjo, M. A., 2008, Validation of the EuroSCORE Probabilistic Model in Patients Undergoing Coronary Bypass Grafting, Revista Española de Cardiología (English Edition), 61 (6), DOI: 10.1016/S1885-5857(08)60182-6, 589–594. Langley, P., 1996, Elements of machine learning, Morgan Kaufmann, ISBN: 1-55860301-8. Lele, S. R., Keim, J. L. ve Solymos, P., 2014, ResourceSelection: Resource Selection (Probability) Functions for Use-Availability Data, http://CRAN.Rproject.org/package=ResourceSelection, [Ziyaret Tarihi: 02.06.2015]. Lichman, M., 2013, UCI Machine Learning Repository, http://archive.ics.uci.edu/ml, [Ziyaret Tarihi: 02.06.2015]. Lippmann, R. P., Kukolich, L. ve Shahian, D., 1995, Predicting the risk of complications in coronary artery bypass operations using neural networks, Advances in neural information processing systems, 1995, 1055–1062. Mannan, S., 2005, Lees’ Loss Prevention in the Process Industries: Hazard Identification, Assessment and Control, Butterworth-Heinemann, ISBN: 978-008-048933-9. De Mantaras, R. L., Cerquides, J. ve Garcia, P., 1998, Comparing information-theoretic attribute selection measures: a statistical approach, AI Communications, 11 (2), 91–100. Martinasek, Z., Hajny, J. ve Malina, L., 2014, Optimization of power analysis using neural network, Smart Card Research and Advanced Applications, Springer, ISBN: 3-319-08301-5, 94–107. Memiş, G., 2008, Yarı Otomatik Ders Programı Sistemi, Yüksek Lisans Tezi, Başkent Üniversitesi. 122 Meyer, D., Dimitriadou, E., Hornik, K., Weingessel, A. ve Leisch, F., 2014, E1071: Misc Functions of the Department of Statistics (e1071), TU Wien, http://CRAN.R-project.org/package=e1071, [Ziyaret Tarihi: 02.06.2015]. Michel, P., Roques, F. ve Nashef, S. A. M., 2003, Logistic or additive EuroSCORE for high-risk patients?, European Journal of Cardio-Thoracic Surgery, 23 (5), DOI: 10.1016/S1010-7940(03)00074-5, 684–687. Mitchell, T. M., 1997, Machine Learning, 1st Science/Engineering/Math, ISBN: 0-07-042807-7. Edition, McGraw-Hill Mohri, M., Rostamizadeh, A. ve Talwalkar, A., 2012, Foundations of Machine Learning, The MIT Press, ISBN: 0-262-01825-X. Mukkamala, R., 2013, Evaluating a classification model–What does precision and recall tell me?, http://www.cs.odu.edu/~mukka/cs495s13/Lecturenotes/Chapter5/recallprecision. pdf, [Ziyaret Tarihi: 02.06.2015]. Murphy, K. P., 2012, Machine Learning: A Probabilistic Perspective, The MIT Press, ISBN: 0-262-01802-0. Müssel, C., Lausser, L., Maucher, M. ve Kestler, H. A., 2012, Multi-Objective Parameter Selection for Classifiers, Journal of Statistical Software, 46 (5), 1– 27. Nashef, S. A. M., Roques, F., Hammill, B. G., Peterson, E. D., Michel, P., Grover, F. L., Wyse, R. K. H. ve Ferguson, T. B., 2002, Validation of European System for Cardiac Operative Risk Evaluation (EuroSCORE) in North American cardiac surgery, European Journal of Cardio-Thoracic Surgery, 22 (1), DOI: 10.1016/S1010-7940(02)00208-7, 101–105. Nashef, S. A. M., Roques, F., Michel, P., Gauducheau, E., Lemeshow, S. ve Salamon, R., 1999, European system for cardiac operative risk evaluation (EuroSCORE), European journal of cardio-thoracic surgery, 16 (1), 9–13. Nguyen, Q. N., 2008, Machine Learning: Algorithms and Applications, http://www.inf.unibz.it/~qnhatnguyen/mlearning/slides/Evaluation.pdf, [Ziyaret Tarihi: 02.06.2015]. Nikolic, A., 2015, Euro SCORE as a Predictor of Extended Intensive Care Unit Stay After Cardiac Surgery, Razavi International Journal of Medicine, 3 (1), 1–3. Nilsson, N. J., 2009, The quest for artificial intelligence: a history of ideas and achievements, Cambridge University Press Cambridge; New York, ISBN: 9780-521-12293-1. Nizam, H. ve Akın, S. S., 2014, Sosyal Medyada Makine Öğrenmesi ile Duygu Analizinde Dengeli ve Dengesiz Veri Setlerinin Performanslarının Karşılaştırılması, 2014, İzmir. 123 Nordman, A., 2011, Data Mining Lecture 6: Evaluating the performance of a model, http://staffwww.itn.liu.se/~aidvi/courses/06/dm/lectures/lec6.pdf, [Ziyaret Tarihi: 02.06.2015]. Nouei, M. T., Kamyad, A. V., Sarzaeem, M. ve Ghazalbash, S., 2014, Developing a Genetic Fuzzy System for Risk Assessment of Mortality After Cardiac Surgery, Journal of Medical Systems, 38 (10), DOI: 10.1007/s10916-014-0102-5, 1–9. O’Halloran, S., 2008, Lecture 10. Logistical regression II. Multinomial data, http://www.columbia.edu/~so33/SusDev/Lecture_10.pdf, [Ziyaret Tarihi: 25.05.2015]. Okutan, H., Yavuz, T., Peker, O., Tenekeci, C., Düver, H., Öcal, A., İbrişim, E. ve Kutsal, A., 2002, Kliniğimizde ameliyat olan hastalarda Euroscore (European System for Cardiac Operative Risk Evaluation) risk skorlama sistemine göre sonuçlar, Türk Göğüs Kalp Damar Cer Derg, 10 , 201–205. Olson, D. L. ve Delen, D., 2008, Advanced Data Mining Techniques, Springer Science & Business Media, ISBN: 978-3-540-76917-0. Olsson, F., 2009, A literature survey of active machine learning in the context of natural language processing, (Teknik Nr. T2009: 06), Swedish Institute of Computer Science (1100-3154). Osswald, B. R., Gegouskov, V., Badowski-Zyla, D., Tochtermann, U., Thomas, G., Hagl, S. ve Blackstone, E. H., 2009, Overestimation of aortic valve replacement risk by EuroSCORE: implications for percutaneous valve replacement, European Heart Journal, 30 (1), DOI: 10.1093/eurheartj/ehn523, 74–80. Özkan, Y., 2008, Veri madenciliği yöntemleri, Papatya Yayıncılık Eğitim, ISBN: 978975-6797-82-2. Page, D., 2015, Evaluating Machine-Learning http://pages.cs.wisc.edu/~dpage/cs760/evaluating.pdf, [Ziyaret 02.06.2015]. Methods, Tarihi: Parikh, R., Parikh, S., Arun, E. ve Thomas, R., 2009, Likelihood ratios: Clinical application in day-to-day practice, Indian Journal of Ophthalmology, 57 (3), DOI: 10.4103/0301-4738.49397, 217–221. Parsonnet, V., Dean, D. ve Bernstein, A. D., 1989, A method of uniform stratification of risk for evaluating the results of surgery in acquired adult heart disease, Circulation, 79 , 3–12. Pons, J. M., Granados, A., Espinas, J. A., Borras, J. M., Martin, I. ve Moreno, V., 1997, Assessing open heart surgery mortality in Catalonia (Spain) through a predictive risk model., European journal of cardio-thoracic surgery: official journal of the European Association for Cardio-thoracic Surgery, 11 (3), 415–423. 124 Quinlan, J. R., 1996, Improved use of continuous attributes in C4. 5, Journal of artificial intelligence research, 4, 77–90. Rahman, M. M. ve Davis, D. N., 2013, Machine Learning-Based Missing Value Imputation Method for Clinical Datasets, IAENG Transactions on Engineering Technologies, In: Yang, G.-C. ve diğ. (ed.), Springer Netherlands (Lecture Notes in Electrical Engineering), ISBN: 978-94-007-6189-6, 245–257. Rai, P., 2011, Model Selection and Feature Selection (CS5350/6350: Machine Learning), http://www.cs.utah.edu/~piyush/teaching/22-9-print.pdf, [Ziyaret Tarihi: 02.06.2015]. Rajeev, S., 2013, Research Developments in Computer Vision and Image Processing: Methodologies and Applications: Methodologies and Applications, IGI Global, ISBN: 978-1-4666-4559-2. Rana, S., Gupta, S., Phung, D. ve Venkatesh, S., 2015, A predictive framework for modeling healthcare data with evolving clinical interventions: A Predictive Framework for Modeling Healthcare Data with Evolving Clinical Interventions, Statistical Analysis and Data Mining, DOI: 10.1002/sam.11262, n/a–n/a. Refaeilzadeh, P., Tang, L. ve Liu, H., 2009, Cross-validation, Encyclopedia of database systems, Springer, 532–538. Remesan, R. ve Mathew, J., 2014, Hydrological Data Driven Modelling: A Case Study Approach, Springer, ISBN: 978-3-319-09235-5. Ripley, B. ve Lapsley, M., 2014, RODBC: ODBC Database Access, http://CRAN.Rproject.org/package=RODBC, [Ziyaret Tarihi: 02.06.2015]. Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C. ve Müller, M., 2011, PROC: an open-source package for R and S+ to analyze and compare ROC curves, BMC Bioinformatics, 12 , 77. Rogers, S. ve Girolami, M., 2011, A First Course in Machine Learning, CRC Press, ISBN: 978-1-4398-2414-6. Roques, F., Gabrielle, F., Michel, P., De Vincentiis, C., David, M. ve Baudet, E., 1995, Quality of care in adult heart surgery: proposal for a self-assessment approach based on a French multicenter study, European journal of cardio-thoracic surgery, 9 (8), 433–440. Roques, F., Michel, P., Goldstone, A. R. ve Nashef, S. A., 2003, The logistic EuroSCORE, European Heart Journal, 24 (9), DOI: 10.1016/S0195668X(02)00799-6, 882–3. Roques, F., Nashef, S. A. M., Michel, P., Gauducheau, E., de Vincentiis, C., Baudet, E., Cortina, J., David, M., Faichney, A., Gabrielle, F., Gams, E., Harjula, A., Jones, M. T., Pintor, P. P., Salamon, R. ve Thulin, L., 1999, Risk factors and outcome in European cardiac surgery: analysis of the EuroSCORE multinational database 125 of 19030 patients, European Journal of Cardio-Thoracic Surgery: Official Journal of the European Association for Cardio-Thoracic Surgery, 15 (6), 816– 822; discussion 822–823. Roques, F., Nashef, S. a. M., Michel, P., Pintor, P. P., David, M., Baudet, E. ve Group, T. E. S., 2000, Does EuroSCORE work in individual European countries?, European Journal of Cardio-Thoracic Surgery, 18 (1), DOI: 10.1016/S10107940(00)00417-6, 27–30. Rossi, J. J., 2007, MicroRNA Methods, Academic Press, ISBN: 978-0-08-055139-5. r-project, 2014, The R Project for Statistical Computing, http://www.r-project.org/, [Ziyaret Tarihi: 10.11.2014]. RStudio, 2015a, Home 28.05.2015]. - RStudio, http://www.rstudio.com/, [Ziyaret Tarihi: RStudio, 2015b, Shiny, http://shiny.rstudio.com/, [Ziyaret Tarihi: 31.05.2015]. RStudio, 2015c, Shinyapps.io, https://www.shinyapps.io/, [Ziyaret Tarihi: 02.06.2015]. Sağlık Bakanlığı Temel Sağlık Hizmetleri Genel Müdürlüğü 2008, Kalp ve damar hastalıklarını önleme ve kontrol programı: risk faktörlerine yönelik plan ve eylem planı. Sağlık Bakanlığı Temel Sağlık Hizmetleri Genel Müdürlüğü Ankara, ISBN: 978-975-590-259-3. Saharidis, G. K. D., Androulakis, I. P. ve Ierapetritou, M. G., 2011, Model building using bi-level optimization, Journal of Global Optimization, 49 (1), DOI: 10.1007/s10898-010-9533-9, 49–67. Schapire, R., 2008, COS 511: Theoretical Machine Learning, http://www.cs.princeton.edu/courses/archive/spr08/cos511/scribe_notes/0204.pd f, [Ziyaret Tarihi: 22.04.2013]. Scott, F.-R., 2012, Understanding the Bias-Variance Tradeoff, http://scott.fortmannroe.com/docs/BiasVariance.html, [Ziyaret Tarihi: 21.05.2015]. Settles, B., 2010, Active learning literature survey, (Teknik Nr. 1648), Computer Sciences, University of Wisconsin–Madison. Shalev-Shwartz, S., 2007, Online learning: Theory, algorithms, and applications, Doktora, Hebrew University. Al Sharif, A., 2015, Modern Statistical Learning Methods, http://www.alsharif.info/#!iom530/c21o7, [Ziyaret Tarihi: 06.07.2015]. Shearer, C., 2000, The CRISP-DM model: the new blueprint for data mining, Journal of data warehousing, 5 (4), 13–22. 126 Simon, H. A., 1984, Why should machines learn?, Machine learning: An artificial intelligence approach, In: Michalski, R. S. ve diğ. (ed.), Springer, ISBN: 978-3662-12405-5, 25–37. Sokolova, M. ve Lapalme, G., 2009, A systematic analysis of performance measures for classification tasks, Information Processing & Management, 45 (4), 427–437. Somasundaram, R. S. ve Nedunchezhian, R., 2011, Evaluation of three simple imputation methods for enhancing preprocessing of data with missing values, International Journal of Computer Applications, Vol21, (10). Statistics Solutions, 2015, Assumptions of Logistic Regression, http://www.statisticssolutions.com/assumptions-of-logistic-regression/, [Ziyaret Tarihi: 25.05.2015]. Steyerberg, E. W., 2008, Clinical Prediction Models: A Practical Approach to Development, Validation, and Updating, Springer Science & Business Media, ISBN: 978-0-387-77244-8. Stiglic, G., Kocbek, S., Pernek, I. ve Kokol, P., 2012, Comprehensive decision tree models in bioinformatics, PloS one, 7 (3), 1–13. Suthar, B., Patel, H. ve Goswami, A., 2012, A Survey: Classification of Imputation Methods in Data Mining, International Journal of Emerging Technology and Advanced Engineering, 2 (1). Sutton, R. S. ve Barto, A. G., 1998, Reinforcement Learning: An Introduction, 1st Edition, MIT press Cambridge, MA,. T.C. Sosyal Güvenlik Kurumu, 2014, Sosyal Güvenlik Kurumu Sağlık Uygulama Tebliği (22.10.2014 Değişiklik Tebliği İşlenmiş Güncel 2013 SUT), http://www.sgk.gov.tr/wps/portal/tr/mevzuat/yururlukteki_mevzuat/tebligler, [Ziyaret Tarihi: 11.06.2014]. Topuz, D. ve Çakır, M., 2003, Lojistik Regresyon Analiz Tekniğinin Eğitim Bilimleri Araştırmalarında Uygulanabilirliği İle İlgili Bir Araştırma, Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 3 (2). Toumpoulis, I. K., Anagnostopoulos, C. E., Toumpoulis, S. K., DeRose Jr, J. J. ve Swistel, D. G., 2005, EuroSCORE predicts long-term mortality after heart valve surgery, The Annals of thoracic surgery, 79 (6), 1902–1908. Tremblay, N. A., Hardy, J.-F., Perrault, J. ve Carrier, M., 1993, A simple classification of the risk in cardiac surgery: the first decade, Canadian journal of anaesthesia, 40 (2), 103–111. Tu, J. V., Jaglal, S. B. ve Naylor, C. D., 1995, Multicenter validation of a risk index for mortality, intensive care unit stay, and overall hospital length of stay after cardiac surgery, Circulation, 91 (3), 677–684. 127 Tu, J. V., Weinstein, M. C., McNeil, B. J. ve Naylor, C. D., 1997, Predicting mortality after coronary artery bypass surgery: what do artificial neural networks learn? The Steering Committee of the Cardiac Care Network of Ontario., Medical decision making: an international journal of the Society for Medical Decision Making, 18 (2), 229–235. Tunca, A., 2008, Predicting Risk of Mortality in Patients Undergoing Cardiovascular Surgery, Master of Science Thesis, Bilkent University. Tu, Y. K., Kellett, M., Clerehugh, V. ve Gilthorpe, M. S., 2005, Problems of correlations between explanatory variables in multiple regression analyses in the dental literature, British Dental Journal, 199 (7), DOI: 10.1038/sj.bdj.4812743, 457–461. TÜİK, 2014, Ölüm Nedeni İstatistikleri, http://www.tuik.gov.tr/PreHaberBultenleri.do?id=16162, [Ziyaret 19.05.2014]. 2013, Tarihi: Türk Dil Kurumu, 2015, Öğrenmek, http://www.tdk.gov.tr/, [Ziyaret Tarihi: 09.06.2015]. UCLA: Statistical Consulting Group, 2013, R Data Analysis Examples: Logit Regression, http://www.ats.ucla.edu/stat/r/dae/logit.htm, [Ziyaret Tarihi: 22.05.2015]. Ulutürk Akman, S., 2004, Tüketicilerin Fiyat Bilinci Üzerinde Etkili Olan Faktörlere İlişkin Bir İnceleme, Maliye Araştırma Merkezi Konferansları, (46), 129. University of Strathclyde, 2015, Goodness of Fit Measures, http://www.strath.ac.uk/aer/materials/5furtherquantitativeresearchdesignandanal ysis/unit6/goodnessoffitmeasures/, [Ziyaret Tarihi: 26.05.2015]. Vellido, A., Martin-Guerrero, J. D. ve Lisboa, P. J. G., 2012, Making machine learning models interpretable,2012 Louvain-La-Neuve, I6doc.com, ISBN: 978-2-87419049-0. Wei, B., Yang, F., Wang, X. ve Ge, Y., 2012, KnnGarden: Multi-distance based kNearest Neighbors, http://CRAN.R-project.org/package=knnGarden, [Ziyaret Tarihi: 02.06.2015]. Williamson, P., 2013, Crosstab Function, http://pcwww.liv.ac.uk/~william/R/crosstab.r, [Ziyaret Tarihi: 22.05.2015]. Witten, I. H. ve Frank, E., 2006, Data Mining: Practical Machine Learning Tools and Techniques, 2nd Edition, Morgan Kaufmann San Francisco,. Witten, I. H., Frank, E. ve Hall, M. A., 2011, Data Mining: Practical Machine Learning Tools and Techniques, Third Edition, 3, Morgan Kaufmann, ISBN: 0-12374856-9. 128 Wuensch, K. L., 2015, Binary Logistic Regression with SPSS, http://core.ecu.edu/psyc/wuenschk/mv/multreg/logistic-spss.pdf, [Ziyaret Tarihi: 28.05.2015]. Xia, F., 2013, K nearest neighbor, http://courses.washington.edu/ling572/winter2013/slides/class4_kNN.pdf, [Ziyaret Tarihi: 26.04.2015]. Yap, C.-H., Reid, C., Yii, M., Rowland, M. A., Mohajeri, M., Skillington, P. D., Seevanayagam, S. ve Smith, J. A., 2006, Validation of the EuroSCORE model in Australia, European Journal of Cardio-Thoracic Surgery, 29 (4), DOI: 10.1016/j.ejcts.2005.12.046, 441–446. Zhang, X., 2014, Machine Learning: Model Selection, https://www.lri.fr/~xlzhang/KAUST/CS229_slides/c14_model_selection.pdf, [Ziyaret Tarihi: 02.06.2015]. Zhang, Y., 2011, Active Learning, https://www.cs.cmu.edu/~tom/10701_sp11/recitations/Recitation_13.pdf, [Ziyaret Tarihi: 02.06.2015]. 129 EKLER Naive Bayes Algoritmasının Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Uygulandığı R kodu. 1 # Naive Bayes Algoritmasının Tabakalı 10-Kat Çapraz Geçerleme Kullanılarak Uygulanması 2 3 library(e1071) # Naive Bayes algoritmasını içeren kütüphane 4 library(TunePareto) # Tabakali 10-kat çapraz geçerleme için gerekli kütüphane 5 6 # Excelden veri okunur 7 library(xlsx) 8 library(RODBC) 9 dosyaYolu <- odbcConnectExcel2007("C:/Users/elif/Desktop/norm_mixed_euSCR.xlsx") 10 euroSCORE <- sqlFetch(dosyaYolu,"Sheet1") 11 12 # Naive Bayes algoritması için yaş, serum kreatinin, sol ventrikül disfonksiyonu ve pulmoner hipertansiyon niteliklerinin dışındaki tüm nitelikler Factor tipine dönüştürülür 13 for(r in 1:17) 14 { 15 if(r == 1 || r == 7 || r == 11 || r == 13) 16 next 17 else 18 euSCR[[r]] <- as.factor(euSCR[[r]]) 19 } 20 21 remove(r) 22 23 # Elde edilen tüm sonuçların text dosyasına yazdırılabilmesi için sink() kullanılır 24 sink("nb_10kat.txt") 25 print("Veri setinin özeti") 26 print(summary(euSCR)) 27 print(paste0("Tüm analize başlama zamanı: ", Sys.time())) 28 29 # generateCVRuns() fonksiyonu veri setindeki hedef niteliği, çapraz geçerlemenin kaç kez tekrarlanacağını, çapraz geçerleme sayısını, 30 # Leave One Out Çapraz Geçerleme (LOOCV) yapılıp yapılmayacağı, tabakalı örnekleme yapılıp yapılmayacağı bilgilerini alarak çapraz geçerleme için veri setini parçalara ayırır 31 set.seed(1) 32 cgKatlar <- generateCVRuns(euSCR$Risk, ntimes = 1, nfold = 10, leaveOneOut = FALSE, stratified = TRUE) 33 cgKatSayisi <- 10; 34 35 gercekSinifDegerleri <- cgKatlar[1:10] 36 tahminEdilenSiniflar <- NULL 37 katSonuclari <- NULL 38 39 # Çapraz geçerlemede bulunan kat sayısı kadar (10) Naive Bayes algoritması ile uygulama yapılır 40 start.time <- Sys.time() 41 for(i in 1:cgKatSayisi){ 42 print(paste("*** Capraz gecerleme - k = ", i)) 43 testKati <- cgKatlar$Run[[i]] 44 print("Test veri seti indisleri") 130 45 print(cgKatlar$Run[[i]]) 46 47 test <- euSCR[testKati,] 48 egitim <- euSCR[-testKati,] 49 50 print("Egitim veri seti sinif degeri dagilimlari: ") 51 print(table(egitim[,17])) 52 print("Test veri seti sinif degeri dagilimlari: ") 53 print(table(test[,17])) 54 55 testNitelikleri <- test[,-17] 56 testSiniflari <- test[[17]] 57 58 gercekSinifDegerleri[[i]] <- testSiniflari 59 60 egitimNitelikleri <- egitim[,-17] 61 egitimClass <- egitim[[17]] 62 63 #Naive Bayes algoritmasının uygulanması 64 euSCR_naiveBayes <- naiveBayes(egitimNitelikleri, egitimClass) 65 tahminEdilenSiniflar[[i]] <- predict(euSCR_naiveBayes, testNitelikleri) 66 67 end.time <- Sys.time() 68 time.taken <- end.time - start.time 69 print(paste0("Kat ", i, "'nin tamamlanmasi icin gecen sure: ", time.taken)) 70 } 71 72 print("***********************************************") 73 print("Gercek Sinif Degerleri:") 74 print(gercekSinifDegerleri) 75 print("Tahmin Edilen Sinif Degerleri:") 76 print(tahminEdilenSiniflar) 77 print("***********************************************") 78 79 #performans ölçülerinin tutalacağı degişkenler tanımlanır 80 { 81 sonuclar <- NULL 82 Accuracy <- NULL 83 errRate <- NULL 84 aveAccuracy <- NULL 85 errorRate <- NULL 86 micRecall <- NULL 87 micSpec <- NULL 88 micYPO <- NULL 89 micYNO <- NULL 90 micPrecision <- NULL 91 micNOD <- NULL 92 micFScore <- NULL 93 micPL <- NULL 94 micNL <- NULL 95 micDOR <- NULL 96 macRecall <- NULL 97 macSpec <- NULL 98 macYPO <- NULL 99 macYNO <- NULL 100 macPrecision <- NULL 101 macNOD <- NULL 102 macFScore <- NULL 131 103 macPL <- NULL 104 macNL <- NULL 105 macDOR <- NULL 106 names <- NULL 107 } 108 109 # Her bir çapraz geçerleme denemesi için edilen model performans değerlendirme ölçüleri hesaplanır 110 111 for(j in 1:cgKatSayisi) 112 { 113 #j<-1 114 print(paste0("Kontenjans Tablosu", " Kat = ", j )) 115 print(table(factor(tahminEdilenSiniflar[[j]], levels=c("yuksek", "dusuk", "orta")), gercekSinifDegerleri[[j]], dnn = c("Tahmin Edilen Siniflar", "Gercek Sinif Degerleri"))) 116 117 # Tüm model performans ölçülerinin elde edilmesini bu amaçla yazılan multiClassPerformance() fonksiyonu sağlamaktadır 118 sonuclar <- multiClassPerformance(trueClass = gercekSinifDegerleri[[j]], predictedClass = factor(tahminEdilenSiniflar[[j]], levels=c("yuksek", "dusuk", "orta"))) 119 120 Accuracy[j] <- sonuclar$Accuracy 121 errRate[j] <- sonuclar$Error_Rate 122 aveAccuracy[j] <- sonuclar$Average_Accuracy 123 errorRate[j] <- sonuclar$Average_Error_Rate 124 micRecall[j] <- sonuclar$mDuyarlilik_Sensitivity_Recall 125 micSpec[j] <- sonuclar$mBelirleyicilik_Specificity 126 micYPO[j] <- sonuclar$mYanlis_Pozitif_Orani_False_Positive_Rate 127 micYNO[j] <- sonuclar$mYanlis_Negatif_Orani_False_Negative_Rate 128 micPrecision[j] <- sonuclar$mKesinlik_Precision 129 micNOD[j] <- sonuclar$mNegatif_Ongoru_Degeri_Negative_Predictive_Value 130 micFScore[j] <- sonuclar$mF_Olcutu_F_score 131 micPL[j] <- sonuclar$mPozitif_Olabilirlik_Orani_Positive_Likelihood_Ratio 132 micNL[j] <- sonuclar$mNegatif_Olabilirlik_Orani_Negative_Likelihood_Ratio 133 micDOR[j] <- sonuclar$mTanisal_Ustunluk_Orani_DOR 134 135 macRecall[j] <- sonuclar$Duyarlilik_Sensitivity_Recall 136 macSpec[j] <- sonuclar$Belirleyicilik_Specificity 137 macYPO[j] <- sonuclar$Yanlis_Pozitif_Orani_False_Positive_Rate 138 macYNO[j] <- sonuclar$Yanlis_Negatif_Orani_False_Negative_Rate 139 macPrecision[j] <- sonuclar$Kesinlik_Precision 140 macNOD[j] <- sonuclar$Negatif_Ongoru_Degeri_Negative_Predictive_Value 141 macFScore[j] <- sonuclar$F_Olcutu_F_score 142 macPL[j] <- sonuclar$Pozitif_Olabilirlik_Orani_Positive_Likelihood_Ratio 143 macNL[j] <- sonuclar$Negatif_Olabilirlik_Orani_Negative_Likelihood_Ratio 144 macDOR[j] <- sonuclar$Tanisal_Ustunluk_Orani_DOR 145 146 print("***********************************************") 147 148 } 149 150 katSonuclari<-rbind(katSonuclari, Accuracy) 151 katSonuclari<-rbind(katSonuclari, errRate) 152 katSonuclari<-rbind(katSonuclari, aveAccuracy) 153 katSonuclari<-rbind(katSonuclari, errorRate) 154 katSonuclari<-rbind(katSonuclari, micRecall) 155 katSonuclari<-rbind(katSonuclari, micSpec) 156 katSonuclari<-rbind(katSonuclari, micYPO) 132 157 katSonuclari<-rbind(katSonuclari, micYNO) 158 katSonuclari<-rbind(katSonuclari, micPrecision) 159 katSonuclari<-rbind(katSonuclari, micNOD) 160 katSonuclari<-rbind(katSonuclari, micFScore) 161 katSonuclari<-rbind(katSonuclari, micPL) 162 katSonuclari<-rbind(katSonuclari, micNL) 163 katSonuclari<-rbind(katSonuclari, micDOR) 164 katSonuclari<-rbind(katSonuclari, macRecall) 165 katSonuclari<-rbind(katSonuclari, macSpec) 166 katSonuclari<-rbind(katSonuclari, macYPO) 167 katSonuclari<-rbind(katSonuclari, macYNO) 168 katSonuclari<-rbind(katSonuclari, macPrecision) 169 katSonuclari<-rbind(katSonuclari, macNOD) 170 katSonuclari<-rbind(katSonuclari, macFScore) 171 katSonuclari<-rbind(katSonuclari, macPL) 172 katSonuclari<-rbind(katSonuclari, macNL) 173 katSonuclari<-rbind(katSonuclari, macDOR) 174 dimnames(katSonuclari) <- list(c("Accuracy", "errRate", "aveAccuracy", "errorRate", "micRecall", "micSpec", "micYPO", "micYNO", "micPrecision", "micNOD", "micFScore", "micPL", "micNL", "micDOR", "macRecall", "macSpec", "macYPO", "macYNO", "macPrecision", "macNOD", "macFScore", "macPL", "macNL", "macDOR"), c("Kat1", "Kat2", "Kat3", "Kat4","Kat5","Kat6", "Kat7", "Kat8", "Kat9", "Kat10")) 175 print(format(katSonuclari,scientific = FALSE)) 176 177 ortalamalar<-NULL 178 ortalamalar <- data.frame(dog = mean(Accuracy), ho = mean(errRate), oDog = mean(aveAccuracy), oHo = mean(errorRate), mDuy = mean(micRecall), mBel = mean(micSpec), mYPO = mean(micYPO), mYNO = mean(micYNO), mPOD = mean(micPrecision), mNOD = mean(micNOD), mDOR = mean(micDOR), mF = mean(micFScore), mPOO = mean(micPL), mNOO = mean(micNL), MDuy = mean(macRecall), MBel = mean(macSpec), MYPO = mean(macYPO), MYNO = mean(macYNO), MPOD = mean(macPrecision), MNOD = mean(macNOD), MF = mean(macFScore), MPOO = mean(macPL), MNOO = mean(macNL), MDOR = mean(macDOR)) 179 180 print("ortalamalar") 181 print(format(ortalamalar, scientific = FALSE)) 182 transpoze_ortalamalar <- t(ortalamalar) 183 print(paste0("Analizin bitis zamani: ", Sys.time())) 184 sink() 133 ÖZGEÇMİŞ Kişisel Bilgiler Adı Soyadı Elif KARTAL Uyruğu T.C. Doğum tarihi, Yeri 01.12.1986, Sakarya Telefon 0212 440 00 00 - 11545 E-mail elifk@istanbul.edu.tr Web adres elifkartal.com Eğitim Derece Kurum/Anabilim Dalı/Programı Yılı Doktora İ.Ü. Fen Bilimleri Enstitüsü / Enformatik / Enformatik 2015 Yüksek Lisans İ.Ü. Fen Bilimleri Enstitüsü / Enformatik / Enformatik 2011 Lisans İ.Ü. Fen Fakültesi / Matematik / Lisans 2008 Lise Sakarya Anadolu Lisesi 2004 Makaleler / Bildiriler Makaleler: Koçoğlu Bakioğlu F.Ö., Kartal E., Özen Z., Erol Ç., Gülseçen S., (2015). Aspects Of Students About Information Technology Courses In Social Science, Procedia - Social and Behavioral Sciences, vol.176, pp.148-154. Balaban, M. E., & Kartal, E. (2014). A Roadmap to Implement Rapid Transition as a Proposal of e-Learning Model: International Journal of E-Adoption, 6(2), 46–62. 134 http://doi.org/10.4018/ijea.2014070104. Kartal Karataş, E., Özen Z., Üstünkaya, M.E., Zaim Gökbay, İ., Yarman, B.S., (2013). Organizasyonlarda İçerik Yönetim Sistemi Seçimi İçin Bir Karar Destek Sistemi Geliştirilmesi (Developing A Decision Support System To Select Content Management System In Organizations). ÖNERİ: Marmara Üniversitesi Sosyal Bilimler Enstitüsü Hakemli Dergisi, 10, 155-162. Gülseçen, S., Ayvaz Reis, Z., Selçukcan Erol, Ç., Kartal Karataş, E., Gezer, M., Şimşek, İ., Asaadi, Y., Derelioğlu, Y., Yıldırım, K., Gürsul, F., Mutlu, D., Şişman, B., Özen, Z., (2012). Teaching computer programming online or face to face: a quantitative study. Global Journal on Technology, 1, 1093-1099. Selçukcan Erol, Ç., Kartal Karataş, E., Özen, Z., Gülseçen, S., (2012). Cloud Computing and Some Scenarios for its Application in Universities (Облачные вычисления и несколько сценариев их применения во вселенной), European Researcher, 30(9-3), 1515-1526. Gülseçen, S., Kartal Karataş, E., Koçoğlu, F. Ö., (2012). Can Geogebra Make Easier The Understanding Of Cartesian Co-Ordinates? A Quantitative Study in Turkey. 3rd International Journal on New Trends in Education and Their Implications, 4(3), 19-29. Karslı, A., Gürsul, F., Kartal, E., (2009). Nitel Araştırma: Avukatların Ulusal Yargı Ağı Projesi (UYAP) Uygulama Yazılımına İlişkin Görüşleri. Legal Hukuk Dergisi, 7(82), 31233133. Bildiriler: Kartal, E., Balaban, M.E., (2014). Distance Learning in Turkey and a Proposal of Organizational Model for Distance Learning. In Proceedings Book of The 5th International Conference on Innovations in Learning for the Future 2014: e-Learning, İstanbul University, İstanbul, Turkey, in press. Sharma, S.K., Gülseçen, S., Özen, Z., Kartal, E., (2014). Assessing E-Learning Readiness of Learners in Turkey. In Proceedings Book of The 5th International Future-Learning Conference on Innovations in Learning for the Future 2014: e-Learning. İstanbul University, İstanbul, Turkey, in press. Sharma, S.K., Gülseçen, S., Özen, Z., Kartal, E., (2014). Assessing E-Learning Readiness of Instructors in Turkey. In Proceedings Book of The 5th International Future-Learning Conference on Innovations in Learning for the Future 2014: e-Learning. İstanbul University, İstanbul, Turkey, in press. Özen, Z., Kartal, E., Selçukcan Erol, Ç. and Koçoğlu, F. Ö., (2014). Bilgi Ekonomisi Üzerine Bir Çalışma. In Proceedings Book of 17th Akademik Bilişim Conference. Mersin University, Mersin, Turkey, in press. Özen, Z., Kartal, E., Selçukcan Erol, Ç. and Selçukcan Büyükkutlu, F., (2013). Kalp Hastalarının Sağlık Bilgisine Erişmede İnternet Kullanımı. In Proceedings Book of 18th Türkiye’de İnternet Conference. İstanbul, Turkey in press. Selçukcan Erol, Ç., Koçoğlu, Ö., Özen, Z. ve Kartal, E., (2013). Kamu Kurumlarında Elektronik İmza Hakkında Karşılaştırmalı Bir Çalışma. In Proceedings Book of 6th International Conference on Information Security and Cryptology. METU, Ankara, Turkey, ISBN: 978-605-86904-1-7, p.111-115. Ecevit Satı, Z., Kartal Karataş, E., Özen, Z., Koçoğlu, F. Ö., Selçukcan Erol, Ç., (2012). EÜniversite’ye Yolculuk. In Proceedings Book of 15th Akademik Bilişim Conference, Akdeniz University, Antalya, in press. Balaban, M. E., Kartal Karataş, E., (2012). Roadmap to Implement Rapid Transition as a 135 Proposal of e-Learning Model. In Proceeding Book of The 4th International Conference on Innovations in Learning for the Future 2012: e-Learning (pp. 464-484). İstanbul University, İstanbul, Turkey. Ecevit Satı, Z., Özen, Z., Koçoğlu, F. Ö., Kartal Karataş, E., Selçukcan Erol, Ç., (2012). Yerel Yönetimlerde E-Devlet Uygulamaları: İstanbul İli ve Belediye Yönetimlerinde Kullanılan EDevlet Hizmetlerinin Değerlendirilmesi. In Proceedings Book of 6th İstanbul Bilişim Congress (pp. 61-75). Bahçeşehir University, Beşiktaş, İstanbul, Turkey. Ecevit Satı, Z., Kartal Karataş, E., (2012). The Evaluating of Innovation Studies (Efforts) at Higher Education System in Turkey and Developing an Innovation Guideline for Universities, In Proceeding Book of The 8th International Conference on IT Applications and Management. Yıldız Technical University, İstanbul, Turkey. Kartal Karataş, E., Selçukcan Erol, Ç., Gülseçen, S., (2012). Türkçeleştirebilişim, In Proceedings Book of 14th Akademik Bilişim Conference (pp. 407-414). Uşak University, Uşak, Turkey. Uğraş, T., Ayvaz Reis, Z., Kartal Karataş, E. (2011). Bir Online Anket Sistemi İçin Yol Haritası. In Proceedings Book of XIII. Akademik Bilişim Conference (pp. 371-378). İnönü University, Malatya, Turkey. Satman, G., Ayvaz Reis, Z., Kartal Karataş, E. (2011). Online Ödev Teslim Süreci Uygulaması. In Proceedings Book of 13th Akademik Bilişim Conference (pp. 737-740). İnönü University, Malatya, Turkey. Gülseçen, S., Ayvaz Reis, Z., Kabaca, T., Kartal, E. (2010). Reflections on the First Eurasia Meeting of GeoGebra: Experiences met on where continents meet, First North American GeoGebra Conference. Ithaca College, Ithaca, NY, USA. Çankırı, S., Kartal, E., Yıldırım, K., Gülseçen, S. (2009). Organizasyonlarda bilgi yönetimi sürecinde veri madenciliği yaklaşımı, Proceedings Book of ÜNAK’09 Bilgi Çağında Varoluş: “Fırsatlar ve Tehditler” (pp. 148-168). Yeditepe University, İstanbul, Turkey. Ayvaz Reis, Z., Kartal, E., Çelik, S., Özcan, P. (2009). Bir Harmanlanmış Öğrenme Yöntemi Eğitim Aracı: Podcast, In Proceedings Book of 3rd İstanbul Bilişim Congress: Yönetişim (pp. 25-33). Marmara University, İstanbul, Turkey. Kartal, E., Yazıcı, S., Ayvaz Reis, Z., Selçukcan Erol, Ç. (2009). Etkin Müşteri Hizmetleri için Müşteri Bilgilendirme E-Öğrenme Portalı Önerisi, In Proceedings Book of 11th Akademik Bilişim Conference (pp. 497-501). Harran University, Urfa, Turkey.