Karar Ağaçlari ile Topluluk Öğrenme Algoritmaları (Rastgele Orman) Teori ve Uygulaması

İçindekiler

Önsöz ............................................................................................................................ III

İçindekiler...................................................................................................................... V

1. BÖLÜM

Veri Madenciliği

1.1. Veri Madenciliği Tanımı ve Veri Tabanlarında Bilgi Keşfi ....................................1

1.2. Veri Madenciliğinin Uygulandığı Veri Tabanları ...................................................4

1.2.1. İlişkisel Veri Tabanları (Relational Databases) .............................................4

1.2.3. İşlemsel Veri Tabanları (Transactional Databases) .......................................5

1.2.4. Gelişmiş Veri Tabanı Sistemleri ve Uygulamaları (Advanced Database Systems And Applications) .....................5

1.3. Veri Madenciliği Modelleri .....................................................................................5

1.3.1. Sınıflama ve Regresyon Modelleri ................................................................6

1.3.2. Kümeleme Modelleri.....................................................................................7

1.3.3. Birliktelik Kuralları ve Ardışık Zamanlı Örüntüler (İlişkilendirme Analizi) .....................8

2. BÖLÜM

Yeniden Örnekleme Metotları

2.1. Çapraz Doğrulama (Cross-Validation) ....................................................................9

2.1.1. Doğrulama Kümesi Yaklaşımı (Validation Set Approach) ......................... 10

2.1.2. Tek-Çıkışlı Çapraz Doğrulama (Leave-One-Out Cross-Validation) ........... 11

2.1.3. K-Katmanlı Çapraz Doğrulama (K-Fold Cross-Validation) ....................... 12

2.2. Bootstrap ............................................................................................................... 13

3. BÖLÜM

Karar Ağaçları

3.1. Karar Ağacı Algoritmaları ..................................................................................... 18

3.1.1. ID3 Algoritması (Iterative Dichotomiser 3) ................................................ 18

3.1.2. C4.5 Algoritması ......................................................................................... 19

3.1.3. Sınıfladırma ve Regresyon Ağaçları (Clasification and Regression Tree - CART) .................... 20

3.2. Sınıflandırma Ağaçları Bölünme Kriterleri ........................................................... 23

3.2.1. Entropi (Entropy) ....................................................................................... 23

3.2.2 Bilgi Kazancı (Information Gain) ................................................................ 25

3.2.3 Bilgi Kazanç Oranı (Information Gain Ratio) .............................................. 25

3.2.4 Gini Endeksi (Gini Index) ............................................................................ 26

3.3. Budama Kriterleri .................................................................................................. 35

3.4. Durdurma Kriteri ................................................................................................... 35

3.5. Karar Ağaçlarında Değerlendirme ......................................................................... 36

3.5.1 Karmaşıklık Matrisi (Confusion Matrix)...................................................... 36

3.5.2 ROC Eğrisi (Receiver Operating Characteristic Curve) ............................... 38

3.5.3. Eğri Altında Kalan Alan (Area Under Curve - AUC) ................................. 39

3.6. Karar ağaçlarının Avantajları ve Dezavantajları ................................................... 39

4. BÖLÜM

Karar Ormanları (Topluluk Öğrenme Algoritmaları)

4.1. Bağımlı Yöntemler ................................................................................................ 41

4.1.1. Arttırma (Boosting) ..................................................................................... 41

4.2. Bağımsız Yöntemler .............................................................................................. 43

4.2.1. Torbalama (Bagging) .................................................................................. 44

4.2.1.1 Torba Dışı Hata Tahmini (Out-of-Bag (OOB) Error Estimation) .................................................................................... 45

4.2.1.2 Değişken Önemlilik Ölçümleri (Variable Importance Measures) ...................................................................................... 45

4.2.2 Rastgele Orman (Random Forest) ................................................................ 46

Kaynakça ...................................................................................................................... 59