geçerlik ve güvenirlik
Transkript
geçerlik ve güvenirlik
Ölçme GEÇERL K VE GÜVEN RL K Validity and Reliability L.Akgün-S.Çelik Ölçme, birey ya da nesnelerin niteliklerinin uygun araçlar kullanılarak gözlenip, gözlem sonuçlarının sembollerle gösterilmesidir. Eğitimde Araştırma Yöntemleri Temel Kavramlar... ! Niteliklerin kendileri ile aynı türden araçlarla ölçülmesi do rudan ölçmedir. Metre ile uzunlu un, terazi ile a ırlı ın Temel Kavramlar... ! Ölçme düzeyi (ölçek türü), birey ya da nesnelerin ölçülen özelliklerine ili kin elde edilen ölçme sonuçlarının matematiksel nitelikleridir. Sınıflama, sıralama, aralık ve oran olmak üzere dört ölçme düzeyi vardır. ölçülmesi gibi. ! Niteliklerin göstergeleri ile ölçülmesi dolaylı ölçmedir. Test ile ba arının, anket ile görü lerin ölçülmesi böyledir. Eğitimde Araştırma Yöntemleri ! Ölçme hatası, gözlenen puanların gerçek puanlardan olan sapma miktarıdır. Ölçmelere karı an hatalar sabit, sistematik ve tesadüfi (seçkisiz) olmak üzere üç grupta incelenir. Eğitimde Araştırma Yöntemleri 1 Güvenirlik... Güvenirlik... ! Ölçme sonuçlarının tesadüfi hatalardan arınık olma derecesidir. ! Aynı bireyler üzerinde aynı ya da paralel formlar kullanılarak yapılan ölçmelerin tutarlılı ıdır. ! Bir özelli in do ru olarak ölçülebilme derecesidir. Eğitimde Araştırma Yöntemleri Güvenirlik... Eğitimde Araştırma Yöntemleri (Fraenkel & Wallen, 2000) Not - Güvenirlik... Farklı ara tırmacılar aynı yöntemleri kullanarak ara tırmayı tekrar edebiliyor ve benzer sonuçlar elde edebiliyorsa veriler güvenilirdir. Güvenirlik" Tekrarlanabilirlik • Güvenirlik, aracın kendisine değil, bir ölçme aracıyla elde edilmis ölçümlere (veya sonuçlara) isaret eder. Güvenirlik testin kendisinin değil, eldeki veriler veya ölçümlerin bir özelliğidir. Böylelikle, testin güvenirliği veya aracın güvenirliği ya da test güvenilirdir diye ifade etmek doğru değildir. • Güvenirlik, yalnızca kullanılmıs olan ölçme aracı tarafından değil, örneklem tarafından da etkilenmektedir. Eğitimde Araştırma Yöntemleri • Bir test güvenilir veya güvenilmez değildir ve test ölçümleri veya eldeki veriler güvenilir veya Eğitimde Araştırma Yöntemleri güvenilmezdir. 2 Güvenirlik ve Üç Kavram... Tutarlılık: Bir ölçme aracındaki (test) maddelerin (soruların) test bütünü ile olan uyumudur Kararlılık: Ölçme konusu olan özellik aynı ölçme aracıyla farklı zamanlarda birkaç defa ölçüldüğünde aynı değerleri vermesi durumudur. Duyarlılık: Ölçme aracının veya ölçme sonuçlarının biriminin büyüklülüğü ile ilgilidir. Birimi aralığı küçük olan ölçme daha güvenilirdir. Eğitimde Araştırma Yöntemleri Güvenirli i inceleme yöntemleri... II. İki uygulamaya dayalı yöntemler ! Eşdeğer (Alternatif, Paralel) Formlar ! Test-Tekrartest: Aynı test ya da eş formlar belli aralıklarla Eğitimde Araştırma Yöntemleri Güvenirli i inceleme yöntemleri... I. Tek uygulamaya dayalı yöntemler ! Kuder Richardson (KR) 20-21: D/Y, E/H ikili cevap seçenekleri –Maddelerin birbiriyle tutarlılığı! Cronbach Alpha: Derecelemeli cevap (Likert) seçenekleri ! Testi Yarılama: Spearman Brown ve Rulon formülleri Eğitimde Araştırma Yöntemleri Güvenirli i inceleme yöntemleri... III. Değerlendirmeciler Arası Tutarlılık: İki veya daha çok uzmanın aynı nitelikleri aynı yönergeye dayalı değerlendirmeleri arasındaki uyumun düzeyidir. IV.Ölçmenin Standart Hatası. Bireysel puanların yorumlanmasında kullanılır. Belli güven düzeyleri için bireyin teste ilişkin gerçek puanının (performansının) hangi sınırlar içinde kalacağını tahmin etmede kullanılanılır. Eğitimde Araştırma Yöntemleri 3 Güvenirli i etkileyen faktörler # Ölçme aracı # Ölçme yöntemi / aracı ve kullanılan soru sayısı # Soruların homojenliği # Yönerge # Puanlama nesnelliği # Testi alan birey ve gruba bağlı faktörler # Bireyin sağlık durumu # Grubun heterojen olması # Uygulama koşulları ve zaman Geçerlik • Ölçülmek istenen özelliğinin diğer özelliklerle karıştırılmaksızın ölçülebilme derecesidir. • Ölçme sonuçlarının geçerliği, amaçlanan ölçmenin gerçekleştirilebilme derecesidir. Eğitimde Araştırma Yöntemleri Geçerli i Etkileyen Faktörler ! Ölçme sonuçlarının güvenirliği ! Ölçme yöntemi ve soru sayısı ! Puanlayıcı yanlılığı ! Uygulama koşulları Eğitimde Araştırma Yöntemleri Geçerlik Türleri • Ölçülmek istenen özelliğin diğer özelliklerle karıştırılmadan ölçülebilme derecesidir. Geçerlik sonuçlarımızın, yaptığımız çıkarımların veya önerilerimizin gücüdür. – Internal Validity (İç Geçerlik): Bir araştırmanın doğruluğu ile ilgilidir. Araştırmacı düşündüğü şeyi doğru olarak gözlüyor veya ölçüyor mu? – External Validity (Dış Geçerlik): Çalışmanın sonuçlarının diğer örneklere ve durumlara genellenebilirliği ile ilgilidir. Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri 4 Ara tırmada Geçerlik Validity " Accuracy Geçerlik-Do ruluk Geçerlik- Güvenirlik li kisi Bir ölçüm güvenilir olabilir, fakat geçerli de ildir, (Kafatasi Ornegi). Bir ölçüm geçerlikten önce ilk olarak güvenilir olmalıdır. Bu yüzden güvenirlik gereklidir, fakat yeterli de ildir, (geçerlik artı) Bir ölçüm sürekli olarak bir olguyu ölçebilir, fakat ölçüm istedi iniz eyi test etmedikçe, geçerli de ildir. Eğitimde Araştırma Yöntemleri Geçerlik- Güvenirlik Alanyazın bu konuda ikiye ayrılır: • Nicel ara tırma gelene ini kullanan ara tırmacılar • N itel ara tırmanın alternatif terimlerini kullanan ara tırmacılar Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri Geçerlik- Güvenirlik Merriam, S. B. (1998) • Internal Validity • Reliability(Güvenirlik) – Çe itleme – Ara tırmacıların pozisyonu – Üye kontrolleri – Çe itleme – Uzun süreli gözlem – Denetim yolu – Akran de erlendirmesi – Ara tırmacı önyargıları • External Validity – Zengin,ayrıntılı anlatım – Çoklu durumlar Eğitimde Araştırma Yöntemleri 5 Geçerlik- Güvenirlik Lincoln & Guba (1985) • Credibility (inandırıcılık) • Confirmability (teyit – Çe itleme edilebilirlik) – Uzun süreli gözlem – Çe itleme – Sürekli gözlem – Çoklu yöntemler • Transferability (Aktarılabilirlik) – Denetim yolu – Zengin, ayrıntılı anlatım • Dependability (tutarlık) – Denetim yolu Eğitimde Araştırma Yöntemleri Nitelde Güvenirlik • Nitel ara tırmalarda güvenirlik= teyit edilebilirlik (objektiflik) anlamında kullanılır. – Farklı ara tırmacılar benzer sonuçlara ula ırlar – Tekrarlanan çalı malar benzer gözlemler üretirler – Çoklu ara tırmacılar aynı veriden benzer yorumlar yaparlar (üretirler) Eğitimde Araştırma Yöntemleri Terimler – Pozitivist kavramlar güvenirlik ve geçerlik – Güvenirlik ve geçerlik için alternatif kavramlar • Credibility(inandırıcılık) equivalent to internal validity • Transferability(aktarılabilirlik) equivalent to external validity • Dependability(tutarlık) equivalent to reliability • Confirmability(teyit edilebilirlik) equivalent to objectivity Eğitimde Araştırma Yöntemleri Nitelde ç Güvenirlik • ç güvenirlik: Ba ka ara tırmacıların aynı veriyi kullanarak aynı sonuçlara ula ıp ula amayaca ına ili kindir. • Verilerin Betimsel Bir Yolla Do rudan Sunulması • Çoklu Ara tırmacılar • Çoklu Yöntemler • Akran De erlendirmesi • Kavramsal Çerçeveye Ba lı Olarak Yapılan Veri Analizi Eğitimde Araştırma Yöntemleri 6 Nitelde Dı Güvenirlik • Dı Güvenirlik: Ara tırma sonuçlarının benzer ortamlarda aynı ekilde elde edilip edilemeyece ine bakar. • Ara tırmacının Pozisyonu • Veri Kaynaklarının Seçimi ve Tanımlanması • Sosyal Ortamlar ve artlar • Kavramsal Çerçevenin Tanımlanması • Veri Toplama ve Analiz Yöntemleri – Nitel veriyi analiz etmek belirsiz, sezgisel ve ki iseldir. Eğitimde Araştırma Yöntemleri Nitelde güvenilir bir veri için 1. 2. 3. 4. Görü melerin, gözlemlerin, vs. detaylı kayıtları Yazılı alan notları Analizlere ve yorumlara grup yakla ımları Güvenilir bir transkript için a. Transkriptlerin ba ımsız de erlendirilmesi b. Ba kaları tarafından denetime açık kayıtlar ve transkriptler c. Aynı ki i veya farklı ki iler tarafından video-kasetlerin çoklu izlenimleri d. Aynı ki i veya farklı ki iler tarafından ses-kasetlerin çoklu dinlenimleri e. Aynı ki i veya farklı ki iler tarafından ses-kasetlerin çoklu transkriptleri 5. Gözlemci güvenirli ini de erlendirmek için a. ki gözlemci gerçekle mekte olan ey üzerinde fikir birli inde mi? b.Gözlemcileri e itme c. Gözlemcileri izleme Eğitimde Araştırma Yöntemleri Nitelde güvenilir bir veri için 1. Triangulation (Çe itleme) 2. Peer Examination (Akran De erlendirmesi) 3. Audit Trail (Denetim Yolu) Eğitimde Araştırma Yöntemleri Nitel Ara tırmada Geçerlik • Bulguların ve verilerin geçerli i ara tırmanın do rulu u ve tamlı ı (mükemmelli i) anlamına gelir(Lewis J. & Ritchie J.). • Nitel ara tırmada çalı ılan olgu, ara tırma popülasyonu tarafından algılandı ı gibi do ru bir ekilde yansıtılmalıdır. Eğitimde Araştırma Yöntemleri 7 Nitel Ara tırmada Geçerlik (devam) • Bir problemi ara tırmayı veya bir durumu , bir süreci, sosyal bir grubu, veya etkile imli bir modeli açıklamayı amaçlayan nitel bir çalı manın gücü onun geçerli i ile ilgilidir(Marshall & Rossman). • N itel literatürde geçerlik için bazen credibility, transferability or plausibility gibi alternatif terimler kullanılır. Nitel Ara tırmada Geçerlik (devam) • Ara tırmacı dü ündü ü eyi gerçekten gözlemliyor veya ölçüyor mu?" Internal Validity • Bir ara tırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyor mu?" External Validity (LeCompte & Goetz) Eğitimde Araştırma Yöntemleri ç Geçerlik Eğitimde Araştırma Yöntemleri ç Geçerlik (devam) • Ara tırma bulguları kendi içinde tutarlı ve anlamlı mıdır? • Bulguları teyit etmede kullanılan kurallar stratejiler var mı? • Açık olmayan olgular ya da olaylar belirlenmi midir? • Bulgular ara tırmaya katılan bireyler tarafından gerçekçi bulunmu mudur? ç geçerli i artırmak için; 1. Çe itleme -Triangulation 2. Üye kontrolleri- Member checks 3. Uzun süreli gözlem-Long-term observation 4. Akran de erlendirmesi-Peer examination 5. Ara tırmanın katılımcı ve i birlikçi a amaları-Participatory or collaborative modes of research 6. Ara tırmacının önyargıları-Researcher’s biases (Merriam, S. B.) (Lewis & Ritchie). Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri 8 ç Geçerlik (devam) ç Geçerlik (devam) 1. Çe itleme : çok sayıda ara tırmacı, çoklu veri kaynakları, veya 4.Akran de erlendirme: bulgularda ortay çıkan yorumların 2. Üye kontrolleri: elde edilen sonuç veya çıkarımlar makul ve 5.Ara tırmanın katılımcı ve i birlikçi a amaları: bulguları do rulamak için çoklu yöntemler kullanmak. mantıklı mı? bunları elde etti imiz veri kaynaklarına tekrar kontrol ettirme 3. Uzun süreli gözlem: bulguların geçerli ini artırmak için aynı olguyu uzun süreli veya tekrarlı gözlemlere tabii tutmak Eğitimde Araştırma Yöntemleri Dı Geçerlik meslekta lar tarafından de erlendirilmesi çalı manın kuramsal a amasından bulguların yazım a amasına kadar tüm a amalarda katılımcıların yer alması 6. Ara tırmacı ön yargıları: çalı manın ba ında ara tırmacının varsayımları, dünya görü ü, ve teorik e ilimi açıklı a kavu turulmalı. Eğitimde Araştırma Yöntemleri Dı Geçerlik (devam) • Dı geçerlik ara tırma sonuçlarının genellenebilirli ine ili kindir. E er bir ara tırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyorsa ara tırmanın dı geçerli inin oldu u söylenebilir. • N itel ara tırmada, ara tırmacı özel bir durumu derinlemesine anlamak istedi inden (ço unlu un gerçe ini bulmak istemedi inden) tek bir durum veya küçük rastgele olmayan bir örneklem seçer(Merriam, S. B.). Sosyal olayların, içinde bulunan ortama göre de i ti i varsayımından hareketle hiçbir ara tırmanın sonuçları ba ka bir duruma do rudan genellenemez. Ancak bir dereceye kadar benzetilerek genellenebilir. Nicel ara tırmada bu genelleme do rudan olabilirken nitel ara tırmada genelleme dolaylı olarak yapılabilir. • “Üretilen, i lenen veya test edilen soyut yapıların veya postulatların” popülasyon içindeki di er gruplara uygulanabilirli i ile ilgilidir(LeCompte & Goetz). Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri 9 Dı Geçerlik (devam) • Ara tırma örnekleminin ortamının ve süreçlerinin özellikleri ba ka örneklemlerle kar ıla tırma yapabilecek düzeyde ayrıntılı olarak tanımlanmı mıdır? • Ö rneklem genellemeye izin verecek ölçüde çe itlendirilmi midir? Dı Geçerlik (devam) Nitel ara tırma sonuçlarının olasılı ını artırmak için; 1. Zengin, ayrıntılı anlatım: 2. Özgün ve kalıcı kategori: 3. Çoklu durumlar: • Ara tırma sonuçları ara tırma sorusu ile ilgili kuramlarla tutarlı mıdır? • Ara tırma bulguları benzer ortamlarda kolaylıkla test edilebilir mi? Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri Geçerliliği Ve Güvenirliği Sağlamak Amacıyla Kullanılan Stratejiler Dı Geçerlik (devam) Her nitel ara tırmacının bu soruların tümüne do ru yanıtlar vermesi güç olabilir. Ancak ara tırma sonuçlarının benzer ortamlara genellenebilmesi için ara tırmacının okuyucuyu yaptı ı çalı manın tüm a amaları hakkında ayrıntılı bir ekilde bilgilendirmesi gerekmektedir. Eğitimde Araştırma Yöntemleri Ölçüt Nicel araştırma Nitel araştırma Kullanılan yöntemler Araştırma sonuçları yoluyla gerçeğin doğru temsili İç geçerlik İnandırıcılık Uzun süreli Etkileşim, derinlik odaklı veri toplama , Çeşitleme, uzman İncelemesi, katılımcı teyidi Sonuçların uygulanması Dış geçerlik (genelleme) Aktarılabilirlik Ayrıntılı betimleme , amaçlı örnekleme Tutarlılığı sağlama İç güvenirlik Tutarlılık Tutarlılık incelemesi Nesnel olma Dış güvenirlik Teyit edilebilirlik Teyit incelemesi Eğitimde Araştırma Yöntemleri 10 Nitel ve Sosyal Bilimlerde Geçerlik ve Güvenirlik Kolay De ildir? Özet Olarak Geçerlik ve Güvenirlik – Do al yapılar ve tekli durumlar tekrarlanabilir de ildir – Ara tırmacının ki isel stratejileri – nsan davranı ı dura an de ildir – Etkile im günden güne de i ir Eğitimde Araştırma Yöntemleri2000) (Fraenkel & Wallen, Eğitimde Araştırma Yöntemleri peki biz ne yapmalıyız? 1. Consistent Observation Guidelines 2. Triangulation Guidelines Tutarlı/uyumlu Gözlem Çe itleme/Güçlendirme Helps: • Katılımcılara güven telkin etme • Kültürü ö renme • De i imleri gözleme • De i imleri anlama Helps: • Bulguların niteli ini artırma How: • Ara tırmacı ve katılımcıları e itme Eğitimde Araştırma Yöntemleri How: • Çoklu ara tırmacılar kullanma • Çoklu veri kayna ı kullanma • Çoklu yöntemler kullanma Eğitimde Araştırma Yöntemleri 11 3. Peer Review Guidelines 4. Negative Case Analysis Akran De erlendirmesi Ters Durum Analizi Helps: • Ara tırma sürecinin dı denetimini sa lama Helps: • Hipotezlerin işlerliğini kontrol etme How: • Elde edilen bulgular üzerinde akranların yorumunu alma • Akran sorgulaması ara tırmacı dürüstlü ünü ortaya koyar How: • Negatif ve doğrulanmayan kanıtlar ışığında Eğitimde Araştırma Yöntemleri 5. Clarifying Researcher Bias Guidelines Eğitimde Araştırma Yöntemleri Guidelines 6. Member Checks Guidelines Ara tırmacının Yanlılı ını ve Önyargılarını Açıklama Çıkarımları Veri Kayna ına Kontrol Ettirme Helps: • Ara tırmayı etkileyen önyargıları veya ddiaları anlama Helps: • Bulgular ve yorumların inandırıcılı ı ile ilgili veri kaynaklarının görü lerine ba vurma How: • Ara tırmacı çalı maya yakla ımında ve yorumunu ekillendirmede geçmi deneyimlerini, önyargılarını ve e ilimlerini katıyor mu? How: • Katılımcılardan ara tırmacının çalı masının kaba tasla ını incelemeleri ve alternatif dil, ele tirel gözlemler veya yorumlar yapmaları istenebilir. Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri 12 7. Rich, Thick Description Guidelines 8 - External Audits Guidelines Yöntemin Zengin ve Ayrıntılı Anlatılması Dı Denetime Açma Helps: • Aktarılabilirlik ile ilgili kararlar alma Helps: • Hem süreci hem de sonucu inceleme, onların do rulu unu de erlendirme How: • çalı madaki katılımcıları ve kuramsal yapıyı detaylı bir ekilde tanımlama How: • Dı bir uzman • Sonucu de erlendirmede, denetçi bulguların, yorumların, ve sonuçların veriler tarafından desteklenip desteklenmedi ini inceler Eğitimde Araştırma Yöntemleri Instrument Strategy 1. Validity Eğitimde Araştırma Yöntemleri Study Strategy 1. Internal Validity / Credibility Criteria 1.1.Triangulatio n 1.2.Member checking 1.3.Peer examination 1.4.Researcher’s biases 2. External Validity / Transferability 2.1.Nominated sample 2.2.Dense description 3. Reliability / Dependability 3.1.Dependabilit y audit 3.2.Methodolog y Triangulation 3.3.Peer examination 3.4.Evaluation 3.5. Reliable transcribe Application 1.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review. 1.2. Each of the questionnaires and interview guides were examined by at least three peers (graduate students). 1.3. Each of the questionnaires and interview guides were reviewed by at least four experts. 1.4. Pilot tests were conducted to decrease the researcher’s biases for the questionnaires (Q2 and Q4) and all guides. 1.5. All instruments were checked by a Turkish language expert for clarity of the language. 2. Reliability 1.6. Each question on the questionnaires and interview guides had just one thought. 2.1. The questionnaires (Q1, Q2, and Q4) and all interview guides were developed after doing a literature review. 2.2. Pilot tests were conducted to check reliability of the questionnaires (Q2 and Q4) and all guides. 2.3. Most of the questions on the questionnaires and guides were Eğitimde Araştırma Yöntemleri relevant to answering the research questions. 4. Objectivity / Conformatibilit y Application 1.1.1. The data collection methods, data analysis, and literature review were used to verify interviews and categorization of the data gathered. 1.2.1. Interview participants reviewed the accuracy of the details in the transcriptions of each interview. Transcripts and open-ended responses were also triangulated with literature. 1.3.1. The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study. 1.4.1. The researcher’s assumptions, limitations, delimitations, and theoretical orientation at the outset of the study were clarified. 1.4.2. The results of the study were compared to the literature in the chapter 5. 2.1.1. Every used sampling technique and the criteria for selecting participants were provided in “population and sample” sections. 2.2.1. A complete description of methodology was given in this chapter (3). 3.1.1. All questions in the instruments were developed after doing a literature review and conducting pilot interviews. A full description of the data analysis protocol is provided in this chapter (3). In addition, advisor and co-advisor of the study provided valuable input with respect to interview and open-ended material. 3.2.1. The research methodology was fully described. The data collection methods and data analysis were used to triangulate and verify interviews and categories were identified from the data gathered. 3.3.1. The synthesis of all data gathered was reviewed by peers, advisor, and co-advisor of the study. 3.4.1. A consensus discussion of the synthesized data was held with the researcher, advisor, and co-advisor of the study. 3.5.1. Tapes/transcripts open to inspection by others. 3.5.2. Multiple listenings and transcriptions of audio tape by the researcher and a different person. 4.1.Confirmabili 4.1.1. The synthesis of all data gathered was reviewed by peers, ty Audit advisor, and co-advisor of the study. Eğitimde Araştırma Yöntemleri 13 KAYNAKLAR Büyüköztürk, ., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, . ve Demirel, F. (2008). Bilimsel ara tırma yöntemleri. Ankara: Pegem Yayınları. Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research methods for education: An introduction to theory and methods. Needham Heights, MA: Allyn and Bacon. Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education (5thed.). New York: RoutledgeFalmer. Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions.Thousand Oaks, CA: Sage. Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education (4 ed.). New ork:McGraw Hill. Le Compte, M. D. & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of Educational Research, 52, 31-60. Marshall, C. & Rossman, G. B. (1999). Designing qualitative research (3rd ed.). Thousand Oaks, CA: Sage. Merriam, S. B. (1998). Qualitative research and case study applications in education. (2 ed.) San Francisco: Jossey-Bass. Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications. Strauss, A. L. & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures and techniques. Thousand Oaks, California: Sage. Yıldırım, A. & Şimşek, H. (2000). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in social sciences] (2nd ed.). Ankara: Seçkin Yayıncılık. Yin, R. K. (1996). Case study research: Design and methods. (2nd ed.) Thousand Oaks, CA: Sage. Bu sunum; yukarıdaki sunu ve kaynaklardan yararlanılarak hazırlanmı tır. Emek sahiplerine te ekkür ederiz... Eğitimde Araştırma Yöntemleri 14