Kamuya açık büyük dil modelleri ile bağlam duyarlı siber risk değerlendirmesi: uzman doğrulamalı bir çerçeve ve insan–yapay zekâ karşılaştırması

Basit Öğe Kaydı
dc.authorid0009-0009-4710-2569
dc.contributor.advisorÇeliktaş, Barışen_US
dc.contributor.authorÜnal, Nezih Mahmuten_US
dc.contributor.otherIşık Üniversitesi, Lisansüstü Eğitim Enstitüsü, Siber Güvenlik Yüksek Lisans Programıen_US
dc.contributor.otherIşık University, School of Graduate Studies, Master’s Program in Cybersecurityen_US
dc.date.accessioned2026-04-22T11:16:46Z
dc.date.available2026-04-22T11:16:46Z
dc.date.issued2026-01-19
dc.departmentIşık Üniversitesi, Lisansüstü Eğitim Enstitüsü, Siber Güvenlik Yüksek Lisans Programıen_US
dc.departmentIşık University, School of Graduate Studies, Master’s Program in Cybersecurityen_US
dc.descriptionText in Turkish ; Abstract: Turkish and Englishen_US
dc.descriptionIncludes bibliographical references (leaves 58-63)en_US
dc.descriptionxiv, 71 leavesen_US
dc.description.abstractGeleneksel siber risk değerlendirme metodolojileri kritik bir ikilemle karşı karşıyadır: Bu yöntemler ya nicel ancak statik ve bağlamdan bağımsızdır (Örn: CVSS) ya da bağlama duyarlı ancak yoğun emek gerektiren ve özneldir (Örn: NIST SP 800-30). Sonuç olarak kuruluşlar, risk değerlendirme süreçlerini gelişen tehditlerin hızına uyum sağlayacak şekilde ölçeklendirmekte zorlanmaktadır. Bu çalışma; uzman bilgisini işlevsel hale getirmek amacıyla kamuya açık Büyük Dil Modellerinin (LLM) akıl yürütme yeteneklerinden yararlanan, otomatik ve bağlama duyarlı bir risk değerlendirme çerçevesi sunmaktadır. Karmaşık "kapalı kutu" (black-box) makine öğrenmesi modellerinin aksine, önerilen yaklaşım yapay zekanın akıl yürütme sürecini şeffaf bir Dinamik Metrik Motoruna dayandırmaktadır. Bu motorun ağırlıkları, 101 siber güvenlik profesyoneli ile gerçekleştirilen bir anket çalışmasından Sıralı Derece Ağırlık Merkezi (Rank Order Centroid - ROC) yöntemi kullanılarak elde edilmiştir. Geliştirilen çerçeve, 15 farklı gerçek dünya zafiyet senaryosu (C1--C15) ve üç ek duyarlılık stres testi (C16--C18) içeren karşılaştırmalı bir çalışma aracılığıyla değerlendirilmiştir. Doğrulama senaryoları, on kıdemli uzmandan oluşan bir grup ve iki modern LLM ajanı (GPT-4o ve Gemini 2.0 Flash) tarafından bağımsız olarak analiz edilmiştir. Elde edilen sonuçlar, LLM tabanlı ajanların oldukça güvenilir bir uzman temel çizgisine (Cronbach's α = 0,996) karşı, insan medyanıyla yakından uyumlu bir puanlama tutarlılığı (Pearson r değeri 0,9390 ile 0,9717 ; Spearman ρ değeri 0,8472 ile 0,9276 aralığında) sergilediğini göstermiştir. Ayrıca sistem, değerlendirme döngü süresini 100 kattan fazla azaltmıştır (vaka başına ortalama 6 dakikalık insan süresine karşı 4 saniyenin altı). Dahası, özel bir bağlam duyarlılık analizi (C13--C15); çerçevenin, özdeş teknik zafiyetler için risk skorlarını kurumsal bağlama (örneğin KOBİ'ye karşı Kritik Altyapı) göre uyarlayabildiğini kanıtlamıştır. Genel olarak bu bulgular, ticari olarak erişilebilen LLM'lerin uzmanlarca doğrulanmış metrik şemalarıyla sınırlandırıldığında; tekrarlanabilir, doğru ve gerçek zamanlı risk değerlendirmelerini destekleyebileceğini ortaya koymaktadır.en_US
dc.description.abstractTraditional cyber risk assessment methodologies face a critical dilemma: they are either quantitative yet static and context-agnostic (e.g., CVSS), or context-aware yet highly labor-intensive and subjective (e.g., NIST SP 800-30). Consequently, organizations struggle to scale risk assessment to match the pace of evolving threats. This paper presents an automated, context-aware risk assessment framework that leverages the reasoning capabilities of publicly available Large Language Models (LLMs) to operationalize expert knowledge. Unlike complex black-box machine learning models, our approach anchors the AI's reasoning to a transparent Dynamic Metric Engine, with weights derived using the Rank Order Centroid (ROC) method from a survey of 101 cybersecurity professionals. We evaluated the framework through a comparative study involving 15 diverse real-world vulnerability scenarios (C1--C15) and three supplementary sensitivity stress tests (C16--C18). The validation scenarios were independently assessed by a cohort of ten senior human experts and two stateof-the-art LLM agents (GPT-4o and Gemini 2.0 Flash). The results show that the LLM-driven agents achieve scoring consistency closely aligned with the human median (Pearson r ranging from 0.9390 to 0.9717, Spearman ρ from 0.8472 to 0.9276) against a highly reliable expert baseline (Cronbach's α=0.996$), while reducing the assessment cycle time by more than 100$\times$ (averaging under 4 seconds per case vs. a human average of 6 minutes). Furthermore, a dedicated context sensitivity analysis (C13--C15) indicates that the framework adapts risk scores based on organizational context (e.g., SME vs. Critical Infrastructure) for identical technical vulnerabilities. Overall, these findings suggest that commercially available LLMs, when constrained by expert-validated metric schemas, can support reproducible, accurate, and realtime risk assessments.en_US
dc.description.tableofcontentsTANDART PUANLAMA METODOLOJİLERİen_US
dc.description.tableofcontentsGELENEKSEL RİSK DEĞERLENDİRME METODOLOJİLERİen_US
dc.description.tableofcontentsBAĞLAM TEMELLİ VE GÜNCEL YAKLAŞIMLARen_US
dc.description.tableofcontentsLİTERATÜRDEKİ EKSİKLİKLER VE ÖZGÜN KATKIen_US
dc.description.tableofcontentsUZMAN GÖRÜŞÜNE DAYALI METRİK TASARIMIen_US
dc.description.tableofcontentsPARAMETRE VE METRİK AĞIRLIKLARININ BELİRLENMESİ İÇİN ANKET TASARIMIen_US
dc.description.tableofcontentsPARAMETRE GRUPLARI VE SIRALAMA DÜZENİen_US
dc.description.tableofcontentsMETRİK (ALT PARAMETRE) PUANLAMA YÖNTEMİ VE MANTIĞIen_US
dc.description.tableofcontentsAĞIRLIK TÜRETME YAKLAŞIMIen_US
dc.description.tableofcontentsROC Yöntemi ile Parametre Ağırlıklandırma (WF)en_US
dc.description.tableofcontentsDeterministik Risk Puanı Hesaplamasıen_US
dc.description.tableofcontentsAlt Parametre Metrik Kalibrasyonuen_US
dc.description.tableofcontentsOPERASYONEL SINIRLAR VE "ÖNCE GÜVENLİK" MODELLEME İLKELERİen_US
dc.description.tableofcontentsKATILIMCI DEMOGRAFİSİ VE UZMANLIK PROFİLİen_US
dc.description.tableofcontentsETİK HUSUSLAR VE AYDINLATILMIŞ ONAMen_US
dc.description.tableofcontentsÖNERİLEN ÇERÇEVE MİMARİSİen_US
dc.description.tableofcontentsGenel Mimarien_US
dc.description.tableofcontentsVeri Katmanı: Tanımlama ve Toplamaen_US
dc.description.tableofcontentsBesleme Katmanı: Doğrulama ve Normalizasyonen_US
dc.description.tableofcontentsHesaplama Katmanı: LLM Tabanlı Akıl Yürütmeen_US
dc.description.tableofcontentsÖn İşleme (Besleme Katmanı)en_US
dc.description.tableofcontentsBağlam Enjeksiyonuen_US
dc.description.tableofcontentsYZ Akıl Yürütme ve İhtiyatlı Protokolen_US
dc.description.tableofcontentsÇıktı ve Hesaplamaen_US
dc.description.tableofcontentsDeğerlendirme Katmanı: Puanlama ve Önceliklendirmeen_US
dc.description.tableofcontentsMüdahale Katmanı: Yanıt ve Yönetişimen_US
dc.description.tableofcontentsKARŞILAŞTIRMALI DOĞRULAMA: İNSAN UZMANLAR VE YZ AJANI PERFORMANSIen_US
dc.description.tableofcontentsDeney Tasarımı ve Senaryo Bazlı Veri Kümesien_US
dc.description.tableofcontentsYZ Ajanının Yapılandırılması ve Sonuçların Tutarlılığıen_US
dc.description.tableofcontentsUzman Değerlendirme Temeli ve Ölçümen_US
dc.description.tableofcontentsBağlamsal Değişkenlerin Etkisini Ölçen Kontrollü Deney (C13 - C15)en_US
dc.description.tableofcontentsArdışık Testlerde Üretilen Sonuçların Kararlılığıen_US
dc.description.tableofcontentsKarşılaştırmalı Analizden Elde Edilen Temel Bulgularen_US
dc.description.tableofcontentsYZ ve İnsan Kararlarındaki Puanlama Uyumuen_US
dc.description.tableofcontentsSonuçların İstatistiksel Bağıntısı ve Güvenilirlik Testlerien_US
dc.description.tableofcontentsTutarlılık ve Kararlılıken_US
dc.description.tableofcontentsOperasyonel Verimliliken_US
dc.description.tableofcontentsNiteliksel Fark Analizi ve Anlamsal Çıkarım Kapasitesien_US
dc.description.tableofcontentsKurumsal Bağlam Duyarlılığı ve Değişen Risk Algısıen_US
dc.description.tableofcontentsKontrol Önlemlerinin Etkisi ve Stres Testi Bulgularıen_US
dc.description.tableofcontentsTelafi Edici Kontrollerin Risk Puanına Etkisien_US
dc.description.tableofcontentsAlgoritmik Sapmalar ve İyileştirme Stratejilerien_US
dc.description.tableofcontentsKatmanlı Ayrıştırma ile Sorumlulukların Ayrılmasıen_US
dc.description.tableofcontents"Önce Güvenlik" Odaklı Sistematik Sapmanın Analizien_US
dc.description.tableofcontentsBağlamsal Duyarlılık ve Matematiksel Risk Alt Sınırıen_US
dc.description.tableofcontentsYüksek Hassasiyetli ve Tekrarlanabilir Bulgularen_US
dc.description.tableofcontentsBulguların Yorunlanması: Hız ve Doğruluken_US
dc.description.tableofcontentsSistem Şeffaflığında Uzman Doğrulamasının Payıen_US
dc.identifier.citationÜnal, N. M. (2026). Kamuya açık büyük dil modelleri ile bağlam duyarlı siber risk değerlendirmesi: uzman doğrulamalı bir çerçeve ve insan–yapay zekâ karşılaştırması. İstanbul: Işık Üniversitesi Lisansüstü Eğitim Enstitüsü.en_US
dc.identifier.urihttps://hdl.handle.net/11729/7335
dc.institutionauthorÜnal, Nezih Mahmuten_US
dc.institutionauthorid0009-0009-4710-2569
dc.language.isotren_US
dc.publisherIşık Üniversitesi, Lisansüstü Eğitim Enstitüsüen_US
dc.relation.publicationcategoryTezen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectSiber risk değerlendirmesien_US
dc.subjectBüyük Dil Modelleri (LLM)en_US
dc.subjectSıralı Derece Ağırlık Merkezi (ROC)en_US
dc.subjectOtomatik risk puanlamaen_US
dc.subjectİnsan-YZ karşılaştırmasıen_US
dc.subjectCyber risk assessmenten_US
dc.subjectLarge Language Models (LLMs)en_US
dc.subjectGenerative AIen_US
dc.subjectAutomated risk scoringen_US
dc.subjectHuman-AI comparisonen_US
dc.titleKamuya açık büyük dil modelleri ile bağlam duyarlı siber risk değerlendirmesi: uzman doğrulamalı bir çerçeve ve insan–yapay zekâ karşılaştırmasıen_US
dc.title.alternativeLLM-assisted context-aware cyber risk assessment: an expert-calibrated framework and scoringen_US
dc.typeMaster Thesisen_US
dspace.entity.typePublicationen_US

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
Kamuya_acik_buyuk_dil_modelleri_ile_baglam_duyarli_siber_risk_degerlendirmesi_uzman_dogrulamali_bir_cerceve_ve_insan_yapay_zeka_karsilastirmasi.pdf
Boyut:
2.73 MB
Biçim:
Adobe Portable Document Format
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.17 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Lisansüstü Eğitim Enstitüsü Tez Koleksiyonu