Yirmi soru; içerik ve metadata, retrieval kalitesi, kimlik ve erişim, değerlendirme ile canlı işletim boyutlarını eşit ağırlıkla puanlar. Sonuç, prototip öncesi eksikleri ve pilot kapsamını görünür kılar.
Beş boyutlu RAG hazırlık modeli
Yirmi soru 0–3 arasında puanlanır ve beş boyut eşit ağırlık taşır. Yüksek skor yalnız teknoloji bileşenini değil; içerik sahipliği, erişim kontrolü, test ve canlı işletim disiplininin birlikte çalıştığını göstermelidir.
İçerik, metadata ve sahiplik
Kaynak envanteri, metadata standardı, içerik sahibi ve güncelleme SLA’sını tek yönetişim modelinde birleştirin.
Retrieval ve yanıt mimarisi
Parçalama, arama, reranking, kaynak gösterimi ve cevap vermeme davranışını gerçek sorgu setiyle test edin.
Kimlik, yetki ve veri güvenliği
Kaynak yetkisini retrieval katmanında uygulayın; hassas veri, prompt injection ve log güvenliğini birlikte yönetin.
Değerlendirme ve kabul ölçütleri
Retrieval ve yanıt metriklerini kritik hata sınıfları, insan rubriği ve kabul eşikleriyle ölçün.
Canlı işletim ve güncellik
Kaynak güncelliği, sürüm, maliyet, gecikme, regresyon, geri alma ve olay süreçlerini canlı işletime bağlayın.
Öz değerlendirmeyi başlatın
Bütün soruları mevcut durumu abartmadan yanıtlayın. “Belgeli” veya “ölçülüyor” seçeneği için uygulanabilir kanıt bulunması gerekir.
—
Öncelikli gelişim alanları
Yorumlama sınırları
- Araç RAG sistemini otomatik taramaz veya teknik performans testi yapmaz.
- Yüksek puan, belirli model, embedding, arama motoru veya tedarikçi seçiminin doğru olduğunu kanıtlamaz.
- Kişisel veri, telif, güvenlik ve erişim kararları somut kaynak ve kullanıcı bağlamında ayrıca incelenmelidir.
- Sonuçlar öz beyana dayanır; altın test seti, gerçek kullanıcı sorguları ve erişim testleriyle doğrulanmalıdır.