Ada Security
Request Demo

11.6 Eğitim

11.6.1 Eğitimi başlatma

  1. Eğitilmesini istediğiniz her türün en az 5 örneği olduğundan emin olun.
  2. Tablonun altındaki Train düğmesine tıklayın. Düğme Training… olarak değişir ve ipucu satırında Training since görünür. Sayfa durumu 2 saniyede bir sorgular.
  3. Eğitim bitince durum satırı özeti gösterir (bölüm 11.6.3) ve tür tablosunda Precision ve Recall sütunları dolar.

Eğitim genellikle birkaç saniye sürer; sunucuda bir arka plan iş parçacığında çalışır ve konsolu veya ajan trafiğini yavaşlatmaz. 15 dakika sonra durdurulur.

Train düğmesi bir eğitim sürerken, YZ hizmeti veya model yokken ya da 5 örneği olan hiçbir tür yokken devre dışıdır.

Eğitim her zaman tüm türleri birlikte kapsar:

  • 5’ten az örneği olan türler atlanır ve Not trained (under 5 examples) altında listelenir.
  • Bir kuralın kullandığı türün 5’ten az örneği varsa eğitim başlamaz: “X” is used by rule “Y” but has only N example(s); add at least 5. (Aksi hâlde o kural sessizce çalışmayı bırakırdı.)
  • Karşı örnekler her zaman dahil edilir.
Eğitim hatası Nedeni
Training is already running. Başka bir yönetici eğitim başlatmıştır. Bekleyin.
Each document type needs at least 5 examples before training. Eğitilebilecek tür yoktur.
The AI encoder is not installed on this server. Model paketi yoktur.
This server has no reference documents for encoder … Sürüm paketi eksiktir. Sunucu sürümünü yeniden kurun/yükseltin.
The examples of “X” are near-copies of one document … X’in tüm örnekleri pratikte aynı metindir.
Training was interrupted (the API restarted). Start it again. ada-api eğitim sırasında yeniden başlamıştır.
Training took longer than 15 minutes and was stopped. Örnek kümesi çok büyüktür; destek ekibiyle iletişime geçin.

11.6.2 Sunucunun yaptıkları

  1. Örneklerin şifresini çözer; eski bir model için saklanmış örnekler geçerli modelle yeniden okunur.
  2. Yaklaşık 2.000 yerleşik başvuru belgesini (sunucuyla birlikte gelen çeşitli Türkçe/İngilizce bir derlem) “türlerinizin hiçbiri” olarak ekler — aksi hâlde her belge türlerinizden en yakınına doğru itilirdi. Türlerinizden biriyle aynı nitelikteki başvuru grupları (sizin “Özgeçmiş” türünüze karşı başvuru özgeçmişleri) otomatik olarak dışarıda bırakılır.
  3. Karşı örnekleri kendi ağırlıklarıyla “türlerinizin hiçbiri” olarak ekler.
  4. Kaliteyi çapraz doğrulama ile ölçer (en fazla 5 tur): her örnek, o örnek olmadan eğitilmiş bir katmanla puanlanır; neredeyse aynı kopyalar aynı turda tutulur.
  5. Olasılıkları, “%90” değeri verilerinizde kabaca “on seferde dokuzu doğru” anlamına gelecek şekilde kalibre eder; küçük bir örnek kümesinin %100 kesinlikte puan üretmesini engelleyen bir taban değer uygulanır.
  6. Son katmanı tüm verilerle eğitir ve politikayı yeniden imzalar. Ajanlar bunu bir sonraki politika eşitlemesinde alır — eğitim sonuçları için Publish gerekmez.

Yöntem, küçük örnek kümeleri (tür başına 5–30) için ayarlanmış düzenlileştirilmiş (regularised) lojistik regresyondur. Değiştirilecek bir eğitim ayarı yoktur.

11.6.3 Eğitim sonuçlarını okuma

Başarılı bir eğitimden sonraki durum satırı:

Değer Anlamı İyi sonuç
N examples Kullanılan örnekler (yalnızca eğitilen türler, karşı örnekler hariç). Tür başına ≥ 20.
type right Örneklerinizden, onları hiç görmemiş bir katmanla puanlandığında en olası türü doğru tür çıkanların oranı. ≥ %90. Daha düşükse türler örtüşüyor ya da örnekleri çok az/çok tekdüze demektir.
unrelated documents recognized Başvuru belgelerinden “türlerinizin hiçbiri” olarak sınıflandırılanların oranı. ≥ %95. Daha düşükse türleriniz fazla geniştir ve yanlış alarm üretir.
counter-examples left alone Karşı örneklerden %70’te türlerinizin hiçbiriyle eşleşmeyenlerin oranı. Olabildiğince yüksek; ⓘ hâlâ bazılarıyla eşleşen türleri listeler (Still matching: X (3)).
· examples changed since — train again to use them Son eğitimden sonra örnek eklenmiş veya kaldırılmıştır. Yeniden eğitin.

Durum satırının yanındaki How training measured quality ⓘ simgesi şunları ekler: tur sayısı, kullanılan başvuru belgesi sayısı, örnekleriniz aynı türden belgeler olduğu için hangi başvuru gruplarının dışarıda bırakıldığı, hangi türlerin eğitilmediği ve karşı örnek sonucu.

Precision ve Recall (tür tablosu ve kural düzenleyicisi):

Ölçüt Yanıtladığı soru Örnek
Bir eşikte Precision (kesinlik) Bu türün işaretlediği belgelerden kaçı gerçekten bu türdendir? %95 → işaretlenen yaklaşık her 20 belgeden 1’i yanlıştır.
Bir eşikte Recall (duyarlılık) Bu türün gerçek belgelerinden kaçını yakalar? %80 → 5 belgeden 1’i kaçırılır.

Sekiz eşikte ölçülürler (%30, 40, 50, 60, 70, 80, 90 ve 95). Tablo, yeni kuralların başlangıç eşiği olan %70’i gösterir. Eşiği yükseltmek genel olarak kesinliği artırır, duyarlılığı düşürür.

Tipik örüntülerin yorumlanması:

Örüntü Olası neden Yapılacak
Yüksek kesinlik, düşük duyarlılık Örnekler çok az veya çok tekdüze; gerçek belgeler daha çeşitli. Çeşitli örnekler ekleyin (diğer diller, şablonlar, yıllar).
Düşük kesinlik Tür geniş, başka bir türle örtüşüyor ya da aynı nitelikteki başvuru belgelerine benziyor. Yanlış eşleşmeleri karşı örnek olarak ekleyin; türleri bölün veya birleştirin; eşiği yükseltin.
few examples rozeti 5–19 örnek. 20+ hedefleyin.
Precision — Tür çapraz doğrulamada hiç %70’e ulaşmamış. Daha fazla örnek; henüz bu türe kural kurmayın.
İyi değerler, test kipinde yanlış sonuçlar Örnekler kullanıcıların gerçekte yazdıklarını temsil etmiyor. Gerçek kaçırılanları örnek, yanlış eşleşmeleri karşı örnek olarak yükleyip yeniden eğitin.