SpandZero

SpandTranslate önce hazır modellerle çalışıyordu. Hiçbiri SFX'i, yani çizime işlenmiş ses efektlerini ayrı tanımıyordu; birden çok metni tek dev kutuya sarıyor, webtoon'a özgü öğeleri görmüyordu. Bir kısmı da ticari kullanıma kapalıydı.

Doğru yer ve doğru sınıf ölçüsünde hazır yığının notu %38'di. Daha iyisini indirmek mümkün değildi; kurmak gerekiyordu.

Sayfadaki her yazıyı dört sınıfa ayıran bir etiket anayasası yazdık: balon, balon içi metin, serbest metin ve SFX. İnsan onaylı bir altın set kurduk, sonra modelleri nesil nesil eğittik: her nesil bir öncekinin etiketlediği veriyle, sıfırdan. Hiçbir nesil kendi sınavımızdan geçmeden bir sonrakinin verisine dokunamadı.

Kural basitti: veri seti kusursuz olduğu kanıtlanmadan ücretli eğitim yok.

• İkiz kutular. Model aynı yazıya iki farklı sınıf veriyor, çeviri aynı yere iki kez basılıyordu. Kaynağı bir önceki neslin etiketlerinden sızan bir hataydı; ölçüm cetvelimiz sınıfa bakmadığı için görünmüyordu. Cetveli yeniden yazdık: canlıda 1.083 ikiz 7'ye indi.
• Model iyiydi, son adım yiyordu. Tespitten sonraki tek bir süzgeç kuralı doğru kutuları siliyordu. Düzeltince aynı model %66'dan %78'e çıktı; eski model bile 11 puan kazandı.
• Para yakmadan eğitim. Veri seti on temizlik turundan geçti; rastgele seçilen 40 örneğin 40'ı da temiz çıkmadan eğitim başlamadı.

Belirleyici olan mimari değil, etiket standardı. Daha uzun eğitim çözüm olmuyor; çözüm veri. Ve bir modeli ölçtüğün cetveli de ölçmen gerekiyor: sınıfa bakmayan bir cetvel, %85 diye gösterdiği modelin gerçekte %75 olduğunu saklayabiliyor.