Bu Kadar Data Nereden Geliyor?

GPT3 yaklaşık 570GB filtrelenmiş textten eğitildi. Bu rakamlara ulaşmak için geliştiriciler tek tek bu textleri aramadı tabiki. Pipeline genellikle bu dört kaynaktan beslenir.

Web Scraping(Veri kazıma) : İnternet içeriklerini otomatik olarak tarama.
Lisanslı Datasetleri : Çeşitli platformlardan alınan datalar.
Sentetik Data : Başka AI'ları eğitmek için üretilen AI generated içerikler
Internal Carpora(Şirketin dışa açmadığı veriler) : Şirket bilgisi temelli içerikler Güven profili aşağıya doğru artar.

==Veri biliminde provenance, verinin kaynağını geçirdiği tüm işlemlerin adımlarını ve geçmişini adım adım izlenebilmesini ifade eder.==

Data Provenance herhangi eğitim verisi hakkında 3 soruyu yanıtlayabilme yeteneğidir.

Nereden geldi?
Ne zaman toplandı?
O zamandan beri değiştirildi mi?

SolarWinds, içinde ne olduğunu bilmiyorsanız derlenmiş bir ikili dosyaya (binary) güvenemeyeceğinizi sektöre öğretti; yazılım malzeme listelerinin (SBOM) standart bir uygulama haline gelmesinin tam olarak sebebi de buydu. Bunun yapay zekadaki karşılığı ise ML-BOM'dur: veri kümesi kaynaklarının, lisansların, kişisel tanımlanabilir bilgi (PII) kategorilerinin ve filtreleme kararlarının belgelenmiş bir envanteri. Benimsenme süreci henüz erken aşamadadır ve bugün üçüncü taraf modelleri canlıya alan çoğu kuruluş bunun yakınından bile geçememektedir.

Belgelenmemiş, büyük ölçekli web kazımanın en doğrudan sonuçlarından biri, kişisel olarak tanımlanabilir bilgilerin (PII) model ağırlıklarının içine sızarak sabitlenmesidir (baked into). Veri bir kez oraya girdiğinde, çıkarılması son derece zordur. Tıbbi kayıtlar, kişisel e-posta zincirleri, sağlık durumları veya siyasi görüşler hakkındaki forum gönderileri: Eğer tarama anında kamuya açıksa, tümü bu sürece dahil olur. AB'nin GDPR mevzuatı, açıkça verinin en aza indirgenmesini (yalnızca gerekli olanın toplanmasını) şart koşar. Bu durum, ön eğitim süreçlerini yönlendiren "ne kadar çok veri, o kadar iyi" mantığıyla doğrudan bir çelişki oluşturur. Yani internete yüklediğiniz şeyi aslında oraya kazımış oluyorsunuz, kesinlikle dikkat edilmesi gereken bir konu.

Not: Yapay zekada model weights, modelin eğitim sürecinde öğrendiği parametre değerleridir; hassas verilerin bu katsayılara işlenmesi, verinin geri silinmesini (machine unlearning) teknik olarak son derece zorlaştırır.