Kategorie: AI / NLP

Kürzlich machte Google Schlagzeilen, weil es innerhalb weniger Monate bereits seine zweite leitende Forscherin zur Ethik in der KI gefeuert hat. Timnit Gebru und ihre Kollegin Margaret Mitchell forschten an dem Paper “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, in dem es um die Risiken von großen Transformermodellen wie BERT, GTP-3 oder Switch-C geht, die auf extrem umfangreichen aus dem Web extrahierten Textsammlungen trainiert werden. Neben den enormen energetischen Ressourcen, die zum Training benötigt werden, macht das Paper auch darauf aufmerksam, dass bei solch großen Datenmengen oftmals auch Bias (=Vorurteile, statistische Verzerrungen) mitgelernt werden. Zudem ist es schwierig, einen Überblick über die Qualität des Datensatzes zu bewahren und damit solchen ungewollten Begleiterscheinungen entgegenzuwirken.