Hold
Das DistilBERT-Modell wurde im Blogbeitrag „Kleiner, schneller, billiger, leichter: Einführung von DistilBERT, einer destillierten Version von BERT“ und dem Papier-DistilBERT, einer destillierten Version von BERT: kleiner, schneller, billiger und leichter, vorgeschlagen. DistilBERT ist ein kleines, schnelles, günstiges und leichtes Transformer-Modell, das durch Destillieren der BERT-Basis trainiert wird. Es hat 40 % weniger Parameter als google-bert/bert-base-uncased, läuft 60 % schneller und behält dabei über 95 % der BERT-Leistungen bei, gemessen am GLUE-Benchmark für das Sprachverständnis. DistilBERT