Hold
Das XLNet-Modell wurde in XLNet: Generalized Autoregressive Pretraining for Language Understanding von Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le vorgeschlagen. XLnet ist eine Erweiterung des Transformer-XL-Modells, das mithilfe einer autoregressiven Methode vorab trainiert wurde, um bidirektionale Kontexte zu lernen, indem die erwartete Wahrscheinlichkeit über alle Permutationen der Faktorisierungsreihenfolge der Eingabesequenz maximiert wird. XLNet