MMLU

MMLU (Massive Multitask Language Understanding) ist ein bekannter Test, mit dem das Wissen von Sprachmodellen geprüft wird. Er besteht aus Multiple-Choice-Fragen aus vielen Fachgebieten, von Mathematik über Recht bis Medizin. Ein höherer Prozentwert bedeutet, dass das Modell mehr Fragen richtig beantwortet. Der Wert ist nur ein Anhaltspunkt und sagt wenig darüber aus, wie ein Modell sich in deiner konkreten Aufgabe verhält.