Inferenz

Inferenz bezeichnet die Phase, in der ein fertig trainiertes Modell tatsächlich genutzt wird, um aus einer Eingabe eine Antwort oder Vorhersage zu berechnen. Im Unterschied zum Training, bei dem das Modell lernt, wird hier nur das gelernte Wissen angewendet. Jede Anfrage an ein Sprachmodell löst eine solche Inferenz aus.