Distillation

Distillation (Wissensdestillation) ist ein Verfahren, bei dem ein großes, leistungsfähiges Modell als Lehrer dient, um ein kleineres Modell zu trainieren. Das kleinere Modell lernt, die Ausgaben des großen nachzuahmen, und wird dadurch oft deutlich schneller und günstiger bei nur geringem Qualitätsverlust. So lassen sich starke Modelle auf weniger leistungsfähiger Hardware nutzbar machen.