Attention

Attention (Aufmerksamkeit) ist ein Mechanismus in Sprachmodellen, mit dem das Modell beim Verarbeiten eines Wortes gewichtet, welche anderen Wörter im Text dafür gerade wichtig sind. So kann es Bezüge über lange Strecken hinweg herstellen, etwa wenn ein Pronomen sich auf ein weit vorher genanntes Wort bezieht. Attention ist der Kern moderner Sprachmodelle und der Grund, warum sie Zusammenhänge im Text gut erfassen.