Attention

Отличное видео, объясняющее как работает механизм внимания в трансформерах: Attention