СВЯЗИ В КОНТЕКСТЕ
Attention
Модель перебирает все токены контекста и оценивает их влияние друг на друга
Transformer строит таблицу связей: какие предыдущие токены важны для каждой позиции сейчас [2].
Яркая ячейка означает больший вес в одной attention-операции.
↓ / →Машапост.чашкунастол,она
← для кого собираем контекстМаша
пост.
чашку
на
стол
,
она