Self-Attention (ou auto-atenção) é o mecanismo central da arquitetura Transformer que permite ao modelo pesar a importância de cada palavra em relação a todas as outras palavras em uma sequência, simultaneamente. Para cada token, o mecanismo calcula três vetores: Query (o que estou procurando?), Key (o que eu ofereço?) e Value (o que eu carrego de informação?). A atenção de um token para os demais é calculada pelo produto interno de sua Query com as Keys de todos os outros tokens, normalizado por softmax. O resultado é uma soma ponderada dos Values — o modelo aprende a "focar" nos tokens mais relevantes para cada posição. Isso resolve uma limitação crítica das RNNs: nestas, a informação do início de uma frase longa precisava percorrer muitos passos para influenciar o final, perdendo força. Com self-attention, qualquer token pode "ver" qualquer outro diretamente, independente da distância. A complexidade é quadrática em relação ao comprimento da sequência (O(n²)), o que motivou variantes mais eficientes como Sparse Attention e Flash Attention usadas em modelos com contextos longos.
Navegar por letra: