Arquitetura de LLMs e Transformers

A Arquitetura Transformer Desmistificada: Self-Attention, Multi-Head, RoPE e KV Cache por Dentro

Desconstrução matemática e arquitetural aprofundada da revolução Transformer: por que as redes neurais recorrentes (RNNs e LSTMs) foram superadas pelo mecanismo de atenção paralela, as equações de Query, Key e Value (Q, K, V) no Scaled Dot-Product Attention, a transição para Multi-Head, Multi-Query e Grouped-Query Attention (GQA), a geometria rotacional do RoPE (Rotary Position Embedding) e a engenharia de inferência com KV Cache.

Em 2017, uma equipe de oito pesquisadores do Google Brain publicou um artigo técnico despretensioso de apenas 11 páginas intitulado "Attention Is All You Need". O objetivo original era aprimorar a tradução automática entre pares de idiomas. No entanto, o artigo provocou a mais profunda transformação na história da ciência da computação contemporânea: a arquitetura Transformer não apenas superou todas as tecnologias concorrentes em linguagem natural, mas tornou-se a espinha dorsal de quase toda a IA moderna — de Grandes Modelos de Linguagem (LLMs) a modelos de visão computacional (Vision Transformers - ViTs) e sistemas de biologia computacional como o AlphaFold.

A genialidade do Transformer reside em uma ruptura radical: ele descartou completamente a recorrência temporal e as convoluções espaciais, substituindo-as por um mecanismo matemático elegante e altamente paralelizável no silício das GPUs: a Autoatenção (Self-Attention).

Neste artigo definitivo, desvendamos as engrenagens matemáticas do Transformer: das equações de Projeção $Q, K, V$ e Multi-Head Attention até a geometria do Rotary Position Embedding (RoPE) e o impacto de memória do KV Cache em produção.

---

1. O Colapso da Recorrência e a Necessidade de Paralelismo

Antes do Transformer, o estado da arte no processamento de sequências pertencia às Redes Neurais Recorrentes (RNNs) e suas variantes com portas de controle, como a LSTM (Long Short-Term Memory) e a GRU (Gated Recurrent Unit).

O paradigma recorrente operava sob uma premissa estritamente sequencial:

$h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b)$

O estado oculto no instante $t$ ($h_t$) dependia obrigatoriamente do estado oculto no instante anterior ($h_{t-1}$). Essa dependência causal sequencial impunha dois limites intransponíveis:

1. Impossibilidade de Paralelização Temporal: Uma GPU moderna com dezenas de milhares de núcleos de silício era forçada a esperar a conclusão do token 1 para só então calcular o token 2, deixando a maior parte das unidades de cálculo ociosas durante o treinamento.

2. Gargalo de Informação e Perda de Longo Alcance: Para que a informação da primeira palavra de um parágrafo chegasse à centésima palavra, o sinal precisava atravessar 100 multiplicações matriciais sucessivas. Mesmo com portas de esquecimento, o sinal sofria atenuação severa de gradientes, tornando quase impossível correlacionar fatos separados por longas distâncias no texto.

O Transformer eliminou a cadeia temporal: em vez de passar um vetor de estado de mão em mão ao longo do tempo, todos os tokens de um texto são alimentados na GPU simultaneamente em um único tensor, e cada token pode "olhar" diretamente para qualquer outro token da sequência em uma única etapa computacional com distância de caminho $O(1)$.

   REDE RECORRENTE (Sequencial, Lenta)         ARQUITETURA TRANSFORMER (Paralela, Instantânea)
x₁ ──► [LSTM] ──► h₁                           x₁ ───┐
                   │                                  │
x₂ ─────────────► [LSTM] ──► h₂                x₂ ───┼──► [ Mecanismo de Self-Attention ] ──► Todos os Tokens
                   │                                  │     (Processamento Simultâneo)          Contextualizados
x₃ ─────────────► [LSTM] ──► h₃                x₃ ───┘
(Dependência estrita passo-a-passo)

---

2. A Mecânica da Autoatenção: Scaled Dot-Product Attention

O bloco fundamental de cálculo do Transformer é o Scaled Dot-Product Attention. A metáfora conceitual provém dos sistemas de busca em bancos de dados:

Imagine que você está em uma biblioteca imensa:

  • Query ($\mathbf{Q}$): O termo de busca que você digita no terminal ("Qual o conceito de criptografia?");
  • Key ($\mathbf{K}$): As etiquetas no dorso de cada livro na estante ("História", "Criptografia", "Culinária");
  • Value ($\mathbf{V}$): O conteúdo textual das páginas do livro propriamente dito.

O sistema compara a sua Query com todas as Keys. Onde houver correspondência semântica alta, o sistema atribui peso elevado e extrai o Value daquele livro específico.

A Formulação Matemática Rigorosa

Dado um tensor de entrada de tokens projetados $X \in \mathbb{R}^{N \times d_{\text{model}}}$, a rede multiplica essa matriz por três matrizes de pesos aprendíveis independentes ($W_Q, W_K, W_V \in \mathbb{R}^{d_{\text{model}} \times d_k}$):

$Q = X W_Q, \quad K = X W_K, \quad V = X W_V$

A equação matricial canônica da atenção é expressa por:

$\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{Q K^T}{\sqrt{d_k}} + M \right) V$

Onde cada elemento cumpre uma função matemática indispensável:

1. O Produto Escalar $Q K^T \in \mathbb{R}^{N \times N}$: Calcula o produto interno entre a Query de cada token $i$ e a Key de cada token $j$. Quanto maior a concordância de orientação entre os vetores, maior a pontuação de relevância mútua.

2. O Fator de Escala $\frac{1}{\sqrt{d_k}}$: Conforme a dimensão $d_k$ dos vetores cresce (por exemplo, $d_k = 128$), o produto escalar de dois vetores aleatórios tende a assumir magnitudes imensas com variância proporcional a $d_k$. Valores muito grandes empurram a função Softmax para suas caudas extremas de saturação, onde os gradientes tornam-se quase zero ($e^{-x} \approx 0$). Dividir pela raiz quadrada $\sqrt{d_k}$ normaliza a variância para $1.0$, preservando gradientes saudáveis no treino.

3. A Máscara Causal ($M$): Em modelos de decodificação autorregressiva (como a família GPT e LLaMA), um token no momento de previsão não pode "olhar para o futuro" (palavras subsequentes). A matriz de máscara adiciona $-\infty$ nas posições onde $j > i$. Como $\text{softmax}(-\infty) = 0$, a atenção atribuída a tokens futuros é forçada analiticamente a zero.

4. O Softmax e a Ponderação dos Valores ($V$): A função Softmax normaliza cada linha da matriz de afinidades para que a soma seja estritamente $1.0$, transformando as pontuações em pesos de probabilidade que realizam uma combinação linear convexa dos vetores de valor $V$.

# Implementação transparente do Scaled Dot-Product Attention em PyTorch
import torch
import torch.nn.functional as F

def scaled_dot_product_attention_manual(Q, K, V, is_causal=True):
    # Q, K, V têm dimensões [batch_size, num_heads, seq_len, head_dim]
    d_k = Q.size(-1)
    
    # 1. Multiplicação matricial Q @ K^T
    scores = torch.matmul(Q, K.transpose(-2, -1)) / (d_k ** 0.5)
    
    # 2. Aplicação da Máscara Causal triangular inferior
    if is_causal:
        seq_len = Q.size(-2)
        # Cria matriz triangular superior com -inf
        mask = torch.triu(torch.full((seq_len, seq_len), float('-inf'), device=Q.device), diagonal=1)
        scores = scores + mask
        
    # 3. Softmax sobre a última dimensão (chaves)
    attention_weights = F.softmax(scores, dim=-1)
    
    # 4. Multiplicação pelos Valores V
    output = torch.matmul(attention_weights, V)
    return output, attention_weights

---

3. Da Multi-Head Attention (MHA) à Grouped-Query Attention (GQA)

Uma única cabeça de atenção calcularia apenas uma perspectiva de relacionamento por vez. Porém, a linguagem humana possui múltiplos eixos simultâneos de dependência: concordância sintática de gênero e número, resolução de anáforas pronominais ("A empresa comprou o servidor porque ela precisava de desempenho"), relações semânticas e tom estilístico.

A Multi-Head Attention (MHA) divide as dimensões de projeção em $h$ cabeças independentes, permitindo que cada uma processe um subespaço latente especializado em paralelo:

$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h) W_O$

Onde cada cabeça calcula $\text{head}_i = \text{Attention}(Q W_i^Q, K W_i^K, V W_i^V)$.

   MULTI-HEAD ATTENTION (MHA)           GROUPED-QUERY ATTENTION (GQA)
   (Padrão original - Alta Memória)     (Padrão LLaMA 3/Mistral - Eficiente)
Q Heads:   [Q1] [Q2] [Q3] [Q4]          Q Heads:   [Q1] [Q2]  [Q3] [Q4]
            │    │    │    │                        \   /      \   /
K/V Heads: [K1] [K2] [K3] [K4]          K/V Heads:   [KV 1]     [KV 2]
           (Cada Q tem seu KV)          (Múltiplas Qs compartilham 1 par KV)

No entanto, à medida que os contextos se expandiram para 32k, 128k e 1 milhão de tokens, o custo de manter pares de chaves e valores ($K, V$) independentes para cada cabeça de atenção esgotou a memória das GPUs. Surgiram então as otimizações estruturais:

  • Multi-Query Attention (MQA): Todas as cabeças de Query compartilham um único par de $K$ e $V$. Reduz a memória drasticamente, mas pode degradar a qualidade do raciocínio complexo.
  • Grouped-Query Attention (GQA): O compromisso perfeito adotado nos modelos contemporâneos (LLaMA 3, Mistral, Qwen). As cabeças de Query são agrupadas (por exemplo, 8 grupos de 4 cabeças), e cada grupo compartilha uma única cabeça de Key e Value, reduzindo o tráfego de VRAM em 75% com perda nula de acurácia.

---

4. Codificação Posicional: A Revolução do RoPE (Rotary Position Embedding)

Como o mecanismo de atenção calcula produtos escalares puros entre conjuntos de vetores sem qualquer noção intrínseca de ordem temporal, o Transformer original precisava somar vetores de posição estáticos baseados em senos e cossenos aos embeddings de entrada (Sinusoidal Absolute Positional Encoding):

$\mathbf{x}_{\text{final}} = \mathbf{x}_{\text{token}} + \mathbf{p}_{\text{pos}}$

Embora funcional, esse método trata as posições como etiquetas absolutas: o token na posição 5 não tem como saber nativamente sua distância relativa ao token na posição 2 sem que a rede gaste capacidade paramétrica deduzindo essa relação.

A virada foi o desenvolvimento do RoPE (Rotary Position Embedding) por Jianlin Su em 2021. Em vez de somar vetores, o RoPE divide o vetor de dimensão $d$ em pares de coordenadas bidimensionais e aplica uma matriz de rotação ortogonal nos vetores de Query e Key:

$\mathbf{q}_m = R_{\Theta, m}^d \mathbf{q}, \quad \mathbf{k}_n = R_{\Theta, n}^d \mathbf{k}$

Onde $R_{\Theta, m}$ é uma matriz bloco-diagonal de rotações no plano complexo por um ângulo $m \theta_i$:

$R_{\Theta, m} = \begin{bmatrix}

\cos(m\theta_i) & -\sin(m\theta_i) \\

\sin(m\theta_i) & \cos(m\theta_i)

\end{bmatrix}$

A mágica matemática do RoPE revela-se no produto interno da atenção:

$\langle \mathbf{q}_m, \mathbf{k}_n \rangle = \mathbf{q}^T R_{\Theta, m}^T R_{\Theta, n} \mathbf{k} = \mathbf{q}^T R_{\Theta, n-m} \mathbf{k}$

O resultado depende estritamente da distância relativa $(n - m)$ entre os tokens! Além disso, a rotação preserva perfeitamente a norma dos vetores (pois matrizes de rotação são ortogonais), garante que a atenção decaia naturalmente à medida que os tokens se distanciam no texto e permite expandir o comprimento de contexto via interpolação de frequências angulares (como YaRN e RoPE Scaling).

---

5. Engenharia de Inferência: A Física e a Memória do KV Cache

No momento de gerar texto (decodificação autorregressiva), o modelo prevê um token por vez. O token recém-gerado é adicionado ao histórico, e a rede executa um novo passe forward para prever o próximo.

Sem otimização, calcular novamente a atenção sobre todo o histórico consumiria tempo quadrático $O(N^2)$. Contudo, os tokens passados não mudam; suas representações de chave ($K$) e valor ($V$) calculadas em cada camada permanecem exatamente idênticas.

O KV Cache é o buffer de memória alocado na VRAM da GPU que armazena os tensores de Key e Value de todas as camadas para todos os tokens já processados. A cada novo passo de inferência:

1. O modelo processa apenas o novo token de entrada através das camadas lineares;

2. Gera o vetor $Q_{\text{novo}}$, $K_{\text{novo}}$ e $V_{\text{novo}}$;

3. O novo par $K_{\text{novo}}$ e $V_{\text{novo}}$ é concatenado no buffer de KV Cache existente;

4. A atenção do novo token é calculada contra todo o histórico consolidado em tempo linear $O(N)$.

   FLUXO DE INFERÊNCIA AUTORREGRESSIVA COM KV CACHE
Token Novo (t) ──► [Camada Linear] ──► Gera Q(t), K(t), V(t)
                                         │       │      │
     ┌───────────────────────────────────┼───────┴──────┴──────┐
     │                                   │ Concatenado no Cache│
     ▼                                   ▼                     ▼
[Query Q(t)] ────► [Atenção] ◄──── [KV Cache Consolidado: K(0..t), V(0..t)]
                      │
                      ▼
               Próximo Token (t+1)

O Custo de Memória do KV Cache

A memória consumida pelo KV Cache em bytes pode ser calculada com precisão analítica por:

$\text{Memória KV (bytes)} = 2 \times n_{\text{camadas}} \times n_{\text{heads\_kv}} \times d_{\text{head}} \times \text{seq\_len} \times \text{bytes\_por\_elemento} \times \text{batch\_size}$

O fator $2$ decorre da presença de duas matrizes ($K$ e $V$). Em um modelo de 70 bilhões de parâmetros (80 camadas, 8 cabeças KV, dimensão 128) processando um contexto de 32.768 tokens para um único usuário em FP16 (2 bytes):

$\text{Memória} = 2 \times 80 \times 8 \times 128 \times 32.768 \times 2 \times 1 \approx 10,73 \text{ Gigabytes de VRAM}$

Apenas para guardar o cache de contexto de uma única conversa! É por esse motivo que inovações como o PagedAttention (implementado no motor vLLM) e a quantização de KV Cache para FP8 ou INT4 são fundamentais para viabilizar serviços de IA em escala industrial em 2026.

---

Conclusão: A Supremacia Arquitetural

A ascensão do Transformer demonstrou que as estruturas computacionais mais poderosas são aquelas que conseguem traduzir princípios matemáticos puros em operações que se ajustam perfeitamente à física dos aceleradores de silício. Ao eliminar o gargalo sequencial e unificar representação espacial e temporal sob o mecanismo de Autoatenção, o Transformer redefiniu as fronteiras do que a computação inteligente pode alcançar.

---

Fonte de Referência Educativa: Conteúdo técnico estruturado a partir da Formação Kaisen AI University (Apostilas Oficiais de Fundamentos de IA, Engenharia de Modelos e Agentes Autônomos).*