Pesos (weights) são os parâmetros numéricos aprendidos por uma rede neural durante o treinamento. Cada conexão entre neurônios tem um peso associado que determina a importância daquele sinal no processamento. Durante o treinamento, esses pesos são ajustados iterativamente pelo algoritmo de backpropagation e gradient descent, minimizando o erro nas previsões do modelo. Um modelo grande como o GPT tem bilhões de pesos — o ChatGPT tem estimados 175 bilhões de parâmetros, e modelos mais recentes chegam a trilhões. Os pesos são o que distingue um modelo treinado de uma rede inicializada aleatoriamente — eles codificam todo o conhecimento que o modelo adquiriu. Quando você faz download de um modelo open source como o Llama ou o Mistral, o que você baixa são os arquivos de pesos. O fine-tuning consiste em ajustar os pesos de um modelo pré-treinado em novos dados, preservando o conhecimento base mas adaptando-o a uma tarefa específica. Técnicas como LoRA permitem fazer esse ajuste modificando apenas uma pequena fração dos pesos, reduzindo dramaticamente o custo computacional.
Navegar por letra: