Embeddings e Vector Stores: Busca Semântica com Python

<h2>O Que São Embeddings</h2><p>Embeddings são representações numéricas de texto em forma de vetores de alta dimensão. Quando você transforma uma frase em embedding, ela vira uma lista de números (tipicamente 1536 dimensões com o modelo da OpenAI) que captura o significado semântico. Textos com significados parecidos ficam próximos no espaço vetorial. "Como treinar um cachorro" e "Dicas de adestramento canino" terão embeddings muito similares, mesmo sem compartilhar palavras.</p><p>Isso permite busca semântica: em vez de procurar palavras-chave exatas, você encontra documentos pelo significado. É a tecnologia por trás do RAG (Retrieval-Augmented Generation), que permite que LLMs respondam com base nos seus próprios dados.</p><h2>Gerando Embeddings com Python</h2><p>Use a API da OpenAI com o modelo text-embedding-3-small (mais barato) ou text-embedding-3-large (mais preciso). A chamada é simples: client.embeddings.create passando o modelo e o texto. A resposta contém o vetor em response.data[0].embedding. Para múltiplos textos, passe uma lista — a API processa em batch, o que é muito mais eficiente do que chamadas individuais.</p><h2>Vector Stores: ChromaDB e Pinecone</h2><p>ChromaDB é a opção mais simples para começar — roda localmente sem infraestrutura. Instale com pip install chromadb, crie uma collection, e use collection.add passando ids, documents e os embeddings. Para buscar, use collection.query com o embedding da pergunta e o número de resultados desejados.</p><p>Pinecone é a opção gerenciada para produção. Cria um índice na nuvem, faz upsert de vetores com metadados associados, e escala automaticamente. A vantagem é não se preocupar com infraestrutura, backup ou performance em volumes grandes. O custo depende do número de vetores armazenados e das queries realizadas.</p><h2>Construindo um Sistema de Busca Semântica</h2><p>O fluxo completo tem três fases. Na indexação, você divide seus documentos em chunks de 500 a 1000 caracteres com overlap de 100 caracteres, gera embeddings para cada chunk, e armazena no vector store com metadados como título e fonte. Na busca, transforma a pergunta do usuário em embedding, consulta os K documentos mais similares, e retorna os resultados ranqueados por similaridade.</p><p>Para RAG completo, adicione uma terceira fase: passe os documentos encontrados como contexto para um LLM junto com a pergunta original. O modelo responde usando as informações dos seus documentos, citando as fontes. É assim que ferramentas como ChatGPT com upload de PDFs funcionam internamente.</p><h2>Otimizações Importantes</h2><p>A qualidade do chunking define a qualidade da busca. Chunks muito grandes diluem o significado, muito pequenos perdem contexto. Experimente diferentes tamanhos para seu tipo de documento. Use metadados para filtrar resultados antes da busca vetorial — se o usuário pergunta sobre um produto específico, filtre por categoria antes de comparar vetores. Isso reduz o espaço de busca e melhora tanto a precisão quanto o custo.</p>