# Harpya: texto completo > Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial. Só entram caminhos com equação, custo e teste refutável. Autor: Carlos Frederico Domínguez. Licença: CC BY 4.0. --- # Harpya > Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial. Só entram caminhos com equação, custo e teste refutável. - Página: https://www.harpya.org/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-24 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Harpya · Conhecimento transforma horizontes. Harpya. https://www.harpya.org/ Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial. Só entram caminhos com equação, custo e teste refutável. O Harpya é mantido por Carlos Frederico Domínguez. Conteúdo sob CC BY 4.0, código sob MIT. Repositório: https://github.com/freddominugez/Harpia-Project ## Caminhos de pesquisa - [Certificado inteiro com leitura progressiva em bits](https://www.harpya.org/estudos/caminhos/certificado-inteiro/): Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes. - [Escala diagonal da tabela](https://www.harpya.org/estudos/caminhos/escala-diagonal/): Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui. - [Raio probabilístico por concentração](https://www.harpya.org/estudos/caminhos/raio-probabilistico/): Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita. - [Certificado único sobre bits e dimensões](https://www.harpya.org/estudos/caminhos/certificado-bits-dimensoes/): Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler. - [Reticulados E8 e Leech para o vetor armazenado](https://www.harpya.org/estudos/caminhos/reticulados-e8-leech/): Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice. - [Bits por coluna segundo a sensibilidade](https://www.harpya.org/estudos/caminhos/bits-por-coluna/): Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada. - [Controle como problema de Bellman](https://www.harpya.org/estudos/caminhos/controle-bellman/): A hipótese central do programa escrita como problema de controle: diz o que otimizar e mede o teto do estado de contexto. - [Cabeça de saída: métrica do softmax e logits incrementais](https://www.harpya.org/estudos/caminhos/cabeca-de-saida/): Duas ideias para a camada que escolhe o próximo token, cada uma decidida por uma medida de posto efetivo. - [Atalho linear entre camadas do encoder](https://www.harpya.org/estudos/caminhos/atalho-entre-camadas/): Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência. - [Pesos de fase {±1, ±i}](https://www.harpya.org/estudos/caminhos/pesos-de-fase/): Pesos complexos de 2 bits contra pesos reais de 2 bits no mesmo orçamento. Único resultado forte da família complexa. - [Valor em precisão alta e derivada em poucos bits](https://www.harpya.org/estudos/caminhos/valor-e-derivada/): Cada item guarda um vetor e uma direção de variação. É a forma de primeira ordem do estado de controle. - [Tensor-train na cabeça de saída](https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca/): Fatorar a tabela do vocabulário como produto de tensores pequenos e comparar com int4 em bytes iguais. ## Seções - [Origens](https://www.harpya.org/origens/): linha do tempo das LLMs, de 1943 a 2026 - [Vídeos](https://www.harpya.org/videos/): 155 vídeos em 13 módulos - [Equações](https://www.harpya.org/equacoes/): as 16 camadas de um LLM - [Biblioteca](https://www.harpya.org/biblioteca/): 58 livros e 52 artigos - [Fórum](https://www.harpya.org/forum/): discussões no GitHub Discussions --- # Começando > Para quem está começando: a série "Como uma máquina aprende a falar", que explica como funciona um LLM do token ao espaço vetorial, sem pré-requisito. - Página: https://www.harpya.org/comecando/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Começando. Harpya. https://www.harpya.org/comecando/ Série "Como uma máquina aprende a falar", de Carlos Frederico Domínguez, em 10 artigos, do concreto ao abstrato. - [Artigo 1: O truque é um só: adivinhar a próxima palavra](https://www.harpya.org/comecando/proxima-palavra/): Como um modelo de linguagem aprende prevendo o próximo token, por que isso parece conhecimento e de onde vem a resposta confiantemente errada. - [Artigo 2: Tokens: o modelo não lê palavras](https://www.harpya.org/comecando/tokens/): Como o BPE corta o texto em tokens, por que o português custa cerca de 30% mais que o inglês e de onde vêm os erros de contar letras. - [Artigo 3: Corpus: a única fonte de verdade](https://www.harpya.org/comecando/corpus/): De onde vem o que um modelo sabe: como o corpus é filtrado, deduplicado e misturado, e por que isso decide o que ele acerta e erra. - [Artigo 4: Significado vira espaço](https://www.harpya.org/comecando/significado-vira-espaco/): Como significado vira posição num espaço de milhares de dimensões, do word2vec ao transformer, e o que a distância entre vetores não mede. --- # O truque é um só: adivinhar a próxima palavra > Como um modelo de linguagem aprende prevendo o próximo token, por que isso parece conhecimento e de onde vem a resposta confiantemente errada. - Página: https://www.harpya.org/comecando/proxima-palavra/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). O truque é um só: adivinhar a próxima palavra. Harpya. https://www.harpya.org/comecando/proxima-palavra/ *Como uma máquina aprende a falar, artigo 1 de 10.* Um modelo de linguagem não sabe que Paris é a capital da França. Ele sabe que, depois de "a capital da França é", o token mais provável é Paris. A distância entre essas duas frases parece pequena e explica quase tudo o que esses sistemas fazem de impressionante e de errado. Todo o treinamento de base de um modelo como o GPT, o Claude ou o Llama se apoia num único objetivo: dada uma sequência de texto, prever o pedaço seguinte. Não há uma lista de fatos, nem regras gramaticais, nem um humano marcando o que é verdade. Há texto, trilhões de pedaços dele, e a mesma pergunta repetida até a exaustão: e agora, o que vem? Não é memória. É previsão. O que chamamos de conhecimento do modelo é o resíduo que sobra quando a previsão fica boa o bastante. O mecanismo cabe em quatro passos. O texto é quebrado em tokens, que são pedaços de palavra, não palavras inteiras, e cada token vira um número de identificação num vocabulário fixo de dezenas de milhares de entradas. O modelo lê a sequência de tokens até certo ponto e produz, para cada entrada desse vocabulário, um número que mede a aposta naquele token como continuação. Uma função chamada softmax converte esses números em probabilidades que somam exatamente um. Esse vetor de probabilidades é toda a opinião do modelo sobre o que vem a seguir. **Figura 1. Texto vira tokens, tokens viram inteiros** (A frase 'a capital da França é' sendo dividida em seis tokens, cada um com um número de identificação) Divisão ilustrativa. O corte real depende do tokenizador de cada modelo: "França" pode sair inteira ou em dois pedaços, e os números de identificação variam de um vocabulário para outro. O que não varia é o princípio: o modelo nunca recebe letras nem palavras, recebe uma sequência de inteiros, cada um apontando para uma entrada de um vocabulário fixo. **Figura 2. Cada inteiro aponta para um vetor: o embedding** (Três tokens, Paris, Lyon e banana, cada um convertido num vetor de números; Paris e Lyon têm padrões parecidos, banana tem padrão diferente) Nenhum desses números significa algo sozinho. O que significa é o padrão: Paris e Lyon receberam, ao longo do treinamento, empurrões parecidos, porque apareceram em contextos parecidos, e seus vetores ficaram parecidos. Banana recebeu empurrões de outro tipo de texto. A dimensão 4.096 é típica de um modelo de alguns bilhões de parâmetros. Modelos menores usam centenas, os maiores passam de dez mil. O treinamento compara essa opinião com o que de fato veio. O token seguinte é escondido, o modelo aposta, e a perda mede quanta probabilidade ele deu ao token certo. A fórmula é o logaritmo negativo dessa probabilidade, a chamada entropia cruzada. Se o modelo deu 90% a Paris e Paris era o gabarito, a perda é pequena. Se deu 0,1%, a perda é grande. A perda só olha para o token certo. Os outros são afetados por tabela, porque as probabilidades somam um: subir Paris obriga a descer o resto. **Figura 3. A saída do modelo: uma distribuição sobre o vocabulário inteiro** (Barras de probabilidade para o próximo token depois de 'a capital da França é': Paris muito alta, Lyon e Marselha baixas, banana quase zero) Valores ilustrativos. A perda do treinamento olha só para a barra do gabarito. Com Paris em 0,87, a perda é −ln(0,87) ≈ 0,14. Se o modelo tivesse dado 0,001 a Paris, a perda seria ≈ 6,9. O gradiente empurra os pesos para encolher esse número, e como a soma é fixa em um, subir Paris desce todas as outras barras um pouco. Com a perda calculada, entra o cálculo. A retropropagação computa a derivada da perda em relação a cada um dos bilhões de parâmetros do modelo, e cada parâmetro é deslocado um passo minúsculo na direção que reduz a perda. O tamanho do passo é a taxa de aprendizado. Isso se repete para cada token de cada documento, trilhões de vezes, e o modelo pronto é a soma de todos esses empurrões. O detalhe que separa esse treinamento de quase tudo o que se chamava inteligência artificial antes é a origem do gabarito. Ninguém rotulou nada. O gabarito de cada previsão é o token seguinte do próprio documento. O texto se rotula sozinho pelo simples fato de ser sequencial, e é isso que a expressão aprendizado autossupervisionado quer dizer. É também por isso que dá para treinar com a internet inteira: não há limite de gente para anotar. Na hora de usar, o processo roda ao contrário. O modelo recebe o começo de um texto, produz a distribuição, um token é escolhido dela, o mais provável ou um sorteado com peso, esse token é anexado ao texto e tudo recomeça. Chama-se geração autorregressiva. Cada palavra que você lê de um modelo foi escolhida assim, uma de cada vez, olhando para tudo o que veio antes. Resta explicar por que Paris vence Lyon, e por que Lyon vence banana, sem que exista nenhum lugar onde esses três estejam ordenados. Paris vence por frequência. Em milhões de documentos, depois de "a capital da França é" veio Paris, e cada ocorrência foi um empurrão a favor. Banana perde por ausência: nunca apareceu nesse contexto, e os empurrões que recebeu vieram de receitas e feiras, que moram longe. O caso interessante é Lyon, que raramente foi o gabarito nessa posição exata e ainda assim recebe mais probabilidade que banana. A razão é que o modelo não consegue decorar. Ele tem bilhões de parâmetros para trilhões de tokens vistos, e precisa reaproveitar os mesmos parâmetros para contextos diferentes. Tudo o que é dito sobre a França, sobre cidades, sobre capitais, passa por representações internas compartilhadas. Lyon aparece no corpus cercada de França, cidade, rio, gastronomia, e acaba representada perto de Paris nesse espaço interno. Quando o contexto pede uma cidade francesa, Lyon herda uma parte da aposta por vizinhança, não por ter sido a resposta certa. É generalização, e é a mesma propriedade que permite ao modelo completar frases que nunca viu. **Figura 4. Distância é ângulo: o espaço vetorial projetado em duas dimensões** (Projeção em duas dimensões do espaço de embeddings: o vetor do contexto 'a capital da França é' quase alinhado com Paris, com ângulo pequeno para Lyon e quase perpendicular a banana; cidades francesas agrupadas de um lado, frutas do outro) Num banco vetorial, a pergunta também vira um vetor e o banco devolve os vizinhos de menor ângulo, ou de menor distância euclidiana, que para vetores normalizados dá a mesma ordem. Paris vence por estar quase alinhada ao contexto. Lyon fica perto por morar no mesmo bairro, o das cidades francesas, mesmo sem nunca ter sido a resposta. Banana está quase perpendicular: similaridade perto de zero. É essa geometria que o produto escalar da última camada do modelo mede antes do softmax, e é a mesma geometria que uma busca semântica usa para encontrar o trecho certo entre milhões de documentos. Há uma forma mais rigorosa de dizer isso. A entropia cruzada, medida em bits, é o número de bits que um compressor construído sobre o modelo gastaria para codificar aquele texto, a menos de uma sobra fixa e pequena. Prever bem e comprimir bem são a mesma tarefa, não uma analogia. Para comprimir "a capital da França é Paris" em milhões de documentos distintos, a solução mais barata em parâmetros é codificar a regularidade uma vez e reutilizá-la. Vista de fora, essa regularidade codificada parece saber. Ninguém ensinou o fato. O fato emergiu porque era a forma mais econômica de errar menos. Isso muda o que significa o modelo conter um fato. Não há uma linha num banco de dados dizendo que Paris é a capital da França. Há uma configuração de bilhões de números que, diante daquele contexto, concentra a probabilidade em Paris. O fato está diluído, espalhado e misturado com todos os outros. Apagar ou corrigir um fato não é apagar uma linha, e esse será o assunto do sétimo artigo desta série. O limite está escrito no próprio objetivo. As probabilidades somam um, sempre. Não existe no treinamento de base uma opção chamada "não sei". Quando a continuação correta é rara no corpus, ou não está nele, a massa de probabilidade não desaparece: vai para o que for mais plausível naquela vizinhança, uma data que soa certa, um nome que combina com a profissão, um número com a ordem de grandeza típica. O modelo entrega essa resposta com a mesma fluência com que entrega Paris, porque fluência é a única coisa que ele otimizou. A resposta confiantemente errada vem do mesmo mecanismo que produz Paris, operando onde faltava dado. A consequência prática é uma regra de proporção. O modelo conhece o mundo na medida em que o mundo escreveu sobre ele. Fatos muito documentados saem sólidos. Fatos raros, recentes, locais ou em línguas com pouco texto saem como palpites com aparência de resposta. É por isso que existe a técnica chamada RAG, recuperação de documentos na hora da pergunta: em vez de confiar na memória estatística, coloca-se o trecho relevante dentro do contexto, e o gabarito volta a estar na frente do modelo em vez de diluído nos pesos. Uma ressalva de escopo. O que você usa no dia a dia não é esse preditor cru. Sobre ele vêm camadas posteriores de treinamento que o ensinam a seguir instruções, recusar certas coisas e se comportar como assistente. Essas camadas mudam o comportamento, não a base, e serão tratadas no oitavo artigo. Por baixo de qualquer assistente há um preditor de próximo token, e tudo o que ele faz de bom ou de ruim passa por essa origem. Fica uma simplificação a corrigir. Este artigo falou em palavra por conveniência. O modelo nunca vê palavras. Vê tokens, pedaços escolhidos por um algoritmo treinado antes do modelo e congelado para sempre, e essa escolha, feita por frequência e sem qualquer noção de gramática, decide o que o modelo conta bem, o que lê caro e por que o português custa mais que o inglês. É o assunto do próximo artigo. --- # Tokens: o modelo não lê palavras > Como o BPE corta o texto em tokens, por que o português custa cerca de 30% mais que o inglês e de onde vêm os erros de contar letras. - Página: https://www.harpya.org/comecando/tokens/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Tokens: o modelo não lê palavras. Harpya. https://www.harpya.org/comecando/tokens/ *Como uma máquina aprende a falar, artigo 2 de 10.* A palavra não existe para um modelo de linguagem. O que existe é um inteiro, entre zero e algumas dezenas de milhares, apontando para um pedaço de texto que um algoritmo escolheu antes de o modelo nascer. Esse detalhe de engenharia, decidido por frequência e sem nenhuma noção de gramática, explica por que o modelo erra ao contar letras, por que o português custa mais caro que o inglês e por que algumas falhas que parecem de inteligência são falhas de corte. Há razões para não usar palavras. Um vocabulário de palavras não fecha: nomes próprios, erros de digitação, flexões e termos novos ficariam de fora, ou exigiriam um símbolo de "desconhecido" que apaga informação. O extremo oposto, um vocabulário de letras, cobre tudo, mas produz sequências longas em que cada símbolo carrega quase nada, e o custo da atenção cresce com o quadrado do comprimento. O token é o compromisso entre os dois: pedaços maiores que letras e menores que palavras, escolhidos de modo que o frequente vire um pedaço só e o raro seja montado a partir de partes. O algoritmo dominante é o BPE, byte pair encoding. Nasceu em 1994 como técnica de compressão de dados e foi adaptado em 2016 para tradução automática neural. O procedimento cabe em três frases. Começa-se com um alfabeto de 256 bytes, o que garante que qualquer sequência de texto, em qualquer língua ou alfabeto, seja representável. Conta-se, num corpus de amostra, todos os pares de símbolos adjacentes, funde-se o par mais frequente num símbolo novo e guarda-se a regra de fusão numa lista ordenada. Repete-se a contagem e a fusão até o vocabulário atingir o tamanho escolhido. **Figura 1. Três fusões do BPE numa amostra minúscula** (Quatro linhas mostrando as fusões sucessivas do BPE sobre as palavras arte, parte, carta e arco) Cada fusão é uma regra, e a lista é ordenada. O algoritmo não sabe o que é uma palavra: funde o par de símbolos adjacentes mais frequente, recomeça a contagem e repete. Numa amostra real, com bilhões de caracteres e um alvo de cem mil símbolos, as fusões que vencem são as de palavras inteiras em inglês, terminações comuns e sequências frequentes de código. Tokenizadores atuais começam em bytes, não em letras, o que garante que qualquer texto seja representável. Na hora de usar, nada é recalculado. O texto novo é quebrado em bytes e as regras de fusão são aplicadas na ordem exata em que foram aprendidas, o que torna o processo determinístico: a mesma sequência de caracteres produz sempre os mesmos tokens. Antes do BPE roda uma expressão regular que pré-separa espaços, pontuação e números, para que uma fusão não atravesse uma vírgula nem cole um dígito a uma letra. Tokenizadores recentes agrupam dígitos de três em três e reservam símbolos especiais para marcar o fim de um texto e os papéis de uma conversa. O tokenizador é treinado uma vez, antes do modelo, e fica congelado. O modelo aprende sobre esse alfabeto e nunca o revisa. O tamanho do vocabulário é uma decisão de engenharia, não uma propriedade da língua. O Llama 2 usava 32 mil tokens, o Llama 3 passou para 128 mil, o GPT-4 trabalha com cerca de 100 mil. Vocabulário maior produz sequências mais curtas, e sequência curta é cálculo mais barato e janela de contexto que rende mais. O custo vem do outro lado: a matriz de embeddings cresce, e tokens raros aparecem tão pouco no treino que seus vetores ficam mal formados. Vocabulário menor inverte a troca. Não há tamanho certo. Há um ponto de equilíbrio que cada laboratório escolhe para a mistura de línguas e domínios que pretende atender. É aí que o português paga. Como as fusões são guiadas por frequência, e a amostra tem muito mais inglês do que qualquer outra língua, as palavras inglesas comuns viram tokens inteiros e as portuguesas são picotadas. "France" é um token. "França" são dois. Um parágrafo em inglês custa um token a cada 1,1 palavra. O mesmo parágrafo em português custa um a cada 1,4. A diferença, medida no tokenizador do GPT-4, fica em torno de 30%, e sobe para línguas com alfabeto próprio ou com ainda menos texto na internet. **Figura 2. A mesma frase, dois alfabetos: contagem real no tokenizador do GPT-4** (A mesma frase tokenizada em português, 14 tokens, e em inglês, 11 tokens, e um parágrafo com 71 contra 54 tokens) O português paga 31% a mais no parágrafo medido. Não por ser mais longo, mas porque suas palavras foram picotadas: "palavras" virou dois pedaços, "pedaços" virou três, enquanto "words" e "pieces" ficaram inteiras. A proporção varia com o tokenizador e o texto, e cresce em línguas com alfabeto próprio ou com ainda menos presença na amostra de treino. A sobretaxa tem três efeitos. O primeiro é financeiro, porque o token é a unidade de cobrança. O segundo é de capacidade, porque a janela de contexto é medida em tokens e enche mais rápido. O terceiro é de qualidade, mais sutil: cada token português carrega menos significado e foi visto menos vezes no treino, então o modelo trabalha com peças menores e menos ensaiadas. Nenhum dos três é uma limitação da língua. São consequências de uma contagem feita sobre uma amostra em que o inglês domina. O corte também explica uma família de erros que costuma ser tratada como falha de raciocínio. Perguntado quantas letras r há em "morango", o modelo não vê m, o, r, a, n, g, o. Vê dois inteiros, um para "mor" e outro para "ango". Para contar, precisaria ter aprendido, em algum texto, como cada token se escreve letra a letra, e esse tipo de texto é raro. O mesmo vale para rimas, anagramas e palavras ao contrário, e para a aritmética, em que 12345 chega como "123" seguido de "45" e a conta é feita sobre blocos de dígitos, não sobre dígitos. O modelo é cego para o que está abaixo do token. **Figura 3. O que está abaixo do token é invisível para o modelo** (Três exemplos: morango dividido em mor e ango, França em Fran e ça, 12345 em 123 e 45, com os ids que o modelo recebe) Para contar letras, o modelo precisaria saber como cada token se soletra, e isso só aparece nos pesos se o corpus tiver escrito a soletração vezes suficientes. Para somar, recebe blocos de três dígitos, não dígitos. Para rimar ou inverter uma palavra, precisa reconstruir uma sequência que nunca viu de fato. Nenhum desses erros nasce no raciocínio. Nascem no corte. Modelos recentes contornam parte disso, seja com mais exemplos de soletração no treino, seja chamando uma ferramenta que conta por eles. A cegueira continua estrutural. Toda percepção do modelo passa pelo alfabeto que um algoritmo de contagem definiu antes de ele existir, e nenhuma quantidade de treinamento posterior lhe dá acesso ao que esse alfabeto apagou. A regra prática segue dessa origem. Instruções fixas, as que entram em todo pedido, saem mais baratas em inglês, mesmo em inglês imperfeito, porque um erro de grafia encarece uma palavra e a sobretaxa do português encarece todas. O limite é a clareza: a economia só vale enquanto a instrução continua inequívoca. Fica a pergunta que este artigo deixou implícita. O tokenizador é treinado por frequência numa amostra, o modelo é treinado por frequência num corpus, e os dois herdam o que esse corpus contém, na proporção em que contém. Esse corpus, o que entra nele, o que é descartado e quantas vezes cada parte é lida, é a única fonte de verdade que o modelo conhece. É o próximo artigo. --- # Corpus: a única fonte de verdade > De onde vem o que um modelo sabe: como o corpus é filtrado, deduplicado e misturado, e por que isso decide o que ele acerta e erra. - Página: https://www.harpya.org/comecando/corpus/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Corpus: a única fonte de verdade. Harpya. https://www.harpya.org/comecando/corpus/ *Como uma máquina aprende a falar, artigo 3 de 10.* O modelo sabe o que o mundo escreveu, na proporção em que escreveu. A frase soa como limitação e é a definição mais exata do que um corpus faz. Tudo o que o modelo chama de conhecimento foi lido em algum lugar, e a lista desses lugares, com o peso de cada um, é a decisão mais consequente e menos divulgada de um laboratório. O corpus é o conjunto de textos sobre o qual o modelo pratica a única tarefa que conhece, prever o próximo token. Para os modelos atuais, são trilhões de tokens, o equivalente a dezenas de milhões de livros. A maior parte vem da web, e a fonte mais usada é o Common Crawl, um projeto sem fins lucrativos que captura páginas desde 2008 e publica, a cada mês ou dois, um retrato de bilhões delas. Em volta disso entram livros, artigos científicos, código de repositórios públicos, a Wikipédia, fóruns de perguntas e respostas, dados licenciados e, cada vez mais, texto sintético gerado por outros modelos. O bruto é lixo em grande parte. Uma página capturada traz menu, rodapé, aviso de cookies, anúncios, texto gerado por máquina para enganar buscadores, cópias de outras páginas e, muitas vezes, nenhum conteúdo. Por isso o corpus não é coletado. É construído, numa sequência de filtros em que cada etapa descarta uma fração grande do que recebe. A sequência costuma ser esta. A extração separa o texto principal do esqueleto HTML. A identificação de idioma atribui uma língua a cada documento e descarta o que não interessa, e é aqui que a proporção do português no modelo fica decidida, porque ninguém a escolhe: ela é contada. Os filtros de qualidade vêm em duas camadas, heurísticas simples, como tamanho do documento, proporção de símbolos, presença de palavras funcionais e linhas repetidas, e classificadores treinados para distinguir texto do tipo Wikipédia e livro de texto do tipo lista de preços. A deduplicação remove cópias. Os filtros finais tiram dados pessoais e conteúdo tóxico, e a descontaminação retira do corpus os textos usados nos testes que depois avaliam o modelo, para que a nota não seja decorada. **Figura 1. O corpus não é coletado, é construído: cada etapa descarta** (Funil com seis etapas de filtragem de um corpus, de páginas brutas a texto final, com a fração que sobra em cada uma) A proporção do português é decidida no segundo e no terceiro passo, quando o classificador de idioma conta o que existe e o filtro de qualidade, treinado sobretudo com exemplos em inglês, decide o que presta. Cada filtro é uma opinião sobre o que é texto bom, e o modelo herda essas opiniões sem saber que existiram. A deduplicação merece parágrafo próprio. Texto repetido muitas vezes é decorado: estudos de 2021 e 2022 mostraram que a chance de o modelo reproduzir um trecho literalmente cresce com o número de cópias dele no corpus. Além de desperdiçar cálculo, isso cria o risco de vazar dados pessoais e trechos protegidos. A deduplicação exata, por hash do documento inteiro, pega cópias idênticas. As quase-cópias, uma notícia republicada com um parágrafo a mais, uma página com a data trocada, exigem comparação aproximada: cada documento é reduzido a um conjunto de fragmentos curtos, e dois conjuntos com sobreposição alta são tratados como um só. **Figura 3. Quase-cópias: fragmentos em comum e o índice de Jaccard** (Dois documentos quase iguais reduzidos a pares de palavras, com os fragmentos em comum destacados e o cálculo do índice de Jaccard igual a 0,75) Comparar todos os pares de bilhões de documentos é impossível, então os pipelines usam MinHash: cada documento vira uma assinatura curta, construída de modo que a chance de duas assinaturas coincidirem seja igual ao índice de Jaccard entre os conjuntos. Assinaturas parecidas caem no mesmo balde, e só os pares do mesmo balde são comparados de fato. O exemplo usa pares de palavras por clareza. Pipelines reais usam janelas maiores, de cinco a treze tokens. Depois dos filtros vem a decisão política: quanto de cada fonte entra, e quantas vezes. Isso se chama mistura de dados, e poucos laboratórios a publicaram em detalhe. A OpenAI fez isso no artigo do GPT-3, em 2020, e a Meta no primeiro Llama, em 2023. No GPT-3, a web filtrada era 60% dos tokens vistos, mas foi lida menos da metade de uma vez. A Wikipédia era 3% e foi lida mais de três vezes. O texto de páginas linkadas no Reddit foi lido quase três vezes, e dos dois acervos de livros, um passou quase duas vezes e o outro menos da metade. O princípio é que fonte de qualidade alta vale repetição, e a web comum, não. Modelos posteriores acrescentaram código em peso, porque há evidência de que treinar em código melhora o raciocínio em etapas, e artigos científicos. Os modelos mais recentes divulgam, no máximo, proporções grosseiras. **Figura 2. A mistura publicada do GPT-3 (2020): parcela de cada fonte e quantas vezes foi lida** (Barra empilhada com a parcela de cada fonte no GPT-3 e tabela com o número de épocas de cada uma) A web é a maior parte e a menos repetida. Lida menos da metade de uma vez, enquanto a Wikipédia, com 3% dos tokens, passou mais de três vezes pelo modelo. Repetir uma fonte é dizer ao modelo que ela importa. Modelos posteriores acrescentaram código e artigos científicos em peso, e passaram a divulgar, no máximo, proporções grosseiras. Há ainda a ordem. Alguns laboratórios terminam o pré-treinamento com uma fase curta em que a mistura muda para dados de qualidade mais alta, o que tem efeito desproporcional sobre o modelo final, porque os últimos empurrões são os que menos se diluem. A sequência em que o modelo lê o corpus é outra escolha, e outra que não aparece na ficha técnica. As consequências seguem a regra da proporção. O que foi muito escrito sai sólido. O que foi pouco escrito sai como palpite. Línguas com pouca presença na web, como o português diante do inglês, recebem modelos piores, não por decisão, mas por aritmética. O corpus também tem data: a coleta termina num mês, o modelo é treinado nos meses seguintes, e o que acontece depois não existe para ele, o que se chama data de corte do conhecimento. E o corpus tem viés, porque reflete quem escreve na internet, em que língua e sobre o quê, e não quem existe. Há um limite novo. A web pública já foi lida inteira pelos maiores modelos, e os laboratórios passaram a gerar texto sintético, com modelos escrevendo para treinar modelos. Funciona quando o texto gerado é filtrado por um critério externo, como código que passa em testes ou soluções matemáticas conferidas. Sem esse filtro, modelos treinados na saída de modelos degradam a cada geração, porque cada rodada perde a cauda rara da distribuição e reforça o comum. Ninguém de fora audita um corpus. Os laboratórios não publicam a lista de fontes, em parte por vantagem competitiva, em parte pelas disputas judiciais sobre direitos autorais em curso em vários países. O que se pode fazer é inferir, pelo comportamento do modelo, o que ele leu e o que não leu, e, quando um fato é raro demais para ter sido escrito muitas vezes, trazê-lo de volta pelo contexto, que é o que a recuperação de documentos faz. Como todo esse texto vira geometria, posições num espaço onde parecido é perto, é o assunto do próximo artigo. --- # Significado vira espaço > Como significado vira posição num espaço de milhares de dimensões, do word2vec ao transformer, e o que a distância entre vetores não mede. - Página: https://www.harpya.org/comecando/significado-vira-espaco/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Significado vira espaço. Harpya. https://www.harpya.org/comecando/significado-vira-espaco/ *Como uma máquina aprende a falar, artigo 4 de 10.* Um significado, para um modelo, é um lugar. Não uma definição, não uma lista de atributos: uma posição num espaço de milhares de dimensões, e a única coisa que esse espaço sabe fazer é medir distâncias. Tudo o que o modelo faz de semântico, reconhecer sinônimos, completar analogias, achar o documento certo, é consequência dessa escolha. Os limites também. O mecanismo é uma tabela. A primeira camada de qualquer modelo é uma matriz com uma linha por token do vocabulário e uma coluna por dimensão do espaço. No GPT-3, 50.257 linhas por 12.288 colunas. Quando um token entra, seu inteiro serve de índice: a linha correspondente é copiada e vira o vetor de entrada. A matriz começa aleatória e é ajustada por gradiente como todo o resto da rede. Ao fim do treino, tokens que apareceram em contextos parecidos têm linhas parecidas, porque receberam empurrões parecidos. É a hipótese distribucional, formulada em 1957 pelo linguista John Firth: conhece-se uma palavra pela companhia que ela mantém. O que a rede faz é transformar essa frase em coordenadas. **Figura 1. A primeira camada é uma tabela: uma linha por token, uma coluna por dimensão** (Um token com id 12050 apontando para uma linha destacada de uma matriz de 50.257 por 12.288, que é copiada como vetor de entrada) O inteiro do token é só um endereço. A linha que ele aponta é o que o modelo de fato recebe, e essa linha foi moldada por cada contexto em que o token apareceu no corpus. Dois tokens que viveram em contextos parecidos acabam com linhas parecidas: é a hipótese distribucional de Firth, de 1957, convertida em coordenadas. O tamanho da matriz é o produto do vocabulário pela dimensão, e é por isso que vocabulários maiores custam memória. Entre dois vetores há três medidas comuns. O produto escalar soma os produtos coordenada a coordenada e cresce quando os vetores apontam na mesma direção e quando são longos. A distância euclidiana mede o segmento entre as duas pontas. A similaridade de cosseno divide o produto escalar pelo comprimento dos dois vetores e fica só com o ângulo: 1 para a mesma direção, 0 para perpendiculares, −1 para opostos. É a medida padrão porque, nesses espaços, a direção carrega o significado e o comprimento carrega outras coisas, como a frequência do token, que atrapalham a comparação. Dentro do modelo, o produto escalar é o que a atenção usa e o que a última camada calcula antes do softmax. Fora dele, o cosseno é o que um banco vetorial usa para dizer quais documentos estão perto de uma pergunta. Em 2013, uma equipe do Google publicou o word2vec, um método barato para treinar esses vetores a partir de texto, e mostrou algo que ninguém tinha desenhado: rei menos homem mais mulher caía perto de rainha. A aritmética funciona porque o treino, ao empurrar os vetores por contexto, produz deslocamentos consistentes. A diferença entre rei e rainha aponta na mesma direção que a diferença entre homem e mulher, ou entre ator e atriz. O espaço ganhou eixos que ninguém definiu, e eles se repetem. Convém não exagerar: a analogia é aproximada, o vizinho mais próximo nem sempre é o esperado, e a demonstração costuma excluir as próprias palavras da conta. A regularidade, porém, é real, e foi a primeira evidência de que a geometria codificava estrutura, não só proximidade. **Figura 2. Deslocamentos que se repetem: rei − homem + mulher ≈ rainha** (Seis pontos num plano, homem, mulher, rei, rainha, ator, atriz, com setas paralelas entre cada par e uma seta tracejada de rei até perto de rainha) A diferença entre dois vetores é ela mesma um vetor, e no espaço treinado essa diferença se repete: homem para mulher, rei para rainha, ator para atriz apontam quase na mesma direção. Somar esse deslocamento a rei leva a uma região onde rainha é a vizinha mais próxima. O resultado do word2vec, de 2013, foi a primeira demonstração pública de que a geometria codificava estrutura, não só proximidade. Funciona de forma aproximada, e a demonstração clássica exclui as palavras de entrada da busca pelo vizinho. O word2vec dá um vetor por palavra, fixo. "Banco" ganha um ponto só, estacionado entre a agência e a praça, e serve mal aos dois sentidos. O transformer começa igual, com a linha da matriz, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. Ao fim, "banco" em "sentei no banco da praça" está perto de cadeira, e "banco" em "o banco cobrou juros" está perto de crédito. O vetor deixou de representar a palavra e passou a representar a palavra naquela frase. Isso se chama representação contextual, e o mecanismo que a produz, a atenção, é o assunto do sexto artigo. **Figura 3. Um vetor por palavra, ou um vetor por palavra naquela frase** (Dois painéis: à esquerda, banco como um único ponto entre o grupo de assentos e o grupo financeiro; à direita, dois pontos banco, cada um dentro do grupo que a frase pede) O transformer começa com a linha da matriz, igual ao word2vec, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. No fim, o vetor não representa mais a palavra. Representa a palavra naquela frase. É o que se chama representação contextual, e o mecanismo que faz a mistura, a atenção, é o assunto do sexto artigo. A geometria não foi a primeira resposta à pergunta sobre o que é significado para uma máquina. Foi a terceira. A tradição simbólica, dominante nos anos 1970 e 1980, representava significado como definição e regra: ontologias, sistemas especialistas, o projeto Cyc, iniciado em 1984 para escrever à mão o senso comum. É precisa e auditável, e frágil de um jeito específico: duas coisas que não compartilham símbolo ficam infinitamente longe, mesmo que sejam parecidas na prática, e nada nela pode ser treinado, só escrito. A tradição relacional, das redes semânticas de 1968 aos grafos de conhecimento que o Google adotou em 2012, representa significado como posição num grafo. É boa para fatos nomeados e cadeias de relações, e ruim para similaridade entre coisas que ninguém ligou. A tradição geométrica veio em três passos. A análise semântica latente, de 1990, contava coocorrências de palavras em documentos numa matriz e a comprimia. O word2vec, de 2013, aprendeu os vetores por previsão, em vez de contagem. O transformer, de 2017, tornou os vetores contextuais. Venceu por uma razão de engenharia: vetores são contínuos, têm derivada, e tudo o que tem derivada pode ser treinado por gradiente e escalado em GPU. Uma ontologia não tem derivada. O preço foi perder o que as outras duas faziam bem: composição explícita, garantias lógicas e a possibilidade de abrir o sistema e ler o que ele sabe. Os sistemas híbridos de hoje, grafos acoplados a modelos, modelos gerando código para motores lógicos, são tentativas de recuperar essa camada sem sair do espaço vetorial. **Figura 4. Três maneiras de representar significado, e quando cada uma apareceu** (Linha do tempo com três faixas, simbólico, relacional e geométrico, marcando Firth 1957, Quillian 1968, Cyc 1984, LSA 1990, Knowledge Graph 2012, word2vec 2013 e Transformer 2017) O geométrico venceu por uma razão de engenharia, não de filosofia: vetores são contínuos, têm derivada, e por isso podem ser treinados por gradiente e multiplicados em GPU. Uma ontologia não tem derivada. Um grafo sabe que "capital de" é uma relação com nome, e o vetor só sabe que Paris está perto de França. O que o simbólico e o relacional ainda fazem melhor, composição explícita, garantias lógicas e auditoria, é o que os sistemas híbridos de hoje tentam trazer de volta por cima do modelo. O banco vetorial é a mesma geometria aplicada fora do modelo. Um modelo de embeddings, treinado para produzir um vetor por frase ou por documento, converte um acervo inteiro em pontos. A pergunta do usuário vira um ponto também, e o banco devolve os vizinhos de maior cosseno. Com milhões de documentos, comparar a pergunta com todos é lento, e os índices aproximados, como o HNSW, que organiza os pontos num grafo navegável, trocam uma fração pequena de precisão por uma busca milhares de vezes mais rápida. É esse mecanismo que a recuperação de documentos usa para encontrar o trecho que vai entrar no contexto. O limite está no que a distância não mede. Proximidade não é verdade. "Paris é a capital da França" e "Paris não é a capital da França" ocupam quase o mesmo lugar, porque diferem num token curto e frequente que o treino aprendeu a pesar pouco. Números vizinhos ficam vizinhos, mesmo quando a diferença entre 2019 e 2020 é a diferença entre certo e errado. E, em milhares de dimensões, todos os pontos ficam mais ou menos à mesma distância uns dos outros, o que comprime os cossenos numa faixa estreita e torna qualquer limiar de similaridade uma escolha arbitrária. A geometria mede parentesco. O que ela não mede, alguém tem de verificar. Resta a pergunta de como esse espaço se move. Os vetores começam aleatórios e terminam organizados, e a força que os arrasta é a mesma em todas as camadas: a derivada do erro em relação a cada número da rede. É a matemática mínima que o próximo artigo apresenta, derivada, integral e gradiente, sem fórmula além da necessária. --- # Análises > Análises assinadas por Carlos Frederico Domínguez sobre resultados recentes em IA e computação, com as fontes de cada afirmação. - Página: https://www.harpya.org/analises/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-18 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Análises. Harpya. https://www.harpya.org/analises/ - [Computação quântica útil, parte 1: o gargalo dos estados mágicos e o resultado do Google](https://www.harpya.org/analises/computacao-quantica-util-parte-1/): O Google cultivou no chip Willow estados mágicos cerca de 40 vezes menos errados. Por que essas peças pesam tanto no custo de um computador quântico útil. --- # O gargalo dos estados mágicos e o resultado do Google > O Google cultivou no chip Willow estados mágicos cerca de 40 vezes menos errados. Por que essas peças pesam tanto no custo de um computador quântico útil. - Página: https://www.harpya.org/analises/computacao-quantica-util-parte-1/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-18 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). O gargalo dos estados mágicos e o resultado do Google. Harpya. https://www.harpya.org/analises/computacao-quantica-util-parte-1/ *Computação quântica útil, parte 1 de 2.* Entre 2019 e 2025, a estimativa de quantos qubits seriam necessários para quebrar uma chave RSA de 2048 bits caiu de cerca de 20 milhões para menos de um milhão. Nenhuma máquina nova entrou na conta. A queda aconteceu no papel, com aritmética mais enxuta e técnicas de correção de erros mais econômicas, reunidas por Craig Gidney, do Google Quantum AI, num [trabalho de maio de 2025](https://thequantuminsider.com/2025/05/24/google-researcher-lowers-quantum-bar-to-crack-rsa-encryption/). A conta dele só fecha se cada operação errar no máximo uma vez em mil, e mesmo assim a máquina rodaria por cerca de cinco dias, executando mais de 6,5 bilhões de portas Toffoli. Os computadores quânticos de hoje têm de centenas a alguns milhares de qubits. A distância entre o milhão de qubits da estimativa e os poucos milhares das máquinas atuais vem do ruído. Um algoritmo quântico combina estados de 0 e 1 de modo que as respostas erradas se cancelem e a certa se reforce, e essa interferência é muito mais frágil que um bit num chip comum. Calor, vibração, ruído elétrico e até radiação vinda do espaço desviam os qubits do estado em que deveriam estar. Para que esses desvios não se somem até inutilizar o cálculo, a máquina dedica a maior parte dos seus qubits à correção de erros. A correção espalha a informação de um qubit lógico, aquele que o algoritmo enxerga, por dezenas ou centenas de qubits físicos. Enquanto o cálculo corre, medições de sinais indiretos mostram onde um erro aconteceu sem destruir o que está guardado. O esquema só compensa quando o erro de cada qubit físico fica abaixo de um limiar, porque acima dele acrescentar qubits traz mais erro do que correção. Em dezembro de 2024, o Google mostrou que o [chip Willow](https://blog.google/technology/research/google-willow-quantum-chip/), de 105 qubits, já trabalha do lado certo desse limiar. Cada vez que o código cresceu, de uma grade de 3 por 3 para 5 por 5 e depois 7 por 7, o erro lógico caiu pela metade. Em 15 e 16 de outubro de 2026, saíram resultados nas duas frentes em que esse custo pode baixar. Uma é o hardware com a correção de erros, que decide quantos qubits físicos cada qubit lógico consome e quanto custa cada operação. A outra é o desenho dos circuitos, que decide quantos qubits lógicos e quantas operações o algoritmo pede. O Google publicou na *Science* a demonstração de uma técnica que barateia uma das peças mais caras da correção de erros. A Anthropic anunciou, no dia seguinte, que o modelo Claude Mythos 5 desenhou circuitos que, segundo a empresa, gastam menos que os melhores já publicados. Eu não saberia dizer qual das duas frentes pesou mais na queda das estimativas desde 2019, porque o trabalho de Gidney mexeu nas duas ao mesmo tempo. ## O gargalo dos estados mágicos Boa parte das operações de um computador quântico com correção de erros é barata e, sozinha, não faz nada que um computador comum não faça. São as operações de Clifford, fáceis de executar nos códigos de correção e de simular numa máquina clássica. Quando o algoritmo precisa ir além, depende de portas como T e Toffoli. Dizer que o custo está nessas portas simplifica um pouco, porque o que pesa é o insumo que elas consomem. Portas T e Toffoli são executadas gastando estados mágicos, estados quânticos preparados à parte e checados antes do uso, que servem uma vez só. Um algoritmo útil consome de centenas de milhões a bilhões deles, e a estimativa de 2025 para RSA-2048 passa de 6,5 bilhões de portas Toffoli. Fabricar esses estados pesa tanto que, com a destilação tradicional, [algumas estimativas citadas pelo Google](https://blog.google/innovation-and-ai/models-and-research/quantum-computing/magic-state-cultivation-quantum-computing/) reservavam até 95% da capacidade de um computador quântico para essa produção. Embora o número venha de projeções, e não de medição numa máquina, ele explica a forma das estimativas de custo. Quem estima um algoritmo conta os qubits lógicos ocupados ao mesmo tempo e as portas T ou Toffoli executadas, e baratear cada estado mágico mexe, portanto, em todas essas estimativas de uma vez. ## O Google cultivou estados mágicos no Willow Os estados mágicos que uma equipe do Google Quantum AI preparou no processador Willow saíram cerca de 40 vezes menos errados do que os feitos sem a técnica que ela testava, o cultivo. A diferença existe porque cada tentativa passa por checagens que descartam as defeituosas antes do uso. O estado é injetado com ruído numa região pequena do chip e atravessa uma sequência de medições que detectam erros, e se alguma delas acusa problema a tentativa vai fora. O que sobrevive é transferido para um código de correção maior, onde pode ser usado. O trabalho de Emma Rosenfeld, Craig Gidney e colegas saiu na [*Science*](https://www.science.org/doi/10.1126/science.aee7961) em 15 de outubro, como primeira demonstração do cultivo em hardware, e circulava como [preprint](https://arxiv.org/pdf/2512.13908) desde dezembro de 2025. O gargalo que o cultivo ataca foi previsto em 2004, quando a computação quântica ainda nem era um projeto de engenharia. Por cerca de 20 anos, a resposta padrão foi a destilação, que junta várias cópias ruidosas para fazer uma melhor, à custa de muitos qubits. Gidney, Noah Shutty e Cody Jones propuseram o cultivo em 2024, a partir de uma ideia que já existia na literatura. Só 8% das tentativas sobreviveram a todas as checagens no experimento principal, e foi esse descarte que comprou a fidelidade de 99,99%. Isso equivale a cerca de um erro em 10 mil, contra 4,4 erros em mil quando o estado é só injetado. Dos números do artigo, os 8% são os que eu olharia primeiro, porque a fração de tentativas aproveitadas entra direto no custo de computação. Esse experimento cultivou o estado num código de cores de distância 3, num arranjo de 14 qubits do Willow, com a calibração final ajustada por aprendizado por reforço em cerca de quatro horas de treino. Num segundo experimento, com 54 dos 105 qubits, a equipe transplantou o estado cultivado para um código de superfície de distância 5, o tipo de código em que a máquina faria o resto do cálculo. Guardado ali por mais ciclos de correção, o estado acumulou mais erro do que as simulações previam. Os autores apontam como causa provável o *leakage*, que acontece quando um qubit escapa dos dois estados de trabalho. Para medir erros desse tamanho, a equipe precisou de um protocolo novo, a *kickback tomography*, que estabelece um limite superior para o erro com cerca de 10 mil medições. A tomografia comum precisaria de algo como 100 milhões. Ela combina medições feitas em bases diferentes e pode superestimar a qualidade do estado se houver ruído lento, como deriva do equipamento e variação de temperatura. Em alguns testes, chegou a produzir resultados fisicamente impossíveis. O artigo não diz se outras medições feitas do jeito usual mereceriam revisão, e eu gostaria de saber. Mesmo sendo recorde, um erro em 10 mil fica cerca de um milhão de vezes acima do que o artigo, citando estimativas anteriores, aponta como necessário para quebrar RSA-2048, um em 10 bilhões. Algumas tarefas de simulação e otimização pedem menos, entre um em um milhão e um em 100 milhões. Os autores contam com a escala para encurtar essa distância, já que o erro do cultivo deve cair com o cubo do ruído do chip. Reduzir esse ruído pela metade levaria o erro a cerca de dois em 100 mil, com o mesmo código pequeno. Para Alex Pruden, presidente-executivo da Project Eleven, citado pelo [The Block](https://theblock.co/news/web3/2026-10-16-google-quantum-computing-breakthrough-418787), o resultado não muda os prazos para uma máquina capaz de quebrar criptografia, porque o cultivo já era premissa das estimativas anteriores, mas torna essas estimativas mais críveis. Os próximos passos que a equipe descreve são códigos maiores, remoção de *leakage*, circuitos mais simples e operações T em tempo real sobre os estados cultivados, que ainda não foram implementadas. Nenhum deles muda quantos estados mágicos um algoritmo pede, só o preço de cada um. Essa quantidade é assunto da outra frente, a do desenho dos circuitos, que na mesma semana ganhou um resultado assinado por um modelo de linguagem e é o tema da segunda parte. ## Fontes - The Quantum Insider, [Google Researcher Lowers Quantum Bar to Crack RSA Encryption](https://thequantuminsider.com/2025/05/24/google-researcher-lowers-quantum-bar-to-crack-rsa-encryption/), 24 de maio de 2025 - Google, [Meet Willow, our state-of-the-art quantum chip](https://blog.google/technology/research/google-willow-quantum-chip/), 9 de dezembro de 2024 - Interesting Engineering, [Claude solves quantum memory bottleneck with 17x leaner circuit](https://interestingengineering.com/ai-robotics/claude-quantum-circuit-design) - Google, [Bringing the magic: Google breaks open a bottleneck in quantum computing](https://blog.google/innovation-and-ai/models-and-research/quantum-computing/magic-state-cultivation-quantum-computing/), outubro de 2026 - Google Research, [Magic state cultivation on a superconducting quantum processor](https://research.google/pubs/magic-state-cultivation-on-a-superconducting-quantum-processor/), resumo do artigo da *Science* - Rosenfeld, Gidney e colegas, [Magic state cultivation on a superconducting quantum processor](https://arxiv.org/pdf/2512.13908), preprint no arXiv - The Quantum Insider, [Google Demonstrates Method to Cut Errors in Quantum Computing's Magic States](https://thequantuminsider.com/2026/10/16/google-demonstrates-method-to-cut-errors-in-quantum-computings-magic-states/), 16 de outubro de 2026 - Quantum Computing Report, [Google Quantum AI demonstrates magic state cultivation on Willow](https://quantumcomputingreport.com/google-quantum-ai-demonstrates-magic-state-cultivation-on-willow-processor-in-science-milestone/) - The Block, [Google demonstrates quantum computing breakthrough as observers weigh Q-day implications](https://theblock.co/news/web3/2026-10-16-google-quantum-computing-breakthrough-418787), 16 de outubro de 2026 --- # Origens > A linha do tempo das LLMs em sóis e eclipses: os marcos celebrados e as fundações que ficaram na sombra, de 1943 a 2026. - Página: https://www.harpya.org/origens/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Origens. Harpya. https://www.harpya.org/origens/ Sóis são os marcos celebrados. Eclipses são as fundações que ficaram na sombra deles. ## Linha do tempo - **1943, Neurônio de McCulloch e Pitts** (marco). Um neurônio como porta lógica com limiar. $y=\mathbb 1\big[\textstyle\sum_i w_ix_i\ge\theta\big]$ - **1948, Shannon e a teoria da informação** (marco). Entropia e os primeiros modelos de linguagem por n-gramas de letras. $H=-\textstyle\sum_x p(x)\log_2 p(x)$ - **1950, Turing pergunta se máquinas podem pensar** (marco). O jogo da imitação define a meta conversacional. - **1956, Conferência de Dartmouth** (marco). O termo inteligência artificial passa a nomear um campo. - **1957, Hipótese distribucional** (marco). Firth: conhecemos uma palavra pela companhia que ela mantém. É a ideia por trás de todo embedding. - **1958, Perceptron de Rosenblatt** (marco). A primeira máquina que aprende com os próprios erros, com ativação em degrau. - **1960, ADALINE e a regra delta** (eclipse). Widrow e Hoff treinam pela saída linear e descem o gradiente do erro quadrático. $\Delta w=\eta\,(y-w^{\top}x)\,x$ - **1966, ELIZA** (marco). Conversa por regras de padrão, sem aprendizado. - **1969, Perceptrons, de Minsky e Papert** (eclipse). A prova de que uma camada só separa classes linearmente separáveis, e por isso não resolve o XOR. - **1986, Retropropagação** (marco). Rumelhart, Hinton e Williams tornam treinável a rede de várias camadas. $\partial\mathcal L/\partial W^{(\ell)}=\delta^{(\ell)}a^{(\ell-1)\top}$ - **1990, Análise semântica latente** (eclipse). SVD na matriz termo-documento: o significado vira geometria em poucas dimensões. $A\approx U_k\Sigma_kV_k^{\top}$ - **1991, Tese de Hochreiter: o gradiente que some** (eclipse). O diagnóstico do gradiente que desaparece em redes recorrentes, seis anos antes da LSTM. - **1997, LSTM** (marco). Hochreiter e Schmidhuber resolvem a memória de longo prazo em redes recorrentes. - **2003, Modelo neural de linguagem** (marco). Bengio e coautores aprendem ao mesmo tempo um vetor por palavra e a probabilidade da próxima. - **2006, Redes de crença profundas** (eclipse). Pré-treino camada a camada com RBMs reacende as redes profundas. - **2013, word2vec** (marco). Embeddings baratos em escala; analogias viram aritmética de vetores. $\vec{\text{rei}}-\vec{\text{homem}}+\vec{\text{mulher}}\approx\vec{\text{rainha}}$ - **2014, Atenção em tradução** (marco). Bahdanau, Cho e Bengio deixam o decodificador olhar para toda a frase de entrada. - **2014, Seq2Seq e o vetor único** (eclipse). Sutskever, Vinyals e Le: a frase inteira comprimida num vetor de tamanho fixo. - **2015, Subpalavras com BPE** (eclipse). Sennrich, Haddow e Birch levam o BPE para a tradução neural: nasce o token moderno. - **2016, FastText** (eclipse). Palavras como soma de n-gramas de caracteres: vetores até para palavras nunca vistas. - **2017, Attention Is All You Need** (marco). O transformer descarta a recorrência. $\mathrm{softmax}\big(QK^\top/\sqrt{d_k}\big)V$ - **2018, GPT e BERT** (marco). Pré-treino em texto bruto vira a regra: um gera, o outro codifica. - **2018, ELMo e ULMFiT** (eclipse). Vetores que dependem da frase e a receita de pré-treinar e depois ajustar. - **2019, GPT-2 e Sentence-BERT** (marco). Geração convincente e embeddings de frase prontos para busca. - **2020, GPT-3, leis de escala e RAG** (marco). Desempenho cresce como lei de potência do tamanho; a recuperação vetorial passa a alimentar a geração. - **2020, ColBERT** (eclipse). Um vetor por token e interação tardia, em vez de um vetor por documento. - **2021, RoPE** (marco). Posição codificada por rotação de pares de coordenadas. - **2022, ChatGPT e embeddings Matryoshka** (marco). LLMs chegam ao público; prefixos de um vetor passam a ser vetores válidos. - **2022, Chinchilla e FlashAttention** (eclipse). Cerca de 20 tokens por parâmetro, e atenção exata que respeita a memória da GPU. - **2023, Modelos abertos** (marco). Llama e sucessores tornam a arquitetura auditável por qualquer um. - **2024, RaBitQ** (marco). Um bit por dimensão com estimador não viesado e limite de erro. - **2024, BitNet b1.58** (eclipse). Pesos ternários {-1, 0, 1}: multiplicação de matriz vira soma e subtração. - **2025, Limites do vetor único** (marco). Prova-se que um embedding de dimensão fixa não representa todas as combinações de relevância. - **2026, Harpya** (marco). Auditoria pública dos caminhos de eficiência que ainda têm espaço. ## 1. A fundamentação oculta (1943 a 1970) A narrativa comum salta do neurônio de McCulloch e Pitts (1943) direto para a retropropagação (1986). No meio ficam os embates sobre os limites da linearidade, que quase pararam o campo. ### 1960: ADALINE e a regra delta: o berço do gradiente *Bernard Widrow e Marcian Hoff* Enquanto o perceptron usava uma ativação em degrau, que não tem derivada útil, Widrow e Hoff, em Stanford, treinaram o ADALINE pela saída linear, antes do limiar. A regra delta (ou LMS) minimiza o erro quadrático médio descendo o gradiente. É a mesma ideia que a retropropagação estenderia a várias camadas em 1986. $$ \Delta w_i=\eta\,\big(y-w^{\top}x\big)\,x_i $$ ### 1969: O problema do XOR *Marvin Minsky e Seymour Papert* O Perceptron de Frank Rosenblatt (1958) prometia uma máquina que aprende. Em Perceptrons (1969), Minsky e Papert provaram que um perceptron de uma camada só separa classes linearmente separáveis. O XOR não é: nenhum hiperplano separa as suas saídas. O livro pesou contra as redes neurais por mais de uma década. Junto com o relatório Lighthill (1973) e os cortes de financiamento da DARPA, marca o que se chamou de primeiro inverno da IA. $$ \nexists\,(w,b):\ \mathbb{1}\big[w^{\top}x+b>0\big]=x_1\oplus x_2\ \ \forall x\in\{0,1\}^2 $$ **Referências.** - [Widrow, B. e Hoff, M. E. (1960). Adaptive switching circuits. IRE WESCON.](https://www-isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf) - [Minsky, M. e Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.](https://doi.org/10.7551/mitpress/11301.001.0001) ## 2. O despertar latente e o gargalo das sequências (1980 a 1997) A hipótese distribucional de Firth (1957) dizia que uma palavra se conhece pela companhia. Faltava a prova de que esse significado podia ser extraído com álgebra, e o diagnóstico de por que as redes recorrentes esqueciam. ### 1990: Análise semântica latente: a álgebra do significado *Scott Deerwester e coautores* A LSA (patente pedida em 1988, artigo de 1990) aplica a decomposição em valores singulares a uma matriz termo-documento. Guardar só os k maiores valores singulares tira o ruído do vocabulário e revela tópicos latentes. É a origem puramente matemática dos embeddings densos: documentos e palavras viram pontos num espaço de poucas dimensões. $$ A\approx U_k\,\Sigma_k\,V_k^{\top} $$ ### 1991: A tese do gradiente que desaparece *Sepp Hochreiter, orientado por Jürgen Schmidhuber* Em sua tese de diplomação na TU Munique, Hochreiter mostrou por que redes recorrentes não aprendiam dependências longas: o erro propagado no tempo é multiplicado por uma cadeia de jacobianas, e encolhe (ou explode) exponencialmente. A LSTM de 1997 nasce desse diagnóstico, com o carrossel de erro constante. O portão de esquecimento só seria acrescentado em 1999, por Gers, Schmidhuber e Cummins. $$ \Big\|\prod_{t=k+1}^{T}\frac{\partial h_t}{\partial h_{t-1}}\Big\|\ \xrightarrow[T-k\to\infty]{}\ 0 $$ **Referências.** - [Deerwester, S. et al. (1990). Indexing by latent semantic analysis. JASIS 41(6).](https://doi.org/10.1002/(SICI)1097-4571(199009)41:6%3C391::AID-ASI1%3E3.0.CO;2-9) - [Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Tese, TU Munique.](https://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf) ## 3. O resgate estatístico e a anatomia dos vetores (2003 a 2016) O modelo neural de linguagem de Bengio (2003) e o word2vec (2013) abriram a era moderna. Entre eles, redes profundas ainda eram difíceis de treinar, e palavras inéditas não tinham vetor. ### 2006: Redes de crença profundas *Geoffrey Hinton, Simon Osindero e Yee-Whye Teh* Pré-treinar uma camada de cada vez, sem rótulos, com máquinas de Boltzmann restritas, deu às redes de muitas camadas um bom ponto de partida. O resultado reacendeu o interesse em redes profundas. ### 2015 e 2016: Subpalavras: BPE e FastText *Rico Sennrich e coautores; Piotr Bojanowski, Tomáš Mikolov e coautores* O word2vec dava um vetor por palavra inteira e falhava em palavras fora do vocabulário. Sennrich, Haddow e Birch adaptaram o BPE, um algoritmo de compressão de 1994, para a tradução neural: o vocabulário passa a ser de subpalavras. Variantes dessa ideia (BPE em bytes, WordPiece, SentencePiece) formam a tokenização dos LLMs atuais. O FastText representa cada palavra pela soma dos vetores dos seus n-gramas de caracteres, com marcadores de borda. Para gato e n = 3: ⟨ga, gat, ato, to⟩, mais a palavra inteira ⟨gato⟩. $$ v_{\text{gato}}=\textstyle\sum_{g\in\mathcal G(\text{gato})} z_g $$ **Referências.** - [Hinton, G. E., Osindero, S. e Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Computation 18(7).](https://doi.org/10.1162/neco.2006.18.7.1527) - [Sennrich, R., Haddow, B. e Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL.](https://arxiv.org/abs/1508.07909) - [Bojanowski, P. et al. (2017). Enriching Word Vectors with Subword Information. TACL.](https://arxiv.org/abs/1607.04606) ## 4. A dinâmica do contexto (2014 a 2018) O Attention Is All You Need (2017) e o par GPT e BERT (2018) são os marcos lembrados. Mas a atenção respondia a um problema concreto, e a receita do pré-treino já tinha sido provada meses antes. ### 2014: Seq2Seq e a parede do vetor único *Ilya Sutskever, Oriol Vinyals e Quoc Le* No seq2seq, o codificador comprime a frase inteira num único vetor de tamanho fixo, e o decodificador gera a tradução a partir dele. Em frases longas, a qualidade caía. A atenção de Bahdanau, Cho e Bengio (2014) deixa o decodificador consultar todos os estados do codificador a cada passo. Foi a resposta direta a esse gargalo. $$ c_t=\textstyle\sum_j \alpha_{tj}\,h_j,\qquad \alpha_{tj}=\operatorname{softmax}_j\big(a(s_{t-1},h_j)\big) $$ ### 2018: ELMo e ULMFiT: a virada de chave *Matthew Peters e coautores (AllenNLP); Jeremy Howard e Sebastian Ruder* O ELMo mostrou que o vetor de uma palavra deve depender da frase: ele vem das camadas de um modelo de linguagem bidirecional. O ULMFiT (janeiro de 2018) provou na prática a receita de pré-treinar um modelo de linguagem em texto geral e depois ajustá-lo a cada tarefa. O GPT, meses depois, aplica a mesma receita ao Transformer. **Referências.** - [Sutskever, I., Vinyals, O. e Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.](https://arxiv.org/abs/1409.3215) - [Bahdanau, D., Cho, K. e Bengio, Y. (2014). Neural Machine Translation by Jointly Learning to Align and Translate.](https://arxiv.org/abs/1409.0473) - [Peters, M. et al. (2018). Deep contextualized word representations. NAACL.](https://arxiv.org/abs/1802.05365) - [Howard, J. e Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. ACL.](https://arxiv.org/abs/1801.06146) ## 5. Escala, hardware e geometria (2020 a 2026) A linha do Harpya chega aos limites de eficiência: RaBitQ e o limite do vetor único. A escala e a recuperação vetorial dependem de correções de teoria, de hardware e de formato que costumam passar despercebidas. ### 2020: ColBERT: além do vetor único *Omar Khattab e Matei Zaharia* Em vez de comprimir o documento num vetor, o ColBERT guarda um vetor por token e pontua com interação tardia: cada token da pergunta procura o token mais parecido do documento. A prova de 2025 sobre os limites do vetor único dá fundamento teórico a essa escolha. $$ S_{q,d}=\textstyle\sum_{i=1}^{|q|}\ \max_{1\le j\le |d|}\ E_{q_i}\cdot E_{d_j} $$ ### 2022: Chinchilla e FlashAttention *Jordan Hoffmann e coautores (DeepMind); Tri Dao e coautores* Chinchilla: com computação fixa, parâmetros e tokens de treino devem crescer na mesma proporção, cerca de 20 tokens por parâmetro. Modelos grandes da época estavam subtreinados para o seu tamanho. Os modelos abertos que vieram depois, como o Llama, foram treinados até além desse ponto para ficarem baratos na inferência. FlashAttention: o gargalo da atenção era o tráfego com a memória HBM da GPU, não as contas. Calcular em blocos na SRAM e recomputar em vez de guardar a matriz n × n deixa a atenção exata mais rápida e com memória linear em n. Foi um dos passos que tornaram os contextos longos praticáveis. $$ N_{\text{tokens}}\approx 20\,N_{\text{parâmetros}} $$ ### 2024: A fronteira da quantização: RaBitQ e BitNet *Jianyang Gao e Cheng Long; Shuming Ma e coautores (Microsoft)* O RaBitQ guarda um bit por dimensão e dá um estimador não viesado do produto interno, com erro que cai como O(1/√D). O BitNet b1.58 restringe cada peso do LLM a três valores. A multiplicação de matriz vira soma e subtração, o que reduz memória e energia na inferência. $$ w\in\{-1,\,0,\,1\}\qquad \varepsilon=O\!\big(1/\sqrt{D}\big) $$ **Referências.** - [Khattab, O. e Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. SIGIR.](https://arxiv.org/abs/2004.12832) - [Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models.](https://arxiv.org/abs/2203.15556) - [Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS.](https://arxiv.org/abs/2205.14135) - [Gao, J. e Long, C. (2024). RaBitQ: Quantizing High-Dimensional Vectors with a Theoretical Error Bound. SIGMOD.](https://arxiv.org/abs/2405.12497) - [Ma, S. et al. (2024). The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits.](https://arxiv.org/abs/2402.17764) --- # Aprendizado de Máquina > Dez ideias de 1949 a 1998 que ainda estão dentro das LLMs, com contexto, equações explicadas, exemplos com números e fontes primárias. - Página: https://www.harpya.org/aprendizado/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-16 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Aprendizado de Máquina. Harpya. https://www.harpya.org/aprendizado/ ## 1949: Regra de Hebb *Donald O. Hebb* Neurônios que disparam juntos reforçam a ligação: a primeira regra de aprendizado pensada para redes de neurônios. ### Contexto Em 1949, o psicólogo canadense Donald Hebb publicou *The Organization of Behavior*, um livro sobre como a percepção e a memória poderiam surgir da atividade de grupos de neurônios. Ali está a hipótese que leva o seu nome: quando um neurônio A ajuda repetidamente a disparar um neurônio B, a ligação de A para B fica mais eficiente. Hebb não escreveu equação nenhuma. A forma matemática veio depois, quando pesquisadores de redes neurais artificiais precisaram de uma regra local, que cada ligação pudesse aplicar olhando só para os dois neurônios que ela conecta. ### Como funciona Cada ligação tem um peso $w_{ij}$, que diz quanto o neurônio de entrada $i$ influencia o neurônio de saída $j$. A regra olha para a atividade dos dois ao mesmo tempo: se ambos estão ativos, o peso cresce; se um deles está parado, nada muda. Não há professor nem resposta certa. A rede aprende só com as coincidências que observa, e por isso a regra de Hebb é o primeiro exemplo de **aprendizado não supervisionado**. ### As equações 1. A regra básica. $x_i$ é a atividade da entrada, $y_j$ a da saída e $\eta$ a taxa de aprendizado, um número pequeno que controla o tamanho de cada passo. $$ \Delta w_{ij}=\eta\,x_i\,y_j $$ 2. Para um neurônio linear com várias entradas, a saída é a soma ponderada das entradas, e a regra passa a atualizar o vetor de pesos inteiro de uma vez. $$ y=w^\top x=\sum_i w_i\,x_i,\qquad \Delta w=\eta\,y\,x $$ 3. Na média sobre muitos exemplos com entradas de média zero, o passo é proporcional à matriz de covariância $C$ das entradas. O peso cresce mais depressa na direção em que os dados mais variam: a regra encontra sozinha a direção principal dos dados. $$ \mathbb{E}[\Delta w]=\eta\,C\,w,\qquad C=\mathbb{E}\big[x\,x^\top\big] $$ 4. A correção de Erkki Oja (1982). O termo $-\eta\,y^2w$ freia o crescimento, e o vetor converge para a primeira componente principal, com $\|w\|=1$. $$ \Delta w=\eta\,y\,\big(x-y\,w\big) $$ ### Exemplo com números Tome três entradas, $x=(1,0,1)$, uma saída ativa $y=1$, peso inicial zero e $\eta=0{,}1$. Cada vez que o padrão aparece, $\Delta w=0{,}1\cdot1\cdot(1,0,1)=(0{,}1;\,0;\,0{,}1)$. Depois de dez apresentações, $w=(1;\,0;\,1)$: as duas entradas que andaram junto com a saída ficaram fortes, e a do meio, que nunca disparou, continuou em zero. Agora deixe a saída depender do próprio peso, $y=w^\top x$, partindo de $w=(0{,}1;\,0;\,0{,}1)$. A cada passo o peso é multiplicado por $1+\eta\|x\|^2=1{,}2$. Em dez passos a norma vai de $0{,}14$ para $0{,}88$; em cinquenta, passa de 1 000. Com a regra de Oja, o mesmo ponto de partida converge para $w=(0{,}707;\,0;\,0{,}707)$, de norma 1, e para de crescer. ### Limites A regra pura só reforça: não há termo que enfraqueça uma ligação, e os pesos crescem sem limite. Também não sabe o que é certo ou errado, só o que acontece junto. Variações posteriores acrescentaram normalização (Oja), limiares que permitem enfraquecer ligações e a dependência da ordem no tempo entre os disparos. ### O que virou hoje A ideia de guardar associações como soma de produtos externos, $W=\sum_t y_t\,x_t^\top$, é a base das memórias associativas e reaparece quando se lê a atenção linear como uma memória escrita a cada token. E o resultado da terceira equação, de que a correlação aponta para a direção principal dos dados, é o mesmo que a análise de componentes principais usa para comprimir embeddings. ### Fontes - Hebb, D. O. The Organization of Behavior: A Neuropsychological Theory. Wiley, 1949 (reedição Psychology Press). https://doi.org/10.4324/9781410612403 - Oja, E. Simplified neuron model as a principal component analyzer. Journal of Mathematical Biology, 1982. https://doi.org/10.1007/BF00275687 ## 1958: Perceptron de Rosenblatt *Frank Rosenblatt* O primeiro classificador que aprende com os próprios erros. ### Contexto Frank Rosenblatt, psicólogo do Laboratório Aeronáutico de Cornell, descreveu o perceptron em 1958 na *Psychological Review* e o levou para o hardware no Mark I Perceptron, uma máquina que aprendia a reconhecer padrões vistos por uma grade de fotocélulas. A novidade não era o neurônio artificial, que Warren McCulloch e Walter Pitts já tinham modelado em 1943. Era a regra para ajustar os pesos a partir de exemplos com a resposta certa. ### Como funciona O perceptron soma as entradas ponderadas e compara o resultado com zero: acima, responde 1; abaixo, 0. Geometricamente, os pesos definem uma reta (em mais dimensões, um hiperplano) que divide o espaço em duas regiões. O treino mostra um exemplo por vez. Se a resposta está certa, nada muda. Se está errada, os pesos se movem na direção do exemplo, empurrando a reta para o lado certo dele. Diferente da regra de Hebb, aqui existe um professor, o rótulo correto $y$ de cada exemplo: é **aprendizado supervisionado**. ### As equações 1. A decisão. $w$ são os pesos, $b$ o viés, que desloca a reta, e $\hat y$ a resposta da máquina. $$ \hat y=\begin{cases}1, & w^\top x+b>0\\[2pt] 0, & \text{caso contrário}\end{cases} $$ 2. A regra de correção. Quando acerta, $y-\hat y=0$ e nada muda. Quando deveria ter dito 1 e disse 0, soma o exemplo aos pesos; no caso oposto, subtrai. $$ w\leftarrow w+\eta\,(y-\hat y)\,x,\qquad b\leftarrow b+\eta\,(y-\hat y) $$ 3. O teorema de convergência (Novikoff, 1962). Se existe uma reta que separa as classes com folga $\gamma$ e todo exemplo tem norma no máximo $R$, o perceptron comete no máximo $(R/\gamma)^2$ erros, em qualquer ordem de apresentação. Se a reta não existe, o algoritmo não para. $$ k\le\left(\frac{R}{\gamma}\right)^{2} $$ ### Exemplo com números Ensine a função E lógico, que só vale 1 quando as duas entradas valem 1. Com $w=(0,0)$, $b=0$ e $\eta=1$, percorrendo os exemplos na ordem (0,0), (0,1), (1,0), (1,1): - Primeira passada: erra só em (1,1), que deveria dar 1. Os pesos viram $w=(1,1)$ e $b=1$. - Agora a máquina responde 1 para quase tudo, e as passadas seguintes corrigem os falsos positivos, subtraindo (0,0), (0,1) ou (1,0) quando erram. - Depois de 10 correções em 5 passadas, chega a $w=(2,1)$ e $b=-2$. A sexta passada não erra nada: $2\cdot1+1\cdot1-2=1>0$ para (1,1), e o resultado é zero ou negativo para os outros três. A reta $2x_1+x_2=2$ deixa (1,1) de um lado e os outros três pontos sobre ela ou abaixo. Não é a reta mais equilibrada, só a primeira que funcionou: o perceptron para no primeiro acerto completo, sem buscar folga. ### Limites Só aprende o que uma reta separa; quando as classes se misturam, os pesos oscilam para sempre. E a saída em degrau não diz quão perto do erro ele está, o que impede de treinar vários perceptrons empilhados ao mesmo tempo. Os dois problemas reaparecem nos itens sobre o XOR e a retropropagação. ### O que virou hoje Cada neurônio de uma rede moderna é um perceptron com o degrau trocado por uma função suave, como ReLU ou GELU. E a cabeça de saída de uma LLM é um classificador linear do mesmo tipo, só que com dezenas de milhares de classes, uma por token: $\text{logits}=W\,h$. ### Fontes - Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 1958. https://doi.org/10.1037/h0042519 - Novikoff, A. B. J. On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 1962. ## 1959: Samuel e as damas *Arthur L. Samuel* Um programa que melhora jogando contra si mesmo dá nome ao aprendizado de máquina. ### Contexto Arthur Samuel, engenheiro da IBM, passou a década de 1950 escrevendo um programa de damas para os primeiros computadores da empresa. Em 1959 publicou os resultados com o título *Some Studies in Machine Learning Using the Game of Checkers*, o texto que popularizou a expressão aprendizado de máquina. O objetivo declarado era mostrar que um computador pode ser programado para jogar melhor do que a pessoa que o programou, e o artigo relata que isso foi alcançado. ### Como funciona O programa tinha três peças. - Uma **função de avaliação**: uma soma ponderada de características do tabuleiro, como vantagem em peças e mobilidade, que diz o quanto uma posição é boa. - Uma **busca à frente**: antes de jogar, simula alguns lances de cada lado e escolhe o caminho que garante o melhor resultado supondo que o adversário também joga bem (minimax). - Duas formas de aprender: decorar posições já avaliadas, para não recalcular, e ajustar os pesos da função de avaliação para que ela concorde com o que a busca mais profunda revela. Para ganhar experiência, versões do programa jogavam umas contra as outras. ### As equações 1. A função de avaliação. $s$ é a posição, $f_k(s)$ a característica $k$ medida nela e $w_k$ o peso que o programa aprende. $$ V(s)=\sum_{k} w_k\,f_k(s) $$ 2. Busca minimax de dois lances: o programa escolhe o lance $a$ que maximiza o pior caso depois da resposta $b$ do adversário. Com mais profundidade, a alternância de máximos e mínimos continua. $$ V_{\text{busca}}(s)=\max_{a}\ \min_{b}\ V\big(s_{a,b}\big) $$ 3. O ajuste, em notação moderna: aproxima a avaliação rápida da avaliação que a busca mais funda produziu. Samuel usava um procedimento próprio para mexer nos coeficientes; esta forma é a leitura que a literatura de aprendizado por reforço faz do trabalho dele, como precursor do aprendizado por diferença temporal. $$ w_k\leftarrow w_k+\eta\,\big(V_{\text{busca}}(s)-V(s)\big)\,f_k(s) $$ ### Exemplo com números Suponha duas características: $f_1=2$ (o programa tem duas peças a mais) e $f_2=-3$ (o adversário tem três lances possíveis a mais), com pesos $w=(1{,}0;\,0{,}2)$. A avaliação rápida dá $V=2-0{,}6=1{,}4$. A busca alguns lances à frente mostra que a posição vale só $0{,}8$: a vantagem de peças vai ser devolvida. Com $\eta=0{,}05$, o erro é $0{,}8-1{,}4=-0{,}6$, e os pesos mudam $\Delta w=0{,}05\cdot(-0{,}6)\cdot(2,-3)=(-0{,}06;\,+0{,}09)$, ficando $w=(0{,}94;\,0{,}29)$. A nova avaliação da mesma posição é $1{,}01$, mais perto de $0{,}8$: o programa aprendeu a dar um pouco menos de valor às peças e um pouco mais à mobilidade. Os números são ilustrativos. ### Limites As características eram escolhidas à mão pelo autor; o programa só aprendia quanto pesava cada uma. E o sinal de aprendizado vinha da própria busca, que pode estar enganada: se a avaliação for ruim, a busca reforça os próprios erros. ### O que virou hoje Aprender a avaliação comparando-a com uma estimativa melhor, obtida olhando mais à frente, é a ideia central do aprendizado por diferença temporal e dos sistemas que treinam jogando contra si mesmos, de TD-Gammon (1992) a AlphaZero (2017). No ajuste de LLMs por reforço, a política é corrigida por um sinal de valor com a mesma lógica. ### Fontes - Samuel, A. L. Some Studies in Machine Learning Using the Game of Checkers. IBM Journal of Research and Development, 1959. https://doi.org/10.1147/rd.33.0210 ## 1960: ADALINE e a regra LMS *Bernard Widrow e Marcian E. (Ted) Hoff* Widrow e Hoff descem o gradiente do erro quadrático, a semente do treino atual. ### Contexto Em Stanford, Bernard Widrow e seu aluno Ted Hoff construíram o ADALINE (*ADAptive LINear Element*), um neurônio eletrônico com pesos ajustáveis, apresentado em 1960 no artigo *Adaptive Switching Circuits*. A regra que o treinava, chamada LMS (*least mean squares*, mínimos quadrados médios), teve uma longa carreira fora das redes neurais: por décadas foi usada em filtros adaptativos, como os canceladores de eco de linhas telefônicas e de modems. ### Como funciona O ADALINE parece um perceptron, mas muda o lugar onde o erro é medido. O perceptron compara a resposta já arredondada para 0 ou 1; o ADALINE compara a soma ponderada, antes do arredondamento, com o valor desejado. Esse erro é um número contínuo, e o quadrado dele forma uma superfície lisa, em forma de tigela, sobre o espaço dos pesos. Treinar vira descer essa tigela pelo lado mais inclinado, um pequeno passo por exemplo. Por isso o ADALINE continua aprendendo mesmo quando já classifica certo, e chega perto do melhor ajuste possível mesmo quando nenhuma reta separa os dados. ### As equações 1. O custo: o erro quadrático médio entre o valor desejado $y$ e a saída linear $w^\top x$. $$ J(w)=\tfrac12\,\mathbb{E}\big[(y-w^\top x)^2\big] $$ 2. O gradiente, a direção em que o custo mais sobe. Andar no sentido oposto reduz o erro. $$ \nabla_w J=-\,\mathbb{E}\big[(y-w^\top x)\,x\big] $$ 3. A regra LMS: em vez da média sobre todos os dados, usa o erro do exemplo atual. É a descida de gradiente estocástica na sua primeira forma. $$ w\leftarrow w+\eta\,e\,x,\qquad e=y-w^\top x $$ 4. O fundo da tigela, a solução de Wiener. O LMS chega perto dela sem inverter matriz nenhuma. $$ w^{*}=R^{-1}p,\qquad R=\mathbb{E}\big[x\,x^\top\big],\quad p=\mathbb{E}[y\,x] $$ 5. A condição de estabilidade em média: com passo maior, os pesos oscilam e divergem. $\lambda_{\max}$ é o maior autovalor de $R$. $$ 0<\eta<\frac{2}{\lambda_{\max}(R)} $$ ### Exemplo com números Um exemplo só, $x=(1,2)$, com alvo $y=1$, pesos iniciais zero e $\eta=0{,}1$: - Passo 1: saída 0, erro 1. Os pesos viram $(0{,}1;\,0{,}2)$ e a saída passa a $0{,}5$. - Passo 2: erro $0{,}5$. Pesos $(0{,}15;\,0{,}3)$, saída $0{,}75$. - Passo 3: erro $0{,}25$, saída $0{,}875$. Passo 4: erro $0{,}125$, saída $0{,}9375$. O erro cai pela metade a cada passo porque é multiplicado por $1-\eta\|x\|^2=1-0{,}1\cdot5=0{,}5$. Com $\eta=0{,}4$ o fator seria $-1$ e o erro trocaria de sinal sem diminuir; acima disso, cresceria. É a condição de estabilidade vista num caso de um exemplo só: $\eta<2/\|x\|^2=0{,}4$. ### Limites Continua sendo um único neurônio linear: só aprende fronteiras retas, como o perceptron. E a condição de estabilidade depende da escala das entradas, o que torna a escolha do passo delicada quando elas têm tamanhos muito diferentes. ### O que virou hoje Toda etapa de treino de uma LLM tem a forma $w\leftarrow w-\eta\,\nabla_w\mathcal L$, a mesma do LMS, com a perda trocada por entropia cruzada e o gradiente calculado por retropropagação. Otimizadores como o AdamW acrescentam memória dos passos anteriores e um tamanho de passo por parâmetro, justamente para contornar o problema de escala que o LMS já mostrava. ### Fontes - Widrow, B.; Hoff, M. E. Adaptive Switching Circuits. IRE WESCON Convention Record, 1960. https://isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf ## 1967: Vizinho mais próximo *Thomas Cover e Peter Hart* Cover e Hart: classificar pelo exemplo mais parecido. É o ancestral direto da busca vetorial. ### Contexto A regra do vizinho mais próximo já tinha sido proposta por Evelyn Fix e Joseph Hodges em 1951, num relatório técnico para a Força Aérea dos Estados Unidos. Em 1967, Thomas Cover e Peter Hart provaram o que ela garante: com exemplos suficientes, o erro dessa regra tão simples nunca passa do dobro do menor erro possível para o problema. Foi a primeira vez que um método sem modelo nenhum, que apenas guarda os exemplos, ganhou uma garantia matemática forte. ### Como funciona Não há treino. O método guarda todos os exemplos rotulados. Para classificar um ponto novo, mede a distância até cada exemplo guardado e copia o rótulo do mais próximo. A variante com $k$ vizinhos faz uma votação entre os $k$ mais próximos, o que reduz o efeito de exemplos com ruído. Toda a inteligência está na escolha da distância: dois pontos próximos precisam significar duas coisas parecidas. É exatamente o que um bom modelo de embedding tenta garantir. ### As equações 1. A regra: $q$ é o ponto a classificar, $x_i$ os exemplos guardados e $y_i$ os seus rótulos. $$ \hat y(q)=y_{i^{*}},\qquad i^{*}=\arg\min_i\ \|q-x_i\| $$ 2. Com $k$ vizinhos: $N_k(q)$ são os $k$ exemplos mais próximos, e a classe vencedora é a mais frequente entre eles. $$ \hat y(q)=\arg\max_{c}\ \sum_{i\in N_k(q)}\mathbf{1}\,[\,y_i=c\,] $$ 3. O teorema de Cover e Hart. $R^{*}$ é o menor erro que qualquer classificador consegue (o erro de Bayes), $R$ o erro do vizinho mais próximo com infinitos exemplos e $M$ o número de classes. $$ R^{*}\le R\le R^{*}\Big(2-\frac{M}{M-1}\,R^{*}\Big)\le 2R^{*} $$ 4. Quando os vetores têm norma 1, como os embeddings normalizados, a distância euclidiana e a semelhança de cosseno ordenam os vizinhos do mesmo jeito: o mais próximo é o de maior produto interno. $$ \|q-x\|^2=\|q\|^2+\|x\|^2-2\,q^\top x=2-2\cos(q,x) $$ 5. A busca exata lê cada um dos $n$ vetores de $d$ dimensões a cada consulta. $$ \text{custo por consulta}=O(n\,d) $$ ### Exemplo com números Dois embeddings de norma 1: a consulta $q=(0{,}6;\,0{,}8)$ e um documento $x=(1;\,0)$. O produto interno é $0{,}6$, e a distância ao quadrado é $(0{,}6-1)^2+0{,}8^2=0{,}8$, exatamente $2-2\cdot0{,}6$. Num acervo com um milhão de documentos de 768 dimensões, a busca exata faz cerca de 768 milhões de multiplicações por consulta e lê uns 3 GB de vetores em 32 bits a cada pergunta. Esse custo é a razão de existir de todo o resto da busca vetorial, inclusive do VA-file, no fim desta página. ### Limites O custo cresce com o tamanho do acervo, e a memória também, porque nada é resumido. Em muitas dimensões, as distâncias tendem a ficar parecidas entre si, e a diferença entre o mais próximo e o mais distante diminui. E a garantia de Cover e Hart vale no limite de infinitos exemplos. ### O que virou hoje Geração aumentada por recuperação (RAG), busca semântica e memória de longo prazo de assistentes são, no fundo, vizinho mais próximo sobre embeddings. Quase toda a pesquisa em índices vetoriais, de grafos como o HNSW à quantização, busca fazer essa mesma conta lendo menos bytes. ### Fontes - Cover, T.; Hart, P. Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 1967. https://doi.org/10.1109/TIT.1967.1053964 - Fix, E.; Hodges, J. L. Discriminatory analysis, nonparametric discrimination. Relatório técnico, USAF School of Aviation Medicine, 1951. ## 1969: O limite do XOR *Marvin Minsky e Seymour Papert* Minsky e Papert mostram o que um perceptron de uma camada não separa, e por que é preciso empilhar camadas. ### Contexto Em 1969, Marvin Minsky e Seymour Papert, do MIT, publicaram *Perceptrons*, uma análise matemática do que essas máquinas conseguem ou não reconhecer. O livro provou que perceptrons de uma camada, ou com conexões limitadas, não decidem propriedades como a paridade e a conectividade de uma figura. O exemplo mais simples é o OU exclusivo, o XOR. O livro costuma ser associado à queda do financiamento para redes neurais nos anos 1970, embora historiadores discutam o quanto ele pesou nisso. ### Como funciona O XOR vale 1 quando exatamente uma das duas entradas vale 1. No plano, os pontos (0,1) e (1,0) são da classe 1, e (0,0) e (1,1) são da classe 0, em cantos opostos de um quadrado. Nenhuma reta deixa os dois primeiros de um lado e os dois últimos do outro. Como o perceptron só sabe traçar uma reta, não aprende o XOR, por mais exemplos que veja. A saída é empilhar camadas: neurônios intermediários criam características novas, e na representação deles o problema fica separável. ### As equações 1. As quatro condições que um perceptron $w_1x_1+w_2x_2+b$ precisaria cumprir para calcular o XOR. $$ \begin{aligned}(0,0)&\mapsto 0: & b&<0\\(0,1)&\mapsto 1: & w_2+b&>0\\(1,0)&\mapsto 1: & w_1+b&>0\\(1,1)&\mapsto 0: & w_1+w_2+b&<0\end{aligned} $$ 2. A prova. Somando a segunda e a terceira condições vem $w_1+w_2+2b>0$; como $b<0$, isso dá $w_1+w_2+b>-b>0$, o que contradiz a quarta. Não existem pesos que funcionem. $$ w_1+w_2+2b>0\ \Rightarrow\ w_1+w_2+b>-b>0 $$ 3. A solução com uma camada escondida, sendo $\mathrm{degrau}(z)=1$ se $z>0$ e 0 caso contrário. $h_1$ calcula o OU, $h_2$ calcula o NÃO-E, e a saída faz o E dos dois. $$ \begin{aligned}h_1&=\mathrm{degrau}(x_1+x_2-0{,}5)\\h_2&=\mathrm{degrau}(-x_1-x_2+1{,}5)\\y&=\mathrm{degrau}(h_1+h_2-1{,}5)\end{aligned} $$ ### Exemplo com números Conferindo a rede de duas camadas nas quatro entradas: - (0,0): $h_1=0$, $h_2=1$, saída $\mathrm{degrau}(-0{,}5)=0$. - (0,1) e (1,0): $h_1=1$, $h_2=1$, saída $\mathrm{degrau}(0{,}5)=1$. - (1,1): $h_1=1$, $h_2=0$, saída $\mathrm{degrau}(-0{,}5)=0$. Na camada escondida, os quatro pontos viram só três: (0,1), (1,1) e (1,0) no espaço $(h_1,h_2)$, e agora uma reta, $h_1+h_2=1{,}5$, separa a classe 1 do resto. A camada escondida mudou a geometria do problema. ### Limites O livro não dizia como treinar uma rede de várias camadas. Com o degrau não há gradiente: um erro na saída não informa qual neurônio escondido deveria mudar, e os pesos acima foram escritos à mão. A resposta só se popularizou com a retropropagação, em 1986. ### O que virou hoje A lição de que profundidade e não linearidade criam representações novas está em toda LLM. O bloco FFN de cada camada, com a sua ativação não linear (SwiGLU, GELU), faz o papel da camada escondida que resolve o XOR, só que em milhares de dimensões. ### Fontes - Minsky, M.; Papert, S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969. https://search.worldcat.org/oclc/5034 ## 1986: Retropropagação *David E. Rumelhart, Geoffrey E. Hinton e Ronald J. Williams* A regra da cadeia distribui a culpa do erro por todas as camadas, e redes com camadas escondidas passam a ser treináveis. ### Contexto A pergunta deixada pelo XOR era como ajustar neurônios que não estão na saída. A resposta, calcular o gradiente de trás para frente pela regra da cadeia, apareceu mais de uma vez: na diferenciação automática em modo reverso de Seppo Linnainmaa (1970) e na tese de Paul Werbos (1974). Ela se tornou conhecida em 1986, quando David Rumelhart, Geoffrey Hinton e Ronald Williams mostraram na *Nature* que redes treinadas assim aprendem, por conta própria, representações internas úteis nas camadas escondidas. ### Como funciona Duas condições tornam o método possível. A primeira é trocar o degrau por uma função suave, como a sigmoide, para que pequenas mudanças nos pesos causem pequenas mudanças na saída. A segunda é organizar a conta. O passo para frente calcula as ativações camada a camada. O passo para trás parte do erro na saída e, usando a regra da cadeia, calcula quanto cada peso contribuiu para ele, reaproveitando o que já foi calculado para a camada seguinte. Por isso o passo para trás custa da mesma ordem que o passo para frente, por maior que seja a rede. ### As equações 1. O passo para frente: cada camada $l$ combina as ativações da anterior e aplica a não linearidade $\sigma$. $$ z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)},\qquad a^{(l)}=\sigma\big(z^{(l)}\big) $$ 2. O erro na última camada $L$: quanto a perda $\mathcal L$ muda com a pré-ativação da saída. $\odot$ é a multiplicação elemento a elemento. $$ \delta^{(L)}=\nabla_{a^{(L)}}\mathcal L\odot\sigma'\big(z^{(L)}\big) $$ 3. A retropropagação: o erro de uma camada é o da camada seguinte, levado para trás pelos mesmos pesos, transpostos. $$ \delta^{(l)}=\Big(\big(W^{(l+1)}\big)^{\top}\delta^{(l+1)}\Big)\odot\sigma'\big(z^{(l)}\big) $$ 4. O gradiente de cada matriz de pesos, que alimenta a atualização $W\leftarrow W-\eta\,\partial\mathcal L/\partial W$. $$ \frac{\partial\mathcal L}{\partial W^{(l)}}=\delta^{(l)}\big(a^{(l-1)}\big)^{\top},\qquad \frac{\partial\mathcal L}{\partial b^{(l)}}=\delta^{(l)} $$ 5. A sigmoide e a sua derivada, que se calcula a partir do próprio valor e nunca passa de $0{,}25$. $$ \sigma(z)=\frac{1}{1+e^{-z}},\qquad \sigma'(z)=\sigma(z)\big(1-\sigma(z)\big) $$ ### Exemplo com números A menor rede possível: entrada $x=1$, um neurônio escondido sigmoide com peso $w_1=0$, saída linear com peso $w_2=1$, alvo $t=1$ e perda $\mathcal L=\tfrac12(y-t)^2$. - Para frente: $h=\sigma(0)=0{,}5$, $y=w_2h=0{,}5$, $\mathcal L=0{,}125$. - Para trás: $\partial\mathcal L/\partial y=y-t=-0{,}5$. Para o peso de saída, $\partial\mathcal L/\partial w_2=-0{,}5\cdot h=-0{,}25$. Para o neurônio escondido, o erro chega multiplicado por $w_2$ e por $\sigma'(0)=0{,}25$: $\partial\mathcal L/\partial w_1=-0{,}5\cdot1\cdot0{,}25\cdot x=-0{,}125$. - Com $\eta=1$: $w_2=1{,}25$ e $w_1=0{,}125$. A nova saída é $1{,}25\cdot\sigma(0{,}125)\approx0{,}664$, e a perda cai de $0{,}125$ para $0{,}056$. O peso escondido recebeu metade do ajuste do peso de saída: a derivada da sigmoide encolhe o sinal a cada camada. Em redes muito profundas esse encolhimento faz o gradiente sumir, um dos motivos da troca da sigmoide pela ReLU. ### Limites Com sigmoides, o gradiente diminui a cada camada, e redes profundas treinavam mal. O método também exige guardar todas as ativações do passo para frente, o que pesa na memória. Esses dois problemas levaram à ReLU, à inicialização cuidadosa, às conexões residuais e à normalização, todas presentes nas LLMs. ### O que virou hoje É o algoritmo que treina todas as redes atuais. Bibliotecas como PyTorch e JAX implementam a diferenciação automática em modo reverso, a generalização desta conta para qualquer programa. Uma etapa de treino de LLM é um passo para frente sobre um lote de textos, um passo para trás e uma atualização do otimizador. ### Fontes - Rumelhart, D. E.; Hinton, G. E.; Williams, R. J. Learning representations by back-propagating errors. Nature, 1986. https://doi.org/10.1038/323533a0 ## 1989: Redes convolucionais *Yann LeCun e colegas, nos Bell Labs* LeCun lê dígitos manuscritos de códigos postais com pesos compartilhados. ### Contexto Nos Bell Labs, Yann LeCun e colegas treinaram com retropropagação uma rede para ler os dígitos manuscritos dos códigos postais (ZIP codes) em envelopes do correio dos Estados Unidos. O artigo de 1989 mostrou que restringir a arquitetura, em vez de ligar cada neurônio a todos os pixels, faz a rede aprender melhor com menos exemplos. A linha evoluiu para a LeNet-5, descrita em 1998, e um sistema baseado nela foi usado na leitura automática de cheques bancários nos Estados Unidos. ### Como funciona Uma imagem tem uma estrutura que uma rede comum ignora: um traço vertical é um traço vertical em qualquer lugar da imagem. A convolução usa isso. Em vez de cada neurônio olhar para a imagem inteira com pesos próprios, um pequeno filtro, por exemplo de 3×3 pixels, desliza pela imagem e aplica os mesmos pesos em cada posição. Cada filtro aprende a detectar um padrão local, como uma borda ou uma curva, e gera um mapa que diz onde o padrão aparece. Camadas seguintes combinam esses mapas em padrões maiores, e etapas de subamostragem reduzem a resolução, o que torna a rede tolerante a pequenos deslocamentos. ### As equações 1. A operação de cada filtro: $I$ é a imagem, $K$ o núcleo de pesos, $b$ o viés e $S$ o mapa de saída. Tecnicamente é uma correlação cruzada, que as bibliotecas chamam de convolução. $$ S(i,j)=\sum_{m}\sum_{n} I(i+m,\,j+n)\,K(m,n)+b $$ 2. O lado da saída para uma entrada de lado $n$, filtro de lado $k$, preenchimento $p$ e passo $s$. $$ o=\left\lfloor\frac{n+2p-k}{s}\right\rfloor+1 $$ 3. Quantos pesos uma camada convolucional tem. Não depende do tamanho da imagem, só do filtro e do número de canais de entrada e de saída. $$ \#\,\text{parâmetros}=k^2\,C_{\text{in}}\,C_{\text{out}}+C_{\text{out}} $$ 4. A subamostragem por máximo, forma comum nas redes atuais. As redes de LeCun reduziam a resolução com passos de 2 ou com médias. $$ y(i,j)=\max_{(u,v)\,\in\,\text{janela}(i,j)} S(u,v) $$ ### Exemplo com números Um filtro de borda vertical, com colunas $(1,0,-1)$, sobre um trecho de 3×3 pixels em que as duas colunas da esquerda valem 9 e a da direita vale 1: a soma dá $3\cdot9-3\cdot1=24$, um sinal forte de borda. Sobre um trecho liso, com todos os pixels valendo 5, dá 0. O mesmo filtro, com os mesmos 9 pesos, varre a imagem inteira. Agora o tamanho. Numa imagem de 28×28, um filtro 3×3 sem preenchimento produz um mapa de 26×26 e tem 10 parâmetros, 9 pesos e um viés. Uma camada totalmente conectada que produzisse as mesmas 676 saídas a partir dos 784 pixels teria $784\cdot676+676=530\,660$ parâmetros, mais de 50 mil vezes mais. ### Limites A convolução supõe que o mesmo padrão vale em qualquer posição e que o que importa é local. Isso é ótimo para imagens e sons, mas relacionar pontos distantes exige empilhar muitas camadas. ### O que virou hoje O princípio de compartilhar pesos está em toda LLM: as mesmas matrizes de atenção e de FFN são aplicadas a cada token da sequência, em qualquer posição. E os modelos de visão baseados em Transformer cortam a imagem em blocos com uma camada que é, ela mesma, uma convolução com passo igual ao tamanho do bloco. ### Fontes - LeCun, Y. et al. Backpropagation Applied to Handwritten Zip Code Recognition. Neural Computation, 1989. https://doi.org/10.1162/neco.1989.1.4.541 - LeCun, Y.; Bottou, L.; Bengio, Y.; Haffner, P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998. https://doi.org/10.1109/5.726791 ## 1995: Máquinas de vetores de suporte *Corinna Cortes e Vladimir Vapnik* Cortes e Vapnik: separar com a maior margem possível, tolerando erros e usando núcleos. ### Contexto Nos Bell Labs, Vladimir Vapnik vinha desenvolvendo desde os anos 1960 uma teoria estatística do aprendizado, que relaciona o erro em dados novos à capacidade do modelo. Em 1992, com Bernhard Boser e Isabelle Guyon, mostrou como treinar classificadores de margem máxima usando núcleos. Em 1995, com Corinna Cortes, publicou a versão com margem flexível, que tolera exemplos do lado errado, com o nome *support-vector networks*. Por cerca de quinze anos, as SVMs foram um método de referência em classificação de texto, bioinformática e visão. ### Como funciona Entre todas as retas que separam duas classes, o perceptron para na primeira que encontra. A SVM escolhe a que fica mais longe dos pontos mais próximos de cada lado, a de maior margem. A intuição é que uma fronteira com folga erra menos em dados novos. Só os pontos que encostam na margem, os **vetores de suporte**, determinam a solução; os outros podem ser apagados sem mudar nada. Quando as classes não se separam por uma reta, entram dois recursos: variáveis de folga, que permitem alguns erros a um custo, e o truque do núcleo, que calcula produtos internos num espaço de dimensão muito maior sem nunca construir esse espaço. ### As equações 1. A largura da faixa vazia entre as classes, para a fronteira $w^\top x+b=0$ com os pontos mais próximos em $w^\top x+b=\pm1$. Maximizar a margem é minimizar $\|w\|$. $$ \text{margem}=\frac{2}{\|w\|} $$ 2. O problema com margem flexível. $y_i\in\{-1,+1\}$ é o rótulo, $\xi_i$ a folga do exemplo $i$ e $C$ o preço de cada violação. $$ \min_{w,b,\xi}\ \tfrac12\|w\|^2+C\sum_i\xi_i\quad\text{s.a.}\quad y_i\,(w^\top x_i+b)\ge1-\xi_i,\ \ \xi_i\ge0 $$ 3. A mesma coisa escrita como perda: a perda de articulação (*hinge*) é zero para quem está do lado certo com folga e cresce em linha reta para os demais. $$ \min_{w,b}\ \tfrac12\|w\|^2+C\sum_i\max\big(0,\ 1-y_i\,(w^\top x_i+b)\big) $$ 4. A decisão na forma dual. Só os vetores de suporte têm $\alpha_i>0$. $$ f(x)=\operatorname{sinal}\Big(\sum_i\alpha_i\,y_i\,K(x_i,x)+b\Big) $$ 5. O núcleo substitui o produto interno num espaço transformado $\varphi$. O núcleo gaussiano (RBF) corresponde a um espaço de dimensão infinita. $$ K(x,z)=\varphi(x)^\top\varphi(z),\qquad K_{\text{RBF}}(x,z)=e^{-\gamma\|x-z\|^2} $$ ### Exemplo com números Dois pontos: $(1,1)$ da classe $+1$ e $(-1,-1)$ da classe $-1$. A solução de margem máxima é $w=(0{,}5;\,0{,}5)$ e $b=0$. Os dois pontos ficam exatamente em $y\,(w^\top x)=1$, e a margem é $2/\|w\|=2/0{,}707\approx2{,}83$, a própria distância entre eles, $2\sqrt2$. A fronteira é a reta $x_1+x_2=0$, bem no meio. Um terceiro ponto da classe $+1$ em $(0{,}5;\,0)$ ficaria dentro da faixa: $y\,(w^\top x)=0{,}25$, com perda hinge de $1-0{,}25=0{,}75$. Com $C$ grande, a SVM moveria a fronteira para acomodá-lo; com $C$ pequeno, aceitaria pagar essa perda e manteria a margem larga. ### Limites O treino exato cresce mais que linearmente com o número de exemplos, porque a forma dual envolve a matriz de núcleo de $n\times n$. E o núcleo precisa ser escolhido à mão: a SVM não aprende as características, só a melhor fronteira sobre elas. Foi nesse ponto que as redes profundas, que aprendem a própria representação, tomaram o lugar dela a partir de 2012. ### O que virou hoje A ideia de margem voltou nas perdas contrastivas que treinam os modelos de embedding, que exigem que o par certo fique mais próximo que os errados por uma folga. E a atenção pode ser lida como um suavizador por núcleo: o peso $\mathrm{softmax}(q^\top k_i)$ mede a semelhança entre a consulta e cada chave, como $K(x_i,x)$ mede a semelhança entre exemplos. ### Fontes - Cortes, C.; Vapnik, V. Support-vector networks. Machine Learning, 1995. https://doi.org/10.1007/BF00994018 - Boser, B. E.; Guyon, I. M.; Vapnik, V. N. A training algorithm for optimal margin classifiers. COLT, 1992. https://doi.org/10.1145/130385.130401 ## 1998: VA-file *Roger Weber, Hans-Jörg Schek e Stephen Blott* Busca em alta dimensão lendo primeiro uma aproximação em poucos bits de cada vetor. É arte prévia direta da linha principal deste projeto. ### Contexto Nos anos 1990, bancos de imagens e de documentos já representavam cada item por um vetor de dezenas de dimensões, e a busca do vizinho mais próximo usava índices em árvore. Em 1998, no congresso VLDB, Roger Weber, Hans-Jörg Schek e Stephen Blott mostraram que esses índices perdem para a simples leitura de todos os vetores quando a dimensão passa de cerca de dez, ao menos sob as hipóteses de dados uniformes do estudo. Em vez de tentar mais uma árvore, eles propuseram acelerar a própria varredura: o VA-file (*vector approximation file*). ### Como funciona Cada dimensão é dividida em poucas faixas, por exemplo 4 ou 16, e cada vetor é guardado também numa versão aproximada: em vez dos números exatos, só o número da faixa em que cada coordenada cai, com 2 a 4 bits por dimensão. A busca tem duas fases. Na primeira, lê só as aproximações, que são muito menores, e calcula para cada vetor um limite inferior e um superior da distância à consulta. Qualquer vetor cujo limite inferior seja maior que o limite superior dos $k$ melhores já vistos é descartado **com certeza**, sem ler o vetor completo. Na segunda fase, só os sobreviventes são lidos por inteiro e medidos exatamente. ### As equações 1. A aproximação: a coordenada $x_j$ vira o número da faixa de largura $\Delta_j$, contada a partir do início $a_j$ do intervalo, com $b$ bits por dimensão. $$ c_j(x)=\left\lfloor\frac{x_j-a_j}{\Delta_j}\right\rfloor\in\{0,\dots,2^{b}-1\} $$ 2. Para cada dimensão, a menor e a maior distância possíveis entre a coordenada da consulta $q_j$ e qualquer ponto da faixa $[\mathrm{lo}_j,\mathrm{hi}_j]$ em que o vetor está. $$ \ell_j=\begin{cases}\mathrm{lo}_j-q_j, & q_j<\mathrm{lo}_j\\ 0, & \mathrm{lo}_j\le q_j\le\mathrm{hi}_j\\ q_j-\mathrm{hi}_j, & q_j>\mathrm{hi}_j\end{cases}\qquad u_j=\max\big(|q_j-\mathrm{lo}_j|,\ |q_j-\mathrm{hi}_j|\big) $$ 3. Os limites da distância verdadeira, calculados só com a aproximação. $$ L(x)=\Big(\sum_j \ell_j^2\Big)^{1/2}\ \le\ \|q-x\|\ \le\ U(x)=\Big(\sum_j u_j^2\Big)^{1/2} $$ 4. A regra de descarte. $U_{(k)}$ é o $k$-ésimo menor limite superior visto até agora. É uma exclusão com garantia, não uma aposta. $$ L(x)>U_{(k)}\ \Rightarrow\ x\ \text{não está entre os}\ k\ \text{mais próximos} $$ ### Exemplo com números Consulta $q=(0{,}62;\,0{,}10)$ em duas dimensões, com 2 bits por dimensão, ou seja, quatro faixas de largura $0{,}25$ entre 0 e 1. - Um vetor $A$ está na faixa $[0{,}5;\,0{,}75]$ da primeira dimensão e na faixa $[0;\,0{,}25]$ da segunda. A consulta cai dentro das duas faixas, então $L(A)=0$. O limite superior é $U(A)=\sqrt{0{,}13^2+0{,}15^2}\approx0{,}198$. - Um vetor $B$ está nas faixas $[0;\,0{,}25]$ e $[0{,}75;\,1]$. Agora $L(B)=\sqrt{0{,}37^2+0{,}65^2}\approx0{,}748$. Como $L(B)=0{,}748$ é maior que $U(A)=0{,}198$, $B$ não pode ser o vizinho mais próximo, e o seu vetor completo nunca é lido. Em escala real, com 768 dimensões, um vetor em 32 bits ocupa 3 072 bytes e a aproximação de 4 bits por dimensão ocupa 384, oito vezes menos para a primeira fase. ### Limites Os limites são frouxos quando as faixas são largas, e então poucos vetores são descartados. A divisão em faixas fixas funciona mal quando os dados se concentram em poucas regiões, e a segunda fase ainda faz leituras espalhadas dos vetores completos. ### O que virou hoje Ler primeiro uma versão comprimida, calcular um limite para a distância e só então ler o resto está na base de métodos modernos de quantização para busca vetorial, como ADSampling e RaBitQ, que trocam o limite garantido por limites probabilísticos mais apertados. É também a linha principal deste projeto: o certificado inteiro lê os 4 bits altos de cada linha int8, exclui com certeza quem não pode vencer e só lê os 4 bits baixos dos sobreviventes. ### Fontes - Weber, R.; Schek, H.-J.; Blott, S. A Quantitative Analysis and Performance Study for Similarity-Search Methods in High-Dimensional Spaces. VLDB, 1998. https://www.vldb.org/conf/1998/p194.pdf --- # Vídeos > Catálogo de 155 vídeos sobre LLMs, do token ao raciocínio, organizado em 13 módulos e três níveis, com resumo em português. - Página: https://www.harpya.org/videos/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-13 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Vídeos. Harpya. https://www.harpya.org/videos/ ## Módulo 00: Fundamentos: matemática e redes neurais Vetores, gradiente e retropropagação: a base para o resto do catálogo. - [Vectors | Chapter 1, Essence of linear algebra](https://www.youtube.com/watch?v=fNk_zzaMoSs), 3Blue1Brown. Nível: Iniciante. O que é um vetor, visto como seta, lista de números e objeto abstrato: a base de todo embedding. - [But what is a neural network? | Deep learning chapter 1](https://www.youtube.com/watch?v=aircAruvnKk), 3Blue1Brown. Nível: Iniciante. O que é uma rede neural: camadas, pesos, vieses e ativações, com o exemplo clássico de reconhecer dígitos. - [Gradient descent, how neural networks learn | Deep Learning Chapter 2](https://www.youtube.com/watch?v=IHZwWFHWa-w), 3Blue1Brown. Nível: Iniciante. Como uma rede aprende descendo o gradiente de uma função de custo, passo a passo. - [Backpropagation, intuitively | Deep Learning Chapter 3](https://www.youtube.com/watch?v=Ilg3gGewQ5U), 3Blue1Brown. Nível: Intermediário. A intuição da retropropagação: como o erro da saída volta pela rede e ajusta cada peso. - [The spelled-out intro to neural networks and backpropagation: building micrograd](https://www.youtube.com/watch?v=VMj-3S1tku0), Andrej Karpathy. Nível: Intermediário. Karpathy constrói o micrograd, um motor de autodiferenciação mínimo, e treina uma rede pequena com ele. - [[1hr Talk] Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g), Andrej Karpathy. Nível: Iniciante. Visão geral de uma hora sobre o que são LLMs, como são treinados, para onde vão e seus riscos de segurança. - [Linear transformations and matrices | Chapter 3, Essence of linear algebra](https://www.youtube.com/watch?v=kYB8IZa5AuE), 3Blue1Brown. Nível: Iniciante. Capítulo da série Essence of Linear Algebra que mostra matrizes como transformações do espaço. É a imagem certa para entender o que cada camada faz com um vetor. - [The paradox of the derivative | Chapter 2, Essence of calculus](https://www.youtube.com/watch?v=9vKqVkMQHKk), 3Blue1Brown. Nível: Iniciante. Capítulo da série Essence of Calculus sobre o paradoxo da derivada instantânea. Base para entender gradiente e retropropagação. - [Singular Value Decomposition (SVD): Overview](https://www.youtube.com/watch?v=gXbThCXjZFM), Steve Brunton. Nível: Intermediário. Visão geral da decomposição em valores singulares (SVD), a fatoração por trás da compressão de matrizes e das aproximações de baixo posto, como as usadas no LoRA. - [Solving Wordle using information theory](https://www.youtube.com/watch?v=v68zYyaEmEA), 3Blue1Brown. Nível: Intermediário. Teoria da informação aplicada ao Wordle: entropia como medida de surpresa, a mesma grandeza que mede a perda de um modelo de linguagem. - [Geometria analítica e álgebra linear - Vetores no Plano e no Espaço](https://www.youtube.com/watch?v=IQW5bj4Yxlc), UNIVESP. Nível: Iniciante. Aula da UNIVESP sobre vetores no plano e no espaço, em português. O ponto de partida para pensar palavras como pontos. - [Geometria Analítica e Álgebra Linear - Aula 14 - Transformações Lineares e Matrizes](https://www.youtube.com/watch?v=A4EcVsnQB4c), UNIVESP. Nível: Iniciante. Aula da UNIVESP sobre transformações lineares e matrizes, em português: como uma matriz leva um vetor para outro lugar do espaço. - [Mas afinal, o que é a Derivada?!](https://www.youtube.com/watch?v=4kjaMznGUnY), Professor Julio Lombaldo. Nível: Iniciante. Explicação em português da ideia de derivada como taxa de variação, sem formalismo pesado. Pré-requisito para entender o gradiente. - [Neural Networks Part 6: Cross Entropy](https://www.youtube.com/watch?v=6ArSys5qHAU), StatQuest with Josh Starmer. Nível: Intermediário. StatQuest explica a entropia cruzada, a função de perda que um LLM minimiza a cada token previsto. - [Adam Optimization Algorithm (C2W2L08)](https://www.youtube.com/watch?v=JXQT_vxqwIs), DeepLearningAI. Nível: Avançado. Andrew Ng apresenta o otimizador Adam, que combina momento e RMSProp e é o padrão no treino de LLMs. - [Redes Neurais Artificiais #04: Funções de ativação - Parte 1](https://www.youtube.com/watch?v=cVVO3yl1tx8), Machine Learning para humanos. Nível: Intermediário. Aula em português sobre funções de ativação: por que a rede precisa de não linearidade e como cada função se comporta. - [Mecânica Estatística, Informação e Física de Redes Neurais](https://www.youtube.com/watch?v=o6KxJwQthPw), Instituto de Física USP. Nível: Avançado. Colóquio do Instituto de Física da USP sobre mecânica estatística, informação e a física das redes neurais. - [#DATAICMC Understanding Deep Learning - Lecture 1](https://www.youtube.com/watch?v=uevf_l47Fp0), ICMC TV. Nível: Avançado. Primeira aula da série Understanding Deep Learning no ICMC-USP: os fundamentos teóricos das redes profundas. - [Modelos Escondidos de Markov (HMMs) e Filtragem de Partículas](https://www.youtube.com/watch?v=hub59ETwy10), Sergio Ricardo de Melo Queiroz. Nível: Avançado. Aula em português sobre modelos ocultos de Markov e filtragem de partículas, a modelagem de sequências que veio antes das redes recorrentes e dos transformers. ## Módulo 01: Tokens e Tokenização A unidade fundamental de processamento dos modelos de linguagem. - [Most devs don't understand how LLM tokens work](https://www.youtube.com/watch?v=nKSk_TiR8YA), Matt Pocock. Nível: Iniciante. Explicação visual e acessível de como os LLMs leem texto quebrando-o em tokens (pedaços de palavras), e por que isso afeta custo, limites de contexto e comportamentos estranhos dos modelos. - [Subword-based tokenizers](https://www.youtube.com/watch?v=zHvTiHr506c), Hugging Face. Nível: Iniciante. Vídeo curto do curso da Hugging Face que explica por que a tokenização por subpalavras existe, comparando-a com as abordagens por palavras inteiras e por caracteres. - [Natural Language Processing - Tokenization (NLP Zero to Hero - Part 1)](https://www.youtube.com/watch?v=fNxaJsNG3-s), TensorFlow. Nível: Iniciante. Introdução suave, da série NLP Zero to Hero do TensorFlow, sobre como transformar texto bruto em números (tokens e índices) antes de alimentar uma rede neural. - [Byte Pair Encoding Tokenization](https://www.youtube.com/watch?v=HEikzVL-lZU), Hugging Face. Nível: Intermediário. Como o BPE monta o vocabulário de subpalavras fundindo os pares mais frequentes, o algoritmo usado pelo GPT e por muitos outros modelos. - [The tokenization pipeline](https://www.youtube.com/watch?v=Yffk5aydLzg), Hugging Face. Nível: Intermediário. O caminho completo de um tokenizador na biblioteca transformers: normalização, pré-tokenização, modelo e pós-processamento. - [NLP Demystified 2: Text Tokenization](https://www.youtube.com/watch?v=LZFriJ85BfM), Future Mojo. Nível: Intermediário. Aula da série NLP Demystified que conecta a tokenização ao pré-processamento real de texto em pipelines de Processamento de Linguagem Natural. - [Let's build the GPT Tokenizer](https://www.youtube.com/watch?v=zduSFxRajkE), Andrej Karpathy. Nível: Avançado. Aula de mais de duas horas em que Karpathy constrói do zero o tokenizador do GPT em Python e mostra as falhas que a tokenização causa nos modelos. - [1 5 Byte Pair Encoding](https://www.youtube.com/watch?v=tOMjTCO0htA), From Languages to Information. Nível: Avançado. Aula acadêmica de Dan Jurafsky (Stanford, From Languages to Information) que detalha o algoritmo Byte Pair Encoding passo a passo e por que a tokenização por subpalavras resolve o problema de palavras fora do vocabulário. - [LLM Tokenizers Explained: BPE Encoding, WordPiece and SentencePiece](https://www.youtube.com/watch?v=hL4ZnAWSyuU), DataMListic. Nível: Intermediário. Comparação entre os três tokenizadores mais usados, BPE, WordPiece e SentencePiece: como cada um quebra o texto e por que isso muda o modelo. - [Abertura (Helena Caseli), Aula 1. Introdução: definições, história, aplicações, PLN-PT Thiago Pardo](https://www.youtube.com/watch?v=wD7AuZ8tE9M), Brasileiras em PLN. Nível: Intermediário. Primeira aula do curso Brasileiras em PLN, com Helena Caseli e Thiago Pardo: definições, história e aplicações do processamento de linguagem natural, com foco no português. ## Módulo 02: Embeddings (Vetores e Representação Espacial) Como modelos entendem significado, contexto e semântica. - [Attention in transformers, step-by-step | Deep Learning Chapter 6](https://www.youtube.com/watch?v=eMlx5fFNoYc), 3Blue1Brown. Nível: Iniciante. A animação mais clara de como palavras viram vetores em alta dimensão e de como a atenção ajusta cada vetor pelo contexto. - [What are Word Embeddings?](https://www.youtube.com/watch?v=wgfSDrqYMJ4), IBM Technology. Nível: Iniciante. Explicação de quadro branco da IBM sobre como palavras são convertidas em vetores numéricos que capturam significado e semelhança, com métodos clássicos e contextuais. - [The Illustrated Word2vec - A Gentle Intro to Word Embeddings in Machine Learning](https://www.youtube.com/watch?v=ISPId9Lhc1g), Jay Alammar. Nível: Iniciante. Introdução visual e sem código de Jay Alammar à intuição do Word2vec: como palavras viram pontos em um espaço vetorial contínuo onde proximidade indica semelhança de sentido. - [Word Embedding and Word2Vec, Clearly Explained!!!](https://www.youtube.com/watch?v=viZrOnJclY0), StatQuest with Josh Starmer. Nível: Intermediário. Josh Starmer explica a intuição e a matemática do Word2Vec, com as variantes Continuous Bag of Words e Skip-gram. - [Text embeddings & semantic search](https://www.youtube.com/watch?v=OATCgQtNX2o), Hugging Face. Nível: Intermediário. Vídeo do curso da Hugging Face sobre como gerar embeddings para frases e textos inteiros (via pooling) e usá-los em busca semântica por similaridade. - [What are text embeddings?](https://www.youtube.com/watch?v=vlcQV4j2kTo), Google Cloud Tech. Nível: Intermediário. Explicação do Google Cloud sobre o que são embeddings de texto, como gerá-los com APIs de nuvem e como aplicá-los em busca, recomendação e outros casos práticos. - [Stanford CS224N: NLP with Deep Learning | Winter 2021 | Lecture 1 - Intro & Word Vectors](https://www.youtube.com/watch?v=rmVRLeJRkl4), Stanford Online. Nível: Avançado. Primeira aula do CS224N de Stanford (2021) com Christopher Manning: vetores de palavras, Word2Vec e a probabilidade condicional que ele otimiza. - [OpenAI CLIP: ConnectingText and Images (Paper Explained)](https://www.youtube.com/watch?v=T9XSU0pKX2E), Yannic Kilcher. Nível: Avançado. Análise do paper do CLIP, da OpenAI, mostrando como o aprendizado contrastivo coloca texto e imagem no mesmo espaço de embedding, base de vários sistemas multimodais. - [Lec 18 | Pre-Training Strategies: ELMo, BERT](https://www.youtube.com/watch?v=WZOqXkld9mk), NPTEL IIT Delhi. Nível: Avançado. Aula acadêmica do NPTEL (IIT Delhi) sobre estratégias de pré-treinamento com ELMo e BERT, cobrindo a passagem de embeddings estáticos para representações contextuais. - [Cosine Similarity, Clearly Explained!!!](https://www.youtube.com/watch?v=e9U0QAFbfLI), StatQuest with Josh Starmer. Nível: Iniciante. StatQuest explica a similaridade de cosseno passo a passo: por que o ângulo entre vetores é a medida padrão para comparar embeddings. - [Você Não Sabe Como o GPT Processa Cada Palavra](https://www.youtube.com/watch?v=_G_--YC5Xd4), Sandeco. Nível: Intermediário. Sandeco mostra em português como o GPT transforma cada palavra em vetor antes de processá-la. - [Aula 09 - Redução de Dimensionalidade](https://www.youtube.com/watch?v=ZqEhn1l_PlQ), Data ICMC. Nível: Intermediário. Aula em português sobre redução de dimensionalidade, a família de técnicas por trás de visualizar e comprimir embeddings. - [Bancos de Dados Vetoriais, Embeddings e Busca por Similaridade – NLP na Engenharia de Software 2025](https://www.youtube.com/watch?v=4n26QMxeA38), André Santanchè. Nível: Intermediário. Aula de André Santanchè sobre bancos de dados vetoriais, embeddings e busca por similaridade, em português. ## Módulo 03: RAG (Retrieval-Augmented Generation) Dando memória de longo prazo e dados corporativos aos LLMs. - [What is Retrieval-Augmented Generation (RAG)?](https://www.youtube.com/watch?v=T-D1OfcDW1M), IBM Technology. Nível: Iniciante. Introdução em quadro branco a como o RAG reduz alucinações ao ligar o LLM a uma base externa consultada na hora da pergunta. - [RAG Explained](https://www.youtube.com/watch?v=qppV3n3YlF8), IBM Technology. Nível: Iniciante. Explicação conceitual da IBM sobre o ciclo do RAG: a pergunta dispara uma busca em uma base de conhecimento, o contexto recuperado é anexado ao prompt e o LLM gera a resposta. - [Back to Basics: Understanding Retrieval Augmented Generation (RAG)](https://www.youtube.com/watch?v=_sq3ixXMQTc), Amazon Web Services. Nível: Iniciante. Episódio Back to Basics da AWS sobre como o RAG resolve conhecimento desatualizado e acesso a dados privados em aplicações de IA generativa corporativas. - [RAG From Scratch: Part 1 (Overview)](https://www.youtube.com/watch?v=wd7TZ4w1mSw), LangChain. Nível: Intermediário. Primeira parte da série oficial RAG From Scratch do LangChain (apresentada por Lance Martin), com visão geral da arquitetura de indexação, recuperação e geração e código em Python. - [Making Retrieval Augmented Generation Better with @jamesbriggs](https://www.youtube.com/watch?v=Q-uEhJMu3ak), Pinecone. Nível: Intermediário. Sessão do canal da Pinecone com James Briggs sobre como melhorar a etapa de recuperação do RAG usando bancos de dados vetoriais e técnicas práticas de produção. - [Advanced RAG 06 - RAG Fusion](https://www.youtube.com/watch?v=GchC5WxeXGc), Sam Witteveen. Nível: Intermediário. Tutorial prático de RAG Fusion, que gera múltiplas variações da pergunta (expansão de query) e reordena os resultados com Reciprocal Rank Fusion para melhorar a recuperação. - [Building Production-Ready RAG Applications: Jerry Liu](https://www.youtube.com/watch?v=TRjq7t2Ms5I), AI Engineer. Nível: Avançado. Palestra de Jerry Liu, criador do LlamaIndex, sobre como levar RAG para produção: chunking, recuperação avançada, roteamento, agentes e avaliação de pipelines. - [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, with Patrick Lewis, Facebook AI](https://www.youtube.com/watch?v=JGpmQvlYRdU), Natural Language Processing presentations. Nível: Avançado. Apresentação de Patrick Lewis, primeiro autor do artigo da Facebook AI de 2020, explicando a arquitetura original do RAG e seus resultados em tarefas de NLP intensivas em conhecimento. - [Graph-Based Approximate Nearest Neighbors (ANN) and HNSW](https://www.youtube.com/watch?v=4PsyNdFlxmk), Pinecone. Nível: Intermediário. Como funciona o HNSW, o índice em grafo que faz a busca aproximada de vizinhos em milhões de vetores. - [RAG But Better: Rerankers with Cohere AI](https://www.youtube.com/watch?v=Uh9bYiVrW_s), James Briggs. Nível: Intermediário. Reranking no RAG: um segundo modelo reordena os documentos da busca vetorial antes de entregá-los ao LLM. - [Ep. 8 — ColBERT + ColBERTv2: late interaction at a reasonable inference cost](https://www.youtube.com/watch?v=1hDK7gZbJqQ), Zeta Alpha. Nível: Avançado. ColBERT e ColBERTv2: um vetor por token e interação tardia, a alternativa ao vetor único por documento. - [GraphRAG methods to create optimized LLM context windows for Retrieval — Jonathan Larson, Microsoft](https://www.youtube.com/watch?v=c5qJHr3DnT4), AI Engineer. Nível: Avançado. Jonathan Larson, da Microsoft, apresenta o GraphRAG: grafo de conhecimento extraído por LLM para montar o contexto da recuperação. - [Converse com seus PDFs usando IA | RAG com Python, LangChain, OpenAI e Chroma](https://www.youtube.com/watch?v=ZOFcW8kvP5k), DATA DT. Nível: Intermediário. RAG na prática, em português: conversar com PDFs usando Python, LangChain e o banco vetorial Chroma. ## Módulo 04: Arquiteturas e Modelos Densos (Transformers) A arquitetura padrão onde todos os parâmetros são ativados durante a inferência. - [Transformers, the tech behind LLMs | Deep Learning Chapter 5](https://www.youtube.com/watch?v=wjZofJX0v4M), 3Blue1Brown. Nível: Iniciante. A série visual do 3Blue1Brown sobre como o Transformer lê, processa e prevê o próximo token. - [Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!](https://www.youtube.com/watch?v=zxQyTK8quyY), StatQuest with Josh Starmer. Nível: Iniciante. Josh Starmer monta um Transformer passo a passo, de embeddings e codificação de posição até a atenção e a saída. - [How Large Language Models Work](https://www.youtube.com/watch?v=5sLYAQS9sWQ), IBM Technology. Nível: Iniciante. Introdução da IBM ao funcionamento dos grandes modelos de linguagem: dados de treinamento, arquitetura Transformer e como o modelo prevê a próxima palavra para gerar respostas fluentes. - [Attention Is All You Need](https://www.youtube.com/watch?v=iDulhoQ2pro), Yannic Kilcher. Nível: Intermediário. Leitura guiada do artigo de 2017 do Google que apresentou a arquitetura Transformer. - [The math behind Attention: Keys, Queries, and Values matrices](https://www.youtube.com/watch?v=UPtG_38Oq8o), Luis Serrano Academy. Nível: Intermediário. Luis Serrano desmonta as matrizes de consulta, chave e valor e a fórmula softmax(QKᵀ/√d)V da atenção. - [The Transformer architecture](https://www.youtube.com/watch?v=H39Z_720T5s), Hugging Face. Nível: Intermediário. Aula do curso da Hugging Face que apresenta a arquitetura Transformer e compara encoders (estilo BERT), decoders (estilo GPT) e encoder-decoders, indicando quando usar cada um. - [Pytorch Transformers from Scratch (Attention is all you need)](https://www.youtube.com/watch?v=U0s0f995w14), Aladdin Persson. Nível: Intermediário. Tutorial de código que implementa os blocos de um Transformer do zero em PyTorch, seguindo o artigo original. - [Let's build GPT: from scratch, in code, spelled out.](https://www.youtube.com/watch?v=kCc8FmEb1nY), Andrej Karpathy. Nível: Avançado. Aula em que Karpathy treina um modelo denso no estilo GPT sobre textos de Shakespeare, explicando cada bloco em código. - [Stanford CS25: Transformers United V6 I Overview of Transformers](https://www.youtube.com/watch?v=bHSDPgZYie0), Stanford Online. Nível: Avançado. Aula de abertura do curso CS25 de Stanford que revisa o mecanismo de auto-atenção, a arquitetura Transformer e seus limites e evoluções recentes, incluindo o custo de escalar o contexto. - [FlashAttention - Tri Dao | Stanford MLSys #67](https://www.youtube.com/watch?v=gMOAud7hZg4), Stanford MLSys Seminars. Nível: Avançado. Seminário em que Tri Dao, autor do FlashAttention, explica como reorganizar o cálculo da atenção em blocos para explorar a SRAM e reduzir leituras na HBM, obtendo atenção exata mais rápida e com menos memória. - [What is Layer Normalization? | Deep Learning Fundamentals](https://www.youtube.com/watch?v=2V3Uduw1zwQ), AssemblyAI. Nível: Intermediário. O que é layer normalization e por que o transformer depende dela para treinar de forma estável. ## Módulo 05: Mixture of Experts (MoE) Como modelos como o Mixtral escalam dividindo a rede em especialistas e ativando só alguns por token. - [What is Mixture of Experts?](https://www.youtube.com/watch?v=sYDlVVyJYn4), IBM Technology. Nível: Iniciante. Introdução conceitual da IBM a Mixture of Experts, com a ideia de um painel de especialistas ativados seletivamente em vez de um único modelo generalista. - [Mistral 8x7B Part 1- So What is a Mixture of Experts Model?](https://www.youtube.com/watch?v=RYZ0FMAKRFs), Sam Witteveen. Nível: Iniciante. Visão geral, feita no lançamento do Mixtral 8x7B, do que é um modelo Mixture of Experts e por que ele roda mais rápido do que um modelo denso de tamanho equivalente. - [A Visual Guide to Mixture of Experts (MoE) in LLMs](https://www.youtube.com/watch?v=sOPDGQjFcuM), Maarten Grootendorst. Nível: Iniciante. Guia visual de Mixture of Experts em LLMs que mostra de forma simples como a rede de roteamento escolhe quais especialistas processam cada token. - [Mixtral of Experts (Paper Explained)](https://www.youtube.com/watch?v=mwO6v4BlgZQ), Yannic Kilcher. Nível: Intermediário. Análise detalhada do artigo do Mixtral, da Mistral AI, cobrindo como as camadas de especialistas substituem o bloco feed-forward e como os parâmetros são compartilhados e divididos. - [MoE Token Routing Explained: How Mixture of Experts Works (with Code)](https://www.youtube.com/watch?v=CDnkFbW-uEQ), Hugging Face. Nível: Intermediário. Vídeo da Hugging Face que explica o roteamento de tokens em modelos MoE e mostra em código como os tokens são despachados aos especialistas e recombinados. - [Mixture of Experts (MoE), Visually Explained](https://www.youtube.com/watch?v=0QQlYR1r6pQ), Jia-Bin Huang. Nível: Intermediário. Explicação visual da matemática do roteador em MoE (gating top-k, ruído e capacidade) e das técnicas de balanceamento de carga entre especialistas. - [Mixture of Experts: How LLMs get bigger without getting slower](https://www.youtube.com/watch?v=7yR5ScbK1qk), Julia Turc. Nível: Intermediário. Comparação entre modelos densos e esparsos (MoE), mostrando como o MoE aumenta o número de parâmetros sem aumentar proporcionalmente o custo de inferência e discutindo se os especialistas realmente se especializam. - [Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity](https://www.youtube.com/watch?v=iAR8LkkMMIM), Yannic Kilcher. Nível: Avançado. Dissecação do paper Switch Transformers do Google, que simplificou o roteamento para um único especialista e escalou a arquitetura MoE para trilhões de parâmetros. - [Large Model Training and Inference with DeepSpeed // Samyam Rajbhandari // LLMs in Prod Conference](https://www.youtube.com/watch?v=cntxC3g22oU), AAIF Live. Nível: Avançado. Palestra de Samyam Rajbhandari, da equipe DeepSpeed da Microsoft, sobre as técnicas para treinar e servir modelos gigantes (ZeRO, paralelismo 3D, offload, DeepSpeed-Inference), incluindo o suporte a MoE para escalar com esparsidade. - [How DeepSeek rewrote Mixture of Experts (MoE)?](https://www.youtube.com/watch?v=KnSIZ83iPKs), Vizuara. Nível: Avançado. Aula sobre as inovações do DeepSeek em MoE, com foco no problema de balanceamento de carga e na alternativa à perda auxiliar (balanceamento sem perda auxiliar), além de especialistas compartilhados e de granularidade fina. ## Módulo 06: Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) Personalizando modelos pré-treinados com baixo custo computacional. - [What is Transfer Learning?](https://www.youtube.com/watch?v=BqqfQnyjmgg), Hugging Face. Nível: Iniciante. Vídeo do curso da Hugging Face que explica o que é transfer learning e por que reaproveitar um modelo pré-treinado evita treinar do zero para cada nova tarefa. - [What is Low-Rank Adaptation (LoRA) | explained by the inventor](https://www.youtube.com/watch?v=DhRoTONcyZE), Edward Hu. Nível: Iniciante. Explicação curta do próprio criador do LoRA sobre o que é a adaptação de baixo posto e por que ela tornou o ajuste fino de grandes modelos acessível. - [RAG vs. Fine Tuning](https://www.youtube.com/watch?v=00Q0G84kq3M), IBM Technology. Nível: Iniciante. Comparação da IBM entre RAG e fine-tuning: quando colocar conhecimento na base de busca e quando ajustar o próprio modelo. - [What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED](https://www.youtube.com/watch?v=KEv-F5UkhxU), AI Coffee Break with Letitia. Nível: Intermediário. Explicação acessível de como o LoRA decompõe a atualização de pesos em matrizes de baixo posto, tornando o ajuste fino de LLMs muito mais eficiente. - [QLoRA paper explained (Efficient Finetuning of Quantized LLMs)](https://www.youtube.com/watch?v=6l8GZDPbFn8), AI Bites. Nível: Intermediário. Explicação do paper QLoRA, que combina quantização em 4 bits com adaptadores LoRA para permitir o fine-tuning de LLMs grandes em uma única GPU. - [LLAMA-3 : EASIET WAY To FINE-TUNE ON YOUR DATA](https://www.youtube.com/watch?v=aQmoog_s8HE), Prompt Engineering. Nível: Intermediário. Tutorial prático de fine-tuning do Llama 3 com dados próprios usando Unsloth e o ecossistema Hugging Face, passo a passo. - [What is Prompt Tuning?](https://www.youtube.com/watch?v=yu27PWzJI_Y), IBM Technology. Nível: Intermediário. Explicação da IBM sobre prompt tuning, em que soft prompts (embeddings contínuos treináveis) adaptam um modelo de base sem alterar seus pesos, comparado a prompt engineering e fine-tuning. - [LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch](https://www.youtube.com/watch?v=PXWYUTMt-AU), Umar Jamil. Nível: Avançado. Explicação visual e matemática do artigo do LoRA, com implementação do zero em PyTorch da adaptação de baixo posto. - [Aligning LLMs with Direct Preference Optimization](https://www.youtube.com/watch?v=QXVCqtAZAn4), DeepLearningAI. Nível: Avançado. Workshop da DeepLearningAI com a Hugging Face sobre alinhamento de LLMs com Direct Preference Optimization, que dispensa o modelo de recompensa separado usado no RLHF com PPO. - [Part 10: PyTorch FSDP, End to End Walkthrough](https://www.youtube.com/watch?v=PjEwLgyzuzQ), PyTorch. Nível: Avançado. Parte final da série oficial do PyTorch sobre FSDP, com um passo a passo completo de como treinar e ajustar modelos grandes fragmentando parâmetros, gradientes e estados do otimizador entre GPUs. - [RAG vs Fine-Tuning vs Prompt Engineering: Optimizing AI Models](https://www.youtube.com/watch?v=zYGDpG-pTho), IBM Technology. Nível: Iniciante. IBM compara RAG, fine-tuning e engenharia de prompt: quando cada um resolve o problema e quanto custa. - [ROUGE, BLEU, BERTScore, Avaliação Humana, Perplexidade, F1Score, Conjuntos de dados de Referência](https://www.youtube.com/watch?v=SYUhHJcjbC4), Grazi Cunha - Computação & Informática. Nível: Intermediário. Aula em português sobre como avaliar modelos de linguagem: ROUGE, BLEU, BERTScore, perplexidade, F1 e avaliação humana. ## Módulo 07: Alinhamento, RLHF e Segurança Garantindo que a IA seja útil, honesta e inofensiva. - [Reinforcement Learning from Human Feedback: From Zero to chatGPT](https://www.youtube.com/watch?v=2MBJOuVq380), Hugging Face. Nível: Iniciante. Do zero ao ChatGPT: como o RLHF usa preferências humanas e um modelo de recompensa para ajustar um modelo de linguagem. - [Intro to AI Safety, Remastered](https://www.youtube.com/watch?v=pYXy-A4siMw), Robert Miles AI Safety . Nível: Iniciante. Introdução de Robert Miles ao problema da segurança e do alinhamento de IA: por que é difícil garantir que sistemas cada vez mais capazes persigam objetivos compatíveis com os valores humanos. - [ChatGPT Jailbreak - Computerphile](https://www.youtube.com/watch?v=zn2ukSnDqSg), Computerphile. Nível: Iniciante. O Computerphile mostra como funcionam os jailbreaks do ChatGPT, explicando por que instruções criativas conseguem contornar as regras de segurança impostas ao modelo. - [How ChatGPT is Trained](https://www.youtube.com/watch?v=VPRSBzXzavo), Ari Seff. Nível: Intermediário. Explica as três fases de treinamento herdadas do InstructGPT (ajuste supervisionado, modelo de recompensa e PPO) que transformaram o GPT-3 no ChatGPT. - [Training AI Without Writing A Reward Function, with Reward Modelling](https://www.youtube.com/watch?v=PYylPRX6z4Q), Robert Miles AI Safety . Nível: Intermediário. Robert Miles explica a modelagem de recompensa: treinar um modelo a partir de preferências humanas para servir de crítico que pontua o comportamento do agente durante o aprendizado por reforço. - [Defending against AI jailbreaks](https://www.youtube.com/watch?v=BaNXYqcfDyo), Anthropic. Nível: Intermediário. Pesquisadores da Anthropic discutem como atacam seus próprios modelos de forma estruturada (red teaming, bug bounty) e como os classificadores constitucionais defendem contra jailbreaks. - [Fine-tuning LLMs on Human Feedback (RLHF + DPO)](https://www.youtube.com/watch?v=bbVoDXoPrPM), Shaw Talebi. Nível: Intermediário. Tutorial prático de ajuste fino com feedback humano, cobrindo RLHF e DPO com datasets de preferência (chosen/rejected) para alinhar um modelo. - [An introduction to Policy Gradient methods - Deep Reinforcement Learning](https://www.youtube.com/watch?v=5P7I-xPq8u8), Arxiv Insights. Nível: Avançado. Introdução aos métodos de gradiente de política em aprendizado por reforço, a família de algoritmos de onde vem o PPO. - [A Walkthrough of A Mathematical Framework for Transformer Circuits](https://www.youtube.com/watch?v=KV5gbOmHbjU), Neel Nanda. Nível: Avançado. Neel Nanda percorre o artigo A Mathematical Framework for Transformer Circuits, mostrando como fazer engenharia reversa de circuitos dentro de transformers (interpretabilidade mecanicista). - [Collin Burns - Weak-to-Strong Generalization](https://www.youtube.com/watch?v=wBPZNhw1LV4), FAR․AI. Nível: Avançado. Collin Burns, autor principal do artigo da OpenAI, apresenta a generalização de fraco para forte: como supervisores mais fracos podem orientar modelos mais capazes, um análogo do problema da supervisão escalável. - [Por que a IA inventa mentiras? Entenda o mistério por trás da Alucinação](https://www.youtube.com/watch?v=1OG5LJ8iA80), Sandeco. Nível: Iniciante. Sandeco explica em português por que um modelo de linguagem inventa respostas com segurança, a chamada alucinação. ## Módulo 08: Agentes Autônomos e Uso de Ferramentas (Tool Use) Quando a IA deixa de apenas falar e começa a agir no mundo. - [What are AI Agents?](https://www.youtube.com/watch?v=F8NKVhkZZWI), IBM Technology. Nível: Iniciante. A diferença fundamental entre um chatbot (que espera por entrada) e um agente de IA (que planeja, raciocina e executa ações de forma iterativa com ferramentas). - [What is Tool Calling? Connecting LLMs to Your Data](https://www.youtube.com/watch?v=h8gMhXYAv1k), IBM Technology. Nível: Iniciante. Visão curta e direta de como LLMs chamam ferramentas: o modelo gera parâmetros estruturados (JSON) para acionar APIs, buscas e fontes de dados externas. - [AutoGPT & BabyAGI: autonomous AI Agents for LLMs explained](https://www.youtube.com/watch?v=5cnk5zpf1EA), Discover AI. Nível: Iniciante. Explicação do AutoGPT e do BabyAGI, os primeiros agentes autônomos que geravam e priorizavam as próprias tarefas em loop para resolver objetivos complexos. - [Understanding ReACT with LangChain](https://www.youtube.com/watch?v=Eug2clsLtFs), Sam Witteveen. Nível: Intermediário. Explica o padrão ReAct (Pensamento, Ação, Observação em loop) e mostra como ele é implementado em agentes com LangChain. - [CrewAI Tutorial - Next Generation AI Agent Teams (Fully Local)](https://www.youtube.com/watch?v=tnejrr-0a94), Matthew Berman. Nível: Intermediário. Tutorial prático montando uma equipe de múltiplos agentes com CrewAI, rodando localmente, em que cada agente tem papel próprio e colabora para concluir uma tarefa. - [OpenAI Function Calling - Full Beginner Tutorial](https://www.youtube.com/watch?v=aqdWSYWC_LI), Dave Ebbelaar. Nível: Intermediário. Tutorial completo de function calling da OpenAI: como descrever funções e usar a API para que o modelo retorne argumentos estruturados que invocam funções do sistema. - [AI Dev 25 | Apoorva Joshi: Building Agents That Learn: Managing Memory in AI Agents](https://www.youtube.com/watch?v=30Ofh-Myte4), DeepLearningAI. Nível: Intermediário. Palestra no AI Dev 25 sobre como gerenciar memória em agentes de IA, combinando memória de curto prazo e memória de longo prazo persistente para manter contexto em tarefas extensas. - [Deep Papers Episode 3 - Toolformer: Training LLMs To Use Tools](https://www.youtube.com/watch?v=pSKHDduKt_g), Arize AI. Nível: Avançado. Discussão aprofundada do artigo Toolformer da Meta, que mostra como um modelo aprende de forma autossupervisionada quando e como chamar APIs como calculadora e calendário. - [Building Effective Agents with LangGraph](https://www.youtube.com/watch?v=aHCDrAbH_go), LangChain. Nível: Avançado. Vídeo oficial da LangChain sobre como construir agentes eficazes com LangGraph, organizando fluxos como grafos de estado em vez de loops livres. - [Teaching LLMs to Use Tools at Scale - Shishir Patil | Stanford MLSys #98](https://www.youtube.com/watch?v=WAvO8FTDJ8M), Stanford MLSys Seminars. Nível: Avançado. Shishir Patil, autor do Gorilla, apresenta no seminário Stanford MLSys como ensinar LLMs a usar milhares de APIs com precisão, incluindo a arquitetura e a avaliação do Gorilla. - [O que são Agentes de Inteligência Artificial e como funcionam? | IA na Prática](https://www.youtube.com/watch?v=EL8LhsJSTCg), Programação Dinâmica. Nível: Iniciante. O que são agentes de IA e como funcionam, em português: o laço de raciocínio, ação e uso de ferramentas. - [Langchain em menos de 10 minutos](https://www.youtube.com/watch?v=GCQl9RFns_0), Asimov Academy. Nível: Iniciante. Introdução rápida ao LangChain em português: como a biblioteca liga modelos, prompts, memória e ferramentas. ## Módulo 09: Multimodalidade (Visão, Áudio e Vídeo) Quando a IA transcende o texto e passa a interagir com múltiplos tipos de dados simultaneamente. - [What is Multimodal AI? How LLMs Process Text, Images, and More](https://www.youtube.com/watch?v=J51oZYcNvP8), IBM Technology. Nível: Iniciante. Introdução de alto nível a como os modelos de IA combinam texto, imagens e outros sinais, e por que a multimodalidade é importante para a próxima geração de assistentes. - [GPT-4o - Full Breakdown + Bonus Details](https://www.youtube.com/watch?v=ZJbu3NEPJN0), AI Explained. Nível: Iniciante. Análise completa do GPT-4o, o modelo omni da OpenAI treinado de ponta a ponta em texto, áudio e visão, comparado ao encadeamento de modelos separados. - [What Are Vision Language Models? How AI Sees & Understands Images](https://www.youtube.com/watch?v=lOD_EE96jhM), IBM Technology. Nível: Iniciante. Explica o que são modelos de visão e linguagem (VLMs) e como passaram a enxergar imagens, descrevê-las e responder perguntas sobre elas. - [OpenAI’s CLIP explained! | Examples, links to code and pretrained model](https://www.youtube.com/watch?v=dh8Rxhf7cLU), AI Coffee Break with Letitia. Nível: Intermediário. Explica o CLIP da OpenAI e como ele alinha imagens e textos em um espaço latente compartilhado por meio de aprendizado contrastivo. - [LLaVA - the first instruction following multi-modal model (paper explained)](https://www.youtube.com/watch?v=GMOREHJTbR4), AI Bites. Nível: Intermediário. Explicação do artigo do LLaVA, mostrando como projetar as features de um encoder de visão no espaço de embedding de um LLM e treinar com instruções visuais. - [OpenAI Whisper: Robust Speech Recognition via Large-Scale Weak Supervision | Paper and Code](https://www.youtube.com/watch?v=AwJf8aQfChE), Aleksa Gordić - The AI Epiphany. Nível: Intermediário. Análise do artigo e do código do Whisper, mostrando como a OpenAI alcançou reconhecimento de fala robusto com treinamento fracamente supervisionado em grande escala. - [Flamingo: a Visual Language Model for Few-Shot Learning](https://www.youtube.com/watch?v=H82s6BrJduM), Samuel Albanie. Nível: Avançado. Dissecação detalhada do Flamingo da DeepMind, que injeta camadas de atenção cruzada com portas em um LLM pré-treinado congelado para aprendizado few-shot com imagens e texto. - [Gemini 1.5 Pro has a massive context window](https://www.youtube.com/watch?v=85Tg9ciOfkk), Samuel Albanie. Nível: Avançado. Análise do relatório técnico do Gemini 1.5 Pro, com foco na janela de contexto de milhões de tokens e no processamento conjunto de vídeo, áudio e código. ## Módulo 10: Otimização de Inferência e Deploy Como colocar esses monstros computacionais em produção, otimizando custo, velocidade e memória. - [AI Inference: The Secret to AI's Superpowers](https://www.youtube.com/watch?v=XtT5i0ZeHHE), IBM Technology. Nível: Iniciante. Explica o que é inferência em IA, a fase em que um modelo já treinado aplica o que aprendeu para responder a dados novos, em contraste com o treinamento, e por que ela concentra a maior parte do custo de operação. - [AI’s Hardware Problem](https://www.youtube.com/watch?v=5tmGKTNW8DQ), Asianometry. Nível: Iniciante. Mostra por que o hardware de IA esbarra na "parede de memória": mover dados entre a memória e o processador custa mais tempo e energia do que os próprios cálculos, e apresenta saídas como computação em memória. - [Optimize Your AI - Quantization Explained](https://www.youtube.com/watch?v=K75j8MkwgJ0), Matt Williams. Nível: Iniciante. Explica de forma acessível o que é quantização, como reduzir a precisão dos pesos (por exemplo de 16 para 4 bits) encolhe o modelo para caber em hardware comum, e quais são os custos em qualidade. - [Fast LLM Serving with vLLM and PagedAttention](https://www.youtube.com/watch?v=5ZlavKF_98U), Anyscale. Nível: Intermediário. Palestra dos autores do vLLM sobre o PagedAttention, técnica inspirada na memória virtual paginada de sistemas operacionais que elimina o desperdício do KV cache e multiplica o throughput de LLMs em produção. - [Demo: Optimizing Gemma inference on NVIDIA GPUs with TensorRT-LLM](https://www.youtube.com/watch?v=y4QljAMsXr0), Google for Developers. Nível: Intermediário. Demonstração prática de como usar o TensorRT-LLM, a biblioteca da NVIDIA, para compilar e otimizar a inferência do modelo Gemma em GPUs NVIDIA. - [Speculative Decoding: When Two LLMs are Faster than One](https://www.youtube.com/watch?v=S-8yr_RibJ4), Efficient NLP. Nível: Intermediário. Explica a decodificação especulativa: um modelo pequeno e rápido rascunha vários tokens e o modelo grande apenas os verifica em paralelo, acelerando a geração sem alterar a distribuição da saída. - [LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU](https://www.youtube.com/watch?v=Mn_9W1nCFLo), Umar Jamil. Nível: Avançado. Análise detalhada da arquitetura do LLaMA, com foco no KV cache, por que ele consome tanta memória em contextos longos, e no Grouped Query Attention (GQA) para reduzi-lo, além de RoPE, RMSNorm e SwiGLU. - [Lecture 13: Ring Attention](https://www.youtube.com/watch?v=ws7angQYIxI), GPU MODE. Nível: Avançado. Aula técnica sobre Ring Attention: a sequência é dividida em blocos distribuídos entre várias GPUs em anel, que trocam chaves e valores enquanto calculam a atenção, permitindo contextos da ordem de milhões de tokens. - [The Special Memory Powering the AI Revolution](https://www.youtube.com/watch?v=yAw63F1W_Us), Asianometry. Nível: Intermediário. Asianometry explica a memória HBM e por que a largura de banda de memória, não o cálculo, é o gargalo da IA. - [MedAI #54: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness | Tri Dao](https://www.youtube.com/watch?v=FThvfkXWqtE), Stanford MedAI. Nível: Avançado. Tri Dao, autor do FlashAttention, explica a atenção exata que respeita a hierarquia de memória da GPU. - [Which Quantization Method is Right for You? (GPTQ vs. GGUF vs. AWQ)](https://www.youtube.com/watch?v=mNE_d-C82lI), Maarten Grootendorst. Nível: Intermediário. Comparação dos métodos de quantização de LLMs, GPTQ, GGUF e AWQ, e quando usar cada um. - [How do Graphics Cards Work? Exploring GPU Architecture](https://www.youtube.com/watch?v=h9Z4oGN89MU), Branch Education. Nível: Iniciante. Como uma placa de vídeo funciona por dentro: milhares de núcleos fazendo contas em paralelo, a física que torna os LLMs viáveis. ## Módulo 11: O Futuro, Mamba (SSMs) e Raciocínio (System 2) O que vem depois do Transformer e como fazer as IAs "pensarem" antes de falar. - [What are State Space Models? Redefining AI & Machine Learning with Data](https://www.youtube.com/watch?v=HbZD0XoN5fc), IBM Technology. Nível: Iniciante. Introdução amigável aos State Space Models: o que são, como diferem dos Transformers e de sua atenção de custo quadrático, e por que modelos como o Mamba surgem como alternativa. - [OpenAI’s new “deep-thinking” o1 model crushes coding benchmarks](https://www.youtube.com/watch?v=6xlPJiNpCVw), Fireship. Nível: Iniciante. Apresenta o modelo o1 da OpenAI, que "pensa" antes de responder com uma cadeia de raciocínio interna, mostrando o salto em benchmarks de programação e matemática em relação ao GPT-4o. - [4 Methods of Prompt Engineering](https://www.youtube.com/watch?v=1c9iyoVIwDs), IBM Technology. Nível: Iniciante. Apresenta quatro técnicas de engenharia de prompt, entre elas o Chain of Thought, que pede ao modelo para raciocinar passo a passo, além de RAG, ReAct e Directional Stimulus Prompting. - [MAMBA and State Space Models explained | SSM explained](https://www.youtube.com/watch?v=vrF3MtGwD0Y), AI Coffee Break with Letitia. Nível: Intermediário. Explica a intuição por trás dos State Space Models e do Mamba, que processa sequências de forma recorrente como uma RNN, mas pode ser treinado de forma paralela, com custo linear no tamanho da sequência. - [Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Full Paper Review)](https://www.youtube.com/watch?v=ut5kp56wW_4), Yannic Kilcher. Nível: Intermediário. Revisão completa do paper Tree of Thoughts, evolução do Chain of Thought em que o modelo explora vários caminhos de raciocínio, avalia estados intermediários e faz retrocesso antes de decidir a resposta. - [Jamba: A Hybrid Transformer-Mamba Language Model (White Paper Explained)](https://www.youtube.com/watch?v=Kl2koPxNArA), AI21 Labs. Nível: Intermediário. A própria AI21 Labs explica o white paper do Jamba, arquitetura híbrida que intercala camadas Transformer e Mamba com Mixture of Experts para obter alta eficiência e janela de contexto de 256 mil tokens. - [Efficiently Modeling Long Sequences with Structured State Spaces - Albert Gu | Stanford MLSys #46](https://www.youtube.com/watch?v=EvQ3ncuriCM), Stanford MLSys Seminars. Nível: Avançado. Albert Gu, criador do S4 e coautor do Mamba, apresenta a formulação matemática dos State Space Models estruturados: a equação diferencial contínua, a discretização e as visões recorrente e convolucional que permitem modelar sequências longas. - [Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Paper)](https://www.youtube.com/watch?v=AfAmwIP2ntY), Yannic Kilcher. Nível: Avançado. Análise do paper do Google DeepMind que mostra como gastar mais computação na inferência, com busca guiada por verificadores e revisões sequenciais, pode superar o ganho de simplesmente aumentar os parâmetros do modelo. - [Kolmogorov-Arnold Networks (KANs) - What are they and how do they work?](https://www.youtube.com/watch?v=myFtp5zMv8U), Luis Serrano Academy. Nível: Avançado. Explica as Kolmogorov-Arnold Networks (KANs), que trocam os pesos fixos e ativações dos perceptrons multicamadas (MLPs) por funções aprendíveis nas arestas, com base no teorema de representação de Kolmogorov-Arnold. - [KAN: Kolmogorov-Arnold Networks](https://www.youtube.com/watch?v=JuPwfQlPUt0), Google TechTalks. Nível: Avançado. Palestra sobre as redes de Kolmogorov-Arnold (KAN), que põem funções aprendíveis nas arestas em vez de pesos fixos. - [Aula Gratuita: Chain of Thought Prompting (passo a passo) - Domine a Técnica | Curso IA na Prática](https://www.youtube.com/watch?v=CU9cbg_D8RU), Trybe. Nível: Iniciante. Aula em português sobre chain of thought: pedir ao modelo que raciocine passo a passo e por que isso melhora respostas. ## Módulo 12: IMPA: a matemática do aprendizado de máquina Aulas e palestras do Instituto de Matemática Pura e Aplicada: o curso de mestrado em Machine Learning, álgebra linear, otimização e a relação entre LLMs e matemática. - [(05/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 01](https://www.youtube.com/watch?v=dLLw6QjADjo), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Primeira aula do curso de mestrado em Machine Learning do IMPA, com Paulo Orenstein: o aprendizado estatístico tratado com o rigor de uma pós-graduação em matemática. - [(07/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 02](https://www.youtube.com/watch?v=h_8fUxdA0QU), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Segunda aula do curso de Machine Learning de Paulo Orenstein no IMPA, continuação direta da primeira. Para quem quer a teoria do aprendizado com demonstrações. - [(09/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 03](https://www.youtube.com/watch?v=P5HASTfCXwQ), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Terceira aula do curso de mestrado em Machine Learning do IMPA. Siga em ordem: o curso constrói cada resultado sobre o anterior. - [(12/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 04](https://www.youtube.com/watch?v=Bfm9w3NEiNU), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Quarta aula do curso de Machine Learning de Paulo Orenstein no IMPA, ainda na base do aprendizado estatístico que sustenta as redes profundas. - [Palestra especial: LLMs e Matemática - João Pedro Ramos e Felipe Gonçalves](https://www.youtube.com/watch?v=2hkXQKCh1cE), Instituto de Matemática Pura e Aplicada. Nível: Intermediário. Palestra especial no IMPA sobre a relação entre LLMs e matemática: como pesquisadores estão usando modelos de linguagem na fronteira da pesquisa. - [Palestra especial - Deep Learning e Aplicações - Francisco Ganacim (IMPA)](https://www.youtube.com/watch?v=n3hJbbAizQ8), Instituto de Matemática Pura e Aplicada. Nível: Iniciante. Palestra de Francisco Ganacim no IMPA com um panorama de deep learning e de suas aplicações. Boa porta de entrada antes das aulas do mestrado. - [PAPMEM - Janeiro de 2026 - Uma Introdução à Inteligência Artificial para Professores: Desvendando...](https://www.youtube.com/watch?v=c2ila2fg1rk), Instituto de Matemática Pura e Aplicada. Nível: Iniciante. Introdução à inteligência artificial para professores de matemática, apresentada no programa PAPMEM do IMPA. - [Palestra especial - Redes neurais para representação de objetos de mídia - Tiago Novello (IMPA)](https://www.youtube.com/watch?v=S9JvCkMi9MI), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Palestra de Tiago Novello no IMPA sobre redes neurais usadas para representar objetos de mídia, como imagens e formas. - [Programa de Iniciação Científica: Introdução à Álgebra Linear - Aula 01](https://www.youtube.com/watch?v=-SU5GH4kBtE), Instituto de Matemática Pura e Aplicada. Nível: Iniciante. Primeira aula de introdução à álgebra linear do programa de iniciação científica do IMPA: vetores e espaços vetoriais, a linguagem dos embeddings. - [V Simpósio Nacional / Jornadas de Iniciação Científica - Tópicos de Teoria de Matrizes - Aula 01](https://www.youtube.com/watch?v=Cz8OZ9PCtO0), Instituto de Matemática Pura e Aplicada. Nível: Intermediário. Primeira aula de tópicos de teoria de matrizes, do IMPA. Matrizes são o objeto central de toda camada de um LLM. - [O que é Otimização? - Alfredo Iusem](https://www.youtube.com/watch?v=f3hxAky4F04), Instituto de Matemática Pura e Aplicada. Nível: Iniciante. Alfredo Iusem explica o que é otimização matemática. Treinar uma rede é resolver um problema de otimização, e esta é a ideia por trás disso. - [(24/09/2025) - Métodos Computacionais de Otimização - Di Liu - Aula 01](https://www.youtube.com/watch?v=h_-gT0vzYAM), Instituto de Matemática Pura e Aplicada. Nível: Avançado. Primeira aula de métodos computacionais de otimização no IMPA: os algoritmos numéricos que estão por trás da descida do gradiente. - [1º Workshop Matemática e Indústria - Ciência de dados e aprendizado de máquina](https://www.youtube.com/watch?v=_7ZDhHgiHL8), Instituto de Matemática Pura e Aplicada. Nível: Iniciante. Sessão do workshop de matemática e indústria do IMPA sobre ciência de dados e aprendizado de máquina aplicados a problemas reais. --- # Estudos > Os caminhos válidos de eficiência em embeddings, tokens e busca vetorial. - Página: https://www.harpya.org/estudos/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Estudos. Harpya. https://www.harpya.org/estudos/ 12 caminhos válidos, cada um com equação, custo conhecido, teste refutável e a arte prévia que já existe. - [1. Certificado inteiro com leitura progressiva em bits](https://www.harpya.org/estudos/caminhos/certificado-inteiro/) (arte prévia: VA-file, FEXIPRO): Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes. - [2. Escala diagonal da tabela](https://www.harpya.org/estudos/caminhos/escala-diagonal/) (medido: 0,397% de sobreviventes): Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui. - [3. Raio probabilístico por concentração](https://www.harpya.org/estudos/caminhos/raio-probabilistico/) (arte prévia: RaBitQ, ADSampling): Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita. - [4. Certificado único sobre bits e dimensões](https://www.harpya.org/estudos/caminhos/certificado-bits-dimensoes/) (combinação não encontrada): Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler. - [5. Reticulados E8 e Leech para o vetor armazenado](https://www.harpya.org/estudos/caminhos/reticulados-e8-leech/) (não usado em embeddings): Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice. - [6. Bits por coluna segundo a sensibilidade](https://www.harpya.org/estudos/caminhos/bits-por-coluna/) (arte prévia: SAQ): Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada. - [7. Controle como problema de Bellman](https://www.harpya.org/estudos/caminhos/controle-bellman/) (enquadramento): A hipótese central do programa escrita como problema de controle: diz o que otimizar e mede o teto do estado de contexto. - [8. Cabeça de saída: métrica do softmax e logits incrementais](https://www.harpya.org/estudos/caminhos/cabeca-de-saida/) (teste de minutos): Duas ideias para a camada que escolhe o próximo token, cada uma decidida por uma medida de posto efetivo. - [9. Atalho linear entre camadas do encoder](https://www.harpya.org/estudos/caminhos/atalho-entre-camadas/) (arte prévia: 2D Matryoshka): Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência. - [10. Pesos de fase {±1, ±i}](https://www.harpya.org/estudos/caminhos/pesos-de-fase/) (arte prévia: iFairy): Pesos complexos de 2 bits contra pesos reais de 2 bits no mesmo orçamento. Único resultado forte da família complexa. - [11. Valor em precisão alta e derivada em poucos bits](https://www.harpya.org/estudos/caminhos/valor-e-derivada/) (não encontrado): Cada item guarda um vetor e uma direção de variação. É a forma de primeira ordem do estado de controle. - [12. Tensor-train na cabeça de saída](https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca/) (arte prévia: word2ket, TT): Fatorar a tabela do vocabulário como produto de tensores pequenos e comparar com int4 em bytes iguais. Linhas arquivadas: https://www.harpya.org/estudos/arquivados/ --- # Certificado inteiro com leitura progressiva em bits > Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes. - Página: https://www.harpya.org/estudos/caminhos/certificado-inteiro/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Certificado inteiro com leitura progressiva em bits. Harpya. https://www.harpya.org/estudos/caminhos/certificado-inteiro/ **Caminho 1.** Estatuto: arte prévia: VA-file, FEXIPRO. Equação central: $$ \langle h,w_i\rangle=\langle h,\hat w_i\rangle+\langle h,r_i\rangle,\quad |\langle h,r_i\rangle|\le\|h\|\,\|r_i\| $$ ## Mecanismo Cada linha da tabela é guardada em int8 e separada em parte alta e parte baixa. A primeira passagem lê só os 4 bits altos, $\hat w_i$, e calcula um limite superior para cada candidato. Quem não pode alcançar o $k$-ésimo melhor é excluído **com certeza**. A segunda passagem lê os 4 bits baixos apenas dos sobreviventes. $$ U_i=\langle h,\hat w_i\rangle+\|h\|\,\rho_i,\qquad i\ \text{é excluído se}\ U_i Antes de qualquer alegação de novidade, ler o artigo primário do FEXIPRO. ## Limites conhecidos Busca exata por produto interno não admite garantia sublinear no pior caso (resultado sob a hipótese SETH). Todo ganho exato é um fator constante sobre a varredura. Em 2017, a multiplicação de matrizes em blocos venceu a poda exata em 53 de 92 configurações. ## Teste e regra de parada **Próximo teste.** Comparar com PDX-BOND, Panorama e varredura em blocos com SIMD, relatando melhor, mediana e pior consulta. **Parar se.** Os bytes lidos na mediana não caírem pela metade em relação ao 4/4 atual, ou o esquema perder em relógio para a varredura em blocos. ## Arte prévia - VA-file (Weber, Schek e Blott, VLDB 1998) - FEXIPRO (SIGMOD 2017), estágio com aproximação inteira - PDX-BOND e Panorama (2025), poda determinística por dimensões --- # Escala diagonal da tabela > Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui. - Página: https://www.harpya.org/estudos/caminhos/escala-diagonal/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Escala diagonal da tabela. Harpya. https://www.harpya.org/estudos/caminhos/escala-diagonal/ **Caminho 2.** Estatuto: medido: 0,397% de sobreviventes. Equação central: $$ \tilde W=(W-\mu)D^{-1},\quad \tilde h=Dh,\quad D_j=r_j=\max_i|w_{ij}-\mu_j| $$ ## Mecanismo O produto interno não muda sob a reparametrização $(W-\mu)D^{-1}\cdot Dh$, mas a quantização em int8 muda. Escolher $D$ altera quanto erro cada coluna recebe. ## Resultado demonstrado A razão entre o limite de exclusão e o sinal é proporcional a $\|Dh\|\cdot\max_j(r_j/D_j)$. Ela não muda se $D$ for multiplicado por uma constante e é mínima em $D_j=r_j$ para todo $h$. **Entre as matrizes diagonais, esta escolha já é ótima.** ## Medido | Variante | Sobreviventes | |---|---| | Original | 2,345% | | Só centralização | 3,191% | | Rotação por autovetores e escala | 5,455% | | **Escala diagonal** | **0,397%** | ## Próximo passo A rotação aleatória do caminho 3 pode desfazer este ganho. O teste é medir as duas coisas juntas. ## Teste e regra de parada **Próximo teste.** Verificar se o ganho sobrevive à rotação aleatória e ao precondicionador em blocos 64x64. **Parar se.** A rotação necessária para o raio probabilístico desfizer o ganho da escala diagonal. ## Arte prévia - Normalização por coluna é prática comum em quantização escalar --- # Raio probabilístico por concentração > Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita. - Página: https://www.harpya.org/estudos/caminhos/raio-probabilistico/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Raio probabilístico por concentração. Harpya. https://www.harpya.org/estudos/caminhos/raio-probabilistico/ **Caminho 3.** Estatuto: arte prévia: RaBitQ, ADSampling. Equação central: $$ P\big(|Z_i^\top x|\ge t\,\sigma_i\big)\lesssim 2e^{-t^2/2} $$ ## Mecanismo Se o resíduo de quantização se comporta como ruído centrado com variância $\sigma_i^2=N_iQ/d$, o limite determinístico $\sqrt{d}\,\sigma_i$ pode ser trocado por $t\,\sigma_i$: $$ P\big(|Z_i^\top x|\ge t\,\sigma_i\big)\lesssim 2e^{-t^2/2} $$ Para falha de $10^{-9}$ por linha basta $t\approx 6{,}5$. O raio encolhe por $\sqrt d/6{,}5$: cerca de 3 vezes em $d=384$, 7 em 2.048 e 10 em 4.096. O ganho cresce com a largura. ## Medido O raio de seis desvios levou o refinamento em 4/4 de 16,7% e 35,7% para 0,31% e 0,83%, sem perder vencedor. No NFCorpus, 1 par em 10 milhões excedeu o raio, mais do que o modelo gaussiano prevê. ## Condição para virar garantia A probabilidade precisa vir do sorteio do índice, não de uma suposição sobre os dados. É o desenho do RaBitQ e do ADSampling. A novidade possível está em acoplar esse raio a um certificado inteiro exato com reserva determinística, não no raio em si. ## Teste e regra de parada **Próximo teste.** Duas variantes sobre a tabela 4/4: com rotação aleatória antes da reparametrização (garantia pelo sorteio) e sem rotação (rotulada como não garantida). **Parar se.** A excedência medida passar de 10 vezes a prevista, ou os sobreviventes não caírem pela metade em relação ao certificado determinístico. ## Arte prévia - RaBitQ e Extended RaBitQ (2024) - ADSampling (SIGMOD 2023) - SAQ (2025), estimador em estágios --- # Certificado único sobre bits e dimensões > Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler. - Página: https://www.harpya.org/estudos/caminhos/certificado-bits-dimensoes/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Certificado único sobre bits e dimensões. Harpya. https://www.harpya.org/estudos/caminhos/certificado-bits-dimensoes/ **Caminho 4.** Estatuto: combinação não encontrada. Equação central: $$ |\langle q,x\rangle-\langle q_{1:m},\hat x^{(b)}_{1:m}\rangle|\le\|q_{1:m}\|\,\|r^{(b)}_{1:m}\|+\|q_{m+1:d}\|\,\|x_{m+1:d}\| $$ ## Mecanismo Com as dimensões ordenadas por energia e um código de $b$ bits lido até o prefixo $m$: $$ \langle q,x\rangle=\langle q_{1:m},\hat x^{(b)}_{1:m}\rangle+\langle q_{1:m},r^{(b)}_{1:m}\rangle+\langle q_{m+1:d},x_{m+1:d}\rangle $$ Cada parcela já existe em separado na literatura. A leitura certificada que mistura planos de bits e dimensões sob um só limite não foi encontrada. ## Obstáculos - As garantias publicadas sobre códigos de poucos bits são probabilísticas; os métodos determinísticos leem valores em precisão cheia. - A poda exata é fraca em embeddings quase gaussianos: o PDX-BOND perde em OpenAI de 1.536 dimensões. - A compactação de energia pede uma rotação, que pode desfazer a escala diagonal. ## Teste e regra de parada **Próximo teste.** Na tabela 4/4, calcular offline, para uma grade de (m, b), a fração excluída e os bytes lidos até a exclusão. **Parar se.** Os bytes lidos na mediana não caírem pela metade em relação ao 4/4, ou o esquema perder em relógio para a varredura em blocos. ## Arte prévia - VA-file (resíduo de bits) - Panorama e LEMP (cauda de dimensões) - PDX-BOND (ordem de dimensões por consulta) --- # Reticulados E8 e Leech para o vetor armazenado > Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice. - Página: https://www.harpya.org/estudos/caminhos/reticulados-e8-leech/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Reticulados E8 e Leech para o vetor armazenado. Harpya. https://www.harpya.org/estudos/caminhos/reticulados-e8-leech/ **Caminho 5.** Estatuto: não usado em embeddings. Equação central: $$ \Gamma(R)=2\cdot2^{-2R}-2^{-4R},\quad R\ge R^*\approx 0{,}906 $$ ## Mecanismo Depois de uma rotação que torna as coordenadas aproximadamente gaussianas, o vetor é cortado em blocos de 8 (E8) ou 24 (Leech) dimensões, e cada bloco vai para o ponto mais próximo do reticulado. Para dois vetores gaussianos comprimidos a $R$ bits por entrada, o menor erro quadrático do produto interno é $$ \Gamma(R)=2\cdot 2^{-2R}-2^{-4R}\qquad (R\ge R^*\approx 0{,}906) $$ e reticulados aninhados atingem esse limite. Abaixo de cerca de 0,9 bit por entrada, o ótimo é manter menos dimensões, o que é a contrapartida teórica de Matryoshka com 1 bit. ## Teto O ganho de forma sobre a grade inteira fica em fração de bit por dimensão. Como reforço do certificado, o raio de cobertura em taxa igual encolhe cerca de 1,41 vez com E8 e 1,73 vez com Leech (constantes clássicas, a conferir em fonte). É pouco diante da folga de 29 vezes. ## Riscos Produtos internos por tabela podem ser mais lentos que popcount e multiplica-acumula inteiros. Foi o que a Elastic mediu contra o TurboQuant. ## Teste e regra de parada **Próximo teste.** Encoder fixo, rotação de Hadamard e comparação em bits iguais entre int4, Extended RaBitQ e código de Voronoi em E8. **Parar se.** O E8 não igualar o código escalar com pelo menos 5% menos bits entre 2 e 4 bits por dimensão, ou o núcleo por tabela for mais lento que o núcleo inteiro de 4 bits. ## Arte prévia - NestQuant (2025) - QuIP# (2024), dicionário E8 - Ordentlich e Polyanskiy, limite de taxa e distorção para produto interno --- # Bits por coluna segundo a sensibilidade > Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada. - Página: https://www.harpya.org/estudos/caminhos/bits-por-coluna/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Bits por coluna segundo a sensibilidade. Harpya. https://www.harpya.org/estudos/caminhos/bits-por-coluna/ **Caminho 6.** Estatuto: arte prévia: SAQ. Equação central: $$ |Z_i^\top x|\le\sqrt{\textstyle\sum_j(Z_{ij}/s_j)^2}\;\sqrt{\textstyle\sum_j s_j^2x_j^2} $$ ## Mecanismo O certificado vale com passo $s_j=2^{b_j}$ próprio de cada coluna. Por Cauchy-Schwarz ponderado, com a soma dos $b_j$ fixa, o segundo fator é mínimo quando $s_j|x_j|$ é igual em todas as colunas. O limite encolhe por $$ G=\sqrt{\mathrm{MA}/\mathrm{MG}}\quad\text{de}\quad q_j=r_j^2\,\mathbb E[h_j^2] $$ a razão entre as médias aritmética e geométrica do perfil de colunas. ## Ressalva Os $b_j$ são inteiros e se perde o alinhamento de byte do 4/4, único ponto em que bytes viraram tempo nas medições. ## Teste e regra de parada **Próximo teste.** Calcular o fator G nos estados reais e nos embeddings. Leva minutos. **Parar se.** G menor que 1,5. ## Arte prévia - SAQ (2025), bits por segmento por programação dinâmica - DFT conceitual e Optimal Brain Surgeon, como origem da ideia de sensibilidade --- # Controle como problema de Bellman > A hipótese central do programa escrita como problema de controle: diz o que otimizar e mede o teto do estado de contexto. - Página: https://www.harpya.org/estudos/caminhos/controle-bellman/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Controle como problema de Bellman. Harpya. https://www.harpya.org/estudos/caminhos/controle-bellman/ **Caminho 7.** Estatuto: enquadramento. Equação central: $$ V(s_k)=\min\big\{\lambda\,P(\text{erro}\mid s_k),\ c\,|g_{k+1}|+\mathbb E\,V(s_{k+1})\big\} $$ ## Formulação Um estado compacto, atualizado causalmente, decide o que ler. Isso é controle com custo por passo e custo terminal de erro. O estado $s_k$ contém o melhor score exato já visto, o limite $U$ do próximo grupo e o estado de contexto $\theta_t$. ## Consequências - **Regime certificado:** a parada já está fixada pela exatidão. Sobram para o controle a ordem de abertura dos grupos e o número de bits da primeira passagem. - **Teto do estado de contexto:** é a diferença entre $V$ sem $\theta_t$ e $V$ com $\theta_t$. - **Regime estatístico:** com estado de poucas dimensões, a política ótima é um limiar calibrado. Não é preciso resolver a equação diferencial. ## Teste e regra de parada **Próximo teste.** Portão G2 com o controle embaralhado: mede a diferença entre V sem e com o estado de contexto. **Parar se.** O estado de contexto não reduzir o custo esperado em relação ao controle embaralhado. ## Arte prévia - Equação de Hamilton-Jacobi-Bellman em tempo discreto - Parada antecipada aprendida em busca vetorial (DARTH, 2026) --- # Cabeça de saída: métrica do softmax e logits incrementais > Duas ideias para a camada que escolhe o próximo token, cada uma decidida por uma medida de posto efetivo. - Página: https://www.harpya.org/estudos/caminhos/cabeca-de-saida/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Cabeça de saída: métrica do softmax e logits incrementais. Harpya. https://www.harpya.org/estudos/caminhos/cabeca-de-saida/ **Caminho 8.** Estatuto: teste de minutos. Equação central: $$ z_{t+1}=z_t+W\,(h_{t+1}-h_t) $$ ## Ideia 1: precisão guiada pela métrica local $$ \nabla^2A(\lambda)=\mathrm{Cov}[\gamma\mid\lambda]=\sum_v p_v(\gamma_v-\bar\gamma)(\gamma_v-\bar\gamma)^\top $$ Quando a distribuição se concentra em poucos tokens, essa métrica tem posto baixo. As linhas do unembedding só precisariam de precisão cheia em poucas direções. ## Ideia 2: logits incrementais A identidade $z_{t+1}=z_t+W(h_{t+1}-h_t)$ é exata. Só economiza se o incremento for de posto baixo numa base com $WB$ pré-calculado. ## Teto Lei de Amdahl: a cabeça pesa cerca de 25% do custo por token no Llama-3.2-1B em BF16 e cerca de 10% ou menos acima de 8B. Trabalho só na cabeça rende cerca de 1,1 vez em modelos grandes. ## Teste e regra de parada **Próximo teste.** Em traços reais de decodificação de um modelo pequeno, medir o posto efetivo dos incrementos de estado e da métrica local do softmax. **Parar se.** 90% da energia exigir mais de d/5 direções na maioria dos passos. ## Arte prévia - SVD-softmax (2017), cerca de 20% da aritmética - FlashHead (2026), cabeça 4,9 vezes mais rápida sem garantia - Softmax adaptativo (2017) --- # Atalho linear entre camadas do encoder > Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência. - Página: https://www.harpya.org/estudos/caminhos/atalho-entre-camadas/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Atalho linear entre camadas do encoder. Harpya. https://www.harpya.org/estudos/caminhos/atalho-entre-camadas/ **Caminho 9.** Estatuto: arte prévia: 2D Matryoshka. Equação central: $$ \hat e=M_\ell\,\bar x^{(\ell)},\quad M_\ell=\arg\min_M\|M\bar X^{(\ell)}-E\|_F^2+\lambda\|M\|_F^2 $$ ## Por que importa Com 5 mil documentos, o encoder custa 7,1 ms e a varredura 0,075 ms. A economia seria de $(6-\ell)/6$ do tempo do encoder. ## Origem A teoria de Koopman lineariza uma dinâmica num espaço de observáveis. Como as camadas têm pesos distintos, não há operador único; sobra um mapa linear ajustado de uma camada até a saída. A expectativa é moderada a baixa, porque a destilação costuma ganhar. ## Teste e regra de parada **Próximo teste.** MiniLM de 6 camadas, mapa ajustado nos documentos, nDCG@10 no teste para camadas 3 a 5, contra encoder truncado e contra destilado de mesmo custo. **Parar se.** A perda em nDCG@10 na camada 4 passar de 0,02, ou o destilado de mesmo custo vencer. ## Arte prévia - 2D Matryoshka Sentence Embeddings (2024) - Leitura de camadas intermediárias (logit lens, tuned lens) --- # Pesos de fase {±1, ±i} > Pesos complexos de 2 bits contra pesos reais de 2 bits no mesmo orçamento. Único resultado forte da família complexa. - Página: https://www.harpya.org/estudos/caminhos/pesos-de-fase/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Pesos de fase {±1, ±i}. Harpya. https://www.harpya.org/estudos/caminhos/pesos-de-fase/ **Caminho 10.** Estatuto: arte prévia: iFairy. Equação central: $$ w\in\{+1,-1,+i,-i\} $$ ## Por que é diferente das outras álgebras Para busca com pontuação fixa, números complexos não mudam nada: $\mathrm{Re}\langle a,b\rangle$ em $\mathbb C^d$ é o produto interno em $\mathbb R^{2d}$. O ganho do iFairy está nos **pesos** do modelo, no mesmo número de bits. ## O que falta O resultado vem de execução única e sem medida de latência, memória ou energia. ## Teste e regra de parada **Próximo teste.** Reprodução em escala pequena, com medição de latência e memória, que o artigo não traz. **Parar se.** A vantagem de perplexidade não se reproduzir com mais de uma semente. ## Arte prévia - iFairy (2025): perplexidade 10,14 contra 11,29 do BitNet b1.58 em 1,3B --- # Valor em precisão alta e derivada em poucos bits > Cada item guarda um vetor e uma direção de variação. É a forma de primeira ordem do estado de controle. - Página: https://www.harpya.org/estudos/caminhos/valor-e-derivada/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Valor em precisão alta e derivada em poucos bits. Harpya. https://www.harpya.org/estudos/caminhos/valor-e-derivada/ **Caminho 11.** Estatuto: não encontrado. Equação central: $$ s(q,i;c)=\langle q,v_i\rangle+c\,\langle q,t_i\rangle $$ ## Mecanismo Um estado escalar $c$ modula muitos vetores sem reindexar. A versão útil guarda $v_i$ em precisão alta e $t_i$ em 1 a 2 bits. ## Obstáculo Algebricamente é o mesmo que guardar dois vetores reais por item. Um vetor de $2d$ no mesmo orçamento é estritamente mais expressivo, então o caminho só vale se a derivada barata ganhar. ## Teste e regra de parada **Próximo teste.** Em orçamento igual de bytes, treinar (v, t) com controle c e comparar com um vetor real de 2d e com um Matryoshka de 2d. **Parar se.** Não superar os dois em nDCG@10. ## Arte prévia - Números duais: (a+bε)(c+dε)=ac+(ad+bc)ε, com ε²=0 --- # Tensor-train na cabeça de saída > Fatorar a tabela do vocabulário como produto de tensores pequenos e comparar com int4 em bytes iguais. - Página: https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Tensor-train na cabeça de saída. Harpya. https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca/ **Caminho 12.** Estatuto: arte prévia: word2ket, TT. Equação central: $$ W_{i,:}=G_1[i_1]\,G_2[i_2]\cdots G_N[i_N] $$ ## Limite de princípio A informação mútua em texto cresce com expoente 0,82, perto de uma lei de volume. Redes tensoriais unidimensionais só são eficientes quando ela satura. Para modelar texto bem, a dimensão de ligação cresce e a compressão some. ## Origem É a mesma fatoração que simuladores clássicos usam para estados quânticos de pouco emaranhamento. Simular qubits em binário não aumenta a densidade de um modelo; a fatoração em produto tensorial, sim, com perda. ## Teste e regra de parada **Próximo teste.** Cabeça tensor-train treinada junto, com int8, contra cabeça int4 simples no mesmo número de bytes, incluindo o custo de reconstruir as linhas. **Parar se.** Não vencer o int4 em perplexidade no mesmo orçamento, ou a reconstrução deixar a cabeça mais lenta. ## Arte prévia - TT-embedding (2020): tabela 15 a 58 vezes menor, perda de 0,4 a 1,3 ponto de BLEU - word2ket e word2ketXS - TensorGPT: aplicado depois do treino, degrada acima de 2 vezes --- # A ideia mais interessante que não serve para nada > E se a vetorização ocorresse em um espaço não euclidiano? A resposta, as medidas e por que a geometria hiperbólica continua sendo pesquisa real. - Página: https://www.harpya.org/estudos/a-ideia-mais-interessante/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). A ideia mais interessante que não serve para nada. Harpya. https://www.harpya.org/estudos/a-ideia-mais-interessante/ ## O que medimos O programa testou curvatura constante (hiperbólica) e curvatura variável aprendida para recuperação, sob comparação justa: mesma dimensão, mesmos bytes, mesmo protocolo. Nenhuma das duas ganhou do espaço euclidiano. ## Por que o resultado faz sentido No modelo de Lorentz, a distância hiperbólica é uma função monótona de um produto interno com um sinal trocado: $$ d_{\mathbb H}(x,y)=\operatorname{arcosh}\big(-\langle x,y\rangle_{\mathcal L}\big),\qquad \langle x,y\rangle_{\mathcal L}=-x_0y_0+\sum_{i\ge1}x_iy_i $$ Ordenar por distância hiperbólica é ordenar por um produto interno. Em dimensão alta, os vetores de modelos hiperbólicos pré-treinados ficam numa casca fina, e o cosseno comum reproduz a ordenação geodésica quase por completo. ## O que a literatura diz - Em grafos de conhecimento a 32 dimensões, a vantagem hiperbólica é de décimos de ponto; os próprios autores relatam desempenho similar em 500 dimensões (Chami e coautores, 2020). - Uma reavaliação achou um erro no baseline euclidiano de um benchmark muito usado; corrigido, o modelo euclidiano empata ou vence (Katsman e Gilbert, 2025). - Em hierarquias puras e poucas dimensões, o ganho é grande: é aí que a linha continua viva (Nickel e Kiela, 2017). **Registro:** a geometria hiperbólica é uma linha de pesquisa real e ativa. Ela não serve para acelerar embeddings de texto de alta dimensão, mas representa bem hierarquias em dimensão baixa. --- # Arquivados > Linhas de pesquisa avaliadas e arquivadas pelo Harpya, com o motivo. - Página: https://www.harpya.org/estudos/arquivados/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Arquivados. Harpya. https://www.harpya.org/estudos/arquivados/ ## Geometria - **Curvatura constante (hiperbólica):** sem ganho sob comparação justa; a vantagem some perto de 500 dimensões. Ver [a ideia mais interessante](/estudos/a-ideia-mais-interessante/). - **Curvatura variável aprendida:** sem ganho medido. - **Espaços tropicais, ultramétricos, p-ádicos, feixes, Finsler, simpléticos:** nenhum mecanismo de economia em bytes ou comparações para texto. ## Química e física - **QTAIM (Bader):** vira agrupamento por modos de densidade; o k-means já minimiza o raio que o certificado usa. - **Teoria da evolução da ligação e MEDT:** num cabeçote linear o único evento é o empate; o limite de estabilidade é o mesmo do certificado. - **DFT conceitual:** o índice $\omega=\mu^2/2\eta$ é o ganho de um passo de Newton; já existe como quantização de segunda ordem. Sobrevive como origem do caminho 6. - **Langevin, Fokker-Planck, OGY, caminhos rugosos:** descrevem treino ou dinâmica com ruído; a inferência de um encoder é determinística e finita. - **Koopman e jogos de campo médio:** sobrevivem só como os caminhos 9 (atalho entre camadas) e a fusão de tokens já publicada. - **Grandes desvios:** sobrevive como o caminho 3, na forma de desigualdade de concentração. - **Dugundji-Ugi e fingerprints de reação:** viram codificação por diferença; a centralização sozinha piorou os sobreviventes (3,191% contra 2,345%). ## Álgebra e códigos - **Complexos e quatérnions como formato de índice:** $\mathrm{Re}\langle a,b\rangle$ em $\mathbb C^d$ é o produto interno em $\mathbb R^{2d}$; nenhum ganho por byte. - **Matrizes de densidade:** custo $d^2$ por item, 1,18 MB em $d=768$. - **Memória associativa densa como índice:** um passo custa $O(Nd)$, o mesmo que a varredura. - **Simular qubits em binário para densidade:** $n$ qubits custam $2^n$ amplitudes no simulador, e o limite de Holevo impede recuperar mais que $n$ bits. Sobrevive só a fatoração em produto tensorial (caminho 12). --- # Camadas de um LLM e as equações de cada uma > As 16 camadas de um LLM e de um modelo de embedding, com as equações que regem cada uma e o custo de cada etapa. - Página: https://www.harpya.org/equacoes/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Camadas de um LLM e as equações de cada uma. Harpya. https://www.harpya.org/equacoes/ **Notação.** $V$ tamanho do vocabulário, $n$ tokens no contexto, $d$ dimensão do modelo, $L$ número de blocos, $h$ e $h_{kv}$ cabeças de consulta e de chave e valor, $d_h=d/h$, $d_{ff}$ largura da FFN, $N$ documentos no índice. FLOPs contam multiplicação e soma como 2. ## 1. Tokenização No BPE, o treino do tokenizador funde repetidamente o par adjacente mais frequente até o vocabulário chegar a $V$: $$ (a,b)^{*}=\arg\max_{(a,b)}\ \mathrm{freq}(a\,b),\qquad \mathcal V\leftarrow\mathcal V\cup\{ab\} $$ Na inferência, $\text{texto}\mapsto(t_1,\dots,t_n)$ com $t_i\in\{1,\dots,V\}$. Vocabulário maior encurta $n$ e barateia a atenção, mas aumenta as tabelas $V\times d$ da entrada e da saída. ## 2. Tabela de embeddings $$ E\in\mathbb R^{V\times d},\qquad x^{(0)}_i=E_{t_i,:}=\mathbf e_{t_i}^{\top}E $$ São $Vd$ parâmetros, lidos uma linha por token. Comprimir a tabela economiza memória, não tempo. ## 3. Posição com RoPE Para a posição $m$ e cada par de coordenadas $j$: $$ \begin{pmatrix}q'_{2j}\\ q'_{2j+1}\end{pmatrix}=\begin{pmatrix}\cos m\theta_j&-\sin m\theta_j\\ \sin m\theta_j&\cos m\theta_j\end{pmatrix}\begin{pmatrix}q_{2j}\\ q_{2j+1}\end{pmatrix},\qquad \theta_j=b^{-2j/d_h} $$ A propriedade que interessa: $\langle R_mq,R_{m'}k\rangle=\langle q,R_{m'-m}k\rangle$. O produto depende só da distância. É a mesma operação que a rotação de relação do RotatE e a ligação de fasores em computação hiperdimensional. ## 4. RMSNorm $$ \mathrm{RMSNorm}(x)=\frac{x}{\sqrt{\tfrac1d\sum_{j}x_j^2+\varepsilon}}\odot g $$ ## 5. Atenção causal com várias cabeças $$ Q=\tilde XW_Q,\quad K=\tilde XW_K,\quad V=\tilde XW_V $$ $$ A=\mathrm{softmax}\!\Big(\frac{QK^{\top}}{\sqrt{d_h}}+M\Big),\qquad M_{ij}=\begin{cases}0,&j\le i\\-\infty,&j>i\end{cases},\qquad O=AV $$ $$ \mathrm{Attn}(X)=\big[O^{(1)}\,\|\,\cdots\,\|\,O^{(h)}\big]W_O $$ Parâmetros: $2d^2+2d\,h_{kv}d_h$. É a única camada cujo custo cresce com $n$: cerca de $4nd$ FLOPs por token para pontuar e combinar. ## 6. Cache de chaves e valores $$ o_t=\mathrm{softmax}\!\Big(\frac{q_tK_{1:t}^{\top}}{\sqrt{d_h}}\Big)V_{1:t},\qquad \text{memória}=2\,L\,n\,h_{kv}\,d_h\cdot\text{bytes} $$ Em contexto longo, o cache pesa mais que os pesos. ## 7. FFN SwiGLU $$ \mathrm{FFN}(x)=W_2\big(\mathrm{SiLU}(W_1x)\odot W_3x\big),\qquad \mathrm{SiLU}(u)=\frac{u}{1+e^{-u}} $$ São $3\,d\,d_{ff}$ parâmetros e $6\,d\,d_{ff}$ FLOPs por token. Em modelos de mistura de especialistas, um roteador escolhe poucas FFNs por token. ## 8. Conexões residuais $$ X'=X^{(\ell-1)}+\mathrm{Attn}\big(\mathrm{RMSNorm}(X^{(\ell-1)})\big),\qquad X^{(\ell)}=X'+\mathrm{FFN}\big(\mathrm{RMSNorm}(X')\big) $$ O estado final é a soma das contribuições de todas as camadas, $x^{(L)}_i=x^{(0)}_i+\sum_\ell\big(a^{(\ell)}_i+f^{(\ell)}_i\big)$. É isso que permite ler camadas intermediárias e atalhos entre camadas. ## 9. Cabeça de saída $$ z=W_U\,h\in\mathbb R^{V},\qquad p(t_{n+1}=v\mid t_{1:n})=\frac{e^{z_v/T}}{\sum_{u}e^{z_u/T}} $$ Cada logit é um produto escalar $z_v=\langle w_v,h\rangle$: escolher o token é uma busca de produto interno máximo sobre $V$ linhas, com $2Vd$ FLOPs por token. ## 10. Decodificação Guloso: $t_{n+1}=\arg\max_v z_v$. Amostragem: $t_{n+1}\sim p(\cdot\mid t_{1:n})$, com top-$p$ restrito ao menor conjunto cuja soma passa de $p$. ## 11. Perda e gradiente $$ \mathcal L=-\frac1n\sum_{i}\log p(t_{i+1}\mid t_{1:i}),\qquad \frac{\partial\mathcal L_i}{\partial z}=p-\mathbf e_{t_{i+1}} $$ Treinar custa cerca de $6P$ FLOPs por token; inferir, cerca de $2P$. ## 12. Otimizador AdamW $$ m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\qquad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^{2} $$ $$ \theta_t=\theta_{t-1}-\eta_t\Big(\frac{\hat m_t}{\sqrt{\hat v_t}+\varepsilon}+\lambda\theta_{t-1}\Big) $$ ## 13. Modelo de embedding: pooling $$ e=\frac1n\sum_{i}x^{(L)}_i,\qquad \hat e=\frac{e}{\|e\|_2},\qquad \mathrm{sim}(a,b)=\langle\hat e_a,\hat e_b\rangle $$ Quase todo o custo de uma consulta está no encoder: 7,1 ms contra 0,075 ms de varredura em 5 mil documentos, nas medições do projeto. ## 14. Perda contrastiva e Matryoshka $$ \mathcal L_{\text{InfoNCE}}=-\log\frac{e^{\mathrm{sim}(q,d^{+})/\tau}}{e^{\mathrm{sim}(q,d^{+})/\tau}+\sum_j e^{\mathrm{sim}(q,d^{-}_j)/\tau}},\qquad \mathcal L_{\text{MRL}}=\sum_{m}c_m\,\mathcal L(e_{1:m}) $$ ## 15. Quantização $$ \hat x=\mathrm{clip}\Big(\mathrm{round}\big(\tfrac{x}{s}\big),-2^{b-1},2^{b-1}-1\Big),\qquad \langle q,x\rangle=s\langle q,\hat x\rangle+\langle q,r\rangle,\quad |\langle q,r\rangle|\le\|q\|\,\|r\| $$ Binário: $\langle\hat a,\hat b\rangle=d-2\,\mathrm{Hamming}(\hat a,\hat b)$. Piso teórico para vetores unitários: $D_{\text{mse}}\ge 4^{-b}$. ## 16. Recuperação vetorial $$ \mathrm{top}\text{-}k(q)=\operatorname*{arg\,top\text{-}k}_{i}\ \langle\hat e_q,\hat e_i\rangle,\qquad \max_{i\in c}\langle q,x_i\rangle\le\langle q,\mu_c\rangle+R_c\|q\| $$ A varredura exata custa $2Nd$ FLOPs por consulta. Um grupo de centro $\mu_c$ e raio $R_c$ pode ser descartado com certeza quando o limite fica abaixo da $k$-ésima melhor pontuação já vista. ## Contagem total $$ P\approx Vd+Vd+L\big(2d^2+2d\,h_{kv}d_h+3\,d\,d_{ff}\big) $$ Com a configuração pública do Llama 3 8B ($V=128.256$, $d=4.096$, $L=32$, $h_{kv}=8$, $d_h=128$, $d_{ff}=14.336$): tabela de entrada 525 M (6,5%), atenção 1.342 M (16,7%), FFN 5.637 M (70,2%), cabeça de saída 525 M (6,5%), total cerca de 8.030 M. Os valores de configuração estão citados de memória; as parcelas são calculadas com a fórmula. --- # Biblioteca > Livros, artigos acadêmicos e fontes de alta qualidade sobre matemática, física e IA. - Página: https://www.harpya.org/biblioteca/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-24 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Biblioteca. Harpya. https://www.harpya.org/biblioteca/ ## Livros - **Mathematics for Machine Learning**, Deisenroth, Faisal, Ong (2020). A fundação matemática (álgebra, cálculo, probabilidade) necessária para compreender profundamente os algoritmos de machine learning. No projeto: Base: álgebra linear, cálculo e probabilidade. Edição online: https://mml-book.github.io/ - **Deep Learning**, Goodfellow, Bengio, Courville (2016). A 'Bíblia' do Deep Learning, cobrindo desde conceitos básicos até arquiteturas complexas de redes neurais. No projeto: Base: redes profundas. Edição online: https://www.deeplearningbook.org/ - **Understanding Deep Learning**, Simon J. D. Prince (2023). Uma abordagem moderna e visualmente rica para entender as engrenagens dos modelos de deep learning e transformers. No projeto: Base: transformers explicados. Edição online: https://udlbook.github.io/udlbook/ - **Speech and Language Processing**, Jurafsky, Martin (2000). O livro definitivo sobre Processamento de Linguagem Natural (NLP), gramática computacional e reconhecimento de fala. No projeto: Base: linguagem, tokens e embeddings. Edição online: https://web.stanford.edu/~jurafsky/slp3/ - **Introduction to Information Retrieval**, Manning, Raghavan, Schütze (2008). Fundamentos de como sistemas de busca funcionam: índice invertido, ranqueamento, avaliação, classificação de texto e busca na web. No projeto: Caminhos 1 a 4: índices e busca. Edição online: https://nlp.stanford.edu/IR-book/ - **Sphere Packings, Lattices and Groups**, Conway, Sloane (1988). Obra matemática avançada sobre geometria, reticulados e teoria da informação aplicados a espaços multidimensionais. No projeto: Caminho 5: reticulados E8 e Leech. - **Concentration Inequalities**, Boucheron, Lugosi, Massart (2013). Um estudo profundo sobre estatística não-assintótica e o comportamento probabilístico em alta dimensão. No projeto: Caminho 3: raio probabilístico. - **Elements of Information Theory**, Cover, Thomas (1991). O clássico absoluto da teoria da informação de Shannon, compressão de dados e entropia. No projeto: Caminho 5: taxa e distorção. - **Algorithms to Live By**, Christian, Griffiths (2016). Aplica conceitos da ciência da computação para resolver problemas do dia a dia humano. - **Life 3.0**, Tegmark (2017). Exploração filosófica e científica sobre o futuro da humanidade na era da inteligência artificial geral. - **Superintelligence: Paths, Dangers, Strategies**, Bostrom (2014). Análise dos caminhos, perigos e estratégias em relação à criação de uma IA que supera a inteligência humana. - **Code**, Petzold (1999). Uma jornada brilhante de como a linguagem de máquina, binários e hardware funcionam a partir de conceitos simples. - **Grokking Algorithms**, Bhargava (2016). Uma introdução visual, amigável e ilustrada aos algoritmos clássicos de programação. - **The Hundred-Page Machine Learning Book**, Burkov (2019). Resumo denso e direto ao ponto cobrindo o que você realmente precisa saber sobre ML. Edição online: https://themlbook.com/wiki/doku.php - **Storytelling with Data**, Nussbaumer Knaflic (2015). Guia indispensável sobre visualização de dados e como comunicar insights numéricos de forma clara. - **Clean Code**, Martin (2008). Práticas essenciais de engenharia de software para escrever códigos legíveis, manuteníveis e limpos. - **The Pragmatic Programmer**, Hunt, Thomas (1999). Conselhos práticos, atemporais e filosóficos para se tornar um desenvolvedor de software mais eficiente. - **Design Patterns**, Gamma, Helm, Johnson, Vlissides (1994). O clássico do GoF que catalogou os padrões fundamentais de arquitetura orientada a objetos. - **Designing Data-Intensive Applications**, Kleppmann (2017). O melhor livro atual sobre arquitetura de sistemas distribuídos, bancos de dados e escalabilidade. - **Clean Architecture**, Martin (2017). Princípios de design de arquitetura de software para isolar dependências e criar sistemas robustos. - **Domain-Driven Design**, Evans (2003). Lidando com a complexidade no coração do software focando no modelo de domínio e linguagem ubíqua. - **Refactoring**, Fowler (1999). Catálogo de refatorações com exemplos passo a passo para melhorar o desenho de um código que já funciona, sempre protegido por testes. - **The C Programming Language**, Kernighan, Ritchie (1978). O livro de Kernighan e Ritchie que definiu a linguagem C: curto, preciso e com exercícios que ainda servem de referência. - **Effective C++**, Meyers (1992). Itens curtos com regras práticas para usar C++ bem: construtores, gestão de recursos, herança, templates e armadilhas comuns. - **Computer Networking: A Top-Down Approach**, Kurose, Ross (2001). Redes de computadores explicadas de cima para baixo, da camada de aplicação (HTTP, DNS) até o enlace, com foco na Internet. - **Operating System Concepts**, Silberschatz, Galvin, Gagne (1983). O texto clássico de sistemas operacionais: processos, threads, escalonamento, memória virtual, sistemas de arquivos e concorrência. - **Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow**, Géron (2017). Aprendizado de máquina na prática com Scikit-Learn, Keras e TensorFlow, do modelo linear às redes profundas, com notebooks completos. - **Python Machine Learning**, Raschka, Mirjalili (2015). Aprendizado de máquina com Python, da intuição de cada algoritmo ao código, passando por avaliação de modelos e redes neurais. - **Deep Learning with Python**, Chollet (2017). Deep learning explicado pelo criador do Keras, com ênfase em intuição, boas práticas e código executável. Edição online: https://deeplearningwithpython.io/ - **Practical Statistics for Data Scientists**, Bruce, Bruce, Gedeck (2017). Os conceitos de estatística que mais importam para ciência de dados, com exemplos em R e Python e sem excesso de formalismo. - **Neural Networks and Deep Learning**, Nielsen (2015). Livro online que constrói do zero uma rede neural para reconhecer dígitos e explica a retropropagação com clareza rara. Edição online: http://neuralnetworksanddeeplearning.com/ - **Fundamentals of Deep Learning**, Buduma (2017). Introdução às arquiteturas de deep learning, de redes convolucionais e recorrentes a embeddings, com implementações comentadas. - **Natural Language Processing with Python**, Bird, Klein, Loper (2009). Processamento de linguagem natural com Python e a biblioteca NLTK: tokenização, marcação gramatical, classificação de texto e análise sintática. Edição online: https://www.nltk.org/book/ - **Approaching (Almost) Any Machine Learning Problem**, Thakur (2020). Guia prático, centrado em código, para estruturar projetos de aprendizado de máquina: validação cruzada, atributos, avaliação e reprodutibilidade. - **Statistical Rethinking**, McElreath (2015). Curso de estatística bayesiana construído com modelos causais e simulação, com exemplos em R e Stan. - **Python for Data Analysis**, McKinney (2012). Manipulação e análise de dados com pandas, NumPy e Jupyter, escrito pelo criador do pandas. Edição online: https://wesmckinney.com/book/ - **Data Science from Scratch**, Grus (2015). Ciência de dados implementada do zero em Python, sem bibliotecas prontas, para entender o que cada algoritmo realmente faz. - **Think Stats**, Downey (2011). Estatística exploratória e probabilidade aprendidas programando em Python, com dados reais. Edição online: https://greenteapress.com/wp/think-stats-3e/ - **Introduction to Algorithms**, Cormen, Leiserson, Rivest, Stein (1990). A referência padrão de algoritmos e estruturas de dados, com análise de complexidade e provas de correção. - **The Art of Computer Programming**, Knuth (1968). A obra de Knuth sobre algoritmos fundamentais, números aleatórios, ordenação, busca e combinatória, com análise matemática rigorosa. - **Compilers: Principles, Techniques, and Tools**, Aho, Lam, Sethi, Ullman (1986). O livro do dragão: análise léxica e sintática, tradução dirigida por sintaxe, otimização e geração de código. - **Structure and Interpretation of Computer Programs**, Abelson, Sussman, Sussman (1985). O curso clássico do MIT sobre abstração e construção de programas, ensinado em Scheme. Edição online: https://mitp-content-server.mit.edu/books/content/sectbyfn/books_pres_0/6515/sicp.zip/full-text/book/book.html - **Artificial Intelligence: A Modern Approach**, Russell, Norvig (1995). O livro-texto de referência em inteligência artificial: busca, lógica, planejamento, raciocínio sob incerteza, aprendizado e percepção. - **Computer Vision: Algorithms and Applications**, Szeliski (2010). Visão computacional moderna: formação de imagem, atributos, geometria de múltiplas vistas, reconstrução 3D e reconhecimento. Edição online: https://szeliski.org/Book/ - **Probabilistic Robotics**, Thrun, Burgard, Fox (2005). Técnicas probabilísticas para robôs que percebem e agem sob incerteza: filtros de Kalman e de partículas, localização e SLAM. - **Pattern Recognition and Machine Learning**, Bishop (2006). Tratamento bayesiano e rigoroso de reconhecimento de padrões: modelos lineares, redes neurais, métodos de núcleo e modelos gráficos. Edição online: https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/ - **The Elements of Statistical Learning**, Hastie, Tibshirani, Friedman (2001). Aprendizado estatístico em profundidade: regressão, regularização, árvores, boosting, métodos de núcleo e aprendizado não supervisionado. Edição online: https://hastie.su.domains/ElemStatLearn/ - **Reinforcement Learning: An Introduction**, Sutton, Barto (1998). A introdução de referência ao aprendizado por reforço: processos de decisão de Markov, diferença temporal e gradiente de política. Edição online: http://incompleteideas.net/book/the-book-2nd.html - **Machine Learning: A Probabilistic Perspective**, Murphy (2012). Aprendizado de máquina apresentado de forma unificada pela ótica probabilística, com amplo uso de modelos gráficos. - **Bayesian Data Analysis**, Gelman, Carlin, Stern, Dunson, Vehtari, Rubin (1995). A referência em análise bayesiana aplicada: modelos hierárquicos, computação por MCMC e verificação de modelos. Edição online: https://sites.stat.columbia.edu/gelman/book/ - **Information Theory, Inference, and Learning Algorithms**, MacKay (2003). Teoria da informação, inferência e aprendizado no mesmo livro, de códigos corretores de erro a redes neurais. Edição online: https://www.inference.org.uk/mackay/itila/ - **Convex Optimization**, Boyd, Vandenberghe (2004). Teoria e prática de otimização convexa: conjuntos e funções convexas, dualidade e algoritmos de ponto interior. Edição online: https://web.stanford.edu/~boyd/cvxbook/ - **Introduction to Linear Algebra**, Strang (1993). Álgebra linear ensinada a partir de matrizes e dos quatro subespaços fundamentais, com a didática das aulas do MIT. - **Calculus**, Spivak (1967). Cálculo construído com o rigor da análise, com exercícios conhecidos pela dificuldade. - **Real Analysis**, Carothers (2000). Análise real com espaços métricos, continuidade, sequências de funções e uma introdução à integral de Lebesgue. - **Topology**, Munkres (1975). O texto padrão de topologia geral, com uma introdução à topologia algébrica pelo grupo fundamental. - **Concrete Mathematics**, Graham, Knuth, Patashnik (1989). A matemática por trás da análise de algoritmos: somas, recorrências, coeficientes binomiais, funções geradoras e teoria dos números. - **Advanced Engineering Mathematics**, Kreyszig (1962). Referência ampla de matemática para engenharia: equações diferenciais, álgebra linear, análise complexa e métodos numéricos. ## Artigos - 1998. [A Quantitative Analysis and Performance Study for Similarity-Search Methods in High-Dimensional Spaces (VA-file)](https://www.vldb.org/conf/1998/p194.pdf), Weber, Schek, Blott · VLDB. arte prévia · caminho 1. - 2003. [A Neural Probabilistic Language Model](https://www.jmlr.org/papers/v3/bengio03a.html), Bengio, Ducharme, Vincent, Jauvin · JMLR. fundamento. - 2013. [Efficient Estimation of Word Representations in Vector Space (word2vec)](https://arxiv.org/abs/1301.3781), Mikolov et al. · arXiv. fundamento. - 2017. [Attention Is All You Need](https://arxiv.org/abs/1706.03762), Vaswani et al. · NeurIPS. fundamento. - 2017. [Poincaré Embeddings for Learning Hierarchical Representations](https://arxiv.org/abs/1705.08039), Nickel, Kiela · NeurIPS. a ideia interessante. - 2017. [To Index or Not to Index: Optimizing Exact Maximum Inner Product Search (FEXIPRO e LEMP)](https://arxiv.org/abs/1706.01449), Abuzaid et al. · arXiv. arte prévia · caminho 1. - 2021. [RoFormer: Enhanced Transformer with Rotary Position Embedding](https://arxiv.org/abs/2104.09864), Su et al. · arXiv. fundamento. - 2022. [Matryoshka Representation Learning](https://arxiv.org/abs/2205.13147), Kusupati et al. · NeurIPS. base a bater. - 2023. [High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient Distance Comparison Operations (ADSampling)](https://arxiv.org/abs/2303.09855), Gao, Long · SIGMOD. arte prévia · caminho 3. - 2024. [RaBitQ: Quantizing High-Dimensional Vectors with a Theoretical Error Bound](https://arxiv.org/abs/2405.12497), Gao, Long · SIGMOD. arte prévia · caminho 3. - 2025. [TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate](https://arxiv.org/abs/2504.19874), Zandieh, Daliri, Hadian, Mirrokni · arXiv. limite teórico. - 2025. [NestQuant: Nested Lattice Quantization for Matrix Products and LLMs](https://arxiv.org/abs/2502.09720), Savkin, Porat, Ordentlich, Polyanskiy · arXiv. caminho 5. - 2025. [PDX: A Data Layout for Vector Similarity Search](https://arxiv.org/abs/2503.04422), Kuffo, Krippner, Boncz · arXiv. arte prévia · caminho 4. - 2025. [On the Theoretical Limitations of Embedding-Based Retrieval (LIMIT)](https://arxiv.org/abs/2508.21038), Weller et al. · arXiv. limite teórico. - 2025. [SAQ: Pushing the Limits of Vector Quantization through Code Adjustment and Dimension Segmentation](https://arxiv.org/abs/2509.12086), Li, Deng, Yan, Zhi, Cheng · arXiv. arte prévia · caminho 6. - 2025. [Panorama: Fast-Track Nearest Neighbors](https://arxiv.org/abs/2510.00566), Ramani, Schlomer, Nayar, Ranu, Patel, Karras · arXiv. arte prévia · caminho 4. - 2015. [LEMP: Fast Retrieval of Large Entries in a Matrix Product](https://doi.org/10.1145/2723372.2747647), Teflioudi, Gemulla, Mykytiuk · SIGMOD. arte prévia · caminho 4. - 2017. [Efficient softmax approximation for GPUs](https://arxiv.org/abs/1609.04309), Grave et al. · ICML. arte prévia · caminho 8. - 2017. [FEXIPRO: Fast and Exact Inner Product Retrieval in Recommender Systems](https://doi.org/10.1145/3035918.3064009), Li, Chan, Yiu, Mamoulis · SIGMOD. arte prévia · caminho 1. - 2017. [SVD-Softmax: Fast Softmax Approximation on Large Vocabulary Neural Networks](https://proceedings.neurips.cc/paper/2017/hash/4e2a6330465c8ffcaa696a5a16639176-Abstract.html), Shim et al. · NeurIPS. arte prévia · caminho 8. - 2019. [Tensorized Embedding Layers for Efficient Model Compression](https://arxiv.org/abs/1901.10787), Hrinchuk et al. · arXiv. arte prévia · caminho 12. - 2019. [word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement](https://arxiv.org/abs/1911.04975), Panahi, Saeedi, Arodz · arXiv. arte prévia · caminho 12. - 2023. [Eliciting Latent Predictions from Transformers with the Tuned Lens](https://arxiv.org/abs/2303.08112), Belrose et al. · arXiv. arte prévia · caminho 9. - 2023. [TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition](https://arxiv.org/abs/2307.00526), Xu, Xu, Mandic · arXiv. arte prévia · caminho 12. - 2024. [2D Matryoshka Sentence Embeddings](https://arxiv.org/abs/2402.14776), Li et al. · arXiv. arte prévia · caminho 9. - 2024. [Optimal Quantization for Matrix Multiplication](https://arxiv.org/abs/2410.13780), Ordentlich, Polyanskiy · arXiv. limite teórico · caminho 5. - 2024. [Practical and Asymptotically Optimal Quantization of High-Dimensional Vectors in Euclidean Space for Approximate Nearest Neighbor Search](https://arxiv.org/abs/2409.09913), Gao et al. · arXiv. arte prévia · caminho 3. - 2024. [QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks](https://arxiv.org/abs/2402.04396), Tseng et al. · arXiv. arte prévia · caminho 5. - 2025. [DARTH: Declarative Recall Through Early Termination for Approximate Nearest Neighbor Search](https://arxiv.org/abs/2505.19001), Chatzakis, Papakonstantinou, Palpanas · arXiv. arte prévia · caminho 7. - 2025. [iFairy: the First 2-bit Complex LLM with All Parameters in {±1, ±i}](https://arxiv.org/abs/2508.05571), Wang et al. · arXiv. arte prévia · caminho 10. - 2026. [Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision](https://arxiv.org/abs/2610.21877), Chen, Li, Zhou · arXiv. busca esparsa com LLM. - 2026. [Building a Nested LADDER for LLM Unstructured Post-Training Pruning](https://arxiv.org/abs/2610.28773), Ávila et al. · arXiv. arte prévia · caminho 6. - 2026. [Cascade: GPU-Accelerated Out-of-Core Suffix Array Construction for LLM Corpora](https://arxiv.org/abs/2610.15254), Khan, Pandey · arXiv. índice de sufixos para corpus de treino. - 2026. [DoSA: Dots Sparse Attention](https://arxiv.org/abs/2610.13990), Meng, Fang · arXiv. arte prévia · caminho 1. - 2026. [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428), Bathula · arXiv. arte prévia · caminho 12. - 2026. [Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States](https://arxiv.org/abs/2610.20637), Huang · arXiv. atenção linear por série de Taylor. - 2026. [FlashHead: Efficient Drop-In Replacement for the Classification Head in Language Model Inference](https://arxiv.org/abs/2603.14591), Tranheden et al. · arXiv. arte prévia · caminho 8. - 2026. [FlexVDR: Learning to Allocate Matryoshka Representation Budgets for Visual Document Retrieval](https://arxiv.org/abs/2610.30177), Xiang et al. · arXiv. arte prévia · caminho 4. - 2026. [FLINT: Fixed-budget Late Interaction](https://arxiv.org/abs/2610.27273), Handa, Arabzadeh, Zaharia · arXiv. interação tardia com orçamento fixo. - 2026. [Hashrope: A Persistent Data Structure for Mechanisms of LLM Context Management](https://arxiv.org/abs/2610.16144), Syed, Alsulami, Silaghi · arXiv. reúso de prefixos do cache KV. - 2026. [Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking](https://arxiv.org/abs/2610.23346), Fernandes, Pereira · arXiv. relevância em coleções em português. - 2026. [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026), Song, Kim, Kim · arXiv. atenção esparsa · cache KV. - 2026. [MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs](https://arxiv.org/abs/2610.30206), Kim, Baek · arXiv. cache KV em mistura de especialistas. - 2026. [Navigable Graphs for Low-Dimensional Hyperbolic Spaces](https://arxiv.org/abs/2610.24874), Deng et al. · arXiv. grafos navegáveis em espaço hiperbólico. - 2026. [Online Tokenization with Optimal Delay in Linear Time](https://arxiv.org/abs/2610.19139), Dalirrooyfard, Ye · arXiv. tokenização em tempo linear. - 2026. [Optimal Fusion Weights Form Intervals, Not Points: A Latency-Aware Study of Query-Adaptive WRRF](https://arxiv.org/abs/2610.24341), Ma et al. · arXiv. fusão híbrida esparsa e densa. - 2026. [PeekKV: The First Content Token Already Knows Which Heads Matter](https://arxiv.org/abs/2610.23939), Go, Park · arXiv. compressão do cache KV. - 2026. [Query-Dependent Reading for Quantized Inner-Product Estimation: A Minimax Separation](https://arxiv.org/abs/2610.24890), Balasubramanian, Bhandari, Kasiviswanathan · arXiv. limite teórico · caminho 1. - 2026. [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686), Ji et al. · arXiv. arte prévia · caminho 2. - 2026. [Self-improving data synthesis enables scalable adaptation of embedding models](https://arxiv.org/abs/2610.14730), Lyu et al. · arXiv. adaptação de embeddings. - 2026. [Simple Linear Corrections for Compression in Late Interaction](https://arxiv.org/abs/2610.14196), Agarwal, Basu, Agrawal · arXiv. interação tardia comprimida. - 2026. [UIBK-Embedding: Effective Text Retrieval by Unifying Dense and Late-Interaction Retrieval](https://arxiv.org/abs/2610.27195), Abdallah, Ali, Jatowt · arXiv. denso e interação tardia num índice. --- # Fontes do site > Fontes do Harpya, uma a uma: instituições, artigos, livros, vídeos, referências, créditos de imagens, feeds e licenças. - Página: https://www.harpya.org/biblioteca/fontes/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-24 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Fontes do site. Harpya. https://www.harpya.org/biblioteca/fontes/ ## Matemática e física no Brasil - [IMPA](https://impa.br/): Instituto de Matemática Pura e Aplicada. No site: [Biblioteca](/biblioteca/) - [IME-USP](https://www.ime.usp.br/): Matemática e computação, USP. No site: [Biblioteca](/biblioteca/) - [CBPF](https://www.cbpf.br/): Centro Brasileiro de Pesquisas Físicas. No site: [Biblioteca](/biblioteca/) - [ICTP-SAIFR](https://www.ictp-saifr.org/): Física teórica, IFT-UNESP, São Paulo. No site: [Biblioteca](/biblioteca/) ## Institutos no exterior - [IAS Princeton](https://www.ias.edu/): Institute for Advanced Study. No site: [Biblioteca](/biblioteca/) - [IHÉS](https://www.ihes.fr/): Matemática e física teórica, França. No site: [Biblioteca](/biblioteca/) - [Perimeter Institute](https://perimeterinstitute.ca/): Física teórica, Canadá. No site: [Biblioteca](/biblioteca/) - [ICTP](https://www.ictp.it/): Física teórica, Trieste. No site: [Biblioteca](/biblioteca/) - [Simons Foundation](https://www.simonsfoundation.org/): Matemática e Flatiron Institute. No site: [Biblioteca](/biblioteca/) ## Grandes projetos - [CERN](https://home.cern/): Física de partículas. No site: [Biblioteca](/biblioteca/) - [CERN Open Data](https://opendata.cern.ch/): Dados e código abertos do LHC. No site: [Biblioteca](/biblioteca/) ## Artigos e repositórios - [arXiv](https://arxiv.org/): cs.LG, cs.IR, cs.CL, cs.DB. No site: [Biblioteca](/biblioteca/) - [Semantic Scholar](https://www.semanticscholar.org/): Grafo de citações, API aberta. No site: [Biblioteca](/biblioteca/) - [OpenAlex](https://openalex.org/): Catálogo aberto, API gratuita. No site: [Biblioteca](/biblioteca/) - [OpenReview](https://openreview.net/): NeurIPS, ICML, ICLR. No site: [Biblioteca](/biblioteca/) - [ACL Anthology](https://aclanthology.org/): Linguagem e NLP. No site: [Biblioteca](/biblioteca/) - [DBLP](https://dblp.org/): Publicações por autor. No site: [Biblioteca](/biblioteca/) - [Google Acadêmico](https://scholar.google.com.br/): Quem cita quem. No site: [Biblioteca](/biblioteca/) ## Laboratórios de IA - [OpenAI](https://openai.com/news): Notícias e pesquisa. No site: [Biblioteca](/biblioteca/) - [Google Research](https://research.google/blog): Blog de pesquisa. No site: [Biblioteca](/biblioteca/) - [Google DeepMind](https://deepmind.google/discover/blog): Modelos e ciência. No site: [Biblioteca](/biblioteca/) - [Anthropic](https://www.anthropic.com/research): Pesquisa e interpretabilidade. No site: [Biblioteca](/biblioteca/) - [Meta AI](https://ai.meta.com/research): Llama e Faiss. No site: [Biblioteca](/biblioteca/) - [Microsoft Research](https://www.microsoft.com/en-us/research): Pesquisa aplicada. No site: [Biblioteca](/biblioteca/) ## Laboratórios chineses - [DeepSeek](https://github.com/deepseek-ai): Modelos e relatórios técnicos. No site: [Biblioteca](/biblioteca/) - [Qwen (Alibaba)](https://qwenlm.github.io/): Modelos Qwen e embeddings. No site: [Biblioteca](/biblioteca/) - [BAAI](https://www.baai.ac.cn/): Embeddings BGE. No site: [Biblioteca](/biblioteca/) ## Código aberto - [Hugging Face](https://huggingface.co/): Modelos, datasets e papers do dia. No site: [Biblioteca](/biblioteca/) - [PyTorch](https://pytorch.org/): Framework de treino. No site: [Biblioteca](/biblioteca/) - [Faiss](https://github.com/facebookresearch/faiss): Busca vetorial, Meta. No site: [Biblioteca](/biblioteca/) ## Artigos científicos - [A Quantitative Analysis and Performance Study for Similarity-Search Methods in High-Dimensional Spaces (VA-file)](https://www.vldb.org/conf/1998/p194.pdf): Weber, Schek, Blott · VLDB · 1998. No site: [Biblioteca](/biblioteca/) - [A Neural Probabilistic Language Model](https://www.jmlr.org/papers/v3/bengio03a.html): Bengio, Ducharme, Vincent, Jauvin · JMLR · 2003. No site: [Biblioteca](/biblioteca/) - [Efficient Estimation of Word Representations in Vector Space (word2vec)](https://arxiv.org/abs/1301.3781): Mikolov et al. · arXiv · 2013. No site: [Biblioteca](/biblioteca/) - [Attention Is All You Need](https://arxiv.org/abs/1706.03762): Vaswani et al. · NeurIPS · 2017. No site: [Biblioteca](/biblioteca/) - [Poincaré Embeddings for Learning Hierarchical Representations](https://arxiv.org/abs/1705.08039): Nickel, Kiela · NeurIPS · 2017. No site: [Biblioteca](/biblioteca/) - [To Index or Not to Index: Optimizing Exact Maximum Inner Product Search (FEXIPRO e LEMP)](https://arxiv.org/abs/1706.01449): Abuzaid et al. · arXiv · 2017. No site: [Biblioteca](/biblioteca/) - [RoFormer: Enhanced Transformer with Rotary Position Embedding](https://arxiv.org/abs/2104.09864): Su et al. · arXiv · 2021. No site: [Biblioteca](/biblioteca/) - [Matryoshka Representation Learning](https://arxiv.org/abs/2205.13147): Kusupati et al. · NeurIPS · 2022. No site: [Biblioteca](/biblioteca/) - [High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient Distance Comparison Operations (ADSampling)](https://arxiv.org/abs/2303.09855): Gao, Long · SIGMOD · 2023. No site: [Biblioteca](/biblioteca/) - [RaBitQ: Quantizing High-Dimensional Vectors with a Theoretical Error Bound](https://arxiv.org/abs/2405.12497): Gao, Long · SIGMOD · 2024. No site: [Biblioteca](/biblioteca/), [Escala, hardware e geometria](/origens/#escala-hardware-geometria) - [TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate](https://arxiv.org/abs/2504.19874): Zandieh, Daliri, Hadian, Mirrokni · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [NestQuant: Nested Lattice Quantization for Matrix Products and LLMs](https://arxiv.org/abs/2502.09720): Savkin, Porat, Ordentlich, Polyanskiy · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [PDX: A Data Layout for Vector Similarity Search](https://arxiv.org/abs/2503.04422): Kuffo, Krippner, Boncz · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [On the Theoretical Limitations of Embedding-Based Retrieval (LIMIT)](https://arxiv.org/abs/2508.21038): Weller et al. · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [SAQ: Pushing the Limits of Vector Quantization through Code Adjustment and Dimension Segmentation](https://arxiv.org/abs/2509.12086): Li, Deng, Yan, Zhi, Cheng · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [Panorama: Fast-Track Nearest Neighbors](https://arxiv.org/abs/2510.00566): Ramani, Schlomer, Nayar, Ranu, Patel, Karras · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [LEMP: Fast Retrieval of Large Entries in a Matrix Product](https://doi.org/10.1145/2723372.2747647): Teflioudi, Gemulla, Mykytiuk · SIGMOD · 2015. No site: [Biblioteca](/biblioteca/) - [Efficient softmax approximation for GPUs](https://arxiv.org/abs/1609.04309): Grave et al. · ICML · 2017. No site: [Biblioteca](/biblioteca/) - [FEXIPRO: Fast and Exact Inner Product Retrieval in Recommender Systems](https://doi.org/10.1145/3035918.3064009): Li, Chan, Yiu, Mamoulis · SIGMOD · 2017. No site: [Biblioteca](/biblioteca/) - [SVD-Softmax: Fast Softmax Approximation on Large Vocabulary Neural Networks](https://proceedings.neurips.cc/paper/2017/hash/4e2a6330465c8ffcaa696a5a16639176-Abstract.html): Shim et al. · NeurIPS · 2017. No site: [Biblioteca](/biblioteca/) - [Tensorized Embedding Layers for Efficient Model Compression](https://arxiv.org/abs/1901.10787): Hrinchuk et al. · arXiv · 2019. No site: [Biblioteca](/biblioteca/) - [word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement](https://arxiv.org/abs/1911.04975): Panahi, Saeedi, Arodz · arXiv · 2019. No site: [Biblioteca](/biblioteca/) - [Eliciting Latent Predictions from Transformers with the Tuned Lens](https://arxiv.org/abs/2303.08112): Belrose et al. · arXiv · 2023. No site: [Biblioteca](/biblioteca/) - [TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition](https://arxiv.org/abs/2307.00526): Xu, Xu, Mandic · arXiv · 2023. No site: [Biblioteca](/biblioteca/) - [2D Matryoshka Sentence Embeddings](https://arxiv.org/abs/2402.14776): Li et al. · arXiv · 2024. No site: [Biblioteca](/biblioteca/) - [Optimal Quantization for Matrix Multiplication](https://arxiv.org/abs/2410.13780): Ordentlich, Polyanskiy · arXiv · 2024. No site: [Biblioteca](/biblioteca/) - [Practical and Asymptotically Optimal Quantization of High-Dimensional Vectors in Euclidean Space for Approximate Nearest Neighbor Search](https://arxiv.org/abs/2409.09913): Gao et al. · arXiv · 2024. No site: [Biblioteca](/biblioteca/) - [QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks](https://arxiv.org/abs/2402.04396): Tseng et al. · arXiv · 2024. No site: [Biblioteca](/biblioteca/) - [DARTH: Declarative Recall Through Early Termination for Approximate Nearest Neighbor Search](https://arxiv.org/abs/2505.19001): Chatzakis, Papakonstantinou, Palpanas · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [iFairy: the First 2-bit Complex LLM with All Parameters in {±1, ±i}](https://arxiv.org/abs/2508.05571): Wang et al. · arXiv · 2025. No site: [Biblioteca](/biblioteca/) - [Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision](https://arxiv.org/abs/2610.21877): Chen, Li, Zhou · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Building a Nested LADDER for LLM Unstructured Post-Training Pruning](https://arxiv.org/abs/2610.28773): Ávila et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Cascade: GPU-Accelerated Out-of-Core Suffix Array Construction for LLM Corpora](https://arxiv.org/abs/2610.15254): Khan, Pandey · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [DoSA: Dots Sparse Attention](https://arxiv.org/abs/2610.13990): Meng, Fang · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models](https://arxiv.org/abs/2610.22428): Bathula · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States](https://arxiv.org/abs/2610.20637): Huang · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [FlashHead: Efficient Drop-In Replacement for the Classification Head in Language Model Inference](https://arxiv.org/abs/2603.14591): Tranheden et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [FlexVDR: Learning to Allocate Matryoshka Representation Budgets for Visual Document Retrieval](https://arxiv.org/abs/2610.30177): Xiang et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [FLINT: Fixed-budget Late Interaction](https://arxiv.org/abs/2610.27273): Handa, Arabzadeh, Zaharia · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Hashrope: A Persistent Data Structure for Mechanisms of LLM Context Management](https://arxiv.org/abs/2610.16144): Syed, Alsulami, Silaghi · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking](https://arxiv.org/abs/2610.23346): Fernandes, Pereira · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Joint Subspace Sparse Attention for Efficient Long-Context Decoding](https://arxiv.org/abs/2610.19026): Song, Kim, Kim · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs](https://arxiv.org/abs/2610.30206): Kim, Baek · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Navigable Graphs for Low-Dimensional Hyperbolic Spaces](https://arxiv.org/abs/2610.24874): Deng et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Online Tokenization with Optimal Delay in Linear Time](https://arxiv.org/abs/2610.19139): Dalirrooyfard, Ye · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Optimal Fusion Weights Form Intervals, Not Points: A Latency-Aware Study of Query-Adaptive WRRF](https://arxiv.org/abs/2610.24341): Ma et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [PeekKV: The First Content Token Already Knows Which Heads Matter](https://arxiv.org/abs/2610.23939): Go, Park · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Query-Dependent Reading for Quantized Inner-Product Estimation: A Minimax Separation](https://arxiv.org/abs/2610.24890): Balasubramanian, Bhandari, Kasiviswanathan · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention](https://arxiv.org/abs/2610.20686): Ji et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Self-improving data synthesis enables scalable adaptation of embedding models](https://arxiv.org/abs/2610.14730): Lyu et al. · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [Simple Linear Corrections for Compression in Late Interaction](https://arxiv.org/abs/2610.14196): Agarwal, Basu, Agrawal · arXiv · 2026. No site: [Biblioteca](/biblioteca/) - [UIBK-Embedding: Effective Text Retrieval by Unifying Dense and Late-Interaction Retrieval](https://arxiv.org/abs/2610.27195): Abdallah, Ali, Jatowt · arXiv · 2026. No site: [Biblioteca](/biblioteca/) ## Livros e edições - [Mathematics for Machine Learning](https://mml-book.github.io/): Deisenroth, Faisal, Ong. No site: [Biblioteca](/biblioteca/) - [Mathematics for Machine Learning · referência de compra](https://www.amazon.com.br/s?k=Mathematics+for+Machine+Learning): Deisenroth, Faisal, Ong. No site: [Biblioteca](/biblioteca/) - [Deep Learning](https://www.deeplearningbook.org/): Goodfellow, Bengio, Courville. No site: [Biblioteca](/biblioteca/) - [Deep Learning · referência de compra](https://www.amazon.com.br/s?k=Deep+Learning+Goodfellow): Goodfellow, Bengio, Courville. No site: [Biblioteca](/biblioteca/) - [Understanding Deep Learning](https://udlbook.github.io/udlbook/): Simon J. D. Prince. No site: [Biblioteca](/biblioteca/) - [Understanding Deep Learning · referência de compra](https://www.amazon.com.br/s?k=Understanding+Deep+Learning): Simon J. D. Prince. No site: [Biblioteca](/biblioteca/) - [Speech and Language Processing](https://web.stanford.edu/~jurafsky/slp3/): Jurafsky, Martin. No site: [Biblioteca](/biblioteca/) - [Speech and Language Processing · referência de compra](https://www.amazon.com.br/s?k=Speech+and+Language+Processing): Jurafsky, Martin. No site: [Biblioteca](/biblioteca/) - [Introduction to Information Retrieval](https://nlp.stanford.edu/IR-book/): Manning, Raghavan, Schütze. No site: [Biblioteca](/biblioteca/) - [Introduction to Information Retrieval · referência de compra](https://www.amazon.com.br/s?k=Introduction+to+Information+Retrieval): Manning, Raghavan, Schütze. No site: [Biblioteca](/biblioteca/) - [Sphere Packings, Lattices and Groups · referência de compra](https://www.amazon.com.br/s?k=Sphere+Packings+Lattices+and+Groups): Conway, Sloane. No site: [Biblioteca](/biblioteca/) - [Concentration Inequalities · referência de compra](https://www.amazon.com.br/s?k=Concentration+Inequalities): Boucheron, Lugosi, Massart. No site: [Biblioteca](/biblioteca/) - [Elements of Information Theory · referência de compra](https://www.amazon.com.br/s?k=Elements+of+Information+Theory): Cover, Thomas. No site: [Biblioteca](/biblioteca/) - [Algorithms to Live By · referência de compra](https://www.amazon.com.br/s?k=Algorithms+to+Live+By): Christian, Griffiths. No site: [Biblioteca](/biblioteca/) - [Life 3.0 · referência de compra](https://www.amazon.com.br/s?k=Life+3.0): Tegmark. No site: [Biblioteca](/biblioteca/) - [Superintelligence: Paths, Dangers, Strategies · referência de compra](https://www.amazon.com.br/s?k=Superintelligence): Bostrom. No site: [Biblioteca](/biblioteca/) - [Code · referência de compra](https://www.amazon.com.br/s?k=Code+Charles+Petzold): Petzold. No site: [Biblioteca](/biblioteca/) - [Grokking Algorithms · referência de compra](https://www.amazon.com.br/s?k=Grokking+Algorithms): Bhargava. No site: [Biblioteca](/biblioteca/) - [The Hundred-Page Machine Learning Book](https://themlbook.com/wiki/doku.php): Burkov. No site: [Biblioteca](/biblioteca/) - [The Hundred-Page Machine Learning Book · referência de compra](https://www.amazon.com.br/s?k=The+Hundred-Page+Machine+Learning): Burkov. No site: [Biblioteca](/biblioteca/) - [Storytelling with Data · referência de compra](https://www.amazon.com.br/s?k=Storytelling+with+Data): Nussbaumer Knaflic. No site: [Biblioteca](/biblioteca/) - [Clean Code · referência de compra](https://www.amazon.com.br/s?k=Clean+Code): Martin. No site: [Biblioteca](/biblioteca/) - [The Pragmatic Programmer · referência de compra](https://www.amazon.com.br/s?k=The+Pragmatic+Programmer): Hunt, Thomas. No site: [Biblioteca](/biblioteca/) - [Design Patterns · referência de compra](https://www.amazon.com.br/s?k=Design+Patterns+Gamma): Gamma, Helm, Johnson, Vlissides. No site: [Biblioteca](/biblioteca/) - [Designing Data-Intensive Applications · referência de compra](https://www.amazon.com.br/s?k=Designing+Data-Intensive): Kleppmann. No site: [Biblioteca](/biblioteca/) - [Clean Architecture · referência de compra](https://www.amazon.com.br/s?k=Clean+Architecture): Martin. No site: [Biblioteca](/biblioteca/) - [Domain-Driven Design · referência de compra](https://www.amazon.com.br/s?k=Domain-Driven+Design): Evans. No site: [Biblioteca](/biblioteca/) - [Refactoring · referência de compra](https://www.amazon.com.br/s?k=Refactoring%20%28Martin%20Fowler%29): Fowler. No site: [Biblioteca](/biblioteca/) - [The C Programming Language · referência de compra](https://www.amazon.com.br/s?k=The%20C%20Programming%20Language): Kernighan, Ritchie. No site: [Biblioteca](/biblioteca/) - [Effective C++ · referência de compra](https://www.amazon.com.br/s?k=Effective%20C%2B%2B): Meyers. No site: [Biblioteca](/biblioteca/) - [Computer Networking: A Top-Down Approach · referência de compra](https://www.amazon.com.br/s?k=Computer%20Networking%20Top-Down): Kurose, Ross. No site: [Biblioteca](/biblioteca/) - [Operating System Concepts · referência de compra](https://www.amazon.com.br/s?k=Operating%20System%20Concepts): Silberschatz, Galvin, Gagne. No site: [Biblioteca](/biblioteca/) - [Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow · referência de compra](https://www.amazon.com.br/s?k=Hands-On%20Machine%20Learning): Géron. No site: [Biblioteca](/biblioteca/) - [Python Machine Learning · referência de compra](https://www.amazon.com.br/s?k=Python%20Machine%20Learning): Raschka, Mirjalili. No site: [Biblioteca](/biblioteca/) - [Deep Learning with Python](https://deeplearningwithpython.io/): Chollet. No site: [Biblioteca](/biblioteca/) - [Deep Learning with Python · referência de compra](https://www.amazon.com.br/s?k=Deep%20Learning%20with%20Python): Chollet. No site: [Biblioteca](/biblioteca/) - [Practical Statistics for Data Scientists · referência de compra](https://www.amazon.com.br/s?k=Practical%20Statistics%20for%20Data%20Scientists): Bruce, Bruce, Gedeck. No site: [Biblioteca](/biblioteca/) - [Neural Networks and Deep Learning](http://neuralnetworksanddeeplearning.com/): Nielsen. No site: [Biblioteca](/biblioteca/) - [Neural Networks and Deep Learning · referência de compra](https://www.amazon.com.br/s?k=Neural%20Networks%20and%20Deep%20Learning): Nielsen. No site: [Biblioteca](/biblioteca/) - [Fundamentals of Deep Learning · referência de compra](https://www.amazon.com.br/s?k=Fundamentals%20of%20Deep%20Learning): Buduma. No site: [Biblioteca](/biblioteca/) - [Natural Language Processing with Python](https://www.nltk.org/book/): Bird, Klein, Loper. No site: [Biblioteca](/biblioteca/) - [Natural Language Processing with Python · referência de compra](https://www.amazon.com.br/s?k=Natural%20Language%20Processing%20with%20Python): Bird, Klein, Loper. No site: [Biblioteca](/biblioteca/) - [Approaching (Almost) Any Machine Learning Problem · referência de compra](https://www.amazon.com.br/s?k=Approaching%20Any%20Machine%20Learning%20Problem): Thakur. No site: [Biblioteca](/biblioteca/) - [Statistical Rethinking · referência de compra](https://www.amazon.com.br/s?k=Statistical%20Rethinking): McElreath. No site: [Biblioteca](/biblioteca/) - [Python for Data Analysis](https://wesmckinney.com/book/): McKinney. No site: [Biblioteca](/biblioteca/) - [Python for Data Analysis · referência de compra](https://www.amazon.com.br/s?k=Python%20for%20Data%20Analysis): McKinney. No site: [Biblioteca](/biblioteca/) - [Data Science from Scratch · referência de compra](https://www.amazon.com.br/s?k=Data%20Science%20from%20Scratch): Grus. No site: [Biblioteca](/biblioteca/) - [Think Stats](https://greenteapress.com/wp/think-stats-3e/): Downey. No site: [Biblioteca](/biblioteca/) - [Think Stats · referência de compra](https://www.amazon.com.br/s?k=Think%20Stats): Downey. No site: [Biblioteca](/biblioteca/) - [Introduction to Algorithms · referência de compra](https://www.amazon.com.br/s?k=Introduction%20to%20Algorithms%20%28Cormen%29): Cormen, Leiserson, Rivest, Stein. No site: [Biblioteca](/biblioteca/) - [The Art of Computer Programming · referência de compra](https://www.amazon.com.br/s?k=The%20Art%20of%20Computer%20Programming%20%28Knuth%29): Knuth. No site: [Biblioteca](/biblioteca/) - [Compilers: Principles, Techniques, and Tools · referência de compra](https://www.amazon.com.br/s?k=Compilers%3A%20Principles%2C%20Techniques%2C%20Tools): Aho, Lam, Sethi, Ullman. No site: [Biblioteca](/biblioteca/) - [Structure and Interpretation of Computer Programs](https://mitp-content-server.mit.edu/books/content/sectbyfn/books_pres_0/6515/sicp.zip/full-text/book/book.html): Abelson, Sussman, Sussman. No site: [Biblioteca](/biblioteca/) - [Structure and Interpretation of Computer Programs · referência de compra](https://www.amazon.com.br/s?k=Structure%20and%20Interpretation%20of%20Computer%20Programs): Abelson, Sussman, Sussman. No site: [Biblioteca](/biblioteca/) - [Artificial Intelligence: A Modern Approach · referência de compra](https://www.amazon.com.br/s?k=Artificial%20Intelligence%3A%20A%20Modern%20Approach): Russell, Norvig. No site: [Biblioteca](/biblioteca/) - [Computer Vision: Algorithms and Applications](https://szeliski.org/Book/): Szeliski. No site: [Biblioteca](/biblioteca/) - [Computer Vision: Algorithms and Applications · referência de compra](https://www.amazon.com.br/s?k=Computer%20Vision%20Szeliski): Szeliski. No site: [Biblioteca](/biblioteca/) - [Probabilistic Robotics · referência de compra](https://www.amazon.com.br/s?k=Probabilistic%20Robotics): Thrun, Burgard, Fox. No site: [Biblioteca](/biblioteca/) - [Pattern Recognition and Machine Learning](https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/): Bishop. No site: [Biblioteca](/biblioteca/) - [Pattern Recognition and Machine Learning · referência de compra](https://www.amazon.com.br/s?k=Pattern%20Recognition%20and%20Machine%20Learning%20%28Bishop%29): Bishop. No site: [Biblioteca](/biblioteca/) - [The Elements of Statistical Learning](https://hastie.su.domains/ElemStatLearn/): Hastie, Tibshirani, Friedman. No site: [Biblioteca](/biblioteca/) - [The Elements of Statistical Learning · referência de compra](https://www.amazon.com.br/s?k=The%20Elements%20of%20Statistical%20Learning): Hastie, Tibshirani, Friedman. No site: [Biblioteca](/biblioteca/) - [Reinforcement Learning: An Introduction](http://incompleteideas.net/book/the-book-2nd.html): Sutton, Barto. No site: [Biblioteca](/biblioteca/) - [Reinforcement Learning: An Introduction · referência de compra](https://www.amazon.com.br/s?k=Reinforcement%20Learning%20%28Sutton%29): Sutton, Barto. No site: [Biblioteca](/biblioteca/) - [Machine Learning: A Probabilistic Perspective · referência de compra](https://www.amazon.com.br/s?k=Machine%20Learning%3A%20A%20Probabilistic%20Perspective): Murphy. No site: [Biblioteca](/biblioteca/) - [Bayesian Data Analysis](https://sites.stat.columbia.edu/gelman/book/): Gelman, Carlin, Stern, Dunson, Vehtari, Rubin. No site: [Biblioteca](/biblioteca/) - [Bayesian Data Analysis · referência de compra](https://www.amazon.com.br/s?k=Bayesian%20Data%20Analysis): Gelman, Carlin, Stern, Dunson, Vehtari, Rubin. No site: [Biblioteca](/biblioteca/) - [Information Theory, Inference, and Learning Algorithms](https://www.inference.org.uk/mackay/itila/): MacKay. No site: [Biblioteca](/biblioteca/) - [Information Theory, Inference, and Learning Algorithms · referência de compra](https://www.amazon.com.br/s?k=Information%20Theory%20Inference%20%28MacKay%29): MacKay. No site: [Biblioteca](/biblioteca/) - [Convex Optimization](https://web.stanford.edu/~boyd/cvxbook/): Boyd, Vandenberghe. No site: [Biblioteca](/biblioteca/) - [Convex Optimization · referência de compra](https://www.amazon.com.br/s?k=Convex%20Optimization%20%28Boyd%29): Boyd, Vandenberghe. No site: [Biblioteca](/biblioteca/) - [Introduction to Linear Algebra · referência de compra](https://www.amazon.com.br/s?k=Introduction%20to%20Linear%20Algebra%20%28Strang%29): Strang. No site: [Biblioteca](/biblioteca/) - [Calculus · referência de compra](https://www.amazon.com.br/s?k=Calculus%20%28Spivak%29): Spivak. No site: [Biblioteca](/biblioteca/) - [Real Analysis · referência de compra](https://www.amazon.com.br/s?k=Real%20Analysis%20%28Carothers%29): Carothers. No site: [Biblioteca](/biblioteca/) - [Topology · referência de compra](https://www.amazon.com.br/s?k=Topology%20%28Munkres%29): Munkres. No site: [Biblioteca](/biblioteca/) - [Concrete Mathematics · referência de compra](https://www.amazon.com.br/s?k=Concrete%20Mathematics%20%28Knuth%29): Graham, Knuth, Patashnik. No site: [Biblioteca](/biblioteca/) - [Advanced Engineering Mathematics · referência de compra](https://www.amazon.com.br/s?k=Advanced%20Engineering%20Mathematics): Kreyszig. No site: [Biblioteca](/biblioteca/) ## Vídeos - [Vectors | Chapter 1, Essence of linear algebra](https://www.youtube.com/watch?v=fNk_zzaMoSs): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [But what is a neural network? | Deep learning chapter 1](https://www.youtube.com/watch?v=aircAruvnKk): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [Gradient descent, how neural networks learn | Deep Learning Chapter 2](https://www.youtube.com/watch?v=IHZwWFHWa-w): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [Backpropagation, intuitively | Deep Learning Chapter 3](https://www.youtube.com/watch?v=Ilg3gGewQ5U): 3Blue1Brown · Intermediário. No site: [Vídeos](/videos/) - [The spelled-out intro to neural networks and backpropagation: building micrograd](https://www.youtube.com/watch?v=VMj-3S1tku0): Andrej Karpathy · Intermediário. No site: [Vídeos](/videos/) - [[1hr Talk] Intro to Large Language Models](https://www.youtube.com/watch?v=zjkBMFhNj_g): Andrej Karpathy · Iniciante. No site: [Vídeos](/videos/) - [Most devs don't understand how LLM tokens work](https://www.youtube.com/watch?v=nKSk_TiR8YA): Matt Pocock · Iniciante. No site: [Vídeos](/videos/) - [Subword-based tokenizers](https://www.youtube.com/watch?v=zHvTiHr506c): Hugging Face · Iniciante. No site: [Vídeos](/videos/) - [Natural Language Processing - Tokenization (NLP Zero to Hero - Part 1)](https://www.youtube.com/watch?v=fNxaJsNG3-s): TensorFlow · Iniciante. No site: [Vídeos](/videos/) - [Byte Pair Encoding Tokenization](https://www.youtube.com/watch?v=HEikzVL-lZU): Hugging Face · Intermediário. No site: [Vídeos](/videos/) - [The tokenization pipeline](https://www.youtube.com/watch?v=Yffk5aydLzg): Hugging Face · Intermediário. No site: [Vídeos](/videos/) - [NLP Demystified 2: Text Tokenization](https://www.youtube.com/watch?v=LZFriJ85BfM): Future Mojo · Intermediário. No site: [Vídeos](/videos/) - [Let's build the GPT Tokenizer](https://www.youtube.com/watch?v=zduSFxRajkE): Andrej Karpathy · Avançado. No site: [Vídeos](/videos/) - [1 5 Byte Pair Encoding](https://www.youtube.com/watch?v=tOMjTCO0htA): From Languages to Information · Avançado. No site: [Vídeos](/videos/) - [Attention in transformers, step-by-step | Deep Learning Chapter 6](https://www.youtube.com/watch?v=eMlx5fFNoYc): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [What are Word Embeddings?](https://www.youtube.com/watch?v=wgfSDrqYMJ4): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [The Illustrated Word2vec - A Gentle Intro to Word Embeddings in Machine Learning](https://www.youtube.com/watch?v=ISPId9Lhc1g): Jay Alammar · Iniciante. No site: [Vídeos](/videos/) - [Word Embedding and Word2Vec, Clearly Explained!!!](https://www.youtube.com/watch?v=viZrOnJclY0): StatQuest with Josh Starmer · Intermediário. No site: [Vídeos](/videos/) - [Text embeddings & semantic search](https://www.youtube.com/watch?v=OATCgQtNX2o): Hugging Face · Intermediário. No site: [Vídeos](/videos/) - [What are text embeddings?](https://www.youtube.com/watch?v=vlcQV4j2kTo): Google Cloud Tech · Intermediário. No site: [Vídeos](/videos/) - [Stanford CS224N: NLP with Deep Learning | Winter 2021 | Lecture 1 - Intro & Word Vectors](https://www.youtube.com/watch?v=rmVRLeJRkl4): Stanford Online · Avançado. No site: [Vídeos](/videos/) - [OpenAI CLIP: ConnectingText and Images (Paper Explained)](https://www.youtube.com/watch?v=T9XSU0pKX2E): Yannic Kilcher · Avançado. No site: [Vídeos](/videos/) - [Lec 18 | Pre-Training Strategies: ELMo, BERT](https://www.youtube.com/watch?v=WZOqXkld9mk): NPTEL IIT Delhi · Avançado. No site: [Vídeos](/videos/) - [What is Retrieval-Augmented Generation (RAG)?](https://www.youtube.com/watch?v=T-D1OfcDW1M): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [RAG Explained](https://www.youtube.com/watch?v=qppV3n3YlF8): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [Back to Basics: Understanding Retrieval Augmented Generation (RAG)](https://www.youtube.com/watch?v=_sq3ixXMQTc): Amazon Web Services · Iniciante. No site: [Vídeos](/videos/) - [RAG From Scratch: Part 1 (Overview)](https://www.youtube.com/watch?v=wd7TZ4w1mSw): LangChain · Intermediário. No site: [Vídeos](/videos/) - [Making Retrieval Augmented Generation Better with @jamesbriggs](https://www.youtube.com/watch?v=Q-uEhJMu3ak): Pinecone · Intermediário. No site: [Vídeos](/videos/) - [Advanced RAG 06 - RAG Fusion](https://www.youtube.com/watch?v=GchC5WxeXGc): Sam Witteveen · Intermediário. No site: [Vídeos](/videos/) - [Building Production-Ready RAG Applications: Jerry Liu](https://www.youtube.com/watch?v=TRjq7t2Ms5I): AI Engineer · Avançado. No site: [Vídeos](/videos/) - [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, with Patrick Lewis, Facebook AI](https://www.youtube.com/watch?v=JGpmQvlYRdU): Natural Language Processing presentations · Avançado. No site: [Vídeos](/videos/) - [Transformers, the tech behind LLMs | Deep Learning Chapter 5](https://www.youtube.com/watch?v=wjZofJX0v4M): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!](https://www.youtube.com/watch?v=zxQyTK8quyY): StatQuest with Josh Starmer · Iniciante. No site: [Vídeos](/videos/) - [How Large Language Models Work](https://www.youtube.com/watch?v=5sLYAQS9sWQ): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [Attention Is All You Need](https://www.youtube.com/watch?v=iDulhoQ2pro): Yannic Kilcher · Intermediário. No site: [Vídeos](/videos/) - [The math behind Attention: Keys, Queries, and Values matrices](https://www.youtube.com/watch?v=UPtG_38Oq8o): Luis Serrano Academy · Intermediário. No site: [Vídeos](/videos/) - [The Transformer architecture](https://www.youtube.com/watch?v=H39Z_720T5s): Hugging Face · Intermediário. No site: [Vídeos](/videos/) - [Pytorch Transformers from Scratch (Attention is all you need)](https://www.youtube.com/watch?v=U0s0f995w14): Aladdin Persson · Intermediário. No site: [Vídeos](/videos/) - [Let's build GPT: from scratch, in code, spelled out.](https://www.youtube.com/watch?v=kCc8FmEb1nY): Andrej Karpathy · Avançado. No site: [Vídeos](/videos/) - [Stanford CS25: Transformers United V6 I Overview of Transformers](https://www.youtube.com/watch?v=bHSDPgZYie0): Stanford Online · Avançado. No site: [Vídeos](/videos/) - [FlashAttention - Tri Dao | Stanford MLSys #67](https://www.youtube.com/watch?v=gMOAud7hZg4): Stanford MLSys Seminars · Avançado. No site: [Vídeos](/videos/) - [What is Mixture of Experts?](https://www.youtube.com/watch?v=sYDlVVyJYn4): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [Mistral 8x7B Part 1- So What is a Mixture of Experts Model?](https://www.youtube.com/watch?v=RYZ0FMAKRFs): Sam Witteveen · Iniciante. No site: [Vídeos](/videos/) - [A Visual Guide to Mixture of Experts (MoE) in LLMs](https://www.youtube.com/watch?v=sOPDGQjFcuM): Maarten Grootendorst · Iniciante. No site: [Vídeos](/videos/) - [Mixtral of Experts (Paper Explained)](https://www.youtube.com/watch?v=mwO6v4BlgZQ): Yannic Kilcher · Intermediário. No site: [Vídeos](/videos/) - [MoE Token Routing Explained: How Mixture of Experts Works (with Code)](https://www.youtube.com/watch?v=CDnkFbW-uEQ): Hugging Face · Intermediário. No site: [Vídeos](/videos/) - [Mixture of Experts (MoE), Visually Explained](https://www.youtube.com/watch?v=0QQlYR1r6pQ): Jia-Bin Huang · Intermediário. No site: [Vídeos](/videos/) - [Mixture of Experts: How LLMs get bigger without getting slower](https://www.youtube.com/watch?v=7yR5ScbK1qk): Julia Turc · Intermediário. No site: [Vídeos](/videos/) - [Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity](https://www.youtube.com/watch?v=iAR8LkkMMIM): Yannic Kilcher · Avançado. No site: [Vídeos](/videos/) - [Large Model Training and Inference with DeepSpeed // Samyam Rajbhandari // LLMs in Prod Conference](https://www.youtube.com/watch?v=cntxC3g22oU): AAIF Live · Avançado. No site: [Vídeos](/videos/) - [How DeepSeek rewrote Mixture of Experts (MoE)?](https://www.youtube.com/watch?v=KnSIZ83iPKs): Vizuara · Avançado. No site: [Vídeos](/videos/) - [What is Transfer Learning?](https://www.youtube.com/watch?v=BqqfQnyjmgg): Hugging Face · Iniciante. No site: [Vídeos](/videos/) - [What is Low-Rank Adaptation (LoRA) | explained by the inventor](https://www.youtube.com/watch?v=DhRoTONcyZE): Edward Hu · Iniciante. No site: [Vídeos](/videos/) - [RAG vs. Fine Tuning](https://www.youtube.com/watch?v=00Q0G84kq3M): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED](https://www.youtube.com/watch?v=KEv-F5UkhxU): AI Coffee Break with Letitia · Intermediário. No site: [Vídeos](/videos/) - [QLoRA paper explained (Efficient Finetuning of Quantized LLMs)](https://www.youtube.com/watch?v=6l8GZDPbFn8): AI Bites · Intermediário. No site: [Vídeos](/videos/) - [LLAMA-3 : EASIET WAY To FINE-TUNE ON YOUR DATA](https://www.youtube.com/watch?v=aQmoog_s8HE): Prompt Engineering · Intermediário. No site: [Vídeos](/videos/) - [What is Prompt Tuning?](https://www.youtube.com/watch?v=yu27PWzJI_Y): IBM Technology · Intermediário. No site: [Vídeos](/videos/) - [LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch](https://www.youtube.com/watch?v=PXWYUTMt-AU): Umar Jamil · Avançado. No site: [Vídeos](/videos/) - [Aligning LLMs with Direct Preference Optimization](https://www.youtube.com/watch?v=QXVCqtAZAn4): DeepLearningAI · Avançado. No site: [Vídeos](/videos/) - [Part 10: PyTorch FSDP, End to End Walkthrough](https://www.youtube.com/watch?v=PjEwLgyzuzQ): PyTorch · Avançado. No site: [Vídeos](/videos/) - [Reinforcement Learning from Human Feedback: From Zero to chatGPT](https://www.youtube.com/watch?v=2MBJOuVq380): Hugging Face · Iniciante. No site: [Vídeos](/videos/) - [Intro to AI Safety, Remastered](https://www.youtube.com/watch?v=pYXy-A4siMw): Robert Miles AI Safety · Iniciante. No site: [Vídeos](/videos/) - [ChatGPT Jailbreak - Computerphile](https://www.youtube.com/watch?v=zn2ukSnDqSg): Computerphile · Iniciante. No site: [Vídeos](/videos/) - [How ChatGPT is Trained](https://www.youtube.com/watch?v=VPRSBzXzavo): Ari Seff · Intermediário. No site: [Vídeos](/videos/) - [Training AI Without Writing A Reward Function, with Reward Modelling](https://www.youtube.com/watch?v=PYylPRX6z4Q): Robert Miles AI Safety · Intermediário. No site: [Vídeos](/videos/) - [Defending against AI jailbreaks](https://www.youtube.com/watch?v=BaNXYqcfDyo): Anthropic · Intermediário. No site: [Vídeos](/videos/) - [Fine-tuning LLMs on Human Feedback (RLHF + DPO)](https://www.youtube.com/watch?v=bbVoDXoPrPM): Shaw Talebi · Intermediário. No site: [Vídeos](/videos/) - [An introduction to Policy Gradient methods - Deep Reinforcement Learning](https://www.youtube.com/watch?v=5P7I-xPq8u8): Arxiv Insights · Avançado. No site: [Vídeos](/videos/) - [A Walkthrough of A Mathematical Framework for Transformer Circuits](https://www.youtube.com/watch?v=KV5gbOmHbjU): Neel Nanda · Avançado. No site: [Vídeos](/videos/) - [Collin Burns - Weak-to-Strong Generalization](https://www.youtube.com/watch?v=wBPZNhw1LV4): FAR․AI · Avançado. No site: [Vídeos](/videos/) - [What are AI Agents?](https://www.youtube.com/watch?v=F8NKVhkZZWI): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [What is Tool Calling? Connecting LLMs to Your Data](https://www.youtube.com/watch?v=h8gMhXYAv1k): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [AutoGPT & BabyAGI: autonomous AI Agents for LLMs explained](https://www.youtube.com/watch?v=5cnk5zpf1EA): Discover AI · Iniciante. No site: [Vídeos](/videos/) - [Understanding ReACT with LangChain](https://www.youtube.com/watch?v=Eug2clsLtFs): Sam Witteveen · Intermediário. No site: [Vídeos](/videos/) - [CrewAI Tutorial - Next Generation AI Agent Teams (Fully Local)](https://www.youtube.com/watch?v=tnejrr-0a94): Matthew Berman · Intermediário. No site: [Vídeos](/videos/) - [OpenAI Function Calling - Full Beginner Tutorial](https://www.youtube.com/watch?v=aqdWSYWC_LI): Dave Ebbelaar · Intermediário. No site: [Vídeos](/videos/) - [AI Dev 25 | Apoorva Joshi: Building Agents That Learn: Managing Memory in AI Agents](https://www.youtube.com/watch?v=30Ofh-Myte4): DeepLearningAI · Intermediário. No site: [Vídeos](/videos/) - [Deep Papers Episode 3 - Toolformer: Training LLMs To Use Tools](https://www.youtube.com/watch?v=pSKHDduKt_g): Arize AI · Avançado. No site: [Vídeos](/videos/) - [Building Effective Agents with LangGraph](https://www.youtube.com/watch?v=aHCDrAbH_go): LangChain · Avançado. No site: [Vídeos](/videos/) - [Teaching LLMs to Use Tools at Scale - Shishir Patil | Stanford MLSys #98](https://www.youtube.com/watch?v=WAvO8FTDJ8M): Stanford MLSys Seminars · Avançado. No site: [Vídeos](/videos/) - [What is Multimodal AI? How LLMs Process Text, Images, and More](https://www.youtube.com/watch?v=J51oZYcNvP8): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [GPT-4o - Full Breakdown + Bonus Details](https://www.youtube.com/watch?v=ZJbu3NEPJN0): AI Explained · Iniciante. No site: [Vídeos](/videos/) - [What Are Vision Language Models? How AI Sees & Understands Images](https://www.youtube.com/watch?v=lOD_EE96jhM): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [OpenAI’s CLIP explained! | Examples, links to code and pretrained model](https://www.youtube.com/watch?v=dh8Rxhf7cLU): AI Coffee Break with Letitia · Intermediário. No site: [Vídeos](/videos/) - [LLaVA - the first instruction following multi-modal model (paper explained)](https://www.youtube.com/watch?v=GMOREHJTbR4): AI Bites · Intermediário. No site: [Vídeos](/videos/) - [OpenAI Whisper: Robust Speech Recognition via Large-Scale Weak Supervision | Paper and Code](https://www.youtube.com/watch?v=AwJf8aQfChE): Aleksa Gordić - The AI Epiphany · Intermediário. No site: [Vídeos](/videos/) - [Flamingo: a Visual Language Model for Few-Shot Learning](https://www.youtube.com/watch?v=H82s6BrJduM): Samuel Albanie · Avançado. No site: [Vídeos](/videos/) - [Gemini 1.5 Pro has a massive context window](https://www.youtube.com/watch?v=85Tg9ciOfkk): Samuel Albanie · Avançado. No site: [Vídeos](/videos/) - [AI Inference: The Secret to AI's Superpowers](https://www.youtube.com/watch?v=XtT5i0ZeHHE): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [AI’s Hardware Problem](https://www.youtube.com/watch?v=5tmGKTNW8DQ): Asianometry · Iniciante. No site: [Vídeos](/videos/) - [Optimize Your AI - Quantization Explained](https://www.youtube.com/watch?v=K75j8MkwgJ0): Matt Williams · Iniciante. No site: [Vídeos](/videos/) - [Fast LLM Serving with vLLM and PagedAttention](https://www.youtube.com/watch?v=5ZlavKF_98U): Anyscale · Intermediário. No site: [Vídeos](/videos/) - [Demo: Optimizing Gemma inference on NVIDIA GPUs with TensorRT-LLM](https://www.youtube.com/watch?v=y4QljAMsXr0): Google for Developers · Intermediário. No site: [Vídeos](/videos/) - [Speculative Decoding: When Two LLMs are Faster than One](https://www.youtube.com/watch?v=S-8yr_RibJ4): Efficient NLP · Intermediário. No site: [Vídeos](/videos/) - [LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU](https://www.youtube.com/watch?v=Mn_9W1nCFLo): Umar Jamil · Avançado. No site: [Vídeos](/videos/) - [Lecture 13: Ring Attention](https://www.youtube.com/watch?v=ws7angQYIxI): GPU MODE · Avançado. No site: [Vídeos](/videos/) - [What are State Space Models? Redefining AI & Machine Learning with Data](https://www.youtube.com/watch?v=HbZD0XoN5fc): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [OpenAI’s new “deep-thinking” o1 model crushes coding benchmarks](https://www.youtube.com/watch?v=6xlPJiNpCVw): Fireship · Iniciante. No site: [Vídeos](/videos/) - [4 Methods of Prompt Engineering](https://www.youtube.com/watch?v=1c9iyoVIwDs): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [MAMBA and State Space Models explained | SSM explained](https://www.youtube.com/watch?v=vrF3MtGwD0Y): AI Coffee Break with Letitia · Intermediário. No site: [Vídeos](/videos/) - [Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Full Paper Review)](https://www.youtube.com/watch?v=ut5kp56wW_4): Yannic Kilcher · Intermediário. No site: [Vídeos](/videos/) - [Jamba: A Hybrid Transformer-Mamba Language Model (White Paper Explained)](https://www.youtube.com/watch?v=Kl2koPxNArA): AI21 Labs · Intermediário. No site: [Vídeos](/videos/) - [Efficiently Modeling Long Sequences with Structured State Spaces - Albert Gu | Stanford MLSys #46](https://www.youtube.com/watch?v=EvQ3ncuriCM): Stanford MLSys Seminars · Avançado. No site: [Vídeos](/videos/) - [Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Paper)](https://www.youtube.com/watch?v=AfAmwIP2ntY): Yannic Kilcher · Avançado. No site: [Vídeos](/videos/) - [Kolmogorov-Arnold Networks (KANs) - What are they and how do they work?](https://www.youtube.com/watch?v=myFtp5zMv8U): Luis Serrano Academy · Avançado. No site: [Vídeos](/videos/) - [(05/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 01](https://www.youtube.com/watch?v=dLLw6QjADjo): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [(07/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 02](https://www.youtube.com/watch?v=h_8fUxdA0QU): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [(09/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 03](https://www.youtube.com/watch?v=P5HASTfCXwQ): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [(12/01/2026) - Mestrado: Machine Learning - Paulo Orenstein - Aula 04](https://www.youtube.com/watch?v=Bfm9w3NEiNU): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [Palestra especial: LLMs e Matemática - João Pedro Ramos e Felipe Gonçalves](https://www.youtube.com/watch?v=2hkXQKCh1cE): Instituto de Matemática Pura e Aplicada · Intermediário. No site: [Vídeos](/videos/) - [Palestra especial - Deep Learning e Aplicações - Francisco Ganacim (IMPA)](https://www.youtube.com/watch?v=n3hJbbAizQ8): Instituto de Matemática Pura e Aplicada · Iniciante. No site: [Vídeos](/videos/) - [PAPMEM - Janeiro de 2026 - Uma Introdução à Inteligência Artificial para Professores: Desvendando...](https://www.youtube.com/watch?v=c2ila2fg1rk): Instituto de Matemática Pura e Aplicada · Iniciante. No site: [Vídeos](/videos/) - [Palestra especial - Redes neurais para representação de objetos de mídia - Tiago Novello (IMPA)](https://www.youtube.com/watch?v=S9JvCkMi9MI): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [Programa de Iniciação Científica: Introdução à Álgebra Linear - Aula 01](https://www.youtube.com/watch?v=-SU5GH4kBtE): Instituto de Matemática Pura e Aplicada · Iniciante. No site: [Vídeos](/videos/) - [V Simpósio Nacional / Jornadas de Iniciação Científica - Tópicos de Teoria de Matrizes - Aula 01](https://www.youtube.com/watch?v=Cz8OZ9PCtO0): Instituto de Matemática Pura e Aplicada · Intermediário. No site: [Vídeos](/videos/) - [O que é Otimização? - Alfredo Iusem](https://www.youtube.com/watch?v=f3hxAky4F04): Instituto de Matemática Pura e Aplicada · Iniciante. No site: [Vídeos](/videos/) - [(24/09/2025) - Métodos Computacionais de Otimização - Di Liu - Aula 01](https://www.youtube.com/watch?v=h_-gT0vzYAM): Instituto de Matemática Pura e Aplicada · Avançado. No site: [Vídeos](/videos/) - [1º Workshop Matemática e Indústria - Ciência de dados e aprendizado de máquina](https://www.youtube.com/watch?v=_7ZDhHgiHL8): Instituto de Matemática Pura e Aplicada · Iniciante. No site: [Vídeos](/videos/) - [Linear transformations and matrices | Chapter 3, Essence of linear algebra](https://www.youtube.com/watch?v=kYB8IZa5AuE): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [The paradox of the derivative | Chapter 2, Essence of calculus](https://www.youtube.com/watch?v=9vKqVkMQHKk): 3Blue1Brown · Iniciante. No site: [Vídeos](/videos/) - [Singular Value Decomposition (SVD): Overview](https://www.youtube.com/watch?v=gXbThCXjZFM): Steve Brunton · Intermediário. No site: [Vídeos](/videos/) - [Solving Wordle using information theory](https://www.youtube.com/watch?v=v68zYyaEmEA): 3Blue1Brown · Intermediário. No site: [Vídeos](/videos/) - [Geometria analítica e álgebra linear - Vetores no Plano e no Espaço](https://www.youtube.com/watch?v=IQW5bj4Yxlc): UNIVESP · Iniciante. No site: [Vídeos](/videos/) - [Geometria Analítica e Álgebra Linear - Aula 14 - Transformações Lineares e Matrizes](https://www.youtube.com/watch?v=A4EcVsnQB4c): UNIVESP · Iniciante. No site: [Vídeos](/videos/) - [Mas afinal, o que é a Derivada?!](https://www.youtube.com/watch?v=4kjaMznGUnY): Professor Julio Lombaldo · Iniciante. No site: [Vídeos](/videos/) - [Neural Networks Part 6: Cross Entropy](https://www.youtube.com/watch?v=6ArSys5qHAU): StatQuest with Josh Starmer · Intermediário. No site: [Vídeos](/videos/) - [Adam Optimization Algorithm (C2W2L08)](https://www.youtube.com/watch?v=JXQT_vxqwIs): DeepLearningAI · Avançado. No site: [Vídeos](/videos/) - [Redes Neurais Artificiais #04: Funções de ativação - Parte 1](https://www.youtube.com/watch?v=cVVO3yl1tx8): Machine Learning para humanos · Intermediário. No site: [Vídeos](/videos/) - [Mecânica Estatística, Informação e Física de Redes Neurais](https://www.youtube.com/watch?v=o6KxJwQthPw): Instituto de Física USP · Avançado. No site: [Vídeos](/videos/) - [#DATAICMC Understanding Deep Learning - Lecture 1](https://www.youtube.com/watch?v=uevf_l47Fp0): ICMC TV · Avançado. No site: [Vídeos](/videos/) - [Modelos Escondidos de Markov (HMMs) e Filtragem de Partículas](https://www.youtube.com/watch?v=hub59ETwy10): Sergio Ricardo de Melo Queiroz · Avançado. No site: [Vídeos](/videos/) - [LLM Tokenizers Explained: BPE Encoding, WordPiece and SentencePiece](https://www.youtube.com/watch?v=hL4ZnAWSyuU): DataMListic · Intermediário. No site: [Vídeos](/videos/) - [Abertura (Helena Caseli), Aula 1. Introdução: definições, história, aplicações, PLN-PT Thiago Pardo](https://www.youtube.com/watch?v=wD7AuZ8tE9M): Brasileiras em PLN · Intermediário. No site: [Vídeos](/videos/) - [Cosine Similarity, Clearly Explained!!!](https://www.youtube.com/watch?v=e9U0QAFbfLI): StatQuest with Josh Starmer · Iniciante. No site: [Vídeos](/videos/) - [Você Não Sabe Como o GPT Processa Cada Palavra](https://www.youtube.com/watch?v=_G_--YC5Xd4): Sandeco · Intermediário. No site: [Vídeos](/videos/) - [Aula 09 - Redução de Dimensionalidade](https://www.youtube.com/watch?v=ZqEhn1l_PlQ): Data ICMC · Intermediário. No site: [Vídeos](/videos/) - [Bancos de Dados Vetoriais, Embeddings e Busca por Similaridade – NLP na Engenharia de Software 2025](https://www.youtube.com/watch?v=4n26QMxeA38): André Santanchè · Intermediário. No site: [Vídeos](/videos/) - [Graph-Based Approximate Nearest Neighbors (ANN) and HNSW](https://www.youtube.com/watch?v=4PsyNdFlxmk): Pinecone · Intermediário. No site: [Vídeos](/videos/) - [RAG But Better: Rerankers with Cohere AI](https://www.youtube.com/watch?v=Uh9bYiVrW_s): James Briggs · Intermediário. No site: [Vídeos](/videos/) - [Ep. 8 — ColBERT + ColBERTv2: late interaction at a reasonable inference cost](https://www.youtube.com/watch?v=1hDK7gZbJqQ): Zeta Alpha · Avançado. No site: [Vídeos](/videos/) - [GraphRAG methods to create optimized LLM context windows for Retrieval — Jonathan Larson, Microsoft](https://www.youtube.com/watch?v=c5qJHr3DnT4): AI Engineer · Avançado. No site: [Vídeos](/videos/) - [Converse com seus PDFs usando IA | RAG com Python, LangChain, OpenAI e Chroma](https://www.youtube.com/watch?v=ZOFcW8kvP5k): DATA DT · Intermediário. No site: [Vídeos](/videos/) - [What is Layer Normalization? | Deep Learning Fundamentals](https://www.youtube.com/watch?v=2V3Uduw1zwQ): AssemblyAI · Intermediário. No site: [Vídeos](/videos/) - [RAG vs Fine-Tuning vs Prompt Engineering: Optimizing AI Models](https://www.youtube.com/watch?v=zYGDpG-pTho): IBM Technology · Iniciante. No site: [Vídeos](/videos/) - [ROUGE, BLEU, BERTScore, Avaliação Humana, Perplexidade, F1Score, Conjuntos de dados de Referência](https://www.youtube.com/watch?v=SYUhHJcjbC4): Grazi Cunha - Computação & Informática · Intermediário. No site: [Vídeos](/videos/) - [Por que a IA inventa mentiras? Entenda o mistério por trás da Alucinação](https://www.youtube.com/watch?v=1OG5LJ8iA80): Sandeco · Iniciante. No site: [Vídeos](/videos/) - [O que são Agentes de Inteligência Artificial e como funcionam? | IA na Prática](https://www.youtube.com/watch?v=EL8LhsJSTCg): Programação Dinâmica · Iniciante. No site: [Vídeos](/videos/) - [Langchain em menos de 10 minutos](https://www.youtube.com/watch?v=GCQl9RFns_0): Asimov Academy · Iniciante. No site: [Vídeos](/videos/) - [The Special Memory Powering the AI Revolution](https://www.youtube.com/watch?v=yAw63F1W_Us): Asianometry · Intermediário. No site: [Vídeos](/videos/) - [MedAI #54: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness | Tri Dao](https://www.youtube.com/watch?v=FThvfkXWqtE): Stanford MedAI · Avançado. No site: [Vídeos](/videos/) - [Which Quantization Method is Right for You? (GPTQ vs. GGUF vs. AWQ)](https://www.youtube.com/watch?v=mNE_d-C82lI): Maarten Grootendorst · Intermediário. No site: [Vídeos](/videos/) - [How do Graphics Cards Work? Exploring GPU Architecture](https://www.youtube.com/watch?v=h9Z4oGN89MU): Branch Education · Iniciante. No site: [Vídeos](/videos/) - [KAN: Kolmogorov-Arnold Networks](https://www.youtube.com/watch?v=JuPwfQlPUt0): Google TechTalks · Avançado. No site: [Vídeos](/videos/) - [Aula Gratuita: Chain of Thought Prompting (passo a passo) - Domine a Técnica | Curso IA na Prática](https://www.youtube.com/watch?v=CU9cbg_D8RU): Trybe · Iniciante. No site: [Vídeos](/videos/) ## Referências históricas - [Widrow, B. e Hoff, M. E. (1960). Adaptive switching circuits. IRE WESCON.](https://www-isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf). No site: [A fundamentação oculta](/origens/#fundamentacao-oculta) - [Minsky, M. e Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.](https://doi.org/10.7551/mitpress/11301.001.0001). No site: [A fundamentação oculta](/origens/#fundamentacao-oculta) - [Deerwester, S. et al. (1990). Indexing by latent semantic analysis. JASIS 41(6).](https://doi.org/10.1002/(SICI)1097-4571(199009)41:6%3C391::AID-ASI1%3E3.0.CO;2-9). No site: [O despertar latente e o gargalo das sequências](/origens/#despertar-latente) - [Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Tese, TU Munique.](https://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf). No site: [O despertar latente e o gargalo das sequências](/origens/#despertar-latente) - [Hinton, G. E., Osindero, S. e Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Computation 18(7).](https://doi.org/10.1162/neco.2006.18.7.1527). No site: [O resgate estatístico e a anatomia dos vetores](/origens/#resgate-estatistico) - [Sennrich, R., Haddow, B. e Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL.](https://arxiv.org/abs/1508.07909). No site: [O resgate estatístico e a anatomia dos vetores](/origens/#resgate-estatistico) - [Bojanowski, P. et al. (2017). Enriching Word Vectors with Subword Information. TACL.](https://arxiv.org/abs/1607.04606). No site: [O resgate estatístico e a anatomia dos vetores](/origens/#resgate-estatistico) - [Sutskever, I., Vinyals, O. e Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.](https://arxiv.org/abs/1409.3215). No site: [A dinâmica do contexto](/origens/#dinamica-do-contexto) - [Bahdanau, D., Cho, K. e Bengio, Y. (2014). Neural Machine Translation by Jointly Learning to Align and Translate.](https://arxiv.org/abs/1409.0473). No site: [A dinâmica do contexto](/origens/#dinamica-do-contexto) - [Peters, M. et al. (2018). Deep contextualized word representations. NAACL.](https://arxiv.org/abs/1802.05365). No site: [A dinâmica do contexto](/origens/#dinamica-do-contexto) - [Howard, J. e Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. ACL.](https://arxiv.org/abs/1801.06146). No site: [A dinâmica do contexto](/origens/#dinamica-do-contexto) - [Khattab, O. e Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. SIGIR.](https://arxiv.org/abs/2004.12832). No site: [Escala, hardware e geometria](/origens/#escala-hardware-geometria) - [Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models.](https://arxiv.org/abs/2203.15556). No site: [Escala, hardware e geometria](/origens/#escala-hardware-geometria) - [Dao, T. et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS.](https://arxiv.org/abs/2205.14135). No site: [Escala, hardware e geometria](/origens/#escala-hardware-geometria) - [Ma, S. et al. (2024). The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits.](https://arxiv.org/abs/2402.17764). No site: [Escala, hardware e geometria](/origens/#escala-hardware-geometria) ## Imagens e créditos - [Fotografia de Frank Rosenblatt](https://commons.wikimedia.org/wiki/File:Frank_Rosenblatt.jpg): Autor desconhecido · CC BY-SA 4.0. No site: [Origens](/origens/) - [Fotografia de Bernard Widrow](https://commons.wikimedia.org/wiki/File:Bernard_Widrow_with_ADALINE.jpg): Stanford Today, 1963 · Domínio público. No site: [Origens](/origens/) - [Fotografia de Marvin Minsky](https://commons.wikimedia.org/wiki/File:Marvin_Minsky_at_OLPCb.jpg): Sethwoodworth · CC BY 3.0. No site: [Origens](/origens/) - [Fotografia de Seymour Papert](https://commons.wikimedia.org/wiki/File:Seymour_Papert.jpg): Matematicamente.it · CC BY-SA 3.0. No site: [Origens](/origens/) - [Fotografia de Sepp Hochreiter](https://commons.wikimedia.org/wiki/File:Sepp_Hochreiter.JPG): Eulenreich · CC BY-SA 4.0. No site: [Origens](/origens/) - [Fotografia de Jürgen Schmidhuber](https://commons.wikimedia.org/wiki/File:J%C3%BCrgen_Schmidhuber,_2017_(cropped).jpg): ITU/R. Farrell · CC BY 2.0. No site: [Origens](/origens/) - [Fotografia de Geoffrey Hinton](https://commons.wikimedia.org/wiki/File:Geoffrey_E._Hinton,_2024_Nobel_Prize_Laureate_in_Physics_(cropped1).jpg): Arthur Petron · CC BY-SA 4.0. No site: [Origens](/origens/) - [Fotografia de Yoshua Bengio](https://commons.wikimedia.org/wiki/File:Yoshua_Bengio_2019_cropped.jpg): Maryse Boyce · CC BY 4.0. No site: [Origens](/origens/) - [Fotografia de Tomáš Mikolov](https://commons.wikimedia.org/wiki/File:Tom%C3%A1%C5%A1_Mikolov_(2020).jpg): Jindřich Nosek (NoJin) · CC BY-SA 4.0. No site: [Origens](/origens/) - [Fotografia de Ilya Sutskever](https://commons.wikimedia.org/wiki/File:Naveen_Rao_and_Ilya_Sutskever_Stanford_2014.jpg): Steve Jurvetson · CC BY 2.0. No site: [Origens](/origens/) - [Fotografia de Jeremy Howard](https://commons.wikimedia.org/wiki/File:Jeremy_Howard.jpg): Hr0207 · CC0. No site: [Origens](/origens/) ## Referências editoriais e licenças - [Apps by Vulcan](https://byvulcan.com/). No site: [Sobre](/sobre/) - [CC BY 4.0, resumo em português](https://creativecommons.org/licenses/by/4.0/deed.pt-br). No site: [Termos de Uso](/termos-de-uso/) - [instrumento jurídico oficial](https://creativecommons.org/licenses/by/4.0/legalcode.pt). No site: [Termos de Uso](/termos-de-uso/) - [LICENSE do repositório](https://github.com/freddominugez/Harpia-Project/blob/main/LICENSE). No site: [Termos de Uso](/termos-de-uso/) - [MIT License, Open Source Initiative](https://opensource.org/license/mit). No site: [Termos de Uso](/termos-de-uso/) - [issues do repositório](https://github.com/freddominugez/Harpia-Project/issues). No site: [Termos de Uso](/termos-de-uso/) ## Feeds e fontes monitoradas - [arXiv cs.IR · feed](https://rss.arxiv.org/rss/cs.IR). No site: [News](/news/) - [arXiv cs.LG · feed](https://rss.arxiv.org/rss/cs.LG). No site: [News](/news/) - [arXiv cs.CL · feed](https://rss.arxiv.org/rss/cs.CL). No site: [News](/news/) - [OpenAI · feed](https://openai.com/news/rss.xml). No site: [News](/news/) - [Google Research · feed](https://research.google/blog/rss/). No site: [News](/news/) - [Google DeepMind · feed](https://deepmind.google/blog/rss.xml). No site: [News](/news/) - [Microsoft Research · feed](https://www.microsoft.com/en-us/research/feed/). No site: [News](/news/) - [Hugging Face · feed](https://huggingface.co/blog/feed.xml). No site: [News](/news/) - [Qwen · feed](https://qwenlm.github.io/blog/index.xml). No site: [News](/news/) - [Quanta Magazine · feed](https://www.quantamagazine.org/feed/). No site: [News](/news/) - [arXiv cs.CL (Linguagem)](https://arxiv.org/list/cs.CL/recent): tokens, LLMs, embeddings de texto - [arXiv cs.IR (Recuperação de informação)](https://arxiv.org/list/cs.IR/recent): busca vetorial, embeddings, recuperação - [arXiv cs.DS (Estruturas de dados e algoritmos)](https://arxiv.org/list/cs.DS/recent): busca do vizinho mais próximo, poda exata, limites - [arXiv cs.DS (Estruturas de dados e algoritmos) · feed](https://rss.arxiv.org/rss/cs.DS): busca do vizinho mais próximo, poda exata, limites - [AAIF Live](https://www.youtube.com/@AAIFLive-x1r): Mixture of Experts (MoE) - [AAIF Live · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCLAh-x7caEkg2jsbhNmg-3Q): Mixture of Experts (MoE) - [AI Coffee Break with Letitia](https://www.youtube.com/@AICoffeeBreak): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Multimodalidade (Visão, Áudio e Vídeo); O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [AI Coffee Break with Letitia · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCMLtBahI5DMrt0NPvDSoIRQ): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Multimodalidade (Visão, Áudio e Vídeo); O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [arXiv cs.LG (Aprendizado de máquina)](https://arxiv.org/list/cs.LG/recent): quantização, eficiência, arquiteturas - [AI Engineer](https://www.youtube.com/@aiDotEngineer): RAG (Retrieval-Augmented Generation) - [AI Engineer · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCLKPca3kwwd-B59HNr-_lvA): RAG (Retrieval-Augmented Generation) - [AI Explained](https://www.youtube.com/@aiexplained-official): Multimodalidade (Visão, Áudio e Vídeo) - [AI Explained · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCNJ1Ymd5yFuUPtn21xtRbbw): Multimodalidade (Visão, Áudio e Vídeo) - [AI Bites](https://www.youtube.com/@AIBites): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Multimodalidade (Visão, Áudio e Vídeo) - [AI Bites · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCCW0ICn8IMRsgnJhCLAuClA): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Multimodalidade (Visão, Áudio e Vídeo) - [3Blue1Brown](https://www.youtube.com/@3blue1brown): Fundamentos: matemática e redes neurais; Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [3Blue1Brown · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC1_uAIS3r8Vu6JjXWvastJg): Fundamentos: matemática e redes neurais; Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [AI21 Labs](https://www.youtube.com/@ai21labs): O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [AI21 Labs · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCoqHrjrnbO08brm9DInBkFg): O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [Aladdin Persson](https://www.youtube.com/@AladdinPersson): Arquiteturas e Modelos Densos (Transformers) - [Aladdin Persson · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCZHmQk67mSJgfCCTn7xBfew): Arquiteturas e Modelos Densos (Transformers) - [Aleksa Gordić - The AI Epiphany](https://www.youtube.com/@TheAIEpiphany): Multimodalidade (Visão, Áudio e Vídeo) - [Aleksa Gordić - The AI Epiphany · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCSHZKyawb77ixDdsGog4iWA): Multimodalidade (Visão, Áudio e Vídeo) - [Amazon Web Services](https://www.youtube.com/@amazonwebservices): RAG (Retrieval-Augmented Generation) - [Amazon Web Services · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCdoadna9HFHsxXWhafhNvKw): RAG (Retrieval-Augmented Generation) - [Andrej Karpathy](https://www.youtube.com/@AndrejKarpathy): Fundamentos: matemática e redes neurais; Tokens e Tokenização; Arquiteturas e Modelos Densos (Transformers) - [Andrej Karpathy · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCYO_jab_esuFRV4b17AJtAw): Fundamentos: matemática e redes neurais; Tokens e Tokenização; Arquiteturas e Modelos Densos (Transformers) - [Anthropic](https://www.youtube.com/@anthropic-ai): Alinhamento, RLHF e Segurança - [Anthropic · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCrDwWp7EBBv4NwvScIpBDOA): Alinhamento, RLHF e Segurança - [Anyscale](https://www.youtube.com/@anyscale): Otimização de Inferência e Deploy - [Anyscale · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC7L1tZw52rtgmIB4fr_f40w): Otimização de Inferência e Deploy - [Ari Seff](https://www.youtube.com/@ariseffai): Alinhamento, RLHF e Segurança - [Ari Seff · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCIxertsVDip8QHpnhinkAow): Alinhamento, RLHF e Segurança - [Arize AI](https://www.youtube.com/@arizeai): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Arize AI · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCrVHzD-psX5IMCGoEWHXmGw): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Arxiv Insights](https://www.youtube.com/@ArxivInsights): Alinhamento, RLHF e Segurança - [Arxiv Insights · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCNIkB2IeJ-6AmZv7bQ1oBYg): Alinhamento, RLHF e Segurança - [Asianometry](https://www.youtube.com/@Asianometry): Otimização de Inferência e Deploy - [Asianometry · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCbGy2YOZaQ2ZqCkixSokTKQ): Otimização de Inferência e Deploy - [Computerphile](https://www.youtube.com/@Computerphile): Alinhamento, RLHF e Segurança - [Computerphile · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCoxcjq-8xIDTYp3uz647V5A): Alinhamento, RLHF e Segurança - [Dave Ebbelaar](https://www.youtube.com/@daveebbelaar): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Dave Ebbelaar · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCn8ujwUInbJkBhffxqAPBVQ): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [DeepLearningAI](https://www.youtube.com/@Deeplearningai): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [DeepLearningAI · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCcIXc5mJsHVYTZR1maL5l9w): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Discover AI](https://www.youtube.com/@code4AI): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Discover AI · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCfOvNb3xj28SNqPQ_JIbumg): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Edward Hu](https://www.youtube.com/@edwardjhu): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [Edward Hu · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC2SAJYajB1fKUXVXGKoJslQ): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [Efficient NLP](https://www.youtube.com/@EfficientNLP): Otimização de Inferência e Deploy - [Efficient NLP · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCVm5B8leEcAeeUmd8P2AliQ): Otimização de Inferência e Deploy - [FAR․AI](https://www.youtube.com/@FARAIResearch): Alinhamento, RLHF e Segurança - [FAR․AI · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCCV6kbjBZje3LPxRp0NHfxg): Alinhamento, RLHF e Segurança - [Fireship](https://www.youtube.com/@Fireship): O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [Fireship · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC2Xd-TjJByJyK2w1zNwY0zQ): O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [From Languages to Information](https://www.youtube.com/@fromlanguagestoinformation4012): Tokens e Tokenização - [From Languages to Information · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC_48v322owNVtORXuMeRmpA): Tokens e Tokenização - [Google Cloud Tech](https://www.youtube.com/@googlecloudtech): Embeddings (Vetores e Representação Espacial) - [Google Cloud Tech · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCTMRxtyHoE3LPcrl-kT4AQQ): Embeddings (Vetores e Representação Espacial) - [Google for Developers](https://www.youtube.com/@GoogleDevelopers): Otimização de Inferência e Deploy - [Google for Developers · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC_x5XG1OV2P6uZZ5FSM9Ttw): Otimização de Inferência e Deploy - [Future Mojo](https://www.youtube.com/@futuremojo): Tokens e Tokenização - [Future Mojo · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCDh6H297oAmjwGpH44btGJQ): Tokens e Tokenização - [GPU MODE](https://www.youtube.com/@GPUMODE): Otimização de Inferência e Deploy - [GPU MODE · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCJgIbYl6C5no72a0NUAPcTA): Otimização de Inferência e Deploy - [Hugging Face](https://www.youtube.com/@HuggingFace): Tokens e Tokenização; Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers); Mixture of Experts (MoE); - [Hugging Face · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCHlNU7kIZhRgSbhHvFoy72w): Tokens e Tokenização; Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers); Mixture of Experts (MoE); - [IBM Technology](https://www.youtube.com/@IBMTechnology): Embeddings (Vetores e Representação Espacial); RAG (Retrieval-Augmented Generation); Arquiteturas e Modelos Densos (Transformers); Mixture o - [IBM Technology · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC8cc4pVKVHG7A9fbNsRNrLQ): Embeddings (Vetores e Representação Espacial); RAG (Retrieval-Augmented Generation); Arquiteturas e Modelos Densos (Transformers); Mixture o - [Jay Alammar](https://www.youtube.com/@arp_ai): Embeddings (Vetores e Representação Espacial) - [Jay Alammar · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCmOwsoHty5PrmE-3QhUBfPQ): Embeddings (Vetores e Representação Espacial) - [Jia-Bin Huang](https://www.youtube.com/@jbhuang0604): Mixture of Experts (MoE) - [Jia-Bin Huang · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCkQS_dP6GJTmYnMlox-YiKQ): Mixture of Experts (MoE) - [Julia Turc](https://www.youtube.com/@juliaturc1): Mixture of Experts (MoE) - [Julia Turc · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCMUy_WsUIYbM_hKR9drb9dA): Mixture of Experts (MoE) - [LangChain](https://www.youtube.com/@LangChain): RAG (Retrieval-Augmented Generation); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [LangChain · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCC-lyoTfSrcJzA1ab3APAgw): RAG (Retrieval-Augmented Generation); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Luis Serrano Academy](https://www.youtube.com/@SerranoAcademy): Arquiteturas e Modelos Densos (Transformers); O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [Luis Serrano Academy · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCvnzQ7-7MrsC6AVo5LxnQWw): Arquiteturas e Modelos Densos (Transformers); O Futuro, Mamba (SSMs) e Raciocínio (System 2) - [Maarten Grootendorst](https://www.youtube.com/@MaartenGrootendorst): Mixture of Experts (MoE) - [Maarten Grootendorst · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCewHz0nV5-F05-2lEHkm4EQ): Mixture of Experts (MoE) - [Matt Pocock](https://www.youtube.com/@mattpocockuk): Tokens e Tokenização - [Matt Pocock · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCswG6FSbgZjbWtdf_hMLaow): Tokens e Tokenização - [Matt Williams](https://www.youtube.com/@technovangelist): Otimização de Inferência e Deploy - [Matt Williams · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCHaF9kM2wn8C3CLRwLkC2GQ): Otimização de Inferência e Deploy - [Matthew Berman](https://www.youtube.com/@matthew_berman): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Matthew Berman · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCawZsQWqfGSbCI5yjkdVkTA): Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Natural Language Processing presentations](https://www.youtube.com/@naturallanguageprocessingp9181): RAG (Retrieval-Augmented Generation) - [Natural Language Processing presentations · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCuGC1JusVvbOGa__qMtH3QA): RAG (Retrieval-Augmented Generation) - [Neel Nanda](https://www.youtube.com/@neelnanda2469): Alinhamento, RLHF e Segurança - [Neel Nanda · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCBMJ0D-omcRay8dh4QT0doQ): Alinhamento, RLHF e Segurança - [NPTEL IIT Delhi](https://www.youtube.com/@npteliitd): Embeddings (Vetores e Representação Espacial) - [NPTEL IIT Delhi · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC640y4UvDAlya_WOj5U4pfA): Embeddings (Vetores e Representação Espacial) - [Pinecone](https://www.youtube.com/@pinecone-io): RAG (Retrieval-Augmented Generation) - [Pinecone · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC02IWPisqHk2nsWfurnl-mQ): RAG (Retrieval-Augmented Generation) - [Prompt Engineering](https://www.youtube.com/@engineerprompt): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [Prompt Engineering · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCDq7SjbgRKty5TgGafW8Clg): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [PyTorch](https://www.youtube.com/@PyTorch): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [PyTorch · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCWXI5YeOsh03QvJ59PMaXFw): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning) - [Robert Miles AI Safety ](https://www.youtube.com/@RobertMilesAI): Alinhamento, RLHF e Segurança - [Robert Miles AI Safety · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC4qH2AHly_RSRze1bUqSSNw): Alinhamento, RLHF e Segurança - [Sam Witteveen](https://www.youtube.com/@samwitteveenai): RAG (Retrieval-Augmented Generation); Mixture of Experts (MoE); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Sam Witteveen · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UC55ODQSvARtgSyc8ThfiepQ): RAG (Retrieval-Augmented Generation); Mixture of Experts (MoE); Agentes Autônomos e Uso de Ferramentas (Tool Use) - [Samuel Albanie](https://www.youtube.com/@SamuelAlbanie1): Multimodalidade (Visão, Áudio e Vídeo) - [Samuel Albanie · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCMtxPy2z1qzwvP7wiarkoaw): Multimodalidade (Visão, Áudio e Vídeo) - [Shaw Talebi](https://www.youtube.com/@ShawhinTalebi): Alinhamento, RLHF e Segurança - [Shaw Talebi · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCa9gErQ9AE5jT2DZLjXBIdA): Alinhamento, RLHF e Segurança - [Stanford MLSys Seminars](https://www.youtube.com/@StanfordMLSysSeminars): Arquiteturas e Modelos Densos (Transformers); Agentes Autônomos e Uso de Ferramentas (Tool Use); O Futuro, Mamba (SSMs) e Raciocínio (System - [Stanford MLSys Seminars · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCzz6ructab1U44QPI3HpZEQ): Arquiteturas e Modelos Densos (Transformers); Agentes Autônomos e Uso de Ferramentas (Tool Use); O Futuro, Mamba (SSMs) e Raciocínio (System - [Stanford Online](https://www.youtube.com/@stanfordonline): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [Stanford Online · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCBa5G_ESCn8Yd4vw5U-gIcg): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [StatQuest with Josh Starmer](https://www.youtube.com/@statquest): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [StatQuest with Josh Starmer · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCtYLUTtgS3k1Fg4y5tAhLbw): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers) - [TensorFlow](https://www.youtube.com/@TensorFlow): Tokens e Tokenização - [Umar Jamil](https://www.youtube.com/@umarjamilai): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Otimização de Inferência e Deploy - [Umar Jamil · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCtAcpQcYerN8xxZJYTfWBMw): Fine-Tuning e PeFT (Parameter-Efficient Fine-Tuning); Otimização de Inferência e Deploy - [Vizuara](https://www.youtube.com/@vizuara): Mixture of Experts (MoE) - [Vizuara · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCdEov4L0bpJ_h6W3sJxkfUA): Mixture of Experts (MoE) - [Yannic Kilcher](https://www.youtube.com/@YannicKilcher): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers); Mixture of Experts (MoE); O Futuro, Mamba (SSMs - [Yannic Kilcher · feed](https://www.youtube.com/feeds/videos.xml?channel_id=UCHmD-oSpV0sNfAUnpYpj8KA): Embeddings (Vetores e Representação Espacial); Arquiteturas e Modelos Densos (Transformers); Mixture of Experts (MoE); O Futuro, Mamba (SSMs - [Hugging Face](https://huggingface.co/blog): modelos abertos, embeddings, quantização - [Quanta Magazine](https://www.quantamagazine.org/): divulgação de matemática e computação ## Notícias e publicações recentes - [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization): Hugging Face. No site: [News](/news/) - [EmbeddingGemma 2: an open, lightweight multimodal embedding model](https://deepmind.google/blog/embeddinggemma-2-an-open-lightweight-multimodal-embedding-model/): Google DeepMind. No site: [News](/news/) ## Projeto e licenças - [Código-fonte do Harpya](https://github.com/freddominugez/Harpia-Project): Código MIT · conteúdo original CC BY 4.0 - [Creative Commons Atribuição 4.0 Internacional](https://creativecommons.org/licenses/by/4.0/) --- # Glossário > Glossário do Harpya: embeddings, quantização, busca vetorial e medição. - Página: https://www.harpya.org/biblioteca/glossario/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Glossário. Harpya. https://www.harpya.org/biblioteca/glossario/ **Arte prévia.** Trabalho já publicado que contém a ideia ou parte dela. Todo caminho lista a sua. **Cauchy-Schwarz.** $|\langle a,b\rangle|\le\|a\|\,\|b\|$. É o limite usado para excluir candidatos com certeza. **Embedding.** Vetor que representa um token, uma frase ou um documento. Textos parecidos ficam com vetores próximos. **Encoder.** A rede que transforma texto em embedding. Em busca semântica, é onde está quase todo o custo. **Latência p95.** O tempo abaixo do qual ficam 95% das requisições. Mostra o pior caso comum, que a média esconde. **Matryoshka.** Treino em que os prefixos do vetor também são vetores válidos, permitindo cortar dimensões depois. **MIPS.** Busca do produto interno máximo: achar o vetor com maior $\langle q,x\rangle$. A cabeça de saída de um LLM resolve um MIPS a cada token. **Quantização.** Trocar números de 16 ou 32 bits por inteiros de poucos bits mais uma escala. **RaBitQ.** Quantização de 1 a poucos bits por dimensão, com rotação aleatória e limite de erro probabilístico. **Rastreamento (tracing) e spans.** Registro de cada etapa de uma chamada a um modelo, com início, fim e metadados. Usado para medir latência e custo por etapa. **Regra de parada.** Condição, definida antes do teste, que encerra um caminho se o resultado não vier. **Sobreviventes.** Fração de candidatos que o limite não conseguiu excluir e que precisa de leitura completa. **Token.** Pedaço de texto que o modelo trata como unidade, em geral parte de uma palavra. **Varredura em blocos.** Calcular todos os produtos internos de uma vez com multiplicação de matrizes otimizada. É o comparador obrigatório de qualquer método exato. --- # News > Manchetes de laboratórios de IA e do arXiv ligadas a embeddings, busca vetorial e eficiência. - Página: https://www.harpya.org/news/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-21 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). News. Harpya. https://www.harpya.org/news/ Manchetes coletadas por RSS e filtradas pelos temas do Harpya. Atualização a cada 6 horas. - 21/10/2026, Hugging Face: [How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications](https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization) - 06/10/2026, Google DeepMind: [EmbeddingGemma 2: an open, lightweight multimodal embedding model](https://deepmind.google/blog/embeddinggemma-2-an-open-lightweight-multimodal-embedding-model/) --- # Fórum > Fórum do Harpya: perguntas, reproduções e propostas, via GitHub Discussions. - Página: https://www.harpya.org/forum/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Fórum. Harpya. https://www.harpya.org/forum/ As discussões acontecem no GitHub Discussions do repositório https://github.com/freddominugez/Harpia-Project. ## Discussões e pautas - Pauta proposta (Perguntas): [Como calibrar o raio probabilístico?](https://www.harpya.org/estudos/caminhos/raio-probabilistico/) - Pauta proposta (Propostas novas): [Comparações justas para Tensor-Train na cabeça de saída](https://www.harpya.org/estudos/caminhos/tensor-train-na-cabeca/) - Pauta proposta (Caminhos): [Controle por Bellman e regra de parada](https://www.harpya.org/estudos/caminhos/controle-bellman/) - Pauta proposta (Resultados e reproduções): [Escala diagonal sob rotação aleatória](https://www.harpya.org/estudos/caminhos/escala-diagonal/) - Pauta proposta (Caminhos): [Quantos bits ler na primeira passagem?](https://www.harpya.org/estudos/caminhos/certificado-inteiro/) --- # Termos de Uso > Termos de Uso do Harpya: acesso gratuito, direitos autorais, conteúdo sob CC BY 4.0, código sob MIT e créditos de terceiros. - Página: https://www.harpya.org/termos-de-uso/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-13 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Termos de Uso. Harpya. https://www.harpya.org/termos-de-uso/ **Harpya · Mindscope Labs** Última atualização: **13 de outubro de 2026**. [Baixar este documento em Markdown](/termos-de-uso.md). ## 1. Objeto e uso gratuito O Harpya é um projeto de pesquisa e divulgação educacional apresentado por Mindscope Labs. A consulta ao site, a leitura de seus textos e o acesso às referências disponibilizadas são gratuitos. Não há cobrança pelo uso do Harpya. Serviços externos acessados por links, como editoras, livrarias e plataformas de vídeo, podem ter preços e condições próprios; a gratuidade do Harpya não se estende a esses serviços. ## 2. Direitos autorais e direitos reservados © 2026 Harpya · Mindscope Labs. Todos os direitos reservados, ressalvadas as permissões expressamente concedidas pelas licenças indicadas neste documento e os usos autorizados pela legislação aplicável. A expressão “todos os direitos reservados” preserva os direitos que não foram licenciados. Ela não revoga, reduz nem impede as permissões da CC BY 4.0 ou da MIT. A assinatura institucional não substitui os créditos dos autores e dos titulares identificados em cada obra. ## 3. Licença permissiva do conteúdo: CC BY 4.0 Salvo indicação específica, o conteúdo original do Harpya está disponível sob a licença **Creative Commons Atribuição 4.0 Internacional (CC BY 4.0)**. Ela permite copiar, compartilhar, adaptar e reutilizar o material, inclusive para fins comerciais, desde que suas condições sejam respeitadas. Ao reutilizar, dê crédito ao autor e ao Harpya, cite o endereço da página original, inclua um link para a licença e informe as alterações realizadas. Preserve os avisos e créditos fornecidos. Não sugira que o Harpya, Mindscope Labs ou o autor endossam sua utilização. Não imponha restrições adicionais que impeçam outras pessoas de exercer as permissões concedidas pela licença. **Exemplo de atribuição:** “Autor indicado na página. Título do conteúdo. Harpya · Mindscope Labs. Fonte: endereço da página original. Licença CC BY 4.0. Adaptado, com alterações.” Para uma reprodução sem alterações, substitua a última frase por “Reproduzido sem alterações”. A licença não transfere a titularidade da obra e não pode ter suas permissões revogadas enquanto suas condições forem cumpridas. Marcas, nomes e logotipos não recebem automaticamente uma autorização de uso como identificação ou endosso de outro projeto. **Fonte oficial:** [CC BY 4.0, resumo em português](https://creativecommons.org/licenses/by/4.0/deed.pt-br). O texto completo da licença prevalece sobre este resumo: [instrumento jurídico oficial](https://creativecommons.org/licenses/by/4.0/legalcode.pt). ## 4. Licença permissiva do código: MIT O código original do projeto está sob a **licença MIT**, conforme o arquivo [LICENSE do repositório](https://github.com/freddominugez/Harpia-Project/blob/main/LICENSE). Essa licença permite usar, copiar, modificar, distribuir e comercializar o software. Exige conservar o aviso de direitos autorais e o texto da permissão em cópias ou partes substanciais do software. O código é disponibilizado sem garantias, nos termos da própria licença e respeitados os direitos previstos em lei. **Fonte oficial:** [MIT License, Open Source Initiative](https://opensource.org/license/mit). Dependências de terceiros conservam suas próprias licenças. ## 5. Fontes e materiais de terceiros Artigos científicos, livros, vídeos, fotografias, marcas, serviços e outros materiais de terceiros pertencem aos respectivos titulares. A presença de uma referência, link, miniatura, citação ou incorporação no Harpya não altera sua licença nem significa que ela seja CC BY 4.0 ou MIT. Fotografias com crédito e licença próprios, inclusive CC BY-SA ou domínio público, seguem a indicação correspondente. Consulte as condições da fonte original antes de reutilizar esses materiais. Os links e créditos estão reunidos em [Fontes do site](/biblioteca/fontes/) e, quando aplicável, junto ao conteúdo que os utiliza. Um link de compra é uma referência externa e não exige comprar para usar o Harpya. ## 6. Uso responsável e contribuições Use o site respeitando a autoria, as licenças, a privacidade e os direitos de outras pessoas. Não publique conteúdo ilícito, assédio, spam, dados pessoais de terceiros sem autorização ou materiais que violem direitos autorais. Não tente comprometer o funcionamento ou a segurança dos serviços. Comentários e contribuições continuam sob a responsabilidade de seus autores e devem indicar fontes e eventuais licenças. A licença do site não se aplica automaticamente a contribuições de terceiros. O fórum e os serviços externos de autenticação também seguem os termos de seus provedores. ## 7. Natureza educacional e disponibilidade Os textos têm finalidade educacional e de pesquisa. Hipóteses, testes e resultados são identificados conforme o método do projeto, podem conter erros e podem ser revistos. Avalie as fontes originais e as limitações de cada resultado antes de utilizá-lo. O site e os links externos são oferecidos conforme disponíveis, sem promessa de funcionamento ininterrupto ou de atualização permanente. As disposições de ausência de garantia não afastam direitos e responsabilidades que a legislação aplicável não permita excluir. ## 8. Atualizações e contato Estes termos podem ser atualizados; a versão vigente informa a data no início do documento. Atualizações não retiram permissões já concedidas por licenças abertas a material distribuído sob elas. Para apontar erros, problemas de crédito ou dúvidas sobre o conteúdo, use o [fórum](/forum/) ou os [issues do repositório](https://github.com/freddominugez/Harpia-Project/issues). --- # Sobre o Harpya > Autoria, método, licença e como contribuir com o Harpya. - Página: https://www.harpya.org/sobre/ - Autor: Carlos Frederico Domínguez - Atualizado em: 2026-10-12 - Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) - Como citar: Carlos Frederico Domínguez (2026). Sobre o Harpya. Harpya. https://www.harpya.org/sobre/ ## Autor **Carlos Frederico Domínguez**, fundador do ecossistema Vulcan ([Apps by Vulcan](https://byvulcan.com)). ## Método O trabalho segue etapas. Cada etapa termina em um parecer e só depois a seguinte começa. Toda afirmação técnica leva um selo: | Selo | Significa | |---|---| | medido no projeto | número obtido nos experimentos do programa | | arte prévia | já existe publicado; a página diz o que pode ser novo | | lacuna | combinação ou aplicação não encontrada nas buscas, com data | | teste ou enquadramento | hipótese com teste definido, ou forma de pensar o problema | Analogias físicas não contam como prova. Cada mecanismo precisa virar equação, custo e previsão refutável. "Nenhum uso encontrado" sempre significa "não encontrado com as buscas feitas até a data indicada". ## Como contribuir - **Discussões:** no [fórum](/forum/) ou na página de cada caminho. - **Reproduções:** abra uma discussão em *Resultados e reproduções* com código, hardware, lote e latência p95. - **Correções e conteúdo:** pull request no repositório. Cada vídeo, livro, artigo e caminho é um arquivo em `src/content/`. ## Licença Conteúdo sob CC BY 4.0. Código sob MIT.