O que exatamente é um Token? Uma introdução essencial para entender AI

1. Os grandes modelos de IA simplesmente não conseguem processar diretamente o texto original que inserimos, a primeira etapa de processamento de todo conteúdo é converter o texto em Tokens
2. Em resumo, um Token é a menor unidade de processamento na qual o texto é dividido antes de ser alimentado ao modelo
3. Um Token pode ser uma palavra inteira, uma parte de uma palavra, um símbolo de pontuação, ou até mesmo um espaço em branco
4. Palavras comuns geralmente são divididas em apenas 1 Token, enquanto palavras longas ou pouco comuns costumam ser divididas em fragmentos menores, por exemplo, a codificação em inglês pode ser dividida em duas partes: encod+ing
5. Aqui vai uma referência geral de conversão: 1 Token corresponde aproximadamente a 4 caracteres em inglês, ou a 3/4 de uma palavra em inglês; porém, esse valor não é fixo, variando conforme o idioma e o tokenizador utilizado
6. O fluxo completo de processamento é assim: primeiro, o texto é segmentado em Tokens, depois cada Token é mapeado para um ID numérico correspondente, em seguida, o ID é convertido em um vetor que o modelo consegue reconhecer; após esses três passos, o modelo começa oficialmente a processar seu conteúdo
7. Além disso, o que todos costumam ouvir como "janela de contexto" também é medido em Tokens — o limite máximo de Tokens na janela determina quantos conteúdos o modelo consegue "lembrar" de uma só vez
8. Por último, um ponto que certamente interessa a todos: Tokens também são a unidade central de cobrança na IA generativa, ou seja, o custo que pagamos ao usar IA é calculado com base na quantidade de Tokens utilizados

Tudo isso que foi dito é só a ponta do iceberg; a lógica subjacente aos Tokens é muito mais interessante do que você imagina.