A investigação de segurança revela que, no ecossistema de agentes de LLM, mais de 20% dos routers de API gratuitos injectam ativamente código malicioso, levando ao roubo de activos e a uma crise de credenciais. Além disso, o incidente de divulgação de código da Claude permitiu que os atacantes explorassem a curiosidade dos programadores para disseminar malware. A equipa de investigação propôs um mecanismo de defesa em três camadas para fazer face aos riscos de segurança da cadeia de abastecimento.

O fundador da Solayer revelou uma vulnerabilidade de segurança em “routers” de grandes modelos de linguagem (LLM), na qual mais de 20% dos 428 routers apresentam comportamentos maliciosos, como roubo de chaves privadas, entre outros. A investigação recomenda que os programadores implementem mecanismos de validação de integridade completos e independentes no lado do cliente, e apresenta três soluções de defesa para resistir a ataques à cadeia de abastecimento.

O antigo director de IA da Tesla, Andrej Karpathy, propôs um método de leitura em três níveis para grandes modelos de linguagem (LLM), enfatizando o seu valor como um «amplificador de leitura», mais do que «acelerador de escrita». Este processo inclui ler o texto original, gerar resumos e realizar uma análise de metanível, para ajudar os leitores a concentrarem-se no conteúdo importante em meio à sobrecarga de informação. No entanto, este método depende do conhecimento do utilizador sobre o domínio para avaliar a correcção da análise.

O artigo explora a importância da framework Agent Harness Engineering nos produtos de IA, indicando que as diferenças de desempenho do mesmo modelo LLM em produtos distintos se devem sobretudo à lógica de escalonamento, ao ecossistema de ferramentas, à gestão de memória e ao controlo do contexto, entre outros aspetos do design do harness. Mesmo que as capacidades do modelo sejam semelhantes, uma boa engenharia de harness pode fazer com que modelos de gama intermédia superem modelos de topo. A framework da Pachaar recorda aos programadores que, após escolher o modelo base, a verdadeira competição passa por melhorar a qualidade do harness.

O ex-diretor de IA da Tesla, Karpathy, apontou que os grandes modelos de linguagem (LLM) apresentam problemas de viés de treino, levando-os a responder com as "respostas corretas mais comuns" em vez da melhor resposta real. A funcionalidade de personalização também pode reforçar esse fenômeno, fazendo com que a IA responda com base em tipos de usuários comuns, negligenciando necessidades individuais. Isso reflete que, ao reproduzir o conhecimento humano, a IA também copia pontos cegos e preconceitos coletivos, sendo importante que os utilizadores estejam atentos a isso.

A Hive Digital Technologies anunciou um marco na nuvem de IA no Paraguai, descrevendo o desenvolvimento como um passo na expansão das suas capacidades de nuvem para IA e investigação. O aviso também faz referência à investigação LLM da Universidade Columbia que abrange Nova Iorque até Assunção, indicando que a iniciativa pode envolver

A Tether anunciou que a sua infraestrutura de IA QVAC Fabric lançou o primeiro framework global de micro-ajuste BitNet LoRA com suporte multiplataforma, permitindo o treino de grandes modelos de linguagem em hardware de nível de consumidor. Esta tecnologia permite que dispositivos como smartphones completem micro-ajustes de modelos, reduzindo significativamente os custos de desenvolvimento de IA, descentralizando a IA e permitindo o seu uso em qualquer lugar e a qualquer hora no futuro.

A startup chinesa de IA Moonshot AI está atraindo atenção do mercado de capitais, planeando angariar até 1 bilião de dólares em financiamento, com uma avaliação de destino de 18 bilhões de dólares. O uso de LLM na China ultrapassou rapidamente o dos EUA, enfrentando acusações de plágio. A empresa já atraiu grandes investimentos de Alibaba e Tencent.

CanIRun.ai é uma ferramenta web que pode detectar automaticamente as especificações de hardware e estimar modelos LLM executáveis, oferecendo uma experiência de uso simples, mas com deficiências na cobertura de hardware insuficiente e imprecisão nas estimativas. Os utilizadores esperam que no futuro seja integrada uma avaliação de capacidades de modelos mais abrangente e melhorias técnicas para aumentar a precisão.