Gaudi 3: Intel lança nova geração de GPUs para IA generativa empresarial
A Intel apresentou na terça-feira (9) os novos aceleradores de inteligência artificial (IA) generativa Gaudi 3, que trazem desempenho computacional quatro vezes maior do que a geração anterior, Gaudi 2. O dispositivo, revelado na Intel Vision 2024, é voltado ao treinamento de modelos de linguagem avançados.
A linha oferece 1,5x mais largura de banda de memória e 2x mais largura de banda de rede, possibilitando alimentar sistemas com até dezenas de milhares de aceleradores conectados. Ela proporciona um salto considerável na capacidade de treinamento para as empresas interessadas em implantar IA generativa em escala.
Especificações da placa Intel Gaudi 3.Fonte: Intel/Divulgação
Fabricado em 5 nm, o Intel Gaudi 3 inclui 64 Núcleos de Processador Tensor (TPCs) e oito Mecanismos de Multiplicação de Matriz (MME), sendo capaz de realizar 64 mil operações paralelas. O hardware também possui 128 GB de memória HBMe2 e 3,7 TB de largura de banda, realizando o processamento de grandes conjuntos de dados com menos GPUs.
O novo acelerador de IA generativa da Intel tem, ainda, portas Ethernet e software aberto para a produtividade de desenvolvedores. Ele oferece tempo de treinamento 50% mais rápido do que a NVIDIA H100 e com 40% mais eficiência energética nos modelos Llama 7B, 70B e Falcon 180B.
Mais novidades em IA generativa empresarial
As placas Gaudi 3 estarão disponíveis ainda no segundo trimestre deste ano para fabricantes como Dell, Hewlett Packard Enterprise (HPE), Lenovo e Supermicro. Além da nova geração das GPUs, a companhia anunciou outras soluções para acelerar a implantação da IA generativa empresarial.
Entre elas, estão os processadores Intel Xeon 6 com núcleos E ou P. O primeiro oferece desempenho 4x maior e densidade de rack 2,7x melhor, enquanto o segundo reduz a latência do próximo token em 6,5x na comparação com os chips Xeon anteriores, possibilitando o uso com modelos Llama 2 de 70 bilhões de parâmetros.
Também foi anunciado o portfólio do Intel Tiber, que ajudará clientes empresariais e desenvolvedores a encontrar as melhores ferramentas para suas necessidades, e a estratégia para sistemas de IA abertos e escaláveis. A abordagem oferecerá diferentes soluções para o aprimoramento de serviços.
Bosch, IBM, NAVER, IFF, Infosys, Landing AI, NielsenIQ e Seekr estão entre as empresas que aproveitarão as aplicações. Por fim, foram reveladas colaborações com Google Cloud, Cohesity e Thales, que terão os recursos de computação confidencial da Intel em suas ferramentas na nuvem.
