Os chips AI da Groq são mais rápidos que os da Nvidia? Startup de IA chama a atenção com motor ‘relâmpago’

A startup de IA Groq (não a Grok de Elon Musk) revelou seu novo chip de inteligência artificial (IA) com uma arquitetura de Unidade de Processamento de Linguagem (LPU) que afirma fornecer tempos de resposta instantâneos. Esta nova inovação surge num momento em que a IA está a testemunhar um boom, e empresas como OpenAI, Meta e Google estão a trabalhar arduamente no desenvolvimento do seu conjunto de ferramentas de IA, como Sora, Gemma e muito mais. No entanto, Groq afirma abertamente que oferece “os grandes modelos de linguagem mais rápidos do mundo”.

Groq afirma que suas LPUs são mais rápidas do que as unidades de processamento gráfico (GPUs) da Nvidia. Considerando que a Nvidia tem ganhado destaque até agora em termos de chips de IA, esse aspecto é surpreendente. No entanto, para comprovar isso, o Gizmodo relata que as demonstrações feitas por Groq foram “relâmpago” e até fizeram “…as versões atuais do ChatGPT, Gemini e até mesmo do Grok parecerem lentas”.

Chip IA Groq

O chip AI desenvolvido pela Groq possui unidades de processamento especializadas que executam Large Language Models (LLMs), proporcionando tempos de resposta quase instantâneos. A nova unidade de processamento, conhecida como Tensor Streaming Processor (TSP), foi classificada como uma LPU e não como uma Unidade de Processamento Gráfico (GPU). A empresa diz ele fornece a “inferência mais rápida para aplicativos computacionalmente intensivos com um componente sequencial para eles”, como aplicativos de IA ou LLMs.

Quais são os benefícios?

Elimina a necessidade de hardware de agendamento complexo e favorece uma abordagem mais simplificada ao processamento, afirma a empresa. O LPU da Groq foi projetado para superar a densidade computacional e a largura de banda da memória – dois problemas que atormentam os LLMs. A empresa afirma que quando se trata de LLMs, o LPU tem maior capacidade computacional do que GPU e CPU, reduzindo assim o tempo de cálculo por palavra. Isso resulta em uma geração de texto muito mais rápida.

Chamando-o de “mecanismo de inferência”, a empresa afirma que seu novo processador de IA suporta estruturas padrão de aprendizado de máquina (ML), como PyTorch, TensorFlow e ONNX para inferência. No entanto, seu mecanismo de inferência LPU atualmente não oferece suporte ao treinamento de aprendizado de máquina (ML).

Groq permite um processamento mais rápido e eficiente, com menor latência e rendimento consistente. No entanto, não é um chatbot de IA e não se destina a substituí-lo. Em vez disso, afirma fazê-los funcionar mais rápido. Aqueles que desejam experimentar o Groq podem utilizar LLMs de código aberto, como Llama-2 ou Mixtral 8x7B.

Exemplos

Em uma demonstração compartilhado pelo CEO da HyperWrite, Matt Shumer, no X, o Groq forneceu múltiplas respostas a uma consulta, completas com citações em segundos. Outra demonstração do Groq em uma comparação lado a lado com o GPT-3.5 revelou que ele completou a mesma tarefa que o GPT, apenas quase 4 vezes mais rápido. De acordo com benchmarks, Groq pode atingir quase 500 tokens por segundo, em comparação com 30-50 tokens manipulados pelo GPT-3.5.

Leia também outras notícias importantes de hoje:

Demanda por regulamentação Deepfake! Especialistas em inteligência artificial e executivos da indústria, incluindo o “padrinho da IA” Yoshua Bengio, assinaram uma carta aberta pedindo mais regulamentação em torno da criação de deepfakes. Alguns detalhes interessantes neste artigo. Confira aqui.

Sora levanta medos! Desde que a OpenAI lançou sua plataforma de geração de IA de texto para vídeo, os principais criadores de conteúdo temem que sejam os profissionais mais recentes prestes a serem substituídos por algoritmos. Confira todos os detalhes aqui.

Microsoft vai construir um processador caseiro! A Microsoft tornou-se cliente do negócio de chips feitos sob encomenda da Intel. A empresa usará a tecnologia de fabricação 18A da Intel para fabricar um próximo chip que a fabricante de software projetou internamente. Leia tudo sobre isso aqui.

Mais uma coisa! Agora estamos nos canais do WhatsApp! Siga-nos lá para nunca perder nenhuma atualização do mundo da tecnologia. ?Para acompanhar o canal HT Tech no WhatsApp, clique aqui para aderir agora!

Patrocinado por Google

Deixe uma resposta

Área Militar
Área Militarhttp://areamilitarof.com
Análises, documentários e geopolíticas destinados à educação e proliferação de informações de alta qualidade.
ARTIGOS RELACIONADOS

Descubra mais sobre Área Militar

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continue reading