Os próximos 100X para desempenho de hardware de IA serão mais difíceis

Para aqueles de nós que gostam de hardware e esperavam uma grande revelação sobre o processador TPUv5e AI e sistema circundante, interconexão e pilha de software na conferência Hot Chips 2023 esta semana, a palestra de abertura de Jeff Dean e Amin Vahdat, os dois mais técnicos importantes do Google, foi um pouco decepcionante. Mas a palestra do Google nos deu algum alimento para experimentos mentais de IA da mesma forma.

Já se passaram dez anos desde que Dean, que foi fundamental em tantas tecnologias que o Google criou e que provavelmente nunca deveria ter permissão para viajar de avião ou fazer escalada, fez algumas contas em um pedaço de papel e descobriu que se o Google adicionasse funções de IA ao seu mecanismo de busca de mesmo nome, teria que dobrar o tamanho de sua área de data center e enviar o Google no caminho da criação de sua unidade de processamento de tensor personalizada, ou TPU, mecanismos matemáticos de matriz.

Dez anos depois, a IA é mais complexa e exige muita computação, e o tão discutido ferro TPUv4, embora útil agora e por muitos anos, está parecendo um pouco demorado. Os sistemas TPUv4 foram aprimorados pelo TPUv5e, muito provavelmente baseado em processos de 5 nanômetros e muito provavelmente com pelo menos o dobro do desempenho máximo bruto, executado em datacenters do Google. (Fizemos um mergulho profundo no sistema TPUv4 em outubro do ano passado e ainda não o atualizamos com a interconexão do switch óptico que foi revelada no início deste ano e que será discutida em detalhes no Hot Chips esta semana.)

E como esperávamos, alguns detalhes sobre a variante TPUv5e usada tanto para treinamento quanto para inferência foram revelados no evento Google Cloud Next 2023 que estava acontecendo ao mesmo tempo que Hot Chips 2023, e falaremos disso em breve. Também esperamos que, uma vez disponíveis as instâncias de nuvem executando TPUv5e, elas proporcionem um retorno financeiro cerca de 30% melhor do que as instâncias TPUv4 anteriores no Google Cloud. Pode até resultar em um retorno ainda melhor para o investimento. Nós teremos que ver.

Escolhemos as palestras do Google no Hot Chips em vez da palestra do Google Next porque, quando Dean fala, os arquitetos de sistemas precisam ouvir. Dean participou de quase todas as principais tecnologias do Google: a maneira MapReduce de mastigar big data, a sobreposição relacional BigTable para o sistema de armazenamento distribuído Spanner, o software TensorFlow e Pathways que sustenta os maiores modelos de IA da família PaLM, o Hardware TPU e agora o modelo de linguagem grande Gemini que dará aos modelos GPT-4 e GPT-5 da OpenAI uma corrida pelo dinheiro. (Bem, todo mundo espera que haja dinheiro em algum lugar fora das fábricas de semicondutores e dos fabricantes de hardware.) Dean dirigiu o Google Research por muitos anos e foi cofundador da equipe Google Brain que reuniu os melhores pesquisadores de IA e sua aquisição DeepMind e onde ele é atualmente o cientista-chefe.

Sua apresentação principal foi dividida com Amin Vahdat, que, assim como Dean, também é Google Fellow e atualmente é vice-presidente de engenharia da empresa, foi professor de ciência da computação e engenharia na Universidade da Califórnia em San Diego e diretor de seu centro de sistemas em rede antes de ingressar no Google em 2010, onde foi líder técnico de redes, depois líder técnico de computação, armazenamento e rede e, mais recentemente, agora é responsável pela equipe de aprendizado de máquina, sistemas e IA em nuvem da empresa como além de ser responsável pela pesquisa de sistemas no Google. A MSCA desenvolve e mantém o Compute Engine e o Borg, o conjunto de mecanismos de computação de CPU, TPU e GPU, a rede que os une e toda a pilha de software de IA usada na produção pelo Google e seus clientes de nuvem.

Dean e Vahdat praticamente definem e criam a infraestrutura do Google. Não está claro qual função Urs Hölzle, também Google Fellow e primeiro vice-presidente de engenharia da empresa, depois vice-presidente de pesquisa e, por mais de duas décadas, vice-presidente sênior de engenharia responsável pela equipe de infraestrutura técnica, está desempenhando atualmente. sua nova casa em Auckland, Nova Zelândia. Na Hot Chips, Dean expôs o terreno para a IA e Vahdat falou sobre as crescentes demandas e hardware para atravessar esse terreno.