Diretora da OpenAI.Sam Altmandiz que é"Muito terrível"para que todos mantivessem o DRAM limitado do mundo em seus próprios PCs, usado 5% do tempo, quando os centros de dados de IA poderiam usá-lo melhor. Depois de um golpe de Elon Musk e um novo nome X (Ram Altman, naturalmente), ele agora diz que foi tirado do contexto.
Enquanto isso, a Microsoft, parceira de longa data da OpenAI, tem lançado o oposto.Satya NadallaQuer"Inteligência não medida"em cada mesa, com modelos de IA rodando em seu PC e atingindo a nuvem quando necessário. Ambos os CEOs querem IA em tudo, mas não estão na mesma base quando se trata de onde deve funcionar, e onde a RAM do mundo deve ir.
Por que Sam Altman acha que a RAM do seu PC é melhor usada em data centers de IA
Altman fez o comentário sobre29 de outubro episódio de Cheeky Pint, apresentado pelo presidente StripeJohn CollisonOs dois estavam discutindo porque a falta de memória não está se consertando, logo depois que Collison brincou que a Intel poderia voltar à memória."como é a tradição,"Quando Altman falou em IA local.
"Muitas pessoas querem inferência local. E de alguma forma, eles assumem que o problema está resolvido agora. Porque vamos ter modelos de código aberto. Nós vamos ser capazes de executá-los em nossos computadores. Então não precisaremos de tudo no data center. Mas de uma perspectiva global de alocação, na verdade, é muito terrível ter todos com um monte de suprimentos limitados de DRAM no próprio computador. E, sendo usado 5% do tempo. Você quer o máximo de utilização na nuvem se você está tentando lidar com este mesmo fornecimento ambiente restrito. "
O ponto de Sam Altman é como publicar. Imagine se escrevemos artigos em papel, os imprimimos, e os enviamos diretamente para sua casa como jornais. Seria bem divertido. Mas não.eficiente.Porque já temos nosso site, internet, mídia social, WordPress e um ecossistema de publicação online altamente eficiente.
No entanto, se foram os dias em que modelos locais não eram bons o suficiente. E temos sistemas poderosos que podem lidar com esses modelos.
Ele tem razão se você está construindo AGI e decidir onde cada gigabyte vai.Mas ninguém decide isso.O mercado compra, e as pessoas compram RAM para jogos, edição de vídeo, ou, no meu caso, quase 100 guias Edge para pesquisa.Meu laptop de 16GB.Usado entre 90% e 95% de uso de RAM, então os 5% de Altman são literalmente o oposto para mim.
"Ram Altman" recua, mas seu argumento não mudou.
O clipe se espalhou rapidamente entre jogadores de PC já pagando mais pela memória. Em 1 de novembro, Elon Musk.postou um memede Hans Landa deBasterds Ingloriososperguntando,Você está retendo DRAM da nuvem, não é?, acrescentando,"O povo merece ter sua RAM também!"
Em 4 de novembro, Altman mudou seu nome X para Ram Altman a pedido de um usuário e escreveu:"Eu realmente quero que o mundo tenha toneladas de memória e as pessoas coloquem o quanto quiserem em seus computadores, e é irritante que isso tenha sido tirado do contexto. Tenho argumentado para que o mundo aumente a produção de memória por muito tempo."Em outra resposta, ele acrescentou:Quero que tenha tanto carneiro.e"deixe construir mais."
Para ser justo, Altman também culpou os fabricantes de memória no podcast por ser muito cauteloso para construir mais. Mas eu vi todo o podcast, e a citação acima é o contexto, e querer mais memória para todos não muda sua visão de que DRAM escasso faz mais bem na nuvem.
Satya Nadella quer IA sem medição em cada mesa e em cada casa.
A antiga missão da Microsoft era"um computador em cada mesa e em cada casa,"e Nadella temuma transformação de IA.. "Nosso objetivo é entregar inteligência sem medição para cada casa e cada mesa com Windows,"Ele disse em junho.
Em sua2026 carta de relatório anualNadella escreve:Imagine quanta inteligência pode efetivamente ser desmembrada conforme cada vez mais modelos capazes são executados localmente.com cargas de trabalho se movendo entre a nuvem e seu PC através"Auto-routing."Unmetered significa que seu PC faz o trabalho, então você não tem que pagar por cada token que um modelo local gera, embora você ainda pague pelo próprio PC, que tem ficado dolorosamente caro hoje em dia!
A Microsoft chama isso deInteligência HíbridaEm uma7 de outubro post no blog, chefe das janelasPavan Davuluridescreve as janelas como"uma plataforma onde agentes podem correr localmente quando faz sentido, alcançar a nuvem quando precisam."Com sua permissão, Copilot pode ler conteúdo relevante em seu PC, tomar ações através do Windows, e usar modelos locais para as tarefas certas, que Nadella diz que ajudaSuas fichas vão mais longe.
Obviamente, a Microsoft não é antinuvem. Co-piloto e piloto automáticoExecutar em faturamento de nuvem baseado em usoE a Microsoft apoiou o OpenAI desde um investimento de 1 bilhão em 2019. Redmond não quer que o Windows seja um terminal idiota para o data center de outra pessoa.
Microsoft's 128GB Surface Laptop Ultra mostra quanto RAM AI local precisa
Para o contexto, um modelo local é executado na CPU, GPU ou NPU do seu PC, e MicrosoftDocumentação do Windows MLDiz que continua"Dados privados, eliminando custos de nuvem, e trabalhando sem conexão à internet,"Mas seu PC precisa de memória suficiente para segurar o modelo.
O melhor exemplo da Microsoft é oLaptop Ultra, cujo chip NVIDIA RTX Spark compartilha até 128GB de memória unificada entre a CPU e GPU, o suficiente para modelos de IA com até 120 bilhões de parâmetros. O modelo 128GB custa $5.899,99.
Em 4 de novembro, enquanto Altman estava ocupado renomeando-se para X, engenheiros da MicrosoftExplicaram como eles executam o MAI-Code-1.1.em RTX Spark. O modelo de codificação de 137,9 bilhões de parâmetros (6,8 bilhões ativos por token) precisa de 276GB a 16 bits de precisão, e a quantização, que armazena cada peso em menos bits, encolhe para um ponto de controle 53GiB. Ainda precisa de memória extra para o cache KV, que mantém o contexto do seu código.
Na configuração da Microsoft, gerou uma média de 51,12 fichas por segundo com uma entrada de 120K."O objetivo é inteligência mais útil dentro dos recursos disponíveis, não menos bits à custa da precisão ou capacidade de resposta,"Os engenheiros escreveram.
AI data centers são porque a RAM do seu próximo PC custa mais
Os comentários de Altman vieram em um momento terrível para compradores de PC. TendênciaForçaEspera preços convencionais de contrato DRAMe diz que o fornecimento de DRAM PC poderia diminuir em 2027."como mais capacidade muda para aplicações de servidores."A HBM em servidores de IA não é o DDR5 do seu laptop, mas ambos competem pelo espaço de fábrica em um punhado de fabricantes de memória.
Note queOs carregamentos de PC caíram cerca de 20%.No último trimestre.
Altman está certo que um data center ganha mais de cada gigabyte do que meu laptop, mas eu não compro um PC para maximizar a utilização global de DRAM. Eu compro para trabalhar e jogar em meus próprios termos. Em meus livros, a abordagem híbrida da Microsoft é a melhor ideia, contanto que "inteligência desmedida em cada mesa" não signifique uma mesa de US$ 5.899.
Quer IA no seu PC ou na nuvem?
FONTE: Matéria original