Companhia do Vale do Silício

Se você quiser ter uma noção do que as empresas estão realmente fazendo com a infraestrutura de IA e os problemas de processamento e capacidade de rede, energia e resfriamento que estão enfrentando, o que você precisa fazer é conversar com alguns provedores de datacenter de co-location. E assim, vamos fazer isso começando com Colovore, que tem sede em Santa Clara, no coração do Vale do Silício e talvez o pior lugar para administrar um datacenter.

Ou, se você fizer certo, talvez o melhor lugar, porque a demanda do cliente está nas alturas. E é exatamente assim que Ben Coughlin, cofundador, presidente e diretor financeiro da Colovore, vê isso.

Colovore chamou nossa atenção porque é o local onde a Cerebras Systems está hospedando seu cluster "Andromeda" de dezesseis de seus sistemas de computação em escala de wafer CS-2, que oferece mais de 1 exaflops de matemática de ponto flutuante FP16 de meia precisão para treinar modelos de IA , que é mostrado na imagem acima no datacenter na Space Park Drive perto do Aeroporto Internacional San Jose Mineta - e curiosamente do outro lado da rua da UNIXSurplus Computer Store e a poucos passos de distância dos datacenters administrados pela Digital Realty, Equinix, Evocative e Tata Communications.

Fundada em 2012, quando o boom da IA ​​acelerada por GPU estava começando, a Colovore levantou US$ 8 milhões em financiamento até o momento e tem apenas um datacenter até agora. O datacenter SJC01 da empresa pesa 24.000 pés quadrados, que é compacto graças ao resfriamento líquido, está em operação desde 2014. A instalação SJC01 foi expandida de forma incremental, com uma expansão de 2 megawatts dentro da instalação que foi feita em fevereiro de 2022, para chegar mais perto de sua carga total de 9 megawatts. Os racks começaram com 20 quilowatts de energia e resfriamento e foram expandidos para 35 quilowatts. Seu datacenter SJC02, previsto para abrir no segundo trimestre de 2024, ocupará o edifício UNIXSurplus, que está alugando da Ellis Partners. (Existe uma metáfora se alguma vez vimos uma...) Ele tem cerca de 29.000 pés quadrados de espaço e, como o SJC01, oferecerá apenas racks refrigerados a líquido e possivelmente algum resfriamento líquido direto se os clientes solicitarem. (E achamos que sim.) Os racks escalam para 50 quilowatts no novo datacenter desde o início.

A Colovore foi co-fundada por Sean Holzknecht, que foi vice-presidente de operações da Evocative e fundou outra operadora de datacenter chamada Emerytech Data Center após uma passagem por vários escritórios centrais em São Francisco para a Pacific Bell. Coughlin é a pessoa do dinheiro e foi sócio da Spectrum Equity Investors, uma empresa de private equity com US$ 5 bilhões em capital focada em telecomunicações e mídia digital. Peter Harrison, o terceiro cofundador da Colovore, gerenciou o datacenter global do Google, seu projeto de fibra até as instalações e a rede de distribuição de conteúdo do YouTube. Harrison foi diretor de operações do eBay e também ajudou a Netflix a lançar seu serviço de streaming de vídeo.

Coughlin entrou em contato conosco porque vê todo mundo querendo continuar com a IA, mas eles ainda não entenderam os problemas de resfriamento com esses monstros matemáticos de matriz de que precisam para conduzir mecanismos de recomendação e grandes modelos de linguagem. Colovore está no meio disso, operando uma instalação de 9 megawatts no centro da ação, que é completamente refrigerada a líquido e pronta para assumir a computação mais densa que suas empresas precisam. Não estamos falando dos 100 kilowatts por rack que um supercomputador maciço de classe exascale com placas frias de conexão direta e refrigeração líquida pode precisar hoje em dia, mas está chegando perto. E se você precisar disso, Coughlin tem a equipe e as instalações que podem abrir esse envelope bem no coração do Vale do Silício.

Ben Coughlin: Obviamente, acompanhamos sua cobertura desse setor há algum tempo. E estamos em uma interseção interessante na Colovore porque oferecemos suporte a muitas das novas infraestruturas de IA aqui no Vale do Silício – em parte porque oferecemos refrigeração líquida. Há muita discussão sobre o crescimento da IA ​​e como eles estão inovando nas plataformas de servidor subjacentes, mas há uma discussão muito limitada sobre o datacenter. A grande maioria dos datacenters não é construída para suportar esses sistemas de IA. Se o datacenter não puder suportar isso, Houston, temos um pequeno problema aqui.