A evolução da inteligência artificial está transformando a forma como as empresas operam, e a Cisco está na vanguarda dessa mudança. De acordo com informações do Towards Data Science, a empresa está implementando uma arquitetura de GPU como serviço (GPUaaS) para suportar a IA em escala empresarial em ambientes on-premises.
Como a Cisco está implementando o GPUaaS?
A Cisco adicionou um Cisco UCS C845A a um de seus laboratórios, equipado com GPUs NVIDIA RTX PRO 6000 Blackwell, para criar uma plataforma interna compartilhada. Essa plataforma permite que equipes experimentem, validem ideias e adquiram experiência prática com GPUs. A plataforma é implantada como um cluster Single Node OpenShift (SNO) e oferece uma experiência de GPUaaS multi-inquilino, onde os usuários reservam capacidade através de uma interface de calendário.
Quais são os desafios e soluções na arquitetura?
O sistema aborda questões como isolamento de inquilinos e gerenciamento de recursos, utilizando a configuração de GPUs com o NVIDIA GPU Operator. A plataforma é dividida em três planos: agendamento, controle e tempo de execução, com um banco de dados PostgreSQL como fonte única de verdade. O controlador do sistema, baseado em Python, opera em um loop contínuo para garantir que o estado desejado seja alcançado, mesmo em caso de falhas.
Qual é o impacto econômico do uso de GPUs?
O custo das GPUs é uma preocupação significativa. A Cisco desenvolveu um framework de tokenomics para calcular o custo por milhão de tokens processados, considerando a utilização da infraestrutura. A eficiência na utilização das GPUs pode reduzir significativamente o custo por token, tornando o uso on-premises mais econômico em comparação com soluções em nuvem para demandas consistentes de GPU empresarial.
Quais são as vantagens do on-premises sobre a nuvem?
Para testes, demonstrações e POCs, a nuvem pode ser mais barata, mas para demandas consistentes de GPU, a infraestrutura on-premises oferece vantagens econômicas. A arquitetura da Cisco permite que as empresas mantenham controle operacional sobre seus dados e infraestrutura, oferecendo uma alternativa viável às soluções em nuvem.
“A plataforma não é um produto ou serviço gerenciado, mas uma arquitetura construída sobre Kubernetes, PostgreSQL, Python e o NVIDIA GPU Operator.”
Essa abordagem oferece um ponto de partida prático que aborda o agendamento, a multi-tenancy, o modelo de custos e as realidades operacionais do dia a dia de manter a infraestrutura de GPU confiável.
