NVIDIA NIM na AWS potencializa inferência de IA

A inteligência artificial generativa está revolucionando rapidamente as indústrias, impulsionando a demanda por soluções de inferência seguras e de alto desempenho para dimensionar modelos cada vez mais complexos de forma eficiente e econômica.

Expandindo sua colaboração com a NVIDIA, a Amazon Web Services (AWS) revelou hoje na conferência anual AWS re:Invent que estendeu os microsserviços NVIDIA NIM aos principais serviços de IA da AWS para oferecer suporte a inferência de IA mais rápida e menor latência para aplicativos generativos de inteligência artificial.

Os microsserviços NVIDIA NIM agora estão disponíveis diretamente no AWS Marketplace, bem como no Amazon Bedrock Marketplace e Amazon SageMaker JumpStart, tornando ainda mais fácil para os desenvolvedores implantarem inferência otimizada pela NVIDIA para modelos comumente usados ​​em escala.

NVIDIA NIM, parte da plataforma de software NVIDIA AI Enterprise disponível no AWS Marketplace, oferece aos desenvolvedores um conjunto de microsserviços fáceis de usar, projetados para implantar de forma segura e confiável a inferência de modelos de IA de nível empresarial e de alto desempenho em nuvens, data centers e estações de trabalho.

Esses contêineres pré-construídos são alimentados por mecanismos de inferência robustos, como NVIDIA Triton Inference Server, NVIDIA TensorRT, NVIDIA TensorRT-LLM e PyTorch, e oferecem suporte a um amplo espectro de modelos de IA, desde modelos de comunidade de código aberto até NVIDIA AI Foundation e modelos personalizados.

Os microsserviços NIM podem ser implantados em vários serviços da AWS, incluindo Amazon Elastic Compute Cloud (EC2), Amazon Elastic Kubernetes Service (EKS) e Amazon SageMaker.

Os desenvolvedores podem visualizar mais de 100 microsserviços NIM criados a partir de modelos e famílias de modelos comumente usados, incluindo Llama 3 da Meta, Mistral e Mixtral da Mistral AI, Nemotron da NVIDIA, SDXL da Stability AI e muitos mais no catálogo API da NVIDIA. Os mais comumente usados ​​estão disponíveis para auto-hospedagem para implantação em serviços AWS e são otimizados para execução em instâncias de computação aceleradas NVIDIA na AWS.

Os microsserviços NIM agora disponíveis diretamente na AWS incluem:

  • NVIDIA Nemotron-4disponível no Amazon Bedrock Marketplace, Amazon SageMaker Jumpstart e AWS Marketplace. É um LLM de última geração projetado para gerar diversos dados sintéticos que imitam de perto os dados do mundo real, melhorando o desempenho e a robustez de LLMs personalizados em vários domínios.
  • Lama 3.1 8B-Educaçãodisponível no AWS Marketplace. Este grande modelo de linguagem multilíngue, com 8 bilhões de parâmetros, é pré-treinado e otimizado para casos de uso de compreensão de linguagem, raciocínio e geração de texto.
  • Lama 3.1 70B-Educaçãodisponível no AWS Marketplace. Este modelo pré-treinado e otimizado para declarações com 70 bilhões de parâmetros é otimizado para diálogo multilíngue.
  • Mixtral Instrução 8x7B v0.1disponível no AWS Marketplace. Essa mistura esparsa de modelos especializados de alta qualidade com pesos abertos pode seguir instruções, atender solicitações e gerar formatos de texto criativos.

NIM na AWS para todos

Clientes e parceiros de todos os setores estão aproveitando o NIM na AWS para chegar ao mercado com mais rapidez, manter a segurança e o controle de aplicativos e dados de IA generativos e reduzir custos.

A SoftServe, uma provedora de consultoria de TI e serviços digitais, desenvolveu seis soluções generativas de IA totalmente implantadas na AWS e aceleradas pelos serviços NVIDIA NIM e AWS. As soluções, disponíveis no AWS Marketplace, incluem SoftServe Gen AI Drug Discovery, SoftServe Gen AI Industrial Assistant, Digital Concierge, Multimodal RAG System, Content Creator e Speech Recognition Platform.

Todos eles são baseados em NVIDIA AI Blueprints, fluxos de trabalho de referência abrangentes que aceleram o desenvolvimento e a implantação de aplicativos de IA e incluem bibliotecas de aceleração NVIDIA, kits de desenvolvimento de software e microsserviços NIM para agentes de IA, gêmeos digitais e muito mais.

Comece agora com NIM na AWS

Os desenvolvedores podem implantar microsserviços NVIDIA NIM na AWS com base em suas necessidades e requisitos específicos. Dessa forma, desenvolvedores e empresas podem obter IA de alto desempenho com contêineres de inferência otimizados pela NVIDIA em vários serviços da AWS.

Visite o Catálogo de APIs da NVIDIA para experimentar mais de 100 modelos diferentes otimizados para NIM e solicite uma licença de desenvolvedor ou uma licença de teste NVIDIA AI Enterprise de 90 dias para começar a implantar microsserviços em serviços da AWS. Os desenvolvedores também podem explorar microsserviços NIM no AWS Marketplace, Amazon Bedrock Marketplace ou Amazon SageMaker JumpStart.

Ver eu notifico em relação às informações do produto de software.

FONTE

Por Staff

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *