Empresas e organizações do setor público em todo o mundo estão desenvolvendo agentes de IA para melhorar as capacidades das forças de trabalho que dependem de informações visuais de um número crescente de dispositivos, incluindo câmeras, sensores IoT e veículos.
Para apoiar seu trabalho, um novo NVIDIA AI Blueprint para pesquisa e resumo de vídeo permitirá que desenvolvedores de praticamente qualquer setor criem agentes visuais de IA que analisam conteúdo de vídeo e imagem. Esses agentes podem responder perguntas dos usuários, gerar resumos e ativar alertas para cenários específicos.
Pertencente ao NVIDIA Metropolis, um conjunto de ferramentas de desenvolvimento para a construção de aplicações visuais de IA, o projeto é um fluxo de trabalho personalizável que combina visão computacional da NVIDIA e tecnologias de IA generativa.
Integradores de sistemas globais e provedores de soluções de tecnologia, incluindo Accenture, Dell Technologies e Lenovo, estão trazendo o NVIDIA AI Blueprint para pesquisa visual e resumo para empresas e cidades em todo o mundo, inaugurando a próxima onda de aplicativos de IA que podem ser implementados para aumentar produtividade e segurança em fábricas, armazéns, lojas, aeroportos, cruzamentos de ruas e muito mais.
Anunciado antes do Smart City Expo World Congress, o NVIDIA AI Blueprint oferece aos desenvolvedores de computação visual um conjunto abrangente de software otimizado para construir e implantar agentes generativos alimentados por IA, capazes de capturar e compreender grandes volumes de streams de vídeo ao vivo ou arquivos de dados.
Os usuários podem personalizar esses agentes visuais de IA com instruções em linguagem natural, em vez de códigos de software rígidos, reduzindo as barreiras à implantação de assistentes virtuais em setores e aplicações de cidades inteligentes.
NVIDIA AI Blueprint aproveita modelos de linguagem de visão
Os agentes visuais de IA são baseados em modelos de linguagem visual (VLMs), uma classe de modelos generativos de IA que combinam visão computacional e compreensão da linguagem para interpretar o mundo físico e realizar tarefas de raciocínio.
O NVIDIA AI Blueprint para pesquisa e resumo de vídeo pode ser configurado com microsserviços NVIDIA NIM para VLMs, como NVIDIA VILA, LLMs, como Meta’s Llama 3.1 405B, e modelos de IA para resposta a perguntas aceleradas por GPU e geração aumentada de contexto de recuperação com reconhecimento de dados. Os desenvolvedores podem facilmente trocar outros VLMs, LLMs e bancos de dados gráficos e ajustá-los usando a plataforma NVIDIA NeMo para seus ambientes e casos de uso exclusivos.
A adoção do NVIDIA AI Blueprint pode economizar meses de esforço dos desenvolvedores na pesquisa e otimização de modelos generativos de IA para aplicações de cidades inteligentes. Implantado em GPUs NVIDIA na borda, no local ou na nuvem, ele pode acelerar drasticamente o processo de análise de arquivos de vídeo para identificar momentos importantes.
Num ambiente de armazém, um agente de IA criado com este fluxo de trabalho poderia alertar os trabalhadores se os protocolos de segurança fossem violados. Em cruzamentos movimentados, um agente de IA poderia identificar colisões de trânsito e gerar relatórios para auxiliar nos esforços de resposta a emergências. E no domínio das infraestruturas públicas, os trabalhadores da manutenção poderiam pedir aos agentes de IA que analisassem imagens aéreas e identificassem estradas, vias férreas ou pontes em deterioração para apoiar a manutenção proativa.
Além dos espaços inteligentes, os agentes visuais de IA também podem ser usados para resumir vídeos para pessoas com visão subnormal, gerar automaticamente resumos de eventos esportivos e ajudar a rotular enormes conjuntos de dados visuais para treinar outros modelos de IA.
O fluxo de trabalho de pesquisa e resumo de vídeos se junta a uma coleção de NVIDIA AI Blueprints que facilitam a criação de avatares digitais com tecnologia de IA, a criação de assistentes virtuais para atendimento personalizado ao cliente e a extração de insights de negócios a partir de dados PDF.
Os NVIDIA AI Blueprints podem ser experimentados e baixados gratuitamente pelos desenvolvedores e podem ser implantados em produção em data centers e nuvens aceleradas com o NVIDIA AI Enterprise, uma plataforma de software ponta a ponta que acelera pipelines de ciência de dados e simplifica o desenvolvimento e a implementação. de IA generativa.
Agentes de IA entregarão inteligência de armazéns às capitais mundiais
Os clientes corporativos e do setor público também podem aproveitar a coleção completa de NVIDIA AI Blueprints com a ajuda do ecossistema de parceiros NVIDIA.
A Accenture, uma empresa global de serviços profissionais, integrou NVIDIA AI Blueprints em sua Accenture AI Refinery, que se baseia no NVIDIA AI Foundry e permite que os clientes desenvolvam modelos de IA personalizados treinados em dados corporativos.
Integradores de sistemas globais no Sudeste Asiático, incluindo ITMAX na Malásia e FPT no Vietnã, estão construindo agentes de IA com base na pesquisa de vídeo e no resumo do NVIDIA AI Blueprint para cidades inteligentes e aplicações de transporte inteligentes.
Os desenvolvedores também podem criar e implantar NVIDIA AI Blueprints em plataformas NVIDIA AI com computação, rede e software fornecidos por fabricantes globais de servidores.
A Dell usará abordagens VLM e de agente com a plataforma Dell NativeEdge para aprimorar os aplicativos de IA de borda existentes e criar novos recursos habilitados para IA de borda. Os designs de referência da Dell para Dell AI Factory com NVIDIA e NVIDIA AI Blueprint para pesquisa e resumo de vídeo darão suporte a recursos VLM em fluxos de trabalho de IA dedicados para casos de uso empresarial multimodal em data centers, na borda e no local.
Os NVIDIA AI Blueprints também são incorporados às soluções Lenovo Hybrid AI baseadas em NVIDIA.
Empresas como a K2K, fornecedora de aplicativos para cidades inteligentes no ecossistema NVIDIA Metropolis, usarão o novo NVIDIA AI Blueprint para criar agentes de IA que analisam câmeras de trânsito em tempo real. Isto permitirá que as autoridades municipais façam perguntas sobre as atividades nas ruas e recebam conselhos sobre como melhorar as operações.
A empresa também está colaborando com gestores de tráfego da cidade de Palermo, na Itália, para implementar agentes visuais de IA usando microsserviços NIM e NVIDIA AI Blueprints.
Saiba mais sobre o NVIDIA AI Blueprint para pesquisa e resumo de vídeos visitando o estande da NVIDIA no Smart Cities Expo World Congress, que está ocorrendo em Barcelona até 7 de novembro.
Aprenda como criar um agente visual de IA e começar o projeto. Este é um passo importante para melhorar a eficiência e a segurança do tráfego na cidade de Palermo.
A implementação de agentes visuais de IA pode trazer muitos benefícios para a gestão do tráfego, como a detecção de padrões de comportamento dos motoristas, prevenção de acidentes e melhoria na fluidez do tráfego.
Além disso, a parceria entre a empresa e os gestores de tráfego de Palermo demonstra o compromisso em buscar soluções inovadoras para tornar as cidades mais inteligentes e sustentáveis.
Ao visitar o estande da NVIDIA no Smart Cities Expo World Congress, os participantes poderão ter uma visão mais aprofundada do NVIDIA AI Blueprint e como ele pode ser aplicado em diferentes contextos urbanos.
Não perca a oportunidade de aprender mais sobre as tecnologias de IA que estão transformando a maneira como lidamos com os desafios das cidades modernas. Junte-se a nós e descubra como a IA pode revolucionar a gestão do tráfego e tornar as cidades mais seguras e eficientes.
FONTE
