A execução local de grandes modelos de linguagem (LLMs) em sistemas AMD tornou-se mais acessível, graças a Ollama. Este guia se concentrará no modelo mais recente do Llama 3.2, lançado pela Meta em 25 de setembro de 2024. O Llama 3.2 da Meta se torna pequeno e multimodo com os modelos 1B, 3B, 11B e 90B. Veja como executar esses modelos em várias configurações de hardware AMD e um guia passo a passo para instalar o Ollama em sistemas operacionais Linux e Windows em GPUs Radeon.
GPUs AMD suportadas
Ollama oferece suporte a uma variedade de GPUs AMD, permitindo seu produto em modelos mais novos e mais antigos. Aqui você pode encontrar a lista de GPUs suportadas pelo Ollama:
Guia de instalação e configuração do Ollama
Linux
- Requisitos do sistema:
- Ubuntu 22.04.4
- GPU AMD com o software AMD ROCm™ mais recente instalado
- Instale o ROCm 6.1.3 seguindo as instruções abaixo
- Instale o Ollama através de um único comando
- Baixe e execute o modelo llama-3.2:
- Requisitos do sistema:
- Windows 10 ou posterior
- GPUs AMD suportadas com driver instalado
- Para instalar no Windows você pode simplesmente baixar e instalar o Ollama aqui:
https://ollama.com/download
Depois de instalado, basta abrir o PowerShell e executar:
Tão simples quanto isso, você está pronto para conversar com seu LLM local.
Você pode encontrar a lista de todos os modelos disponíveis na Ollama aqui
Conclusão
O amplo suporte da Ollama para GPUs AMD demonstra a crescente acessibilidade da execução local do LLM. Da AMD Radeon de nível consumidor ™ Placas gráficas RX até AMD Instinct topo de linha ™ aceleradores, os usuários têm uma ampla gama de opções para executar modelos como o Llama 3.2 em seu hardware. Esta abordagem flexível para permitir LLMs inovadores em todo o amplo portfólio de IA permite maior experimentação, privacidade e personalização em aplicações de IA em vários setores.