iPhone 17 Pro roda LLM de 400B que exige 200GB de memória, mas com limitações

· Fonte: Mac Magazine
iPhone 17 Pro roda LLM de 400B que exige 200GB de memória, mas com limitações

O iPhone 17 Pro conseguiu rodar um LLM 1 com 400 bilhões de parâmetros localmente, sendo que, normalmente, esses modelos requerem pelo menos 200GB de memória — o que torna essa demonstração surpreendente, visto que o dispositivo possui apenas 12GB de RAM 2.

O lado positivo de rodar um modelo localmente é que o usuário possui total privacidade, além de eliminar a necessidade de uma conexão com a internet. Contudo, o modelo em questão rodou no iPhone 17 Pro com limitações — gerando texto a cerca de 0,6 tokens por segundo, ou seja, aproximadamente uma palavra a cada um ou dois segundos — mas ainda assim conseguindo completar tarefas.

Executando um modelo de 400B no iPhone!
0,6 t/s
Créditos: @danveloper @alexintosh @danpacary

Ainda assim, esse resultado foi possível porque um trio de desenvolvedores evitou carregar o modelo completo na memória e, em vez disso, usou um método diferente que transmite dados diretamente do armazenamento, permitindo que o dispositivo lide com cargas de trabalho que, de outra forma, excederiam os limites do hardware.

Esse método utiliza uma abordagem conhecida como combinação de especialistas (Mixture of Experts, ou MoE), o que significa que o modelo ativa apenas uma pequena parte dos seus parâmetros para cada solicitação, em vez de usar todos os 400 bilhões de uma só vez — logo, reduzindo significativamente a necessidade de memória.

Ao mesmo tempo, o sistema transmite os dados do modelo do SSD 3 do iPhone para a GPU 4, o que evita o preenchimento da RAM e permite que o dispositivo processe as consultas em partes.

Mesmo com as limitações, o resultado mostra que os smartphones atuais podem lidar com modelos de IA muito maiores do que o esperado quando os desenvolvedores utilizam técnicas eficientes, como a ativação seletiva de parâmetros.

iPhone 17 Pro Max

Cores: prateado, laranja-cósmico ou azul-intenso
Armazenamento: 256GB, 512GB, 1TB ou 2TB
R$ 11.249,00 R$ 12.499,00 Compre agora

iPhone 17 Pro

Cores: prateado, laranja-cósmico ou azul-intenso
Armazenamento: 256GB, 512G ou 1TB
R$ 9.999,00 R$ 11.499,00 Compre agora

NOTA DE TRANSPARÊNCIA: O MacMagazine recebe uma pequena comissão sobre vendas concluídas por meio de links deste post, mas você, como consumidor, não paga nada mais pelos produtos/serviços usando os nossos links de afiliado.

via Wccftech

Notas de rodapé

1    Large language model, ou grande modelo de linguagem.2    Random access memory, ou memória de acesso aleatório.3    Solid-state drive, ou unidade de estado sólido.4    Graphics processing unit, ou unidade de processamento gráfico.