Perplexity lancia Portable Computer, un sistema locale per AI su NVIDIA DGX Spark

Un nuovo passo verso l’AI locale con Perplexity

Perplexity ha lanciato Portable Computer, una versione locale del suo platform agentic Computer, che esegue l’harness dell’agente, l’orchestratore, il planner, il router delle tool e i modelli post-addestrati direttamente su NVIDIA DGX Spark. Questo sistema è progettato per offrire un’esperienza di elaborazione locale completa, con un’architettura che integra modelli, engine di inferenza, sandbox e connettori applicativi in un’unica soluzione. Il lancio avviene in un contesto in cui l’AI locale sta guadagnando terreno, grazie a una crescente richiesta di controllo dati e riduzione dei costi. Portable Computer è un software in distribuzione, non un beta, che richiede un hardware specifico, come un box GB10 o una GPU RTX con 24 GB di VRAM.

Funzionalità e limiti del sistema

Portable Computer permette l’uso di modelli come Qwen 3.8 27B o PPLX 27B, quest’ultimo addestrato specificamente per l’harness di Perplexity. L’architettura include un sandbox OS-enforced che limita l’accesso a processi, percorsi di file e connessioni di rete, garantendo sicurezza e controllo. Se il sandbox non è disponibile, l’esecuzione delle tool viene disattivata, non ridotta in modo silenzioso. Il sistema supporta anche l’uso di modelli personali e server di inferenza, con un’installazione semplice tramite un repository apt standard.

Un approccio ibrido per l’elaborazione

Il sistema supporta l’uso di modelli locali, ma permette anche l’escalation a 15+ modelli cloud, con approvazione esplicita per ogni passo dopo un controllo PII. Questo approccio ibrido è stato testato su benchmark come Terminal Bench 2.1, dove il 59.6% del lavoro è stato completato localmente a costo zero per token, mentre l’escalation con un advisor ha portato a un 73.0% a circa $0.415 per rollout. Rispetto a Opus 5, il sistema ha dimostrato un miglioramento significativo, con un punteggio del 73.0% contro il 82.4% del modello cloud. La combinazione di località e accesso a modelli avanzati sembra essere la chiave per un equilibrio tra efficienza e potenza.

Applicazioni e disponibilità

Portable Computer è disponibile per Linux, con supporto per Pro, Max, Enterprise Pro e Enterprise Max, mentre Windows arriverà a settembre. macOS non è incluso nel roadmap. L’applicazione è rivolta a settori come finanza, legge, sanità, governo e difesa, dove la risidenza dei dati e la confidenzialità contrattuale sono fondamentali. I connettori supportati includono Gmail, Outlook, Slack e GitHub, che vengono gestiti tramite l’orchestratore locale. L’assenza di costi per token per i modelli locali rende il sistema economicamente sostenibile per migliaia di verifiche e migrazioni di repository.