Negli ultimi anni, i modelli di linguaggio di grandi dimensioni (LLM) hanno dimostrato il loro incredibile potenziale, ma la loro esecuzione è sempre stata limitata a hardware potente e costoso. Tuttavia, grazie all’ottimizzazione degli algoritmi e alla diffusione di modelli open-source, oggi è possibile eseguire un LLM su dispositivi molto più piccoli e accessibili.

Un esempio affascinante di questa evoluzione è il progetto di Binh Pham, che ha creato un LLM su una chiavetta USB utilizzando un Raspberry Pi Zero. Questa soluzione consente di generare testo semplicemente inserendo la chiavetta in un computer e creando un file: il contenuto viene generato automaticamente dall’LLM senza la necessità di installare software aggiuntivo.

In questo articolo analizzeremo il funzionamento di questo dispositivo, le sfide tecniche affrontate e le possibili applicazioni future.

Binh Pham: Il maker che ha portato gli LLM su USB

Binh Pham, noto nella community come Build With Binh, è un maker e sviluppatore indipendente che ha attirato l’attenzione per il suo approccio innovativo all’hardware hacking e all’intelligenza artificiale. La sua più recente creazione, un LLM su una chiavetta USB basato su Raspberry Pi Zero, rappresenta un esperimento audace che esplora i limiti dell’hardware a basso costo nell’esecuzione di modelli di linguaggio avanzati.

Il progetto, nato più come una sfida tecnica che come una soluzione pratica, ha richiesto oltre una settimana di lavoro solo per compilare e adattare llama.cpp all’architettura obsoleta ARMv6. Pham ha dovuto risolvere problemi di compatibilità, eliminare istruzioni non supportate e trovare un metodo per interfacciare il modello tramite un sistema plug-and-play basato su USB Mass Storage.

Nonostante le prestazioni limitate—223ms per token con un modello da 15M parametri e 2,5 secondi per token con un modello da 77M parametri—Pham vede il progetto come un’anteprima del futuro, in cui i LLM potranno funzionare ovunque, senza dipendere da hardware costoso o connessione Internet.

Pham è molto attivo online e condivide il suo lavoro su YouTube e GitHub, incoraggiando la community a sperimentare e migliorare le sue creazioni. Alcuni utenti su Reddit hanno persino suggerito possibili applicazioni pratiche, come un’unità di supporto tecnico automatizzata o un modulo AI per giocattoli interattivi.

Plug-and-Play AI: l’intelligenza artificiale tascabile

Uno degli aspetti più rivoluzionari del progetto di Binh Pham è la sua semplicità d’uso. La chiavetta USB è stata progettata come un dispositivo composito, capace di interfacciarsi con qualsiasi computer senza bisogno di driver o software aggiuntivi. L’interazione con il modello AI è sorprendentemente intuitiva: basta inserire la chiavetta, creare un file di testo e assegnargli un nome. Il modello di linguaggio genera automaticamente il contenuto e lo salva all’interno del file, rendendo il tutto immediatamente accessibile.

Sebbene le prestazioni non siano paragonabili a quelle delle soluzioni basate su cloud, questa implementazione rappresenta un importante proof of concept per l’intelligenza artificiale portatile e accessibile. Pham ha dichiarato che si tratta probabilmente del primo LLM plug-and-play su USB, e ciò apre la strada a molteplici possibilità. Immaginiamo scenari in cui studenti in aree remote possano utilizzare LLM su USB per ricevere aiuto nei compiti senza bisogno di connessione Internet, oppure giornalisti sul campo che generano bozze di articoli in tempo reale.

Questo progetto solleva anche interrogativi sul costo energetico dell’AI. I modelli di linguaggio più avanzati richiedono enormi quantità di energia, contribuendo all’impronta ecologica dell’industria tecnologica. Creare modelli più piccoli ed efficienti, in grado di funzionare su dispositivi a basso consumo come un Raspberry Pi Zero, potrebbe essere una soluzione più sostenibile per il futuro dell’intelligenza artificiale.

Ovviamente, esistono delle limitazioni tecniche: il Raspberry Pi Zero W ha solo 512MB di RAM, il che restringe la dimensione e la complessità dei modelli che può eseguire. Tuttavia, con l’evoluzione dell’hardware, questi limiti potrebbero essere superati, permettendo la creazione di LLM sempre più potenti e versatili in formato USB.

In definitiva, il progetto di Pham dimostra che l’innovazione non è solo una questione di potenza, ma anche di ingegno e creatività. In un mondo in cui l’AI sembra puntare sempre più in alto, questa chiavetta USB ricorda che a volte pensare in piccolo può portare a grandi rivoluzioni.

Come funziona un LLM su una chiavetta USB?

L’idea di Binh Pham è stata quella di combinare hardware minimale con software ottimizzato per ottenere un LLM funzionante su una semplice chiavetta USB. La soluzione si basa su tre componenti principali:

1. Hardware

   • Raspberry Pi Zero W: un single-board computer con 512MB di RAM e un processore ARMv6.
   • Adattatore USB: una piccola scheda che trasforma il Raspberry Pi Zero in una chiavetta USB.
   • Case stampato in 3D: per proteggere il dispositivo e renderlo compatto.

2. Software

   • llama.cpp: una versione ottimizzata di LLaMA (Large Language Model Meta AI) che permette l’esecuzione di modelli AI in locale.
   • Bash script per il montaggio automatico del drive USB: per permettere all’LLM di leggere il nome del file e generare il contenuto corrispondente.

3. Interfaccia utente

   • Nessuna GUI o software da installare: l’utente interagisce con il modello creando un file all’interno del drive USB. Il nome del file viene utilizzato come prompt per il modello di linguaggio, che poi genera il testo automaticamente.

Questa soluzione rappresenta un’implementazione creativa di AI portatile, accessibile anche a chi non ha competenze tecniche avanzate.

Le sfide tecniche del progetto

Creare un LLM su un Raspberry Pi Zero non è stato affatto semplice. Ecco alcuni degli ostacoli principali affrontati da Pham:

1. Limitazioni hardware del Raspberry Pi Zero

Il Pi Zero utilizza un processore ARM1176JZF-S con architettura ARMv6, che non supporta le istruzioni ottimizzate per l’AI presenti nelle versioni più recenti di ARM (come ARMv8). Questo ha reso impossibile compilare direttamente llama.cpp, richiedendo una modifica manuale del codice sorgente per eliminare le istruzioni non compatibili.

2. Compilazione di llama.cpp su un hardware datato

Compilare llama.cpp su un Raspberry Pi Zero è stata un’impresa titanica:

• Il processo ha richiesto oltre 12 ore per essere completato.
• Numerosi errori di compilazione non documentati hanno reso necessario un debug approfondito.
• Dopo oltre una settimana di lavoro, Pham è riuscito a ottenere una versione funzionante rimuovendo le ottimizzazioni non supportate dal Pi Zero.

3. Prestazioni limitate del modello

I modelli più grandi richiedono molta potenza di calcolo, quindi su un Raspberry Pi Zero le prestazioni sono limitate:

• Un modello da 15 milioni di parametri riesce a generare un token ogni 200 millisecondi.
• Con un modello da 77 milioni di parametri, il tempo di generazione sale a 2,5 secondi per token, rendendo l’esperienza d’uso molto lenta.

4. Sincronizzazione dei file sulla chiavetta USB

Per rendere l’esperienza utente fluida, Pham ha dovuto trovare un modo per aggiornare automaticamente il contenuto dei file sulla chiavetta senza dover scollegare e ricollegare il dispositivo manualmente. Questo è stato ottenuto sfruttando i Linux USB gadgets, che permettono di emulare un dispositivo di archiviazione con funzionalità personalizzate.

Possibili miglioramenti e applicazioni future

Nonostante le limitazioni attuali, il progetto di Pham apre la strada a nuove possibilità per l’uso di AI portatile. Alcuni miglioramenti possibili includono:

1. Utilizzo di Raspberry Pi Zero 2 W

   • Il Pi Zero 2 W ha una CPU ARM Cortex-A53 (ARMv8), che supporta nativamente le ottimizzazioni di llama.cpp.
   • Le prestazioni sarebbero significativamente migliori, consentendo di eseguire modelli più grandi con maggiore efficienza.

2. Interfaccia utente più avanzata

   • Invece di interagire solo con file di testo, si potrebbero aggiungere funzionalità di interazione tramite un’interfaccia web o un’app dedicata.

3. Modelli AI più performanti e specifici

   • Con hardware più potente, si potrebbero eseguire modelli più sofisticati, permettendo applicazioni come:
     • Assistenti virtuali privati direttamente su USB.
     • Generazione automatica di documenti o email senza bisogno di connessione Internet.
     • Interazione vocale tramite un piccolo speaker e microfono integrato.

4. Sicurezza e privacy

   • Un LLM portatile su USB potrebbe essere usato per elaborare dati sensibili in locale, senza inviarli a server remoti. Questo sarebbe un grande vantaggio per aziende e professionisti attenti alla sicurezza.

Dubbi e perplessità

1. Lentezza: un collo di bottiglia inevitabile

Il Raspberry Pi Zero W ha 512MB di RAM e una CPU ARMv6 single-core del 2002, il che lo rende estremamente limitato per eseguire qualsiasi modello di linguaggio moderno. I test di Binh Pham confermano queste criticità:

• Un modello da 15M parametri (che è estremamente piccolo) genera 1 token ogni 223 millisecondi.
• Un modello da 77M parametri richiede 2,5 secondi per token, rendendo l’esperienza d’uso impraticabile per qualsiasi applicazione reale.
• Modelli più grandi semplicemente non possono essere eseguiti a causa della scarsa memoria e della lentezza della CPU.

Di conseguenza, l’LLM su questa piattaforma è troppo lento per un utilizzo pratico, e qualsiasi operazione più complessa di una semplice generazione di testo di poche righe diventa inutilizzabile.

2. Precisione: modelli troppo piccoli per essere utili

A causa delle limitazioni hardware, i modelli utilizzati sono piccoli e poco sofisticati. Un LLM con 15-77M parametri non può competere con i modelli più avanzati che troviamo oggi anche su dispositivi mobili o PC di fascia bassa. Il risultato è che:

• Il testo generato è limitato e poco preciso rispetto ai modelli più grandi.
• Non è in grado di gestire compiti complessi o richieste articolate.
• Modelli così piccoli non hanno una comprensione approfondita del linguaggio, quindi le risposte possono essere generiche, poco coerenti o errate.

3. Perché allora è stato fatto?

Pham stesso ammette che il progetto non ha una reale utilità pratica e che l’obiettivo era più una dimostrazione tecnica che altro. Il valore di questo esperimento sta nel mostrare i limiti dell’hardware obsoleto con AI, non nell’offrire una soluzione funzionale.

4. Il Parere della community: tra critiche ed entusiasmo

a community ha accolto il progetto di Binh Pham con una vasta gamma di opinioni, che spaziano dall’entusiasmo per l’innovazione fino alle critiche più tecniche sulla reale utilità e fattibilità del progetto.

Molti commentatori hanno elogiato l’originalità dell’idea, sottolineando il valore sperimentale dell’impresa. Alcuni utenti lo hanno definito “super interessante” e “sorprendente”, mentre altri hanno espresso il desiderio di imparare di più sui sistemi embedded grazie al lavoro di Pham.

D’altra parte, una parte della community ha evidenziato alcune limitazioni tecniche. Un punto sollevato è che oggi è già possibile eseguire modelli di linguaggio in locale su smartphone, che hanno maggiori risorse hardware rispetto a un Raspberry Pi Zero. Inoltre, è stato sottolineato come la scelta di eseguire un LLM su un Pi Zero, anziché su un dispositivo più performante, sembri più orientata alla creazione di contenuti per YouTube che a una reale utilità.

Sul fronte più tecnico, alcuni sviluppatori hanno criticato il metodo di compilazione utilizzato da Pham. Un utente ha evidenziato che la compilazione diretta su Raspberry Pi Zero è inefficiente e che sarebbe stato meglio utilizzare un cross-compiler per risparmiare tempo. Tuttavia, Pham stesso ha risposto spiegando che il debugging di una toolchain di cross-compilazione per ARMv6 è complesso e poco documentato, quindi ha preferito compilarlo direttamente sul dispositivo.

Un altro aspetto dibattuto è l’interfaccia utente. Alcuni utenti hanno suggerito che emulare una porta seriale sarebbe stato un metodo più pratico per interagire con il modello, mentre altri hanno apprezzato la soluzione basata su file system per la sua universalità, in quanto può funzionare su qualsiasi dispositivo con supporto USB Mass Storage.

Infine, si è aperto un dibattito sulla possibile evoluzione del progetto. Alcuni hanno sottolineato che la vera innovazione potrebbe essere nei modelli AI personalizzati per compiti specifici, che non necessitano di elevate capacità computazionali. Altri hanno immaginato applicazioni future come elettrodomestici intelligenti o dispositivi di diagnostica per auto basati su LLM locali.

In definitiva, il progetto di Pham ha acceso la curiosità della community, suscitando sia ammirazione per la sfida tecnica, sia scetticismo sulla reale utilità del dispositivo. Tuttavia, al di là delle critiche, la maggior parte degli utenti concorda su un punto: questa innovazione, pur limitata, apre interessanti possibilità per il futuro degli LLM su dispositivi embedded.

5. Le opinioni della community su Reddit

Il progetto ha generato un acceso dibattito su Reddit, con commenti che spaziano dall’ammirazione per l’idea alla perplessità sull’utilità pratica di un LLM su Raspberry Pi Zero.

Molti utenti hanno apprezzato l’aspetto sperimentale e innovativo dell’idea, definendola una “tech demo incredibile” e suggerendo possibili miglioramenti. Un utente ha proposto di usare l’USB come HID (Human Interface Device) per rendere più intelligenti oggetti di uso quotidiano, come porte parlanti o quadri interattivi. Un altro ha accolto l’idea con entusiasmo, immaginando persino la creazione di “personality core” intercambiabili per giocattoli parlanti, simili alle cartucce di gioco per Game Boy.

D’altra parte, alcuni utenti hanno criticato la scelta del Raspberry Pi Zero, sostenendo che dispositivi più moderni con NPU integrate sarebbero stati più adatti per eseguire modelli AI in modo efficiente. Un utente ha suggerito di sostituire il Pi Zero con un Rockchip SBC con accelerazione AI, mentre un altro ha chiesto se il creatore del progetto avesse intenzione di commercializzarlo, ottenendo come risposta che le prestazioni attuali non lo rendono ancora vendibile.

Un altro punto di discussione è stato l’uso di ONNX per ottimizzare il modello, suggerito da un utente. Il creatore del progetto ha risposto con interesse, ammettendo di non aver ancora esplorato questa possibilità per la conversione dei modelli LLM su hardware con NPU.

Infine, alcuni utenti hanno espresso perplessità sulla reale utilità del progetto, come chi ha sottolineato come il Pi Zero non sia il dispositivo ideale per eseguire un LLM e che sarebbe stato più logico eseguirlo direttamente sul PC a cui viene collegata la chiavetta. Tuttavia, il creatore ha ribadito che il suo obiettivo non era l’efficienza, ma testare i limiti dell’hardware e dimostrare che un LLM può funzionare anche su un’architettura di 30 anni fa.

In generale, la discussione su Reddit ha mostrato un grande interesse per l’idea, con suggerimenti per migliorarla e adattarla a scenari più concreti, confermando che, sebbene il progetto sia attualmente più un esperimento che una soluzione pratica, potrebbe evolversi in qualcosa di davvero utile nel prossimo futuro.

Conclusione

Il progetto di Binh Pham è una dimostrazione tecnica affascinante: dimostra che un LLM può essere eseguito su un Raspberry Pi Zero, nonostante le enormi limitazioni hardware. Tuttavia, se l’obiettivo fosse stato creare un sistema realmente utilizzabile, questa non sarebbe la strada giusta. Le prestazioni sono troppo limitate, con tempi di generazione lenti e modelli troppo piccoli per offrire risultati precisi e affidabili.

Detto questo, il valore di questa sperimentazione non sta nell’efficienza, ma nella prospettiva che offre. Questo è un assaggio del futuro dell’intelligenza artificiale portatile, dove modelli AI potranno essere eseguiti su dispositivi piccoli, economici e privi di connessione Internet. Oggi esistono alternative più potenti, come SBC moderni con NPU o laptop con accelerazione AI, ma con l’evoluzione dell’hardware e l’ottimizzazione dei modelli, i limiti attuali potrebbero essere superati.

Quindi, anche se oggi questo progetto è più una curiosità tecnologica che una soluzione concreta, potrebbe essere il primo passo verso un futuro in cui l’AI sarà ovunque, anche in una semplice chiavetta USB.

Fonti e approfondimenti:

• Video del creator: YouTube – Binh Pham
• Repository GitHub: llama.zero

Kit consigliati:

• Kit elegoo uno r3
• Arduino starter kit