Ciao e benvenuto in un altro
AI Lab ,
 | Will Knight , scrittore senior |
| Flower AI e Vana , due startup che adottano approcci non convenzionali per lo sviluppo dell’intelligenza artificiale, hanno collaborato per creare il nuovo modello, denominato Collective-1. Flower ha creato tecniche che consentono di distribuire l’addestramento su centinaia di computer connessi tramite Internet. La tecnologia dell’azienda è già utilizzata da alcune aziende per addestrare modelli di intelligenza artificiale senza dover mettere in comune risorse di elaborazione o dati. Vana ha fornito fonti di dati, tra cui messaggi privati da X, Reddit e Telegram.Collective-1 è piccolo rispetto agli standard moderni, con 7 miliardi di parametri (valori che si combinano per conferire al modello le sue capacità) rispetto alle centinaia di miliardi dei modelli più avanzati di oggi, come quelli che alimentano programmi come ChatGPT , Claude e Gemini .Nic Lane, informatico dell’Università di Cambridge e cofondatore di Flower AI, afferma che l’approccio distribuito promette di raggiungere dimensioni ben superiori a quelle di Collective-1. Lane aggiunge che Flower AI sta completando l’addestramento di un modello con 30 miliardi di parametri utilizzando dati convenzionali e prevede di addestrare un altro modello con 100 miliardi di parametri, ovvero con dimensioni prossime a quelle offerte dai leader del settore, entro la fine dell’anno. “Potrebbe davvero cambiare il modo in cui tutti pensano all’intelligenza artificiale, quindi ci stiamo impegnando molto”, afferma Lane. Aggiunge che la startup sta anche integrando immagini e audio nell’addestramento per creare modelli multimodali.La creazione di modelli distribuiti potrebbe anche sconvolgere le dinamiche di potere che hanno plasmato il settore dell’intelligenza artificiale. Le aziende di intelligenza artificiale attualmente costruiscono i loro modelli combinando enormi quantità di dati di training con enormi quantità di elaborazione concentrate all’interno di data center dotati di GPU avanzate, collegate in rete tramite cavi in fibra ottica superveloci. Si affidano inoltre in larga misura a set di dati creati estraendo materiale accessibile al pubblico, sebbene a volte protetto da copyright, come siti web e libri. Questo approccio implica che solo le aziende più ricche e le nazioni con accesso a grandi quantità dei chip più potenti possano sviluppare in modo fattibile i modelli più potenti e preziosi. Persino i modelli open source, come Llama di Meta e R1 di DeepSeek , sono sviluppati da aziende con accesso a grandi data center. Gli approcci distribuiti potrebbero consentire ad aziende e università più piccole di sviluppare un’intelligenza artificiale avanzata mettendo in comune risorse eterogenee. Oppure potrebbero consentire a paesi privi di infrastrutture convenzionali di collegare in rete diversi data center per costruire un modello più potente.Lane ritiene che il settore dell’intelligenza artificiale si orienterà sempre di più verso nuovi metodi che consentano di superare i confini dei singoli data center. L’approccio distribuito “consente di scalare il calcolo in modo molto più elegante rispetto al modello basato su data center”, afferma.Helen Toner, esperta di governance dell’IA presso il Center for Security and Emerging Technology, afferma che l’approccio di Flower AI è “interessante e potenzialmente molto rilevante” per la competizione e la governance dell’IA. “Probabilmente continuerà ad avere difficoltà a tenere il passo con i nuovi standard, ma potrebbe rappresentare un interessante approccio “fast-follower”, afferma Toner. |
| Dividi et impera |
| L’addestramento dell’IA distribuita implica la riconsiderazione del modo in cui vengono suddivisi i calcoli utilizzati per costruire sistemi di IA potenti. La creazione di un LLM implica l’inserimento di enormi quantità di testo in un modello che ne adatta i parametri per produrre risposte utili a un prompt. All’interno di un data center, il processo di addestramento è suddiviso in modo che le parti possano essere eseguite su GPU diverse e poi consolidate periodicamente in un unico modello master. Il nuovo approccio consente di eseguire il lavoro normalmente svolto all’interno di un grande data center su hardware che può trovarsi a molti chilometri di distanza e connesso tramite una connessione Internet relativamente lenta o variabile. Anche alcuni grandi player stanno esplorando l’apprendimento distribuito. L’anno scorso, i ricercatori di Google hanno dimostrato un nuovo schema per la suddivisione e il consolidamento dei calcoli, chiamato DIstributed PAth COmposition (DiPaCo), che consente un apprendimento distribuito più efficiente.Per realizzare Collective-1 e altri LLM, Lane e collaboratori accademici nel Regno Unito e in Cina hanno sviluppato un nuovo strumento chiamato Photon che rende la formazione distribuita più efficiente. Photon migliora l’approccio di Google, afferma Lane, con un approccio più efficiente alla rappresentazione dei dati in un modello e uno schema più efficiente per la condivisione e il consolidamento della formazione. Il processo è più lento rispetto alla formazione convenzionale, ma è più flessibile, consentendo l’aggiunta di nuovo hardware per potenziare la formazione, afferma Lane.Photon è stato sviluppato in collaborazione con ricercatori dell’Università delle Poste e delle Telecomunicazioni di Pechino e dell’Università di Zhejiang in Cina. Il gruppo ha rilasciato lo strumento con licenza open source il mese scorso, consentendo a chiunque di utilizzarlo. Vana, partner di Flower AI nello sviluppo di Collective-1, sta sviluppando nuovi modi per consentire agli utenti di condividere dati personali con gli sviluppatori di intelligenza artificiale. Il software di Vana consente agli utenti di contribuire con dati privati provenienti da piattaforme come X e Reddit all’addestramento di un ampio modello linguistico e potenzialmente di specificare quali tipi di usi finali sono consentiti o persino quali benefici economici derivano dai loro contributi. Anna Kazlauskas, cofondatrice di Vana, afferma che l’idea è quella di rendere disponibili dati inesplorati per l’addestramento dell’IA e di dare agli utenti un maggiore controllo su come le loro informazioni vengono utilizzate per l’IA. “Si tratta di dati che solitamente non possono essere inclusi nei modelli di IA perché non sono disponibili al pubblico”, afferma Kazlauskas, “ed è la prima volta che i dati forniti direttamente dagli utenti vengono utilizzati per addestrare un modello di base, con gli utenti che hanno la proprietà del modello di IA creato dai loro dati”. Mirco Musolesi, informatico presso l’University College di Londra, afferma che un vantaggio chiave dell’approccio distribuito all’addestramento dell’IA risiede probabilmente nell’apertura di nuove tipologie di dati. “L’estensione a modelli di frontiera consentirebbe al settore dell’IA di sfruttare enormi quantità di dati decentralizzati e sensibili alla privacy, ad esempio in ambito sanitario e finanziario, per l’addestramento senza i rischi associati alla centralizzazione dei dati”, afferma.Cosa ne pensi del machine learning distribuito? Contribuiresti con i tuoi dati a un modello come Collective-1? Inviami un’email a hello@wired.com per farmelo sapere. |
