La regolarizzazione del machine learning spiegata con esempi

Immagini Getty

La regolarizzazione nell'apprendimento automatico è un insieme di tecniche utilizzate per garantire che un modello di apprendimento automatico possa generalizzarsi a nuovi dati all'interno dello stesso set di dati. Queste tecniche possono aiutare a ridurre l'impatto dei dati rumorosi che non rientrano nell'intervallo di modelli previsto. La regolarizzazione può anche migliorare il modello rendendo più semplice il rilevamento dei casi limite rilevanti all'interno di un'attività di classificazione.

Considera un algoritmo appositamente addestrato per identificare le e-mail di spam. In questo scenario, l'algoritmo è addestrato a classificare le e-mail che sembrano provenire da una nota catena di farmacie statunitense e contengono solo una singola immagine come probabile spam. Tuttavia, questo approccio ristretto rischia di deludere i clienti fedeli della catena, che non vedevano l'ora di essere informati sulle ultime vendite del negozio. Un algoritmo più efficace prenderebbe in considerazione altri fattori, come la tempistica delle e-mail, l'uso delle immagini e i tipi di collegamenti incorporati nelle e-mail per etichettare accuratamente le e-mail come spam.

Questo modello più complesso, tuttavia, dovrebbe anche tenere conto dell’impatto che ciascuna di queste misure ha aggiunto all’algoritmo. Senza regolarizzazione, il nuovo algoritmo rischia di essere eccessivamente complesso, soggetto a bias e incapace di rilevare la varianza. Approfondiremo questi concetti di seguito.

In breve, la regolarizzazione spinge il modello a ridurre la sua complessità durante la fase di addestramento, ha spiegato Bret Greenstein, leader di dati, intelligenza artificiale e analisi presso PwC.

"La regolarizzazione agisce come una sorta di penalità che viene aggiunta alla funzione di perdita o al valore utilizzato per aiutare ad assegnare importanza alle caratteristiche del modello", ha affermato Greenstein. "Questa penalità impedisce al modello di trovare parametri che potrebbero attribuire un'importanza eccessiva alle sue caratteristiche."

In quanto tale, la regolarizzazione è uno strumento importante che può essere utilizzato dai data scientist per migliorare l’addestramento del modello al fine di ottenere una migliore generalizzazione o per aumentare le probabilità che il modello funzioni bene se esposto a esempi sconosciuti.

Adnan Masood, capo architetto dell'intelligenza artificiale e dell'apprendimento automatico presso la società di consulenza per la trasformazione digitale UST, ha affermato che la sua azienda utilizza regolarmente la regolarizzazione per trovare un equilibrio tra complessità del modello e prestazioni, evitando abilmente sia l'underfitting che l'overfitting.

L'overfitting, come descritto sopra, si verifica quando un modello è troppo complesso e apprende il rumore nei dati di addestramento. L'underfitting si verifica quando un modello è troppo semplice per catturare i modelli di dati sottostanti.

"La regolarizzazione fornisce un mezzo per trovare l'equilibrio ottimale tra questi due estremi", ha affermato Masood.

Consideriamo un altro esempio dell'uso della regolarizzazione nel commercio al dettaglio. In questo scenario, l'azienda desidera sviluppare un modello in grado di prevedere quando un determinato prodotto potrebbe essere esaurito. A tale scopo, l'azienda ha sviluppato un set di dati di formazione con molte funzionalità, come dati sulle vendite passate, stagionalità, eventi promozionali e fattori esterni come il tempo o le festività.

Ciò, tuttavia, potrebbe portare a un adattamento eccessivo quando il modello è troppo strettamente legato a modelli specifici nei dati di addestramento e, di conseguenza, potrebbe essere meno efficace nel prevedere l'esaurimento delle scorte sulla base di dati nuovi e invisibili.

"Senza regolarizzazione, il nostro modello di machine learning potrebbe potenzialmente apprendere troppo bene i dati di addestramento e diventare eccessivamente sensibile al rumore o alle fluttuazioni dei dati storici", ha affermato Masood.

In questo caso, uno scienziato dei dati potrebbe applicare un modello di regressione lineare per ridurre al minimo la somma della differenza al quadrato tra le istanze di esaurimento scorte effettive e previste. Ciò scoraggia il modello dall'assegnare troppa importanza a qualsiasi caratteristica.

Inoltre, potrebbero assegnare un parametro lambda per determinare la forza della regolarizzazione. Valori più alti di questo parametro aumentano la regolarizzazione e abbassano i coefficienti del modello (pesi del modello).

Quando questo modello regolarizzato viene addestrato, bilancerà l'adattamento dei dati di addestramento e il mantenimento di pesi del modello ridotti. Il risultato è un modello potenzialmente meno accurato sui dati di addestramento e più accurato quando si prevede l'esaurimento delle scorte su dati nuovi e invisibili.