Yann LeCun
Lex Fridman Interview

In questo podcast, Yann LeCun, luminare dell’intelligenza artificiale, professore della New York University e presidente del gruppo AI di Facebook, viene intervistato dal mitico Lex Fridman che come al solito mantiene, per tutta la durata dell’intervista, un tono della voce degno di una marcia funebre.  A differenza di altri podcast precedenti di Yann, vengono trattati temi e concetti molto interessanti che mettono più volte in difficoltà Fridman.  Come per altri blog simili, riporto i pensieri e le risposte più interessanti affrontati nell’intervista. 

  • “Value Misalignment”: quando i valori che noi umani condividiamo non sono condivisi con una macchina.
  •  Il nostro codice civile o penale (in inglese “the code”) non è altro che un modo di modificare la nostra objective function limitando certe azioni che altrimenti saremmo naturalmente portati a compiere. Es: se non ci fosse un codice della strada i nostri comportamenti sarebbero completamente differenti; istintivamente saremmo portati a scegliere azioni di gran lunga più proficue per noi ma meno per il resto del mondo. 
  • Non ha attualmente nessun senso discutere su che limitazioni/regole (tipo tre leggi della robotica) imporre ad una ipotetica macchina senziente perché sarebbe solo pura fantascienza. Un po’ come discutere di cosa fare quando il nostro sistema solare sarà sovrappopolato…
  • L’aspetto più sorprendente, naturalmente secondo Yann, del Deep Learning è che l’algoritmo (abbastanza banale) di ottimizzazione “Stocastic Gradiente Descent“, funziona incredibilmente molto bene con modelli e reti molto grandi (si parla già di miliardi di variabili per il NLP). Questo contro tutti i libri matematici di calcolo numerico e ottimizzazione numerica di problemi di grandi dimensioni che dicevano (dicono?) il contrario.
  • Perchè secondo Yann il Deep Learning e le sue evoluzioni sono l’unica strada verso macchine sempre più “intelligenti”:
    • Prima di tutto, l’intelligenza è inseparabile dall’apprendimento. Quindi, il machine learning o apprendimento automatico è l’unica strada da seguire.
    • Secondo, noi abbiamo il cervello come dimostrazione fisica che si possa avere qualcosa che permetta di creare “intellgenza”. Quindi, un po’ come ci siamo inspirati (quindi non imitare) con gli uccelli per creare macchine volanti, il Deep Learning segue questa via  e rappresenta la strada più semplice da percorrere.
  • Le reti arriveranno sicuramente ad un punto in cui ragioneranno come noi (abbiamo il cervello come dimostrazione che questo è possibile). È solo questione di quanto “prior” inserire e di come unire il gradient based learning con la logica che noi conosciamo che è discreta e quindi incompatibile con il gradient based learning.
  • Yann sostiene che solo il gradient based learning possa essere l’unica via e tutti gli altri tipi di apprendimento spariranno poco a poco.
  •  La matematica usata nel Deep Learning è molto diversa da quella solitamente utilizzata in “Computer Science” ma molto più vicina a quella vista in “Electrical/Electronics Engineering”.
  • Per avere il ragionamento dobbiamo avere una memoria funzionante ed un sistema che tragga informazioni da essa. Per esempio, il nostro cervello utilizza tre sistemi differenti di memorizzazione:
    • Stato della corteccia: 20″
    • Ippocampo: memoria a breve termine. Senza di questa non ci ricorderemmo dove sono le uscite delle stanze in cui entriamo. Le celle LSTM utilizzate nelle reti ricorrenti (RNN) cercano di svolgere proprio questa funzione.
    • Sinapsi: qui è dove risiede la memoria a lungo termine che può essere dichiarativa, procedurale ecc…
  •  Lettura consigliata da Yann: “Machine learning to machine reasoning”.
  • Ragioni dell’AI winter degli anni ’90 secondo Yann:
    • Grosse difficoltà a livello software. Programmare reti neurali non era un compito semplice.
    • Grosse limitazioni a livello HW.
brain
  • Yann è un accanito sostenitore del fatto che non dovremmo utilizzare il termine “General Artificial Intelligence”  per riferirci ad un ipotetico sistema con un livello di intelligenza simile a quello umano. Questo perché sostiene che noi pensiamo di essere generici ma in realtà siamo molto specializzati. Il nostro corpo è fatto per supportare la località del nostro mondo. Praticamente, siamo generici su tutte le cose che possiamo immaginare. Es: se noi prendiamo i nostri occhi e recidiamo i nostri nervi (1 M di connessioni ad occhio) e diamo come input al nostro cervello pattern randomici, non c’è possibilità che il nostro sistema di visione, per come è fatto, possa imparare.  Quindi, dovremmo utilizzare non General Artificial Intelligence, ma “Human Level Intelligence” per riferirci ad un sistema con un livello di intelligenza simile a quello umano.
  • Ultimamente, i suoi studi si concentrano sull’unico tema che pensa possa portare a grossi risultati futuri: il semi-supervised learning. Se applicato in modo corretto dovrebbe permettere di creare all’interno della rete un modello del nostro mondo.
  • L’active Learning è un campo di ricerca interessante, ma non è quello che cambierà lo stato attuale della ricerca.
  • Secondo Yann, i tempi di apprendimento dei sistemi attuali non rispecchiano il nostro modo di imparare:
    • Giochi Altari: 80 h
    • StarCraft: 200 y
    • Guida autonoma di macchine: migliaia di tentativi contro 20 h in media per un umano senza mai schiantarsi
  • Nella guida autonoma e nella robotica si vedrà sempre più l’uso dell’apprendimento. Al giorno d’oggi, molte funzioni sono supportate da una sensoristica molto costosa e da algoritmi tradizionali tipo SLAM, path planning, path following, ma in futuro si cercherà sempre più di ottenere gli stessi risultati tramite l’apprendimento.
  • Il futuro del machine learning avrà  indubbiamente il Deep Learning come attore principale, la domanda è in quale misura e in che forma.
artificial_intelligence_image
  • Yann non sa, e specialmente non si sbilancia (general problem solver), a dire cosa ci manca per arrivare ad avere una macchina con un livello di intelligenza comparabile a quella umana, ma ha ben presente quelli che sono alcuni dei traguardi che dovremo raggiungere. Infatti, dopo queste prime vette potremmo trovarci di fronte ad una nuova montagna.
    1. Costruire un programma che sia in grado di apprendere un modello robusto del mondo con cui si trova ad interagire (forse il semi-supervised learning potrebbe essere la soluzione a questo punto). Infatti, ci sono molte evidenze di come i neonati apprendano in modo  non casuale, ma mirato all’imparare sempre più cose nuove del nostro mondo (2/3 mesi per riconoscere oggetti inanimati da quelli “vivi”, 4 mesi per imparare la caduta degli oggetti, 8/9 per comprendere la gravità).
    2. Creare all’interno del sistema una “objective function” che guidi il modello nelle sue azioni.
    3. Costruire un sistema per informare il sistema del suo stato di felicità (il ruolo della Basal Ganglia nel nostro cervello). In questo modo l’agente sarebbe in grado di valutare il risultato delle proprie azioni rispetto all’obbiettivo.
    4. Infine, servirebbe una specie di “Policy Function” in grado di scegliere l’azione migliore in base allo stato presente.

In questo modo si otterrebbe un sistema, in grado di simulare attraverso il suo modello interno, le migliori azioni da compiere per raggiungere il proprio obbiettivo (optimal contro theory) e il resto per riadattare i propri comportamenti in funzione della risposta dell’ambiente.