Eye on AI:
 Yann LeCun

In questo podcast, Yann parla prevalentemente della sua storia di ricercatore e appassionato del mondo dell’intelligenza artificiale. Di seguito, riporto i punti più interessanti della conversazione.

  • Yann fin da giovane è sempre stato attratto dall’intelligenza umana e dai sui misteri (fan del film 2001 Odissea nello spazio). 
  • Suo padre è un ingegnere meccanico e ha insegnato a lui e suo fratello le basi della scienza. Ispirato dalla guida paterna, sceglierà di intraprendere gli studi ingegneristici (ingegneria elettrica) all’università di Parigi.
  • Ha sempre pensato che l’apprendimento sia qualcosa di inseparabile dall’intelligenza.
  • Si appassiona al mondo del machine learning e delle reti neurali attraverso il Percettrone di Frank Rosenblatt. Sfortunatamente, negli anni ’80, non c’era più nessun ricercatore a lavorare su quel tema. Infatti, le limitazioni del semplice Percettrone e l’uso sbagliato della attivazione binaria nelle reti (incompatibile con il gradiente) fecero perdere qualsiasi interesse sul tema.
  • Lavora durante il suo periodo di dottorato a un algoritmo per addestrare reti con più layers. In quegli anni conosce ad una conferenza Geoffrey Hinton che stava lavorando allo stesso problema. Nei suoi anni di post-doc a Montreal con Hinton avrà anche la possibilità di conoscere, a un talk, Yoshua Bengio.
  • Lavorando ai Bell Labs sviluppa le reti convoluzionali per il riconoscimento automatico dei numeri degli assegni. 
  • Fino al 2003 abbandona gli studi sul machine learning per dedicarsi alla compressione delle immagini (progetto DjVu).
  • Tutto il machine learning si basa sulle rappresentazioni. Queste sono una componente fondamentale in ogni sistema di apprendimento automatico. Prima del deep learning, costruire le features per risolvere un problema era praticamente un lavoro. Invece, con una rete neurale si possono considerare i primi layer come estrattori di caratteristiche che successivamente saranno utilizzate dai livelli più profondi.
perceptron
Perceptrone con solo una cella LTU (linear threshold unit). Se la somma è positiva l'uscita è uguale a uno (heaviside o step function). Il Perceptrone può avere più unità, ma tutte sullo stesso livello.
weight_update_perceptron
L'algoritmo di apprendimento del Percettrone si inspira alla regola di Hebb: quando un neurone innesca un altro neurone, la connessione tra questi due neuroni cresce. "Cells that fire together, wire together."
  • Il nostro mondo è gerarchico ed è frutto di una composizione di più elementi. Per questo motivo il nostro cervello, che è altamente specializzato per il nostro mondo, si è evoluto in modo tale da affrontare e risolvere i problemi in modo gerarchico.
  • Le reti convoluzionali sfruttano la località (neuroni connessi soltanto ad una porzione dello strato precedente) e la composizione in modo tale da sfruttare la gerarchicità del  nostro mondo.
  • Il deep learning, utilizzando il supervised training, ha bisogno di molti dati e quindi molte applicazioni sono limitate da questo aspetto. Invece, le reti addestrate con  il reinforcement learning, mancando di un senso comune del nostro mondo, imparano facendo milioni di tentativi. 
  • La soluzioni è nel unsupervised learning. Per Yann il self supervised learning è la strada da seguire. Un gatto non ha insegnamenti ma ha un modello del nostro mondo e un senso comune ben lontani da qualsiasi macchina che ad oggi possiamo pensare di costruire.
  • Predire il frame successivo di un video utilizzando una loss come MSE (mean squared error) porta solo ad avere un immagine sfuocata. Infatti, molte situazioni non permettono di predire facilmente un movimento successivo.
  •  I problemi di percezione sono molto  simili a un riflesso: non hanno bisogno di un ragionamento.