Per poter fruire al meglio delle lezioni, lo studente dovrà avere conoscenze di base di probabilità e statistica, nonché di analisi (in particolare la risoluzione di Equazioni alle derivate parziali) e fisica matematica (in particolare Meccanica analitica e razionale) dei precedenti corsi obbligatori triennali e magistrali.

Non sono presenti propedeuticità.

Il corso vuole essere una trattazione teorica di modelli di Intelligenza Artificiale, utilizzando elementi della meccanica statistica dei sistemi complessi. Partendo da sistemi semplici e aumentando via via la complessità di essi, si affronterà la fenomenologia di tali sistemi e la risoluzione di questi con metodi matematicamente rigorosi.

Lo scopo del corso è rendere lo studente edotto dei concetti di base della trattazione teorica dell’Intelligenza Artificiale, in particolare nella meccanica statistica delle reti neurali. Lo studente sarà alla fine in grado di riconoscere le caratteristiche principali dei modelli archetipali di reti neurali e di impostare un ragionamento critico circa modelli più complessi

Lezione frontale

Superamento di una prova orale 

1. Introduzione del corso
2. Richiami di probabilità, meccanica analitica e statistica e processi stocastici
3. Sistemi semplici e modello di Curie-Weiss. 
4. Introduzione del corso
5. Richiami di probabilità, meccanica analitica e statistica e processi stocastici
6. Sistemi semplici e modello di Curie-Weiss. Introduzione del modello di Ising e l’approssimazione di campo medio. Definizione modello di Curie-Weiss e sua risoluzione mediante metodo di punto sella, interpolazione di Guerra e equazioni alle derivate parziali
7. Sistemi complessi e modello di Sherrington-Kirkpatrick. Introduzione alle caratteristiche principali dei sistemi complessi, concetto di replica e rottura di simmetria di replica. Modello di Sherrington-Kirkpatrick e teoremi di esistenza dell’energia libera intensiva. Risoluzione del modello mediante replica trick, interpolazione di Guerra e equazioni alle derivate parziali.
8. Dinamica neurale per reti neurali. Quadro storico della nascita dell’Intelligenza Artificiale. Il perceptrone di Rosenblatt con conseguente crisi. Memoria associativa, processo di Hebb e modello di Mattis. Introduzione del modello di Hopfield a basso carico, ad alto carico e risoluzione con replica trick, interpolazione di Guerra e equazioni alle derivate parziali. Diagrammi di fase.
9. Dinamica sinaptica per reti neurali. Problema inverso via log-verosimiglianza. Principio di massima entropia su reti neurali. Equivalenza tra reti di Hopfield e macchine di Boltzmann. Apprendimento delle macchine di Boltzmann supervisionato e non supervisionato. Contrastive divergence. Oltre il modello di Hopfield: reti neurali dense, profonde, Dreaming neural networks.

1)T. Coolen, R . Kuhn, P. Sollich, Theory of Neural Information Processing Systems, Oxford Press (2005).

2) D.J. Amit, Modeling Brain Functions, Cambridge Press (1985)

3) I. Nishimori, Statistical Physics of spin glasses and information processing: An introduction, Oxford (2001)