Probabilità e Informazione

 

Informazioni da fornire per ogni singolo insegnamento

Denominazione dell’insegnamento:  Probabilità e Informazione                           

Corso di Laurea o di Laurea Magistrale :  Ingegneria Elettronica e Informatica                  

SSD: ING-INF/03                                                                    Numero C.F.U.: 6                 

Titolari: Sellitto Mauro                             

 

Obiettivi del corso

 

Acquisire familiarità con l'uso della probabilità e le sue applicazioni, e con le nozioni fondamentali della teoria dell'informazione.

 

 

 

Programma del corso

 1. Nozioni generali di teoria della probabilità. Variabili aleatorie discrete e continue. Fattoriale e sua approssimazione. Schemi di Bernoulli e distribuzione binomiale, approssimazione di Poisson e di de Moivre-Laplace. Probabilità condizionata. Teorema di Bayes e della probabilità completa. Media, varianza, e momenti di ordine superiore. Diseguaglianza di Tchebishev. Legge dei grandi numeri. Funzione generatrice dei momenti e sue proprietà. Integrali gaussiani. Teorema limite centrale. Trasformazioni di variabili aleatorie.

2. Schema di un sistema di comunicazione. Sorgenti discrete. Autoinformazione. Entropia di sorgente e sue proprietà. Concavità e convessità. Diseguaglianza di Jensen e di Gibbs. Divergenza di Kullback-Leibler. Sequenze tipiche e proprietà di equipartizione asintotica. Codifica di sorgente. Codici non-singolari, univocamente decodificabili, istantanei, e a prefisso. Rappresentazione ad albero di un codice. Teorema di Kraft-McMillan. Teorema di efficienza. Codici di Shannon. Primo teorema di Shannon. Codici di Huffman. Canali discreti e loro proprietà. Probabilità di errore. Equivocazione. Mutua informazione. Capacità di canale. Secondo teorema di Shannon.

Curricula scientifici dei docenti

Sono resi disponibili a cura del docente: Mauro Sellitto

Competenze attese in ingresso e/o Propedeuticità

 Elementi di teoria degli insiemi. Calcolo differenziale e integrale.

(Analisi I, Geometria, Fisica I).

Risultati d’apprendimento attesi

Aver capito l'importanza delle nozioni centrali di probabilità, entropia, informazione, codice, efficienza, equivocazione e il loro uso nella modellistica di svariati fenomeni, in particolare modo quelli relativi ai problemi di teoria della comunicazione.Saper progettare codici efficienti per sorgenti di informazione discrete e manipolare i parametri base della descrizione stocastica dei canali discreti senza memoria.

Anno del corso di studio in cui è inserito

Secondo anno, secondo semestre.

Testi di riferimento

Appunti e dispense rese disponibili dal docente.

Materiale didattico aggiuntivo

Sono resi disponibili a cura del docente: Mauro Sellitto

Modalità di erogazione

Tradizionale.

Sede

Via Michelangelo - Via Roma 29 Aversa.

Organizzazione della didattica

Modalità di frequenza

Obbligatoria

Metodi di valutazione

 Esame scritto e orale

Dati statistici delle votazioni conseguite dagli studenti

Sono resi disponibili a cura del docente: Mauro Sellitto

Calendario delle attività didattiche

Dal 14 settembre al 21 dicembre 2013, sito _____________________

Eventuali attività di supporto alla didattica

Orari di ricevimento studenti

Sono resi disponibili a cura del docente: Mauro Sellitto

Calendario delle prove di esame

Disponibile sul sito esami.ceda.unina2.it e sul sito del docente: Mauro Sellitto