Biometrics, Multimedia Forensics and IoT

Obiettivi

Il corso si prefigge di fornire conoscenze avanzate e strumenti metodologici per comprendere, progettare e valutare sistemi biometrici, tecniche di multimedia forensics e architetture intelligenti per l'Internet of Things. L'insegnamento integra aspetti teorici e applicativi relativi all'identificazione biometrica, alla sicurezza, alla privacy, all'integrità dell'evidenza digitale e alla gestione di dati eterogenei provenienti da sorgenti multimediali e sensoriali.

In particolare, saranno introdotti i principi dei sistemi biometrici, le metriche di prestazione e le tecniche di matching e decisione, con attenzione ai sistemi multimodali. Saranno quindi trattate le metodologie della multimedia forensics, della audio e video forensics, della mobile forensics e della geolocalizzazione nei sistemi radiomobili, includendo l'analisi di contenuti manipolati, deepfake, speaker recognition, liveness detection e procedure di acquisizione, preservazione e reporting dell'evidenza digitale.

La parte dedicata all'Intelligent Internet of Things affronta architetture, protocolli, tecnologie di accesso, sensing, preprocessing, interoperabilità, sicurezza e privacy dei sistemi IoT. Vengono inoltre introdotti scenari di Artificial Intelligence of Things per la classificazione, la previsione, l'anomaly detection, il sensing multimodale e la data fusion in contesti quali Smart Cities, healthcare, monitoraggio ambientale, Industrial IoT e smart agriculture.

Durante il corso sono previste attività di laboratorio finalizzate all'impiego di strumenti per la fonetica forense, librerie Python per il riconoscimento facciale e vocale e dataset reali biometrici, multimediali e sensoriali. Tali attività consentono agli studenti di sviluppare capacità operative, problem solving, valutazione sperimentale delle prestazioni e attitudine al lavoro di gruppo.

Al termine dell'insegnamento lo studente sarà in grado di analizzare criticamente soluzioni biometriche, forensi e IoT, scegliere strumenti e metodologie coerenti con requisiti tecnici, normativi ed etici, comunicare risultati tecnici in modo appropriato e aggiornarsi autonomamente su tecnologie in rapida evoluzione.

Conoscenza e comprensione

Sulla base delle nozioni acquisite durante il corso, lo studente sarà in grado di comprendere i principi dei sistemi biometrici, le metodologie di multimedia forensics, le architetture e i protocolli IoT, le tecniche di elaborazione di dati audio, video e sensoriali e i principali requisiti di sicurezza, privacy e affidabilità.

Capacità di applicare conoscenza e comprensione

Alla fine del corso lo studente sarà in grado di applicare strumenti software e procedure operative per analizzare evidenze biometriche, multimediali, mobili e IoT, valutare prestazioni e limiti dei sistemi, configurare semplici pipeline di acquisizione ed elaborazione e sviluppare attività sperimentali su dataset reali.

Autonomia di giudizio

Lo studente sarà in grado di valutare criticamente metodi, strumenti e risultati in relazione ad accuratezza, robustezza, scalabilità, sicurezza, privacy e integrità dell'evidenza digitale. Tale capacità viene acquisita anche mediante casi applicativi, esercitazioni e attività progettuali di laboratorio.

Abilita comunicative

Lo studente sarà in grado di discutere sistemi biometrici, procedure forensi e architetture IoT utilizzando un linguaggio tecnico appropriato, redigere brevi relazioni tecniche e presentare in modo chiaro scelte metodologiche, risultati sperimentali e limiti delle soluzioni adottate.

Capacità di apprendimento

Lo studente acquisirà la capacità di approfondire autonomamente testi scientifici, standard, manuali tecnici e documentazione software nell'ambito della biometria, della multimedia forensics e dell'IoT, aggiornandosi sull'evoluzione di strumenti, algoritmi e applicazioni.

Modalità di svolgimento

Didattica frontale/tradizionale, con esercitazioni e attività di laboratorio.

Testo descrittivo per le modalità di svolgimento

L'insegnamento, erogato in co-docenza, prevede lezioni frontali (49 ore, pari a 7 CFU) ed esercitazioni o attività di laboratorio (30 ore, pari a 2 CFU), mirate a mettere in pratica i contenuti teorici attraverso strumenti software, dataset reali e casi applicativi. Le esperienze laboratoriali possono essere svolte singolarmente o in gruppo e sono orientate all'analisi forense, al riconoscimento biometrico, alla gestione di dati sensoriali e alla valutazione sperimentale delle prestazioni.

La didattica erogativa è dedicata alla presentazione dei concetti di base e avanzati relativi a biometria, digital e multimedia forensics, mobile forensics, geolocalizzazione e Intelligent IoT. La didattica interattiva comprende esercitazioni, discussione di casi, uso guidato di strumenti e sviluppo di mini-progetti o prove sperimentali.

Le suddette modalità di svolgimento sono coerenti con gli obiettivi formativi dell'insegnamento, che richiedono sia la comprensione dei fondamenti metodologici sia la capacità di applicarli in scenari tecnici realistici. Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto sopra dichiarato, al fine di rispettare il programma previsto e riportato nel presente syllabus.

Conoscenze indispensabili

- Fondamenti di segnali e sistemi nel dominio del tempo e della frequenza.

- Elementi di probabilità, statistica e valutazione delle prestazioni.

- Nozioni di base sulle comunicazioni digitali e sulle architetture di telecomunicazione.

Conoscenze importanti

- Elementi di elaborazione digitale di segnali, immagini e audio.

- Capacità di base di programmazione e analisi dati, preferibilmente in Python o MATLAB.

- Conoscenze generali su reti, protocolli di comunicazione e sistemi radiomobili.

Conoscenze utili

- Fondamenti di machine learning e classificazione statistica.

- Nozioni introduttive di privacy e gestione dell'evidenza digitale.

- Elementi di dispositivi embedded, sensori e acquisizione dati.

Sebbene il corso non preveda obbligo di frequenza, la frequenza delle lezioni è comunque fortemente consigliata, in particolare per il carattere applicativo e sperimentale delle attività di laboratorio. La partecipazione alle attività di laboratorio è obbligatoria per il 70 % e consente, inoltre, di acquisire fino a 4 punti del voto finale secondo le modalità indicate nella sezione relativa alla valutazione.

Programma dettagliato

1: Tecniche di identificazione biometrica (9 ore)

[Didattica frontale: 6 ore - Esercitazioni e laboratorio: 3 ore]

- Introduzione ai sistemi biometrici; autenticazione e identificazione.

- Identificatori biometrici morfologici e comportamentali; architettura di un sistema biometrico.

- Metodi statistici, matching e decisione; metriche FAR, FRR, ROC, EER e DET; sistemi multimodali.

- Esercitazioni su metriche prestazionali per il riconoscimento biometrico.

2: Introduzione alla multimedia forensics (2 ore)

[Didattica frontale: 2 ore - Esercitazioni e laboratorio: 0 ore]

- Multimedia forensics e Mobile forensics.

- Aspetti giuridici, consulenza tecnica e perizia; figure del CTU e del CTP.

3: Audio forensics (10 ore)

[Didattica frontale: 6 ore - Esercitazioni e laboratorio: 4 ore]

- Elaborazione e compressione del segnale audio; standard di codifica vocale.

- Fonetica forense, intercettazioni audio, enhancement del segnale.

- Identificazione della voce con metodi uditivi, semiautomatici e automatici basati su formanti, LPC, MFCC, GMM e i-vector.

- Imitazione vocale, deepfake, anti-spoofing, liveness detection e trascrizione automatica.

- Laboratorio con strumenti per la fonetica forense, tra cui PRAAT, Idem e Nuance Forensic.

4: Video forensics (10 ore)

[Didattica frontale: 6 ore - Esercitazioni e laboratorio: 4 ore]

- Elaborazione e compressione di immagini e video.

- Tecniche di video forensics e indicatori forensi per il rilevamento di manipolazioni.

- Modelli generativi basati su GAN, autoencoder e diffusion models; rilevamento di alterazioni e deepfake.

- AI e Computer Vision per la sicurezza nelle Smart Cities.

- Esercitazioni su analisi di immagini e video, rilevamento di manipolazioni e valutazione di contenuti sintetici.

5: Mobile forensics (6 ore)

[Didattica frontale: 3 ore - Esercitazioni e laboratorio: 3 ore]

- Principi e procedure di mobile forensics.

- Preservazione, acquisizione, ispezione, analisi e reporting dell'evidenza digitale.

- Principali strumenti di analisi.

- Esercitazioni su workflow di acquisizione, ispezione e reporting di evidenze digitali mobili.

6: Geolocalizzazione nei sistemi radiomobili (5 ore)

[Didattica frontale: 5 ore - Esercitazioni e laboratorio: 0 ore]

- Servizi e sistemi di geolocalizzazione.

- Tecniche Angle of Arrival, Time of Arrival e Time Difference of Arrival.

- Triangolazione, trilaterazione, tecniche ibride e riduzione dell'errore di localizzazione.

- Esercitazioni su casi di localizzazione e stima dell'errore nei sistemi radiomobili.

7: Tecnologie e architetture IoT (10 ore)

[Didattica frontale: 6 ore - Esercitazioni e laboratorio: 4 ore]

- Architetture e modelli di comunicazione IoT.

- Bluetooth e BLE, IEEE 802.15.4, Wi-Fi, ZigBee, LoRa/LoRaWAN, Sigfox.

- Comunicazione basata su MQTT ed esempi di interazione tra nodi IoT.

- Laboratorio su configurazione e interazione tra nodi IoT e comunicazione MQTT.

8: Sensing e gestione dei dati IoT (7 ore)

[Didattica frontale: 4 ore - Esercitazioni e laboratorio: 3 ore]

- Sensori, attuatori e dispositivi embedded IoT.

- Acquisizione, preprocessing e gestione di dati IoT eterogenei.

- Qualità dei dati, serie temporali e interoperabilità.

- Esercitazioni su acquisizione, preprocessing e analisi di dataset sensoriali.

9: Sicurezza, privacy e forensics in IoT (7 ore)

[Didattica frontale: 4 ore - Esercitazioni e laboratorio: 3 ore]

- Vulnerabilità e requisiti di sicurezza dei sistemi IoT.

- Autenticazione dei dispositivi, controllo degli accessi, protezione dei dati e privacy.

- Acquisizione e analisi dell'evidenza digitale proveniente da dispositivi IoT.

- Esercitazioni su scenari di sicurezza, privacy e acquisizione di evidenze da dispositivi IoT.

10: Artificial Intelligence of Things e applicazioni (13 ore)

[Didattica frontale: 7 ore - Esercitazioni e laboratorio: 6 ore]

- Integrazione dell'intelligenza artificiale nei sistemi IoT.

- Classificazione, previsione e anomaly detection su dati sensoriali.

- Sensing multimodale, data fusion e applicazioni a Smart Cities, monitoraggio ambientale, healthcare, Industrial IoT e smart agriculture.

- Sviluppo di progetti su dataset biometrici, multimediali e sensoriali reali con valutazione sperimentale delle prestazioni.

Contributo dell'insegnamento agli obiettivi dell'Agenda 2030 per lo Sviluppo Sostenibile

Gli argomenti trattati nel corso e le conoscenze acquisite sono direttamente o indirettamente funzionali allo sviluppo di soluzioni tecnologiche sostenibili, affidabili e sicure, oltre che a contribuire a una formazione di qualità. Il corso contribuisce in particolare agli obiettivi 3, 4, 9, 11, 12, 13 e 16 dell'Agenda 2030 per lo Sviluppo Sostenibile, con riferimento ad applicazioni in healthcare, infrastrutture digitali, Smart Cities, monitoraggio ambientale, uso responsabile dei dati e tutela dell'integrità dell'evidenza digitale.

[1] Appunti del docente e materiale didattico distribuito durante il corso.

[2] A. K. Jain, A. A. Ross, K. Nandakumar and T. Swearingen, Introduction to Biometrics, 2nd ed., Springer, 2025.

[3] H. T. Sencar, L. Verdoliva and N. Memon, Multimedia Forensics, Springer, 2022.

[4] R. Ayers, S. Brothers and W. Jansen, Guidelines on Mobile Device Forensics, NIST Special Publication 800-101 Revision 1, 2014.

[5] O. Aouedi et al., A Survey on Intelligent Internet of Things: Applications, Security, Privacy, and Future Directions, IEEE Communications Surveys and Tutorials, vol. 27, no. 2, pp. 1238-1292, 2025. DOI: 10.1109/COMST.2024.3430368.

[6] F. Firouzi, K. Chakrabarty and S. Nassif, eds., Intelligent Internet of Things: From Device to Fog and Cloud, Springer, 2020. DOI: 10.1007/978-3-030-30367-9.

Modalità di valutazione delle conoscenze

- Prova orale

- Valutazione tesina/progetto

Testo descrittivo per le modalità di valutazione

La verifica dell'apprendimento consiste in una prova orale, eventualmente integrata dalla discussione di una tesina o di un progetto concordato con i docenti. La prova orale comprende tipicamente due o tre domande sugli argomenti del corso e può includere la discussione di procedure, strumenti o casi applicativi affrontati durante le attività di laboratorio.

La prova orale è valutata fino a un massimo di 26 punti. La valutazione tiene conto della correttezza formale e sostanziale delle risposte, della capacità di collegare tra loro aspetti biometrici, forensi e IoT, della proprietà del linguaggio tecnico, della capacità di fornire esempi applicativi e della consapevolezza dei vincoli di sicurezza, privacy e integrità dell'evidenza digitale.

La partecipazione attiva alle attività di laboratorio e lo svolgimento delle eventuali attività progettuali possono contribuire fino a 4 punti al voto finale. Le attività di laboratorio sono generalmente organizzate in un numero di circa 3/6 incontri e riguardano l'uso di strumenti di analisi forense, librerie Python e dataset reali. L'eventuale progetto o elaborato viene valutato sulla base della correttezza metodologica, della qualità dell'analisi, della chiarezza della documentazione e della capacità di discutere criticamente i risultati.

1. Descrivere l'architettura di un sistema biometrico e discutere le differenze tra autenticazione e identificazione.

2. Definire FAR, FRR, ROC, EER e DET e spiegare come tali metriche vengono utilizzate per valutare un sistema biometrico.

3. Illustrare le principali differenze tra digital forensics, computer forensics e multimedia forensics.

4. Descrivere una procedura corretta di preservazione, acquisizione, analisi e reporting dell'evidenza digitale in ambito mobile forensics.

5. Discutere le tecniche di speaker recognition basate su formanti, LPC, MFCC, GMM e i-vector e il loro impiego in audio forensics.

6. Spiegare il ruolo di anti-spoofing, liveness detection e deepfake detection nei sistemi biometrici e forensi.

7. Descrivere gli indicatori forensi utilizzabili per rilevare manipolazioni di immagini e video, includendo il caso dei contenuti generati da modelli di intelligenza artificiale.

8. Confrontare tecniche di geolocalizzazione basate su AoA, ToA e TDoA, evidenziandone vantaggi, limiti e fonti di errore.

9. Descrivere un'architettura IoT basata su sensori, attuatori, protocolli di comunicazione e gestione dei dati, includendo il ruolo di MQTT.