DISTRIBUTED SYSTEMS AND BIG DATA

Tutti i sistemi software enterprise e le applicazioni di successo sono oggi sistemi distribuiti (DS) su larga scala, caratterizzati da grandi dimensioni di codice e dati. Il corso si propone di presentare in forma sistematica le problematiche fondamentali riguardanti la progettazione di sistemi distribuiti di grandi dimensioni nello scenario odierno e fornire conoscenze sulle moderne tecnologie di progettazione in quest'ambito.

In uno scenario in rapido divenire, come quello trattato in questo corso, l’obiettivo è soprattutto sviluppare nell’allievo le capacità di applicare algoritmi per la soluzione delle problematiche fondamentali (come consistenza, fault tolerance, high availability, scalabilità, e adeguate performance) e metodologie di progetto fondamentali nella realizzazione di soluzioni complesse su larga scala, con particolare enfasi per le architetture a microservizi.

Conoscenza e capacità di comprensione

Le soluzioni oggi sono tante e diverse e si evolvono grazie alla costante ricerca di nuovi modelli e tecnologie in grado di far fronte alla crescente richiesta. L’obiettivo è dunque quello di fornire allo studente le conoscenze, gli skill e  la capacità di adattare le competenze acquisite alle diverse modalità di progettazione emergenti evolvendo con l’integrazione di nuove soluzioni e tecnologie.

Più nel dettaglio, il corso mira a fornire conoscenze su

• strutture software per development, delivery & deployment ; 

• modelli di architetture software as a Service (_aaS);

• algoritmi e pattern di condivisione di risorse, controllo della concorrenza e data management;

• algoritmi e tecniche per la gestione dell'interoperabilità, della Qualità del Servizio (QoS), della scalabilità, della consistenza e della tolleranza ai guasti; 

• comunicazione diretta e indiretta 

• algoritmi di gestione di transazioni, repliche;  

• pattern e tecnologie di progettazione di microservizi;

• tecniche di virtualizzazione delle risorse di un sistema distribuito e di "containerizzazione";

• tecniche di monitoraggio e analisi di serie temporali

• definizione di data pipeline per il processing dei Big Data; 

Conoscenze applicate e capacità di comprensione

Le conoscenze fornite e soprattutto la modalità orientata alla progettazione e sviluppo di soluzioni software mirano a sollecitare l'allievo a sviluppare capacità di applicare tecnologie e strumenti per la progettazione, lo sviluppo e il deployment di sistemi distribuiti di grandi dimensioni negli scenari reali odierni. Durante il corso l'allievo attraverso esercitazioni e homework potrà mettere in pratica quanto appreso in modo da: 

• saper utilizzare le principali strategie atte a garantire determinati livelli di QoS in termini di performance, scalabilità, availability e robustezza nei sistemi distribuiti.

• Saper avvalersi di tecniche per la progettazione ed il deployment di micro-servizi su piattaforme container based (Docker) e orchestrazione Kubernetes.

• Saper progettare sistemi per la gestione dei big data, integrando data pipeline, data lake e datawarehouse

Autonomia di giudizio

lo studente sarà in grado di decidere le architetture software e gli algoritmi più adeguate alla specifica applicazione e di progettare una soluzione  in grado di garantire adeguate proprietà di QoS

Abilità comunicative

lo studente sarà in grado di esporre in modo rigoroso le conoscenze acquisite e con padronanza della terminologia dei Distributed Systems

Capacità di apprendimento

Nello scenario eterogeneo e in rapido divenire dei DS occorre essere in grado di apprendere autonomamente nuove metodologie, pattern e algoritmi emergenti nel settore.

L’obiettivo è dunque quello di fornire allo studente gli skill e  la capacità di adattare le proprie competenze alle nuove modalità di progettazione emergenti evolvendo con l’integrazione di nuove soluzioni e tecnologie.

Linguaggio java. Progettazione OO, e UML. programmazione multithreading.

Conoscenza di architetture e protocolli di rete, ed in particolare della suite TCP/IP. DNS. 

MySQL e web programming. socket Java e/o BSD.

Conoscenza delle tecniche di progettazione del software  e dei pattern fondamentali di GoF. 

Conoscenza di internetworking, web programming e firewall e security. 

Conoscenze di base relative al management di sistemi UNIX-Like, basic Unix Bash programming, SSH, nmap, iptables, Iperf. 

riferimenti principali

• “Distributed Systems: Concepts and Design”, G. Coulouris, J. Do llimore, T. Kindberg, G. Blair, 2011 – 5th edition”, Addison Wesley, 2011.

• “Microservices Patterns, with examples java”, Chris Richardson, Madison

trasazioni ACID, clock logici, consistenza, saga, microservizi, messaging, API gateway, Kafka, repliche attice e passive, CAP theorem, global snapshot, caratteristiche di un Orchestrator

esempi di progetti con varianti in base al numero degli studenti coinvolti si trovano su studium