Si è recentemente svolto a Bologna il kick-off meeting congiunto che ha segnato l’avvio dei due progetti, finanziati dalla Commissione Europea nell’ambito del programma Horizon 2020, su calcolo distribuito e big data, eXtreme Data Cloud e DEEP-Hybrid DataCloud, che vedono entrambi un’importante partecipazione dell’INFN. Questi due progetti, insieme al progetto europeo EOSC-hub, costituiscono la prosecuzione e l’estensione del progetto INDIGO-DataCloud che si è concluso il 30 settembre 2017.
Durante il kick-off meeting sono anche state discusse le possibili relazioni tra i tre progetti, nell’ottica di realizzare tutte le possibili sinergie e fornire servizi utili ed efficaci per la costruzione della European Open Science Cloud (EOSC), un’infrastruttura fortemente voluta dalla Commissione Europea per la condivisione di dati e servizi al servizio della scienza.
Nel contesto della EOSC, il progetto INDIGO-DataCloud, coordinato dall’INFN, ha realizzato una serie di componenti software che facilitano l’utilizzo da parte di numerose e diverse comunità scientifiche di una infrastruttura Cloud ibrida, costituita cioè da risorse pubbliche e private. Il successo di questo progetto è testimoniato sia dalla valutazione dei revisori europei, che gli hanno attribuito un giudizio di “eccezionale”, sia dal fatto che in H2020 sono stati approvati i tre progetti menzionati, che di fatto ne costituiscono la prosecuzione e ne garantiscono la diffusione e lo sfruttamento dei risultati.
Il progetto EOSC-hub, coordinato dalla EGI Foundation, è iniziato ufficialmente il 1° gennaio 2018. EOSC-hub, attraverso un Consorzio costituito da 100 partner provenienti da più di 50 nazioni, connette un grande numero di fornitori di servizi sia nazionali che internazionali attraverso un sistema di integrazione e gestione della futura EOSC, chiamato “Hub”. Esso funge da punto di contatto centrale tra i ricercatori europei e i fornitori di servizi informatici innovativi e consente di individuare e utilizzare una grande varietà di servizi per la cosiddetta “data-driven research”.
Attraverso l’Hub, che ha l’esplicito scopo di ridurre la frammentazione dei tanti servizi scientifici ICT oggi esistenti in Europa, diversi fornitori sia di servizi informatici sia di tecnologie provenienti inizialmente dalla Federazione EGI, da EUDAT e dal progetto INDIGO-DataCloud, ma successivamente anche da altre infrastrutture di ricerca europee rilevanti, verranno interconnessi per fornire un catalogo comune di servizi e dati per la ricerca.
Per i ricercatori questo significa avere accesso a un vasto insieme di servizi di supporto alla loro ricerca e alla collaborazione con altre discipline scientifiche a livello internazionale.
L’INFN è uno dei partner principali del progetto e, oltre al supporto per numerose componenti sviluppate nel progetto INDIGO-DataCloud, contribuisce a varie attività strategiche, tra cui la responsabilità del coordinamento tecnico.
Il progetto eXtreme Data Cloud (XDC) è coordinato dall’INFN. Il suo consorzio affianca fornitori di tecnologie con esperienza riconosciuta nello sviluppo software e grandi comunità di ricerca appartenenti ad un ampio spettro di discipline scientifiche: Scienze della Vita e Biodiversità, Ricerche Cliniche, Astrofisica, Fisica delle Alte Energie e Fisica con Fotoni.
Queste comunità forniranno casi d’uso reali e requisiti eterogenei per la gestione delle grandi quantità di dati prodotti alla scala estrema richiesta dai moderni esperimenti scientifici.
Continuando le attività di INDIGO-DataCloud nello sviluppo di interfacce utente user-friendly, sia per l’accesso tramite il web sia attraverso strumenti mobile, XDC svilupperà soluzioni “intelligenti” da integrare sugli attuali servizi di data management per venire incontro alle necessità di varie comunità scientifiche e con lo scopo di realizzare a livello Europeo una infrastruttura computazionale più flessibile ed efficiente. L’obiettivo di XDC è, in particolare, lo sviluppo di tecnologie scalabili per federare risorse di storage distribuite a livello mondiale e la gestione dei dati nelle e-infrastrutture di nuova generazione, quali quelle che verranno create sotto l’egida della European Open Science Cloud (EOSC), dell’infrastruttura europea High Throughput Computing EGI e della Worldwide LHC Computing Grid (WLCG).
Il progetto DEEP-Hybrid DataCloud (DEEP) è coordinato dal maggiore ente di ricerca spagnolo, il Consejo Superior de Investigaciones Cientìficas (CSIC), e ha come obiettivo lo sviluppo e l’implementazione di tecnologie che consentano un accesso facile e trasparente a risorse eterogenee in ambito sia Cloud sia High Performance Computing. DEEP si basa sui risultati delle attività di sviluppo del progetto INDIGO-DataCloud, focalizzandosi sulle tecnologie a supporto dei requisiti per l’analisi di grandi moli di dati, che oggi avvengono primariamente in ambienti tipicamente HPC ma con grande difficoltà e con poca portabilità. In particolare, si porrà l’attenzione al supporto di hardware specializzato, quale ad esempio GPU, Infiniband e altre tecnologie simili. L’obiettivo è rendere automatizzato lo sviluppo e la messa in produzione in diversi contesti applicativi di strumenti per il Deep Learning e il Machine Learning. L’INFN coordinerà il gruppo di lavoro che ha come obiettivo l’implementazione dello strato Platform as a Service (PaaS) del progetto, ma contribuirà anche all’implementazione dello strato Infrastructure as a Service (IaaS). L’INFN sarà anche coinvolto in maniera importante nell’attività che ha come obiettivo rendere disponibili “a servizio” i framework per l’analisi di big data attraverso tecnologie di Machine Learning e Deep Learning.
[Fabio Pisa Photography]
