Apache Nifi
Objectifs
Les objectifs
- Comprendre les concepts fondamentaux d’Apache NiFi.
- Installer et configurer Apache NiFi.
- Concevoir et gérer des flux de données.
- Détecter et résoudre les erreurs dans les flux de données.
- Intégrer Apache NiFi avec Apache Kafka.
Le programme
-
Introduction à NiFi, installation et concepts importants
- Introduction à NiFi : vision, cas d’utilisation et architecture.
- Téléchargement et installation de NiFi.
- Concepts de base : Processors, FlowFiles, Attributs.
Travaux pratiques : Installer et configurer NiFi, explorer l’interface utilisateur.
-
Création du premier dataflow
- Création de Processors et connections.
- Création d’un Processor de test.
- Tour d’horizon des Processors disponibles.
- Utilisation des attributs depuis un Processor.
- Expression Language et RouteOnAttribute.
- Variables et Variable Registry.
- Concepts avancés : Back Pressure, Load Balancing et priorités dans les queues.
Travaux pratiques : Créer un premier flux de données avec filtrage et routage basés sur des
attributs. -
Autres fonctionnalités clés de NiFi
- Utilisation des Process Groups pour organiser les flux.
- Création et import/export de Templates.
- Monitoring et diagnostic des erreurs (Stacktrace, logs).
- Data Lineage : suivi des données à travers les flux.
-
Intégration Kafka et NiFi
- Installation de Zookeeper et Kafka.
- Configuration et intégration avec Kafka.
- Gestion des topics et consommation des messages Kafka via NiFi.
Travaux pratiques : Créer un flux de données NiFi-Kafka pour publier et consommer des
messages.
Programme
Introduction à NiFi, installation et concepts importants
- Introduction à NiFi : vision, cas d’utilisation et architecture.
- Téléchargement et installation de NiFi.
- Concepts de base : Processors, FlowFiles, Attributs.
Travaux pratiques : Installer et configurer NiFi, explorer l’interface utilisateur.
Création du premier dataflow
- Création de Processors et connections.
- Création d’un Processor de test.
- Tour d’horizon des Processors disponibles.
- Utilisation des attributs depuis un Processor.
- Expression Language et RouteOnAttribute.
- Variables et Variable Registry.
- Concepts avancés : Back Pressure, Load Balancing et priorités dans les queues.
Travaux pratiques : Créer un premier flux de données avec filtrage et routage basés sur des
attributs.
Autres fonctionnalités clés de NiFi
- Utilisation des Process Groups pour organiser les flux.
- Création et import/export de Templates.
- Monitoring et diagnostic des erreurs (Stacktrace, logs).
- Data Lineage : suivi des données à travers les flux.
Intégration Kafka et NiFi
- Installation de Zookeeper et Kafka.
- Configuration et intégration avec Kafka.
- Gestion des topics et consommation des messages Kafka via NiFi.
Travaux pratiques : Créer un flux de données NiFi-Kafka pour publier et consommer des
messages.
Réservez votre session
Formations qui
pourraient vous intéresser
Microsoft Power BI Administrateur
Power BI, la solution Microsoft de Data Visualisation permet de créer des tableaux de bord, riches et interactifs grâce aux multiples éléments graphiques qu'elle propose, et ce à partir d’une multitude de sources de données. La formation Power BI permettra aux administrateurs de maîtriser les outils et les fonctionnalités nécessaires à la gestion, la sécurisation et l’optimisation de l’environnement Power BI dans leur organisation.
DécouvrirMicrosoft Power BI Concepteur
Power BI, la solution Microsoft de Data Visualisation permet de créer des tableaux de bord, riches et interactifs grâce aux multiples éléments graphiques qu'elle propose, et ce à partir d’une multitude de sources de données.
La formation Power BI permettra aux développeurs de se familiariser avec leur environnement et leur permettra de manipuler des données, de créer des rapports et de les publier.
Découvrir