Apache Nifi

Apache Nifi

Adrien Anciot - Expert Data
Adrien Anciot Expert Data
Apache NiFi, un puissant outil d’intégration et de gestion des flux de données, permet de concevoir, surveiller et contrôler les flux de données en temps réel à partir de diverses sources. Cette formation offre une introduction pratique à NiFi, permettant aux participants de découvrir ses concepts fondamentaux, de créer des flux de données efficaces, et d’intégrer des solutions comme Kafka pour répondre aux besoins des environnements modernes de traitement de données.

Les objectifs

  • Comprendre les concepts fondamentaux d’Apache NiFi.
  • Installer et configurer Apache NiFi.
  • Concevoir et gérer des flux de données.
  • Détecter et résoudre les erreurs dans les flux de données.
  • Intégrer Apache NiFi avec Apache Kafka.
Finançable à 100% grâce au FIAF Financer ma formation

Le programme

  • Introduction à NiFi, installation et concepts importants

    • Introduction à NiFi : vision, cas d’utilisation et architecture.
    • Téléchargement et installation de NiFi.
    • Concepts de base : Processors, FlowFiles, Attributs.

    Travaux pratiques : Installer et configurer NiFi, explorer l’interface utilisateur.

  • Création du premier dataflow

    • Création de Processors et connections.
    • Création d’un Processor de test.
    • Tour d’horizon des Processors disponibles.
    • Utilisation des attributs depuis un Processor.
    • Expression Language et RouteOnAttribute.
    • Variables et Variable Registry.
    • Concepts avancés : Back Pressure, Load Balancing et priorités dans les queues.

    Travaux pratiques : Créer un premier flux de données avec filtrage et routage basés sur des
    attributs.

  • Autres fonctionnalités clés de NiFi

    • Utilisation des Process Groups pour organiser les flux.
    • Création et import/export de Templates.
    • Monitoring et diagnostic des erreurs (Stacktrace, logs).
    • Data Lineage : suivi des données à travers les flux.

  • Intégration Kafka et NiFi

    • Installation de Zookeeper et Kafka.
    • Configuration et intégration avec Kafka.
    • Gestion des topics et consommation des messages Kafka via NiFi.

    Travaux pratiques : Créer un flux de données NiFi-Kafka pour publier et consommer des
    messages.

Réservez votre session

Initiation
Développeurs, ingénieurs data et administrateurs systèmes
2 jours
Sur demande
Prérequis : Connaissances de base en systèmes d’exploitation et réseaux. Expérience avec les outils ETL ou les bases de données appréciée.
Présentiel ou distanciel

Formations qui
pourraient vous intéresser

Microsoft Power BI Administrateur

Microsoft Power BI Administrateur

Initiation - Data

Power BI, la solution Microsoft de Data Visualisation permet de créer des tableaux de bord, riches et interactifs grâce aux multiples éléments graphiques qu'elle propose, et ce à partir d’une multitude de sources de données. La formation Power BI permettra aux administrateurs de maîtriser les outils et les fonctionnalités nécessaires à la gestion, la sécurisation et l’optimisation de l’environnement Power BI dans leur organisation.

Découvrir
Microsoft Power BI Concepteur

Microsoft Power BI Concepteur

Initiation - Data

Power BI, la solution Microsoft de Data Visualisation permet de créer des tableaux de bord, riches et interactifs grâce aux multiples éléments graphiques qu'elle propose, et ce à partir d’une multitude de sources de données.

La formation Power BI permettra aux développeurs de se familiariser avec leur environnement et leur permettra de manipuler des données, de créer des rapports et de les publier.

Découvrir