Real-Time Big Data Integration
Conception et Outils de productivité
- Génération de code natif Spark Streaming
- Mapping graphique de données complexes XML et EDI sur Spark
- Concepteur de jobs Spark et MapReduce
Qualité des données et gouvernance
- Automatisation de la résolution d’erreurs pour la qualité des données et application des règles
- Masquage des données
- Portail de qualité des données avec monitoring, rapports et tableaux de bord
Connecteurs
- Cloud : Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform, etc.
- Distributions Big Data supportées : Amazon EMR, Azure HDInsight, Cloudera, Google Dataproc, Hortonworks, MapR
- Spark MLlib (classification, clustering, recommandation, régression)
Composants
- Composants Hadoop : HDFS, Hbase, Hive, Pig, Sqoop
- Gestion de fichiers sans script : ouvrir, déplacer, compresser, décompresser
- Contrôle et orchestration des flux de données et intégrations de données avec des jobs maître
Préparation des données et stewardship
- Import, export et combinaison de données de fichiers CSV ou Excel
- Import, export et combinaison de fichiers CSV, Parquet et AVRO de/vers Hadoop
- Exportation vers Tableau
Gestion et monitoring
- Haute disponibilité, répartition de charge et basculement pour les jobs
- Gestionnaire de déploiements et travail collaboratif
- Talend Administration Center
Qualité Big Data
- Nettoyage des données, profiling, masquage, analyse et stewardship sur Spark & Hadoop
- Apprentissage automatique pour appariement et déduplication des données
- Support Cloudera Navigator et Apache Atlas
Gestion ESB
- Monitoring JMX, Service Activity Monitoring
- Monitoring système
- Visibilité sur les statistiques en temps réel de l’activité des flux de messages
Intégration agile d’applications
- Sécurité des services Web WS-Policy
- Remise et routage des messages et événements avec Enterprise Integration Patterns (EIPs)
- Service Locator et Registry
Packaging ESB et déploiement
- Flexibilité des conteneurs de déploiement ESB
- Packaging OSGI déployé sur Talend Runtime
- Packaging Spring Boot déployé comme microservice
Profiling de données avancé
- Détection des modèles de fraude selon la loi de Benford
- Analyse d’ensembles de colonnes
- Analyse d’appariement avancée
