Introduction
Code sur Github: Enrichissement des données Elasticsearch
Si vous n'avez pas encore configuré Elasticsearch et Kibana, alors suivez ces instructions.
Cette vidéo suppose que vous utilisez Certificats signés publiquement. Si vous utilisez Certificats auto-signés, va ici À déterminer.
Exigences
- Une instance en cours d'exécution d'Elasticsearch et de Kibana.
- Une instance d’un autre serveur Ubuntu 20.04 exécutant n’importe quel type de service.
Processus
Ingérer le fichier user.csv [05:15]
À Kibana, allez à Apprentissage automatique > Visualiseur de données. Nous allons effectuer notre téléchargement de données en l'utilisant, comme indiqué dans l'image ci-dessous :
Télécharger des données
Ensuite, téléchargez les données du fichier user.csv. Donnez-lui un nom d'index de user, puis cliquez sur importer.
Pour confirmer la création de l'index, accédez à Gestion de la pile > Gestion des index. Et vous devriez voir un résultat similaire à l'image ci-dessous :
Index créé avec succès
Pour visualiser les données, rendez-vous sur Outils de développement > Console dans Kibana. et effectuez une recherche avec la commande ci-dessous :
GET user/_search
et vous devriez voir un résultat similaire à celui-ci :
Données interrogées
Ingérer location.csv (type de champ geo_point) [09:35]
À Kibana, allez à Apprentissage automatique > Visualiseur de données. Ensuite, téléchargez les données du fichier location.csv. Donnez-lui un nom d'index de location, puis changez le point > type depuis keyword.
Modification des mappages : avant
À geo_point, comme le montre l'image ci-dessous :
Modification des mappages : après
puis cliquez sur importer.
Pour confirmer que l'index a été créé, accédez à Gestion de la pile > Gestion des index. Et vous devriez voir un résultat similaire à l'image ci-dessous :
Index créé avec succès
Pour visualiser les données, rendez-vous sur Outils de développement > Console dans Kibana. et effectuez une recherche avec la commande ci-dessous :
GET location/_search
et vous devriez voir un résultat similaire à celui-ci :
Données interrogées
Ingérer member_type.csv (type de champ integer_range) [11:47]
À Kibana, allez à Apprentissage automatique > Visualiseur de données. Ensuite, téléchargez les données du fichier member_type.csv. Donnez-lui un nom d'index de member_type, puis changez le price_range > type depuis keyword.
Mappings Change: Before
À integer_range, et ajoutez également ce qui suit dans la section pipeline
{
"json" : {
"field" : "price_range"
}
},
comme le montre l'image ci-dessous :
Modification des mappages : après
puis cliquez sur importer.
Pour confirmer que l'index a été créé, accédez à Gestion de la pile > Gestion des index. Et vous devriez voir un résultat similaire à l'image ci-dessous :
Index créé avec succès
Pour visualiser les données, rendez-vous sur Outils de développement > Console dans Kibana. et effectuez une recherche avec la commande ci-dessous :
GET member_type/_search
et vous devriez voir un résultat similaire à celui-ci :
Données interrogées
Mettre en place des politiques [14:50]
Configurer la politique utilisateur [15:00]
À Kibana, allez à Outils de développement > Console. Collez la commande ci-dessous dans la console et exécutez la commande Policy :
PUT /_enrich/policy/user_policy
{
"match": {
"indices": "user",
"match_field": "email",
"enrich_fields": ["first_name", "last_name", "city", "zip", "state"]
}
}
Utilisez la commande ci-dessous pour créer un index enrichi pour la politique.
PUT /_enrich/policy/user_policy/_execute
Après l'exécution, il devrait produire un résultat similaire à l'image ci-dessous ;
Résultat de la console pour l'enrichissement de la politique utilisateur
Pour confirmer que l'index a été enrichi avec succès, accédez à Gestion de la pile > Gestion des index, basculer le inclure des indices cachés Activez le bouton, puis rechargez les index. Vous devriez obtenir un résultat similaire à l'image ci-dessous :
Index des utilisateurs enrichi avec succès
Définir la politique de localisation [16:16]
À Kibana, allez à Outils de développement > Console. Collez la commande ci-dessous dans la console et exécutez la commande Policy :
PUT /_enrich/policy/location_policy
{
"match": {
"indices": "location",
"match_field": "location_id",
"enrich_fields": ["point"]
}
}
Utilisez la commande ci-dessous pour créer un index enrichi pour la politique.
PUT /_enrich/policy/location_policy/_execute
Après l'exécution, il devrait produire un résultat similaire à l'image ci-dessous ;
Résultat de la console pour l'enrichissement de la politique de localisation
Pour confirmer que l'index a été enrichi avec succès, accédez à Gestion de la pile > Gestion des index, basculer le inclure des indices cachés Activez le bouton, puis rechargez les index. Vous devriez obtenir un résultat similaire à l'image ci-dessous :
Index de localisation enrichi avec succès
Configurer la politique member_type [17:05]
À Kibana, allez à Outils de développement > Console. Collez la commande ci-dessous dans la console et exécutez la commande Policy :
PUT /_enrich/policy/member_type_policy
{
"range": {
"indices": "member_type",
"match_field": "price_range",
"enrich_fields": ["member_type"]
}
}
Utilisez la commande ci-dessous pour créer un index enrichi pour la politique.
PUT /_enrich/policy/member_type_policy/_execute
Après l'exécution, il devrait produire un résultat similaire à l'image ci-dessous ;
Résultat de la console pour l'enrichissement de la politique de type de membre
Pour confirmer que l'index a été enrichi avec succès, accédez à Gestion de la pile > Gestion des index, basculer le inclure des indices cachés Activez le bouton, puis rechargez les index. Vous devriez obtenir un résultat similaire à l'image ci-dessous :
Index pour le type de membre enrichi avec succès
Ingérer signup.csv (index de sources multiples) [17:45]
À Kibana, allez à Apprentissage automatique > Visualiseur de données. Ensuite, téléchargez les données du fichier signup.csv. Donnez-lui un nom d'index de s'inscrire.
Mappages et modifications du pipeline : avant
Ajoutez les éléments suivants dans la section de mappage :
"geo": {
"properties": {
"point": {
"type": "geo_point"
}
}
}
et ajoutez également ce qui suit dans la section pipeline
{
"enrich" : {
"description": "Add 'user' data based on 'email'",
"policy_name": "user_policy",
"field" : "email",
"target_field": "user",
"max_matches": "1"
}
},
{
"enrich" : {
"description": "Add 'member_type' data based on 'paid_amount'",
"policy_name": "member_type_policy",
"field" : "paid_amount",
"target_field": "member_type",
"max_matches": "1"
}
},
{
"enrich" : {
"description": "Add 'geo' data based on 'location_id'",
"policy_name": "location_policy",
"field" : "location_id",
"target_field": "geo",
"max_matches": "1"
}
},
comme le montre l'image ci-dessous :
Mappings Change: After
puis cliquez sur importer.
Pour confirmer que l'index a été créé, accédez à Gestion de la pile > Gestion des index. Et vous devriez voir un résultat similaire à l'image ci-dessous :
Index créé avec succès
Pour visualiser les données, rendez-vous sur Outils de développement > Console dans Kibana. et effectuez une recherche avec la commande ci-dessous :
GET signup/_search
et vous devriez voir un résultat similaire à celui-ci :
Données interrogées
Données de test avec visualisation [23:40]
À Kibana, allez à Visualiser la bibliothèque et cliquez sur Créer une nouvelle visualisation, puis choisissez Cartes parmi les options, puis cliquez sur Ajouter un calque, et choisissez un Carte thermique, cliquez sur la vue des données et choisissez s'inscrire.
vous devriez voir un résultat similaire à celui-ci :
Sélection de carte thermique
puis cliquez sur Add layer.
Maintenant dans le métrique champ, sélectionnez les éléments suivants :
Aggregation: Sum
Field: paid_amount
Enregistrez maintenant la carte en cliquant sur Enregistrer et accéder au tableau de bord
Enregistrer la carte thermique
Enregistrer le tableau de bord sous Tableau de bord de démonstration.
Créez une deuxième visualisation en faisant glisser et en déposant les mesures requises de l'axe horizontal de gauche à droite, puis choisissez somme sur l'axe vertical comme indiqué dans l'image ci-dessous :
2ème visualisation
Then click on Enregistrer et revenir.
Créez une troisième visualisation en faisant glisser et en déposant les mesures requises de l'axe horizontal de gauche à droite, puis choisissez somme sur l'axe vertical comme indiqué dans l'image ci-dessous :
3ème visualisation
Then click on Enregistrer et revenir.
Les trois visualisations