Introducción
Código en Github: Enriquecimiento de datos de Elasticsearch
Si aún no tiene Elasticsearch y Kibana configurados, entonces siga estas instrucciones.
Este vídeo asume que estás usando Certificados firmados públicamente. Si estas usando Certificados autofirmados, Vaya aquí Por determinar.
Requisitos
- Una instancia en ejecución de Elasticsearch y Kibana.
- Una instancia de otro servidor Ubuntu 20.04 que ejecuta cualquier tipo de servicio.
Proceso
Ingerir archivo user.csv [05:15]
En Kibana, vaya a Aprendizaje automático > Visualizador de datos. Cargaremos los datos con él, como se muestra en la imagen a continuación:
Subir datos
Luego, cargue los datos del archivo user.csv. Asígnele un nombre de índice de user, y luego haga clic en importar.Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:
Índice creado exitosamente
Para ver los datos, vaya a Herramientas de desarrollo > Consola en Kibana y realice una búsqueda con el siguiente comando:
GET user/_search
y deberías ver un resultado similar a este:
Datos consultados
Ingesta location.csv (tipo de campo geo_point) [09:35]
En Kibana, vaya a Aprendizaje automático > Visualizador de datos. Y luego cargue los datos del archivo location.csv. Asígnele un nombre de índice de location, y luego cambia el point > type de keyword.
Cambio de asignaciones: antes
A geo_point, como se muestra en la imagen a continuación:
Cambio de asignaciones: Después
y luego haga clic en importar.
Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:
Índice creado exitosamente
Para ver los datos, vaya a Herramientas de desarrollo > Consola en Kibana y realice una búsqueda con el siguiente comando:
GET location/_search
y deberías ver un resultado similar a este:
Datos consultados
Ingesta member_type.csv (tipo de campo rango_entero) [11:47]
En Kibana, vaya a Aprendizaje automático > Visualizador de datos. Y luego cargue los datos del archivo member_type.csv. Asígnele un nombre de índice de member_type, y luego cambia el price_range > type de keyword.
Mappings Change: Before
A integer_range, y también agregue lo siguiente en la sección de canalización
{
"json" : {
"field" : "price_range"
}
},
como se muestra en la imagen a continuación:
Cambio de asignaciones: Después
y luego haga clic en importar.
Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:
Índice creado exitosamente
Para ver los datos, vaya a Herramientas de desarrollo > Consola en Kibana y realice una búsqueda con el siguiente comando:
GET member_type/_search
y deberías ver un resultado similar a este:
Datos consultados
Establecer políticas [14:50]
Configurar la política de usuario [15:00]
En Kibana, vaya a Herramientas de desarrollo > Consola. Pegue el siguiente comando en la consola y ejecute el comando de política:
PUT /_enrich/policy/user_policy
{
"match": {
"indices": "user",
"match_field": "email",
"enrich_fields": ["first_name", "last_name", "city", "zip", "state"]
}
}
Utilice el siguiente comando para crear un índice enriquecido para la política.
PUT /_enrich/policy/user_policy/_execute
Después de ejecutarlo, debería producir un resultado similar a la imagen de abajo;
Resultado de la consola para enriquecer la política de usuario
Para confirmar que el índice se enriqueció correctamente, vaya a Gestión de pilas > Gestión de índices, alternar el incluir índices ocultos Activa el botón y recarga los índices. Deberías ver un resultado similar al de la imagen a continuación:
Índice de usuarios enriquecidos con éxito
Establecer la política de ubicación [16:16]
En Kibana, vaya a Herramientas de desarrollo > Consola. Pegue el siguiente comando en la consola y ejecute el comando de política:
PUT /_enrich/policy/location_policy
{
"match": {
"indices": "location",
"match_field": "location_id",
"enrich_fields": ["point"]
}
}
Utilice el siguiente comando para crear un índice enriquecido para la política.
PUT /_enrich/policy/location_policy/_execute
Después de ejecutarlo, debería producir un resultado similar a la imagen de abajo;
Resultado de la consola para enriquecer la política de ubicación
Para confirmar que el índice se enriqueció correctamente, vaya a Gestión de pilas > Gestión de índices, alternar el incluir índices ocultos Activa el botón y recarga los índices. Deberías ver un resultado similar al de la imagen a continuación:
Índice de ubicación enriquecido con éxito
Configurar la política de tipo de miembro [17:05]
En Kibana, vaya a Herramientas de desarrollo > Consola. Pegue el siguiente comando en la consola y ejecute el comando de política:
PUT /_enrich/policy/member_type_policy
{
"range": {
"indices": "member_type",
"match_field": "price_range",
"enrich_fields": ["member_type"]
}
}
Utilice el siguiente comando para crear un índice enriquecido para la política.
PUT /_enrich/policy/member_type_policy/_execute
Después de ejecutarlo, debería producir un resultado similar a la imagen de abajo;
Resultado de la consola para enriquecer la política de tipo de miembro
Para confirmar que el índice se enriqueció correctamente, vaya a Gestión de pilas > Gestión de índices, alternar el incluir índices ocultos Activa el botón y recarga los índices. Deberías ver un resultado similar al de la imagen a continuación:
Índice para tipo de miembro enriquecido exitosamente
Ingesta signup.csv (múltiples índices de origen) [17:45]
En Kibana, vaya a Aprendizaje automático > Visualizador de datos. Y luego cargue los datos del archivo signup.csv. Asígnele un nombre de índice de inscribirse.
Mapeos y cambios en la canalización: antes
Agregue lo siguiente en la sección de mapeo:
"geo": {
"properties": {
"point": {
"type": "geo_point"
}
}
}
y también agregue lo siguiente en la sección de canalización
{
"enrich" : {
"description": "Add 'user' data based on 'email'",
"policy_name": "user_policy",
"field" : "email",
"target_field": "user",
"max_matches": "1"
}
},
{
"enrich" : {
"description": "Add 'member_type' data based on 'paid_amount'",
"policy_name": "member_type_policy",
"field" : "paid_amount",
"target_field": "member_type",
"max_matches": "1"
}
},
{
"enrich" : {
"description": "Add 'geo' data based on 'location_id'",
"policy_name": "location_policy",
"field" : "location_id",
"target_field": "geo",
"max_matches": "1"
}
},
como se muestra en la imagen a continuación:
Mappings Change: After
y luego haga clic en importar.
Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:
Índice creado exitosamente
Para ver los datos, vaya a Herramientas de desarrollo > Consola en Kibana y realice una búsqueda con el siguiente comando:
GET signup/_search
y deberías ver un resultado similar a este:
Datos consultados
Datos de prueba con visualización [23:40]
En Kibana, vaya a Visualizar biblioteca y haga clic en Crear nueva visualización, y luego elige Mapas de las opciones y luego haga clic en Añadir capa, y elige uno Mapa de calor, haga clic en la vista de datos y seleccione inscribirse.
Deberías ver un resultado similar a este:
Selección de mapa de calor
y luego haga clic en Add layer.
Ahora en el métrica campo, seleccione lo siguiente:
Aggregation: Sum
Field: paid_amount
Ahora guarde el mapa haciendo clic en Guardar y acceder al Panel de Control
Guardar el mapa de calor
Guardar el Tablero como Panel de demostración.
Cree una segunda visualización mientras arrastra y suelta las métricas requeridas desde el eje horizontal izquierdo al derecho y elija suma en el eje vertical como se muestra en la imagen a continuación:
2da visualización
Then click on Guardar y volver.
Cree una tercera visualización mientras arrastra y suelta las métricas requeridas desde el eje horizontal izquierdo al derecho y elija suma en el eje vertical como se muestra en la imagen a continuación:
3ª visualización
Then click on Guardar y volver.
Las tres visualizaciones