Enriquezca sus datos con Elasticsearch 8.x - Parte 3: Automatización con Logstash

Publicado el 29/01/2023

« Ver todas las conferencias Contáctenos
Enrich Data with Elasticsearch 8.x - Part 3: Automation with Logstash

Introducción

Código en Github: Enriquecimiento de datos de Elasticsearch

Si aún no tiene Elasticsearch y Kibana configurados, entonces siga estas instrucciones.

Este vídeo asume que estás usando Certificados firmados públicamente. Si estas usando Certificados autofirmados, Vaya aquí Por determinar.

Requisitos

Proceso

Instalar Logstash [09:20]

Abre tu terminal. Ve a esto Repositorio de GitHub, y clonar el repositorio con los siguientes comandos:

git init git remote add origin https://github.com/evermight/elasticsearch-ingest.git git pull origin master cd part-3

Instale Logstash con estos comandos:

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg sudo apt-get install -y apt-transport-https echo 'deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main' | sudo tee /etc/apt/sources.list.d/elastic-8.x.list sudo apt-get update && sudo apt-get install -y logstash

Configure las variables de entorno con estos comandos:

cp env.sample.env .env vi.env

Ahora realice los cambios correspondientes

PROJECTPATH="/absolute/path/to/current/directory" ELASTICHOST="your.domain.or.ip:9200" ELASTICSSL="use only the string true or the string false" ELASTICUSER="elastic" ELASTICPASS="<Your Elastic Password>"

Ingerir zipgeo.csv (geotipo de campo de puntos) [11:45]

En la misma terminal, ahora ejecute el siguiente comando:

./01-zip_geo.sh

y después de un tiempo, se cargará el zip_geo.csv archivo y también crear un índice enriquecido para él.

Se utilizará lo siguiente:

Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:

Policy for zip_geo Política para código postal geográfico

Index for zip_geo Índice de código postal geográfico

Ingerir cliente.csv [19:55]

Ahora ejecute el siguiente comando para customer.csv archivo:

./02-customer.sh

And after some time, it will load the customer.csv archivo y también crear un índice enriquecido para él.

Se utilizará lo siguiente:

Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:

Policy for customer Política para el cliente

Index for customer Índice para clientes

Ingerir producto.csv [23:57]

Ahora ejecute el siguiente comando para product.csv archivo:

./03-product.sh

And after some time, it will load the product.csv archivo y también crear un índice enriquecido para él.

Se utilizará lo siguiente:

Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:

Policy for product Política de productos

Index for product Índice de productos

Ingesta order_item.csv [26:00]

Ahora ejecute el siguiente comando para order_item.csv archivo:

./04-order_item.sh

And after some time, it will load the order_item.csv archivo y también crear un índice enriquecido para él.

Se utilizará lo siguiente:

Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:

Policy for order_item Política para artículos pedidos

Index for order_item Índice del artículo del pedido

Orden de ingesta.csv [27:44]

Ahora ejecute el siguiente comando para order.csv archivo:

./05-order.sh

And after some time, it will load the order.csv archivo y también crear un índice enriquecido para él.

Se utilizará lo siguiente:

Para confirmar que se creó el índice, vaya a Gestión de pilas > Gestión de índices. Deberías ver un resultado similar al de la imagen de abajo:

Index for order Índice de pedidos

Facilidad de funcionamiento

Ejecute el siguiente comando para destruir todos los recursos creados anteriormente

./teardown.sh

Y si desea ejecutar todos los scripts .sh a la vez, puede utilizar el siguiente comando, y ejecutará todos los scripts en el orden correcto en que deben ejecutarse;

./run.sh

Datos de prueba con visualización [33:05]

Ir a Gestión de pilas > Vistas de datos, y cree una nueva vista de datos de Kibana como se muestra en la imagen a continuación:

Data view creation Creación de vistas de datos

En Kibana, bajo Analítica go to Visualizar biblioteca y haga clic en Crear nueva visualización, y luego elige Mapas de las opciones y luego haga clic en Añadir capa, y elige uno Mapa de calor, haga clic en la vista de datos y seleccione orden.

Deberías ver un resultado similar a este:

Heat Map selection Selección de mapa de calor

y luego haga clic en Add layer.

Ahora en el métrica campo, seleccione lo siguiente:

Aggregation: Sum Field: order_items.product.price

Ahora guarde el mapa haciendo clic en Guardar y acceder al Panel de Control

Save the heat map Guardar el mapa de calor

Guardar el Tablero como Ingresos por región Parte 3, panel de control existente Panel de demostración.

Cree una segunda visualización de los datos del pedido mientras arrastra y suelta las métricas requeridas desde el eje horizontal izquierdo al derecho y elija sum en el eje vertical como se muestra en la imagen a continuación:

2nd visualization 2da visualización

Then click on Guardar y volver.

All two visualization Las dos visualizaciones

Contenido relacionado

  1. Enriquecer datos con Elasticsearch 8.x - Parte 1: Ejemplos básicos
  2. Enriquecer datos con Elasticsearch 8.x - Parte 2: Carga de CSV e índices de múltiples fuentes
  3. Enriquezca sus datos con Elasticsearch 8.x - Parte 3: Automatización con Logstash