Daten anreichern mit Elasticsearch 8.x – Teil 3: Automatisierung mit Logstash

Veröffentlicht am 29.01.2023

« Alle Vorträge ansehen Kontaktieren Sie uns
Enrich Data with Elasticsearch 8.x - Part 3: Automation with Logstash

Einführung

Code auf Github: Elasticsearch-Datenanreicherung

Wenn Sie Elasticsearch und Kibana noch nicht eingerichtet haben, dann Befolgen Sie diese Anweisungen.

Dieses Video setzt voraus, dass Sie Öffentlich signierte Zertifikate. Wenn Sie Selbstsignierte Zertifikate, hier klicken Wird noch bekannt gegeben.

Anforderungen

Verfahren

Logstash installieren [09:20]

Öffnen Sie Ihr Terminal. Gehen Sie zu diesem GitHub Repo, und klonen Sie das Repo mit den folgenden Befehlen:

git init git remote add origin https://github.com/evermight/elasticsearch-ingest.git git pull origin master cd part-3

Installieren Sie Logstash mit diesen Befehlen:

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg sudo apt-get install -y apt-transport-https echo 'deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main' | sudo tee /etc/apt/sources.list.d/elastic-8.x.list sudo apt-get update && sudo apt-get install -y logstash

Richten Sie die Umgebungsvariablen mit diesem Befehl ein:

cp env.sample.env .env vi.env

Nehmen Sie nun entsprechende Änderungen vor

PROJECTPATH="/absolute/path/to/current/directory" ELASTICHOST="your.domain.or.ip:9200" ELASTICSSL="use only the string true or the string false" ELASTICUSER="elastic" ELASTICPASS="<Your Elastic Password>"

Zip aufnehmengeo.csv (geoPunktfeldtyp) [11:45]

Führen Sie nun im selben Terminal den folgenden Befehl aus:

./01-zip_geo.sh

und nach einiger Zeit wird das zip_geo.csv Datei und erstellen Sie auch einen erweiterten Index dafür.

Folgendes wird verwendet:

Um zu bestätigen, dass der Index erstellt wurde, gehen Sie zu Stapelverwaltung > Indexverwaltung. Und Sie sollten ein ähnliches Ergebnis wie im Bild unten sehen:

Policy for zip_geo Richtlinie für Zip Geo

Index for zip_geo Index für Zip Geo

Customer.csv aufnehmen [19:55]

Führen Sie nun den folgenden Befehl aus für customer.csv Datei:

./02-customer.sh

And after some time, it will load the customer.csv Datei und erstellen Sie auch einen erweiterten Index dafür.

Folgendes wird verwendet:

Um zu bestätigen, dass der Index erstellt wurde, gehen Sie zu Stapelverwaltung > Indexverwaltung. Und Sie sollten ein ähnliches Ergebnis wie im Bild unten sehen:

Policy for customer Richtlinien für Kunden

Index for customer Index für Kunden

Produkt.csv aufnehmen [23:57]

Führen Sie nun den folgenden Befehl aus für product.csv Datei:

./03-product.sh

And after some time, it will load the product.csv Datei und erstellen Sie auch einen erweiterten Index dafür.

Folgendes wird verwendet:

Um zu bestätigen, dass der Index erstellt wurde, gehen Sie zu Stapelverwaltung > Indexverwaltung. Und Sie sollten ein ähnliches Ergebnis wie im Bild unten sehen:

Policy for product Produktrichtlinie

Index for product Index für Produkt

Ingest order_item.csv [26:00]

Führen Sie nun den folgenden Befehl aus für order_item.csv Datei:

./04-order_item.sh

And after some time, it will load the order_item.csv Datei und erstellen Sie auch einen erweiterten Index dafür.

Folgendes wird verwendet:

Um zu bestätigen, dass der Index erstellt wurde, gehen Sie zu Stapelverwaltung > Indexverwaltung. Und Sie sollten ein ähnliches Ergebnis wie im Bild unten sehen:

Policy for order_item Richtlinie für Bestellartikel

Index for order_item Index für Bestellposition

Order.csv aufnehmen [27:44]

Führen Sie nun den folgenden Befehl aus für order.csv Datei:

./05-order.sh

And after some time, it will load the order.csv Datei und erstellen Sie auch einen erweiterten Index dafür.

Folgendes wird verwendet:

Um zu bestätigen, dass der Index erstellt wurde, gehen Sie zu Stapelverwaltung > Indexverwaltung. Und Sie sollten ein ähnliches Ergebnis wie im Bild unten sehen:

Index for order Index für Bestellung

Leichtes Laufen

Führen Sie den folgenden Befehl aus, um alle zuvor erstellten Ressourcen zu zerstören

./teardown.sh

Und wenn Sie alle .sh-Skripte auf einmal ausführen möchten, können Sie stattdessen den folgenden Befehl verwenden. Dadurch werden alle Skripte in der richtigen Reihenfolge ausgeführt, in der sie ausgeführt werden sollten.

./run.sh

Testdaten mit Visualisierung [33:05]

Gehe zu Stapelverwaltung > Datenansichten, und erstellen Sie eine neue Kibana-Datenansicht, wie im Bild unten dargestellt:

Data view creation Erstellen einer Datenansicht

In Kibana, Unter Analyse go to Visualize-Bibliothek und klicken Sie auf Neue Visualisierung erstellen, und wählen Sie dann Karten aus den Optionen und klicken Sie dann auf Ebene hinzufügen, und wählen Sie eine Wärmekarte, klicken Sie auf Datenansicht und wählen Sie Befehl.

Sie sollten ein Ergebnis ähnlich dem folgenden sehen:

Heat Map selection Heatmap-Auswahl

und klicken Sie dann auf Add layer.

Jetzt im Metriken Wählen Sie Folgendes aus:

Aggregation: Sum Field: order_items.product.price

Speichern Sie nun die Karte, indem Sie auf Speichern und zum Dashboard gehen

Save the heat map Speichern der Heatmap

Speichern Sie das Dashboard unter Umsatz nach Regionen Teil 3, vorhandenes Dashboard Demo-Dashboard.

Erstellen Sie eine zweite Visualisierung der Bestelldaten, indem Sie die erforderlichen Kennzahlen per Drag & Drop von der linken auf die rechte horizontale Achse ziehen und wählen Sie sum auf der vertikalen Achse, wie im Bild unten gezeigt:

2nd visualization 2. Visualisierung

Then click on Speichern und zurückgeben.

All two visualization Alle beiden Visualisierungen

Verwandte Inhalte

  1. Daten anreichern mit Elasticsearch 8.x – Teil 1: Einfache Beispiele
  2. Daten anreichern mit Elasticsearch 8.x – Teil 2: CSV-Upload und mehrere Quellindizes
  3. Daten anreichern mit Elasticsearch 8.x – Teil 3: Automatisierung mit Logstash