Installation des PubNub Kafka Sink Connectors
Published: 2024-02-07 05:33:28

Wenn Sie einen bestehenden Kafka-Cluster haben und Datensätze aus Ihren Kafka-Themen in Echtzeit an Geräte wie Webbrowser und Mobiltelefone liefern möchten, ist PubNub Kafka Sink Connector die Lösung. Dieser Leitfaden führt Sie durch den Prozess der Einrichtung des PubNub Kafka Sink Connectors.

Einrichten eines lokalen Test-Kafka-Clusters (optional)
-------------------------------------------------------

Der PubNub Kafka Sink Connector nutzt Kafka Connect, ein Framework, das speziell für die Bereitstellung von Daten aus Kafka-Themen an sekundäre Systeme wie Hadoop, Elastic und PubNub entwickelt wurde. Zu Demonstrationszwecken haben wir einen gesamten Kafka-Cluster in einer einzigen Docker-Kompositionsdatei zusammengefasst. Sie enthält alles, was Sie zum Einrichten Ihres Dockers, der komponierten YAML-Dateien, des Kafka-Brokers und des Clusters selbst benötigen. Zusätzlich haben wir zu Testzwecken einen Producer beigefügt, der automatisch Daten in ein Topic auf Ihrem lokal laufenden Kafka-Cluster produziert.

Klonen Sie das Repository [https://github.com/pubnub/pubnub-kafka-sink-connector](https://github.com/pubnub/pubnub-kafka-sink-connector) und führen Sie den Befehl `docker compose up` aus, um diese Images auf Ihrem lokalen System zu starten. Dies kann eine Weile dauern, da Kafka selbst eine Menge zu bieten hat.

Docker Compose wird auch das PubNub Kafka Sink Connector-Paket erstellen. Der Einfachheit halber haben wir ein Image beigefügt, das das Maven-Paket für uns baut. So lässt es sich schnell und einfach mit dem Kafka Connect Framework in Ihr Kafka Connect importieren. Sobald das Builder-Image die Erstellung des Connector-Pakets abgeschlossen hat, ist es bereit für die Bereitstellung. Sie wissen, dass es bereit ist, wenn in regelmäßigen Abständen die Benachrichtigungsmeldungen für Verbraucher erscheinen, die zeigen: `Verbraucher | {"timestamp":1705690559}` in einer Reihe von Datensätzen. Dies bedeutet, dass unser Testdatencontainer erfolgreich arbeitet und wir bereit sind, den Sink Connector zu installieren.

Einrichten des PubNub Sink Connectors
-------------------------------------

Der Sink Connector ist die Brücke, die auf dem Kafka-Connect-Framework zwischen den Kafka-Themen und den Datensätzen in diesen Themen zu Ihren Geräten läuft. Alles, was Sie benötigen, sind die Informationen zum Connector-Paket, die sich in der PubNub Sink Connector JSON-Datei befinden. Senden Sie diese Datei an Kafka Connect, wo Kafka Connect ausgeführt wird, und es beginnt mit dem Kopieren von Daten aus den konfigurierten Topics direkt auf Ihre End-Zielgeräte.

Sie müssen die [JSON-Datei examples/pubnub-sink-connector.json](https://github.com/pubnub/pubnub-kafka-sink-connector/blob/main/examples/pubnub-sink-connector.json) mit Ihren PubNub-API-Schlüsselinformationen konfigurieren. Sie finden Ihre API-Schlüssel unter [https://admin.pubnub.com/](https://admin.pubnub.com/). Diese Informationen werden verwendet, um die Endergebnisse an Ihre Zielgeräte zu liefern. Sie können Ihre Themen und Muster festlegen und dann den Befehl zur Bereitstellung des Sink Connectors ausführen.

Führen Sie den folgenden Befehl aus, um den Sink Connector bereitzustellen:

```js
curl -X POST \
    -d @examples/pubnub-sink-connector.json \
    -H "Content-Type:application/json" \
    http://localhost:8083/connectors
```

Ihr Konnektor läuft jetzt und alle Daten, die an das konfigurierte Kafka-Topic gesendet werden, werden sofort an jedes Gerät kopiert, das mit dem PubNub SDK abonniert ist.

Validierung des Sink-Connectors
-------------------------------

Sie können überprüfen, ob der Konnektor läuft, indem Sie die Nachrichten überprüfen, die an ein Webbrowser-Gerät geliefert werden. Sobald Nachrichten in das Kafka-Topic gestellt werden, werden sie sofort in die PubNub-Infrastruktur kopiert, die für die zuverlässige Zustellung dieser Nachrichten an Ihre Zielgeräte verantwortlich ist. Der folgende Screenshot zeigt, wie die Daten sofort in eine Webbrowser-Anwendung strömen, sobald ein Ereignisdatensatz im Kafka-Topic empfangen wird.

![Validation of data being received on a web browser app from event records originating in a Kafka topic.](https://pubnub.com/cdn/3prze68gbwl1/9SwRTW3wCqjRs65X5vwyL/745d0c0fe06f48a5bfb8f4f639713fc6/Screenshot_2024-01-19_at_1.00.04_PM.png)

Aufbau des PubNub Kafka Sink Connectors
---------------------------------------

Wenn Sie bereit für die Produktion sind, können Sie PubNub Kafka Sink Connect mit dem Maven build Befehl erstellen. Stellen Sie sicher, dass Sie alle Abhängigkeiten installiert haben, wie Java 11 oder höher und eine neue Version von Maven. Führen Sie `mvn clean package` aus, um alle mit dem Paket verbundenen Tests auszuführen und einige Pakete zu kompilieren, darunter eine jar-Datei und eine zip-Datei. Dies ist das Paket, das im Kafka Connect Framework verwendet werden wird.

Video-Walkthrough für die Installation des PubNub Kafka Sink Connector
----------------------------------------------------------------------

In diesem Video wird eine geführte Installation des PubNub Kafka Sink Connectors demonstriert.

[Klicken Sie hier, um das Video anzusehen](https://videos.ctfassets.net/3prze68gbwl1/4S1JBjNrtGzLuUuJqmUc03/e2814500520648f92768d449a7c6c085/PubNub-Kafka-Connector.edited.mp4)

Die Einrichtung des PubNub Kafka Sink Connectors ist einfach, und es ist wichtig, dass Sie die Schritte sorgfältig befolgen. Wenn Sie dabei auf Probleme stoßen, wenden Sie sich an uns unter [support.pubnub.com](https://support.pubnub.com), und wir helfen Ihnen gerne weiter.

Weitere Details finden Sie in der [offiziellen PubNub-Dokumentation](https://www.pubnub.com/docs/general/integrations/kafka/pubnub-kafka-sink-connector).

Wie kann PubNub Ihnen helfen?
=============================

Dieser Artikel wurde ursprünglich auf [PubNub.com](https://www.pubnub.com/blog/installing-pubnub-kafka-sink-connector/) veröffentlicht.

Unsere Plattform unterstützt Entwickler bei der Erstellung, Bereitstellung und Verwaltung von Echtzeit-Interaktivität für Webanwendungen, mobile Anwendungen und IoT-Geräte.

Die Grundlage unserer Plattform ist das größte und am besten skalierbare Echtzeit-Edge-Messaging-Netzwerk der Branche. Mit über 15 Points-of-Presence weltweit, die 800 Millionen monatlich aktive Nutzer unterstützen, und einer Zuverlässigkeit von 99,999 % müssen Sie sich keine Sorgen über Ausfälle, Gleichzeitigkeitsgrenzen oder Latenzprobleme aufgrund von Verkehrsspitzen machen.

PubNub erleben
--------------

Sehen Sie sich die [Live Tour](https://www.pubnub.com/tour/introduction/) an, um in weniger als 5 Minuten die grundlegenden Konzepte hinter jeder PubNub-gestützten App zu verstehen

Einrichten
----------

Melden Sie sich für einen [PubNub-Account](https://admin.pubnub.com/signup/) an und erhalten Sie sofort kostenlosen Zugang zu den PubNub-Schlüsseln

Beginnen Sie
------------

Mit den [PubNub-Dokumenten](https://www.pubnub.com/docs) können Sie sofort loslegen, unabhängig von Ihrem Anwendungsfall oder [SDK](https://www.pubnub.com/docs)