Le connecteur natif de Rockset pour Amazon Managed Streaming for Apache Kafka (MSK) simplifie et accélère l’ingestion de données de streaming pour des analyses en temps réel. Amazon MSK est un service AWS entièrement géré qui donne aux utilisateurs la possibilité de créer et d’exécuter des purposes à l’aide d’Apache Kafka. Amazon MSK fournit des opérations de plan de contrôle telles que la création et la suppression de clusters, tout en permettant aux utilisateurs d’utiliser les opérations de plan de données Apache Kafka pour produire et consommer des données.
Avec l’intégration MSK, les utilisateurs n’ont pas besoin de créer, déployer ou exploiter des composants d’infrastructure côté Kafka. Voici remark Rockset facilite l’ingestion de données de streaming à partir de MSK grâce à cette intégration de données :
- L’intégration est entièrement gérée par Rockset et peut être configurée en quelques clics, conformément à notre philosophie de rendre accessible l’analyse en temps réel.
- L’intégration est proceed, de sorte que toutes les nouvelles données du sujet Kafka seront indexées dans Rockset, offrant une latence de données de bout en bout d’environ deux secondes.
- Il n’est pas nécessaire de pré-créer un schéma pour exécuter des analyses en temps réel sur les flux d’événements de Kafka. Rockset indexe l’intégralité du flux de données. Ainsi, lorsque de nouveaux champs sont ajoutés, ils sont immédiatement exposés et rendus interrogeables à l’aide de SQL.
Sous la capuche
L’intégration Kafka de Rockset adopte l’API Kafka Client, qui est une bibliothèque Java vanille de bas niveau qui peut être facilement intégrée dans des purposes pour suivre les données d’un sujet Kafka.
Lorsque vous créez une nouvelle assortment à partir d’une intégration Amazon MSK et que vous spécifiez une ou plusieurs rubriques, Rockset go well with ces rubriques à l’aide de l’API Kafka Client et consomme des données en temps réel. Rockset gère tous les gros travaux tels que les factors de contrôle de development et la résolution des cas d’échec courants avec le Structure de queue de feuille d’agrégateur (ALT). Les compensations de consommation sont entièrement gérées par Rockset, sans enregistrer aucune info à l’intérieur du cluster d’un shopper. Chaque agent d’ingestion reçoit sa propre affectation de partition de rubrique et les derniers décalages traités lors de l’initialisation du coordinateur d’ingestion, puis exploite le consommateur intégré pour récupérer les données de rubrique Kafka.
La principale différence entre AmazonMSK et Kafka confluent dans l’intégration Kafka de Rockset, c’est ainsi que nous nous authentifions auprès de votre cluster. Amazon MSK utilise IAM pour l’authentification sécurisée, nous avons donc ajouté la prise en cost de l’authentification IAM à l’aide des rôles IAM entre comptes AWS. Lorsque vous créez une nouvelle intégration Amazon MSK et que vous fournissez un rôle IAM entre comptes, Rockset s’authentifie auprès de votre cluster MSK à l’aide du Bibliothèque Amazon MSK pour IAM.
Amazon MSK et Rockset pour l’analyse en temps réel
Dès que les données d’événement atterrissent dans MSK, Rockset les indexe automatiquement pour les requêtes SQL inférieures à la seconde. Vous pouvez rechercher, agréger et joindre des données sur des rubriques Kafka et d’autres sources de données, notamment des données dans S3, MongoDB, DynamoDB, Postgres, and so forth. Ensuite, transformez simplement la requête SQL en une API pour servir les données dans votre utility.
Nous avons également testé en cost la nouvelle intégration MSK avec des exemples de données et diverses configurations de cost, en envoyant un débit maximal d’environ 33 Mo/s.
Configuration rapide d’Amazon MSK
Configurer l’intégration
Pour configurer une intégration Amazon MSK, accédez d’abord à la web page des intégrations sur la console Rockset. Sélectionnez l’possibility Amazon MSK et cliquez sur « Démarrer » pour commencer à créer votre intégration MSK et fournir des informations permettant à Rockset de se connecter à votre cluster.
Donnez un nom à votre intégration avec une description facultative. Créez une nouvelle stratégie IAM et attachez la stratégie à un rôle IAM nouveau ou existant pour donner à Rockset un accès en lecture à votre cluster MSK. Fournissez l’ARN du rôle pour le rôle IAM et l’URL des serveurs d’amorçage à partir du tableau de bord de votre cluster MSK.
Créer une assortment
Une assortment dans Rockset est similaire à une desk dans le monde SQL. Pour créer une assortment, ajoutez simplement des détails, y compris le ou les sujets Kafka que vous souhaitez que Rockset consomme. Le décalage de départ vous permet de remplir les données historiques ainsi que de capturer les derniers flux.
Interroger les données de sujet à l’aide de SQL
Dès que les données seront ingérées, Rockset indexera les données dans un Index convergé pour des analyses rapides à grande échelle. Cela signifie que vous pouvez interroger données semi-structurées et profondément imbriquées à l’aide de SQL sans avoir à effectuer de préparation de données ou de réglage des performances.
Dans cet exemple, nous pouvons simplement écrire une requête SQL sur les données Amazon MSK pour lesquelles nous venons de configurer l’intégration, en passant de la configuration à la requête en quelques minutes.
Nous sommes ravis de continuer à faciliter l’analyse des données de streaming en temps réel pour les développeurs et les équipes de données. Si vous êtes un utilisateur d’Amazon MSK, c’est plus facile que jamais avec Rockset’s assist natif pour MSK.
