Nous sommes heureux d’annoncer la disponibilité générale (GA) du assist pour l’orchestration des projets dbt dans Flux de travail Databricks. Depuis le début de Aperçu publicnous avons des centaines de purchasers qui exploitent cette intégration avec dbt pour transformer, tester et documenter de manière collaborative les données dans les entrepôts Databricks SQL.
Avec la prise en cost de dbt dans Workflows, votre projet dbt est récupéré à partir d’un Git dépôt, et un cluster à nœud distinctive est lancé avec dbt-core et des dépendances de projet sur celui-ci. Le SQL généré par dbt est exécuté sur un entrepôt SQL sans serveur, offrant un débogage facile et d’excellentes performances. Il existe également des capacités robustes et opérationnelles, telles que la capacité de réparation échec des exécutions et envoi d’alertes through Slack ou une vacation spot webhook lorsqu’une tâche dbt échoue, sans parler de la possibilité de gérer ces travaux et de récupérer des artefacts dbt tels que des journaux through le API d’emplois.
Avec GA, nous avons étendu la prise en cost aux entrepôts SQL Professional en plus de la prise en cost existante des entrepôts SQL sans serveur. De plus, nous sommes heureux d’annoncer la prise en cost de Databricks sur Google Cloud Platform (GCP). La lignée des transformations spécifiées dans les projets dbt est également automatiquement capturée dans Catalogue d’unité. Enfin, encore plus de packages communautaires dbt tels que dbt-artefacts fonctionne maintenant avec Databricks.
Pour commencer avec dbt sur Databricks, exécutez simplement « pip set up dbt-databricks ». Cela installe le bundle open supply dbt-databricks construit avec dbt Labs et d’autres contributeurs. Vous pouvez suivre notre information détaillé pour démarrer avec un exemple de projet. Une fois que vous avez validé votre code supply dans un référentiel git, vous pouvez utiliser Databricks Workflows pour exécuter vos modèles dbt en manufacturing (voir notre documentation pour (AWS | Azur | GCP).
