Présentation de l’automatisation suralimentée pour votre parc de données – Atlan

Si vous avez été sur Web récemment, vous avez probablement vu remark OpenAI ChatGPT prend le monde d’assaut. Depuis écrire des livres et concevoir des salles pour code de débogage et expliquer les ideas de donnéesil semble que l’automatisation et l’IA peuvent désormais répondre à toutes les questions que vous posez.

En comparaison, les métadonnées peuvent donner l’impression de vivre à l’âge de pierre. Traditionnellement, il s’agit d’un processus manuel fastidieux qui nécessite de nombreuses interventions humaines de la half des responsables des données, des gestionnaires, des ingénieurs et des analystes. Lors de notre dernier webinaire, un sondage a montré que 60 % des individuals passent plus de 3 heures par semaine sur les tâches de données manuelles.

Chez Atlan, l’un de nos objectifs est d’automatiser autant que potential. Remark pouvons-nous minimiser le banal et maximiser l’impression que les équipes de données peuvent avoir sur l’entreprise ?

Dans la semaine dernière Activer Atlan, notre webinaire produit trimestriel, nous avons lancé de nouvelles fonctionnalités d’automatisation pour optimiser vos données. Voici les cinq principales fonctionnalités qui vous aideront à cartographier le contexte de votre parc de données et à limiter le travail manuel répétitif qui ralentit les équipes de données.

TL; DR : 5 nouvelles fonctionnalités d’Atlan à connaître

• Playbooks de métadonnées pour les actions basées sur des règles: Comme Zapier pour les données, il s’agit de la première automatisation de métadonnées low-code/no-code pour les équipes information.
• Actions basées sur les événements Atlan + AWS EventBridge: créez des automatisations événementielles de niveau manufacturing pour le monde des métadonnées, telles que des alertes en cas de changement de propriété ou des classifications marquées automatiquement.
• Profilage et informations sur la popularité: utilisez de nouvelles mesures de profilage, de popularité et d’utilisation au niveau des colonnes pour évaluer la qualité des données, trouver les requêtes les plus utilisées, identifier les principaux utilisateurs, and so forth.
• Intégration d’Atlan à GitHub: apportez les métadonnées directement à GitHub pour minimiser les risques et augmenter la transparence avant que toute modification ne soit apportée à vos données.
• Trident AI alimenté par GPT-3: Dites adieu à la documentation manuelle avec des descriptions automatisées de plus en plus intelligentes, des termes commerciaux, des fichiers README, and so forth.

Playbooks de métadonnées : présentation de Zapier pour votre parc de données

Créez des automatisations en bloc basées sur des règles à grande échelle pour déprécier automatiquement les actifs de données inutilisés, attribuer la propriété, signaler les échecs ou les annonces, et plus encore.

L’une des questions les plus fréquentes que nous posent les équipes de données est : « Remark pouvons-nous automatiser nos métadonnées ? » Alors que d’autres équipes comme le advertising and marketing ou les ventes peuvent effectuer une automatisation basée sur l’motion à grande échelle avec des outils comme Zapier ou Salesforce, les équipes de données n’ont pas la bande passante pour coder des automatisations personnalisées pour chaque cas d’utilisation diversifié. Pourquoi n’y a-t-il pas de Zapier pour les métadonnées ?

C’est pourquoi nous avons développé la première automatisation de métadonnées low-code/no-code pour les équipes information. Avec les Playbooks d’Atlan, les utilisateurs peuvent désormais créer des automatisations basées sur des règles à grande échelle. Ceux-ci peuvent générer des cas d’utilisation sans fin dans votre organisation. Voici quelques exemples:

• Éléments obsolètes : Marquez tous les actifs qui n’ont pas été interrogés au cours des 30 derniers jours comme obsolètes.
• Ajouter/modifier la propriété : Pour les actifs Salesforce auxquels il manque un propriétaire, ajoutez RevOps en tant que propriétaire.
• Signaler les actifs défaillants: publiez une liste sur Slack de chaque tableau et tableau de bord avec un statut Airflow « en échec ».
• Protégez les données sensibles: Joignez des métadonnées personnalisées RGPD à tous les actifs marqués comme « PII ».
• Signaler les alertes en amont: Avertir les propriétaires en aval lorsqu’un élément en amont est marqué d’un avertissement ou d’une annonce.

Atlan + AWS EventBridge : créez des automatisations de métadonnées personnalisées basées sur des événements

Créez des automatisations événementielles de niveau manufacturing pour le monde des métadonnées, telles que des alertes en cas de changement de propriété ou des classifications à marquage automatique.

Les automatisations low-code/no-code basées sur des règles comme les playbooks Atlan sont excellentes, mais certaines équipes de données ne veulent pas être limitées par des règles. Ils veulent construire leurs propres automatisations pour les actions répétitives.

D’autres équipes, de l’observabilité des données à la gestion des incidents, construisent des automatisations qui peuvent déclencher des actions en fonction d’événements. Par exemple, de nombreuses équipes de gestion des accès utilisent Okta pour surveiller les événements du journal système à la recherche d’activités suspectes et automatiser les actions pour atténuer les risques. Les équipes d’engagement shopper utilisent Salesforce pour créer des événements qui enrichissent les demandes d’help avec les données de commande des shoppers. Mais qu’en est-il de la gestion des métadonnées ? Il n’y a rien de disponible pour créer ce kind de cas d’utilisation pilotés par les événements pour les métadonnées… jusqu’à présent.

Nous sommes ravis d’annoncer que les équipes de données peuvent désormais utiliser Atlan pour créer des automatisations événementielles de niveau manufacturing pour le monde des métadonnées. Cela tire parti de notre intégration entre Atlan et AWS EventBridge, un service AWS qui crée un événement et permet aux utilisateurs de le consommer et de créer des cas d’utilisation, pour créer des événements de métadonnées Atlan dans un compte EventBridge.

Voici quelques exemples de la manière dont cela pourrait fonctionner dans Atlan :

• Alertes de propriété: Recevez des notifications dans Slack en cas de changement de propriétaire d’un élément.
• Propagation et classification: Si quelqu’un marque un champ comme PII dans une supply de données en amont, créez automatiquement une stratégie de masquage pour modifier tous les champs associés en aval.
• Et d’innombrables autres cas d’utilisation, tels que les notifications autour modifications de schéma sur les actifs d’Atlan pour l’ingénierie des données, événements de connexion/déconnexion pour les équipes de sécurité, ou déclencher un Enrichissement en cinqtran événement pour lancer un flux de travail Atlan.

Tirez parti du profilage et des informations sur la popularité pour créer du contexte et de la confiance

Utilisez de nouvelles mesures de profilage, de popularité et d’utilisation au niveau des colonnes pour évaluer la qualité des données, trouver les requêtes les plus utilisées, identifier les principaux utilisateurs, and so forth.

Pouvoir profiler vos données est puissant. Il fournit le contexte et les informations dont les utilisateurs ont besoin pour comprendre, utiliser et faire confiance aux données, qu’ils soient analystes de données ou utilisateurs professionnels.

C’est pourquoi une nouvelle fonctionnalité de profilage est désormais disponible dans Atlan. Grâce à une gamme de nouvelles mesures, les utilisateurs du monde entier peuvent renforcer la confiance dans les données qu’ils consomment.

• Métriques commerciales : Moyenne, most, minimal, moyenne, nombre de lignes, somme, and so forth.
• Métriques avancées : Doublons, fréquences, données manquantes, unicité, écart kind, and so forth.

Nous avons également ajouté de nouvelles fonctionnalités d’utilisation et de popularité pour aider les équipes de données à gérer leurs actifs. Les entreprises peuvent utiliser ces nouvelles métriques pour réduire les coûts sur les dépenses d’entrepôt de données cloud, identifier les ressources les plus utilisées, trouver les personnes ayant le plus de contexte sur une ressource de données, et plus encore.

• Journaux de requête d’éléments : Le nombre de fois qu’un actif a été interrogé (popularité de l’actif), quand il a été mis à jour pour la dernière fois, and so forth.
• Journaux des requêtes des utilisateurs: principaux utilisateurs, utilisateurs les plus récents, qui ont interrogé un élément en dernier, and so forth.
• Journaux d’optimisation des coûts et des performances : Quelles requêtes sont les plus lentes, quelles requêtes sont les plus coûteuses, and so forth.

Atlan + GitHub : activez les contrats de données en intégrant des métadonnées dans votre processus de création de données

Apportez des métadonnées actives directement à GitHub pour minimiser les risques et augmenter la transparence avant que toute modification ne soit apportée à vos données.

Une grande dialogue de nos jours est de déplacer les données «vers la gauche», c’est-à-dire de rapprocher les processus de données importants et les vérifications du second où les actifs sont créés, plutôt que du second où ils sont distribués. Cette idée fait partie du données contrats débatqui a mis en évidence l’significance d’améliorer la fiabilité et la convivialité entre les producteurs et les consommateurs de données.

Les contrats de données peuvent jouer un rôle essentiel dans l’exécution du pipeline de données, la validation des sorts de données, la gestion des variations, and so forth. Par exemple, si un ingénieur de données apporte des modifications à un modèle dbt, elles peuvent sans le savoir affecter des dizaines ou des centaines de personnes, de tables ou de tableaux de bord. Remark pouvons-nous minimiser ce risque tout en assurant la transparence pour l’ingénieur de données et le consommateur de données ?

En apportant la puissance des métadonnées actives d’Atlan à GitHub, les ingénieurs de données peuvent désormais accéder à tout le contexte dont ils ont besoin pour minimiser les risques pour les consommateurs de données.

Voici un exemple de ce à quoi cela ressemble : disons que vous êtes un ingénieur de données et que vous avez créé une demande d’extraction. Lorsque l’motion GitHub s’exécute, elle crée automatiquement une liste de tous les actifs en aval qui seront affectés par cette demande – avant que vous n’effectuiez la modification. À partir de là, vous pouvez contacter les utilisateurs à l’avance ou rechercher et tester les actifs pour voir remark ils pourraient être affectés. Comme le dit le proverbe, « mieux vaut prévenir que guérir ».

Automatisez les métadonnées avec Trident AI optimisé par GPT-3

Dites adieu à la documentation manuelle avec des descriptions automatisées de plus en plus intelligentes, des termes commerciaux, des fichiers README, and so forth.

Une fonctionnalité existante dans Atlan, Trident rend l’enrichissement des métadonnées amusant et facile en fournissant des solutions pour de nouvelles descriptions, propriétaires, termes et classifications. Bien que cela ait été extrêmement réussi – en fait, un tiers de toutes les mises à jour de description sur Atlan jusqu’à présent ont été effectuées à l’aide de Trident – nos shoppers en demandent plus. Plus d’IA et de ML, c’est-à-dire.

Présentation de Trident AI, alimenté par GPT-3 – les pouvoirs de Trident combinés à l’intelligence de GPT-3. Actuellement en cours de développement, cette fonctionnalité prendra en cost des cas d’utilisation tels que :

• Création de descriptions pour les noms de colonne
• Créer des descriptions pour les termes commerciaux courants
• Rédaction d’un fichier README pour un terme métier

Auparavant, Trident fournissait une suggestion pour ces éléments, que vous pouviez ensuite appliquer si vous l’aimiez. Maintenant, avec Trident AI, si vous n’aimez pas la suggestion, demandez simplement à Trident AI de changer. Semblable à ChatGPT, Trident AI fournira une recommandation plus robuste basée sur la puissance de l’IA et de GPT-3.

💡 Si vous voulez en savoir plus, consultez l’enregistrement complet de Atlan Activate : des automatisations suralimentées pour cartographier l’ensemble de votre parc de données. Vous pouvez également vous abonner à notre Bulletin d’info sur les mises à jour des produits pour toutes les dernières nouvelles.

💡 Prêt à commencer à utiliser ces nouvelles fonctionnalités ? Contactez notre Ventes équipe ou votre Responsable de la réussite shopper pour savoir remark.