11.6 C
New York

Mise à l’échelle de notre plateforme de formation commerciale SaaS avec Rockset


Formation à la vente moderne au format collation

À ConveYour, nous fournissons une formation commerciale automatisée through le cloud. Notre plateforme SaaS tout-en-un apporte une nouvelle approche à l’embauche et à l’intégration de nouvelles recrues commerciales qui maximise la formation et la rétention.

Un roulement élevé du personnel de vente est un gaspillage et est mauvais pour le résultat web. Cependant, il peut être minimisé avec une formation personnalisée qui est dispensée en continu en petites parts. En adaptant les programmes aux besoins et à la durée d’consideration de chaque recrue commerciale, nous maximisons l’engagement et réduisons le temps de formation afin qu’ils puissent être immédiatement opérationnels.

Une telle personnalisation en temps réel nécessite une infrastructure de données succesful d’ingérer et d’interroger instantanément d’énormes quantités de données utilisateur. Et à mesure que nos shoppers et nos volumes de données augmentaient, notre infrastructure de données d’origine ne pouvait pas suivre.

Ce n’est que lorsque nous avons découvert une base de données d’analyse en temps réel appelée Fusée que nous pouvions enfin agréger des thousands and thousands d’enregistrements d’événements en moins d’une seconde et que nos shoppers pouvaient travailler avec des données réelles horodatées, et non avec des informations obsolètes trop obsolètes pour faciliter efficacement la formation à la vente.


convoyeur-rocket-1

Nos besoins commerciaux : évolutivité, simultanéité et faibles opérations

Construit sur les principes de micro-apprentissageConveYour suggest des leçons et des questionnaires courts et pratiques aux recrues commerciales par SMS, tout en permettant à nos shoppers de suivre leurs progrès à un niveau détaillé à l’aide du tableau de bord interne ci-dessus (ci-dessus).

Nous savons jusqu’où ils en sont dans cette vidéo de formation jusqu’au phase de 15 secondes. Et nous savons quelles questions ils ont eu raison et tort sur le dernier quiz – et pouvons automatiquement attribuer plus ou moins de leçons en fonction de cela.

Plus de 100 000 commerciaux ont été formés through ConveYour. Notre approche de micro-apprentissage réduit l’ennui des stagiaires, améliore les résultats d’apprentissage et réduit le roulement du personnel. Ce sont des avantages pour toute entreprise, mais ils sont particulièrement importants pour les entreprises axées sur la vente directe qui embauchent constamment de nouveaux représentants, dont beaucoup sont de nouveaux diplômés ou de nouveaux commerciaux.

L’échelle a toujours été notre problème numéro un. Nous envoyons des thousands and thousands de SMS aux commerciaux chaque année. Et nous ne surveillons pas seulement les progrès des recrues commerciales – nous suivons chaque interplay qu’ils ont avec notre plateforme.

Par exemple, un shopper embauche près de 8 000 commerciaux par an. Récemment, la moitié d’entre eux ont suivi un programme de formation à la conformité déployé et géré par ConveYour. Le suivi des progrès d’un représentant individuel au fur et à mesure de sa development dans les 55 leçons crée 50 000 factors de données. Multipliez cela par 4 000 répétitions et vous obtenez environ 2 thousands and thousands de données d’événement. Et ce n’est qu’un programme pour un shopper.

Pour rendre les informations disponibles à la demande pour les responsables commerciaux de l’entreprise, nous avons d’abord dû exécuter les analyses par lot, puis mettre les résultats en cache. La gestion des différents caches était extrêmement difficile. Inévitablement, certains caches deviendraient obsolètes, entraînant des résultats obsolètes. Et cela conduirait à des appels de nos directeurs des ventes shoppers mécontents que le statut de conformité de leurs représentants soit incorrect.

Au fur et à mesure que nos shoppers grandissaient, nos besoins en évolutivité augmentaient également. C’était un gros problème à avoir. Mais c’était quand même un gros problème.


convoyeur-rockset-2

D’autres fois, la mise en cache ne suffirait pas. Nous avions également besoin de requêtes instantanées hautement simultanées. Par exemple, nous avons construit un tableau de bord CRM (ci-dessus) qui a fourni des résultats de efficiency agrégés en temps réel sur 7 000 commerciaux. Ce tableau de bord était utilisé par des centaines de cadres intermédiaires qui ne pouvaient pas se permettre d’attendre que ces informations arrivent dans un rapport hebdomadaire ou même quotidien. Malheureusement, à mesure que la quantité de données et le nombre d’utilisateurs du gestionnaire augmentaient, la réactivité du tableau de bord ralentissait.

Lancer plus de serveurs de données aurait pu aider. Cependant, notre utilisation est également très saisonnière : plus achalandée à l’automne, lorsque les entreprises intègrent des récoltes de nouveaux diplômés, et baisse à d’autres moments de l’année. Ainsi, le déploiement d’infrastructures permanentes pour répondre à la forte demande aurait été coûteux et inutile. Nous avions besoin d’une plate-forme de données pouvant évoluer selon les besoins.

Notre dernier problème est notre taille. ConveYour a une équipe de seulement cinq développeurs. C’est un choix délibéré. Nous préférerions de loin garder une équipe petite, agile et productive. Mais pour libérer leur intérieur 10x développeurnous souhaitions migrer vers les meilleurs outils SaaS – que nous n’avions pas.

Défis methods

Notre infrastructure de données d’origine a été construite autour d’une base de données MongoDB sur website qui a ingéré et stocké toutes les données de transaction des utilisateurs. Une base de données MySQL s’exécutant dans Google Cloud y était connectée through un pipeline ETL, qui répond à la fois à nos grandes requêtes en cours et aux requêtes advert hoc ultra-rapides de petits ensembles de données.

Aucune des deux bases de données ne coupait la moutarde. Notre tableau de bord CRM « en direct » prenait de plus en plus jusqu’à six secondes pour renvoyer les résultats, ou il expirait tout simplement. Cela avait plusieurs causes. Il y avait la quantité importante mais croissante de données que nous collections et devions analyser, ainsi que les pics d’utilisateurs simultanés, comme lorsque les responsables vérifiaient leurs tableaux de bord le matin ou au déjeuner.

Cependant, la principale raison était simplement que MySQL n’est pas conçu pour l’analyse à grande vitesse. Si nous n’avions pas déjà construit les bons index ou si la requête SQL n’était pas optimisée, la requête MySQL traînerait inévitablement ou expirerait. Pire encore, cela saignerait et nuirait aux performances des requêtes des autres shoppers et utilisateurs.

Mon équipe passait en moyenne dix heures par semaine à surveiller, gérer et corriger les requêtes SQL et les index, juste pour éviter le plantage de la base de données.

Cela devenait si grave que chaque fois que je voyais une nouvelle requête sur MySQL, ma rigidity artérielle augmentait.

Inconvénients des options alternate options

Nous avons examiné de nombreuses options potentielles. Pour évoluer, nous avons pensé à créer des esclaves MongoDB supplémentaires, mais avons décidé que ce serait jeter de l’argent sur un problème sans le résoudre.

Nous avons également essayé Snowflake et avons aimé certains features de leur answer. Cependant, le seul gros trou que je n’ai pas pu combler était le manque d’ingestion de données en temps réel. Nous ne pouvions tout simplement pas nous permettre d’attendre une heure pour que les données passent de S3 à Snowflake.

Nous avons également examiné ClickHouse, mais avons trouvé trop de compromis, en particulier du côté du stockage. En tant que magasin de données en ajout uniquement, ClickHouse écrit les données de manière immuable. La suppression ou la mise à jour de données précédemment écrites devient un lengthy processus par heaps. Et par expérience, nous savons que nous devons constamment remplir les événements et supprimer des contacts. Lorsque nous le faisons, nous ne voulons pas générer de rapports et faire en sorte que ces contacts s’affichent toujours. Encore une fois, il ne s’agit pas d’analyses en temps réel si vous ne pouvez pas ingérer, supprimer et mettre à jour des données en temps réel.

Nous avons également essayé mais rejeté Amazon Redshift automotive il était inefficace avec des ensembles de données plus petits et trop gourmand en main-d’œuvre en général.

Mise à l’échelle avec Rockset

À travers Youtube, j’ai entendu parler de Rockset. Rockset a le meilleur des deux mondes. Il peut écrire des données rapidement comme MongoDB ou une autre base de données transactionnelle, mais il est également très rapide pour les requêtes complexes.

Nous avons déployé Rockset en décembre 2021. Cela n’a pris qu’une semaine. Alors que MongoDB restait notre base de données d’enregistrement, nous avons commencé à diffuser des données vers Rockset et MySQL et à utiliser les deux pour répondre aux requêtes.

Notre expérience avec Rockset a été incroyable. Le premier est sa vitesse d’ingestion des données. Parce que Rockset est une base de données modifiable, la mise à jour et le remplissage des données sont tremendous rapides. Pouvoir supprimer et réécrire des données en temps réel compte beaucoup pour moi. Si un contact est supprimé et que je fais un JOIN immédiatement après, je ne veux pas que ce contact apparaisse dans les rapports.

Le modèle sans serveur de Rockset est aussi un énorme avantage. La façon dont le calcul et le stockage de Rockset augmentent ou diminuent indépendamment et automatiquement réduit la cost informatique de ma petite équipe. Il n’y a simplement aucune upkeep de base de données et aucun souci.

Rockset rend également mes développeurs tremendous productifs, avec l’interface utilisateur facile à utiliser et API d’écriture et prise en cost SQL. Et des fonctionnalités telles que l’index convergent et l’optimisation automatique des requêtes éliminent le besoin de consacrer un temps d’ingénierie précieux aux performances des requêtes. Chaque requête s’exécute rapidement hors de la boîte. La latence moyenne de nos requêtes est passée de six secondes à 300 millisecondes. Et cela est vrai pour les petits et les grands ensembles de données, jusqu’à 15 thousands and thousands d’événements dans l’une de nos collections. Nous avons réduit à zéro le nombre d’erreurs de requête et de requêtes expirées.

Je ne crains plus que donner accès à un nouveau développeur plante la base de données pour tous les utilisateurs. Dans le pire des cas, une mauvaise requête consommera simplement plus de RAM. Mais ce sera le cas. Toujours. Juste. Travail. C’est un poids énorme sur mes épaules. Et je n’ai plus besoin de jouer au gardien de la base de données.

De plus, les performances en temps réel de Rockset signifient que nous n’avons plus à gérer les analyses par heaps et les caches obsolètes. Désormais, nous pouvons agréger 2 thousands and thousands d’enregistrements d’événements en moins d’une seconde. Nos shoppers peuvent consulter les données horodatées réelles, et non des dérivés obsolètes.

Nous utilisons également Rockset pour nos rapports internes, l’ingestion et l’analyse de l’utilisation de notre serveur virtuel avec notre fournisseur d’hébergement, Digital Ocean (regarder cette courte vidéo). À l’aide d’un Cloudflare Employee, nous synchronisons régulièrement nos Gouttelettes océaniques numériques dans une assortment Rockset pour faciliter la création de rapports sur les coûts et la topologie du réseau. C’est un moyen beaucoup plus easy de comprendre notre utilisation et nos performances que d’utiliser la console native de Digital Ocean.

Notre expérience avec Rockset a été si bonne que nous sommes maintenant au milieu d’une migration complète de MySQL vers Rockset. Les données plus anciennes sont transférées de MySQL vers Rockset, tandis que tous les factors de terminaison et requêtes de MySQL sont lentement mais sûrement transférés vers Rockset.

Si vous avez une entreprise technologique en pleine croissance comme la nôtre et que vous avez besoin d’analyses en temps réel faciles à gérer avec une évolutivité instantanée qui rend vos développeurs tremendous productifs, alors je vous recommande de consulter Rockset.



Related Articles

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Latest Articles