Les développeurs d’apprentissage automatique ont acquis de nouvelles capacités pour développer et exécuter leurs programmes ML sur le framework et le matériel de leur choix grâce au projet OpenXLA, qui a annoncé aujourd’hui la disponibilité de composants open supply clés.
Les information scientists et les ingénieurs ML passent souvent beaucoup de temps à optimiser leurs modèles pour travailler sur chaque cible matérielle. Qu’ils travaillent dans un cadre comme TensorFlow ou PyTorch et ciblent des GPU ou des TPU, il n’y avait aucun moyen d’éviter cet effort manuel, qui consommait un temps précieux et rendait difficile le déplacement d’functions ultérieurement.
C’est le problème général ciblé par les gens derrière le projet OpenXLA, qui était fondé l’automne dernier et comprend aujourd’hui Alibaba, Providers Net Amazon, DMLA, Pomme, Bras, Systèmes cérébraux, Google, Graphcore, Visage étreignant, Intel, Métaet Nvidia comme ses membres.
En créant un compilateur d’apprentissage automatique unifié qui fonctionne avec une gamme de frameworks de développement ML et de plates-formes matérielles et d’environnements d’exécution, OpenXLA peut accélérer la livraison d’functions ML et fournir une plus grande portabilité du code.
Aujourd’hui, le groupe a annoncé la disponibilité de trois outils open supply dans le cadre du projet. XLA est un compilateur ML pour les processeurs, les GPU et les accélérateurs ; StableHLO est un ensemble d’opérations pour les opérations de haut niveau (HLO) en ML qui guarantee la portabilité entre les frameworks et les compilateurs ; tandis que IREE (Intermediate Illustration Execution Setting) est un compilateur et un runtime MLIR (Multi-Stage Intermediate Illustration) de bout en bout pour les déploiements mobiles et en périphérie. Les trois sont téléchargeables sur le web site OpenXLA GitHub
Frameworks initiaux pris en cost par OpenXLA, notamment TensorFlow, PyTorch et JAX, un nouveau framework Google JAX est conçu pour transformer des fonctions numériques et est décrit comme rassemblant une model modifiée d’autograd et de TensorFlow tout en suivant la construction et le flux de travail de NumPy. Les cibles et optimisations matérielles initiales incluent le processeur Intel, les GPU Nvidia, les TPU Google, le GPU AMD, les processeurs Arm, AWS Trainium et Inferentia, l’IPU de Graphcore et le moteur Cerebras Wafer-Scale (WSE). L' »optimiseur indépendant de la cible » d’OpenXLA cible les fonctions albébriques, la fusion op/noyau, le partage de mise à jour de poids, la propagation de la disposition du graphe complet, la planification et SPMD pour le parallélisme.
Les produits de compilateur OpenXLA peuvent être utilisés avec une variété de cas d’utilisation ML, y compris la formation à grande échelle de modèles d’apprentissage en profondeur massifs, y compris les grands modèles de langage (LLM) et même des modèles de imaginative and prescient par ordinateur génératifs comme Secure Diffusion. Il peut également être utilisé pour l’inférence; Waymo utilise déjà OpenXLA pour l’inférence en temps réel sur ses voitures autonomes, selon un poste aujourd’hui sur le weblog open supply de Google.
L’écosystème de compilateurs OpenXLA offre une portabilité entre les outils de développement ML et les cibles matérielles (Picture supply OpenXLA Mission)
Les membres d’OpenXLA ont vanté certains de leurs premiers succès avec le nouveau compilateur. Alibaba, par exemple, affirme avoir été en mesure de former un modèle GPT2 sur les GPU Nvidia 72 % plus rapidement en utilisant OpenXLA, et a vu une accélération de 88 % pour une tâche de formation Swin Transformer sur les GPU.
Hugging Face, quant à lui, a déclaré avoir vu une accélération d’environ 100 % lorsqu’il a associé XLA à son modèle de génération de texte écrit dans TensorFlow. « OpenXLA promet des blocs de building standardisés sur lesquels nous pouvons construire l’interopérabilité dont nous avons tant besoin, et nous avons hâte de suivre et de contribuer ! » a déclaré Morgan Funtowicz, responsable de l’optimisation de l’apprentissage automatique pour la société de Brooklyn, New York.
Fb a pu « réaliser des améliorations significatives des performances sur des projets importants », notamment en utilisant XLA sur des modèles PyTorch exécutés sur des TPU Cloud, a déclaré Soumith Chintala, responsable de la upkeep de PyTorch.
Les startups de puces sont satisfaites de XLA, qui réduit les risques d’adopter du matériel relativement nouveau et non éprouvé pour les purchasers. « Notre pipeline de compilateurs IPU utilise XLA depuis qu’il a été rendu public », a déclaré David Norman, directeur de la conception logicielle de Graphcore. « Grâce à l’indépendance et à la stabilité de la plate-forme XLA, il fournit une interface idéale pour mettre au level un nouveau silicium. »
« OpenXLA aide à étendre la portée de nos utilisateurs et à accélérer le délai de résolution en fournissant au moteur Wafer-Scale de Cerebras une interface commune aux frameworks ML de niveau supérieur », déclare Andy Hock, vice-président et chef de produit chez Cerebras. « Nous sommes extrêmement ravis de voir l’écosystème OpenXLA disponible pour un engagement, une contribution et une utilisation encore plus larges de la communauté sur GitHub. »
AMD et Arm, qui se battent contre de plus grands fabricants de puces pour des morceaux de la formation ML et des tartes au service, sont également des membres heureux du projet OpenXLA.
« Nous apprécions les projets avec une gouvernance ouverte, une applicabilité versatile et massive, des fonctionnalités de pointe et des performances de premier ordre et nous attendons avec impatience la poursuite de la collaboration pour étendre l’écosystème open supply pour les développeurs ML », a déclaré Alan Lee, vice-président du développement logiciel d’AMD, dit dans le weblog.
« Le projet OpenXLA marque une étape importante sur la voie de la simplification du développement de logiciels ML », a déclaré Peter Greenhalgh, vice-président de la technologie et membre d’Arm. « Nous soutenons pleinement la mission OpenXLA et sommes impatients de tirer parti de la stabilité et de la normalisation d’OpenXLA dans les feuilles de route matérielles et logicielles d’Arm Neoverse. »
Curieusement absents sont IBMqui proceed d’innover sur les puces avec son processeur Power10, et Microsoftle deuxième fournisseur mondial derrière AWS.
Articles connexes:
Google annonce le projet de compilateur Open Supply ML, OpenXLA
AMD rejoint la nouvelle fondation PyTorch en tant que membre fondateur
À l’intérieur du nGraph d’Intel, un compilateur universel d’apprentissage en profondeur
Alibaba, Providers Net Amazon, DMLA, Pomme, BRAS, Systèmes Cérébras, Google, Graphcore, Visage étreignant, renseignements, Méta, Nvidia
