Determine 1 : Dans les purposes du monde réel, nous pensons qu’il existe une boucle homme-machine où les humains et les machines se renforcent mutuellement. Nous l’appelons l’Intelligence Artificielle Augmentée.
Remark construisons-nous et évaluons-nous un système d’IA pour des purposes réelles ? Dans la plupart des recherches sur l’IA, l’évaluation des méthodes d’IA implique un processus de formation-validation-test. Les expériences s’arrêtent généralement lorsque les modèles ont de bonnes performances de take a look at sur les ensembles de données rapportés, automobile la distribution des données dans le monde réel est supposée être modélisée par les données de validation et de take a look at. Cependant, les purposes du monde réel sont généralement plus compliquées qu’un seul processus de formation-validation-test. La plus grande différence réside dans les données en constante évolution. Par exemple, les ensembles de données sur la faune changent constamment dans la composition des courses en raison de l’invasion, de la réintroduction, de la recolonisation et des mouvements saisonniers d’animaux. Un modèle formé, validé et testé sur des ensembles de données existants peut facilement être rompu lorsque les données nouvellement collectées contiennent de nouvelles espèces. Heureusement, nous disposons de méthodes de détection hors distribution qui peuvent nous aider à détecter des échantillons de nouvelles espèces. Cependant, lorsque nous voulons étendre la capacité de reconnaissance (c’est-à-dire être succesful de reconnaître de nouvelles espèces à l’avenir), le mieux que nous puissions faire est d’affiner les modèles avec de nouvelles annotations vérifiées sur le terrain. En d’autres termes, nous devons incorporer l’effort humain/les annotations, quelle que soit la efficiency des modèles sur les ensembles de checks précédents.
Lorsque les annotations humaines sont inévitables, les systèmes de reconnaissance du monde réel deviennent une boucle sans fin de collecte de données → annotation → ajustement du modèle (Determine 2). En conséquence, la efficiency d’une seule étape d’évaluation du modèle ne représente pas la généralisation réelle de l’ensemble du système de reconnaissance automobile le modèle sera mis à jour avec de nouvelles annotations de données et un nouveau cycle d’évaluation sera effectué. Avec cette boucle à l’esprit, nous pensons qu’au lieu de construire un modèle avec meilleures performances de take a look aten se concentrant sur combien d’efforts humains peuvent être épargnés est un objectif plus généralisé et pratique dans les purposes du monde réel.
Determine 2 : Dans la boucle de collecte de données, d’annotation et de mise à jour du modèle, l’objectif de l’optimisation devient la minimisation de l’exigence d’annotation humaine plutôt que des performances de reconnaissance en une seule étape.
Dans l’article que nous avons publié l’année dernière dans Nature-Machine Intelligence (1), nous avons discuté de l’incorporation de l’humain dans la boucle dans la reconnaissance de la faune et proposé d’examiner l’efficacité de l’effort humain dans les mises à jour de modèles au lieu de simples performances de take a look at. Pour la démonstration, nous avons conçu un cadre de reconnaissance qui était une combinaison d’apprentissage actif, d’apprentissage semi-supervisé et d’humain dans la boucle (Determine 3). Nous avons également incorporé une composante temporelle dans ce cadre pour indiquer que les modèles de reconnaissance ne s’arrêtaient à aucun pas de temps. D’une manière générale, dans le cadre, à chaque pas de temps, lorsque de nouvelles données sont collectées, un modèle de reconnaissance sélectionne activement les données à annoter en fonction d’une métrique de confiance de prédiction. Les prédictions à faible confiance sont envoyées pour annotation humaine, et les prédictions à haute confiance sont approuvées pour les tâches en aval ou les pseudo-étiquettes pour les mises à jour du modèle.
Determine 3 : Ici, nous présentons un cadre de reconnaissance itératif qui peut à la fois maximiser l’utilité des méthodes modernes de reconnaissance d’picture et minimiser la dépendance aux annotations manuelles pour la mise à jour du modèle.
En termes d’efficacité de l’annotation humaine pour les mises à jour du modèle, nous avons divisé l’évaluation en 1) le pourcentage de prédictions de haute confiance lors de la validation (c’est-à-dire l’effort humain économisé pour l’annotation) ; 2) l’exactitude des prédictions à haute confiance (c’est-à-dire la fiabilité) ; et 3) le pourcentage de nouvelles catégories qui sont détectées comme des prédictions à faible confiance (c’est-à-dire la sensibilité à la nouveauté). Avec ces trois métriques, l’optimisation du cadre devient une minimisation des efforts humains (c’est-à-dire pour maximiser le pourcentage de confiance élevée) et maximiser les performances de mise à jour du modèle et la précision de haute confiance.
Nous avons rapporté une expérience en deux étapes sur un ensemble de données de pièges photographiques à grande échelle collectés dans le parc nationwide du Mozambique à des fins de démonstration. La première étape était une étape d’initialisation pour initialiser un modèle avec seulement une partie de l’ensemble de données. Dans la deuxième étape, un nouvel ensemble de données avec des courses connues et nouvelles a été appliqué au modèle initialisé. En suivant le cadre, le modèle a fait des prédictions sur le nouvel ensemble de données avec confiance, où les prédictions à haute confiance ont été approuvées en tant que pseudo-étiquettes, et les prédictions à faible confiance ont été fournies avec des annotations humaines. Ensuite, le modèle a été mis à jour avec à la fois des pseudo-étiquettes et des annotations et prêt pour les futurs pas de temps. En conséquence, le pourcentage de prédictions à haute confiance lors de la validation de la deuxième étape était de 72,2 %, la précision des prédictions à haute confiance était de 90,2 % et le pourcentage de nouvelles courses détectées comme peu fiables était de 82,6 %. En d’autres termes, notre cadre a permis d’économiser 72 % de l’effort humain sur l’annotation de toutes les données de la deuxième étape. Tant que le modèle était fiable, 90 % des prédictions étaient correctes. De plus, 82 % des nouveaux échantillons ont été détectés avec succès. Les détails du cadre et des expériences peuvent être trouvés dans l’article unique.
En examinant de plus près la determine 3, outre le collecte de données – annotation humaine – mise à jour du modèle boucle, il y en a une autre homme-machine boucle cachée dans le cadre (Determine 1). Il s’agit d’une boucle où les humains et les machines s’améliorent constamment grâce à des mises à jour de modèles et à l’intervention humaine. Par exemple, lorsque les modèles d’IA ne peuvent pas reconnaître de nouvelles courses, l’intervention humaine peut fournir des informations pour étendre la capacité de reconnaissance du modèle. D’un autre côté, lorsque les modèles d’IA deviennent de plus en plus généralisés, l’exigence d’effort humain diminue. En d’autres termes, l’utilisation de l’effort humain devient plus efficace.
En outre, le cadre basé sur la confiance de l’humain dans la boucle que nous avons proposé ne se limite pas à la détection de nouvelles courses, mais peut également aider à résoudre des problèmes tels que la distribution à longue queue et les divergences multi-domaines. Tant que les modèles d’IA se sentent moins confiants, l’intervention humaine intervient pour aider à améliorer le modèle. De même, l’effort humain est épargné tant que les modèles d’IA se sentent en confiance, et parfois les erreurs humaines peuvent même être corrigées (Determine 4). Dans ce cas, la relation entre les humains et les machines devient synergique. Ainsi, l’objectif du développement de l’IA passe du remplacement de l’intelligence humaine à l’augmentation mutuelle de l’intelligence humaine et de l’intelligence artificielle. Nous appelons ce kind d’IA : Intelligence Artificielle Augmentée (A2JE).
Depuis que nous avons commencé à travailler sur l’intelligence artificielle, nous nous demandons, pourquoi créons-nous l’IA ? Au début, nous pensions que, idéalement, l’IA devrait remplacer entièrement l’effort humain dans des tâches simples et fastidieuses telles que la reconnaissance d’pictures à grande échelle et la conduite car. Ainsi, nous poussons nos modèles vers une idée appelée « efficiency au niveau humain » depuis longtemps. Cependant, cet objectif de remplacer l’effort humain construit intrinsèquement une opposition ou une relation mutuellement unique entre les humains et les machines. Dans les purposes du monde réel, les performances des méthodes d’IA sont simplement limitées par de nombreux facteurs tels que la distribution à longue queue, les écarts multi-domaines, le bruit d’étiquette, la supervision faible, la détection hors distribution, and so forth. La plupart de ces problèmes peuvent être en quelque sorte soulagé par une intervention humaine appropriée. Le cadre que nous avons proposé n’est qu’un exemple de la façon dont ces problèmes distincts peuvent être résumés en problèmes de prédiction à haute ou faible confiance et remark l’effort humain peut être introduit dans l’ensemble du système d’IA. Nous pensons qu’il ne s’agit pas de tricher ou de s’abandonner à des problèmes difficiles. Il s’agit d’une méthode de développement de l’IA plus centrée sur l’humain, où l’accent est mis sur l’effort humain économisé plutôt que sur le nombre d’pictures de take a look at qu’un modèle peut reconnaître. Avant la réalisation de l’Intelligence Générale Artificielle (AGI), nous pensons qu’il est utile d’explorer davantage la route des interactions machine-homme et A2Je fais en sorte que l’IA puisse commencer à avoir plus d’impression dans divers domaines pratiques.
Determine 4 : Exemples de prédictions de haute confiance qui ne correspondaient pas aux annotations d’origine. De nombreuses prédictions à haute confiance qui ont été signalées comme incorrectes sur la base d’étiquettes de validation (fournies par des étudiants et des scientifiques citoyens) étaient en fait correctes après une inspection plus approfondie par des specialists de la faune.
Remerciements : Nous remercions tous les co-auteurs de l’article « Iterative Human and Automated Identification of Wildlife Photographs » pour leurs contributions et discussions dans la préparation de ce weblog. Les factors de vue et opinions exprimés dans ce weblog appartiennent uniquement aux auteurs de cet article.
Ce billet de weblog est basé sur l’article suivant publié sur Nature – Machine Intelligence :
(1) Miao, Zhongqi, Ziwei Liu, Kaitlyn M. Gaynor, Meredith S. Palmer, Stella X. Yu et Wayne M. Getz. « Identification itérative humaine et automatisée des pictures de la faune. » Nature Machine Intelligence 3, non. 10 (2021): 885-895.(Lien vers Pré-impression)
