AccueilMessageApprentissage auto-supervisé avec des contextes

Apprentissage auto-supervisé avec des contextes

En tirant parti des modèles mondiaux et des transformateurs, il comble l'écart entre l'adaptabilité de type humain et l'intelligence artificielle, ouvrant la voie à des algorithmes plus équitables et plus efficaces.

L'apprentissage auto-supervisé (SSL), un paradigme croissant dans l'apprentissage automatique, est de remodeler la façon dont les modèles apprennent sans données étiquetées.Les méthodes SSL reposent traditionnellement sur des augmentations de données prédéfinies, en appliquant l'invariance ou l'équivariance à des transformations spécifiques.Cependant, ces prieurs inductifs limitent souvent la flexibilité dans diverses tâches.

Une approche appelée apprentissage contextuel auto-supervisé (contextes), développé par des chercheurs de CSAIL du MIT et de l'Université technique de Munich, aborde ces limites.Les contextes introduisent un mécanisme où les représentations s'adaptent dynamiquement en fonction des contextes spécifiques à la tâche, supprimant le besoin de recyclage répétitif.À la base, les contextes intègrent des modèles mondiaux - des représentations abstraites de l'environnement d'un agent - et utilisent un module de transformateur pour les coder en tant que séquences de triplés d'état d'action-next.En s'occupant du contexte, le modèle détermine quand appliquer l'invariance ou l'équivariance, en fonction des exigences de la tâche.

Grâce à des tests approfondis sur des repères comme 3Diebench et CIFAR-10, les contextes ont démontré une polyvalence remarquable.Par exemple, dans le domaine médical, en utilisant le jeu de données Mimic-III, les contextes ont adapté sa représentation aux tâches de diagnostic médical spécifiques au genre, où l'équivariance était critique.Simultanément, il a assuré l'équité dans la prévision des résultats comme la durée du séjour de l'hôpital, en mettant l'accent sur l'invariance.

Cette adaptabilité garantit de meilleures performances à travers des mesures telles que les cotes égalisées (EO) et l'égalité des opportunités (EOPP), tout en améliorant la précision des prédictions pour les attributs sensibles comme le sexe.En tirant parti des modèles de transformateurs pour l'apprentissage en contexte, les contextes équilibrent efficacement l'invariance et l'équivariance d'une manière spécifique à la tâche.Il s'agit d'une étape importante vers la création de cadres SSL à usage général plus flexibles.Avec des contextes, l'avenir de l'apprentissage automatique promet des algorithmes plus efficaces et adaptatifs, combler les écarts entre le raisonnement humain et l'intelligence artificielle.

«Plutôt que des modèles affinés pour chaque tâche, nous visons à créer un système à usage général capable de s'adapter à divers environnements, similaires à l'apprentissage humain», explique Sharut Gupta, CSAIL Ph.D.Étudiant et auteur principal de l'étude.