En 2017, le Intelligence artificielle (IA) a connu une révolution significative avec l’apparition d’une étude innovante baptisée «L’attention est tout ce dont vous avez besoin“, réalisé par Noam Shazeer, Llion Jones, Jakob Uszkoreit, Illia Polosukhine, Ashish Vaswani, Niki Parmar, Lucas Kaiser et Aidan Gomez.
Le modèle, qu’ils ont appelé «transformateur», se distingue par le fait de dépendre exclusivement de mécanismes d’attention, ce qui dispense de réseaux de neurones récurrents (RNN) et les réseaux traditionnellement utilisés dans les tâches de traduction de séquences. L’analyse est devenue une étape pour le développement de technologies avancées telles que ChatGPT, Dall-Eet À mi-parcoursredéfinissant l’approche des réseaux de neurones à travers la mise en œuvre de transformateurs et la technique d’auto-attention.
Il “transformateur» s’est avéré efficace dans d’autres applications de traitement du langage naturel. Ce qui suggère que le «transformateur» était un outil précieux dans une plus grande variété de tâches d’ingénierie. intelligence artificiellea favorisé des avancées significatives dans le domaine.
Les expériences réalisées par les spécialistes révèlent que cette architecture est capable d’obtenir des résultats supérieurs non seulement en termes de précision et de qualité du texte généré, mais également en termes d’efficacité opérationnelle. La capacité de «transformateur« fonctionner sans les complexités associées aux réseaux conventionnels ouvre de nouvelles possibilités pour le développement futur du intelligence artificielle.
L’impact de cette innovation s’est rapidement répandu en dehors du domaine scientifique et a remodelé la façon dont le traitement du langage naturel est abordé, pour inciter également à une réévaluation de la stratégie d’innovation au sein d’entreprises de premier plan telles que Google. Malgré ses applications potentielles extrêmement précieuses, Google n’a pas été la première entité à capitaliser sur cette avancée, qui a permis à des startups comme OpenAI aller de l’avant avec des technologies basées sur des transformateurs telles que Google Tag.
- Noam Shazeer: co-fondateur et PDG de IA des personnages. Il fut surpris de voir que c’était le premier de l’article révolutionnaire dans le domaine de IAparce qu’ils ont élu démocratiquement leurs co-auteurs pour s’être présentés comme des contributeurs équitables.
- Jakob Uszkoreit: fils d’un linguiste informatique renommé Hans Uszkoreitest devenu co-fondateur et PDG de Initial. Son intérêt pour la traduction l’a amené à rejoindre Googleoù son travail contribuerait à changer le cours de la intelligence artificielle.
- Illia Polosukhine: d’origine ukrainien et co-fondateur de Proche. Je travaille dans Google essayant de rendre les recherches en ligne plus efficaces, ce qui l’a finalement amené à collaborer au développement de transformateurs.
- Ashish Vaswani– Fort d’une expérience antérieure dans la création de modèles de traduction automatique, il a rejoint Googleoù il s’implique radicalement dans le projet transformateur, avant de co-fonder IA essentielle.
- Niki Parmar: après avoir terminé ses études de master, parmar a décidé de rejoindre Googleoù elle a eu l’opportunité de travailler au sein de l’équipe Transformers, marquant un tournant dans sa carrière et l’amenant finalement à co-fonder IA essentielle.
- Llion Jones: Depuis gallois et co-fondateur de IA Sakana, Jones a rejoint l’équipe Transformers, motivé par sa curiosité et sa croyance dans le potentiel de la conscience de soi pour changer le traitement du langage naturel dans IA.
- Łukasz Kaiser : polonaiset un personnage clé de OpenAIqui a contribué à la théorie computationnelle, a rejoint le projet transformateur et a contribué de manière significative à son succès.
- Aidan Gomez: canadien et co-fondateur de Adhérerce jeune chercheur a rejoint Google En tant que stagiaire, il a joué un rôle crucial dans le développement de Transformers grâce à sa nouvelle perspective et son énergie.
Alors que nous contemplons l’héritage que «L’attention est tout ce dont vous avez besoin» et que ses auteurs sont partis, il est clair qu’ils ont établi un nouveau paradigme dans la manière dont les machines comprennent et génèrent le langage. Ce travail a marqué un avant et un après dans le traitement du langage naturel et a également inspiré une exploration continue des limites de ce que signifie le traitement du langage naturel. intelligence artificielle peut réaliser, confirmant qu’en effet, parfois, l’attention peut suffire.
Chacun de ces chercheurs, venant de différentes régions du monde et ayant des histoires personnelles uniques, s’est réuni dans Google pour créer les transformateurs. L’équipe, creuset de talents et d’expériences, s’est distinguée par sa collaboration et le respect des contributions égales, jusque dans la nomenclature de son travail fondamental. Malgré des perspectives et des trajectoires variées, ils ont réussi à progresser significativement dans le domaine. intelligence artificielle et jeter les bases des futures innovations dans le domaine. En ce moment, tout le monde, en route après Googlecontinue d’avoir un impact sur le monde technologique, portant l’héritage de leur collaboration vers de nouvelles frontières de l’exploration et du développement dans IA.
