Le modèle d’intelligence artificielle générative (IA) à visée médicale de Google a atteint une précision de 85 % lors du test de pratique de l’US Medical Licensing Examination (USMLE), le score le plus élevé jamais enregistré par un modèle d’IA, selon les résultats préliminaires partagés l’équipe d’IA de Google Santé.
Le modèle d’IA, connu sous le nom de Med-PaLM 2 (Pathways Language Model), a toujours été exécuté au niveau du médecin “expert” sur des exemples de questions pratiques de style USMLE, a déclaré Alan Karthikesalingam, MD, PhD, chirurgien et scientifique qui dirige le Medical Machine Learning Research Group de Google Health à Londres et co-auteurs.
Med-PaLM 2 a répondu à des questions à choix multiples et ouvertes, a fourni des explications écrites de leurs réponses et a évalué leurs propres réponses. Ce résultat représente une amélioration significative par rapport aux tentatives des modèles d’IA précédents d’atteindre une précision et une efficacité quasi humaines sur le test de pratique USMLE, ce qui, selon Karthikesalingam, est un “grand défi” pour cette technologie en développement rapide.
“Si vous regardez l’histoire de la médecine, il y a toujours eu de nouveaux outils utiles qui donnent aux médecins ce qui à l’époque semblait être des super pouvoirs”, a déclaré Karthikesalingam. MedPage aujourd’hui.
“Si l’intelligence artificielle peut redonner du temps aux soignants, si l’intelligence artificielle peut permettre aux médecins et autres soignants de passer plus de temps avec leurs patients et apporter du temps et de l’humanité à la médecine, et si elle peut accroître l’accessibilité et l’accessibilité pour les gens, c’est notre objectif », a-t-il ajouté.
Première version de Med-PaLM est devenu le premier modèle d’IA à obtenir une note de passage (précision ≥ 60 %) à un test d’entraînement similaire de style USMLE. Les deux versions de Med-PaLM ont été créées par l’équipe Google Health AI à l’aide de modèles linguistiques à grande échelle (LLM) qui ont été affinés avec une capacité accrue et une concentration sur les informations médicales.
Résultats préliminaires pour Med-PaLM 2 ont été partagés lors de l’événement anniversaire aujourd’hui.
Vivek Natarajan, MCS, chercheur chez Google Health AI, a suggéré que le succès du modèle provenait des avancées technologiques disponibles pour les chercheurs, mais aussi de l’expertise médicale spécifique qui a aidé l’équipe à déterminer exactement comment entraîner les modèles d’IA.
“Ces modèles apprennent très rapidement les nuances de la sécurité dans le domaine médical et s’adaptent très rapidement”, a déclaré Natarajan. MedPage aujourd’hui. “C’est une combinaison des très bons LLM que nous avons chez Google, de l’expertise approfondie… et aussi des techniques pionnières.”
Malgré des notes élevées pour la précision, les chercheurs ont noté que Med-PaLM 2, qui a été testé en utilisant 14 critères différents tels que la précision scientifique et le raisonnement, présentait toujours des limites importantes.
“Ces systèmes ne sont certainement pas parfaits”, a déclaré Karthikesalingam. “Parfois, ils manquent quelque chose. Parfois, ils mentionnent des choses qu’ils ne devraient pas et vice versa. Mais le potentiel d’être un outil utile est clair.”
Il a noté que l’objectif de cette recherche était de tester la précision médicale de ces modèles d’IA pour voir s’ils pouvaient devenir des outils pour compléter les médecins et ajouter de la valeur aux systèmes de santé.
Avec des résultats de plus en plus prometteurs de ces tests, il pense que les modèles d’IA comme Med-PaLM 2 peuvent éventuellement atteindre un niveau de précision et de cohérence qui permettrait aux médecins de les utiliser dans leur pratique quotidienne pour améliorer les soins aux patients.
“Cela met en lumière un avenir très prometteur et positif où ces systèmes pourraient, espérons-le, devenir des outils plus coopératifs et complémentaires qui s’adaptent mieux aux flux de travail et aident à donner aux médecins des super pouvoirs”, a déclaré Karthikesalingam.
