Évaluation d'OpenEvidence à travers les sous-spécialités pédiatriques : une revue d'experts ancrée sur les recommandations
Evaluating OpenEvidence Across Pediatric Subspecialties: A Guideline-Anchored Expert Review.
L’essentiel
Cette etude evalue la qualite, la securite et les caracteristiques des citations d'OpenEvidence a travers plusieurs sous-specialites pediatriques grace a des questions cliniques basees sur des recommandations etablies. Dix-sept questions ont ete soumises a l'outil et evaluees par des paires d'experts independants a l'aide de l'instrument valide QAMAI et d'une evaluation modifiee des risques de prejudice. Le score QAMAI median etait de 27 sur 30, indiquant une qualite jugee tres bonne par les cliniciens. Le potentiel de prejudice s'est revele globalement faible, avec une mediane a 0 sur 7, bien que six reponses aient presente un potentiel de prejudice non nul. L'outil a cite les recommandations principales dans la majorite des cas, mais seulement 17,6 pour cent des reponses presentaient un fort chevauchement des references. Les affirmations etaient generalement bien soutenu par les citations associees dans plus de 88 pour cent des cas evalues. Les reponses ont montre une bonne consistance clinique lors de requetes repetees sans recommandations contradictoires observees. Neanmoins, plus d'un tiers des reponses ont cite des etudes manquant de specificite pediatrique, soulignant les defis de l'intelligence artificielle formee sur des litteratures majoritairement adultes lorsqu'elle est appliquee a la pediatrie.
- L'outil OpenEvidence a obtenu une mediane de qualite QAMAI de 27 sur 30 sur des questions cliniques pediatriques.
- Le potentiel de prejudice evalue par les experts est reste faible, avec une mediane de 0 sur une echelle de 0 a 7.
- Seulement 17,6 pour cent des reponses presentaient un fort chevauchement bibliographique direct avec les recommandations de reference.
Le texte intégral n’était pas accessible ; aucune faiblesse méthodologique ne peut être déduite de cette absence.
Comprendre l’analyse ↓Analyse du résumé uniquement. Confiance faible dans les informations extraites.
Voir les sources ↓Synthèse détaillée
Synthèse
Cette etude evalue la qualite, la securite et les caracteristiques des citations d'OpenEvidence a travers plusieurs sous-specialites pediatriques grace a des questions cliniques basees sur des recommandations etablies. Dix-sept questions ont ete soumises a l'outil et evaluees par des paires d'experts independants a l'aide de l'instrument valide QAMAI et d'une evaluation modifiee des risques de prejudice. Le score QAMAI median etait de 27 sur 30, indiquant une qualite jugee tres bonne par les cliniciens. Le potentiel de prejudice s'est revele globalement faible, avec une mediane a 0 sur 7, bien que six reponses aient presente un potentiel de prejudice non nul. L'outil a cite les recommandations principales dans la majorite des cas, mais seulement 17,6 pour cent des reponses presentaient un fort chevauchement des references. Les affirmations etaient generalement bien soutenu par les citations associees dans plus de 88 pour cent des cas evalues. Les reponses ont montre une bonne consistance clinique lors de requetes repetees sans recommandations contradictoires observees. Neanmoins, plus d'un tiers des reponses ont cite des etudes manquant de specificite pediatrique, soulignant les defis de l'intelligence artificielle formee sur des litteratures majoritairement adultes lorsqu'elle est appliquee a la pediatrie.
Résultats principaux
L'outil OpenEvidence a obtenu une mediane de qualite QAMAI de 27 sur 30 sur des questions cliniques pediatriques. Le potentiel de prejudice evalue par les experts est reste faible, avec une mediane de 0 sur une echelle de 0 a 7. Seulement 17,6 pour cent des reponses presentaient un fort chevauchement bibliographique direct avec les recommandations de reference. Plus d'un tiers des reponses ont cite des etudes ne presentant pas de specificite pediatrique claire. Les reponses generees ont montre une forte consistance clinique lors de requetes repetees, sans recommandation contradictoire.
Repères pour la pratique
Les cliniciens peuvent utiliser OpenEvidence comme aide a la decision pour obtenir des syntheses rapides et de bonne qualite globale. La vigilance reste de mise quant a l'absence potentielle de specificite pediatrique dans les references bibliographiques citees par l'intelligence artificielle. L'utilisation de ces outils doit toujours etre croisee avec des guides cliniques pediatriques valides en raison de limites dans le recoupement des sources.
Limites et précautions
Cet article fournit une evaluation methodologique rigoureuse d'un outil d'intelligence artificielle medicale tres pertinent pour la pratique clinique et la recherche en neurodeveloppement pediatrique. L'evaluation s'est basee sur un echantillon restreint de dix-sept questions cliniques. L'etude ne mesure pas directement l'impact de l'utilisation de l'outil sur les resultats de sante des patients en pratique reelle. La variabilite des algorithmes sous-jacents d'intelligence artificielle au fil du temps pourrait modifier la reproductibilite de ces scores.
Analyse méthodologique
Non déterminable — Le texte intégral n’était pas accessible ; aucune faiblesse méthodologique ne peut être déduite de cette absence.
Le texte intégral ouvert n’était pas accessible. Cela rend la robustesse non déterminable : l’absence d’information n’est pas interprétée comme une faiblesse de l’étude.
Examiner les critères point par point
L'étude analysée est une étude transversale évaluant l'outil d'intelligence artificielle OpenEvidence à partir de 17 questions ancrées sur des directives cliniques et couvrant six sous-spécialités pédiatriques. L'évaluation a été menée par des paires d'experts indépendants utilisant l'instrument validé QAMAI et une échelle modifiée de l'AHRQ pour le risque de préjudice. L'analyse statistique descriptive s'est appuyée sur des médianes et des intervalles interquartiles. Les résultats principaux indiquent un score QAMAI médian de 27 sur 30, traduisant une qualité jugée très bonne. Le risque potentiel de préjudice était bas avec une médiane de 0 sur 7, bien que 6 des 17 réponses aient présenté un potentiel de préjudice non nul. OpenEvidence a cité la directive primaire dans 15 cas sur 17 et les citations ont soutenu les affirmations de manière fiable dans 88,2 % des cas. Toutefois, 35,3 % des réponses ont cité des études manquant de spécificité pédiatrique. Selon l'analyse automatisée de NeuroWatch, la sélection de la population et la validité des mesures sont documentées comme adéquates. Le contrôle des facteurs de confusion n'est pas rapporté dans la source analysée, cette information n'étant pas mentionnée dans le résumé. Le financement et les conflits d'intérêts ne sont pas non plus rapportés dans la source analysée. L'analyse de NeuroWatch souligne que cette évaluation est limitée par l'examen exclusif du résumé et par un échantillon restreint à 17 questions cliniques, ce qui ne permet pas de préjuger de l'application de la méthode sur l'ensemble du texte complet.
confounding controlNon déterminable
Le résumé ne mentionne pas de contrôle spécifique des facteurs de confusion.
L’information nécessaire n’est pas rapportée dans la source analysée.measure validityFavorable
L'évaluation a utilisé l'instrument validé QAMAI et une échelle modifiée de l'AHRQ pour mesurer la qualité et le risque de préjudice.
Un élément méthodologique adéquat est explicitement documenté.population selectionFavorable
Dix-sept questions ancrées sur des directives cliniques couvrant 6 sous-spécialités pédiatriques ont été sélectionnées et soumises à l'outil.
Un élément méthodologique adéquat est explicitement documenté.statistical analysisFavorable
L'analyse statistique descriptive comprend l'utilisation de médianes et d'intervalles interquartiles pour les scores QAMAI.
Un élément méthodologique adéquat est explicitement documenté.Cette analyse est produite automatiquement par une IA à partir des sources indiquées, puis l’appréciation est calculée avec des règles versionnées (scientific_analysis_v2). Elle ne constitue ni une validation par un professionnel ni une recommandation clinique. Consulter la méthodologie.
Classification détaillée
Informations sur l’article
- Publication
- Étude transversale
- Source
- PubMed — neurosciences cognitives developpementales
- Date
- 12 oct. 2026
- Langue
- Anglais
- Accès
- abstract only
- Licence
- Non déterminée