Milvue

• Modalité : X rays pour les fractures
• Liste exhaustive des zones anatomiques validées pour la détection des fractures par votre logiciel : pied, cheville, genou, hanche, bassin, rachis cervico-dorso-lombaire, clavicule, scapula, épaule, coude, poignet, main, doigts, os longs, côtes (thorax et gril costal)
• Liste des zones anatomiques non validées : ASP, crâne, tout cliché d’infiltration ostéo-articulaire : pas d’évolution attendue
• Produit validé chez l’adulte et chez l’enfant entre 1 et 18 ans

• Marquage CE : Oui classe IIA pour 1/ le tri et 2/ la détection de l’ensemble des pathologies depuis Février 2020, première IA du marché sur ce scope de détection.
• Marquage (Approval) FDA : En cours.
• Les certifications (ISO 13485, 27001) ont-elles été obtenues : La certification CE IIA inclut la certification ISO 13485. Nous avons ajouté à notre management des risques et de la qualité des éléments de l’ISO 27001 pour prendre en compte les enjeux des cybersécurité et de traitement de données personnelles.
• L’algorithme est-il fixe ou s’adapte-t-il avec les ajouts de nouvelles données ? Evolution par version, réglementée par le marquage CE

• • Si évolution avec données nouvelles, s’agit-il d’ajout de :
    • Données locales : Non.                                     
    • Données externes incrémentées : Oui. L’utilisation de données externes est strictement régulée par les contrats passés avec nos clients et partenaires qui intègrent l’utilisation de données externes dans le cadre des évolutions de version.

• Provenance et diversité des données de la base : la base de données initiale est issue de plusieurs sites partenaires français. Extension européenne et nord-américaine en cours. Il s’agit de données non sélectionnées, donc de qualité hétérogène mais représentatives de la vie réelle. Les principales tables disponibles sur le marché ont été utilisées, afin de garantir une utilisation appropriée sur chaque modalité. Toutes les régions anatomiques sont représentées, incluant tout type d’incidence radiographique. Le poignet/main est la région anatomique la plus représentée. Les os longs de la jambe est la région anatomique la moins représentée.
• Taille de la base d’entrainement (en nombre de radio) :  > 1,5 million d’images radiographiques dont 80 938 images ont fait l’objet d’une annotation de consensus par des radiologues seniors.
• Taille de la base de validation : Validation croisée sur la base d’entrainement.
• Taille de la base de test : 11 754 images avec annotation radiologique senior. Sex ratio 1:1. 8.8% d’images de moins de 13 ans.
  • Pour la base de test, s’agit-il d’une base « externe » : OUI
• Technique d’annotation : différents types d’annotation sont utilisés. Le principal consiste à réaliser une zone d’intérêt encadrant l’anomalie radiographique. Toutes nos annotations sont réalisées par des radiologues seniors présélectionnés. Des processus de contrôle qualité parallèles sont mis en place avec des experts.

Standard de référence pour l’établissement de la vérité terrain : variable selon le type et la provenance de l’image. Principalement annotation de consensus jusqu’à 3 experts.

• Avec quels PACS / RIS / Marketplace, votre outil peut-il être intégré ?

Techniquement, les solutions Milvue sont interopérables avec tous les acteurs du marché. Elles sont donc utilisables avec l’ensemble des PACS du marché. Une intégration plus avancée est réalisée avec les éditeurs pour optimiser le workflow (DEDALUS, EDL et TELEMIS pour exemple).  S’agissant des marketplaces, la Milvue Suite est intégrée sur la quasi-totalité des marketplaces européennes dont INCEPTO, ARTERYS, INTRASENSE, DEEPC, OSIMIS et BLACKFORD, SOFTWAY. Nos solutions sont également disponibles sur l’ensemble des modalités développées par GMM/Primax.

• Déploiement : local, cloud ou hybride possibles, à performances cliniques équivalentes. Préférentiellement Cloud via l’hébergeur HDS GCP (serveurs français et européens). Aucune donnée n’est stockée après analyse par les algorithmes.
• Comment sont exprimés les résultats (heat ou saliency map / Oui, non, doute/ échelle semi quantitative, autre ? …)

Milvue propose une analyse pour chaque image et un résumé à l’échelle de l’étude radiographique. Toutes les informations utiles sont présentées de façon transparentes et dans le respect des contraintes réglementaires. En particulier, la certification CE est rappelée et un lien vers le guide utilisateur est proposé. Une calibration unique permet de catégoriser les résultats en pathologique, doute ou sans pathologie décelée pour l’ensemble des détections réalisées. Cette méthode de calibration en 3 catégories a été introduite par Milvue en 2018 pour se rapprocher de la réalité radiologique.

• Temps de process (en secondes) : Sur le Cloud, le temps d’inférence (traitement sur les serveurs) est très faible, de l’ordre d’une seconde par image. Sur site, les temps peuvent être alongés et dépendent des paramètres du serveur utilisé, mais restent inférieurs à 1 minute.
• Taux de dossiers non traités : selon la structure d’activité du centre. Environ 1% des dossiers dans un flux typique de radiographie d’urgence (ASP ou OPN par exemple).
• Notification des dossiers non traités : OUI. Information par image et par dossier grâce à un bandeau détaillé.
• Présence d’un tag/priorisation directement dans la liste de travail

Oui pour RIS et PACS. Milvue est la première solution certifiée pour le tri

• Intégration dans le PACS
  • Automatique : OUI
• Après validation du radiologue : OUI, si le PACSEUR a développé la fonctionnalité

• Respect des règles RGPD dans le déploiement du logiciel ? Oui, strictement. Tout déploiement, même en test, fait l’objet d’une convention de mise à disposition respectant les termes du RGPD.
• Serveurs d’entraînement agréés HDS : OUI, hébergés en France
• Méthodes d’anonymisation ou de pseudonymisation : NA. Milvue ne stocke aucune donnée client de production.
• Droit d’accès et d’opposition : NA. Milvue ne stocke aucune donnée client de production.

Liste des publications en peer review (pubmed) ou en « gray literature » Etudes classées par ordre chronologique de réalisation. Les titres sont volontairement donnés en Français.

1. Y-a-t-il une place pour l’intelligence artificielle en radiologie spécialisée ? Concordances diagnostiques de radiologues ostéo-articulaires seniors pour l’étude des lésions traumatiques en radiographie conventionnelle : étude préliminaire rétrospective (2018),
2. L’intelligence artificielle à la console du radiologue: une aide précieuse au diagnostic dans l’interprétation des radiographies conventionnelles des Urgences (2018),
3. Apport d’un algorithme d’apprentissage profond sur les performances diagnostiques en radiographie d’urgence : une étude rétrospective (2019),
4. Automatisation des mesures de coxométrie en radiographie : développement et validation d’un algorithme
5. de deep-learning (2019),
6. Automatisation des mesures en radio-podométrie : Développement et validation d’un algorithme de Deep-Learning (2020),
7. Whitepaper : validation des performances diagnostiques d’un logiciel d’IA en radiographie ostéo-articulaire (2020 – en partenariat avec Arterys Inc.)
8. Whitepaper : validation des performances diagnostiques d’un logiciel d’IA en radiographie pulmonaire (2020 – en partenariat avec Arterys Inc.)
9. Performance et impact clinique d’un système d’apprentissage profond pour la détection de plusieurs anomalies radiographiques au sein d’un service d’urgences (2022)

4 autres articles sont en cours de soumission dans des revues majeures (à compléter dès acceptation de publication)

• Zones anatomiques ayant fait l’objet de la (des) validation (s) scientifique (s) : TOUTES
• Communications scientifiques dans les congrès
  • Orales :
    • JFR printemps 2019,
    • SIMS 2019 (1er prix du forum recherche : Automatisation des mesures de coxométrie en radiographie : développement et validation d’un algorithme de deep-learning),
    • GISEH 2020,
    • 28ème savoir-faire en radiologie ostéo-articulaire 2020 (L’intelligence artificielle appliquée aux mesures dans les radiographies du pied),
    • SOFCOT 2021,
    • ESPR 2022,
    • ECR 2022,
  • Posters :
    • JFR 2018 (L’intelligence artificielle à la console du radiologue: une aide précieuse au diagnostic dans l’interprétation des radiographies conventionnelles des Urgences),
    • JFR 2019 (Apport d’un algorithme d’apprentissage profond sur les performances diagnostiques en radiographie d’urgence : une étude rétrospective),
• Performances validées scientifiquement : voir études
  • 90% des lésions ratées aux urgences sont correctement classifiées par Milvue.
  • Pas de différence significative de performances selon le type de table de radiographie, la région anatomique ni selon l’âge (adulte vs pédiatrie).
  • Détail des Sensibilité / spécificité / ROC curve …
    VPN : 95.7%  – 98.3% selon les études
    Se : 92.7% – 92.9% selon les études
    VPP : 77.4% – 89 % selon les études
    Sp pour les détections positives : 96.5% – 97.5% selon les études
    Sp incluant les détections « doutes » : 85.6% – 87.1%
    ROC-AUC : 0.954 – 0.982 à l’échelle de l’examen selon les études. 0.977 à l’échelle de l’image

Ces performances sont données par study, variables selon les datasets considérés. Nous pensons que ces mesures ne devraient être diffusées que si elles ont été obtenues par utilisation de datasets spécifiques et opposables.

• Données de performance en vie réelle ? OUI. Milvue s’est dès le début engagé dans des études en vie réelle en limitant les biais d’analyse rétrospective. Nous avons lancé une étude prospective multicentrique randomisée dont les résultats sont attendus pour 2023.
• Mise en place d’une surveillance post-market (algorithmo-vigilance) ? OUI, obligatoire. La surveillance post-marché inclut et complète la matériovigilance dans le cadre de la certification CE (rapport et audit annuel).

Pour chacun des scenarios listés ci-dessous (inspiré du white paper canadien : Tang et al CAR WP, PMID: 29655580), préciser si :

• Techniquement possible OUI / NON
• Privilégié dans votre accompagnement technique et commercial OUI / NON / Indifférent

Nous avons privilégié dès l’origine l’intégration de l’outil dans le workflow clinique, ce qui explique le scope initial de la Milvue suite très largement supérieur à la simple détection de fracture. La Milvue Suite est agnostique sur le workflow à mettre en place. Celui-ci est largement discuté avec l’ENSEMBLE des utilisateurs et l’éditeur de RIS/PACS à l’occasion de la mise en oeuvre de la solution.

• Triage (outil positionné en amont du travail radiologique) : Techniquement et réglementaire possible (seule solution de ce type pour la radiographie ostéo-articulaire). Option privilégiée, en combinaison avec l’add-on
• Aide à la décision radiologique (outil positionné en aval ou en parallèle) (Add-on) : Techniquement et réglementaire possible Option privilégiée, en combinaison avec le triage
• Aide au diagnostic du professionnel de santé (by-pass momentané du radiologue) : Techniquement et réglementaire possible. Sous réserve d’un projet de soin défini avec l’ensemble des acteurs de l’établissement de soin.
• Remplace le professionnel de santé (Replace) (Radiologue / Autre) : Techniquement possible. Hors du cadre réglementaire de Milvue. Jamais proposé ni accepté (des sollicitations existent)

• Date de création de la société : création officielle juillet 2018, par un jeune radiologue français et 3 ingénieurs diplomés de l’Ecole Polytechnique et spécialistes de l’IA.
• Nombre d’employés : 36 fin 2022
• Nombre de clients : en France / à L’étranger
  Le nombre de clients est extremement dépendant de la façon de compter de l’opérateur. De nombreuses solutions disponibles sur le marché européen et mondial sont en prêt pour test. S’agit-il de clients ou faut-il ne considérer que les clients payants ? Par ailleurs, quand un client dispose de plusieurs sites, compte-t-il pour un client ou pour plusieurs ? Il est facile de faire de gonfler les chiffres en l’absence de définition précise. Milvue dispose fin 2022 de 78 clients payants en France, en Europe, en Suisse et au Royaume-Uni. S’y ajoutent une trentaine de sites en test gratuits en France, en Europe, au Moyen-Orient et en Amérique du Nord.
• Modèle de facturation : L’abonnement forfaitaire le moins cher du marché
• Des formations à l’usage de l’outil sont-elles proposées ? Oui. Cependant, l’outil est extrêmement intuitif et la majorité des clients ne souscrivent pas aux offres de formation.
• Détails des maintenances et service après-vente : la maintenance corrective et applicative est comprise sur la base des SLA standards de Milvue.
• Le modèle économique inclue t il la mise à disposition de nouvelles versions ? Oui, sur la base du scope acheté par le client.