Expert en science des données, Plateforme d’évaluation IA- FR

Description du poste

Le groupe IA de RBC développe des capacités d’IA sûres pour l’entreprise, et l’évaluation est l’un des éléments de contrôle de base qui rend cela possible. À titre d’expert en science des données au sein de l’équipe Évaluations, IA, vous serez un responsable principal technique chevronné au sein de l’unité fonctionnelle de la science des données. Vous serez responsable de définir la manière dont RBC évalue la qualité, la sécurité, le risque et le rendement de ses modèles et agents. Vous verrez à concevoir, élaborer et perfectionner de façon continue les ensembles de données d’évaluation, les méthodes de sourçage, la conception des méthodes « LLM-as-a-Judge », les critères d’évaluation déterministes, les protocoles d’évaluation humaine, les étalons de qualité et les cadres de mesure qui permettent aux systèmes d’IA de passer de l’expérimentation à la production avec des preuves et des contrôles, tout en fournissant des conseils techniques et du mentorat aux autres experts en science des données de l’équipe.

Responsabilités

• Concevoir et mettre à profit des méthodes d’évaluation avancées des modèles et des agents, y compris des ensembles de données d’évaluation, des grilles d’évaluation, des méthodes LLM-as-a-Judge, des critères d’évaluation déterministes, des évaluations humaines et des cadres de mesure, en fournissant des conseils techniques aux membres moins expérimentés de l’équipe.
• Définir des normes scientifiques d’évaluation qui traduisent le risque des modèles, l’IA responsable, la qualité des produits, la sécurité et les attentes commerciales en critères mesurables, en méthodes reproductibles et en preuves concrètes.
• Assumer la responsabilité de l’ensemble du cycle de vie de l’évaluation des ensembles de données et des feuilles de pointage, ce qui comprend notamment le sourçage, la conservation, la validation, le contrôle de qualité, le contrôle des versions, la filiation, la réutilisation et l’amélioration continue.
• Concevoir des approches d’évaluation évolutives pour l’IA générative et les systèmes agents, y compris des méthodes d’évaluation au niveau des tâches, du flux des travaux, des trajectoires et de l’exécution.
• Collaborer avec les équipes de recherche en intelligence artificielle, d’ingénierie de plateforme, de produit, de gestion du risque, de gouvernance et organisationnelle pour intégrer les évaluations aux flux de travail de création, de mise en œuvre, de certification, de surveillance et de recertification.
• Établir des évaluations humaines et des protocoles d’examen qui produisent des étiquettes, des directives de réviseur, des processus de décision de crédit, des contrôles de qualité et des éléments probants prêts à être vérifiés.
• Évaluer et améliorer la précision, le calibrage, la robustesse, la couverture en mode échec et l’explicabilité des outils d’évaluation automatisés et humains.
• Assurer un leadership technique clair, une communication de grande qualité et du mentorat auprès des experts en science des données débutants pour aider RBC à développer l’IA de confiance avec rapidité, rigueur et contrôle.
• Communiquer et interagir fréquemment avec des partenaires et/ou le personnel de RBC de partout au Canada ou dans le monde.
• Dans le cadre de ce rôle, vous communiquerez et interagirez fréquemment avec des partenaires et des collègues au Canada ou ailleurs dans le monde.

Exigences

• Au moins huit ans d’expérience en science des données, en apprentissage machine appliqué, en évaluation de l’IA, en qualité de l’apprentissage machine ou dans un domaine technique connexe, et expérience en leadership technique et en mentorat au sein d’une équipe.
• Solide expérience dans l’élaboration de cadres d’évaluation pour les systèmes d’apprentissage machine, d’IA générative ou d’IA agentive, notamment les paramètres, les ensembles de données, les étalons, les grilles d’évaluation et les mesures de la qualité.
• Expérience pratique des méthodes d’évaluation des modèles d’apprentissage tels que l’appréciation des modèles d’apprentissage, la notation déterministe, l’évaluation humaine, l’évaluation des intentions, l’évaluation de la sécurité et l’étalonnage de la qualité des modèles.
• Solides connaissances techniques en science des données, en statistiques, en apprentissage automatique, en expérimentation, en conservation de données, en Python, en SQL et en pratiques modernes de développement liées à l’intelligence artificielle et à l’apprentissage machine.
• Capacité avérée à traduire les exigences liées à la gouvernance, au risque de modèle, à l’IA responsable et aux besoins opérationnels en contrôles mesurables, en processus d’évaluation reproductibles et en données probantes permettant la prise de décision.
• Solides aptitudes pour la communication et la gestion des parties prenantes, et capacité d’influencer les cadres supérieurs des équipes de recherche, d’ingénierie, de produit, de gouvernance, de gestion du risque et d’affaires.

Atouts souhaités

• Expérience dans l’évaluation des systèmes d’IA agentive, des processus faisant appel à des outils, du raisonnement en plusieurs étapes, des traces d’exécution, de l’évaluation de trajectoire ou de la performance au niveau du flux de travail.
• Expérience dans les secteurs des services financiers, de l’IA réglementée, de la gestion du risque lié aux modèles, de l’IA responsable, de la gouvernance d’entreprise ou des processus de contrôle des éléments probants.
• Connaissance des outils et plateformes comme MLflow, Langfuse, LangSmith, OpenTelemetry, Grafana, des pipelines d’intégration et de déploiement continus ou autres outils similaires d’évaluation et d’observation.
• Publications, brevets, contributions de code source ouvert ou travaux de l’industrie liés à l’évaluation de l’IA, à la qualité de l’apprentissage machine, à la sécurité de l’IA, à la recherche appliquée ou à l’IA responsable.
• Doctorat ou maîtrise dans un domaine quantitatif ou technique, tel que les mathématiques appliquées, l’ingénierie, l’informatique ou une discipline computationnelle connexe.
• La personne titulaire de ce poste doit parler couramment le français et l’anglais afin de servir les clients francophones et anglophones de RBC au Québec.

Avantages du poste

Nous donnons notre pleine mesure, pensons autrement pour poursuivre notre croissance et collaborons afin d’offrir des conseils judicieux qui contribueront à la réussite de la clientèle et à la prospérité des collectivités. Nous nous soucions du bien‑être de chacun et chacune et aspirons à réaliser notre plein potentiel, à favoriser l’essor des collectivités et à contribuer à la réussite de tous et toutes.

• Programme de rémunération globale comprenant des primes et des avantages sociaux à la carte, une rémunération concurrentielle, des commissions et des actions (dans certains cas)
• Perfectionnement soutenu par la direction au moyen d’accompagnement et d’occasions de gestion
• Occasion d’apporter une contribution importante et d’exercer une influence durable
• Participation à une équipe performante et dynamique axée sur l’innovation et la collaboration
• Programme de formation de classe internationale sur les services financiers
• Occasions de relever des défis

Compétences professionnelles

Analytique des données massives, Apprentissage automatique, Axé sur les résultats, Conception de produits logiciels, Connaissances dans l'industrie, Ingénierie logicielle, Pensée critique, Prise de décision

Détails supplémentaires de l’emploi

Adresse

6666 RUE ST URBAIN, FLOOR 3:MONTRÉAL

Ville

Montréal

Pays

Canada

Nombre d’heures de travail par semaine

37.5

Type d’emploi

temps plein

Secteur d’activité

Technologie et exploitation

Type de fonction

Régulier

Type d’échelle salariale

Salarié

Date d’affichage

Date limite des candidatures

Remarque

Les demandes seront acceptées jusqu'à 23 h 59 le jour précédant la date limite de présentation des demandes ci-dessus

Nos occasions d’emploi

À RBC, nous sommes guidés par nos valeurs communes – Le client avant tout, Intégrité, Collaboration, Respect, Excellence – et le principe Ensemble à RBC, la clé de la réussite. Nous croyons qu’un milieu de travail inclusif offrant des points de vue diversifiés est essentiel à notre croissance continue, en tant qu’institution financière parmi les plus grandes et les plus rentables au monde. Notre milieu de travail propice à l’excellence, à la collaboration, à l’innovation et à l’épanouissement professionnel de nos employés contribue à concrétiser notre raison d’être et à générer de la valeur pour nos clients et les collectivités où nous exerçons nos activités. Pour cela, nous mettons en place des politiques et des programmes visant à favoriser un milieu de travail fondé sur le respect et l’appartenance et offrant des occasions pour tous.

#J-18808-Ljbffr