AI Evaluation Engineer (QA)

About us

Appnovation is a global, full-service digital partner that combines Strategy, Experience & Design, Engineering and Managed Services. We build digital solutions that deliver real impact today and serve as foundations for future growth. Bold ambition. Practical action. Endless possibilities.

ENGLISH WILL FOLLOW 

La technologie est au cœur de toutes les offres d'Appnovation, du conseil à l'innovation numérique, en passant par la création de produits et services digitaux. Le département technologie se concentre sur la livraison de solutions logicielles qui permettent des expériences riches pour les utilisateurs, des applications mobiles et web à l'analytique avancée et l'apprentissage automatique, en passant par les plateformes de gestion de contenu et d'engagement.

Nos capacités technologiques reposent sur une expertise approfondie du cycle de vie du développement logiciel, une créativité constante, une passion pour le métier et une collaboration étroite avec les autres disciplines — des ingrédients essentiels à la réussite des expériences numériques et des partenariats clients.

En tant qu'ingénieur QA / Évaluation IA, vous rejoindrez une équipe dynamique et expérimentée dans un rôle tourné vers l'avenir, dont la mission est de démontrer concrètement que la plateforme améliore la qualité des réponses. Vous exécuterez des évaluations à grande échelle — de petits lots UAT humains jusqu'à des millions d'évaluations automatisées — mesurerez statistiquement l'ancrage factuel et les gains de précision, et construirez le cadre de métriques permettant de montrer l'amélioration de la qualité des réponses dans le temps.

RESPONSABILITÉS PRINCIPALES

• Exécuter des évaluations à grande échelle sur de larges ensembles de questions, des petits lots UAT humains jusqu'à des centaines de milliers ou millions d'évaluations automatisées.


• Mesurer statistiquement l'ancrage factuel et les gains de précision (avant/après), au-delà des simples tests A/B humains.


• Construire un cadre de métriques illustrant l'amélioration de la qualité (ex. : « la réponse est soutenue à X% par le contenu source / Y% meilleure »).


• Concevoir des tests de charge et de qualité à mesure que le corpus évolue.


• Définir et maintenir les plans de test, cas de test et critères de qualité.


• Automatiser les suites de régression et d'évaluation et les intégrer dans les pipelines CI/CD.


• Communiquer clairement les métriques de qualité aux parties prenantes techniques et non techniques.


• Collaborer avec l'ingénierie pour reproduire, trier et vérifier les correctifs.


• Améliorer continuellement les processus et la couverture QA.

QUALIFICATIONS

• Baccalauréat dans un domaine technique ou expérience équivalente.


• 4 ans et plus en QA / ingénierie de test, avec une exposition aux systèmes de données et d'apprentissage automatique.


• Maîtrise de Python et des techniques de science des données pour mesurer l'ancrage factuel et la qualité des réponses.


• Expérience avec les cadres d'évaluation de LLM et l'analyse statistique.


• Capacité à construire des harnais d'évaluation automatisés à grande échelle ainsi que des tests A/B humains plus légers.


• Aisance à travailler avec les sorties de plusieurs fournisseurs de LLM.


• Maîtrise des cadres d'automatisation de tests et des scripts.


• Souci du détail, avec de solides compétences analytiques et de communication.

QUI VOUS ÊTES

• Vous pensez à comment automatiser et opérer à grande échelle, pas seulement à résoudre le problème immédiat.


• Vous comprenez la pensée lean.


• Vous établissez des standards élevés en matière de qualité de code, de performance et de sécurité, et recherchez l'amélioration continue.


• Vous avez de solides compétences analytiques, en résolution de problèmes et en prise de décision.


• Vous adoptez une approche centrée sur le client avec un vrai sens du service.


• Vous développez des relations positives avec les parties prenantes internes et externes, tout en gérant plusieurs initiatives aux priorités parfois concurrentes.


• Vous faites preuve d'initiative, de passion et de fortes compétences en communication et en collaboration dans un environnement transversal.


• Vous êtes réactif et vous épanouissez dans un environnement rapide, diversifié et en constante évolution.


• Vous recherchez activement de nouveaux défis et apprenez rapidement de nouveaux concepts, modèles d'affaires et technologies.


• Vous avez une expérience préalable en consultation.


• Une expérience et des connections dans l'industrie des sciences de la vie sont un atout.

Technology is foundational to all of Appnovation’s offerings, from consulting to digital innovation, to digital product and service creation. The technology department is focused on delivering software solutions that enable rich consumer experiences, from mobile and web applications to advanced analytics and machine learning, to content and engagement management service enablement platforms.

Inherent throughout our tech capabilities is deep expertise in the Software Development Life Cycle, a drive for creativity, a passion for the craft, and collaboration with other disciplines - all foundational ingredients in successful digital experiences and client partnerships.

As a QA / AI Evaluation Engineer, you will join a highly motivated and experienced team in a forward-leaning role that proves the platform actually improves answer quality. You will run evaluations at scale — from small human-UAT batches up to millions of automated evals — statistically measure factual grounding and accuracy lift, and build the metrics framework that shows how much better our answers get over time. We are looking for people who can bring a strong, solution-focused mindset and contribute to quality standards, best practices and get things done.

KEY RESPONSIBILITIES

• Run evals at scale across large question sets, from small human-UAT batches up to hundreds of thousands or millions of automated evaluations.


• Statistically measure factual grounding and accuracy lift (before/after), not just human A/B testing.


• Build a metrics framework showing quality improvement (e.g., “answer is X% supported by source content / Y% better”).


• Design load and quality tests as the corpus scales.


• Define and maintain test plans, test cases, and quality gates.


• Automate regression and evaluation suites; integrate them into CI/CD.


• Report quality metrics clearly to technical and non-technical stakeholders.


• Collaborate with engineering to reproduce, triage, and verify fixes.


• Continuously improve QA processes and coverage.

QUALIFICATIONS

• Bachelor’s Degree in a technical field or equivalent experience.


• 4+ years in QA / test engineering, with exposure to data/ML systems.


• Strong Python and data-science techniques for measuring factual grounding and answer quality.


• Experience with LLM evaluation frameworks and statistical analysis.


• Ability to build automated, large-scale eval harnesses plus lighter human-in-the-loop A/B tests.


• Comfort working across multiple LLM providers’ outputs.


• Test automation frameworks and scripting.


• Detail-oriented, with strong analytical and communication skills.

WHO YOU ARE

• You think about how to scale, automate and operate, not just how to build a solution to an immediate problem


• You understand lean thinking


• You set high standards for code quality, performance/scalability and security and seek continuous improvement


• You have solid analytical, problem solving and decision-making skills


• You have customer first mindset and a devotion to customer service


• You engage and build positive internal and external client relationships, while managing multiple initiatives, often with competing priorities


• You have strong self-initiative, passion, interpersonal, oral and written communication and collaboration skills with the ability to work, influence and make an impact in a cross-functional environment with all levels of the organization


• You are responsive and thrive in a fast-paced diverse high-performance environment with rapidly changing business needs


• You actively seek out things outside your comfort zone with the ability to rapidly learn and take advantage of new concepts, business models, and technologies


• You have prior experience in consulting


• Prior experience and connections in the Life Sciences industry is preferred

Thank you for your interest in a career with Appnovation Technologies! Please note that only those selected for an interview will be contacted.

At Appnovation, we recognize that diverse teams are the strongest teams. Diversity, Equity & Inclusion is not only something that we embrace - we celebrate it! We are proud to be an Equal Opportunity Employer and we encourage applicants from all backgrounds, lived experiences and industries to apply. Come join us at Appnovation, and learn more about how we stay true to our company values as we build better lives through better digital. Accommodations are available upon request throughout the recruitment process.