Quality Assurance Analyst ( AI & Automation)

Analyste QA Automatisation

Description de poste
L'Analyste QA est responsable de la validation de la qualité des livrables. L'analyste QA devra démontrer une forte appétence pour l'automatisation et collaborer étroitement avec les équipes de client afin de structurer et industrialiser cette pratique selon une approche. 
Nous cherchons à instaurer une plus grande connaissance des pratiques d'assurances qualité à l'ensemble de nos contributeurs. Nous avons à cœur l'optimisation des différents types de tests mais aussi l'élaboration d'un processus d'assurance qualité dès le début du cycle de livraison selon le contexte de chaque projet.

Fonctions et responsabilités
Conception et mise en œuvre de stratégies de test complètes pour les systèmes et modèles d'IA, incluant l'ingénierie des invites, l'évaluation des résultats et les tests de biais et de sécurité. Maîtrise approfondie du comportement des modèles de langage (tokenisation, plongements lexicaux, mécanismes d'attention et inférence) afin d'anticiper les modes de défaillance. Création d'invites efficaces, identification des hallucinations et des résultats hors cible, et évaluation de la qualité selon les critères de précision, de tonalité, de cohérence et de biais. Application de métriques d'évaluation spécifiques à l'IA générative et définition de seuils appropriés.

Test des systèmes d'IA intégrés aux pipelines RAG et aux bases de connaissances, en validant la qualité des données et la précision de la récupération, et leur impact sur les résultats du modèle. Compréhension des mécanismes des bases de données vectorielles, des seuils de recherche de similarité, de la dérive des plongements lexicaux, et test des cas limites tels que les documents quasi-dupliqués, les plongements lexicaux clairsemés et denses, et les performances à grande échelle. Utilisation des frameworks LangChain et LangGraph pour la lecture de code, la compréhension de la construction des chaînes et des graphes, l'identification des points de défaillance et la création de bancs d'essai. Validation des points d'intégration à l'aide de MCP (Multiple Check Point), de la disponibilité des outils de test et de la gestion des erreurs.

Stratégie et planification des tests : Définir et exécuter des stratégies de test complètes pour les plateformes de titrisation, garantissant une couverture optimale des tests fonctionnels, de régression, d'intégration et de performance. Établir des normes et des bonnes pratiques de test couvrant à la fois l'assurance qualité traditionnelle et la validation spécifique à l'IA.

Automatisation des tests et développement de frameworks : Concevoir, développer et maintenir des suites de tests automatisés afin d'accélérer les cycles de publication et d'améliorer la couverture. Tirer parti des outils d'IA et d'apprentissage automatique pour optimiser la couverture des tests, améliorer l'efficacité et réduire les cycles de régression.

Assurance qualité du cycle de vie de la titrisation : Valider les flux de travail de bout en bout des transactions, y compris la configuration, la structuration, le traitement et la distribution. Garantir l'intégrité des données entre les systèmes en amont et en aval grâce à des tests de réconciliation et à la production de rapports.

Tests de publication et de régression : Coordonner les tests de régression pour les mises à jour de la plateforme, les correctifs et les modifications d'infrastructure. Garantir la stabilité et la rétrocompatibilité, en particulier pendant les périodes de traitement critiques.

Collaboration interfonctionnelle : Collaborer avec les développeurs, les analystes fonctionnels et les responsables produit pour clarifier les exigences, identifier les cas limites et garantir la testabilité des nouvelles fonctionnalités. Animer des sessions de triage des anomalies, prioriser les problèmes en fonction de leur impact sur l'activité et maintenir une documentation claire jusqu'à leur résolution.

Leadership et reporting qualité : Définir et suivre les indicateurs clés de qualité, notamment la densité des défauts, la couverture des tests et les taux d’automatisation. Présenter les résultats à la direction et recommander des améliorations. Encadrer les membres juniors de l’équipe QA et promouvoir une culture de la qualité au sein de l’équipe.

Support à la production : Fournir un support à la production pendant les périodes de traitement critiques, enquêter sur les incidents et coordonner l’analyse des causes profondes et les actions correctives.

Qualités requises pour réussir dans ce rôle
Expérience de plus de 7 ans en assurance qualité ou en ingénierie qualité, dont au moins 3 ans à un poste de responsable ou de cadre supérieur. Solides connaissances du secteur de la titrisation, des marchés de capitaux ou de classes d'actifs similaires.

Compétences techniques : Expérience pratique des outils d'automatisation des tests (Selenium, Robot Framework, Playwright ou équivalent). Maîtrise des langages de programmation, notamment Java et Python, avec une expertise avérée en implémentation de frameworks. Expérience pratique de l'automatisation des API et de la validation des systèmes backend. Maîtrise du développement de requêtes de base de données, de la validation des données et des tests de réconciliation. Expérience des pipelines CI/CD et des pratiques DevOps (Jenkins, GitHub ou équivalent).

Compétences en IA et ML : Compréhension approfondie de l'architecture et du comportement des modèles de langage (LLM). Expérience pratique des frameworks LangChain et/ou LangGraph. Connaissance des pipelines RAG, des bases de données vectorielles et des solutions agentiques. Familiarité avec les protocoles de contexte de modèle (MCP) et les tests d'intégration. Compréhension des méthodologies de tests de biais, de sécurité et de tests d'intrusion (red team) pour les systèmes d'IA.

• CGI offre une estimation raisonnable de la fourchette salariale pour ce poste. Le calcul de cette fourchette dépend de divers facteurs, notamment le niveau de compétence, le marché géographique, l’expérience, la formation ainsi que les licences et certifications professionnelles. Les décisions en matière de rémunération dépendent des particularités de chaque cas. Une estimation raisonnable de cette fourchette salariale se situe entre 60,000 $ et 115,000 $. Ce poste est vacant.

#LI-BZ1

Ensemble, en tant que propriétaires, mettons notre savoir-faire à l’œuvre.

La vie chez CGI est ancrée dans l’actionnariat, le travail d’équipe, le respect et un sentiment d’appartenance. Chez nous, vous pourrez exploiter votre plein potentiel parce que…

Nous vous invitons à devenir propriétaire dès le jour 1 alors que nous travaillons ensemble à faire de notre rêve une réalité. C’est pourquoi nous nous désignons comme associés de CGI, plutôt que comme employés. Nous tirons profit des retombées de notre succès collectif et contribuons activement à l’orientation et à la stratégie de notre entreprise.

Votre travail crée de la valeur. Vous élaborerez des solutions novatrices et développerez des relations durables avec vos collègues et clients, tout en ayant accès à des capacités mondiales pour concrétiser vos idées, saisir de nouvelles opportunités, et bénéficier d’une expertise sectorielle et technologique de pointe.

Vous ferez évoluer votre carrière en vous joignant à une entreprise bâtie pour croître et durer. Vous serez soutenus par des leaders qui ont votre santé et bien-être à cœur et qui vous permettront de saisir des occasions afin de parfaire vos compétences et élargir les horizons.

Chez CGI, nous valorisons la richesse que la diversité apporte et nous nous engageons à favoriser un environnement de travail où chacun s’épanouit. Nous collaborons avec nos clients pour bâtir des communautés plus inclusives et permettre à tous les associés de CGI de réussir. En tant qu’employeur prônant l’égalité des chances, il est important pour nous que vous puissiez donner le meilleur de vous-même durant le processus de recrutement. Si vous avez besoin d’un accommodement particulier, veuillez en informer votre recruteur.

Ce même engagement envers l’équité s’étend à notre utilisation des technologies. Afin de soutenir notre équipe de recrutement, des outils d’IA peuvent être utilisés pour aider à l’évaluation des candidatures, sans jamais remplacer le jugement humain. Toutes les décisions d’embauche demeurent entièrement entre les mains de nos professionnels du recrutement.

Pour en savoir plus sur l'accessibilité chez CGI, contactez-nous par courriel . Veuillez noter que ce courriel est strictement réservé aux demandes d'accessibilité et ne peut être utilisé pour vérifier l'état d’une candidature.

Joignez-vous à nous, l’une des plus importantes entreprises de conseil en technologie de l’information (TI) et en management au monde.

Quality Assurance Analyst ( AI & Automation)

Position Description
The QA Analyst is responsible for validating the quality of deliverables. The QA Analyst must demonstrate a strong aptitude for automation and collaborate closely with client teams to structure and industrialize this practice using a specific approach.

We aim to foster a greater understanding of quality assurance practices among all our contributors. We are committed to optimizing various types of tests and developing a quality assurance process from the very beginning of the delivery cycle, tailored to the specific context of each project.

Your future duties and responsibilities
AI Systems and Models Testing Design and execute comprehensive test strategies for AI systems and models, including prompt engineering, output evaluation, and bias/safety testing. Develop deep understanding of LLM behavior—tokenization, embeddings, attention mechanisms, and inference—to anticipate failure modes. Construct effective prompts, recognize hallucinations and off-target outputs, and assess quality across accuracy, tone, coherence, and bias dimensions. Apply evaluation metrics specific to generative AI and establish appropriate thresholds.

Test AI systems integrated with RAG pipelines and knowledge bases, validating data quality and retrieval accuracy as they impact model outputs. Understand vector database mechanics, similarity search thresholds, embedding drift, and test edge cases including near-duplicate documents, sparse vs. dense embeddings, and performance under scale. Leverage LangChain and LangGraph frameworks to read code, understand chain and graph construction, identify failure points, and write test harnesses. Validate integration points using MCPs, testing tool availability and error handling.

Test Strategy and Planning Define and execute comprehensive test strategies for securitization platforms, ensuring coverage across functional, regression, integration, and performance testing. Establish testing standards and best practices that span both traditional QA and AI-specific validation.

Test Automation and Framework Development Design, build, and maintain automated test suites to accelerate release cycles and improve coverage. Leverage AI and ML tools to enhance test coverage, improve efficiency, and reduce regression cycles.

Securitization Lifecycle QA Validate end-to-end deal workflows including setup, structuring, processing, and distributions. Ensure data integrity across upstream and downstream systems through reconciliation testing and reporting.

Release and Regression Testing Coordinate regression testing for platform releases, patches, and infrastructure changes. Ensure stability and backward compatibility, particularly during critical processing windows.

Cross-Functional Collaboration Partner with developers, business analysts, and product owners to clarify requirements, identify edge cases, and ensure testability of new features. Lead defect triage sessions, prioritize issues based on business impact, and maintain clear documentation through to closure.

Quality Leadership and Reporting Define and monitor key quality indicators including defect density, test coverage, and automation rates. Present findings to leadership and recommend improvements. Mentor junior QA team members and foster a culture of quality across the team.

Production Support Provide production support during critical processing windows, investigate incidents, and coordinate root cause analysis and remediation efforts.

Required qualifications to be successful in this role
Experience 7+ years of quality assurance or quality engineering experience, with at least 3 years in a lead or senior capacity. Strong domain knowledge in securitization, capital markets, or similar asset classes.

Technical Skills Hands-on experience with test automation tools (Selenium, Robot Framework, Playwright, or similar). Proficiency in programming languages including Java and Python, with demonstrated framework implementation expertise. Hands-on API automation and backend system validation experience. Proficiency in database query development, data validation, and reconciliation testing. Experience with CI/CD pipelines and DevOps practices (Jenkins, GitHub, or similar).

AI and ML Competencies Core understanding of LLM architecture and behavior. Hands-on experience with LangChain and/or LangGraph frameworks. Knowledge of RAG pipelines, vector databases, and agentic solutions. Familiarity with Model Context Protocols (MCPs) and integration testing. Understanding of bias, safety, and red-team testing methodologies for AI systems.

• CGI is providing a reasonable estimate of the pay range for this role. The determination of this range includes factors such as skill set level, geographic market, experience and training, and licenses and certifications. Compensation decisions depend on the facts and circumstances of each case. A reasonable estimate of the current range is $60,000–$115,000. This role is an existing vacancy

#LI-BZ1

Together, as owners, let’s turn meaningful insights into action.

Life at CGI is rooted in ownership, teamwork, respect and belonging. Here, you’ll reach your full potential because…

You are invited to be an owner from day 1 as we work together to bring our Dream to life. That’s why we call ourselves CGI Partners rather than employees. We benefit from our collective success and actively shape our company’s strategy and direction.

Your work creates value. You’ll develop innovative solutions and build relationships with teammates and clients while accessing global capabilities to scale your ideas, embrace new opportunities, and benefit from expansive industry and technology expertise.

You’ll shape your career by joining a company built to grow and last. You’ll be supported by leaders who care about your health and well-being and provide you with opportunities to deepen your skills and broaden your horizons.

At CGI, we value the strength that diversity brings and are committed to fostering a workplace where everyone belongs. We collaborate with our clients to build more inclusive communities and empower all CGI partners to thrive. As an equal-opportunity employer, being able to perform your best during the recruitment process is important to us. If you require an accommodation, please inform your recruiter.

That same commitment to fairness extends to how we use technology. To support our recruitment team, AI tools may be used to help assess applications though they never replace human judgement. All hiring decisions remain entirely in the hands of our recruitment professionals.

To learn more about accessibility at CGI, contact us via email . Please note that this email is strictly for accessibility requests and cannot be used for application status inquiries.

Come join our team—one of the largest IT and business consulting services firms in the world.