Développeur·euse Qa, Assistant Ia
Poka FR
Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur.
Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.
Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.
Aperçu du posteNotre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.
En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.
En quoi c'est différent de la QA traditionnelle
Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
Tu écris du Python chaque semaine.
Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.
Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
De 2 à 4 ans d'expérience pertinente
Un parcours en automatisation des tests ou comme SDET
Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.
Atouts
Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
De l'expérience avec des outils d'IA pour accélérer les tests
Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
De l'expérience en tests de sécurité ou en tests adverses
Une connaissance de la pyramide des tests et de l'approche shift-left
De l'expérience B2B ou sur des plateformes industrielles
Une connaissance de Jira
Les technologies que tu utiliseras
Framework d'évaluation (promptfoo)
Et bien d'autres
On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.
Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.
Si ça te ressemble, tu es probablement la personne qu'on cherche !
Un environnement de travail dynamique et collaboratif;
Politique de vacances généreuse dès ton arrivée;
Mode hybride -Les employé.Es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine.
Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus;
Horaire réellement flexible permettant d’adapter ton emploi du temps;
Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.)avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE;
REER collectifavec contribution de l’employeur, offert après un an de service via Wealthsimple;
MacBook Pro etune allocation de 500$ pour ton bureau à la maison lors de l'embauche;
Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière.
Un programme de référencement d'employés avantageux pour les embauches réussies.
Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.)
Tu veux en savoir plus sur notre culture? Clique ICI .
À noter:La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.
Chez Poka, nous nous engageons à favoriser l’équité, la diversité et l’inclusion dans nos pratiques d’embauche. Tu peux choisir de partager ton identité de genre ci-dessous pour nous aider à suivre et à améliorer nos efforts en matière de recrutement équitable. Cette information est entièrement facultative, confidentielle, et seulement accessible au personnel RH autorisé. Elle sera utilisée uniquement à des fins statistiques, de façon anonymisée et agrégée, afin d’assurer des pratiques d’embauche justes et inclusives. Ta réponse n’aura aucun impact sur ta candidature. Tu peux retirer ton consentement à tout moment en écrivant à : View email address on ca.hrm.tc.
#J-18808-Ljbffr
Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.
Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.
Aperçu du posteNotre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.
En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.
En quoi c'est différent de la QA traditionnelle
Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
Tu écris du Python chaque semaine.
Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.
Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
De 2 à 4 ans d'expérience pertinente
Un parcours en automatisation des tests ou comme SDET
Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.
Atouts
Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
De l'expérience avec des outils d'IA pour accélérer les tests
Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
De l'expérience en tests de sécurité ou en tests adverses
Une connaissance de la pyramide des tests et de l'approche shift-left
De l'expérience B2B ou sur des plateformes industrielles
Une connaissance de Jira
Les technologies que tu utiliseras
Framework d'évaluation (promptfoo)
Et bien d'autres
On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.
Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.
Si ça te ressemble, tu es probablement la personne qu'on cherche !
Un environnement de travail dynamique et collaboratif;
Politique de vacances généreuse dès ton arrivée;
Mode hybride -Les employé.Es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine.
Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus;
Horaire réellement flexible permettant d’adapter ton emploi du temps;
Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.)avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE;
REER collectifavec contribution de l’employeur, offert après un an de service via Wealthsimple;
MacBook Pro etune allocation de 500$ pour ton bureau à la maison lors de l'embauche;
Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière.
Un programme de référencement d'employés avantageux pour les embauches réussies.
Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.)
Tu veux en savoir plus sur notre culture? Clique ICI .
À noter:La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.
Chez Poka, nous nous engageons à favoriser l’équité, la diversité et l’inclusion dans nos pratiques d’embauche. Tu peux choisir de partager ton identité de genre ci-dessous pour nous aider à suivre et à améliorer nos efforts en matière de recrutement équitable. Cette information est entièrement facultative, confidentielle, et seulement accessible au personnel RH autorisé. Elle sera utilisée uniquement à des fins statistiques, de façon anonymisée et agrégée, afin d’assurer des pratiques d’embauche justes et inclusives. Ta réponse n’aura aucun impact sur ta candidature. Tu peux retirer ton consentement à tout moment en écrivant à : View email address on ca.hrm.tc.
#J-18808-Ljbffr
Vacancy posted 2 hours ago
Similar jobs that could be interesting for youBased on the Développeur·euse Qa, Assistant Ia in Winnipeg, MB vacancy
- ...collaboration, respectful challenge, and ability to strongly support QA decisions Continually monitor the effectiveness of the DI/CSV... ...and contractor organizations as required. Resolving and assisting in the closure of deviations initiated during validation activities...SuggestedFor contractorsLocal areaFlexible hours
$50k - $60k per year
...Job Description Join Our Team at 2835 Pembina Hwy in the Fort Richmond community as a Smitty's Assistant Restaurant and Lounge Manager! This is WHY you’ll love working here: Competitive Compensation: $50,000–$60,000 per year (based on experience) Career Growth...SuggestedShift work- ...Développeur Analyste C++ (Contrat de 12 mois)### Développeur Analyste C++ (Contrat de 12 mois)Postuler: Montréal - 1190, av. des Canadiens-de-Montréal: Temps plein: Publié aujourd'hui: R-6668Aventurez-vous hors de l'ordinaire - TMX CarrièresLes sociétés membres...SuggestedFull timeContract workWork at office
- ...la performance financière et piloterez l’évolution internationale de la fonction Comptabilité et finances. Vous piloterez les outils IA, les contrôles internes, le budget et la trésorerie, et présenterez les états financiers au comité exécutif, au conseil et aux investisseurs...Suggested
$75k - $90k per year
...applications from minorities, women, the disabled and all other qualified applicants The Successful Applicant A successful Data QA Analyst should have: Experience in data testing, quality assurance, or a related field. Strong analytical skills and attention to...SuggestedPermanent employmentFull time- ...SaaS B2B complexes, de la découverte à la signature, en vous concentrant sur des transformations de l'expérience client alimentées par l'IA. Vous parlerez avec des responsables CX et support, démontrerez des bénéfices mesurables et tracerez un chemin vers la production en...
$18.19 - $19.07 per hour
...to meet production goals in a manufacturing environment where continuous improvement and teamwork matter. Join us as a Production Assistant in Winnipeg and help bring materials to life in a workplace where health and safety always come first. What’s in it for you...Hourly payFull timeManual laborRotating shiftWeekend work$75k - $85k per year
...candidate evaluations. ABOUT THIS ROLE: D2L is looking for an ambitious, highly organized, and exceptionally thoughtful Executive Assistant to support our Chief Product Officer and Chief Technology Officer. This is more than a traditional administrative role. You will...Full timeWork at officeFlexible hoursShift work3 days per week- ...Follow all safety and security procedures. Provides prompt and courteous member service. Non-Essential Functions and Tasks: ~ Assists in other areas of the warehouse as necessary. Qualifications (Costco-specific or industry-specific skills that candidates must...Permanent employmentFull time
$17.5 - $18 per hour
Education: Expérience: Education Secondary (high) school graduation certificate Tasks Co-ordinate special events Determine the size of food portions and costs Requisition food and kitchen supplies Prepare and cook complete meals or individual dishes and...Permanent employmentShift workWeekend workDay shiftAfternoon shift- Work must be completed at the physical location. There is no option to work remotely. Tasks - Arrange and co-ordinate seminars, conferences, etc. - Coordinate the flow of information within the team - Open and distribute mail and other materials - Plan and organize...Permanent employmentTemporary workWork at officeRemote work
- Work must be completed at the physical location. There is no option to work remotely. Work setting - Relocation costs covered by employer - Willing to relocate Tasks - Schedule and confirm appointments - Answer telephone and relay telephone calls and messages ...Permanent employmentTemporary workWork at officeRemote workRelocation
$17 - $19 per hour
Overview Languages English Education ~ No degree, certificate or diploma Experience Experience an asset On site Work must be completed at the physical location. There is no option to work remotely. Work setting Office Retail/wholesale...Permanent employmentFull timeWork at officeRemote work$16.4 - $18 per hour
Education: Secondary (high) school graduation certificate. Tasks: Type and proofread correspondence, forms and other documents. Receive and forward telephone or electronic enquiries. Work on reports from manual or electronic files, inventories and databases. Process incoming...Hourly payPermanent employmentWork at officeImmediate startWeekend workDay shiftAfternoon shift- ...Randstad Canada is partnering with Winnipeg's top employers to find experienced, proactive Administrative Assistants to join their teams. In this role, you will be the backbone of daily business operations, ensuring a professional, organized, and highly efficient office...Work at officeMonday to friday
- ...(Degree/Diploma/Certificate) Complete high school education, Manitoba standards, required. Successful completion of a Nursing Assistant program or equivalent (both the Health Care Aide and Unit Clerk programs) required. Medical terminology (75% pass mark) required....Trial periodShift workNight shiftWeekend work
- Overview Languages English Education Secondary (high) school graduation certificate Experience 1 year to less than 2 years Tasks Type and proofread correspondence, forms and other documents Receive and forward telephone or electronic enquiries Work...Full timeWork at office
$17.5 - $18 per hour
Overview Languages English Education ~ Secondary (high) school graduation certificate Experience 1 year to less than 2 years On site Work must be completed at the physical location. There is no option to work remotely. Responsibilities Tasks...Permanent employmentFull timeRemote work- ...Education: Secondary (high) school graduation certificate. Tasks: Arrange and co-ordinate seminars, conferences, etc.. Assist with staff consultation and grievance procedures. Coordinate the flow of information within the team. Direct and control daily operations . Direct staff...Hourly payPermanent employmentImmediate startDay shift
- ...our people, patients, their families, and our communities. Humble and approachable, we achieve more together. Support Staff - Vet Assistant Do not miss out on this unique opportunity to join a fun and dynamic team! VetStrategy is an equal opportunity employer. We...
- ...Job Details Administrative assistant 1 position available Start date: As soon as possible. Office desk work Flexible Shifts Apply by email at or in person or by mail at 1080 Arlington Avenue, Winnipeg, MB. Job Description Role and responsibilities are...Work at officeImmediate startFlexible hours
- ...Lead or participate in the audit preparation process by working with internal stakeholders for both internal and external audits. Assist in maintaining general ledger accounts with a high degree of accuracy. Review and approve journal entries and reconciliations monthly...Long term contractTemporary workWorldwide
- ...organizations. Position Overview Under the general supervision of the Manager, Health Services, RN, RPN, and/or LPN, the Unit Assistant acts as a member of the health care team, assisting with patient care and providing basic supportive care as directed. The Unit Assistant...Trial periodShift workNight shift
- ...Manager, and while demonstrating a commitment to the Mission, Values and Management Philosophy of St. Boniface Hospital, the Pharmacy Assistant is responsible for: the procurement, storage, inventory management, recording, preparing, dispensing, packaging, labeling, pricing,...Shift workWeekend workAfternoon shift
- ...dans près de 70 % des écoles au Québec. L'équipe, constituée de développeur.Euse.S dévoué.E.S, travaille en mode Agile et privilégie une... ...gestion des anomalies (Jira ou équivalent).Utilisation des outils d'IA dans votre quotidien professionnel, avec des exemples concrets...Daily paidApprenticeshipLocal area
$16.4 - $18 per hour
Overview Languages English Education ~ Secondary (high) school graduation certificate Experience 1 year to less than 2 years On site Work must be completed at the physical location. There is no option to work remotely. Responsibilities Tasks...Permanent employmentFull timeWork at officeRemote work$31.35 per hour
...Education Secondary (high) school graduation certificate Tasks Accompany students during school and extracurricular activities Assist in school library or office Help students individually or in small groups with assignments and reinforce learning and retention...Permanent employmentWork at office- ...Location:Winnipeg,MB Security Clearance: Reliability-level security screening Client Service is requires an Administrative Assistants with senior/advanced levels of knowledge and skill sets which include: Strong detail orientation skills: i.e.: able to self-correct...Temporary workFor contractorsWork at office
- ...Staffmax is helping our client hire a reliable and highly organized Administrative Assistant for a 6-month contract. This role is critical in keeping office operations running smoothly and efficiently. You will be responsible for supporting internal teams with a wide variety...Contract workTemporary workWork at office
$31.35 per hour
Durée de l'emploi: Permanent Langue de travail: Anglais Education: Diplôme d'études secondaires ou l'équivalent Expérience: Expérience un atout Tâches Accompagner les étudiants pendant les activités scolaires et extrascolaires Aider à la bibliothèque ou au bureau...Little jobPermanent employmentApprenticeshipWork at office
Do you want to receive more vacancies?
Subscribe and receive similar vacancies to Développeur·euse Qa, Assistant Ia. Be the first to apply!



