Sign up to access all features of our service.
  • Job search
  • Favorites
  • Create a CV
    New
  • Salaries
  • Subscriptions

Développeur·euse Qa, Assistant Ia

Poka FR

Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur.
Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.
Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.
Aperçu du posteNotre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.
En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.
En quoi c'est différent de la QA traditionnelle
Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
Tu écris du Python chaque semaine.
Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.
Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
De 2 à 4 ans d'expérience pertinente
Un parcours en automatisation des tests ou comme SDET
Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.
Atouts
Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
De l'expérience avec des outils d'IA pour accélérer les tests
Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
De l'expérience en tests de sécurité ou en tests adverses
Une connaissance de la pyramide des tests et de l'approche shift-left
De l'expérience B2B ou sur des plateformes industrielles
Une connaissance de Jira
Les technologies que tu utiliseras
Framework d'évaluation (promptfoo)
Et bien d'autres
On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.
Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.
Si ça te ressemble, tu es probablement la personne qu'on cherche !
Un environnement de travail dynamique et collaboratif;
Politique de vacances généreuse dès ton arrivée;
Mode hybride -Les employé.Es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine.
Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus;
Horaire réellement flexible permettant d’adapter ton emploi du temps;
Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.)avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE;
REER collectifavec contribution de l’employeur, offert après un an de service via Wealthsimple;
MacBook Pro etune allocation de 500$ pour ton bureau à la maison lors de l'embauche;
Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière.
Un programme de référencement d'employés avantageux pour les embauches réussies.
Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.)
Tu veux en savoir plus sur notre culture? Clique ICI .
À noter:La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.
Chez Poka, nous nous engageons à favoriser l’équité, la diversité et l’inclusion dans nos pratiques d’embauche. Tu peux choisir de partager ton identité de genre ci-dessous pour nous aider à suivre et à améliorer nos efforts en matière de recrutement équitable. Cette information est entièrement facultative, confidentielle, et seulement accessible au personnel RH autorisé. Elle sera utilisée uniquement à des fins statistiques, de façon anonymisée et agrégée, afin d’assurer des pratiques d’embauche justes et inclusives. Ta réponse n’aura aucun impact sur ta candidature. Tu peux retirer ton consentement à tout moment en écrivant à : View email address on ca.hrm.tc.
#J-18808-Ljbffr
Vacancy posted 2 hours ago
Similar jobs that could be interesting for youBased on the Développeur·euse Qa, Assistant Ia in Winnipeg, MB vacancy
  •  ...collaboration, respectful challenge, and ability to strongly support QA decisions Continually monitor the effectiveness of the DI/CSV...  ...and contractor organizations as required. Resolving and assisting in the closure of deviations initiated during validation activities... 
    Suggested
    For contractors
    Local area
    Flexible hours

    Emergent Biosolutions

    Winnipeg, MB
    7 days ago
  • $50k - $60k per year

     ...Job Description Join Our Team at 2835 Pembina Hwy in the Fort Richmond community as a Smitty's Assistant Restaurant and Lounge Manager! This is WHY you’ll love working here: Competitive Compensation: $50,000–$60,000 per year (based on experience) Career Growth... 
    Suggested
    Shift work

    Smitty's Restaurant and Lounge

    Winnipeg, MB
    22 days ago
  •  ...Développeur Analyste C++ (Contrat de 12 mois)### Développeur Analyste C++ (Contrat de 12 mois)Postuler: Montréal - 1190, av. des Canadiens-de-Montréal: Temps plein: Publié aujourd'hui: R-6668Aventurez-vous hors de l'ordinaire - TMX CarrièresLes sociétés membres... 
    Suggested
    Full time
    Contract work
    Work at office

    TMX Group

    Winnipeg, MB
    2 days ago
  •  ...la performance financière et piloterez l’évolution internationale de la fonction Comptabilité et finances. Vous piloterez les outils IA, les contrôles internes, le budget et la trésorerie, et présenterez les états financiers au comité exécutif, au conseil et aux investisseurs... 
    Suggested

    Michael Page

    Winnipeg, MB
    7 days ago
  • $75k - $90k per year

     ...applications from minorities, women, the disabled and all other qualified applicants The Successful Applicant A successful Data QA Analyst should have: Experience in data testing, quality assurance, or a related field. Strong analytical skills and attention to... 
    Suggested
    Permanent employment
    Full time

    Michael Page

    Winnipeg, MB
    a month ago
  •  ...SaaS B2B complexes, de la découverte à la signature, en vous concentrant sur des transformations de l'expérience client alimentées par l'IA. Vous parlerez avec des responsables CX et support, démontrerez des bénéfices mesurables et tracerez un chemin vers la production en... 

    Botpress Technologies Inc.

    Winnipeg, MB
    7 days ago
  • $18.19 - $19.07 per hour

     ...to meet production goals in a manufacturing environment where continuous improvement and teamwork matter. Join us as a Production Assistant in Winnipeg and help bring materials to life in a workplace where health and safety always come first. What’s in it for you... 
    Hourly pay
    Full time
    Manual labor
    Rotating shift
    Weekend work

    Cascades

    Winnipeg, MB
    8 days ago
  • $75k - $85k per year

     ...candidate evaluations. ABOUT THIS ROLE: D2L is looking for an ambitious, highly organized, and exceptionally thoughtful Executive Assistant to support our Chief Product Officer and Chief Technology Officer.   This is more than a traditional administrative role. You will... 
    Full time
    Work at office
    Flexible hours
    Shift work
    3 days per week

    D2L

    Winnipeg, MB
    1 day ago
  •  ...Follow all safety and security procedures. Provides prompt and courteous member service. Non-Essential Functions and Tasks: ~ Assists in other areas of the warehouse as necessary. Qualifications (Costco-specific or industry-specific skills that candidates must... 
    Permanent employment
    Full time

    Costco Wholesale Canada Ltd

    Winnipeg, MB
    4 days ago
  • $17.5 - $18 per hour

    Education: Expérience: Education Secondary (high) school graduation certificate Tasks Co-ordinate special events Determine the size of food portions and costs Requisition food and kitchen supplies Prepare and cook complete meals or individual dishes and...
    Permanent employment
    Shift work
    Weekend work
    Day shift
    Afternoon shift

    DENNY'S RESTAURANTS

    Winnipeg, MB
    6 days ago
  • Work must be completed at the physical location. There is no option to work remotely. Tasks - Arrange and co-ordinate seminars, conferences, etc. - Coordinate the flow of information within the team - Open and distribute mail and other materials - Plan and organize...
    Permanent employment
    Temporary work
    Work at office
    Remote work

    Aplin This link will open in a new window

    Winnipeg, MB
    7 days ago
  • Work must be completed at the physical location. There is no option to work remotely. Work setting - Relocation costs covered by employer - Willing to relocate Tasks - Schedule and confirm appointments - Answer telephone and relay telephone calls and messages ...
    Permanent employment
    Temporary work
    Work at office
    Remote work
    Relocation

    JM TRUCK AND TRAILER

    Winnipeg, MB
    7 days ago
  • $17 - $19 per hour

    Overview Languages English Education ~ No degree, certificate or diploma Experience Experience an asset On site Work must be completed at the physical location. There is no option to work remotely. Work setting Office Retail/wholesale...
    Permanent employment
    Full time
    Work at office
    Remote work

    Specialty Tire & Tube / Century Powersports

    Winnipeg, MB
    4 days ago
  • $16.4 - $18 per hour

    Education: Secondary (high) school graduation certificate. Tasks: Type and proofread correspondence, forms and other documents. Receive and forward telephone or electronic enquiries. Work on reports from manual or electronic files, inventories and databases. Process incoming...
    Hourly pay
    Permanent employment
    Work at office
    Immediate start
    Weekend work
    Day shift
    Afternoon shift

    Canadian Pathway Immigration Services (CPIS) Inc.

    Winnipeg, MB
    2 days ago
  •  ...Randstad Canada is partnering with Winnipeg's top employers to find experienced, proactive Administrative Assistants to join their teams. In this role, you will be the backbone of daily business operations, ensuring a professional, organized, and highly efficient office... 
    Work at office
    Monday to friday

    Randstad Canada

    Winnipeg, MB
    7 days ago
  •  ...(Degree/Diploma/Certificate) Complete high school education, Manitoba standards, required.  Successful completion of a Nursing Assistant program or equivalent (both the Health Care Aide and Unit Clerk programs) required. Medical terminology (75% pass mark) required.... 
    Trial period
    Shift work
    Night shift
    Weekend work

    Shared Health Manitoba

    Winnipeg, MB
    7 days ago
  • Overview Languages English Education Secondary (high) school graduation certificate Experience 1 year to less than 2 years Tasks Type and proofread correspondence, forms and other documents Receive and forward telephone or electronic enquiries Work...
    Full time
    Work at office

    Canadian Pathway Immigration Services (CPIS) Inc.

    Winnipeg, MB
    7 days ago
  • $17.5 - $18 per hour

    Overview Languages English Education ~ Secondary (high) school graduation certificate Experience 1 year to less than 2 years On site Work must be completed at the physical location. There is no option to work remotely. Responsibilities Tasks...
    Permanent employment
    Full time
    Remote work

    DENNY'S RESTAURANTS

    Winnipeg, MB
    6 days ago
  •  ...Education: Secondary (high) school graduation certificate. Tasks: Arrange and co-ordinate seminars, conferences, etc.. Assist with staff consultation and grievance procedures. Coordinate the flow of information within the team. Direct and control daily operations . Direct staff... 
    Hourly pay
    Permanent employment
    Immediate start
    Day shift

    New Generation Painting

    Winnipeg, MB
    7 days ago
  •  ...our people, patients, their families, and our communities. Humble and approachable, we achieve more together. Support Staff - Vet Assistant Do not miss out on this unique opportunity to join a fun and dynamic team! VetStrategy is an equal opportunity employer. We... 

    VetStrategy

    Winnipeg, MB
    7 days ago
  •  ...Job Details Administrative assistant 1 position available Start date: As soon as possible. Office desk work Flexible Shifts Apply by email at or in person or by mail at 1080 Arlington Avenue, Winnipeg, MB. Job Description Role and responsibilities are... 
    Work at office
    Immediate start
    Flexible hours

    BALBIR CHAND VIJ AND SONS LTD

    Winnipeg, MB
    7 days ago
  •  ...Lead or participate in the audit preparation process by working with internal stakeholders for both internal and external audits. Assist in maintaining general ledger accounts with a high degree of accuracy. Review and approve journal entries and reconciliations monthly... 
    Long term contract
    Temporary work
    Worldwide

    StandardAero

    Winnipeg, MB
    13 days ago
  •  ...organizations. Position Overview Under the general supervision of the Manager, Health Services, RN, RPN, and/or LPN, the Unit Assistant acts as a member of the health care team, assisting with patient care and providing basic supportive care as directed. The Unit Assistant... 
    Trial period
    Shift work
    Night shift

    Shared Health Manitoba

    Winnipeg, MB
    7 days ago
  •  ...Manager, and while demonstrating a commitment to the Mission, Values and Management Philosophy of St. Boniface Hospital, the Pharmacy Assistant is responsible for: the procurement, storage, inventory management, recording, preparing, dispensing, packaging, labeling, pricing,... 
    Shift work
    Weekend work
    Afternoon shift

    Shared Health Manitoba

    Winnipeg, MB
    7 days ago
  •  ...dans près de 70 % des écoles au Québec. L'équipe, constituée de développeur.Euse.S dévoué.E.S, travaille en mode Agile et privilégie une...  ...gestion des anomalies (Jira ou équivalent).Utilisation des outils d'IA dans votre quotidien professionnel, avec des exemples concrets... 
    Daily paid
    Apprenticeship
    Local area

    Turbulent a Cloud Imperium Company

    Winnipeg, MB
    2 hours ago
  • $16.4 - $18 per hour

    Overview Languages English Education ~ Secondary (high) school graduation certificate Experience 1 year to less than 2 years On site Work must be completed at the physical location. There is no option to work remotely. Responsibilities Tasks...
    Permanent employment
    Full time
    Work at office
    Remote work

    Canadian Pathway Immigration Services (CPIS) Inc.

    Winnipeg, MB
    7 days ago
  • $31.35 per hour

     ...Education Secondary (high) school graduation certificate Tasks Accompany students during school and extracurricular activities Assist in school library or office Help students individually or in small groups with assignments and reinforce learning and retention... 
    Permanent employment
    Work at office

    Dasmesh School Winnipeg Inc.

    Winnipeg, MB
    12 days ago
  •  ...Location:Winnipeg,MB Security Clearance: Reliability-level security screening Client Service is requires an Administrative Assistants with senior/advanced levels of knowledge and skill sets which include: Strong detail orientation skills: i.e.: able to self-correct... 
    Temporary work
    For contractors
    Work at office

    Staffmax Staffing & Recruiting

    Winnipeg, MB
    13 days ago
  •  ...Staffmax is helping our client hire a reliable and highly organized Administrative Assistant for a 6-month contract. This role is critical in keeping office operations running smoothly and efficiently. You will be responsible for supporting internal teams with a wide variety... 
    Contract work
    Temporary work
    Work at office

    Staffmax Staffing & Recruiting

    Winnipeg, MB
    13 days ago
  • $31.35 per hour

    Durée de l'emploi: Permanent Langue de travail: Anglais Education: Diplôme d'études secondaires ou l'équivalent Expérience: Expérience un atout Tâches Accompagner les étudiants pendant les activités scolaires et extrascolaires Aider à la bibliothèque ou au bureau...
    Little job
    Permanent employment
    Apprenticeship
    Work at office

    Dasmesh School Winnipeg Inc.

    Winnipeg, MB
    12 days ago

Do you want to receive more vacancies?

Subscribe and receive similar vacancies to Développeur·euse Qa, Assistant Ia. Be the first to apply!