Autonomous Agent Evaluation Specialist
Outlier
Evaluate autonomous agents through rubric writing, trace debugging, and stress testing. Outlier offers remote freelance work with flexible scheduling for qualified contributors.
This specialist work supports Outlier projects improving AI agents for leading AI organizations. Contributors help train large language models to operate as proactive, multi-step systems. The work centers on complex architectural workflows, live interactions, and detailed assessment of system behavior.
Key Responsibilities:
- Create evaluation rubrics for agent performance
- Inspect and debug multi-turn agent traces
- Stress test autonomous agents across workflows
- Assess complex behaviors with high-density feedback
Requirements:
- Two or more years of relevant professional experience
- Backend engineering, AI automation, or complex systems integration background
- Production software development using modular separation
- Practical experience with live, non-mocked systems
- Ability to identify privacy leaks and prompt injections
Bring rigorous evaluation, backend engineering, and autonomous-agent expertise to Outlier’s remote OpenClaw training work.
#J-18808-LjbffrVacancy posted 15 hours ago
Similar jobs that could be interesting for youBased on the Autonomous Agent Evaluation Specialist in Montréal, QC vacancy
- ...Description We are looking for an experienced Quality Assurance Specialist II to support supplier quality, manufacturing quality... ...Supplier Quality Management Lead supplier quality system evaluations, assessments, and audits. Manage supplier approval and qualification...Suggested
Kronos Consulting
Montréal, QC7 days ago - Nous sommes présentement à la recherche d’un(e) Agent(e) à la conformité dynamique afin de joindre notre bureau de Montréal. Se rapportant... ...organisationnelles - Orienté vers les détails et les délais - Autonomie Vous êtes intéressé et croyez avoir les aptitudes que l’...SuggestedPermanent employmentWork at office
$55.81k - $95.64k per year
...scolaire de Montréal (CSSDM) recherche des agentes ou agents de réadaptation pour occuper... ...avec son environnement et de développer son autonomie, ainsi qu’un rôle conseil et de soutien... ...adéquatement les qualifications requises , l’évaluation comparative de vos études effectuées hors...SuggestedDaily paidRemplacementPermanent employmentFull timePart timeInternshipWork at officeDay shift- ...cette opportunité vous permettra de bâtir votre carrière en tant qu'Agent de support opérationnel , situé dans le Grand Montreal (QC), CA.... ...et attention aux détails Esprit d’équipe et collaboration Autonomie et proactivité Capacité à travailler dans un environnement en...SuggestedRemplacementMonday to fridayNight shiftDay shift
- ...Titre du poste : Évaluateur(trice) immobilier / Appraiser Lieu : Montréal Salaire : selon expérience À propos du poste Joindre cette... ...convenus. Principales responsabilités Gestion autonome des mandats Prendre en charge des mandats d'évaluation immobilière...SuggestedWork at officeFlexible hours
$43.16k - $57.09k per year
Job Responsibility: Agente ou agent de soutien administratif Processus de sélection - Recrutement... ...ces personnes pour la sauvegarde de leur autonomie et au respect de leurs droits, tout en... ...hors du Canada doit faire l'objet d'une évaluation comparative (attestation d'équivalence)...Permanent employmentFull timeSummer workWork at officeDay shift$59.83k - $100.22k per year
...de camps de jour. Vous recueillez et analysez des données afin d'évaluer les besoins du milieu et d'en cerner les caractéristiques, les... ...~ Habiletés relationnelles et à faire preuve d'initiative et d'autonomie, souhaitables ~ Permis de conduire classe 5, un atout...Full timeTemporary workWeekend workDay shiftAfternoon shiftVille de Montréal
Montréal, QC7 days ago$20.82 - $28.02 per hour
...A propos de GardaWorld L’aéroport a besoin de vous | Agent(e) de contrôle préembarquement | Aéroport de Saint-Hubert (YHU) à Longueuil... ...IA) n’est utilisé dans le cadre du processus de présélection, d’évaluation ou de sélection des candidats pour ce poste. Cette offre...$55.81k - $95.64k per year
...scolaire de Montréal (CSSDM) recherche des agentes ou agents de réadaptation pour occuper... ...avec son environnement et de développer son autonomie, ainsi qu’un rôle conseil et de soutien... ...adéquatement les qualifications requises, l’évaluation comparative de vos études effectuées hors...Daily paidRemplacementPermanent employmentFull timePart timeApprenticeshipInternshipWork at officeMonday to fridayDay shift$19 per hour
...social de Ville Saint-Laurent - Du mercredi au vendredi : à distance via Microsoft Teams - Des questionnaires de connaissances et une évaluation finale devront être réussis avec une note minimale de 85 % - Une révision supplémentaire du matériel de formation à l’extérieur des...Contract workTemporary workWork at officeRemote workMonday to friday2 days per week1 day per weekWeekday work- ...Chez UTILE, le rôle d' agent·e de location va bien au-delà de la signature de contrats traditionnels : c'est l'occasion de contribuer... ...rythme de notre croissance avec rigueur, nous cherchons une personne autonome, organisée et animée par les relations humaines. Les...Daily paidPermanent employmentFull timeContract workWork at office
$45k - $55k per year
...SolutionCondo a besoin de toi ! Nous sommes à la recherche d'un(e) Agent(e) au au recouvrement Qui sommes-nous ? SolutionCondo est une... ...et capable de gérer des clients difficiles; Tu es dynamique, autonome, et as une bonne gestion des priorités; Tu es à l'aise avec...Daily paidPermanent employmentFull timeWork at officeMonday to friday$60 per hour
...Agent(e) de relations humaines (ARH) Conditions d’emploi : Adaptation... ...constituent entre autres : Évaluer les besoins psychosociaux, adaptatifs et... ...travailler en équipe interdisciplinaire. Autonomie, organisation et gestion efficace des...$74.3k - $99.06k per year
...Associé(e) principal(e), Impact ou d’un(e) agent(e), Climat et impact ! Rejoignez... ...Impact du développement est responsable de l’évaluation, de la mesure et du suivi des retombées sur... ...une capacité démontrée à mener de façon autonome des évaluations d’impact et à gérer des...Permanent employmentFull timeContract workApprenticeshipWork at officeWorldwideDay shift- ...Description Job Title: Artificial Intelligence Specialist Location: Montreal, QC Duration: 12+... ...development and integration (services, microservices), agents and orchestration, tools and connectors, MCPs, tracing and evaluation, safeguards and compliance, fine-tuning as...
Adient One LLC.
Montréal, QC3 days ago $55k - $95k per year
Developer - Virtual Agent Administrator Position Description This position is open... ...travailler en équipe tout en démontrant son autonomie et son indépendance · Bonne gestion du... ...’IA peuvent être utilisés pour aider à l’évaluation des candidatures, sans jamais remplacer...ApprenticeshipWork at officeLocal areaWorldwideFlexible hours- Agent(e) à la réception Le Courtyard Marriott est situé au cœur de Montréal, à proximité du Palais des congrès, à quelques minutes de la plus célèbre ville souterraine au monde, de la Place des Arts, des magasins et boutiques sur l’effervescente rue Ste-Catherine et du...Daily paidPermanent employmentWeekend workAfternoon shift
$66.22k - $110.91k per year
...organisation, vous développez une offre qui réponde aux attentes des citoyens. Plus spécifiquement, vous : identifiez, analysez et évaluez les besoins des clientèles à l'intérieur de votre secteur ainsi que les créations et les productions culturelles existantes afin de...Permanent employmentFull timeRemote workWeekend workAfternoon shiftVille de Montréal
Montréal, QC7 days ago- L’agent(e) à la réception est responsable de fournir un service hors pair à nos invités, en effectuant les arrivées et les départs, et en offrant des renseignements sur l’hôtel et la ville. L’agent(e) à la réception est appelé(e) à écouter et résoudre des problèmes, tout en...Daily paidRemplacementPermanent employmentFull timeNight shift
$55.74k - $73.72k per year
...OFFRE Vous aimez les chiffres et cherchez un emploi dynamique? Joignez-vous à notre équipe! Le Service des finances et de l'évaluation foncière est le gardien des fonds publics; sa mission consiste à réaliser des activités de conseils stratégiques, opérationnels et...Temporary workWork at officeRemote workFlexible hoursVille de Montréal
Montréal, QC7 days ago- ...importante chez Tisseur. Nous sommes présentement à la recherche d'un agent de prévention accrédité par la CNESST pour un chantier de... ...et le code de sécurité pour les travaux de construction; Être autonome; Avoir une approche axée vers le client; Habiletés interpersonnelles...Daily paidPermanent employmentRemote workFlexible hours
TISSEUR
Montréal, QC18 hours ago - *** English version will follow *** Agent méthodes – Contrôle fonctionnel tests avioniques (FTC) Vous jouerez un rôle clé dans la... ...l’optimisation des séquences de tests avioniques. Methods Specialist - FTC (Functional Test Control) You will play a key role in managing...Temporary workFixed term contractWorldwide
- Job Description Job Description Purchase general and specialized equipment, materials or business services Assess requirements of an establishment to develop specifications for equipment, materials and supplies to be purchased Negotiate offers from suppliers ...Contract work
Bazz Inc
Montréal, QC12 days ago $23 - $28 per hour
...et d’apprendre de nouvelles techniques de vente. Aimer travailler en équipe et d’avoir une saine compétition. Faire preuve d’autonomie. Offrir de la flexibilité quant à tes disponibilités. Maîtrise de l’anglais parlé niveau avancé. L’employé·e aura à communiquer...Full timePart timeSeasonal workWork at officeFlexible hours- ...et le travail en équipe ? Chez GardaWorld, nous recherchons un agent ou une agente de service à la clientèle pour joindre notre... ...service à la clientèle (un atout important) Sens de l’organisation, autonomie et capacité à gérer plusieurs priorités Prêt(e) à rejoindre...Flexible hoursNight shiftAfternoon shift
$21.6 per hour
Agent(e) de sécurité - Permis BSP requis ���� Île des Sœurs | ���� Salaire : à partir de 21,60 $/h Situé au bord du fleuve Saint... ...en sécurité (immeuble résidentiel = atout) • Vigilance, autonomie, sens des responsabilités • Bon français (anglais = atout) • Disponibilité...Permanent employmentFull timeNight shiftWeekend work- ..., une association professionnelle, un.e agent.e administratif.ve au service de la formation... ...suivi administratif (factures, contrats, évaluations, rapports); Assurer le suivi... ...organisationnelles et souci du détail. Autonomie, rigueur et bon service à la clientèle....Permanent employmentContract workTemporary workWork at office
TOTEM Recruteur de talent
Montréal, QC3 days ago - ...About the company Mindrift connects specialists with project-based AI opportunities for... ...leading tech companies, focused on testing, evaluating, and improving AI systems. This is a... ...clinical EHR vignettes for a medical AI evaluation project. General and internal medicine are...Part timeFor contractorsRemote workFlexible hours
- Relevant du directeur des opérations, l’agent-e au service à la clientèle assure le service aux clients et le soutien administratif afin... ...aptitude à travailler en équipe, tout en faisant preuve d’autonomie; - Expérience avec un ERP et/ou un CRM (Dynamics SL constitue un...Permanent employmentContract workDay shift
$25 per hour
Agent de bureau juridique 1 an + Salaire : 25$/H et plus Mode : Hybride (2j par semaine au bureau) Localisation : Rive sud - Mode hybride (2j par semaine au bureau) Statut : Contrat temporaire (5-6 mois), 35H par semaine Poste éligible aux avantages sociaux (régime...Permanent employmentContract workTemporary workWork at office
Do you want to receive more vacancies?
Subscribe and receive similar vacancies to Autonomous Agent Evaluation Specialist. Be the first to apply!
Related searches
- agent numerisation Montréal, QC
- représentant développement des affaires Montréal, QC
- agent télémarketing Montréal, QC
- agent nettoyage Montréal, QC
- enrolled agent Montréal, QC
- agent de cinema Montréal, QC
- représentant pharmaceutique Montréal, QC
- de représentant Montréal, QC
- representant cosmetique Montréal, QC
- représentant médical Montréal, QC