Analytics Experimental & CRO

Description

Relevant du Gestionnaire, Analytique e‑commerce & Expérimentation, l’Analyste en expérimentation analytique & CRO sera responsable de la conception et de l’exécution du programme d’expérimentation sur les expériences web et mobile de Groupe Dynamite pour les marques Garage et Dynamite.

Ce rôle consiste à définir la stratégieDescription

Relevant du Gestionnaire, Analytique e‑commerce et Expérimentation, l’Analyste en Expérimentation & CRO sera responsable de la gestion et de l’exécution du programme d’expérimentation sur les expériences web et mobile de Groupe Dynamite pour les marques Garage et Dynamite.

Ce rôle consiste à définir la stratégie d’expérimentation, construire et prioriser la feuille de route des tests, lancer des tests A/B, analyser les résultats avec rigueur statistique et transformer les insights en impact mesurable sur la conversion et les revenus. L’analyste collaborera étroitement avec les équipes produit, développement, QA, marketing et eCommerce, et agira à titre d’expert des meilleures pratiques en expérimentation et CRO.

Feuille de route et stratégie d’expérimentation

• Être responsable de la feuille de route d’expérimentation web et mobile pour les deux marques, alignée avec les objectifs trimestriels de conversion et de revenus;

• Identifier de manière proactive des opportunités d’amélioration incrémentale sur l’ensemble du funnel : engagement, découverte produit, ajout au panier, initiation du paiement et post‑achat;

• Générer des hypothèses créatives et basées sur les données issues de la recherche UX, des enregistrements de sessions, de l’analyse de funnel et des comportements clients;

• Prioriser les tests à l’aide d’un cadre structuré de scoring et s’assurer que la roadmap reflète en permanence les opportunités à plus fort impact.

Planification et mise en place des tests

• Rédiger des tickets Jira détaillés pour chaque expérimentation incluant : hypothèse, brief de test, critères d’acceptation, métriques de succès, définition de l’audience et cas limites;

• Définir les métriques principales et de contrôle pour chaque test et configurer les segments d’audience dans SiteSpect et Optimizely;

• Implémenter les tests web en collaboration avec les développeurs et coordonner les tests applicatifs avec les équipes produit et développement;

• Maintenir un processus documenté étape par étape pour assurer une exécution cohérente et reproductible selon les parties prenantes et types de tests.

Coordination et communication

• Animer des réunions mensuelles d’alignement avec les équipes produit, design, marketing et marque;

• Gérer la communication de bout en bout pour chaque test : liens de staging, mises à jour d’implémentation, validation QA et confirmations de mise en production;

• Informer de manière proactive les parties prenantes sur l’état des tests, les résultats et les prochaines étapes.

QA, UAT et lancement

• Diriger le processus QA pour chaque test avant mise en ligne, incluant appareils, navigateurs et cas limites;

• Gérer les phases UAT et obtenir les validations nécessaires avant lancement;

• Lancer les tests dans SiteSpect et Optimizely et gérer le processus de mise en production de A à Z.

Suivi, analyse et résultats

• Surveiller en continu les tests en cours et signaler immédiatement toute anomalie ou problème technique;

• Effectuer l’analyse statistique des résultats : significativité, intervalles de confiance, analyses par segment et modélisation de l’impact sur les revenus;

• Déclarer les résultats selon un seuil minimal de 95 % de confiance — sans jamais conclure prématurément;

• Produire une documentation claire dans Confluence ainsi que des présentations de résultats;

• Créer des vidéos explicatives des résultats et des méthodologies pour le partage de connaissances.

Personnalisation et idéation

• Identifier des opportunités de personnalisation à chaque étape du funnel : page d’accueil, fiches produit, panier et post‑achat;

• Se tenir à jour sur les tendances CRO, UX et personnalisation et agir comme expert interne;

• Identifier les variantes gagnantes comme candidats pour déploiement permanent ou personnalisation.

Qualifications

• Diplôme dans un domaine quantitatif tel que statistiques, mathématiques, informatique, science des données ou ingénierie;

• 3 à 4 ans d’expérience en tests A/B et CRO en environnement e‑commerce ou produit digital avec impact mesurable sur la conversion;

• Solides bases statistiques : compréhension des p‑values, intervalles de confiance, taille d’échantillon, puissance statistique et biais;

• Expérience avec SiteSpect et Optimizely;

• Capacité à rédiger des tickets Jira clairs et structurés;

• Capacité démontrée à gérer une feuille de route de manière autonome;

• Excellentes compétences en communication pour vulgariser des concepts statistiques;

• Compréhension du front-end (HTML/CSS) pour la validation QA;

• Expérience avec GA4 ou outils équivalents pour l’analyse de funnel et le suivi des tests;

• Expérience en tests mobile (atout);

• Expérience avec outils de personnalisation (Dynamic Yield, Nosto, Klaviyo) (atout);

• Capacité à créer des maquettes Figma (atout).

 Description

Reporting to the Manager, E‑commerce Analytics & Experimentation, the Analytics Experimentation & CRO Analyst will own and execute the experimentation program across Groupe Dynamite’s web and mobile app experiences for both Garage and Dynamite brands.

This role is responsible for defining experimentation strategy, building and prioritizing the test roadmap, launching A/B tests, analyzing results with statistical rigor, and translating insights into measurable conversion and revenue impact. The analyst will collaborate closely with product, development, QA, marketing, and eCommerce stakeholders and serve as the subject matter expert for experimentation and CRO best practices.

Experimentation Roadmap & Strategy

• Own and maintain the experimentation roadmap for web and app across both brands, aligned to quarterly conversion and revenue goals;

• Proactively identify incremental improvement opportunities across the full funnel: engagement, product discovery, add-to-cart, checkout initiation, and post-purchase;

• Generate creative, data-driven hypotheses rooted in UX research, session recordings, funnel analytics, and customer behaviour patterns;

• Prioritise tests using a structured scoring framework and ensure the roadmap reflects the highest-impact opportunities at all times.

Test Planning & Setup

• Write detailed Jira tickets for every experiment including hypothesis, test brief, acceptance criteria, success metrics, audience definition, and edge cases;

• Define primary and guardrail metrics per test and configure audience segments in SiteSpect and Optimizely;

• Implement web tests directly in collaboration with the web developer, and coordinate app test implementations with the development and product teams;

• Maintain a documented, step-by-step process for each stakeholder and test type to ensure consistent, repeatable execution.

Stakeholder Coordination & Communication

• Run monthly alignment meetings with all relevant stakeholders across product, design, marketing, and brand to maintain roadmap visibility and gather input;

• Manage end-to-end communication per test: staging links, implementation updates, QA sign-off, and go-live confirmations;

• Keep stakeholders informed of test status, results, and next steps proactively and without being chased.

QA, UAT & Launch

• Lead the QA process for every experiment before go-live, covering device, browser, and edge case scenarios;

• Manage UAT with stakeholders and obtain sign-off prior to launching;

• Launch tests in SiteSpect and Optimizely and own the go-live process from start to finish.

Monitoring, Analysis & Results

• Monitor live tests continuously and escalate anomalies, traffic drops, or technical issues immediately;

• Own the statistical analysis of results: significance calculations, confidence intervals, segment-level breakdowns, and revenue impact modelling;

• Declare winners and losers based on statistical significance at a minimum 95% confidence level — never call a test early;

• Produce clear, insight-driven results documentation in Confluence and results decks for stakeholder review;

• Create video walkthroughs of test results and methodology for asynchronous team knowledge sharing.

Personalisation & Creative Ideation

• Identify and propose personalisation opportunities across the funnel: homepage segmentation, PDP experiences, cart interactions, and post-purchase flows;

• Stay current on CRO, UX, and personalisation trends and serve as the team’s subject matter expert;

• Identify winning test variants as candidates for permanent rollout or personalisation layers across both brands.

Qualifications

• Degree in a quantitative field such as Statistics, Mathematics, Computer Science, Data Science, or Engineering

• 3 to 4 years of hands-on A/B testing and CRO experience in an ecommerce or digital product environment, with a clear track record of driving measurable conversion impact;

• Strong statistical foundation: you understand p-values, confidence intervals, sample size calculation, statistical power, and the risks of peeking and multiple testing — and you apply this rigour consistently;

• Hands-on experience with both SiteSpect, Optimizely,

• Experience writing Jira tickets that developers, QA, and stakeholders actually want to read — clear hypothesis, defined metrics, precise acceptance criteria;

• Proven ability to own a roadmap and drive it forward independently without day-to-day direction;

• Strong communicator able to translate statistical concepts into clear business language for non-technical audiences;

• Front-end literacy: comfortable reviewing HTML/CSS implementations and catching issues during QA;

• Experience with GA4 or equivalent analytics platforms for funnel analysis and test monitoring;

• Familiarity with mobile app testing environments and the constraints of in-app experimentation is an asset;

• Experience with personalisation tools such as Dynamic Yield, Nosto, or Klaviyo segmentation is an asset;

• Ability to create Figma mockups or wireframes to accompany test briefs is an asset.

This is a Contract position based out of Mont-Royal, QC.

The pay range for this position is $40.00 - $55.00/hr.

This is a hybrid position in Mont-Royal,QC.

À propos de TEKsystems et TEKsystems Global Services

Nous sommes un fournisseur de services aux entreprises et de technologies. Nous accélérons la transformation de nos clients. Notre compétence en stratégie, conception, exécution et opérations libère la valeur de l’entreprise par un éventail de solutions. Nous sommes une équipe de 80 000 personnes qui collaborent avec plus de 60 000 clients, notamment 80 % du Fortune 500 en Amérique du Nord, Europe et Asie, qui collaborent avec nous dans le cadre de nos capacités full-stack et notre rythme. Nous sommes des penseurs stratégiques, des collaborateurs pratiques qui aident les clients à exploiter le changement et maîtriser le dynamisme de la technologie. Nous bâtissons le futur en livrant les résultats et en créant un impact positif dans nos communautés mondiales. TEKsystems et TEKsystems Global Services sont des entreprises d’Allegis Group. Découvrez d’autres informations à TEKsystems.com.

Québec Numéro du permis d'agence de placement de personnel AP-2000547

Ordonnance sur l’égalité des chances de San Francisco: Conformément à l’Ordonnance sur l’égalité des chances de San Francisco, pour tous les postes situés dans la ville et le comté de San Francisco, nous examinerons les candidatures des personnes qualifiées ayant un casier judiciaire ou des antécédents criminels.

Utilisation de l’intelligence artificielle (IA): Nous pouvons utiliser l’intelligence artificielle (IA) pour soutenir certaines étapes de notre processus d’embauche, notamment la recherche, la présélection et l’évaluation des candidatures. L’IA aide à analyser les candidatures et les qualifications, mais les décisions finales sont prises par notre équipe de recrutement. En soumettant votre candidature, vous reconnaissez et acceptez que celle-ci puisse être examinée à l’aide d’outils d’IA.

About TEKsystems and TEKsystems Global Services

We’re a leading provider of business and technology services. We accelerate business transformation for our customers. Our expertise in strategy, design, execution and operations unlocks business value through a range of solutions. We’re a team of 80,000 strong, working with over 6,000 customers, including 80% of the Fortune 500 across North America, Europe and Asia, who partner with us for our scale, full-stack capabilities and speed. We’re strategic thinkers, hands-on collaborators, helping customers capitalize on change and master the momentum of technology. We’re building tomorrow by delivering business outcomes and making positive impacts in our global communities. TEKsystems and TEKsystems Global Services are Allegis Group companies. Learn more at TEKsystems.com.

The company is an equal opportunity employer and will consider all applications without regard to race, sex, age, color, religion, national origin, veteran status, disability, sexual orientation, gender identity, genetic information or any characteristic protected by law.

Quebec Personnel Placement Agency Permit Number AP-2000547

San Francisco Fair Chance Ordinance: Pursuant to the San Francisco Fair Chance Ordinance, for all positions located in the city and county of San Francisco, we will consider for employment qualified applicants with arrest and conviction records.

Use of Artificial Intelligence (AI): We may use Artificial Intelligence (AI) to support parts of our hiring process, including sourcing, screening, and evaluating candidates. AI helps assess applications and qualifications, but final decisions are made by our hiring team. By applying, you acknowledge and agree that your application may be reviewed using AI tools.