Sconti Shopify in A/B test: il risultato non dice il margine

Venerdì Shopify ha aggiunto gli sconti ai Rollouts. Tradotto: il tuo cliente può mostrare un 15% a metà dei visitatori, lasciare l'altra metà senza, e dopo qualche settimana leggere chi ha vinto. Vincerà quasi sempre lo sconto. Il problema è che il test non gli dice quanto gli è costato.

Cosa è successo davvero

Il 2 ottobre il changelog di Shopify ha annunciato che gli sconti si possono includere nei Rollouts, lo strumento che programma modifiche al negozio. Tre usi: lanciare un'offerta su una parte del traffico, confrontarla con le offerte esistenti guardando i risultati di conversione, farla partire insieme a modifiche del tema e del checkout.

La guida sui tipi di rollout precisa che il test vero si chiama Experiment: di default divide i visitatori 50 e 50 e dura 90 giorni. Nel gruppo di controllo lo sconto resta com'è, cioè di solito spento; nel gruppo di test viene attivato o disattivato.

Secondo i requisiti, i rollout partono dal piano Basic, gli esperimenti dal piano Grow in su. Si gestiscono da Markets > Rollouts.

Perché riguarda te che vendi consulenza

Fino alla settimana scorsa «proviamo uno sconto e vediamo» era una frase. Adesso è un pulsante, nell'admin del cliente, con un grafico alla fine. E un grafico con un vincitore chiude le discussioni, anche quando misura la cosa sbagliata.

La pagina sulle analisi dei rollout è chiara su cosa manca. Un rollout con uno sconto riporta le stesse metriche di qualsiasi altro rollout. Le metriche specifiche dello sconto, come i ricavi o gli ordini attribuiti allo sconto, non sono disponibili. Per gli esperimenti la guida elenca tasso di conversione, frequenza di rimbalzo, aggiunte al carrello e checkout raggiunto. Vendite lorde e valore medio dell'ordine compaiono solo nelle tabelle dei lanci, non in quelle degli esperimenti.

Quindi il test confronta un prezzo più basso con un prezzo pieno, su una metrica che premia il prezzo più basso. Che lo sconto alzi la conversione non è una scoperta: la domanda utile è se gli ordini in più pagano i punti di margine regalati a chi avrebbe comprato comunque. A quella domanda il report non risponde.

Ci sono altri due dettagli nella stessa pagina, che contano per chi deve leggere i numeri:

Il secondo punto riguarda le campagne. La pagina sui canali esterni dice che esperimenti e rollout su meno del 100% dei visitatori valgono solo per il negozio online: annunci, schede prodotto e feed non ricevono le informazioni del rollout. La pagina è scritta soprattutto per i cambi di prezzo e di catalogo, ma fra le differenze possibili elenca anche uno sconto diverso. E avverte che canali come Google e Meta possono togliere i prodotti o sospendere l'account per offerte che non corrispondono.

Se le campagne Shopping o il catalogo Meta li gestisci tu, il test lanciato dal cliente il venerdì pomeriggio diventa un problema tuo il lunedì mattina.

Test di uno sconto su Shopify

Cosa fare questa settimana

  1. Chiedi ai clienti Shopify se hanno rollout attivi. Basta una domanda, o un'occhiata a Markets > Rollouts se hai l'accesso. Un esperimento dura 90 giorni di default: meglio saperlo adesso che a novembre.
  2. Decidi la regola del margine prima del test. Una riga che il cliente approva: lo sconto resta solo se il margine complessivo regge, non se sale la conversione. Il report del rollout non attribuisce i ricavi allo sconto e la guida non spiega come separare gli ordini dei due gruppi: come farai il calcolo va stabilito prima di partire, non dopo.
  3. Escludi dal test i prodotti in campagna, o metti in pausa gli annunci su quei prodotti per la durata del rollout. È una delle soluzioni che suggerisce Shopify stessa.
  4. Usa sconti automatici, non codici, quando il test deve dire qualcosa. Un codice che gira su un gruppo WhatsApp sporca il gruppo di controllo.

Cosa NON fare

Chiusura

Uno strumento che rende facile il test rende facile anche la conclusione sbagliata: il margine resta un numero che qualcuno deve calcolare a parte.

Fonti: Schedule and test discounts with Rollouts (Shopify Changelog) · Types of rollouts and changes (Shopify Help Center) · Requirements and considerations for using rollouts (Shopify Help Center) · Rollout analytics (Shopify Help Center) · Audience reach and external channels for rollouts (Shopify Help Center)

Articolo scritto con un assistente AI a partire da fonti primarie, pubblicato in automatico e riletto da Stefano Scaffidi Domianello dopo la pubblicazione. Segnalazioni: stefano@scafnet.it