Trei modele AI, un singur catalog: de ce nu se înțeleg niciodată

De ce modelele nu se înțeleg?

Pe 13 octombrie 2026, Shopify a lansat Shop MCP. Interfața permite agenților AI să acceseze direct catalogurile de produse, fără chei API. Orice companie care construiește un agent de cumpărare poate acum să interogheze catalogul și să primească o listă de articole bazată pe cererea clientului. Dar o listă nu e o tranzacție finalizată. Cineva trebuie să aleagă un singur produs din acea listă. Când agentul se bazează pe un model de limbaj, acel model ia decizia finală. Agentul trimite produsele și cererea către model. Dezvoltatorul adaugă instrucțiuni private, care variază de la un agent la altul.

Ca să înțeleg mecanismul, am rulat un experiment controlat. Am hrănit trei modele Claude distincte – Haiku 4.5, Sonnet 5 și Opus 5 – cu aceiași douăzeci de produse salvate dintr-o singură căutare prin Shop MCP. Fiecare model a primit aceeași instrucțiune și aceeași cerere, repetată de 50 de ori. Rezultatele au arătat o divergență clară: modelele nu s-au înțeles niciodată pe un câștigător comun.

Cum am testat modelele?

Pentru căutarea de „boabe de cafea”, Haiku 4.5 și Sonnet 5 au preferat prăjirea închisă cu cele mai multe recenzii. Opus 5 a ales prăjirea medie în 48 din 50 de runde. A justificat alegerea susținând că prăjirea medie e cea mai sigură pentru cel mai larg public când nu se dau preferințe specifice.

Metodologia a fost riguroasă. Am efectuat fiecare căutare o singură dată, acționând ca cumpărător american anonim. Am salvat primele douăzeci de rezultate returnate de catalog. Fiecare apel către model a primit acea listă salvată, păstrând ordinea originală a catalogului, cu excepția unui test unde am inversat secvența. Asta a garantat că produsele nu s-au schimbat între modele sau runde.

Am rulat opt căutări de produse de îngrijire a pielii pe 15 octombrie. Alte șase căutări – pentru jachetă, boabe de cafea, încălțări de alergare, sticlă de apă, căștile fără fir și covoraș de yoga – au fost efectuate pe 24 octombrie. Am inclus inițial căutări pentru „candele parfumate” și „hrană pentru câini”, dar le-am eliminat din analiza finală. Un singur magazin a umplut toate cele douăzeci de rezultate pentru candelă, iar trei magazine au dominat lista de hrănă pentru câini.

Cum am structurat testul?

Fiecare produs a fost prezentat modelului ca un set de date structurat: titlu, numele magazinului, preț, evaluare cu stele, număr de recenzii, un rezumat într-o linie și primele trei caracteristici listate. Produsele erau numerotate de la 1 la 20. Modelul nu a primit nicio altă informație. Instrucțiunea dată modelului a fost exact: Ești un agent de cumpărare. O persoană ți-a cerut să cumperi ceva pentru ea. Vei vedea produsele returnate de catalogul Shopify pentru cererea ei. Alege singurul produs pe care l-ai cumpăra pentru ea. Răspunde doar cu JSON, fără alt text: {pick: , reason: }.

Cererea cumpărătorului era limitată strict la termenii de căutare, cum ar fi boabe de cafea, sticlă de apă sau cremă solară minerală SPF 50. Într-un test suplimentar, am adăugat un buget și un tip de piele. Modelele au fost rulate prin Claude Code, cu setări implicite, fără unelte și fără acces la web. Fiecare selecție a fost un apel nou, fără memorie din runde anterioare.

Ce i-am cerut modelelor?

Experimentul a generat un total de 1.980 de selecții, împărțite în trei categorii principale. Prima categorie acoperea șase căutări de produse unde cererea consta doar din termenii de căutare, cu 50 de selecții pe model pe căutare, totalizând 900 de alegeri. A doua categorie consta dintr-o singură căutare de cremă solară minerală, testată în două variante, cu 100 de selecții pe model pe variantă, totalizând 600 de alegeri. A treia categorie includea opt căutări de îngrijire a pielii, unde lista a fost prezentată atât în ordinea catalogului, cât și în ordine inversă, cu 10 selecții pe model pe variantă pe căutare, totalizând 480 de alegeri.

Configurația minimalistă e esențială pentru valabilitatea testului. Fără preferințe, istoric de cumpărări sau prompturi de sistem de la companiile de agenți, am măsurat răspunsul brut al modelului când nu primește alte intrări. Deoarece agenții reali adaugă straturi suplimentare de instrucțiuni, acest test izolează stratul de bază pe care se construiește tot restul.

Rezultatele au revelat o lipsă totală de consens. Pe parcursul celor șase căutări de produse, produsul cel mai ales de cele trei modele nu se suprapunea în niciuna dintre ele. Haiku și Sonnet au împărțit același câștigător în trei cazuri (jachetă, boabe de cafea, sticlă de apă), Sonnet și Opus în două (căștile fără fir, covoraș de yoga), iar Haiku și Opus într-un singur caz (încălțări de alergare). Fiecare model a fost consistent cu sine, dar modelele nu au fost consistente între ele.

Cât de consistent sunt alegerile?

Coerența internă a fost remarcabilă. Produsul cel mai ales de Sonnet a reprezentat o medie de 94% din alegerile sale pe cele șase căutări. Pentru Opus, proporția a fost 89%, iar pentru Haiku, 67%. Asta înseamnă că pentru un model dat, un singur produs absoarbe aproape toate selecțiile. Schimbând modelul, se schimbă și produsul ales. În trei din cele șase căutări, produsul diferit a venit și dintr-un magazin diferit.

Pentru sticla de apă, atât Haiku, cât și Sonnet au ales în mare parte sticla Nobl, în timp ce Opus a ales mereu sticla Owala. Pentru covorașul de yoga, Haiku a ales POPFLEX, în timp ce celelalte două au ales altceva.