Definizione di deduplicazione dei dati
La deduplicazione dei dati è il processo di identificazione e risoluzione dei record duplicati all'interno di un dataset, garantendo che ogni entità del mondo reale, come un prodotto, un fornitore o un cliente, sia rappresentata una sola volta nel sistema.
Come compaiono i duplicati nei dati di prodotto?
I duplicati raramente entrano in un sistema tutto in una volta. Si accumulano nel tempo attraverso:
- Più feed di fornitori che inviano lo stesso prodotto con nomi o numeri di riferimento leggermente diversi
- Inserimento manuale da parte di diversi membri del team che non erano consapevoli che il record esisteva già
- Migrazioni di sistema che importano dati storici sopra record esistenti
- Importazioni da marketplace dove lo stesso prodotto arriva con identificatori diversi da canali diversi
Un prodotto potrebbe esistere come "Scarpa da running blu – Taglia 42", "Scarpa running blu 42" e "Scarpa – blu, running, EU42" — tre record che, in pratica, sono un solo articolo.
Come funziona la deduplicazione?
La maggior parte dei processi di deduplicazione segue due fasi. Per prima cosa, rilevamento: il sistema confronta i record utilizzando identificatori come GTIN o SKU, e dove questi mancano o sono incoerenti, utilizza il fuzzy matching: confrontando nomi, descrizioni e attributi per trovare probabili duplicati. In secondo luogo, risoluzione: i record abbinati vengono uniti automaticamente o contrassegnati affinché un operatore umano li riveda e li consolidi in un unico record dorato.
La soglia per quello che conta come "corrispondenza" è configurabile: regole più rigorose significano meno falsi positivi ma più mancate rilevazioni; regole più permissive catturano più duplicati ma richiedono una revisione manuale maggiore.
Questo processo di abbinamento e unione può essere gestito attraverso il clustering: raggruppamento dei sospetti duplicati insieme in modo che possano essere valutati e risolti in un unico luogo.
Perché è importante?
I record di prodotto duplicati causano problemi crescenti. Aumentano la dimensione del catalogo, dividono il traffico di ricerca tra più versioni dello stesso articolo, creano inconsistenze di prezzo tra i canali e rendono inaffidabili i report di inventario. In un contesto PIM, la deduplicazione è fondamentale: un catalogo non può essere arricchito, classificato o distribuito in modo affidabile se lo stesso prodotto esiste in cinque forme leggermente diverse.
La deduplicazione è un'attività una tantum?
No. I nuovi dati arrivano continuamente da fornitori, importazioni e integrazioni, quindi i duplicati sono un problema continuo piuttosto che una pulizia una tantum. La maggior parte dei team combina un progetto iniziale di deduplicazione in blocco con regole di rilevamento automatico che contrassegnano i potenziali duplicati quando vengono creati nuovi record.