Definizione di Deduplicazione dei Dati
La Deduplicazione dei Dati è il processo di identificazione e risoluzione dei record duplicati all'interno di un dataset, assicurando che ogni entità del mondo reale, come un prodotto, un fornitore o un cliente, sia rappresentata una sola volta nel sistema.
Come compaiono i duplicati nei dati di prodotto?
I duplicati raramente entrano in un sistema tutto in una volta. Si accumulano nel tempo attraverso:
- Molteplici feed di fornitori che inviano lo stesso prodotto con nomi o numeri di riferimento leggermente diversi
- Inserimento manuale da parte di diversi membri del team che non sapevano che il record esisteva già
- Migrazioni di sistema che importano dati storici sopra i record esistenti
- Importazioni da marketplace dove lo stesso prodotto arriva con identificatori diversi da canali diversi
Un prodotto potrebbe esistere come "Scarpa da Running Blu – Taglia 42", "Scarpa da Running Blu 42" e "Scarpa – Blu, Running, EU42" — tre record che, in pratica, sono un solo articolo.
Come funziona la deduplicazione?
La maggior parte dei processi di deduplicazione seguono due fasi. Prima, il rilevamento: il sistema confronta i record utilizzando identificatori come GTIN o SKU, e dove questi sono mancanti o incoerenti, utilizza la corrispondenza fuzzy: confrontando nomi, descrizioni e attributi per trovare probabili duplicati. Secondo, la risoluzione: i record corrispondenti vengono uniti automaticamente o contrassegnati affinché un operatore li riveda e consolidi in un singolo record principale.
La soglia per ciò che conta come una "corrispondenza" è configurabile: regole più rigide significano meno falsi positivi ma più omissioni; regole più flessibili rilevano più duplicati ma richiedono più revisione manuale.
Questo processo di corrispondenza e unione può essere gestito tramite il clustering: raggruppando i duplicati sospetti in modo che possano essere valutati e risolti in un unico luogo.
Perché è importante?
I record di prodotto duplicati causano problemi che si compongono. Aumentano le dimensioni del catalogo, dividono il traffico di ricerca tra più versioni dello stesso articolo, creano prezzi incoerenti tra i canali e rendono i report dell'inventario inaffidabili. In un contesto PIM, la deduplicazione è fondamentale: un catalogo non può essere arricchito, classificato o sindacato in modo affidabile se lo stesso prodotto esiste in cinque forme leggermente diverse.
La deduplicazione è un'attività una tantum?
No. I nuovi dati arrivano continuamente da fornitori, importazioni e integrazioni, quindi i duplicati sono un problema continuo piuttosto che una pulizia una tantum. La maggior parte dei team combina un progetto iniziale di deduplicazione in massa con regole di rilevamento automatico che contrassegnano i potenziali duplicati al momento della creazione di nuovi record.