Master Data Management

Master podaci postoje u svim sistemima u kojima se obrađuju podaci i upisuju u baze. To su podaci koji se relaltivno sporo menjaju i koje obično nazivamo šifarnicima. To nisu transakcije. To su podaci koji definišu atribute transakcija. Ako su transakcije glagoli poslovanja onda su master podaci imenice poslovanja. Master podaci su podaci koje koristi više sistema i više učesnika u procesima. Ako kao analogiju koristimo Data Warehouse onda možemo da kažemo da su Master podaci dimenzije a transakcije faktovi.

Šta je problem

Master podaci, ponekad identični, sa istim ili različitim atributima, se nalaze u raznim tabelama i bazama, definišu se i obrađuju kroz razne aplikacije koje se koriste u različitim organizacionim delovima poslovnog sistema i različiti izvori tih podataka se koriste za izveštaje i analize na osnovu kojih se donose vrlo važne poslovne odluke. Uopšteno govoreći, dva su osnovna uzroka većine problema:

  • Loš je kvalitet podataka,
  • Nesinhronizovanost različitih sistema.

Drugačije rečeno, problem je nepostojanje, autoritativnog izvora podataka koji će garantovati za kvalitet podataka.

Na koje načine se pokušava da se reši problem

Obično se pokušava da se na neki od sledećih načina rešavaju problemi koji nastaju sa Master podacima:

  • Tvrdi se da problem na podacima ne postiji i ne preduzima se ništa,
  • Kreira se nova aplikacija, kroz koju se pokušava centralizacija unosa i obrade Master podataka. Razvoj takve aplikacije i nije previše skup, ali je skupo njeno održavanje. Stalne dorade aplikacije su potrebne zbog neminovnog dodavanja novih klasa Master podataka, njihovih atributa, hijerarhija i definisanja relacija sa drugim Master podacima,
  • Kreira se ETL sistem (Extract, Transform, Load) za povlačenje podataka iz različitih izvora a kojim se ti podaci i obrađuju. Na ovom rešenju, kao i u prethodnom, je obično problem potreba za čestom izmenom logike ETL-a. Logika ETL-a nikad ne može, u potpunosti, da pokrije zahteve za hijerarhijama i relacijama između Master podataka pogotovu kad se pojavi nova klasa Master podataka. To znači da će uvek postojati funkcionalnosti koje se ne mogu pokriti razvojem samo ETL sistema,
  • Povlače se podaci iz dimenzija postojećeg Data Warehous-a. Pitanje koje se odmah nameće je: Odakle su ti podaci, na koji način i u kom obliku su došli u Data Warehous? To nas odmah vraća na probleme prethodnog rešenja,
  • Za Master podatke se koriste podaci iz ERP ili CRM sistema. Ovo je u redu dok se ne postavi pitanje: Da li su svi Master podaci u ERP ili CRM sistemu?
  • Kao rešenje se sporadično javlja i ideja direktnog editovanja dimenzija u OLAP strukturama. Ovo je definitivno prekomplikovano rešenje, pogotovu za one učesnike u procesu koji direktno unose i održavaju podatke.

Postaje jasno da rešavanje problema Master podataka nije moguće sa samo jednom tehnologijom i u jednom potezu. Takođe je nemoguće rešavati probleme sa Master podacima korišćenjem parcijalnih rešenja. Potrebno je organizovano i sveobuhvatno upravljanje Master podacima tj. potreban je Master Data Management (MDM).

Šta se obično ima a šta je potrebno?

U većini poslovnih sistema obično egzistira više aplikacija i baza (staging-a) u koje se unose Master podaci i gde se održavaju. Ti podaci se ponekad prepakuju nekim ETL-om i presipaju u Data Warehouse strukture koje su osnova za Reporting i Business Inteligence sisteme (slika 1).

MDM_1

Slika 1. Arhitektura bez upravljanja Master podacima

Ono čemu bi trebalo da se teži je uređeno upravljanje Master podacima sa centralizovanom aplikacijom za njihov unos i održavanje i centralizovanom data strukturom sa kojom će se sinhronizovati i transakcioni sistemi a takođe i Data Warehouse i izveštajni sistemi (slika 2).

MDM_2

Slika 2. Uređeno i centralizovano upravljanje Master podacima

Master Data Management (MDM)

Za rešavanje pomenutih problema sa Master podacima potrebno je na neki način sistematizovati njihov unos, promene i korišćenje tj. potreban je sistem i to ne samo softverski, već pre i organizacioni da bi se upravljalo tim podacima. Ljudi su se dovijali na razne načine kako da reše svoje probleme, kad je upravljanje Master podacima u pitanju, i vremenom su se izdvojile četiri implemenacione tehnike koje se razlikuju po stepenu kontrole nad Master podacima kojima se upravlja. Te implementacione tehnike su:

  • Master Data Registry,
  • Data Aggregation Solutions,
  • System-of-record-only implementations (Hub),
  • Complete enterprise MDM implementations.

Pre nego što analiziramo svaku od ovih tehnika neophodno je da definišemo neke pojmove koji će biti korišćeni:

MDM_Tabela_1

Tabela 1. Pojmovi koji su povezani sa tehnikama za implementaciju sistema za upravljanje Master podacima

Master Data Registry

U Master Data Registry implementaciji svaki sistem zadržava kontrolu nad svojim podacima (slika 3).

MDM_3

Slika 3. Master Data Registry implementaciona tehnika

Svi Master podaci se mapiraju u Registry-ju (namenski modelirana struktura podataka). Mapiranja između surogat key-eva definišu odnose između podataka koji nastaju u različitim sistemima, izvorima podataka. Te veze mogu biti jedan na jedan ili jedan na više. Ovo mapiranje obezbeđuje, aplikacijama za integraciju podataka, pouzdan način da upoređuju povezane pojmove. U bilo koje vreme, različiti sistemi mogu biti upoređeni i pročišćeni. Iako ova tehnika obezbeđuje važne informacije za mapiranje, bilo koji novi pojam u bilo kom sistemu  će dovesti do nekonzistentnosti podataka unutar rešenja što zahteva veoma kompleksnan data menadžment.

Data Aggregation Solutions

Veoma je uobičajeno da se za inicijalne Master Data Management (MDM) implementacije, implementira ovaj tip (slika 4).

MDM_4

Slika 4. Data Aggregation Solutions implementaciona tehnika

U mnogim slučajevima aplikacije i sistemi koji se koriste za ovu tehniku su identični naprednijim tehnikama koje će biti objašnjene u sledećim poglavljima. Glavni faktor koji nedostaje ovoj implementacionoj tehnici je kontrola. Veoma je teško, za  inicijalni MDM projekat, da se ubede svi koji poseduju informacije da se odmah odreknu ili ustupe kontrolu nad svojim podacima u korist novog rešenja. Drugi sistem, obično aplikacija za najkritičnije biznis transakcije (ERP), ostaje sistem zapisa (SOR) i sistem unosa (SOE). Razlozi su različiti, uključujući značaj za poslovanje, količinu vremena koje se provodi u prečišćavanju podataka, trenutne poslovne procese ili čak percepciju vrednosti kod menadžera i zaposlenih. Integracioni procesi prebacuju podatke iz ovog inicijalnog izvora u MDM rešenje. Ovakva MDM implementacija može biti pojačana i MDM aplikacijom za unos i izmenu Master podataka, ali većina zapisa će se importovati iz ERP sistema. Podaci se iza toga iz MDM sistema prenose u druge sisteme (CRM, BI, DW…). Skup potrebnih podataka i kontrola podataka su limitirani pošto izvorni sistem (ERP) obično nije dizajniran da bude odgovoran i za zahteve i potrebe ostalih sistema.

Uprkos limitima koji su prisutni kod ove implementacione tehnike, ovo je u stvari dobar način za brzo organizovanje i implementaciju MDM-a. Mnogi vlasnici podataka su neodlučni kada treba da nekome prepuste sigurnost njihovih tradicionalnih procesa za upravljanje sa tim podacima. Pokazivanjem ranih benefita i demonstriranjem pouzdanosti MDM sistema, poslovni sistem može uspostaviti poverenje u MDM ne samo kao sistem zapisa već i kao sistem za unos Master podataka.

Korišćenjem ove tehnike za inicijalnu implementaciju, rizik za aplikaciju (ERP), koja je od izuzetnog značaja za poslovanje, može biti efektno ublažen. Manje kritične alikacije mogu da počnu da uzimaju svoje Master podatke iz MDM sistema, rešavajući sve integracione probleme koji nastanu bez ikakvih većih promena u organizaciji. Prednost je i to što integracioni proces može biti testiran i modifikovan  u više iteracija (fazno uvođenje).

System-of-record-only implementations (Hub)

Ova implementaciona tehnika daje kompletnu kontrolu nad Master podacima  MDM sistemu (slika 5).

MDM_5

Slika 5. System-of-record-only implementations (Hub) implementaciona tehnika

Drugi sistemi obezbeđuju inicijalne podatke koji se importuju u MDM system ali za razliku od Data Aggragation rešenja, tok podataka iz ovog SOE (System of Entry) je dvosmeran. Novi zapisi se prebacuju  u MDM sistem radi integracije. Bilo kakve nedoslednosti poštuju MDM sistem koji je sistem zapisa (SOR).

Ove implementacije još uvek zahtevaju veći stepen integracije podataka i povremeno čišćenje jer elementi mogu da dođu i iz source sistema i iz MDM sistema.

Complete enterprise MDM implementations

Kompletna MDM rešenja zahtevaju da ceo  životni ciklus Master podataka bude na strani MDM rešenja  da bi se adekvatno njima upravljalo (slika 6).

MDM_6

Slika 6. Complete enterprise MDM implementations implementaciona tehnika

Kontrolisanje unosa Master podataka obezbeđuje  MDM sistemu da proaktivno upravlja kvalitetom podataka. Iako će enterprajz implementacija biti i sistem unosa (SOE) i sistem zapisa (SOR) za sve Master podatke, još uvek će se zahtevati i mapiranje podataka  za druge aplikacije.

Bilo bi naivno misliti da će svaki poslovni sistem moći da obezbedi da svi njihovi sistemi koriste potpuno iste setove podataka. Neke transformacije će još uvek morati da se izvršavaju na strani ostalih sistema (CRM, ERP, BI, DW…). Takođe ne znači da će baš svi atributi entiteta Master podataka biti na strani MDM sistema i da će se unutar njega obrađivati. Takvi podaci će se i dalje obrađivati na strani sistema gde su oni neophodni.

Leave a Reply

%d bloggers like this: