DataOps vs DevOps

Što je DataOps?

DataOps (Data Operations) je metodologija koja kombinira najbolje prakse iz područja upravljanja podacima, agilnog razvoja i DevOps-a kako bi se optimizirali procesi obrade podataka i analitike. Cilj DataOps-a je omogućiti bržu, pouzdaniju i kvalitetniju isporuku podataka kroz automatizaciju, kolaboraciju i kontinuirano poboljšanje. Ova metodologija obuhvaća cijeli životni ciklus podataka, od prikupljanja i pripreme do analize i izvještavanja.

DataOps se temelji na principima kao što su:

• Automatizacija: Smanjenje ručnih procesa kroz alate za orkestraciju i automatizaciju tijekova podataka.
• Kolaboracija: Povezivanje timova za podatke, IT-a i poslovanja kako bi se osigurala bolja komunikacija i suradnja.
• Kontinuirano poboljšanje: Primjena agilnih i lean principa za stalno unaprjeđenje procesa obrade podataka.
• Kvaliteta podataka: Fokus na osiguravanje točnosti, konzistentnosti i pouzdanosti podataka.

Povijest DataOps-a

Koncept DataOps-a predstavio je još 2014. Lenny Liebmann, a kasnije su Andy Palmer (Tamr) i Steph Locke popularizirali pojam DataOps, koji označava "Podatkovne operacije". Godina 2017. označila je ključan trenutak za DataOps jer je svjedočila razvoju ekosustava, povećanom zanimanju analitičara, rastućim pretragama povezanih pojmova, kao i objavama istraživanja i projektima otvorenog koda. Nadahnjujući se DevOps-om, Agile metodologijama i proizvodnim procesima, DataOps ima ambiciju nositi se s eksponencijalnim rastom podataka, za koji se predviđa da će do 2025. doseći 180 zetabajta uz godišnju stopu rasta od 32% (IDC). Cilj je pružiti alate i procese za upravljanje ovim rastom uz automatizaciju prikupljanja, unosa i upravljanja podacima. Automatizacija oslobađa podatkovne timove, omogućujući im fokus na stvaranje nove analitike na učinkovitiji način. Naglasak je na povećanju brzine, pouzdanosti i kvalitete analitičkih procesa te na poticanju suradnje između podatkovnih znanstvenika, analitičara, inženjera podataka (ETL), IT stručnjaka i timova za osiguranje kvalitete.

Kako DataOps funkcionira?

DataOps koristi alate i tehnologije za automatizaciju i orkestraciju podatkovnih tijekova, uključujući:

• CI/CD za podatke: Kontinuirana integracija i isporuka podataka kroz automatizirane pipeline-ove.
• Monitoring i testiranje: Kontinuirano praćenje kvalitete podataka i performansi sustava.
• Verzije podataka: Upravljanje verzijama podataka kako bi se osigurala reproducibilnost i transparentnost.
• Primjena DataOps-a omogućuje organizacijama da brže reagiraju na promjene u poslovnim zahtjevima, smanje vrijeme potrebno za analizu podataka i povećaju povjerenje u podatke.

Prilagođavanje metoda korištenih u DevOps-u, DataOps implementira slična poboljšanja u procesima analitike podataka. DataOps primjenjuje statističku kontrolu procesa (SPC) za upravljanje i praćenje cjevovoda za analizu podataka. Uz SPC, protok podataka kroz operativni sustav kontinuirano se prati i provjerava. U slučaju anomalije, DataOps engineer prima obavijest o problemu i nadležan je za rješavanje problema.

Za razliku od vezanosti uz specifične alate ili tehnologije, DataOps je neutralan u pogledu arhitekture, jezika i softverskih rješenja. Njegovi alati potiču timsku suradnju, olakšavaju orkestraciju i osiguravaju kvalitetu, sigurnost te jednostavnost upotrebe.

Dakle, DataOps engineer trebao bi imati značajan utjecaj oko odabira tehnologija, kao i odgovornost za rad istih te postizanje očekivanih rezultata.

DataOps se temelji na agilnosti, fleksibilnosti i inovaciji, što znači da tehnologije često moraju biti prilagođene specifičnim potrebama organizacije, podatkovnim tijekovima i analitičkim ciljevima. Svaka organizacija ima jedinstvene zahtjeve za podatkovne cjevovode. DataOps engineer često ima najbliži uvid u tehničke izazove i može najbolje procijeniti koje tehnologije ili alate koristiti. Mogućnost izbora tehnologija omogućuje inženjerima da optimiziraju performanse, osiguraju skalabilnost i upravljanje velikim podatkovnim setovima. Omogućavanje DataOps inženjeru da odabere alate potiče kreativnost i pronalazak novih rješenja, što doprinosi poboljšanju procesa analize podataka. Alati i tehnologije trebaju olakšati kolaboraciju između različitih timova (analitika, razvoj, operacije). Ako tvrtka već ima standarde ili okvire, DataOps enginner može utjecati na integraciju novih tehnologija u postojeću arhitekturu. U većini slučajeva, inženjer može predložiti tehnologije i objasniti zašto su one optimalne za podatkovne cjevovode. Čak i ako organizacija ima ograničenja, DataOps inženjer bi trebao sudjelovati u donošenju odluka kako bi osigurao kompatibilnost i efikasnost. Fleksibilnost osigurava kontinuirano unaprjeđenje DataOps procesa i prilagodbu potrebama koje se stalno mijenjaju.

Preklapanje DataOps-a i DevOps-a

Iako su DataOps i DevOps različite metodologije, dijele mnoge zajedničke principe i prakse.

• Automatizacija: DevOps: Automatizira procese razvoja, testiranja i isporuke softvera. DataOps: Automatizira tijekove podataka, uključujući prikupljanje, transformaciju i analizu. CI/CD:
• Obje metodologije koriste CI/CD pipeline-ove za kontinuiranu integraciju i isporuku, bilo da se radi o softverskom kodu (DevOps) ili podacima (DataOps).
• Kolaboracija: Obje metodologije potiču suradnju između različitih timova (npr. razvoj, operacije, analitika) kako bi se smanjili silosi i poboljšala učinkovitost.
• Monitoring i kvaliteta: DevOps: Fokusira se na uptime i performanse aplikacija. DataOps: Fokusira se na kvalitetu podataka i točnost analitičkih rezultata.
• Agilnost: Obje metodologije koriste agilne principe za brzo prilagođavanje promjenama i kontinuirano poboljšanje.

Razlike između DataOps-a i DevOps-a

Unatoč sličnostima, postoje ključne razlike:

• Fokus: DevOps se fokusira na razvoj i isporuku softvera, dok DataOps obuhvaća cijeli životni ciklus podataka.
• Alati: DevOps koristi alate poput Jenkins-a i Kubernetes-a, dok DataOps koristi alate poput Apache Airflow-a i dbt-a.
• Timovi: DevOps uključuje razvojne i operativne timove, dok DataOps uključuje podatkovne znanstvenike, inženjere i analitičare.

DataOps je ključna metodologija za organizacije koje žele maksimizirati vrijednost svojih podataka. Integracijom principa DevOps-a, DataOps omogućuje bržu i pouzdaniju isporuku podataka, čime se poboljšava donošenje odluka i poslovna agilnost. Iako su DataOps i DevOps različiti, njihova sinergija može značajno unaprijediti učinkovitost i kvalitetu u organizacijama koje koriste obje metodologije. 

DataOps tok u ERP sustavu ili BI platformi predstavlja integraciju različitih izvora podataka, njihovu obrada i analizu kako bi se omogućilo brzo i učinkovito donošenje odluka na temelju podataka. Primjer DataOps toka u takvom okruženju.

1. Prikupljanje podataka

Izvori podataka: Podaci dolaze iz različitih izvora kao što su ERP sustavi, CRM sustavi, baze podataka, IoT uređaji, aplikacije za financije, prodaju, skladištenje, HR sustave i sl.
Uvoz podataka: Podaci se prikupljaju u stvarnom vremenu ili periodički, koristeći API-jeve, ETL (Extract, Transform, Load) alate ili streaming tehnologije.

2. Integracija i čišćenje podataka

Prepoznavanje neusklađenosti i čišćenje podataka, ispravak neusklađenih ili nepotpunih podataka. Npr., duplikati, pogrešne kategorije proizvoda, netočne cijene, XML datoteke koje ne zadovoljavaju potrebne standarde i sl.
Data Transformation: Podaci se transformiraju u standardizirani format (npr. uklanjanje posebnih znakova, normalizacija brojeva, spajanje različitih izvora u jedinstvenu bazu).

3. Obrada i pohrana podataka

Očišćen podaci se uvoze u druge sustave, npr. ERP primatelja ili sl.
Kreiranje modela podataka: Podaci se mogu strukturirati u modele koji omogućuju lakše izvještavanje i analizu, npr. kroz BI alate.
Data Warehousing: Podaci se pohranjuju u centralizirani podatkovni spremnik ili skladište podataka (data warehouse) ili korištenjem cloud rješenja (npr. Amazon Redshift, Google BigQuery).

4. Automatizacija i orkestracija

Automatski tokovi: korištenjem orkestracijskih alata osigurava se da podaci teku iz izvora u skladište podataka bez prekida, a transformacije se automatski primjenjuju prema unaprijed definiranim pravilima.
Kontrola kvalitete podataka: Provode se kontinuirane provjere kvalitete podataka, kao što su testiranje točnosti, potpuna provjera unosa, i praćenje bilo kakvih grešaka ili nepravilnosti.

5. Analiza i vizualizacija podataka

Analitički alati: podaci se analiziraju pomoću BI alata koji omogućuju izrada izvještaja, vizualizacija (grafikoni, dashboardi) i napredne analize.
Prediktivna analitika: u ERP sustavima ili BI platformama mogu se koristiti algoritmi strojnog učenja za predviđanje poslovnih trendova (npr. predviđanje potrošnje, zaliha ili prodaje).

6. Izvještavanje i donošenje odluka

Automatsko generiranje izvještaja: Na temelju analiza, automatski se generiraju izvještaji koji se šalju korisnicima ili menadžerima kako bi donijeli informirane odluke.
Upozorenja i notifikacije: postavljaju se notifikacije za ključne događaje, poput odstupanja u prodaji, potrebne nabave ili usklađivanja s financijskim planom.

7. Kontinuirana povratna informacija i unapređenje

Praćenje performansi: tok podataka se stalno prati kako bi se osigurala njegova točnost, brzina i učinkovitost.
Ažuriranje modela: na temelju povratnih informacija, modeli podataka i procesi mogu se optimizirati i poboljšati za bolje poslovne rezultate.

Primjer korištenja DataOps u ERP/BI sustavu

Uz pretpostavku da organizacija koristi ERP sustav za upravljanje financijama, proizvodnjom i skladištima, DataOps tijek može izgledati ovako:

• Uvoz podataka: podaci o stanju zaliha, narudžbama i financijama dolaze iz drugih sustava (npr. web shop) u ERP sustav 
• Čišćenje podataka: podaci se transformiraju, uklanjaju greške i usklađuju.
• Pohrana: Podaci se pohranjuju.
• Obrada: podaci se obrađuju u ERP sustavu
• Analitika i vizualizacija: uz odgovarajući alat i napredniji ERP sustav podaci se analiziraju i prikazuju vizualizacije kao što su trendovi u prodaji, zalihe u odnosu na predviđene potrebe ili financijski izvještaji.
• Automatski izvještaji: izvještaji o financijskim rezultatima ili optimizaciji zaliha šalju se menadžerima na temelju podataka prikupljenih u stvarnom vremenu.
• Ovaj proces omogućava organizaciji da brzo reagira na promjene u poslovnim uvjetima, optimizira procese i donosi bolje odluke na temelju podataka te orkestrira poslovne procese na učinkovitiji način.