2022. je ovdje. Vrijeme je da detaljno obradimo najtipičnije probleme kod analitike velike količine podataka (engl. big data), istražimo moguće uzroke i istaknemo moguća rješenja.
Uvijek je bolje razmišljati pametno od samog početka kad je vaš sustav analitike velike količine podataka još u fazi koncepta. Bilo kakvo ispravljanje grešaka može biti prilično skupo ako je sustav već pokrenut.
U današnjem digitalnom svijetu kompanije prihvaćaju poslovnu analitiku velike količine podataka kako bi poboljšale donošenje odluka, preuzele veću odgovornost, povećale produktivnost, radile bolja predviđanja, pratile performanse i stekle konkurentsku prednost. Međutim, brojne organizacije imaju probleme pri korištenju analitike poslovne inteligencije na strateškoj razini. Prema Gartneru, 87 % kompanija ima nisku poslovnu inteligenciju i analitičku zrelost, uz nedostatak podatkovnih smjernica i podrške. Problemi s analizom poslovnih podataka nisu povezani samo s analitikom, već mogu biti uzrokovani ozbiljnim problemima u sustavu ili infrastrukturi.
1. Rješenje za analitiku poslovanja ne daje nove ili pravovremene uvide
Zamislite da ste uložili u analitičko rješenje s ciljem dobivanja jedinstvenih uvida koji bi vam mogli pomoći u donošenju pametnijih poslovnih odluka. No, ponekad se čini da su uvidi koje vam vaš novi sustav daje na istoj razini i jednake kvalitete kao oni prethodni. Ovaj se problem može riješiti sagledavanjem poslovanja ili tehnologije, ovisno o temeljnom uzroku.
1.1. Nedostatak podataka
Vaša analitika nema dovoljnu količinu podataka za generiranje novih uvida. To može biti uzrokovano nedostatkom integracije podataka ili lošom organizacijom podataka.
U tom slučaju ima smisla pokrenuti podatkovnu reviziju i osigurati to da postojeće integracije podataka mogu pružiti potrebne uvide. Integracija novih izvora podataka također može otkloniti problem nedostatka podataka. Ujedno vrijedi provjeriti kako neobrađeni podatci ulaze u sustav i uvjeriti se da su sve moguće dimenzije i metrike podložne analizi. Konačno, raznovrsnost pohrane podataka također može predstavljati problem. Ovaj problem može se riješiti uvođenjem tzv. jezera podataka (engl. data lake).
1.2. Dugotrajan podatkovni odgovor
Do navedenog obično dolazi kad trebate primati uvide u stvarnom vremenu, ali je vaš sustav dizajniran za serijsku obradu. Stoga podatci koji su vam potrebni ovdje i sada nisu dostupni jer se još uvijek prikupljaju ili prethodno obrađuju.
Provjerite može li vaš ETL (od engl. Extract, Transform, Load) obraditi podatke na temelju učestalijeg rasporeda. U određenim slučajevima rješenja na serijskoj bazi omogućuju prilagodbu rasporeda s dvostrukim povećanjem. Druga je mogućnost primjena arhitektonskog pristupa nazvanog lambda arhitektura, koji vam omogućuje kombiniranje tradicionalnog serijskog cjevovoda s brzim strujanjem u stvarnom vremenu.
1.3. Primjena starih pristupa na nov sustav
Prenijeli ste svoje tipične izvještaje u novi sustav. No, bilo bi teško dobiti nove odgovore postavljanjem starih pitanja. To je većinom poslovno pitanje, a moguća rješenja ovog problema razlikuju se od slučaja do slučaja. Najbolje je konzultirati se sa stručnjakom koji ima opsežno iskustvo u analitičkim pristupima i poznaje vašu poslovnu domenu.
2. Neprecizna analitika
Za poslovanje ne postoji ništa gore od neprecizne analitike i ovaj je problem potrebno riješiti što je prije moguće.
2.1. Loša kvaliteta izvornih podataka
Ako se vaš sustav oslanja na podatke koji imaju nedostatke, greške ili su nepotpuni, dobit ćete loše rezultate. Upravljanje kvalitetom podataka i obavezan postupak provjere valjanosti podataka koji ispituje svaku fazu vašeg ETL-a može pomoći u osiguravanju kvalitete ulaznih podataka na različitim razinama (sintaktička, semantička, gramatička, poslovna itd.). Omogućit će vam otkrivanje i otklanjanje grešaka uz jamstvo da će izmjena u jednom području odmah biti vidljiva u čitavom sklopu, osiguravajući tako čistoću i točnost podataka.
2.2. Sustavni nedostatci povezani s protokom podataka
Do ovoga dolazi kad se zahtjevi sustava izostave ili nepotpuno ispune zbog interventne ljudske pogreške u postupcima razvoja, testiranja ili verifikacije.
Visokokvalitetno testiranje i provjera životnog ciklusa razvoja smanjuje broj takvih problema, što zauzvrat minimizira probleme s obradom podataka. Moguće je i to da vaša analitika daje netočne rezultate unatoč tomu što radite s visokokvalitetnim podatcima. U tom slučaju logično je obaviti detaljan pregled vašeg sustava i provjeriti je li implementacija algoritama za obradu podataka provedena bez grešaka.
3. Upotreba analitike podataka je komplicirana
Sljedeći problem može sve napore uložene u stvaranje učinkovitog rješenja svesti na nulu. Ako upotreba analitike podataka postane suviše komplicirana, izvlačenje vrijednosti iz podataka može biti otežano. Problem složenosti obično se svodi ili na UX (kad je korisnicima teško navigirati sustavom i shvatiti informacije iz njegovih izvještaja) ili na tehničke aspekte (kad je sustav prekomjerno programiran). Riješimo onda to.
3.1. Neuredna vizualizacija podataka
Razina složenosti vaših izvještaja je previsoka. Pronalazak potrebnih informacija je dugotrajan ili otežan. To se može ispraviti angažiranjem stručnjaka za UI/UX, koji će vam pomoći da posložite intuitivno i fleksibilno korisničko sučelje koje omogućuje jednostavniju navigaciju i rad.
3.2. Sustav je prekomjerno programiran
Sustav obrađuje više scenarija i pruža vam više značajki nego što vam je potrebno, čime se zamagljuje fokus. To također troši više hardverskih resursa i povećava vaše troškove, a posljedično dovodi do toga da se korisnici koriste samo dijelom funkcionalnosti. Ostatak se povlači kao nepotreban teret i stječe se dojam da je rješenje prekomplicirano.
Važno je identificirati nepotrebnu funkcionalnost. Okupite svoj tim i definirajte ključne metrike: što točno želite mjeriti i analizirati, koja se funkcionalnost često koristi i koji je vaš fokus. Zatim se jednostavno riješite svih nepotrebnih stvari. Uključivanje vanjskog stručnjaka iz vaše poslovne domene koji će vam pomoći u analizi podataka također može biti vrlo dobra opcija.
4. Dugo vrijeme odziva sustava
Sustavu je potrebno previše vremena za analizu podataka unatoč tomu što su ulazni podatci već dostupni, a izvještaj potreban odmah. To možda nije toliko kritično za serijsku obradu, ali za sustave u stvarnom vremenu takvo kašnjenje može vas skupo stajati.
4.1. Neučinkovita organizacija podataka
Možda su vaši podatci organizirani tako da je njima vrlo teško rukovati. Bolje je provjeriti je li vaše podatkovno spremište dizajnirano prema uporabnim slučajevima i scenarijima koje trebate. Ako nije, reprogramiranje će sigurno pomoći.
4.2. Problemi s infrastrukturnom velike količine podataka i iskorištenosti izvora
Problem može biti u samom sustavu, što znači da je dosegao svoju granicu proširivanja. Također može biti posrijedi nedovoljnost vaše hardverske infrastrukture.
Najjednostavnije rješenje u ovom slučaju je proširivanje, tj. dodavanje više računalnih resursa vašem sustavu. Navedeno je u redu sve dok poboljšava odziv sustava u granicama pristupačnog proračuna i sve dok se resursi pravilno iskorištavaju. Sa strateškog stajališta, mudriji bi pristup bio podijeliti sustav u zasebne komponente i neovisno ih modificirati. No, imajte na umu da to može zahtijevati dodatna ulaganja u reprogramiranje sustava.
5. Skupo održavanje
Svaki sustav zahtijeva stalna ulaganja u njegovo održavanje i infrastrukturu, a svaki poduzetnik želi svesti ta ulaganja na minimum. Stoga, čak i ako ste zadovoljni troškovima održavanja i infrastrukturom, uvijek je dobra ideja iznova sagledati sustav i uvjeriti se da ne trošite previše.
5.1. Zastarjele tehnologije
Nove tehnologije koje mogu obraditi veći broj podataka na brži i jeftiniji način pojavljuju se svakodnevno. Stoga će prije ili kasnije tehnologije na kojima se temelji vaša analitika zastarjeti, zahtijevati više hardverskih resursa i postati skuplje za održavanje od onih modernih. Također je teže pronaći stručnjake koji su spremni razviti i podržavati rješenja temeljena na naslijeđenim tehnologijama.
Najbolje je rješenje prebaciti se na nove tehnologije. Dugoročno gledano, ne samo što će sustav postati jeftiniji za održavanje, već će se poboljšati njegova pouzdanost, dostupnost i modularnost. Osim toga, važno je redizajnirati sustav korak po korak postupnom zamjenom starih elemenata novima.
5.2. Neoptimizirana infrastruktura
Infrastruktura je troškovna komponenta koja se uvijek može dodatno optimizirati. Ako i dalje primjenjujete lokaliziran princip, migracija u oblak mogla bi biti dobra opcija. Rješenje u oblaku plaćate dok god ga koristite, čime si značajno smanjujete troškove. Ako imate ikakva ograničenja povezana sa zaštitom, to vas ne sprječava da prijeđete na privatni oblak. Ako ste već u oblaku, provjerite koristite li ga učinkovito i uvjerite se da ste implementirali sve najbolje prakse za smanjenje potrošnje.
5.3. Sustav koji ste odabrali je prekomjerno programiran
Ako se ne koristite većinom mogućnosti sustava, i dalje ćete plaćati infrastrukturu kojom se sustav koristi. Revidiranje poslovnih metrika i optimizacija sustava prema vašim potrebama mogu pomoći. Neke komponente možete zamijeniti jednostavnijim verzijama koje bolje odgovaraju vašim poslovnim zahtjevima.
Umjesto zaključka
Prilagodba postojeće platforme za poslovnu analitiku moguća je, ali može prerasti u prilično izazovan zadatak. Ako štogod propustite u osmišljavanju i implementaciji novog rješenja, to može rezultirati gubitkom vremena i novaca.
napisao: Alexey Stoletny, izvršni direktor u kompaniji Sigma Software, tehnološki direktor u kompaniji Clean.io
