Optimizacija SQL-a i data warehousea · Procjena
Brži izvještaji iz data warehousea bez diranja upita i šeme
Pisana procjena za izvještaje koji traju minutama, a upiti i šema se ne smiju mijenjati. Izvještaj dobavljača za maloprodaju skratio se s preko 15 minuta na 0,2 sekunde.
FormatPisana procjena
RokDatum dogovaramo unaprijed
CijenaProcjena po fiksnoj cijeni · rad po satu
Dokaz3 projekta
Procjena u 4 dijela
01 · Kada vam treba
Ako su dvije od ovih tačne, ovo vam odgovara.
- Izvještaj koji vaši klijenti otvaraju učitava se minutama
- Upite generiše BI alat, pa nemate šta prepisati
- Klijenti imaju sačuvane izvještaje napravljene na šemi, pa se ni šema ne smije mijenjati
- Neko je predložio prelazak na drugi warehouse, ali nije jasno da li bi to pomoglo
- Imate prethodno izračunate tabele, a niko nije siguran da li se još slažu s izvornim podacima
02 · Šta dobijate
Šta dokument sadrži:
- Na šta odlazi vrijeme, izmjereno na upitima koje vaš sistem izvršava i na izvještajima koje ljudi čekaju.
- Šta se može promijeniti ispod upita i šeme: ključevi, indeksi, materijalizovani viewovi i koliko se često osvježavaju.
- Kako održati tačnost prethodno izračunatih podataka: provjera prema izvoru i interval osvježavanja koji odgovara tome koliko često stižu novi podaci.
- Koje se izmjene za sada ne bi isplatile, uz razlog za svaku.
03 · Kako odlučujemo
KORAK 01Upiti i šema ostaju kakvi jesu.Od njih zavise sačuvani izvještaji vaših klijenata, pa sav posao radimo u sloju iz kojeg upiti čitaju podatke.
KORAK 02Ključeve biramo prema historiji upita.Ključeve distribucije i sortiranja biramo prema upitima koje sistem zaista izvršava. Ako se ključevi biraju samo prema šemi, warehouse može biti skup, a i dalje spor.
KORAK 03Svaki prethodno izračunat view provjeravamo.Brz view koji se udaljio od izvora daje klijentima pogrešne brojke, a to je gore od sporog izvještaja. Zato svaki view dobija provjeru da se i dalje slaže s podacima iz kojih je napravljen.
KORAK 04Interval osvježavanja može se kasnije promijeniti.Osvježavanje jednom dnevno često je dovoljno, dok neko ne zatraži svježije brojke. Zato ga pravimo tako da mu se interval može promijeniti bez ponovne izgradnje.
04 · Ako ništa ne nađemo
I tada dobijate mjerenja koja pokazuju na šta odlazi vrijeme i obrazloženje zašto postojeće rješenje za sada može ostati kakvo jeste.
Dokaz
Gdje smo ovo već radili
Projekat 13 · Podaci15 min → 0,2 sKlijenti jednog američkog dobavljača za maloprodaju prate vlastitu prodaju kroz BI alat, a ni upiti ni šema nisu se smjeli dirati. Izvještaj najvećeg klijenta ubrzan je s preko 15 minuta na 0,2 sekunde, a drugi s 4 minute na 0,1 sekunde. Nijedan klijent nije morao ponovo praviti sačuvani izvještaj.Pročitajte više o projektu →Projekat 04 · MarketplaceNula prekida radaKada smo preuzeli marketplace čiji hosting nije mogao pratiti rast, u prva dva mjeseca indeksirali smo njegovih dvadeset najsporijih upita i ubrzali ih za 90%.Pročitajte više o projektu →Projekat 05 · Marketplace2M / danOglašivačima na američkom marketplaceu godišnji izvještaj otvara se za manje od sekunde i kad imaju više od 900 oglasa, jer čita samo dnevne agregacije.Pročitajte više o projektu →
Česta pitanja
Pitanja o ovoj usluzi
Datum određujemo kada vidimo historiju upita i spisak sporih izvještaja, a zatim ga upisujemo u ponudu.
Pristup warehouseu ili bazi s pravom čitanja, historija upita i spisak izvještaja na koje ljudi čekaju.
Obično ne. Kod dobavljača za maloprodaju warehouse je izabran zato što je ostatak sistema prelazio na AWS, a ne zbog njegovih mogućnosti. Ubrzanje su donijeli ključevi i materijalizovani viewovi napravljeni u njemu.
Neće. Šema ostaje ista, pa sačuvani izvještaji i dalje rade. Nijedan klijent dobavljača za maloprodaju nije morao ponovo praviti svoj izvještaj.
Da. Ključevi, viewovi i provjere koje dokument preporučuje razvojni su posao, koji naplaćujemo po satu.
Sljedeći korak
Opišite problem i javit ćemo vam se s tri opcije.
Prvi poziv traje 30 minuta i ni na šta vas ne obavezuje.