Sistemi s velikim brojem upisa · Izrada
Dashboardi uživo i godina historije za manje od sekunde
Vaši klijenti vide brojke uživo i za cijelu godinu. Time-series analitika koju smo napravili prima 2 miliona upisa dnevno i godinu historije vraća za manje od sekunde.
AngažmanPo satu · remote
Radno vrijeme9–18 CET · 4 h preklapanja
StackInfluxDB · MySQL · S3
Dokaz1 projekat
Usluga u 4 dijela
01 · Za koga je
Proizvod koji bilježi mnogo događaja, očitanja, klikova ili pregleda, i čiji klijenti žele vidjeti svoje brojke uživo i za cijelu godinu.
02 · Šta smo napravili
- Preko dva miliona upisa dnevno ide u time-series skladište s namjerno malim indeksom, a svaki oglašivač rezultate vidi uživo u svom dashboardu.Projekat 05 →
- Godišnji izvještaj koji se za korisničke račune s više od 900 oglasa učita za manje od jedne sekunde. Jedan upit agregira oko 330.000 dnevnih zbirnih redova i nikad ne čita sirove podatke.Projekat 05 →
- Vlastiti hosting time-series baze uštedio je oko 27.000 $ godišnje, po našoj procjeni. Kasnija promjena politike čuvanja podataka smanjila je podatke s dva terabajta na manje od jednog gigabajta, a vlastiti hosting je i dalje bio jeftiniji. Presudni trošak tada je bio broj upita, a ranije skladištenje.Tekst →
03 · Kako radimo
01 · SVAKO SKLADIŠTE ZA SVOJ ZADATAKPrimanje upisa, odgovaranje na čitanja uživo i agregiranje godine historije različiti su zadaci, a nijedna baza ne radi dobro sva tri. Jedno skladište prima upise, a drugo odgovara na izvještaje.
02 · NAJVEĆI KORISNIČKI RAČUNBrzinu mjerimo na najvećem korisničkom računu, a ne na prosječnom, jer je za korisnički račun s tri zapisa svaki izvještaj brz.
04 · Stack
InfluxDBMySQLS3Node.jsWebSocketsAWS
Dokaz
Gdje smo ovo već radili
Projekat 05 · Marketplace2M / danPreko dva miliona upisa dnevno ide u time-series skladište s namjerno malim indeksom, a svaki oglašivač rezultate vidi uživo u svom dashboardu.Pročitajte više o projektu →BlogVlastiti hosting InfluxDB-a ostao je jeftiniji zbog naplate po upituVlastiti hosting time-series baze uštedio je oko 27.000 $ godišnje, po našoj procjeni. Kasnija promjena politike čuvanja podataka smanjila je podatke s dva terabajta na manje od jednog gigabajta, a vlastiti hosting je i dalje bio jeftiniji. Presudni trošak tada je bio broj upita, a ranije skladištenje.Pročitajte tekst →
Česta pitanja
Pitanja o ovoj usluzi
Obično ne. Marketplaceu je pomogla podjela posla: sirovi događaji išli su u time-series skladište, a dnevni zbir po oglasu u relacionu bazu.
Dok god bi nekome mogli zatrebati za ponovnu obradu. Marketplace je sirove događaje čuvao sedam dana, uz dnevni izvoz u object storage kao arhivu. Nikad nismo provjerili koliko bi koštalo čuvati ih trideset dana, a danas bismo.
Zavisi od toga koja je stavka na računu najveća. Naplata po upitu raste s brojem ljudi koji gledaju podatke, pa najviše pogađa proizvod čiji klijenti prate vlastite dashboarde. Ako podatke čita samo nekoliko inženjera, managed servis je često jeftiniji.
U time-series skladištu tagovi su indeksirani, a polja nisu. Ako identifikator poput ID-a oglasa stavite u tag, svaki novi oglas pravi novu seriju, sve dok indeks ne naraste toliko da više ne radi. To je najčešći razlog zbog kojeg ovakve instalacije propadnu.
Sljedeći korak
Opišite problem i javit ćemo vam se s tri opcije.
Prvi poziv traje 30 minuta i ni na šta vas ne obavezuje.