Analitika uživo za oglašivače na dva miliona upisa dnevno

Na oglasnoj platformi klijent plaća dokaz da je njegov oglas viđen. Kad servis za popravke plati oglas, pri obnovi ga zanima samo koliko je ljudi vidjelo oglas i koliko ih je nazvalo.

Analitika je ono čime se opravdava faktura, pa gotov alat nije dolazio u obzir. Opšta web analitika mjeri saobraćaj prema sajtu. Ne mjeri vrijednost koju je dobio jedan oglašivač i ne može mu tu brojku prikazati u njegovom korisničkom računu, na dashboardu, pored datuma obnove.

Sistem je istovremeno morao primati velik broj upisa, prikazivati podatke uživo i brzo sabrati cijelu godinu. Svaka od tih stvari sama po sebi je lagana.

Baza vremenskih serija za prijem podataka, s namjerno malim indeksom. Identifikatore kao što su oglas, korisnik i uređaj stavio sam u polja. U bazi vremenskih serija tagovi su indeksirani, a polja nisu, pa ID oglasa u tagu znači da svaki novi oglas pravi novu seriju i da se indeks na kraju uguši. To je najčešći razlog zbog kojeg ovakve instalacije propadnu.

Pošto ID oglasa nije bio u indeksu, baza vremenskih serija nije mogla efikasno grupisati po oglasu, pa se to grupisanje radilo u relacionoj bazi.

Dnevni zbirovi u relacionoj bazi. Sirovi događaji čuvali su se sedam dana, a svaki dan su se izvozili u object storage kao arhiva. Dnevni sažetak po oglasu upisivao se u relacionu bazu, a dashboard i fakture čitali su upravo njega.

Zahvaljujući dnevnim zbirovima, godišnji izvještaj nikad nije dirao sirove redove: čitao je 365 sažetih redova po oglasu.

Brzina mjerena na najvećim klijentima. Rezultat ispod jedne sekunde važi i za klijente s više od 900 oglasa, kod kojih godina dnevnih zbirova znači otprilike 330.000 redova sabranih u jednom upitu. Izvještaj koji se za klijenta s tri oglasa vrati za manje od sekunde ne govori ništa o arhitekturi, pa sam mjerio najgori slučaj, a ne prosjek.

Ukupni i jedinstveni pregledi u odvojenim bucketima. Jedinstvene preglede brojao sam po sesiji i po URL-u stranice, pa se neko ko je tražio u dva grada nije brojao kao jedan pregled: tražio je dvije različite stvari. Ukupni pregledi su veća brojka i ljepše izgledaju, a jedinstveni oglašivaču govore koliko ga je različitih ljudi vidjelo. Zadržao sam obje brojke, pa nijednu nije trebalo skrivati.

Filtriranje botova na tri sloja. Botove sam filtrirao na firewallu, po poznatim adresama i po user agentu. Na oglasnoj platformi napuhan broj pregleda ruši povjerenje: oglašivač koji vidi pet stotina pregleda i nijedan poziv prestane vjerovati brojci, a onda i fakturi.

• 2M+ upisa dnevno u bazu vremenskih serija
• Oglašivači svoje brojke prate uživo na dashboardu
• Godišnji izvještaj za manje od sekunde na 900+ oglasa, iz 365 dnevnih zbirova po oglasu
• Isti podaci pune i godišnji izvještaj koji se šalje prije svake obnove

Sedam dana čuvanja sirovih podataka izabrano je rano i nikad nije preispitano. Gotovo sigurno je to bilo ispravno, ali nikad nisam provjerio šta smo time izgubili: da li je ikome trebalo ponovo obraditi period duži od sedmice i koliko bi koštalo čuvati trideset dana. Izabrao sam broj i krenuo dalje.