Smanjenje računa za AWS s 24.000 $ na 2.000 $ mjesečno

Ništa u sistemu nije bilo pokvareno tako da bi to iko primijetio.

Višak na računu za cloud teško se uoči i dugo potraje jer ništa ne pokvari. Na spor endpoint neko se požali i job koji pada podigne alarm, ali predimenzionisana instanca, beskonačna petlja ili loše postavljena putanja za upload rade normalno, mjesec za mjesecom, a vi ih plaćate.

Dok se ne postavi alarm na budžet, ovakav višak može se pronaći samo tako da neko namjerno pregleda račun.

Predimenzionisanje. Problem dimenzionisanja našao sam tako što sam uporedio zakupljeni kapacitet sa stvarnom upotrebom. Sve je bilo predimenzionisano, i instance i baza. To je rijetko nemar: neko dimenzioniše okruženje pri lansiranju, kad niko ne zna kakvo će biti opterećenje, ostavi veliku rezervu, i to s pravom. Onda opterećenje postane poznato, a niko se tome ne vrati, jer sve radi, a uvijek ima nešto hitnije.

Beskonačne petlje. Kvar sam našao tražeći trošak koji ne prati saobraćaj. Petlje u sistemu neprekidno su trošile procesorsko vrijeme, a neko ih je mjesec za mjesecom plaćao ne znajući da postoje. Bile su to prave beskonačne petlje, a ne hot path ili neefikasan upit. Predimenzionisanje se vidi kao niska iskorištenost, a proces koji se otrgao kontroli kao visoka iskorištenost koju niko ne može povezati ni sa čim što korisnici rade.

Uploadi kroz backend. Arhitektonski uzrok našao sam čitajući kod. Uploadi su do S3 išli preko backenda, iako su mogli ići direktno s klijentske strane. Svaka fotografija, lica ili dokumenta, stizala je na server, zauzimala njegovu memoriju dok traje prenos i tek onda išla dalje. U ovom sistemu svaki podneseni zahtjev je upload, pa je upload bio glavni tok cijelog proizvoda.

Upload kroz backend vezao je memoriju instanci za broj istovremenih uploada, slao svaki bajt dvaput preko mreže i ograničio propusnost na ono što aplikacijski server može podnijeti, iako je S3 napravljen da primi daleko više.

Ovakav uzrok ne vidi se ni na jednom dashboardu, pa se najčešće pronađe posljednji, a obično je i najveći od ta tri.

• Mjesečni troškovi: 24.000 $ → 2.000 $
• Račun je bio oko osam puta veći od onoga što je opterećenje stvarno tražilo, a na kraju je pao još niže, sa 24.000 $ na 2.000 $, što je dvanaest puta manje
• Svaki od tri uzroka pronađen je na drugi način, a nijedan se nije pojavio kao greška

Developer nije trebao biti prvi koji će primijetiti prevelik račun. Niko ga nije pratio i ništa nije javilo kad je narastao. Alarm na budžet ne košta ništa i uhvatio bi beskonačne petlje već u prvoj sedmici, a ne u pedesetoj.