Brusilov nacque a Tbilisi, da padre russo, e madre polacca. La stirpe dei Brusilov fu da sempre al servizio dello zar. Il nonno difese la Russia durante l'invasione napoleonica del 1812, raggiungendo il grado di tenente generale prima di morire di tubercolosi nel 1856. La madre di Brusilov morì poco dopo quest'ultima data e il giovane orfano crebbe sotto la tutela di parenti a Kutaisi, in Georgia.