ברוסילוב נולד בטביליסי באימפריה הרוסית. אביו היה רוסי ואילו אימו פולניה. אלכסיי היה דור שלישי לקצינים בצבא האימפריה הרוסית - סביו של אלכסיי נלחם כנגד נפוליאון במלחמת רוסיה–צרפת (1812) ואביו הגיע לדרגת לוטננט-גנרל לפני שנפטר משחפת ב-1856 בעת שהיה אלכסיי בן שלוש בלבד. אימו של אלכסיי מתה זמן קצר לאחר מכן בעודה משאירה את אלכסיי יתום. הוא גדל אצל קרובי משפחתו בעיר כותאיסי.