Brusilov ble født i Tblisi av en russisk far og polsk mor. Han ble utdannet ved det keiserlige pasje-korpset i St. Petersburg og deltok senere i den russisk-tyrkiske krigen 1877-1878.