Alfonso (o Alonso) Pérez de Vivero (1394 y 1453), contador mayor del rey Juan II mandó construir en Valladolid este palacio como sus "casas principales".