Los marqueses, que vivían en un palacio adyacente, el mismo que ocuparían los condes de Arguillo más tarde, aportaron el terreno y parte del dinero necesario para la construcción con la condición de tener acceso directo desde su casa.