A Pedro de Castilla, nieto del rey Pedro I de Castilla se le atribuye la construcción de la torre, gran parte del Palacio y la finalización de la iglesia a mediados del siglo XV.