Tras la primera fase hubo una segunda, entre 1506 y 1515 donde se creó una segunda planta y se ampliaron las instalaciones hacia una zona que era conocida como cuarto de los Cuatro Palacios.