En 1364, tras varias tentativas, el duque Juan IV logra retomar el control de la ciudad y construye el castillo.