El jardín de San Carlos fue construido como castillo defensivo fuera de las murallas en el siglo XIV y quedaría unido a la ciudad en el XVI.