Construido sobre el lugar en el que se encontraba el primitivo fuerte de los Alberti (del cual quedan dos torres, las dos privadas de almenas, que hasta 1767-1768 tenían cerca del doble de su actual altura), núcleo del "Castrum Prati", y reducido al segundo círculo de los muros, fue realizado por Riccardo da Lentini por encargo del emperador Federico II a partir de 1240, para poder transformarlo en una residencia imperial.