La mayor parte del castillo se construyó en piedra verde de Spilsby, como la iglesia cercana.