Αρκετά χρόνια αργότερα, οι Φράγκοι και οι Ενετοί της Δ' Σταυροφορίας που δεν έφτασαν στους Αγίους Τόπους, θα συγκρουστούν με τους Βυζαντινούς άρχοντες της περιοχής, οι οποίοι θα παραδώσουν μετά από σύντομη πολιορκία το κάστρο της Λακεδαιμονίας στον Γοδεφρείδο Βιλλεαρδουίνο (1210). Την ίδια περίοδο θα κατασκευαστεί το κάστρο στο Γεράκι και μια σειρά άλλα φρουριακά κτήρια.