I september 1259 ble Vilhelm av Villehardouin beseiret og tatt til fange sammen med mange av adel i slaget Pelagonia mot keiserriket Nikea og keiser Mikael VIII Palaiologos. To år senere gjenerobret keiserriket Konstantinopel, avsluttet det det latinske riket og gjenopprettet det bysantinske riket. Ved dette tidspunktet gikk keiseren inn en avtale med fyrsten i fangenskapet: Vilhelm og han menn ville bli satt fri i bytte mot en ed om troskap, og for overgivelse av Monemvasia, Grand Magne, og Mystras. Overlevelsen ble effektivisert i 1262, og deretter ble Mystras setet for guvernøren av det bysantinske territoriene i Morea. I begynnelsen satt denne guvernøren sittende et år om gangen, men fra 1308 ble han sittende for lengre tid av gangen. Bort imot umiddelbart etter at Vilhelm ble satt fri og kom tilbake til Morea forrådte han sin ed til keiseren, og ny krig brøt ut mellom bysantinerne og frankerne. De første forsøkene fra bysantinerne til å underkaste fyrstedømmet Akhaia ble slått tilbake i slagene ved Prinitza i 1263 og Makryplagi i 1263/1264, men bysantinerne var godt plantet i Lakonia. Krigføringen ble endemisk, og langsomt ble frankerne presset tilbake. Usikkerheten som oppsto ved angrep og motangrep førte til at innbyggerne i Lakedaemon forlot deres utsatte by og bosatte seg i Mystras i en ny by bygd inn under skyggen av festningen.