Drugič so ga med četrto križarsko vojno v 13. stoletju opustožili zahodnoevropski križarji. Leta 1280 je Ksiropotam sprejel Lyonsko unijo z rimskokatoliško cerkvijo. Kasneje v 13. stoletju je bil porušen zaradi potresa. Obnovil ga je cesar Andronik II. Paleolog v 14. stoletju.