Όταν όμως ο Ανδρόνικος Β΄ ανέβηκε στον θρόνο το 1282, ο Στρατός περιέπεσε σε αχρηστία και οι Ρωμαίοι υφίσταντο συχνά ήττες στα χέρια των εξ ανατολών αντιπάλων τους, αν και συνέχιζαν να απολαμβάνουν επιτυχίες εναντίον των Λατινικών εδαφών στην Ελλάδα. Περίπου από το 1350 η αναποτελεσματική οικονομική οργάνωση της Αυτοκρατορίας και η ανίκανη κεντρική κυβέρνηση έκαναν τη συγκέντρωση στρατευμάτων και των προμηθειών για τη διατήρησή τους σχεδόν αδύνατη και η Αυτοκρατορία βασίστηκε σε στρατεύματα που προέρχοντο από Σέρβους, Βούλγαρους, Ενετούς, Λατίνους, Γενουάτες και Οθωμανούς, για να διεξάγει εμφυλίους πολέμους που διήρκεσαν για το μεγαλύτερο μέρος του 14ου αι. Οι Τούρκοι επέτυχαν να εγκαταστήσουν μία βάση στην Καλλίπολη. Μέχρι τη λήξη του εμφυλίου πολέμου, οι Οθωμανοί είχαν αποκόψει την Κωνσταντινούπολη, την πρωτεύουσα της Αυτοκρατορίας, από την υπόλοιπη Ρωμανία. Το 1453 δόθηκε η τελευταία αποφασιστική μάχη από τον Στρατό των Παλαιολόγων, όταν η πρωτεύουσα πολιορκήθηκε και λεηλατήθηκε, αφού αλώθηκε στις 29 Μαΐου.