Από το 3ο αιώνα η Άπτερα άρχισε να παρακμάζει και αυτό καθώς πόλεις όπως η Κίσσαμος και η Κυδωνία ευημερούσαν. Αυτή η πτώση επιταχύνθηκε με τον σεισμό το 365 που κατέστρεψε πολλές πόλεις της Κρήτης. Η πόλη εξακολούθησε να κατοικείται, όπως επιβεβαιώνεται από τον Ιεροκλή, και μάλιστα παρείχε επισκόπους κατά τη βυζαντινή περίοδο. Οι αρχαιολόγοι κατάφεραν να βρουν τα θεμέλια μιας χριστιανικής εκκλησίας του 7ου ή του 8ου αιώνα και τάφους κάτω από το δάπεδο του κτιρίου. Ένας δεύτερος σεισμός τον 7ο αιώνα και λεηλασίες από τους Σαρακηνούς πειρατές σηματοδότησαν την εγκατάλειψη της πόλης από τους τελευταίους κατοίκους της.