Στους χρόνους πριν από τη Φραγκοκρατία, μαζί με τα λείψανα του υδραγωγείου στην παραλία και τη σωζόμενη γέφυρα στον ποταμό "Τυφλομύτη" μεταξύ Ρωμανού και Τραγάνας, πρέπει να ανήκει ένας μικρός ορθογώνιος πύργος στο δυτικό άκρο του δυτικού εξωτερικού τείχους, που είναι κτισμένος με το πλινθοπερίκλειστο σύστημα δομής των βυζαντινών χρόνων, ενώ στην ανωδομή του κάστρου διακρίνονται κυρίως δύο περίοδοι, αυτή της ενετικής κατοχής των χρόνων 1423-1500 και εκείνη της τουρκικής του 16ου αιώνα. Άλλωστε, η διατηρούμενη σήμερα μορφή του ανήκει στον ύστερο 16ο κυρίως αιώνα, αλλά ο νότιος περίβολος πιθανόν και να προστέθηκε από τους Ενετούς ή και τους Οθωμανούς-Τούρκους. Στα ανατολικά το κάστρο δεν τειχίστηκε λόγω της φυσικής οχύρωσης του λόφου, αλλά όπου δομήθηκαν τα τείχη είναι λεπτά και ψηλά, με επάλξεις σε χελιδονοειδή απόληξη, όπου είναι ορατές και οι διάφορες κατασκευαστικές φάσεις, ενώ δεν έχουν προκύψει από τις ως τώρα έρευνες να έγιναν μεταγενέστερες οικοδομικές εργασίες στο κάστρο ούτε κατά τη δεύτερη Ενετοκρατία, παρά την έκθεση του Grimani του 1706 για τις ανάγκες του φρουρίου, ούτε ακόμα κατά την περίοδο της Επανάστασης του 1821.Το Παλιαβαρίνο είχε ήδη εγκαταλειφθεί.