Náchádzal sa tu chrám Dionýza a Dia. Počas Grécko-perzských vojen poslal Afytos vlastnú flotilu. Ďalšiu správa o meste je až zo 14. storočia, následne z tureckej doby. Mesto stále obývali Gréci a pretrvalo antické pomenovanie. V tejto dobe boli postavené dnešné budovy v tradičnej gréckej kamennej architektúre. Afytos sa aktívne zapojil do Gréckej vojny za nezávislosť od Turkov v roku 1821. Pochádzali odtiaľto významní generáli napr. Triandafyllos Garufallu.