Het stadje wordt gedomineerd door een kruisvaardersburcht uit de 13e eeuw, toen Karytaina de residentie was van een "Frankische" baronie. Ze werd gebouwd in 1254 voor Hugues de Bruyères en kwam daarna in handen van zijn zoon Geoffroy de Bruyères, "Heer van Karýtena", wiens wapenfeiten verhaald worden in de "Kroniek van Morea". In 1320 werd de burcht overgenomen door keizer Andronicus II Paleologus. Tijdens de Vrijheidsoorlog hield Kolokotronis er verblijf: in 1826 daagde hij Ibrahim Pasja uit hem daar te komen halen en de burcht overleefde een Turkse belegering. Van de vorstelijke woonvertrekken blijven enkel ruïnes over.