Через розташування поблизу столиці князівства, Андравіди, та головного порту Гларендза, Хлемуці відігравав центральну роль в історії князівства, але ніколи власне не осаджувався. Після переходу до правління Візантії 1427 року, у 1460 році його було захоплено османами, разом з рештою візантійського Морейського деспотату. В османські часи в конструкції замку було зроблено невеликі доповнення щоб забезпечити платформи для артилерії, але замок з часом втрачав свою важливість й до кінця XVIII століття його було остаточно покинуто. 1825 року впродовж Грецької війни за незалежність 1821—1829 років, частину зовнішньої стіни замку було розібрано щоб запобігти можливе використання замку грецькими повстанцями. На сьогодні замок є збереженою пам'яткою й відкритий для публіки.