בתקופה הויזיגוטית הוקם המגדל המלבני (Torre quadrangular), המכונה בקרב העם גם מגדל סיסבוטו, לפי שמו של מלך ויזיגוטי, שמיחסים לו את בנייתו במאה -ה-3, בתקופה הרומית המאוחרת. יודעים מעט על השינויים שעברו החומות האלה באותם הזמנים . אף בנוגע למבנה החומות בתקופה המוסלמית (שסופה בשנת 1165) לא ידועים הרבה פרטים. קיימים שרידים אסלאמיים אחדים באזור שמאחורי הקתדרלה (Sé) ומאחורי המקדש הרומי. למשל שער מבוצר ושרידי הקסבה העתיקה. טופונימים באותו אזור מזכירים את קיומה שם, אחרי הרקונקיסטה, של השכונה המורית - לה מוראריה, הצפונית-מערבית.