Se debió tomar antes de 1085, fecha en que capitula Toledo, y fue después de la conquista de Toledo cuando se repuebla el territorio de Olías por caballeros toledanos de origen mozárabe que convivieron con cristianos viejos.