Ya en la segunda mitad del siglo XII, el rey Fernando II de León concedió a los Fratres de Cáceres la fortaleza de Castrotorafe y su encomienda de siete pueblos (quedando bajo su jurisdicción Villalba, Perilla, Olmillos, Fontanillas, Piedrahita, San Cebrián y San Pelayo), por lo que, tras la reconversión de los Fratres en la Orden de Santiago, dichos territorios quedaron integrados como una encomienda santiaguista.