Su origen radica en el Señorío de Villavicencio, siendo el primero de su nombre, Miguel Fernández, padre de Garci Rasura o García Fernández, señor de Villavicencio, cuyos descendientes participaron en la reconquista de la ciudad de Jerez de la Frontera.