El segundo hijo de Juán de Vargas fue Pedro Ibáñez de Vargas, que acompañó al rey Alfonso VI en la conquista de Toledo, en el año 1085. Como compensación recibió tierras cerca de Toledo, en las que fundó el pueblo de Bargas, y constituyó el solar primitivo de los Vargas de Toledo. Con posterioridad, Pedro Fernández de Vargas, hijo de Fernán Pérez de Vargas y nieto del citado Pedro Ibáñez de Vargas, fue uno de los más esforzados guerreros que se distinguieron en la Batalla de Las Navas de Tolosa en 1212. Pedro Fernández de Vargas tuvo dos hijos, Garci Pérez de Vargas y Diego Pérez de Vargas "machuca". Garci Pérez no solo emuló las bélicas hazañas de su progenitor, sino que las sobrepasó. Participó en la batalla de Jerez (1231), y en las conquistas de Córdoba (1236), Jaén (1245) y Sevilla (1248).