Tradicionalmente se afirma que el nombre de los Condes se refiere a los condes Gómez Díaz, del linaje de los Banu Gómez, y su mujer Teresa Peláez, quienes construyeron en 1047 el convento benedictino de San Zoilo, el puente sobre el río Carrión y un hospital de peregrinos.