Era hijo de Pedro Suárez de Talavera, alcalde mayor de su villa en 1495 y 1517, y de Catalina González de Carbajal, y tenía un hermano mayor llamado Juan Suárez de Carbajal, obispo de Lugo y primer señor de Peñalver.