Anaya var det åttende av ti barn i en fattig spanskspråklig familie. Hans mor, Rafaelita Máres Anaya, var av bondeslekt, mens hans far, Martí, kom fra en familie av vaqueros, ridende gjetere, som passet på sauer og kveg i Llano Estacado.