Faren deltok i gårdsarbeidet, virket i noen år som lærer, og gikk deretter tilbake til jordbruket i nærheten av Salem. Da moren døde i 1878, tok faren med familien til Salem, der han kjøpte en butikk. Sviktende helse hindret ham i å drive gården. Charles L. McNary ble foreldreløs som 9-åring i 1883, da faren også døde. En eldre søster ble familieoverhode, og andre søsken tok arbeid for å forsørge familien.