Anderson var født i Froland kommune i Aust Agder og flyttet sammen med sin familie til USA som tre-åring. Familien slo seg ned i Lincoln County i Sør-Dakota. Han ble amerikansk statsborger åtte år gammel da hans far, Karl A. Anderson (1879-1961), fikk amerikansk statsborgerskap.