Allen Ludden ble født som Allen Packard Ellsworth, og var første barn til Elmer Ellsworth, 25, som var fra Nebraska, men bodde i Mineral Point i Wisconsin og arbeidet som ishandler, og hans kone, Leila M. Allen, 22 år gammel fra Wisconsin, som var hjemmeværende. Elmer Ellsworth døde året etter, den 6. januar 1919, bare 26 år gammel som følge spanskesyken. Da Allen var rundt fem år gammel, giftet Leila Ellsworth seg med elektroingeniøren Homer Ludden jr., som var sønn av H.D. Ludden, byens lege, og var fra Chicago og hadde praktisert i Mineral Point siden 1906. Allen fikk adoptivfarens navn og ble Allen Ellsworth Ludden. Familien bodde en kort tid i Wisconsin-byene Janesville, Elkhorn, Antigo og Waupaca før de flyttet til Texas mens Allen ennå var liten.