Han vokste opp på en gård med melke­produksjon i Minnehaha County. Foreldrene var Florence (født Kennedy) og Raymond Daugaard, som begge var født døve. Familien kommuniserte på tegnspråk. Slekts­navnet kommer fra farfaren og farmoren Martin og Margaret Daugaard, som innvandret fra Danmark i 1911.