Daniel K. Ludwig var sønn av Daniel Franklin Ludwig (1873–1960) og Florabelle Leslie (1876–1961), og ble født i South Haven ved bredden av Michigansjøen. Hans bestefar, John G. Ludwig (1842-1920), var en av syv brødre i en familie på 13, de fleste av dem født i delstaten Pennsylvania.. Fire av Daniels grandonkler livnærte seg som kapteiner på farkoster på De store sjøene. Hans bestefars bror, Lancaster Columbus Ludwig (1855-1954), var i flere tiår kaptein på et passasjerdampskip som løp mellom South Haven og Chicago.