Tom Kennedy tok over som programleder i , og selv om Ludden håpet å komme tilbake til sitt show, ble kreften bare verre, og han kunne ikke returnere. Ludden døde i Los Angeles den 9. juni 1981, bare dager før han kunne feire sin 18. bryllupsdag med Betty White. Han ble 63 år gammel. Ludden ble gravlagt ved siden av sin far i Ellsworths familiegrav i Graceland Cemetery i sin fødeby, Mineral Point i Wisconsin.