Conrad ble født John William Cann i Louisville i Kentucky. Han startet karrieren i radio i slutten av 1930-årene. Tiden der ble avbrutt da han tjenestegjorde som jagerpilot under andre verdenskrig. Etter krigen vendte han tilbake til radioen og hadde etter egne utsagn rundt 7000 roller i løpet av karrieren. Han gikk over til TV i løpet av 1960-årene.