Andes ble født 12. juli 1920 i Ocean City i New Jersey, som sønn av advokaten William Andes og hans kone Elsie. Han var første gang på radio som 12-åring. Andes ble uteksaminert fra Upper Darby High School, i nærheten av Philadelphia, i 1938. Han studerte ved Oxford University i England, ble uteksaminert fra Temple University i Philadelphia i 1943, med en bachelorgrad i undervisning, og fikk undervisning i stemmebruk ved Philadelphia Conservatory of Music. Andes tjenestegjorde i United States Air Force under andre verdenskrig. I denne perioden var han også aktiv som sanger og skuespiller i USO-forestillinger.