Sheldon ble født som Sidney Schechtel i Illinois i USA og hans foreldre var av russisk-jødisk herkomst. Etter at han ble uteksaminert fra Denver East High School, studerte Sheldon ved Northwestern University. Under den store depresjonen i USA på 1930-tallet, arbeidet Sheldon på en rekke arbeidsplasser. Sheldon vervet seg til det amerikanske militæret under den andre verdenskrig som pilot. Tilbake til det sivile liv, flyttet Sheldon til New York, der han begynte å skrive musikaler for Broadway. Sheldon ble tildelt en stjerne på Hollywood Walk of Fame.