Kaye vokste opp i Brooklyn; foreldrene var jødiske innvandrere fra Ukraina. Faren var skredder. Danny hadde to eldre brødre, begge født før familien utvandret til USA. Da Danny var tidlig i tenårene, døde moren. Danny begynte på i Brooklyn, men droppet ut etter kort tid. Han hadde en rekke jobber som stort sett endte med at han fikk sparken. Blant annet fikk han jobb hos en tannlege som satte ham til å passe kontoret mens det var lunsjpause, og ga ham sparken da han oppdaget at Danny hadde brukt tannlegeboret på tannlegekontorets tremøbler. I 1939 traff Danny Kaye imidlertid den samme tannlegens datter på en ; hun het Sylvia Fine, og de giftet seg i 1940.