Durante var den yngste av fire barn født av innvandrere fra Salerno i Italia. Durante droppet ut av skolen i åttende klasse for å bli pianist på fulltid før han ble medlem av New Orleans Jazz Band. Durante var det eneste medlemmet av dette bandet som ikke kom fra New Orleans. I 1920 ble denne gruppen omdøpt Jimmy Durante's Jazz Band. Durante var en av Amerikas mest kjente og populære personligheter fra 1920-tallet til 1970-tallet.