Producto de la clase trabajadora neoyorquina, Durante abandonó la escuela en octavo grado a fin de hacerse pianista de ragtime, trabajando en el circuito de la ciudad y ganándose el apodo de "Ragtime Jimmy," Después se unió a una de las primeras apreciables bandas de jazz de Nueva York, la Original New Orleans Jazz Band.