Muchas de sus primeras canciones, entre ellas "Sadie Salome (Go Home)", "That Mesmerizing Mendelssohn Tune" y "Oh How That German Could Love" alcanzaron un modesto éxito tanto en forma de partituras, de grabaciones, en el escenario del vodevil, o como interpolaciones en diversos espectáculos; pero fue "Alexander's Ragtime Band", escrita en 1911, la que lo catapultó como una de las más importantes estrellas de Tin Pan Alley.