Sangens opphav er uklart, men den kom fra en periode i USA der en rekke sanger med liknende temaer dukket opp. Den første kjente innspillingen av sangen var i 1923 av the Paramount Jubilee Singers. Sangen ble deretter spilt inn flere ganger på 1920-tallet, alle med varierende navn på sangen, men lik tekst. De begynte som saktegående, men tempoet gikk opp og rytmen ble mer aksenktuert utover 1920- og 1930-tallet. Enda sangen opprinnelig var brukt i gudstjenester, er det nå særlig som en jazzstandard at den er mest kjent.