Da hun var 16 år gammel, flyttet Mahalia til Chicago og ble med i en baptistmenighet her. I den første gudstjenesten hun deltok i, sang hun det som på den tiden var hennes favorittsang: ”Hand me down my Silver Trumphet, Gabriel”. Sanger om himmelen sto sterkt i gospeltradisjonen. Slaveriet var ikke lenger unna i tid enn at Mahalias bestefar hadde vært slave. Etter framføringen ble hun straks bedt om å være med i menighetens sangkor. I 1929 møtte hun Thomas A. Dorsey, mannen bak sanger som «Take My Hand, Precious Lord» og «Peace in the Valley». Dorsey, som regnes som «gospelmusikkens far», ga henne undervisning og de innledet et samarbeid som skulle vare i 14 år, der de blant annet reiste rundt og holdt konserter.