Mahalia vokste opp i New Orleans i Louisiana. Hun vokste opp i en storfamilie der ikke mindre enn 13 mennesker bodde i den samme leiligheten. Foruten Mahalia selv og hennes bror og mor, var det morens søstre og deres barn og foreldre. Mahalias egen far var bryggearbeider, men ble senere i livet pastor i en baptistmenighet. Han var ikke gift med Mahalias mor, men datteren fikk likevel hans navn. Da Mahalia var fem år, døde moren, og en av tantene overtok omsorgen for de to barna. Skolegang ble det lite av, i stedet arbeidet barna fra soloppgang til solnedgang hver eneste dag. Det eneste lyspunktet i tilværelsen var den lokale baptistkirken og det å kunne synge i kirken.