Da hun var 25 år gammel, i 1936, giftet Mahalia Jackson seg med den ti år eldre Ike Hockenhull. Ekteskapet ble ikke vellykket, noe som ikke minst skyldtes ektemannens spillegalskap. Han tapte store summer, og forsøkte å presse sin kone til å opptre også i verdslige sammenhenger og synge også andre ting enn gospel. Det nektet hun, og ekteskapet ble oppløst i 1941. I 1950 ble Mahalia Jackson den første kvinnelige gospelsangeren som slapp til i Carnegie Hall i New York. Hun engasjerte seg i kampen for afroamerikanernes borgerrettigheter sammen med blant andre Martin Luther King jr. I forbindelse med den store borgerrettsmarsjen i 1963, der King holdt sin berømte ”I have a dream”-tale, var hun med og sang for en kvart million mennesker. I Kings begravelse fem år senere, etter skuddene i Memphis, sang hun ”Take my hand, Precious Lord”; en sang som på mange måter var hennes signaturmelodi.