Mary Wilson var datter av slakteren Sam Wilson og hans hustru Johnnie Mae Wilson. Hun var den eldste av tre barn. Familien flyttet til Chicago der faren ville finne seg arbeid, men da hun var tre år gammel ble Mary Wilson tatt inn hjemme hos hennes tante Ivory «I.V.»og onkelen John L. Pippin i Detroit. Hennes foreldre ble senere separert og Marys mor og søsken kom også til Detroit, men da hadde Mary begynt å tro at I.V. var hennes mor. Moren tok arbeid som hushjelp.