Mary Black ble født inn i en musikalsk familie på Charlemont Street i Dublin i Irland, og har fire søsken. Hun ble utdannet ved St Louis High School i Rathmines. Faren hennes var en spellemann som kom fra Rathlin Island utenfor kysten av Nord-Irland. Moren hennes var sanger, og brødrene hennes hadde musikkgruppen The Black Brothers, og hennes yngre søster Frances har også hatt stor suksess som sanger. Fra denne musikalske bakgrunnen begynte Black å synge tradisjonelle irske sanger i en alder av åtte. Da hun ble eldre, begynte hun å opptre sammen med søsknene (Shay, Michael og Martin Black) på små klubber rundt om i Dublin.