Mary White ble født en gang rundt 1637 i Somersetshire i England som femte av åtte barn til John og Joan West White av South Petherton. Familien forlot England en gang før 1650, og bosatte seg først ved Salem i Massachusetts Bay-kolonien og flyttet i 1653 til Lancaster ved grenselandet i Massachusetts. Der giftet hun seg med presten Joseph Rowlandson, sønn av Thomas Rowlandson av Ipswich i Connecticut i 1656. Fire barn ble født mellom 1658 og 1669 hvor den første datteren døde som barn.