1832 માં, તેમના પિતા, સેમ્યુઅલ બ્લેકવેલ, એક નાણાકીય આપત્તિએ ઈંગ્લેન્ડમાં તેમના ખાંડ રિફાઇનિંગ બિઝનેસનો નાશ કર્યા પછી પરિવારને અમેરિકામાં ખસેડી.