Il successo del libro ebbe uno sfortunato e imprevisto effetto collaterale: gli amici e i protettori di Douglass ebbero paura che tutta quella pubblicità attirasse l'attenzione del suo ex padrone, Hugh Auld, che avrebbe potuto tentare di riprendersi la "sua proprietà". Spinsero quindi Douglass a fare un viaggio in Irlanda come avevano fatto vari altri ex schiavi. Douglass si imbarcò sul "Cambria", diretto a Liverpool, il 16 agosto 1845 e giunse in Irlanda proprio mentre la Grande carestia era agli inizi.