Han slo seg ned i Baltimore, der han den 24. desember 1803 giftet seg med en rik og vakker kjøpmannsdatter, Elizabeth Patterson (1785-1879). Både Jérômes mor og hans bror, som straks deretter ble Frankrikes keiser, erklærte at ekteskapet var ulovlig, og fratok Jérôme all arverett til den franske tronen. Paret hadde en sønn, Jérôme Napoleon Bonaparte, født i Camberwell i Surrey i England.