I år 1800 flyttet han til Bergen. Der bodde han først hos familien Smith, og de hadde en tjenestejente som var like gammel som Dreier – Cecelia Maria Andersdatter. De fikk en gutt, Johan Fredrik, i 1804, men det er ingenting som tyder på at de noen gang giftet seg. Johan jr. døde allerede i 1820, og han var da listet som «uekte barn» i kirkeboka.