Anne Marie Andersdatter hadde et barn fra før, datteren Karen Marie Andersen, som imidlertid var anbrakt hos hennes mor. Ekteparet flyttet sammen, først til Halsedore og i mai måned til Klaregade. I begynnelsen av 1807 fikk familien sin egen bolig i Klingenberg 664, nå Munkemøllestræde i Odense, huset som nå betegnes som .