Andresen og kona Engel Johanne Christiane Reichborn fikk 11 barn; åtte av disse vokste opp. Alle de seks sønnene fikk framtredende posisjoner: Christian Wilhelm Andresen (1811–86) var advokat og høyesterettsassessor; Jens Peter Andresen (1818–71) var høyesterettsadvokat og første formann i Den norske Sagførerforening fra 1861; Carl Ferdinand Andresen (1824–90) var direktør ved Kongsberg sølvverk; Nicolay August Andresen (1812–94) overtok bankiervirksomheten; Johan Henrik Andresen (1815–74) overtok kjøpmannvirksomheten; Engelhart Andresen (1826–96) dreiv bankiervirksomheten sammen med Nicolay.