Gustavus Blom solgte det meste av eiendommene i Holmsbu til sønnene Peter og Hans Jørgen i 1773, og døde i 1777. Fra 1788 overtok Peter Blom aleine forretningene i Holmsbu. En takseringsforretning fra januar 1803 viser at det Holmsbu i løpet av 1700-tallet var blitt et virkelig tettsted. Det fantes da til sammen 111 bygninger på Bloms eiendom, som besto av både strandstedet og gården Holm. Atten av disse var en del av Peter Bloms beboelses- og forretningskompleks. Det skal til sammen ha vært 44 våningshus på strandstedet. Det nevnes også fire sjøbuer. I 1809 solgte Peter Blom bygningene i Holmsbu, og flytta i stedet opp til gården Holm, som han hadde eid i sin helhet siden 1797. I 1811 solgte han også denne til kjøpmannen Peder Frost fra Christiania, og familien Blom eide dermed ikke lenger noe av Holmsbu.