Da Johan Blom døde i 1741 overtok sønnen Gustavus Blom farens forretninger i Holmsbu. I 1747 kjøpte han eiendommene i Holmsbu for 500 riksdaler av sin egen mor. På denne tida ble Holmsbu betrakta som ei såkalt av myndighetene, hvor det var lov å laste trelast, men ikke drive mer omfattende handelsvirksomhet. Blom var derfor først avhengig av kjøpmenn på Strømsø for å drive handel. I 1757 fikk han imidlertid borgerskap i Tønsberg, og enerett til handelen i Drøbak og Sands tolldistrikt. Gustavus Blom ble raskt Hurums rikeste mann. Familiens store hovedbygning ble bygd på begynnelsen av 1750-tallet, og lå der Holmsbu Badehotell nå ligger. Denne bygningen ble revet i 1790, og en ny og større ble bygd samme sted. Den gamle hovedbygningen finnes imidlertid fortsatt, ettersom den ble solgt og satt opp igjen på Sande prestegård, hvor den gamle prestegården strøk med i en brann i 1783.