Kjøpmann Adam Hjorth fra Drammen eide deretter Holmsbu mellom 1815 og 1821. En takstforretning fra 1817 nevner at strandstedet besto av et stor hovedbygning med sidebygning og ti mindre bygninger for arbeidsfolk og andre innbyggere. I tillegg fantes en kontorbygning og en stolpebod i tre etasjer. Strandstedet hadde også 14 private hus, som betalte 50 speciedaler i grunnleie per år. Det fantes også en del gamle uthus og fire sjøboder uten særlig verdi. Denne taksten inkluderte ikke bygningene som sto på Holms eiendom.