Seinere på 1600-tallet sees gårdene Holm og Jaren å ha hatt husmenn og strandsittere i Holmsbu. Grensa mellom de to gårdene var bekken som renner ut i sjøen i havna i Holmsbu. Det er mulig at en ødegård fra middelalderen, som ble kalt Øde-Jaren i en rettssak i 1603, var den eldste bebyggelsen i Holmsbu. I 1663 oppgir landskattelista at det var fire husholdninger i Holmsbu: én skredder, én husmann og to strandsittere med familiene sine.