Tettstedet har dannet seg der hvor Herrevassdraget munner ut i Frierfjorden, og er Norges eldste industristed siden 1497. Herre har aldri vært noe sted med verken utstrakt sjøfart eller landbruk, slik det ellers er i kommunen.