Brekkestø har et godt bevart bygningsmiljø med trearkitektur fra seilskutetiden, blant annet Tollboden som er fredet.