På det meste har Sandtorgholmen hatt 28 fastboende, og en har kunnet talt i alt 27 bygninger på stedet, og i dag står bare et fåtall av dem. Hovedhuset er et sveitserhus i dragestil som ble flyttet til sin nåværende plassering i 1916. Årsaken til flyttingen var at det tidligere hovedhuset hadde brent ned bare 10 år etter det ble bygget. Stabburet på stedet er omkring 300 år gammelt og ble bygget rundt 1860. I tillegg er det en brygge og uthus fra tidlig 1900-tall på stedet.