Bygningen ble reist av Jakob Johannesson Winæs i 1828, og arkitekturen var sterkt preget av den rådende byggekultur i Bergen. Den er bygget i laftet tømmer i to etasjer. Frem til rundt 1900 ble bygget kalt for «Jacob-huset». Fra dette bygget ble det drevet handelsvirksomhet på løyve fra Bergens byprivilegier, noe som betød enerett på handel i området. I 1836 ble det også etablert poståpneri i huset. Konseptet med privilegerte handelssteder i distriktene ble avviklet da den nye handelsloven trådte i kraft i 1842, men Broch-huset var i fortsatt drift som landhandel utover 1800- og 1900-tallet.