I 1636 kom handelsmann Didrik Fester fra Bergen til Vågsberget for å åpne en handelsvirksomhet. Det var trolig handelsvirksomhet og et vertshus før lenge før Fester's ankomst, og handelsstaden på Vågsberget har skiftet eier flere ganger gjennom årene. Vågsberget er under restaurering, men kafeen og utstillingen er åpen om sommeren.