Finnegaarden er en av de bevarte trebygningene på Bryggen i Bergen, og den ble oppført etter brannen i 1702, da 7/8 av byen brant ned. Finnegaarden var største og staseligste kjøpmannsstue. Johan Wilhelm Olsen (1829 – 1898), som hadde drevet nordlandshandel i gården, etablerte museet da den tradisjonelle virksomheten på Bryggen tok slutt. Museets stiftelsesdag, 26. juni 1872, er til minne om prins Oscar Fredriks (den senere kong Oscar II) besøk i Finnegaarden. Prinsens oppmuntring skal ha fått avgjørende betydning for Wibergs videre arbeid med museet. Sønnen hans, Christian Koren Wiberg (1870–1945) ble museets første direktør og reddet Finnegaarden fra riving da Nye Bryggen ble bygget. Etter som samlingen vokste, ble det oppført en tilstøtende bygning. «Finnegårds-Bazaren» eller «murtasken» ble oppført etter tegninger av arkitekt Conrad Fredrik von der Lippe og viser slektskap med Kjøttbasaren som arkitekten fikk tegnet like ved. I 1901 fikk Finnegaarden en stilriktig restaurering.