Bygningen huser Rasmus Meyers samlinger, som inneholder hovedverk fra norsk kunsthistorie. Dette inkluderer en stor samling sentrale verk av Edvard Munch, som «Aften på Karl Johan», «Sjalusi» og «Kvinnen i tre stadier». Samlingen inneholder også hovedverk av blant andre J.C. Dahl, Harriet Backer, Adolph Tidemand, Hans Gude, Christian Krohg og Henrik Sørensen. Det såkalte «Blumenthalrommet», som er et interiør fra 1700-tallet med malte allegorier i taket og på veggene, er også en del av Rasmus Meyers samlinger. Samlingene ble donert til Bergen kommune av Rasmus Meyers arvinger i 1916.