Museet ble opprettet delvis på grunnlag av en kunstsamling donert av Skovgaard-familien. I dag vises museets samlinger i byens gamle rådhus fra 1728 som ligger ved siden av Viborg domkirke. Her finner man portretter og landskaper fra den danske gullalder og tiden etter. Man finner også en samling kunsthåndverk fra rundt 1900.