I 1926 flyttet museet inn i nåværende bygning, det tidligere Frederiks hospital, fra 1752–1757. Arkitekter var Nicolai Eigtved og Laurids de Thurah. Bygningen ble omskapt til museum av Ivar Bentsen og Kaare Klint.