Museet ble etablert i 1934. Dets samlinger var tidligere en del av Nationalmuseum, som i dag er et rent kunstmuseum. For å avhjelpe museets mangeårige trange lokaler, ble det i 1929 foreslått at en tomt ved Storgatan kunne være egnet for en fremtidig . En arkitektkonkurranse i 1930 ble gjennomført uten en vinner, men Romare og Scherman fikk andrepris, og oppdraget med å videreutvikle sitt forslag i samarbeid med byggherren, Riksantikvarieämbetet.