En 1850, el Príncipe Alberto puso la primera piedra de lo que sería el edificio que, junto con la recién creada Galería nacional de Escocia, pasaría a ocupar desde su construcción hasta 1910 cuando una orden parlamentaria trasladó a la RSA al edificio que hoy en día sigue ocupando.