Fue diseñado por William Henry Playfair (autor también del edificio adyacente de la National Gallery of Scotland) en 1826 y ampliado y definitivamente terminado en 1836 por el mismo arquitecto.