El museo fue inaugurado en 1884. También es conocido como el "Museu das Janelas Verdes" ("Museo de las ventanas verdes"), por el color de las ventanas. En 1940 fue construido un anexo que incluye la actual fachada principal. Este anexo ocupa el lugar en el que se situaba el convento carmelita de Santo Alberto, que fue destruido por el terremoto de 1755. La única parte que se mantuvo en pie fue la capilla, actualmente integrada en el conjunto. La última reforma importante acometida en el museo data de 1992-94: mejoró el gabinete de conservación de dibujos y grabados, así como los espacios de atención al público, y modernizó el sistema de aire acondicionado.