El museu va ser inaugurat el 1884. També és conegut com el "Museu das Janelas Verdes" ("Museu de les finestres verdes"), pel color de les finestres. El 1940 va ser construït un annex que inclou l'actual façana principal. Aquest annex ocupa el lloc en el qual se situava el convent carmelita de Sant Albert, que va ser destruït pel Terratrèmol de 1755. L'única part que es va mantenir en peus va ser la capella, actualment integrada en el conjunt. L'última reforma important escomesa en el museu data de 1992-94: va millorar el gabinet de conservació de dibuixos i gravats, així com els espais d'atenció al públic, i va modernitzar el sistema d'aire condicionat.