美术馆原址位在现今的旧国家美术馆。1872年，美术馆建筑完工，开幕式于1876年3月22日由当时的德意志帝国皇帝威廉一世亲自举行。1896年，美术馆的董事之一的奥地利印象派收藏家收购了莫内的《》和克洛德·莫奈的《视角》，使得国家美术馆成为世上第一间收藏印象派画作的美术馆。第二次世界大战中，美术馆位于的博物馆岛有70％的面积被炸毁，1950年起的重建计画并未将受损最严重的柏林新博物馆列入，原本决定将其拆除，但因一直找不到合适的地方放置馆藏，拆除工程被无限期搁置，最终直到1987年决定将其保留，转而在原址上