El museu va ser inaugurat el 1872 quan va albergar a la sala Taiseiden la seva primera exposició a càrrec del departament museístic del Ministeri d'Educació. Aquest fet, significava l'obertura del primer museu al Japó. Poc després de l'obertura, el museu va ser traslladat a Uchiyamashita-cho (actualment Uchisaiwai-cho) i després el 1882 va ser desplaçat de nou fins al seu emplaçament definitiu al parc Ueno. Des del seu establiment, el museu s'ha enfrontat a reptes importants com el Gran terratrèmol de Kantō el 1923 i la clausura temporal del museu el 1945 durant la Segona Guerra Mundial.