A múzeum létrejöttének ideje 1872, ugyanis ekkor tartotta az Oktatási Minisztérium az első kiállítást a Taiszeiden csarnokban. Ez jelöli Japán első múzeumának felavatását. Nem sokkal a nyitás után a múzeumot Ucsijamasita-csóba (jelenleg Ucsiszaivai-csó) költöztették, majd 1882-ben az Ueno Parkba költözött, ahol ma is áll. Alapítása óta a múzeum sok viszontagságot élt át, például az 1923-as nagy kantói földrengést, illetve a második világháború alatt 1945-ben ideiglenes zárvatartást. A több mint 120 éves történelme során a múzeum sok fejlődésen és változáson ment keresztül a szervezeti reformoknak és az adminisztratív változásoknak köszönhetően.