Museets historie går tilbake til 1933, da regjeringen i Republikken Kina, på forslag fra Cai Yuanpei, formelt opprettet det. Nanjing var den gang Kinas hovedstad. Men byggingen tok ikke til før i 1936. Opprinnelig var det ment å bli vesentlig mindre enn det som det er vokst til.