教科书事件里美化其侵略历史的行为激起了南京人民的义愤，1983年底，南京市人民政府经中国共产党江苏省委员会和江苏省人民政府批准，开始筹建本纪念馆，设立了“南京大屠杀”编史、建馆、立碑领导小组，由当时的南京市市长张耀华任组长。1985年2月3日，中国共产党中央顾问委员会主任邓小平到南京视察，题写“侵华日军南京大屠杀遇难同胞纪念馆”馆名。邓小平的到来极大地推动了纪念馆的建设，工程随即于2月20日（正月初一）动工，当年8月15日即中国抗日战争胜利40周年纪念日当天建成开放，同时南京市还在17处大屠杀遗址设立纪念碑