2年2月，他被免去国家文物局局长的职务。 2012年1月，单霁翔任中华人民共和国文化部党组成员、故宫博物院院长，兼任故宫博物院党委书记。2018年12月，被聘为东南大学的资深教授。任职国家文物局局长期间，因2000年青岛经济技术开发区为发展旅游推倒齐长城、2003年山西右玉县为发展旅游全部推倒杀虎口长城（均未受处罚且作为政绩受表彰，当事人还获提拔），单霁翔联名8个届别的45名委员在2003年十届全国人大一次会议上提案“长城保护工作亟待加强”，建议制定长城保护总体规划及长城保护专项法规。但2006年3月内