发后，红卫兵在“破四旧”中提出要将人民大会堂等处的艺术品当做“四旧”通通砸烂。1966年9月，周恩来在人民大会堂召见国管局的杨亚人，交代人民大会堂的“红色革命化”布置工作。随后由杨亚人负责该工作。同期杨亚人遵照周恩来及国管局领导指示，还负责“红化”布置北京饭店、中南海几个大门（不包括新华门）、紫光阁、西花厅和宋庆龄住地等，用时近两年，直到1969年初杨亚人被下放到宁夏的五七干校劳动。后他又下放青海省，在青海的高原患病导致左眼失明。1976年调回北京，被分配到文物出版社任美术编辑。1978年，中共中央办公