恩来及国管局领导指示，还负责“红化”布置北京饭店、中南海几个大门（不包括新华门）、紫光阁、西花厅和宋庆龄住地等，用时近两年，直到1969年初杨亚人被下放到宁夏的五七干校劳动。后他又下放青海省，在青海的高原患病导致左眼失明。1976年调回北京，被分配到文物出版社任美术编辑。1978年，中共中央办公厅将杨亚人借调到人民大会堂管理局工作，负责将人民大会堂的布置全面复原。后来他历任中国美术家协会展览部主任、国务院机关事务管理局美术顾问、高级工艺美术师、国务院办公厅特约高级美术顾问。他在国管局离休。杨亚人1952