1949年以后,盐业银行公私合营,张伯驹以董事身份参与财产评估后,以个人无股票不能再任董事为由,退出了公私合营银行。1952年,经郑振铎推荐任文化部顾问。1956年,张伯驹将其收藏的部分文物捐给了国家,包括西晋陆机《平复帖》卷、隋展子虔《游春图》、唐李白《上阳台帖》、杜牧《赠张好好诗》卷、宋范仲淹《道服赞》卷、蔡襄自书诗册、黄庭坚《诸上座帖》、元赵孟頫《千字文》等;同年,加入中国国民党革命委员会。1958年,划为右派分子。1961年,在陈毅的干预下张伯驹夫妇来到长春,在吉林省博物馆工作。1962年,任吉林省博物馆副研究员、副馆长,主要负责文物的鉴定工作。十年浩劫开始,张伯驹被批斗、抄家、隔离审查。1969年,以“敌我矛盾,按人民内部矛盾处理”为由一是令其退职;二是送往舒兰农村插队落户。舒兰地区因张伯驹夫妇年老而拒不接收。张伯驹、潘素回到北京,因无工作、无户口以出卖家产度日。1972年,周恩来得悉后,指示聘任张伯驹为中央文史研究馆馆员。1978年,中共吉林省委宣传部批准了吉林省文物局上报的关于对张伯驹的复查结论,当众予以平反,恢复名誉。1981年1月,张伯驹、潘素夫妇画展在北京北海公园举办。1980年,张伯驹右派问题得到平反。晚年还担任过北京中山书画社社长、北京中国画研究会名誉会长、中国书法家协会名誉理事、京华艺术学会名誉会长、北京戏曲研究所研究员、北京昆曲研习社顾问、民盟中央文教委员等职。1982年正月,参加宴会归来的张伯驹突患感冒,被送进北大医院,2月26日去世,享年84岁。1982年3月26日,举行了张伯驹追悼大会,叶剑英、邓颖超、王震、谷牧等党和国家领导人送了花圈,赵朴初、夏衍、胡愈之、牛满江、刘海粟等二百多人送了挽联,五百多人参加了追悼会。