上疏告退，加封少傅兼太子太傅衔。入朝谢封，清世祖见其年迈，赐给党崇雅一件御服，还跟他说：「卿今还里，服朕赐衣，如见朕也！」即将起程时，又将其召见过来，赐以茶水，以温和的话勉励他，之后便命令大学士车克送其归乡。顺治十三年（1658）下敕书表达慰问。康熙五年（1666年）卒。