给事中庄宪祖弹劾党崇雅庸弱无能，党崇雅遂上疏请求辞官回乡，清世祖将其慰留。顺治五年（1650年）擢刑部尚书。顺治六年（1651年）加太子太保。顺治八年（1653年）调户部，加少保。顺治十年（1655年）告归乡里，仍赐原俸。数月后复诏还朝。顺治十一年（1656年）授国史院大学士。顺治十二年（1657年）再次上疏告退，加封少傅兼太子太傅衔。入朝谢封，清世祖见其年迈，赐给党崇雅一件御服，还跟他说：「卿今还里，服朕赐衣，如见朕也！」即将起程时，又将其召见过来，赐以茶水，以温和的话勉励他，之后