十八年（1679年）十一月，被召回京师，移交大将军印绶予彰泰。十九年（1680年）正月，康熙帝下诏褒奖岳乐大功。抵达京师时，康熙帝至芦沟桥南二十里迎接，行郊劳礼。二十年（1681年），仍掌宗人府事。二十七年（1688年）偕同简亲王雅布前往苏尼特统筹防御噶尔丹。康熙二十八年（1689年）二月病逝，谥和。三十九年（1700年）贝勒诺尼攻讦岳乐掌管宗人府时，听信谗言，冤枉诺尼不孝罪成，岳乐被取消谥号、降爵为安郡王。根据《汤若望传》记载，顺治帝发觉自己身染天花后，一度想把皇位传给安亲王岳乐，征求汤若望意见。