886年）正月，免去总督一职，回京候旨。六月，改授户部左参知。八月，兼管都察院。九月，充任河南场乡试主考。同庆二年（1887年）九月，陈刘慧被派往北圻经略衙任职，由胡丽接替户部参知，兼管都察院。同庆三年（1888年）七月，升授山兴宣总督。十二月，因阮有度去世，陈刘慧暂代北圻经略使一职。成泰二年（1890年）七月，黄高启改任北圻经略使，陈刘慧年事已高，留河内待职，不久改授河安总督。成泰五年（1893年）正月，升署协办大学士，仍领河安总督。次年（1894年）正月，实授协办大学士。八月，充任北圻经略衙商佐