Efter sin tilbagetræden levede han på sine godser. Den nordlige del af grevskabet overdrog han dog fra 1882 sin søn, Mogens Frijs, at styre. Kun i anledning af Den nordiske Industri- og Kunstudstilling 1888 trådte han en kort tid atter frem for offentligheden, idet han overtog ærespræsidiet. Frijs var højagtet af alle for sin noble og retsindige karakter og sin levende følelse for de forpligtelser, hans fremragende stilling pålagde ham over for samfundet.