次入朝为司成中大夫，撰述国史。北周公卿多为武将，通晓学问的人很少，有学问的张羡被人看重。后年老致仕。隋朝建立，隋文帝召他进宫谒见。隋文帝因他年老，令他勿拜，扶杖升殿。宴会与皇帝同席，谈论了很久。张羡上表劝文帝俭约。张羡去世时，享年八十四岁。追赠沧州刺史，谥号定。着书《老子》、《庄子》义，称为《道言》，五十二篇。其子张煚。