鲁芝,字世英,扶风郿人。世代有美名,是西州的大户人家。他的父亲被郭氾所害。鲁芝从小流离失所。十七岁时迁居雍地,致力于文化思想研究。被郡守举荐为上计吏,后被州郡征召为别驾。魏车骑将军郭淮是雍州刺史,非常敬重鲁芝。于是举荐为孝廉,提升鲁芝为郎中。刚赶上蜀相诸葛亮入侵陇右,郭淮又聘用鲁芝为别驾。平定了西蜀的入侵之后,郭淮又极力向公府举荐,鲁芝被任命为大司马曹真的属下,后调任为临淄侯文学。郑袤向司空王朗推荐鲁芝,司空王朗也很器重鲁芝,后封鲁芝为骑都尉、参军事、代理安南太守,再后来又升任为尚书郎。曹真亲自督促关右军务时,鲁芝又参与大司马府的军机大事。曹真去逝后,宣帝代替曹真督促关西军务,于是任命鲁芝参与骠骑军事,后调任天水太守。天水郡和蜀地相邻,常被蜀军侵犯掠夺,人口一直在下降,盗贼四起。鲁芝竭力镇守防卫。又建立集市贸易,几年的工夫,被掠夺的土地都收复了。又调任他为广平太守。天水百姓包括少数民族都非常仰慕他的美德,大家亲自到京城上书,请求留下鲁芝继续做天水太守。魏明帝答应了这一请求,并且下诏嘉奖,以黄霸之美勉励他,加封他为讨寇将军。
曹爽辅政的时候,鲁芝被拜为司马。多有正直的言论和深远的谋略,然而曹爽却不采纳。等到宣帝起兵要杀曹爽的时候,鲁芝又率领他的手下竭力保护曹爽,并劝曹爽说:“先生您处在伊周的高位,一旦获罪被罢免,即使想拉一条狗都不可以了(更不要说统领人),如果挟天子保住许昌,依仗帝王的威仪,号令天下征讨天下,谁敢不听从您呢!如果放弃这个决策而束手待毙,那不是想去东市被杀头,难道不令人痛心吗?”曹爽懦弱又被人迷惑,因而没有听取鲁芝的意见,于是束手就擒。鲁芝也受到牵连而被下狱,论理当死,但他始终凛然不阿,始终不改坚贞的气节。宣帝很喜欢他,于是赦免了他。
武帝登基后,调任镇东将军,进爵为侯。因为他为官清廉为臣正直,向来不置办田宅,于是武帝派军士为他造了一座有五十间房屋的宅院。鲁芝知道后,借口年高力微,告老还乡,向朝廷请求的奏表上了十多次,于是征召为光禄大夫,赐以特殊的地位,御赐随行吏卒及车马。羊祜作为车骑将军,于是以自己的位置让鲁芝,说:“光禄大夫鲁芝,洁身寡欲,为人谦和而不苟同,年迈华发,却始终在尽为臣之礼(孝命朝廷),尚且没有受到这样的待遇,我却超越了他(坐这么高的位子),凭什么来化解天下人(对我)的怨恨呢!”皇上没有听取。(可见)他被人敬重到了这样的程度。泰始九年去逝,时年八十四岁。武帝为他哀悼,并御赐大量的车马作为送葬之用,赐谥号贞,并赐墓地百亩。