平.祖上有名气和品德，是西州豪族。他的父亲被郭汜所害。鲁芝小时候便流离失所。十七岁时移居雍地，研究古籍。郡里举荐他为上计吏，后被州里征为别驾。
镇边防蜀.车骑将军郭淮为雍州刺史时，敬重鲁芝。举荐他为孝廉，后任命为郎中。诸葛亮入侵陇右，郭淮又复请鲁芝为别驾。平定入侵之后，郭淮向公府举荐，征鲁芝为大司马曹真的属下，后来调任为临淄侯文学。郑袤向司空王朗推荐鲁芝，王朗立即礼聘他，后拜骑都尉、参军事、行安南太守，迁尚书郎。曹真视察关右军务时，鲁芝参与了大司马府的军事。曹真去世后，司马懿代替曹