郡里举荐他为上计吏，后被州里征为别驾。
镇边防蜀.车骑将军郭淮为雍州刺史时，敬重鲁芝。举荐他为孝廉，后任命为郎中。诸葛亮入侵陇右，郭淮又复请鲁芝为别驾。平定入侵之后，郭淮向公府举荐，征鲁芝为大司马曹真的属下，后来调任为临淄侯文学。郑袤向司空王朗推荐鲁芝，王朗立即礼聘他，后拜骑都尉、参军事、行安南太守，迁尚书郎。曹真视察关右军务时，鲁芝参与了大司马府的军事。曹真去世后，司马懿代替曹真，又任命鲁芝为参骠骑军事，后转任天水太守。天水和蜀汉相邻，多次被蜀军侵掠，人口一直下降，盗贼四起。鲁芝镇