知兄长诸葛珪病逝，向刘表请求完成使命之后赴泰山照料诸葛珪的后事，获刘表准许，任务结束后赴徐州照顾诸葛珪的遗孀及子女。入徐州之后，适逢曹操出兵徐州征伐陶谦，为躲避战祸携带诸葛亮、诸葛均及两位姪女，并与往江东的诸葛瑾分散，辗转逃往庐江一带。诸葛玄曾受袁术荐表为豫章太守，后来被朱皓取代，便带着孔明及其姊弟回到襄阳投靠刘表。后来诸葛玄一直病至去世。
与三国志不同之记载.裴松之在《三国志注》引《献帝春秋》记载，豫章太守周术病亡后，刘表荐封诸葛玄接替(另说是袁术上表荐封)，治南昌（今江