张玄叹息道：“事行则为福，不行则为贼。今天和张公永别了。”说完拿起毒药就要吃。张温上前抓住他的手：“你忠于我，我不能用，是我的罪过，你何必担责任！而且这些话出你口入我耳，谁现在能知道！”张玄于是离去，隐居鲁阳山中。董卓专政，要征辟他担任掾属，举他为侍御史，没有就任。董卓用兵威胁，不得已勉强起身，路过轮氏，在途中病故。