郡文学，转任陈仓（陕西宝鸡市东）县丞。他清净淡泊，专心研究经书，讲学问难时，就成天不吃饭。有人提出难题，他往往介绍数家学说，任诘难者自己选择。儒生都佩服他渊博，学生着录的有一千余人。张玄担任县丞时，曾经因为公事到郡府应对，他不知官府在哪里。当时担任右扶风的琅邪郡徐业，也是大儒，引见张玄，和他交谈，大惊：“今日相遇，真是让愚昧的人晓悟解蒙了！”于是请他上堂，讨论了一天。后来张玄离职，举孝廉，任命为郎。当时缺少《颜氏》博士，张玄应试为第一名，拜为《严氏春秋》经学博士。过了几个月，诸生上书说张玄兼说严氏、冥氏