来归附窦建德，官居黄门侍郎。入唐朝之后，贞观初年官拜侍御史。贞观四年（630年），他上书劝谏制止修筑洛阳宫干阳殿，被唐太宗采纳。后来历任太子少詹事、右庶子。因为太子李承干被废，一度被罢官。贞观十八年（644年），起授潮州刺史，转邓州刺史。永徽年间，以年老致仕。龙朔三年（663年），加授银青光禄大夫。麟德元年（664年），张玄素卒。