郑州，世代为山东冠族，祖李瑾，魏着作佐郎。父李行之，隋都水使者。隋朝时，李玄道为齐王府属。李密据洛口，引为记室，后为王世充所执，镇定自若，被释放，为着作佐郎。李世民平定王世充，为秦王府主簿。唐太宗贞观初年，累迁给事中，封姑臧县男。出任幽州长史，辅佐都督王君廓，专门负责府中之事，与王君廓渐有嫌隙。后王君廓谋反，受牵连。后又起复为常州刺史，甚有惠政。贞观三年（629年），年老致仕，加银青光禄大夫，贞观十九年八月十四日（645年9月10日）在郑州府邸去世，虚岁六十九。着有《李玄道集》。