公素生年不详。他来自幽州军部范阳，为曾任幽州节度使的张仲武的从弟。回鹘宰相赤心一族向东威胁渔阳，张仲武与张公素率部下劲卒三万大破之，收其侯王贵族千余人，收降三万余人，获牛马橐驼旃墙帐幕等不可胜计。唐懿宗咸通年间（860年-874年），张公素在幽州节度使张允伸手下为列将，最后官至平州（在今河北秦皇岛）刺史。咸通十三年（872年）二月，张允伸去世。唐懿宗最初任其子张简会为留后。张公素率平州军向卢龙军部幽州行进，参加张允伸的葬礼。由于卢龙军士素来敬张公素威望，张简会害怕他是来攻打自己的，也知道制不住他，三月，