居河州。张建的曾祖父叫张奉明，曾经随朱贵守卫大宝山而负伤，后来升任洮岷协副将，战死在果岔。张建的祖父张秀，袭云骑尉世职，战死于江南。张建的父亲张大元，袭武职，任大通营游击。张建年少时，随父亲在任所读书，父亲逝世后回到家乡。光绪二十三年（1897年）中秀才，应循化参将的聘请教其子读书。后来，转赴赶坡、唐汪川、蒙城教义学。河州知州杨增新选拔优秀的生员进入署衙读书时，张建入选，和邓隆等人租河州显庆寺的僧舍居住。光绪三十三年（1907年），游幕四川新宁、打箭炉、南充等地，为知县王典章、邓隆的幕僚并教其子弟学习。