身材魁伟，善骑射，性慷慨，受豳州刺史卢齐卿的器重。升至左金吾员外将军、建康军使。开元初年，以战功授为平乐府别将军。开元十五年（727年），吐蕃陷瓜州（今甘肃安西东南），回纥杀王君铌，河陇震动。萧嵩以张守珪为瓜州刺史，兼墨离军使，修筑城池，屡次击败吐蕃军队，并且修复渠堰以利灌溉，边境遂安。累官至辅国大将军，右羽林大将军兼御史大夫。开元二十一年，被唐玄宗授为河北节度大使，镇守幽州。开元二十三年（735年），赴东都洛阳。张九龄又劝阻说：“守珪才破契丹，陛下即以为宰相；若尽灭奚、厥，将以何官赏之？”