自河内徙清河。岱曾孙幸，后魏青州刺史、平陆侯。生准，东青州刺史，袭侯。准生灵真。真生彝，隋末徙魏州昌乐。张文瓘生于隋炀帝大业二年（606年），祖上是贝州武城人，但大业末年搬家到魏州昌乐。早孤，事母兄以孝友闻名。唐太宗贞观（626年—649年）初年，中明经，补并州长史李世勣参军。李世勣很重视他，曾说：“稚圭是当今的管仲、萧何，我比不上他。”一次李世勣去京城长安入朝面圣时，张文瓘和两位属僚设宴为他饯行。李世勣分别把佩刀和玉带送给那两个属僚，却没给张文瓘任何东西。张文瓘生疑，问及缘由，李世勣答：“你没有过错。