以我给他玉带希望他约束自己。若说你的才能，你将来什么都不会缺，还用我送你吗？”李世勣后来举荐张文瓘之才，张文瓘累迁水部员外郎。其兄张文琮时任户部侍郎，兄弟俩都在尚书省，违背了封建旧制，于是张文瓘不久就被出为云阳令。
唐高宗年间.龙朔年间，张文瓘累授东西台舍人、参知政事。显庆年间，张文瓘在东台舍人任上曾奉诏校勘四部群书。干封二年（667年）四月，在东台舍人任上被授同东西台三品，为实质宰相，兼知左史事。当时，唐高宗建造蓬莱、上阳、合璧等宫，国库空虚，还养了一万匹厩马以为征讨四夷之军用。