张文瓘之才，张文瓘累迁水部员外郎。其兄张文琮时任户部侍郎，兄弟俩都在尚书省，违背了封建旧制，于是张文瓘不久就被出为云阳令。
唐高宗年间.龙朔年间，张文瓘累授东西台舍人、参知政事。显庆年间，张文瓘在东台舍人任上曾奉诏校勘四部群书。干封二年（667年）四月，在东台舍人任上被授同东西台三品，为实质宰相，兼知左史事。当时，唐高宗建造蓬莱、上阳、合璧等宫，国库空虚，还养了一万匹厩马以为征讨四夷之军用。张文瓘因而以隋炀帝的类似行为招致民怨和亡国之事警告高宗，高宗因而减少了数千厩马，赐张文瓘缯锦