宗建造蓬莱、上阳、合璧等宫，国库空虚，还养了一万匹厩马以为征讨四夷之军用。张文瓘因而以隋炀帝的类似行为招致民怨和亡国之事警告高宗，高宗因而减少了数千厩马，赐张文瓘缯锦百段。总章二年（669年）二月，迁东台侍郎。同中书门下三品成为宰相衔，从张文瓘开始。咸亨二年（671年）正月，高宗幸东都洛阳，留皇太子李弘监国，令戴至德、张文瓘、李敬玄等侍臣辅佐之。三年（672年），官名复旧，改授黄门侍郎，兼太子左庶子，因李弘多病，事务多由同为兼太子左庶子的戴至德、张文瓘和右庶子萧德昭决断。十月，检校大理卿（等同最高法院法