关中人时，常常有所区别。说：“天子四海为家，没有东西之别。如果有，将会被人看作偏狭。”唐太宗认为他说得对，赐名马一匹、钱十万、衣一袭。开始让张行成议论大政方针，累迁给事中。641年，转刑部侍郎。643年后，为太子少詹事，让他辅佐太子李治。645年，唐太宗征讨高句丽期间，他让太子在张行成的老家定州监国，张行成随高士廉等辅佐。太子对他说：“今天送公衣锦还乡。”令有司祭祀其先人坟墓。张行成推荐了几个同乡，太子以他们太老了，厚赐遣归。回京后为河南巡察大使，检校尚书左丞。646年，唐太宗去灵州接见击败薛延陀后，归