年幼时跟随刘炫学习，勤学不倦。刘炫对门生说：“行成体局方正，廊庙（朝廷官员）才也。”隋炀帝大业末年，察孝廉，为谒者台散从员外郎。王世充废黜皇泰主杨侗，为郑国皇帝，以张行成为度支尚书。621年，王世充被唐朝击灭后，张行成以隋朝的资历补宋州（今河南省商丘市）谷熟县尉。应制举乙科，改陈仓县尉。吏部侍郎张锐向唐高祖推荐，高祖授张行成雍州富平县主簿，有能干的名声。任职期满，补殿中侍御史。弹劾不避权戚，唐太宗对宰相房玄龄说：“古今用人没有不通过别人介绍，而行成是朕自己发现的。”唐太宗在宴会上，提到山东（陕州以东）