太子以他们太老了，厚赐遣归。回京后为河南巡察大使，检校尚书左丞。646年，唐太宗去灵州接见击败薛延陀后，归附的铁勒酋长。开始，要带太子一起去，张行成认为让太子在长安监国，锻炼执政能力更好，唐太宗同意了，进张行成之位为银青光禄大夫。649年，唐太宗在翠微宫去世，托孤于长孙无忌和褚遂良。长孙无忌和褚遂良秘密将太子和皇帝的灵柩运送回京。张行成与高季辅扶立太子李治即位为唐高宗，高宗任命张行成为门下省侍中，兼刑部尚书，封北平县公，监修国史。651年八月，拜张行成为尚书左仆射，652年，立太子李忠，加授张行成太