为让太子在长安监国，锻炼执政能力更好，唐太宗同意了，进张行成之位为银青光禄大夫。649年，唐太宗在翠微宫去世，托孤于长孙无忌和褚遂良。长孙无忌和褚遂良秘密将太子和皇帝的灵柩运送回京。张行成与高季辅扶立太子李治即位为唐高宗，高宗任命张行成为门下省侍中，兼刑部尚书，封北平县公，监修国史。651年八月，拜张行成为尚书左仆射，652年，立太子李忠，加授张行成太子少傅。653年九月，张行成去世，高宗辍朝三日，赠开府仪同三司、并州都督，谥号定。唐高宗去世后，张行成配享高宗庙庭。