国潞州潞城（今山西潞城）人。曾祖张静，汾州刺史。祖张述，泽州刺史。父张砺，昭义行军司马。张彦成开始为并门牙将。后唐天成年间，自秦州盐铁务官改任郓州都押牙。刘知远镇守北门，表张彦成为行军司马，让儿子刘承祐娶张彦成之女。张彦成从刘知远平定汴州、洛阳，建立后汉，以军功加特进、检校太尉、同州节度使。刘承祐即位为汉隐帝，张彦成加同平章事。郭威伐河中，张彦成有馈輓之劳，河中平定，加检校太师。干祐三年（950年）冬，张彦成移镇相州。后周建立，广顺初年，张彦成加兼侍中，移镇南阳。广顺三年（953年）秋，回京授右金吾卫上