Ông gia nhập Chí nguyện quân Nhân dân Trung Quốc tháng 2 năm 1953 và đã chiến đấu tại Triều Tiên cho đến tháng 10 năm 1958 khi ông trở về Trung Quốc. Năm 1960, ông tốt nghiệp Học viện Quân sự Cao đẳng Quân Giải phóng Nhân dân Trung Quốc. Tháng 6 năm 1985, Phó Toàn Hữu được bổ nhiệm làm Tư lệnh Quân khu Thành Đô và chuyển sang giữ chức Tư lệnh Quân khu Lan Châu tháng 5 năm 1990. Ông là Ủy viên Ủy ban Trung ương Đảng Cộng sản Trung Quốc từ khóa XII (1982 - 1987) đến khóa XV (1997 - 2002) và Đại biểu Đại hội đại biểu Nhân dân toàn quốc (Quốc hội Trung Quốc) các khóa VIII và IX. Ông được thăng quân hàm Trung tướng năm 1988 và quân hàm Thượng tướng năm 1993. Tháng 10 năm 1992 đến tháng 9 năm 1995, ông là Chủ nhiệm Tổng cục Hậu cần Quân Giải phóng Nhân dân Trung Quốc. Ông được bổ nhiệm làm Tổng Tham mưu trưởng Quân Giải phóng Nhân dân Trung Quốc tháng 9 năm 1995.