云南大学矿冶系学习，获工学学士学位。历任唐山交通大学、北京科技大学、上海交通大学冶金系、材料系副教授、教授、教研室主任、系主任。现任上海交通大学学术委员会委员、材料科学与工程学院教授。任南京理工大学、香港城市大学等六校名誉教授。1989年被聘为比利时天主教鲁汶大学冶金及材料系客座教授。1995年10月当选为中国科学院院士。晚年致力于高强度钢的研究。2017年3月7日17时30分，徐祖耀在宁波市第一人民医院逝世，享年95岁。