德祐元年（1275年）元兵南下，他率部入卫临安，收复浙西诸城，然后在焦山（今江苏镇江）江中大战失利。元军迫近临安，他和文天祥主张背城决战，为丞相陈宜中所阻。张世杰与陆秀夫带着宋朝二王（益王赵昰、卫王赵昺）出逃。他与文天祥、陆秀夫等立刚满7岁赵昰即位为皇帝，是为宋端宗，定年号“景炎”。端宗即位后对张世杰甚是重用；张世杰没有辜负端宗皇帝的希望，多次联合陈吊眼、许夫人等少数民族部队抵御元朝军队的勐攻。景炎三年（1278年）10岁的端宗溺水而死，他的弟弟卫王赵昺登基做皇帝，改元“祥兴”，赵昺下诏让张世杰做少