并当选为第六届全国人大常委会委员、全国人大民族委员会委员。第六届全国人大期间，已患重病的张杰仍每年到穆斯林聚居地区视察工作，了解民情。1987年10月15日，张杰在北京友谊医院归真，享年70岁。10月17日，遗体告别仪式在中国伊协礼堂举行，中央领导习仲勋、田纪云、陈丕显、刘澜涛、王任重、阿沛·阿旺晋美、杨静仁、包尔汉以及张杰生前友好300多人参加了遗体告别仪式。遗体告别仪式结束后，千余名穆斯林为张杰举行了殡礼“站者那则”。殡礼结束后，遗体安葬在西北旺回民公墓。