至1977年初，任中共上海市委书记（当时设有第一书记，由张春桥担任）。1977年初到1981年12月，马天水被停职接受审查。在1977年8月召开的中国共产党第十一次全国代表大会的政治报告中，马天水被宣布为“四人帮”的死党。1978年，马天水被开除中国共产党党籍，并以反革命罪遭到正式逮捕。随后，马天水精神失常。1982年，上海市司法部门宣布：“江青反革命集团在上海的重要案犯马天水，在关押期间，于1978年患反应性精神病，丧失供述、申辩能力，经司法医学鉴定属实，上海市公安局依法中止预审，待病愈后再予追究。”