不战坚守而拖延战事；然而谢琰却劝谢石听从朱序所言。下月谢玄所派的刘牢之击溃梁成后，谢石领兵水陆并进，逼近寿阳，并与前秦军隔着淝水对峙。谢玄等更成功劝说苻坚让前秦军后退决战，乘秦军后撤崩溃时率军进击，大败前秦，获得淝水之战的胜利。战后谢石以功迁中军将军、尚书令，进封南康郡公。任内，谢石以学校败坏，上请兴复国学，教导士族子弟，并命各州郡都兴修乡校。上奏获晋孝武帝接纳。太元十年（385年），谢石兄谢安去世，谢石迁衞将军，加散骑常侍，尚书令如故。当时谢石因公事而与吏部郎王恭互相批评，王恭忿恨而请求去职；谢石