秦于十月攻陷寿阳后，苻坚留大军在后，与八千轻骑到寿阳亲自督战，并派晋朝旧将朱序向谢石劝降。但朱序却向谢石建议在前秦大军未到齐前击败其前锋，从而夺其士气，大败前秦。当时谢石畏惧前秦大军，打算不战坚守而拖延战事；然而谢琰却劝谢石听从朱序所言。下月谢玄所派的刘牢之击溃梁成后，谢石领兵水陆并进，逼近寿阳，并与前秦军隔着淝水对峙。谢玄等更成功劝说苻坚让前秦军后退决战，乘秦军后撤崩溃时率军进击，大败前秦，获得淝水之战的胜利。战后谢石以功迁中军将军、尚书令，进封南康郡公。任内，谢石以学校败坏，上请兴复国学，教导士族子