后以忠贞干练见称，有美好的风度和仪态。初拜着作郎，后迁秘书丞、累迁至散骑常侍、侍中。太元八年（383年），淝水之战爆发，前秦大举南侵，谢安认为谢琰有统军作战的才干，于是以其为辅国将军，率八千精兵与西中郎将桓伊及徐兖二州刺史谢玄等人抵抗。当时前秦派东晋旧将朱序前来劝降，但朱序却告知征讨大都督谢石应该趁前秦大军未完成集结前先击溃前锋，夺其气势，谢琰则劝谢石听从。而随后谢玄派刘牢之击溃梁成部后晋军向淝水推进，与前秦军隔水对峙，军势令前秦天王苻坚畏惧。及至前秦军队退后待与晋兵决战时自溃，谢琰就与谢玄等人领兵渡过淝水