与手下将帅们多见面、聚餐谈话，不要再表现得那么高傲。然而，当谢万与众将聚餐时，却无话可说，只拿着如意指着众将说：「诸将皆劲卒。」因为兵、卒是最低下的军阶，既为将帅，被以兵卒称唿是一种羞辱，故众将听后对谢万更为忿恨。升平三年（359年），谢万与北中郎将郗昙兵分两路，北伐前燕。谢万先遣征虏将军刘建修治马头新城，自己就亲率部众打算支援洛阳。然而及后郗昙因病而退屯彭城，谢万却以为对方是因前燕兵强而退，于是仓卒退兵，士众于是自行溃败，谢万亦只身狼狈逃还，其间部下却打算趁谢万兵败而杀了他，只因念及谢安，才没有实行。