孙恩逃走，于是就纠集群众自守，方明于是召集了谢邈的门生和故旧共百多人讨伐冯嗣之等人，都将其杀害。经历过如此变乱，谢方明家族在三吴的资产受到严重破坏，不过方明仍然尽力去为族人筹备丧事，数月之间就完成了所有丧葬事宜了。可是次年孙恩再度进攻三吴，镇守会稽的谢琰兵败被杀，其时孙恩更急切要抓住谢方明，方明于是在上虞带母亲和妹妹逃到东阳，再经鄱阳到建康，寄居在国子学以避难。元兴元年（402年），荆江二州刺史桓玄消灭司马道子父子，掌控朝政，其亲信卞范之任丹阳尹，一时权倾朝野，并想将女儿嫁给谢方明，但方明始终没有答应，