坏，不过方明仍然尽力去为族人筹备丧事，数月之间就完成了所有丧葬事宜了。可是次年孙恩再度进攻三吴，镇守会稽的谢琰兵败被杀，其时孙恩更急切要抓住谢方明，方明于是在上虞带母亲和妹妹逃到东阳，再经鄱阳到建康，寄居在国子学以避难。元兴元年（402年），荆江二州刺史桓玄消灭司马道子父子，掌控朝政，其亲信卞范之任丹阳尹，一时权倾朝野，并想将女儿嫁给谢方明，但方明始终没有答应，桓玄见状就以其为着作佐郎作嘉许，又补司徒王谧的主簿。刘裕讨平桓氏势力后，方明堂兄谢裕举其任刘裕主簿，方明任内尽忠报效，知无不为，刘裕对其亦很赏识