说：「我杀了你！」谢晦回答：「天下可以没有谢晦，却不可没有你呀，我死何足轻重！」其时胡藩成功登岸并击退司马休之守军，刘裕于是命兵众追击，亦没有杀谢晦。义熙十二年（416年），刘裕让谢晦随军北伐后秦，并将随行军中内外要务都交由谢晦处理，而建康留府就由刘穆之全权掌控。其时刘穆之曾数度派使者向刘裕陈述事务，而谢晦却每每都有与刘穆之不同的意见，令刘穆之十分愤怒。刘裕打算让谢晦转任自己的从事中郎，但亦遭刘穆之坚决反对，故此一直都没有升迁。义熙十三年（417年），刘穆之去世，当时仍在长安的刘裕闻讯后十分伤心，但谢晦