刘牢之迟疑。张法顺回去后就认为刘牢之有貮心，建议司马元显杀了他。司马元显拒绝。元兴元年（402年）正月，司马元显升骠骑大将军、征讨大都督，都督十八州诸军事，加侍中、黄钺、班剑二十人，并下诏讨伐桓玄，命刘牢之为前锋都督。当时张法顺建议司马元显逼刘牢之杀桓谦以示其忠心，亦可除了桓谦这个桓玄耳目，但司马元显认为没有刘牢之就不可能打败桓玄，而且若刘牢之不肯，战前诛杀大将不利人心，认为不可取，于是拒绝。不过当时司马元显有意尽诛诸桓，只因王诞劝阻司马元显才没成事。司马元显亦决定以桓谦代桓玄为荆州刺史，以其父桓沖在荆