由其在北洋大学的同学金问泅推荐，进入中华民国外交部任参事。1929年至1932年1月，他任外交部欧美司司长，并一度任废除上海治外法权的特别外交专员。在该期间，他协助外交部长王正廷收回威海卫，并与法国达成关于北部湾的协议，与日本签订一项关税新协定，与希腊、波兰、捷克斯洛伐克签订了商务条约。1931年9月，九一八事变爆发，日本侵占中国东北，后又进攻上海。从1931年下半年起，徐谟先后担任外交部亚洲司代理司长、外交部常务次长、外交部政务次长。在这期间，他还兼任过中央政治学校(国立政治大学前身)外交系主任、考试