母江兰陵是“兰陵女校”的创办者。徐谟早年即就读于兰陵学堂。1904年他11岁时随父亲到上海，入读南洋公学附属小学，后升入南洋公学。1914年考入天津的北洋大学法律系。1915年，徐谟先后发起成立北洋大学英语辩论会、国语演讲会并担任首届会长。1917年自北洋大学毕业，获法学学士学位。 毕业后他回到江苏，在江苏省省立扬州第八中学任英语教师。1918年，他在北京通过司法考试。1919年9月，北洋政府举办外交官招聘考试，徐谟以第一名的成绩被录取。1920年1月，他被派往华盛顿中国驻美国公使馆见习。1921年至1