光绪十八年（1892年）出生于浙江台州海门（今属椒江区）百口井，父亲是徐月秋。其父工琵琶和古琴，因此自小受其薰陶。1912年到苏州天平山向浙派大师大休上人学习古琴，后来又向王宾鲁、李子昭、杨宗稷、张益昌学习古琴，与查阜西、吴韬亦有来往。1913年经李济深介绍，前往广州追随孙中山，曾担任何应钦的祕书，也曾参加北伐战争，在福建、江苏、河南、浙江、四川的法政部门工作。然而徐元白无心于政治，后遂退出政坛。1936年协助査阜西创办今虞琴社，亦曾在今虞琴刊上发表文章。抗日战争爆发之前曾由上海百代公司录制其古琴演奏的