而俞后来又娶胡的妹妹为续弦，更是亲上加亲，成了郎舅关系。俞自凤麓学堂毕业后，就赴日本留学，在日本学习军事、政治。当时有同乡周淡游在日本警监学校就读，已是闻名的革命党人。结交周后，经周介绍举荐，在日本东京加入同盟会，从事反清革命运动。1925年，孙中山在广州命蒋中正担任任东征军总指挥，讨伐陈炯明叛军。蒋急招俞前往东征军总司令部，担任任总司令部秘书。不久后委俞以海山场主任之职。旋即提升为广东淡水县县长（一说揭阳县县长）。在县长任上，当地居民因事起冲突，分作两派展开械斗。俞作为地方首长，前去调解，不幸