次东征，由少尉升至少校。1926年任国民革命军第3师第9团团附。1926年5月，侍卫大队扩大为国民革命军总司令部警卫团，任警卫团第2营中校营长。北伐战争开始后，警卫团2营为蒋介石的贴身警卫部队。蒋中正之所以将其纳为侧近，一说因是同乡，另一说则认为其伯父俞飞鹏对俞协助甚多。 1927年4月南京国民政府成立，任国民革命军第一军第一师第四团上校团长。1928年参加兖州、大汶口战役。1928年12月，调任国民政府警卫团少将团长。1929年6月警卫团扩为警卫第一旅，任旅长兼南京警备司令。1929年12月兼中央宪兵