干部学校学历，后升调入军官第一团（团长张治中）。1926年6月，军校教育长方鼎英率第四期学生参加北伐，奉命将第四期军官生分配至国民革命军第一军各师，参加北伐第二次东征，杨伯勋被编入第二师（师长刘峙）第五团（团长蒋鼎文），1927年8月，北伐东路军渡过长江，沿津浦路战斗中，晋升为国民革命军少校营长。1930年，杨伯勋被军事委员会选拔进入中央陆军军官学校高级宪警班第一期学习，1932年毕业，分配在南京首都警察厅供职，(厅长陈焯）任中校副处长。1934年,组织并参与破获日本捏造的外交事件“驻华武官藏本失踪