出生云南腾冲，民国初年毕业于腾冲县立中学，其父杨贡臣，早年参加同盟会，并参加辛亥革命腾越起义。杨伯勋从小受辛亥革命民主思想的影响，有着戎马报国的志向。于1920年（民国9年）秋离开家乡，经缅甸仰光渡海赴广州投身民主革命。11月到广东后，加入护法滇军张开儒部从军。但是，不久即被粤军陈炯明部解除了武装。1921年（民国10年）2月，孙中山任命张开儒担任滇军北伐军总司令。杨伯勋加入驻粤滇军第七师投身孙中山麾下。1923年随中央直辖滇军第一师讨伐背叛孙中山的粤军陈炯明部，第二次入粤护法保卫广州孙中山革命政权