于湖南长沙。他曾从其叔着名语言学家杨树达学习。1926年他报考北京大学并被录取，1931年拜黄侃为师，1932年毕业于北京大学中文系。此后曾历任中学教员、冯玉祥将军研究室成员、广东中山大学讲师、湖南《民主报》社社长。杨伯峻1926年在北京大学加入中国共产党，1932年与中国共产党组织失去联系，1948年在长沙重新入党，任中共长沙工委书记。此后还曾任湖南省政治协商会议秘书处处长、中共湖南省委统战部办公室主任、北京大学中文系副教授。1957年反右运动期间，在北京大学中文系副教授任上被打成右派。后改任兰州大学