阳城江东岸人，高祖杨健，官至湖北巡抚。杨绩荪早年留学日本，学成后回国。1926年，唐生智在衡阳起义，参加北伐，杨绩荪被委聘为国民革命军第八军军部机要秘书。1932年发生宁桂战争，李宗仁败退广西，杨绩荪不愿随李入桂，被湖南省主席何健录用，先后被任命为宁乡、宝庆两县县长。抗日战争时期，杨绩荪任第二十一集团军政训处少将处长，1942年任第五战区司令部政训处长，1945年任安徽省党部书记，后调任芜湖专区行政专员兼保安司令。1949年4月任湖南省政府秘书长，7月调回衡阳任华中长官公署政务委员会秘书长，衡阳解放前夕离衡