方读书人中尤为罕见。三弟杨维诚则考中举人。维聪子文，嘉靖三十一年壬子科举人。维杰子文祯，嘉靖十年（1531年）贡生，任直隶南和县训导，陞顺德府教授；维杰子文禄，隆庆四年贡生。文禄子寀学，万历十六年戊子科举人。
佚事.明焦竑《玉堂丛语》记载，正德年间，固安县偶发洪水，崩岸断桥，岸边出现石碑一通，上有“桥崩天子过，碑出状元来”十个字。当年，武宗南巡，经过县境，次年杨维聪状元及第。传说文征明被召入翰林院，因为不是科举正途出身，而受到状元姚涞、杨维聪的所羞辱。二人放言：“我衙