了具有突出的军事才能外，在文学、书法上亦均有造诣。史书称其「研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表」。杨素幼时即説过「但恐富贵来逼我，我不求富贵」的话。后来富贵，结党营私，参与废立。陈朝乐昌公主因隋朝的攻击，与夫婿徐德言失散。两人各有半面铜镜，作为信物，后乐昌公主沦入杨素家为妾，颇受宠爱，乐昌公主只好暗中命人在街上贩售破铜镜，意图寻夫，终于找到了徐德言。杨素得知此事之后，竟然将乐昌公主放回徐家，又赠了一笔金钱给徐德言。人称杨素有雅量，即成语「破镜重圆」。杨素是唐人传