大后改变勤于学习，他专精《左氏传》，通解《三礼》。初任北周冀王宇文绚（宇文通之子）侍读，冀王很看重他，经常说：“杨侍读德行学问精深，是我的穆生。”其后向沈重请教《礼》，向刘臻学习《汉书》，二人推许他说：“我们不如他。”于是知名，官至夏官府都上士。杨坚担任丞相，任用他掌管兵事，转任掌朝下大夫。杨坚受禅，建立隋朝，为杨汪赐爵平乡县伯，食邑二百户。历任尚书司勋、兵部二曹侍郎、秦州总管长史，被视为精明强干。转任尚书左丞，获罪免官。后来历任荆州、洛州二州长史，常在处理政事的空闲，招揽生徒讲授学问，被当时的人称道。