沙门，隋文帝不准。开皇元年（581年）时立为秦王，二年（582年）春，拜上柱国、河南道行台尚书令、雒州刺史，时年十二岁。加右武卫大将军，领关东兵。三年，迁秦州总管，陇右诸州都归他管理。六年（586年），升为山阳道行军元帅，督三十总管，水陆兵十余万，屯汉口，为上流节度。陈将周罗睺、荀法尚等，以劲兵数万屯鹦鹉洲，总管崔弘度请求出击。杨俊担心有所伤亡，于是没有同意，罗睺等人也相继前来投降。于是派使者去见皇帝，哭着对使者说：「被误会是我立了功，但我其实根本没有立什么功，因此感到相当惭愧啊。」文帝听说后，称赞有加