长安（今陕西省西安市），史书称其“美姿仪，少聪慧”，很得双亲喜爱。在北周时因父杨坚的功勋，被封为雁门郡公。开皇元年（581年）封晋王，拜柱国、并州总管，时年十三岁。后又授武卫大将军，进位上柱国、河北道行台尚书令等。开皇六年（586年），转淮南道行台尚书令。其年，征拜雍州牧、内史令。开皇八年（588年）冬天，隋朝兴兵灭陈朝，二十岁的杨广是领衔的统帅，真正在前线作战的是贺若弼和韩擒虎等名将。次年灭陈之后，进驻建康，意欲纳陈后主宠妃张丽华为妾，元帅长史高颎斩杀张丽华故作罢。封存府库，将陈叔宝及其皇后等人带返隋