前，曾嘱咐贺若弼说：“吾必欲平江南，然此心不果，汝当成吾志。且吾以舌死，汝不可不思”，并用锥子把贺若弼的舌头刺出血，告诫他慎言。少时骁勇，善骑射，博涉书记。封当亭县公，为小内史。北周大象元年（579年）助行军元帅韦孝宽攻取陈朝淮南之地，拜为寿州（今安徽省寿县）刺史，封襄邑县公。隋朝建立后，因高颎荐举，乃委任贺若弼为吴州总管，镇守广陵。开皇八年（588年）冬十一月，隋军大举伐陈，为行军总管，主攻建康（今南京）。率军自瓜州（今江苏扬州西南瓜洲镇）偷渡，攻拔京口（在今江苏镇江），进军直抵钟山（今南京紫金山），