读书，经史百家皆略知大旨，北周太祖赏识之，初仕北周，任新安太守，袭爵新义郡公，以军功升至上仪同。隋文帝时，经高颎推荐，为庐州总管。开皇八年（陈后主祯明二年、588年）十一月隋大举伐陈，擒虎以精兵五百，横江夜渡彩石，正月初七攻下姑孰（今安徽当涂），生擒樊巡，散骑常侍皋文奏大败逃回建康，接着擒虎向金陵进军。同日贺若弼攻克钟山（建康城东），杨广派总管杜彦跟韩擒虎会师，驻扎新林（今江苏省江宁县西），任忠前往石子冈（今江宁县南）迎降，直入朱雀门，沿途陈军大溃，擒虎纵兵在金陵四处劫掠，至殿中不见陈后主，后于华林园内