Bolívar trató de recuperar la guarnición durante seis días de combate con las fuerzas que pudo controlar y que al parecer no superaban los cuarenta efectivos pero la situación le era muy desfavorable; no se podía cañonear el castillo por el reducido alcance de la artillería y la ciudad empezaba a ser atacada por las fuerzas del capitán Domingo Monteverde y tras lanzar un desesperado ataque frontal sobre el castillo que fracasó, Bolívar decidió abandonar la plaza por vía marítima, logrando escapar a duras penas.