En stund senere stjeler han Black Pearl fra Sparrow igjen, og seiler sin vei. Han planlegger å bruke Sao Fengs kart for å finne ungdomsfontenen, som kan gi mennesker evig liv. Men Jack hadde imidlertid stjålet kartet fra ham, fordi han hadde regnet med at Barbossa kom til å forråde dem og stikke av. En gang etter disse hendelsene blir Barbossa far til Carina Smyth. Men som barn blir Carina etterlatt ved et barnehjem, etter at moren hennes døde. I Pirates of the Caribbean: On Stranger Tides avsløres det at Barbossa hadde mistet Black Pearl til Edward "Blackbeard" Teach, som hadde angrepet skipet hans uten forvarsel. Blackbeard hadde også brukt sitt magiske sverd, for å snu skipet mot sitt eget mannskap. Barbossa mistet også sitt høyre bein i dette angrepet, og han sverget å hevne tapet av skiept sitt ved å drepe Blackbeard så snart han får muligheten.