I fire år jobbet de to allierte seg sørover langs Sydhavets kyster. Det var en vanskelig oppgave med mye motgang. Etter et angrep fra fiendtlige indianere flyktet Pizarro og Almagro med sine skip ut til øya Isla Gallo, utslitt og med manko på forsyninger. Mens Pizarro og hans menn ventet på Isla Gallo, seilte Almagro tilbake til Panama by for å skaffe nye forsyninger. Men i Panama var det kommet en ny guvernør, Pedro de los Rios. Han betraktet Pizarros og Almagros prosjekt som et mislykket eventyr som kostet for mye, dessuten brøt det med hans egne interesser. Han nektet derfor Almagro å forlate byen, og sendte i stedet et eget skip for å hente Pizarro og hans menn tilbake. Pizarro nektet å forlate øya, og ble igjen med 12 lojale menn, mens resten ble med tilbake til Panama by. Da Almagro hørte om at Pizarro var blitt igjen, lyktes det ham å snike seg ut fra havnen med et skip med både flere menn og forsyninger, og kom til Pizarros unnsetning. Slik reddet han Pizarro. Sammen seilte de videre sørover, og kom tilslutt til byen Tumbes, der de ved selvsyn kunne se rikdommene til Inkariket. De seilte tilbake til Panama fast bestemt på å vende tilbake for å erobre riket og forsyne seg av rikdommene.