Et stykke vestover på kysten fant han et sted som var svært bra, og grunnla her Panama by. Da byen var ferdig i 1524, gav han ordre om at kolonistene i Santa Maria skulle forlate den gamle kolonien og flytte til Panama. De som var for syke til å forflytte seg ble etterlatt til å dø.