Imidlertid ble det ikke sett på med blide øyne av den nye kongen i Spania, Karl V. Straks han hørte om dette, ble det bestemt at Pedrarias Davila skulle erstattes av en ny guvernør. Da var imidlertid Davila allerede 85 år gammel.