Fue llamado desde Charcas, por lo cual dejó momentáneamente el puesto a su lugarteniente asunceno Juan de Ortega pero Vergara fue depuesto de su cargo de gobernador interino por la Real Audiencia en 1564, sucediéndolo el futuro adelantado Juan Ortiz de Zárate.