Pronto entró en conflicto con los capitanes y colonos españoles establecidos en Asunción que, alentados por Domingo Martínez de Irala, rechazaban la autoridad del gobernador y sus proyectos de organizar la colonización del territorio olvidándose de perseguir los quiméricos tesoros de los que hablaban los mitos indígenas.