Sin embargo, motivos menos dignos le animaban también a unirse nuevamente a su legítima mujer: el licenciado Pedro de La Gasca, clérigo Virrey del Perú y representante de la "“Santa y Jeneral Inquisición”", había procesado a Valdivia en Lima "“porque está amancebado con esta mujer —Inés Suárez—, y duermen en una cama y comen en un plato”", entre otros cargos relativos a su gestión de gobierno.