Hay que hacer notar que Ribera tenía fama de mundano a los ojos de las autoridades eclesiáticas, en especial un obispo llamado Juan Pérez de Espinosa y los vecinos de Concepción y Santiago por estar en concubinato con una hermosa limeña María Lisperguer, tía de Catalina de los Ríos y Lisperguer, llamada "La Quintrala".