Añádase a esto las múltiples contrariedades, sobre todo en los comienzos de su obra, pues hasta sus colegas sacerdotes lo tildaban de orgulloso, de obrar por vanidad de ostentar el título de fundador; hasta lo consideraron loco y falto de toda prudencia (incluso su confesor y director espiritual lo abandonó).