Pero la verdadera pasión y cruz de Chaminade tiene lugar en el interior de sus fundaciones: abandonos, dificultades financieras, y críticas hacia él por parte de algunos.