Kongregasjonen ble grunnlagt av Elisabeth Gruyters i Maastricht i 1837. Hun valgte St Karl Borromeus som vernehelgen, og tok hans navn med i kongregasjonens.