I hans tid som apostolisk vikar kom han i konflikt med ordenssøstrene som drev sykehus. Det var pålagt en skatt på sykehusene, noen øre for hvert døgn en seng ble benyttet. Biskop Smit ønsket å øke denne skatten, og pådro seg dermed søstrenes vrede.