Tilbake i Norge ble han et ivrig medlem av den katolske menigheten St. Olaf i Christiania. Han fikk blant annet sogneprest Johan Daniel Paul Stub til å opprette St. Vincensforeningen, hvor Schilling ble første president. Stub var barnabittpater, og under veiledning fra ham og en annen prest fra samme orden, Cesare Tondini, kom Schilling til at han selv ønsket å tre inn i ordenen.