Biskop Rappe møtte etter hvert sterk motstand. Synet hans begynte å svikte, og da han kom tilbake fra Det første Vatikankonsil trakk han seg som biskop 22. august 1870.