Den 19. februar 1942 ble Fjellbu avsatt fra sitt embete, og fra 1. mai 1942 fikk han forbud mot å oppholde seg i Nidaros bispedømme. Under forvisningen var han blant annet i Hvitsten, og fra juni 1943 på Andøya. Høsten 1944 flyktet han til Sverige.