Han ble avsatt som fylkesmann av okkupasjonsstyret den 30. juni 1941 og erstattet med Torbjørn Eggen. Five ble da forvist til gården sin i Kvam, og var offisielt fylkesmann frem til han døde der i 1944, 63 år gammel. Gården ble overtatt av sønnen Henrik Five, overrettssakfører og avdelingsdirektør i N.A.F.