Under 2. verdenskrig ble Skillefjorden flittig brukt av tyskerne for å gjemme unna store krigsskip og ubåter, og de hadde periodevis hovedbase inne i fjorden gjennom hele krigen. De fastboende og tyskere stasjonert, utvekslet tørka fisk og kjøtt under perioden. Ingen hus ble brent i Skillefjorden under krigen er det man vet av historie, men rester av tyskerbrakker ble brukt til å bygge sjøhus og kaianlegg som står den dag i dag i Skillefjorden, helt siden 1948.